Для чего используются регулярные выражения? 10 приложений

Процесс извлечения определенного типа данных из набора веб-сайтов и преобразования его в нужный формат данных называется Веб-соскоб Отказ

Веб-скребки необходимы в финансовых запусках, аналитических компаниях, правоохранительных органах, компаниях электронной коммерческой и социальных сетях.

Регулярные выражения очень помогают в обработке грязных текстовых данных. Существует множество различных приложений, таких как поиск названий куча статей блога (например, для SEO).

Минимальный пример использования Библиотека Regex Python Re Для веб-соскабливания следующие:

from urllib.request import urlopen
import re

html = urlopen("https://blog.finxter.com/start-learning-python/").read()

print(str(html))
titles = re.findall("\(.*)\", str(html))

print(titles)
# ['What's The Best Way to Start Learning Python? A Tutorial in 10 Easy Steps! | Finxter']

Вы извлеките все данные, которые заключены в открытие и закрытие титульных тегов: Отказ

Данные warngling.

Данные wrangling Это процесс преобразования необработанных данных в более полезный формат для упрощения обработки приложений ниже по потоку. Каждое данные ученые и машиностроения инженер знают, что очистка данных находится в основе создания эффективных моделей машинного обучения и извлечения понимания.

Как вы уже догадались, Data Wrungling сильно зависит от таких инструментов, как регулярные механизмы экспрессии. Каждый раз, когда вы хотите преобразовать текстовые данные из одного формата в другое, не смотрите не дальше, чем регулярные выражения.

В Python метод Regex Re.sub (шаблон, репрект, строка) преобразует . строка в новый, где каждое возникновение шаблон заменяется новой строкой Реп Отказ Вы можете узнать все о Метод замены на моем подробном руководстве в блоге (+ видео) Отказ

Таким образом, вы можете преобразовать валюты, даты или цены на акции в общий формат с регулярными выражениями.

Разборка

Покажите мне любой парсер, и я покажу вам инструмент, который использует сотни регулярных выражений для быстрого и эффективного обработки ввода.

Вы можете спросить: что такое парсер в любом случае? И вы правы спрашивать (нет тупых вопросов). А Парсер Переводит строку символов в абстракт более высокого уровня, такой как формализованный язык (часто используя основную грамматику, чтобы «понять» символы). Вам понадобится парсер, чтобы написать свой собственный язык программирования, синтаксисной системы или текстового редактора.

Например, если вы пишете программу на языке программирования Python, это просто куча символов. Парсер Python приносит порядок в хаос и переводит ваши бессмысленные символы в более значимые абстракции (например, ключевые слова, имена переменной или определения функций). Затем это используется в качестве входа для дальнейших этапов обработки, таких как выполнение вашей программы.

Если вы смотрите, как реализуются парсеры, вы увидите, что они сильно полагаются на регулярные выражения. Это имеет смысл, потому что регулярное выражение может легко проанализировать и поймать части вашего текста. Например, чтобы извлечь имена функций, вы можете использовать следующее Regex в своем анализаторе:

import re

code = '''
def f1():
    return 1


def f2()
    return 2
'''

print(re.findall('def ([a-zA-Z0-9_]+)', code))
# ['f1', 'f2']

Вы можете увидеть, что наш Mini Parser извлекает все имена функций в коде. Конечно, это только минимальный пример, и это не будет работать на все случаи. Например, вы можете использовать больше символов, чем данные, чтобы определить имя функции.

Если вы заинтересованы в написании парсеров или изучения компиляторов, регулярные выражения являются одними из самых полезных инструментов в существовании!

Языки программирования

Да, вы уже узнали об парсерах в предыдущем моменте. И парсеры нужны для любого языка программирования. Положите его прямо: нет языка программирования в мире, который не полагается на регулярные выражения для их собственной реализации.

Но есть еще: регулярные выражения также очень популярны при написании кода в любом языке программирования. Некоторые языки программирования, такие как Perl, предоставляют встроенные функциональные возможности REGEX: вам даже не нужно импортировать внешнюю библиотеку.

Уверяю вас, если вы становитесь профессиональным кодером, вы будете использовать регулярные выражения в рамках бесчисленных проектов кодирования. И чем больше вы его используете, тем больше вы научитесь любить и ценить силу регулярных выражений.

Синтаксис выделения систем

Вот как выглядит моя стандартная среда кодирования:

Любой редактор кода предоставляет возможности выделения синтаксиса:

• Имена функций могут быть синевыми.
• Строки могут быть желтыми.
• Комментарии могут быть красными.
• И нормальный код может быть белым.

Таким образом, чтение и запись кода становится гораздо более удобным. Более продвинутые идентификаторы, такие как Pycharm, обеспечивают динамические подсказки в качестве дополнительной функции.

Все эти функциональные возможности реализуются с регулярными выражениями, чтобы найти ключевые слова, имена функций и обычных фрагментов кода - и, в конечном итоге, для того, чтобы разбирать код, который будет выделен и обогащен дополнительной информацией.

Лексический анализ в компиляторе

В дизайне компилятора вам понадобится лексический анализатор:

Лексический анализатор должен сканировать и идентифицировать только конечный набор действительной строки/токена/лексемы, который принадлежит языку в руке. Он ищет шаблон, определяемый языковыми правилами.

Регулярные выражения имеют возможность выражать конечные языки, определив шаблон для конечных строк символов. Грамматика, определенная регулярными выражениями, известна как Регулярная грамматика Отказ Язык, определяемый регулярной грамматикой, известен как Регулярный язык Отказ

Как получается, регулярные выражения являются золотым стандартом для создания лексического анализатора для компиляторов.

Я знаю, что это может звучать как очень конкретное приложение, но это важно, тем не менее.

Формальная теория языка

Теоретическая информатика - это основание всех информационных наук. Великие имена в информатике, Алан Turing , Церковь Алонзо и Стивен Клеен все провели значительное время и усилие, изучающие и развивающие регулярные выражения.

Если вы хотите стать отличным компьютерным ученым, вам нужно знать вашу справедливую долю теоретической информатики. Вам нужно знать о Формальная теория языка Отказ Вам нужно знать о регулярных выражениях, которые находятся в основе этих теоретических фондов.

Как регулярные выражения относятся к теории формальной языковой связи? Каждое регулярное выражение определяет «язык» приемлемых слов. Все слова, которые соответствуют регулярным выражению, находятся на этом языке. Все слова, которые не соответствуют регулярным выражению, не находятся на этом языке. Таким образом, вы можете создать точные наборы правил, чтобы описать любой формальный язык - просто используя мощность регулярных выражений.

Куда пойти отсюда?

Регулярные выражения широко используются для многих практических применений. Описанные здесь - только небольшие подмножества, используемые на практике. Тем не менее, я надеюсь, что дал вам взгляд, насколько важно и актуальные регулярные выражения были, и останется в будущем.

Хотите узнать больше о том, как преобразовать свои компьютерные науки на навыки на деньги? Ознакомьтесь с моим бесплатным вебинаром, который показывает вам пошаговый подход для создания вашего процветающего онлайн-кодирования (работает из дома). Вам не нужно иметь какую-либо компьютерную науку. Единственное, что вам нужно, это амбиции, чтобы узнать.

Нажмите: https://blog.finxter.com/webinar-freelancer/

Работая в качестве исследователя в распределенных системах, доктор Кристиан Майер нашел свою любовь к учению студентов компьютерных наук.

Чтобы помочь студентам достичь более высоких уровней успеха Python, он основал сайт программирования образования Finxter.com Отказ Он автор популярной книги программирования Python One-listers (Nostarch 2020), Coauthor of Кофе-брейк Python Серия самооставленных книг, энтузиаста компьютерных наук, Фрилансера и владелец одного из лучших 10 крупнейших Питон блоги по всему миру.

Его страсти пишут, чтение и кодирование. Но его величайшая страсть состоит в том, чтобы служить стремлению кодер через Finxter и помогать им повысить свои навыки. Вы можете присоединиться к его бесплатной академии электронной почты здесь.