” Эй, Сири! Ты можешь разбудить меня завтра утром в 5 утра? » «Конечно, устанавливая будильник в 5 утра. Завтра утром».
Мы прошли долгий путь со времен, где мы должны были сбить наш будильник, чтобы молчать. Теперь только с одним словом мы можем выполнять задачи, от отслеживания нашего ежедневного расписания на получение информации о различных вещах, даже бронировать билеты на самолет и билеты в кино. Но как все это было возможно? Ну, ответ на это лежит в поле, известном как “Обработка естественного языка”. Наконец, мы смогли урожайность данных и информацию, которую мы, как используют люди, в виде натурального языка, и смогли учить машины о том, как использовать эти данные, в виде таких задач, как анализ настроения, Суммирование абзац и шаблон, среди многих других.
Но эй, как это возможно? Я имею в виду, насколько мы знаем машинное обучение, или возможность учить машины делать сами поставленные задачи, требует, чтобы данные были в численном формате. Как мы должны преобразовать слова и предложения в цифры 🤔?
Ну, вот где концепция слов встраивается заходи. Подход Сумка слов (называется лук) использовался, где слова были преобразованы в векторы размером словарного запаса.
Это решает наши проблемы, флану! Подожди, держись! Этот метод в порядке и все, но требуется каждое слово как независимо от одного. Это не поймет, что королева и женщина очень похожи слова. Как мы должны иметь дело с этим тогда ???
Сейчас это где магия Word2Vec приходит в!
Word2Vec.
Томаш Миколов, чешский компьютерный ученый, работающий в области машинного обучения, опубликовал бумагу имени «Распределенные представления слов и фраз и их композиция» , в 2013.
Эта статья революционизировала мир NLP, поскольку он ввел подход, в котором векторы аналогичных типов слов были сгруппированы вместе в векторном пространстве, найдя сходство математически. Это не только позволило нам работать над словами и естественным языком в математической моде, но также уменьшило количество вычислительной мощности, необходимой для обработки векторов естественного языка.
Эта техника впоследствии использовалась RNN или рецидивирующие модели нейронных сетей, для обучения высокосоветованного состояния моделей Art NLP, которые включали такие вещи, как прогнозировать следующий алфавит, учитывая последовательность алфавитов (да, это то, что вы видите, когда есть рекомендация слова, когда вы набираете что-то на своем Телефон). RNNS использовал память из предыдущих алфавитов/слов, чтобы предсказать следующий алфавит/слово в последовательности.
Это привело к даже расширенным моделям, таким как LSTMS и GRUS. Такие модели привели к созданию технологий, о которых мы только что мечтали, в виде Chatbots, таких как Google Assitant, к инструментам перевода, таких как Google Translate, к поиску аудио и многое другое. Последовательность моделей генерации последовательности, разработанные отсюда, где, где, учитывая последовательность ввода, модель будет генерировать выходную последовательность на основе предыдущего слова в выходе, а также всего входного предложения в целом.
Трансформатор
Тем не менее, была одна проблема, которая сохранилась. Модели RNN, особенно в случаях задач, таких как транслитерация и перевод, пришлось посмотреть на все входное предложение для получения транслитерированного или переведенного выхода, и это замедлило весь процесс и потребляет много вычислительной мощности. А вот пришел «Трансформер» Модель Google на спасение.
Модели трансформатора были выпущены в 2017 году Google, и они использовали что-то называемое как «Механизм внимания» Отказ
По сути, учитывая последовательность слов в качестве ввода, модель будет выглядеть только на определенные слова ввода, необходимого для создания следующего слова в выходной последовательности, а не рассматривать всю входную последовательность. Это включено параллелизм И позволил нам тренировать нашу модель/машину быстрее на пути к большему количеству данных, чем ранее, было возможно, и точно при этом.
Технологии продвинулись. С таким усилением технологии обработки естественного языка, все, казалось, идет великолепно. Но подождите секунду, почему он чувствует, что мы не хватаем чего-то? Что-то действительно, действительно, действительно важно 🤔. О, подожди, как насчет контекста? Что если два слова использовались в двух разных предложениях с обоими разными значениями? Скажи: «Я иду в банк, чтобы внести мои деньги». И «Я собираюсь в речную банк для прогулки. «Оба имеют одно и то же слово« банк », но совершенно отличаются в значениях. Пришли захватывающие дух NLP Framework от Google под названием “Берт” Отказ
Берт стоит за Двунаправленные представления энкодера от трансформаторов Отказ
То, что это было, это было привлечено внимание на данное слово в предложении, а также идентифицируя весь контекст других слов в отношении этого слова. Это открыло новое измерение NLP, которое до сих пор было заблокировано до сих пор, и стал источником еще более мощной модели в 2020 году, которая решила проблему внимания (или высказать время, предпринимаемое им) и космической сложности трансформаторов, называется Реформаторы Отказ
Реформатор
Модель реформатора Объединенные две методы для решения проблем внимания и распределения памяти: на местах, чувствительная к на местности (LSH), чтобы уменьшить сложность присутствия над длинными последовательностями, а обратимые остаточные слои для более эффективного использования доступной памяти.
В простых терминах он выделил хеш-значение каждому вводу, а затем забросил значения хеш-хеш, чтобы объединить их, применяя модель внимания к таким кускам, которые значительно снижают вычислительную мощность и необходимую память, а также увеличить параллелизм в Общее. Реверсивные остаточные слои помогли пересчитать вход от входного слоя в сети, по требованию, вместо того, чтобы сохранить функции активации (в основном основную математическую функцию, которая создает нервную сеть) по всей сети, что приводит к тому, что приведет к высокой памяти. Эта архитектура Google открыла множество возможностей даже расширенных задач, использующих NLP, которая была бы чрезвычайно сложной 5-10 лет назад. С этим можно сейчас работать на тяжелых алгоритмах NLP без необходимости многих GPU/TPU и т. Д.
Приложения NLP безграничны, с вариациями, начиная от Chatbots, к анализу настроения и трансляции и транслитерации, даже генерации подписей и суммирования текстов. Мы видим, что Chatbots используются почти повсюду в настоящее время, и Smart Chatbots для деловых целей находятся на высоком спросе в современном мире. Чтобы указать недавнее событие, Facebook запустил «Ненаследованные мемы вызов» Там, где он приглашает людей со всего мира, чтобы построить модель для определения того, передает ли мем в целом любые негативные чувства или нет.
Скорость роста этого поля довольно быстрая и безумна. На этом темпе мы, возможно, сможем развивать и инновации задач, которые мы в настоящее время думаем как невозможны сами. Мы далеки от достижения ценита обработки натурального языка, и мы поправимся лучше и продолжим развиваться в этой области, так как все это только начало того, что мы можем достичь.
Это была моя первая попытка написания технической статьи. Все связанные коды Python и документы вышеупомянутых моделей и технологий были встроены в тексты, и вы можете ссылаться на них все, поскольку все они полностью открытыми источниками. Надеюсь, вы, ребята, понравилось это.
def convey_thanks():
print("Thank you for reading this 🙇♂️")
convey_thanks()
Оригинал: “https://dev.to/spectrumcetb/evolution-of-nlp-f54”