Рубрики
Без рубрики

Анализ тон твитов с керасом

Это написание сеанса кодирования в прямом эфире из моего шоу «ML для всех» транслируется на IBM Devel … Tagged с помощью Python, MachineLearning, Keras, настроения.

ML для всех (4 серии части)

Это написание сеанса кодирования в прямом эфире из моего шоу «ML для всех» транслируется на IBM Developer Live Streaming Twitch Channel каждый вторник.

Эта сессия была попыткой обучить нейронную сеть для обнаружения настроений твитов. В частности, я хотел, чтобы он мог обнаружить радостные твиты для моей записи #GftHackathon:

Радостные твиты

Мэтт Гамильтон ・ 3 июня ’20 ・ 4 мин Читает

Это последнее из предыдущей сессии, в которой я использовал существующую службу анализа настроений, IBM Watson Tone Analyzer для обнаружения настроений. Использование этой услуги было приятно и быстро, но это позволило мне отправлять только один твит за один раз, что привело к тому, что сервис был довольно медленным, или я попадал в пределы скорости обслуживания. Так что это начало создания моей собственной более простой версии этой услуги.

Живое кодирование моей записи Dev/GFTW Hackathon

Мэтт Гамильтон ・ 2 июня ’20 ・ 1 мин ЧИТАЙТЕ

Сессия резюме

На этом сеансе я использовал IBM Watson Studio для анализа содержимого около 800 000 твитов, которые я загрузил из Twitter. Каждый твит содержал одно из слов: радость, гнев, злой, счастливый, грустный.

Цель состояла в том, чтобы создать и обучить нейронную сеть, используя кера, высокоуровневый Python API, чтобы узнать, как может выглядеть «радостный» твит.

Основными этапами процесса были:

  1. Загрузите выбор твитов, всего около 800 000 человек из API Twitter’s API
  2. Классифицируйте эти твиты, чтобы они были «радостными» или «злыми». Я использовал довольно наивное грубое регулярное матч для выражения для этого.
  3. Назнайте твиты, используя токенизатор в пакете предварительной обработки Kera, который разделяет слова и снижая их
  4. Загрузите предварительно обученный «вектор слов», который представляет слова в твитах как 100-мерный вектор.
  5. Создайте нейронную сеть, состоящую из двух слоев LSTM (идеально подходит для изучения последовательностей слов) с выброшенными слоями, чтобы предотвратить переживание.
  6. Загрузите слово вектор сверху в уровень встраивания сети
  7. Обучить сеть на обработанные твиты
  8. Оценить производительность сети с помощью нескольких примеров реального мира

Питона ноутбука

Full Python Notebook для этого сеанса находится в репозитории GitHub для этого сеанса:

Ibmdeveloperuk/ml-for-everyone

Ресурсы, записные книжки, активы для ML для всех Twitch Stream

Вывод

Ну, казалось, это сработало. Глядя на примеры, на которых мы протестировали, мы получили:

«Я люблю мир»: 53% радости; 47% гнев «Я ненавижу мир»: 22% радость; 78% гнев «Я не доволен беспорядками»: 45% радость; 55% гнев «Я люблю мороженое»: 63% радость; 37% гнев

Следующими шагами будет принятие этой обученной модели и развернуть ее в качестве услуги, чтобы мы могли затем запросить ее из приложения Joyful твитов.

Надеюсь, вам понравилось видео, если вы хотите поймать их вживую, я транслирую каждую неделю в 2 часа дня в Великобритании на канале IBM Developer Twitch:

https://developer.ibm.com/livestream

ML для всех (4 серии части)

Оригинал: “https://dev.to/hammertoe/analysing-the-tone-of-tweets-with-keras-224m”