Рубрики
Без рубрики

Как декодировать выходы в NLP

В этом видео мы охватим три способа декодировать прозвуки вывода из моделей NLP – Gree … Помечено Python, глубокое обучение, машинное обучение, наука о данных.

В этом видео мы охватываем три способа декодировать вероятности вывода из моделей NLP – жадного поиска, случайной выборки и поиска луча.

Обучение того, как декодировать выходы могут внести огромную разницу в диагностике проблем модели и улучшения качества вывода текста – и в качестве дополнительного бонуса это супер легко.

Одной из часто упущенных извлеченных деталей генерации последовательности в обработке натурального языка (NLP) является то, как мы выбираем наши выводные токены – в противном случае известен как декодирование.

Вы можете думать – мы выбираем токен/слово/символ на основе вероятности каждого токена, назначенного нашей моделью.

Это наполовину True – в задачах на основе языка мы обычно создаем модель, которая выводит набор вероятностей на массив, где каждое значение в этом массиве представляет вероятность определенного слова/токена.

На данный момент может показаться логичным, чтобы выбрать токен с максимальной вероятностью? Ну, не на самом деле – это может создать некоторые непредвиденные последствия – как мы скоро увидим.

Когда мы выбираем токен в машинном сгенерированном тексте, у нас есть несколько альтернативных методов для выполнения этого декодирования – и опций для изменения точного поведения.

В этом видео мы рассмотрим три различных метода для выбора нашего выходного токена, это:

- Greedy Decoding
- Random Sampling
- Beam Search

Оригинал: “https://dev.to/jamescalam/how-to-decode-outputs-in-nlp-3lnn”