Берт в клинической области
фото Эдвард Ма на Неспособный
Доказано, что контекстуальные слова, которые значительно улучшили производительность модели NLP через Эльмо (Peters et al., 2018), Берт (Devlin et al., 2018) и GPT-2 (Radford et al., 2019). Многие исследования намереваются настроить модель BERT на данных, специфичных для домена. Biobert и Scibert введены в прошлый раз. Хотелось бы продолжить эту тему, так как есть еще 2 исследования BERT Model и применение в клинической области.
Эта история будет обсуждаться о Общедоступные клинические берт -встраивания (Alsentzer et al., 2019) и Clinicalbert: Моделирование клинических заметок и прогнозирование реадмиссии в больнице (Huang et al., 2019), в то время как он пройдет подробности BERT, но сосредоточив внимание на том, как исследователи применяют его в клинической области. В случае, если вы хотите узнать больше о Берте, вы можете посетить это история . Ниже приведены охватываемые:
- Строительство клинического ресурса BERT
- Применение на клинический
Строительство клинического ресурса BERT
Alsentzer et al. Применить 2 ноты Миллона в Mimic-III v1.4 База данных (Johnson et al., 2016). Существуют среди 15 типов примечаний в целом и Alsentzer et al. Совокупно по сводным типам и сводным типам разряда. Сводные данные об выписке предназначены для обучения задачам вниз по течению/точной настройки.
Распределение типа примечания Mimic-III v1.4 (Alsentzer et al., 2019)
Давая эти данные, Scispacy используется для токенизации статьи в предложение. Эти предложения будут переданы в BERT-BASE (оригинальная базовая модель BERT) и Biobert соответственно для дополнительного предварительного обучения.
Клинический BERT строится на основе BERT-базе, в то время как клинический биоберт основан на BioBert. После обучения контекстуального встроения слов, модель классификации линейного уровня сигнала обучена для привлечения задачи по распознаванию названных факторов (NER), DE-идентификации (DE-ID) или классификации настроений.
Эти модели достигают лучшего результата в Mednli, сравнивая с оригинальной моделью BERT. Между тем, вы можете заметить, что нет улучшения для I2B2 2006 и I2B2 2014, которые являются задачами DE-ID.
Сравнение производительности между различными моделями в наборе данных Mednli и I2B2 (Alsentzer et al., 2019))
Применение на клинический
В то же время Huang et al. Также сосредоточьтесь на клинических заметках. Однако основная цель Huang et al. Исследования создают модель прогнозирования, используя хорошее клиническое представление текста. Huang et al. Исследовал, что более низкий уровень реадмиссии хороша для пациентов, таких как экономия денег.
То же, что и Alsentzer et al., Набор данных Mimic-III (Johnson et al., 2016) используется для оценки. Следуя той же практике BERT, контекстуальные встраиваемые слова обучают предсказанию предсказания в масках и прогнозировании следующего предложения. Короче говоря, прогнозирование токена в масках является случайным образом маска и использование окружающих слов для прогнозирования токена маска. Следующее прогноз предложения – это двоичный классификатор, вывод этой модели классифицирует, является ли второе предложение следующим предложением первого предложения или нет.
Обучающие задачи Clincialbert (Huang et al., 2019)
После предварительно обученного контекстуального встраивания слов применяется тонкий настройка процесса к прогнозу реадмиссии. Это бинарная классификационная модель, чтобы предсказать, должен ли пациент быть реадмиссией в течение следующих 30 дней.
Одним из ограничений модели BERT является максимальная длина токена – 512. Длинная клиническая нота будет разделена на несколько частей и прогнозирует ее отдельно. Как только все подразделения будут предсказаны, окончательная вероятность будет агрегирована. Из -за проблемы при использовании максимального или среднего чисто, Huang et al. Объедините их обоих, чтобы иметь точный результат.
Масштабируемая формула прогнозирования радмиссии (Huang et al., 2019)
Наконец, результат эксперимента продемонстрировал, что тонкий настраиваемый клиникберт лучше, чем классическая модель.
Сравнение производительности между моделями (Huang et al., 2019)
Забрать
- Alsentzer et al. использует сигнальный уровень классификационной модели для оценки результата. Это может быть хорошим началом для этого и ожидаемой модели BERT, способной изучать контент. Оценка другой передовой архитектуры модели может обеспечить лучший комплексный результат эксперимента.
- Для длинной клинической ноты Huang et al. использует какой -то математический трюк, чтобы разрешить его. Возможно, он не сможет захватить содержание очень длинные клинические заметки. Возможно, потребуется еще больше подумать о лучшем способе занятия длительным вводом.
Хотите учиться?
Я ученый для данных в районе Бэй. Сосредоточив внимание на современном в науке о данных, искусственном интеллекте, особенно в NLP и платформе, связанных. Не стесняйтесь общаться с я на LinkedIn или следующий за мной на Средний или GitHub Анкет
Чтение расширения
Ссылка
- E. Alsentzer, J. R. Murphy, W. Boag, W. H. Weng, D. Jin, T. Naumann и M. B. A. McDermott. Общедоступные клинические берт -встраивания Анкет 2019
- К. Хуан, Дж. Альтозар и Р. Ранганатх. Clinicalbert: Моделирование клинических заметок и прогнозирование реадмиссии в больнице Анкет 2019
Оригинал: “https://dev.to/makcedward/how-do-they-apply-bert-in-the-clinical-domain-1ipd”