Полное описание

Toleu, A. Character-Based Deep Learning Models for Token and Sentence Segmentation = Символьные модели глубинного обучения для графематического анализа / A. Toleu, G. Tolegen, A. Makazhanov. - Текст : непосредственный // V Международная конференция по компьютерной обработке тюркских языков "TurkLang 2017" : труды конференции, Россия,Татарстан, Казань, 18-21 октября 2017 : [в 2-х томах] / научные редакторы: Д. Ш. Сулейманов, А. Р. Гатиатуллин. - Казань : Академия наук Республики Татарстан, 2017. - Т 1. - С. 99-112. - Текст англ. - Библиогр. в конце ст. - ISBN 978-5-9690-0406-1.

ГРНТИ	УДК
16.31.21	81'322.2
28.23.37	004.032.26

Рубрики:
Компьютерная лингвистика
Нейронные сети -- Применение

Кл.слова (ненормированные): графематический анализ -- глубинное обучение -- искусственные нейронные сети -- нейронные сети -- нейросеть
Аннотация: В настоящей работе рассматривается задача графематического анализа, а именно проблемы сегментации текста на предложения и токены. Сегментация текста по предложениям рассматривается как задача нахождения отрывков текста, удовлетворяющих одному или нескольким определениям предложения. Сегментация на токены (токенизация) - задача разбиения текста на операционные единицы, т.е. слова, цифры, знаки препинания и пр. Токенизация является базовой задачей обработки естественного языка (ОЕЯ). Большинство прикладных задач ОЕЯ, отличающихся относительной сложностью, например, машинный перевод, нуждаются в сегментации входного текста по предложениям. Авторы разработали символьные модели глубинного обучения, которые не нуждаются в определении правил или признаков. Единственное в чем есть необходимость - это обучающая выборка, в которой каждый символ помечен IOB меткой. Подобные обучающие выборки легко получить из имеющихся сегментированных и токенизированных корпусов. В случае отсутствия последних обучающую выборку придется создавать вручную, как в прочем, и словари, и правила для других методов. Использование IOB разметки позволяет решать обе задачи одновременно, как одну задачу разметки последовательности, цель которой присвоить каждому символу одну из четырех меток: начало предложения (S), начало токена (T), тело токена (I), или пробел (O). Для решения данной задачи мы разработали три модели, основанные на искусственных нейронных сетях: (1) поступательная сеть; (2) LSTM сеть; (3) двунаправленная LSTM сеть. Разработанные модели используют символьные вложения, т.е. представления символов в виде векторов в многомерном пространстве. Авторы оценивают подход на трех типологически отдаленных языках: английском, итальянском и казахском, используя стандартные метрики точности, покрытия, F-меры и процента ошибки.
Доп. точки доступа:
Сулейманов, Д.Ш.\ред.\
Гатиатуллин, А.Р.\ред.\
Tolegen, G.
Makazhanov, A.
"TurkLang 2017", международная конференция по компьютерной обработке тюркских языков(5 ; Казань)


Нет сведений об экземплярах
Держатели документа:
Государственная публичная научно-техническая библиотека России : 123298, г. Москва, ул. 3-я Хорошевская, д. 17 (Шифр в БД-источнике (KATBW): -923172-262026)

Шифр в сводном ЭК: efeaccf9d49fdb90039330bfe78b2cf3

Заказать
Заказ фрагмента документа ₽