Доцент кафедры теоретических основ информатики Института прикладной математики и компьютерных наук (ИПМКН) ТГУ Михаил Пожидаев занимается созданием библиотеки для обработки слов-омографов в русском языке. Без такой обработки сильно страдает качество аудиокниг. Составление библиотеки проходит на основе работ Алексея Сокирко из Санкт-Петербурга и его проекта по автоматической обработке текста aot.ru.
Омографы – слова, которые совпадают в написании, но различаются в произношении.
Создание библиотеки для обработки омографов напрямую связано с компьютерной лингвистикой. Сейчас во время учебного процесса школьники и студенты с нарушениями зрения часто сталкиваются с рядом неточностей в автоматической обработке текстов на русском языке. Те же проблемы встречают и прочие слушатели аудиокниг. Решением этой задачи занимаются специалисты по компьютерной лингвистике, обучая искусственный интеллект понимать, как нужно правильно произносить то или иное слово.
– Давайте посмотрим на проблему так называемых слов-омографов, которые пишутся одинаково, но читаются по-разному из-за различного положения ударения. Человек при прочтении таких слов ставит ударение на основе собственных знаний о языке. С одной стороны, есть ряд заявлений, что проблема решена, но с другой, даже синтезаторы именитых производителей продолжают ошибаться с выбором ударения, не говоря уже о синтезаторах, находящихся в свободном доступе, – поясняет Михаил Пожидаев.
Изучив проблему, в том числе на собственном опыте (напомним, Михаил вследствие болезни полностью лишился зрения), незрячий программист взялся за работу над утилитой анализа русского языка для обработки омографов. Называется она runyms, исходные тексты по мере их развития выкладываются в открытый доступ.
– Идея утилиты построена на автоматизированном анализе большого массива текстов. Когда текстов много, для разных омографов начинает прослеживаться контекст. Например, если взять слово «потом», то всплывают фразы «обливаясь потом» или «как выяснилось потом». В первом случае это существительное, во втором уже наречие. Попадаются и абсолютно гениальные фразы как, например, «обливаясь потом потом», – рассказывает Михаил Пожидаев.
Вручную такие контексты не собрать – в русском языке почти 30 тысяч слов-омографов. Нюанс библиотеки для их обработки в том, что когда контексты собраны, можно провести повторный анализ тех же самых текстов и посмотреть, не прослеживается ли статистическая закономерность использования тех же самых контекстов, но без морфологической неопределенности. Например, для контекста «как выяснилось» быстро начинают попадаться варианты «как выяснилось позже» или «как выяснилось накануне», в которых слова на месте «потом» уже являются если не однозначно наречиями, то точно не существительными. В случае наречия можно применять альтернативный подход поиска контекста без проверяемого слова вообще.
Идея звучит просто, но при реализации обнаруживается немало проблем чисто вычислительной природы. В строгом академическом смысле объект исследования – методика построения контекстов слов и их наложение на произвольные фрагменты для определения степени близости. Поскольку построение контекстов идет с порождением большого количество комбинаций – просто последовательности слов различной длины, последовательности лемм (слов в словарной форме), слов, обладающих определенными морфологическими свойствами, всё это превращается в необъятную вычислительную задачу, для решения которой потребуется весь арсенал кафедры теоретических основ информатики.
– К счастью, у нас есть достаточный набор средств понизить вычислительную сложность. Если научиться решать такую задачу, этим можно пользоваться и для снятия других типов неоднозначности. Например, для определения склонения дат, денежных сумм и так далее. Для работы с морфологией слов очень помог проект aot.ru Алексея Сокирко и его коллег, – отмечает Михаил Пожидаев.
Рабочая группа Aot.ru разрабатывает программное обеспечение в области автоматической обработки текста. В круг интересов команды в основном входит анализ русского языка. Авторы проекта уверены, что только грамотная декомпиляция языковых механизмов позволит максимально приблизить человеческий язык к современному компьютеру. C 2002 года рабочая группа Aot.ru выкладывает свои разработки с лицензией LGPL. Как итог – каждый может бесплатно использовать созданные библиотеки в своих программах, в том числе и в коммерческих приложениях.