К проблеме автоматического разрешения лексико-грамматической омонимии, порождаемой отсутствием в текстах диактритических знаков

Abstract

Отсутствие диакритических знаков  распространенная проблема при автоматической обработке текстов на языках, чья система письменности включает символы, фонетическое значение которых зависит от наличия или отсутствия диакритического знака. Данная статья описывает подход к обработке русскоязычных текстов, в которых отсутствие диакритики приводит к росту процента омонимичных словоформ в тексте. Описанный подход позволяет отказаться от восстановления всех отсутствующих в тексте диакритических знаков, но при этом учитывать возможную омонимию для последующей корректной обработки и извлечения информации из текста.