Задача нормализации содержащих общепринятые аббревиатуры и выражения текстов: магистерская диссертация / Татьяна Алексеевна Климук; БГУ, Факультет прикладной математики и информатики, Кафедра дискретной математики и алгоритмики; науч. рук. Соболевская Е. П.

Abstract

Магистерская диссертация 47 с., 3 рис., 8 таблиц, 13 источников. Ключевые слова: ЛЕКСЕМА, ВЫРАЖЕНИЕ, НОРМАЛЬНАЯ ФОРМА, НОРМАЛИЗАЦИЯ ТЕКСТА, ОБРАБОТКА ЕСТЕСТВЕННОГО ЯЗЫКА, ЗАДАЧА КЛАССИФИКАЦИИ, НЕЙРОННАЯ СЕТЬ. Объект исследования – методы нормализации слов и выражений естественного языка. Цель работы – изучить методы нормализации слов и выражений языка, разработать и реализовать алгоритм нормализации текстов. Методы исследования – анализ, эксперимент, тестирование, сравнение. Результаты исследования: ∙ изучены наиболее распространённые подходы к решению задачи нормализации текстов; ∙ выделено две основных подзадачи: 1. классификация выражений; 2. построение нормализованной последовательности; ∙ рассмотрены методы решения выделенных подзадач; ∙ подготовлены данные для тренировки моделей машинного обучения; ∙ получена модель классификации выражений; ∙ обучена модель нормализации слов и выражений.