Классификация текстов естественного языка и её приложения: дипломная работа / Татьяна Дмитриевна Кордияк; БГУ, Факультет прикладной математики и информатики, Кафедра информационных систем управления; науч. рук. Рубашко Н. К.

Abstract

РЕФЕРАТ Структура и объём дипломной работы 62 страниц, 10 рисунков, 1 приложение, 9 источников Ключевые слова: АВТОМАТИЗИРОВАННАЯ ОБРАБОТКА ТЕКСТОВ, КЛАСТЕРИЗАЦИЯ ОТВЕТОВ, МАШИННОЕ ОБУЧЕНИЕ, СПАМ-ФИЛЬТРАЦИЯ, СЕМАНТИЧЕСКИЙ АНАЛИЗ, DBSCAN, ОЦЕНКА ИНФОРМАТИВНОСТИ, NLP. Текст реферата Объект исследования — текстовые данные, получаемые в процессе проведения массовых анкетных и опросных исследований в образовательной, социологической и маркетинговой областях. Предмет исследования — методы и алгоритмы автоматизированной обработки открытых текстовых ответов в результатах опросов, включая фильтрацию спамовых сообщений, тематическую кластеризацию и автоматическую оценку качества ответов. Цели исследования — разработка, программная реализация и экспериментальная оценка эффективности системы, позволяющей автоматически фильтровать нерелевантные и спамовые ответы, группировать сообщения по смысловой близости и производить предварительную автоматическую оценку их качества. Методы исследования — сравнительно-аналитический обзор современных подходов, проектирование модульной архитектуры системы, реализация и тестирование алгоритмов фильтрации, кластеризации, автоматической оценки, а также проведение экспериментальных исследований с использованием размеченных тестовых данных и вычисление ключевых метрик качества. Результатами являются разработанный программный комплекс, осуществляющий полную цепочку автоматической обработки анкетных текстовых данных; подтверждение высокой точности и эффективности автоматической фильтрации, тематической кластеризации и оценки качества текстов с использованием ансамблей алгоритмов и семантического анализа. Новизна работы заключается в интеграции современных методов машинного обучения, гибридных архитектур фильтрации и кластеризации, поддержке русского и белорусского языков, а также многоуровневой подготовке размеченной тестовой выборки для объективного сравнения методов. По результатам тестирования показано, что применение автоматических подходов позволяет снизить трудозатраты и существенно повысить качество и скорость анализа текстовой информации.