Анализ тональности текстов с помощью нейронных сетей, использующих механизмы внимания

Abstract

Задача анализа тональности текстов является важной задачей из сферы автоматической обработки текстов, благодаря ее широкой применимости в практических задачах. Существует множество различных методов и подходов к решению данной задачи, в том числе придуманных и до эры глубокого обучения. В данной работе рассматривается задача бинарной классификации текстовых отзывов о фильмах из базы данных IMDb [1]. В первой части работы проводится сравнение производительности и результатов рекуррентных нейронных сетей с аналогичными архитектурами с использованием механизмов внимания. Во второй части проведено исследование влияния различных приемов при дообучении языковой модели BERT на значения метрик и время обучения сетей