Выделение ключевых слов текста на стороне клиента

Abstract

Выделение ключевых слов в текстах является актуальной и исследуемой в данный момент задачей. Оно позволяет грамотно организовать категоризацию документов, а также улучшить качество поиска информации. В данный момент большое внимание уделяется алгоритмам на основе рекуррентных нейронных сетей; большой уклон сделан на обработку на стороне сервера. Но вместе с этим существуют и некоторые трудности: обработка на стороне третьих сервисов может быть дорогой, а в случае работы с конфиденциальными данными, может быть и вовсе недопустимой. Более того, на данный момент многие компании предоставляют интерфейс программирования приложений для выделения ключевых слов в текстах только на нескольких языках. Выделение ключевых слов на стороне клиента призвано решить эти проблемы и найти разумный компромисс между точностью, простотой использования и поддержкой множества языков. В данной работе будет предложен алгоритм для выделения ключевых слов на стороне клиента и проведен его сравнительный анализ с известными аналогами на корпусе, собранном из 27 тысяч заметок англоязычного ресурса WordPress.