Разработка агрегатора тематических электронных ресурсов

Abstract

С развитием технологий модернизировались методы получения информации, а с появлением сети Интернет возникла необходимость в нахождении методов классификации и группировки информации. Решение этих задач требовалось как при создании первых поисковых машин, так и сейчас для работы индексаторов, агрегаторов и более продвинутых поисковых машин. Но если в начале 1990-х годов использовали более простые алгоритмы решения задачи поиска и классификации, которые позволяли эффективно обрабатывать малый объем данных того времени, то с увеличением объема данных в сети Интернет алгоритмы пришлось модернизировать. В работе были разработаны алгоритмы решения задач сбора данных из различных электронных ресурсов, извлечения информации из полученных данных, а также задачи кластеризации и классификации объектов. С помощью разработанных алгоритмов были получены агрегатор новостных сюжетов и агрегатор товаров по его названию и изображению