Разработка прототипа системы распределенной обработки данных большого объема : отчет о научно-исследовательской работе (заключительный) / БГУ ; научный руководитель В. П. Кочин

Abstract

Объектом исследования являются распределенные сетевые системы и архитектуры. Цель проведения исследования - расширение функциональных возможностей существующих облачных сервисов БГУ за счет создания макета системы хранения и обработки больших объемов данных. В процессе выполнения работ проводился анализ существующих технологий и программных средств распределенной обработки данных больших объемов, потребностей БГУ в сборе и обработке больших данных. В результате создан прототип системы распределенной обработки данных большого объема. Макет системы развернут в виртуальной сетевой инфраструктуре БГУ, для распределенного хранения и обработки данных используется система Hadoop. В созданном кластере развернуты: система параллельной обработки данных MapReduce, планировщик заданий, обеспечивающий эффективное использование ресурсов кластера, подсистема Hive для обработки запросов к хранимым в Hadoop данным, система управления кластером Ambari. Степень внедрения – макетный образец.