Случайный поиск в задаче обучения нейронных сетей

Abstract

В работе рассматривается актуальная проблема, связанная с обучением нейронных сетей. На сегодняшний день широко распространены градиентные алгоритмы обучения. Разработано множество модификаций градиента для повышения качества обучения. Наилучшей модификацией считается метод адаптивного момента [1]. Методы обучения на основе случайного поиска, к сожалению, мало изучены. Это связано, как принято считать, с медленной сходимостью подобных методов. Из-за чего они ранее считались трудно применимыми на практике. Целью данной работы является разработка алгоритма обучения нейронных сетей на основе метода отжига. Представленный в работе алгоритм гарантированно сходится к оптимальному решению. Показано, что с ростом производительности компьютеров появляются большие перспективы для его практического использования. Для проверки эффективности разработанного алгоритма проводится его сравнение (на примере решения задачи сжатия цветных изображений) с методом адаптивного момента