Проблема коллапса нейронных сетей при использовании Triplet Loss

Abstract

Настоящая работа посвящена проблеме коллапса нейронных сетей, обучаемых с использованием triplet loss, и способам ее решения. Был сделан вывод о том, что наиболее важным гиперпараметром в этом смысле является способ выбора триплетов. В частности, было установлено, что критическое значение имеет сложность отрицательных примеров. Выбор максимально сложных отрицательных примеров в теории является наиболее информативным и полезным, но на практике приводит к излишней сложности задачи, недостижимости нетривиальных оптимумов и коллапсу сети. Использование же semi-hard mining позволяет сделать сложность задачи, с одной стороны, достаточно высокой для успешного выявления статистических различий в изображениях, и, с другой стороны, достаточно низкой, чтобы избежать коллапса.