Цвето-ориентированная ResNet с механизмом внимания для задач поиска изображений одежды

Abstract

В данной работе рассматривается задача поиска схожих изображений товаров (одежды) электронной коммерции. Несмотря на высокую эффективность современных архитектур сверточных нейронных сетей, таких как ResNet-101, они часто недостаточно учитывают цветовые характеристики изображения, фокусируясь в первую очередь на текстуре и форме объектов, что является недостаточным в сфере электронной коммерции, где цвет играет ключевую роль. Для решения этой проблемы в данной работе предлагается новая гибридная архитектура, объединяющая ResNet-101, генеративный модуль усиления цвета и механизм пространственно-канального внимания. Цветовая подсистема усиливает хроматические признаки и интегрирует их с семантическими признаками, извлекаемыми ResNet-101, тогда как модуль внимания избирательно акцентирует релевантные характеристики одежды. Такая комбинация позволяет формировать представления, одновременно учитывающие структуру, текстуру и цвет. Ключевым нововведением является специализированный модуль для извлечения и анализа цветовых характеристик, который обеспечивает явное кодирование цветовой информации в итоговый дескриптор изображения. Предложенная архитектура превосходит базовые ResNet и модели с одним лишь механизмом вниманием по точности поиска в среднем на 7% mAP и 6% Top-10 Accuracy