Использование сверточных вейвлет-блоков в задаче классификации изображений

Abstract

На примере задачи классификации изображений и вейвлет-семейства CDF-9/7 показано, как можно внедрить дискретное вейвлет-преобразование в модель компьютерного зрения, сохранив возможность ее обучения методом обратного распространения ошибки. Предложен и успешно встроен в ряд моделей нейронных сетей сверточный вейвлет-блок, который сочетает в себе обработку признаков входного сигнала на нескольких уровнях вейвлет-разложения и позволяет уменьшить исходный размер модели на 30 – 40 %, обеспечивая при этом сопоставимое качество. Продемонстрирована возможность эффективно выполнять дискретное вейвлет-преобразование на графическом процессоре при использовании лифтинг-схемы. Реализация вейвлет-преобразования построена на поэлементных операциях сложения и умножения, что позволяет при необходимости экспортировать обученную модель в требуемый формат для запуска на новых данных без дополнительных сложностей. В качестве базовых моделей использованы архитектуры ResNetV2-50, MobileNetV2 и EfficientNetV2-B0. Для проведения экспериментов подготовлен набор данных на основе подвыборки категорий датасета LSUN.