Методы прямого обучения глубоких импульсных нейронных сетей

Abstract

Импульсные или спайковые нейронные сети (SNN) способны моделировать пространственно-временную информацию и имеют широкие перспективы применения для выявления поведения, подобного мозгу. Недавние схемы, такие как предварительное обучение искусственных нейронных сетей (ИНС) или прямое обучение на основе обратного распространения, обеспечивают высокоэффективное контролируемое обучение SNN. Но другая потенциальная проблема заключается в том, что в импульсных нейронных сетях пиковая активность не дифференцируема, что усложняет контролируемое обучение SNN. Поэтому нам нужны новые алгоритмы для прямого обучения глубоких SNN. В настоящей работе предложен эффективный метод пакетной нормализации, зависящий от порога, для алгоритма пространственно-временного обратного распространения