Рекуррентные нейронные сети на мемристорах / Тарков М.С

2019 Тезисы докладов XIV РОССИЙСКОЙ КОНФЕРЕНЦИИ ПО ФИЗИКЕ ПОЛУПРОВОДНИКОВ «ПОЛУПРОВОДНИКИ-2019»  
Предложен подход к построению устройств электронной ассоциативной памяти − двунаправленной ассоциативной памяти (ДАП) и ассоциативной памяти на основе сети Хопфилда − с настраиваемыми весами на основе резисторных мостов, содержащих мемристоры [1]. Эти устройства памяти реализованы как сети осцилляторов, управляемых фазой. Эксперименты, использующие LTSPICE-модели, показали, что для бинарных изображений размером 3 × 3 предложенные сети сходятся к эталонным изображениям (и, соответственно, к их
more » ... версии) при случайном однородном распределении значений двоичных пикселей входных изображений. Во всех экспериментах отсутствовали ложные состояния, несмотря на то, что число эталонных образов превышало классические оценки для традиционных сетей Хопфилда и ДАП. На основе аналогии с осцилляторными сетями выполнено исследование влияния сокращения числа связей на поведение автоассоциативной сети Хопфилда [2]. Показано, что исключение связей с весами, модули которых строго меньше максимального для данного нейрона, существенно повышает качество работы сети. При этом допустимая доля искаженных элементов входного вектора сети, фильтруемых сетью, возрастает с увеличением его размерности. Использование бинарных и многоуровневых мемристоров при аппаратной реализации нейронных сетей вызывает необходимость квантования их весовых коэффициентов. Исследовано влияние числа уровней квантования весов сети Хопфилда на ее информационную емкость и устойчивость к искажениям входных данных [3]. Показано, что при числе градаций весов порядка 20 емкость сети Хопфилда-Хебба с дискретными весами приближается к емкости ее варианта с непрерывными весами. Для проекционной сети Хопфилда подобного результата удается достичь лишь при числе градаций порядка 100. Эксперименты показали, что: 1) бинарные мемристоры следует использовать в сетях Хопфилда-Хебба, редуцированных путем обнуления всех весов, модули которых строго меньше максимального для данной матрицы весов; 2) в проекционных сетях Хопфилда с дискретными весами следует использовать многоуровневые мемристоры с числом градаций (уровней) значительно больше двух, причем конкретное число уровней зависит от размерности хранимых эталонных векторов, их конкретного набора и допустимого уровня шума во входных данных. Аппаратная реализация ассоциативной памяти Хемминга основана на использовании кроссбара с бинарными мемристорами и КМОП-схемотехники. Бинарные мемристоры с максимальным сопротивлением соответствуют компонентам эталонного вектора, имеющим значение -1, а мемристоры с минимальным сопротивлением соответствуют компонентам, имеющим значение +1. Показано, что кроссбар на бинарных мемристорах реализует свойства первого слоя сети Хемминга, согласно которым выходные сигналы нейронов первого слоя неотрицательны. При этом выходной сигнал максимален для нейрона, у которого вектор весов наиболее близок к входному вектору. Для заданной размерности эталонного вектора установлена связь между максимальным и минимальным значениями сопротивлений мемристоров. Эта связь гарантирует корректность функционирования первого слоя сети Хемминга. Моделирование предложенной схемы сети Хемминга в LTSPICE подтвердило ее работоспособность.
doi:10.34077/semicond2019-422 fatcat:lbinpunvnrb53i7cvhdxnbidqy