Рекуррентные сети на базе персептрона

Рекуррентная сеть Эльмана

Рекуррентная сеть Эльмана характеризуется частичной рекуррентностью в форме обратной связи между скрытым и входным слоем, реализуемой с помощью единичных элементов запаздывания . Обобщенная структура этой сети представлена на рис. 3.

Каждый скрытый нейрон имеет свой аналог в контекстном слое, образующем совместно с внешними входами сети входной слой. Выходной слой состоит из нейронов, однонаправленно связанных только с нейронами скрытого слоя, подобно сети RMLP. Обозначим внутренний вектор возбуждения сети (в его состав входит также единичный сигнал поляризации), состояния скрытых нейронов - , а выходные сигналы сети - . При таких обозначениях входной вектор сети в момент имеет форму

Веса синаптических связей первого (скрытого) слоя сети обозначим , a второго (выходного) слоя - . Если взвешенную сумму -го нейрона скрытого слоя обозначить , а его выходной сигнал - , то

увеличить изображение
Рис. 3. Структура сети Эльмана

Веса образуют матрицу синаптических связей скрытого слоя, а - функция активации -го нейрона этого слоя. Аналогично можно обозначить взвешенную сумму -го нейрона выходного слоя , а соответствующий ему выходной сигнал сети - . Эти сигналы описываются формулами

В свою очередь, веса образуют матрицу , описывающую синаптические связи нейронов выходного слоя; - функция активации -го нейрона выходного слоя.