НОУ ИНТУИТ | Нейрокомпьютерные системы. Лекция 10: Рекуррентные сети как ассоциативные запоминающие устройства

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Опубликован: 13.09.2006 | Уровень: специалист | Доступ: платный | ВУЗ: Новосибирский Государственный Университет

|

Вам нравится? Нравится 20 студентам

| Поделиться |

Поддержать программу

Аннотация: Рассматриваются: нейронная сеть Хопфилда как автоассоциативная память, обучаемая с использованием метода Хебба и проекционного метода; гетероассоциативная память на основе сети Хемминга и двунаправленная ассоциативная память.

Введение

Отдельную группу нейронных сетей составляют сети с обратной связью между различными слоями нейронов. Это так называемые рекуррентные сети. Их общая черта состоит в передаче сигналов с выходного либо скрытого слоя на входной слой.

Благодаря обратной связи при подаче сигнала на входы сети, в ней возникает переходный процесс, который завершается формированием нового устойчивого состояния, отличающегося в общем случае от предыдущего. Если функцию активации нейрона обозначить f(u) , где - взвешенная сумма его возбуждений, то состояние нейрона можно определить выходным сигналом $y=f(u)=f(w_1x_1+\ldots+w_Nx_N)$ . Изменение состояния -го нейрона можно описать системой дифференциальных уравнений

$\begin{align*} \tau_1(\partial u_i/ \partial t)=w_{i1}f(u_1)+\ldots+w_{iN}f(u_N)-u_i-b_i \end{align*}$

для $i=1,2,\ldots, N$ , где b_i - пороговое значение.

Рекуррентной сети можно поставить в соответствие энергетическую функцию Ляпунова

$\begin{align*} E = - (1/2)\sum_j\sum_{i\neq j} w_{ij}y_iy_j + \sum_{i=1,N}(1/R_i) \int_0^xf_i^{-1}(y_i)dy_i + \sum_{i=1,N} b_iy_i. \end{align*}$

Изменение состояния какого-либо нейрона инициализирует изменение энергетического состояния сети в направлении минимума ее энергии вплоть до его достижения. В пространстве состояний локальные энергетические минимумы E представлены точками стабильности, называемыми аттракторами из-за тяготения к ним ближайшего окружения. Благодаря наличию аттракторов, рекуррентные сети могут быть использованы как устройства ассоциативной памяти.

Ассоциативная память играет роль системы, определяющей взаимную зависимость векторов. В случае, когда на взаимозависимость исследуются компоненты одного и того же вектора, говорят об автоассоциативной памяти. Если же взаимозависимыми оказываются два различных вектора, можно говорить о памяти гетероассоциативного типа. К первому классу относится сеть Хопфилда, а ко второму - сеть Хемминга и сеть типа BAM (Bidirectional Associative Memory - двунаправленная ассоциативная память).

Задача ассоциативной памяти сводится к запоминанию обучающих векторов, чтобы при представлении нового вектора система могла сгенерировать ответ - какой из запомненных ранее векторов наиболее близок к вновь поступившему образу. Часто в качестве меры близости отдельных множеств применяется расстояние Хемминга.

При использовании двоичных значений (0,1) расстояние Хемминга между двумя векторами $y=(y_1,y_2, \ldots y_n)$ и $d=(d_1,d_2, \ldots, d_n)$ определяется в виде