Нейрокомпьютинг и его применения в экономике и бизнесе
[+]
Опубликован: 25.12.2006 | Доступ: свободный | Студентов: 1894 / 408 | Оценка: 4.43 / 4.13 | Длительность: 15:29:00
Тема: Искусственный интеллект и робототехника
Специальности: Программист, Экономист
Теги: CNAPS, java, агенты, алгоритмы, анализ, длина маршрута, задача коммивояжера, задачу аппроксимации, интеллект, искусственная жизнь, кластеры, компоненты, логика, метод обратного распространения ошибки, минимальный базис, нейронные сети, нейросетевой алгоритм, нечеткая логика, обучение, поиск, рекуррентная сеть, серверы, сеть хопфилда, статистика, теория, хромосомы, эффективность
Лекция 5:

Рекуррентные сети: Ассоциативная память
A
|
версия для печати
< Лекция 4 || Лекция 5: 1234567 || Лекция 6 >

Активная память

Выделение сигнала из шума

Разобучение действительно улучшает запоминание случайных образов. Однако, например, для коррелированных образов доводы, приведенные в предыдущем разделе теряют свое значение. Действительно, если эти образы, например, являются слегка зашумленными вариантами одного образа-прототипа \sigma^{pro}. Нетрудно показать, что в этом случае единственной зеркальной парой аттракторов в сети с Хеббовскими связями окажется пара \pm\sigma^{pro}. Это означает, что вся память, которой обладает сеть, оказывается ложной. Отсюда следует, в частности, что состояниям ложной памяти далеко не всегда соответствуют неглубокие энергетические минимумы.

Этот пример показывает, что ложная память иногда не бесполезна, а преобразуя заучиваемые векторы, дает нам некоторую важную информацию о них. В данном случае сеть как бы очищает ее от случайного шума. Подобное явление характерно и для обработки информации человеком. В известном психологическом опыте людям предлагается запомнить изображения, каждое из которых представляет собой обязательно искаженный равносторонний треугольник. При контрольной проверке на значительно более широком наборе образов, содержащийся в них идеальный равносторонний треугольник опознается испытуемыми как ранее виденный. Такое явление называется выработкой прототипа. Именно эта аналогия использовалась нами при введении обозначения \pm\sigma^{pro}.

Минимальный базис

Состояния ложной памяти могут иметь и другие, не менее интересные формы. Рассмотрим, например, вариант модели Хопфилда, в котором состояния нейронов принимают значения 0 или 1. Подобная модель легко переформулируется в оригинальную, для которой состояниями являются спиновые переменные \pm1, путем переопределения порогов. Мы, однако, будем считать, что в нашей сети пороги всех нейронов отрицательны и бесконечно малы. Иначе говоря, динамика состояния нейрона определяется соотношениями

\left\{ \begin{array}{l} 1, \sum_j w_{ij}\nu_j\geq0\\ 0, \sum_j w_{ij}\nu_j>0, \end{array} \right.

Рассмотрим следующий набор векторов:

v^1=(0,0,1,1,1,0,1),
v^2 = ( 0, 1, 0, 1, 0, 0, 1),
v^3= ( 1, 0, 0, 1, 0, 1, 1),
который используем для построения Хеббовской матрицы связей
w_{ij}=\sum^{3}_{n=1}(2\nu^n_i-1)(2\nu^n_j-1); i\neq j, w_{ij}=0; i,j=1,\ldots,7
w=\left\| \begin{array}{ccccccc} 0&-1 &-1 &-1 &-1 &3 &-1\\ -1 &0 &-1 &-1 &-1 &-1 &-1\\ -1 &-1 &0 &-1 &3 &-1 &-1\\ -1 &-1 &-1 &0 &-1 &-1 &3\\ -1 &-1 &3 &-1 &0 &-1 &-1\\ 3 &-1 &-1 &-1 &-1 &0 &-1\\ -1 &-1 &-1 &3 &-1 &-1 &0 \end{array} \right\|
сети Хопфилда. Если найти все аттракторы этой сети (что нетрудно сделать в виду небольшой размерности пространства его состояний 27=128 ), то обнаружится, что помимо векторов , v^1, v^2, v^3 стационарными являются состояния, описываемые векторами
b^1 = ( 1, 0, 0, 0, 0, 1, 0),
b^2 = ( 0, 1, 0, 0, 0, 0, 0),
b^3 = ( 0, 0, 1, 0, 1, 0, 0),
b^4 = ( 0, 0, 0, 1, 0, 0, 1).

Векторы b^i сами по себе замечательны. Их единичные компоненты помечают кооперированные нейроны, то есть те из них, которые одновременно активны или одновременно пассивны во всех запоминаемых векторах v^n. Если считать, что компоненты векторов v^n кодируют некоторые признаки, то кооперированность некоторых нейронов означает, что некоторые признаки избыточны и могут быть заменены одним. Например, если в нашем примере первый нейрон кодирует такое свойство, как пол, а шестой - наличие бороды, то практически со стопроцентной вероятностью они могут быть заменены одним нейроном, о чем сигнализирует вектор b^1.

Векторы b^i, кроме того, образуют так называемый минимальный базис. А именно, это минимальное число векторов, с помощью линейной комбинации которых могут быть представлены все запоминаемые векторы

v^n=\sum_{l=1}^L\alpha_{nl}b^l, n=1,\ldots ,P

Кроме того, все стационарные состояния сети, в Хеббовские связи которых записаны векторы v^n, также обязательно должны разлагаться по векторам минимального базиса. Это означает, что если некоторые нейроны кооперированы в векторах v^n, то они должны кооперироваться и во всех аттракторах сети.

Используя векторы минимального базиса можно получить новый вид недиагональных элементов Хеббовской матрицы связей

w_{ij}(v)=P\sum_{l=1}^L b_i^lb_j^l+\sum^L_{k=1}\sum^L_{m=1}w_{km}(\alpha)b_i^kb^m_j,
где
w_{km}(\alpha)=\sum_{n=1}^P(2\alpha_{nk}-1)(2\alpha_{nm}-1), k\neq m, w_{kk}(\alpha)=0.

С помощью этого представления можно получить необходимые условия стационарности состояний сети. В частности, условие того, что сеть будет генерировать в качестве аттракторов векторы минимального базиса, легко формулируется в терминах матричных элементов w_{km}(\alpha). Именно, l -му вектору базиса b^i будет соответствовать стационарное состояние тогда и только тогда, когда все недиагональные элементы l -й строки матрицы w_{km}(\alpha) будут строго отрицательными.

Для рассмотренного нами выше примера эта матрица имеет вид

w(\alpha)=\left\| \begin{array}{cccc} 0&-1&-1&-1\\ -1&0&-1&-1\\ -1&-1&0&-1\\ -1&-1&-1&0\\ \end{array} \right\|
из которого с очевидностью следует стационарность всех векторов минимального базиса.

Дальше >>
< Лекция 4 || Лекция 5: 1234567 || Лекция 6 >

Вопросы и ответы

вопросов: 0