Автомат для запоминания и воспроизведения временных последовательностей

Иногда применительно к мозгу или каким-то моделям говорят об ассоциациях по смежности во времени. Смежность во времени относится к двум событиям и предполагает появление этих событий последовательно и непосредственно одного за другим. В частности, ассоциации по смежности во времени, так называемые "фазовые последовательности", рассматриваются в модели Хебба [20]. Такого же рода ассоциации происходят в описанной выше -сети. Об определенной логической ограниченности и в то же время безусловной полезности парных ассоциаций по времени уже говорилось.

В дальнейшем рассматривается другая схема, когда возникает несколько событий и каждое из них в качестве одной из характеристик имеет время своего появления. Задачей является распознавание и "экстраполяция" во времени совокупности таких событий с учетом информации о времени их появления. Ниже приводится упрощенный вариант, соответствующий часто встречающемуся случаю, при котором события появляются одно за другим равномерно во времени. Этот вариант соответствует, например, случаю, когда на входе системы появляются и должны распознаваться состоящие из произносимых фонем слова.

Рассматривается также возможность реализации этой схемы в двухслойной нейронной -сети. В дальнейшем говорится об одноуровневых временных последовательностях, поскольку описывается процесс, основанный на взаимодействии между элементами только одного любого уровня иерархической модели, например, уровня букв (фонем), уровня слогов или уровня слов. Такое упрощение позволяет сделать некоторые количественные оценки, которые могут оказаться полезными при переходе к более сложной многоуровневой схеме. Кроме того, возможно, что некоторые результаты могут иметь самостоятельное значение. Приводимые ниже результаты относятся к некоторому формальному автомату, логическая связь которого с описанными процессами в моделируемых нейронных -сетях будет рассмотрена ниже.

Задача

Пусть имеется алфавит с конечным числом символов . В экспериментах использовались буквы русского алфавита и цифры. Однако это не принципиально - алфавит может включать любые символы.

При обучении на вход автомата последовательно подаются символы алфавита из произвольных фиксированных выборок. Это могут быть как отрывки текстов, так и случайные последовательности символов. После обучения на вход автомата последовательно подаются эти же или другие выборки символов. Автомат в каждый момент должен предсказывать, какой символ появится на его входе, т. е. оценивать вероятности появления на входе различных символов.

Вероятность "предсказания" автоматом появления на его входе символа должна находиться в прямой зависимости от того, насколько близко совпадает текущая предыстория работы автомата и предыстория его работы, предшествовавшая появлению символа в обучающей последовательности. Например, если в обучающей последовательности выделить отрезок в несколько символов, после которого следует обычно символ и подать этот отрезок на вход обученного автомата, то вероятность "вспомнить" символ в автомате должна быть больше, чем вероятность вспомнить любой другой символ.

Ниже описывается логическая схема такого автомата, даются оценки соответствующих вероятностей и приводятся результаты некоторых экспериментов.

Конечно, поставленную задачу можно более или менее просто решать на вычислительной машине "в лоб" - запомнить все обучающие последовательности и сравнивать путем перебора текущий отрезок входной последовательности со всеми аналогичными отрезками обучающих выборок. Например, если речь идет о словах, можно, используя словарь, предсказывать варианты окончания слова по его началу. Такое предсказание может оказаться полезным в распознающем читающем автомате. Однако подобная схема нас не устраивает по двум причинам. Во-первых, не хочется формулировать какие-либо обязательные требования к точности совпадения предыстории. Во-вторых, во многом определяющей является возможность реализации автомата в нейронной модели.

Схема автомата

На вход автомата могут подаваться символы из алфавита я . Автомат имеет элементов по числу символов алфавита . Все изменения в автомате происходят в дискретные моменты времени - такты. Интервал между тактами равен постоянной величине задержки между подачей на вход автомата смежных символов входного алфавита. Элементы могут находиться в одном из двух состояний - возбужденном и невозбужденном. В каждом такте в возбужденном состоянии может находиться только один элемент. Между символами и элементами имеется однозначное соответствие.

Элемент автомата возбуждается в двух случаях: если на вход автомата подан соответствующий символ входного алфавита либо тогда, когда на входе автомата нет символов и некоторая величина у элемента больше, чем аналогичные величины у других элементов. Если несколько элементов имеют равные максимальные значения величины то возбуждается один из них случайным выбором.

От каждого элемента на каждый в том числе и на себя , имеется по связей с задержками (рис. 14.1). Величина времени задержки связи в тактах равна номеру связи. Каждая связь имеет свой вес Возможны два варианта задания весов связей. В основном рассматриваемом ниже варианте вес каждой связи может принимать только два значения - 0 и 1. Во втором варианте веса связей могут изменяться от О до . Первый вариант будем в дальнейшем называть детерминированным, второй - вероятностным.

Схема автомата приведена на рисунке 14.1.

Рис. 14.1.

Обучение и воспроизведение опыта

Рассмотрим обучение автомата при детерминированном способе задания весов связей. При обучении на вход автомата подается обучающая последовательность символов. При появлении на входе автомата символа в момент возбуждается элемент . Связи, идущие от элемента возбуждаются в моменты . Поскольку за тактов на входе автомата появляется символов и возбуждается элементов, от каждого из которых отходит связей, в каждый момент в автомате возбуждается связей. До обучения веса всех связей равны нулю. При обучении вес связи становится равным единице, если в момент ее возбуждения (с учетом задержки) на входе автомата появился символ и возбудился элемент на который идет связь. Таким образом, опыт автомата отражается в распределении весов связей. Поскольку величина максимальной задержки связи равняется тактам, этой величиной ограничивается длина отражающейся в опыте автомата предыстории его возбуждений.

Воспроизведение запомненного при обучении происходит следующим образом. На вход автомата подается часть обучающей последовательности, под действием которой возбуждаются элементы, соответствующие символам на входе, и связи, идущие от этих элементов. В каждом такте для каждого элемента производится суммирование весов приходящих на него и возбужденных в этом такте связей. В такте, следующем за предъявлением последнего входного символа, т. е. тогда, когда на входе автомата символов нет, возбуждается тот элемент для которого сумма весов приходящих на него возбужденных в этом такте связей максимальна.

Начиная с этого момента дальнейшее возбуждение элементов автомата происходит при отсутствии входных символов. Теперь при правильном воспроизведении последовательность возбуждений элементов автомата соответствует части обучающей последовательности входных символов. Обучающая последовательность может быть воспроизведена с любого места. Этот процесс может быть условно назван процессом ассоциаций по смежности во времени. Первая ассоциация является внешней и зависит от запускающей последовательности символов на входе автомата. Дальнейшие ассоциации внутренние, зависящие от воспроизведения, т. е. от хода процесса в самом автомате.

Очевидно, что максимальная длина предыстории, влияющая на возбуждение элементов в ассоциативном режиме равна т, т. е. времени максимальной задержки по связи, и в конечном счете определяется числом связей между элементами и величинами временных задержек.

Заметим, что человек более или менее успешно запоминает последовательности из 6 - 7 символов. При попытках запоминания и воспроизведения более длительных последовательностей чаще всего возникают проблемы.

Описанный процесс воспроизведения опыта может быть назван ассоциациями по времени появления входных элементов (символов) на фиксированном временном отрезке. Возможен случай, когда поданная на вход автомата последовательность входных элементов не совпадает в точности ни с одним отрезком обучающей последовательности. В этом случае максимальное значение величины будет у того выходного элемента, который обучался наиболее похожей последовательности. Процесс, происходящий в этом случае, может быть назван ассоциацией по сходству временных последовательностей.