НОУ ИНТУИТ | Инструктивный синтез нанометровых вычислительных структур. От задач к вычислительным моделям и структурам . Лекция 5: Нейрофизиологический и формально-логический базис нейроподобных вычислений

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Опубликован: 03.04.2013 | Доступ: свободный | Студентов: 354 / 30 | Длительность: 34:17:00

Темы: Искусственный интеллект и робототехника, Программное обеспечение, Нанотехнологии

Специальности: Разработчик аппаратуры

Теги: наноэлектроника, нейрокомпьютеры, нейроны, отказоустойчивость, нейрокибернетика

|

Вам нравится? Нравится 21 студенту

| Поделиться |

Поддержать курс

| Скачать электронную книгу

4.4. Перцептрон Ф. Розенблатта и теория распознавания образов

В модели формального нейрона Мак-Каллока - Питтса отражены практически все известные на тот момент структурно-функциональные особенности работы реальных нейронов. Исключение составляет только зависящий от многих внешних факторов цифро-аналоговый механизм диффузии медиатора через синаптическую щель. В результате на основе формальных нейронов Мак-Каллока - Питтса удалось исследовать функциональную устойчивость по отношению к "случайным" флуктуациям порогов нейронов, составляющих сеть. Согласно [71] такой подход относится к монотипному, когда свойства образующих нервную сеть элементов полностью заданы как системой аксиом, так и топологией сети. В рамках генотипного подхода полностью заданными считаются только свойства составляющих элементов (в данном случае нейронов), но структура сети определена только частично с помощью ограничений на функции распределения вероятностей. Поэтому в рамках генотипного подхода можно исследовать только классы систем, а не отдельных представителей этого класса, а исследуемыми являются свойства, вытекающие из заданных законов организации, а не отдельные функции, реализуемые конкретной системой.

Второе существенное отличие монотипных и генотипных моделей нервной системы состоит в методе определения функциональных характеристик: в первом случае функциональные свойства постулируются и используются в качестве исходных данных, а во втором случае исходной является физическая система, представленная статистическими свойствами класса, а ее функциональные свойства являются конечной целью исследований. Именно второй подход адекватен условиям психофизиологических исследований, когда на первый план выходят не индивидуальные особенности нервной системы особи, а общие закономерности адаптации и обучения, свойственные классам таких особей, которые репродуцированы генетическими методами, подверженными вариационным изменениям. Здесь, так же как и при переходе от механизмов локальной деполяризации к возбуждению всего нейрона, проявляется структурно-функциональный полиморфизм, но уже при переходе с физиологического на психологический уровень исследования живых систем.

При создании перцептрона как генотипной модели реальных нейронов и сетей Ф. Розенблатт исходил из более поздних достижений не только нейрофизиологии, но и психологии [71]:

В теории нейронов и нервных импульсах, где уже имелись достаточные основания представлять нервные сети системой из большого числа импульсных генераторов с одним и более выходами каждый, которые осуществляют импульсно-кодовую модуляцию на основе принятия решений, зависящих от серий сигналов, поступающих на каждый из входных синапсов, и от собственного внутреннего состояния.
В представлениях о структуре сети, где стало ясно, что в нервной системе сочетаются возможности узкоспециализированных и потому строго упорядоченных топологий со слабо упорядоченными, ассоциативно управляемыми образованиями. Топология первых, как правило, строго коррелированна со структурой управляемого объекта, как это имеет место в зрительных, слуховых и моторных трактах. Топология вторых задается направленными градиентами, преимущественными направлениями и статистическими распределениями длин волокон для различных типов клеток, что типично для коры больших полушарий и ретикулярной формации.
В представлениях о локализации функций, благодаря которым удалось выделить в нервной системе сенсорную (чувствительную), моторную (двигательную) и ассоциативную составляющие. На тот период наиболее достоверно функциональная организация была установлена для сенсорных и моторных каналов с характерными локусами в коре, коррелирующими с "восприятием" сигналов рецептивного поля и управлением определенными группами мышц соответственно.
В представлениях о врожденных вычислительных механизмах, которые на инстинктивном уровне координируют восприятие и двигательную активность, что позволяло говорить об узкоспециализированных замкнутых контурах управления, работающих на принципах сервомеханизмов, препятствуя повышению уровня активности при эпилептических припадках или снижая уровень чувствительности при болевых шоках и т. п.
В представлениях об обучении и забывании, которые напрямую зависят от организации памяти живых систем, ответственной за тесно переплетенные между собой функции, с одной стороны, хранения и воспроизводства накопленного опыта, а с другой стороны - его модификации в процессе обучения.
В представлениях о роли "полевых" эффектов в восприятии, где был найден компромисс между сторонниками атомистического и гештальт-подхода. В результате было признано, что любое чувственное восприятие зависит не только от свойств стимула или распознаваемого образа, но и от структуры сенсорного поля, в котором реализуется данное восприятие.
В представлениях о механизмах выбора в восприятии и поведении, которые предполагают многоальтернативность решения стоящей задачи, а значит, и основанный на психологической "установке" избирательный характер восприятия. Сама психологическая "установка" на тот период времени уже связывалась с волнами в нервной системе, регулирующими подпороговые уровни возбуждения и торможения.
В представлениях о механизмах формирования сложных последовательностей актов поведения, которые невозможно реализовать без однозначных "программ", которые на тот момент реализовывались через последовательности избирательных установок или предпочтений в сложных иерархических структурах, где операции нижнего уровня выполняются под управлением установки, сформированной на более высоком уровне.

Для формализации такой психофизиологической модели нервной системы Ф. Розенблатт использовал следующие определения [71]. При этом определения, задающие правила функционирования составляющих перцептрон элементов и генерируемых ими сигналов, были распределены по группам:

Сигналы и передающие сети:
Определение 1. Под сигналом понимается любая измеримая переменная величина (напряжение, интенсивность светового потока, концентрация химических реагентов и т. п.), измеряемыми параметрами которой являются как минимум амплитуда, время и местоположение.

Определение 2. Генератором сигнала считается любой элемент или устройство $u_{i}$ произвольной физико-химической, нейрохимической или молекулярно-биологической природы, которые способны производить выходные сигналы .

Определение 3. Производящей функцией сигнала является любая функция, которая определяет закон изменения амплитуды сигнала, производимого генератором сигнала.

Определение 4. Связью (соединением) является канал произвольной физико-химической, нейрохимической или молекулярно-биологической природы, с помощью которого сигнал от одного генератора сигналов (начальный элемент или вход) может быть передан другому генератору (конечный элемент или выход). Связь $c_{ij}$ характеризуется своими начальными $u_{i}$ и конечными $u_{j}$ элементами и передающей функцией, которая определяет амплитуду сигнала $c ^{*}_{ij} (t)$ , поступившего на конечный элемент (выход), как функцию амплитуды и момента появления сигнала, генерируемого начальным элементом (входом).

Определение 5. Передающая сеть представляет собой систему соединенных в сеть генераторов сигнала.
Простейшие элементы, сигналы и состояния перцептрона:
Определение 6. Сенсорным элементом ( -элементом) является любой чувствительный элемент, который вырабатывает сигнал являющийся функцией входной энергии (света, звука, давления, тепла, электричества и т. п.). Входной сигнал -элемента , который поступил из внешней среды в момент времени , обозначается $c ^{*}_{W(t)}(t)$ ; сигнал, который вырабатывается элементом в момент времени $t - s^{*}_{i}(t)$ .

Определение 7. Простым -элементом считается тот, который выдает выходной сигнал , если входной сигнал $c*_{W} \ge \chi_{i}$ , и в противном случае, где $\chi_{i}$ - порог срабатывания -элемента $s_{i}$ .

Определение 8. Ассоциативным элементом ( -элементом) называется генератор сигнала (обычно логический элемент решающего типа) с входными и выходными связями $c_{ij}$ , по которым поступают сигналы $c^*_{ij}$ . Сигнал, вырабатываемый -элементом $a_{j}$ , обозначается $a^{*}_{j}(t)$ .

Определение 9. Простым -элементом называется логический решающий элемент, который выдает выходной сигнал $a ^{*} = +1$ , когда алгебраическая сумма его входных сигналов $а_i \ge \chi_{i} > 0$ , и в противном случае. Если $a ^{*}_i = +1$ , то говорят, что -элемент является активным.

Определение 10. Реагирующим элементом ( -элементом) называется генератор сигнала, имеющий входные связи и выдающий сигнал, который поступает во внешнюю сеть (окружающую среду или другую систему). Сигнал, вырабатываемый $r_{i}$ -элементом, обозначают $r ^{*}_{i}$ .

Определение 11. -элемент является простым, если он выдает сигнал $r _{i}^* = +1$ , когда сумма его входных сигналов является строго положительной, и сигнал $r _{i}^* = -1$ , когда сумма его входных сигналов является строго отрицательной. Если сумма входных сигналов равна нулю, выход -элемента можно считать либо нулевым, либо неопределенным (в частности, колеблющимся возле нулевого уровня).

Определение 12. Передающие функции связей в перцептроне зависят от двух параметров: времени передачи импульса по каналам связи $\tau_{ij} _{}$ и коэффициента (веса) связи $v_{ij}$ . Передающая функция связи $c_{ij}$ от элемента $u_{i}$ к элементу $u_{j}$ имеет вид:

$c^{*}_{ij}(t)=f [v_{ij}(t), u^{*}_{i}(t-\tau_{ij})],$

а веса могут быть постоянными или переменными (зависящими от времени), когда вес является функцией памяти.

Определение 13. Активное состояние сети в момент определяется совокупностью сигналов $u^{*}_{i}$ , выдаваемых всеми генераторами сигналов в этот момент .

Определение 14. Состояние памяти сети характеризуется конфигурацией весов всех связей с переменным весом в определенный момент времени.

Определение 15. Фазовым пространством сети называется пространство всех возможных состояний памяти данной сети. Состоянию памяти системы в каждый момент времени соответствует точка в фазовом пространстве, а траектория этой точки в фазовом пространстве описывает историю системы. Фазовое пространство является -мерным эвклидовым, если сеть имеет связей с переменным весом и каждой связи соответствует своя координата.

Определение 16. Коэффициенты соединения (веса) $v_{ij}$ для всех пар элементов $u_{i}$ и $u_{j}$ образуют матрицу взаимодействия сети, состоящей из -, - и -элементов. Если связь от элемента $u_{i}$ к элементу $u_{j}$ отсутствует, считается $v_{ij} = 0$ . Задание матрицы взаимодействия эквивалентно заданию точки в фазовом пространстве.
Перцептроны и их классификация:
Определение 17. Перцептрон представляет собой сеть, состоящую из -, - и -элементов, с переменной матрицей , определяемой последовательностью прошлых активностей сети.

Определение 18. Логическое расстояние от элемента $u_{i}$ до элемента $u_{j }$ равно наименьшему числу связей, с помощью которых сигнал от элемента $u_{i}$ можно передать элементу $u_{j}.$

Определение 19. Перцептроном с последовательными связями называется система, в которой все связи, начинающиеся от элементов с логическим расстоянием от ближайшего -элемента, оканчиваются на элементах с логическим расстоянием от ближайшего -элемента.

Определение 20. Перцептроном с перекрестными связями называется система, в которой некоторые связи соединяют друг с другом элементы одного типа ( , или ), находящиеся на одинаковом логическом расстоянии от -элементов, причем все остальные связи - последовательного типа.

Определение 21. Перцептроном с обратной связью называется система, в которой по крайней мере один элемент или , находящийся на расстоянии от ближайшего -элемента, является исходным в цепи обратной связи к -элементу или -элементу, расстояние которого до ближайшего -элемента , то есть обратная связь соединяет выход элемента, расположенного ближе к выходу сети, с входом элемента, расположенного ближе к ее входам.

Определение 22. Простым перцептроном называется любая система, удовлетворяющая следующим условиям:
1. В системе имеется один -элемент, который связан со всеми -элементами.
2. Система представляет собой перцептрон с последовательными связями, идущими только от -элементов к -элементам и от -элементов к -элементам.
3. Веса всех связей от -элементов к -элементам являются фиксированными (не изменяются во времени).
4. Время передачи каждой связи равно либо нулю, либо фиксированной постоянной величине ?.
5. Все передающие функции -, - и -элементов имеют вид $u^{*}_{i} (t) = f (\alpha_{i}(t))$ , где $\alpha_{i}(t)$ - алгебраическая сумма всех сигналов, поступающих одновременно на вход элемента.
Определение 23. Перцептрон называется элементарным, если он является простым, содержит простые - и -элементы, а его передающая функция имеет вид:

$c^*_{ij}(t) = u^*_i(t- \tau)v_{ij}(t).$ ( t))
Стимулы и внешняя среда:
Определение 24. Стимул представляет собой любое непустое множество входных сигналов $c ^{*}_{W(i)}(t)$ , поступающих на -элементы в момент времени . Если сенсорное поле (в частности, сетчатка) имеет сенсорных элементов, то стимул представляет собой -мерный вектор, каждой компоненте которого соответствует сигнал на входе соответствующего -элемента. Стимул отсутствует, если все входные сигналы равны нулю и если не оговорены другие условия.

Определение 25. Пространством стимулов (внешней средой с числом различных стимулов ) называется любое множество стимулов, определенное для данной системы -элементов.

Определение 26. Пространство последовательностей стимулов представляет собой множество всевозможных последовательностей стимулов, каждое из которых содержит упорядоченный ряд стимулов из множества $W_{n}$ .
Реакция и решения:
Определение 27. Реакцией называется любое соответствие между входными сигналами -элемента и стимулами из множества $W_{n}$ . Для простого перцептрона реакция $R(W_{n})$ представляет собой -мерный вектор ( $R_{1}, R_{2}, …, R_{n}$ ), компонентами которого являются значения реакции элемента на действие каждого стимула ( $S_{1}, S_{2}, …, S_{n}$ ) внешней среды.

Определение 28. Классификацией называется выделение класса эквивалентных реакций. Две реакции считаются эквивалентными, если соответственные компоненты совпадают по знаку. Для любого перцептрона с единственным простым R-элементом классификация $C(W_{n})$ разделяет множество $W_{n}$ на два класса: положительный класс, включающий в себя все стимулы, для которых $r^{*} = +1$ , и отрицательный класс, состоящий из стимулов, для которых $r^{*} = -1$ .

Определение 29. Последовательность реакций представляет собой соответствие последовательности выходных сигналов -элемента последовательностям стимулов из пространства этих последовательностей.

Определение 30. Для данного перцептрона решение относительно реакции (классификации) существует, если в его фазовом пространстве имеется такая точка, что при предъявлении стимула $S_{i}$ будет иметь место реакция $R_{i}$ (определяемая реакцией $R(W_{n})$ ) для всех $S_{i}$ , входящих в $W_{n}$ .
Система подкрепления:
Определение 31. Системой подкрепления называется любой набор правил, с помощью которых изменяется с течением времени матрица взаимодействия (состояние памяти) перцептрона.

Определение 32. Система управления подкреплением - это любая внешняя по отношению к перцептрону система, которая осуществляет изменения его матрицы взаимодействия в соответствии с правилами принятой системы подкрепления.

Определение 33. Положительное подкрепление - это такой процесс подкрепления, при котором вес связи, начинающейся на активном элементе $u_{i}$ и оканчивающейся на элементе $u_{j}$ , изменяется на величину $\Delta v_{ij}(t)$ (или со скоростью $dv_{ij} /dt$ ), знак которой совпадает со знаком сигнала $u^{*}_{j}(t)$ .

Определение 34. Отрицательное подкрепление - это такой процесс подкрепления, при котором вес связи, начинающейся на активном элементе $u_{i}$ и оканчивающейся на элементе $u_{j}$ , изменяется на величину $\Delta v_{ij}(t)$ (или со скоростью $dv_{ij} /dt$ ), знак которой противоположен знаку сигнала $u^{*}_{j}(t)$ .

Определение 35. Система подкрепления относится к монополярному типу, если веса всех связей, оканчивающихся на элементе $u_{j}$ , остаются неизменными в течение всего отрезка времени до тех пор, пока не станет строго положительной.

Определение 36. Система подкрепления относится к биполярному типу, если веса связей изменяются независимо от знака входного сигнала элемента, на котором они заканчиваются.

Определение 37. Система подкрепления относится к -типу, а перцептрон является а-перцептроном, если веса всех активных связей, которые заканчиваются на элементе $u_{j}$ (связи, для которых $u^*_i(t-\tau)\ne 0$ ), изменяются на одинаковую величину $\Delta v_{ij}(t)=\eta$ или с постоянной скоростью в течение всего времени действия подкрепления, причем веса неактивных связей $(u^{*}_{i}(t-\tau)=0)$ за это время остаются неизменными.

Определение 38. Система подкрепления относится ку-типу, а перцептрон является $\gamma$ -перцептроном, если веса всех активных связей сначала изменяются на равную величину, а затем из весов всех связей вычитается величина, равная полному изменению весов всех активных связей, деленному на число всех связей (взвешенное изменение активности). $\gamma$ -Система подкрепления консервативна относительно весов, так как в ней полная сумма весов всех связей не может ни возрастать, ни убывать. Изменение $v_{ij}$ при этом определяется:

$\Delta v_{ij}(t) = \left [ w_{ij}(t) - \cfrac{\sum_i{w_{ij}(t)}}{N_j} \right ] \eta, \text{ где } w_{ij} =\begin{cases} 1, & \text{ если } u_i^*(t-\tau)\ne 0, \\ 0, & \text{ в противном случае }\\ \end{cases}$

Здесь - число связей, оканчивающихся на элементе , $\eta$ - величина сигнала подкрепления (обычно $\pm 1$ или ).

Определение 39. Подкрепление называется дискретным, если величина изменения веса фиксирована ( $|\Delta v| = |\eta |$ ), и непрерывным, если эта величина может принимать произвольное значение.

Определение 40. Система подкрепления с управлением по реакции ( -управляемая система) представляет собой такой метод обучения, при котором величина сигнала подкрепления $\eta$ постоянна, а его знак полностью определяется текущим значением реакции $r^{*}$ независимо от конкретного действующего стимула .

Определение 41. Система подкрепления с управлением по стимулам ( -управляемая система) представляет собой такой метод обучения, при котором величина сигнала подкрепления $\eta$ постоянна, а его знак полностью определяется текущим значением стимула или, что одно и то же, значением . В этом случае текущее значение реакции перцептрона не оказывает влияния ни на знак, ни на величину сигнала подкрепления $\eta$ .

Определение 42. Система подкрепления с коррекцией ошибок представляет собой такой метод обучения, при котором величина сигнала подкрепления $\eta$ равна до тех пор, пока текущая реакция перцептрона остается правильной. При появлении неправильной реакции знак ? определяется знаком ошибки. В такой системе подкрепление равно нулю для правильной реакции и отрицательно для неправильной: $\eta = f(R^{*}-r^{*})$ , где $R^{*}$ - желательная реакция, $r^{*}$ - полученная реакция и - знакоопре-деленная монотонная функция, такая, что .
Экспериментальные системы:
Определение 43. Экспериментальная система - это система, состоящая из перцептрона, пространства стимулов $W_{n}$ и системы управления подкреплением.

Эксперимент предполагает наличие экспериментальной системы, метода обучения и метода испытания перцептрона или, что одно и то же, измерения его характеристик. В простейшем случае (рис. 4.17) методы обучения и испытания перцептрона возложены на человека, который корректирует систему подкрепления с использованием информации, полученной на основе анализа экспериментальных характеристик перцептрона. В этой схеме перцептрон является "пассивным" объектом обучения, и чтобы его сделать "активным", необходимо задействовать глобальную обратную связь с выхода элементов -типа на внешнюю среду (рис. 4.18).

Рис. 4.17. Экспериментальная система с простым перцептроном [71]

При этом следует иметь в виду, что в -управляемой системе информационный канал от внешней среды ( $W_{n}$ ) к системе управления подкреплением не является функциональным, в то время как в -управляемой системе нефункциональным уже является канал от элементов -типа к системе подкрепления. В системе с коррекцией ошибок функциональными являются оба канала.

Дальше >>

Авторизоваться

Инструктивный синтез нанометровых вычислительных структур. От задач к вычислительным моделям и структурам

Нейрофизиологический и формально-логический базис нейроподобных вычислений

4.4. Перцептрон Ф. Розенблатта и теория распознавания образов

Вопросы и ответы