Первые нейронные модели

Перцептрон Ф. Розенблатта

В 1958 году Ф. Розенблатт предложил нейронную сетевую модель механизмов зрительного анализатора мозга, которую он назвал "Перцептрон". Слово "перцептрон" является производным от английского perception или латинского perceptio - "восприятие".

Также как и нейронные сети Мак-Каллока и Питтса, перцептрон, во всяком случае вначале, был чисто теоретической моделью, хотя и строился как автомат, реализующий в перспективе такую практически значимую функцию, как распознавание зрительных образов. Однако возможность эффективного практического применения перцептрона в начальных авторских вариантах всерьез не рассматривалась.

Исходная задача состояла в том, чтобы объяснить, как сеть из ней-роноподобных элементов может обучаться и распознавать подаваемые на вход сети изображения. В подавляющем большинстве случаев все физические предположения о свойствах нейронов и нейронной сети реа-лизовывались программно и все выводы основывались на теоретических построениях и моделировании на компьютере. И Розенблаттом, и другими авторами рассматривались многие варианты перцептронов. Один из вариантов простого трехслойного дискретного перцептрона устроен следующим образом.

Изображение фиксируется на входном прямоугольном дискретном поле - растре (аналогия - сетчатка глаза). В каждой точке входного поля расположен дискретный чувствительный (сенсорный) элемент, передающий дискретный сигнал по отходящим от него связям, если яркость изображения в соответствующей точке входного поля больше некоторого порога. Обычно этот сигнал может принимать только два значения: 0 или 1. Входной уровень перцептрона называется сенсорным уровнем, или уровнем -элементов.

Сигналы от -элементов передаются по связям на входы -элементов, или элементов ассоциативного уровня. Связей, отходящих от каждого -элемента, много. Распределяются эти связи на уровне -элементов случайно. -элемент - это формальный нейрон, то есть дискретный элемент, имеющий порог срабатывания, входы, связанные с -элементами, и выходные связи, идущие к -элементам (см. ниже). В отличие от формального нейрона Мак-Каллока и Питтса формальный нейрон в некоторых вариантах перцептрона имеет собственный вес. Время дискретно, т. е. делится на моменты, синхронизирующие работу всех элементов. Ассоциативный нейрон срабатывает, если сумма сигналов на его входах превышает порог. Пороги срабатывания всех нейронов равны и постоянны. В варианте, когда нейрон имеет свой вес, величина выходного сигнала прямо зависит от веса нейрона. В этом случае вес нейрона - величина переменная, изменяющаяся при обучении. В ином варианте нейрон не имеет веса, и величины сигналов, передаваемых нейроном по связям на другие нейроны, зависят от проводимостей связей. В этом случае при обучении меняются коэффициенты передачи или проводимости связей.

Сигналы от нейрона ассоциативного уровня передаются по связям на входы -элементов, или элементов уровня реакций. -элемент - это формальный нейрон, то есть дискретный элемент, имеющий порог срабатывания, входы, на которые поступают сигналы от -элементов, и два состояния - 0 и 1. Порог -элемента обычно равен 0. Если алгебраическая сумма сигналов на входе -элемента больше 0, то элемент находится в состоянии 1, в противном случае элемент находится в состоянии 0. Каждый -элемент имеет имя, соответствующее имени одного из классов распознаваемых объектов. Имена присваиваются -элементам при обучении. На выходе системы как результат ее работы выбирается имя того из возбужденных -элeмeнтoв, y которого максимальна сумма входных возбуждений, поступающих от -элементов..

Связи от -элементов к -элементам и от -элементов к -элементам распределены случайно. Законы распределения варьируются в экспериментах. В простом дискретном перцептроне, ассоциативные элементы которого имеют свои индивидуальные веса, коэффициенты усиления (веса) всех связей могут принимать только два значения: +1 и -1 Соответственно, величины воздействий, передаваемые по связям на нейроны, пропорциональны весам передающих нейронов и могут быть возбуждающими либо тормозящими. В варианте простого дискретного перцептрона, когда нейроны не имеют индивидуальных весов, связи между нейронами могут иметь различные изменяющиеся возбуждающие (положительные) или тормозящие (отрицательные) индивидуальные веса. Вариант перцептрона, имеющего изменяющиеся при обучении проводимости связей, является основным.

Исследовавшиеся варианты перцептрона существенно отличались друг от друга. Эти отличия определяются, во-первых, принятой топологией связей между -элементами и нейронами ассоциативного слоя ( -элементами), во-вторых, топологией связей между -элементами и нейронами результата ( -элементами), а также взаимодействием между нейронами внутри ассоциативного слоя. Это взаимодействие реализуется в перцептроне с перекрестными связями, то есть в перцептроне, имеющем связи между -элементами. Рассматривались также четырехслойные перцептроны, имеющие два слоя ассоциативных элементов.

Кроме того, варианты перцептронов отличались правилами изменения весов проводимостей связей и/или весов нейронов. Обучение классического перцептрона организуется как обучение с учителем и состоит в следующем. На сенсорный слой проектируется изображение объекта, принадлежащего какому-либо классу из обучающей выборки. Если известно имя соответствующего этому классу -элемента и на него приходят возбуждающие воздействия, то поощряются активные связи, идущие от -элементов к -элементам, участвующим в возбуждении этого -элемента, и связи, идущие от этих -элементов к -элементу. Одновременно может происходить "наказание" остальных связей. (В другом варианте перцептрона "поощрялись" и "наказывались" не связи, а -элементы.)

Поощрение состоит в добавлении фиксированной положительной величины к весу связи или к весу нейрона, в зависимости от модификации перцептрона. Если происходит наказание элементов и связей, не участвующих в возбуждении нужного -элемента, то из их весов вычитается постоянная величина. Если -элементы еще не поименованы, то при обучении предварительно имя класса, соответствующее имени распознаваемого объекта, присваивается тому -элементу, который имеет в данном такте наибольшую алгебраическую сумму входных воздействий.

При обучении в классическом перцептроне происходит приблизительно следующее. -элементы разделяются на группы, связанные преимущественно возбуждающими связями со "своим" -элементом и тормозящими - с остальными. -элементы, возбуждающиеся разными изображениями одного класса, связываются возбуждающими связями с одной группой -элементов. Таким образом, происходит как бы объединение на уровне -элементов разных изображений одного класса, в том числе и изображений, имеющих значительные различия или вообще не пересекающихся на сенсорном уровне.

Одновременно на уровне -элементов происходит разделение изображений разных классов, в том числе и изображений, пересекающихся на сенсорном уровне. Описанные объединения и разделения не имеют жесткого однозначного характера. Это определяется начальной случайной топологией связей, продолжительностью обучения и представительностью обучающей выборки. Поэтому при воспроизведении опыта может возникнуть элемент случайности, усиливающийся при подаче на сеть случайных воздействий.

Перцептрон разрабатывался для непосредственного распознавания изображений объектов, поступающих в зрительный анализатор в виде растра. Используемые для такого распознавания эталоны также должны быть изображениями или их препаратами. Формируемые при обучении перцептрона эталоны распознаваемых классов являются подмножествами ассоциативных элементов, соответствующих точкам входных изображений. При этом проекция изображения с сенсорного уровня на уровень -элементов не имеет геометрического смысла, поскольку связи между этими уровнями распределены случайно.

Инвариантность растрового распознавания по отношению к масштабу, сдвигу или повороту изображения может достигаться подгонкой изображения к эталонам при помощи их нормализации путем масштабирования, сдвига или поворота. Этих операций нейронная сеть перцептрона не делает. Вместо этого в перцептроне, так же как в multifont -системах распознавания печатных символов, для каждого класса изображений может создаваться много эталонов - по одному на каждый значительно отличающийся пример изображения из обучающей выборки этого класса. В этом случае отдельным эталоном можно считать группу усиленных связей, идущих от группы -элементов к группе -элементов. При объединении этих эталонов на одном подмножестве -элементов может возникать "проблема разделяющего ИЛИ".

Поясним это на примере. Обучим перцептрон, предъявляя ему одну горизонтальную линию, а затем другую, несколько сдвинутую вниз или вверх . В режиме экзамена при подаче на вход любой из этих линий будет возбуждаться одна и та же группа -элементов и один и тот же -элемент, соответствующий ответу "горизонтальная линия". Затем подадим на вход обе эти линии и обучим перцептрон знаку "=". Теперь для правильной работы нужно, чтобы ответ "горизонтальная линия" возникал при подаче на вход первой горизонтальной линии ИЛИ второй, но не двух одновременно.

В перцептроне с перекрестными связями выделенные при обучении группы -элементов могут образовывать ансамбли нейронов, объединенных взаимовозбуждающими связями. В таких системах возможно распознавание по сходству, когда распознаваемое изображение не совпадает в точности ни с одним из эталонов, но с каким-то из них имеет не очень большие допустимые различия.

Перцептрон Розенблатта проверялся главным образом на изображениях горизонтальных и вертикальных линий. Делались также попытки отличить изображения треугольника и квадрата.

Мы называем перцептроном распознаватель, на входной растр которого проектируются точки, соответствующие распознаваемым объектам. Это необязательно должны быть точки изображения. Это могут быть и описывающие объект независимые двоичные признаки.

Как теоретический анализ, так и анализ результатов экспериментов позволяет сделать вывод, что предложенный Ф. Розенблаттом нейронный анализатор (классификатор) растровых изображений не обладает свойством обобщения по примерам, то есть распознает недостаточно хорошо. По оценкам многих исследователей перцептрон не является и удовлетворительной моделью мозга. С подробным анализом возможностей в первую очередь трехслойных перцептронов можно ознакомиться по работе М. Минского и С. Пайперта [11].

Перцептрон разрабатывался как модель мозга. Модель, являясь каким-то приближением, в то же время не описывает объект в точности. Однако модель как минимум должна давать язык или схему, в рамках которой было бы можно обсуждать моделируемое явление в каких-то по возможности общих и существенных его аспектах. С этой точки зрения с определенной значительной натяжкой перцептрон, так же как и нейронную сеть У. Мак-Каллока и В. Питса, можно считать начальными моделями мозга, однако нужно отметить, что эти модели не обладают ни одним из выделенных нами необходимых свойств. В первую очередь эти автоматы являются пассивными дешифраторами вход-выход, то есть не обладают активностью.

В то же время перцептрон Ф. Розенблатта, так же как и работа У. Мак-Каллока и В. Питтса, дал значительный толчок к развитию многочисленных теорий построения распознающих автоматов, строящихся как сети из формальных нейронов. Современные ансамблевые растровые распознаватели (перцептроны) принципиально отличаются от классического перцептрона только топологией связей между нейронами и принятым способом обучения нейронной сети. Один из наиболее распространенных алгоритмов обучения предложен Хопфилдом [11].

Следующим шагом стали современные формальные нейронные сети, реализующие признаковое распознавание.