НОУ ИНТУИТ | Нейрокомпьютерные системы. Лекция 2: Модели нейронов

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Опубликован: 13.09.2006 | Уровень: специалист | Доступ: платный | ВУЗ: Новосибирский Государственный Университет

|

Вам нравится? Нравится 20 студентам

| Поделиться |

Поддержать программу

Сигма-Пи нейроны

Выше были рассмотрены нейроны с линейной и квадратичной функциями активации. Сигма-пи нейроны являются их обобщением на случай представления функции активации u полиномом степени , - число входов нейрона:

$\begin{align*} U = \sum_{k=1}^{M}w_{k}\ \prod_{i\in I_k} x_{i}, \end{align*}$

где I_k - множество индексов, содержащее одну из возможных 2^N комбинаций первых целых чисел, M=2^N .

Модель нейрона Хебба

Структурная схема нейрона Хебба соответствует стандартной форме модели нейрона (рис.1). Д.Хебб предложил формальное правило, в котором вес w_i нейрона изменяется пропорционально произведению его входного и выходного сигналов

$\begin{align*} \Delta w_{i} = \alpha x_{i}y, \end{align*}$

где $\alpha\in(0,1)$ - коэффициент обучения.

При обучении с учителем вместо выходного сигнала используется ожидаемая от этого нейрона реакция . В этом случае правило Хебба записывается в виде

$\begin{align*} \Delta w_{i} = \alpha x_{i}d, \end{align*}$

В каждом цикле обучения происходит суммирование текущего значения веса и его приращения $\Delta w_{i}$ :

$\begin{align*} w_i(t+1) = w_i(t) + \Delta w_{i}. \end{align*}$

В результате применения правила Хебба веса нейрона могут принимать произвольно большие значения. Один из способов стабилизации процесса обучения по правилу Хебба состоит в учете последнего значения w_i , уменьшенного на коэффициент забывания $\gamma$ . При этом правило Хебба представляется в виде

$\begin{align*} w_i(t+1) = w_i(t)(1 - \gamma) + \Delta w_{i}. \end{align*}$

Значение $\gamma$ выбирается из интервала (0,1) и чаще всего составляет некоторый процент от коэффициента обучения $\alpha$ . Рекомендуемые значения коэффициента забывания - $\gamma < 0.1$ , при которых нейрон сохраняет большую часть информации, накопленной в процессе обучения, и получает возможность стабилизировать значения весов на определенном уровне.

Стохастическая модель нейрона

В стохастической модели выходное состояние нейрона зависит не только от взвешенной суммы входных сигналов, но и от некоторой случайной переменной, значения которой выбираются при каждой реализации из интервала (0,1).

В стохастической модели нейрона выходной сигнал принимает значения $\pm 1$ с вероятностью

$\begin{align*} P(y = 1)= 1/(1 + \exp(-2\beta u)),\\ P(y = -1)= 1/(1 + \exp(2\beta u)), \end{align*}$

где обозначает взвешенную сумму входных сигналов нейрона, а $\beta$ - положительная константа, которая чаще всего равна 1. Процесс обучения нейрона в стохастической модели состоит из следующих этапов: