НОУ ИНТУИТ | Нейрокомпьютерные системы. Лекция 2: Модели нейронов

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Опубликован: 13.09.2006 | Уровень: специалист | Доступ: платный | ВУЗ: Новосибирский Государственный Университет

|

Вам нравится? Нравится 20 студентам

| Поделиться |

Поддержать программу

Аппроксимация функций

Нейрон типа "адалайн"

В нейроне типа "адалайн" (ADAptive LInear Neuron - адаптивный линейный нейрон) адаптивный подбор весовых коэффициентов осуществляется в процессе минимизации квадратичной ошибки, определяемой как

$E(w)=e^{2}/2 =[d-(\sum_{i=0}^{N} w_{i} x_{i})]^{2}/2.$

В связи с выполнением условия дифференцируемости целевой функции стало возможным применение алгоритма градиентного обучения. Значения весовых коэффициентов уточняются следующим способом

$w_{i}(t+1) = w_{i}(t) + \alpha ex_{i}.$

Паде-нейрон

Паде-нейрон вычисляет произвольную дробно-линейную функцию вектора . Так же, как и для адаптивного сумматора, числитель и знаменатель можно сделать линейными функциями :

$Ux/Lx,\quad Ux = \sum_{i=0}^{N} U_{i}x_{i},\quad Lx = \sum_{i=0}^{N} L_{i}x_{i}.$

Паде-нейрон может использоваться как обобщение нейрона типа "адалайн" в тех случаях, когда линейных функций становится недостаточно, в частности, в задачах интерполяции эмпирических зависимостей.

В случае Паде-нейрона квадратичная ошибка определяется как

и значения весовых коэффициентов уточняются по следующим формулам

$\begin{align*} U_{i}(t+1) &= U_{i}(t) + \alpha ex_{i}/ \sum_{j=0}^{N}L_{j}x_{j},\\ L_{i}(t+1) &= L_{i}(t) - \alpha ex_{i}\sum_{j=0}^{N}U_{j}x_{j}/(\sum_{j=0}^{N}L_{j}x_{j})^2. \end{align*}$

Нейрон с квадратичным сумматором

Квадратичный сумматор может вычислять произвольный полином второго порядка от вектора входных сигналов

$Q(x) = \sum_{i,j}q_{ij}x_{i}x_{j} + \sum_{i} p_{i}x_{i}+r.$

Для многомерных нормальных распределений нейрон с квадратичным сумматором является наилучшим классификатором. Минимум вероятности ошибки дает квадратичная разделяющая поверхность:

если Q(x) > 0 , то объект принадлежит первому классу;

если $Q(x) \le 0$ , то объект принадлежит второму классу (при условии правильного выбора коэффициентов Q(x)).

Квадратичная ошибка здесь определяется как

$\begin{align*} E(q_{ij},p_i,r) = e^2/2 = (d - Q(x))^2/2. \end{align*}$

Коэффициенты квадратичного сумматора уточняются по формулам

$\begin{align*} &q_{ij}(t+1) = q_{ij}(t) + 2 \alpha ex_{i}x_{j},\\ &p_{i}(t+1) = p_{i}(t) + \alpha ex_{i},\\ &r(t+1) = r(t) + \alpha e. \end{align*}$

Недостаток такого классификатора - большое число настраиваемых параметров.

Дальше >>

Нейрокомпьютерные системы

Нейрокомпьютерные системы