НОУ ИНТУИТ | Инструктивный синтез нанометровых вычислительных структур. От задач к вычислительным моделям и структурам . Лекция 5: Нейрофизиологический и формально-логический базис нейроподобных вычислений

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Опубликован: 03.04.2013 | Доступ: свободный | Студентов: 354 / 30 | Длительность: 34:17:00

Темы: Искусственный интеллект и робототехника, Программное обеспечение, Нанотехнологии

Специальности: Разработчик аппаратуры

Теги: наноэлектроника, нейрокомпьютеры, нейроны, отказоустойчивость, нейрокибернетика

|

Вам нравится? Нравится 21 студенту

| Поделиться |

Поддержать курс

| Скачать электронную книгу

4.5. Многопороговые модели

Рассмотренные формальные модели нейронов и нейронных структур типа перцептрона в своей основе используют некоторые пороговые правила "принятия решений" на этапе формирования выходной реакции, для исследования которых был разработан аппарат пороговой логики [77]. В рамках этой теории классическую (много)пороговую модель формального нейрона, которая отражает основные электрофизиологические свойства реального нейрона [56], можно представить в импликативной форме:

$(l_s(X_n^s,W_{n}) = \sum_{i=1}^n{x_i^s *w_{i})\in (h_{j-1},h_j]\Rightarrow f_{s} := b_j.$

( 4.4)

Здесь $X^{s}_{n}= (x^{s}_{n}, x^{s}_{n}_{-1}, ..., x^{s}_{1})$ - -мерный входной вектор с компонентами $x_i^s\in\{v_i\}; |\{v_i\}| =q_i, i = \overline{l,n}; s = \overline{0,Q}; Q=\prod_{i=1}^n{q_i-1}$ ; компоненты "весового" вектора $W = (w_n , w_{n- 1}, …, w_1)$ принимают значения $w_{i}\in (-\infty, +\infty)$ ; индекс представляет ранг значения свертки $l_{s}$ (и однозначно связанного с ним вектора $X^{s}_{n}$ ) на скалярной оси ; $f_{s}\in\{b_{j}\}$ - значения реализуемой логической функции $F(X^{s}n)=(f_{0}, f_1, ..., f _{s}, ..., f _{Q})$ ; $|\{b_j\}| =\gamma$ ; $max\gamma =k$ ; $|\{F_{\alpha} (X^{s}_n)\}|= k^{Q+1}$ , а вектор порогов $H_{\chi} = (h_1, …, h_{\chi})$ разбивает множество $\{l_{s}\}$ скалярных произведений входного и "весового" векторов на $(\chi+1)$ пороговых полуинтервалов $( h_{j-1},h_j]$ ; $h\in (-\infty,+\infty)$ ; $j=\overline{1,\chi}$ ; $(\gamma-1) \le \chi \le Q$ ; $\Rightarrow$ - отношение следования; - оператор подстановки (присваивания).

В отличие от формального нейрона Мак-Каллока - Питтса функциональная полнота многопороговых элементов и их моделей достигается только параметрической адаптацией, то есть вариацией весового $\delta W_n$ и/или порогового $\delta H_{\chi}$ векторов.

Если в (4.4) ввести ограничения на весовые коэффициенты типа $w_i\in(-1, +1)$ , то получим систему мажоритарных пороговых правил формального нейрона Мак-Каллока - Питтса, а если зафиксировать систему связей между пороговыми элементами по типу "каждый с каждым", получим перцептрон Розенблатта.

Задачи оптимального синтеза (много)пороговых моделей сформулированы В.И. Варшавским (предисловие к [77]):

Нахождение условий реализуемости произвольной логической функции той или иной многопороговой моделью.
Синтез многопороговой модели по заданной логической функции и некоторому критерию качества.
Синтез сети из многопороговых моделей по заданной логической функции и некоторому критерию качества.

Характеристики структурной сложности,связывающие задачи 1-3 в единую схему оптимального синтеза многопороговых моделей, введены Л.А. Шоломовым [78]:

сложность (много)пороговой модели:
$\mu(M) = \beta_1*\sum_{i=1}^{n}{|w_i|} + \beta_2 * \chi$ ( 4.5)

где $\beta_{1}, \beta_2 \ge 0$ - некоторые одновременно не равные нулю "стоимостные" коэффициенты реализации "единицы" веса и одного порога соответственно;
сложность логической функции $F(X_{n}^{s},W_n) = (f_0, f_1, ..., f_s, ...,f _{Q})$ :
$\mu(F_a) = \min\mu(M),$ ( 4.6)

где минимум берется по всем многопороговым моделям типа (4.4);
сложность класса логических функций $\{F_{a}(X^{s}_{n})\}$ (функция Шеннона):
$\mu(k,n)=max\mu(F_{a}),$ ( 4.7)

где максимум берется по всем -значным логическим функциям

$F_{a}(X^{s}_{n}) \in \{F_{a}(X_{n}^{s})\}.$

В такой постановке, как и в любой задаче поисковой оптимизации, основная сложность связана с реализацией критерия (4.7), который требует полного перебора всех логических функций из некоторого класса, а основная трудность связана с неопределенностью выбора шага вариации $(\Delta W_n)$ -мерного весового вектора .

Решая методом случайного поиска задачи оптимального синтеза (много)пороговых моделей, А.Т. Бахарев и Л.А. Растригин [79] обнаружили, что с позиций поиска минимума размерности вектора порогов значение имеют только те вариации весового вектора $\Delta W$ , которые нарушают отношение порядка (по индексу ) между значениями свертки $l_{s}$ на скалярной оси Например, для n=3 и $x_{i}^{s} \in \{0,1\}$ (рис. 4.23) вариации весового вектора в пределах пирамид с вершиной в начале координат и с основаниями (А_1, A_2, А_3), (А_2, A_3, А_4), (А_1, A_3, А_5) и т. д. дают фиксированный порядок следования индексов , упорядоченных по возрастанию значений свертки l_s : $(А_1, A _{2}, A _{3}) - l_0 <l_1 <l_2 <l_3 <l_4 <l_5<l_6<l_7$ , $(А_2, A _{3}, A _{4}) - l_0 <l_1 <l_2 <l_3 <l_4 <l_5<l_6<l_7$ , $(А_1, A _{3}, A _{5}) - l_0 <l_1 <l_2 <l_3 <l_4 <l_5<l_6<l_7$ .

Рис. 4.23. Структура индексных зон первого октанта

Вариации весового вектора $\delta W_n \in \Delta W_n$ , которые сохраняют отношение порядка (по индексу ) между значениями свертки $l_{s}(X^{s}_{n},W_{n})$ , получили название индексных зон [79]. Они позволяют заменить непрерывные вариации $\delta w_i = (-\infty,+\infty)$ конечным набором целочисленных значений $\{w_i\}$ , отвечающих одному и тому же порядку следования индексов , и разбить весь процесс оптимального синтеза формальных нейронов на два этапа:

абстрактно-логический, который осуществляется на множестве подстановок индексов $\{s\}$ и где определяются условия минимально пороговой реализации (много)пороговой модели;
"физический", который обеспечивает переход от $H_{\chi}$ , заданным на упорядоченном целочисленном множестве $\{s\}$ , к и $H_{\chi}$ с непрерывными значениями компонент.

Работу (много)пороговой модели ((М)ПМ) типа (4.4) проиллюстрируем на примере ее настройки на реализацию булевых функций (БФ) двух переменных $(q_{1} = q_{2} = k = n = 2, s = 0,3 )$ : "И" - $F(x_{2}, x_{1}) = x_{2}*x _{1}$ ; "ИЛИ" - $F(x_{2}, x _{1}) = x_{2}+x _{1}$ ; "НЕРАВНОЗНАЧНОСТЬ" - $F(x_{2}, x_{1}) = x _{2}*^+x _{1}*^$ , и в предположении w_1 = 1,5 , w_2 = 0,5 . В этом случае значения свертки двумерных булевых -векторов $X_{2}^0= (0,0)$ , $X_{2}^1= (0,1)$ , $Х_{2}^2= (1,0)$ и $Х_{2}^3 = (1,1)$ расположатся на скалярной оси в лексикографическом (по индексу ) порядке:

$(l _{0} = 0) < (l _{1} = 0,5) < (l _{2} = 1,5) < (l _{3} = 2)$

( 4.8)

Отсюда, для настройки (М)ПМ на реализацию:

БФ "И" необходимо, чтобы одномерный вектор порогов удовлетворял условию , а правило подстановки значений функции над двумя пороговыми полуинтервалами имело вид: $(l_{s} \le h_1) \Rightarrow f_s:=0$ , $(l_{s} > h_1) \Rightarrow f_s:=1$ ;
БФ "ИЛИ" необходимо, чтобы при сохранившемся правиле подстановки одномерный вектор порогов принимал значение ;
БФ "НЕРАВНОЗНАЧНОСТЬ" необходимо, чтобы вектор порогов был двумерным с компонентами $0 < h_{1} < 0,5$ и $1,5 < h _{2} < 2$ , а прави-ло подстановки значений над тремя пороговыми полуинтервалами имело вид $(l_{s} \le h_1) \Rightarrow f_s:=0$ ; $(h_1 < l_{s} \le h _{2}) \Rightarrow f_s:=1$ ; $(l_{s} > h _{2}) \Rightarrow f_s:=0$ .

Вариации значений компонент весового вектора, размерности и значений компонент вектора порогов обеспечивают реализацию произвольной ЛФ переменных, причем не каждая вариация весового вектора изменяет отношение порядка (по индексу ) между значениями свертки на скалярной оси . Так, при w_2= 2 и w_1 = 1 лексикографический порядок сохранится: $(l _{0}=0) < (l _{1}=1) < (l _{2}=2) < (l _{3}=3)$ , а при w_1 = 1,5 и w_2 = -0,5 он нарушится:

$(l _{1}= -0,5) < (l _{0}=0) < (l _{3} =1) < (l _{2}=1,5),$

( 4.9)

то есть вместо порядка следования индексов вида (0, 1, 2, 3) в (4.8) получили порядок следования (1, 0, 3, 2) в (4.9).

Такой "перестановочный" эффект значений свертки на оси служит источником минимизации размерности вектора порогов или, что одно и то же, системы решающих правил в (М)ПМ. Например, для БФ $F(x_{2}, x _{1}) = \overline{x_{2}}*x_{1}$ при лексикографическом порядке требуется (М)ПМ с двумя порогами 0 < h_1 < 0,5 и $0,5 < h _{2} < 1$ , а при порядке следования (4.9) - с одним порогом -0,5 < h_1 < 0 и системой решающих правил $(l_{s} \le h_1) \Rightarrow f_s:=1$ , $(l_{s} > h1) \Rightarrow f_s:=0$ .

В [79, 80] проанализированы условия эквивалентного перехода от (М)ПМ с аналоговыми параметрами ( и ) к (М)ПМ с дискретными параметрами. Было показано, что перестройка входного преобразования (М)ПМ, связанная с вариациями $\delta W_n = \{\delta w_{i} \}$ весового вектора, приводит к различным $\xi$ -перестановкам упорядоченных компонент свертки $l_{s(0)} < l_{s(1)} < … < l_{s(p)} < … < l_{s(Q)}$ на скалярной оси $(p = \overline{0,Q})$ . В результате полная вариация весового вектора W_n порождает множество $\{\xi\}$ перестановок значений компонент свертки $\{l_{s}\}$ и связанных с ними индексов , что и позволяет разбить все пространство $\{W_n\}$ на классы эквивалентности $W_{n} \subset \{ W_n \}$ , такие, что вариации $\delta W_n$ внутри класса $(\delta W_n \in \Delta W_n)$ не нарушают связанного с этим классом отношения порядка между значениями компонент свертки.

Структура пространства индексных зон (ИЗ) или, что одно и то же, вариации $\delta W_n \in \Delta W_n$ , сохраняющие отношение порядка $\xi$ , зависит от размерности входного вектора $X_{n}^{s}$ и значности q_i его компонент, что иллюстрирует рис. 4.24 [79, 80], где показаны все восемь индексных зон для q_i = 2 . Из рис. 4.24 видна центрально-осевая симметрия пространства индексных зон, что позволяет ограничить анализ их структуры только первым (гипер)октантом.

Рис. 4.24. Структура пространства ИЗ для n = q1 = q = 2

Если в трехмерном случае индексные зоны представляют собой пирамиды с вершинами в начале координат, то в двумерном случае это уже сектора, заключенные между наклонными линиями на целочисленной решетке, которая задается значениями компонент входного вектора $x_i \in X_n$ .

Равномерность разбиения пространства $\{W_n\}$ на индексные зоны нарушается уже при $q_i \ge 4$ (рис. 4.25), что приводит к разно "устойчивой" реализации ЛФ, зависящей от выбранного значения весового вектора.

Рис. 4.25. Зависимость структуры пространства ИЗ от значности входных переменных при n = 2,

Из сказанного следует, при фиксированном векторе порогов и правиле подстановки $\{l_{s}\}_{j}\to b_{j}$ вариации весового вектора $\delta W$ внутри индексной зоны изменяют значения $\{l_{s}\}$ , но не нарушают отношение порядка между ними, а значит, и задаваемое (4.4) правило реализации ЛФ. Например, в заштрихованной индексной зоне (рис. 4.2) отношение порядка имеет вид $l _{0} = 0 < l _{1} = 1,5 < l _{2} = 3 < l _{3} = 4,5$ . Здесь для определенности указаны значения $l_{s}$ отвечающие (w_2 = 3) > (w_1 = 1,5) . Тогда при h_1 = 4 реализуется ЛФ "И" $F(x_{1}, x_2) = x _{1}&x _{2}$ , если правило подстановки имеет вид $(l_{s} < h_1) \to f_s:=0$ , $(l_{s} > h_1) \to f_s:=1$ . Переход в индексную зону с номером 2 сопровождается инверсией неравенства (w_1 = 3) > (w_2 = 1,5) , которая приводит к новому порядку следования $l_{s}$ на скалярной оси $l _{0} = 0 < l_2 = 1,5 < l _{1} = 3 < l_3 = 4,5$ . Однако он не нарушает правила подстановки, задаваемые функцией "И". Если (М)ПМ настроен на ЛФ $F(x_{2}, x_{1}) = \overline{х_{2}}*x_{1 }$ то такая же вариация весового вектора (при неизменном правиле подстановки $l_{s} < h_{1} = 1 \to f_s :=0;$ $h_1 < l_{s} \le h_{2} = 2 \to f_s :=1$ ; и $h_2 < l_{s} \to f_s:=0$ ) приведет к реализации ЛФ $F(x_{2}, x_{1}) = x_{2}*\overline{x_{t}}$ .

Таким образом, с позиций устойчивой реализации заданной функции F_a вида (4.4) необходимо как минимум сохранить отношение порядка (при фиксированном правиле разбиения $\{l_{s}\}$ и правиле подстановки $\{l_{s}\}_j \to b_j$ ), а при перестройке (М)ПМ с одной функции на другую при той же системе решающих правил надо перейти в другую ИЗ, то есть изменить отношение порядка.

Дальше >>

Авторизоваться

Инструктивный синтез нанометровых вычислительных структур. От задач к вычислительным моделям и структурам

Нейрофизиологический и формально-логический базис нейроподобных вычислений

4.5. Многопороговые модели

Вопросы и ответы