НОУ ИНТУИТ | Инструктивный синтез нанометровых вычислительных структур. От задач к вычислительным моделям и структурам . Лекция 5: Нейрофизиологический и формально-логический базис нейроподобных вычислений

Опубликован: 03.04.2013 | Доступ: свободный | Студентов: 354 / 30 | Длительность: 34:17:00

Темы: Искусственный интеллект и робототехника, Программное обеспечение, Нанотехнологии

Специальности: Разработчик аппаратуры

Теги: наноэлектроника, нейрокомпьютеры, нейроны, отказоустойчивость, нейрокибернетика

Вам нравится? Нравится 21 студенту

| Поделиться |

Поддержать курс

| Скачать электронную книгу

4.6. Входное преобразование формального нейрона как генератор кратных транспозиций в лексикографически упорядоченной последовательности значений свертки

Выделив в (4.5) в качестве доминирующей составляющей $\mu(M) = \beta_2*\psi$ и используя аппарат индексных зон, А.Т. Бахарев показал [80, 81]:

Задачи 1 и 2 абстрактного синтеза (М)ПМ можно решать по критериям $\mu(k, n) = \max\psi(F)$ и $\mu(F_a) = \min\psi(M)$ соответственно и как чисто дискретные на множестве перестановок индексов , не ограничив при этом непрерывные вариации $\{\delta w_i\}$ на этапе физического синтеза или настройки (М)ПМ.
При решении задачи 3 критерий (4.7) можно дополнить максимумом функциональной устойчивости (М)ПМ при фиксированной системе решающих правил, что соответствует выбору $\{w_i\}$ , лежащих на медианах (гипер)пирамид, отобранных по критерию $\min\psi(M)$ , что гарантирует устойчивую реализацию $F_{a}|(X^{s}_{n})$ при максимальном разбросе реальных физических величин $\{\pm \Delta x_{i}\}$ и $\{\pm\Delta w_i\}$ .

Точное решение модифицированной таким образом задачи оптимального синтеза (М)ПМ удалось найти [80, 81] для $n \le 5$ , а квазиоптимальное решение для $6 \le n \le 10$ , что было вызвано как ограничениями метода случайного поиска, так и уровнем использованных вычислительных средств. Для сравнения, японские ученые, проводившие достаточно интенсивные исследования в этой области, в тот же период времени смогли достичь показателей q = 3 , $n \le 3$ [82, 83].

В современных условиях актуальными стали исследования формальных нейронов, у которых число входов исчисляется десятками [84], а незнание структуры индексных зон имеет два негативных последствия:

При завышенной точности $\{\pm\Delta w_i\}$ и неудачной стратегии сканирования в векторном пространстве увеличивается время поиска $\{w_{i} \}$ , удовлетворяющих $\min\psi(M)$ , за счет многократного и дорогостоящего анализа эквивалентных ситуаций в одной и той же индексной зоне.
При заниженной точности сканирования можно пропустить часть индексных зон, что приводит к недоиспользованию функциональных возможностей элементов сети и, как следствие, к падению коэффициента использования оборудования.

Преодоление или хотя бы ослабление указанных проблем может приблизить нас к более эффективному управлению ресурсами (супер) нейрокомпьютеров, в которых по предварительным оценкам количество формальных нейронов может быть порядка $10^{5}-10^{6}$ , а количество входов у каждого из них - порядка $10^{2}-10^{3}$ .

Введем комбинаторную схему прямого порождения транспозиций значений свертки на скалярной оси и дадим точную оценку количества таких транспозиций [85].

Чтобы получить все множество перестановок индексов , генерируемых оператором линейной свертки, требуется еще процедура отбора комбинаций совместных транспозиций.

Комбинаторная схема порождения транспозиций значений свертки на скалярной оси базируется на двух известных утверждениях:

Утверждение 4.1. При сложении двух и более неравенств, одно из

которых противоположного знака ( w_2 > w_1 и w_3 > w_4 ), результирующее неравенство ( w_2 + w_3 > < w_1 + w_4 ) может быть произвольного знака ( аддитивный источник транспозиции - -источник и -транспозиция соответственно). Утверждение 4.2. При умножении двух и более неравенств, одно из которых противоположного знака ( $x _{1} > x _{2}$ и w_1 < w_2 ), результирующее неравенство (x_1*w_1 > < x_2*w_2 ) может быть произвольного знака (мультипликативный источник транспозиции - -источник и -транспозиция соответственно).

Схему порождения транспозиций сначала построим для классов БФ, где задействован только -источник, а затем обобщим ее на случай -значных ЛФ, где срабатывают еще -источник и -источник.

В качестве образующей комбинаторной схемы порождения транспозиций выберем систему неравенств:

$w_n > w_{n-1} > … > w _{2} > w _{1} > 0,$

( 4.10))

считая, что w_i удовлетворяют условию линейной независимости:

$w_i\ne\sum_{i\ne j}{d_j w_j}, i=\overline{1,n}; 1\le j\le n$

( 4.11))

где $d_{j}\in \{0, \pm 1, \pm 2, …, \pm q_m -1\}$ , $q_{m} = max (q_{n} , q_{n- 1}, …, q _{1})$ .

Тогда $l_{s(1)} > < l_{s(2)}$ , если $X_n^{s(1)}\ne X_n^{s(2)}$ , а реализуемое оператором линейной свертки отображение $L(X^{s}_{n}, W_{n}):X^{s}_{n}\to l_{s}$ - изоморфно и обеспечивает строгий порядок следования (по ) на скалярной оси . В частности, отвечающее (4.10) и (4.11) каноническое правило присвоения значений компонентам весового вектора $w _{1} = 1$ , $W_i = w_{i-1}*q_{i-1} (i = 2,n)$ обеспечивает лексикографический порядок следования $l_{s}$ на оси .

Для булевых входных векторов с $x_{i}^{s} \in \{0,1\}$ :

Каноническое правило имеет вид: $w_i =2^{i-1}, i = \overline{1,n}.$
Соотношение (4.11) говорит о том, что любую компоненту весового вектора нельзя представить в виде суммы произвольного числа компонент этого вектора с меньшими значениями индексов из (4.10).
Суммирование в (4.4) выполняется на одно-, двух-, трех-, …, -элементных подмножествах из (4.10) в зависимости от количества в $X^{s}_{n}$ , удовлетворяющих условию то есть
Отношение порядка между произвольными $l_{s(1)}$ и $l_{s(2)} ( l_{s(1)} > < l_{s(2)} )$ зависит от состава $\{w_i\}_{s(1)}$ и $\{w_i\}_{s(2)}$ , участвующих в суммировании в (4.4), что задается булевыми векторами $X_n^{s(1)}$ и $X_n^{s(2)}$ .
Числа $\varepsilon(1) = |\{w_i\}_{s(1)} |$ и $\varepsilon(2) = |\{w_i\}_{s(2)} |$ специфицируют тип участвующих в транспозиции $l_{s(1)} > < l_{s(2)}$ значений свертки, указывая только количество , формирующих $l_{s(1)}$ и $l_{s(2)}:$

$\varepsilon(1)=\overline{1,(n-2)}; \varepsilon(2)=\overline{2,(n-1)}; \varepsilon=\varepsilon(1) + \varepsilon(2)\le n,$

( 4.12)

где взятые в скобки цифры (1) и (2) задают принадлежность индексируемого объекта к левой и правой части неоднозначного неравенства $l_{s(1)} > < l_{s(2)}$ .

Для (4.10) справедливы:

Утверждение 4.3. Сумма любого количества ( $\varеpsilon(2)$ ) w_i с младшими значениями индексов может быть как меньше, так и больше любого w_i ( $\varеpsilon(1)=1$ ) со старшим значением индекса .

Утверждение 4.4. Для любой комбинации значений е(1) и е(2), удовлетворяющих (4.12), всегда найдется хотя бы одна пара $l_{s(1)}$ и $l_{s (2)}$ с взаимно исключающими индексами ( $i(s(1))\ne i(s(2))$ ), для которых $l_{s(1)} > < l_{s(2)}$ .

Утверждение 4.4 исходит из того, что при любых ( $\varepsilon(1), \varepsilon (2) \ge 2$ ) всегда найдутся $\{w_{i} \}_{s(1)}$ и $\{w_{i} \}_{s(2)}$ c взаимно исключающими индексами , которые можно разбить на непересекающиеся подмножества $\{w^{'}_i\}_{s(1)}, \{w^{''}_i\}_{s(1)}, \{w^{'}_i\}_{s(2)}, \{w^{''}_i\}_{s(2)},$ такие, что $l^'_{s(1)} < l^'_{s(2)}$ , а $l^{''}_{s(1)} > l^{''}_{s(2)}$ , то есть $l_{s(1)} = l^'_{s(1)} + l^{''}_{s(1)} > < l_{s(2)} = l^'_{s(2)} + l^{''}_{s(2)}.$

На основе этих утверждений можно построить $\varepsilon$ -спецификацию $\{\varepsilon (1), \varepsilon (2)\}$ , задающую множество всех допустимых транспозиций Т (2, n ) значений свертки булевых векторов на скалярной оси

$\begin{array}{rrrrrrr} (1, 2), &(1, 3), & (1, 4), & (1, 5), &…, & (1, n-2), & (1, n-1)\\ & (2, 2), & (2, 3), & (2, 4), &…, & (2, n-3), & (2, n-2)\\ & & (3, 2), & (3, 3), & …, & (3, n-4), & (3, n-3)\\ & & & (4, 2), & …, & (4, n-5), & (4, n-4) \\ & & & …& …& …& …\\ & & & & & (n-3, 2), & (n-3, 3) \\ & & & & & & (n-2, 2) \end{array}$

( 4.13)

в которой каждая строка идентифицируется $\varepsilon(1)$ , а каждый столбец - $\varepsilon = \varepsilon(1)+\varepsilon(2) = const$ , $\varepsilon = \overline{3, n}$ . Каждому элементу 1-й строки $\varepsilon$ -спецификации (4.13) соответствует

$P_{n-m}^{\varepsilon-1}=\sum_{m=1}^{n-\varepsilon+1}{C_{n-m}^{\varepsilon-1}}$

( 4.14)

комбинаций $l_{s(1)}$ и $l_{s(2)}$ , удовлетворяющих утверждению 4.3, где $C_{n-m}^{\varepsilon-1}$ - число сочетаний из (n - m) элементов w_i по $\varepsilon-1$ , а - текущий индекс, который связан со значением "старшего" индекса в утверждении 3 соотношением: $\max{i} = n - m + 1, m = \overline{1,(n - \varepsilon+1)}.$

Соотношение (4.14) иллюстрирует табл. 4.2, где представлены все -транспозиции сверток булевых векторов типа ( $\varepsilon (1)=1$ , $\varepsilon (2)$ ) для n = 6 . (Все численные результаты получены совместно с И. Клейменовым и А. Саломатовым.)

Таблица 4.2. А-транспозиции типа (s(1)=1, s(2)) для n = 6
$С_{6-m}^2$	Транспозиции типа	$С_{6-m}^3$	Транспозиции типа	$С_{6-m}^4$	Транспозиции типа
$m = 1;\\ C_5^2 =10$	$w_6 >< w_2+w_1\\ w_6 >< w_3+w_1\\ w_6 >< w_3+w_2\\ w_6 >< w_4+w_1\\ w_6 >< w_4+w_2\\ w_6 >< w_4+w_3\\ w_6 >< w_5+w_1\\ w_6 >< w_5+w_2\\ w_6 >< w_5+w_3\\ w_6 >< w_2+w_4$	$m = 1;\\ C_5^3 =10$	$w_6 >< w_3+w_2+w_1\\ w_6 >< w_4+w_2+w_1\\ w_6 >< w_4+w_3+w_1\\ w_6 >< w_4+w_3+w_2\\ w_6 >< w_5+w_2+w_1\\ w_6 >< w_5+w_3+w_1\\ w_6 >< w_5+w_3+w_2\\ w_6 >< w_5+w_4+w_1\\ w_6 >< w_5+w_4+w_2\\ w_6 >< w_5+w_4+w_3$	$m = 1;\\ C_5^4 =5$	$w_6 >< w_4+w_3+w_2+w_1\\ w_6 >< w_5+w_3+w_2+w_1\\ w_6 >< w_5+w_4+w_2+w_1\\ w_6 >< w_5+w_4+w_3+w_1\\ w_6 >< w_5+w_4+w_3+w_2\\$
$m = 2;\\ C_4^2 =6$	$w_5 >< w_2+w_1\\ w_5 >< w_3+w_1\\ w_5 >< w_3+w_2\\ w_5 >< w_4+w_1\\ w_5 >< w_4+w_2\\ w_5 >< w_4+w_3\\$	$m = 2;\\ C_4^3 =4$	$w_5 >< w_3+w_2+w_1\\ w_5 >< w_4+w_2+w_1\\ w_5 >< w_4+w_3+w_1\\ w_5 >< w_4+w_3+w_2$	$m = 2;\\ C_4^4 =1$
$m = 3;\\ C_3^2 =3$	$w_4 >< w_2+w_1\\ w_4 >< w_3+w_1\\ w_4 >< w_3+w_2$	$m = 3;\\ C_3^3 =1$		$P_{n-m}^{4}=6$
$m = 4;\\ C_2^2 =1$		$P_{6-m}^{3}=15$		$С_{6-m}^5$	Транспозиции типа
$P_{6-m}^{2}=20$				$m = 1;\\ C_5^5 =1$
$P_{6-m}^{2}=20$				$P_{n-m}^{5}=1$

Взяв в качестве образующей каждую -транспозицию типа ( $\varepsilon (1) = 1, \varepsilon (2) \ge 3$ ) и переставив в них справа налево любую из компонент w_i (w_i(s(1)):= w_i(s(2))) , можно получить все -транспозиции типа ( $\varepsilon (1) = 2, \varepsilon (2) = \varepsilon -2$ ), которые отвечают 2-й строке $\varepsilon$ -спецификации (4.13). Таких -транспозиций в каждом столбце ?-спецификации будет $С_{\varepsilon-1}^1$ . Исключением является 2-й столбец, где -транспозиции типа ( $\varepsilon (1) = 2, \varepsilon (2) = 2$ ) образованы из -транспозиции типа ( $\varepsilon (1) = 1, \varepsilon (2) = 3$ ) перестановкой справа налево одной, самой "младшей" по (4.10) компоненты, что порождает С_3^0 производных -транспозиций (табл. 4.3).

Продолжив процедуру перестановок справа налево различных двоек, троек и т. д. w_i , можно убедиться, что каждая образующая -транспозиция 1-й строки $\varepsilon$ -спецификации порождает, включая и самих себя, подклассы -транспозиций, причем мощности этих подклассов по каждому столбцу $\varepsilon$ -спецификации образуют ряд:

для четных $\varepsilon$ : $С^0_{\varepsilon-1}, С^{1}_{\varepsilon-1}, С^2_{\varepsilon-1},..., С_{\varepsilon-1}^{\chi}, C_{\chi}_{\varepsilon-1}, C^{\chi-1}_{\varepsilon-1}, … , C^1_{\varepsilon-1},C^0_{\varepsilon-1}$
для нечетных $\varepsilon$ : $С^0_{\varepsilon-1}, С^{1}_{\varepsilon-1}, С^2_{\varepsilon-1},..., С_{\varepsilon-1}^{\chi}, C^{\chi-1}_{\varepsilon-1}, … , C^1_{\varepsilon-1},C^0_{\varepsilon-1}$ ,

где $\chi = E[(\varepsilon-1)/2]-1,E[*]$ - целая часть [*] .

Приняв за четный последний столбец $\varepsilon$ -спецификации (4.13), комбинаторную схему порождения всех -транспозиций, генерируемых оператором линейной свертки булевых векторов, можно представить:

$\begin{array}{ccccccc} P^2_{n-m}, & P^3_{n-m}, & P^4_{n-m}, & P^5_{n-m}, & …, & P^{n-2}_{n-m}, & P^{n-1}_{n-m}, \\ C^0_2, & C^0_3, & C^0_4, & C^0_5, & … , & C^0_{n-2}, & C^0_{n-1}, \\ & C^0_3, & C^1_4, & C^1_5, & … , & C^1_{n-2}, & C^1_{n-1}, \\ & & C^0_4, & C^1_5, & … , & C^2_{n-2}, & C^2_{n-1}, \\ & & & C^0_5, & … , & C^3_{n-2}, & C^3_{n-1}, \\ & & & ... & … , & ... & ... \\ & & & & & C^{\chi-1}_{n-2}, & C^{\chi}_{n-1}, \\ & & & & & C^{\chi-2}_{n-2}, & C^{\chi-1}_{n-1}, \\ & & & ... & … , & ... & ... \\ & & & & & C^{0}_{n-2}, & C^1_{n-1}, \\ & & & & & & C^{0}_{n-1}, \\ \end{array}$

( 4.15)

Здесь в 1-й строке указаны постоянные для каждого столбца множители $P_{n-m}^{\varepsilon-1}$ соответствующие мощностям подклассов образующих -транспозиций $\varepsilon$ -спецификаций.

Таблица 4.3. А-транспозиции типа (s(1)>1, s(2)) для n = 6
$С_{6-m}^3$	Транспозиции типа	$С_{6-m}^3$	Транспозиции типа	$С_{\varepsilon-1}^4$	Транспозиции типа
$m = 1;\\ C_5^3 =10$	$w_1+w_6 >< w_3+w_2\\ w_1+w_6 >< w_4+w_2\\ w_1+w_6 >< w_4+w_3\\ w_1+w_6 >< w_5+w_2\\ w_1+w_6 >< w_5+w_3\\ w_1+w_6 >< w_5+w_4\\ w_2+w_6 >< w_4+w_3\\ w_2+w_6 >< w_5+w_3\\ w_2+w_6 >< w_5+w_4\\ w_3+w_6 >< w_5+w_4$	$m = 1;\\ C_5^4=5$	$w_1+w_6 >< w_4+w_3+w_2\\ w_1+w_6 >< w_5+w_3+w_2\\ w_1+w_6 >< w_5+w_4+w_2\\ w_1+w_6 >< w_5+w_4+w_3\\ w_2+w_6 >< w_5+w_4+w_3$	$\varepsilon-m = 5;\\ C_5^1 =5$	$w_2+w_1+w_6 >< w_5+w_4+w_3\\ w_3+w_1+w_6 >< w_5+w_4+w_2\\ w_4+w_1+w_6 >< w_5+w_3+w_2\\ w_5+w_1+w_6 >< w_4+w_3+w_2\\ w_3+w_2+w_6 >< w_5+w_4+w_1$
$m = 2;\\ C_4^3 =4$	$w_1+w_5 >< w_3+w_2\\ w_1+w_5 >< w_4+w_2\\ w_1+w_5 >< w_4+w_3\\ w_2+w_5 >< w_4+w_3$	$m = 2;\\ C_4^4 =1$		$C_5^1 * P_{6-m}^5=5*1=5$
$m = 3;\\ C_3^3 =4$		$m = 1;\\ C_5^4=5$	$w_2+w_6 >< w_4+w_3+w_1\\ w_2+w_6 >< w_5+w_3+w_1\\ w_2+w_6 >< w_5+w_4+w_1\\ w_3+w_6 >< w_5+w_4+w_1\\ w_3+w_6 >< w_5+w_4+w_2$	$С_{6-m}^4$	Транспозиции типа
$C_3^0 * P_{6-m}^3=1*15=15$		$m = 2;\\ C_4^4=1$		$m = 1;\\ C_5^4=5$	$w_2+w_1+w_6 >< w_4+w_3\\ w_2+w_1+w_6 >< w_5+w_3\\ w_2+w_1+w_6 >< w_5+w_4\\ w_3+w_1+w_6 >< w_5+w_4\\ w_2+w_3+w_6 >< w_5+w_4$
$С_{\varepsilon-1}^1$	Транспозиции типа	$m = 1;\\ C_5^4=1$	$w_3+w_6 >< w_4+w_2+w_1\\ w_3+w_6 >< w_5+w_2+w_1\\ w_4+w_6 >< w_5+w_2+w_1\\ w_4+w_6 >< w_5+w_3+w_1\\ w_4+w_6 >< w_5+w_3+w_2$	$m = 2;\\ C_4^4=1$
$\varepsilon-1=5;\\ C_5^1=5$	$w_1+w_6 >< w_5+w_4+w_3+w_2\\ w_2+w_6 >< w_5+w_4+w_3+w_1\\ w_3+w_6 >< w_5+w_4+w_2+w_1\\ w_4+w_6 >< w_5+w_3+w_2+w_1\\ w_5+w_6 >< w_4+w_3+w_2+w_1$	$m = 2;\\ C_4^4=1$		$C_4^0 * P_{6-m}^4=1*6=6$
$C_5^1 * P_{6-m}^5=5*1=5$		$m = 1;\\ C_5^4=5$	$w_4+w_6 >< w_3+w_2+w_1\\ w_5+w_6 >< w_3+w_2+w_1\\ w_5+w_6 >< w_4+w_2+w_1\\ w_5+w_6 >< w_4+w_3+w_1\\ w_5+w_6 >< w_4+w_3+w_2$	$С_{\varepsilon-1}^0$	Транспозиции типа
		$m = 2;\\ C_4^4=5$
		$C_5^0 * P_{6-m}^4=4*6=24$		$C_5^0 * P_{6-m}^5=1*1=1$

Сумма элементов $С^{\gamma}_{n-1}$ столбца из (4.15) представляет собой мощность множества -транспозиций, порожденных каждой образующей соответствующего типа:

$R_{\varepsilon-1}^{\chi} = \begin{cases} 2\sum_{r=0}^{\chi}{C_{\varepsilon-1}^r}, & \text{ для четных }\varepsilon \\ 2\sum_{r=0}^{\chi}{C_{\varepsilon-1}^r - C_{\varepsilon-1}^{\chi}}, & \text{ для нечетных }\varepsilon \\ \end{cases}$

Общее число -транспозиций, генерируемых оператором линейной свертки булевых векторов при ограничении (4.10) на компоненты весового вектора:

$T(2,n) = \sum_{\varepsilon-1}{T(2,\varepsilon)} = \sum_{\varepsilon-1}{R^{\chi}_{\varepsilon-1}*P_{n-m}^{\varepsilon-1}}$

( 4.16)

или

$T(2,n) = 2\sum_{\varepsilon-1}{\sum_{\gamma}{C_{\varepsilon-1}^{\gamma}}\sum_b{ C^{\varepsilon-1}_{m-b}}} - \sum_{\varepsilon-1}{\sum_{2(\gamma+1)}{C_{\varepsilon-1}^{\gamma}}\sum_b{ C^{\varepsilon-1}_{m-b}}}$

где $\varepsilon-1 =\overline{2,(n-1)}, r\overline{0,\chi}$ , а $T(2,\varepsilon) = R_{\varepsilon-1}^{\chi} * P^{\varepsilon-1}_{n-m}$ .

Дальше >>

Авторизоваться

Инструктивный синтез нанометровых вычислительных структур. От задач к вычислительным моделям и структурам

Нейрофизиологический и формально-логический базис нейроподобных вычислений

4.6. Входное преобразование формального нейрона как генератор кратных транспозиций в лексикографически упорядоченной последовательности значений свертки

Вопросы и ответы