НОУ ИНТУИТ | Нейрокомпьютерные системы. Лекция 13: Самоорганизация (самообучение) нейронных сетей

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Опубликован: 13.09.2006 | Уровень: специалист | Доступ: платный | ВУЗ: Новосибирский Государственный Университет

|

Вам нравится? Нравится 20 студентам

| Поделиться |

Поддержать программу

Аннотация: Рассматриваются: метод динамических ядер в классификации без учителя, алгоритмы обучения сетей с самоорганизацией и их применение к компрессии данных и прогнозированию.

Классификация без учителя

Задан набор объектов, каждому объекту поставлен в соответствие вектор значений признаков (строка таблицы). Требуется разбить эти объекты на классы эквивалентности. Для каждого нового объекта нужно:

Найти класс, к которому он принадлежит.
Использовать новую информацию, полученную об этом объекте, для исправления (коррекции) правил классификации.

Отнесение объекта к классу проводится путем его сравнения с типичными элементами разных классов и выбора из них ближайшего.

Простейшая мера близости объектов - квадрат евклидова расстояния между векторами значений их признаков (чем меньше расстояние, тем ближе объекты). Соответствующее определение признаков типичного объекта - среднее арифметическое значение признаков по выборке, представляющей класс. Другая мера близости, возникающая при обработке сигналов, изображений и т.п. - квадрат коэффициента корреляции (чем он больше, тем ближе объекты). Возможны и иные варианты.

Если число классов заранее определено, то задачу классификации без учителя можно поставить следующим образом.

Метод динамических ядер в классификации без учителя

Пусть задана выборка предобработанных векторов данных $\{x\}\subseteq E,E$ - пространство векторов данных. Каждому классу будет соответствовать некоторое ядро $w \subseteq W,W$ - пространство ядер.

Для любых $x \in E$ и $w \in W$ определим меру близости d(x,w) , а для каждого набора из ядер $w_1, \ldots w_k$ и любого разбиения $\{x\}$ на классов $\{x\}=P_1 \smile P_2 \smile \ldots \smile P_k$ определим критерий качества

$\begin{equation} D=D(w_1, \ldots, w_k,P_1, \ldots, P_k)= \sum_{i=1}^k \sum_{x \in P_i} d (x,w_i). \end{equation}$

( 1)

Требуется найти набор $w_1, \ldots, w_k$ и разбиение $P_1, \ldots, P_k$ , минимизирующие Шаг алгоритма разбиваем на этапа:

1) Для фиксированного набора ядер $w_1, \ldots, w_k$ ищем минимизирующее разбиение $P_1 , \ldots, P_k$ ; оно дается следующим решающим правилом: $x \in P_i$ , если d(x,w_i) < d(x,w_j) при $i \neq j$ (когда для минимум достигается при нескольких значениях , выбор между ними может быть сделан произвольно).

2) Для каждого $P_i,i \in 1, \ldots, k$ , полученного на первом этапе, отыскивается $w_i \in W$ , минимизирующее критерий качества

$\begin{align*} D_i = \sum_{x \in P_i} d(x,w_i). \end{align*}$

Начальные значения $w_1, \ldots, w_k$ , $P_1, \ldots, P_k$ выбираются произвольно либо по какому-нибудь эвристическому правилу. Если ядру w_i ставится в соответствие элемент сети, вычисляющей по входному сигналу функцию d(x,w_i) , то решающее правило для классификации дается интерпретатором "проигравший забирает все": элемент принадлежит классу P_i , если выходной сигнал -го элемента меньше всех остальных. Мера близости выбирается такой, чтобы легко можно было найти ядро w_i , минимизирущее D_i для данного P_i.