НОУ ИНТУИТ | Математические методы распознавания образов. Лекция 7: Комитетные методы решения задач распознавания

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Твой путь к знаниям!

Московский государственный университет имени М.В.Ломоносова

Опубликован: 30.04.2008 | Доступ: свободный | Студентов: 1617 / 252 | Оценка: 4.24 / 3.92 | Длительность: 14:56:00

Специальности: Математик

Теги: beta, IWR, recognition, алгоритмы, базисными векторами, выпуклая оболочка, выходной нейрон, направляющий вектор, обучение, поиск, полиэдр, пространство признаков, процедуры, разработка, сложность, собственный вектор, теория, эмпирический риск

|

Вам нравится? Нравится 22 студентам

| Поделиться |

Поддержать курс

| Скачать электронную книгу

7.2. Комитеты

Нас интересует случай, когда теоретико-множественная задача не разрешима. Идея комитетного метода распознавания состоит в использовании нескольких классификаторов, каждый из которых дает свой результат. Далее по какому-либо общему правилу голосования на основе полученных результатов от каждого классификатора выдается итоговый результат.

Определение. Для исходной системы и числа $p:\;0\leq p<1$ конечное подмножество $K\subseteq Y$ называется -комитетом в классе , если для всех выполнено неравенство $\left|K\bigcap D_j\right|>p|K|$ (относительная доля , лежащая в D_j , превосходит ). Если $p=1\!/2$ , то -комитет называется просто комитетом.

Пример комитета для несовместной системы. Рассмотрим задачу исключающего или. x_0=(0,0) , x_1(1,1) , x_2=(0,1) , x_3=(1,0) . Пусть а – множество линейных классификаторов. Опишем множество D^* : $D_0\{F:F(x_0)=0\}$ , $D_1\{F:F(x_1)=0\}$ , $D_2\{F:F(x_2)=1\}$ , $D_3\{F:F(x_3)=1\}$ , $D^*=D_0\bigcap D_1\bigcap D_2\bigcap D_3\neq\varnothing$ . Пусть Y=D . Построим комитет $K=\{f_1,f_2,f_3\}\subset D$ :

$\begin{aligned} & f_1=\left(-x_1+x_2-\frac12>0\right)\quad f_1\in D_0\bigcap D_1\bigcap D_2 \\ & f_2=\left( x_1-x_2-\frac12>0\right)\quad f_1\in D_0\bigcap D_1\bigcap D_3 \\ & f_3=\left(-x_1-x_2+\frac32>0\right)\quad f_1\in D_1\bigcap D_2\bigcap D_3 \end{aligned}$

		Класс
0	0	B(0)	0	0	1
1	1	B(0)	0	0	0
0	1	A(1)	1	0-	1
1	0	A(1)	0	1	1

$K\bigcap D_0=\{f_1,f_2\}$ , $K\bigcap D_1=K$ , $K\bigcap D_2=\{f_1,f_3\}$ , $K\bigcap D_3=\{f_2,f_3\}$ . $\left|K\bigcap D_j\right|\geq2>\frac12|K|=\frac32$ .

Следовательно, есть комитет в классе линейных классификаторов.

Определение. Пусть $A,B\subset\Omega$ (подмножества, возможно, бесконечные) и $\widetilde{F}=\{F|F:|omega\rightarrow R\}$ – класс функционалов. Набор функционалов $\{F_1,F_2,\ldots,F_q\}$ называется разделяющим комитетом для множеств и , если

$\begin{aligned} &\left|\{k|F_k(a)>0\}\right|>\frac12 q,\; \forall a\in A \\ &\left|\{k|F_k(b)>0\}\right|>\frac12 q,\; \forall b\in A \end{aligned}$

Утверждение. Чтобы набор $\{F_1,F_2,\ldots,F_q\}$ был разделяющим комитетом для и необходимо, чтобы для каждой пары $a\in A$ и $b\in B$ нашелся такой F_k , что F_k(a)>0 и F_k(b)<0 .

Доказательство. Если n_a – число функционалов f_k(a)>0 , n_b – число функционалов F_k(b)>0 , то

$n_a+n_b>\frac12 q+\frac12 q=q$

И, т.к. найдется функционал, обладающий обоими свойствами, утверждение доказано.

Теорема. Пусть $\Omega=R^l, \; l\geq 2$ ; $A=\{x_1,x_2,\ldots,x_{m_1}\}$ , $B+\{x_{m_1+1},x_{m_2+2},\ldots,x_m\},\; 0<m_1<m$ . И пусть $x_k=0,\;\forall k=1,2,\ldots,m$ (нет нулевой точки); $x_i\neq x_j\alpha,\;\alpha\neq 0,\;\forall i,j,\alpha$ , (не коллинеарны). Тогда для таких и существует разделяющий комитет в классе аффинных функционалов: $\widetilde{F}=\{F|F(x)=(W,x)+W^0,W\in R^l,W^0\in R\}$ .

Доказательство. Построим комитет из 2m-1 элементов (функционалов):

$K=\{F_1,F'_1,F_2,F'_2,\ldots,F_{m-1},F'_{m-1},F_m\}$

Для каждого функционала необходимо найти W_k и W_k^) в – пару, которая определяет функционал F_k=(W_k,x)+W_k^0 , причем (x_k,W_k)=0 , т.е. $W_k\perp S_k$ и $\forall r\neq k,\;r=1,2,\ldots,m\quad (W_k,x_r)\neq 0$ , т.е. W_k не ортогонален остальным x_r . Другими словами каждая гиперплоскость должна иметь направляющий вектор, ортогональный своему прецеденту и не ортогональный всем остальным.

Пусть $\delta_k=\frac12\min_{r\neq k}|(W_k,x_r)|>0$ . Выберем W_k^0 следующим образом:

$\begin{aligned} &W_k^0= \left\{ \begin{aligned} &\phantom{-}\delta_k,\textit{ при }k=1,2,\ldots,m_1 \\ -&\delta_k,\textit{ при }k=m_1+1,\ldots,m \end{aligned} \right. \\ &F'_k(x)=-(W_k,x)+W_k^0 \\ &F_k(x)=(W_k,x)+W_k^0 \end{aligned}$

Покажем, что построенное множество функционалов является комитетом для и . Рассмотрим

$\begin{aligned} &F_k(x_k)=(W_k,x_k)+W_k^0=W_k^0= \left\{ \begin{aligned} >0,k\leq m_1 \\ <0,k>m_1 \end{aligned} \right. \\ &F'_k(x_k)=-(W_k,x_k)+W_k^0=W_k^0= \left\{ \begin{aligned} >0,k\leq m_1 \\ <0,k>m_1 \end{aligned} \right. \end{aligned}$

F'_k(x) и F_k(x) правильно классифицируют x_k . Посмотрим, как будет работать каждй такой функционал на остальных x_r :

Т.к. W_k^)<(W_k,x_k) , то знак F_k(x_r) определяется знаком W_k,x_r .

Рассмотрим $1\leq k\leq m-1$ . F'_k(x_k) и F_k(x_k) голосуют правильно, т.е. x_k соответствует правильное положение гиперплоскостей. F'_k(x_r) и F_k(x_r) имеют разные знаки. Следовательно, каждая пара F'_k и F_k правильно классифицирует на всех x_k и дает одну правильную классификацию на остальных x_r . Таким образом, количество правильно голосующих за x_k равно 2+(m-2)=m .

Дальше >>

Авторизоваться

Математические методы распознавания образов

Комитетные методы решения задач распознавания

7.2. Комитеты

Вопросы и ответы