НОУ ИНТУИТ | Основы теории информации и криптографии. Лекция 3: Базовые понятия теории информации

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Опубликован: 11.04.2007 | Уровень: специалист | Доступ: платный

|

Вам нравится? Нравится 53 студентам

| Поделиться |

Поддержать программу

Рассмотрим более простой пример. Пусть дискретная случайная величина равна количеству очков, выпавших на игральной кости, а дискретная случайная величина равна 0, если выпавшее количество очков нечетно, и 1, если выпавшее количество очков четно. Найти I(X,Y) и I(Y,Y) .

Составим законы распределения вероятностей дискретной случайной величины и .

$\setbox\bzero=\vbox{\offinterlineskip\halign{&\strut\hfil\ #\ \hfil\cr X& \vrule& 1& 2& 3& 4& 5& 6\cr \noalign{\hrule} p& \vrule& \span\span1/6\span\span\span\cr}} \setbox\bone=\vbox{\offinterlineskip\halign{&\strut\hfil\ #\ \hfil\cr Y& \vrule& 0& 1\cr \noalign{\hrule} p& \vrule&1/2\span\cr}} \centerline{\box\bzero \hfil \box\bone}$

Таким образом, при i=1...6 p_i=P(X=i)=1/6 и, соответственно, при j=0...1 q_j=P(Y=j)=1/2 .

Составим также закон совместного распределения вероятностей этих дискретных случайных величин

$\centerline{\vbox{\offinterlineskip\halign{&\strut\hfil\ #\ \hfil\cr X& \vrule& 1& 3& 5& 2& 4& 6&& 1& 3& 5& 2& 4& 6\cr Y& \vrule& 0& 0& 0& 1& 1& 1&& 1& 1& 1& 0& 0& 0\cr \noalign{\hrule} p& \vrule& \span\span1/6\span\span\span&&\span\span0\span\span\span\cr}}}$

Таким образом,

$p_{ij}=P(X=i,Y=j)= \begin{cases}0, &\text{\hskip-5.5pt если $i+j$ --- четно,}\\ 1/6, &\text{\hskip-5.5pt иначе.} \end{cases}$

$I(X,Y) = \sum_{i,j}p_{ij}\log_2{p_{ij}\over p_iq_j} =6{1\over6}\log_22=1 \hbox{ бит/символ}.$

$I(Y,Y) = -\sum^1_{j=0}q_j\log_2q_j = 2{1\over2}\log_22 = 1 \hbox{ бит/символ}.$

Точное количество выпавших очков дает точную информацию о четности, т.е. 1бит. Из I(X,Y)=I(Y,Y)=1 бит/сим и 3-го свойства информации следует, что информация об полностью определяет , но не наоборот, т.к. $I(X,Y) \ne I(X,X) = 1+\log_23 \approx 2.58$ бит/сим. Действительно, функционально зависит от , а от функционально не зависит.

Расчеты через энтропию будут следующими

$H(X,Y) = -\sum_{i,j} p_{ij}\log_2 p_{ij} = \log_26 = 1+\log_23 = HX,$

$I(X,Y) = HX+HY-HX = HY = 1 \hbox{ бит/символ}.$

Упражнение 5 Найти энтропию дискретной случайной величины , заданной распределением

$\centerline{\vbox{\offinterlineskip\halign{&\strut\quad#\cr X&\omit\ \vrule& 1& 2& 3& 4& 5& 6& 7& 8\cr \noalign{\hrule} p&\omit\ \vrule& 0.1& 0.2& 0.1& 0.05& 0.1& 0.05& 0.3& 0.1.\cr}}} \smallskip$

Упражнение 6 Значения дискретной случайной величины X_1 и X_2 определяются подбрасыванием двух идеальных монет, а дискретная случайная величина равна сумме количества "гербов", выпавших при подбрасывании этих монет. Сколько информации об X_1 содержится в ?

Упражнение 7 Сколько информации об X_1 содержится в дискретной случайной величине Z=(X_1+1)^2-X_2 , где независимые дискретные случайные величины X_1 и X_2 могут с равной вероятностью принимать значение либо 0, либо 1? Найти HX_1 и . Каков характер зависимости между X_1 и ?

Упражнение 8 Дискретные случайные величины X_1 , X_2 - зависимы и распределены также как и соответствующие дискретные случайные величины из предыдущей задачи. Найти I(X_1,X_2) , если совместное распределение вероятностей X_1 и X_2 описывается законом

$\vbox{\offinterlineskip\halign{&\strut\quad#\cr X_1& \omit\ \vrule& 0 & 0 & 1 & 1\cr X_2& \omit\ \vrule& 0 & 1 & 0 & 1\cr \noalign{\hrule} p& \omit\ \vrule&1/3&1/6&1/6&1/3.\cr}}$

Упражнение 9 Дискретные случайные величины X_1 и X_2 определяются подбрасыванием двух идеальных тетраэдров, грани которых помечены числами от 1 до 4. дискретная случайная величина равна сумме чисел, выпавших при подбрасывании этих тетраэдров, т.е. Y=X_1+X_2 . Вычислить I(X_1,Y) , HX_1 и .

Упражнение 10 Подсчитать сколько информации об X_1 содержится в дискретной случайной величине Z=X_1*X_2 , а также . Дискретные случайные величины X_1 и X_2 берутся из предыдущего упражнения.

Упражнение 11 Дискретная случайная величина X_1 может принимать три значения , 0 и 1 с равными вероятностями. Дискретная случайная величина X_2 с равными вероятностями может принимать значения 0, 1 и 2. X_1 и X_2 - независимы. Y=X_1^2+X_2 . Найти I(X_1,Y) , I(X_2,Y) , HX_1 , HX_2 , .

Упражнение 12 Найти энтропии дискретных случайных величин , , и количество информации, содержащейся в Z=X+Y относительно . и - независимы и задаются распределениями

$\centerline{\vbox{\offinterlineskip \halign{&\strut\quad#\cr X& \omit\ \vrule& 0& 1& 3& 4& \qquad& Y& \omit\ \vrule& -2& 2\cr \multispan6\hrulefill& \omit\quad\qquad& \multispan4\hrulefill\cr p& \omit\ \vrule& 1/8&1/8&1/4&1/2& \qquad& p& \omit\ \vrule& 3/8& 5/8.\cr }}} \smallskip$

Дальше >>

Основы теории информации и криптографии

Основы теории информации и криптографии

Базовые понятия теории информации

Вопросы и ответы

Студенты

Авторизоваться

Основы теории информации и криптографии

Основы теории информации и криптографии

Базовые понятия теории информации

Вопросы и ответы

Студенты