НОУ ИНТУИТ | Введение в теорию вероятностей. Лекция 12: Сходимость последовательностей случайных величин

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Опубликован: 07.04.2008 | Уровень: специалист | Доступ: платный | ВУЗ: Новосибирский Государственный Университет

|

Вам нравится? Нравится 73 студентам

| Поделиться |

Поддержать программу

Законы больших чисел

Определение 45. Говорят, что последовательность случайных величин $\xi_1,\,\xi_2,\,\dots$ с конечными первыми моментами удовлетворяет закону больших чисел (ЗБЧ), если

$\begin{equation} \vphantom{\dfrac12}\frac{\xi_1+\ldots+\xi_n}{n} - \frac{{\mathsf E\,}\xi_1+\ldots+{\mathsf E\,}\xi_n}{n} {\buildrel {\rm p} \over \longrightarrow} 0 \text{ при } n\to\infty. \end{equation}$

( 20)

Законами больших чисел принято называть утверждения о том, при каких условиях последовательность случайных величин удовлетворяет закону больших чисел.

Выясним сначала, когда выполнен ЗБЧ для последовательности независимых и одинаково распределенных случайных величин.

Теорема 36 (ЗБЧ Чебышёва). Для любой последовательности $\xi_1,\,\xi_2,\,\dots$ попарно независимых и одинаково распределенных случайных величин с конечным вторым моментом ${\mathsf E\,}\xi_1^2<\infty$ имеет место сходимость

$\begin{equation} \vphantom{\dfrac12}\frac{\xi_1+\ldots+\xi_n}{n} {\buildrel {\rm p} \over \longrightarrow} {\mathsf E\,}\xi_1. \end{equation}$

( 21)

Заметим, что если величины одинаково распределены, то их математические ожидания одинаковы (и равны, например, ${\mathsf E\,}\xi_1$ ), поэтому свойство (20) можно записать в виде (21).

ЗБЧ утверждает, что среднее арифметическое большого числа случайных слагаемых "стабилизируется" с ростом этого числа. Как бы сильно каждая случайная величина ни отклонялась от своего среднего значения, при суммировании эти отклонения "взаимно гасятся", так что среднее арифметическое приближается к постоянной величине.

В дальнейшем мы увидим, что требование конечности второго момента (или дисперсии) связано исключительно со способом доказательства, и что утверждение останется верным, если требовать существования только первого момента.

Доказательство. Обозначим через $S_n=\xi_1+\ldots+\xi_n$ сумму первых случайных величин. Из линейности математического ожидания получим

${\mathsf E\,}\left(\frac{S_n}{n}\right) = \frac{{\mathsf E\,}\xi_1+\ldots+{\mathsf E\,}\xi_n}{n} = \frac{n\,{\mathsf E\,}\xi_1}{n}={\mathsf E\,}\xi_1.$

Пусть ${\varepsilon}>0$ . Воспользуемся неравенством Чебышёва (следствие 17):

$\[ \mathsf P\left(\left|\dfrac{S_n}{n} - \mathsf E \left(\dfrac{S_n}{n}\right)\right|\ge \varepsilon\right) \le \dfrac{\mathsf D \left(\dfrac{S_n}{n}\right)}{\varepsilon^2}= \dfrac{\mathsf D S_n}{n^2\varepsilon^2} = \dfrac{\mathsf D \xi_1+\ldots+\mathsf D \xi_n}{n^2\varepsilon^2} = \dfrac{n\, \mathsf D \xi_1}{n^2\varepsilon^2} = \dfrac{\mathsf D \xi_1}{n \varepsilon^2} \to 0 \] при $n\to\infty$,$

так как ${\mathsf D\,}\xi_1<\infty$ . Дисперсия суммы превратилась в сумму дисперсий в силу попарной независимости слагаемых, из-за которой все ковариации ${{\rm cov}}(\xi_i,\, \xi_j)$ в свойстве 19) обратились в нуль при $i\ne j$ .

Замечание. Мы не только доказали сходимость, но и получили оценку для вероятности среднему арифметическому любого числа попарно независимых и одинаково распределенных величин отличаться от ${\mathsf E\,}\xi_1$ более чем на заданное ${\varepsilon}$ :

$\begin{equation} \Prob\left(\left|\frac{\xi_1+\ldots+\xi_n}{n}-{\mathsf E\,}\xi_1\right|\ge {\varepsilon}\right)\le\frac{{\mathsf D\,} \xi_1}{n {\varepsilon}^2}. \end{equation}$

( 23)

Попарную независимость слагаемых в ЗБЧ Чебышёва можно заменить их попарной некоррелированностью, ничего не меняя в доказательстве. ЗБЧ может выполняться и для последовательности зависимых и разнораспределенных слагаемых. Из неравенства Чебышёва сразу вытекает следующее достаточное условие выполнения ЗБЧ для последовательности произвольных случайных величин.

Теорема 37 (ЗБЧ Маркова). Последовательность случайных величин $\xi_1,\xi_2,\dots$ с конечными вторыми моментами удовлетворяет ЗБЧ, если ${\mathsf D\,} S_n=o(n^2)$ , т.е. если $\frac{{\mathsf D\,} S_n}{n^2} \to 0$ при $n\to\infty$ .

Теорема Маркова утверждает, что ЗБЧ выполнен, если дисперсия суммы слагаемых растет не слишком быстро с ростом .

Сильная зависимость слагаемых приводит обычно к невыполнению ЗБЧ. Если, например, ${\mathsf D\,}\xi_1\ne 0$ и $\xi_n\equiv\xi_1$ , то $S_n=n\xi_1$ , и свойство (21) не выполнено. В этом случае не выполнено и достаточное условие для ЗБЧ: ${\mathsf D\,} S_n={\mathsf D\,} (n\xi_1)=cn^2$ . Для одинаково распределенных слагаемых дисперсия суммы еще быстрее расти уже не может.

Следующее утверждение мы докажем чуть позже. Сравните его условия с условиями ЗБЧ Чебышёва.

Теорема 38 (ЗБЧ Хинчина). Для любой последовательности $\xi_1,\,\xi_2,\,\dots$ независимых в совокупности и одинаково распределенных случайных величин с конечным первым моментом ${\mathsf E\,}|\xi_1|<\infty$ имеет место сходимость:

$\vphantom{\dfrac{1^2}{2^2}}\frac{\xi_1+\ldots+\xi_n}{n} {\buildrel {\rm p} \over \longrightarrow} {\mathsf E\,}\xi_1.$

Итак, чтобы последовательность независимых и одинаково распределенных случайных величин удовлетворяла ЗБЧ, достаточно существования первого момента слагаемых. Более того, в условиях теоремы 38 имеет место и сходимость п.н. последовательности $(\xi_1+\ldots+\xi_n)/n$ к ${\mathsf E\,}\xi_1$ . Это утверждение называется усиленным законом больших чисел (УЗБЧ) Колмогорова, и его мы доказывать не будем.

Получим в качестве следствия из ЗБЧ Чебышёва закон больших чисел Бернулли. В отличие от ЗБЧ Чебышёва, описывающего предельное поведение среднего арифметического случайных величин с произвольными распределениями, ЗБЧ Бернулли - утверждение только для схемы Бернулли.

Теорема 39 (ЗБЧ Бернулли). Пусть событие может произойти в любом из независимых испытаний с одной и той же вероятностью , и пусть $\nu_n(A)$ - число осуществлений события в испытаниях. Тогда $\frac{\nu_n(A)}{n} {\buildrel {\rm p} \over \longrightarrow} p$ . При этом для любого ${\varepsilon}>0$

$\vphantom{\dfrac{1^2}{2^2}}\Prob\left(\left|\frac{\nu_n(A)}{n} - p\,\right|\ge {\varepsilon} \right)\le \frac{p\mspace{1mu}(1 - p)}{n{\varepsilon}^2}.$

Доказательство. Заметим, что $\nu_n(A)$ есть сумма независимых, одинаково распределенных случайных величин, имеющих распределение Бернулли с параметром $p=\Prob(A)$ (индикаторов того, что в соответствующем испытании произошло ): $\nu_n(A)=\xi_1+\ldots+\xi_n$ , где

$\xi_i=\begin{cases} 1, & \text{ если } A \text{ произошло в }\, i\text{-м испытании}; \\ 0, & \text{ если } A \text{ не произошло в }\, i\text{-м испытании}; \end{cases}$

и ${\mathsf E\,}\xi_1=\Prob(A)=p$ , ${\mathsf D\,}\xi_1=p(1-p)$ . Осталось воспользоваться ЗБЧ в форме Чебышёва и неравенством (23).

Пример 71. Монета подбрасывается 10^4 раз. Оценим вероятность того, что частота выпадения герба отличается от $\frac12$ на 0{,}01 или более.

Пусть $\xi_1,\dots,\xi_n$ - независимые случайные величины, каждая из которых имеет распределение Бернулли с параметром p=1/2 и равна единице, если при соответствующем подбрасывании выпал герб, и нулю иначе. Нужно оценить $\Prob\left(\left|\frac{\nu_n}{n}-\frac12\right|\ge 0{,}01\right)$ , где $n={10}^4$ , а $\nu_n=\sum\limits_{i=1}^n\xi_i$ - число выпадений герба. Поскольку ${\mathsf D\,}\xi_1=\frac12\cdot \frac12=\frac14$ , искомая оценка сверху выглядит так:

$\Prob\left(\left|\frac{\nu_n}{n}-\frac12\right|\ge 0{,}01\right)\le \frac{{\mathsf D\,}\xi_1}{n\cdot{0{,}01}^2}=\frac{1}{4\cdot 10^4\cdot 10^{-4}}= \frac14.$

Итак, неравенство Чебышёва позволяет заключить, что в среднем не более чем в четверти случаев при 10 000 подбрасываниях монеты частота выпадения герба будет отличаться от $\frac12$ на одну сотую или больше. Мы увидим, насколько это грубая оценка, когда познакомимся с центральной предельной теоремой.

Дальше >>

Введение в теорию вероятностей

Введение в теорию вероятностей

Лекция 12: Сходимость последовательностей случайных величин

Законы больших чисел

Вопросы и ответы

Студенты

Авторизоваться

Введение в теорию вероятностей

Введение в теорию вероятностей

Лекция 12: Сходимость последовательностей случайных величин

Законы больших чисел

Вопросы и ответы

Студенты