НОУ ИНТУИТ | Прикладная статистика. Лекция 6: Оценивание

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Опубликован: 09.11.2009 | Уровень: для всех | Доступ: платный

|

Вам нравится? Нравится 61 студенту

| Поделиться |

Поддержать программу

6.2. Одношаговые оценки

Одношаговые оценки имеют столь же хорошие асимптотические свойства, что и оценки максимального правдоподобия, при тех же условиях регулярности, что и ОМП. Грубо говоря, они представляют собой результат первой итерации при решении системы уравнений максимального правдоподобия по методу Ньютона-Рафсона. Одношаговые оценки выписываются в виде явных формул, а потому требуют существенно меньше машинного времени, а также могут применяться при ручном счете (на калькуляторах). Снимаются вопросы о сходимости алгоритмов, о выборе момента прекращения вычислений, о влиянии округлений при вычислениях на окончательный результат. ОШ-оценки были использованы нами при разработке ГОСТ 11.011-83 вместо ОМП.

Как и раньше, рассмотрим выборку x_1, x_2,..., x_n из распределения с плотностью $f(x;\theta_0)$ , где $f(x;\theta_0)$ - элемент параметрического семейства плотностей распределения вероятностей ${f(x;\theta), \theta\in\Theta}$ . Здесь $\Theta$ - известное статистику k-мерное пространство параметров, являющееся подмножеством евклидова пространства Rk, а конкретное значение параметра ?0 неизвестно. Его и будем оценивать.

Обозначим $\theta=(\theta^1,\theta^2,...,\theta^k)$ . Рассмотрим вектор-столбец частных производных логарифма плотности вероятности

$s(x,\theta)= \left|\left| \frac{\partial}{\partial\theta^{\alpha}}\ln f(x,\theta),\alpha=1,2,...,k \right|\right|$

и матрицу частных производных второго порядка для той же функции

$b(x,\theta)= \left|\left| \frac{\partial}{\partial\theta^{\alpha}\partial\theta^{\beta}}\ln f(x,\theta),\alpha,\beta=1,2,...,k \right|\right|.$

Положим

$s_n(\theta)=\frac{1}{n}\sum_{i=1}^n s(x_i,\theta),b_n(\theta)=\frac{1}{n}\sum_{i=1}^n b(x_i,\theta).$

Пусть матрица информации Фишера $I(\theta_0)=M[-b_n(\theta_0)]$ положительно определена.

Определение 1 [ [ 6.7 ] , с.269]. Оценку $\theta(n)$ параметра $\theta_0$ называют наилучшей асимптотически нормальной оценкой (сокращенно НАН-оценкой), если распределение случайного вектора $\sqrt{n}(\theta(n)-\theta_0)$ сходится при $n\rightarrow\infty$ к нормальному распределению с нулевым математическим ожиданием и ковариационной матрицей, равной $I^{-1}(\theta_0)$ .

Определение 1 корректно: $I^{-1}(\theta_0)$ является нижней асимптотической границей для ковариационной матрицы случайного вектора $\sqrt{n}(\theta*(n)-\theta_0)$ , где $\theta*(n)$ - произвольная оценка; ОМП - это НАН-оценки (см. [ [ 6.7 ] ] и др.). Некоторые другие оценки также являются НАН-оценками, например, байесовские. Сказанное об ОМП и байесовских оценках справедливо при некоторых условиях регулярности (см., например, [ [ 4.7 ] ]). В ряде случаев несмещенные оценки являются НАН-оценками, более того, они лучше, чем ОМП (их дисперсия меньше), при конечных объемах выборки [ [ 6.13 ] ].

Для анализа реальных данных естественно рекомендовать какую-либо из НАН-оценок. (Это утверждение всегда верно на этапе асимптотики при изучении конкретной задачи прикладной статистики. Теоретически можно предположить, что при тщательном изучении для конкретных конечных объемов выборки наилучшей окажется какая-либо оценка, не являющаяся НАН-оценкой. Однако такие ситуации нам пока не известны.)

Пусть $\theta_1(n)$ и $I_n^{-1}$ - некоторые оценки $\theta_0$ и $I^{-1}(\theta_0)$ соответственно.

Определение 2. Одношаговой оценкой (ОШ-оценкой, или ОШО) называется оценка

$\theta_2(n)=\theta_1(n)+I_{n}^{-1}S_n(\theta_1(n)).$

Теорема 1 [ [ 2.14 ] ]. Пусть выполнены следующие условия.

(I) Распределение $\sqrt{n}s_n(\theta_0)$ сходится при $n\rightarrow\infty$ к нормальному распределению с математическим ожиданием 0 и ковариационной матрицей $I(\theta_0)$ и, кроме того, существует $Mb_n(\theta_0)b'_n(\theta_0)$ .

(II) При некотором $\varepsilon 0$ и $n\rightarrow\infty$

$\sup_{\theta:0<|\theta-\theta_0|<\varepsilon} \frac{|s_n(\theta)-s_n(\theta_0)-b_n(\theta_0)(\theta-\theta_0)|}{|\theta-\theta_0|^2}=O_p(1).$

(III) Для любого $\varepsilon>0$

$\lim_{n\rightarrow\infty}P\{n^{1/4}(|\theta_1(n)-\theta_0|+||I_n^{-1}-I^{-1}(\theta_0)||)>\varepsilon\}=0.$

Тогда ОШ-оценка является НАН-оценкой.

Доказательство. Рассмотрим тождество

$\sqrt{n}(\theta_2(n)-\theta_0)=\sqrt{n}(\theta_1(n)-\theta_0)+\sqrt{n}I_n^{-1}S_n(\theta_1(n)).$

( 1)

В силу условия (II) теоремы

$\sqrt{n}I_n^{-1}S_n(\theta_1(n))=\sqrt{n}I_n^{-1}S_n(\theta_0)+ \sqrt{n}I_n^{-1}b_n(\theta_0)(\theta_1(n)-\theta_0)+ \sqrt{n}I_n^{-1}O_p(|\theta_1(n)-\theta_0|^2).$

( 2)

Из условия (I) теоремы следует, что первое слагаемое в правой части формулы (2) сходится при $n\rightarrow\infty$ по распределению к нормальному закону с математическим ожиданием 0 и ковариационной матрицей $I^{-1}(\theta_0)$ . Согласно условию (III)

$\sqrt{n}|\theta_1(n)-\theta_0|^2\rightarrow 0$

по вероятности. Кроме того, согласно тому же условию последовательность матриц $I_n^{-1}$ ограничена по вероятности. Поэтому третье слагаемое в правой части формулы (2) сходится к 0 по вероятности. Для завершения доказательства теоремы осталось показать, что

$\sqrt{n}(\theta_1(n)-\theta_0)+sqrt{n}I_n^{-1}b_n(\theta_0)(\theta_1(n)-\theta_0)\rightarrow 0$

( 3)

по вероятности. Левая часть формулы (3) преобразуется к виду

$(E+I_n^{-1}b_n(\theta_0))\sqrt{n}(\theta_1(n)-\theta_0),$

( 4)

где

- единичная матрица. Поскольку из условия (I) теоремы следует, что для $b_n(\theta_0)$ справедлива (многомерная) центральная предельная теорема, то

$b_n(\theta_0)=-I(\theta_0)+O_p(n^{-1/2}).$

С учетом условия (III) теоремы заключаем, что

$E+I_n^{-1}b_n(\theta_0)=O_p(n^{-1/4}).$

( 5)

Из соотношений (4), (5) и условия (III) теоремы вытекает справедливость формулы (3). Теорема доказана.

Прокомментируем условия теоремы. Условия (I) и (II) обычно предполагаются справедливыми при рассмотрении оценок максимального правдоподобия [ [ 6.7 ] ]. Эти условия можно выразить в виде требований, наложенных непосредственно на плотность $f(x;\theta)$ из параметрического семейства, как это сделано, например, в [ [ 4.7 ] ]. Условие (III) теоремы, наложенное на исходные оценки, весьма слабое. Обычно используемые оценки $\theta_1(n)$ и $I_n^{-1}$ являются не $n^{-1/4}$ -состоятельными, а $\sqrt{n}$ -состоятельными, т.е. условие (III) заведомо выполняется.

Какие оценки годятся в качестве начальных? В качестве $\theta_1(n)$ можно использовать оценки метода моментов, как это сделано в ГОСТ 11.011-83 [ [ 6.6 ] ], или, например, квантильные. В качестве $I_n^{-1}$ в теоретической работе [ [ 6.7 ] ] предлагается использовать простейшую оценку

$I_n^{-1}=-b_n^{-1}(\theta_1(n)).$

( 6)

Для гамма-распределения с неизвестными параметрами формы, масштаба и сдвига ОШ-оценки применены в [ [ 6.6 ] ]. При этом оценка (6) оказалась непрактичной, поскольку с точностью до погрешностей измерений и вычислений $\det(b_n) = 0$ для реальных данных о наработке резцов до предельного состояния, приведенных выше в табл.6.2 (п.6.1). Поскольку , то обратная матрица не существует, вычисления по формуле (6) невозможны. Поэтому в [ [ 6.6 ] ] в качестве ОШ-оценки была применена непосредственно первая итерация метода Ньютона-Рафсона решения системы уравнений максимального правдоподобия, т.е. была использована оценка

$I_n^{-1}=I^{-1}(\theta_1(n)).$

( 7)

В формуле (7) непосредственно используется явный вид зависимости матрицы информации Фишера от неизвестных параметров распределения.

В других случаях выбор тех или иных начальных оценок, в частности, выбор между (6) и (7), может определяться, например, простотой вычислений. Можно использовать также устойчивые аналоги [ [ 1.15 ] ] перечисленных выше оценок.

Необходимо отметить, что еще в 1925 г., т.е. непосредственно при разработке метода максимального правдоподобия, его создатель Р.Фишер считал, что первая итерация по методу Ньютона-Рафсона дает хорошую оценку вектору неизвестных параметров [ [ 6.7 ] , с.298]. Он однако рассматривал эту оценку как аппроксимацию ОМП. А.А. Боровков воспринимает ОШ-оценки как способ "приближенного вычисления оценок максимального правдоподобия" [ [ 6.2 ] , с.225] и показывает асимптотическую эквивалентность ОШ-оценок и ОМП (в более сильных предположениях, чем в теореме 1; другими словами, теорема 1 обобщает результаты А.А. Боровкова относительно ОШ-оценок). Мы же полагаем, что ОШ-оценки имеют самостоятельную ценность, причем не меньшую, а в ряде случаев большую, чем ОМП. По нашему мнению, ОМП целесообразно применять (на этапе асимптотики) только тогда, когда они находятся явно. Во всех остальных случаях следует использовать на этом этапе ОШ-оценки (или какие-либо иные, выбранные из дополнительных соображений).

С чем связана популярность оценок максимального правдоподобия? Из всех НАН-оценок они наиболее просто вводятся и ранее других предложены. Поэтому среди математиков сложилась устойчивая традиция рассматривать ОМП в курсах математической статистики. Однако при этом игнорируются вычислительные вопросы, а также отодвигаются в сторону многочисленные иные НАН оценки.

Дальше >>

Прикладная статистика

Прикладная статистика

Оценивание

6.2. Одношаговые оценки

Вопросы и ответы

Студенты

Авторизоваться

Прикладная статистика

Прикладная статистика

Оценивание

6.2. Одношаговые оценки

Вопросы и ответы

Студенты