НОУ ИНТУИТ | Прикладная статистика. Лекция 12: Статистика интервальных данных

Опубликован: 09.11.2009 | Уровень: для всех | Доступ: платный

12.4. Линейный регрессионный анализ интервальных данных

Перейдем к многомерному статистическому анализу. Сначала с позиций асимптотической математической статистики интервальных данных рассмотрим оценки метода наименьших квадратов (МНК).

Статистическое исследование зависимостей - одна из наиболее важных задач, которые возникают в различных областях науки и техники. Под словами "исследование зависимостей" имеется в виду выявление и описание существующей связи между исследуемыми переменными на основании результатов статистических наблюдений. К методам исследования зависимостей относятся регрессионный анализ, многомерное шкалирование, идентификация параметров динамических объектов, факторный анализ, дисперсионный анализ, корреляционный анализ и др. Однако многие реальные ситуации характеризуются наличием данных интервального типа, причем известны допустимые границы погрешностей (например, из технических паспортов средств измерения).

Если какая-либо группа объектов характеризуется переменными X_1, X_2, ..., X_m и проведен эксперимент, состоящий из опытов, где в каждом опыте эти переменные измеряются один раз, то экспериментатор получает набор чисел: $X_{1j}, X_{2j},...,X_{mj} (j = 1,...,n)$ .

Однако процесс измерения, какой бы физической природы он ни был, обычно не дает однозначный результат. Реально результатом измерения какой-либо величины являются два числа: $X_{\textit{Н}}$ - нижняя граница и $X_{\textit{В}}$ - верхняя граница. Причем $X_{\textit{ИСТ}}\in [X_{\textit{Н}},X_{\textit{В}}]$ , где $X_{\textit{ИСТ}$ - истинное значение измеряемой величины. Результат измерения можно записать как $X:[X_{\textit{Н}},X_{\textit{В}}]$ . Интервальное число может быть представлено другим способом, а именно, $X:[Х_m,\Delta_x]$ , где $X_{\textit{Н}} = X_m - \Delta_x, X_{\textit{В}} = X_m + \Delta_x$ . Здесь X_m - центр интервала (как правило, не совпадающий с $X_{\textit{ИСТ}}$ ), а $\Delta_x$ - максимально возможная погрешность измерения.

Метод наименьших квадратов для интервальных данных. Пусть математическая модель задана следующим образом:

$y=Q(x,b)+\varepsilon,$

где

- вектор влияющих переменных (факторов), поддающихся измерению; b=(b_1,b_2,...,b_r)

- вектор оцениваемых параметров модели;

- отклик модели (скаляр); Q(x,b)

- скалярная функция векторов

; наконец, $\varepsilon$ - случайная ошибка (невязка, погрешность).

Пусть проведено опытов, причем в каждом опыте измерены (один раз) значения отклика (y) и вектора факторов (x) . Результаты измерений могут быть представлены в следующем виде:

$X=\{х_{ij};i=1,...,n;j=1,...,m\},Y=(y_1,y_2,...,y_n),Е=(\varepsilon_1,\varepsilon_2,...,\varepsilon_n),$

где

- матрица значений измеренного вектора (x)

опытах;

- вектор значений измеренного отклика в

опытах;

- вектор случайных ошибок. Тогда выполняется матричное соотношение:

где

Q(X,b)=(Q(x_1,b),Q(x_2,b),...,Q(x_n,b))^T

, причем

-мерные вектора, которые составляют матрицу X=(x_1,x_2,...,x_n)T

Введем меру близости d(Y,Q) между векторами и . В МНК в качестве d(Y,Q) берется квадратичная форма взвешенных квадратов $\varepsilon_i^2$ невязок $\varepsilon_i=y_i-Q(x_i,b)$ , т.е.

где $W=\{w_ij, i,j=1,...,n\}$ - матрица весов, не зависящая от

. Тогда в качестве оценки

можно выбрать такое b^*

, при котором мера близости d(Y,Q)

принимает минимальное значение, т.е.

$b^*=\{b:d(Y,Q)\rightarrow\min_{\{b\}}\}.$

В общем случае решение этой экстремальной задачи может быть не единственным. Поэтому в дальнейшем будем иметь в виду одно из этих решений. Оно может быть выражено в виде b^* = f(X,Y) , где f(X,Y) = (f_1(X,Y), f_2(X,Y),..., f_m(X,Y))^T , причем f_i(X,Y) непрерывны и дифференцируемы по $(X,Y)\in Z$ , где - область определения функции f(X,Y) . Эти свойства функции f(X,Y) дают возможность использовать подходы статистики интервальных данных.

Преимущество метода наименьших квадратов заключается в сравнительной простоте и универсальности вычислительных процедур. Однако не всегда оценка МНК является состоятельной (при функции Q(X,b) , не являющейся линейной по векторному параметру b), что ограничивает его применение на практике.

Важным частным случаем является линейный МНК, когда Q(x,b) есть линейная функция от :

$y=b_0x_0+b_1x_1+...+b_mx_m+\varepsilon=bx^T+\varepsilon,$

где, возможно, x_0 = 1

, а

- свободный член линейной комбинации. Как известно, в этом случае МНК-оценка имеет вид:

$b^*(X^TWX)^{-1}X^TWY.$

Если матрица X^TWX не вырождена, то эта оценка является единственной. Если матрица весов единичная, то

$b^*=(X^TX)^{-1}X^TY.$

Пусть выполняются следующие предположения относительно распределения ошибок $\varepsilon_i$ :

ошибки $\varepsilon_i$ имеют нулевые математические ожидания $М\{\varepsilon_i\} = 0$ ;
результаты наблюдений имеют одинаковую дисперсию $D\{\varepsilon_i} = \sigma^2$ ;
ошибки наблюдений некоррелированы, т.е. cov\{\varepsilon_i,\varepsilon_j} = 0.

Тогда, как известно, оценки МНК являются наилучшими линейными оценками, т.е. состоятельными и несмещенными оценками, которые представляют собой линейные функции результатов наблюдений и обладают минимальными дисперсиями среди множества всех линейных несмещенных оценок. Далее именно этот наиболее практически важный частный случай рассмотрим более подробно.

Как и в других постановках асимптотической математической статистики интервальных данных, при использовании МНК измеренные величины отличаются от истинных значений из-за наличия погрешностей измерения. Запишем истинные данные в следующей форме:

$X_R=\{x_{ij}^R;i=\overline{1,n};j=\overline{1,m}\},Y_R=(y_1^R,y_2^R,...,y_n^R),$

где

- индекс, указывающий на то, что значение истинное. Истинные и измеренные данные связаны следующим образом:

$X=X_R+\Delta X, Y=Y_R+\Delta Y,$

где $\Delta X=\{\Delta x_{ij};i=\overline{1,n};j=\overline{1,m}\},\Delta Y=(\Delta y_1,\Delta y_2,...,\Delta y_n)$ . Предположим, что погрешности измерения отвечают граничным условиям

$|\Delta x_{ij}|\le\Delta_j^x(i=1,2,...,n,\;j=1,2,...,m), |\Delta y_i|\le\Delta^y(i=1,2,...,n),$

( 48)

аналогичным ограничениям (1).

Пусть множество возможных значений (X_R,Y_R) входит в - область определения функции f(X,Y) . Рассмотрим $b^{*R}$ - оценку МНК, рассчитанную по истинным значениям факторов и отклика, и b^* - оценку МНК, найденную по искаженным погрешностями данным. Тогда

$\Delta b^*=b^{*R}-b^*=f(X_R,Y_R)-f(X,Y).$

Ввести понятие нотны придется несколько иначе, чем это было сделано выше, поскольку оценивается не одномерный параметр, а вектор. Положим:

$n(1)=(\sup\Delta b_1^*,\sup\Delta b_2^*,...,\sup\Delta b_r^*)^T, n(2)=-(\inf\Delta b_1^*,\inf\Delta b_2^*,...,\inf\Delta b_r^*)^T.$

Будем называть n(1) - нижней нотной, а n(2) - верхней нотной. Предположим, что при безграничном возрастании числа измерений , т.е. при $n\rightarrow\infty$ , векторы n(1), n(2) стремятся к постоянным значениям соответственно. Тогда N(1) будем называть нижней асимптотической нотной, а N(2) - верхней асимптотической нотной.

Рассмотрим доверительное множество $B_{\alpha}=B_{\alpha}(n,b^{*R})$ для вектора параметров , т.е. замкнутое связное множество точек в -мерном евклидовом пространстве такое, что $P(b\in B_{\alpha})=\alpha$ где $\alpha$ - доверительная вероятность, соответствующая $B_{\alpha}(\alpha\approx 1)$ . Другими словами, $B_{\alpha}(n,b^{*R})$ есть область рассеивания (аналог эллипсоида рассеивания) случайного вектора $b^{*R}$ с доверительной вероятностью $\alpha$ и числом опытов .

Из определения верхней и нижней нотн следует, что всегда $b^{*R}\in [b^*-n(1);b^*+n(2)]$ .. В соответствии с определением нижней асимптотической нотны и верхней асимптотической нотны можно считать, что $b^{*R}\in [b^*-N(1);b^*+N(2)]$ . при достаточно большом числе наблюдений . Этот многомерный интервал описывает -мерный гиперпараллелепипед .

Каким-либо образом разобьем на гиперпараллелепипедов. Пусть b_k - внутренняя точка -го гиперпараллелепипеда. Учитывая свойства доверительного множества и устремляя к бесконечности, можно утверждать, что $P(b\in C)\ge\alpha$ где

$C=\lim_{L\rightarrow\infty}\bigcup_{1\le k\le L} B_{\alpha}(n,b_k).$

Таким образом, множество характеризует неопределенность при оценивании вектора параметров . Его можно назвать доверительным множеством в статистике интервальных данных.

Введем некоторую меру M(X) , характеризующую "величину" множества $X\subseteq R^r$ . По определению меры она удовлетворяет условию: если $X=Z\cup Y$ и $Z\cap Y=\varnothing$ , то M(X)=M(Z)+M(Y) . Примерами такой меры являются площадь для r = 2 и объем для r = 3 . Тогда:

( 49)

где $F=C\P$ . Здесь M(F)

характеризует меру статистической неопределенности, в большинстве случаев она убывает при увеличении числа опытов

. В то же время M(P)

характеризует меру интервальной (метрологической) неопределенности, и, как правило, M(P)

стремится к некоторой постоянной величине при увеличении числа опытов

. Пусть теперь требуется найти то число опытов, при котором статистическая неопределенность составляет $\delta$ -ю часть общей неопределенности, т.е.

$M(F)=\delta M(C),$

( 50)

где $\delta<1$ . Тогда, подставив соотношение (50) в равенство (49) и решив уравнение относительно

, получим искомое число опытов. В асимптотической математической статистике интервальных данных оно называется "рациональным объемом выборки". При этом $\delta$ есть "степень малости" статистической неопределенности М(P)

относительно всей неопределенности. Она выбирается из практических соображений. При использовании "принципа уравнивания погрешностей" согласно [ [ 1.15 ] ] имеем $\delta = 1/2$ .

Метод наименьших квадратов для линейной модели. Рассмотрим наиболее важный для практики частный случай МНК, когда модель описывается линейным уравнением (см. выше).

Для простоты описания преобразований пронормируем переменные $х_{ij},у_i$ . следующим образом:

$x_{ij}^0=(x_{ij}-\overline{x}_j)/s(x_j),\; y_i^0=(y_i-\overline{y})/s(y),$

где

$\overline{x}_j=\frac{1}{n}\sum_{1\le i\le n}x_{ij}, \; s^2(x_j)=\frac{1}{n}\sum_{1\le i\le n}(x_{ij}-\overline{x}_j), \; \overline{y}=\frac{1}{n}\sum_{1\le i\le n}y_i, \; s^2(y)=\frac{1}{n}\sum_{1\le i\le n}(y_i-\overline{y})^2.$

Тогда

$\overline{x}_j^0=0s^2(x_j^0)=\frac{1}{n}\sum_{1\le i\le n}(x_{ij^0}-\overline{x}_j^0)=1,\; \overline{y}^0=0s^2(y^0)=\frac{1}{n}\sum_{1\le i\le n}(y_i^0-\overline{y}^0)^2=1,\;j=1,2,...,m.$

В дальнейшем изложении будем считать, что рассматриваемые переменные пронормированы описанным образом, и верхние индексы ⁰ опустим. Для облегчения демонстрации основных идей примем достаточно естественные предположения.

1. Для рассматриваемых переменных существуют следующие пределы:

$\lim_{n\rightarrow\infty}\frac{1}{n}\sum_{1\le i\le n}\x_{ij}x_{ik}=0,\; j,k=1,2,...,m.$

2. Количество опытов n таково, что можно пользоваться асимптотическими результатами, полученными при $n\rightarrow\infty$ .

3. Погрешности измерения удовлетворяют одному из следующих типов ограничений:

тип 1. Абсолютные погрешности измерения ограничены согласно (48);

тип 2 . Относительные погрешности измерения ограничены:

$|\Delta x_{ij}|\le\delta_j^x|x_{ij}|(i=1,2,....,n,\;j=1,2,...,m),\;|\Delta y_i|\le\delta^y|y_i|(i=1,2,...,n);$

тип 3. Ограничения наложены на сумму погрешностей:

$\sum_{j=1}^m|\Delta_{ij}|\le\alpha_x(i=1,2,...,n,\;j=1,2,...,m),\;|\Delta y_i|\le\alpha_y(i=1,2,...,n)$

(поскольку все переменные отнормированы, т.е. представляют собой относительные величины, то различие в размерности исходных переменных не влияет на возможность сложения погрешностей).

Перейдем к вычислению нотны оценки МНК. Справедливо равенство:

$\begin{aligned} &\Delta b^*=b^{*R}-b^*=(X_R^T X_R)^{-1}X_R^T Y_R-(X^TX)^{-1}X^TY=\\ &=(X_R^TX_R)^{-1}X_R^TY_R-((X_R+\Delta X)^T(X_R+\Delta X))^{-1}(X_R+\Delta X)(Y_R+\Delta Y). \end{aligned}$

Воспользуемся следующей теоремой из теории матриц [ [ 12.10 ] ].

Теорема. Если функция $f(\lambda)$ разлагается в степенной ряд в круге сходимости $|\lambda - \lambda_0| < r$ , т.е.

$f(\lambda)=\sum_{k=0}^{\infty}\alpha_k(\lambda - \lambda_0)^k,$

то это разложение сохраняет силу, если скалярный аргумент заменить любой матрицей

, характеристические числа которой $\lambda_k, k = 1,...,n$ , лежат внутри круга сходимости.

Из этой теоремы вытекает, что:

$(E-A)^{-1}=\sum_{P=0}^{\infty}A^P,\quad\textit{если}\quad|\lambda_k|<1;\;k=1,...,n.$

Легко убедиться, что:

$\begin{aligned} &((X_R+\Delta X)^T(X_R+\Delta X))^{-1}=-Z(E-\Delta\cdot Z)^{-1}, \\ &\textit{где }Z=-(X_R^TX_R)^{-1},\Delta=X_R^T\Delta X+\Delta X^TX_R+\Delta X^T\Delta X. \end{aligned}$

Это вытекает из последовательности равенств:

$\begin{aligned} &((X_R+\Delta X)^T(X_R+\Delta X))^{-1}=(X_R^TX_R+X_R^T\Delta X+\Delta X^T\Delta X)^{-1}=(X_R^TX_R+\Delta)^{-1}= \\ &=(E+\Delta(X_R^TX_R)^{-1}X_R^TX_R)^{-1}=(X_R^TX_R)^{-1}(E+\Delta(X_R^TX_R)^{-1})^{-1}=-Z(E-\Delta\cdot Z)^{-1}. \end{aligned}$

Применим приведенную выше теорему из теории матриц, полагая $A = \Delta Z$ и принимая, что собственные числа этой матрицы удовлетворяют неравенству $|\lambda_k|<1$ . Тогда получим:

$((X_R+\Delta X)^T(X_R+\Delta X))^{-1}=-Z\sum_{P=0}^{\infty}(\Delta\cdot Z)^P=(X_R^TX_R)^{-1}\sum_{P=0}^{\infty}(-\Delta\cdot(X_R^TX_R)^{-1})^P.$

Подставив последнее соотношение в заключение упомянутой теоремы, получим:

$\begin{aligned} &\Delta b^*=(X_R^TX_R)^{-1}X_R^TY_R-((X_R^TX_R)^{-1} \sum_P^{\infty}(-\Delta\cdot(X_R^TX_R)^{-1})^P)(X_R+\Delta X)^T(Y_R+\Delta Y)= \\ &=(X_R^TX_R)^{-1}X_R^TY_R-((X_R^TX_R)^{-1}\sum_P^{\infty}(-\Delta\cdot(X_R^TX_R)^{-1})^P) (X_R^TY_R+\Delta X^TY_R+ X_R^T\Delta Y+\Delta X^T\Delta Y). \end{aligned}$

Для дальнейшего анализа понадобится вспомогательное утверждение. Исходя из предположений 1-3, докажем, что:

$(X_R^TX_R)^{-1}\approx\frac{1}{n}E.$

Доказательство. Справедливо равенство

$X_R^TX_R=n \begin{pmatrix} D^*(x_1)&\cdots&\text{cov}^*(x_1,x_m) \\ \cdots&\cdots&\cdots \\ \text{cov}^*(x_1,x_m)&\cdots&D^*(x_m) \end{pmatrix} =n\cov^*(x),$

где $D^*(x_i)\text{cov}^*(x_i,x_j)$ - состоятельные и несмещенные оценки дисперсий и коэффициентов ковариации. Следовательно,

$D^*(x_i)=D(x_i)+o(1/n),\;\text{cov}^*(x_i,x_j)-\text{cov}^*(x_i,x_j)+o(1/n),$

тогда

$XX_R^TX_R=n\text{cov}^*(x)=n(||\text{cov(x_i,x_j)}||+o(1/n)),$

где

$o(1/n)=\{a_{ij}=o(1/n)\}(i=\overline{1,n},j=\overline{1,m}).$

Другими словами, каждый элемент матрицы, обозначенной как o(1/n) , есть бесконечно малая величина порядка 1/n . Для рассматриваемого случая $\text{cov}(x)=E$ , поэтому

$X_R^TX_R=n\text{cov}^*(x)=n(E+o(1/n)).$

Предположим, что достаточно велико и можно считать, что собственные числа матрицы o(1/n) меньше единицы по модулю, тогда

$(X_R^TX_R)^{-1}=\frac{1}{n}\cdot(E+o(1/n))^{-1}\approx\frac{1}{n}(E+o(1/n))=\frac{1}{n}E+o(1/n^2)\approx\frac{1}{n}E,$

что и требовалось доказать.

Подставим доказанное асимптотическое соотношение в формулу для приращения b^* , получим

$\begin{aligned} &\Delta b^*=b^{*R}-\frac{1}{n}\sum_{P=0}^{\infty}\left(-\Delta\cdot\frac{1}{n}\right)^P (nb^*R+\Delta X^TY_R+X_R^T\Delta Y+\Delta X^T\Delta Y)= \\ &=b^{*R}-\frac{1}{n}\sum_{P=0}^{\infty}(-(X_R^T\Delta X+\Delta X^TX_R+\Delta X^T\Delta X)\cdot\left(\frac{1}{n}\right)^P(nb^{*R}+\Delta X^TY_R+X_R^T\Delta Y+\Delta X^T\Delta Y)= \\ &b^{*R}-\frac{1}{n}\left(E-(X_R^T\Delta X+\Delta X^TX_R+\Delta X^T\Delta X)\frac{1}{n}+(X_R^T\Delta X+\Delta X^TX_R+\Delta X^T\Delta X)^2\left(\frac{1}{n}\right)^2\right)\cdot \\ &\cdot(nb^{*R}+\Delta X^TY_R+X_R^T\Delta Y +\Delta X^T\Delta Y). \end{aligned}$

Перейдем от матричной к скалярной форме, опуская индекс (R):

$\begin{aligned} &\Delta b_k^*=\frac{1}{n}\{\sum_j^m\sum_i^n(x_{ik}\Delta x_{ij}+\Delta x_{ik}x_{ij})b_j^*-\sum_i^n(\Delta x_{ik}y_i+x_{ik}\Delta y_i)\}; \\ &\Delta b_k^*=\frac{1}{n}\{2\sum_i^nx_{ik}\Delta x_{ik}b_k^*+\sum_{j\ne k}^m \sum_i^n [(x_{ik}\Delta x_{ij}+\Delta x_{ik}x_{ij})b_j^*-\sum_{i}^n(\Delta x_{ik}y_i+x_{ik}\Delta y_i)\}= \\ &=\frac{1}{n}\{2\sum_i^nx_{ik}\Delta x_{ik}b_k^*+\sum_{j\ne k}^m \sum_i^n [(x_{ik}\Delta x_{ij}+\Delta x_{ik}x_{ij})b_j^*-\frac{1}{m-1}\Delta x_{ik}y_i]-\sum_i^n x_{ik}\Delta y_i\}= \\ &=\frac{1}{n}\{\sum_{j\ne k}^m \sum_i^n[\frac{2}{m-1}x_{ik}\Delta x_{ik}b_k^*+(x_{ik}\Delta x_{ij}+\Delta x_{ik}x_{ij})b_j^*-\frac{1}{m-1}\Delta x_{ik}y_i]-\sum_i^n x_{ik}\Delta y_i\}= \\ &=\frac{1}{n}\{\sum_{j\ne k}^m \sum_i^n[(\frac{2}{m-1}x_{ik}b_k^*+x_{ij}b_j^*-\frac{1}{m-1}y_i)\Delta x_{ik}-x_{ik}b_j^*\Delta x_{ij}]-\sum_i^n x_{ik}\Delta y_i\} \end{aligned}$

Будем искать $\max(|\Delta b_k^*|)$ по $\Delta x_{ij}$ и $\Delta y_i (i=1,...,n; j=1,...,m)$ . Для этого рассмотрим все три ранее введенных типа ограничений на ошибки измерения.

Тип 1 (абсолютные погрешности измерения ограничены). Тогда:

$\max_{\Delta x,\Delta y}(|\Delta b_k^*|)=\frac{1}{n} \left\{ \sum_{j\ne k}^m \sum_i^n \left[\left|\left( \frac{2}{m-1}x_{ik}b_k^*+x_{ij}b_j^*-\frac{1}{m-1}y_i \right) \right| \Delta_k^x+|x_{ik}b_j^*|\Delta_j^x \right] -\sum_i^n |x_{ik}|\Delta y \right\}.$

Тип 2 (относительные погрешности измерения ограничены). Аналогично получим:

$\sum_{j=1}^m|\Delta x_{ij}|<\alpha_x\;(i=1,2,...,n,\;j=1,2,...,m),\;|\Delta y_i|<\alpha_y\;(i=1,2,...,n).$

Тип З (ограничения наложены на сумму погрешностей). Предположим, что $|\Delta b_k^*|$ достигает максимального значения при таких значениях погрешностей $\Delta x_{ij}$ и $\Delta y_i$ , которые мы обозначим как:

$\{\Delta x_{ij}^*,\;i=\overline{1,2,...,n};j=1,2,...,m\},\;\{\Delta y_i^*,\;i=1,2,...,n\}.$

тогда:

$\max_{\Delta x,\Delta y}(|\Delta b_k^*|)=\frac{1}{n} \left\{ \sum_{j\ne k}^m \sum_i^n \left[\left( \frac{2}{m-1}x_{ik}b_k^*+x_{ij}b_j^*-\frac{1}{m-1}y_i \right) x_{ik}^*+x_{ik}b_j^*x_{ij}^* \right] -\sum_i^n x_{ik}y_i^* \right\}.$

Ввиду линейности последнего выражения и выполнения ограничения типа 3:

$\begin{aligned} &\max_{\Delta x,\Delta y}(|\Delta b_k^*|)=\frac{1}{n} \left\{ \sum_{j\ne k}^m \sum_i^n \left[\left| \frac{2}{m-1}x_{ik}b_k^*+x_{ij}b_j^*-\frac{1}{m-1}y_i \right|\cdot |\Delta x_{ik}^*|+|x_{ik}b_j^*|\cdot|\Delta x_{ij}^*| \right] -\sum_i^n |x_{ik}|\cdot|\Delta y_i^*| \right\}, \\ &\sum_j^m|\Delta x_{ij}^*|-\alpha_x\quad(j=1,2,...,m),\quad |\Delta y_i^*|=\alpha_y. \end{aligned}$

Для простоты записей выкладок сделаем следующие замены:

$\begin{aligned} &|\Delta x_{ij}|=\alpha_{ij}\ge 0,\;C_k=n\sum_i^n|x_{ik}|\cdot|\Delta y_i^*|\ge 0, \\ &K_i^k=\sum_{j\ne k}^m\left|\frac{2}{m-1}x_{ik}b_k^*+x_{ij}b_j^*-\frac{1}{m-1}y_i\right|\ge 0, \\ &|x_{ik}b_j^*|=R_{ij}^k\ge 0. \end{aligned}$

Теперь для достижения поставленной цели можно сформулировать следующую задачу, которая разделяется на типовых задач оптимизации:

$f_k(\{\alpha_{ij}\})\rightarrow\max_{\alpha_{ij}}(i=1,2,...,n;j=1,2,...,m; k=1,2,...,m),$

где

$f_k(\{\alpha_{ij}\})=\frac{1}{n}\left\{\sum_i^n K_i^k\alpha_{ik}+\sum_{j\ne m}^m\sum_i^n R_{ij}^k\alpha_{ij}\right\}+C_k,$

при ограничениях

$\sum_j^m\alpha_{ij}=\alpha_x\quad (j=1,2,...,m).$

Перепишем минимизируемые функции в следующем виде:

$f_k=\frac{1}{n}\sum_i^n\left(K_i^k\alpha_{ik}+\sum_{j\ne m}^m R_{ij}^k\alpha_{ij}\right)+C_k=\frac{1}{n}\sum_i^n f_i^k+C_k.$

Очевидно, что $f_{ik} > 0$ .

Легко видеть, что

$\begin{aligned} &n\cdot\max_{\alpha_{ij}}(f_k)=\max_{\alpha_{i1}}(f_1^k)+\max_{\alpha_{i2}}(f_2^k)+... + \max_{\alpha_{in}}(f_n^k)+C_k=\sum_i^n\max_{\alpha_{ii}}(f_i^k)+C_k, \\ &\textin{где } i=1,2,...,n;j=1,2,...,m. \end{aligned}$

Следовательно, необходимо решить задач

$\{f_i^k\}\rightarrow\max_{a_{ij}}(i=1,2,...,n;\;j=1,2,...,m;\;k=1,2,...,m)$

при ограничениях "типа равенства":

$\begin{aligned} &\sum_j^m\alpha_{ij}=\alpha_x\;(i=1,2,...,n),\\ &\textit{где }f_i^k=K_i^k\alpha_{ik}+\sum_{j\ne m}^m R_{ij}^k\alpha_{ij}=\sum_j^m S_{ij}^k\alpha_{ij}, \\ &\textit{причем }S_{ij}^k= \left\{ \begin{aligned} &k_i^k,\textit{ если } j=k,\\ &R_{ij}^k,\textit{ если } j\ne k. \end{aligned} \right. \end{aligned}$

Сформулирована типовая задача поиска экстремума функции. Она легко решается. Поскольку

$\max_{a_{ij}}(f_l^k)=\max_j(S_{ij}^k)\cdot\alpha_x,$

то максимальное отклонение МНК-оценки k-ого параметра равно

$\max_{\Delta X,\Delta Y}(|\Delta \widehat{b}_k|)=\max_{a_{ij}}(f_k)=\frac{1}{n} \alpha_x\sum_i^n\max_j(S_{ij}^k)+\frac{1}{n}C_k,\;(i=1,2,...,n;\;j=1,2,...,m).$

Кроме рассмотренных выше трех видов ограничений на погрешности могут представлять интерес и другие, но для демонстрации типовых результатов ограничимся только этими тремя видами.

Оценивание линейной корреляционной связи. В качестве примера рассмотрим оценивание линейной корреляционной связи случайных величин и x_1, x_2,..., x_m с нулевыми математическими ожиданиями. Пусть эта связь описывается соотношением:

$y=\sum_{j=1}^m b_jx_j+e,$

где

- постоянные, а случайная величина

некоррелирована с x_1, x_2,..., х_m

. Допустим, необходимо оценить неизвестные параметры b_1, b_2,..., b_m

по серии независимых испытаний:

$y_i=\sum_{j=1}^m b_jx_{ij}+e_i,\;(i=1,2,...,n).$

Здесь при каждом i = 1,2,...,n имеем новую независимую реализацию рассматриваемых случайных величин. В этой частной схеме оценки наименьших квадратов $b_1^{*R}, b_2^{*R}, ..., b_m^{*R}$ параметров b_1, b_2, ..., b_m являются, как известно, состоятельными [ [ 12.41 ] ].

Пусть величины x_1, x_2, ..., x_m в дополнение к попарной независимости имеют единичные дисперсии. Тогда из закона больших чисел [ [ 12.41 ] ] следует существование следующих пределов (ср. предположение 1 выше):

$\begin{aligned} &\lim_{n\rightarrow\infty}\left\{\frac{1}{n}\sum_i^nx_{ij}^R\right\}=M\{x_j\}=0\quad(j=\overline{1,m}), \\ &\lim_{n\rightarrow\infty}\left\{\frac{1}{n}\sum_i^n(x_{ij}^R-M\{x_j\})^2\right\}=D\{x_j\}=1 \quad(j=\overline{1,m}), \\ &\lim_{n\rightarrow\infty}\left\{\frac{1}{n}\sum_i^n(x_{ij}^R-M\{x_j\}) (x_{ik}^R-M\{x_k\})\right\}=0 \quad(j,k=\overline{1,m}), \\ &\lim_{n\rightarrow\infty}\left\{\frac{1}{n}\sum_i^n y_i^R\right\}=M\{y\}=b_1 M\{x_1\}+...+b_m M\{x_m\} + M\{e\}=0, \\ &\lim_{n\rightarrow\infty}\left\{\frac{1}{n}\sum_i^n(y_i^R-M\{y\})^2\right\}=D\{y\}=b_1^2+...+ b_m^2+\sigma^2, \end{aligned}$

где $\sigma$ - среднее квадратическое отклонение случайной величины

Пусть измерения производятся с погрешностями, удовлетворяющими ограничениям типа 1, тогда максимальное приращение величины $|\Delta b^*_k|$ , как показано выше, равно:

$\max_{\Delta x,\Delta y}(|\Delta b_k^*|)=\frac{1}{n} \left\{ \sum_{j\ne k}^m\sum_i^n \left[\left| \frac{2}{m-1}x_{ik}^R b_k^*+x_{ij}^R b_j^*-\frac{1}{m-1}y_i^r \right| \cdot\Delta_k^x+|x_{ik}^R b_j^*|\cdot\Delta_j^x \right] +\sum_i^n|x_{ik}^R|\cdot\Delta y \right\}.$

Перейдем к предельному случаю и выпишем выражение для нотны:

$\begin{aligned} &N_k=\lim_{n\rightarrow\infty}\{\max_{\Delta x, \Delta y}(|\Delta b_k^*|)\}= \\ &=\sum_{j\ne k}^m[\{|\frac{2}{m-1}x_k b_k+x_j b_j-\frac{1}{m-1}y|\}\cdot\Delta_k^x+M\{|x_k b_j|\}\cdot\Delta_j^x+M\{|x_k|\}\cdot\Delta y. \end{aligned}$

В качестве примера рассмотрим случай m = 2 . Тогда

$\begin{aligned} &N_1=M\{|2x_1b_1+x_2b_2-y|\}\Delta_1^x+M\{b_2x_1\}\Delta_2^x+M\{|x_1|\}\Delta y, &N_2=M\{|2x_2b_2+x_1b_1-y|\}\Delta_2^x+M\{b_1x_2}\Delta_1^x+M\{|x_2|\}\Delta y. \end{aligned}$

Приведенное выше выражение для максимального приращения метрологической погрешности не может быть использовано в случае m=1 . Для m=1 выведем выражение для нотны, исходя из соотношения:

$\Delta b_k^*=\frac{1}{n} \left\{ \sum_j^m\sum_i^n(x_{ik}\Delta x_{ij}+\Delta x_{ik}x_{ij}),\;b_j^*-\sum_i^n(\Delta x_{ik}y_i+x_{ik}\Delta y_i) \right\}.$

Подставив m = 1 , получим:

$\Delta b^*=\frac{1}{n} \left\{ \sum_i^n(2x_i\Delta x_i)b^*-\sum_i^n(\Delta x_i y_i+x_i\Delta y_i) \right\} =\frac{1}{n} \left\{ \sum_i^n((2x_ib^*-y_i)\Delta x_i+x_i\Delta y_i) \right\}.$

Следовательно, нотна выглядит так:

$N_f=M\{|2xb^* - y|\}\Delta x+M\{|x|\}\Delta y.$

Дальше >>

Прикладная статистика

Прикладная статистика

Статистика интервальных данных

12.4. Линейный регрессионный анализ интервальных данных

Вопросы и ответы

Студенты

Авторизоваться

Прикладная статистика

Прикладная статистика

Статистика интервальных данных

12.4. Линейный регрессионный анализ интервальных данных

Вопросы и ответы

Студенты