Найти несмещенную оценку дисперсии ошибок

При проведении регрессионного анализа
основная трудность заключается в том,
что генеральная дисперсия случайной
ошибки является неизвестной величиной,
что вызывает необходимость в расчёте
её несмещённой выборочной оценки.

Несмещённой оценкой дисперсии(или
исправленной дисперсией) случайной
ошибки линейной модели парной регрессии
называется величина, рассчитываемая
по формуле:

где n
– это объём выборочной совокупности;

еi– остатки регрессионной модели:

Для линейной модели множественной
регрессии несмещённая оценка дисперсии
случайной ошибки рассчитывается по
формуле:

где k
– число оцениваемых параметров модели
регрессии.

Оценка матрицы ковариаций случайных
ошибок Cov(ε) будет являться оценочная
матрица ковариаций:

где In
– единичная матрица.

Оценка дисперсии случайной
ошибки модели регрессии распределена
по ε2(хи-квадрат)
закону распределения с (n-k-1)
степенями свободы.

Для доказательства несмещённости оценки
дисперсии случайной ошибки модели
регрессии необходимо доказать
справедливость равенства

Доказательство. Примем без
доказательства справедливость следующих
равенств:

где G2(ε)
– генеральная дисперсия случайной
ошибки;

S2(ε)– выборочная дисперсия случайной
ошибки;

– выборочная оценка дисперсии
случайной ошибки.

Тогда:

т. е.

что и требовалось доказать.

Следовательно, выборочная оценка
дисперсии случайной ошибки

является несмещённой оценкой
генеральной дисперсии случайной ошибки
модели регрессии G2(ε).

При условии извлечения из
генеральной совокупности нескольких
выборок одинакового объёма n
и при одинаковых значениях объясняющих
переменных х,
наблюдаемые значения зависимой переменной
у будут случайным образом колебаться
за счёт случайного характера случайной
компоненты β.
Отсюда можно сделать вывод, что будут
варьироваться и зависеть от значений
переменной у значения оценок коэффициентов
регрессии и оценка дисперсии случайной
ошибки модели регрессии.

Для иллюстрации данного утверждения
докажем зависимость значения МНК-оценки

от величины случайной ошибки
ε.

МНК-оценка коэффициента β1 модели
регрессии определяется по формуле:

В связи с тем, что переменная
у зависит от случайной компоненты ε
(yi=β0+β1xi+εi), то ковариация
между зависимой переменной у
и независимой переменной х
может быть представлена следующим
образом:

Для дальнейших преобразования используются
свойства ковариации:

1) ковариация между переменной
х и
константой С
равна нулю: Cov(x,C)=0,
C=const;

2) ковариация
переменной х
с самой собой равна дисперсии этой
переменной: Cov(x,x)=G2(x).

Исходя из указанных свойств ковариации,
справедливы следующие равенства:

Cov(x,β0)=0
(β0=const);

Cov(x, β1x)=
β1*Cov(x,x)=
β1*G2(x).

Следовательно, ковариация
между зависимой и независимой переменными
Cov(x,y)
может быть записана как:

Cov(x,y)=
β1G2(x)+Cov(x,ε).

В результате МНК-оценка коэффициента
β1 модели регрессии примет вид:

Таким образом, МНК-оценка

может быть представлена как сумма двух
компонент:

1) константы β1,
т. е. истинного значения коэффициента;

2) случайной ошибки Cov(x,ε),
вызывающей вариацию коэффициента модели
регрессии.

Однако на практике подобное разложение
МНК-оценки невозможно, потому что
истинные значения коэффициентов модели
регрессии и значения случайной ошибки
являются неизвестными. Теоретически
данное разложение можно использовать
при изучении статистических свойств
МНК-оценок.

Аналогично доказывается, что МНК-оценка

коэффициента модели регрессии и
несмещённая оценка дисперсии случайной
ошибки

могут быть представлены как сумма
постоянной составляющей (константы) и
случайной компоненты, зависящей от
ошибки модели регрессии ε.

Задача 55. Из генеральной совокупности извлечена выборка объема N, заданная вариантами ХI и соответствующими им частотами. Найти несмещенную оценку генеральной средней.

Решение. Множество всех объектов, подлежащих изучению, называется Генеральной совокупностью. Множество случайно отобранных объектов называется выборочной совокупностью или Выборкой.

Для оценки неизвестных параметров теоретического распределения служат статистические оценки. Статистическая оценка, определяемая одним числом, называется Точечной оценкой.

Точечная статистическая оценка, математическое ожидание которой равно оцениваемому параметру при любом объеме выборки, называется Несмещенной оценкой. Статистическая оценка, математическое ожидание которой не равно оцениваемому параметру является Смещенной.

Несмещенной оценкой генеральной средней (математического ожидания) служит выборочная средняя

(1),

Где ХI – варианта выборки (элемент выборки); Ni – частота варианты ХI (число наблюдений варианты ХI); – объем выборки (число элементов совокупности).

Объем данной выборки равен .

Далее по формуле (1) вычисляем несмещенную оценку генеральной средней:

Задача 56. По выборке объема N=41 найдена смещенная оценка генеральной дисперсии . Найти несмещенную оценку дисперсии генеральной совокупности.

Решение. Смещенной оценкой генеральной дисперсии служит выборочная дисперсия

Несмещенной оценкой генеральной дисперсии является «исправленная дисперсия»

или

Таким образом, мы получаем искомую несмещенную оценку дисперсии генеральной совокупности:

Задача 57. Найти доверительный интервал для оценки с надежностью P=0,95 неизвестного математического ожидания A нормально распределенного признака Х генеральной совокупности, если даны генеральное среднее квадратическое отклонение S=5, выборочная средняя , а объем выборки N=25.

Решение. Интервальной оценкой называется интервал, покрывающий оцениваемый параметр. Доверительным интервалом является интервал, который с данной надежностью покрывает оцениваемый параметр.

Для оценки математического ожидания A нормально распределенного количественного признака Х по выборочной средней при известном среднем квадратическом отклонении s генеральной совокупности служит доверительный интервал

,

Где – точность оценки, T – значение аргумента функции Лапласа (приложение, таблица 2).

В данной задаче T находим из условия . По таблице 2 определяем . Таким образом, T=1,96.

Далее получаем

Или

Задача 58. По данным N=9 независимых равноточных измерений некоторой физической величины найдены среднее арифметическое результатов измерений и исправленное среднее квадратическое отклонение S=6. Оценить истинное значение измеряемой величины при помощи доверительного интервала с надежностью =0,99.

Решение. Оценкой математического ожидания A нормально распределенного количественного признака Х в случае неизвестного среднего квадратического отклонения является доверительный интервал

.

По таблице 3 приложения, по заданным N и находим =3,36.

Таким образом

Окончательно получаем

Задача 59. Из генеральной совокупности извлечена выборка объема N. Оценить с надежностью =0,95 математическое ожидание A нормально распределенного признака Х генеральной совокупности по выборочной средней с помощью доверительного интервала.

Решение. Объем данной выборки равен

По данным задачи находим выборочную среднюю:

Далее находим исправленное среднее квадратическое отклонение S:

Для оценки математического ожидания A нормально распределенного количественного признака Х в случае неизвестного среднего квадратического отклонения служит доверительный интервал

.

По таблице 3 приложения по заданным N и находим =2,26.

Таким образом

Окончательно получаем

Задача 60. Построить полигон частот и эмпирическую функцию по данному распределению выборки:

Решение. Полигоном частот называют ломаную, отрезки которой соединяют точки ; ;…;, где ХI – варианты выборки, Ni – соответствующие им частоты.

Полигон частот для данного распределения изображен на рисунке 15.

Рис. 15

Эмпирической функцией распределения (функцией распределения выборки) называют функцию , определяющую для каждого значения X относительную частоту события :

,

Где – число вариант, меньших Х; N – объем выборки.

Из определения следует, что .

Найдем эмпирическую функцию распределения.

Объем данной выборки равен =18.

Если , то =0 (так как -3 – наименьшая варианта). Если , то значение , а именно наблюдалось 3 раза, следовательно, . При значения , а именно и наблюдались 3+6=9 раз, следовательно, .

Аналогично получаем, что при функция распределения ; при функция распределения ; при функция распределения . Далее, если , то (так как 7 – наибольшая варианта).

Таким образом, эмпирическая функция распределения равна:

График полученной эмпирической функции распределения изображен на рисунке 16.

Задача 61. Найти методом сумм асимметрию и эксцесс по заданному распределению выборки объема N=100:

Решение. Асимметрия эмпирического распределения определяется равенством:

,

Где — центральный эмпирический момент третьего порядка, вычисляемый по формуле:

Эксцесс эмпирического распределения определяется равенством:

,

Где — центральный эмпирический момент четвертого порядка, вычисляемый по формуле:

Асимметрия и эксцесс служат для оценки отклонения эмпирического распределения от нормального. Для нормального распределения эти характеристики равны нулю. Поэтому, если для изучаемого распределения асимметрия и эксцесс имеют небольшие значения, то можно предположить близость этого распределения к нормальному. Наоборот, большие значения асимметрии и эксцесса указывают на значительное отклонение от нормального. Кроме того, если эксцесс положительный, то распределение будет островершинным; если отрицательный, то распределение будет плосковершинным по сравнению с нормальным распределением.

Для практического расчета асимметрии и эксцесса непосредственно пользоваться вышеуказанными формулами довольно затруднительно, поэтому воспользуемся методом сумм. Составим расчетную таблицу 1, для этого:

1) Запишем варианты в первый столбец.

2) Запишем частоты во второй столбец; сумму частот (100) поместим в нижнюю клетку столбца.

3) В качестве ложного нуля С выберем варианту (68), которая имеет наибольшую частоту (в качестве С можно взять любую варианту, расположенную примерно в середине столбца); в клетках строки, содержащей ложный нуль, запишем нули; в четвертом столбце над и под уже помещенным нулем запишем еще по одному нулю.

4) В оставшихся незаполненными над нулем клетках третьего столбца (исключая самую верхнюю) запишем последовательно накопленные частоты:

2; 2+4=6; 6+6=12; 12+8=20; 20+12=32.

Сложив все накопленные частоты, получим число B1=72, которое поместим в верхнюю клетку третьего столбца. В оставшихся незаполненными под нулем клетках третьего столбца (исключая самую нижнюю) запишем последовательно накопленные частоты:

5; 5+7=12; 12+8=20; 20+18=38.

Сложив все накопленные частоты, получим число A1=75, которое поместим в нижнюю клетку третьего столбца.

5) Аналогично заполняется четвертый столбец, причем суммируют частоты третьего столбца. Сложив все накопленные частоты, расположенные над нулем, получим число B2=70, которое поместим в верхнюю клетку четвертого столбца. Сумма накопленных частот, расположенных под нулем, равна числу A2=59, которое поместим в нижнюю клетку четвертого столбца.

6) Для заполнения столбца 5 запишем нуль в клетке строки, содержащей ложный нуль (68); над этим нулем и под ним поставим еще по два нуля. В клетках над нулями запишем накопленные частоты, для чего просуммируем частоты столбца 4 сверху вниз; в итоге будем иметь следующие накопленные частоты:

2; 2+8=10; 10+20=30.

Сложив накопленные частоты, получим число B3=42, которое поместим в верхнюю клетку пятого столбца. В клетках под нулями запишем накопленные частоты, для чего просуммируем частоты столбца 4 снизу вниз; в итоге будем иметь следующие накопленные частоты:

5; 5+17=22.

Сложив накопленные частоты, получим число A3=27, которое поместим в нижнюю клетку пятого столбца.

7) Аналогично заполняется столбец 6, причем суммируют частоты столбца 5.

В итоге получим расчетную таблицу 1:

Расчетная таблица 1

Теперь найдем Di (I=1, 2, 3) и si (I=1, 2, 3, 4):

; ; ;

; ;

; .

Найдем условные моменты первого, второго, третьего и четвертого порядков:

; ;

;

.

Найдем далее центральные эмпирические моменты третьего и четвертого порядков, учитывая, что шаг (разность между двумя соседними вариантами):

;

Так как дисперсия , то выборочное среднее квадратическое отклонение .

Учитывая определения асимметрии и эксцесса, окончательно получаем:

; .