,
—
уравнение регрессии,
—
случайная ошибка (с ограничениями).
;
;
—
остатки регрессии. Надо различать
остатки и
ошибки регрессии.
Остатки в отличии от ошибок наблюдаемы.
Предположим,
что оценка σ2
связана с
суммой квадратов остатков регрессии
Вычислим:
Используя,
получим
где
Таким образом
откуда следует,
что
является
несмещенной оценкой дисперсии ошибок
σ2.
12. Оценка существенности параметров линейной регрессии и корреляции
Существенность
коэф-ов регрессии определяет можно ли
его заменить нулем. Если данный коэф-т
несуществ., то его можно заменить нулем.
При выполнении
дополнительного условия о совместном
нормальном распределении ошибок,
стандартная ошибка коэффициента
регрессии параметра Sb
рассчитывается
по формуле
где S2
— остаточная
дисперсия на одну степень свободы.
Отношение коэф-та
регрессии к его стандартной ошибке дает
t-статистику,
кот. подчиняется статистике Стьюдента
при (n-2)
степенях свободы.
Эта статистика применяется для проверки
стат. значимости коэф-та
регрессии.
Для оценки значимости
коэф-та регрессии опр-ют фактическое
знач. t-критерия
Стьюдента: tb=b/Sb
, которое
затем сравнивают с табличным значением
при определенном уровне значимости
и числе степеней
свободы (n-2).
Если tb>tкр,
коэф-т b значим и
его нельзя заменить 0.
Доверительный
интервал для коэф-та регрессии опр-ся
как
.
Замечание: Т.к.
коэф-т регрессии b для эк. Исследований
имеет четкую интерпритацию доверит.
Интервалы не должны содержать
противоречивыхрезультатов, напр., от
«-10» до 20 , т.е. положит. и отрицат.
Значимость линейного
коэффициента корреляции r
проверяется на основе величины ошибки
коэффициента корреляции Sr=mr(заменить):
О
тсюда
фактическое значение
Данная формула
свидетельствует, что в парной лин.
регрессии
tr2=F
=>tr2=
tb2
.
Таким образом,
проверка гипотез о значимости коэффициентов
регрессии и корреляции равносильна
проверке гипотезы о значимости линейного
уравнения регрессии.
13. Интервалы прогноза по линейному уравнению регрессии
Основное назначение
ур-ия регрессии — прогноз возможных
знач. результата при заданном значении
фактора.
Этот прогноз
осущ-ся путем подстановки знач. фактора
х=хk
в ур-ние
регрессии
.
Но данный
точечный прогноз не всегда реален. Он
должен дополняться интервальной
оценкой прогноза значения результата
y*.
Т.е.
,
где
—
стандартная ошибка оценки
.
Получим данную
оценку для лин. регрессии
.
Подставим это
выражение в ур-ие
.
Отсюда следует,
что стандартная ошибка
зависит от
ошибки
и ошибки
коэффициента b,
т.е.
.
В курсе мат. стат.
получено:
=S2/n,где
S2
– оценка дисперсии рез-ого признака.
;Получим
Откуд
Где t=1,…n
– номера измерений, xk
не обязано совпадать с одним из xt.
Видно, что величина
стандартной ошибки xk
зависит от
.
Она достигает
мин. при xк=
и возрастает
по мере того, как «удаляется» от
в любом
направлении.
Т.е.
.
Можно строить
интервальные оценки рез-ого признака
при заданном xк
, которые
определяются как
,
где
—
критическое значение распределения
Стьюдента, при (n-2) степенями свободы.
На графике
доверительные границы для
представляют собой гиперболы,
расположенные по обе стороны от линии
регрессии.
Фактические знач.
yk
варьируют
около ср. знач.
на величину случ. ошибки ε, дисперсия
кот. оценивается как S2
, поэтому
ошибка предсказываемого индивид-ого
значения y
должно включать как станд.ошибку
так и случ.ошибку S.
Средняя ошибка
прогнозного индив.значения составит
.
На основе этой оценки м.также строить
интервальные оценки, кот. б. содержать
заданные доверительной вероятностью,
измеряемые значения рез-ого признака.
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]
- #
- #
- #
- #
- #
- #
- #
- #
- #
- #
- #
15. Оценка дисперсии случайной ошибки модели регрессии
При проведении регрессионного анализа основная трудность заключается в том, что генеральная дисперсия случайной ошибки является неизвестной величиной, что вызывает необходимость в расчёте её несмещённой выборочной оценки.
Несмещённой оценкой дисперсии (или исправленной дисперсией) случайной ошибки линейной модели парной регрессии называется величина, рассчитываемая по формуле:
где n – это объём выборочной совокупности;
еi– остатки регрессионной модели:
Для линейной модели множественной регрессии несмещённая оценка дисперсии случайной ошибки рассчитывается по формуле:
где k – число оцениваемых параметров модели регрессии.
Оценка матрицы ковариаций случайных ошибок Cov(?) будет являться оценочная матрица ковариаций:
где In – единичная матрица.
Оценка дисперсии случайной ошибки модели регрессии распределена по ?2(хи-квадрат) закону распределения с (n-k-1) степенями свободы.
Для доказательства несмещённости оценки дисперсии случайной ошибки модели регрессии необходимо доказать справедливость равенства
Доказательство. Примем без доказательства справедливость следующих равенств:
где G2(?) – генеральная дисперсия случайной ошибки;
S2(?) – выборочная дисперсия случайной ошибки;
– выборочная оценка дисперсии случайной ошибки.
Тогда:
т. е.
что и требовалось доказать.
Следовательно, выборочная оценка дисперсии случайной ошибки
является несмещённой оценкой генеральной дисперсии случайной ошибки модели регрессии G2(?).
При условии извлечения из генеральной совокупности нескольких выборок одинакового объёма n и при одинаковых значениях объясняющих переменных х, наблюдаемые значения зависимой переменной у будут случайным образом колебаться за счёт случайного характера случайной компоненты ?. Отсюда можно сделать вывод, что будут варьироваться и зависеть от значений переменной у значения оценок коэффициентов регрессии и оценка дисперсии случайной ошибки модели регрессии.
Для иллюстрации данного утверждения докажем зависимость значения МНК-оценки
от величины случайной ошибки ?.
МНК-оценка коэффициента ?1 модели регрессии определяется по формуле:
В связи с тем, что переменная у зависит от случайной компоненты ? (yi=?0+?1xi+?i), то ковариация между зависимой переменной у и независимой переменной х может быть представлена следующим образом:
Для дальнейших преобразования используются свойства ковариации:
1) ковариация между переменной х и константой С равна нулю: Cov(x,C)=0, C=const;
2) ковариация переменной х с самой собой равна дисперсии этой переменной: Cov(x,x)=G2(x).
Исходя из указанных свойств ковариации, справедливы следующие равенства:
Cov(x,?0)=0 (?0=const);
Cov(x, ?1x)= ?1*Cov(x,x)= ?1*G2(x).
Следовательно, ковариация между зависимой и независимой переменными Cov(x,y) может быть записана как:
Cov(x,y)= ?1G2(x)+Cov(x,?).
В результате МНК-оценка коэффициента ?1 модели регрессии примет вид:
Таким образом, МНК-оценка
может быть представлена как сумма двух компонент:
1) константы ?1, т. е. истинного значения коэффициента;
2) случайной ошибки Cov(x,?), вызывающей вариацию коэффициента модели регрессии.
Однако на практике подобное разложение МНК-оценки невозможно, потому что истинные значения коэффициентов модели регрессии и значения случайной ошибки являются неизвестными. Теоретически данное разложение можно использовать при изучении статистических свойств МНК-оценок.
Аналогично доказывается, что МНК-оценка
коэффициента модели регрессии и несмещённая оценка дисперсии случайной ошибки
могут быть представлены как сумма постоянной составляющей (константы) и случайной компоненты, зависящей от ошибки модели регрессии ?.
Данный текст является ознакомительным фрагментом.
Читайте также
11. Критерии оценки неизвестных коэффициентов модели регрессии
11. Критерии оценки неизвестных коэффициентов модели регрессии
В ходе регрессионного анализа была подобрана форма связи, которая наилучшим образом отражает зависимость результативной переменной у от факторной переменной х:y=f(x).Необходимо оценить неизвестные
14. Оценка коэффициентов модели парной регрессии с помощью выборочного коэффициента регрессии
14. Оценка коэффициентов модели парной регрессии с помощью выборочного коэффициента регрессии
Помимо метода наименьших квадратов, с помощью которого в большинстве случаев определяются неизвестные параметры модели регрессии, в случае линейной модели парной регрессии
18. Характеристика качества модели регрессии
18. Характеристика качества модели регрессии
Качеством модели регрессии называется адекватность построенной модели исходным (наблюдаемым) данным.Для оценки качества модели регрессии используются специальные показатели.Качество линейной модели парной регрессии
22. Проверка гипотезы о значимости коэффициентов модели парной регрессии
22. Проверка гипотезы о значимости коэффициентов модели парной регрессии
Проверкой статистической гипотезы о значимости отдельных параметров модели называется проверка предположения о том, что данные параметры значимо отличаются от нуля.Необходимость проверки
25. Точечный и интервальный прогнозы для модели парной регрессии
25. Точечный и интервальный прогнозы для модели парной регрессии
Одна из задач эконометрического моделирования заключается в прогнозировании поведения исследуемого явления или процесса в будущем. В большинстве случаев данная задача решается на основе регрессионных
32. Построение частных коэффициентов корреляции для модели множественной регрессии через показатель остаточной дисперсии и коэффициент множественной детерминации
32. Построение частных коэффициентов корреляции для модели множественной регрессии через показатель остаточной дисперсии и коэффициент множественной детерминации
Помимо рекуррентных формул, которые используются для построения частных коэффициентов корреляции для
35. Проверка гипотезы о значимости коэффициентов регрессии и модели множественной регрессии в целом
35. Проверка гипотезы о значимости коэффициентов регрессии и модели множественной регрессии в целом
Проверка значимости коэффициентов регрессии означает проверку основной гипотезы об их значимом отличии от нуля.Основная гипотеза состоит в предположении о незначимости
39. Модели регрессии, нелинейные по факторным переменным
39. Модели регрессии, нелинейные по факторным переменным
При исследовании социально-экономических явлений и процессов далеко не все зависимости можно описать с помощью линейной связи. Поэтому в эконометрическом моделировании широко используется класс нелинейных
40. Модели регрессии, нелинейные по оцениваемым коэффициентам
40. Модели регрессии, нелинейные по оцениваемым коэффициентам
Нелинейными по оцениваемым параметрам моделями регрессииназываются модели, в которых результативная переменная yi нелинейно зависит от коэффициентов модели ?0…?n.К моделям регрессии, нелинейными по
41. Модели регрессии с точками разрыва
41. Модели регрессии с точками разрыва
Определение. Моделями регрессии с точками разрыва называются модели, которые нельзя привести к линейной форме, т. е. внутренне нелинейные модели регрессии.Модели регрессии делятся на два класса:1) кусочно-линейные модели регрессии;2)
44. Методы нелинейного оценивания коэффициентов модели регрессии
44. Методы нелинейного оценивания коэффициентов модели регрессии
Функцией потерь или ошибок называется функционал вида
Также в качестве функции потерь может быть использована сумма модулей отклонений наблюдаемых значений результативного признака у от теоретических
46. Проверка гипотезы о значимости нелинейной модели регрессии. Проверка гипотезы о линейной зависимости между переменными модели регрессии
46. Проверка гипотезы о значимости нелинейной модели регрессии. Проверка гипотезы о линейной зависимости между переменными модели регрессии
На нелинейные модели регрессии, которые являются внутренне линейными, т. е. сводимыми к линейному виду, распространяются все
57. Гетероскедастичность остатков модели регрессии
57. Гетероскедастичность остатков модели регрессии
Случайной ошибкой называется отклонение в линейной модели множественной регрессии:?i=yi–?0–?1x1i–…–?mxmiВ связи с тем, что величина случайной ошибки модели регрессии является неизвестной величиной, рассчитывается
60. Устранение гетероскедастичности остатков модели регрессии
60. Устранение гетероскедастичности остатков модели регрессии
Существует множество методов устранения гетероскедастичности остатков модели регрессии. Рассмотрим некоторые из них.Наиболее простым методом устранения гетероскедастичности остатков модели регрессии
63. Устранение автокорреляции остатков модели регрессии
63. Устранение автокорреляции остатков модели регрессии
В связи с тем, что наличие в модели регрессии автокорреляции между остатками модели может привести к негативным результатам всего процесса оценивания неизвестных коэффициентов модели, автокорреляция остатков
67. Модели регрессии с переменной структурой. Фиктивные переменные
67. Модели регрессии с переменной структурой. Фиктивные переменные
При построении модели регрессии может возникнуть ситуация, когда в неё необходимо включить не только количественные, но и качественные переменные (например, возраст, образование, пол, расовую
Пусть мы имеем модель наблюдений в виде модели простой линейной регрессии
И хотим дать прогноз, каким будет значение объясняемой переменной 
при некотором выбранном (фиксированном) значении 
объясняющей переменной 
, если мы будем продолжать наблюдения.
Мы умеем оценивать коэффициенты 
и 
методом наименьших квадратов, и естественно использовать для целей прогнозирования получаемую в результате такого оценивания (подобранную) модель линейной связи
Что приводит к Прогнозируемому значению Объясняемой переменной, равному
Вопрос только в том, Сколь надежным является выбор такого значения в качестве прогнозного. И здесь надо иметь в виду следующее.
Поскольку мы используем для прогноза оценки, полученные, исходя из модели наблюдений 
то для того, чтобы этот прогноз был осмысленным, нам по необходимости приходится предполагать, что структура модели наблюдений и ее параметры Не изменятся при переходе к новому наблюдению, так что соответствующее 
значение 
должно описываться Тем же линейным соотношением 
. В таком случае, мы по-существу имеем дело с расширенной линейной моделью с 
наблюдениями, в которой дополнительное наблюдение удовлетворяет соотношению
При этом, случайная величина 
должна иметь То же распределение, что и случайные величины 
и должна образовывать вместе с ними множество случайных величин, независимых в совокупности.
Итак, мы договорились, что в расширенной модели
Выбирая в качестве прогноза для 
значение 
Мы тем самым допускаем Ошибку прогноза, равную
Поскольку вычисленные оценки 
являются (как мы уже выяснили выше) реализациями случайных величин, наблюдаемая ошибка прогноза также является реализацией случайной величины 
и включает два источника неопределенности:
· неопределенность, связанную с отклонением вычисленных значений случайных величин 
От истинных значений параметров 
;
· неопределенность, связанную со случайной ошибкой 
в
— м наблюдении.
При наших Стандартных предположениях о линейной модели наблюдений ошибка прогноза является Случайной величиной 
, имеющей математическое ожидание
(Мы использовали здесь справедливые при выполнении стандартных предположений соотношения 
)
Точность прогноза характеризуется Дисперсией ошибки прогноза
Здесь использован тот факт, что сумма 
Неслучайна (хотя ее точное значение и не известно). Далее, из предположенной независимости случайных ошибок 
и 
вытекает независимость случайных величин 
(эта величина зависит от случайных ошибок 
) и (последняя Не зависит от случайных ошибок 
). В силу же независимости 
и 
,
(использовано правило сложения дисперсий). Остается заметить, что
Где, как обычно, 
(Мы не будем выводить эту формулу.) Таким образом,
Если случайные ошибки 
имеют Нормальное распределение, то тогда случайные величины 
и 
Также имеют нормальные распределения. При этом, ошибка прогноза 
имеет нормальное распределение с нулевым математическим ожиданием и дисперсией, вычисляемой по последней формуле.
Разделив разность 
на квадратный корень из ее дисперсии, получаем случайную величину
Имеющую Стандартное нормальное распределение 
. Заменяя в правой части выражения для 
Неизвестное значение
его несмещенной оценкой 
, получаем оценку дисперсии 
в виде
Заменяя, наконец, в знаменателе отношения, имеющего стандартное нормальное распределение, неизвестное значение 
его оценкой 
, приходим к 
-статистике (-отношению)
Имеющей При выполнении сделанных предположений о модели наблюдений 
-распределение Стьюдента 
с 
Степенями свободы.
Последний факт дает возможность построения 
-процентного доверительного интервала для значения
А именно,
На основании которого получаем 
-процентный доверительный интервал для 
:
— здесь мы использовали то, что в силу симметрии распределения Стьюдента, 
.
Заметим, что при заданных значениях 
(по которым строится прогноз) доверительный интервал для 
будет Тем длинее, чем больше значение 
. Последнее же равно 
при 
и возрастает с ростом 
. Это означает, что длина доверительного интервала Возрастает при удалении значения 
, при котором строится прогноз, от среднего арифметического значений 
.
Таким образом, прогнозы для значений 
, далеко отстоящих от 
, становятся менее определенными, поскольку длина соответствующих доверительных интервалов для значений объясняемой переменной возрастает.
Пример. Для данных о размерах совокупного располагаемого дохода и совокупных расходах на личное потребление в США в период с 1970 по 1979 год (в млрд. долларов, в ценах 1972 года), оцененная модель линейной связи имеет вид 
.
Представим себе, что мы находимся в 1979 году и ожидаем увеличения в 1980 году совокупного располагаемого дохода (в тех же ценах) до 
млрд. долларов. Тогда прогнозируемый по подобранной модели объем совокупных расходов на личное потребление в 1980 году равен
Так что если выбрать уровень доверия 
, то
И доверительный интервал для соответствующего 
значения 
имеет вид
Т. е.
Или
Заметим, что интервал достаточно широк и его нижняя граница допускает даже возможность некоторого снижения уровня потребления по сравнению с предыдущим годом.
В действительности, в 1980 г. совокупный располагаемый доход достиг 1021 млрд. долларов, а совокупное потребление — 931.8 млрд. долларов. Тем самым, ошибка прогноза составила
Если бы мы исходили при прогнозе из Действительного значения 
, а не из 
, то прогнозируемое значение для 
равнялось бы 931.94 и ошибка прогноза составила всего лишь
Проиллюстрируем, наконец, как изменяется в этом примере длина 95%-доверительных интервалов в интервале наблюдавшихся значений объясняющей переменной 
. На графике приведены отклонения нижней и верхней границ таких интервалов от центра интервала:
В случае модели Множественной линейной регрессии
Точечный прогноз значения 
соответствующего Фиксированному набору 
значений объясняющих переменных, дается формулой
Где 
— оценки наименьших квадратов параметров
. Интервальный прогноз Имеет вид
Где
— оценка дисперсии ошибки прогноза, а 
— несмещенная оценка дисперсии 
Случайных ошибок.
| < Предыдущая | Следующая > |
|---|
Определение дисперсии случайных величин
Дисперсия – норма, отражающая, с точки зрения теории, ожидаемое отклонение случайной величины от ее математического ожидания.
В математической статистике она определяется в качестве центрального момента второго порядка. Приведем формулу дисперсии:
где М(х) – математическое ожидание, а D(х) – дисперсия.
На основе данной формулы можно вывести другую, которая дает оценку дисперсии:
где S2— оценка дисперсии, Xi— наблюдаемые значения, n – объем собранных эмпирических значений, X—— оценка математического ожидания.
В первой формуле оценка математического ожидания не смещена, но во второй формуле дисперсия является выборочной. Т.е. эта оценка дает характеристику величине дисперсии данной выборки, не для популяции данных. Обычно для эксперимента необходимо оценить популяционный характер математического ожидания и дисперсию.
Так как вторая формула предполагает сравнение эмпирических знаний не с истинной величиной, а с оценочной, то происходит смещение оценки дисперсии. Способами дифференциального исчисления определено: ожидаемая величина оценки дисперсии по второй формуле описывает соотношение:
Данная формула отражает выборочную дисперсию. Из нее следует, что при наличии 10 выборочных значений случайной величины идет занижение значения. Получается 9/10 дисперсий анализируемой величины для генеральной совокупности. Если увеличить объем в десять раз, то уменьшиться величина смещения до одной сотой, и при этому полученный результат будет отличаться от ожидаемого значения. При помощи третьей формулы можно рассчитать несмещенную оценку дисперсии:
Данная формула называется популяционной дисперсией, или дисперсией генеральной совокупности. Эту формулу используют для расчета генеральной совокупности, третью – для определения вариантов внутри выборки и выход за пределы имеющихся значений, который не предполагается теорией.
Характеристика оценивания стандартного отклонения
Иногда для оценивания важна не сама дисперсия, а оценка стандартного отклонения. Эти две величины связаны однозначным соотношением. Оценивание стандартного отклонения также применяется для выборки и генеральной совокупности, как и дисперсия. Оценка данной величины является предпочтительной, так как она удобна для восприятия из-за своей размерности. Помимо этого, эту величину используют для вычисления стандартной ошибки. Формула выглядит следующим образом:
где SE – стандартная ошибка.
Данная статистика необходима для интервальной оценки исследуемой случайной величины.
Характеристика оценки полумежквартильного интервала
Это еще один способ оценивания вариантов в распределении случайной величины. Ее обозначают Q. Она используется в качестве альтернативы стандартного отклонения, несмотря на то, что они связаны соотношением Q = 0,67σ.
Квартиль – это вариант названия квантиля распределения.
При соответствии медианы с половиной распределения, то квартиль равен четверти. Т.е. первая четверть – это первый квартиль, половина – второй квартиль, три четвертых – третий, общая сумма величины – четвертый квартиль. Формула межквартильного интервала выглядит следующим образом:
Данную оценку используют, например, в сенсорной психофизике при оценивании порога способом констант.
Характеристика ковариации
Иногда необходимо оценить не одну дисперсию, а две (х,у). Такая статистика называется ковариацией. Ее формула выглядит следующим образом:
Она определяет степень связи между двумя переменами. Отличительная особенность ковариации – это ее выражение и в положительных и в отрицательных числах. Так как ковариация зависит от размерности, то оценить степень между переменными невозможно. Поэтому в качестве меры двух переменных используют термин «корреляция». Ее величина может быть определена за счет деления ковариации на произведение стандартных отклонений двух случайных величин, между которыми вычисляют ковариацию.
Преподаватель факультета психологии кафедры общей психологии. Кандидат психологических наук