Стандартная ошибка это корень

Об этой статье

Была ли эта статья полезной?

Стандартная ошибка появляется при прогнозировании каких-либо данных или арифметических вычислениях, поэтому важно научиться находить этот параметр. В этой публикации разбираем, как найти и исправить стандартную ошибку путем использования инструментов Excel.

Расчет средней арифметической ошибки

В Microsoft Excel цельность и однородность выборки определяется при помощи стандартной ошибки. Стандартная ошибка — это квадратный корень из дисперсии. В приложении предусмотрено два варианта поиска стандартной ошибки: при помощи пакетного анализа и расширенных функций программы.
Чтобы найти значение средней арифметической, необходимо выполнить деление суммарной величины выборки на ее количество в электронной книге.

Расчет стандартной ошибки при помощи встроенных функций

Для того, чтобы правильно вычислять, необходимо изучить пошаговую инструкцию. В этом способе подбор результатов будет осуществляться с помощью комбинированных манипуляций.

1. Для расчетов будем использовать таблицу с выборкой чисел. Кликаем на любой пустой ячейке на листе, где будет отображаться результат. Затем нажимаем кнопку «Вставить функцию.

1. Далее перед вами открывается диалоговое окно, в котором необходимо использовать «СТАНДОТКЛ.В», для этого в поле «Категория» необходимо выбрать «Полный алфавитный перечень». Затем нажмите кнопку «ОК».

1. В окне «Аргументы функции» кликаем в первом поле «Число 1», затем выполняем выделение мышью диапазона ячеек со значениями таблицы и нажимаем кнопку «ОК».

1. Далее активируем ячейку с нашими значениями, переходим в строку формулы и ставим после значений наклонную линию. Переходим в поле наименования, кликаем на указывающий вниз флажок, где из списка выбираем «Другие функции».

1. Снова активируется окно с перечнем функций, в котором необходимо выбрать категорию «Математические», затем функцию «Корень». Далее нажмите кнопку «ОК».

1. Далее открывается окно, в котором необходимо заполнить поле с числом. Для этого переходим в поле «Имя», где спускаемся к пункту «Счет». Если его нет, ищите в дополнительных функциях.

После выполнения этих шагов, стандартная ошибка высчитывается автоматически, пользователю остается только сверить их и проверить значение на некорректное отображение.

Решение задачи с помощью опции «Описательная статистика»

Благодаря опции «Описательная статистика» удается выполнить вычисление по различным критериям. По этим правилам удается найти среднюю арифметическую ошибку. Для использования данного метода предварительно нужно запустить «Пакет анализа».

1. Переходим во вкладку «Файл», где перемещаемся в пункт «Параметры». Далее нажимаем на запись «Надстройки».

1. Открывается окошко, в нем в графе «Управление» должно быть прописано «Надстройки Excel», затем рядом нажимаем кнопку «Параметры».

1. В появившемся окне находим «Пакет анализа» и нажимаем кнопку «ОК».

1. Далее выбираем любую свободную ячейку, переходим во вкладку «Данные» и нажимаем «Анализ данных» в блоке «Анализ».

1. Происходит запуск вспомогательного окошка, в котором необходимо выбрать из всех инструментов «Описательную статистику» и нажать кнопку «ОК».

1. Открывается новый мастер значений. Здесь нужно вводить данные предельно внимательно. В поле «Входной интервал» вносим адрес диапазона ячеек с выборкой. Затем указываем параметр «Группирование» «По столбцам». Затем выбираем место для «выходного интервала», его должно быть столько же, сколько и «входного». Ставим галочку напротив «Итоговая статистика» и нажимаем кнопку «ОК».

В результате вычислений вы получаете небольшую таблицу, в которой указаны все данные с определенной стандартной ошибкой.

Стандартная ошибка или, как часто называют, ошибка средней арифметической, является одним из важных статистических показателей. С помощью данного показателя можно определить неоднородность выборки. Он также довольно важен при прогнозировании. Давайте узнаем, какими способами можно рассчитать величину стандартной ошибки с помощью инструментов Microsoft Excel.

Расчет ошибки средней арифметической

Одним из показателей, которые характеризуют цельность и однородность выборки, является стандартная ошибка. Эта величина представляет собой корень квадратный из дисперсии. Сама дисперсия является средним квадратном от средней арифметической. Средняя арифметическая вычисляется делением суммарной величины объектов выборки на их общее количество.

В Экселе существуют два способа вычисления стандартной ошибки: используя набор функций и при помощи инструментов Пакета анализа. Давайте подробно рассмотрим каждый из этих вариантов.

Способ 1: расчет с помощью комбинации функций

Прежде всего, давайте составим алгоритм действий на конкретном примере по расчету ошибки средней арифметической, используя для этих целей комбинацию функций. Для выполнения задачи нам понадобятся операторы СТАНДОТКЛОН.В, КОРЕНЬ и СЧЁТ.

Для примера нами будет использована выборка из двенадцати чисел, представленных в таблице.

1. Выделяем ячейку, в которой будет выводиться итоговое значение стандартной ошибки, и клацаем по иконке «Вставить функцию».



2. Открывается Мастер функций. Производим перемещение в блок «Статистические». В представленном перечне наименований выбираем название «СТАНДОТКЛОН.В».



3. Запускается окно аргументов вышеуказанного оператора. СТАНДОТКЛОН.В предназначен для оценивания стандартного отклонения при выборке. Данный оператор имеет следующий синтаксис:

   =СТАНДОТКЛОН.В(число1;число2;…)

   «Число1» и последующие аргументы являются числовыми значениями или ссылками на ячейки и диапазоны листа, в которых они расположены. Всего может насчитываться до 255 аргументов этого типа. Обязательным является только первый аргумент.

   Итак, устанавливаем курсор в поле «Число1». Далее, обязательно произведя зажим левой кнопки мыши, выделяем курсором весь диапазон выборки на листе. Координаты данного массива тут же отображаются в поле окна. После этого клацаем по кнопке «OK».



4. В ячейку на листе выводится результат расчета оператора СТАНДОТКЛОН.В. Но это ещё не ошибка средней арифметической. Для того, чтобы получить искомое значение, нужно стандартное отклонение разделить на квадратный корень от количества элементов выборки. Для того, чтобы продолжить вычисления, выделяем ячейку, содержащую функцию СТАНДОТКЛОН.В. После этого устанавливаем курсор в строку формул и дописываем после уже существующего выражения знак деления (/). Вслед за этим клацаем по пиктограмме перевернутого вниз углом треугольника, которая располагается слева от строки формул. Открывается список недавно использованных функций. Если вы в нем найдете наименование оператора «КОРЕНЬ», то переходите по данному наименованию. В обратном случае жмите по пункту «Другие функции…».



5. Снова происходит запуск Мастера функций. На этот раз нам следует посетить категорию «Математические». В представленном перечне выделяем название «КОРЕНЬ» и жмем на кнопку «OK».



6. Открывается окно аргументов функции КОРЕНЬ. Единственной задачей данного оператора является вычисление квадратного корня из заданного числа. Его синтаксис предельно простой:

   =КОРЕНЬ(число)

   

   Как видим, функция имеет всего один аргумент «Число». Он может быть представлен числовым значением, ссылкой на ячейку, в которой оно содержится или другой функцией, вычисляющей это число. Последний вариант как раз и будет представлен в нашем примере.

   Устанавливаем курсор в поле «Число» и кликаем по знакомому нам треугольнику, который вызывает список последних использованных функций. Ищем в нем наименование «СЧЁТ». Если находим, то кликаем по нему. В обратном случае, опять же, переходим по наименованию «Другие функции…».



7. В раскрывшемся окне Мастера функций производим перемещение в группу «Статистические». Там выделяем наименование «СЧЁТ» и выполняем клик по кнопке «OK».



8. Запускается окно аргументов функции СЧЁТ. Указанный оператор предназначен для вычисления количества ячеек, которые заполнены числовыми значениями. В нашем случае он будет подсчитывать количество элементов выборки и сообщать результат «материнскому» оператору КОРЕНЬ. Синтаксис функции следующий:

   =СЧЁТ(значение1;значение2;…)

   В качестве аргументов «Значение», которых может насчитываться до 255 штук, выступают ссылки на диапазоны ячеек. Ставим курсор в поле «Значение1», зажимаем левую кнопку мыши и выделяем весь диапазон выборки. После того, как его координаты отобразились в поле, жмем на кнопку «OK».



9. После выполнения последнего действия будет не только рассчитано количество ячеек заполненных числами, но и вычислена ошибка средней арифметической, так как это был последний штрих в работе над данной формулой. Величина стандартной ошибки выведена в ту ячейку, где размещена сложная формула, общий вид которой в нашем случае следующий:

   =СТАНДОТКЛОН.В(B2:B13)/КОРЕНЬ(СЧЁТ(B2:B13))

   Результат вычисления ошибки средней арифметической составил 0,505793. Запомним это число и сравним с тем, которое получим при решении поставленной задачи следующим способом.

Но дело в том, что для малых выборок (до 30 единиц) для большей точности лучше применять немного измененную формулу. В ней величина стандартного отклонения делится не на квадратный корень от количества элементов выборки, а на квадратный корень от количества элементов выборки минус один. Таким образом, с учетом нюансов малой выборки наша формула приобретет следующий вид:

=СТАНДОТКЛОН.В(B2:B13)/КОРЕНЬ(СЧЁТ(B2:B13)-1)

Урок: Статистические функции в Экселе

Способ 2: применение инструмента «Описательная статистика»

Вторым вариантом, с помощью которого можно вычислить стандартную ошибку в Экселе, является применение инструмента «Описательная статистика», входящего в набор инструментов «Анализ данных» («Пакет анализа»). «Описательная статистика» проводит комплексный анализ выборки по различным критериям. Одним из них как раз и является нахождение ошибки средней арифметической.

Но чтобы воспользоваться данной возможностью, нужно сразу активировать «Пакет анализа», так как по умолчанию в Экселе он отключен.

1. После того, как открыт документ с выборкой, переходим во вкладку «Файл».



2. Далее, воспользовавшись левым вертикальным меню, перемещаемся через его пункт в раздел «Параметры».



3. Запускается окно параметров Эксель. В левой части данного окна размещено меню, через которое перемещаемся в подраздел «Надстройки».



4. В самой нижней части появившегося окна расположено поле «Управление». Выставляем в нем параметр «Надстройки Excel» и жмем на кнопку «Перейти…» справа от него.



5. Запускается окно надстроек с перечнем доступных скриптов. Отмечаем галочкой наименование «Пакет анализа» и щелкаем по кнопке «OK» в правой части окошка.



6. После выполнения последнего действия на ленте появится новая группа инструментов, которая имеет наименование «Анализ». Чтобы перейти к ней, щелкаем по названию вкладки «Данные».



7. После перехода жмем на кнопку «Анализ данных» в блоке инструментов «Анализ», который расположен в самом конце ленты.



8. Запускается окошко выбора инструмента анализа. Выделяем наименование «Описательная статистика» и жмем на кнопку «OK» справа.



9. Запускается окно настроек инструмента комплексного статистического анализа «Описательная статистика».

   В поле «Входной интервал» необходимо указать диапазон ячеек таблицы, в которых находится анализируемая выборка. Вручную это делать неудобно, хотя и можно, поэтому ставим курсор в указанное поле и при зажатой левой кнопке мыши выделяем соответствующий массив данных на листе. Его координаты тут же отобразятся в поле окна.

   В блоке «Группирование» оставляем настройки по умолчанию. То есть, переключатель должен стоять около пункта «По столбцам». Если это не так, то его следует переставить.

   Галочку «Метки в первой строке» можно не устанавливать. Для решения нашего вопроса это не важно.

   Далее переходим к блоку настроек «Параметры вывода». Здесь следует указать, куда именно будет выводиться результат расчета инструмента «Описательная статистика»:

   • На новый лист;
   • В новую книгу (другой файл);
   • В указанный диапазон текущего листа.

   Давайте выберем последний из этих вариантов. Для этого переставляем переключатель в позицию «Выходной интервал» и устанавливаем курсор в поле напротив данного параметра. После этого клацаем на листе по ячейке, которая станет верхним левым элементом массива вывода данных. Её координаты должны отобразиться в поле, в котором мы до этого устанавливали курсор.

   Далее следует блок настроек определяющий, какие именно данные нужно вводить:

   • Итоговая статистика;
   • К-ый наибольший;
   • К-ый наименьший;
   • Уровень надежности.

   Для определения стандартной ошибки обязательно нужно установить галочку около параметра «Итоговая статистика». Напротив остальных пунктов выставляем галочки на свое усмотрение. На решение нашей основной задачи это никак не повлияет.

   После того, как все настройки в окне «Описательная статистика» установлены, щелкаем по кнопке «OK» в его правой части.



10. После этого инструмент «Описательная статистика» выводит результаты обработки выборки на текущий лист. Как видим, это довольно много разноплановых статистических показателей, но среди них есть и нужный нам – «Стандартная ошибка». Он равен числу 0,505793. Это в точности тот же результат, который мы достигли путем применения сложной формулы при описании предыдущего способа.

Урок: Описательная статистика в Экселе

Как видим, в Экселе можно произвести расчет стандартной ошибки двумя способами: применив набор функций и воспользовавшись инструментом пакета анализа «Описательная статистика». Итоговый результат будет абсолютно одинаковый. Поэтому выбор метода зависит от удобства пользователя и поставленной конкретной задачи. Например, если ошибка средней арифметической является только одним из многих статистических показателей выборки, которые нужно рассчитать, то удобнее воспользоваться инструментом «Описательная статистика». Но если вам нужно вычислить исключительно этот показатель, то во избежание нагромождения лишних данных лучше прибегнуть к сложной формуле. В этом случае результат расчета уместится в одной ячейке листа.

Стандартная ошибка ( SE ) ^{[1] [2]} из статистики (обычно подсчет параметра ) является стандартным отклонением ее выборочным распределения ^[3] или оценка этого стандартного отклонения. Если статистика является выборочным средним, это называется стандартной ошибкой среднего ( SEM ). ^[2]

Распределение выборки из среднего генерируется путем повторного отбора образцов из того же населения и записи средств , полученных образцов. Это формирует распределение различных средних, и это распределение имеет собственное среднее значение и дисперсию . Математически дисперсия полученного распределения выборки равна дисперсии генеральной совокупности, деленной на размер выборки. Это связано с тем, что по мере увеличения размера выборки средние значения выборки сгруппируются более близко к среднему значению генеральной совокупности.

Следовательно, соотношение между стандартной ошибкой среднего и стандартным отклонением таково, что для данного размера выборки стандартная ошибка среднего равна стандартному отклонению, деленному на квадратный корень из размера выборки. ^[2] Другими словами, стандартная ошибка среднего — это мера разброса средних значений выборки вокруг среднего значения генеральной совокупности.

В регрессионном анализе термин «стандартная ошибка» относится либо к квадратному корню из приведенной статистики хи-квадрат , либо к стандартной ошибке для конкретного коэффициента регрессии (который используется, например, в доверительных интервалах ).

Стандартная ошибка среднего

Точное значение

Если статистически независимая выборка наблюдения берутся из статистической совокупности с стандартным отклонением от, то среднее значение, рассчитанное по выборке будет связана стандартная ошибка среднего предоставлено: ^[2]

.

На практике это говорит нам о том, что при попытке оценить значение среднего по совокупности из-за фактора для уменьшения ошибки оценки в два раза требуется получить в четыре раза больше наблюдений в выборке; уменьшение его в десять раз требует в сто раз больше наблюдений.

Оценить

Стандартное отклонение о выборке населения известно редко. Поэтому стандартная ошибка среднего обычно оценивается заменойсо стандартным отклонением выборки вместо:

.

Поскольку это только оценка истинной «стандартной ошибки», здесь часто встречаются другие обозначения, такие как:

  или поочередно   .

Обычный источник путаницы возникает, когда не удается четко различить стандартное отклонение совокупности (), стандартное отклонение выборки (), стандартное отклонение самого среднего (, которая является стандартной ошибкой), и оценка стандартного отклонения среднего (, которая является наиболее часто вычисляемой величиной, которую также часто называют стандартной ошибкой ).

Точность оценщика

Когда размер выборки невелик, использование стандартного отклонения выборки вместо истинного стандартного отклонения генеральной совокупности будет иметь тенденцию к систематическому занижению стандартного отклонения генеральной совокупности, а, следовательно, и стандартной ошибки. При n = 2 занижение составляет около 25%, но для n = 6 занижение составляет всего 5%. Гурланд и Трипати (1971) предлагают поправку и уравнение для этого эффекта. ^[4] Сокал и Рольф (1981) приводят уравнение поправочного коэффициента для малых выборок n <20. ^[5] См. Несмещенную оценку стандартного отклонения для дальнейшего обсуждения.

Вывод

Стандартная ошибка среднего может быть получена из дисперсии суммы независимых случайных величин ^{[6] с} учетом определения дисперсии и некоторых ее простых свойств . Если находятся независимые наблюдения от популяции со средним и стандартное отклонение , то мы можем определить общую

которые по формуле Биенайме будут иметь дисперсию

Среднее значение этих измерений просто дается

.

Тогда дисперсия среднего составляет

Стандартная ошибка — это, по определению, стандартное отклонение который представляет собой просто квадратный корень из дисперсии:

.

Для коррелированных случайных величин дисперсия выборки должна быть вычислена в соответствии с центральной предельной теоремой Маркова .

Независимые и одинаково распределенные случайные величины со случайным размером выборки

Бывают случаи, когда образец берут, не зная заранее, сколько наблюдений будет приемлемым по какому-либо критерию. В таких случаях размер выборки случайная величина, вариация которой добавляет к вариации такой, что,

^[7]

Если имеет распределение Пуассона , то с оценщиком . Следовательно, оценка становится , приводя к следующей формуле для стандартной ошибки:

(поскольку стандартное отклонение — это квадратный корень из дисперсии)

Аппроксимация Стьюдента, когда значение σ неизвестно

Во многих практических приложениях истинное значение σ неизвестно. В результате нам нужно использовать распределение, которое учитывает этот разброс возможных σ ‘с. Когда известно, что истинное базовое распределение является гауссовым, хотя и с неизвестным σ, тогда полученное оцененное распределение следует t-распределению Стьюдента. Стандартная ошибка — это стандартное отклонение t-распределения Стьюдента. Т-распределения немного отличаются от гауссовых и меняются в зависимости от размера выборки. Небольшие выборки с большей вероятностью недооценивают стандартное отклонение совокупности и имеют среднее значение, которое отличается от истинного среднего значения совокупности, а t-распределение Стьюдента учитывает вероятность этих событий с несколько более тяжелыми хвостами по сравнению с гауссовым. Для оценки стандартной ошибки t-распределения Стьюдента достаточно использовать выборочное стандартное отклонение «s» вместо σ , и мы могли бы использовать это значение для вычисления доверительных интервалов.

Примечание. Распределение вероятностей Стьюдента хорошо аппроксимируется распределением Гаусса, когда размер выборки превышает 100. Для таких выборок можно использовать последнее распределение, которое намного проще.

Предположения и использование

Пример того, как используется, чтобы сделать доверительные интервалы неизвестного среднего значения в генеральной совокупности. Если распределение выборки имеет нормальное распределение , среднее значение выборки, стандартная ошибка и квантили нормального распределения могут использоваться для расчета доверительных интервалов для истинного среднего значения генеральной совокупности. Следующие выражения можно использовать для расчета верхнего и нижнего 95% доверительных интервалов, где равно выборочному среднему, равна стандартной погрешности для выборочного среднего и 1,96 приблизительное значение 97,5 процентиля точки нормального распределения :

Верхний предел 95% а также

Нижний предел 95%

В частности, стандартная ошибка выборочной статистики (например, выборочное среднее ) — это фактическое или расчетное стандартное отклонение выборочного среднего в процессе, в котором оно было создано. Другими словами, это фактическое или оценочное стандартное отклонение выборочного распределения статистической выборки. Обозначение для стандартной ошибки может быть любым из SE, SEM (для стандартной ошибки измерения или среднего ), или S _E .

Стандартные ошибки обеспечивают простые меры неопределенности значения и часто используются, потому что:

• во многих случаях, если известна стандартная ошибка нескольких отдельных величин, то стандартную ошибку некоторой функции величин можно легко вычислить;
• когда распределение вероятностей значения известно, его можно использовать для вычисления точного доверительного интервала ;
• когда распределение вероятностей неизвестно, для расчета консервативного доверительного интервала можно использовать неравенства Чебышева или Высочанского – Петунина ; а также
• поскольку размер выборки стремится к бесконечности, центральная предельная теорема гарантирует, что выборочное распределение среднего является асимптотически нормальным .

Стандартная ошибка среднего значения по сравнению со стандартным отклонением

В научно-технической литературе экспериментальные данные часто обобщаются либо с использованием среднего значения и стандартного отклонения выборочных данных, либо среднего значения со стандартной ошибкой. Это часто приводит к путанице в отношении их взаимозаменяемости. Однако среднее значение и стандартное отклонение являются описательной статистикой , тогда как стандартная ошибка среднего описывает процесс случайной выборки. Стандартное отклонение данных выборки — это описание вариации в измерениях, в то время как стандартная ошибка среднего — это вероятностное утверждение о том, как размер выборки обеспечит лучшую границу оценок среднего для генеральной совокупности в свете центрального предела. теорема. ^[8]

Проще говоря, стандартная ошибка выборочного среднего — это оценка того, насколько далеко среднее значение выборки может быть от среднего значения по совокупности, тогда как стандартное отклонение выборки — это степень, в которой отдельные лица в выборке отличаются от выборочного среднего. ^[9] Если стандартное отклонение генеральной совокупности конечно, стандартная ошибка среднего значения выборки будет стремиться к нулю с увеличением размера выборки, потому что оценка генерального среднего будет улучшаться, в то время как стандартное отклонение выборки будет иметь тенденцию приближаться стандартное отклонение генеральной совокупности при увеличении размера выборки.

Расширения

Поправка на конечную популяцию (FPC)

Приведенная выше формула для стандартной ошибки предполагает, что размер выборки намного меньше, чем размер генеральной совокупности, так что совокупность может считаться фактически бесконечной по размеру. Обычно это имеет место даже в случае конечных популяций, потому что большую часть времени люди в первую очередь заинтересованы в управлении процессами, которые создали существующую конечную популяцию; это называется аналитическим исследованием вслед за У. Эдвардсом Демингом . Если люди заинтересованы в управлении существующей конечной совокупностью, которая не будет меняться с течением времени, то необходимо сделать поправку на размер популяции; это называется перечислительным исследованием .

Когда доля выборки (часто называемая f ) велика (примерно 5% или более) в переписном исследовании , оценка стандартной ошибки должна быть скорректирована путем умножения на «поправку на конечную совокупность» (также известную как fpc ): ^[10]
[11]

что для больших N :

чтобы учесть дополнительную точность, полученную за счет выборки, близкой к большему проценту населения. Эффект FPC является то , что ошибка становится равной нулю , когда размер выборки п равен размеру популяции N .

Это происходит в методологии обследования при выборке без замены . Если выборка с заменой, то FPC не играет роли.

Поправка на корреляцию в образце

Если значения измеренной величины A не являются статистически независимыми, но были получены из известных мест в пространстве параметров  x , несмещенная оценка истинной стандартной ошибки среднего (фактически поправка на часть стандартного отклонения) может быть получена путем умножения рассчитанная стандартная ошибка выборки по коэффициенту  f :

где коэффициент смещения выборки ρ представляет собой широко используемую оценку Прайса – Винстена коэффициента автокорреляции (величина от -1 до +1) для всех пар точек выборки. Эта приблизительная формула предназначена для выборки среднего и большого размера; Справочник дает точные формулы для любого размера выборки и может применяться к сильно автокоррелированным временным рядам, таким как котировки акций Уолл-стрит. Более того, эта формула работает как для положительных, так и для отрицательных значений ρ. ^[12] См. Также объективную оценку стандартного отклонения для более подробного обсуждения.

См. Также

• Иллюстрация центральной предельной теоремы
• Допустимая погрешность
• Вероятная ошибка
• Стандартная ошибка средневзвешенного значения
• Среднее значение выборки и ковариация выборки
• Стандартная ошибка медианы
• Дисперсия

Ссылки

Имея
прямую регрессии, необходимо оценить
насколько сильно точки исходных данных
отклоняются от прямой регрессии. Можно
выполнить оценку разброса, аналогичную
стандартному отклонению выборки. Этот
показатель, называемый стандартной
ошибкой оценки, демонстрирует величину
отклонения точек исходных данных от
прямой регрессии в направлении оси Y.
Стандартная ошибка оценки ()
вычисляется по следующей формуле.

Стандартная
ошибка оценки измеряет степень отличия
реальных значений Y от оцененной величины.
Для сравнительно больших выборок следует
ожидать, что около 67% разностей по модулю
не будет превышать

и около 95% модулей разностей будет не
больше 2.

Стандартная
ошибка оценки подобна стандартному
отклонению. Ее можно использовать для
оценки стандартного отклонения
совокупности. Фактически

оценивает стандартное отклонение

слагаемого ошибки

в статистической модели простой линейной
регрессии. Другими словами,

оценивает общее стандартное отклонение

нормального распределения значений Y,
имеющих математические ожидания

для каждого X.

Малая
стандартная ошибка оценки, полученная
при регрессионном анализе, свидетельствует,
что все точки данных находятся очень
близко к прямой регрессии. Если стандартная
ошибка оценки велика, точки данных могут
значительно удаляться от прямой.

2.3 Прогнозирование величины y

Регрессионную
прямую можно использовать для оценки
величины переменной Y
при данных значениях переменной X. Чтобы
получить точечный прогноз, или предсказание
для данного значения X, просто вычисляется
значение найденной функции регрессии
в точке X.

Конечно
реальные значения величины Y,
соответствующие рассматриваемым
значениям величины X, к сожалению, не
лежат в точности на регрессионной
прямой. Фактически они разбросаны
относительно прямой в соответствии с
величиной
.
Более того, выборочная регрессионная
прямая является оценкой регрессионной
прямой генеральной совокупности,
основанной на выборке из определенных
пар данных. Другая случайная выборка
даст иную выборочную прямую регрессии;
это аналогично ситуации, когда различные
выборки из одной и той же генеральной
совокупности дают различные значения
выборочного среднего.

Есть
два источника неопределенности в
точечном прогнозе, использующем уравнение
регрессии.

1. Неопределенность,
   обусловленная отклонением точек данных
   от выборочной прямой регрессии.

2. Неопределенность,
   обусловленная отклонением выборочной
   прямой регрессии от регрессионной
   прямой генеральной совокупности.

Интервальный
прогноз значений переменной Y
можно построить так, что при этом будут
учтены оба источника неопределенности.

Стандартная
ошибка прогноза

дает меру вариативности предсказанного
значения Y
около истинной величины Y
для данного значения X.
Стандартная ошибка прогноза равна:

Стандартная
ошибка прогноза зависит от значения X,
для которого прогнозируется величина
Y.

минимально, когда
,
поскольку тогда числитель в третьем
слагаемом под корнем в уравнении будет
0. При прочих неизменных величинах
большему отличию соответствует большее
значение стандартной ошибки прогноза.

Если
статистическая модель простой линейной
регрессии соответствует действительности,
границы интервала прогноза величины Y
равны:

где

— квантиль распределения Стьюдента с
n-2 степенями свободы ().
Если выборка велика (),
этот квантиль можно заменить соответствующим
квантилем нормального распределения.
Например, для большой выборки 95%-ный
интервал прогноза задается следующими
значениями:

Завершим
раздел обзором предположений, положенных
в основу статистической модели линейной
регрессии.

1. Для
   заданного значения X генеральная
   совокупность значений Y имеет нормальное
   распределение относительно регрессионной
   прямой совокупности. На практике
   приемлемые результаты получаются
   и
   тогда, когда значения Y имеют
   нормальное распределение лишь
   приблизительно.

2. Разброс
   генеральной совокупности точек данных
   относительно регрессионной прямой
   совокупности остается постоянным всюду
   вдоль этой прямой. Иными словами, при
   возрастании значений X в точках данных
   дисперсия генеральной совокупности
   не увеличивается и не уменьшается.
   Нарушение этого предположения называется
   гетероскедастичностью.

3. Слагаемые
   ошибок
   
   независимы между собой. Это предположение
   определяет случайность выборки точек
   Х-Y.
   Если точки данных X-Y
   записывались в течение некоторого
   времени, данное предположение часто
   нарушается. Вместо независимых данных,
   такие последовательные наблюдения
   будут давать серийно коррелированные
   значения.

4. В
   генеральной совокупности существует
   линейная зависимость между X и Y.
   По аналогии с простой линейной регрессией
   может рассматриваться и нелинейная
   зависимость между X и У. Некоторые такие
   случаи будут обсуждаться ниже.

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

• #
• #
• #
• #
• #
• #
• #
• #
• #
• #
• #

1. Среднеквадратичная ошибка

（Mean Squared Error，MSE）
Отношение суммы квадратов отклонений наблюдений и истинных значений к количеству наблюдений:

M

S

E

=

1

m

∑

i

=

1

m

(

f

i

−

y

i

)

2

MSE = frac{1}{m}sum_{i=1}^{m}(f_i-y_i)^2

Это наиболее часто используемая функция потерь в линейной регрессии. Постарайтесь минимизировать функцию потерь во время линейной регрессии. Тогда сравнение между моделями также можно использовать для сравнения.
MSE может оценить степень изменения данных. Чем меньше значение MSE, тем выше точность прогнозной модели для описания экспериментальных данных.

2. Среднеквадратичная ошибка (стандартная ошибка)

（Root Mean Squard Error，RMSE）
Стандартное отклонение — это арифметический квадратный корень из дисперсии.
Стандартная ошибка — это арифметический квадратный корень из среднеквадратичной ошибки.
Стандартное отклонение используется для измерения степени разброса набора чисел, а среднеквадратичная ошибка используется для измерения отклонения между наблюдаемым значением и истинным значением, объектами исследования и исследовательскими целями. По-разному, но процесс расчета похож.

R

M

S

E

=

1

m

∑

i

=

1

m

(

f

i

−

y

i

)

2

RMSE =sqrt{frac{1}{m}sum_{i=1}^{m}(f_i-y_i)^2}

Его значение состоит в том, что после открытия корневого знака результат ошибки находится на том же уровне, что и данные, что может лучше описать данные. Стандартная ошибка очень чувствительна к большой или малой ошибке в группе измерений, поэтому стандартная ошибка может хорошо отражать точность измерения. По этой причине стандартные ошибки широко используются при инженерных изысканиях.

3. Средняя абсолютная ошибка

（Mean Absolute Error，MAE）

Средняя абсолютная ошибка — это средняя абсолютная ошибка:

M

A

E

=

1

m

∑

i

=

1

m

∣

f

i

−

y

i

∣

MAE = frac{1}{m}sum_{i=1}^{m}|f_i-y_i|

Средняя абсолютная ошибка может лучше отражать реальную ситуацию с ошибкой предсказанного значения.

4. R-squared

R

2

=

1

−

∑

i

=

1

m

(

f

i

−

y

i

)

2

∑

i

=

1

m

(

y

i

‾

−

y

i

)

2

R^2=1-frac{sum_{i=1}^{m}(f_i-y_i)^2}{sum_{i=1}^{m}(overline{y_i}-y_i)^2}

Числитель выше представляет собой сумму ошибок предсказания модели, которую мы обучили.
Следующий знаменатель представляет собой сумму ошибок предположения. (Обычно среднее значение наблюдений)

Если результат равен 0, это означает, что наша модель похожа на угадывание.
Если результат равен 1. Это означает, что наша модель не содержит ошибок.

R-квадрат находится между 0 и 1. Чем ближе к 1, тем лучше эффект подгонки регрессии. Обычно считается, что степень согласия модели выше 0,8 выше.

Упростите формулу выше
Разделите числитель и знаменатель на m одновременно, тогда числитель станет нашей среднеквадратичной ошибкой MSE, а следующий знаменатель станет дисперсией.

R

2

=

1

−

1

m

∑

i

=

1

m

(

f

i

−

y

i

)

2

1

m

∑

i

=

1

m

(

y

i

‾

−

y

i

)

2

=

1

−

M

S

E

(

f

,

y

)

V

a

r

(

y

)

R^2=1-frac{frac{1}{m}sum_{i=1}^{m}(f_i-y_i)^2}{frac{1}{m}sum_{i=1}^{m}(overline{y_i}-y_i)^2}=1-frac{MSE(f,y)}{Var(y)}

5. Реализация Python

MSE

y_preditc = reg.predict (x_test) #reg - обученная модель
 mse_test = np.sum ((y_preditc-y_test) ** 2) / len (y_test) # То же, что и математическая формула

RMSE

rmse_test=mse_test ** 0.5

MAE

mae_test=np.sum(np.absolute(y_preditc-y_test))/len(y_test)

R

2

R^2

1- mean_squared_error(y_test,y_preditc)/ np.var(y_test)

вызов sklearn

from sklearn.metrics import mean_squared_error 
from sklearn.metrics import mean_absolute_error
from sklearn.metrics import r2_score#R square

mean_squared_error(y_test,y_predict)
mean_absolute_error(y_test,y_predict)
r2_score(y_test,y_predict)

Стандартное отклонение (SD), измеряет количество изменчивости или дисперсии, из отдельных значений данных, к среднему значению, в то время как стандартная ошибка среднего (SEM) мер, как далеко образец среднее (среднее) данных, вероятно, будет от истинного среднего значения населения. SEM всегда меньше SD.

SEM против SD

Стандартное отклонение и стандартная ошибка используются во всех типах статистических исследований, включая исследования в области финансов, медицины, биологии, инженерии, психологии и т. Д. В этих исследованиях стандартное отклонение (SD) и расчетная стандартная ошибка среднего (SEM) ) используются для представления характеристик данных выборки и объяснения результатов статистического анализа. Однако некоторые исследователи иногда путают SD и SEM. Таким исследователям следует помнить, что расчеты SD и SEM включают разные статистические выводы, каждый из которых имеет свое значение. SD – это разброс отдельных значений данных.

Другими словами, SD указывает, насколько точно среднее значение представляет данные выборки. Однако значение SEM включает статистический вывод, основанный на распределении выборки. SEM – это стандартное отклонение теоретического распределения выборочных средних (выборочное распределение).

Расчет стандартного отклонения

Формула SD требует нескольких шагов:

1. Во-первых, возьмите квадрат разницы между каждой точкой данных и средним значением выборки, найдя сумму этих значений.
2. Затем разделите эту сумму на размер выборки минус один, который представляет собой дисперсию.
3. Наконец, извлеките квадратный корень из дисперсии, чтобы получить стандартное отклонение.

Стандартная ошибка среднего

SEM рассчитывается путем деления стандартного отклонения на квадратный корень из размера выборки.

Стандартная ошибка дает точность выборочного среднего путем измерения изменчивости выборочного среднего от образца к образцу. SEM описывает, насколько точное среднее значение выборки является оценкой истинного среднего значения совокупности. По мере увеличения размера выборки данных SEM уменьшается по сравнению с SD; следовательно, по мере увеличения размера выборки среднее значение выборки оценивает истинное среднее значение генеральной совокупности с большей точностью. Напротив, увеличение размера выборки не обязательно делает SD больше или меньше, это просто становится более точной оценкой SD населения.

Стандартная ошибка и стандартное отклонение в финансах

В финансах стандартная ошибка средней дневной доходности актива измеряет точность выборочного среднего как оценки долгосрочной (постоянной) средней дневной доходности актива.

С другой стороны, стандартное отклонение доходности измеряет отклонения индивидуальных доходов от среднего значения. Таким образом, SD является мерой волатильности и может использоваться в качестве меры риска для инвестиций. Активы с более высокими ежедневными движениями цен имеют более высокое SD, чем активы с меньшими ежедневными движениями. Предполагая нормальное распределение, около 68% дневных изменений цен находятся в пределах одного стандартного отклонения от среднего, при этом около 95% дневных изменений цен находятся в пределах двух стандартных значений среднего.