Меню

На каком образном примере рассматривается модель переменные ошибки постоянные ошибки

Еще
много веков назад было отмечено, что
человеческая деятельность не всегда
бывает безукоризненна. Около двух тысяч
лет назад римский философ Цицерон
предупреждал: «Человеку свойственно
ошибаться». Непреложным фактом является
то, что где бы мужчине или женщине не
пришлось работать, когда-нибудь происходят
человеческие ошибки.

В
настоящем пособии «Человеческие ошибки»
профессор Джеймс Ризон определяет
ошибку следующим образом:

«Ошибка
рассматривается как следствие объединяющее
все те случаи, когда запланированная
последовательность умственных или
физических усилий не достигает необходимой
цели и когда все эти провалы не могут
быть отнесены на счет влияния случая».

Ясно,
что обслуживание самолета зависит от
компетенции инженеров исполнителей.
Много примеров описанных в Главе 1
«Инциденты связанные с человеческими
факторами / Человеческими ошибками» и
во всем настоящем пособии освещают
ошибки, которые были допущены инженерами
по обслуживанию самолетов и которые
повлекли за собой авиационные аварии
и инциденты.

В прошлом авиационные
компоненты и системы были относительно
не надежны. Современные самолеты по
сравнению с ними сконструированы и
изготовлены как высоко надежные. Как
следствие, в настоящее время обычно
говорят, что инцидент с самолетом или
авария были вызваны «человеческим
фактором».

Следующее
положение говорит о том, какую ключевую
роль играет инженер по обслуживанию в
поддержании надежности современного
самолета.

«Так
как гражданский самолет сконструирован
для выполнения безопасных полетов в
течение не ограниченного периода
времени, в случае если дефекты
обнаруживаются и устраняются своевременно,
безопасность становится вопросом
определения и ремонта до отказа какой-либо
конструкционной детали (структуры). В
идеальной системе, все дефекты, влияющие
на безопасность полета должны определяться
заранее до момента когда они станут
опасными и устранены эффективным
ремонтом. С этой точки зрения мы изменили
систему безопасности от одного из
физических дефектов в самолете, до одной
из ошибок в комплексной системе с
человеком в центре».

В
оставшейся части настоящей главы
рассматриваются некоторые из различных
путей, по которым определяется
(концептуализируется) человеческая
ошибка. Затем рассматриваются наиболее
распространенные ошибки случающиеся
при обслуживании самолетов и также
рассматриваются возможные пути
предотвращения этих ошибок.

9.8.1 Модели ошибки и
теория.

Для
определения типов ошибок, которые
возможно сделать, исследователи
рассмотрели человеческие ошибки
несколькими путями и предложили различные
модели и теории. Эта попытка обнаружить
природу ошибок и ее характеристики. Для
иллюстрации этого, они предлагают в
качестве моделей и теорий следующие
варианты основных версий:

  • версия
    ошибок вызванных конструкцией и ошибки
    операторов;

  • переменная
    версия постоянных ошибок;

  • обратимая
    версия необратимых ошибок;

  • случайные
    ошибки;

  • ошибки,
    связанные со знанием и навыками;

  • модель
    «Швейцарский сыр».

Версия ошибок вызванных
конструкцией и ошибки операторов.

В
авиации особый упор делается на ошибках
операторов, включая экипажи самолетов,
диспетчеров и персонала по техническому
обслуживанию.

Однако,
ошибки могут быть допущены даже до того
момента когда самолет впервые вылетает
после сборки. Это может означать, что
если самолет собран и летит, как это
предусматривалось конструкцией, полет
этой конструкции может повлиять на
безопасность. Кроме того, правила
управлением самолета введенные компанией
или управлением по организации полетов
могут также приводить к операционным
проблемам.

Издание 1 15 сентября
2004 ТОЛЬКО ДЛЯ ОБУЧЕНИЯ
Стр. 73

АMIKON
Training Manual Part-66 Human Factors

При
расследовании авиационных инцидентов
часто обнаруживают, что делается более
чем одна ошибка и более чем одним
человеком. Ситуация может складываться
таким образом, что только при определенной
комбинации ошибок и нарушении их защиты
(См. модель «Швейцарский сыр»), нарушается
безопасность.

Переменная версия
постоянных ошибок.

В своей
книге «Человеческие ошибки» профессор
Ризон обсуждает два типа ошибок человека:
переменные и постоянные. Это можно
расссмотреть на Рис.22. Переменные ошибки
(А) случайны по своей природе в то время
как постоянные ошибки (В) сопровождаются
какой то системой и носят систематический
характер. Возникновения постоянных
ошибок может быть предсказано и от них
можно создать защиту, в то время как
переменные ошибки непредсказуемы и,
как правило, приводят к серьезным
последствиям. Если мы знаем достаточно
много о характере операции, окружающей
среде в которой она выполняется и
физическое и моральное состояние
работника, у нас есть высокий шанс
предотвратить ошибки.

Рис.
22 Переменная версия постоянных ошибок.

Мишени
двух стрелков имеющих по десять выстрелов.
Стрелок А не продемонстрировал постоянных
ошибок, все ошибки значительно отличаются
друг от друга; стрелок В продемонстрировал
значительную постоянную ошибку и
небольшую вариацию мелких ошибок.
Последний вариант легче предугадать и
исправить (коррекцией прицела винтовки).

К
сожалению редко удается получить
достаточно информации для точного
предсказания ; мы можем предсказывать
только на уровне «операции по повторной
сборке где ошибки происходят чаще, чем
при операциях по разборке», или «инженер
чаще совершает ошибки после 3-х часов
ночи после того как отработал 12 часов,
чем после 10 утра после того как отработал
только2 часа».

Возможно,
улучшить эти предсказания при получении
большей информации, но все равно ошибки
или непредсказуемые их элементы будут
происходить.

Обратимая версия
необратимых ошибок.

Другой
путь по определению категорий ошибок
это определение обратимые они или нет.
Первые возможно исправить, вторые обычно
нет.

Например,
если пилот не правильно рассчитал
количество топлива для полета, он может
произвести посадку на более близком
аэродроме, но если он резко потерял
топливо, многих возможностей у него не
появится.

Хорошо
сконструированная система или операция
должна означать, что возможные ошибки
инженера по обслуживанию самолета
должны быть обратимыми. Таким образом,
если инженер установил деталь не
правильно, она должна быть определена
контролером и установлена правильно
до выпуска самолета обратно в эксплуатацию.

Случайные ошибки.

Профессор
Ризон определяет понятие «намерение»
при рассмотрении природы ошибок задавая
следующие вопросы:

Издание
1 15 сентября 2004 ТОЛЬКО ДЛЯ ОБУЧЕНИЯ
Стр. 74

АMIKON
Training Manual Part-66 Human Factors

  • Направлялись
    ли действия предварительным намерением?

  • Происходили
    ли действия так как они планировались?

  • Достигли
    ли они планируемого результата?

Ризон
предложил классификацию ошибок на базе
ответов на эти вопросы (См. Рис.23).

НЕТ

Было ли намерение действовать?

Было ли предварительное
намерение действовать?


Случайное или не
преднамеренное действие

Спонтанное или
вспомогательное действие

ДА

Происходили ли действия как планировалось?

ДА

Не преднамеренное
действие, промах, ошибка

Достигли ли действия ожидаемого
результата?


Намеренное, но
ошибочное действие


Успешное действие

НЕТ

ДА

НЕТ

ДА

Рис.23
Типы ошибок основанные на намерении.

Наиболее
известный тип – промахи, ошибки.

Промахи
— это действия, проведенные не так как
хотелось или планировалось.

Пропущенные
действия , т.е. когда кто то не сделал
что то из-за провала в памяти / или во
внимании (например забыл одеть капот
на двигатель).

Ошибки
– это специфический тип вызванный не
правильным планированием/намерением.
Т.е кто то сделал что то веря что на тот
отрезок времени это правильно, а
практически нет т.е. ошибка в определении
типа болтов для крепления лобового
стекла.

Промахи
обычно случаются в процессе выполнения
операций, ошибки на стадии планирования.

Нарушения
иногда рассматриваются как человеческие
ошибки, но они отличаются от промахов
и ошибок так как они вызваны неправильными
«незаконными» действиями, т.е. сделал
что то, зная что это не по правилам,
например, желая выполнить работу к
сроку.

Операции
должны выполняться строго по правилам,
чтобы сохранять безопасность полетов.

Ошибки, связанные
со знанием и навыками;

Издание
1 15 сентября 2004 ТОЛЬКО ДЛЯ ОБУЧЕНИЯ
Стр. 75

АMIKON
Training Manual Part-66 Human Factors

Поведение
инженера по обслуживанию может быть
подразделено на три отдельные категории:
на основе опыта, на основе правил и на
основе знаний.

На
основе опыта –
базируется на усвоенных
человеком навыках и моторных программах,
полученных с опытом практической работы
и выполняемых без особых раздумий.

На
основе правил
– базируется на том,
что правила или порядок выполнения
операции выучен. Компонентами этого
типа поведения могут быть отдельные
навыки.

На
основе знаний – для тех, для кого
процедуры не установлены. От авиационного
инженера требуется оценить полученную
информацию и затем использовать свои
знания для определения плана по действиям
в конкретной ситуации.

Для
каждого из этих поведенческих типов
имеются свои ошибки для них характерные.

Примером
ошибок на основе опыта являются промахи
в действиях, воздействие окружающей
среды и обратные действия. Промахи в
действиях это то же самое, что и просто
промахи – это действия, не проведенные,
как следует. Пример дается в Рис.24 когда
инженеру нужен определенный ключ для
окончания операции, но из за того, что
его отвлек коллега, он взял не тот
комплект ключей установленный на другой
момент затяжки и не замечает того, что
он затягивает болты не так как нужно.



Инженер отвлекается
коллегой

Инженер не следит
за выполнением операции


ОШИБКА

Рис.24
Пример промаха в действии.

Примером
влияния окружающей среды может быть
то, когда инженер часто выполняет одну
и ту же операцию в определенном месте.
Например, инженер, выполняющий операцию
по регулировке на самолете А300, может
неосознанно выполнить ее и на другом
самолете А300, хотя это может не
требоваться.

Обратные действия могут
происходить при определенных условиях,
когда привычка хорошо усвоена, ее трудно
забыть, или от нее избавиться. Инженер
может неосознанно выполнить операцию,
которую он выполнял много лет, не смотря
на то, что недавно она была изменена.
Это характерно для работников, которые
не сосредоточены или находятся в
стрессовом состоянии.

Поведение,
основанное на правилах обычно очень
сильное, и поэтому всегда подчеркивается
при выполнении операций по обслуживанию
самолета. Однако происходящие здесь
ошибки обычно связаны с применением
другого правила или не той операции.
Например, нарушение последовательности
выполнения операции.

Ошибки
при поведении, основанном на знаниях,
обычно связаны с неполными или не
правильными знаниями или с не правильной
интерпретацией ситуации. Примером тому
может служить ситуация, когда инженер
ознакомившись с операцией считает, что
он может легко ее выполнить. Если он ее
выполняет, желательно чтобы он обращал
больше внимания на вещи, которые, как
он считает, выполняет всегда успешно,
чтобы не игнорировать очевидность
обратного. (confirmation
bias).

Модель
«Швейцарский сыр»

Издание
1 15 сентября 2004 ТОЛЬКО ДЛЯ ОБУЧЕНИЯ
Стр. 76

АMIKON
Training Manual Part-66 Human Factors

В этом
исследовании Ризон освещает концепцию
защит против человеческих ошибок внутри
организации и дает понятие «защита
изнутри».

Примеры
защиты двойная проверка, предполетная
проверка пилотом и т.д., которые помогают
отловить человеческие ошибки, уменьшая
влияние отрицательных обстоятельств.
Когда эти защиты ослабевают, возникает
возможность инцидента или аварии. Эти
защиты изображены в виде нескольких
барьеров из ломтиков швейцарского сыра
и поэтому эта модель получила название
«Швейцарский сыр» профессора Ризона

Рис.25
Модель «Швейцарский сыр».

Некоторые
проблемы латентны, т.е. они происходили
в прошлом и находятся в спящем режиме.
Они могли быть заложены в конструкцию
или связаны с решением руководства.
Ошибки сделанные персоналом передней
линии, таким, как инженеры по обслуживанию,
являются активными. Больше отверстий
(дырок) в защитах системы, больше
вероятность того, что ошибки приведут
к инциденту или аварии, но это только
при определенных обстоятельствах, когда
все дырки встанут в одну линию. Обычно,
если ошибка прошла защиту на уровне
инженера, она достигает защиты на уровне
диспетчера и исправляется на этой
стадии. Однако, иногда в авиации ошибка
может пройти сквозь все защиты (например,
пилот проигнорировал автоматическое
предупреждение считая его недостоверным)
и возникает катастрофическая ситуация.

Защиты
в области авиационного обслуживания
будут рассматриваться далее

В
Разделе 9.8.4.

Типы ошибок в заданиях
на обслуживание.

Так
как авиационные инженеры это люди,
ошибки в производстве неизбежны.

Каждая
операция, выполняемая на самолете это
возможность совершения ошибки. Ошибки
при техническом обслуживании имеют две
специфических формы:

  • Ошибки
    являющиеся результатом специфической
    проблемы самолета, которые отсутствовали
    до начала операции;

  • Ошибки
    являющиеся результатом нежелательного
    или опасного состояния остававшегося
    не обнаруженным при выполнении
    обслуживания, направленного на выявление
    проблем с самолетом, т.е. что-то было
    пропущено.

Издание
1 15 сентября 2004 ТОЛЬКО ДЛЯ ОБУЧЕНИЯ
Стр. 77

АMIKON
Training Manual Part-66 Human Factors

Примеры
ошибок освещенных в предыдущем абзаце
являются неправильная установка
заменяемых узлов (LRU),
не снятие защитного кожуха с гидравлической
линии перед разборкой или повреждение
воздушного тракта используемого в
качестве опоры для ноги чтобы добраться
до места выполнения рабочей операции.
Примеры ошибок в (b)
незамеченные трещины обшивки при
визуальном осмотре или дефектный прибор
авионики, оставленный на самолете при
неправильном определении неисправности,
в результате которой, был заменен другой
прибор. Актуальным типом ошибки может
быть любой освещенный в предыдущем
разделе этого документа.

Ошибки во время
проведения регулярного или менее частого
обслуживания.

Большая
часть заданий по обслуживанию носит
рутинный характер, такие как регулярные
или периодические осмотры самолета.
Таким образом инженеры используют
определенный комплект процедур
сравнительно часто, как отмечалось в
предыдущем разделе, промахи и случайные
ошибки могут случаться при выполнении
заданий в ангаре или в условиях линейного
обслуживания (Раздел 9.6.2).

«Повторяющиеся
ошибки» случаются в случае привыкания
инженера выполнять регулярные, часто
повторяющиеся операции, имеющие
письменные указания в инструкциях по
выполнению. Не реально рассчитывать,
что они будут терять время на постоянное
обращение к хорошо известному материалу
инструкций. Однако, возможны ошибки,
если они не отслеживают внесение
изменений в эти материалы по выполнению
часто используемых операций.

Эти
рутинные операции также подвержены
ошибкам из-за самоуверенности,
окружающей
среды и ошибкам из-за
правил (
См. выше).

При
выполнении менее частых операций
возможны ошибки из-за неправильной
оценки. Если инженер не знаком или не
вспомнил что действительно нужно
выполнить, он может ошибочно выбрать
не ту операцию или не те детали.

Нарушения при
обслуживании самолетов.

К
сожалению, при обслуживании самолетов
происходят умышленные нарушения.
Большинство выполняют работу должным
образом. Редко возникают акты вандализма
и саботажа. Однако, они представляют
серьезную угрозу безопасности, так как
вся система была разработана на основе
того, что все люди будут выполнять
требования процедур обслуживания.
Существует три типа нарушений:

  • Рутинные
    нарушения;

  • Нарушения
    в зависимости от ситуации;

  • Нарушения
    вызванные эмоциональным состоянием
    человека;

Рутинные нарушения это
вещи которые стали «нормальным путем
выполнения чего-то» среди
рабочей группы людей (бригады). Операции
могут стать рутинными по нескольким
причинам: работники могут считать , что
они слишком глубоко описаны и обходить
их для упрощения (срезание
углов)
, для
сокращения времени и усилий на выполнение.
Примером рутинного нарушения является
не выполнение гонки двигателя после
бороскопического осмотра («он никогда
не течет»), или не замена кольцевых
уплотнений на коробке передач двигателя
(«Они никогда не повреждаются»).

Нарушения в зависимости от ситуации
случаются при
наличии определенных факторов
в данное время, таких как авральный
режим работы, высокая рабочая нагрузка,
невыполнимые операции, недостаток
инструмента, плохие рабочие условия.
Это часто случается тогда, когда для
того чтобы работа была выполнена, инженер
считает, что не нужно следовать порядку
выполнения операции. Примером этому
является инцидент, когда дверь на В747
открылась в полете. Инженер очень
торопился. Ему нужен был специальный
лобзик для пропила отверстия в язычке
замка. Лобзика на этот момент не было и
он пропилил отверстие вручную. Если бы
он посмотрел инструкцию, то отложил бы
выполнение операции и самолет вышел бы
из расписания.

Нарушения из-за
эмоционального состояния человека.
Это
часто не связано с выполнением заданий.
Человек просто ищет возможность
удовлетворить самого себя. Примером
этому является инженер, который пересекает
аэродром и двигается быстрее чем
разрешено, только для того чтобы приехать
на место скорее. Давление времени и
высокие нагрузки способствуют появлению
нарушений всех типов. Люди сравнивают
возможные риски с возможными преимуществами,
к сожалению, действительные риски
гораздо выше.

Издание 1 15 сентября 2004 ТОЛЬКО ДЛЯ
ОБУЧЕНИЯ Стр. 78

АMIKON Training Manual
Part-66 Human Factors

Там
где операция позволяет какие-то
послабления, инженер вырабатывает
собственную стратегию или предпочтительный
путь выполнения. Иногда «хорошим»
правилом или принципом является тот,
который успешно применялся ранее.
Иногда эти правила становятся
предпочтительными для инженера в его
повседневной работе.

Проблемы возникают,
когда принципы и правила применяются
не правильно. На пример соединения
трубок имеют резьбу правого вращения,
но применение этого правила к кислородным
трубопроводам приведет к повреждению
резьбы и трубки. Также существует угроза
применения правил, которые основываются
на предыдущем опыте если, например
философия конструкция аэробусов и
самолетов Боинг отличается. Это может
быть причина в инциденте с запертым
спойлером А320, когда кажущиеся различия
между управлением спойлером на А320 и
Б767 (к которым инженеры достаточно
привыкли) означает, что операции
приемлемые для Боинга не приемлемы для
А320.

В дополнение,
инженеры в процессе своей работы могут
усвоить «плохие
правила»,

ведущие к плохим
привычкам,
также
как происходит с водителем после того
как он получил водительские права.
Примером этому может служить инцидент
на Британских железных дорогах с поездом
из Клапхэма, когда применялась практика
загибания старых проводов, вместо замены
их на новые с соответствующей изоляцией.

Ошибки,
связанные с визуальным осмотром.

Имеется также два
особенных типа ошибок присущих визуальным
осмотрам, а именно ошибки
Типа 1 и ошибки Типа 2.

Ошибки типа 1 происходят, когда хорошая
деталь определяется как дефектная.
Ошибки Типа 2 появляются, когда дефектная
деталь утеряна. Ошибки Типа 1 не связаны
с безопасностью, за исключением случаев,
когда это означает что если ресурсы не
будут использоваться более эффективно,
потребуется дополнительная потеря
времени на проверку изделий, которые
не являются очевидно дефектными.
Ошибки Типа 2 наиболее важны так как,
если дефект не обнаружен (трещина) это
может иметь серьезные последствия
(Инцидент с Алоха, когда трещины в обшивке
не были обнаружены).

Исследования
профессора Ризона по техническому
обслуживанию самолетов

Ризон
провел анализ 122 авиационных инцидентов
в крупных авиакомпаниях за три года и
определил основные их причины:

  • Пропуски
    (56%)

  • Не
    правильная установка узлов и деталей
    (30%)

  • Не
    правильные детали (8%)

  • Другие
    причины (6%)Можно полагать, что выводы
    Ризона применимы к техническому
    обслуживанию авиации вообще. Пропуски
    могут происходить по различным причинам,
    таким как забывчивость, отклонение от
    порядка выполнения операции. Потеря
    масла на двух двигателях В737, когда
    крышка ротора не была установлен на
    место, является примером пропуска. Не
    правильная установка не является
    сюрпризом, так как обычно имеется только
    один путь как снять деталь и много путей
    как ее установить снова. Ризон
    иллюстрировал это простым примером
    болта и нескольких гаек (Рис.26)задавая
    вопрос:

(а) сколькими путями
этот узел может быть разобран? Ответ –
одним путем.

(в) Сколькими путями
узел может быть собран снова? Ответ:
около 40000 исключая ошибки и пропуски

Издание 1 15 сентября 2004 ТОЛЬКО
ДЛЯ ОБУЧЕНИЯ Стр. 79

АMIKON Training Manual
Part-66 Human Factors

В инциденте с ВАС1-11 в июне 1990, ошибкой
была установка не правильных болтов на
иллюминатор. Это иллюстрирует категорию
«не правильные детали».

9.8.3
Вовлечение ошибок (Аварии)

В самых худших случаях человеческие
ошибки в авиационном обслуживании могут
приводить к авариям. Однако, как изображено
на Рис.27, аварии это только видимая часть
изображения ошибок. Как в айсберге, у
которого большая часть находится под
водой, большая часть ошибок не приводит
к авариям и инцидентам.

Рис.27
«Модель Айсберг»

К
счастью большинство ошибок при
обслуживании самолета не приводят к
катастрофическим последствиям. Но это
не означает, что они могут повторяться.
Ошибки, не приводящие к авариям, но
создающие инциденты. Это освещалось в
начале этого документа в Разделе 0.1.2
«Инциденты из-за человеческого
фактора»/Человеческие ошибки, дающим
примеры инцидентов по причине ошибок
при обслуживании. Некоторые инциденты
имеют более высокий уровень чем другие,
создающие проблемы в полете, которые,
благодаря случайности или искусству
летчиков, не привели к авариям. Другие
не стали серьезными благодаря защитам
в системе обслуживания. Однако все
инциденты в авиации являются значительными,
так как могут приводить к будущим авариям
если ошибка произойдет при других
обстоятельствах. Как следствие этому
обо всех инцидентах обязательно
необходимо докладывать авиационным
властям. (Mandatory
Occurance Reporting Scheme (MORS). Эта
информация помогает отслеживать
тенденции и где необходимо, предпринимать
действия по уменьшению ситуации для
возникновения ошибок. В Англии существует
также схема проблемы известны как
Confidentional
Human
Factors
Incident
Reporting
Programme
(CHIPR)
позволяющая информировать об ошибках
конфидециально. Благодаря тому, что
большинство ошибок при обслуживанию
самолетов определяются почти немедленно,
они делаются и исправляются. Инженер
может определить свою собственную
ошибку, или она будет обнаружена его
коллегами, контролером или ОТК. В этих
случаях инженер должен знать о сделанной
ошибке с тем, чтобы не повторять ее в
будущем.Обязательно, чтобы инженер
учился на собственных ошибках и на
ошибках окружающих. Когда случается
ошибка при линейном обслуживании, обычно
признают виновным инженера, кто последним
работал на самолете. Человека могут
наказать, направить на обучение или
просто попросят не повторять подобной
ошибки в будущем.

Издание 1 15 сентября 2004 ТОЛЬКО ДЛЯ
ОБУЧЕНИЯ Стр. 80

АMIKON
Training Manual Part-66 Human Factors

Однако, обвинение при обслуживании ВС
не всегда работает как позитивная сила,
это иногда мешает инженерам осознать
ошибки. Они могут скрывать ошибки, или
не докладывать об инциденте. Также не
правильно обвинять инженера, если ошибка
произошла по вине слабости характерной
для системы, которую инженер случайно
обнаружил (например: характерный дефект,
скрытый в конструкции).

9.8.4 Избежание ошибок и управление
ошибками.

В то время как
техническое обслуживание стремится к
тому чтобы ошибки не происходили,
практически не возможно избежать их
полностью. Поэтому все организации по
обслуживанию должны иметь целью
управление ошибками.

Управление ошибками направлено на:

  • предотвращать
    появление ошибок;

  • снижать или ликвидировать последствия
    ошибок.

Ризон определил эти
два компонента управления ошибками
как: (i)
содержание ошибки и (ii)
уменьшение ошибки.

Для
предотвращение появления ошибок
необходимо предугадывать место где они
скорее всего произойдут и принять
превентивные меры. Система рапортов
(такая как MORS)
делает это для производства в целом. В
организации по обслуживанию информация
по инцидентам и авариям должна собираться
в Системе управления безопасностью
(SMS),
которая должна обеспечивать механизм
для определения потенциально слабых
мест или ситуаций, способствующих
появлению ошибок. Результат этого должен
использоваться при обучении персонала,
в процедурах обслуживания, установлении
новых защит или модификации старых.

По исследованию
Ризона, управление ошибками включают
меры по:

  • минимизации
    обязательности ошибки работника или
    бригады;

  • уменьшение
    непредсказуемости ошибки в конкретном
    задании или его элементах;

  • открывать,
    вмешиваться и уничтожать факторы
    способствующие появлениям ошибок на
    рабочем месте;

  • проводить
    диагноз организационных факторов,
    которые создают предпосылки для

    ошибок работника, бригады, самого
    задания и рабочего места;

  • проводить поиск
    ошибок;

  • делать скрытые
    условия более видимыми для лиц управляющих
    системой;

Очень трудно
составить список всех мер по предотвращению
и минимизации ошибок в деле обслуживания
ВС. Практически во всем этом документе
дается описание этого механизма, начиная
с момента убеждения, что человек подходит
для работы и готов к ней до аттестации
рабочего места по освещенности.

Одним
из факторов наиболее эффективным в деле
предотвращения ошибок, является то что
инженер точно выполняет операции в
соответствии с документацией.

Издание 1 15 сентября 2004 ТОЛЬКО ДЛЯ
ОБУЧЕНИЯ Стр. 81

АMIKON
Training Manual Part-66 Human Factors

В обязательном порядке организация по
обслуживанию должна находить разумный
компромисс между расходами на безопасность
– внедрению защитных мер, определению
ошибок и уменьшению их количества и
получением прибыли от деятельности.
Некоторые мероприятия стоят не много
(такие как замена лампочек в ангаре),
другие стоят очень много (например, наем
дополнительного персонала для
распределения рабочей нагрузки).
Инциденты имеют тенденцию приводить к
срочным мерам по исправлению ошибок,
но если в организации в течение длительного
времени инцидентов не было, существует
возможность снижения в ней расходов на
безопасность. Ризон иллюстрирует это
на Рис.28 «лодка на речном пороге»

Рис.28 Путь гипотетической организации
в пространстве производство – защита.

Важно чтобы организация балансировала
прибыль и расходы, и пыталась убедиться,
что расходы на безопасность являются
эффективными, так как идут на снижение
количества ошибок и предотвращение
катастрофических ситуаций. В обязательном
порядке является обязанностью всех и
каждого инженера по обслуживанию очень
внимательно относиться к своей работе
и быть готовым к ошибкам (См. Раздел
9.3.1). В целом, инженеры по обслуживанию
самолетов осознают важность своей
работы и обычно уделяют значительное
внимание и предпринимают усилия на
проведение мероприятий по предотвращению
производственных травм, сохранности
оборудования и безопасности самолета
на котором они работают.

Издание 1 15 сентября 2004 ТОЛЬКО ДЛЯ
ОБУЧЕНИЯ Стр. 82

АMIKON
Training Manual Part-66 Human Factors

МОДЕЛЬ С ОШИБКАМИ В ПЕРЕМЕННЫХ
 [c.402]

Модель с ошибками в переменных 403
 [c.403]

Лаговые переменные » —Ошибки в переменных -Априорная информация
 [c.16]

Стохастические объясняющие переменные, инструментальные переменные и ошибки в переменных
 [c.266]

Когда используется метод рентабельности продаж, процентная наценка включает только желаемую величину прибыли. Чтобы этот метод был эффективным, все затраты должны быть распределены по единицам продукции. Поскольку коммерческие, общие и административные расходы труднее отнести на конкретные виды продукции, чем переменные и постоянные производственные затраты, то для их распределения можно использовать произвольные методы. Однако, такое произвольное распределение коммерческих, общих и административных расходов может привести к ошибкам в определении цены изделия. Так как такие внешние факторы, как конкуренция и положение на рынке, должны быть учтены прежде установления окончательной цены, то метод ценообразования на основе рентабельности продаж может быть использован в качестве исходной цены в решении проблемы ценообразования. Для расчетов используются формулы  [c.258]

Стохастические связи между различными явлениями и их признаками в отличие от функциональных, жестко детерминированных, характеризуются тем, что результативный признак (зависимая переменная) испытывает влияние не только рассматриваемых независимых факторов, но и подвергается влиянию ряда случайных (неконтролируемых) факторов. Причем полный перечень факторов не известен, так же как и точный механизм их воздействия на результативный признак. В этих условиях значения зависимой переменной тоже не могут быть измерены точно. Их можно определить с определенной вероятностью, поскольку они подвержены случайному разбросу и содержат неизбежные ошибки измерения переменных.
 [c.69]

Однако может оказаться, что данные о доходе, полученные в результате опроса, на самом деле являются искаженными, — например, в среднем заниженными, т.е. объясняющие переменные измеряются с систематическими ошибками. В этом случае люди, действительно обладающие доходом X, будут на самом деле тратить на исследуемый товар в среднем величину, меньшую, чем ДА), т.е. в рассмотренном примере объ-
 [c.12]

Функциональный учет направлен на выявление реальных затрат, относящихся к обслуживанию каждого предприятия (различных покупателей). Как переменные затраты, так и накладные расходы должны быть разделены на составные части и соотнесены с конкретным покупателем. Компании, которым не удается правильно измерить издержки, не в состоянии и правильно определить свою прибыль, что ведет к ошибкам в маркетинговой деятельности. Кроме того, определение реальных издержек помогает компании установить оптимальную цену на продукцию.
 [c.569]

Для достижения успеха на Уолл-стрит инвестору необходимо отыскать оптимальное сочетание двух ключевых переменных— объекта инвестирования и момента инвестирования. Как бы просто и даже банально это ни звучало, но для получения максимальной отдачи инвестор должен сделать правильный выбор объекта инвестирования и определить нужный момент для этого. Ошибка в выборе ценных бумаг и времени их приобретения может обернуться убытками, и различные сочетания двух этих факторов приводят к совершенно разным результатам.
 [c.124]

Случайная переменная е, характеризует ошибки в первом уравнении в виду его статистического характера. Параметр а отражает влияние других не учитываемых в данном уравнении факторов потребления (например, цен). Первое уравнение данной системы является сверхидентифицируемым, а второе и третье — определениями.
 [c.209]

Таким образом, сначала вместо полной модели с ошибками в уравнении и переменных
 [c.78]

Следовательно, шаг 4 заключается в вычислении (50), (53), (59) — (60). Таким образом, для регрессионных уравнений первого порядка с запаздывающей переменной продолжение итеративного процесса от первичных обобщенных оценок наименьших квадратов приводит к асимптотическим оценкам наибольшего правдоподобия, а последующее применение техники оценки ошибки спецификации дает возможность получить оценки и доверительные интервалы прогноза также и при наличии ошибок в переменных.
 [c.80]

Ошибки в именах обычно ограничены разделом внутренние, но могут быть имена переменных, файлов и полей записей. Вероятность ошибки в имени увеличивается, если одно и то же имя используется в нескольких контекстах, или в случае частичного совпадения имен. Заметим, что этот тип ошибок будет часто совпадать с ошибками раздела область (признак ЧТО).
 [c.61]

Рассмотрим систему, начинающую работу в момент времени = 0. Система работает до появления ошибки в соответствии с предопределенным критерием. Результаты эксперимента собираются в отрезки времени, за которые могут произойти отказы в работе. Тогда переменная / времени случайного сбоя может быть определена как
 [c.238]

Разработка рабочей модели представляет очень трудоемкий процесс, требующий, кроме того, большого внимания, так как достаточно ошибки в одном знаке пр,и коэффициенте переменной, чтобы решение оказалось ошибочным. Поэтому при использовании экономико-математических методов имеет большое значение разработка достаточно эффективных способов проверки записи системы уравнений и информации по переменным.
 [c.194]

Хотя первоначальные тесты АРМ обещали больший успех в объяснении различий в доходах, была проведена разделительная линия между использованием этих моделей для объяснения различий в доходах в прошлом и их применением для предсказания будущих доходов. Противники САРМ, с очевидностью, достигли более серьезного успеха в объяснении прошлых доходов, поскольку они не ограничивали себя одним фактором, как это делается в модели САРМ. Подобный учет значительного числа факторов становится более проблематичным, когда мы пытаемся планировать ожидаемые в будущем доходы, поскольку приходится оценивать коэффициенты бета и премии для каждого из этих факторов. Коэффициенты бета и премии для факторов сами по себе изменчивы, поэтому ошибка в оценке может уничтожить все преимущества, которые мы можем получить, переходя от модели САРМ к более сложным моделям. При использовании моделей регрессии, предлагаемых в качестве альтернативы, мы также сталкиваемся с трудностями при оценке, поскольку переменные, прекрасно работающие в
 [c.104]

С одной стороны, мы уже знаем (см. (1.30)), что присоединение каждой новой предсказывающей переменной может только увеличить величину множественного коэффициента корреляции R между результирующим показателем т] и предикторами и, следовательно, уменьшить ошибку в предсказании -q (X) (см. (1.26)). С другой стороны, нам известны не точные значения теоретических характеристик R, участвующих в (1.26) — (1.30), а лишь их выборочные аналоги — статистические
 [c.191]

Независимые переменные х, Х2,. .., Xk измеряются с пренебрежимо малой ошибкой по сравнению с ошибкой в определении. у-
 [c.246]

Существует несколько способов выявления неуверенности руководителя в отношении оценки стоимости (т. е. неопределенность этой оценки) в нашем примере. Допустим, что руководитель представляет себе фактическую стоимость выполнения контракта как сумму оцененной стоимости и некоторой ошибки. В этом случае для нас было бы полезно представить ошибку в виде случайной переменной, среднее значение которой мы примем за меру смещения, а дисперсию — за меру точности процесса оценки. Если среднее значение (математическое ожидание) ошибки равно нулю, мы можем сказать, что процесс дал несмещенные оценки. Если среднее значение ошибки больше нуля, можно было бы вычесть это среднее из каждой оценки и рассматривать исправленные оценки как несмещенные. Но такая простая поправка может улучшить результаты только в том случае, если мы умеем оценивать (т. е. определять точность) способ нахождения оценки.
 [c.101]

Если при решении той или иной задачи можно ограничиться линейным приближением, то полный факторный эксперимент типа 2 также оказывается недостаточно эффективным, особенно при большом k. При линейном росте числа независимых переменных число опытов для полного факторного эксперимента растет по показательной функции, в результате слишком много степеней свободы остается на проверку гипотезы адекватности. Например, при k = 2, при линейном приближении, для проверки гипотезы адекватности используется только одна степень свободы, тогда как при k = fj — уже 57 степеней свободы. Правда, при постановке таких больших экспериментов резко снижается ошибка в определении коэффициентов регрессии, так как при факторном планировании все опыты используются для оценки каждого из коэффициентов регрессии. Но это обстоятельство далеко не всегда является достаточным основанием для постановки большого числа опытов. Часто, особенно на первых этапах исследования, бывает нужно получить некоторую, хотя бы и не очень точную, информацию о процессе при минимальной затрате труда на проведение экспериментов. Если можно ограничиться линейным приближением, то число опытов можно резко снизить, используя для планирования так называемые дробные реплики от полного факторного эксперимента [1].
 [c.215]

Шестая часть посвящена оценкам максимального правдоподобия, которые, конечно, являются идеальным объектом для демонстрации мощи развиваемой техники. В первых трех главах исследуется несколько моделей, среди которых есть многомерное нормальное распределение, модель с ошибками в переменных и нелинейная регрессионная модель. Рассматриваются методы работы с симметрией и положительной определенностью, специальное внимание уделено информационной матрице. Вторая глава этой части содержит обсуждение одновременных уравнений при условии нормальности ошибок. В ней рассматриваются проблемы оценивания и идентифицируемости параметров при различных (не)линейных ограничениях на параметры. В этой части рассматривается также метод максимального правдоподобия с полной информацией (FIML) и метод максимального правдоподобия с ограниченной информацией (LIML), особое внимание уделено выводу асимптотических ковариационных матриц. Последняя глава посвящена различным проблемам и методам психометрики, в том числе методу главных компонент, мультимодальному компо-
 [c.16]

Третий вопрос, на который хотелось бы получат ответ, — как ведут себя различные оценки при разной спецификации ошибок. Например, чего можно ожидать, если возмущения автокоррелированы, если присутствуют ошибки в переменных, если имеет место ощутимая муль-тиколлинеарность, если исключены существенные переменные или при различных комбинациях указанных обстоятельств.
 [c.409]

На практике мы молчаливо соглашаемся, как правило, опираться на то, что в действительности является условностью. Суть этой условности — хотя она, конечно, не так уж проста — заключается в допущении, что существующее положение дел будет сохраняться неограниченно долго, если только у нас нет особых оснований ждать перемен. Это не означает, что мы в самом деле верим в неограниченно долгое сохранение существующего положения дел. Весь наш опыт говорит о том, что это совершенно невероятно. Действительные результаты инвестиций за целый ряд лет редко согласуется с первоначальными предположениями. Не подходит и способ рационально обосновать наше поведение ссылкой на то, что для человека, находящегося в полном неведении, ошибки в том или другом направлении равновероятны, так что ему остается сформировать некое среднестатистическое предположение, основывающееся на этих равных вероятностях. Ведь легко показать, что предположение об арифметическом равенстве вероятностей, основывающееся на ситуации полного неведения, ведет к абсурду. На практике мы исходим из того, что существующая рыночная оценка, как бы она ни сложилась, точно отражает имеющиеся у нас знания факторов, которые будут влиять на доход от инвестиций, и что эта оценка меняется лишь в соответствии с изменением наших знаний. Между тем, философски рассуждая, оня не может быть таким единственно правильным отражением, поскольку
 [c.65]

Однако, эти результаты достигаются не всегда, если не выполняются следующие условия [334,137] наличие информации об идентичных предпочтениях, общеизвестной структуре капитала и дивидендов, и полной совокупности имущественных прав (т.е. наличие полного спектра производных финансовых инструментов, позволяющих оценить ожидаемые будущие риски). Эти исследования содержат примеры сбоя модели рациональных ожиданий и позволяют предположить, что агрегирование информации является более сложным процессом. В частности, похоже, эффективность рынка, определяемая как полное агрегирование информации, зависит от «сложности» рыночной структуры, обусловленной такими параметрами, как количество акций, обращающихся на рынке, и торговыми периодами [319]. Например, чрезмерная реакция людей на неинформативные сделки может создать, так называемые, самообразующиеся информационные «миражи», которыми, вероятно, можно объяснить явную чрезмерную волатильность биржевых цен.[67]. Более того, эксперименты с рыночными моделями показали, что существует два типа ошибок в оценке рынка ошибки в оценке экзогенных событий, влияющих на стоимость активов, и ошибки в оценке переменных факторов, создаваемых рыночной деятельностью, таких как цены фьючерсных контрактов. Несмотря на существование идеальных условий для обучения, индивидуальные ошибки не устраняются полностью, а, в лучшем случае, иногда сокращаются. [65] Еще одной отличительной особенностью людей, выявленной в ходе экспериментов, является так называемый «эффект избавления», соответствующий тенденции продавать выросшие в цене активы и держать активы, упавшие в цене [446]. Такую тягу к избавлению можно объяснить тем, что люди оценивают прибыль и убытки, привязывая их к какому-либо ориентиру, и склонны идти на риск при наличии опасности потенциального убытка, но стремятся избежать риска при наличии потенциальной возможности получить определенную прибыль. Еще одной важной психологической особенностью человека является то, что многие люди переоценивают свои личные способности и чрезмерно оптимистичны в отношении своего будущего. Как было установлено, эти особенности влияют на экономическое поведение при вступлении в конкурентные игры или при инвестировании на рынке акций [66].
 [c.96]

До сих пор мы сравнивали между собой сетевые архитектуры с различным числом скрытых слоев и нейронов, предполагая, что каждый входной сигнал, действительно, влияет на результат. Однако, как уже говорилось, непредвиденная инфляция (UI) и месячное производство (МР) существенно не влияют на среднеквадратичную ошибку. В связи с этим возникает вопрос о том, нельзя ли эти переменные безболезненно изъять из дальнейшего рассмотрения. Явля-
 [c.142]

Столбец Выход содержит результаты классификации, выданные сетью, а в столбце Цель указан настоящий номер класса. ABSERR — это абсолютная ошибка классификации, т.е. расстояние до настоящего класса, a DE ISIVN — определенная выше величина решающей способности. На всем материале не произошло ни одной грубой ошибки в классификации— величина ABSERR ни разу не превосходит двух. Переменная временной структуры имеет сильную распознающую роль. Премия за риск, наоборот, представляется лишней переменной. Месячное производство приобрело несколько большее значение, в то время как вклад переменных, выражающих инфляцию, неясен. Результаты такого анализа, которые репрезентативны для всего набора данных, не вполне согласуются с той интерпретацией роли переменных, которую мы получили при изучении погрешности. Однако это противоречие— скорее, кажущееся, по-
 [c.148]

Ошибки в определении сущности постоянных затрат, их функциональном назначении порой приводят и к более серьезным заблуждениям. Речь пордет о природе двухставочных тарифов. Обычно и у нас в стране, и за рубежом наличие двухставочного тарифа часто объясняется необходимостью в пиковые часы использовать менее эффективные производственные мощности, потребляющие больше топлива и других переменных затрат на кВт/ч вырабатываемой электрической энергии. На самом деле это не совсем так или совсем не так. Давайте на минуту представим, что неэффективных производственных мощностей в энергетике нет, тогда по логике должна исчезнуть и природа двухставочного тарифа. Однако этого не
 [c.18]

Самоконтролирующееся ПО полезно для доказательства надежности программ на различных стадиях разработки. На стадии конструирования и реализации утверждения о соотношении между переменными сделают логические ошибки более очевидными. Это позволяет также повысить уверенность в надежности программы неформальным образом. На стадии тестирования для определения всевозможных аппаратных и программных погрешностей необходимо внедрять разнообразные средства самоконтроля, обеспечивающие локализацию ошибки в системе. История обнаружения ошибки должна < сохраняться для оценки эффективности средств само- » контроля. В системе также должна быть осуществлена Г в широких масштабах оценка стоимостных расходов по различным средствам.
 [c.265]

Мультипликатор цена/прибыль (pri e-earnings multiple — РЕ) — наиболее широко распространенный коэффициент, и при этом им же наиболее широко и злоупотребляют. Простота этого показателя придает ему привлекательность во многих сферах применения, начиная от оценки первоначально размещаемых акций и кончая вынесением суждений по поводу относительной ценности. Однако его связь с финансовыми фундаментальными переменными фирмы часто игнорируется, что приводит к серьезным ошибкам в применении. Эта глава позволяет в некоторой степени проникнуть в глубь факторов, определяющих мультипликатор цена/прибыль , и наилучших способов его использования при проведении оценки.
 [c.628]

Например, статья в Форбс , написанная Линденом (Linden) и озаглавленная Скучные дни в унылой науке , цитирует Мак-Низа (M Nees, 1983, 1985, 1987, 1988), который изучал экономические прогнозы и нашел, что экономисты делали серьезные ошибки в прогнозах в каждом из поворотных моментов экономического развития, начиная с 70-х годов, когда началась эта работа. Мак-Низ обнаружил также, что в этих поворотных моментах прогнозисты ошибались все вместе. Предсказания, в случае если они сделаны корректно, отражали действительность только в коротком временном интервале. Незначительное изменение только одной переменной может иметь большее влияние, чем это предусматривает теория.
 [c.18]

Рассматриваемая нами модель предполагает, что ошибки не зависят от оцениваемых затрат на выполнение контрактов. Ошибки в оценках для крупных контрактов в принципе характеризуются той же степенью неопределенности, что и оценки для контрактов, требующих меньших затрат. Для руководителя может быть разумнее встать на другую точку зрения и рассмотреть относительные ошибки. Он должен чувствовать, что ошибки в долларах будут все-таки больше для крупных контрактов. Можно принять, что фактическая стоимость равна оцененной стоимости, умноженной на некоторую случайную переменную, которая называется коэффициентом ошибки (error ratio). В этом случае несмещенный процесс оценки характеризовался бы коэффициентом ошибки, ожидаемое значение которого равно единице. Подходит ли какая-либо из этих двух моделей и если да, то какая — оставляется на усмотрение руководителя, который руководствуется при этом своим прошлым опытом и фактическими данными относительно качества рассматриваемого процесса оценки. Но какой бы метод он ни выбрал, это, видно, приведет к рассмотрению стоимости выполнения контракта как случайной переменной. Если мы предположим, что руководителю ясно, за какую цену может быть получен контракт, то прибыль становится случайной переменной, определяемой просто как разность между ценой и стоимостью.
 [c.102]

В статистике, ошибки-в-переменных модели или измерения модели ошибок являются регрессионные модели, которые учитывают ошибок измерения в независимых переменных . Напротив, стандартные модели регрессии предполагают, что эти регрессоры были точно измерены или наблюдались без ошибок; как таковые, эти модели учитывают только ошибки в зависимых переменных или ответах.

Иллюстрация разбавления регрессии (или систематической ошибки ослабления) с помощью ряда оценок регрессии в моделях с ошибками в переменных. Две линии регрессии (красные) ограничивают диапазон возможностей линейной регрессии. Неглубокий наклон получается, когда независимая переменная (или предиктор) находится на абсциссе (ось x). Более крутой наклон получается, когда независимая переменная находится на ординате (ось y). По соглашению с независимой переменной на оси x получается более пологий наклон. Зеленые контрольные линии — это средние значения в произвольных интервалах по каждой оси. Обратите внимание, что более крутые оценки регрессии для зеленого и красного более согласуются с меньшими ошибками в переменной оси y.

В случае, когда некоторые регрессоры были измерены с ошибками, оценка, основанная на стандартном предположении, приводит к непоследовательным оценкам, что означает, что оценки параметров не стремятся к истинным значениям даже в очень больших выборках. Для простой линейной регрессии эффект заключается в занижении коэффициента, известном как смещение затухания . В нелинейных моделях направление смещения, вероятно, будет более сложным.

Мотивирующий пример

Рассмотрим простую модель линейной регрессии вида


    y_ {t} =  alpha +  beta x_ {t} ^ {*} +  varepsilon_t  ,,  quad t = 1,  ldots, T,

где обозначает истинный, но ненаблюдаемый регрессор . Вместо этого мы наблюдаем это значение с ошибкой:
х_ {т} ^ {*}


    x_ {t} = x_ {t} ^ {*} +  eta_ {t} ,

где предполагается, что ошибка измерения не зависит от истинного значения .
 eta_ {t}х_ {т} ^ {*}

Если ‘s просто регрессируют на ‘ s (см. Простую линейную регрессию ), то оценка коэффициента наклона будет
г_ {т}x_ {t}


     hat { beta} =  frac { tfrac {1} {T}  sum_ {t = 1} ^ T (x_t-  bar {x}) (y_t-  bar {y})} { tfrac { 1} {T}  sum_ {t = 1} ^ T (x_t-  bar {x}) ^ 2}  ,,

который сходится по мере неограниченного увеличения размера выборки :
Т


     hat { beta}  xrightarrow {p}  frac { operatorname {Cov} [, x_t, y_t ,]} { operatorname {Var} [, x_t ,]} =  frac { beta  sigma ^ 2_ {x ^ *}} { sigma_ {x ^ *} ^ 2 +  sigma_  eta ^ 2} =  frac { beta} {1 +  sigma_  eta ^ 2 /  sigma_ {x ^ * } ^ 2}  ,.

Вариации неотрицательны, так что в пределе оценка меньше по величине, чем истинное значение, эффект, который статистики называют ослаблением или разбавлением регрессии . Таким образом, «наивная» оценка методом наименьших квадратов несовместима в этой настройке. Однако оценщик является последовательным оценщиком параметра, необходимого для наилучшего линейного предиктора данного : в некоторых приложениях это может быть то, что требуется, а не оценка « истинного » коэффициента регрессии, хотя это предполагает, что дисперсия ошибки в наблюдении остаются исправленными. Это непосредственно следует из результата, приведенного непосредственно выше, и того факта, что коэффициент регрессии, связывающий ‘s с фактически наблюдаемыми ‘ s, в простой линейной регрессии определяется выражением
бета уИксх ^ {*}г_ {т}x_ {t}

 beta _ {x} = { frac { operatorname {Cov} [, x_ {t}, y_ {t} ,]} { operatorname {Var} [, x_ {t} ,]}} .

Именно этот коэффициент, а не тот, который потребовался бы для построения предиктора на основе наблюдаемого, подверженного шуму.
бета уИкс

Можно утверждать, что почти все существующие наборы данных содержат ошибки разной природы и величины, поэтому систематическая ошибка ослабления встречается очень часто (хотя при многомерной регрессии направление систематической ошибки неоднозначно). Джерри Хаусман видит в этом железный закон эконометрики : «Величина оценки обычно меньше ожидаемой».

Технические характеристики

Обычно модели ошибок измерения описываются с использованием подхода скрытых переменных . Если переменная отклика и наблюдаются значения регрессоров, то предполагается, существуют какие — то скрытые переменные и которые следуют «истинной» в модели функциональной зависимости, и таким образом, что наблюдаемые величины их шумные наблюдения:
уИксу ^ {*}х ^ {*} г ( cdot)

{ displaystyle { begin {cases} y ^ {*} = g (x ^ {*}  !, w , | ,  theta), \ y = y ^ {*} +  varepsilon, \ x = x ^ {*} +  eta,  end {case}}}

где находятся в модели параметры и те регрессоры, которые предполагаются свободными от ошибок (например, когда линейная регрессия содержит перехват, регрессор что соответствует константе, безусловно, не имеет «ошибки измерений»). В зависимости от спецификации эти безошибочные регрессоры могут или не могут рассматриваться отдельно; в последнем случае просто предполагается, что соответствующие элементы в матрице дисперсии s равны нулю.
 theta ш eta

Переменные, , все наблюдали, что означает, что статистик обладает набором данных из статистических единиц, которые следуют за процесс генерирования данных, описанными выше; латентные переменные, , и не наблюдается, однако.
уИксшп  left  {y_ {i}, x_ {i}, w_ {i}  right } _ {i = 1,  dots, n}х ^ {*}у ^ {*} varepsilon  eta

Эта спецификация не охватывает все существующие модели ошибок в переменных. Например, в некоторых из них функция может быть непараметрической или полупараметрической. Другие подходы моделируют отношения между и как распределительные, а не функциональные, то есть они предполагают, что условно on следует за определенным (обычно параметрическим) распределением.
г ( cdot)у ^ {*}х ^ {*}у ^ {*}х ^ {*}

Терминология и предположения

  • Наблюдаемая переменная может называться манифестом, индикатором или косвенной переменной .Икс
  • Ненаблюдаемая переменная может быть названа скрытой или истинной переменной. Его можно рассматривать либо как неизвестную константу (в этом случае модель называется функциональной моделью ), либо как случайную величину (соответственно структурную модель ).х ^ {*}
  • Связь между ошибкой измерения и скрытой переменной можно моделировать по-разному:
     eta х ^ {*}

    • Классические ошибки : ошибки не зависят от скрытой переменной. Это наиболее распространенное предположение, оно подразумевает, что ошибки вносятся измерительным устройством и их величина не зависит от измеряемого значения. eta  perp x ^ *
    • Независимость от среднего : ошибки равны нулю для каждого значения скрытого регрессора. Это менее ограничительное предположение, чем классическое, поскольку оно допускает наличие гетероскедастичности или других эффектов в ошибках измерения. operatorname {E} [ eta | x ^ *] , = , 0,
    • Ошибки Берксона :ошибки не зависят от наблюдаемого регрессора x . Это предположение имеет очень ограниченную применимость. Одним из примеров являются ошибки округления: например, если возраст человека * является непрерывной случайной величиной, тогда как наблюдаемый возраст усекается до следующего наименьшего целого числа, тогда ошибка усечения приблизительно не зависит от наблюдаемого возраста . Другая возможность связана с экспериментом с фиксированным планом: например, если ученый решает провести измерение в определенный заранее определенный момент времени, скажем, в, тогда реальное измерение может произойти при каком-то другом значении(например, из-за конечного времени реакции ), и такая ошибка измерения обычно не зависит от «наблюдаемого» значения регрессора. eta ,  perp , x,Иксx = 10 сх ^ {*}
    • Ошибки неправильной классификации : частный случай фиктивных регрессоров . Если это индикатор определенного события или состояния (например, лицо мужского / женского пола, какое-либо лечение было / не предоставлено и т. Д.), То ошибка измерения в таком регрессоре будет соответствовать неправильной классификации, аналогичной типу I и типу II. ошибки в статистическом тестировании. В этом случае ошибка может принимать только 3 возможных значения, а ее условное распределение моделируется двумя параметрами:, и . Необходимым условием идентификации является то, что ошибочная классификация не должна происходить «слишком часто». (Эту идею можно обобщить на дискретные переменные с более чем двумя возможными значениями.)х ^ {*} eta х ^ {*} alpha =  operatorname {Pr} [ eta = -1 |  х ^ * = 1] beta =  operatorname {Pr} [ eta = 1 |  х ^ * = 0] альфа +  бета <1

Линейная модель

Первыми были изучены линейные модели ошибок в переменных, вероятно, потому, что линейные модели были так широко использованы и они легче нелинейных. В отличие от стандартной регрессии методом наименьших квадратов (OLS), расширение ошибок в регрессии переменных (EiV) с простого случая на многомерный не так просто.

Простая линейная модель

Простая линейная модель ошибок в переменных уже была представлена ​​в разделе «мотивация»:

{ begin {cases} y_ {t} =  alpha +  beta x_ {t} ^ {*} +  varepsilon _ {t}, \ x_ {t} = x_ {t} ^ {*} +  eta _ {t},  end {case}}

где все переменные скалярны . Здесь α и β представляют собой интересующие параметры, а σ ε и σ η — стандартные отклонения членов ошибки — являются мешающими параметрами . «Истинный» регрессор x * рассматривается как случайная величина ( структурная модель), не зависящая от ошибки измерения η ( классическое допущение).

Эта модель идентифицируемой в двух случаях: (1) либо латентный регрессор х * является не нормально распределены, (2) или х * имеет нормальное распределение, но ни ε т, ни η т делимы нормальным распределением. То есть параметры α, β могут быть последовательно оценены из набора данных без какой-либо дополнительной информации, при условии, что скрытый регрессор не является гауссовским.
 scriptstyle (x_ {t}, , y_ {t}) _ {{t = 1}} ^ {T}

До того, как этот результат идентифицируемости был установлен, статистики пытались применить метод максимального правдоподобия, предполагая, что все переменные являются нормальными, а затем пришли к выводу, что модель не идентифицирована. Предлагаемое решение заключалось в том, чтобы предположить, что некоторые параметры модели известны или могут быть оценены из внешнего источника. К таким методам оценки относятся:

  • Регрессия Деминга — предполагается, что отношение δ = σ² ε / σ² η известно. Это может быть подходящим, например, когда ошибки в y и x вызваны измерениями, а точность измерительных устройств или процедур известна. Случай, когда δ = 1, также известен как ортогональная регрессия .
  • Регрессия с известным коэффициентом надежности λ = σ² / ( σ² η + σ² ), где σ² — дисперсия скрытого регрессора. Такой подход может быть применим, например, когда доступны повторяющиеся измерения одного и того же устройства, или когда коэффициент надежности известен из независимого исследования. В этом случае непротиворечивая оценка наклона равна оценке методом наименьших квадратов, деленной на λ .
  • Регрессия с известным σ² η может произойти, если источник ошибок в x известен и их дисперсия может быть вычислена. Это может включать ошибки округления или ошибки, вносимые измерительным устройством. Когда известно σ² η, мы можем вычислить коэффициент надежности как λ = ( σ² xσ² η ) / σ² x и свести проблему к предыдущему случаю.

Новые методы оценки, которые не предполагают знания некоторых параметров модели, включают:

  • Метод моментов — GMM- оценка, основанная на совместных кумулянтах третьего (или более высокого) порядка наблюдаемых переменных. Коэффициент наклона можно оценить по формуле
    { hat  beta} = { frac {{ hat {K}} (n_ {1}, n_ {2} +1)} {{ hat {K}} (n_ {1} + 1, n_ { 2})}},  quad n_ {1}, n_ {2}> 0,

    где ( n 1, n 2 ) таковы, что K ( n 1 +1, n 2 ) — совместный кумулянт ( x, y ) — не равен нулю. В случае, когда третий центральный момент скрытого регрессора x * отличен от нуля, формула сводится к

    { hat  beta} = { frac {{ tfrac {1} {T}}  sum _ {{t = 1}} ^ {T} (x_ {t} - { bar x}) (y_ { t} - { bar y}) ^ {2}} {{ tfrac {1} {T}}  sum _ {{t = 1}} ^ {T} (x_ {t} - { bar x} ) ^ {2} (y_ {t} - { bar y})}} .
  • Инструментальные переменные — регрессия, которая требует наличия определенных дополнительных переменных данных z, называемых инструментами . Эти переменные не должны быть коррелированы с ошибками в уравнении для зависимой (итоговой) переменной ( достоверно ), и они также должны быть коррелированы ( релевантны ) с истинными регрессорами x * . Если такие переменные могут быть найдены, то оценка принимает вид

    { hat  beta} = { frac {{ tfrac {1} {T}}  sum _ {{t = 1}} ^ {T} (z_ {t} - { bar z}) (y_ { t} - { bar y})} {{ tfrac {1} {T}}  sum _ {{t = 1}} ^ {T} (z_ {t} - { bar z}) (x_ { t} - { bar x})}} .

Многопараметрическая линейная модель

Модель с несколькими переменными выглядит точно так же, как простая линейная модель, только на этот раз β, η t, x t и x * t являются векторами k × 1.

{ begin {cases} y_ {t} =  alpha +  beta 'x_ {t} ^ {*} +  varepsilon _ {t}, \ x_ {t} = x_ {t} ^ {*} +  eta _ {t}.  end {case}}

В случае, когда ( ε t, η t ) совместно нормально, параметр β не идентифицируется тогда и только тогда, когда существует невырожденная  блочная матрица k × k [ a A ], где a — вектор k × 1, такой что a′x *  распределяется нормально и независимо от  A′x * . В случае, когда ε t, η t1, …, η tk взаимно независимы, параметр  β  не идентифицируется тогда и только тогда, когда в дополнение к указанным выше условиям некоторые ошибки могут быть записаны как сумма двух независимых переменных один из которых нормальный.

Некоторые из методов оценивания многомерных линейных моделей:

  • Всего наименьших квадратов — это расширение регрессии Деминга до многомерной настройки. Когда все k +1 компоненты вектора ( ε, η ) имеют равные дисперсии и независимы, это эквивалентно запуску ортогональной регрессии y по вектору x, то есть регрессии, которая минимизирует сумму квадратов расстояний между точек ( y t, x t ) и k -мерной гиперплоскости «наилучшего соответствия».
  • Метод моментов оценки может быть построена на основе условий момента Е [ г т · ( у т& alpha ; — β’x т )] = 0, где (5 к + 3 ) мерный вектор инструментов г т определен в виде
     begin {align} & z_t =  left (1  z_ {t1} ' z_ {t2}'  z_ {t3} ' z_ {t4}'  z_ {t5} ' z_ {t6}'  z_ {t7} ' right)',  quad  text {где} \ & z_ {t1} = x_t  circ x_t \ & z_ {t2} = x_t y_t \ & z_ {t3} = y_t ^ 2   & z_ {t4} = x_t  circ x_t  circ x_t - 3  big ( operatorname {E} [x_tx_t ']  circ I_k  big) x_t \ & z_ {t5} = x_t  circ x_t y_t - 2  big ( operatorname {E} [y_tx_t ']  circ I_k  big) x_t - y_t  big ( operatorname {E} [x_tx_t']  circ I_k  big)  iota_k \ & z_ {t6} = x_t y_t ^ 2 -  operatorname {E} [y_t ^ 2] x_t - 2y_t  operatorname {E} [x_ty_t] \ & z_ {t7} = y_t ^ 3 - 3y_t  operatorname {E} [y_t ^ 2]  end {выровнять}

    где обозначает произведение матриц Адамара, а переменные x t, y t были предварительно обнулены. Авторы метода предлагают использовать модифицированную оценку ВА Фуллера. circ

    Этот метод может быть расширен для использования моментов выше третьего порядка, если необходимо, и для учета переменных, измеренных без ошибок.

  • Инструментальные переменный подход требует, чтобы найти дополнительные данные переменного г т, которые будут служить в качестве инструментов для mismeasured регрессор х т . Этот метод является наиболее простым с точки зрения реализации, однако его недостатком является то, что он требует сбора дополнительных данных, что может быть дорогостоящим или даже невозможным. Когда инструменты могут быть найдены, оценщик принимает стандартную форму
    { hat  beta} = { big (} X'Z (Z'Z) ^ {{- 1}} Z'X { big)} ^ {{- 1}} X'Z (Z'Z) ^ {{- 1}} З'ы.

Нелинейные модели

Общая модель нелинейных ошибок измерения принимает форму

{ begin {cases} y_ {t} = g (x_ {t} ^ {*}) +  varepsilon _ {t}, \ x_ {t} = x_ {t} ^ {*} +  eta _ { t}.  end {case}}

Здесь функция g может быть параметрической или непараметрической. Когда функция g параметрическая, она будет записана как g (x *, β) .

Для общего векторного регрессора x * условия идентифицируемости модели неизвестны. Однако в случае скаляра x * модель идентифицируется, если только функция g не имеет «логарифмически экспоненциальную» форму.

g (x ^ {*}) = a + b  ln { big (} e ^ {{cx ^ {*}}} + d { big)}

а скрытый регрессор x * имеет плотность

f _ {{x ^ {*}}} (x) = { begin {cases} Ae ^ {{- Be ^ {{Cx}} + CDx}} (e ^ {{Cx}} + E) ^ {{ -F}}, & { text {if}}  d> 0 \ Ae ^ {{- Bx ^ {2} + Cx}} & { text {if}}  d = 0  end {case} }

где константы A, B, C, D, E, F могут зависеть от a, b, c, d .

Несмотря на этот оптимистичный результат, в настоящее время не существует методов оценки нелинейных моделей ошибок в переменных без какой-либо посторонней информации. Однако есть несколько методов, которые используют некоторые дополнительные данные: либо инструментальные переменные, либо повторные наблюдения.

Методы инструментальных переменных

  • Метод моделирования моментов Ньюи для параметрических моделей — требует наличия дополнительного набора наблюдаемых переменных-предикторов z t, так что истинный регрессор может быть выражен как

    x_ {t} ^ {*} =  pi _ {0} 'z_ {t} +  sigma _ {0}  zeta _ {t},

    где π 0 и σ 0 — (неизвестные) постоянные матрицы, а ζ tz t . Коэффициент π 0 можно оценить с помощью стандартной регрессии x по z методом наименьших квадратов . Распределение ζ t неизвестно, однако мы можем смоделировать его как принадлежащее гибкому параметрическому семейству — ряду Эджворта :

    е _ { zeta} (v; ,  gamma) =  phi (v) ,  textstyle  sum _ {{j = 1}} ^ {J} !  gamma _ {j} v ^ {j}

    где ϕ — стандартное нормальное распределение.

    Смоделированные моменты могут быть вычислены с использованием алгоритма выборки по важности : сначала мы генерируем несколько случайных величин { v ts ~ ϕ, s = 1,…, S, t = 1,…, T } из стандартного нормального распределения, затем вычисляем моменты при t -м наблюдении как

    m_ {t} ( theta) = A (z_ {t}) { frac {1} {S}}  sum _ {{s = 1}} ^ {S} H (x_ {t}, y_ {t }, z_ {t}, v _ {{ts}};  theta)  sum _ {{j = 1}} ^ {J} !  gamma _ {j} v _ {{ts}} ^ {j},

    где θ = ( β, σ, γ ), A — просто некоторая функция инструментальных переменных z, а H — двухкомпонентный вектор моментов

    { begin {align} & H_ {1} (x_ {t}, y_ {t}, z_ {t}, v _ {{ts}};  theta) = y_ {t} -g ({ hat  pi} 'z_ {t} +  sigma v _ {{ts}},  beta), \ & H_ {2} (x_ {t}, y_ {t}, z_ {t}, v _ {{ts}};  theta ) = z_ {t} y_ {t} - ({ hat  pi} 'z_ {t} +  sigma v _ {{ts}}) g ({ hat  pi}' z_ {t} +  sigma v_ {{ts}},  beta)  end {align}}

    С помощью моментных функций m t можно применить стандартную технику GMM для оценки неизвестного параметра θ .

Повторные наблюдения

В этом подходе доступны два (или, может быть, более) повторных наблюдения регрессора x * . Оба наблюдения содержат собственные ошибки измерения, однако эти ошибки должны быть независимыми:

{ begin {case} x _ {{1t}} = x_ {t} ^ {*} +  eta _ {{1t}}, \ x _ {{2t}} = x_ {t} ^ {*} +  eta _ {{2t}},  end {case}}

где x *η 1η 2 . Переменные η 1, η 2 не обязательно должны быть одинаково распределены (хотя, если они являются эффективными оценками, их можно немного улучшить). С помощью только этих двух наблюдений можно последовательно оценить функцию плотности x *, используя технику деконволюции Котлярского .

  • Метод условной плотности Ли для параметрических моделей. Уравнение регрессии можно записать в терминах наблюдаемых переменных как

     operatorname {E} [, y_ {t} | x_ {t} ,] =  int g (x_ {t} ^ {*},  beta) f _ {{x ^ {*} | x}} ( x_ {t} ^ {*} | x_ {t}) dx_ {t} ^ {*},

    где можно было бы вычислить интеграл, если бы мы знали условную функцию плотности ƒ x * | x . Если эта функция может быть известна или оценена, тогда проблема превращается в стандартную нелинейную регрессию, которую можно оценить, например, с помощью метода NLLS .
    Предполагая для простоты, что η 1, η 2 одинаково распределены, эту условную плотность можно вычислить как

    { hat f} _ {{x ^ {*} | x}} (x ^ {*} | x) = { frac {{ hat f} _ {{x ^ {*}}} (x ^ { *})} {{ hat f} _ {{x}} (x)}}  prod _ {{j = 1}} ^ {k} { hat f} _ {{ eta _ {{j} }}} { big (} x _ {{j}} - x _ {{j}} ^ {*} { big)},

    где с небольшим злоупотреблением обозначениями x j обозначает j -ю компоненту вектора.
    Все плотности в этой формуле можно оценить с помощью обращения эмпирических характеристических функций . В частности,

     begin {align} &  hat  varphi _ { eta_j} (v) =  frac { hat  varphi_ {x_j} (v, 0)} { hat  varphi_ {x ^ * _ j} (v)},  quad  text {where}  hat  varphi_ {x_j} (v_1, v_2) =  frac {1} {T}  sum_ {t = 1} ^ T e ^ {iv_1x_ {1tj} + iv_2x_ {2tj}}, \  hat  varphi_ {x ^ * _ j} (v) =  exp  int_0 ^ v  frac { partial  hat  varphi_ {x_j} (0, v_2) /  partial v_1} { hat  varphi_ {x_j} (0, v_2)} dv_2, \ &  hat  varphi_x (u) =  frac {1} {2T}  sum_ {t = 1} ^ T  Big (e ^ {iu'x_ {1t }} + e ^ {iu'x_ {2t}}  Big),  quad  hat  varphi_ {x ^ *} (u) =  frac { hat  varphi_x (u)} { prod_ {j = 1 } ^ k  hat  varphi _ { eta_j} (u_j)}.   end {align}

    Чтобы инвертировать эту характеристическую функцию, необходимо применить обратное преобразование Фурье с параметром обрезки C, необходимым для обеспечения численной стабильности. Например:

    { hat f} _ {x} (x) = { frac {1} {(2  pi) ^ {k}}}  int _ {{- C}} ^ {{C}}  cdots  int _ {{- C}} ^ {C} e ^ {{- iu'x}} { hat  varphi} _ {x} (u) du.
  • Оценка Шеннаха для параметрической линейной по параметрам нелинейной модели по переменным. Это модель вида

    { begin {case} y_ {t} =  textstyle  sum _ {{j = 1}} ^ {k}  beta _ {j} g_ {j} (x_ {t} ^ {*}) +  sum _ {{j = 1}} ^ { ell}  beta _ {{k + j}} w _ {{jt}} +  varepsilon _ {t}, \ x _ {{1t}} = x_ {t} ^ {*} +  eta _ {{1t}}, \ x _ {{2t}} = x_ {t} ^ {*} +  eta _ {{2t}},  end {case}}

    где w t представляет переменные, измеренные без ошибок. Регрессор x * здесь является скалярным (метод можно распространить и на случай вектора x * ).
    Если бы не ошибки измерения, это была бы стандартная линейная модель с оценщиком

    
     hat { beta} =  big ( hat { operatorname {E}} [,  xi_t  xi_t ',]  big) ^ {- 1}  hat { operatorname {E}} [,  xi_t y_t ,],

    где

     xi _ {t} '= (g_ {1} (x_ {t} ^ {*}),  cdots, g_ {k} (x_ {t} ^ {*}), w _ {{1, t}},  cdots, w _ {{l, t}}).

    Оказывается, все ожидаемые значения в этой формуле можно оценить с помощью одного и того же трюка с деконволюцией. В частности, для общей наблюдаемой w t (которая может быть 1, w 1 t ,…, w ℓ t или y t ) и некоторой функции h (которая может представлять любые g j или g i g j ) мы имеем

     operatorname {E} [, w_ {t} h (x_ {t} ^ {*}) ,] = { frac {1} {2  pi}}  int _ {{-  infty}} ^ { infty}  varphi _ {h} (- u)  psi _ {w} (u) du,

    где φ h — преобразование Фурье функции h ( x * ), но с использованием того же соглашения, что и для характеристических функций ,

     varphi _ {h} (u) =  int e ^ {{iux}} h (x) dx,

    а также

    
     psi_w (u) =  operatorname {E} [, w_te ^ {iux ^ *} ,] =  frac { operatorname {E} [w_te ^ {iux_ {1t}}]} { operatorname {E} [e ^ {iux_ {1t}}]}  exp  int_0 ^ ui  frac { operatorname {E} [x_ {2t} e ^ {ivx_ {1t}}]} { operatorname {E} [e ^ { ivx_ {1t}}]} dv

    Полученная оценка непротиворечива и асимптотически нормальна. scriptstyle { hat { beta}}

  • Оценка Шеннаха для непараметрической модели. Стандартная оценка Надарая – Ватсона для непараметрической модели принимает вид

    
     hat {g} (x) =  frac { hat { operatorname {E}} [, y_tK_h (x ^ * _ t - x) ,]} { hat { operatorname {E}} [, K_h (x ^ * _ t - x) ,]},

    при подходящем выборе ядра K и пропускной способности h . Оба ожидания здесь можно оценить с помощью той же методики, что и в предыдущем методе.

Рекомендации

дальнейшее чтение

  • Догерти, Кристофер (2011). «Стохастические регрессоры и ошибки измерения» . Введение в эконометрику (Четвертое изд.). Издательство Оксфордского университета. С. 300–330. ISBN 978-0-19-956708-9.
  • Кмента, Ян (1986). «Оценка с недостаточными данными» . Элементы эконометрики (второе изд.). Нью-Йорк: Макмиллан. С.  346–391 . ISBN 978-0-02-365070-3.
  • Шеннах, Сюзанна . «Погрешность измерения в нелинейных моделях — обзор» . Серия рабочих документов Cemmap . Cemmap . Проверено 6 февраля 2018 года .

Внешние ссылки

  • Исторический обзор линейной регрессии с ошибками в обеих переменных, Дж. В. Гиллард, 2006 г.
  • Лекция по эконометрики (тема: стохастические регрессоров и ошибки измерения) на YouTube с помощью Mark Thoma .

В статистике модели ошибок в переменных или модели ошибок измерения представляют собой регрессионные модели , которые учитывают ошибки измерения в независимых переменных . Напротив, стандартные регрессионные модели предполагают, что эти регрессоры были точно измерены или наблюдались без ошибок; как таковые, эти модели учитывают только ошибки в зависимых переменных или ответах. [ нужна ссылка ]

Иллюстрация разбавления регрессии (или смещения затухания) рядом оценок регрессии в моделях ошибок в переменных. Две линии регрессии (красные) ограничивают диапазон возможностей линейной регрессии. Пологий наклон получается, когда независимая переменная (или предиктор) находится на оси абсцисс (ось x). Более крутой наклон получается, когда независимая переменная находится на ординате (ось Y). По соглашению, с независимой переменной на оси x получается более пологий наклон. Зеленые опорные линии — это средние значения в произвольных интервалах вдоль каждой оси. Обратите внимание, что более крутые оценки зеленой и красной регрессии лучше согласуются с меньшими ошибками в переменной оси Y.

В случае, когда некоторые регрессоры были измерены с ошибками, оценка, основанная на стандартном предположении, приводит к противоречивым оценкам, означающим, что оценки параметров не стремятся к истинным значениям даже в очень больших выборках. Для простой линейной регрессии эффект заключается в недооценке коэффициента, известного как смещение затухания . В нелинейных моделях направление смещения, вероятно, будет более сложным. [1] [2] [3]

Мотивирующий пример

Рассмотрим простую модель линейной регрессии вида

кудаобозначает истинный , но ненаблюдаемый регрессор . Вместо этого мы наблюдаем это значение с ошибкой:

где погрешность измерениясчитается независимым от истинного значения.

Еслипросто регрессируют на‘s (см. простую линейную регрессию ), то оценка коэффициента наклона равна

который сходится как размер выборкинеограниченно возрастает:

Дисперсия неотрицательна, так что в пределе оценка меньше по величине, чем истинное значениеэффект, который статистики называют затуханием или регрессионным разбавлением . [4] Таким образом, «наивная» оценка методом наименьших квадратов несостоятельна в этом случае. Однако оценщик является последовательной оценкой параметра, необходимого для наилучшего линейного предикторадано: в некоторых приложениях это может быть то, что требуется, а не оценка «истинного» коэффициента регрессии, хотя это предполагает, что дисперсия ошибок при наблюденииостается фиксированным. Это следует непосредственно из приведенного выше результата и того факта, что коэффициент регрессии, связывающийк фактически наблюдаемомуs в простой линейной регрессии определяется выражением

Именно этот коэффициент, а не, что потребовалось бы для построения предикторана основе наблюдаемогокоторый подвержен шуму.

Можно утверждать, что почти все существующие наборы данных содержат ошибки разного характера и величины, так что систематическая ошибка затухания встречается чрезвычайно часто (хотя в многомерной регрессии направление систематической ошибки неоднозначно [5] ). Джерри Хаусман видит в этом железный закон эконометрики : «Величина оценки обычно меньше ожидаемой». [6]

Спецификация

Обычно модели ошибок измерения описываются с использованием подхода со скрытыми переменными . Еслипеременная отклика иявляются наблюдаемыми значениями регрессоров, то предполагается, что существуют некоторые скрытые переменныеа такжекоторые следуют «истинным» функциональным отношениям модели , и такие, что наблюдаемые величины являются их зашумленными наблюдениями:

кудаявляется параметром модели и— это те регрессоры, которые считаются безошибочными (например, когда линейная регрессия содержит точку пересечения, регрессор, соответствующий константе, определенно не имеет «ошибок измерения»). В зависимости от спецификации эти безошибочные регрессоры могут обрабатываться или не обрабатываться отдельно; в последнем случае просто предполагается, что соответствующие записи в матрице дисперсииравны нулю.

Переменные,,все наблюдаются , а это означает, что статистик обладает набором данных статистические единицы которые следуют описанному выше процессу генерации данных ; скрытые переменные,,, а такжеоднако не наблюдаются.

Эта спецификация не охватывает все существующие модели ошибок в переменных. Например, в некоторых из них функционируютможет быть непараметрическим или полупараметрическим. Другие подходы моделируют отношения междуа такжедистрибутивной, а не функциональной, т. е. они предполагают, чтоусловно наследует определенному (обычно параметрическому) распределению.

Терминология и предположения

  • Наблюдаемая переменнаяможет называться манифестом , индикатором или прокси — переменной .
  • Ненаблюдаемая переменнаяможно назвать скрытой или истинной переменной. Ее можно рассматривать либо как неизвестную константу (в этом случае модель называется функциональной моделью ), либо как случайную величину (соответственно структурную модель ). [7]
  • Связь между погрешностью измеренияи скрытая переменнаяможно моделировать по-разному:

    • Классические ошибки :ошибки не зависят от скрытой переменной. Это наиболее распространенное предположение, оно подразумевает, что погрешности вносятся измерительным прибором и их величина не зависит от измеряемой величины.
    • Средняя независимость :ошибки равны среднему нулю для каждого значения скрытого регрессора. Это менее ограничительное предположение, чем классическое [8] , поскольку оно допускает наличие гетероскедастичности или других эффектов в ошибках измерения.
    • Ошибки Берксона :ошибки не зависят от наблюдаемого регрессора x . [9] Это предположение имеет очень ограниченную применимость. Одним из примеров являются ошибки округления: например, если возраст человека* является непрерывной случайной величиной , тогда как наблюдаемый возраст усекается до следующего наименьшего целого числа, то ошибка усечения приблизительно не зависит от наблюдаемого возраста . Другая возможность связана с экспериментом с фиксированным планом: например, если ученый решает провести измерение в определенный заранее определенный момент времени., скажем в, то реальное измерение может происходить при каком-то другом значении(например, из-за ее конечного времени реакции), и такая ошибка измерения, как правило, не будет зависеть от «наблюдаемого» значения регрессора.
    • Ошибки неправильной классификации : особый случай, используемый для фиктивных регрессоров . Еслиявляется индикатором определенного события или состояния (например, человек является мужчиной/женщиной, оказано/не оказано какое-либо лечение и т. д.), то ошибка измерения в таком регрессоре будет соответствовать неправильной классификации, аналогичной ошибкам первого и второго рода в статистическом тестировании. В этом случае ошибкаможет принимать только 3 возможных значения, и его распределение зависит отмоделируется двумя параметрами:, а также. Необходимым условием идентификации является то, что, то есть ошибочная классификация не должна происходить «слишком часто». (Эту идею можно обобщить на дискретные переменные с более чем двумя возможными значениями.)

Линейная модель

Линейные модели ошибок в переменных были изучены в первую очередь, вероятно, потому, что линейные модели были настолько широко распространены, и они проще, чем нелинейные. В отличие от стандартной регрессии наименьших квадратов (OLS), распространение ошибок в регрессии переменных (EiV) с простого на случай с несколькими переменными не является простым.

Простая линейная модель

Простая линейная модель ошибок в переменных уже была представлена ​​в разделе «мотивация»:

где все переменные скалярны . Здесь α и β — представляющие интерес параметры, тогда как σ ε и σ η — стандартные отклонения членов ошибки — являются мешающими параметрами . «Истинный» регрессор x* рассматривается как случайная величина ( структурная модель), не зависящая от ошибки измерения η ( классическое предположение).

Эта модель идентифицируема в двух случаях: (1) либо латентный регрессор x* не имеет нормального распределения , (2) либо x* имеет нормальное распределение, но ни ε t , ни η t не делятся на нормальное распределение. [10] То есть параметры α , β можно последовательно оценить по набору данныхбез какой-либо дополнительной информации при условии, что скрытый регрессор не является гауссовским.

Прежде чем этот результат идентифицируемости был установлен, статистики попытались применить метод максимального правдоподобия , предполагая, что все переменные являются нормальными, а затем пришли к выводу, что модель не идентифицируется. Предлагаемое средство защиты заключалось в предположении , что некоторые параметры модели известны или могут быть оценены из внешнего источника. К таким методам оценки относятся [11]

  • Регрессия Деминга — предполагает, что отношение δ = σ² ε / σ² η известно. Это может быть уместно, например, когда ошибки в y и x вызваны измерениями, а точность измерительных устройств или процедур известна. Случай, когда δ = 1, также известен как ортогональная регрессия .
  • Регрессия с известным коэффициентом достоверности λ = σ² / ( σ² η + σ² ), где σ² — дисперсия латентного регрессора. Такой подход может быть применим, например, когда доступны повторные измерения одной и той же единицы или когда коэффициент достоверности известен из независимого исследования. В этом случае непротиворечивая оценка наклона равна оценке методом наименьших квадратов, деленной на λ .
  • Регрессия с известным σ² η может иметь место, когда известен источник ошибок в x’s и можно рассчитать их дисперсию. Это может включать ошибки округления или ошибки, вносимые измерительным устройством. Когда известно σ² η , мы можем вычислить коэффициент надежности как λ = ( σ² xσ² η ) / σ² x и свести задачу к предыдущему случаю.

Более новые методы оценки, которые не предполагают знания некоторых параметров модели, включают

  • Метод моментов — оценка GMM , основанная на совместных кумулянтах третьего (или более высокого) порядка наблюдаемых переменных. Коэффициент наклона можно оценить из [12]

    где ( n 1 , n 2 ) таковы, что K ( n 1 +1, n 2 ) — общий кумулянт ( x , y ) — не равен нулю. В случае, когда третий центральный момент латентного регрессора x* отличен от нуля, формула сводится к

  • Инструментальные переменные — регрессия, которая требует, чтобы были доступны определенные дополнительные переменные данных z , называемые инструментами . Эти переменные должны быть некоррелированы с ошибками в уравнении для зависимой (исходной) переменной ( действительны ), а также должны быть коррелированы ( релевантны ) с истинными регрессорами x* . Если такие переменные могут быть найдены, то оценка принимает вид

Многомерная линейная модель

Модель с несколькими переменными выглядит точно так же, как и простая линейная модель, только на этот раз β , η t , x t и x * t являются векторами
k × 1.

В случае, когда ( ε t , η t ) совместно нормален, параметр β не идентифицируется тогда и только тогда, когда существует невырожденная  блочная матрица размера k × k [ a A ], где aвектор размера k × 1, такой что a′x*  распределяется нормально и независимо от  A′x* . В случае, когда ε t , η t1 ,…, η tk взаимно независимы, параметр  β не идентифицируется тогда и только тогда, когда в дополнение к указанным выше условиям часть ошибок может быть записана в виде суммы двух независимых переменных, одна из которых является нормальной. [13]

Некоторые из методов оценки для многомерных линейных моделей:

  • Суммарный метод наименьших квадратов является расширением регрессии Деминга для многомерной настройки. Когда все компоненты k + 1 вектора ( ε , η ) имеют равные дисперсии и независимы, это эквивалентно запуску ортогональной регрессии y на векторе x , то есть регрессии, которая минимизирует сумму квадратов расстояний между точки ( y t , x t ) и k -мерная гиперплоскость «наилучшего соответствия».
  • Метод оценки моментов [14] может быть построен на основе моментных условий E[ z t ·( y tαβ’x t )] = 0, где (5 k +3)-мерный вектор инструментов z т определяется как

    кудаобозначает произведение Адамара матриц, а переменные x t , y t предварительно лишены значения. Авторы метода предлагают использовать модифицированную Фуллером оценку IV. [15]


    Этот метод может быть расширен для использования моментов выше третьего порядка, если это необходимо, и для учета переменных, измеренных без ошибок.
    [16]

  • Подход с инструментальными переменными требует поиска дополнительных переменных данных z t , которые служили бы инструментами для неправильно измеренных регрессоров x t . Этот метод является наиболее простым с точки зрения реализации, однако его недостатком является то, что он требует сбора дополнительных данных, что может быть дорогостоящим или даже невозможным. Когда инструменты могут быть найдены, оценщик принимает стандартный вид

Нелинейные модели

Общая нелинейная модель ошибки измерения принимает форму

Здесь функция g может быть как параметрической, так и непараметрической. Когда функция g является параметрической, она будет записана как g(x*, β) .

Для общего векторнозначного регрессора x* условия идентифицируемости модели неизвестны. Однако в случае скаляра x* модель идентифицируется, если только функция g не имеет «логарифмически-экспоненциальной» формы [17]

а скрытый регрессор x* имеет плотность

где константы A,B,C,D,E,F могут зависеть от a,b,c,d .

Несмотря на этот оптимистичный результат, на данный момент не существует методов оценки нелинейных моделей ошибок в переменных без какой-либо посторонней информации. Однако есть несколько методов, которые используют некоторые дополнительные данные: либо инструментальные переменные, либо повторные наблюдения.

Методы инструментальных переменных

  • Метод смоделированных моментов Ньюи [18] для параметрических моделей требует, чтобы существовал дополнительный набор наблюдаемых переменных- предикторов z t , так что истинный регрессор может быть выражен как

    где π 0 и σ 0 — (неизвестные) постоянные матрицы, а ζ tz t . Коэффициент π 0 можно оценить, используя стандартную регрессию x по z методом наименьших квадратов . Распределение ζ t неизвестно, однако мы можем смоделировать его как принадлежащее гибкому параметрическому семейству — ряду Эджворта :

    где ϕстандартное нормальное распределение.

    Моделируемые моменты можно вычислить с помощью алгоритма выборки важности : сначала мы генерируем несколько случайных величин { v ts ~ ϕ , s = 1,…, S , t = 1,…, T } из стандартного нормального распределения, затем вычисляем моменты при t -м наблюдении как

    где θ = ( β , σ , γ ), A — некоторая функция инструментальных переменных z , а H — двухкомпонентный вектор моментов


    С функциями моментов
    m t можно применить стандартный метод GMM для оценки неизвестного параметра θ .

Повторные наблюдения

В этом подходе доступны два (или более) повторяющихся наблюдения регрессора x* . Оба наблюдения содержат свои собственные ошибки измерения, однако эти ошибки должны быть независимыми:

где х*η 1η 2 . Переменные η 1 , η 2 не обязательно должны быть одинаково распределены (хотя если они одинаковы, эффективность оценщика может быть немного улучшена). Только с этими двумя наблюдениями можно последовательно оценить функцию плотности x * , используя метод деконволюции Котлярского . [19]

  • Метод условной плотности Ли для параметрических моделей. [20] Уравнение регрессии можно записать в терминах наблюдаемых переменных как

    где можно было бы вычислить интеграл, если бы мы знали условную функцию плотности ƒ x*|x . Если эту функцию можно было бы узнать или оценить, то задача превращается в стандартную нелинейную регрессию, которую можно оценить, например, методом NLLS .

    Полагая для простоты, что
    η 1 , η 2 одинаково распределены, эту условную плотность можно вычислить как

    где с небольшим злоупотреблением обозначениями x j обозначает j -ю компоненту вектора.

    Все плотности в этой формуле можно оценить с помощью обращения эмпирических
    характеристических функций . Особенно,

    Чтобы инвертировать эту характеристическую функцию, необходимо применить обратное преобразование Фурье с параметром обрезки C , необходимым для обеспечения численной стабильности. Например:

  • Оценка Шеннаха для параметрической линейной по параметрам модели нелинейной по переменным. [21] Это модель вида

    где w t представляет переменные, измеренные без ошибок. Регрессор x* здесь скалярный (метод можно распространить и на случай вектора x* ).

    Если бы не ошибки измерения, это была бы стандартная
    линейная модель с оценщиком

    куда

    Оказывается, все ожидаемые значения в этой формуле можно оценить с помощью одного и того же приема деконволюции. В частности, для общей наблюдаемой w t (которая может быть 1, w 1 t , …, w ℓ t или y t ) и некоторой функции h (которая может представлять любой g j или g i g j ) мы имеем

    где φ hпреобразование Фурье h ( x * ), но с использованием того же соглашения, что и для характеристических функций ,

    ,

    а также


    Полученная оценка
    непротиворечива и асимптотически нормальна.

  • Оценка Шеннаха для непараметрической модели. [22] Стандартная оценка Надарая–Ватсона для непараметрической модели принимает вид


    для подходящего выбора
    ядра K и пропускной способности h . Оба ожидания здесь можно оценить с помощью той же методики, что и в предыдущем методе.

Ссылки

  1. ^ Гриличес, Цви; Рингстад, Видар (1970). «Смещение ошибок в переменных в нелинейных контекстах». Эконометрика . 38 (2): 368–370. дои : 10.2307/1913020 . JSTOR  1913020 .
  2. ^ Чешер, Эндрю (1991). «Влияние ошибки измерения». Биометрика . 78 (3): 451–462. doi : 10.1093/биомет/78.3.451 . JSTOR 2337015 . 
  3. ^ Кэрролл, Раймонд Дж .; Руперт, Дэвид; Стефански, Леонард А .; Крайничану, Киприан (2006). Ошибка измерения в нелинейных моделях: современная перспектива (второе изд.). ISBN 978-1-58488-633-4.
  4. ^ Грин, Уильям Х. (2003). Эконометрический анализ (5-е изд.). Нью-Джерси: Прентис Холл. Глава 5.6.1. ISBN 978-0-13-066189-0.
  5. ^ Вансбик, Т .; Мейер, Э. (2000). «Ошибка измерения и скрытые переменные» . В Baltagi, BH (ред.). Компаньон к теоретической эконометрике . Блэквелл. стр. 162–179. doi : 10.1111/b.9781405106764.2003.00013.x . ISBN 9781405106764.
  6. ^ Хаусман, Джерри А. (2001). «Неверно измеренные переменные в эконометрическом анализе: проблемы справа и проблемы слева» . Журнал экономических перспектив . 15 (4): 57–67 [с. 58]. doi : 10.1257/jep.15.4.57 . JSTOR 2696516 . 
  7. ^ Фуллер, Уэйн А. (1987). Модели ошибок измерения . Джон Уайли и сыновья. п. 2. ISBN 978-0-471-86187-4.
  8. ^ Хаяси, Фумио (2000). Эконометрика . Издательство Принстонского университета. стр. 7–8. ISBN 978-1400823833.
  9. ^ Кул, Хира; Песня, Вэйсин (2008). «Проверка регрессионной модели с ошибками измерения Берксона». Журнал статистического планирования и выводов . 138 (6): 1615–1628. doi : 10.1016/j.jspi.2007.05.048 .
  10. ^ Рейерсёль, Олав (1950). «Идентифицируемость линейной связи между переменными, которые подвержены ошибкам». Эконометрика . 18 (4): 375–389 [с. 383]. дои : 10.2307/1907835 . JSTOR 1907835 . Несколько более ограничительный результат был установлен ранее Geary, RC (1942). «Внутренние отношения между случайными величинами». Труды Королевской ирландской академии . 47 : 63–76. JSTOR 20488436 . Он показал, что при дополнительном предположении, что ( ε, η ) совместно нормальны, модель не идентифицируется тогда и только тогда, когда x* s нормальны.
  11. ^ Фуллер, Уэйн А. (1987). «Единая объяснительная переменная» . Модели ошибок измерения . Джон Уайли и сыновья. стр. 1–99. ISBN 978-0-471-86187-4.
  12. ^ Пал, Маноранджан (1980). «Последовательные оценки моментов коэффициентов регрессии при наличии ошибок в переменных». Журнал эконометрики . 14 (3): 349–364 [стр. 360–1]. doi : 10.1016/0304-4076(80)90032-9 .
  13. ^ Бен-Моше, Дэн (2020). «Выявление линейных регрессий с ошибками во всех переменных». Эконометрическая теория . 37 (4): 1–31. архив : 1404.1473 . doi : 10.1017/S0266466620000250 . S2CID 225653359 . 
  14. ^ Дагене, Марсель Г .; Дагене, Дениз Л. (1997). «Оценщики более высоких моментов для моделей линейной регрессии с ошибками в переменных». Журнал эконометрики . 76 (1–2): 193–221. CiteSeerX 10.1.1.669.8286 . doi : 10.1016/0304-4076(95)01789-5 . В более ранней статье Пал (1980) рассмотрел более простой случай, когда все компоненты вектора ( ε , η ) независимы и симметрично распределены.
  15. ^ Фуллер, Уэйн А. (1987). Модели ошибок измерения . Джон Уайли и сыновья. п. 184. ИСБН 978-0-471-86187-4.
  16. ^ Эриксон, Тимоти; Уайтед, Тони М. (2002). «Двухэтапная оценка GMM модели ошибок в переменных с использованием моментов высокого порядка». Эконометрическая теория . 18 (3): 776–799. doi : 10.1017/s0266466602183101 . JSTOR 3533649 . S2CID 14729228 .  
  17. ^ Шеннах, С .; Ху, Ю .; Льюбель, А. (2007). «Непараметрическая идентификация классической модели ошибок в переменных без дополнительной информации» . Рабочий документ .
  18. ^ Ньюи, Уитни К. (2001). «Гибкая смоделированная оценка момента нелинейной модели ошибок в переменных». Обзор экономики и статистики . 83 (4): 616–627. дои : 10.1162/003465301753237704 . hdl : 1721.1/63613 . JSTOR 3211757 . S2CID 57566922 .  
  19. ^ Ли, Тонг; Выонг, Куанг (1998). «Непараметрическая оценка модели ошибки измерения с использованием нескольких показателей» . Журнал многомерного анализа . 65 (2): 139–165. doi : 10.1006/jmva.1998.1741 .
  20. ^ Ли, Тонг (2002). «Надежная и последовательная оценка нелинейных моделей ошибок в переменных». Журнал эконометрики . 110 (1): 1–26. doi : 10.1016/S0304-4076(02)00120-3 .
  21. ^ Шеннах, Сюзанна М. (2004). «Оценка нелинейных моделей с погрешностью измерения». Эконометрика . 72 (1): 33–75. doi : 10.1111/j.1468-0262.2004.00477.x . JSTOR 3598849 . 
  22. ^ Шеннах, Сюзанна М. (2004). «Непараметрическая регрессия при наличии ошибки измерения». Эконометрическая теория . 20 (6): 1046–1093. doi : 10.1017/S0266466604206028 . S2CID 123036368 . 

Дальнейшее чтение

  • Догерти, Кристофер (2011). «Стохастические регрессоры и ошибки измерения» . Введение в эконометрику (Четвертое изд.). Издательство Оксфордского университета. стр. 300–330. ISBN 978-0-19-956708-9.
  • Кмента, Ян (1986). «Оценка с недостаточными данными» . Элементы эконометрики (второе изд.). Нью-Йорк: Макмиллан. стр.  346–391 . ISBN 978-0-02-365070-3.
  • Шеннах, Сюзанна (2013). «Ошибка измерения в нелинейных моделях — обзор». В Асемоглу, Дарон; Арельяно, Мануэль; Декель, Эдди (ред.). Достижения в области экономики и эконометрики . Издательство Кембриджского университета. стр. 296–337. doi : 10.1017/CBO9781139060035.009 . hdl : 10419/79526 . ISBN 9781107017214.

Внешние ссылки

  • Исторический обзор линейной регрессии с ошибками в обеих переменных , Дж. В. Гиллард, 2006 г.
  • Лекция по эконометрике (тема: Стохастические регрессоры и ошибка измерения) на YouTube Марка Тома .

4. 
Использование
предварительной информации о значениях некоторых параметров
. Иногда значения некоторых неизвестных параметров
модели могут быть определены по пробным выборочным наблюдениям, тогда
мультиколлинеарность может быть устранена путем установления значений параметра
у одной коррелирующих переменных. Ограниченность метода – в сложности получения
предварительных значений параметров с высокой точностью.

5. 
Преобразование переменных. Для устранения мультиколлинеарности можно
преобразовать переменные, например, путем линеаризации или получения
относительных показателей, а также перехода от номинальных к реальным
показателям (особенно в макроэкономических исследованиях).

При построении модели множественной регрессии с точки
зрения обеспечения ее высокого качества возникают следующие вопросы:

1. 
Каковы признаки качественной
модели?

2. 
Какие ошибки спецификации могут
быть?

3. 
Каковы последствия ошибок
спецификации?

4. 
Какие существуют методы
обнаружения и устранения ошибок спецификации?

Рассмотрим основные признаки качественной модели
множественной регрессии:

1. 
Простота. Из двух моделей примерно одинаковых статистических
свойств более качественной является та, которая содержит меньше переменных, или
же более простая по аналитической форме.

2. 
Однозначность. Метод вычисления коэффициентов должен быть одинаков
для любых наборов данных.

3. 
Максимальное соответствие. Этот признак говорит о том, что основным критерием
качества модели является коэффициент детерминации, отражающий объясненную
моделью вариацию зависимой переменной. Для практического использования выбирают
модель, для которой расчетное значение F-критерия для
коэффициента детерминации б четыре раза больше табличного.

4. 
Согласованность с теорией. Получаемые значения коэффициентов должны быть
интерпретируемы с точки зрения экономических явлений и процессов. К примеру,
если строится линейная регрессионная модель спроса на товар, то соответствующий
коэффициент при цене товара должен быть отрицательным.

5. 
Хорошие прогнозные качества.
Обязательным условием построения
качественной модели является возможность ее использования для прогнозирования.

Одной из основных ошибок, допускаемых при построении
регрессионной модели, является ошибка спецификации (рис. 4.3).
Под ошибкой спецификации понимается неправильный выбор функциональной формы
модели или набора объясняющих переменных.

Различают следующие виды ошибок спецификации:

1. 
Невключение в модель полезной
(значимой) переменной.

2. 
Добавление в модель лишней
(незначимой) переменной

3. 
Выбор неправильной функциональной
формы модели

Последствия ошибки первого вида (невключение в
модель значимой переменной)
заключаются в том, что полученные по МНК оценки
параметров являются смещенными и несостоятельными, а значение коэффициента
детерминации значительно снижаются.

При добавлении в модель лишней переменной
(ошибка второго вида)
ухудшаются статистические свойства оценок
коэффициентов, возрастают их дисперсии, что ухудшает прогнозные качества модели
и затрудняет содержательную интерпретацию параметров, однако по сравнению с
другими ошибками ее последствия менее серьезны.

Если же осуществлен неверный выбор
функциональной формы модели
, то есть допущена ошибка третьего вида, то
получаемые оценки будут смещенными, качество модели в целом и отдельных
коэффициентов будет невысоким. Это может существенно сказаться на прогнозных
качествах модели.

Ошибки спецификации первого вида можно обнаружить только
по невысокому качеству модели, низким значениям R2.

Обнаружение ошибок спецификации второго вида, если лишней
является только одна переменная, осуществляется на основе расчета t — статистики для коэффициентов. При лишней переменной коэффициент
будет статистически незначим.

Рис. 4.3 Ошибки спецификации и свойства качественной
регрессионной модели

Для того чтобы модель линейной регрессии можно было применять на практике необходимо сначала оценить её качество. Для этих целей предложен ряд показателей, каждый из которых предназначен для использования в различных ситуациях и имеет свои особенности применения (линейные и нелинейные, устойчивые к аномалиям, абсолютные и относительные, и т.д.). Корректный выбор меры для оценки качества модели является одним из важных факторов успеха в решении задач анализа данных.

«Хорошая» аналитическая модель должна удовлетворять двум, зачастую противоречивым, требованиям — как можно лучше соответствовать данным и при этом быть удобной для интерпретации пользователем. Действительно, повышение соответствия модели данным как правило связано с её усложнением (в случае регрессии — увеличением числа входных переменных модели). А чем сложнее модель, тем ниже её интерпретируемость.

Поэтому при выборе между простой и сложной моделью последняя должна значимо увеличивать соответствие модели данным чтобы оправдать рост сложности и соответствующее снижение интерпретируемости. Если это условие не выполняется, то следует выбрать более простую модель.

Таким образом, чтобы оценить, насколько повышение сложности модели значимо увеличивает её точность, необходимо использовать аппарат оценки качества регрессионных моделей. Он включает в себя следующие меры:

  • Среднеквадратичная ошибка (MSE).
  • Корень из среднеквадратичной ошибки (RMSE).
  • Среднеквадратичная ошибка в процентах (MSPE).
  • Средняя абсолютная ошибка (MAE).
  • Средняя абсолютная ошибка в процентах (MAPE).
  • Cимметричная средняя абсолютная процентная ошибка (SMAPE).
  • Средняя абсолютная масштабированная ошибка (MASE)
  • Средняя относительная ошибка (MRE).
  • Среднеквадратичная логарифмическая ошибка (RMSLE).
  • Коэффициент детерминации R-квадрат.
  • Скорректированный коэффициент детеминации.

Прежде чем перейти к изучению метрик качества, введём некоторые базовые понятия, которые нам в этом помогут. Для этого рассмотрим рисунок.

Рисунок 1. Линейная регрессия

Наклонная прямая представляет собой линию регрессии с переменной, на которой расположены точки, соответствующие предсказанным значениям выходной переменной widehat{y} (кружки синего цвета). Оранжевые кружки представляют фактические (наблюдаемые) значения y . Расстояния между ними и линией регрессии — это ошибка предсказания модели y-widehat{y} (невязка, остатки). Именно с её использованием вычисляются все приведённые в статье меры качества.

Горизонтальная линия представляет собой модель простого среднего, где коэффициент при независимой переменной x равен нулю, и остаётся только свободный член b, который становится равным среднему арифметическому фактических значений выходной переменной, т.е. b=overline{y}. Очевидно, что такая модель для любого значения входной переменной будет выдавать одно и то же значение выходной — overline{y}.

В линейной регрессии такая модель рассматривается как «бесполезная», хуже которой работает только «случайный угадыватель». Однако, она используется для оценки, насколько дисперсия фактических значений y относительно линии среднего, больше, чем относительно линии регрессии с переменной, т.е. насколько модель с переменной лучше «бесполезной».

MSE

Среднеквадратичная ошибка (Mean Squared Error) применяется в случаях, когда требуется подчеркнуть большие ошибки и выбрать модель, которая дает меньше именно больших ошибок. Большие значения ошибок становятся заметнее за счет квадратичной зависимости.

Действительно, допустим модель допустила на двух примерах ошибки 5 и 10. В абсолютном выражении они отличаются в два раза, но если их возвести в квадрат, получив 25 и 100 соответственно, то отличие будет уже в четыре раза. Таким образом модель, которая обеспечивает меньшее значение MSE допускает меньше именно больших ошибок.

MSE рассчитывается по формуле:

MSE=frac{1}{n}sumlimits_{i=1}^{n}(y_{i}-widehat{y}_{i})^{2},

где n — количество наблюдений по которым строится модель и количество прогнозов, y_{i} — фактические значение зависимой переменной для i-го наблюдения, widehat{y}_{i} — значение зависимой переменной, предсказанное моделью.

Таким образом, можно сделать вывод, что MSE настроена на отражение влияния именно больших ошибок на качество модели.

Недостатком использования MSE является то, что если на одном или нескольких неудачных примерах, возможно, содержащих аномальные значения будет допущена значительная ошибка, то возведение в квадрат приведёт к ложному выводу, что вся модель работает плохо. С другой стороны, если модель даст небольшие ошибки на большом числе примеров, то может возникнуть обратный эффект — недооценка слабости модели.

RMSE

Корень из среднеквадратичной ошибки (Root Mean Squared Error) вычисляется просто как квадратный корень из MSE:

RMSE=sqrt{frac{1}{n}sumlimits_{i=1}^{n}(y_{i}-widehat{y_{i}})^{2}}

MSE и RMSE могут минимизироваться с помощью одного и того же функционала, поскольку квадратный корень является неубывающей функцией. Например, если у нас есть два набора результатов работы модели, A и B, и MSE для A больше, чем MSE для B, то мы можем быть уверены, что RMSE для A больше RMSE для B. Справедливо и обратное: если MSE(A)<MSE(B), то и RMSE(A)<RMSE(B).

Следовательно, сравнение моделей с помощью RMSE даст такой же результат, что и для MSE. Однако с MSE работать несколько проще, поэтому она более популярна у аналитиков. Кроме этого, имеется небольшая разница между этими двумя ошибками при оптимизации с использованием градиента:

frac{partial RMSE}{partial widehat{y}_{i}}=frac{1}{2sqrt{MSE}}frac{partial MSE}{partial widehat{y}_{i}}

Это означает, что перемещение по градиенту MSE эквивалентно перемещению по градиенту RMSE, но с другой скоростью, и скорость зависит от самой оценки MSE. Таким образом, хотя RMSE и MSE близки с точки зрения оценки моделей, они не являются взаимозаменяемыми при использовании градиента для оптимизации.

Влияние каждой ошибки на RMSE пропорционально величине квадрата ошибки. Поэтому большие ошибки оказывают непропорционально большое влияние на RMSE. Следовательно, RMSE можно считать чувствительной к аномальным значениям.

MSPE

Среднеквадратичная ошибка в процентах (Mean Squared Percentage Error) представляет собой относительную ошибку, где разность между наблюдаемым и фактическим значениями делится на наблюдаемое значение и выражается в процентах:

MSPE=frac{100}{n}sumlimits_{i=1}^{n}left ( frac{y_{i}-widehat{y}_{i}}{y_{i}} right )^{2}

Проблемой при использовании MSPE является то, что, если наблюдаемое значение выходной переменной равно 0, значение ошибки становится неопределённым.

MSPE можно рассматривать как взвешенную версию MSE, где вес обратно пропорционален квадрату наблюдаемого значения. Таким образом, при возрастании наблюдаемых значений ошибка имеет тенденцию уменьшаться.

MAE

Cредняя абсолютная ошибка (Mean Absolute Error) вычисляется следующим образом:

MAE=frac{1}{n}sumlimits_{i=1}^{n}left | y_{i}-widehat{y}_{i} right |

Т.е. MAE рассчитывается как среднее абсолютных разностей между наблюдаемым и предсказанным значениями. В отличие от MSE и RMSE она является линейной оценкой, а это значит, что все ошибки в среднем взвешены одинаково. Например, разница между 0 и 10 будет вдвое больше разницы между 0 и 5. Для MSE и RMSE, как отмечено выше, это не так.

Поэтому MAE широко используется, например, в финансовой сфере, где ошибка в 10 долларов должна интерпретироваться как в два раза худшая, чем ошибка в 5 долларов.

MAPE

Средняя абсолютная процентная ошибка (Mean Absolute Percentage Error) вычисляется следующим образом:

MAPE=frac{100}{n}sumlimits_{i=1}^{n}frac{left | y_{i}-widehat{y_{i}} right |}{left | y_{i} right |}

Эта ошибка не имеет размерности и очень проста в интерпретации. Её можно выражать как в долях, так и в процентах. Если получилось, например, что MAPE=11.4, то это говорит о том, что ошибка составила 11.4% от фактического значения.

SMAPE

Cимметричная средняя абсолютная процентная ошибка (Symmetric Mean Absolute Percentage Error) — это мера точности, основанная на процентных (или относительных) ошибках. Обычно определяется следующим образом:

SMAPE=frac{100}{n}sumlimits_{i=1}^{n}frac{left | y_{i}-widehat{y_{i}} right |}{(left | y_{i} right |+left | widehat{y}_{i} right |)/2}

Т.е. абсолютная разность между наблюдаемым и предсказанным значениями делится на полусумму их модулей. В отличие от обычной MAPE, симметричная имеет ограничение на диапазон значений. В приведённой формуле он составляет от 0 до 200%. Однако, поскольку диапазон от 0 до 100% гораздо удобнее интерпретировать, часто используют формулу, где отсутствует деление знаменателя на 2.

Одной из возможных проблем SMAPE является неполная симметрия, поскольку в разных диапазонах ошибка вычисляется неодинаково. Это иллюстрируется следующим примером: если y_{i}=100 и widehat{y}_{i}=110, то SMAPE=4.76, а если y_{i}=100 и widehat{y}_{i}=90, то SMAPE=5.26.

Ограничение SMAPE заключается в том, что, если наблюдаемое или предсказанное значение равно 0, ошибка резко возрастет до верхнего предела (200% или 100%).

MASE

Средняя абсолютная масштабированная ошибка (Mean absolute scaled error) — это показатель, который позволяет сравнивать две модели. Если поместить MAE для новой модели в числитель, а MAE для исходной модели в знаменатель, то полученное отношение и будет равно MASE. Если значение MASE меньше 1, то новая модель работает лучше, если MASE равно 1, то модели работают одинаково, а если значение MASE больше 1, то исходная модель работает лучше, чем новая модель. Формула для расчета MASE имеет вид:

MASE=frac{MAE_{i}}{MAE_{j}}

MASE симметрична и устойчива к выбросам.

MRE

Средняя относительная ошибка (Mean Relative Error) вычисляется по формуле:

MRE=frac{1}{n}sumlimits_{i=1}^{n}frac{left | y_{i}-widehat{y}_{i}right |}{left | y_{i} right |}

Несложно увидеть, что данная мера показывает величину абсолютной ошибки относительно фактического значения выходной переменной (поэтому иногда эту ошибку называют также средней относительной абсолютной ошибкой, MRAE). Действительно, если значение абсолютной ошибки, скажем, равно 10, то сложно сказать много это или мало. Например, относительно значения выходной переменной, равного 20, это составляет 50%, что достаточно много. Однако относительно значения выходной переменной, равного 100, это будет уже 10%, что является вполне нормальным результатом.

Очевидно, что при вычислении MRE нельзя применять наблюдения, в которых y_{i}=0.

Таким образом, MRE позволяет более адекватно оценить величину ошибки, чем абсолютные ошибки. Кроме этого она является безразмерной величиной, что упрощает интерпретацию.

RMSLE

Среднеквадратичная логарифмическая ошибка (Root Mean Squared Logarithmic Error) представляет собой RMSE, вычисленную в логарифмическом масштабе:

RMSLE=sqrt{frac{1}{n}sumlimits_{i=1}^{n}(log(widehat{y}_{i}+1)-log{(y_{i}+1}))^{2}}

Константы, равные 1, добавляемые в скобках, необходимы чтобы не допустить обращения в 0 выражения под логарифмом, поскольку логарифм нуля не существует.

Известно, что логарифмирование приводит к сжатию исходного диапазона изменения значений переменной. Поэтому применение RMSLE целесообразно, если предсказанное и фактическое значения выходной переменной различаются на порядок и больше.

R-квадрат

Перечисленные выше ошибки не так просто интерпретировать. Действительно, просто зная значение средней абсолютной ошибки, скажем, равное 10, мы сразу не можем сказать хорошая это ошибка или плохая, и что нужно сделать чтобы улучшить модель.

В этой связи представляет интерес использование для оценки качества регрессионной модели не значения ошибок, а величину показывающую, насколько данная модель работает лучше, чем модель, в которой присутствует только константа, а входные переменные отсутствуют или коэффициенты регрессии при них равны нулю.

Именно такой мерой и является коэффициент детерминации (Coefficient of determination), который показывает долю дисперсии зависимой переменной, объяснённой с помощью регрессионной модели. Наиболее общей формулой для вычисления коэффициента детерминации является следующая:

R^{2}=1-frac{sumlimits_{i=1}^{n}(widehat{y}_{i}-y_{i})^{2}}{sumlimits_{i=1}^{n}({overline{y}}_{i}-y_{i})^{2}}

Практически, в числителе данного выражения стоит среднеквадратическая ошибка оцениваемой модели, а в знаменателе — модели, в которой присутствует только константа.

Главным преимуществом коэффициента детерминации перед мерами, основанными на ошибках, является его инвариантность к масштабу данных. Кроме того, он всегда изменяется в диапазоне от −∞ до 1. При этом значения близкие к 1 указывают на высокую степень соответствия модели данным. Очевидно, что это имеет место, когда отношение в формуле стремится к 0, т.е. ошибка модели с переменными намного меньше ошибки модели с константой. R^{2}=0 показывает, что между независимой и зависимой переменными модели имеет место функциональная зависимость.

Когда значение коэффициента близко к 0 (т.е. ошибка модели с переменными примерно равна ошибке модели только с константой), это указывает на низкое соответствие модели данным, когда модель с переменными работает не лучше модели с константой.

Кроме этого, бывают ситуации, когда коэффициент R^{2} принимает отрицательные значения (обычно небольшие). Это произойдёт, если ошибка модели среднего становится меньше ошибки модели с переменной. В этом случае оказывается, что добавление в модель с константой некоторой переменной только ухудшает её (т.е. регрессионная модель с переменной работает хуже, чем предсказание с помощью простой средней).

На практике используют следующую шкалу оценок. Модель, для которой R^{2}>0.5, является удовлетворительной. Если R^{2}>0.8, то модель рассматривается как очень хорошая. Значения, меньшие 0.5 говорят о том, что модель плохая.

Скорректированный R-квадрат

Основной проблемой при использовании коэффициента детерминации является то, что он увеличивается (или, по крайней мере, не уменьшается) при добавлении в модель новых переменных, даже если эти переменные никак не связаны с зависимой переменной.

В связи с этим возникают две проблемы. Первая заключается в том, что не все переменные, добавляемые в модель, могут значимо увеличивать её точность, но при этом всегда увеличивают её сложность. Вторая проблема — с помощью коэффициента детерминации нельзя сравнивать модели с разным числом переменных. Чтобы преодолеть эти проблемы используют альтернативные показатели, одним из которых является скорректированный коэффициент детерминации (Adjasted coefficient of determinftion).

Скорректированный коэффициент детерминации даёт возможность сравнивать модели с разным числом переменных так, чтобы их число не влияло на статистику R^{2}, и накладывает штраф за дополнительно включённые в модель переменные. Вычисляется по формуле:

R_{adj}^{2}=1-frac{sumlimits_{i=1}^{n}(widehat{y}_{i}-y_{i})^{2}/(n-k)}{sumlimits_{i=1}^{n}({overline{y}}_{i}-y_{i})^{2}/(n-1)}

где n — число наблюдений, на основе которых строится модель, k — количество переменных в модели.

Скорректированный коэффициент детерминации всегда меньше единицы, но теоретически может принимать значения и меньше нуля только при очень малом значении обычного коэффициента детерминации и большом количестве переменных модели.

Сравнение метрик

Резюмируем преимущества и недостатки каждой приведённой метрики в следующей таблице:

Мера Сильные стороны Слабые стороны
MSE Позволяет подчеркнуть большие отклонения, простота вычисления. Имеет тенденцию занижать качество модели, чувствительна к выбросам. Сложность интерпретации из-за квадратичной зависимости.
RMSE Простота интерпретации, поскольку измеряется в тех же единицах, что и целевая переменная. Имеет тенденцию занижать качество модели, чувствительна к выбросам.
MSPE Нечувствительна к выбросам. Хорошо интерпретируема, поскольку имеет линейный характер. Поскольку вклад всех ошибок отдельных наблюдений взвешивается одинаково, не позволяет подчёркивать большие и малые ошибки.
MAPE Является безразмерной величиной, поэтому её интерпретация не зависит от предметной области. Нельзя использовать для наблюдений, в которых значения выходной переменной равны нулю.
SMAPE Позволяет корректно работать с предсказанными значениями независимо от того больше они фактического, или меньше. Приближение к нулю фактического или предсказанного значения приводит к резкому росту ошибки, поскольку в знаменателе присутствует как фактическое, так и предсказанное значения.
MASE Не зависит от масштаба данных, является симметричной: положительные и отрицательные отклонения от фактического значения учитываются одинаково. Устойчива к выбросам. Позволяет сравнивать модели. Сложность интерпретации.
MRE Позволяет оценить величину ошибки относительно значения целевой переменной. Неприменима для наблюдений с нулевым значением выходной переменной.
RMSLE Логарифмирование позволяет сделать величину ошибки более устойчивой, когда разность между фактическим и предсказанным значениями различается на порядок и выше Может быть затруднена интерпретация из-за нелинейности.
R-квадрат Универсальность, простота интерпретации. Возрастает даже при включении в модель бесполезных переменных. Плохо работает когда входные переменные зависимы.
R-квадрат скорр. Корректно отражает вклад каждой переменной в модель. Плохо работает, когда входные переменные зависимы.

В данной статье рассмотрены наиболее популярные меры качества регрессионных моделей, которые часто используются в различных аналитических приложениях. Эти меры имеют свои особенности применения, знание которых позволит обоснованно выбирать и корректно применять их на практике.

Однако в литературе можно встретить и другие меры качества моделей регрессии, которые предлагаются различными авторами для решения конкретных задач анализа данных.

Другие материалы по теме:

Отбор переменных в моделях линейной регрессии

Репрезентативность выборочных данных

Логистическая регрессия и ROC-анализ — математический аппарат

0 0 голоса
Рейтинг статьи
Подписаться
Уведомить о
guest

0 комментариев
Старые
Новые Популярные
Межтекстовые Отзывы
Посмотреть все комментарии

А вот еще интересные материалы:

  • Яшка сломя голову остановился исправьте ошибки
  • Ясность цели позволяет целеустремленно добиваться намеченного исправьте ошибки
  • Ясность цели позволяет целеустремленно добиваться намеченного где ошибка
  • На занятиях мы постигаем навыки культурной речи ошибка
  • На какое время отсоединить аккумулятор чтобы сбросить ошибки