Отсутствие систематических ошибок это

Глава восемнадцатая.

СБОР ДАННЫХ:
РЕАЛЬНЫЕ ПРОЦЕДУРЫ И СИСТЕМАТИЧЕСКИЕ
ОШИБКИ

Одна из основных
проблем, с которой мы сталкиваемся при
маркетинговых исследованиях, — это
проблема сбора данных. На этой стадии
исследования используется персонал,
занятый полевым, телефонным или почтовым
опросом. В этой главе речь будет идти
главным образом о возможных ошибках
при проведении опросов и об их причинах.
Если вы будете осознавать потенциальные
источники ошибок, возникающих при сборе
данных, вы сможете надлежащим образом
оценивать исследовательскую информацию,
на основе которой должны приниматься
те или иные решения.

Влияние
и значение систематических ошибок

ОШИБКА
В ВЫБОРКЕ

Разность
между наблюдаемыми значениями
количественного признака и их долгосрочным
средним значением при повторении
измерений.

СИСТЕМАТИЧЕСКАЯ
ОШИБКА

Ошибка
исследования, не связанная с выборкой;
может быть вызвана концептуальными или
логическими ошибками, неправильной
интерпретацией ответов, а также
статистическими, арифметическими,
табуляционными, кодовыми или отчетными
ошибками.

Ошибки, возникающие
при обследовании, можно разделить на
два основных типа: ошибки
в выборке и
систематические
ошибки.
Концепция
ошибки в выборке
широко использовалась в главах 15, 16 и
17. Основой для ее рассмотрения была
концепция выборочного распределения
некой статистики, например выборочного
среднего, выборочной доли и тому подобное.
Само понятие выборочного распределения
неразрывно связано с понятием ошибки
в выборке. Названное распределение
существует благодаря тому, что различные
выборки, сформированные в соответствии
с принятым планом обследования, дают
разные оценки параметра. Статистика
меняется от выборки к выборке в силу
того, что в каждом случае выборочному
отбору подвергается лишь часть генеральной
совокупности. Соответственно мы можем
определить ошибку в выборке как «разность
между наблюдаемыми значениями
количественное» признака и их долгосрочным
средним значением при повторении
измерений». Как мы видели, ошибка в
выборке может быть уменьшена путем
увеличения объема выборки. Концентрация
распределения выборочной статистики
возле долгосрочного среднего значения
возрастает, а выборочная статистика
выравнивается при увеличении количества
наблюдений.

Систематические
ошибки
являются отражением ошибок иного рода,
которые, вообще говоря, могут возникать
и не при выборочных обследованиях. Они
подразделяются на случайные
и неслучайные.
Неслучайные систематические ошибки
имеют более тяжкие последствия. Случайные
ошибки дают оценки, отличные от истинного
значения; они могут приводить к отклонениям
и в большую, и в меньшую сторону и имеют
при этом случайный характер. Неслучайные
же систематические ошибки приводят к
односторонним отклонениям. Соответственно
для них характерна тенденция к смещению
выборочного значения относительно
параметра совокупности. Систематические
ошибки могут являться следствием
концептуальных или логических ошибок,
неправильной интерпретации ответов, а
также статистических, арифметических,
табуляционных, кодовых или отчетных
ошибок. Они столь вездесущи, что один
из авторов не смог сдержать своих чувств
и написал:

«Перечень
возможных бед и напастей с увеличением
наших познаний только расширяется.
Многолетняя работа в определенной
области позволяет приобрести известный
методологический опыт, который, к
сожалению, практически никогда не
становится доступным другим. Подлинной
уверенности в правильности выработанных
подходов нет и быть не может (выделено
нами)».

Систематические
ошибки не только вездесущи, но они и не
столь подконтрольны, как ошибки в
выборке. При увеличении объема выборки
ошибки в выборке уменьшаются. Сказать
то же самое о систематических ошибках
нельзя. В этом случае они могут как
уменьшаться, так и возрастать. Помимо
прочего, ошибки в выборке при использовании
вероятностных методов могут быть
оценены. В случае же систематических
ошибок, как направление, так, тем более,
и величина ошибки могут оказаться
совершенно непредсказуемыми.

Систематические
ошибки приводят к смещению выборочного
значения относительно параметра
совокупности, но в ряде случаев мы не
можем судить даже о том, к чему именно
они приведут, — к переоценке или к
недооценке параметра. Систематические
ошибки влияют и на достоверность
выборочных оценок. Вызванное ими смещение
может увеличить ошибку оценки определенных
статистик до такой степени, что оценка
доверительного интервала окажется
ошибочной.

Одно из обследований,
призванное оценить уровень накоплений
потребителей, проведенное Иллинойским
университетом, может служить наглядным
свидетельством сказанного. В ходе этого
обследования исследователи сравнивали
полученные от потребителей сведения
об их финансовых средствах и долгах с
известной информацией.

«Опытное
обследование неожиданно показало, что
систематические ошибки существуют не
только в теории, оказалось, что именно
они являются основной причиной замеченной
тенденции к занижению агрегированных
показателей…

Эта ошибка не
просто присутствовала в данных
обследования, в ряде случаев роль
систематических ошибок была столь
велика, что
определение доверительных интервалов
по известным формулам статистики теряло
всяческий смысл… Следует
особо отметить, что
при увеличении объема выборки величина
этой ошибки только возрастала (выделено
нами)».

В некоторых
ситуациях даже самые изощренные выборки
не могут избавить нас от систематических
ошибок.

«Значимость
полученных в ходе этого обследования
данных весьма специфична, они лишний
раз говорят о том, что исследователь
постоянно должен стремиться к выявлению
и устранению систематических ошибок.
Особенно критичными они становятся при
работе с широкомасштабными, хорошо
продуманными вероятностными выборками,
поскольку при увеличении эффективности
проектирования выборки и уменьшении
выборочной дисперсии, эффект систематических
ошибок усиливается. Поскольку
систематические отклонения практически
не зависят от объема выборки, мы
сталкиваемся с парадоксальной ситуацией:
чем эффективнее составлена выборка,
тем большую роль играют систематические
ошибки и тем меньшим смыслом обладают
вычисления по определению доверительного
интервала, в основе которых лежат обычные
формулы».

В случае обследования,
проведенного Иллинойским университетом,
мы могли определить систематическую
ошибку, поскольку в распоряжении
исследователей находились не только
результаты опроса, но и реальные данные,
отражающие финансовое положение
потребителей. Предположим, что мы не
обладаем подобными данными. Исследователи
смогут предположить, что полученные
ими ответы не совсем точны, но как они
смогут определить хотя бы направление
вызванного такими ошибками смещения?
То ли респонденты сознательно завышали
уровень своих сбережений, желая впечатлить
интервьюера, то ли занижали их, боясь,
что реальные цифры могут вызвать
повышенный интерес у сотрудников
Налогового управления. Предположим,
что сам факт неточности приведенных
сведений не вызывает у нас сомнений.
Возникает еще один вопрос: какова
величина этой «неточности»? Завышение
реальной суммы на 10000 долларов или ее
занижение на 2000? Или наоборот?

Как вы, вероятно,
уже начинаете осознавать, зачастую
проблема систематических ошибок
оказывается

центральной. Два
типа систематических ошибок, отсутствие
ответов одних и некорректные ответы
других участников обследования, могут
обратить результаты обследования
буквально в ничто. Наглядной иллюстрацией
этого является исследовательское окно
18.1. В результате специальных исследований,
проведенных Бюро переписей, выяснилось,
что такие систематические ошибки могут
в десять раз превышать ошибку выборки.
В этом результате нет ничего неожиданного.
Помимо прочего, оказалось, что
систематическая ошибка составляет
большую часть ошибки обследования, в
то время как случайная ошибка выборки
сведена к минимуму. Систематические
ошибки могут быть уменьшены, но уменьшение
их связано не столько с увеличением
объема выборки, сколько с использованием
специальных методов. Для того чтобы
исследователь имел такую возможность,
ему необходимо прежде всего осознавать
их причины.

ОШИБКА
НЕНАБЛЮДЕНИЯ

Систематическая
ошибка, возникающая вследствие неполучения
данных от ряда элементов, входящих в
обследуемую выборку.

Типы систематических ошибок

На рис. 18.1 представлены
основные типы систематических ошибок.
Они делятся на два основных типа:

ошибки, связанные
с неполучением данных, и ошибки наблюдения.
Ошибки ненаблюдения
возникают вследствие невозможности
получения данных от части элементов
обследуемой совокупности. Ошибки
ненаблюдения могут быть вызваны тем,
что часть обследуемой совокупности не
была представлена в выборке, или же
элементы, отобранные для включения в
выборку, не представили данных.
Ошибки наблюдений
возникают вследствие некорректной
информации, полученной от элементов
выборки, они могут возникнуть и на стадии
обработки данных или формулирования
итогового вывода. По ряду характеристик
они представляются еще более неприятными,
чем ошибки ненаблюдения. В случае
последних мы по крайней мере знаем, что
ошибки этого вида обусловлены неполным
охватом или неполучением данных. О
существовании же ошибок наблюдения мы
даже и не подозреваем. Само понятие
ошибки наблюдения основывается на
предположении о том, что для количественного
признака или признаков существует некое
«истинное» значение. Соответственно
ошибка наблюдения является разностью
объявленного и «истинного» значения.
Вы уже понимаете, что определение Ошибки
наблюдения ставит исследователя в
ужасно неудобное положение, поскольку
при этом он задается той самой величиной,
определение которой является целью
обследования.

ОШИБКА
НАБЛЮДЕНИЯ

Систематическая
ошибка, либо возникающая при обработке
данных или формулировании заключений,
либо являющаяся следствием некорректности
информации, получаемой от элементов
выборки.

ОШИБКИ НЕНАБЛЮДЕНИЯ

Как вы видите на
рис. 18.1, существуют два типа ошибок
ненаблюдения: ошибки неохвата и ошибки
неполучения данных. Любая из этих ошибок
может привести к существенным неточностям,
однако аналитик, знакомый с сутью
проблемы, может существенно уменьшить
возможную ошибку.

ОШИБКА
НЕОХВАТА

Систематическая
ошибка, являющаяся следствием того, что
определенные части или целые блоки
генеральной совокупности не были
включены в основу выборки.

Ошибки неохвата.
Неохват может стать источником серьезных
неточностей, при этом
ошибка неохвата относится
только к ошибочно выпавшим из рассмотрения
частям совокупности, но никак не к
частям, исключенным намеренно. Таким
образом, проблема неохвата имеет
отношение к основе выборки.

Например, при общем
обследовании ошибка неохвата может
возникнуть при использовании телефонного
справочника в качестве основы выборки.
Телефоны есть далеко не у всех семей, и
не все номера телефонов включены в
справочник. Помимо прочего, существует
целый ряд демографических отличий между
лицами, имеющими телефоны и не имеющими
их.

При почтовом
опросе, где основой выборки служит
рассылочная ведомость, ошибка неохвата
может быть следствием того, что рассылочная
ведомость не дает адекватного представления
о различных группах популяции. Опытные
исследователи знают, сколь редко подобные
ведомости бывают удачными, пусть даже
речь идет о весьма специфичных группах
населения (смотри табл. 18.1).

В тех случаях,
когда данные должны собираться методом
обхода квартир, респондентов сводят в
своеобразную территориальную выборку.
В этом случае основой выборки становится
скорее не список респондентов, а
определенные районы, кварталы или дома.
Тем не менее это не снимает проблемы
неполноты основы выборки. Городские
карты могут устареть, вследствие чего
районы новой застройки полностью выпадут
из рассмотрения. Помимо прочего,
инструкции, данные интервьюерам, могут
оказаться недостаточно детальными.
Указание «начните обследование с
северо-западной оконечности означенного
района, избрав начальный пункт случайным
образом и подвергая обследованию каждый
пятый жилой дом» может оказаться
неполным, если в этом районе существуют
многоквартирные дома. Практика показывает,
что при проведении обследования
интервьюеры предпочитают обходить
стороной ветхие или запущенные строения.
Вместе с тем интервьюеры предпочитают
общаться с максимально доступными
членами семей, что противоречит положению
инструкции о случайном характере опроса.
Все это приводит к недостаточному
представлению определенной части
популяции при одновременном избыточном
представлении другой, наиболее доступной
ее части.

Проблемы с основой
выборки существуют и при проведении
опросов в торговых центрах. С одной
стороны, здесь отсутствует список
элементов совокупности. С другой стороны,
попасть в число обследуемых могут только
те люди, которые привыкли совершать
здесь покупки, при этом чем чаще они это
делают, тем выше вероятность того, что
они станут респондентами. Именно по
этой причине при обследованиях такого
рода часто используются пропорциональные
выборки.

Тем не менее
использование пропорциональных выборок
не снимает проблем, связанных с ошибками
неохвата. Свобода же выбора респондентов
интервьюером буквально распахивает
двери для таких ошибок. «Недобор»
характерен как для лиц с самыми низкими,
так и для лиц с самыми высокими доходами.
Руководитель проекта может не осознавать
этого, поскольку исполнители зачастую
склонны к фальсификации результатов,
позволяющей скрыть это обстоятельство.
Чем более сложной и развитой будет такая
пропорциональная выборка, тем более
критичным становится названный момент.
Если некоторые элементы выборки будут
задаваться набором, состоящим из трех
или четырех признаков, интервьюер,
испытывающий в этой связи определенные
затруднения, может «немного слукавить»,
приписав требуемые характеристики тем,
кто ими не обладает.

Ошибка перебора
может возникать вследствие возникновения
повторов в сводке элементов выборки.
Единицы с множественными входами в
основу выборки, например семьи, имеющие
несколько телефонных номеров, имеют
более высокую вероятность включения в
выборку, чем единицы, соответствующие
только одной позиции списка. Впрочем,
для большинства обследований ошибки
неохвата представляют куда большую
опасность.

ОШИБКА
ПЕРЕБОРА

Систематическая
ошибка, возникающая вследствие повтора
позиций в сводке элементов выборки.

Ошибка неохвата
представляет проблему далеко не для
любого обследования. В ряде случаев
исследователь имеет в своем распоряжении
четкую, ясную и полную основу выборки.
Скажем, если администрация универмага
решит провести обследование покупателей,
приобретающих товары в кредит, проблем
с определением основы выборки у нее не
будет. Основа выборки, очевидно, будет
совпадать со списком таких кредитов по
открытым счетам. Возможны разве что
какие-то затруднения при распознавании
активных и неактивных счетов, но указанная
проблема может быть разрешена уже на
подготовительном этапе обследования.

—

Таблица
18.1

Подобным же образом
общество взаимного кредита в некой
фирме вряд ли столкнется с ошибкой
неохвата при обследовании потенциальных
клиентов. Здесь целевой совокупностью
будут сотрудники фирмы; список же их,
по всей вероятности, не будет нуждаться
в уточнении, поскольку он лежит в основе
платежной ведомости.

Ошибки неохвата
ставят перед исследователем два вопроса:
(1) насколько они серьезны? (2) каким
образом возможно их уменьшить? Основная
проблема состоит в том, что их величина
может быть оценена только при сравнении
результатов выборочного обследования
с некими независимыми внешними
показателями. Внешний же показатель в
свою очередь может быть либо определен,
посредством дополнительной проверки
качества части результатов, либо получен
в ходе другого надежного обследования,
результаты которого не утратили своей
актуальности, например, последней
переписи населения. Возможность сравнения
результатов с результатами переписи
или обследования выборки большого
объема предполагает общность операционных
определений элементов выборки. Если
исследователь планирует проведение
таких сравнений, он должен учитывать
это обстоятельство при выборе обследуемых
объектов (например, квартир или индивидов).

Предположим, ошибка
неохвата весьма велика. Что должен
делать исследователь для того, чтобы
уменьшить ее влияние? Разумеется, самый
очевидный шаг состоит в улучшении
качества основы выборки. Улучшение это
может заключаться в обновлении карт, в
выборочной проверке качества и
репрезентативности ведомости и т. д.
Проблема отсутствия ряда элементов,
характерная для телефонных обследований,
может решаться путем набора случайных
цифр или дополнительными звонками, хотя
такой способ не дает адекватного
представления о лицах, не имеющих
телефона:

Несовершенная
основа выборки может быть улучшена лишь
до определенного предела. Когда этот
предел будет достигнут, исследователь
может попытаться уменьшить ошибку
неохвата посредством отбора элементов
выборки или уточнением результатов.
Скажем, при формировании выборки по
списку аналитики часто сталкиваются с
тем, что в нем содержатся повторы,
неподходящие элементы и пропуски. Первым
шагом, направленным на исправление
ситуации, должно стать обновление и
уточнение списка, для чего могут
использоваться дополнительные источники.
Впрочем, подобные меры могут привести
разве что к сокращению количества
пропусков, но никак не к выявлению
повторов или неприемлемых элементов.
При отборе элементов выборки неприемлемые
элементы должны исключаться из
рассмотрения. Не поддайтесь искушению
заменить неприемлемый элемент элементом,
следующим в списке за ним, поскольку
использование подобного приема может
оказать серьезное влияние на характер
выборки. Если отбор осуществляется
случайным образом, следует просто-напросто
перейти к следующему отобранному
случайным образом элементу. Если же
отбор производится систематически, при
появлении неприемлемых элементов
следует прежде всего отрегулировать
выборочный интервал.

Проблема повторов
обычно решается методом корректировки.
Обычно результаты получают вес обратный
вероятности попадания элемента в
выборку. При обследовании, базирующемся
на регистрационной ведомости автомобилей,
каждому респонденту будет задан вопрос:
«Сколько у вас машин?» Обладатель двух
машин получит весовой коэффициент 1/2,
обладатель трех машин соответственно
1/2 .

Выбор надлежащих
процедур отбора элементов корректировки
и отстройки, компенсирующей неадекватность
основы выборки, при проведении серьезных
выборочных обследований имеет особую
значимость и во многом определяется
квалификацией исследователя. Мы не
станем вдаваться в детали, отметим лишь
то, что ошибки неохвата:

1) относятся к
разряду систематических ошибок и потому
не входят в стандартные статистические
зависимости;

2) как правило, не
могут быть устранены посредством
увеличения объема выборки;

3) могут иметь
существенный размер;

4) могут быть
уменьшены (но не обязательно устранены)
при осознании их наличия посредством
улучшения основы выборки и принятия
ряда специальных мер, позволяющих до
определенной степени компенсировать
остаточное несовершенство основы.

Ошибки неполучения
данных. Другой возможный источник
систематического отклонения ненаблюдения
— ошибка
неполучения данных.
Она порождается отсутствием информации
о некоторых элементах, которые должны
были войти в состав выборки. Попытка
контакта с выделенным респондентом
может оказаться неудачной, — об этом
никогда нельзя забывать. Например, на
рис. 18.2 представлены различные исходы
предполагаемого телефонного контакта.
Количество этих исходов столь велико,
что даже условная оценка серьезности
проблемы неполучения данных может
оказаться весьма и весьма затруднительной.

ОШИБКА
НЕПОЛУЧЕНИЯ ДАННЫХ

Систематическая
ошибка, порождаемая отсутствием
информации о некоторых элементах,
которые должны были войти в состав
выборки.

ДОЛЯ
ОТВЕТИВШИХ

Отношение
количества проведенных с респондентами
интервью к количеству приемлемых
респондентов в выборке.

В конце семидесятых
несколько исследователей осознали, что
в практике маркетинговых исследова­ний
не существует стандартной процедуры
для определения соотношения полученных
и неполученных ответов. Поскольку
различные исследовательские организации
использовали при определении показателя
неполучения данных разные определения
и методики, эта проблема не получала
точного и однозначного разрешения.
Пытаясь найти выход из этой ситуации,

аналитики провели
исследование, в котором участвовали
представители Совета исследовательских
организации Америки с (CASRO)
и ведущих заказчиков. Каждому участнику
обследования был выслан опросный лист,
на котором были представлены данные
трех реальных телефонных опросов по
контактам и ответам — выборки по
телефонному справочнику, выборки по
методу случайных чисел и списочной
выборки. Респондентов просили определить
долю ответивших, контактов, выполненных
работ и отказов для каждого из трех
обследований. (Ниже будут даны определения
для каждой из этих долей). Отличие
результатов друг от друга оказалось
разительным. В верхней части табл. 18.2
представлены необработанные данные
для выборки, основанной на телефонном
справочнике. Используя эти данные, одна
организация пришла к выводу, что
доля ответивших
(отношение количества интервью к
количеству контактов) составляет 12%, в
то время как другая организация нашла
ее равной 90%. Ответы других участников
опроса были столь же разноречивыми.
Всего 3 фирмы из 40 пришли к одному и тому
же ответу, но при этом они пользовались
различными определениями. В нижней
части табл. 18.2 представлены три наиболее
часто используемых определения, а также
определения, дающие минимальные и
максимальные значения доли ответивших.

Разнообразие
определений не только приводило к
множественности значений доли
неответивших, но и осложняло разрешение
проблемы, связанной с ошибкой неполучения
данных. Последняя могла зависеть как
от эффективности используемых методов,
так и от того, насколько удачно были
выбраны определения. Пытаясь оптимизировать
и стандартизировать практику обследований,
CASRO
предложил следующее стандартное
определение доли ответивших:

Главное условие
для правильного определения доли
ответивших — надлежащее использование
критерия приемлемости. В табл. 18.3 показан
порядок определения доли ответивших
при наличии и при отсутствии требования
приемлемости.

Неполучение данных
представляет проблему для любого
обследования, при котором оно возникает,
поскольку возникает закономерный
вопрос: не существует ли серьезных
отличий между ответившими и неответившими?
Естественно, мы не можем однозначно
ответить на этот вопрос, пусть даже
предыдущие обследования свидетельствуют
о том, что между представителями двух
этих групп не существует особой разницы.

Две главные причины
ошибки неполучения данных — это
отсутствие и отказ от интервью. Ошибки
неполучения данных могут возникать при
обследованиях, использующих личный,
телефонный или почтовый опросы. При
проведении почтовых опросов проблема
отсутствия подменяется проблемой
неполучения опросного листа. Опросный
лист может просто-напросто затеряться
на почте, и в этом случае систематическую
ошибку можно считать случайной (если
только этой потере не подлежат некие
фундаментальные причины, такие как
выбытие или смерть адресата; последние
приведут к появлению систематической
ошибки.

Отсутствие.
Данные о некоторых элементах выборки
могут отсутствовать, поскольку в момент
звонка интервьюера респондентов может
не оказаться дома. Опытные данные
показывают, что процент
отсутствия
растет со временем. Очевидно, многое
зависит от респондента и времени суток,
в которое совершается звонок. Замужние
женщины с маленькими детьми в течение
дня (речь не идет о выходных) оказываются
дома чаще, чем мужчины или бездетные и
незамужние женщины. Вероятность того,
что вам ответят, выше для семей с низким
достатком или для сельских семей. Этот
показатель подвержен сезонным и недельным
(рабочие дни/выходные) колебаниям. Мало
того, куда проще застать дома «ответственного
подростка», нежели нужного вам респондента,
соответственно проблема отсутствия
может оказаться действительно серьезной.

ОТСУТСТВИЕ

Систематическая
ошибка, возникающая вследствие неполучения
ответов от заранее определенных
респондентов, отсутствующих дома в
момент звонка регистратора.

Для
снижения эффекта отсутствия может быть
принят ряд мер. Например, при некоторых
обследованиях интервьюер может заранее
договориться с респондентом о времени
своего звонка. Этот подход будет особенно
эффективным при обследовании
административных работников, но может
оказаться неоправданным при обследовании
обычных потребителей. В последнем случае
принято использовать повторный звонок
(или повторные звонки), который должен
производиться в другой час. На деле
неполучение данных, обусловленное
отсутствием респондентов, имеет очень
большое влияние на точность большинства
обследований. Один ведущий эксперт
пришел к заключению, что небольшие
выборки с 4-6 повторными звонками
оказываются более эффективными, чем
большие выборки без повторных звонков,
если только процентное значение доли
ответивших существенно не превышает
нормальный уровень. Некоторые данные
свидетельствуют о том, что для осуществления
контакта с тремя четвертями выборки
семей необходимо совершить от 4 до 5
звонков (смотри табл. 18.3).

Альтернативой
прямому
повторному звонку
может являться модифицированная
попытка контакта.
Если после первой попытки контакта и
нескольких повторных звонков интервьюеру
так и не удастся вступить в контакт с
нужным лицом, он может послать ему
опросный лист с конвертом или оставить
этот лист у его двери. Если же отсутствие
обусловлено «отсутствием нужного лица»,
а не «отсутствием кого-либо дома»,
регистратор может узнать у домашних
время, когда респондент обычно бывает
дома.

Неопытные
исследователи наивно пытаются решить
проблему отсутствия посещением соседней
квартиры или звонком по номеру, следующему
в списке за нужным. Подобную тактику
следует признать крайне неудачной.

Интервьюер подменяет
«присутствующими» (которые могут
существенно отличаться от отсутствующих
по ряду характеристик) часть обследуемого
сегмента популяции. При этом доля
«присутствующих» увеличивается, но
проблема не разрешается, а лишь
усугубляется.

Доля отсутствующих
зависит как от искусности интервьюера,
так и от принятой процедуры первичных
контактов и повторных попыток контакта.
Соответственно ошибка отсутствия может
быть уменьшена до некоторой степени
надлежащим обучением персонала, при
котором особенное внимание должно
обращаться на повышение эффективности
повторных попыток контакта.

Указанная зависимость
доли отсутствующих от профессионализма
интервьюера позволяет ввести меру для
оценки и сравнения самих интервьюеров:
для этого определяется
доля контактов (К)

ДОЛЯ
КОНТАКТОВ

Мера,
используемая для оценки и сравнения
работы интервьюеров при установлении
ими контакта с избранными респондентами;
К
= отношению установленных контактов к
общему количеству приемлемых элементов
выборки, с которыми надлежит вступить
в контакт.

Доля контактов
может служить мерилом настойчивости
интервьюера. Сравнение работы интервьюеров
и принятие корректирующих мер может
производиться по соответствующим
контактным уровням.

Контролера может
заинтересовать причина низких контактных
уровней у тех или иных интервьюеров.
Возможно, интервьюер работает в зоне с
традиционно высокой долей отсутствующих,
например в районе, где проживают люди
с высоким уровнем доходов. При анализе
отчетов, в которых приводится время
попыток контакта, может быть выявлена
и обусловленность низких результатов
неадекватностью дополнительных процедур.
В любом случае организаторам обследования
имеет смысл провести дополнительное
обучение персонала (этим может заняться
и сам контролер). Доля контактов может
использоваться и для оценки потенциальной
ошибки неполучения данных, обусловленной
отсутствием респондентов.

Ошибка неполучения
данных, обусловленная отсутствием
респондентов, может быть учтена и в
схеме статистической корректировки
результатов Политца-Симмонса. Эта схема
строится не на повторных, а на единичных
попытках контакта с каждым членом
выборки в момент времени, определенный
случайным образом. При этом контакте
респонденту задается вопрос, находился
ли он (или она) дома в это же время в
течение пяти предыдущих дней. Пять
соответствующих ответов и время самого
интервью дают информацию о том, когда
же респондент бывал дома в течение шести
последних дней. Ответам каждого информанта
присваивается соответствующий
(вероятность нахождения дома может
сообщаться интервьюеру и самим
респондентом) обратный весовой
коэффициент: например, для информанта,
присутствовавшего дома в это время
только один раз, весовой коэффициент
будет равен 6. Идея, подлежащая этой
схеме, состоит в том, что люди, редко
бывающие дома, не получают при обследовании
должного представления. Соответственно
чем реже респондент бывает дома, тем
выше должен быть соответствующий ему
весовой коэффициент.

Отказы от интервью.
Почти всегда при проведении обследования
находятся люди, которые отказываются
принять в нем участие. В одном из самых
массированных исследований серьезности
этой проблемы «Ваш голос» принимали
участие 46 исследовательских фирм,
проведших почти 1,4 миллиона телефонных
и персональных интервью. Обследование
показало, что около 38% опрошенных
отказались от участия в опросе, причем,
количество людей, отказавшихся участвовать
в нем до проведения или в ходе
предварительного собеседования
составляло 86%. Остальные отказались от
участия непосредственно в ходе
обследования. Исследовательское окно
18.2 дает представление о динамике и
специ­фике отказов от участия в
обследовании.

ОТКАЗЫ
ОТ ИНТЕРВЬЮ

Систематическая
ошибка, возникающая вследствие того,
что часть респондентов отказывается
принимать участие в обследовании.

Доля
отказов
зависит, помимо прочего, от особенностей
респондентов, организаций, осуществляющих
финансовое обеспечение обследования,
обстоятельств контакта, темы обследования
и искусства интервьюера. На долю отказов
может повлиять даже культура данной
территории. Скажем, в некоторых
государствах, таких как Саудовская
Аравия, обследовать женщин практически
невозможно.

Имеет значение и
метод сбора информации. Опытные данные
свидетельствуют о том, что наиболее
эффективными являются персональные, а
наименее эффективными — почтовые методы
опроса. Телефонные интервью занимают
промежуточное положение.

Хотя существуют
особые техники, позволяющие вовлекать
в обследование отдельные группы
населения, в общем случае наименее
«отзывчивыми» оказываются женщины,
представители цветного населения и
лица с невысоким уровнем образования
и низким уровнем доходов.

На количество
отказов может повлиять и характер
организации, производящей обследование.
Многие люди определяют свое участие
или неучастие в опросе именно этим
обстоятельством»

Порой к отказу
приводят какие-то внешние обстоятельства.
Респондент может быть занят, может
испытывать усталость или чувствовать
себя не лучшим образом. На долю отказов
влияет и предмет исследования. Лица,
интересующиеся данным предметом, охотнее
принимают участие в опросе. В общем
случае действует следующий закон: более
щекотливые темы вызывают большее
количество отказов.

И наконец, сама
личность интервьюера может оказать
существенное влияние на количество
отказов. Его подход, манеры и даже
демографические характеристики могут
повлиять на решение потенциального
респондента.

Каким образом
возможно скорректировать такую ошибку?
Рекомендуется использование трех
стратегий:

1. Увеличение доли
первичных ответов.

2. Повторные попытки.

3. Экстраполяция
полученной информации.

Увеличение доли
первичных ответов.
Улучшение условий проведения интервью
и углубленное обучение интервьюеров —
очевидные пути увеличения доли ответивших;
однако особенности респондента могут
оказаться фактором, неподвластным
контролю исследователя. Целевая популяция
определяется поставленной задачей, и
популяция эта может содержать семьи с
различным образовательным уровнем и
уровнем доходов, культурой и профессиональной
принадлежностью и т. д. Тем не менее
поставленная нами цель вполне достижима.
Как будет показано далее, при рассмотрении
нами взаимодействия интервьюера—интервьюируемого
можно заранее задать «нужный» тип
интервьюера.

Надлежащему
сотрудничества может способствовать
и убеждение респондентов в ценности
проводимого обследования и важности
их участия в нем. Может сыграть свою
роль и предварительное уведомление.

Если идентификация
организации, финансирующей обследование,
может привести к уменьшению количества
ответивших, исследователям надлежит
либо скрыть эту информацию, либо
обратиться к профессиональной организации,
занимающейся проведением подобных
обследований. Именно по этой причине
некоторые компании, имеющие в своем
составе исследовательские департаменты,
пользуются услугами специализированных
исследовательских фирм.

Чем больше информации
о сути и цели обследования сообщают
интервьюеры потенциальным респондентам,
тем большей становится доля ответивших
как при персональном, так и при телефонном
обследовании. Гарантия конфиденциальности
также способствует увеличению доли
ответивших, так как многие участники
опроса не хотят, чтобы их ответы
ассоциировались с их именами. При
проведении почтовых обследований
позитивную роль может сыграть и
материальный стимул. Интересен тот
факт, что подобный же стимул не эффективен
при персональных опросах, если только
они не проводятся в торговых центрах.

Использование
одной и той же техники повышения уровня
сотрудничества может давать для различных
обследований существенно отличающиеся
друг от друга результаты. Просмотр
результатов различных обследований
проясняет картину, пусть роль побудительного
стимулирования и разнится от случая к
случаю. Это может быть отчасти обусловлено
как самим предметом обследования, так
и соответствующим ему временным периодом.
На рис. 18.3 показаны результаты одного
из самых массовых недавних исследований
техник стимулирования участия в
корреспондентских опросах. Средний
эффект от применения соответствующих
техник представлен взвешенным
коэффициентом корреляции для обследования,
где веса отражают объем различных
выборок, на которых основываются
отдельные корреляции. Чем выше корреляция
взвешенного среднего, тем более
эффективной является данная техника.
Приведенные на рис. 18.3 результаты
свидетельствуют о том, что самыми
успешными техниками повышения
эффективности почтовых опросов являются
использование поощрений, уведомление
о предстоящем опросе и повторные почтовые
отправления.

Повышение доли
ответивших путем повтора попытки
контакта. В
некоторых случаях причиной отказа
участвовать в обследовании могут стать
некие обстоятельства. Поскольку последние
могут оказаться изменчивыми или
временными, повторная попытка установления
контакта может привести к успешному
исходу и позитивно повлиять на общий
показатель доли ответивших. Если
респондент отказался от участия в
обследовании, сославшись на болезнь
или на усталость, вы вправе надеяться
на успешный исход повторной (аналогичной
или несколько видоизмененной) попытки.
При почтовом опросе эта попытка выразится
в отправке повторного почтового
отправления. Успех подобных мероприятий
во многом зависит от уровня компетентности
персонала.

Если же источником
ошибки, обусловленной неполучением
данных, является сам предмет исследования,
ситуация становится куда более сложной.
Обследование, не представляющее для
респондентов особого интереса или же
представляющееся им сомнительным,
скорее всего, будет сопровождаться
большим количеством отказов. Соответственно
исследователь должен использовать все
возможности для того, чтобы заинтересовать
респондента,— например, он может ввести
в опросный лист не относящиеся к делу
вопросы.

Если респондент
отказался от участия в персональном
или телефонном опросе не в силу неких
сложившихся в данный момент обстоятельств,
а по каким-то иным причинам, повторные
попытки окажутся не столь успешными.
Почтовый опрос в этом смысле является
исключением. Многие люди склонны отвечать
только на второй или даже третий запрос.
Разумеется, в таком случае необходимо
провести идентификацию лиц, не ответивших
на предыдущие запросы, или, что то же
самое, ответивших на них, нежелание же
подвергнуться таковой идентификации,
как уже отмечалось, заставляет многих
людей отвечать отказом. Таким образом,
идентификация респондентов, призванная
уменьшить одну составляющую ошибки
неполучения данных, может привести к
увеличению другой ее составляющей.
Альтернативный же подход, при котором
повторные почтовые отправления будут
разосланы всем участникам обследования,
будет раздражать иных респондентов и
может оказаться излишне дорогостоящим
для организации, проводящей обследование.

Коррекция
результатов, призванная учитывать
эффект неполучения данных.
Третья стратегия состоит в оценке
возможного эффекта, обусловленного
неполучением данных, и в соответствующей
коррекции результатов обследования.
Предположим, что при определении среднего
уровня доходов для некой популяции
регистратору удалось получить ответы
только части лиц, входящих в обследуемую
выборку
.
Долю неответивших обозначим.
Если
,
— средний
уровень доходов ответивших, а

— средний
уровень дохода не ответивших, общий
средний уровень будет равен

Разумеется, при
этом предполагается, что значение

известно или по крайней мере может быть
оценено. В ряде случаев для оценки этой
величины предпринимаются интенсивные
повторные попытки контакта с выборкой
нереспондентов. Указанные попытки могут
иметь форму видоизмененного повтора,
о котором говорилось ранее. Поскольку
же ситуация, при которой в ходе повторного
обследования будут получены ответы
всех респондентов, достаточно редка,
можно говорить только о приблизительной
оценке. Игнорирование первичного
неполучения информации эквивалентно
принятию того, что

равно
,
что обычно неверно.

Второй метод
корректировки результатов состоит в
отслеживании количества ответивших на
первичный запрос, на первый повтор,
второй повтор и т. д. По этим данным
определяется среднее значение
количественного признака (или другая
приемлемая статистика), после чего
производится сравнение подмножеств,
призванное ответить на вопрос, приводит
ли проблема неполучения ответа к
статистически значимым последствиям.
Если нет, среднее значение количественного
признака для нереспондентов принимается
равным аналогичному значению для
ответивших. Если же выявляется определенный
тренд, то возникает необходимость в
соответствующей экстраполяции
результатов. Данный метод особенно
ценен при проведении почтовых опросов,
при которых идентификация лиц, ответивших
на первый запрос, второй запрос и т. д.,
не вызывает особых трудностей.

Опыт, накопленный
в ходе предыдущих опросов, также может
служить основой для уменьшения эффекта
неполучения данных. Организации, часто
проводящие однотипные выборочные
обследования, сочтут этот подход наиболее
действенным. Ни один из названных методов
оптимизации не может быть назван
совершенным, однако лучше воспользоваться
любым из них, чем не использовать никакого
и уравнять характеристики нереспондентов
и респондентов. Именно это и происходит
в тех случаях, когда мы не пытаемся
ослабить эффект неполучения данных.

Частичное
неполучение данных.
До сих пор мы говорили о полном
неполучении данных. Частичное неполучение
данных,
которое также может приводить к
возникновению серьезных проблем, состоит
в том, что респондент, согласившийся
принять участие в опросе, не хочет или
не может ответить на некоторые вопросы
вследствие специфики их формы или
содержания или вследствие нежелания
обременять себя поиском нужной информации.
Как уже говорилось ранее, при разработке
опросных листов исследователи пытаются
сделать все возможное для того, чтобы
подобных проблем не возникало. Тем не
менее полностью исключить появление
таких вопросов невозможно.

Возможность
исправления ситуации во многом зависит
от размера частичного неполучения
данных. Здесь мы должны различать
катастрофическое или случайное, частичное
неполучение данных. Если слишком большое
количество вопросов остается без
ответов, последние теряют смысл, и мы
приходим к ситуации полного неполучения
данных от ряда респондентов. Если же
количество таких вопросов относительно
невелико, ответ остается осмысленным.
В любом случае при обработке результатов
варианты «не знаю» и «отсутствие ответа»
должны идти отдельными позициями. Этот
подход представляется оптимальным,
поскольку явлению частичного неполучения
данных в этом случае может быть дана
должная оценка. В некоторых случаях
недостающая информация по какому-то
пункту или пунктам может быть восполнена
путем анализа иных пунктов заполненного
опросного листа. Это относится прежде
всего к тем

случаям, когда
одной теме или предмету посвящено сразу
несколько вопросов. Полученные ответы
анализируются, и на этой основе заполняется
пропущенная позиция. Если подобная
согласованность отсутствует, возможно
прибегнуть к регрессивному
анализу,
посредством которого устанавливается
взаимосвязь нескольких показателей.
Отсутствующий пункт рассматривается
как целевой количественный показатель.
С помощью регрессивного анализа
устанавливается его априорная
функциональная зависимость от других
показателей (по результатам обследований,
в которых были получены ответы на все
вопросы). Установленная зависимость
позволяет неким образом оценить
недостающие ответы опросных листов.

Последний, третий
способ восполнения частичного неполучения
информации состоит в подстановке
среднего значения, определенного для
полученных ответов. Разумеется, при
этом мы исходим из предположения, что
лица, не ответившие на вопросы, ничем
не отличаются от лиц, ответивших на них.
Подобная подстановка среднего весьма
рискованна, — ею следует пользоваться
с большой осторожностью.

ДОЛЯ
ПОЛНЫХ ОТВЕТОВ

Мера
оценки и сравнения работы интервьюеров
по их умению получать от респондентов
всю требуемую информацию.

Доля ответивших
и доля полных ответов.
Подобно тому, как доля контактов может
использоваться для оценки и сравнения
работы регистраторов по количеству
отсутствующих респондентов, для сравнения
их работы по количеству отказов могут
использоваться два показателя: доля
ответивших R,
и доля полных
ответов С.
Как уже объяснялось ранее, доля ответивших
равна отношению количества ответивших
к общему количеству приемлемых
респондентов в выборке. Доля ответивших
может использоваться для оценки
определенных аспектов работы интервьюера.

Доля полных ответов
имеет существенно иное значение. Обычно
этот показатель используется для оценки
способности интервьюеров получать
ответы на ключевые вопросы обследования,
такие как уровень доходов респондента,
наличие у него долгов и тому подобное,
хотя его можно использовать и для оценки
всего обследования. Доля полных ответов
позволяет судить о полноте представленного
ответа.

ОШИБКИ НАБЛЮДЕНИЯ

Ошибки наблюдения,
определенные ранее, могут быть менее
очевидными, чем ошибки ненаблюдения,
вследствие чего наблюдатель может даже
не догадываться об их существовании.

ОШИБКИ
СБОРА

Систематическая
ошибка, возникающая при сборе данных.

Ошибки сбора.
Наиболее распространенной ошибкой
наблюдений является
ошибка сбора,
которая возникает уже после того, как
нужный индивид согласится принять
участие в обследовании. Вместо того
чтобы идти на полное сотрудничество,
он отказывается отвечать на одни и дает
неправильные ответы на другие вопросы
интервьюера. Такие ошибки принято
именовать соответственно ошибками
пропуска и
ошибками
свидетельства.
В предыдущей части мы рассматривали
ошибки пропуска и неполного получения
информации. Теперь мы хотим привлечь
ваше внимание к ошибкам свидетельства,
которые принято относить к ошибкам в
ответах.

При рассмотрении
ошибок в ответах следует понимать смысл
процедуры опроса. Во-первых, респонденту
надлежит понять суть вопроса. Во-вторых,
ему необходимо обдумать свой ответ.
Респондент пытается найти требуемую
информацию и восстанавливает в сознании
соответствующие факты, события и
ощущения. Он или она пытается неким
образом организовать свой ответ исходя
из этой информации. В-третьих, респондент
понимает, что его ответ должен быть
точным. В-четвертых, он должен
руководствоваться и иными соображениями:
стремлением произвести на интервьюера
должное впечатление и тому подобное. И
наконец, он должен вербализовать
результаты представленного ментального
процесса. Целью опроса является реализация
последней стадии. Нарушить же этот
процесс возможно на любом этапе,
следствием чего будет неточный ответ
или, что то же самое, ошибка в ответе.

Рис.
18.4.
Опрос — модель возникновения ошибок

Факторы, способные
вызвать ошибки в ответах, столь
многочисленны, что практически не
поддаются классификации. Тем не менее
при работе с ошибками сбора данных можно
воспользоваться схемой Кана— Кэннела
(рис. 18.4). Данная модель исходит из
нескольких предположений. Во-первых,
каждая личность имеет свойственные ей
характеристики и психологические
предпочтения, которые могут повлиять
на отношение к опросу. Некоторые
характеристики (такие, как возраст и
пол) очевидны, другие (такие, как
психологическое состояние) могут
оставаться неизвестными интервьюеру.
В любом случае интервьюер и респондент
вступают в определенную систему
взаимоотношении, обусловленных как
названными факторами, так и данными
непосредственного чувственного
восприятия. Во-вторых, интервью является
интерактивным процессом, детерминантами
которого являются как интервьюер, так
и респондент. Каждая из сторон отрабатывает
специфическое поведение другой стороны.
Заметьте, однако, что между поведенческими
блоками нет непосредственной связи.
Эта связь имеет более сложный характер.
«Поведение интервьюера и респондента
определяется восприятием поведения
противной стороны, когнитивной или
социально обусловленной реакцией и,
наконец, результирующим стимулом,
подлежащим той или иной модели поведения.
Только на этой стадии поведенческий
акт принимает свойственную ему
определенность, которая воспринимается
и отрабатывается вторым участником
взаимодействия».

Восприятие поведения
может быть неадекватным, точно так же
как неадекватным может быть само
восприятие сторон. И интервьюер, и
респондент должны сделать определенные
усилия, для того чтобы стало возможным
их полноценное общение в ситуации
опроса. На его результат влияет не только
специфика поведения участников интервью,
но и их характеристики, и психологические
особенности.

Модель взаимодействия
интервьюера-респондента имеет ряд
привлекательных особенностей. Во-первых,
она соответствует эмпирическим данным.
Во-вторых, она позволяет судить о том,
как можно было бы свести к минимуму
ошибки в ответах (а также ошибки
неполучения данных, вызванные отказами).
Данная модель приложима не только к
персональному, но и к телефонному и
почтовому методам опроса, что еще больше
повышает ее ценность. Приведем пример.
Специфическое восприятие данным
респондентом характеристик и модели
поведения телефонного интервьюера, вне
всяких сомнений повлияет на его,
респондента, ответы. Это касается как
личности самого интервьюера, так и
возможных подозрений респондента,
считающего истинные цели обследования
иными, сомневающегося в конфиденциальности
беседы и т. п. Факторы такого рода могут
свести все попытки интервьюера на нет,
причем ложность ответов будет уже
неслучайной.

Личные особенности
(характеристики).
Опытные данные свидетельствуют о том,
что личные особенности могут серьезно
повлиять на ответы. Если интервьюер и
респондент имеют много общего, их
взаимодействие становится куда более
легким и успешным. В первую очередь это
относится к таким очевидным характеристикам,
как национальность, возраст и пол, но
это же правило приложимо и к менее
очевидным особенностям: принадлежности
к определенному классу или группе
населения. Имеет смысл подбирать
интервьюера таким образом, чтобы он как
можно меньше отличался от респондента,
в этом случае вероятность позитивного
исхода интервью существенно возрастает.

К сожалению,
использовать этот принцип на практике
крайне сложно. В роли интервьюеров в
большинстве случаев выступают домохозяйки,
пытающиеся повысить доходы семьи.
Сказать, что в деятельности такого рода
принимают участи представители различных
групп и слоев населения, можно было бы
только с очень большой натяжкой. Каким
же образом исследователь может повлиять
на соответственные ошибки? Можно
определить степень изменчивости
интервьюеров, можно поменять график и
стиль их работы, но самым эффективным
способом, как уже было отмечено выше,
является подбор интервьюеров, принадлежащих
к различным социальным группам.

Психологические
факторы.
Опытные данные говорят о том, что
результаты работы интервьюеров имеют
явную обусловленность их взглядами,
позициями и стремлениями. Естественно,
подобную психологическую обусловленность
имеет любой человек. Возможно ли вообще
как-то контролировать эти факторы, и
если да, то как это сделать? Прежде всего
следует обратить особое внимание на
обучение персонала. Сами психологические
склонности интервьюеров некритичны,
поскольку этот психологический фактор
остается скрытым от респондента. Главное,
чтобы они не влияли на ход интервью и
соответственно не искажали бы ответов.

Именно по этой
причине большинство обследова­ний
проводится по жесткой фиксированной
схеме, которой должны неукоснительно
придерживаться все интервьюеры.
Необходимо наличие ясной письменной
инструкции. Она должна четко определять
цель обследования и содержать описание
используемых материалов: опросных
листов, карт, нормативов и т. п. Должно
даваться развернутое описание процедуры
опроса, типы приемлемых формулировок,
способы и нормы проверок (если таковые
производятся). В инструкциях должны
задаваться количество и тип респондентов,
с которыми интервьюеру следует вступить
в контакт, а также временные рамки
обследования. Инструкции должны быть
упорядоченными и однозначными.

Важно, чтобы
содержание и язык инструкций были
доступны каждому интервьюеру. Эта цель
может быть достигнута в ходе занятий с
ними. В некоторых случаях имеет смысл
экзаменовать потенциальных интервьюеров
на предмет понимания ими цели обследования
:

и владения методами,
позволяющими получать объективные, не
обусловленные позицией самого интервьюера
ответы.

Поведенческие
факторы.
Биографические данные, мнения, позиции,
намерения респондента также могут
являться источником ошибок. Их наличие
или отсутствие зависит от характера
взаимодействия интервьюер—респондент.
Иными словами, ошибки такого рода
возникают непосредственно в ходе этого
взаимодействия.

К сожалению, опытные
данные говорят о том, что даже при
относительной простоте опросных листов
и жесткости правил проведения опроса
интервьюеры зачастую не соблюдают
требований инструкции, что влечет за
собой ошибки. В одном классическом
обследовании 15 интервьюеров, окончивших
колледж, производили опрос одного и
того же респондента, которому была дана
инструкция дать одинаковые ответы всем
пятнадцати интервьюерам. Все интервью
были записаны и впоследствии
проанализированы. Самой большой
неожиданностью стало количество
допущенных ошибок. Было сделано 66
неудачных попыток прояснить суть явно
неадекватных ответов дополнительными
вопросами; общее же количество ошибок
в расчете на одного респондента колебалось
между 12 и 36. При другом обследовании
было установлено, что «треть интервьюеров…
часто допускает ошибки и пренебрегает
требованиями действующей инструкции,
не умея ясно выразить суть основных
понятий, искажая их, сокращая вопросы
или не понимая ответов».

Три модели поведения
интервьюеров приводят к появлению
ошибок: (1) ошибки при формулировке
вопросов и неумение задавать уточняющие
вопросы, (2) ошибки при записи ответов,
(3) подтасовка данных.

Ошибки при
формулировке вопросов могут сопутствовать
вопросам любого типа, наиболее же острой
эта проблема становится при работе с
вопросами, допускающими различные
толкования, предполагающими продолжение
опроса. Разные интервьюеры будут задавать
разные уточняющие вопросы. Могут
отличаться как смысл, так и продолжительность
дополнительного опроса. Соответственно
различие ответов может вызываться как
«истинным» отличием позиций респондентов,
так и различием подходов при проведении
дополнительного опроса.

Немаловажное
значение имеет и то, как будет сформулирован
исходный вопрос. Интервьюеры склонны
перефразировать его, дабы сделать суть
вопроса более понятной для респондента.
При этом они могут «вчитывать» в него
собственное понимание или собственную
позицию, тем самым предрасполагая
респондента к тому или к иному ответу.

Как ни странно,
альтернативные вопросы сопряжены с
высокой вероятностью появления ошибки.
Эта ошибка может возникать, например,
вследствие того, что при постановке
вопроса интервьюер может сделать особый
акцент на одной из альтернатив. Небольшого
изменения тона достаточно для того,
чтобы изменить смысл всего вопроса. В
одном из недавних исследований,
посвященных проблеме ошибок интервьюеров
при формулировке вопросов, было
установлено, что в зависимости от типа
среднее количество ошибок, приходящихся
на один вопрос, составляет

• ошибки чтения
0,293;

• варианты
вербализации 0,116;

• уточняющие
вопросы 0,140;

• обратная связь
0,161.

Одна из главных
задач интервьюера — удержание внимания
и интереса респондента. Одновременно
интервьюер должен фиксировать
неоднозначные ответы респондента или
перепроверять их соответствие друг
другу. Одновременное решение двух этих
задач в ряде случаев может приводить к
ошибкам. Занятый своим делом интервьюер
может «не услышать» респондента. Причиной
этого может стать как неразборчивость
сказанного, так и сосредоточенность
интервьюера на чем-то ином. Последний
может услышать именно то, что он хотел
услышать, и воспринять именно то, что
он хотел воспринять. К ошибкам такого
рода склонен любой человек, их может
совершить каждый. Если же мы будем
слишком требовательными, работа может
показаться интервьюерам непосильной,
вследствие чего они откажутся от ее
исполнения.

Подтасовка данных
также может стать источником ошибки.
Эта подтасовка может относиться как ко
всему опросному листу, так и к отдельным
его пунктам. Фонд рекламных исследований
(АКР) порой проводит проверочные повторные
обследования выборок, уже подвергавшихся
обследованию. Сотрудники фонда хотят
убедиться в том, что опрос действительно
имел место, и что были заданы все нужные
вопросы. При проведении одного из таких
обследований оказалось, что 5,4% опросных
листов 33 различных обследований не
находят подтверждения, а 7,9% имеют не
менее двух серьезных противоречий. Даже
Бюро переписей, которое можно было бы
назвать самым скрупулезным и аккуратным
сборщиком информации в мире, постоянно
сталкивается со сфабрикованными
опросными листами. Исследовательское
окно 18.3 может служить иллюстрацией к
сказанному.

Большинство
коммерческих исследовательских фирм
проверяет достоверность 10-20 % опросных
листов путем проведения контрольного
почтового или телефонного опроса. При
этом проверяется следующее:

1. Метод опроса —
проверяется соответствие использованного
метода заданному (например, действительно
ли проводился персональный, а не
телефонный опрос).

2. Поставленные
вопросы — проверка того, не были ли
выпущены из рассмотрения важные вопросы
(демографического или классификационного
характера).

3. Демонстрация
продукции — проверка того, действительно
ли была произведена потребная для
проведения опроса демонстрация продукта
или информационного листа.

4. Знакомство
респондента с интервьюером — проверка
того, не занимался ли интервьюер опросом
своих знакомых или друзей.

5. Реакция на
проведение опроса — проверка «качества»
работы интервьюера.

Другой разновидностью
обмана, не являющейся ошибкой в ответах,
но серьезно влияющей на все систематические
ошибки, могут быть раздутые счета.
Интервьюер может указать завышенное
расстояние или завышенную продолжительность
обследования. Проблема эта имеет весьма
широкое распространение вследствие
специфики работы интервьюера. Прямой
контроль над интервьюером отсутствует,
оплачивается же его труд весьма скромно.
Оплата труда инспектора обычно зависит
от зарплаты интервьюера, чем выше
последняя, тем больше первая. Раздутые
счета отвлекают средства от других
статей обследования и снижают его
эффективность, поскольку стоимость
информации возрастает.

Как уже говорилось
ранее, ошибки в ответах сложнее поддаются
коррекции, чем ошибки неполучения
информации. Их знак и их величина
неизвестны, поскольку их невозможно
определить, не зная истинного значения.
Исследователю надлежит стремиться к
их недопущению, ибо они не поддаются
устранению. Источники ошибок могут быть
различными, соответственно различными
могут быть и меры их предотвращения.
Скажем, обучение позволяет сократить
количество ошибок при формулировании
вопросов и записи ответов. Подобным же
образом с подтасовкой данных можно
бороться надлежащим отбором персонала
и определением уровня оплаты интервьюеров
и системы контроля. Квалификация
интервьюера может оцениваться по
качеству его работы, ее стоимости, типам
ошибок, способности следовать инструкциям
и т. п. Мы не будем останавливаться на
этом вопросе, поскольку это потребовало
бы написания отдельной книги. Нам
достаточно помнить о существовании
ошибок в ответах, о причинах, их
порождающих, и об их деструктивном
характере. Модель взаимодействия
интервьюер—респондент способствует
наглядному представлению этих причин
и нахождению методов их предотвращения.

Офисные ошибки.
Систематические ошибки могут возникать
не только при сборе информации. Они
могут появляться при редактировании,
кодировании, составлении таблиц и
анализе данных. В большинстве случаев
эти ошибки могут быть устранены частично
или полностью введением надлежащего
контроля над процессом обработки данных.
Эти вопросы обсуждаются в главах,
посвященных анализу полученных
результатов.

Систематической погрешностью называется составляющая погрешности измерения, остающаяся постоянной или закономерно меняющаяся при повторных измерениях одной и той же величины. При этом предполагается, что систематические погрешности представляют собой определенную функцию неслучайных факторов, состав которых зависит от физических, конструкционных и технологических особенностей средств измерений, условий их применения, а также индивидуальных качеств наблюдателя. Сложные детерминированные закономерности, которым подчиняются систематические погрешности, определяются либо при создании средств измерений и комплектации измерительной аппаратуры, либо непосредственно при подготовке измерительного эксперимента и в процессе его проведения. Совершенствование методов измерения, использование высококачественных материалом, прогрессивная технология — все это позволяет на практике устранить систематические погрешности настолько, что при обработке результатов наблюдений с их наличием зачастую не приходится считаться.

Систематические погрешности принято классифицировать в зависимости от причин их возникновения и по характеру их проявления при измерениях.

В зависимости от причин возникновения рассматриваются четыре вида систематических погрешностей.

1. Погрешности метода, или теоретические погрешности, проистекающие от ошибочности или недостаточной разработки принятой теории метода измерений в целом или от допущенных упрощений при проведении измерений.

Погрешности метода возникают также при экстраполяции свойства, измеренного на ограниченной части некоторого объекта, на весь объект, если последний не обладает однородностью измеряемого свойства. Так, считая диаметр цилиндрического вала равным результату, полученному при измерении в одном сечении и в одном направлении, мы допускаем систематическую погрешность, полностью определяемую отклонениями формы исследуемого вала. При определении плотности вещества по измерениям массы и объема некоторой пробы возникает систематическая погрешность, если проба содержала некоторое количество примесей, а результат измерения принимается за характеристику данного вещества -вообще.

К погрешностям метода следует отнести также те погрешности, которые возникают вследствие влияния измерительной аппаратуры на измеряемые свойства объекта. Подобные явления возникают, например, при измерении длин, когда измерительное усилие используемых приборов достаточно велико, при регистрации быстропротекаюших процессов недостаточно быстродействующей аппаратурой, при измерениях температур жидкостными или газовыми термометрами и т.д.

2. Инструментальные погрешности, зависящие от погрешностей применяемых средств измерений.. Среди инструментальных погрешностей в отдельную группу выделяются погрешности схемы, не связанные с неточностью изготовления средств измерения и обязанные своим происхождением самой структурной схеме средств измерений. Исследование инструментальных погрешностей является предметом специальной дисциплины — теории точности измерительных устройств.

3.   Погрешности, обусловленные неправильной установкой и взаимным расположением средств измерения, являющихся частью единого комплекса, несогласованностью их характеристик, влиянием внешних температурных, гравитационных, радиационных и других полей, нестабильностью источников питания, несогласованностью входных и выходных параметров электрических цепей приборов и т.д.

4. Личные погрешности, обусловленные индивидуальными особенностями наблюдателя. Такого рода погрешности вызываются, например, запаздыванием или опережением при регистрации сигнала, неправильным отсчетом десятых долей деления шкалы, асимметрией, возникающей при установке штриха посередине между двумя рисками.

По характеру своего поведения в процессе измерения систематические погрешности подразделяются на постоянные и переменные.

Постоянные систематические погрешности возникают, например, при неправильной установке начала отсчета, неправильной градуировке и юстировке средств измерения и остаются постоянными при всех повторных наблюдениях. Поэтому, если уж они возникли, их очень трудно обнаружить в результатах наблюдений.

Среди переменных систематических погрешностей принято выделять прогрессивные и периодические.

Прогрессивная погрешность возникает, например, при взвешивании, когда одно из коромысел весов находится ближе к источнику тепла, чем другое, поэтому быстрее нагревается и

удлиняется. Это приводит к систематическому сдвигу начала отсчета и к монотонному изменению показаний весов.

Периодическая погрешность присуща измерительным приборам с круговой шкалой, если ось вращения указателя не совпадает с осью шкалы.

Все остальные виды систематических погрешностей принято называть погрешностями, изменяющимися по сложному закону.

В тех случаях, когда при создании средств измерений, необходимых для данной измерительной установки, не удается устранить влияние систематических погрешностей, приходится специально организовывать измерительный процесс и осуществлять математическую обработку результатов. Методы борьбы с систематическими погрешностями заключаются в их обнаружении и последующем исключении путем полной или частичной компенсации. Основные трудности, часто непреодолимые, состоят именно в обнаружении систематических погрешностей, поэтому иногда приходится довольствоваться приближенным их анализом.

Способы обнаружения систематических погрешностей. Результаты наблюдений, полученные при наличии систематических погрешностей, будем называть неисправленными и в отличие от исправленных снабжать штрихами их обозначения (например, Х1, Х₂ и т.д.). Вычисленные в этих условиях средние арифметические значения и отклонения от результатов наблюдений будем также называть неисправленными и ставить штрихи у символов этих величин. Таким образом,

Поскольку неисправленные результаты наблюдений включают в себя систематические погрешности, сумму которых для каждого /-го наблюдения будем обозначать через 8., то их математическое ожидание не совпадает с истинным значением измеряемой величины и отличается от него на некоторую величину 0, называемую систематической погрешностью неисправленного среднего арифметического. Действительно,

Если систематические погрешности постоянны, т.е. 0_/ = 0, /=1,2, …, п, то неисправленные отклонения могут быть непосредственно использованы для оценки рассеивания ряда наблюдений. В противном случае необходимо предварительно исправить отдельные результаты измерений, введя в них так называемые поправки, равные систематическим погрешностям по величине и обратные им по знаку:

q = -Oi.

Таким образом, для нахождения исправленного среднего арифметического и оценки его рассеивания относительно истинного значения измеряемой величины необходимо обнаружить систематические погрешности и исключить их путем введения поправок или соответствующей каждому конкретному случаю организации самого измерения. Остановимся подробнее на некоторых способах обнаружения систематических погрешностей.

Постоянные систематические погрешности не влияют на значения случайных отклонений результатов наблюдений от средних арифметических, поэтому никакая математическая обработка результатов наблюдений не может привести к их обнаружению. Анализ таких погрешностей возможен только на основании некоторых априорных знаний об этих погрешностях, получаемых, например, при поверке средств измерений. Измеряемая величина при поверке обычно воспроизводится образцовой мерой, действительное значение которой известно. Поэтому разность между средним арифметическим результатов наблюдения и значением меры с точностью, определяемой погрешностью аттестации меры и случайными погрешностями измерения, равна искомой систематической погрешности.

Одним из наиболее действенных способов обнаружения систематических погрешностей в ряде результатов наблюдений является построение графика последовательности неисправленных значений случайных отклонений результатов наблюдений от средних арифметических.

Рассматриваемый способ обнаружения постоянных систематических погрешностей можно сформулировать следующим образом: если неисправленные отклонения результатов наблюдений резко изменяются при изменении условий наблюдений, то данные результаты содержат постоянную систематическую погрешность, зависящую от условий наблюдений.

Систематические погрешности являются детерминированными величинами, поэтому в принципе всегда могут быть вычислены и исключены из результатов измерений. После исключения систематических погрешностей получаем исправленные средние арифметические и исправленные отклонения результатов наблюдении, которые позволяют оценить степень рассеивания результатов.

Для исправления результатов наблюдений их складывают с поправками, равными систематическим погрешностям по величине и обратными им по знаку. Поправку определяют экспериментально при поверке приборов или в результате специальных исследований, обыкновенно с некоторой ограниченной точностью.

Поправки могут задаваться также в виде формул, по которым они вычисляются для каждого конкретного случая. Например, при измерениях и поверках с помощью образцовых манометров следует вводить поправки к их показаниям на местное значение ускорения свободного падения

где Р — измеряемое давление.

Введением поправки устраняется влияние только одной вполне определенной систематической погрешности, поэтому в результаты измерения зачастую приходится вводить очень большое число поправок. При этом вследствие ограниченной точности определения поправок накапливаются случайные погрешности и дисперсия результата измерения увеличивается.

Систематическая погрешность, остающаяся после введения поправок на ее наиболее существенные составляющие включает в себя ряд элементарных составляющих, называемых неисключенными остатками систематической погрешности. К их числу относятся погрешности:

•   определения поправок;

•   зависящие от точности измерения влияющих величин, входящих в формулы для определения поправок;

•   связанные с колебаниями влияющих величин (температуры окружающей среды, напряжения питания и т.д.).

Перечисленные погрешности малы, и поправки на них не вводятся.

From Wikipedia, the free encyclopedia

«Systematic bias» redirects here. For the sociological and organizational phenomenon, see Systemic bias.

Observational error (or measurement error) is the difference between a measured value of a quantity and its true value.^[1] In statistics, an error is not necessarily a «mistake». Variability is an inherent part of the results of measurements and of the measurement process.

Measurement errors can be divided into two components: random and systematic.^[2]
Random errors are errors in measurement that lead to measurable values being inconsistent when repeated measurements of a constant attribute or quantity are taken. Systematic errors are errors that are not determined by chance but are introduced by repeatable processes inherent to the system.^[3] Systematic error may also refer to an error with a non-zero mean, the effect of which is not reduced when observations are averaged.^{[citation needed]}

Measurement errors can be summarized in terms of accuracy and precision.
Measurement error should not be confused with measurement uncertainty.

Science and experiments[edit]

When either randomness or uncertainty modeled by probability theory is attributed to such errors, they are «errors» in the sense in which that term is used in statistics; see errors and residuals in statistics.

Every time we repeat a measurement with a sensitive instrument, we obtain slightly different results. The common statistical model used is that the error has two additive parts:

1. Systematic error which always occurs, with the same value, when we use the instrument in the same way and in the same case.
2. Random error which may vary from observation to another.

Systematic error is sometimes called statistical bias. It may often be reduced with standardized procedures. Part of the learning process in the various sciences is learning how to use standard instruments and protocols so as to minimize systematic error.

Random error (or random variation) is due to factors that cannot or will not be controlled. One possible reason to forgo controlling for these random errors is that it may be too expensive to control them each time the experiment is conducted or the measurements are made. Other reasons may be that whatever we are trying to measure is changing in time (see dynamic models), or is fundamentally probabilistic (as is the case in quantum mechanics — see Measurement in quantum mechanics). Random error often occurs when instruments are pushed to the extremes of their operating limits. For example, it is common for digital balances to exhibit random error in their least significant digit. Three measurements of a single object might read something like 0.9111g, 0.9110g, and 0.9112g.

Characterization[edit]

Measurement errors can be divided into two components: random error and systematic error.^[2]

Random error is always present in a measurement. It is caused by inherently unpredictable fluctuations in the readings of a measurement apparatus or in the experimenter’s interpretation of the instrumental reading. Random errors show up as different results for ostensibly the same repeated measurement. They can be estimated by comparing multiple measurements and reduced by averaging multiple measurements.

Systematic error is predictable and typically constant or proportional to the true value. If the cause of the systematic error can be identified, then it usually can be eliminated. Systematic errors are caused by imperfect calibration of measurement instruments or imperfect methods of observation, or interference of the environment with the measurement process, and always affect the results of an experiment in a predictable direction. Incorrect zeroing of an instrument leading to a zero error is an example of systematic error in instrumentation.

The Performance Test Standard PTC 19.1-2005 “Test Uncertainty”, published by the American Society of Mechanical Engineers (ASME), discusses systematic and random errors in considerable detail. In fact, it conceptualizes its basic uncertainty categories in these terms.

Random error can be caused by unpredictable fluctuations in the readings of a measurement apparatus, or in the experimenter’s interpretation of the instrumental reading; these fluctuations may be in part due to interference of the environment with the measurement process. The concept of random error is closely related to the concept of precision. The higher the precision of a measurement instrument, the smaller the variability (standard deviation) of the fluctuations in its readings.

Sources[edit]

Sources of systematic error[edit]

Imperfect calibration[edit]

Sources of systematic error may be imperfect calibration of measurement instruments (zero error), changes in the environment which interfere with the measurement process and sometimes imperfect methods of observation can be either zero error or percentage error. If you consider an experimenter taking a reading of the time period of a pendulum swinging past a fiducial marker: If their stop-watch or timer starts with 1 second on the clock then all of their results will be off by 1 second (zero error). If the experimenter repeats this experiment twenty times (starting at 1 second each time), then there will be a percentage error in the calculated average of their results; the final result will be slightly larger than the true period.

Distance measured by radar will be systematically overestimated if the slight slowing down of the waves in air is not accounted for. Incorrect zeroing of an instrument leading to a zero error is an example of systematic error in instrumentation.

Systematic errors may also be present in the result of an estimate based upon a mathematical model or physical law. For instance, the estimated oscillation frequency of a pendulum will be systematically in error if slight movement of the support is not accounted for.

Quantity[edit]

Systematic errors can be either constant, or related (e.g. proportional or a percentage) to the actual value of the measured quantity, or even to the value of a different quantity (the reading of a ruler can be affected by environmental temperature). When it is constant, it is simply due to incorrect zeroing of the instrument. When it is not constant, it can change its sign. For instance, if a thermometer is affected by a proportional systematic error equal to 2% of the actual temperature, and the actual temperature is 200°, 0°, or −100°, the measured temperature will be 204° (systematic error = +4°), 0° (null systematic error) or −102° (systematic error = −2°), respectively. Thus the temperature will be overestimated when it will be above zero and underestimated when it will be below zero.

Drift[edit]

Systematic errors which change during an experiment (drift) are easier to detect. Measurements indicate trends with time rather than varying randomly about a mean. Drift is evident if a measurement of a constant quantity is repeated several times and the measurements drift one way during the experiment. If the next measurement is higher than the previous measurement as may occur if an instrument becomes warmer during the experiment then the measured quantity is variable and it is possible to detect a drift by checking the zero reading during the experiment as well as at the start of the experiment (indeed, the zero reading is a measurement of a constant quantity). If the zero reading is consistently above or below zero, a systematic error is present. If this cannot be eliminated, potentially by resetting the instrument immediately before the experiment then it needs to be allowed by subtracting its (possibly time-varying) value from the readings, and by taking it into account while assessing the accuracy of the measurement.

If no pattern in a series of repeated measurements is evident, the presence of fixed systematic errors can only be found if the measurements are checked, either by measuring a known quantity or by comparing the readings with readings made using a different apparatus, known to be more accurate. For example, if you think of the timing of a pendulum using an accurate stopwatch several times you are given readings randomly distributed about the mean. Hopings systematic error is present if the stopwatch is checked against the ‘speaking clock’ of the telephone system and found to be running slow or fast. Clearly, the pendulum timings need to be corrected according to how fast or slow the stopwatch was found to be running.

Measuring instruments such as ammeters and voltmeters need to be checked periodically against known standards.

Systematic errors can also be detected by measuring already known quantities. For example, a spectrometer fitted with a diffraction grating may be checked by using it to measure the wavelength of the D-lines of the sodium electromagnetic spectrum which are at 600 nm and 589.6 nm. The measurements may be used to determine the number of lines per millimetre of the diffraction grating, which can then be used to measure the wavelength of any other spectral line.

Constant systematic errors are very difficult to deal with as their effects are only observable if they can be removed. Such errors cannot be removed by repeating measurements or averaging large numbers of results. A common method to remove systematic error is through calibration of the measurement instrument.

Sources of random error[edit]

The random or stochastic error in a measurement is the error that is random from one measurement to the next. Stochastic errors tend to be normally distributed when the stochastic error is the sum of many independent random errors because of the central limit theorem. Stochastic errors added to a regression equation account for the variation in Y that cannot be explained by the included Xs.

Surveys[edit]

The term «observational error» is also sometimes used to refer to response errors and some other types of non-sampling error.^[1] In survey-type situations, these errors can be mistakes in the collection of data, including both the incorrect recording of a response and the correct recording of a respondent’s inaccurate response. These sources of non-sampling error are discussed in Salant and Dillman (1994) and Bland and Altman (1996).^[4][5]

These errors can be random or systematic. Random errors are caused by unintended mistakes by respondents, interviewers and/or coders. Systematic error can occur if there is a systematic reaction of the respondents to the method used to formulate the survey question. Thus, the exact formulation of a survey question is crucial, since it affects the level of measurement error.^[6] Different tools are available for the researchers to help them decide about this exact formulation of their questions, for instance estimating the quality of a question using MTMM experiments. This information about the quality can also be used in order to correct for measurement error.^[7][8]

Effect on regression analysis[edit]

If the dependent variable in a regression is measured with error, regression analysis and associated hypothesis testing are unaffected, except that the R² will be lower than it would be with perfect measurement.

However, if one or more independent variables is measured with error, then the regression coefficients and standard hypothesis tests are invalid.^{[9]: p. 187} This is known as attenuation bias.^[10]

See also[edit]

References[edit]

Further reading[edit]

• Cochran, W. G. (1968). «Errors of Measurement in Statistics». Technometrics. 10 (4): 637–666. doi:10.2307/1267450. JSTOR 1267450.