Какие существуют ошибки исследования

Выполнение научно-исследовательских проектов сопровождается рядом сложностей. Ни один автор, будь то начинающий исследователь, студент или уже опытный исполнитель не сможет с первого раза безоговорочно и верно выполнить его. Какие-либо огрехи и ошибки им все равно будут допущены. Главное – вовремя их заметить и устранить, чтобы в дальнейшем они не сказались на конечном результате, и не пришлось заново организовывать эксперимент, полностью переделывать работу.

Сегодня мы расскажем, какие ошибки чаще всего допускают авторы научно- следовательских работ, как их выявить и оперативно ликвидировать.

Ошибки в тексте

Самая банальная и притом едва заметная ошибка может встретиться в любой части работы, где присутствует текст. К данной разновидности относят орфографические, пунктуационные, логические и стилистические недочеты. Казалось бы, какое отношение имеют данные ошибки к специалистам технических, экономических, психологических и иных наук? Они ведь занимаются исследованием конкретной проблемы, а не изучением правил написания слов и предложений. На самом деле порой именно простейшая ошибка, описка в слове способна испортить не только первое впечатление об авторе, но и всем исследовании.

Каким будет качество научной работы, если в ней присутствуют банальные ошибки в тексте, прослеживаются погрешности в логичности и последовательности мыслей? Что уж говорить о качестве исследования, если автор не может правильно и грамотно связать несколько слов?

Опытный исследователь должен быть профессионалом не только в конкретной научной области, но и во всем! Уровень компетентности, высокая квалификация и репутация проявляется не только в его мыслях и достижениях, но и грамотном тексте. Поэтому важно тщательно перепроверять написанный материал на ошибки и ликвидировать их.

Самыми распространенными ошибками в тексте являются:

• Орфография (ошибки в словах, описки);
• Пунктуационные (неправильная расстановка знаков препинания);
• Логические (наличие противоречий в тексте, нарушение последовательности мыслей, нестыковки между фактами и высказываниями и пр.);
• Стилистические (выход за рамки академического письма, использование неуместной терминологии, лексики и пр.).

Сегодня проверять материал на ошибки можно разными способами: самостоятельно вычитывать текст, доверить это дело квалифицированному лингвисту, редактору или корректору, воспользоваться специальными программами и сервисами по проверке текста.

Ошибки в практической части

Научно-исследовательская деятельность сопровождается проверкой гипотезы на практике или проведением эксперимента. Здесь для получения максимально точного результата важно тщательно планировать каждое действие и следовать намеченному алгоритму.

При организации и проведении эксперимента важно устанавливать определенные ограничения и соблюдать их. Малейшее отклонение от утвержденного механизма может привести к недостоверному или неточному итогу. Более того, исследователь должен иметь определенную базу для сравнения полученных результатов, шкалу их оценки.

Самой распространенной ошибкой среди начинающих исследователей является несвоевременное фиксирование результатов, полученных в ходе реализации действий. Важно моментально фиксировать итоги, чтобы в дальнейшем разобраться в них и сделать конкретный вывод. В противном случае автор может запамятовать или перепутать итоги разных этапов исследования, неправильно скорректировать план дальнейших действий, не учесть те или иные факторы и пр.

Также к числу недопустимых погрешностей при проведении практической части исследования являются:

• Необоснованное отклонение от базового плана;
• Использование неактуальной методики или нормативной базы для сравнения полученных результатов;
• Отсутствие шкалы оценки полученных итогов.

Учтите, что повторно организовать и провести один и тот же эксперимент, получить одинаковые результаты возможно не всегда (например, в психологии, социологии подобное не работает).

Ошибки в структуре и содержании проекта

Каждая научная работа должна соответствовать конкретным требованиям ГОС, которые прописывают: что должно содержаться в проекте, в какой последовательности, как должна раскрываться тема и пр. Важно учесть каждое правило, иначе автор не сможет получить допуск к защите.

Среди наиболее распространенных ошибок данного плана можно отметить:

• Неправильная формулировка темы научной работы: слишком громоздкая или размытая;
• Отсутствие четкой структуры или неуместное употребление отдельных фрагментов, несоответствие заголовка и содержания;
• Нарушение соразмерности структурных элементов исследования: каждый подпункт и глава должны быть примерно одинаковыми по объему. Нарушение данного баланса является грубой ошибкой;
• «Лирические отступления» в работе, не имеющие отношения к теме исследования. Конечно, в какой-то мере «разбавление» материала определенными фактами возможно, но это должно быть строго по теме исследования, соответствовать логике повествования, теме подзаголовка (структурного элемента), подчеркивать определенные моменты или стороны и пр. Объемные отступления от идеи (темы) недопустимы. Они могут повлечь за собой дисквалификацию проекта или доработку.

• Нарушения правил академического письма. Научно-исследовательская работа пишется строго в рамках научного стиля с соблюдением всех ключевых требований: уместное использование профессиональных терминов, построение текста (логика повествования, структура), стилистика и пр.
• Исследование неактуальной проблемы. Любая научная работа должна изучать и решать важную и значимую проблему, которая оказывает негативное воздействие на определенный объект исследования, отрасль и пр.
• Неконтролируемое копирование чужих мыслей и трудов. В научной среде данное явление называют плагиатом. Объем заимствований в научных исследованиях строго ограничен – максимум 10-15%. Если нарушить данное правило, то проект не будет допущен к публикации и/или защите.
• И пр.

Проверить указанные ошибки бывает сложно. В этом случае неоднократное перечитывание, изучение материалов научной работы неизбежно. Притом сам автор не всегда способен сам заметить ту или иную «оплошность». В этом деле ему поможет научный руководитель проекта.

Самой простой и быстрой проверкой текста исследования на выявление ошибок, оригинальности текста будет использование соответствующих программ и сервисов. Как правило, в научной среде пользуются программой «Антиплагиат.ВУЗ». Автор может воспользоваться ею на кафедре учебного заведения с помощью научного руководителя, квалифицированного эксперта (рецензента, оппонента), бесплатной версий Антиплагиат.ру или иным подобным сервисом (текст.ру, адвего и пр.).

Проверка на уникальность текста в большинстве случаев сопровождается проверкой текста на орфографические и пунктуационные орехи, что в значительной степени способно усовершенствовать проект.

Оформление

Научно-исследовательский проект должен быть оформлен согласно ГОСТ 7.0.11-2011. Малейшее отступление от принятых научным сообществом правил влечет за собой серьезное наказание – недопуск к защите, публикации, а это значит, что заработать достойную репутацию будет непросто.

Автор исследования должен учитывать все до мелочей: оформление текста (шрифт, размер, расположение текста, ссылки и сноски, порядок и объем цитирования и пр.), оформление графических материалов (их уместность и целесообразность, расположение в тексте, наименование и нумерация, анализ), оформление списка использованной литературы (здесь важно не только правильное расположение ресурсов, расстановка знаков препинания и данных о первоисточнике, но и их актуальность) и пр.

По статистике более 75% авторов допускают ошибки в оформлении научной работы. Если их объем незначителен, то проект направляется на доработку. Если же доля погрешностей велика, то проект подлежит дисквалицификации. «Аттестовать» его будет возможно по мере устранения всех недочетов (чаще всего защита переносится на следующий семестр/год).

Грамотно, аргументировано и емко, понятно изложить мысли – основная задача исследователя. Качество научно-исследовательской работы и профессионализм автора кроется не только в умении разбираться в теме, поиске инновационного решения, но и следовании установленным стандартам.

1. Отсутствие
коммуникации с исследователем

Главные ошибки
заказчика в ходе проведения исследования
лежат в сфере коммуникации. Заказав
исследование, многие клиенты либо
перестают общаться с исследователем
вообще, либо общаются не с теми людьми,
либо общаются не на те темы. Менеджер
клиентской компании имеет значительный
дефицит времени, однако отсутствие
коммуникации с исследователем во время
проведения проекта приводит к негативным
последствиям.

В процессе
исследования клиенту необходимо быть
уверенным в том, что исследователь,
который непосредственно работает над
его проектом, хорошо понимает цели
исследования. В противном случае велика
вероятность того, что исследование
будет решать не те задачи, которые в
реальности стоят перед клиентом. Очень
часто вина за плохую коммуникацию лежит
и на исследовательской фирме, внутри
которой не отлажены информационные
потоки.

Сейчас
утверждение клиентом вопросников или
посещение фокус-групп стали общепринятой
практикой. Участие представителей
заказчика в других этапах сбора
информации (например, инструктаже
интервьюеров, проверке анкет, проведении
интервью и т.д.) может быть также очень
полезным. В компании Unilever
принято даже ходить с интервьюерами и
смотреть на то, как берутся личные
квартирные интервью. Тем не менее,
клиенту не стоит впадать в крайность,
когда он пытается контролировать каждый
шаг исследователя, терроризируя его
ежечасными звонками. Выбор исследовательской
фирмы означает определенную степень
доверия к ее профессионализму.

2. Изменение
исследовательских задач в ходе
исследования

Изменение
исследовательских задач в ходе
исследования приводит к тому, что
заказчик не получает того объема и
качества информации, которые могли бы
быть получены, если бы все задачи были
четко определены заранее. Трудно ожидать,
что на исследовательский вопрос,
возникший у заказчика за 15 минут до
фокус-группы будет получен адекватный
ответ. В целом, трансформация задач в
ходе исследования может привести к
тому, что выбранный метод окажется не
соответствующим вновь возникшим
задачам.

Некоторые заказчики
любят значительно увеличивать список
исследовательских задач по ходу
исследования. Это приводит к тому, что
разросшаяся анкета дает искаженные
результаты по всем, а не только по вновь
появившимся, вопросам. Так происходит
из-за резкого увеличения количества
отказов от интервью и невнимательных
случайных ответов.

3. Низкое качество
тестируемых образцов

Часто при проведении
тестирования рекламы, продукта или
упаковки на тест выносятся образцы,
которые недоработаны, совершенно не
похожи на настоящие или существенно
различаются между собой по технике
исполнения. При тестировании упаковок,
распечатанных на дешевом струйном
принтере и склеенных исследователями
в ночь перед тестом, трудно получить
надежные результаты.

3. Ошибки после проведения исследований

Даже когда
исследование уже закончено, опасность
совершения ошибок остается.

Заказчики обычно
делают, следующие ошибки.

1. Неиспользование
результатов исследования

Первая ошибка
заключается в отказе от использования
результатов при принятии решений, что,
впрочем, обычно является следствием
ошибок, допущенных при планировании
исследования.

2.»Обожествление»
отчета

Вторая ошибка –
гипертрофированное внимание, проявляемое
к отчету, который становится своего
рода Священным Писанием, содержащим
ответы на все вопросы о рынке на два
года вперед.

Разновидность
данной ошибки – абсолютизация случайных
выводов, когда, например, высказывания
одного-двух участников фокус-группы
воспринимаются как непосредственное
руководство к действию.

3. Отсутствие
коммуникации с исследователем

Как и во время
проведения исследования; после получения
его результатов очень важна коммуникация
с исследователем. Большую пользу при
принятии управленческих решений дают
презентации результатов исследования,
в которых участвуют все заинтересованные
представители заказчика.

4. Если ошибки
все-таки произошли. Что делать?

Очень важно, чтобы
совершенные ошибки (как приведенные
выше, так и другие), в том числе и ошибки,
совершенные исследовательской компанией,
не порождали у их заказчика комплексы
по отношению к маркетинговым исследованиям.

Особенно важно не
унывать, если неудачным оказался первый
опыт. В этом случае возникают комплексы,
которые можно условно назвать комплексами
«изнасилования» и «импотенции».

Первый комплекс
возникает, когда заказчик исследования
получает за большие деньги явно
низкокачественный продукт, и наиболее
естественная реакция – распространить
эту ситуацию на все исследовательские
компании и прекратить заказывать
исследования вообще.

Источник второго
комплекса – умный, обширный и красивый
отчет, который оказывается неспособным
помочь при решении проблем и кладется
на полку заказчика возникает ощущение,
что исследования для реальной российской
практики бесполезны, и он также вообще
отказывается от проведения исследований.

Для
того, чтобы расходы на маркетинговые
исследования были эффективными и
действительно помогали в процессе
принятия решений, нужно соблюдать
несколько несложных правил, которые
заключаются не только в том, чтобы не
совершать ошибок, описанных выше, но,
прежде всего, в комплексном подходе к
процессу исследований. Ключевые
звенья такого комплексного подхода
следующие:

1. Программа
исследований

Необходимо
иметь программу исследований на период
времени (квартал, полгода или год – в
зависимости от динамики принятия решений
в фирме и стабильности рынка). Программа
исследований должна включать в себя
как исследования, посвященные мониторингу
текущей ситуации, такие как retail
audit,
исследования цен и дистрибуции,
потребительские панели, brand
tracking
и.т.д., так и исследования, необходимые
для принятия решений об инновациях
(тестирование новых продуктов, упаковки,
рекламы, комплексные исследования
новых для компании рынков и т.д.). Программа
исследований должна соотноситься с
планом маркетинга компании и включать
в себя только те исследования, без
которых невозможно принимать управленческие
решения. Все проводимые исследования
должны складываться в систему, что
позволит извлекать дополнительную
информацию путем сравнительного анализа
их результатов.

2.Письменный
запрос на исследование (research
brief)

Уделять
большое внимание подготовке письменного
запроса на исследование (reseach
proposal),
на основании которого исследователь
готовит предложение на проведение
исследования (reseach
proposal).
Такой запрос должен включать в себя
следующие

ключевые элементы:

1. Проблема заказчика,
вызвавшая необходимость проведения
исследования

2. Цели исследования

3. История
возникновения проблемы

4. Как будут
использованы результаты исследования,
кто, где, когда и как будет принимать
управленческие решения на его основании

5.
Формулировка асtion
standards

6. Результаты
предыдущих исследований, которые могут
быть важны для

определения метода
и стоимости исследования (размер и
характеристики целевой группы, удачный
или неудачный опыт использования
определенных методов и т.п.)

7. Сроки и форма
предоставления результатов

Наличие подобного
документа позволяет клиенту быть
уверенным в том, что исследование
способно дать адекватный ответ на его
вопросы и, в случае проведения тендера,
иметь достаточные основания для
рационального выбора.

3. Свой специалист
по исследованиям или постоянная
исследовательская фирма.

Необходимо, чтобы
перевод проблем клиента на язык
исследований был адекватным и все
проводимые исследования были сопоставимы
между собой.

Эту задачу может
решать внутренний специалист по
маркетинговым исследованиям, существование
которого является оправданным только
при достаточно большом исследовательском
бюджете – от $ 50 000 в год.

Такой специалист
готовит программу исследований,
осуществляет коммуникацию, с
исследовательскими фирмами и выбор
исследовательской фирмы для проведения
конкретного исследования, совместно
с исследовательской фирмой занимается
разработкой методик исследований,
анализом их результатов и составлением
рекомендаций для принятия решений на
основании результатов исследования.

Важно отметить,
что наличие специалиста по маркетинговым
исследованиям не означает отказа от
услуг исследовательских фирм. Ориентация
на проведение исследований исключительно
силами внутрифирменного специалиста
приводит, во-первых, к нерациональному
использованию его времени, которое
будет уходить почти исключительно на
решение организационных вопросов, а не
на аналитическую работу, и во-вторых,
к невозможности использовать все
многообразие методов исследований без
ущерба для качества.

В случае отсутствия
внутрифирменного специалиста по
исследованиям оптимально иметь
Постоянные партнерские отношения с
одной или двумя исследовательскими
фирмами, которые в ходе продолжительного
общения с клиентом и изучения его рынка
достигают достаточного уровня понимания
специфики проблем клиента.

1. Разбираться в
   том, как это должно происходить.

Для
выполнения всего вышеперечисленного
важно, чтобы не только специалист по
маркетингу разбирался в том, как должно
происходить исследование и как оно
происходит на практике. Важно, чтобы
каждый из руководителей предприятия,
хотя бы в общих чертах, имел представление
о том, что приносят маркетинговые
исследования, как работать с их
результатами, и какие ограничения имеют
те или иные методы,

применяемые в
исследованиях.

Бюджет исследования.

Достаточно трудно
определить, сколько именно должно стоить
исследование. Это немного напоминает
ситуацию с оплатой лечения.

«Доктор! Сколько
будет стоить лечение?» Доктор: ‘Ну,
давайте сначала вы говорите свою цену,
мы дружно смеемся, а потом я называю
настоящую цену.»

Наиболее разумный
размер исследовательского бюджета –
4 — 5% от общих затрат на маркетинг и
рекламу. Как правило, при больших затратах
на исследования возникает информационная
перегрузка (невозможность освоить всю
собранную информацию) и затраты на
информационную поддержку определенных
маркетинговых акций оказываются слишком
велики по отношению к возможным убыткам
в случае. их неудачного исхода. При
меньших затратах возникает серьезный
риск принятия неверных решений по
причине недостатка информации о рынке.

Так на американских
предприятиях по производству средств
производства получена такая упорядоченная
зависимость:

Для сравнения
указывается, что в промышленности
средств потребления уровень затрат на
маркетинговые исследования значительно
выше и составлял 0.30 %.

Помимо расчета
стоимости исследования, можно привести
расчет стоимости, исходя из метода
исследования (привести + объяснить
изменение стоимости в зависимости от
объема исследования)

Если исследование
стоит меньше – проверяйте фирму на всех
этапах

Если исследование
стоит больше – проверьте, что именно
дает Вам фирма за эти деньги.

Различие
качественных и количественных методов.

Все маркетинговые
исследования можно разделить на типы,
исходя из наиболее простого критерия
– метода сбора данных. Эта классификация
работает достаточно неплохо, поскольку
зачастую именно тот метод, которым вы
собирали данные, определяет и характер
полученных данных, и их использование.

Два самых крупных
кластера – количественные и качественные
методики.

Под качественными
методами понимают те исследования, в
которых наблюдение и выводы осуществляются
в не стандартизированной форме и носят
не количественный, а качественный
характер.

Как правило,
результаты качественного исследования
отвечают на вопрос «Почему?»

Мотивационное
исследование (motivation
resech)
важнейший вид маркетинговых исследований,
заключающийся в изучении мотивов покупки
определенного товара/услуги на
бессознательном, подсознательном и
сознательном уровне психики покупателя.

Поскольку задача
качественных исследований – не оценить
распространение в генеральной
совокупности тех или иных признаков, а
описать модели поведения и изучить
мотивы, то объем выборки в качественном
исследовании обычно невелик, а методы
позаимствованы из психологии и этнографии.

Пример – применение
этнографических методов к описанию
поведения домашних хозяев.

КОЛИЧЕСТВЕННЫЕ
(ВЫБОРОЧНЫЕ) МЕТОДЫ

Под количественными
исследованиями обычно понимают проведение
различных опросов, основанных на
структурированных вопросах закрытого
типа. Особенностями таких исследований
являются – четкий формат собираемых
данных, обработка с помощью математических
процедур.

Как правило,
результаты количественного исследования
отвечают на вопрос «Сколько?»

Поскольку задача
количественных методов – оценить
распространение тех или иных признаков
в генеральной совокупности, то для этой
области характерен большой объем
выборки. Методы, применяемые в исследовании,
взяты из социологии, для обработки
используются экономико-статистические
методы. Большое значение приобретают
вопросы размера выборки, соответствия
выборки генеральной совокупности.

Рекомендуемая
литература.

Алешина
И.А. Поведение потребителей. М.,2000.

Голубков
Е. П. Маркетинговые исследования: теория,
практика и методология. М.,1998.
Джеймс Ф. Энджел, Роджер Д. Блэкуэлл, Пол
У. Миниард. Поведение потребителей.

СПб., Питер Ком,
1999.

Хруцкий В.Е.,
Корнеева И.В. Современный маркетинг:
настольная книга по исследованию рынка.
М.: Финансы и статистика, 1999.

Черчилль Г. А.
Маркетинговые исследования. С.-П., Питер,
2000.

Бурдей К., Дембо
О. Как составить запрос на проведение
исследования. журнал УЕВ!, 2000, № 2

Ядов В.А.
Социологическое исследование –
методология, программа, методы. М., 1987.

Березин И. Маркетинг
и исследования рынков. – М., 1999

Котлер Ф. Основы
маркетинга. М., 1991

Панкрухин А.П.
Эволюция маркетинга в мире и в России
//Маркетинг в России и за рубежом. –
1998.- № 4. С. 82-97

Голубков Е.П. Основы
маркетинга. М., 2000

Котлер Ф. Основы
маркетинга. М., 1991

Моисеева Н.К.
Международный маркетинг. – М.,1999

Дорошев В. И.
Введение в маркетинг: Учебное пособие.
М., 2000

Академия рынка
/Под. Ред. А. Г. Худокормова (перевод с
франц.). – М., 1999

Ламбен Ж.-Ж.
Стратегический маркетинг. Европейская
перспектива: Пер с франц. – Спб., 1997

Рожков И. Я. Реклама:
планка для профи. – М., 1997

Чаган Н.Г. Маркетинг
и маркетинговая деятельность в учреждениях
культуры.- Новосибирск, 1997

1. Отсутствие реальной потребности в исследовании. Перед тем как принимать решение о необходимости проведения маркетингового исследования, четко сформулируйте цель исследования и то, как вы сможете использовать полученные результаты. Это поможет выбрать метод и сформировать четкие ожидания от объема и формы аналитики по его результатам.

2. Отсутствие четко поставленной и сформулированной задачи перед исследовательской компанией. В целях сохранения конфиденциальности или из боязни утечки информации  заказчик скрывает истинные цели проекта. В итоге, результаты исследования со стороны исполнителя могут не совпасть с ожиданиями со стороны заказчика.  Помните, что лишь на четкий запрос можно получить четкий ответ. А также о том, что проводить исследование лучше с компанией, опыту и людям  которой вы доверяете.

3. Переоценка собственных возможностей в проведении исследования. В случае если Вы решили отказаться от проведения исследования совместно с исследовательской компанией и планируете провести его самостоятельно, помните, что собрать информацию быстро и дешево из доступных источников, таких как, например, СМИ и интернет, возможно, но не всегда надежно. Во-первых, очень сложно выделить из большого потока информации нужные данные. Во-вторых, качество данной информации не гарантировано. Например, в  интернете распространяется большое количество предвзятой и неточной информации.

Для снижения рисков необходимо обращаться к данным серьезных исследовательских компаний и изданий маркетинговой направленности. К сожалению, большинство достоверных данных, находящихся в бесплатном доступе, относятся к прошлым периодам.

Что касается самостоятельного проведения компанией количественных и качественных исследований, то это невозможно, если только отдел маркетинга не содержит в штате специалиста с данной компетенцией, поскольку в таких исследованиях нет мелочей и нужна профессиональная база.

4. Неправильный выбор метода исследования.  В зависимости от задач компании могут быть выбраны количественные и/или качественные исследования по разным методикам.

От количественных исследований нельзя ожидать глубокой информации о модели поведения потребителей, критериях выбора, эмоциональных ожиданиях и основаниях для предпочтений, но можно получить четкое понимание доли рынка, конкурентной среды, частоты, объема, места покупки. Такая информация необходима при бизнес-планировании, оценке эффективности рекламной кампании, отслеживании динамики компании в конкурентной среде.

От качественного исследования – нельзя ожидать цифр, но можно ожидать возможности увидеть потребителя «в лицо», изучить его поведение  и привычки, получить большой объем глубинной информации по относительно низкой стоимости. Часто компании отказываются от использования фокус-групп как метода исследования, руководствуясь тем аргументом, что это «всего лишь» мнение 16 человек, однако это – неверный критерий оценки той бесценной информации, которую дают фокус-группы или глубинные интервью для проектировки позиционирования или рекламной кампании.

Важно не только определить тип исследования, который позволит решить задачу максимально эффективно, но и его метод. Например, наша задача – выяснить долю рынка сети АЗС. Можно было бы опросить прохожих на выходе из торгового центра или  собрать информацию на самих заправках. И другое дело, если с помощью телефонного обзвона мы опросим людей соответственно выборке населения города.  В данном случае – это будет самый  правильный метод.

Таким образом, при выборе методов исследования необходима четкая связь планируемых вопросов и тех целей и задач, которые ставятся перед ним.

5. Ожидание от исследования готовых решений. Одно из главных заблуждений многих Заказчиков – что потребители скажут «что нам делать»: путем голосования выберут лучшую этикетку, идею позиционирования и т.д. На это рассчитывать не только не стоит, но и вредно. Задача исследования – собрать максимальное количество информации, которая позволит специалистам компании принять решения с высоким потенциалом эффективности. Именно с таким фокусом исследование должно проектироваться и анализироваться.

Приведем пример на соковом рынке. В процессе фокус-группы было необходимо собрать информацию о потенциальной конкурентоспособности вариантов этикеток для сокосодержащего напитка. Две этикетки были признаны как самые привлекательные для покупки с небольшим перевесом одной из них. Какую выбрать: ту, которая стала лидером по выбору? Нет. В данном случае была выбрана вторая этикетка, так как именно она ассоциировалась у респондентов с легким, приятным, вкусным, хорошо утоляющим жажду напитком, а не насыщенным соком с мякотью, как первая.

6. Неправильные вопросы. Сценарий исследования и анкету должен составлять профессионал. Необходимо задавать лишь такие вопросы, на которые будут получены четкие и конкретные ответы. При этом вопросы не должны содержать личных проекций проектировщика и его оценочных суждений. Например, неправильно будет задавать такие вопросы, как  «Красивая ли этикетка»? – если критерий выбора этикетки не ее красота, а соответствие продукту, отражение определенного уровня цены и его качества, «Нравится ли Вам свежий хлеб»? – если это относится к абсолютно понятным требованиям к качеству этого продукта и пр. Для качественных исследований важна работа модератора. Если модератор не может простимулировать респондентов ответить на поставленные вопросы, то отлично проработанный сценарий, грамотно составленные гипотезы будут бесполезны.

7. Исследование ради исследования. Каждое исследование должно проводиться не ради самого исследования, а для получения новых данных, которые можно применить для улучшения рыночной позиции компании и разработки стратегии развития. И наличие гипотез является ключевым фактором успеха проведения исследования. Необходимо четко осознавать, что «проверить что-то на что-нибудь» – не способствует получению объективной,  качественной, а главное, полезной  информации. В связи с этим рекомендуем при подготовке маркетингового исследования сформулировать гипотезы – предварительное объяснение событий или ситуации, требующие проверки. Например, может быть выдвинута такая гипотеза: «Низкий уровень продаж данного продукта обусловлен стереотипами целевой аудитории» – значит нужно спрашивать о восприятии продукта.  Если вы не можете сформулировать основные цели и гипотезы исследования, требуется пересмотреть вопрос о необходимости проведения исследования.

8. Ошибочный рекрутинг. Неправильный отбор респондентов для проведения исследования снижает его достоверность. Например, для проведения  фокус-группового исследования должны быть привлечены действительно существующие или потенциальные потребители (в зависимости от цели исследования) определенной социальной группы и статуса, а не люди с улицы. 

9. Перерасход средств или недостаточный бюджет для проведения исследования.

При выборе исследовательской компании помните, что самый сложный вопрос при проведении исследования – это выбор подрядчика, который и обеспечивает результат. Поэтому при подготовке бюджета учитывайте, что при слишком малом бюджете вы можете оказаться в ситуации «выбор без выбора» или необходимости выбирать «лучшее из худшего».

На наш взгляд, при выборе компании-подрядчика необходимо отталкиваться от того, насколько она готова помочь заказчику сформировать видение исследования, поставить четкие задачи, качественно провести исследование и предоставить такой отчет, на основании которого можно будет принимать решения.

10. Ошибочная интерпретация информации.  Получение готового исследования без аналитики и дальнейших рекомендаций может повлечь за собой различную интерпретацию данных, содержащихся  в отчете. Так, например, 40% доли рынка – это «много» или «мало»? В связи с этим рекомендуем заранее согласовывать с компанией-подрядчиком получение итогового документа в виде аналитического отчета.

Иногда Заказчики интерпретируют данные в соответствии со своими ожиданиями и картиной мира, существующей в голове. Чтобы исследование действительно было эффективным и полезным для компании, необходимо отнестись к нему и агентству-подрядчику с открытым сердцем и сознанием, не цепляясь за привычные представления, а обращая внимание именно на новую и неожиданную информацию.

Автор: Агентство стратегического маркетинга и брендинга MAINS

В теории маркетинга принято отличать ошибки выборки от вневыборочных ошибок, к которым и относят погрешности во время сбора данных. Помимо них существуют также ошибки при постановке проблемы, при интерпретации данных и т. д. Специалисты-маркетологи проанализировали то, как протекают различные исследования, и отметили, что в первую очередь, ошибки могут быть:

• Непреднамеренными (когда проблема кроется в методах сбора данных, мастерстве интервьюера, правильности вопросов)
• Преднамеренными (когда респондент даёт неверные результаты, или интервьюер недобросовестно собирает их, фальсифицирует и т. д.).

Следует детальнее рассмотреть каждую группу этих ошибок:

Итак, непреднамеренные ошибки, которые, нередко могут возникать даже в хорошо спланированных маркетинговых исследованиях, как правило, разделяют на:

• Ошибки интервьюера

  В этом случае он может неправильно понять тонкости и различные аспекты самого исследования, неверно растолковать инструкции, не установить контакт с отдельными респондентами. Некоторые исследователи относят к этой категории даже усталость человека, проводящего опрос – это тоже в итоге может привести к ошибке.

• Ошибки респондента

  Лицо, предоставляющее информацию, может неправильно понять вопроса, инструкций по заполнению анкеты и т. д. Помимо этого, на ответ респондента может тоже повлиять усталость, спешка, невнимательность и прочее.

Эта категория ошибок, как правило, допускается при проведении любого исследования. В том случае, если масштабы этих ошибок не критичны, то результаты исследования пострадать не должны.

В отличие от преднамеренных ошибок, которые также принято разделять на:

• Ошибки интервьюера

  Происходят в том случае, если человек, проводящий опрос, интервью или иную форму исследования, сознательно фальсифицирует данные, стараясь «подогнать» ответы под желаемый результат, или оказывает давление на респондентов с той же самой целью.
• Ошибки респондента

  Происходят, когда человек сознательно допускает ошибки в вопросах личного характера, вроде, личного дохода, возраста и т. д. Кроме того, он может с подозрением относиться к самому интервьюеру. Собственно, некоторые исследователи склонны утверждать, что в этом кроется неумение самого интервьюера расположить к себе респондента, и его непрофессионализм.

В теории маркетинга, ошибки при сборе данных также разделяются на ошибки недостижимости и ошибки наблюдения. В первом случае респондент может быть недоступен или просто отказываться от участия. В конечном итоге на общий результат это мало может повлиять. В отличие от ошибок наблюдения, которые возникают по причине как респондентов, когда они дают неверные ответы, так и по причине интервьюеров или исследователей, когда они неправильно фиксируют или анализируют ответы.

Если детальнее рассмотреть ошибки наблюдения, то их причины, как правило, кроятся в:

• отклонении или подмене информации (когда информация, найденная исследователем, отклоняется или совсем не соответствует той, которая необходима для решения проблемы, или не отвечает поставленным задачам)
• ошибка в измерениях (может появится как на начальном этапе разработки инструментов исследований, так и в самом конце, на этапе интерпретации данных. Итоговая информация, полученная после проведённых измерений, не соответствует той, которая необходима исследователю. Проблема может заключаться в составлении анкет, подходе к респондентам, методах сбора информации)
• ошибка выбора респондента (когда интервьюер выбирает людей, не оговорённых критериями выборки)
• ошибка вопросов (зависит во многом от мастерства интервьюера, когда он задаёт вопросы некорректно, слишком быстро, не чувствует респондента, в результате чего получает неверные данные)
• ошибка фальсификации (когда респондент указывает неверные данные, или, когда интервьюер подтасовывает их в угоду результату)
• ошибка фиксирования данных (если интервьюер понял ответ респондента «по-своему», и в итоге неверно его зафиксировал)

Для того, чтобы избежать появления подобных ошибок, маркетологи рекомендуют правильно и чётко составлять основу выборки, и беспрекословно следовать ей по ходу исследования. Правильно работать с респондентами – быть абсолютно откровенными, точно указывать цели собираемой информации, гарантировать анонимность, не избегать возможности мотивации респондентов, а главное, стараться минимально вторгаться в их личную жизнь. Важно также прорабатывать анкеты и опросники – стараться сделать вопросы более лёгкими, не двусмысленными, избегать лишних вопросов и т д.

Ошибки при проведении маркетинговых исследований могут быть допущены на любом из его этапов. Этап сбора данных – один из ключевых при проведении практически любого исследования. Кроме того, он предполагает работу с респондентами, которая даже при наличие строгого плана работы, будет во многом протекать стихийно, а, следовательно, ошибок иной раз, не избежать.

Опираясь на статистику легко лгать,
но без статистики очень трудно выяснить истину.

В любом научном исследовании главное — это полученные результаты. Однако, для того чтобы из них можно было сделать выводы, требуется статистическая обработка полученных данных.

Для тех, кто хорошо разбирается в математике, статистика не вызывает серьезных затруднений. Тем не менее разнообразные исследования показывают, что значительная доля научных публикаций содержит те или иные статистические ошибки. Об ошибках при переводе научных работ читайте в статье.

В. Джонсон из Техасского университета считает, что плохая статистика является одной из главных причин недостаточной воспроизводимости результатов в психологических исследованиях.

В этой статье мы расскажем о часто встречающихся ошибках статистического анализа и о том, как их избежать. С полезными сервисами для авторов можно ознакомиться здесь.

1. Сколько вешать в граммах?

Любой ученый дорожит полученными результатами. Каждая цифра представляется нам достаточно значимой, чтобы представить ее в том виде, в котором она была получена. Получили вес 60,245 кг — так и запишем. Часто кажется, что, округляя данные, мы обесцениваем собственный труд.

Однако, с точки зрения читателя излишняя точность скорее мешает. Цифры с длинными хвостами трудно воспринимать и оценивать. Если их можно округлить без ущерба для точности выводов, нужно это сделать. Например, ни для каких целей нет смысла указывать вес взрослого человека с точностью до грамма.

Учитывайте при округлении точность приборов. Если весы дают погрешность более 100 граммов, указывать десятые доли килограмма не стоит.

При округлении процентов в научных статьях рекомендуется использовать следующие правила: если выборка больше 1 000, результат округляется до сотых; от 100 до 1 000 – до десятых; от 20 до 100 – до целых значений процентов. Для выборки менее 20, лучше дать абсолютные значения. В маленьких группах проценты скорее запутывают читателя и часто выглядят курьезно: в результате лечения 33, 333% животных выздоровели; 33, 333% погибли; третья мышь убежала.

Количество знаков после запятой должно быть одинаковым во всей статье. Если все результаты округляются до сотых, а какой-то из них имеет вид целого числа, то его нужно записать так же, как все остальные цифры, например 24,00.

2. Разбивка непрерывных данных на группы.

Такие данные, как рост, вес или возраст часто делят на категории. Разбивка упрощает статистический анализ, но в любом случае необходимо обосновать принципы, по которым это сделано.

Деление на категории может приводить к некорректным выводам. Например, если выборку разделили на пациентов с нормальной массой тела, дефицитом и избытком массы, то различия между людьми с весом 80 и 150 килограммов могут быть больше, чем между людьми с весом 70 и 80 килограммов, хотя в первом случае они входят в одну группу (с избытком массы), а во втором — в разные.

3. Среднее и сигмальное отклонение, медиана и доверительный интервал.

Представление в статье только средних групповых значений без учета индивидуальных различий может приводить к неверным выводам. Пресловутая средняя температура по больнице не дает представления не только обо всех пациентах, но даже о большинстве из них.

Средняя величина и среднее квадратическое отклонение или сигмальное отклонение δ (standard deviation — sd) описывают вариабельность выборки.

Среднее квадратическое отклонение применяется только в случае нормального распределения данных, то есть когда 68% показателей находятся в пределах ±1δ, 95% в пределах ±2δ, и 99% в пределах ±3δ.

При асимметричном распределении данных среднее квадратическое отклонение не дает правильного представления о выборке. В этом случае используется медиана median и межквартильный диапазон interquartile range (IQR) (как правило, от 25 до 75 центиля).

Точечные данные характеризуют такие показатели, как стандартная ошибка среднего и доверительный интервал.

Стандартная ошибка среднего standard error of the mean (m) показывает отличие фактических данных от значений, полученных на модели. Она позволяет оценить точность модели.

Доверительный интервал confidence interval (CI) демонстрирует, насколько выборка отражает свойства генеральной совокупности. В медицинских исследованиях обычно указывают 95% доверительный интервал.

Средняя величина, указанная без доверительного интервала, не дает полного и правильного представления о полученном эффекте. Например, если среднее снижение артериального давления 20 мм. рт. ст., эффект может показаться клинически значимым. Однако при 95% доверительном интервале от 5 до 30 мм. рт. ст. целесообразность применяемой схемы лечения уже представляется сомнительной, так как снижение показателя на 5 мм. рт. ст. клинически несущественно. Окончательный вывод о целесообразности изучаемой схемы лечения из этих результатов сделать нельзя.

Важно: в медицинских исследованиях результаты, подчиняющиеся нормальному распределению, встречаются довольно редко. Кроме того, средняя величина и среднее квадратическое отклонение плохо работают на малых выборках.

4. p-критерий.

Критерий р недостаточно информативен в медицинских и биологических исследованиях.

Дело в том, что статистическая значимость не равна клиническому значению и целесообразности использования тех или иных выводов на практике. Решение о рациональности использования препарата не может опираться только на статистическую значимость полученного клинического эффекта. Например, статистически значимое снижение артериального давления на 10 мм. рт. ст. клинически можно расценивать как отсутствие эффекта.

р-критерий не может равняться нулю. Это значило бы, что между группами есть действительно достоверное различие. Однако, такое различие невозможно установить методами статистики. Обычно эта ошибка связана с тем, что программы для статистической обработки данных приводят очень малые значения как р=0,00000. На самом деле это означает p<0,000001, что и должно быть указано в статье.

р-критерий не применяется к генеральной совокупности. Он показывает, что имеющиеся различия не являются случайностью и такой же результат может быть получен на другой выборке. В случае генеральной совокупности этот показатель не имеет смысла, так как речь о случайности различий не идет.

Если в исследовании участвует несколько групп, определение нескольких p-критериев повышает вероятность принять случайное совпадение фактов за причинно-следственную связь. Существует несколько методов решения проблемы множественных сравнений, их использование должно быть обосновано и описано.

В рандомизированных клинических исследованиях р-критерий указывать необязательно, так как исходные различия между группами всегда имеют место в силу случайности выбора.

5. Адекватность модели.

Регрессионные модели не работают, если зависимость между переменными не имеет линейного характера.

Чтобы подтвердить или опровергнуть линейный характер связи между величинами, нужно изучить остатки residuals, то есть отклонение реальных данных от линии регрессии, построенной на основании модели.

Регрессионная модель хорошо объясняет реальное положение дел, если остатки:

• независимы
• подчиняются нормальному распределению
• имеют нулевое среднее
• в их величинах нет тренда

Дисперсия остатков variance of the residuals показывает те изменения полученных данных, которые не объясняются моделью. Чем меньше дисперсия, тем лучше работает модель.

6. Понятие нормы.

Отсутствие четкого понимания, что следует принять за норму является серьезным недостатком клинических исследований.

Для определения нормы существует несколько подходов:

• результат говорит о наличии или отсутствии заболевания
• является показанием к назначению лечения
• указывает на риск развития болезни
• встречается у здоровых лиц
• укладывается в определенный диапазон значений

Далеко не во всех случаях норма клинически значима. Например, несовпадение индивидуальных сроков прорезывания зубов с нормальными, как правило, ни о чем не говорит.

Причины, по которым тот или иной показатель принят за норму, должны быть обоснованы.

7. Учет сомнительных и неопределенных результатов.

В медицинских и клинических исследованиях не всегда ясно, как учитываются сомнительные результаты при определении чувствительности и специфичности тестов. При наличии значительного процента сомнительных результатов практическая значимость выводов снижается.

Результат нельзя однозначно оценить как отрицательный или положительный если:

• получены пограничные значения показателя;
• интенсивность окрашивания препарата недостаточная;
• ответы на вопросы психологических тестов неоднозначные;
• нарушены стандарты при проведении исследования.

Если в статистический анализ включены не все результаты и не все участники исследования, возникают вопросы:

• Данные пропустили по ошибке или сознательно исключили из анализа, поскольку они противоречат первоначальной гипотезе и выводам?
• Не приведет ли исключение некоторых данных к тому, что результаты не будут воспроизводиться на другой выборке или при повторном исследовании?
• Если данные не были представлены полностью, то можно ли доверять другим фактам, содержащимся в статье?

Все это не украшает автора и снижает ценность его работы в глазах читателя и редактора журнала. Поэтому в статье нужно указать наличие и количество сомнительных и неопределенных результатов; пояснить, включались ли они в статистический анализ и как были интерпретированы.

8. Понятие объекта исследования.

Неверное определение объекта исследования может приводить к ошибкам и неточностям.

В клинических исследованиях объектом принято считать пациента. Когда в работе о методах лечения переломов единицей учета является не пациент, а сломанная кость, возникает вопрос, сколько больных участвовали в исследовании. Тем более непонятно, что означает 50% эффективность.

Если объектом исследования является язвенная болезнь, то размер выборки будет соответствовать количеству выявленных случаев заболевания, а не количеству обследованных пациентов.

В работах, основанных на заключениях специалистов, может быть необходимым исследовать выборку специалистов, а не общий массив заключений.

9. Статистическая значимость полученных результатов.

Статистическая значимость Statistical significance не равна клиническому значению.

При сравнении больших выборок статистически значимыми могут оказаться различия, не имеющие никакой реальной важности. Например, при среднем сроке службы приборов 5 лет различия на 1-2 недели клинического значения не имеют.

Наоборот, в малых выборках статистически незначимые различия могут быть важными клинически. Например, если в группе из нескольких больных в терминальном состоянии выжил хотя бы один, это безусловно клинически значимо.

10. Влияние факторов риска.

Истинное влияние фактора риска показывает относительный риск relative risk (RR) — отношение риска наступления исхода у подвергавшихся воздействию фактора к риску в контрольной группе. Этот показатель можно рассчитать, если группы набираются по принципу наличия и отсутствия фактора риска.

Если же группы набираются по принципу наличия или отсутствия исхода, то влияние можно оценить только приблизительно, используя показатель отношения шансов odds ratio (OR), описывающий силу связи между факторами.

Заключение

Главный вывод из сказанного: методы статистического анализа должны соответствовать характеру данных. Выбор тех или иных методов анализа нужно обосновать. Во избежание ошибок учтите:

• Характер распределения данных. Нормальное и асимметричное распределение требует разных подходов к анализу.
• Для анализа независимых выборок и парных данных (относящихся к одному и тому же участнику исследования) используются разные методы.
• Характер связи между переменными. Линейный характер связи позволяет использовать регрессионные модели. Чтобы подтвердить или опровергнуть линейную зависимость, нужно проанализировать остатки.
• В медицинских исследованиях клиническая значимость имеет приоритет над статистической.
• Норма должна быть клинически значимой; а выбор значения, принимаемого за норму, нужно обосновать.
• При наличии сомнительных или неопределенных результатов следует объяснить, как они учитываются в статистическом анализе.
• Объектом исследования следует считать человека или животное, а не болезнь и не клинический случай, так как два и более клинических случая могут иметь отношение к одному пациенту.

Статистические показатели в любом случае можно улучшить увеличением числа участников. По мнению В. Джонсона, принимая эталонное значение р-критерия в медицинских и биологических исследованиях на уровне <0.0005, можно существенно повысить качество статистики.

Часто ошибки статистического анализа вытекают из того, что эксперимент или исследование было изначально неправильно спланировано. В сомнительных случаях стоит обратиться к специалистам по статистике, однако делать это нужно на этапе подготовки, а не тогда, когда все работы уже завершены и возник вопрос, что же теперь делать с этими цифрами.

Современные программы для статистической обработки данных сильно облегчают вычисления, однако они не решают проблему выбора адекватных методов анализа и соответствия их характеру полученных данных. Поэтому залог успеха — тщательная подготовка исследования. Убедитесь, что материалы и методы, статистический анализ результатов и выводы соответствуют цели исследования.