Основные виды ошибок допускаемых при проведении эксперимента

Типичные ошибки и трудности применения эксперимента

1. Сформулированные
   гипотезы не отражают проблемных
   ситуаций, существенных зависимостей
   в изучаемом объекте.

2. В качестве
   независимой переменной выделен фактор,
   который не может быть причиной
   происходящих в изучаемом явлении
   процессов.

3. Связи между
   зависимой и независимой переменными
   носят случайный характер.

4. Допущены ошибки
   в предварительном описании объекта,
   что привело к выбору неверных
   (неадекватных) показателей.

5. Были допущены
   ошибки при формировании экспериментальных
   и контрольных групп. В ходе эксперимента
   обнаружилось значительное различие
   групп, что делает проблематичным
   сравнение этих групп по составу
   переменных.

6. Для экспериментальной
   группы трудно подобрать контрольную.

7. Не поддается
   нейтрализации действие побочных
   факторов, трудно создать экспериментальную
   ситуацию.

8. Среди организаторов
   экспериментальных работ оказались
   люди, не заинтересованные в положительных
   результатах эксперимента.

9. В ходе исследования
   среди участников возникли конфликты
   по поводу вовлеченности в эксперимент.

Социальная
практика последних лет предъявляет
новые требования и к экспериментальному
методу. До сих пор он использовался в
основном в познавательных, исследовательских
целях. Сейчас экспериментальный метод
становится важным средством социального
проектирования и внедрения нововведений
в сфере социального управления и
планирования. Принципы и приемы этого
нового вида эксперимента не получили
пока должного теоретико-методологического
обоснования.

Методологическим
принципом и основанием применения
эксперимента служит принцип социального
детерминизма, выявления причинно-следственных
связей. Можно сказать, что социальный
эксперимент — это специфический способ
внедрения теории в практику. Он является
не только фактором познания, но и фактором
практического использования научного
знания и получения новых научных истин.
Использование этих двух функций в
методиках социального эксперимента —
важная задача научного творчества
социолога.

Мы
не будем здесь подробно рассматривать,
что собой представляет эксперимент,
каковы его функции и структура. Отметим
только некоторые его возможности и
особенности с целью выявления роли
теории и методологии при использовании
социологического знания в практике.

Как
вид практики научный эксперимент,
естественно, зависит от уровня всей
человеческой общественной практики,
следовательно, и от уровня научно-теоретической
мысли, поскольку практическое отношение
является материализацией теоретического
отношения к действительности и поскольку
развитая практическая деятельность, в
том числе и научный эксперимент, не
может обойтись без научно-теоретического
компонента.

В
практике современного эксперимента
сильно возрастает роль научной теории.
Это относится не только к мыслительным
экспериментам и моделям, но и к материальным
экспериментам.

Роль
абстрактно-теоретического мышления
особенно возрастает при использовании
эксперимента как средства исследования
явлений, недоступных непосредственному
восприятию. Конечно, научно-теоретические
знания, которые внедряются в эксперимент
как орудие для получения нового знания,
приобретают специфический оттенок,
характерный для данного экспериментального
метода. В указанном смысле научный
эксперимент — это противоречивая система
логико-методологических средств —
наблюдения, эмпирического и теоретического
моделирования, типологии мышления,
анализа и синтеза, индукции и дедукции
и др., — представляющая собой действительно
сложный, своеобразный, трудноосваиваемый
процесс в самой практике экспериментирования.

Из
множества методов научного познания
наиболее активным и наиболее действенным
в плане возможностей проникновения
исследователя в интересующую его область
реальной действительности является
эксперимент.

Социальному
эксперименту, как это показано во многих
работах, присущи общие
черты и принципы научного экспериментирования
и в то же время определенные особенности,
обусловленные спецификой социальных
процессов, объектов прикладного
социологического исследования. Эта
специфика проявляется:

1)
в качественно более высоком уровне
сложности социальных объектов;
следовательно, в многообразной причинной
зависимости изменений этих объектов;

2)
в неустранимом и особом вмешательстве
экспериментатора в объект прикладного
исследования, вследствие чего наблюдаемый
и контролируемый объект может принимать,
и часто принимает, активное участие в
самом эксперименте;

3)
в определении методологических и
ценностных установок социологов.

Одной
из специфических черт социального
эксперимента
является различие в характере экспериментов
по их основной цели: познание, подтверждение
некоторой гипотезы, с одной стороны, и
воздействие на общественные отношения
с целью их направленного изменения, с
другой стороны. Другая специфическая
черта эксперимента как элемента
социального управления заключается в
его масштабе.

Отмечая,
что в принципе познавательные эксперименты
вполне могут быть ограничены небольшими
экспериментальными группами, а
управленческие, исходя из их роли в
управлении социальными процессами,
должны охватывать значительно большие
массы людей, подчеркнем, что более
специфичным и более значимым признаком
социального эксперимента является все
же сам характер задачи, цеди, направленности
эксперимента.

Если
эксперимент социального управления
проводится с целью воздействовать на
общественные отношения, то при этом
должно быть учтено следующее:

1)
основой для экспериментирования может
быть только социологическая теория,
проверенная и подтвердившая свою
истинность;

2)
так как эксперимент является прикладным
методом, то использование его
непосредственно в масштабах применимости
теории и для проверки се истинности
принципиально неверно.

Не
все общество, не отдельные его элементы
как подмножества или самостоятельные
социальные системы нс могут быть объектом
социального эксперимента. Более того,
не могут быть объектом социального
эксперимента те свойства, связи и
отношения, которые присущи всему обществу
или стране, нации в целом.

Это
означает не вообще принципиальную
непознаваемость социальных связей в
познавательном эксперименте, а всего
лишь актуальную невозможность и
отсутствие соответствующих теоретических
знаний относительно подлежащих измерению
и изучению объектов на данном этапе
исторического развития нашего познания.
Статистические и модельные эксперименты
расширяют наши возможности познания
сложных систем связей, а развитие теории
все больше расширяет область применения
эксперимента. Если же мы не можем еще
ни количественно измерить, ни даже
теоретически на качественном уровне
достаточно точно представить интересующую
нас сложную социальную систему причинных
социальных связей, то, тем самым, мы не
можем осознанно, со знанием дела
воздействовать на причины и вызывать
запланированные в эксперименте следствия.

Представляется
интересным отметить здесь такое отличие
социального эксперимента от
естественнонаучного, как характер
преодоления препятствий, связанных с
трудностью измерения и контроля
переменных в ходе исследования. Указанные
препятствия преодолеваются по-разному.
В естественнонаучном исследовании
довольно часто применяется эксперимент
типа «проб и ошибок», когда наиболее
значимым оказывается случайный, вовсе
не предусматриваемый исход. Разрушение
или необратимые изменения экспериментального
объекта здесь явление нормальное.
Каких-либо этических проблем практически
не возникает. В то же время проблемы
правомочности, познавательности, даже
познавательного эксперимента в области
отношений между людьми возникают уже
на психологическом уровне. Тем более
усложняется положение в случае подготовки
и принятия решения о проведении
эксперимента с целью воздействия на
общественные отношения более высокого
уровня сложности. Можно утверждать, что
постановка познавательных социальных
экспериментов, в принципе, будет возможна
в более широком масштабе, хотя в настоящее
время практически весьма затруднительна.

При
этом социолог должен решить две
взаимосвязанные проблемы: 1) теоретическое
обоснование структуры эксперимента и
его последовательности; 2) отбор способов
анализа протекающих изменений под
воздействием контролируемых факторов
на социальный объект.

Эти
проблемы реализуются в программе
социального эксперимента, которая
включает в себя процедуры, осуществляемые,
как в системе познавательного исследования,
так и в системе социального управления
объектом.

Типовая
программа экспериментального метода,
на наш взгляд должна содержать основные
подходы к решению таких вопросов, как:
1) характеристика проблемной ситуации,
вызывающей необходимость нового
управленческого решения; 2) определение
предмета, целей и задач экспериментального
анализа; 3) обоснование выбора объекта
(объектов), используемого в качестве
экспериментальной (а также контрольной)
группы; 4) описание модели экспериментальной
ситуации (т.е. системы, состоящей из
экспериментальных факторов и условий
эксперимента); 5) формулировка гипотез
эксперимента; 6) обоснование выбора
зоны, т.е. масштабов экспериментирования;
7) разработка методики эксперимента; 8)
анализ результатов проверки эффективности
эксперимента.

Логика
эксперимента всегда подчинена поиску
причин, характера практического изменения
состояния изучаемого социального
явления или процесса. Непременное
условие их нахождения — изменение
состояния экспериментальной группы
под воздействием некоторого
экспериментального фактора. В социальном
эксперименте мы обнаруживаем причинные
связи между общим, особенным и единичным
в объекте управления: он наиболее полно
соответствует объективным требованиям
к социологическим методам.

Область
применения.
В социологическом исследовании
эксперимент направлен, главным образом,
на доказательство гипотез исследования.
Проведение социального эксперимента
предполагает использование ряда других
методов (наблюдения, опроса, анализа
документов), т.е. в ходе прикладного
социологического исследования эксперимент
может сочетаться со всеми другими
методами. Он применяется во всех
общественных науках и как один из ведущих
методов социальной технологии широко
распространен в общественной практике.
В условиях реформирования
социально-экономического развития
страны возрастает роль эксперимента в
повышении эффективности управления
всеми сферами общественной жизни.

Основные
требования к проведению эксперимента.
Это,
прежде всего, четкая ориентация на
гипотезы исследования о наличии
причинно-следственной связи между
исследуемыми явлениями или о характере
какого-либо механизма коллективной или
индивидуальной деятельности, выведенной
логическим путем на основании теоретических
и опытных данных. Кроме того, это высокий
уровень познания я полнота описания
объекта. Строгий контроль за ходом
эксперимента, обеспечение его чистоты.
Воспроизводимость, возможность повторения
как фактор повышения надежности
результатов эксперимента. Наличие
методов, средств наблюдения и измерения,
адекватных социальному объекту.

Добавим
еще одну характерную черту эксперимента
— в нем обычно выделяются 2 вида объектов
(единиц): контрольные и экспериментальные
группы.

Экспериментальная
группа
— та, на которую оказывают воздействие
экспериментальным фактором (независимой
переменной). Помимо общего требования
выбора объекта (репрезентативность в
классе исследуемых объектов), к
экспериментальной группе предъявляются
требования относительной стабильности
состава на период эксперимента,
возможности вести систематическое
контролируемое наблюдение; в ряде
случаев требуется согласие группы на
участие в эксперименте.

Контрольная
группа
— идентична экспериментальной по заданным
параметрам, но не испытывает воздействия
экспериментальным фактором (независимой
переменной). При наличии контрольной
группы повышается чистота социального
эксперимента в силу того, что воздействие
побочных параметров в одинаковой степени
вероятно как в экспериментальной, так
и в контрольной группе. Есть различные
методы отбора экспериментальной и
контрольной групп: случайный отбор,
попарный отбор, структурная идентификация
и др.

Ограничения
в применении эксперимента: проведение
эксперимента осуществимо только по тем
объектам, по которым на основе имеющихся
знаний можно выделить структуру
переменных, где допустимо введение в
объект экспериментального фактора,
возможно наблюдение и измерение
изменений, происходящих в объекте.
Сложность социальных объектов ограничивает
возможности достижения чистоты
естественнонаучного эксперимента,
установления прямых зависимостей между
переменными; трудно вычленить причину
из коррелятивных зависимостей. Локальность
эксперимента ограничивает социолога
в возможностях широких обобщающих
выводов.

В
настоящее время создалась ситуация,
когда практика экспериментирования
значительно обогнала теорию. Эксперименты
нередко проводятся на глазок, везде
по-разному, в то время как качество
решаемой задачи зависит от того, насколько
теоретически обоснован комплекс
критериев, оценки последствий нововведения,
насколько отработан методический
аппарат, вся система процедур организации
и проведения эксперимента. Сейчас пока
отсутствует сложившаяся система
подготовки и повышения квалификации
руководителей и специалистов по
социальному экспериментированию. Отсюда
широкое освещение социальных экспериментов
скорее в публицистике, чем в научных
работах.

К
сожалению, в литературе по вопросам
методики проведения социального
эксперимента основное внимание уделяется
обоснованию структуры и способов
эксперимента как метода изучения
социальных ситуаций, а не как метода их
практического изменения. Само социальное
экспериментирование нерасторжимо
связано с творчеством масс, передовым
опытом, поэтому его проведение требует
углубления связей и координации
деятельности ученых и практиков, кафедр
и рабочих групп трудовых коллективов.
Имеющиеся же методические документы
рекомендуют нейтрализовать по возможности
постороннее влияние, не допускать
объединения научных разработчиков
эксперимента и администрации, других
работников предприятий и организаций.

В
настоящее время возникла потребность
в соединении теории эксперимента и
теории нововведений. Конечно, за каждой
из них останется свой предмет. Но сейчас
для обеих наступил качественно новый
момент развития, и их сближение объективно
предопределено. Сколь ни молода была
бы теория социального экспериментирования,
инноватика (как принято называть науку
о нововведениях) возникла совсем недавно.
Инноватика пока еще только подходит к
усвоению экспериментального метода.
Да и социальный эксперимент долгое
время развивался без явного инновационного
компонента, был в основном исследовательским.

Как
известно, первоначально социальный
эксперимент зародился в психологии и
имел научное, познавательное значение
— выяснение причинно-следственных связей
(функциональный эксперимент). Он и сейчас
там преобладает. Инновационный характер
эксперименты стали приобретать по мере
привлечения их к преобразовательной
деятельности. Здесь они уже становятся
частью нововведений.

По
объемам понятий эксперимент и нововведение
частично совпадают. Хотя вполне возможны
и необходимы неинновационные эксперименты,
как и не экспериментальные нововведения.
(Например: 1. Нередко администрация
предприятий объясняет низкое качество
своих изделий только плохим сырьем.
Отобранной группе заводов на какое-то
время поставили сырье высшего качества.
На некоторых из них брак даже не снизился,
не исчез он и на большинстве других. 2.
Неэкспериментальные нововведения
разных масштабов: издание новых законов,
создание социологических служб, введение
новых должностей и т. д.) Дело тут в их
«совпадающем» объеме, т.е. сфере
пересечения. Эта сфера растет. Особенно
быстро — у нововведений. В несовпадающем
секторе там остаются в основном
нерадикальные нововведения
совершенствующего, развивающего порядка.
И их число должно уменьшаться. Все
большее число нововведений требует
«механизма перехода», в котором
наряду с прогнозом и планом важную
функцию выполняет эксперимент
принадлежащей промежуточной (между
прогнозом и планом) стадии проектирования
инновационного процесса. В свою очередь,
перед сугубо исследовательскими
экспериментами все чаще ставится вопрос
о конструктивных выводах, использовании
их результатов для инновационных целей.
Таким образом, сближение происходит с
двух сторон.

Сегодня
центром внимания теории и методологии
социального эксперимента становится
инновационный эксперимент (ИЭ), который
представляет собой диагностику новшества
пробным нововведением. Другими словами,
ИЭ — это практическое использование
новшества в ограниченном масштабе с
целью проверки его пригодности для
широкого применения. А какова цель
проверки? Если говорить в целом — в
преодолении непредвиденного, конкретнее
— прогноза и плана. Это значит, что ИЭ
имеет познавательную составляющую.
Вместе с тем диагностическая функция
рассматривается как выявление проблем,
связанных с осуществлением нововведения.
Здесь имеется в виду оценка по двум
направлениям: реализуемость новшества
и его, так сказать, целеспособность.
Первая означает определение степени
адекватности новшества среде его
внедрения, возможность осуществления
инновационного процесса; вторая —
соответствие итогов широкой реализации
новшества целям более широкого порядка,
ради которого проектируется нововведение.
Оценки по названным направлениям могут
расходиться. Понятия реализуемость и
эффективность отнюдь не тождественны;
быстрое и полное завершение нововведения
не исключает его минусового эффекта по
отношению к макросфере.

Диагностическая
функция инновационного эксперимента
не ограничивается только оценочной
стороной. Она предполагает также развитие
нововведения, т.е. определение направлений
его внутренних изменений — как в содержании
испытываемого новшества, так и в методах
его реализации. А эти изменения и должны
обеспечить реализуемость нововведения
и его соответствие более общим целям.
Инновационный эксперимент сравним с
испытательным полигоном, разведкой
боем, учебой на макете. Через стадию
эксперимента в свое время прошли такие
значительные нововведения, как щекинский
метод, калужский вариант, система ВАЗа,
программа «Сержант», Пермский
эксперимент, «Пульсар» и др.

До
сих пор мы рассматривали сходство
эксперимента и нововведения. Между тем
разведение их имеет ценность не только
методологическую, но и практически
ориентирующую.

Начнем
с того, что у них разные задачи и их
результаты должны оцениваться
самостоятельно, в чем-то независимо
один от другого. Эксперимент должен
обеспечить доказательность заключения
по новшеству. Этим определяется его
эффективность. Заметим, что она инвариантна
цели нововведения, где главное внедрить,
освоить и распространить какое-то
новшество. Ведь успех эксперимента
может означать неудачу нововведения.
Иногда последнее отменяется именно
вследствие точности первого. Об этом
приходится говорить потому, что даже в
профессиональной литературе принято
называть успешным (иди наоборот)
конкретный эксперимент в зависимости
от того, подтвердил он (или отверг)
целесообразность инновации.

Есть
тут еще одна линия расхождения. Можно
утверждать существование следующей
закономерности: при переходе от
экспериментального нововведения к его
тиражированию обнаруживается ослабление
разовых эффектов при возрастании общего.
Результат пробного нововведения на
стадии эксперимента обычно выше, потому
что здесь сказывается активизирующее
влияние специального контроля и
психологического подъема в объекте
(публичность). В последующих случаях
уже не остается ни того, ни другого. Зато
срабатывает эффект массовости, ибо
только широкое распространение новшества
реализует его подлинный потенциал и
дает максимальную эффективность.

В
эксперименте должна быть обеспечена
принципиальная обратимость вызываемых
изменений. Это не только методическое,
но и социально-нравственное требование:
негативные воздействия не должны быть
допущены к рассмотрению, а также не
должны сниматься в самом экспериментальном
объекте. К обычным постэкспсриментальным
нововведениям это не относится, как
говорится, по определению.

В
данном контексте возникает и такая
методологическая проблема: выделение
в нововведении экспериментальной
составляющей. Имеется в виду переменная,
подвижная часть нововведения, которая,
собственно, и подлежит испытанию.
Конечно, объем экспериментальной
составляющей может совпадать с границами
всего нововведения. И тогда мы имеем
дело с параллельным или последовательным
способом сопоставления альтернативных
решений. К экспериментальной составляющей
может быть отнесен и отдельный компонент
нововведения, как это пока чаще всего
фактически и получается. Возможно
изменение содержания и объема
экспериментальной составляющей по мере
развертывания эксперимента, получения
его результатов. Однако соблюдение
процедуры ее определения должно быть
обязательным при программировании
инновационных экспериментов.

Трудности
как всегда начинаются с перевода
методологии на методический уровень,
совмещения исследования с консультированием
(дело тут и в квалификации специалистов).

Технический
и естественнонаучный эксперимент с его
огромной школой дал глубокую общенаучную
традицию. Она хорошо принялась в
психологии — самой «естественной»
из социальных наук. Но уже там, особенно
в социальной психологии, выросла проблема
интерпретации общенаучной методологии
для новых объектов, выработки оригинальных,
частнонаучных принципов экспериментирования,
решения специфически социальных проблем
последнего. Теперь вся эта проблематика
приобретает целевой интерес как
необходимость обеспечения надежности
механизма дальнейшего социально-экономического
развития на базе НТП.

Да,
нынешняя экспериментальная практика
«не замечает» даже те немногие
принципы, которые методология эксперимента
в состоянии сформулировать в методически
приемлемом виде. И не только потому, что
они рекомендательно еще нс доведены до
лиц, принимающих решения. Сама эта
практика еще молода и больше ориентируется
на «искусство», чем на научную
строгость. В самом деле, нет вроде бы
никаких особых препятствий для соблюдения,
например, принципа контрольных объектов,
необходимых для точности оценки
результатов. Но вряд ли можно назвать
хотя бы один крупный эксперимент, где
бы они специально выделялись. В лучшем
случае сравниваются исходные и конечные
данные. Это факт, и не отрадный. Однако
же, если попытаться последовательно
осуществить названный принцип в любом
из экспериментов, то появляются трудности,
которые еще более ощутимы при обращении
к повторимости результата на том же и
других объектах, обратимости изменений,
репрезентативности опытных объектов,
отделении постоянных факторов от
ситуативных и т. д.

Общий
источник этих трудностей — многообразие
социальных объектов, множество вариантов
«объективных» и «субъективных»
условий, ограниченная сравнимость.
Проблема, конечно, не новая. Известны и
способы ее преодоления: введение
соответствующих группировок опытных
и контрольных объектов, увеличение их
числа; использование математического
аппарата (корреляционный анализ). У
таких мер есть свои недостатки — удорожание
эксперимента, усложнение управления
им. Экспериментаторам нужны более
технологичные методики, не столь
громоздкие, а оперативные и точные.

Еще
одна общенаучная проблема важна в
социологии эксперимента как с точки
зрения принципа обратимости изменений
(об этом уже говорилось), так и по причине
«чистоты результатов» — это
воздействие аппарата исследования на
его объект и среду. (В одном из известных
экспериментов рабочие одинаково
поднимали выработку и качество работы
не только при улучшении освещения, но
и при его ухудшении: оказавшись в центре
внимания социологов, одни проявляли
«повышенную ответственность»,
другие чувствовали усиление контроля.)

Представляется,
что в общем виде методика социального
эксперимента должна включать в себя
ряд требований:

1.
Обеспечение чистоты экспериментального
исследования. Чистота эксперимента
зависит от того, насколько удалось
нейтрализовать влияние на ход и результаты
экспериментирования так называемых
побочных факторов, не вошедших в состав
экспериментальных. Способы нейтрализации
влияния побочных факторов достаточно
подробно освещены в отношении
исследовательского эксперимента.
(Считалось, например, что «условием
проведения чистого эксперимента является
то, что его участники не знают о его
проведении. Это связано с тем, что
осознание участниками эксперимента
«исключительности» своего положения
может стать неконтролируемой, неуправляемой
экспериментальной переменной и исказить
результаты»). Такой подход был возможен
до выхода экспериментальной практики
в хозяйственную сферу, где данное
требование неосуществимо. Дело в том,
что создание экспериментальной стратегии
требует тщательного «отделения»
объекта от побочных факторов социальной
среды. Часто это означает предоставление
прямых льгот (приоритетное снабжение,
подача транспорта и др.), чтобы
экспериментальная идея получила
возможность проявиться. А в результате
оказывается невозможным разграничить
итоги работы предприятий в условии
эксперимента. Между тем, проблема
решается путем использования методического
принципа — введения в сферу наблюдения
контрольных объектов, на которые также
распространялся бы принцип приоритетного
снабжения. Предлагаются и другие способы
совершенствования методики эксперимента.
В частности, А.И. Пригожин предлагает
введение зависимой контрольной
переменной, измеряемой по двум параметрам:
психологическое возбуждение поля и
побочный продукт. Тогда, по его мнению,
«»очищение» результата будет
программироваться еще в начале
эксперимента».

2.
Выработка критериев и показателей
эффективности нововведения. В настоящее
время данная проблематика исследования
решается в основном в экономическом
аспекте и менее всего в социальном. В
теории социального управления и
планирования, а также в процессе
прикладного социологического исследования
в последние годы предпринимаются большие
усилия для выработки критериев и
показателей социальной эффективности
тех или иных нововведений. И здесь
достигнуты уже определенные успехи.
(Так, социальная эффективность внедрения
научно-технического прогресса определяется
через обоснование методов
потребительно-стоимостного анализа,
через показатели, характеризующие
экономию рабочего и увеличение свободного
времени).

3.
Выбор методов контроля за ходом и
результатами эксперимента. Назначение
этих методов состоит в том, чтобы: а)
оценить характер и направления воздействия
нововведения на развитие исследуемых
общественных отношений; б) определить
уровень эффективности нововведения и
в) выявить «слагаемые» эффективности,
т.е. выяснить влияние различных факторов
на достигнутый уровень эффективности
нововведения.

Применяемые
в практике экспериментирования методы
оценки хода и результатов эксперимента
сводятся, главным образом, к статистическим
методам исследования объективной
информации (например, когда выводы об
эффективности нововведения делаются
на основе анализа динамики производительности
труда, материального вознаграждения,
текучести кадров и т.п.). Однако, воздействие
экспериментальных норм на развитие
общественных отношений, как известно,
опосредовано деятельностью людей, их
субъективными мотивами поведения.
Поэтому материалы статистического
анализа объективной информации необходимо
дополнять выводами социологического
и социально-психологического изучения
мнений и отношения людей к содержанию
рассматриваемого нововведения.

Другой
недостаток методик социального
экспериментирования связан как раз с
определенным субъективизмом восприятия
наблюдаемых экспериментальных ситуаций.
И здесь неверные методологические
установки могут привести к искажению
сущности происходящих процессов,
несущественные факторы могут быть
истолкованы как причины.

Среди
методических приемов определения
целесообразности, предмета, объекта и
результатов проведения социальных
экспериментов в системе социального
управления важное место должен занять
метод экспертных оценок.

Литература

1.
Мешков А.А. Основные направления
исследования инновации в американской
социологии. // Социс. 1996. № 5.

2.
Практикум по прикладной социологии. /
Под ред. Н.И. Дряхлова, В.Я. Нечаева. М.,
1992.

3.
Пригожин А.И. Современная социология
организаций. М., 1995.

4.
Хагуров А.А. Социальный эксперимент.
Ростов-на-Дону, 1991.

Изучение всех влияющих на исследуемый объект факторов одновременно
провести невозможно, поэтому в эксперименте рассматривается их ограниченное
число. Остальные активные факторы стабилизируются, т.е. устанавливаются на
каких-то одинаковых для всех опытов уровнях.

Некоторые факторы не могут быть обеспечены системами стабилизации
(например, погодные условия, самочувствие оператора и т.д.), другие же
стабилизируются с какой-то погрешностью (например, содержание какого-либо
компонента в среде зависит от ошибки при взятии навески и приготовления
раствора). Учитывая также, что измерение параметра у осуществляется
прибором, обладающим какой-то погрешностью, зависящей от класса точности
прибора, можно прийти к выводу, что результаты повторностей одного и того же
опыта у_к будут приближенными и должны
отличаться один от другого и от истинного значения выхода процесса.
Неконтролируемое, случайное изменение и множества других влияющих на процесс
факторов вызывает случайные отклонения измеряемой величины у_к
от ее истинного значения – ошибку опыта.

Каждый эксперимент содержит элемент неопределенности вследствие
ограниченности экспериментального материала. Постановка повторных (или
параллельных) опытов не дает полностью совпадающих результатов, потому что
всегда существует ошибка опыта (ошибка воспроизводимости). Эту ошибку и нужно
оценить по параллельным опытам. Для этого опыт воспроизводится по возможности в
одинаковых условиях несколько раз и затем берется среднее арифметическое всех
результатов. Среднее арифметическое у равно сумме всех n отдельных результатов, деленной на
количество параллельных опытов n:

Отклонение результата любого опыта от среднего арифметического
можно представить как разность y₂–
, где y₂ – результат отдельного
опыта. Наличие отклонения свидетельствует об изменчивости, вариации значений
повторных опытов. Для измерения этой изменчивости чаще всего используют
дисперсию.

Дисперсией называется среднее значение квадрата отклонений
величины от ее среднего значения. Дисперсия обозначается s² и
выражается формулой:

где (n-1)
– число степеней свободы, равное количеству опытов минус единица. Одна степень
свободы использована для вычисления среднего.

Корень квадратный из дисперсии, взятый с положительным знаком,
называется средним квадратическим отклонением, стандартом или квадратичной
ошибкой:

Ошибка опыта является суммарной величиной, результатом многих
ошибок: ошибок измерений факторов, ошибок измерений параметра оптимизации и др.
Каждую из этих ошибок можно, в свою очередь, разделить на составляющие.

Все ошибки принято разделять на два класса: систематические и
случайные (рисунок 1).

Систематические ошибки порождаются причинами, действующими
регулярно, в определенном направлении. Чаще всего эти ошибки можно изучить и
определить количественно. Систематическая ошибка – это ошибка,
которая остаётся постоянно или закономерно изменяется при повторных измерениях
одной и той же величины. Эти ошибки появляются вследствие неисправности
приборов, неточности метода измерения, какого либо упущения экспериментатора,
либо использования для вычисления неточных данных. Обнаружить систематические
ошибки, а также устранить их во многих случаях нелегко. Требуется тщательный
разбор методов анализа, строгая проверка всех измерительных приборов и
безусловное выполнение выработанных практикой правил экспериментальных работ.
Если систематические ошибки вызваны известными причинами, то их можно
определить. Подобные погрешности можно устранить введением поправок.

Систематические ошибки находят, калибруя измерительные приборы и
сопоставляя опытные данные с изменяющимися внешними условиями (например, при
градуировке термопары по реперным точкам, при сравнении с эталонным прибором).
Если систематические ошибки вызываются внешними условиями (переменной
температуры, сырья и т.д.), следует компенсировать их влияние.

Случайными ошибками называются
те, которые появляются нерегулярно, причины, возникновения которых неизвестны и
которые невозможно учесть заранее. Случайные ошибки вызываются и объективными
причинами и субъективными. Например, несовершенством приборов, их освещением,
расположением, изменением температуры в процессе измерений, загрязнением
реактивов, изменением электрического тока в цепи. Когда случайная ошибка больше
величины погрешности прибора, необходимо многократно повторить одно и тоже
измерение. Это позволяет сделать случайную ошибку сравнимой с погрешностью
вносимой прибором. Если же она меньше погрешности прибора, то уменьшать её нет
смысла. Такие ошибки имеют значение, которое отличается в отдельных измерениях.
Т.е. их значения могут быть неодинаковыми для измерений сделанных даже в
одинаковых условиях. Поскольку причины, приводящие к случайным ошибкам
неодинаковы в каждом эксперименте, и не могут быть учтены, поэтому исключить
случайные ошибки нельзя, можно лишь оценить их значения. При многократном
определении какого-либо показателя могут встречаться результаты, которые
значительно отличаются от других результатов той же серии. Они могут быть
следствием грубой ошибки, которая вызвана невнимательностью экспериментатора.

Систематические и случайные ошибки состоят из множества
элементарных ошибок. Для того чтобы исключать инструментальные ошибки, следует
проверять приборы перед опытом, иногда в течение опыта и обязательно после опыта.
Ошибки при проведении самого опыта возникают вследствие неравномерного нагрева
реакционной среды, разного способа перемешивания и т.п.

При повторении опытов такие ошибки могут вызвать большой разброс
экспериментальных результатов.

Очень важно исключить из экспериментальных данных грубые ошибки,
так называемый брак при повторных опытах. Грубые ошибки легко
обнаружить. Для выявления ошибок необходимо произвести измерения в других
условиях или повторить измерения через некоторое время. Для предотвращения
грубых ошибок нужно соблюдать аккуратность в записях, тщательность в работе и
записи результатов эксперимента. Грубая ошибка должна быть исключена из
экспериментальных данных. Для отброса ошибочных данных существуют определённые
правила.

Например, используют критерий Стьюдента t (Р;
f):
Опыт считается бракованным, если экспериментальное значение критерия t по
модулю больше табличного значения t (Р; f).

Если в распоряжении исследователя имеется экспериментальная оценка
дисперсии S²(y_k)
с небольшим конечным числом степеней свободы, то доверительные ошибки
рассчитываются с помощью критерий Стьюдента t (Р;
f):

ε()
= t (Р; f)* S(y_k)/= t (Р; f)* S()

ε(y_k) = t (Р; f)* S(y_k)

Какие бывают погрешности

Любое число, которое выдает нам эксперимент, это результат измерения. Измерение производится прибором, и это либо непосредственные показания прибора, либо результат обработки этих показаний. И в том, и в другом случае полученный результат измерения неидеален, он содержит погрешности. И потому любой грамотный физик должен не только предъявить численный результат измерения, но и обязан указать все сопутствующие погрешности. Не будет преувеличением сказать, что численный экспериментальный результат, предъявленный без указания каких-либо погрешностей, бессмыслен.

В физике элементарных частиц к указанию погрешностей относятся исключительно ответственно. Экспериментаторы не только сообщают погрешности, но и разделяют их на разные группы. Три основных погрешности, которые встречаются чаще всего, это статистическая, систематическая и теоретическая (или модельная) погрешности. Цель такого разделения — дать четкое понимание того, что именно ограничивает точность этого конкретного измерения, а значит, за счет чего эту точность можно улучшить в будущем.

Статистическая погрешность связана с разбросом значений, которые выдает эксперимент после каждой попытки измерить величину.

(Подробнее о статистической погрешности)

Систематическая погрешность характеризует несовершенство самого измерительного инструмента или методики обработки данных, а точнее, недостаточное знание того, насколько «сбоит» инструмент или методика.

(Подробнее о систематической погрешности)

Теоретическая/модельная погрешность — это неопределенность результата измерения, которая возникла потому, что методика обработки данных была сложная и в чем-то опиралась на теоретические предположения или результаты моделирования, которые тоже несовершенны. Впрочем, иногда эту погрешность считают просто разновидностью систематических погрешностей.

(Подробнее о погрешности теории и моделирования)

Наконец, в отдельный класс, видимо, можно отнести возможные человеческие ошибки, прежде всего психологического свойства (предвзятость при анализе данных, ленность при проверке того, как результаты зависят от методики анализа). Строго говоря, они не являются погрешностью измерения, поскольку могут и должны быть устранены. Зачастую это избавление от человеческих ошибок может быть вполне формализовано. Так называемый дважды слепой эксперимент в биомедицинских науках — один тому пример. В физике частиц есть похожие приемы (см. заметку Что означает «слепой анализ» при поиске новых частиц?).

Что означает погрешность

Стандартный вид записи измеренной величины с погрешностью знаком всем. Например, результат взвешивания какого-то предмета может быть 100 ± 5 грамм. Это означает, что мы не знаем абсолютно точно массу, она может быть и 101 грамм, и 96 грамм, а может быть и все 108 грамм. Но уж точно не 60 и не 160 грамм. Мы говорим лишь, сколько нам показывают весы, и из каких-то соображений определяем тот примерный разброс, который измерение вполне могло бы дать.

Тут надо подчеркнуть две вещи. Во-первых, в бытовой ситуации значение 100 ± 5 грамм часто интерпретируется так, словно истинная масса гарантированно лежит в этом диапазоне и ни в коей мере не может быть 94 или 106 грамм. Научная запись подразумевает не это. Она означает, что истинная масса скорее всего лежит в этом интервале, но в принципе может случиться и так, что она немножко выходит за его пределы. Это становится наиболее четко, когда речь идет о статистических погрешностях; см. подробности на страничке Что такое «сигма»?.

Во-вторых, надо четко понимать, что погрешности — это не ошибки эксперимента. Наоборот, они являются показателем качества эксперимента. Погрешности характеризуют объективный уровень несовершенства прибора или неидеальности методики обработки. Их нельзя полностью устранить, но зато можно сказать, в каких рамках результату можно доверять.

Некоторые дополнительные тонкости, связанные с тем, что именно означают погрешности, описаны на странице Тонкости анализа данных.

Как записывают погрешности

Указанный выше способ записи не уточняет, что это за погрешность перед нами. В физике элементарных частиц при предъявлении результатов источники погрешностей принято уточнять. В результате запись результата может иногда принять пугающий своей сложностью вид. Таких выражений не надо бояться, просто нужно внимательно посмотреть, что там указано.

В самом простом случае экспериментально измеренное число записывается так: результат и две погрешности одна за другой:

μ = 1,33 ± 0,14 ± 0,15.

Тут вначале всегда идет статистическая, а за ней — систематическая погрешность. Если же измерение не прямое, а в чем-то опирается на теорию, которая тоже не идеально точна, то следом за ними приписывается теоретическая погрешность, например:

μ = 1,33 ± 0,14 ± 0,15 ± 0,11.

Иногда для пущей понятности явно указывают, что есть что, и тогда погрешностей может быть даже больше. Это делается вовсе не для того, чтобы запутать читателя, а с простой целью: упростить в будущем расчет уточенного результата, если какой-то один из источников погрешностей будет уменьшен. Вот пример из статьи arXiv:1205.0934 коллаборации LHCb:

Означает эта длинная строка следующее. Тут записана измеренная детектором вероятность выписанного распада B_s-мезона, которая равна [1,83 ± четыре вида погрешностей] · 10^–5. В перечислении погрешностей вначале идет статистическая погрешность, потом систематическая погрешность, затем погрешность, связанная с плохим знанием некоторой величины f_s/f_d (неважно, что это такое), и наконец, погрешность, связанная с плохим знанием вероятности распада B⁰-мезона (потому что измерение B_s-распада косвенно опирается на B⁰-распад).

Нередки также случаи, когда погрешности в сторону увеличения и уменьшения разные. Тогда это тоже указывается явно (пример из статьи hep-ex/0403004):

И наконец, совсем экзотический случай: когда величина настолько плохо определена, что погрешность пишут не к самому числу, а к показателю степени. Например, 10^12 ± 2 означает, что величина вполне может лежать где-то между 10 миллиардами и 100 триллионами. В этом случае обычно нет большого смысла разделять погрешности на разные типы.

Величина со всеми явно указанными погрешностями часто не очень удобна для работы, например при сравнении теории и эксперимента. В этом случае погрешности суммируют. Эти слова ни в коем случае нельзя воспринимать как простое сложение! Как правило, речь идет о сложении в квадратах: если все три типа погрешностей обозначить как Δx_stat., Δx_sys., Δx_theor., то глобальная погрешность обычно вычисляется по формуле

Стоит еще добавить, что в других разделах физики нередко используют иную запись: вместо символа «±» погрешность просто помещают в скобках. Тогда ее понимают так: это погрешность, выраженная в единицах последней значащей цифры. Например, 100(5) означает 100 ± 5, а 1,230(15) означает 1,230 ± 0,015. В этом случае принципиально важно писать правильное число нулей в результате измерения, ведь запись 1,23(15) уже будет означать вдесятеро большую погрешность: 1,23 ± 0,15.

Как изображают погрешности

Когда экспериментально измеренные значения наносятся на график, погрешности тоже приходится указывать. Это обычно делают в виде «усов», как на рисунке слева. Такие «усы» с засечками относятся к глобальной погрешности. Если же хочется разделить статистические и систематические погрешности, то делают так, как показано на рисунке справа. Здесь засечки показывают только статистические погрешности, а полные усы во всю длину отвечают глобальным погрешностям. Другой вариант: выделение полных погрешностей цветом, как это показано, например, на рисунке с данными ATLAS по хиггсовскому бозону.

Наконец, когда экспериментальная точка имеет отдельные погрешности по обеим осям, то их тоже наносят, и результат выглядит в виде крестика.