Ошибка
репрезентативности
— расхождение между выборочной
характеристикой и характеристикой
генеральной совокупности.
Ошибки
репрезентативности
-
Систематические
— возникают в результате нарушения
научных принципов отбора единиц
совокупности (преднамеренные и
непреднамеренные). -
Случайные
возникают в результате несплошного
характера наблюдения (средняя и
предельная ошибки выбора).
Случайные
ошибки могут быть доведены до незначительных
размеров, а главное, их размеры и пределы
можно определить с достаточной точностью
на основании закона больших чисел.
Средняя
ошибка выборки
— такое расхождение между средними
выборочной и генеральной совокупностями,
которое не превышает ±.
В
математической статистике доказывается,
что значения средней ошибки выборки
определяются по формулам:
Формула
для определения величины средней ошибки
выборки для количественного признака:

Формула
для определения величины средней ошибки
выборки для альтернативного признака:

Полученное
значение средней ошибки необходимо для
установления возможного значения 
.
Которое определяется по формуле:

Но
такое суждение можно гарантировать не
с абсолютной
достоверностью, а лишь с определенной
степенью
вероятности.
В
математической статистике доказывается,
что пределы значений характеристик
генеральной совокупности отличаются
от характеристик выборочной совокупности
лишь с вероятностью, которая определена
числом 0,683.
Это
означает, что в 683 случаях из 1000 генеральная
средняя будет находиться в установленных
пределах, т.е. отклонение ГС от ВС не
превысит однократной средней ошибки
выборки. В остальных 317 случаях они могут
выйти за эти пределы. Вероятность можно
повысить, если расширить пределы
отклонений. Так, при удвоенном значении

,
вероятность достигает 0,954 (
).
Если утроить значение то вероятность
увеличится до 0,997 (
).
|
Возможное |
Вероятность |
|
|
0,683 |
|
|
0,954 |
|
|
0,997 |
Если
обозначить значение увеличения 

за
t,
то можно записать в общем виде:

Множитель
t
называется коэффициентом
доверия.
Известный русский математик А.М.Ляпунов
дал выражение конкретных значений
множителя t
для различных степеней вероятности в
виде функции:

На
практике пользуются готовыми таблицами
этой функции.
|
t |
0 |
0,1 |
0,5 |
1 |
1,5 |
2 |
2,5 |
2,6 |
3 |
4 |
|
(t) |
0,1 |
0,0797 |
0,3829 |
0,6827 |
0,8664 |
0,9545 |
0,9876 |
0,9907 |
0,9973 |
0,99994 |
Из
вышесказанного следует, что лишь с
определенной степенью вероятности
можно утверждать, что показатели
генеральной совокупности и их отклонения
не превысят величину 
.
Полученную величину
называетсяпредельной
ошибкой выборки.
Предельная
ошибка выборки
—
максимально
возможное расхождение выборочной и
генеральной средних,
т.е.
максимум ошибки при заданной вероятности
ее появления.
Предельная
ошибка выборки для количественного
признака:

Предельная
ошибка выборки для альтернативного
признака:

В
связи с тем, что существуют различные
методы, виды и способы отбора единиц из
генеральной совокупности формулы для
расчета средней ошибки выборки также
будут различаться:
|
Способ |
Оцениваемый |
Повторный |
Бесповторный |
|
Собственно случайный механический |
Средняя |
|
|
|
Доля |
|
|
|
|
Типический |
Средняя |
|
|
|
Доля |
|
|
|
|
Серийный |
Средняя |
|
|
|
Доля |
|
|


— средняя из групповых дисперсий;
wi
— доля
единиц совокупности, обладающих изучаемым
признаком в i-й
типической
группе;


— средняя из групповых дисперсий для
доли. В табл. 6.6 представлены формулы
для исчисления средней ошибки выборки
при типическом отборе;
S
– общее число серий;
s
– число отобранных серий;

—
межгрупповая дисперсия средних,
определяемая по формуле:


—
межгрупповая дисперсия доли, определяемая
по формуле:



— средняя
i-й
серии;


—
средняя по всей выборочной совокупности;
w
— доля признака i-й
серии;


— общая доля признака во всей выборочной
совокупности.
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]
- #
- #
- #
- #
- #
- #
- #
- #
- #
- #
- #

О размере выборки и статистической ошибке измерений подробно написано в статье «Выборка. Размер – не главное. Или главное» . В этой статье будет рассмотрено второе требование к выборке, также обеспечивающее качество исследования – репрезентативность.
Согласно теории выборочного метода, неоднократно подтвержденной практикой, опрашивать всех нет необходимости, а можно опросить лишь часть группы, которая может быть в тысячи раз меньше. Эта маленькая часть называется выборкой (или выборочной совокупностью), а большая группа, которую она представляет, называется генеральной совокупностью.
При этом если выборка сформирована правильно, выводы, полученные на основе изучения выборки, могут быть перенесены и на генеральную совокупность. Например, если в выборке женщины значимо чаще, чем мужчины, пользуются дезодорантами, то делается вывод, что и в генеральной совокупности (например, в исследованном городе) присутствует такая закономерность. Процесс переноса выводов с выборки на генеральную совокупность называется генерализацией. А свойство выборки отражать характеристики генеральной совокупности называется репрезентативностью. Для более комфортного запоминания термина на рис.1. приведены иллюстрации, когда выборка отражает свойства генеральной совокупности и когда свойства выборки отличаются от свойств генеральной совокупности.

Рис.1. Иллюстративные примеры соответствия (несоответствия) свойств генеральной совокупности и выборки
Не стоит путать понятие репрезентативности с такими понятиями как валидность и релевантность, хотя они тоже относятся к характеристикам качества исследования. В социальных науках валидность понимается довольно широко, но чаще всего – как обоснованность. Понятие валидности относится не к выборке, а к исследовательской методике. Методика или измерение (анкета, блок вопросов, тест) считается валидным, если фиксирует именно то понятие или свойство, которое планируется измерить. Например, если мы захотим оценить уровень лояльности клиента к магазину и выберем для этого лишь показатель частоты посещения магазина, валидность этого подхода будет неполной: возможно, респондент часто заходит в магазин только из-за банкомата, который там установлен. Валидная методика в данном примере должна включать и другие показатели: предпочтение магазина, суммы покупок в этом и других магазинах, готовность переключиться на другие магазины, готовность рекомендовать магазин и др.
При установлении валидности решающую роль играет обоснование и последующая проверка гипотезы релевантности, то есть соответствия измеряемых параметров характеристикам исследуемого объекта. Житейский пример нерелевантности – измерять уровень счастья человека количеством денег у него (хотя, наверное, не все с этим согласятся). Очевидный пример нерелевантности – попытка измерить массу тела по его температуре.
Но вернемся к понятию репрезентативности. В то время как точность измерений зависит от размера выборки, размер выборки не гарантирует ее репрезентативности. Репрезентативность выборки главным образом обеспечивается способом отбора ее участников (респондентов). Примером явного нарушения репрезентативности может послужить шутка о том, что интернет-опрос показал, что 100% людей пользуется интернетом.
Можно выделить несколько вариантов нарушения репрезентативности выборки: когда опрошены не те люди и когда опрошено слишком много (или мало) определенных людей (например, женщин намного больше, чем мужчин). Кроме того, чем меньше размер выборки, тем меньше вероятность того, что она будет репрезентативной. Например, допустим, 1% населения мог бы заинтересоваться новой услугой. Это 1 из 100 людей. Если размер выборки составляет всего 60 человек, то в вашей выборке может отсутствовать человек, который, скорее всего, будет заинтересован в услуге. Ваша выборка менее репрезентативна, потому что она меньше. Ваши результаты будут разными в зависимости от того, содержит ли ваша выборка одного из этих людей или нет. Пример репрезентативной и нерепрезентативной выборки показан на рис.2.
Рис.2. Пример репрезентативной и нерепрезентативной выборки
На рис.3 показана та же по составу генеральная совокупность, но с другим расположением объектов внутри круга.
Рис.3. Пример репрезентативной и нерепрезентативной выборки при другом расположении объектов генеральной совокупности
Говоря простым языком, репрезентативная выборка – это такая выборка, в которой представлены все подгруппы, важные для исследования. Помимо этого, характер распределения рассматриваемых параметров в выборке должен быть таким же, как в генеральной совокупности.
Простой случайный отбор респондентов представляется оптимальным способом формирования репрезентативной выборки. Поскольку в этом случае у любого представителя генеральной совокупности одинаковая вероятность попасть в выборку, в нее попадут люди с разными характеристиками пропорционально их долям в генеральной совокупности. В итоге выборка будет представлять собой нечто вроде уменьшенной копии генеральной совокупности.
Случайность отбора респондентов в выборку обеспечивается разными способами. Например, для телефонного опроса жителей города берется база данных всех телефонных номеров, и номера респондентов случайным образом выбираются компьютером (с использованием генератора случайных чисел). При уличном опросе интервьюеров распределяют по случайно выбранным точкам и инструктируют опрашивать каждого N-ного прохожего.
Наглядным примером репрезентативной выборки может служить пицца. Если целая пицца – это генеральная совокупность, которую мы хотим изучить, то кусок пиццы – это выборка. Как правило, достаточно одного куска пиццы, чтобы судить обо всей пицце (при условии, что ингредиенты равномерно распределены по ее поверхности). Таким образом, кусок пиццы пиццы на рис.4 – это репрезентативная выборка из пиццы.
Рис.4. Наглядный пример репрезентативной выборки (пицца)
Важно отметить, что не любой кусок пиццы будет репрезентативной выборкой. Разные способы получения куска пиццы могут принципиально повлиять на качество исследования и выводы, которые будут получены при анализе каждого варианта выборки (рис.4)
(рисунок в сушильной камере, готовится к публикации)
Рис.5. Наглядный пример формирования репрезентативной и нерепрезентативной выборки.
Еще один показательный пример формирования репрезентативной выборки – кастрюля, содержимое которой мы должны узнать (допустим, там скрывается борщ). Мы только один раз можем зачерпнуть из кастрюли ложкой (провести исследование). В нашем примере ложка – это выборка, а содержимое кастрюли – генеральная совокупность.
Если мы зачерпнем сверху, то придем к выводу, что в кастрюле бульон. Если снизу – решим, что в кастрюле мясо. Зачерпнув где-то посередине, мы получим картошку или капусту. В любом из трех случаев выводы будут неверны. Чтобы получить достоверный результат, нам стоит хорошенько перемешать содержимое кастрюли, перед тем как пробовать его. Перемешивание в данном случае – аналог процедуры простого случайного отбора, поскольку оно предоставляет всем ингредиентам примерно равную вероятность попадания в ложку-выборку (или тарелку-выборку).
Рис.6. Борщ как модель, демонстрирующая репрезентативность выборки.
В реальности применить простой случайный отбор респондентов не всегда удается в полной мере. Например, мы можем абсолютно корректно отобрать в выборку нужное количество номеров домашних телефонов случайным образом, но при их прозвоне выяснится, что дозвониться и поговорить удается преимущественно с пенсионерами, а «поймать» дома молодежь и работающих людей получается плохо.
Возвращаясь к примеру с борщом, если у нас вместо кастрюли – огромный ресторанный котел, а в руках все та же обычная ложка, перемешивание будет неэффективным. Чтобы решить задачу, потребуются иные подходы. Например, мы можем теоретически разделить глубину котла на несколько слоев и постараться зачерпнуть содержимое из каждого слоя (из случайного места слоя: не только в центре, но и по краям). Таким образом, наша итоговая выборка будет состоять уже из нескольких выборок и при этом адекватно отражать содержимое всех слоев котла. Подобные альтернативные подходы называются типами выборки, которых придумано достаточно много для того, чтобы максимизировать репрезентативность выборки в сложных условиях реального мира.
Последствия нарушения репрезентативности выборки: некорректные выводы исследования, выброшенный на ветер бюджет исследования, финансовые потери вследствие применения неправильных выводов. Вы можете выбрать валидную исследовательскую методику, рассчитать объем выборки, обеспечивающий приемлемую точность измерений, но, если выборка исследования нерепрезентативна, получить достоверную информацию не удастся.
ПРИМЕРЫ НАРУШЕНИЯ РЕПРЕЗЕНТАТИВНОСТИ ВЫБОРКИ
ПРЕДВЫБОРНЫЙ ОПРОС
Самым известным примером нарушения репрезентативности выборки является история провала американского журнала «Литературный дайджест».
В 1936 году журнал в очередной раз провел почтовый опрос общественного мнения о вероятных результатах грядущих президентских выборов в США. До 1936 года опрос всегда правильно предсказывал победителя. Опрос 1936 года показал, что победителем с большим отрывом станет кандидат от республиканцев, но в итоге победителем оказался представитель демократов.
Таким образом, гигантская выборка (около 2,4 млн. человек) не обеспечила достоверных результатов. В чем же заключалась причина ошибки?
Называются две основные причины провала: смещение при формировании выборки и смещение вследствие отказа респондентов от участия в опросе.
Прежде всего, журнал включил своих подписчиков в список для рассылки анкет и, желая расширить выборку, использовал два других доступных тогда списка граждан: зарегистрированных автовладельцев и пользователей телефонов. Во времена Великой Депрессии представители этих групп отличались от остального населения более высоким доходом, как и подписчики самого журнала. Таким образом, полученная база для рассылки не являлась корректным отражением структуры населения США.
Вторая проблема с опросом заключалась в том, что из 10 миллионов человек, чьи имена были в первоначальном списке рассылки, только 2,4 миллиона ответили на опрос. Вероятно, высокий процент отказов был связан с тем, что опрос проводился по почте. Уже в те времена американцы относились к почтовым рассылкам как к спаму. Таким образом, размер выборки составил примерно одну четверть от того, что первоначально планировалось. Когда доля ответивших низка (как это было в данном случае), считается, что исследование страдает от необъективности ответов.
У этой истории две морали: Большая, но неправильно сформированная выборка гораздо хуже маленькой, но правильно сформированной выборки. При проведении опроса не упускайте из внимания смещение отбора и смещение в результате отказов.
СИСТЕМАТИЧЕСКАЯ ОШИБКА ВЫЖИВШЕГО
Пример из военной практики. Во Вторую мировую войну американские военные столкнулись со следующей проблемой. Не все американские бомбардировщики после задания возвращались на базу. На вернувшихся самолетах оставалось множество пробоин от выстрелов противника, но распределены они были неравномерно: больше всего на фюзеляже и прочих частях, меньше в топливной системе и гораздо меньше — в двигателе. Командованию казалось логичным, что в наиболее поврежденных местах нужно установить больше брони.
Привлеченный к решению задачи математик возразил: данные как раз показывают, что самолет, получивший пробоины в этих местах, еще может вернуться на базу. А самолет, которому попали в бензобак или двигатель, выходит из строя и не возвращается. Поэтому укреплять следует те места, которые у вернувшихся самолетов повреждены меньше всего.
Рис .7. Пробоины на вернувшихся самолётах.
Получившие повреждения в других местах не смогли вернуться на базу
Эта задача служит примером нарушения репрезентативности выборки, когда в нее включены не те респонденты: в данном случае, вернувшиеся самолеты, в то время как не вернувшиеся проигнорированы.
Применительно к маркетинговым исследованиям, эта ситуация подобна следующей. При опросе клиентов бизнеса будет ошибкой опрашивать только текущих клиентов и не опрашивать потерянных клиентов (а какие «пробоины» получили они?).
НЕПРАВИЛЬНЫЕ МЕСТА ОПРОСА
При опросе посетителей ТРЦ важно правильно расставить интервьюеров. Например, если поставить интервьюеров только у главного входа, в выборку не попадут посетители, приехавшие в ТРЦ на автомобиле и попавшие в него через парковку. Как следствие, выводы, полученные на собранных данных, будут корректны только для той части посетителей, которые приходят в ТРЦ пешком, а значит, делают меньше покупок, не покупают габаритные товары, живут ближе к ТРЦ, чем приезжающие на автомобиле.
ОТСУТСТВИЕ КВОТИРОВАНИЯ
Другой пример. Бывает, что в разных районах города сбор анкет идет с разной скоростью: где-то (например, в центре города) большой пешеходный поток и у людей есть время на участие в опросе (отдыхающие, в отпуске, офисные сотрудники на обеде), а на окраинах либо мало людей на улицах, либо все спешат на работу и отказываются участвовать. В результате, если не ограничивать доли районов, в выборке будут преобладать люди из центрального района, которые могут значимо отличаться от остальных людей родом занятий, уровнем дохода и образования, уровнем осведомленности о магазинах и др. Таким образом, собранная выборка уже не будет репрезентативной по отношению к населению всего города.
ОНЛАЙН-ОПРОСЫ (ОНЛАЙН-ПАНЕЛИ)
Несмотря на многие положительные стороны онлайн-опросов, такие как экономичность, оперативность сбора информации, удобство ее обработки и т. д., некоторые их особенности напрямую угрожают репрезентативности исследования:
Во-первых, участники онлайн-опросов – это, как правило, активные пользователи интернета, хорошо в нем разбирающиеся и больше подверженные влиянию интернет-культуры, чем обычные люди.
Во-вторых, люди, у которых есть время и желание регулярно участвовать в онлайн-опросах за небольшое вознаграждение, скорее всего, значительно отличаются от остальных людей как по социально-демографическим, так и по психографическим характеристикам.
В-третьих, профессиональное участие в опросах приводит к так называемой профессиональной деформации, когда ответы респондентов на вопросы новых исследований обусловлены предыдущим опытом, но не жизненным, а опытом участия в других опросах.
Таким образом, в данном случае возникает та ситуация, когда опрашиваются не те люди, хотя по формальным характеристикам они подходят под описание целевой аудитории.
ВЫВОДЫ
Итак, чтобы получить достаточно точные данные об интересующей нас группе людей, необязательно опрашивать их всех, благодаря свойству репрезентативности выборки.
«Чем больше, тем лучше» – неправильный подход к формированию выборки.
Небольшая репрезентативная выборка лучше большой, но нерепрезентативной выборки. Применительно к выборке не стоит пугаться слова «случайная». Это вовсе не значит, что в исследовании будут получены случайные результаты. Напротив, случайный подход к формированию выборки делает ее максимально похожей на генеральную совокупность, а значит, репрезентативной.
При проектировании выборки следует учитывать опасность смещения структуры выборки вследствие особенностей сбора информации и других условий.
Вы можете подписаться на уведомления о новых материалах СканМаркет
Репрезентативность — важнейшее свойство данных, используемых для построения аналитических моделей. Независимо от того, в какой предметной области и какими методами производятся выборочные исследования, отсутствие репрезентативности выборки приводит к некорректным результатам. В статье рассказываем подробнее об этом важном свойстве.
Репрезентативность — важнейшее свойство данных, используемых для построения аналитических моделей. Оно отражает способность данных представлять зависимости и закономерности исследуемой предметной области, которые должна обнаружить и научиться воспроизводить построенная модель. Иными словами, репрезентативность показывает, содержат ли анализируемые данные достаточно информации для построения качественной модели, а так же, может ли эта информация быть использована алгоритмом построения модели.
Репрезентативность генеральной совокупности отражает способность совокупности описывать существенные свойства, зависимости и закономерности объектов, процессов и явлений предметной области. Она достигается за счёт правильной организации сбора и консолидации первичных данных.
Репрезентативность выборки описывает способность выборочных данных отражать структурные свойства совокупности, из которой они были извлечены. Т.е. даёт ответ на вопрос: можно ли в исследовании заменить совокупность на выборку без значимого ухудшения результатов анализа. Репрезентативность выборки достигается с помощью правильного выбора метода сэмплинга.
Таким образом, репрезентативность выборки касается только воспроизведения характеристик совокупности. Если сама исходная совокупность плохо представляет предметную область, то, даже если полученная из неё выборка будет репрезентативной, построить на её основе корректную с точки зрения предметной области модель будут невозможно.
Например, пусть компания собирается вывести на рынок новый продукт. При этом она хочет провести маркетинговые исследования в виде опроса клиентов о желаемых характеристиках и параметрах продукта. Число клиентов компании насчитывает сотни тысяч человек (генеральная совокупность), поэтому опросить их всех не представляется возможным физически, не является целесообразным экономически.
Поэтому компания формирует выборку клиентов для проведения опроса. Если мнение клиентов из выборки отражает мнение большинства клиентов и может быть использовано для принятия решений о параметрах и характеристиках нового продукта, то такая выборка будет репрезентативной.
Независимо от того, в какой предметной области и какими методами производятся выборочные исследования, отсутствие репрезентативности выборки приводит к некорректным результатам. Поэтому в процессе анализа необходимо убедиться, что сформированная выборка репрезентативна.
Таким образом, репрезентативная выборка — это такая выборка, в которой представлены все подгруппы, важные для исследования. Помимо этого, характер распределения рассматриваемых параметров в выборке должен быть таким же, как в генеральной совокупности.
Особенно важным является обеспечение репрезентативности в машинном обучении, для построения моделей классификации и регрессии используется несколько выборок: обучающая, тестовая и валидационная, которые тем или иным способом отбираются из исходного набора данных. И все эти выборки должны быть репрезентативными.
Обеспечение репрезентативности
В основе построения репрезентативной выборки лежит правильный выбор используемого алгоритма сэмплинга. При этом размер выборки, хотя и является важным, сам по себе не гарантирует ее репрезентативности. Например, интернет-опрос может показать, что 100% людей пользуется интернетом, хотя это не соответствует действительности (т.е. репрезентативность нарушена).
Выделяют качественную (структурную) и количественную репрезентативность.
Рисунок 1. Количественная и качественная репрезентативность
Качественная репрезентативность
Качественная репрезентативность показывает, что все группы, присутствующие в совокупности, будут представлены и в выборке. Для этого каждый элемент совокупности должен иметь равную вероятность, быть выбранным, а сама выборка должна производиться из однородных групп.
Наиболее оптимальным способом формирования репрезентативной выборки является простой случайный сэмплинг, поскольку в этом случае у любого представителя генеральной совокупности будет одинаковая вероятность попасть в выборку.
Например, при формировании выборки клиентов для опроса, в нее попадут люди из различных социальных групп пропорционально их долям в генеральной совокупности. В результате, выборка будет представлять собой уменьшенную копию генеральной совокупности.
Случайность отбора респондентов в выборку может обеспечивается различными методами. Например, для опроса клиентов берутся номера клиентских карт, которые случайным образом отбираются компьютерной программой с использованием генератора случайных чисел.
Однако, на практике применить простой случайный сэмплинг не всегда представляется возможным. Это связано с тем, что генеральная совокупность может быть неоднородной и будет содержать группы объектов.
Например, если опрос будет проводиться по телефону, то большинство откликов будет получено от пенсионеров, как людей менее занятых и более склонных идти на контакт. Очевидно, что если опрос проводится о продукте, ориентированном на молодёжь, то ценность мнения пенсионеров вряд ли будет высокой.
Чтобы решить эту проблему, можно использовать случайный стратифицированный сэмплинг, когда исходная совокупность сначала разделяется на слои (страты) по некоторому признаку. Например, клиенты могут быть стратифицированы по возрасту. Тогда страты могут быть сформированы пропорционально доле объектов в группах, что позволит уменьшить или увеличить долю той или иной группы, сохранив репрезентативность.
Другой вариант — использовать кластерный (групповой) сэмплинг, когда клиенты предварительно разбиваются на качественно однородные группы — кластеры, и отбор производится из каждого кластера независимо. При этом вероятность отбора может быть одинаковой для всех кластеров, или различной. Можно некоторые кластеры вообще исключить из отбора. В нашем примере клиенты могут быть разбиты на кластеры по социальному статусу — студенты, работающие, пенсионеры, военнослужащие и т.д. Таким образом, долю, пенсионеров в выборке, можно уменьшить или совсем исключить.
Количественная репрезентативность
Количественная репрезентативность показывает, является ли достаточным число элементов выборки для представления характеристик генеральной совокупности с заданной погрешностью. Например, при неизвестной величине генеральной совокупности, когда результат отражается в виде показателя относительной доли, число элементов выборки, обеспечивающее количественную репрезентативность, может быть вычислено по формуле:
n=frac{t^{2}cdot pcdot q}{Delta ^{2}}
где t — доверительный коэффициент, показывающий, какова вероятность того, что размеры показателя не будут выходить за границы предельной ошибки, p — доля единиц наблюдения, обладающих изучаемым признаком, q=1−p — доля единиц наблюдения, не обладающих изучаемым признаков, Δ — допустимая ошибка выборки.
Например, одним из показателей качества кредитного портфеля банка является доля заёмщиков, допустивших просрочку. Предельная ошибка, которую можно допустить, чтобы разброс значений показателя не превышал разумные границы, Δ=5% . При этом показатель может принимать значения 25% ±5%, т.е. от 20% до 30%. Допуская t=2, что обеспечивает 95% вероятность, получаем
n=frac{2^{2}cdot 0,25cdot 0,75}{0,05^{2}}=300 заёмщиков.
Если же показатель — не относительная средняя величина просроченной задолженности по всем клиентам, то число наблюдений будет:
n=frac{t^{2}cdot sigma ^{2}}{Delta ^{2}}
где sigma ^{2} — среднеквадратическое отклонение значений исследуемого признака.
Если используется выборка без возврата и размер генеральной совокупности известен, то для определения необходимого размера случайной выборки при использования относительных величин (долей) применяется формула:
n=frac{t^{2}cdot pcdot qcdot N}{Delta ^{2}cdot N+t^{2}cdot pcdot q}
где N — число наблюдений генеральной совокупности. Для средних значений исследуемой величины формула примет вид:
n=frac{t^{2}cdot sigma ^{2}cdot N^{2}}{Delta ^{2}cdot N^{2}+t^{2}cdot sigma ^{2}}
Тогда, в предыдущем примере, положив число клиентов N=500, получим:
n=frac{2^{2}cdot 0,25cdot 0,75cdot 500}{0,05^{2}cdot 500+2^{2}cdot 0,25cdot 0,75}approx 188 клиентов.
Таким образом, необходимый объем выборки при безвозвратном отборе меньше, чем при возвратном (соответственнo, 188 и 300).
В целом, число наблюдений, требуемое для получения репрезентативной выборки, изменяется обратно пропорционально квадрату допустимой ошибки.
Методы оценки репрезентативности
Формально, выборку называют репрезентативной, когда результат оценки определенного параметра по данной выборке совпадает с результатом, оцененным по генеральной совокупности с учетом допустимой погрешности (ошибки репрезентативности). Если выборочная оценка отличается от оценки по генеральной совокупности более, чем на заданный уровень погрешности, то такая выборка считается нерепрезентативной.
Репрезентативность оценивается по отдельным параметрам выборки и совокупности. При этом выборка может оказаться репрезентативной по одним параметрам и нерепрезентативной по другим. Поэтому говорить о репрезентативности как о дихотомическом свойстве выборки (репрезентативна или нерепрезентативна) было бы не верно: выборка может одни параметры генеральной совокупности воспроизводить более точно, а другие — менее. Поэтому правильнее говорить о мере репрезентативности определённой выборки по конкретным параметрам.
Основным моментом в определении репрезентативности выборки является обоснование погрешности, в пределах которой выборка признается репрезентативной. Одна и та же выборка может быть достаточно репрезентативной для одной задачи и недостаточно для другой. Кроме этого, нужно проверять репрезентативность выборки по параметрам, имеющим существенное значение для предметной области исследования. Например, в маркетинговых исследованиях для анализа клиентов важны пол, возрасту, образование и пр.
Следует отметить, что далеко не все задачи бизнес-аналитики требуют строгого статистического подтверждения репрезентативности выборок. Как правило, это задачи точного прогнозирования. Что касается обычных задач, связанных, например, с определением предпочтений действующих и потенциальных клиентов, то они решаются охватом типичной клиентуры, которую можно найти непосредственно в торговых центрах.
Статистические методы
Данные, полученные в результате выборочных обследований, являются реализациями случайных величин (возраст, стаж работы, доход и т.д.). Обычно, на практике считают, что выборка является репрезентативной, если её статистические параметры (среднее значение, дисперсия, среднеквадратичное отклонение и т.д.) отличаются от параметров совокупности не более, чем на 5%.
Однако, данный подход применим только при условии, что вся генеральная совокупность известна и для неё можно вычислить статистические характеристики. Но на практике такое встречается редко, поскольку часть потенциально интересных для исследования объектов оказывается недоступной для наблюдения.
В этом случае прибегают к формированию двух независимых выборок, вычисляют и сравнивают их характеристики, и если они совпадают (не различаются значимо), то выборки считаются репрезентативными. В теоретическом плане такой подход является достаточно привлекательным, однако, на практике сложно реализуем. Во-первых, формирование нескольких выборок ведёт к дополнительным затратам, а во-вторых, если параметры выборок значимо различаются, то невозможно сказать, какая из них репрезентативна.
Для сравнения двух выборок используются два вида критериев: непараметрические и параметрические. Первые не используют в расчётах значений параметров статистических распределений, а оперируют частотами и рангами. К числу наиболее популярных непараметрических критериев можно отнести критерий Уилкоксона и U-критерий Манна-Уитни. Второй рекомендуется использовать, если число наблюдений превышает 30. К числу популярных параметрических критериев относится t-критерий Стьюдента, критерий однородности Смирнова, Q-критерий Розенбаума и др.
Нестатистические методы
Статистические методы оценки репрезентативности выборочных данных, хотя и являются строго обоснованными, но довольно сложны в использовании (особенно для пользователей, не имеющих достаточной математической подготовки). Кроме этого они могут иметь ограничения (например, независимость выборок), удовлетворить которым достаточно сложно.
Статистические подходы к оценке репрезентативности выборок имеет смысл использовать, если для анализа данных используются статистические методы. Методы машинного обучения, которые является эвристическими и в большинстве случаев не обеспечивают точного и единственного решения, вообще говоря, не нуждаются в точной оценке репрезентативности обучающих выборок. Поэтому в них используются свои техники для определения того, насколько обучающая или тестовая выборка хорошо представляют исходную совокупность.
Ещё одной особенностью выборок, используемых в машинном обучении, является то, что объём исходной совокупности, из которой формируются обучающее, тестовое, а при необходимости, и валидационное множество, известен, поскольку данные содержатся в консолидированных таблицах источника данных.
Обычно нестатистические меры репрезентативности используют расстояния между векторами наблюдений в пространстве признаков. Рассмотрим, например, такой показатель как индекс ближайшего соседа (Nearest Neighbours Index — NNI). Предположим, что выборка включает n ближайших соседей внутри некоторой области пространства признаков. Вычислим величину, представляющую собой среднее расстояние между i-м объектом и всеми остальными объектами в выборке (области соседства):
overline{D}_{sample}=frac{1}{n}sumlimits_{i=1}^{n}D_{i}
где D_i — расстояние от i-го объекта до остальных объектов выборки, n — число объектов выборки.
Затем вычислим величину:
overline{D}_{total}=sqrt{frac{D_{_{total}}}{N}}
где D_{_{total}} — общее расстояние по всей совокупности, N — число наблюдений совокупности.
Тогда индекс ближайшего соседа будет:
NNI=frac{overline{D}_{sample}}{overline{D}_{total}}
Если значение данного показателя близко к 1, то точки выборки имеют равномерное пространственное распределение. Если меньше 1, то пространственное распределение точек неоднородно. Если NNI больше 1, то имеет место значительная дисперсия значений внутри выборки.
Очевидно, что наилучшим вариантом с точки зрения репрезентативности будет первый случай, когда пространственное распределение точек данных в совокупности и выборке примерно одинаковое. Второй случай показывает, что внутри выборки могут присутствовать некоторое локальные особенности, нехарактерные для всей совокупности.
В литературе можно найти больше количество разнообразных алгоритмов и методов оценки репрезентативности выборок для машинного обучения, разработанных для различных предметных областей исследования и типов задач анализа. Большинство их них являются эвристическими и не гарантируют получения наилучшего результата. Поэтому самым надёжным критерием репрезентативности выборки, на основе которой строилась определённая обучаемая модель, является точность и обобщающая способность самой модели.
Ремонт выборки
Возникает вопрос: а что делать в ситуации, когда аналитику доступна только выборка «как есть», а её репрезентативность неудовлетворительная? При этом доступ к генеральной совокупности для формирования более репрезентативной выборки у него отсутствует (например, из-за проблем с сетью, невозможности повторных исследований из-за высоких затрат и т.д.). В этом случае улучшить ситуацию может специальная процедура, которая называется «ремонт выборки».
Все действия аналитика, связанные с репрезентативностью, можно разделить на два этапа: контроль и ремонт.
- Контроль выборки — процедура сравнения генеральной совокупности и выборки, выявление степени их расхождения, обнаружение причин отклонений и разработка возможных способов их устранения.
- Ремонт выборки — процесс устранения расхождения генеральной совокупности и выборки.
Контроль и ремонт выборки рассматриваются как обязательные этапы любого выборочного исследования. Хотя, некоторые авторы не разделяют эти два этапа, а включают ремонт в общую процедуру контроля выборки. Ряд вопросов, связанных с контролем выборки был рассмотрен выше.
Основной целью ремонта является повышение качества выборки в смысле отражения ею зависимостей и закономерностей исследуемых процессов и явлений, которые требуется обнаружить в процессе анализа. При этом не следует путать ремонт выборки с повышением качества данных вообще.
Ремонт выборки, обычно, включает следующие задачи:
- Коррекция выборки. Заключается в замене ранее выбранных объектов совокупности. Коррекция может потребоваться, например, если в выборке произошло искажение распределения объектов относительно исходной совокупности, например, получился избыток пенсионеров, мужчин, женщин или людей с определённым уровнем образования. Замена может быть произвольной (например, следующий клиент по списку) или эквивалентной (подыскивается клиент с теми же параметрами — пенсионера меняем на пенсионера и т.д.).
- Расширение основы выборки. Позволяет включить в выборку большее разнообразие наблюдений. Основа выборки — это подмножество элементов генеральной совокупности, из которого будет формироваться выборка. Использование основы выборки позволяет сделать отбор более целевым, исключив обработку данных, не относящихся к задаче анализа, лучше сфокусироваться на целевой группе. В анализе клиентской базы основой выборки могут быть только мужчины, только женщины, люди в возрасте от 30 до 60 и т.д. Если выборка получилась недостаточно репрезентативной, то решить проблему можно расширяя границы основы выборки. Например, если изначально основой выборки являлась только люди пенсионного возраста, то при необходимости она может быть расширена и на людей предпенсионного возраста.
- Взвешивание. При взвешивании объектам выборки могут присваиваться весовые коэффициенты, которые могут учитываться в алгоритме анализа. Например, повышенные весовые коэффициенты могут присваиваться клиентам, которые наиболее активно пользовались услугами компании (купили товаров и услуг на сумму выше некоторого порога). Логично предположить, что мнение таких клиентов будет более значимым.
Следует отметить, что единого, строго обоснованного подхода к ремонту выборок, вообще говоря, не существует, хотя в литературе можно встретить некоторые общие рекомендации. В большинстве практических случаев аналитику приходится самостоятельно выбирать, какие преобразования следует применить к выборке для повышения её репрезентативности.
Другие материалы по теме:
Обработка пропусков в данных
Loginom Data Quality. Очистка клиентских данных. Деморолик
Наталя Николаевна Корпало
Эксперт по предмету «Социология»
Задать вопрос автору статьи
Понятие выборки
Определение 1
Выборка или выборочный набор — это часть общего набора элементов, охватываемого экспериментом (наблюдение, опрос).
Характеристики выборки:
- качественные характеристики выборки — что мы выбираем и какие методы отбора проб мы используем для этой цели;
- количественные характеристики выборки — какое количество случаев выбирается, иными словами, размер выборки.
Выборка необходима, когда:
- Объект социологического исследования довольно обширный. Например, потребители продукции глобальной компании — это огромное количество географически разбросанных по миру рынков.
- Есть необходимость сбора вторичной информации.
Определение 2
Размер выборки – это количество дел, событий, действий, включенных в выборку
Начни разбираться в искусстве
Обучающие курсы по психологии, маркетингу, нутрициологии и работе в сфере кино
Выбрать программу
Образцы можно разделить на большие и маленькие, поскольку в математической статистике используются разные подходы в зависимости от размера выборки. Считается, что, если объем выборки более 30, то такую выборку можно отнести к большим.
Замечание 1
Вообще, выделяют два типа выборок: вероятностные и невероятностные.
Вероятностная выборка делится на:
- простую вероятностную,
- простую случайную,
- простую неповторяющуюся.
Простая вероятностная выборка. Применение данной выборки основано на предположении о том, что каждый респондент с одинаковой вероятностью будет включен в выборку. На основании списка населения в целом составляются карточки с номерами респондентов. Они помещаются в колоду, перетасовываются и из них случайным образом извлекается карта, записывается номер, а затем возвращается обратно. Далее процедура повторяется столько раз, сколько нам нужно. Минус: повторение выбора единиц.
«Репрезентативность выборки в социологическом исследовании » 👇
Простая случайная выборка. Она имеет очевидные преимущества. Этот метод чрезвычайно прост для понимания. Результаты исследования могут быть распространены на изучаемую популяцию. Большинство подходов к статистическому выводу включают сбор информации путем простой случайной выборки.
Однако простой метод случайной выборки имеет четыре очень важных ограничения:
- часто бывает трудно установить кадр выборки, который позволял бы простую случайную выборку;
- простая случайная выборка может привести к большой популяции или распространению на большой географической территории, а это, в свою очередь, сильно увеличивает стоимость и время поиска данных;
- итоги простой случайной выборки практически всегда характеризуются довольно низкой точностью и стандартными ошибками;
- в результате использования SRS может быть сформирована нерепрезентативная выборка.
Выборки, которые были получены с помощью простого случайного отбора, обычно адекватно представляют общую популяцию, но некоторые из них представляют исследуемую популяцию некорректно. Это особенно заметно при небольшом размере выборки.
Простая неповторяющаяся выборка. Порядок построения выборки тот же, только карточки с номерами респондентов не возвращаются обратно в колоду.
Репрезентативность выборки в социологическом исследовании
Проблема ошибок репрезентативности характерна для вероятностных выборок, она связана, прежде всего, с прерывистым характером выбора единиц наблюдения. Эти ошибки называются случайными. Они не опасны для исследований, поскольку существуют математические средства определения их величины и, соответственно, способы их устранения.
Одним из способов является увеличение размера выборки. Чем больше размер выборки, тем меньше ошибка (и размер выборки, равный совокупности, полностью исключает случайные ошибки). Систематические ошибки более опасны. Это ошибки другого рода, они могут встречаться не только в выборочных исследованиях. Их иногда называют ошибками смещения. Их причины кроются в том, что в исследовании была неправильно составлена структура выборки (использовались устаревшие данные, неполная или отсутствовала статистика по некоторым важным характеристикам выборки), плохо выбран метод выбора единиц наблюдения, респондентов по разным причинам «, выпал опроса (отсутствует, отказался отвечать) и т. д.
Для устранения этих ошибок математические инструменты бесполезны. Это требует, во-первых, логического анализа причин систематических ошибок, а во-вторых, разработки системы мер по их устранению. Это меры, направленные на улучшение основы выборки, разработку плана ее поэтапного формирования, меры по устранению недостатка данных, ошибок в сборе и обработке информации.
Если образец построен правильно, исследование дает довольно точные результаты даже при небольшом объеме. Но когда в его конструкции допускаются систематические ошибки, большой объем не может быть сохранен. Вот классический пример ошибки такого рода, взятый из истории исследований общественного мнения в Соединенных Штатах.
Поскольку массовые опросы общественного мнения стали своего рода модой в стране, многие СМИ склонны делать выводы об общественных настроениях в целом на основе результатов опросов зрителей, слушателей, читателей и подписчиков. Однако есть как минимум три причины, которые не позволяют полностью доверять опубликованным материалам:
- Во-первых, подписчики и читатели любых, даже самых массовых изданий, не представляют репрезентативную группу по отношению ко всему населению. Среди них, как правило, преобладают городские жители, лица с более высоким уровнем образования и т. д.
- Во-вторых, только часть заинтересованных людей, в том числе те, у кого есть на это время, отвечают на запросы и призывы СМИ принять участие в опросе.
- В-третьих, поскольку такой опрос выступает в качестве телефона или почты, процент «возврата» мнений и анкет обычно не очень высок. Кроме того, значительная часть из них является неполной или неполноценной (на ряд вопросов нет ответов, некоторые анкеты заполнены с нарушениями, часто в соответствии с условиями опросов от респондентов не требуется аргументов в пользу своего мнения).
Все это было сказано для того, чтобы доказать, что конструкция выборки — достаточно ответственная и сложная, и ее качество во многом зависит от достоверности результатов исследования. Задача построения образца должна решаться каждый раз заново в зависимости от конкретных условий. На этом подготовительный этап социологических исследований заканчивается, и начинается следующий — сбор данных, полевые исследования.
Находи статьи и создавай свой список литературы по ГОСТу
Поиск по теме

Концепция репрезентативности часто встречается в статистических отчетах и при подготовке выступлений и отчетов. Пожалуй, без него сложно представить какое-либо представление информации для ознакомления.
Содержание
- 1 Репрезентативность — что это?
- 2 Другие определения
- 3 Репрезентативная выборка
- 4 Вероятностная выборка
- 5 Вероятностные выборки
- 6 Выборка потребителей
- 7 Размер выборки
- 8 Понятие ошибки репрезентативности
- 9 Виды ошибок
- 10 Преднамеренные и непреднамеренные ошибки репрезентативности
- 11 Валидность, надежность, репрезентативность. Расчет ошибок
- 12 Репрезентативные системы
Репрезентативность — что это?

Репрезентативность отражает степень, в которой выбранные объекты или части соответствуют содержанию и значению набора данных, из которого они были выбраны.
Другие определения
Репрезентативность можно понимать в разных контекстах. Но по своему смыслу репрезентативность — это соответствие характеристик и свойств выбранных единиц генеральной совокупности, которые точно отражают характеристики всей генеральной базы данных в целом.
Кроме того, репрезентативность информации определяется как способность данных выборки представлять параметры и свойства совокупности, которые важны с точки зрения проводимых исследований.
Репрезентативная выборка
Принцип выборки заключается в выборе наиболее важных свойств, которые точно отражают общую совокупность данных. Для этого используются различные методы, позволяющие получить точные результаты и общее представление о генеральной совокупности, используя только выборочные материалы, описывающие качество всех данных.
Таким образом, нет необходимости изучать весь материал, но достаточно учесть выборочную репрезентативность. Что это? Это набор отдельных данных, чтобы получить представление об общей массе информации.
В зависимости от метода они делятся на вероятностные и маловероятные. Вероятностный — это выборка, которая создается путем вычисления наиболее важных и интересных данных, которые в будущем будут репрезентативными для генеральной совокупности. Это осознанный выбор или случайная выборка, однако оправданная своим содержанием.
Маловероятно — это одна из разновидностей случайной выборки, составленной по принципу обычной лотереи. В этом случае мнение лица, взявшего такую пробу, не принимается во внимание. Используется только слепая жребий.
Вероятностная выборка
Вероятностные выборки также можно разделить на несколько типов:
- Один из самых простых и понятных принципов — нерепрезентативная выборка. Например, этот метод часто используется при проведении социальных опросов. При этом участники опроса не выбираются из общей массы по каким-либо конкретным критериям, а информация берется от первых 50 человек, принявших участие.
- Выборка вероятностей — это еще одна разновидность выборки невероятности, которая часто используется для исследования больших наборов данных. Для этого используется множество условий и правил. Выбираются объекты, которые должны им соответствовать. То есть на примере социального опроса можно предположить, что будет опрошено 100 человек, но при составлении статистического отчета будет учитываться только мнение определенного количества людей, которые будут соответствовать установленным требованиям.
- Преднамеренные выборки отличаются тем, что они имеют ряд требований и условий для отбора, но все же полагаются на совпадения, не преследуя цели получения хорошей статистики.
Вероятностные выборки
Для вероятностных выборок рассчитывается ряд параметров, которым будут соответствовать объекты в выборке, и среди них различными способами могут быть выбраны именно те факты и данные, которые будут представлены как репрезентативность данных выборки. Эти методы расчета требуемых данных могут быть:
- Простая случайная выборка. Он заключается в том, что среди выделенного сегмента методом полностью случайной лотереи выбирается необходимый объем данных, который будет репрезентативной выборкой.
- Систематическая и случайная выборка позволяет составить систему расчета необходимых данных на основе случайно выбранного сегмента. Итак, если первое случайное число, указывающее порядковый номер данных, выбранных из общей совокупности, равно 5, следующими данными для выбора могут быть, например, 15, 25, 35 и так далее. Этот пример ясно объясняет, что даже случайный выбор может быть основан на систематических вычислениях требуемых входных данных.
Выборка потребителей
Осмысленная выборка — это способ взглянуть на каждый отдельный сегмент, и на основе его оценки составляется генеральная совокупность, отражающая характеристики и свойства всей базы данных. Таким образом, собирается больше данных, отвечающих требованиям репрезентативной выборки. Легко выбрать набор параметров, которые не будут включены в общее количество, без потери качества выбранных данных, представляющих генеральную совокупность. Таким образом определяется репрезентативность результатов исследования.
Размер выборки
Не последняя проблема, которую необходимо решить, — это размер выборки для репрезентативной репрезентативности населения. Размер выборки не всегда зависит от количества источников в генеральной совокупности. Однако репрезентативность выборки напрямую зависит от того, на сколько сегментов в конечном итоге следует разделить результат. Чем больше таких сегментов, тем больше данных включается в итоговую выборку. Если результаты требуют общих обозначений и не требуют конкретики, то в результате выборка становится меньше, поскольку, не вдаваясь в детали, информация представлена более поверхностно, а значит, ее прочтение будет общим.
Понятие ошибки репрезентативности
Репрезентативная систематическая ошибка — это конкретное несоответствие между характеристиками населения и данными выборки. При проведении выборочного исследования невозможно получить абсолютно точные данные, как при полном изучении генеральных популяций и выборки, представленной только частью информации и параметров, в то время как более детальное изучение возможно только при изучении всей совокупности численность населения. Поэтому некоторые ошибки и ошибки неизбежны.
Виды ошибок
При составлении репрезентативной выборки возникают некоторые ошибки:
- Случайный.
- Стандарт.
- Не намеренно.
- Систематический.
- Предел.
- Умышленное.
Причиной появления случайных ошибок может быть прерывистый характер исследования генеральной совокупности. Обычно ошибка случайной репрезентативности незначительна по величине и характеру.
Между тем систематические ошибки возникают, когда нарушаются правила отбора данных из генеральной совокупности.
Средняя ошибка — это разница между средним значением выборки и основной совокупностью. Это не зависит от количества единиц в выборке. Он обратно пропорционален размеру выборки. Таким образом, чем больше объем, тем меньше среднее значение ошибки.
Предельная ошибка — это наибольшая возможная разница между средним значением выполненной выборки и всей генеральной совокупностью. Эта ошибка характеризуется как максимум возможных ошибок в данных условиях их возникновения.
Преднамеренные и непреднамеренные ошибки репрезентативности
Ошибки искажения данных могут быть преднамеренными или непреднамеренными.
Итак, причины появления преднамеренных ошибок — это подход к отбору данных с использованием метода выявления трендов. Непреднамеренные ошибки возникают и на этапе подготовки выборочного наблюдения, формирования репрезентативной выборки. Чтобы избежать таких ошибок, необходимо создать хорошую основу выборки для списков единиц выборки. Он должен полностью соответствовать целям выборки, быть надежным и охватывать все аспекты исследования.
Валидность, надежность, репрезентативность. Расчет ошибок

Расчет ошибки репрезентативности (Mm) среднего арифметического (M).
Стандартное отклонение: размер выборки (> 30).
Репрезентативная ошибка (Мр) и относительная величина (Р): размер выборки (n> 30).
В случае, если необходимо изучить совокупность, где размер выборки невелик и менее 30 единиц, количество наблюдений уменьшится на одну единицу.
Величина ошибки прямо пропорциональна размеру выборки. Репрезентативность информации и расчет степени возможности составления точного прогноза отражает определенное значение предельной погрешности.
Репрезентативные системы
В процессе оценки представления информации используется не только репрезентативная выборка, но и лицо, получающее информацию, также использует репрезентативные системы. Таким образом, мозг обрабатывает определенный объем информации, создавая репрезентативную выборку всего потока информации, чтобы качественно и быстро оценить предоставленные данные и понять суть проблемы. Ответьте на вопрос: «Представление — что это?» — В масштабе человеческого сознания это довольно просто. Для этого мозг использует все подчиненные органы чувств, в зависимости от типа информации, которую необходимо изолировать от общего потока. Поэтому проводится различие между:
- Система визуального представления, в которой задействованы органы зрительного восприятия глаза. Людей, которые часто используют эту систему, называют визуалами. С помощью этой системы человек обрабатывает информацию, поступающую в виде изображений.
- Система кинестетической репрезентации — это обработка потока информации путем ее восприятия через обонятельные и тактильные каналы.
- Система слухового представления. Основной используемый орган — слух. Информация, предоставленная в виде аудио- или голосового файла, обрабатывается именно этой системой. Людей, которые лучше всего воспринимают информацию на слух, называют аудиалами.

- Система цифрового представления используется вместе с другими как средство получения информации извне. Это субъективно-логическое восприятие и понимание полученных данных.

Так что же такое репрезентативность? Простая выборка из набора или целостная процедура обработки информации? Мы можем однозначно сказать, что репрезентативность во многом определяет наше восприятие потоков данных, помогая выделить самые тяжелые и наиболее важные из них.
















