Качество используемой системы контроля ошибок обработки информации характеризует

В стандартном процессе обработки данных имеется ряд источников ошибок:

• ошибки
  в первичных данных (ошибки измерений,
  сбои информационно – измерительных
  систем) — намеренный ввод неправильных
  сведений в оперативном режиме, сокращение
  текста при вводе данных операторами,
  ошибки в данных, полученных путем
  обмена, ввод ошибочных данных клиентами,
  использование различных форматов
  данных в разных системах;

• ошибки,
  возникающие в процессе эксплуатации
  технологий обработки данных;

• ошибки,
  связанные со сбоями вычислительной
  техники, программных средств.

Ошибки
вычислительной техники на несколько
порядков менее вероятны, чем ошибки при
занесении данных на носитель. Ошибки в
первичных данных возникают из-за
несовершенства измерительных систем,
средств регистрации и передачи информации.
В результате могут появиться значения
параметров, выходящие за физически
допустимые пределы, ошибки в кодировании
значений ключевых характеристик,
появление двух одинаковых экземпляров
свойств объекта и др.

Можно
выделить четыре категории ошибок
(http://www.dwinfocenter.org/errors.html):
неполные данные, неправильные данные,
непонятные данные, непоследовательные
данные.

Неполные
данные –
т.е. в них имеются отсутствующие записи.
Чаще всего возникает по причине сбоев
в системах сбора данных. Сюда же относятся
отсутствующие
поля – задача
сбора данных решалась частным образом
– хотелось как можно быстрее создать
БД, при этом не думали о будущем. Записи
или поля которые при проектировании не
предусматривались, то есть это был
небрежный проект, без предварительного
исследования источников данных и
информационных потребностей пользователей.

Неправильные
данные — то
есть данные, имеющие ошибки, связаны с:

• неправильным
  применением кодов
  — это обычно происходит, когда используются
  старые протоколы обработки данных,
  исторические данные;

• неправильными
  расчетами, агрегацией — эта
  ситуация возникает при загрузке уже
  ранее вычисленных данных (необходимо
  иметь исходные данные для проверки
  результатов расчетов);

• ошибочным
  вводом информации в источнике данных
  – это связано с плохими формами ввода
  (последовательность записи года, месяца,
  дня в дате, плохое качество бумажного
  источника, др.), здесь необходимы более
  жесткие системы контроля ввода данных.

Непонятные
данные связаны с:

• неправильным
  парсингом кодов
  – это плохо составленный алгоритм
  конвертирования кодов или плохое
  соответствие двух классификаторов;

• хранением
  значений атрибутов в разных полях
  — это ситуация, где источник передает
  данные по различным каналам связи, на
  различных носителях и форматах;

• дупликацией
  данных —
  возникает в пределах одной системы, а
  особенно при объединении разных
  источников информации;

• непродуманным
  использованием схем форматирования,
  чтобы уменьшить использование памяти,
  например, можно хранить число в виде 4
  байт, а можно сохранить в виде двух
  байт, но при этом это число не может
  превышать значение 32000,
  другой пример, хранение цифровых данных
  сначала в символьном виде, а затем в
  виде числа – при преобразовании могут
  исчезнуть значащие нули;

• применением
  неизвестных кодов
  – при анализе БД, можно найти неизвестные
  значения кодов – это или ошибка при
  вводе данных или ошибка в алгоритме
  конвертирования – включен не тот код;

• ошибками
  несовместимости
  – эта категория охватывает наиболее
  широкий диапазон проблем, это связано
  с единицами измерения, ошибками в
  представлении даты и времени,
  непоследовательном использовании
  различных кодов, др.;

• различными
  кодами с одним тем же значением атрибута
  – используются
  два разных классификатора для одного
  объекта;

• непоследовательными
  именами и адресами
  — это случай различных кодов с одним и
  тем же значением, например, при изменении
  названия организации можно вести новый
  код, а можно создать таблицу «Жизненный
  цикл изменения кодов».

Непоследовательные
данные
связаны с:

• непоследовательными
  правилами
  получения
  вычисленных
  характеристик
  – это когда значения поля вычисляются
  неодинаково по разным формулам, в
  зависимости от района, метода;

• непоследовательной
  агрегацией данных
  — это случай использования различных
  правил при вычислении одних и тех же
  статистических характеристик в
  различных ситуациях, например, в области
  исследования климата принят одинаковый
  период обобщения данных (30 лет, каждые
  5 лет производится пересчет);

• использованием
  неодинаковых атомарных единиц
  представления данных
  – это бывает при использовании разных
  моделей данных;

• разными
  единицами оценки объемов данных в
  логических единицах
  — это случай разного использования
  единиц хранения атомарной информации;

• непоследовательным
  использованием атрибута
  – например, можно в поле адрес хранить
  всю информацию о клиенте, а можно
  отдельно улицу, дом, почтовый индекс,
  город, регион, страна, второй случай
  более правильный;

• непоследовательной
  датой — это
  случай непоследовательного использования
  атрибута, когда сливаются данные из
  двух систем, в которых различная политика
  использования дат (дата ввода измерения,
  дата ввода в систему, дата передачи);

• непоследовательным
  использованием пространства памяти,
  пустых значений и так далее,
  например, чтобы отмечать отсутствующие
  измерения, забракованные или вычисленные
  значения, необходимо иметь признак
  качества для каждого такого значения
  атрибута;

• отсутствием
  ссылочной целостности
  — может привести к ошибкам в значениях
  одних и тех же атрибутов в разных
  таблицах;

• не
  синхронизированной агрегацией
  — некоторая суммарная информация может
  быть получена независимо в различных
  таблицах, например, среднемесячное
  значение можно получить путем агрегации
  срочных значений, а можно на основе
  среднесуточных значений;

• сложностью
  ведения хранилища данных — увеличивается
  геометрически со временем –
  уходят
  специалисты, которые знали данные,
  алгоритмы и проблемы БД.

БД
представляют сложные человеко-машинные
системы, реальная достоверность сбора
первичной информации в которых
определяется как надежность работы
технических систем, так и ошибками,
вносимыми операторами. Основными
причинами
искажений
в процессе создания БД являются:

• отсутствие
  или неточность инструкции и стандартов
  работы;

• несовершенство
  или отсутствие макетов таблиц –
  документов, нечеткость заполнения
  первичных документов, смятие или
  загрязненность первичных (машинных)
  документов;

• сложность
  применяемых классификаторов и форм
  занесения данных, несоответствие макета
  первичного документа форме ввода данных
  на компьютере;

• недостаточная
  квалификация оператора, недобросовестное
  отношение к работе – небрежность,
  невнимательность, халатность;

• неточность
  в документации;

• плохая
  организация хранения и учета носителей
  информации;

• преднамеренное
  искажение информации в корыстных целях;

• недостаточная
  сознательность, безразличие и
  безответственность в работе;

• организационные
  недостатки в работе оператора –
  отсутствие постоянного закрепленного
  рабочего места, совместительство,
  нарушения или отсутствие графика
  работы, отвлечение на другие работы;

• обезличка
  в работе и отсутствие контроля;

• отсутствие
  морального и материального стимулирования
  хорошей работы;

• низкая
  трудовая дисциплина;

• неритмичность
  в работе (много потерь времени на этап
  врабатываемости);

• завышенный
  темп работы, усталость, возбужденное
  или угнетенное состояние оператора;

• недостатки
  в организации рабочего места (плохое
  освещение, шум), неудобная конструкция
  рабочего места, плохая регулировка и
  настройка (где лежит документ и
  клавиатура);

• недостаточная
  автоматизация ввода данных;

• сбои
  измерительной системы (неправильная
  работа датчика – погрешность измерения,
  приближенная запись) и ЭВМ при вводе
  данных (залипание клавиш; некачественность,
  физический износ и старение технического
  носителя; нарушение работоспособности
  из-за климатических и механических
  воздействий, флуктуации напряжения
  питающей сети);

• сбои
  аппаратуры при обработке данных
  (ошибочное вычисление значения);

• искажения
  в процессе передачи данных по каналам
  связи (наводки и помехи атмосферного
  и производственного характера, шум и
  частотные искажения в каналах связи);

• ошибки в алгоритмах
  и программах;

• форматные
  ошибки (изменение формата атрибута,
  количества байт, добавление или пропуск
  символа, появление запрещенных символов
  в атрибуте, сдвиг атрибутов, нарушающих
  шаблон сообщения, пропуск или появление
  дополнительных служебных символов,
  изменение количества реквизитов).

Средняя
вероятность ошибки при вводе информации
с клавиатуры находится в диапазоне
(0.5-1.5) 10 ^-3
ошибок / символ.

Методы
контроля данных

Процесс
управления качеством данных можно
разделить на следующие этапы:

– определение
качества исходных данных;

– определение
правил обеспечения качества этих данных;

– разработка
процессов очистки данных;

– внедрение этих
процессов;

– контроль
данных.

Для
этапа исследования можно использовать
средства профилирования – они осуществляют
быстрый анализ данных во всех исходных
системах, выдавая заключение и предлагая
инструкции по построению обработки
данных. Определение и построение правил
обеспечения качества данных крайне
важно для стандартизации, сравнения и
консолидации данных.

Проверка
качества данных становится отдельным
этапом работ при загрузке БД. Обеспечение
качества данных – нетривиальная задача.
Основными методами контроля являются:

• самоконтроль;

• дублирование
  операций (или части операций) при вводе
  информации (двойной ввод);

• применение
  помехоустойчивых кодов, базирующихся
  на использовании признаков делимости
  чисел (четность, нечетность) запрещении
  использования некоторых символов,
  введение избыточной информации в
  передаваемые данные;

• осуществление
  программно-логического контроля
  (совместимость, непротиворечивость,
  нахождение в некотором заданном
  интервале значений, дополнение атрибутов
  до заданного формата поля, контроль
  существования значения атрибута,
  сравнение из различных источников).

Для
сведения к минимуму потерь от случайных
искажений требуется создавать или
использовать уже готовые программы:

• ведения
  системного журнала СУБД, подробно
  фиксирующего каждую операцию над БД
  (описание транзакции, адреса компьютера,
  пользователя, время, тип и адрес изменения
  данных, значение данных до и после
  выполнения транзакции);

• контроля
  достоверности, использующие соответствующие
  методы контроля данных;

• отката,
  создания контрольных точек и повторного
  исполнения транзакции, вызвавшей
  искажение БД.

Учитывая
характер наиболее массовых ошибок,
целесообразно предусматривать три
категории алгоритмов качества данных
на каждом этапе преобразования информации:

• контроль
  соблюдения форматов записи данных на
  носитель (синтаксический контроль);

• контроль
  числовых значений параметров и ключевых
  характеристик измерений при вводе
  данных (семантический контроль);

• контроль
  выходной информации из БД (прагматический
  контроль).

Синтаксический
– это по существу контроль достоверности
данных, не затрагивающий содержательного
смыслового аспекта информации. Предметом
этого контроля являются контроль
форматов представления данных, шаблонов
и масок ввода данных, наличия атрибутов
(их номенклатуры), порядка следования,
наличие служебных признаков в структуре
сообщения, упорядоченности данных,
появления запрещенных символов,
комбинаций, полноты поступления первичной
информации и сопровождающих ее метаданных.

Семантический
контроль оценивает смысловое содержание
информации, его логичность,
непротиворечивость, диапазон возможных
значений параметров (предельные значения,
область значений), динамику их изменения,
возможных отклонений. Примером
семантического контроля могут служить
переписные листы населения, где двухлетний
мальчик показан женатым, а девятилетний
ребенок — грамотным.

Прагматический
контроль определяет потребительскую
ценность (полезность) информации для
пользователя, своевременность и
актуальность данных, их полноту и
доступность. Реализуется экспертной и
социологической оценкой данных.

При создании БД
очень часто используют средства очистки.
К сожалению, такой подход, позволяет
удалить только ошибочные данные. Средства
очистки данных выполняют базовые функции
контроля данных:

• проверка
  значений атрибутов БД на пределы
  допустимого диапазона;

• проверка
  орфографии;

• проверка
  стандартных сокращений;

• поиск
  неверных кодов.

По
назначению
контроль различается на профилактический,
рабочий и генезисный. Профилактический
– тестовый контроль надо проводить как
можно чаще, включать во все этапы
переработки. Рабочий контроль —
диагностический
(проверка работоспособности системы)
устанавливает места и причины
неисправности. Генезисный
контроль проводится для выяснения
технического состояния системы в прошлые
моменты времени с целью определения
причин сбоев и отказов системы, имевших
место в прошлом, сбор статистических
данных об ошибках, их характере – типах
ошибок, величине, последствиях этих
ошибок для пользователя.

По
способу реализации
контроль может быть организационный,
программный, аппаратный и комбинированный.

Организационный
контроль представляет собой комплекс
мероприятий, предназначенный для
выявления ошибок на всех этапах
переработки данных с участием человека.
Методами организационного контроля
являются разработка нормативных
документов, обучение, выборочная
проверка, контроль комплектности
документов, сроков и условий передачи
документов, условий и длительности
хранения технических носителей данных,
кондиционности бланков (носителей) и
качества их заполнения и визуальный
осмотр. Необходимо обеспечить правильный
подбор и обучение персонала, на который
будут возложены проведение наблюдения,
систематический контроль за ходом
наблюдений, широкая разъяснительная
работа. Следует предусмотреть
соответствующие меры во избежание
сознательного искажения фактов, приписок
и т.д., что является не только нарушением
государственной дисциплины, но и прямым
преступлением, наносящим вред интересам
дела.

Программный
контроль основан на программировании
логических методов проверки достоверности
данных. Примерами логического контроля
являются:

• наличие
  связей между отдельными измеряемыми
  показателями, например, влажность,
  измеренная и вычисленная по значениям
  сухого и смоченного термометра;

• сравнение
  с измеренными параметрами на соседнем
  приборе, станции;

• экстраполяция
  значений во времени, статистический
  прогноз;

• интерполяция
  данных между двумя измеренными значениями
  во времени или пространстве;

• счетный
  контроль заключается в проверке точности
  арифметических расчетов, применявшихся
  при составлении отчетности или путем
  сравнения полученных данных с другими
  источниками по этому же вопросу.

Аппаратный
контроль – контроль значений параметров
на этапе измерений, включается в платы,
служащие для преобразования данных из
физических значений в натуральные
(сопротивление в температуру,
электропроводность в соленость воды,
и т.д.).

По
степени выявления и корректировки
ошибок контроль делится на:

• обнаруживающий,
  фиксирующий только сам факт наличия
  или отсутствия ошибки;

• локализующий,
  позволяющий определить и место ошибки,
  например, искаженный символ, атрибут,
  др.;

• исправляющий,
  выполняющий функции обнаружения,
  локализации и исправления ошибки.

Примерами
исправляющих методов являются:

• анализ
  текста свободного формата
  для выявления в данных имен и адресов
  позволяет идентифицировать компонент
  имени, должности, организации и адреса
  даже в случае непоследовательно
  введенных данных (стандартизация слов,
  связанных с описанием организации,
  позволяет программе полностью проверить
  данные об организации, включая сокращения,
  и стандартизировать описание организации
  в едином согласованном формате);

• стандартизация
  представления значений некоторых полей
  — данные
  имен и адресов могут вводиться в
  различных форматах, многие из которых
  вполне грамматически корректны.
  Например, «Улица», «Ул.» и «Ул»
  обозначают одно и то же очевидное
  понятие в составе адреса, существуют
  и другие стандарты для этих и других
  подобных случаев, программы стандартизации
  трансформируют такие поля в согласованный
  набор обозначений;

• проверка
  допустимости — средства
  распознавания допустимых международных
  и национальных адресов, проверяют
  допустимость адресных данных.

Оформление
результатов контроля данных

Данные
наблюдения считаются принятыми, если
они прошли контроль и, если потребовалось,
в них внесены исправления. Основными
показателями
качества контроля данных
являются:

• экономические
  – материальные, трудовые и временные
  затраты на контроль;

• технико–эксплуатационные
  – алгоритмическая сложность контроля,
  вид и величина получаемой избыточности,
  точность и надежность контроля,
  универсальность — возможность использовать
  на различных этапах технологического
  процесса переработки данных, при решении
  различных задач, обработки различных
  видов данных;

• системные
  – удобство работы, наглядность и форма
  представления результатов, требования
  к квалификации и количеству операторов,
  конфигурация компьютера, необходимое
  программное обеспечение.

С
целью унификации и стандартизации
методов контроля данных для международного
обмена данными разрабатываются
Руководства по алгоритмам и процедурам
контроля данных, представляемых в
систему международного обмена данными.
В них рассматриваются алгоритмы и
процедуры «базового» или общего
контроля, которые в максимальной степени
беспристрастны и опираются на общеизвестные
физические законы и не допускающие
множества толкований логических
категорий.

Как
бы тщательно ни был составлен инструментарий
наблюдения, проведен инструктаж
исполнителей, материалы измерения
всегда нуждаются в контроле. Прежде
всего, проверяется полнота охвата
наблюдениями. С этой целью производится
сверка данных по спискам, пересчитываются
заполненные документы. Одновременно
на этой стадии проверяется полнота
заполнения форм отчетности, анкет и
т.д.

Содержанием
контроля данных является выполнение
комплекса проверок, позволяющих убедиться
в общей пригодности данных для решения
различных научных и производственных
задач.

Проблема
контроля данных очень сложная и требует
отдельного рассмотрения в зависимости
от специфики конкретного вида данных.
Контроль данных на технических носителях
состоит из трех этапов:

• контроль
  сопроводительных документов и форматов
  записи (тестирование носителя данных,
  получение контрольных распечаток);

• проверка
  соответствия полноты и содержания
  массивов программе наблюдений;

• контроль
  значений физических параметров и
  характеристик пространственно-временного
  размещения наблюдений (проверка
  упорядоченности данных, полноты
  наблюдений, реальности данных, соблюдения
  физических законов, проверка на
  статистические критерии, закономерностей
  изменения данных в пространстве и во
  времени).

Подготовка
данных к обмену представляет собой
передачу сведений о контроле и калибровке
измерительных приборов, о массиве
данных, об оценке его качества. Выполнение
всех этих этапов контроля позволяет
повысить качество обмениваемых комплектов
данных.

Данные,
представляемые в обмен, должны быть
снабжены сопроводительной документацией,
содержащей описание структуры данных,
сведения об источниках данных. Ключевые
характеристики в БД должны содержать
сведения о пространственно – временных
координатах каждого измерения, типе
платформ, размерностях параметров,
используемых методах измерений, типах
приборов, а сами результаты измерений
и определений должны быть исправлены
инструментальными поправками. Значения
параметров должны быть приведены с
точностью, соответствующей паспортным
характеристикам измерительных систем
и возможностям аналитических методов
определений.

Каждому
измеренному, определенному или
вычисленному параметру после контроля
должен быть присвоен признак качества,
не менее трех градаций – значение
достоверно, сомнительно и забраковано.
Для данных о природной среде используются
следующие градации:

0
– величина не вызывают сомнений;

1
– величина восстановлена;

2
– величина сомнительна;

3
– величина забракована;

4
— наблюдения не проводились;

5
– явление отсутствует;

6
– величина сомнительна по применяемым
алгоритмам контроля;

7-8
–резерв;

9
– контроль качества не проводился.

На
основе анализа статистики этих признаков
качества делается вывод о качестве
всего массива данных. Для обозначения
качества БД рекомендуется использовать
следующие коды:

0 все данные
не вызывают сомнений;

1. небольшая
   часть данных сомнительна (0-10%), но может
   быть использована;

2. существенная
   часть данных сомнительна (10-50%), но может
   быть использована;

3. более
   половины данных сомнительны (50-80%), но
   могут быть использованы;

4. почти
   все данные сомнительны (80-100%), но могут
   быть использованы;

5. небольшая
   часть данных сомнительна (0-10%), но не
   может быть использована;

6. существенная
   часть данных сомнительна (10-50%), но не
   может быть использована;

7. более
   половины данных сомнительны (50-80%), но
   не могут быть использованы;

8. резерв;

9. информация
   о качестве массива данных отсутствует.

Организация
работ по повышению качества данных

Соседние файлы в папке Lektsii

• #
• #
• #
• #
• #
• #
• #
• #
• #
• #
• #

Качество данных (КД) – характеристика, которая отражает степень их пригодности к использованию. В зависимости от сферы использования это понятие может относиться и к набору значений количественных либо качественных переменных.

Во время недавних опросов, проведенных в среде высшего руководства 1 200 компаний Европы и США, более 97% респондентов указали, что ошибки в контактных клиентских данных являются для них серьезной проблемой. Оказалось, что 83% фирм терпят финансовые убытки из-за низкого качества информации. По оценкам специалистов, они оцениваются в среднем в размере 15% от реальных доходов компаний. При этом лишь 35% фирм централизованно управляют данными. Кроме того, аналитики авторитетного агентства Gartner установили, что плохое качество используемых данных отрицательно влияет на продуктивность работы различных компаний, из-за чего их производительность сокращается на 20%.

Источники и процессы работы с данными

К источникам данных относятся следующие объекты:

• наборы данных;
• традиционные системы, предназначенные для записывания выполняемых операций;
• документы;
• операции с информацией.

С данными могут проводиться следующие манипуляции:

• перемещение информации из того или иного источника в определенную базу данных, а также объединение данных в одном формате;
• преобразование, то есть подготовка имеющейся информации к последующему хранению в оптимальной форме, благодаря чему существенно упрощается реализация запросов пользователей, которые требуются для принятия решений;
• загрузка, предусматривающая размещение данных в хранилище посредством добавления фактов или же внесения корректировок в уже имеющиеся;
• анализ в виде Data Mining, OLAP либо сводных отчетов;
• выдача результатов в приемлемом для юзера виде.

Эти сведения применяются в словаре метаданных (СМ), в который автоматически добавляются словари источников данных, а также описываются форматы для того чтобы в дальнейшем их был удобнее согласовать между собой. Помимо этого, в словаре метаданных присутствует информация касательно периодичности пополнения и о том, каким образом данные согласованы между собой по времени. Ключевой задачей словаря метаданных является освобождение разработчика от необходимости самостоятельного стандартизирования всей информации. Следует стремиться к тому, чтобы создаваемое хранилище никоим образом не конфликтовало с используемыми системами. 

Вся информация зачастую предоставляется пользователям в формате многоразмерных баз данных. В качестве измерения может использоваться стоимость, время, географический регион и другие факторы, выбор которых определяется сферой бизнеса.  

Зачем нужен контроль качества данных

Одним из ключевых требований, которому должна соответствовать грамотная база данных и выбранная система сбора информации – высокое качество данных. На основании полученной информации в дальнейшем будут рассчитываться показатели, демонстрирующие, насколько эффективно ведется бизнес и является ли он на данный момент стабильным.

Если окажется, что сохраненные данные содержат ошибки, в дальнейшем это может привести к неправильному выполнению расчетов, а это может спровоцировать серьезные убытки для предприятия. По этой причине большинство крупных компаний, работа которых характеризуется большими денежными оборотами, уделяют особенное внимание контролю качества данных.

При этом для многих фирм одним из ключевых факторов является сумма затрат, которые требуются для реализации грамотной системы контроля данных. Крупные организации готовы выделять большие бюджеты, чтобы организовать полноценную проверку загружаемой в базу информации, а также ее очистку от бесполезных сведений. В то же время нередко случается так, что даже крупные компании, организовывая работу собственного хранилища данных, не принимают во внимание, что контроль качества данных должен выполняться на постоянной основе, поэтому такие мероприятия не заложены в их бюджет. Не в последнюю очередь это объясняется ограниченным финансированием IT-отделов, из-за которого сложно выделить отдельного сотрудника, в обязанности которого входил бы только постоянный контроль данных.

Кто должен заниматься контролем

Перед важными расчетами необходимо быть уверенным в качестве исходных данных. Кроме назначения ответственного за качество персональных и других данных, компании должны проводить разъяснительную работу среди сотрудников, чтобы они были готовы выполнять некоторую часть этой работы. У таких пользователей больше возможностей понять и выявить производственные причины, по которым появляется бессмысленная или просто неверная информация.

Характеристики качества данных 

Качество данных определяется рядом международных и российских стандартов.  При этом стоит отметить, что к данному понятию относятся исключительно сведения, которые в дальнейшем используются для принятия управленческих решений. 

Качество данных определяется на основании нескольких ключевых критериев:

• происхождение загружаемой информации;
• полнота полученных сведений;
• то, насколько своевременно они были получены;
• насколько точной является информация.

В соответствии с нормами, указанными в стандарте ISO/IEC25012:2008, к ним добавляют следующие характеристики: конфиденциальность, легкость получения доступа к имеющимся данным, результативность их использования, а также возможность их восстановления. Зависимыми от применяемых систем являются 10 из 15 характеристик качества основных данных.

Объективная оценка качества поступающих данных предусматривает контроль нескольких факторов:

• правильность;
• легкость получения доступа;
• сумма, необходимая для обеспечения качества;
• сумма, которую компании нужно тратить для того, чтобы исправить допущенные ошибки.

Чтобы иметь возможность применять метрики, необходимо использовать правила проверки, которые формализуют порядок, в соответствии с которым сотрудниками компании выполняется расчет и измерение указанных факторов. Чтобы добиться реального результата, недостаточно отталкиваться только от стандартных правил и метрик, требуется комплексный подход.

Управление качеством основных данных: главные принципы

Чтобы обеспечить высокое качество используемой информации, компании должны выполнять несколько базовых условий:

1. Работа с сотрудниками компании всех уровней. В данном случае речь идет и о рядовых специалистах, и о топ-менеджерах компании. Это важно для оптимизации работы компании.

2. Организация управления КД путем влияния на источник, из которого поступает вся информация. Не стоит считать, что достаточно обращать внимание на точность информации, получаемой в результате проведенных изменений и внесении корректировок, чтобы обеспечить стабильно высокое качество данных. Добиться действительно высоких результатов можно только в том случае, если используемая система управления КД затрагивает источник, из которого добывается информация. 

3. Регулярная модернизация. КД должно постоянно усовершенствоваться. Чтобы это реализовать, нужен серьезный подход к проверке информации, полученной в результате проведения измерений, а также к постоянной корректировке основных данных. Следует понимать, что даже в таком случае ошибки неизбежны. Исключить их повторяемость можно только посредством проведения глубокого анализа и поиска причин, которые мешают росту качества основных данных. Так что компании нужно позаботиться о модернизации не только используемых процессов управления данными, но и в принципе любых бизнес-процессов, реализация которых предусматривает использование какой-либо информации.

Системное управление качеством основных данных

Управление качеством данных опирается на три важнейших элемента.

Организационная структура 

Создание грамотной организационной структуры помогает более эффективно распределять роли, а также назначать сотрудников, которые в дальнейшем будут нести ответственность за правильность обработки и выполнения других операций по обработке информации. Зачастую крупные организации, которые уделяют особое внимание качеству данных, создают для этого специальные отделы, ответственные за оперативный оборот данных и отслеживание любых операций с ними.

Процессы управления КД 

В соответствии ГОСТом и другими стандартами процессы управления КД делятся на три группы: выполнение операций над данными, 
непрерывный контроль качества данных, повышение КД.

Инструменты управления КД

У бизнеса есть широкий арсенал инструментальных систем для обработки и выполнения операций с данными. К ним относятся системы управления мастер-данными, продукты Data Quality, программы для работы с аналитикой.

Качество данных для BI-системы

BI-технологии – современные и эффективные инструменты для получения и анализа бизнес-данных. Они автоматизируют обработку даже крупных объемов информации, жизненно необходимой руководству компании для принятия решений. 

Современные BI-решения развиваются по четырем направлениям:

1. Хранение. Сохранение данных, применяемых для бизнес-анализа, организуется в хранилищах data warehouse. Данные собираются из различных транзакционных источников. Их структурируют таким образом, чтобы обеспечить наибольшую эффективность в процессе поиска, извлечения и обработки.

2. Интеграция. Интеграционная составляющая BI-системы представляет собой инструменты для работы с данными. 

3. Анализ. Это самый важный блок BI-систем, в котором применяются OLAP-инструменты, позволяющие рассматривать различные срезы данных и выявлять тренды и зависимости, в соответствие с выбранными критериями.

К ключевым задачам BI-систем относятся:

• повышение эффективности управления бизнесом;
• снижение издержек;
• поддержка принятия стратегических решений;
• снижение управленческих рисков;
• операционный контроль.

Качество данных и ETL

Важнейшей составляющей BI-систем являются процедуры ETL (Extraction, Transformation, Loading). При их реализации часто возникают проблемы, связанные с качеством данных: 

• Несколько значений одного и того же показателя.
• Множество источников данных.
• Разные уровни истории. Это серьезная и распространенная проблема. Для ее решения приходится пользоваться несколькими источниками. Например, это могут быть отчетности за разные годы.  
• Чистота и точность данных. Данные включаемые в хранилище, обязательно должны проверяться на чистоту. 
• Дробление для проверки и дальнейшего утверждения. 

Дисциплина КД

Любая проблема, связанная с КД, влечет за собой значительные и неожиданные расходы. Чтобы их избежать, специалисты рекомендуют придерживаться следующих несложных правил:

1. Осуществлять оценку качества данных до начала разработки конкретного проекта.
2. Уделять внимание, прежде всего, проверке и оценке, а не технологии ПО. Для этой цели можно отчасти использовать инструменты для профилирования данных.
3. Проводить проверку на старте каждого этапа разработки BI-системы. Так можно минимизировать убытки и избежать задержек запуска проектов или остановки производственных процессов.
4. Проверять, все ли данные, необходимые для выполнения решаемой задачи, в наличии. При этом масштаб оценки должен определяться пользовательскими требованиями.

Этапы проверки КД

Процедура проверки качества данных выполняется в четыре шага, после каждого из которых назначаются сотрудники, которые в дальнейшем будут нести ответственность за внесение каких-либо корректировок в аналитическую или учетную системы:

1. Контроль качества всей загружаемой информации. Грамотно устроенная система контроля качества данных предусматривает использование встроенных интеграционных шлюзов, работающих на основании заранее заложенных правил контроля, в соответствии с которыми выполняется проверка данных, поступающих из любых источников. За счет использования такого решения можно значительно сократить время, необходимое для загрузки информации. К перечню таких правил относится выполнение проверки любых загружаемых данных на предмет целостности, присутствия всех необходимых взаимосвязей и атрибутов, которые в дальнейшем будут отображаться в учете для формирования правильной отчетности. Этот этап является одним из наиболее важных, так как в дальнейшем за счет него можно будет быстро поправить систематические недочеты, а также обучить персонал внимательному учету данных.
2. Контроль качества данных после их загрузки. Сюда входит выполнение определенного перечня мероприятий, чтобы убедиться в полноте полученных данных на агрегатном уровне. Если мероприятия по контролю КД не проводились до загрузки в базу данных, то в таком случае все они должны быть выполнены уже после проведения загрузки. Если в процессе проведения указанных операций будет обнаружено, что данные не соответствуют правилам и им требуются поправки, создается специализированный протокол ошибок и выполненных корректировок. В дальнейшем протокол может использоваться для того чтобы дополнить оформленную отчетность полезной информацией, что особенно важно, к примеру, для компаний, работающих в банковской сфере. Также на этом этапе проверяется полнота информации, соответствие сделок.
3. Контроль КД после расчета агрегатов. На этом шаге выполняется проверка корректности загруженной информации, полученной в результате вычислений с использованием набора различных сведений. После устранения ошибок, которые были обнаружены на этом этапе, может осуществляться расчет отчетных форм.
4. Контроль качества рассчитанных отчетов. Данный этап требуется для того чтобы уполномоченные сотрудники компании могли убедиться в том, что составленная отчетность отражает достоверную информацию. Выполняется классический контроль данных, а также ручная верификация формы на уровне детальных данных. 

Даже обеспечив корректность данных, невозможно автоматически получать достоверную и качественную отчетность. В ближайшее время вряд ли стоит ожидать окончательную автоматизацию подобных процессов. 

Функции контроля КД помогают отследить ошибки и вовремя внести требующиеся коррективы в структуру и методы учета. С их помощью можно оперативно вносить необходимые изменения, когда отчетность готовится в авральном режиме. Во многом эффективность работы зависит от правильного распределения ответственности. Сочетание автоматизированных средств загрузки данных, их контроля и расчета с оперативной реакцией персонала обеспечивает конечный успех.

24.12.2019

С этим файлом связано 5 файл(ов). Среди них: Задания надзор.docx, oahomwrkmm_ovs_1-1 (5).pdf, 1 Практическая Дрозд Л.А..docx, Studbooks_245164.rtf, Pogreshnost_okruglenia.pptx.
Показать все связанные файлы

Подборка по базе: Курсовой проект контроль качества вент-ии.docx, Доклад. Актуальные проблемы совершенствования системы управления, Контроль качества изготовления деталей.docx, Лабораторная работа №1 по дисциплине «Интеллектуальные системы и, Лекция 2 Организация и методы сбора информации. Анализ предметно, Контроль качества.docx, ВЗК-182С Воскобойников Н.А Правовое обеспечение информационной б, Ненашева. Системы управления биотехнологическими процессами.docx, Курсовая работа Правовые системы.docx, Тема 1.1. Сущность понятия «дополнительное образование».pdf