Какой может быть цена ошибки

ЦЕНА ОШИБКИ

– значимость ошибок, как для деструктивных, так и для конструктивных процессов, связанных с функционированием человека. Ц. о. соотносится с быстротой обнаружения ошибки, допущенной человеком, возможностью ее устранения и последствиями ошибочного действия или бездействия. Эти последствия могут отразиться на качестве технологического процесса, состоянии объекта управления, изменении окружающей среды, сохранности жизни людей. В условиях НТР резко возросли стоимость технических средств и Ц. о. человека при управлении сложными системами. Приходит понимание, что Ц. о. имеет не только экономическое, но и экологическое, социальное, нравственное и политическое измерение. Напр., в условиях космических полетов, выполнения др. специальных задач резко возрастает зависимость успешного решения задачи от психологической совместимости экипажа (группы), длительного бесконфликтного взаимодействия. Высока Ц. о. и в ряде др. видов деятельности, напр. средств массовой информации. В конфликтологии под Ц. о. понимается значимость негативных последствий ошибочных решений и действий, осуществляемых участниками конфликта, лицами, занимающимися его урегулированием, конфликтологами. Определение Ц. о. является довольно непростой задачей. Напр., до сих пор не определены ни причины, ни Ц. о., приведших к распаду СССР. Поскольку главным процессом, вызвавшим развал СССР, был системный конфликт, задача анализа этого конфликта вот уже около 20 лет стоит перед отечественными конфликтологами, но пока не решена.

* * *
значимость ошибок как для деструктивных, так и для конструктивных процессов, связанных с деятельностью человека. В инженерной психологии и психологии труда Ц. о. отождествляется с быстротой обнаружения ошибки, допущенной человеком, возможностью ее устранения и последствиями от ошибочного действия или бездействия. Эти последствия могут отразиться на качестве технологического процесса, состоянии объекта управления, изменении окружающей среды, сохранности жизни и здоровья людей. В настоящее время приходит понимание, что Ц. о. имеет не только экономическое, но и экологическое, социальное, нравственное и политическое измерение.

Энциклопедический словарь по психологии и педагогике.
2013.

Смотреть что такое «ЦЕНА ОШИБКИ» в других словарях:

• цена ошибки — значимость ошибок, как для деструктивных, так и для конструктивных процессов, связанных с функционированием человека. В психологии труда Ц. о. соотносится с быстротой обнаружения ошибки, допущенной человеком, возможностью ее устранения и… …   Большая психологическая энциклопедия

• Ошибки боги — К удалению|9 июня 2008 Ошибки нобелевских лауреатов и их цена Ошибки нобелевских лауреатов хоть и не часто, но случаются, и обществу приходится платить очень высокую цену за такие ошибки. 9 июля 1962 по программе «Starfish» США… …   Википедия

• Цена сокровищ (фильм) — Цена сокровищ …   Википедия

• Цена сокровищ — Цена сокровищ …   Википедия

• Цена жизни (Остаться в живых) — Цена жизни англ. The Cost of Living Серия телесериала «Остаться в живых» Эко перед Дымовым монстром. Номер серии Сезон  …   Википедия

• Цена милосердия (Вавилон-5) — Цена милосердия Сериал Вавилон 5 Номер серии Сезон 1 Серия №  Авторы сценария Джозеф Майкл Стражински Режиссёр Лоррейн Сенна Феррара Производство …   Википедия

• Ошибки в надписях на почтовых марках — На марке СССР слева, из серии «Памятные ленинские места»  ( …   Википедия

• Ошибки печати на почтовых марках — …   Википедия

• Ошибки цвета на почтовых марках — Самая известная почтовая марка с ошибкой печати: нормальная «Дженни», «Перевёрнутая Дженни» и «Быстрая Дженни» (1918) …   Википедия

• Цена — (Price) Определение понятия цены (стоимости) и стоимости товара Информация о понятих цены, стоимости товаров, рыночной и закупочных цен, цене производства Содержание (Price) — фундаментальная экономическая категория, обозначающая количество …   Энциклопедия инвестора

Представляете, какая может быть цена ошибки из-за неверного решения алгоритма?

 
Так, в США использование автоматизированного программного обеспечения для фильтрации резюме негативно отразилось на процессе найма, поскольку оно привело к потере миллионов подходящих на должности кандидатов (данные отчета Гарвардской школы бизнеса).

 
В 2019 году в штате Аризона беспилотный автомобиль Uber впервые сбил насмерть человека, который, переходил дорогу вне пешеходного перехода. А в прошлом году военный квадрокоптер Kargu-2, находясь в автономном режиме работы, убил человека во время вооруженного конфликта в Ливии. Это был первый зафиксированный прецедент в истории, когда дрон без приказа человека совершил убийство.

 
Хотя уже сегодня искусственный интеллект способен брать на себя «творческие» функции, но он всё еще очень уязвим и несовершенен, а последствия его ошибок, неверно принятых решений — очень высоки. Если мы заранее не объяснили ИИ, что человек может переходить дорогу в неположенном месте, то скорей всего повторится история с Uber. Кроме того, применение искусственного интеллекта в высокочувствительных сферах жизни, например, в медицине возможно только в случае высокой достоверности данных, вносимых врачами в истории болезни. Однако требования и механизмы обеспечения достоверности первичных данных российским законодательством сегодня не предусмотрены.

 
Безусловно возможна и дискриминация со стороны «машины», примеры выше показывают это.

Сейчас предсказать решение, которые предложит алгоритм очень сложно, особенно если набор факторов и переменных очень большой. Если ранее решение компетентного органа принималось человеком, то при использовании алгоритма, создается двоякая ситуация – с одной стороны, исключается субъективный фактор, но с другой — ошибка системы, неправильная трактовка документов может сделать человека в некоторых случаях бессильным изменить ситуацию. К тому же, ИИ в дискуссии с учеными Оксфордского университета сам предупреждал, что он никогда не будет этичным. «Этот инструмент, как и любой другой, используется как во благо, так и во вред», — говорила машина.

 
Выявление дискриминационных начал в системах алгоритмического принятия решений (АПР) очень затруднено из-за отсутствия правовых норм, регламентирующих возможность получения доступа независимых экспертов к алгоритмам и наборам данных, используемых для принятия решений, а также наличия правовых барьеров, связанных с законодательством о защите интеллектуальной собственности разработчиков таких систем. В свою очередь, обжалование решений искусственного интеллекта также имеет ряд сложностей для человека, в частности:

 
— непрозрачность самого алгоритма принятия решений (принцип «черного ящика»), следовательно, сложно проанализировать причины принятия системой такого решения;
— отсутствие удобных для человека и оперативных механизмов обжалования такого решения с достаточным количеством компетентных сотрудников оператора системы.

 
Еще один риск, о котором всегда нужно помнить при работе с алгоритмами ИИ, — возможность манипуляций.

Все системы алгоритмического принятия решений (АПР) строятся на огромном массиве данных. Доступ к этим данным могут иметь разработчики и другие сотрудники. А это значит, что они могут настраивать системы определенным образом.

 
Сегодня кризис только ускорил внедрение технологий искусственного интеллекта, и этот импульс сохранится в дальнейшем, показывают опросы PwC: большинство компаний (52%) стали быстрее внедрять ИИ из-за пандемии, 86% респондентов утверждают, что ИИ становится «основной технологией» в их компании. А по прогнозам Deloitte, совокупный объем рынка таких решений в 2022 году достигнет $250 млн, а к 2025 году — $500 млн.

 
Регулирующие органы разных стран беспокоит то, как применение искусственного интеллекта может отразиться на борьбе за социокультурное разнообразие, равные возможности, борьбе против предвзятости и дискриминации и защиту частной жизни. Поэтому в преддверии нового года в Европейском союзе, Китае, США и ряде других государств уже активно прорабатывается ряд предложений о более системном регулировании применения этой технологии. Кроме того, на днях глава ООН призвал принять меры против «роботов-убийц».

 
Россия — не исключение. Наша страна, как и другие государства, также идет по пути регулирования ИИ.

Так, в конце октября этого года рядом крупных компаний был разработан и подписан Кодекс этики в сфере искусственного интеллекта, который дает возможность снять часть рисков, связанных с использованием этой технологии.

 
На мой взгляд, регулирование в РФ использования АПР целесообразно начать с государственных информационных систем, поскольку в них принимаются наиболее чувствительные решения для человека. Тем самым одно из ключевых предложений – превратить госорганы в «цифровую песочницу», в рамках которой они тестируют на себе те меры, которые впоследствии можно будет распространить на частный сектор. В рамках экспериментального правового режима важно сформировать лучшую практику использования искусственного интеллекта, которая не будет ограничивать права граждан, а максимально будет способствовать их реализации.

 
Для этого необходимо обеспечить прозрачность российских систем АПР, их объяснимость и аудируемость, а также соблюдение требований к качеству входящих данных.

Например, по примеру Канады можно включить механизмы независимой экспертной оценки на этапе закупки и внедрении таких систем (как вариант, на уровень руководства министерства или аналогичного по уровню ведомства).
Российские граждане должны понимать, почему ИИ принял то или иное решение, а также иметь право оспорить решение машины, поэтому необходимо создать эффективные механизмы обжалования. Кроме того, следует предусмотреть механизмы, направленные на минимизацию стимулов по автоматическому «штампованию» вынесенных алгоритмами решений, а также обеспечить оперативную и качественную обратную связь по результатам рассмотрения жалоб.

 
Ключевым фактором дальнейшего развития технологии в РФ является повышение общественного доверия алгоритмам, поэтому также важно разработать положения, регулирующие порядок устранения и исправления ошибок, вызванных «машинными» решениями. Организовать отправку уведомлений на сайте госоргана или организации о применении системы АПР, заложенных в нее принципах и наборах использованных данных; провести предварительную оценку алгоритмического воздействия системы на предмет справедливости, отсутствия дискриминации, точности и релевантности обучающих данных и др.

 
Стоит отметить, что в нашей стране для формирования адекватного правового регулирования систем АПР создана вся необходимая правовая база: есть Национальная стратегия развития ИИ до 2030 года, а также утверждена Концепция регулирования в сфере ИИ и робототехники до 2024 года.

Кроме того, Президент до 1 марта 2022 года поручил Правительству РФ совместно с Государственной Думой ускорить подготовку проектов федеральных законов о внесении в законодательство РФ изменений, в соответствии с которыми органам государственной власти будет разрешено предоставлять организациям, разрабатывающим технологические решения с применением искусственного интеллекта, и научным организациям доступ к наборам обезличенных данных при условии обеспечения безопасности и конфиденциальности персональных данных, в том числе обезличенных.

 
Таким образом, на мой взгляд, комплекс этих мер позволит «защитить» российских граждан от искусственного интеллекта, повысить уровень доверия к этой технологии, а главное — ускорить ее развитие в стране.