Кого стоит считать ответственным, когда Искусственный Интеллект даёт сбой? Столь сложный и неоднозначный вопрос Марк Кокельберг рассматривает в своей статье.
Ниже представлены некоторые цитаты, наиболее полно отражающие основную мысль статьи и взгляд автора на представленную проблему.
Содержание
Введение
«Учитывая, что искусственный интеллект позволяет обществу автоматизировать больше задач и автоматизировать их в большей степени, чем раньше, кто или что несет ответственность за пользу и вред использования этой технологии?»
«Предполагается, что, даже если технологии искусственного интеллекта получат больше свободы действий, люди останутся ответственными, поскольку только последние способны её нести: технологии искусственного интеллекта могут обладать свободой действий, но в то же время они не соответствуют традиционным критериям моральной свободы действий и ответственности»
«Проблема присвоения ответственности может решаться путем различия двух аристотелевских условий: первое касается контроля и необходимости идентификации ответственного лица, а второе — проверка его знаний»
Проблема присвоения ответственности:
Кто или Что является Агентом ответственности
«Вы оказываете влияние на мир и на других, и поэтому вы несете ответственность за то, что вы делаете. Однако, не всегда ясно на кого возлагать ответственность. Иногда не совсем понятно, кто именно вызвал соответствующие последствия, и даже если ясно, кто это сделал, возможно, человек действовал не по своей воле или не знал, что он делает»
Проблема присвоения ответственности - одна из основных проблем современности. Марк Кокельберг считает, что простого подхода в её присвоении не быть не может. Всегда существуют обстоятельства, когда того или иного человека нельзя назвать ответственным лицом.
«Ещё со времен Аристотеля существует по крайней мере два традиционных условия для назначения ответственности за то или иное действие. Вы несете ответственность, если вы делаете это (или сделали это), если вы являетесь инициатором действия, если у вас есть достаточная степень контроля над ним, и если вы знаете, что вы делаете, если вы осознавали, что вы делаете. Аристотель утверждал, что действие должно исходить от агента и что человек не должен быть в неведении относительно того, что он делает»
«Что касается двух аристотелевских условий, то предполагается, что не имеет смысла требовать, чтобы агент ИИ действовал добровольно или без незнания, поскольку агенту ИИ не хватает предпосылок для этого: ИИ действительно не может действовать “свободно” или “знать”, что он делает»
Марк Кокельберг выделяет два Аристотелевских условия, которые помогают в определении ответственного лица:
Если вы являетесь инициатором действия и у вас есть достаточная степень контроля над этим действием
Если вы осознаёте, что делаете
Данные условия легко использовать, когда речь идёт о человеке, но к Искусственному Интеллекту их применить уже сложнее. ИИ не может действовать добровольно и осознанно, данный факт делает применение Аристотелевских условий затруднительным, даже невозможным.
«Люди, однако, могут нести ответственность и должны нести ответственность за то, что они делают и решают при разработке или использовании искусственного интеллекта»
«Даже если ответственными агентами могут быть только люди, все еще остается открытым вопрос, всегда ли люди могут брать на себя ответственность за использование ИИ и какие люди несут ответственность за использование ИИ»
«Что, если человек не имеет достаточного контроля над искусственным интеллектом? Это то, что Маттиас называл "пробелом в ответственности" в отношении автономно обучающихся и действующих машин: как люди могут нести ответственность, если у них нет или недостаточно контроля?»
Если ИИ не может быть ответственным агентом, то вся ответственность ложится на человека? Вопрос неоднозначен. Да, ответственность может нести только человек, но всегда ли он может её на себя взять. Человек может не иметь достаточного контроля над машиной. Ниже представлены конкретные примеры.
«Например, если мы передадим контроль над финансовыми транзакциями машинам, как в высокочастотной торговле, то как люди могут нести ответственность за эти транзакции? И если автономное вождение означает, что у людей больше нет времени вмешиваться, кто несет ответственность, когда происходит авария?»
«Должно ли общество создавать ситуации и разрабатывать технологии, в которых, когда дело доходит до реальных операций, больше нет места для человеческого вмешательства. Что, если нет человека “в цикле”, и что, если даже больше не имеет смысла говорить, что должно быть люди “в курсе”, поскольку они все равно не могут вмешаться?»
«В крупных коммерческих самолетах автопилот используется почти постоянно, но, когда что-то идет не так, пилоты не всегда могут вовремя вмешаться. Являются ли такие системы автоматизации и АИС этически приемлемыми, или должны быть ограничения для автоматизации?»
«Одна из проблем, связанных с технологиями, заключается в том, что в них обычно вовлечено много людей, что затрудняет, если не делает невозможным поиск ответственного лица»
«Проблему с распределением ответственности иногда называют “проблемой многих рук”. Рассмотрим пример автомобильной аварии с автопилотом в марте 2018 года в Аризоне: автомобиль Uber стал причиной смерти пешехода. Кто несет ответственность? Это могут быть разработчики программного обеспечения, автомобильная компания, выпустившая автомобиль, Uber, которая его использовала, пассажир, пешеход и даже регулирующий орган»
Второй серьёзной проблемой является наличие большого числа лиц при разработке ИИ. В связи с этим, трудно сказать, что конкретно повлияло на работу машины. Кто заслуживает большее наказание за эту ошибку.
«Сложное программное обеспечение часто имеет долгую историю, когда на различных этапах в разработке программы участвуют разные разработчики. В случае искусственного интеллекта с машинным обучением существует также процесс и история создания, отбора и обработки данных — опять же с участием не только одного человеческого агента»
«Если обслуживать технические средства безответственно, то технологическая система с включенным искусственным интеллектом (скажем, самолет) также может выйти из строя. Эта причинно-следственная история с ее многочисленными сторонами должна быть изучена, чтобы определить ответственность. Но в случае искусственного интеллекта такое расследование может оказаться очень сложным»
«Неисправный датчик, взаимодействующий с программным обеспечением самолета, может привести к его крушению; важно выяснить, как технологическая система структурирована и кто отвечает за разработку, использование и техническое обслуживание ее частей (например, датчика) и взаимодействие между частями. Например, в случае крушения самолета Lion Air fight 610 было высказано предположение о неисправности датчика»
«Не всегда ясно, был ли “искусственный интеллект” причиной проблемы, поскольку он может быть одним из компонентов технологической системы, который вызвал проблему при его взаимодействии с ИИ — рассмотрим еще раз пример неисправного датчика. Это также может быть проблемой (программного или аппаратного обеспечения) соединения и интерфейсы между деталями. И неясно, где заканчивается искусственный интеллект и начинаются другие технологи»
Марк Кокельберг заостряет наше внимание на факте того, что ИИ может не быть проблемным звеном во всей системе. Т.к. если мы говорим о сложной системе, состоящей из множества компонентов, Искусственный Интеллект будет являться лишь малой частью этой системы.
Проблемы знания: Прозрачность и объяснимость
«Теперь эти философские анализы невежества могут направлять дискуссии о проблемах знаний с помощью искусственного интеллекта. В каком смысле люди, участвующие в использовании и разработке искусственного интеллекта, знают или не знают, что они делают?»
«Пользователи искусственного интеллекта не обязательно осознают непреднамеренные последствия и моральное значение того, что они это делают. Они могут не знать о своих собственных предубеждениях и о том, что эти предубеждения влияют на разработку алгоритма»
«Они могут не знать точных последствий для тех, на кого повлиял алгоритм. Это может быть дискриминация, например, кто-то не получает кредит только потому, что он живет в определенном районе, но есть также много других возможных последствий, некоторые из них являются более косвенными и “отдаленными”»
Помимо проблем технического толка (поломка датчика, сбой в ПО), существует и другая проблема. Что человек вложил в ИИ ещё на этапе разработки. Эти действия могут быть непреднамеренными, но всё же они могут повлиять на дальнейшую судьбу ИИ и на людей, которые будут его использовать.
«Разработчик алгоритма финансовых транзакций может не знать о последствиях для людей, которые страдают, скажем, от роста цен на продовольствие в результате сделок. Можно разработать алгоритм распознавания изображений, который сначала используется в обывательских целях, но затем используется в целях наблюдения»
«В какой степени разработчики должны быть осведомлены о потенциальных альтернативных вариантах использования своих творений. Можно было бы утверждать, что разработчики несут ответственность за это. Но, учитывая указанные ограничения, просто утверждать об этом недостаточно»
«В разработке ИИ часто участвует много людей. К сожалению, ни Аристотель, ни многие современные философы-аналитики не включали “с кем” в условия ответственности. Как и все технологические действия, действия с ИИ часто являются коллективными (включают в себя множество рук)»
«Подумайте о судье, который использует машинное обучение, но не может объяснить, почему искусственный интеллект рекомендует продлевать тюремный срок для конкретного человека или банкира, который не может объяснить, почему искусственный интеллект рекомендует отказать в кредите конкретному человеку. Но также подумайте о пилоте 737 max, который не знает, почему усовершенствованная система автопилота самолета продолжает опускать нос, несмотря на его усилия по управлению самолетом»
Человек должен понимать как работает ИИ. В любой критической ситуации, когда с ИИ что-то идёт не так, человек должен оценить ситуацию и перевести контроль на себя. Автомобиль с автопилотом не должен ездить без подготовленного водителя, способного перевести контроль на себя, а самолёт без пилота, который переключит управление на себя, когда самолёт начнёт слишком кренить вниз.
Роль субъектов ответственности
«Роль пациента (объекта ответственности) часто остается вне поля зрения в стандартных отчетах об ответственности за технологии — и ответственности в более общем плане. Агент должен быть в состоянии объяснить пациенту, почему он совершает или совершил то или иное действие, принял решение и т.д.»
«Если человек-агент, использующий ИИ, принимает решение на основе рекомендации ИИ и не может объяснить, почему он принимает или принял это решение, то возникает проблема присвоения ответственности по двум причинам. Во-первых, человек-агент не может действовать как ответственный агент, потому что он не знает, что делает. Во-вторых, агент-человек также не может действовать ответственно по отношению к пострадавшему пациенту, который вправе потребовать объяснений его действий»
«Что касается ответственности за ИИ, то отношения между агентом и пациентом являются первичными, с этической точки зрения — это конец; затем следует обсудить, как формировать и поддерживать эти отношения ответственности с помощью технических и других средств»
Немаловажна и роль пациента (объекта) поскольку от ошибок ИИ страдают именно они. Поэтому ответственные агенты должны прислушиваться к ним и давать внятные объяснения, почему с ИИ произошло что-то непредвиденное.
«Аристотелевский разговор о средствах и целях звучит “инструментально”, но не исключает рассмотрения непреднамеренных последствий технологии. Явная функция технологии состоит в том, чтобы делать то, что она должна делать, например, цель автопилота - управлять самолетом. Но помимо этой функции, возникает этический вопрос - как эта технологическая система влияет на то, как агенты могут нести ответственность за это»
«Коллективная ответственность может означать две вещи: ответственность распределяется между набором отдельных участников (в том смысле, что существует набор отдельных агентов, каждый из которых несет ответственность), или что коллективный агент, такой как сообщество или организация, несут ответственность»
«Если есть проблема с предвзятостью в алгоритме искусственного интеллекта, и эта предвзятость присутствует в языке (например, английском), то ответственность лежит не только на нынешних носителях языка в отдельности, но также и на всей культуре, как настоящего, так и прошлого. Историческое использование и развитие конкретного языка оказывает влияние на нынешних носителей и, косвенно или напрямую, на действия ИИ и последствия его применения»
«В свете социального, культурного и исторического контекста ответственность, вероятно, не может и не всегда должна быть абсолютной: даже если действия людей, использующих такие технологии, как искусственный интеллект, являются добровольными, существует множество обстоятельств, историй, институтов и т.д. выходящих за рамки нашего индивидуального или даже коллективного полного контроля»
Ответственность не всегда должна быть абсолютной, поскольку существует множество обстоятельств, которые человек не в силах контролировать. Да и как уже было сказано выше, в разработке ИИ принимает участие много людей, среди которых трудно выделить более ответственного.
«Относительный подход к ответственности никогда не должен быть оправданием для уклонения от неё, вместо этого он должен подчеркивать необходимость ответственных действий, имеющих аспекты взаимодействия, диалога, прозрачности и понимания трагических аспектов технологических действий»
Заключение
«Поскольку системы искусственного интеллекта активно используются уже сегодня, эти проблемы не только интересны с философской точки зрения, но и актуальны с практической стороны. В той мере, в какой искусственный интеллект уже проникает в нашу повседневную жизнь, все люди являются моральными пациентами, о которых говорилось в этой дискуссии»
Подводя итог, определить конкретного ответственного лица практически невозможно, всегда будут вмешиваться непредвиденные обстоятельства (тот же человеческий фактор), но когда речь заходит о такой сложной системе, как искусственный интеллект, то определение виновного в этой огромной временной и человеческой цепочке становится трудновыполнимой задачей. Марк Кокельберг попытался расс
Список используемых источников
Journal "Science and Engineering Ethics", October 2019, article "Artificial Intelligence, Responsibility Attribution, and a Relational Justification of Explainability" . Written by Mark Coeckelbergh. https://link.springer.com/article/10.1007/s11948-019-00146-8
Comments