Вступление
С развитием технологий все более актуальными становятся вопросы секьюритизации в отношении "роботов-убийц", под которыми в реальности понимают смертоносную автономную систему вооружений (САС, реже БАРС). Особая роль в данном направлении принадлежит Кампании по остановке роботов-убийц, которая является международной правозащитной коалицией и которая активно стремится запретить САС. Она была создана в октябре 2012 года и публично начала свою деятельность в 2013 году. Кампания создана по образцу других, ранее успешных Кампаний по гуманитарному разоружению и активно продвигает запрет на разработку, производство и применение автономного оружия. Цель Кампании была понятна с самого начала: «Решения, связанные с жизнью и смертью, не следует делегировать машине».
Однако почему же Кампании до сих пор не удается продвинуть свои идеи в области разоружения, несмотря на все имеющиеся в ее распоряжении ресурсы, средства и поддержку. Одной из причин может быть ошибочность распространенного мнения о том, что «жесткая» стигматизация является универсально одной из лучших стратегий в области гуманитарного разоружения.
С одной стороны, возможно единственным способом для Кампании добиться быстрого запрета по данному вопросу является детальное объяснение своей аудитории возможных социальных опасностей, связанных с САС. Для этого им необходимо было дать такое определение САС, которое было бы понятно каждому и с помощью которого было бы проще заклеймить эти системы так, чтобы привлечь внимание общественности ко всем рискам и последствиям, связанным с разработкой и использованием боевых автономных роботизированных систем (БАРС). С другой стороны, попытки упрощения или манипулирования определениями и характеристиками САС ради большей стигматизации, особенно на фоне культурного влияния "Терминатора", приводят к искаженному восприятию данных систем обществом и облегчают отклонение им призывов Кампании к разоружению.
"Роботы-убийцы", часто упоминаемые участниками Кампании в качестве новой категории оружия, которое следует запретить, существуют на грани вымысла и реальности. Представители данной Кампании, особенно эксперты, хорошо осведомлены обо всех различиях и нюансах, связанных с САС, а значит их определение автономных систем вооружений ориентировано на конкретные цели. Так, если бы Кампания сделала выбор в пользу непредвзятого рассмотрения технологий и соответствующих плюсов и минусов САС, то она бы утратила актуальный для себя смысл. Однако стигматизация с их стороны по отношении к такой сложной категории оружия привела к ее искаженному представлению.
Важно помнить, что разработка самого современного оружия, оснащенного ИИ, особенно смертоносного ИИ, происходит в условиях строжайшей секретности. Сложно не согласиться с робототехником Рональдом Аркиным, утверждающим, что самая высокая степень автономии оружия, которая разрабатывается для САС, все еще «ограничена» и применима «для очень немногих тактических ситуаций». Так, алгоритмы искусственного интеллекта (ИИ) не способны к самостоятельному принятию решений, по крайней мере, на текущем этапе своего развития. Поскольку компьютеры работают с помощью установленного на них программного обеспечения, то поведение даже самых высокотехнологичных машин определяется не ими самими, а умами их разработчиков. Это бросает вызов аргументам Кампании о смертоносном оружии, действующем без надзора человека, и указывает на разрыв между их определением "роботов-убийц" и реалиями исследований и разработок САС.
Тем не менее, учитывая, что возможности оружия могут быть преуменьшены его производителями по нормативным соображениям или же, наоборот, они могут быть преувеличены по деловым соображениям, создается ситуация, при которой эта неопределенность технологий в сочетании с ужасающим образом САС, который определяется Кампанией, порождает разные фантазии о роботах-убийцах, похожих на терминатора, и искажает их образ в средствах массовой информации.
Однако следует проводить грань между вымыслом и реальностью, даже если она становится все более размытой. В основе этого различия лежит понятие самосознания. Концепция самосознания - это не феномен "все или ничего", а спектр, варьирующийся от самых простых форм (осознание стимула) до самых сложных (метасамосознание). В то время как оружие, оснащенное искусственным интеллектом, может распознавать стимулы, взаимодействие и, возможно, даже время (любая комбинация которых подразумевает определенную степень ситуационной осведомленности), трудно представить, по крайней мере на данный момент, что оно будет осознавать цель (в смысле быть способным рассуждать о своих целях) и быть метасамосознательным (в смысле наличия четкого понимания своего собственного самосознания). Важно понимать, что САС - это не только оснащенное искусственным интеллектом оружие, способное наносить смертельные удары без непосредственного участия человека в осуществлении этой атаки (например ракеты типа «Выстрелил и забыл», а также SGR-A1). Конечно, оружие, оснащенное искусственным интеллектом, может само "решать" что делать (т.е. "выбирать" свои цели), однако слово "решать" и слово "выбирать" заключены в скобки по нескольким причинам. Во-первых, согласно существующим данным из открытых источников, человек является одним из решающих факторов работы САС. Во-вторых, мы все еще далеки от высокоразвитых форм искусственного интеллекта.
Парадокс чрезмерной секьюритизации
Очевидное противоречие между существующим дискурсом о "роботах-убийцах" и реалиями гораздо более сложных военных исследований и разработок порождает проблему секьюритизации (процесса, при котором проблема «представляется как экзистенциальная угроза, требующая чрезвычайных мер»): субъекты могут манипулировать знаниями о проблеме, чтобы она казалась гораздо более актуальной и гораздо более важной, чем можно было бы ожидать в рамках экспертных дебатов.
Выделяют два механизма, которые способствуют чрезмерной секьюритизации: «гибридизацию» и «прививку». Оба механизма способствуют сильной стигматизации САС, но оба имеют контрпродуктивные эффекты, когда речь идет о такой сложной, насыщенной научной фантастикой категории оружия.
В первом случае механизм следующий: чем больше участников (представителей государства, военнослужащих, ученых, сторонников политики и НПО) вовлечено в пропаганду политики секъюритизации, и чем больше ставится под угрозу научная беспристрастность, даже если на то есть веские причины, тем выше вероятность того, что знания могут стать фрагментированными, непоследовательными и эмоционально насыщенными, что дает простор для манипулирования. Как это ни парадоксально, распространение власти и знаний снижает вероятность успешной секьюритизации, становится трудно добиться последовательности и точности в аргументации, хотя изначально можно предположить, что чем больше участников вовлечено в распространение «сообщения», тем лучше.
Во втором механизме находит отражение известный метод манипулирования знаниями, с помощью которого данная проблема безопасности прививается к другим вопросам безопасности, имеющим серьезное значение, чтобы подчеркнуть огромные риски и необходимость срочных действий.
Концепция прививки заключается в том, что «нужные смыслы» в области безопасности могут быть привиты, как с помощью дискурсивных, так и визуальных репрезентаций. Такие методы прививки могут усиливать чувство незащищенности, но, как это ни парадоксально, в некоторых случаях могут препятствовать, а не облегчать процесс секьюритизации. Они особенно проблематичны в случае САС. С одной стороны, сам кадр "роботов-убийц", часто сопровождаемый изображениями из "Терминатора" и ссылками на оружие массового уничтожения (ОМУ), был призван передать "простое и драматичное послание". С другой стороны, неточная направленность и подходы, являющиеся последствиями углубления чувства незащищенности (прививки), затрудняют четкое определение угрозы.
Таким образом, чем больше вопросов выносится на рассмотрение, тем выше вероятность чрезмерных упрощений и потери фокуса. В этом заключается парадокс чрезмерной секьюритизации или сильной, строго односторонней и научно-фантастической стигматизации сложной категории вооружений: успех в расширении базы заинтересованных сторон и углублении чувства незащищенности не обязательно означает успех секьюритизации.
Объединение опыта: рождение «научной» политической защиты
Кампания по остановке роботов-убийц до сих пор возглавляла большую часть усилий по секьюритизации в проблемной области САС. Однако за последнее десятилетие она де-факто превратилась в глобальную коалицию международных, региональных и национальных НПО, технологических компаний, экспертных сообществ, правительств, административных работников и международных организаций. Движение превращается в гибридную конструкцию, а кампания теряет контроль над дискурсом "роботов-убийц", сама все больше теряя фокус и превращаясь в непоследовательный свод знаний.
Суть проблемы заключается в том, что грань между политическими активистами и экспертами становится все более размытой и трудноопределимой. То, что мы все чаще наблюдаем за последние два-три десятилетия, - это рождение "пропаганды научной политики".
Академические исследователи и технические эксперты присоединились к Кампании и внесли свой вклад в ее дело, мобилизовав свой авторитет, знания и научную репутацию (исследователи искусственного интеллекта и робототехники написали открытое письмо в 2015 году с инициативой "запрета на наступательное автономное оружие, находящееся вне реального контроля человека").
Многие компании и частные лица, работающие в области робототехники и искусственного интеллекта, обязались «не участвовать и не поддерживать разработку, производство, торговлю или использование смертоносного автономного оружия». Десятки стран также призвали к прямому запрету полностью автономного оружия.
Средства массовой информации, традиционно воспринимаемые как посредник между субъектами, занимающимися секьюритизацией, и их аудиторией, щедро и активно способствовали дискурсу о "роботах-убийцах" и распространению чувства политической актуальности.
Обычные люди активно вовлекаются в процесс секьюритизации - участвуют в опросах и анкетированиях, которые затем используются сторонниками запрета, чтобы публично укрепить свою позицию и мнение о том, что их политика оправдана.
Наука все чаще захватывается политическими активистами, многие из которых сами являются учеными, следовательно, непредвзятые научные исследования ставятся под угрозу в попытке донести политическое послание. Это означает, что иерархия знаний, основанная на научном установлении фактов, подорвана.
Разные толкования одного и того же указывают на непоследовательность и неопределенность, которые являются результатом присутствия слишком большого числа голосов при определении такой сложной категории оружия,. Сам факт того, что эксперты непосредственно участвуют в пропаганде политики и, следовательно, неизбежно становятся предвзятыми, что подрывает их научную целостность, разрушает иерархию знаний и приводит их аргументы в соответствие с заявлениями сторонников политики, представителей государства и т.д.
Таким образом, создается знание, оставляющее простор для интерпретации и манипулирования. Становится все труднее не только четко обозначить угрозу, но и донести до целевой аудитории последовательное, научно обоснованное сообщение.
Тем не менее, важно определить угрозу как можно точнее, чтобы закрыть лазейки в толковании. Различия в нюансах и акцентах могут негативно сказаться на способности Кампании добиться успеха, когда речь идет о такой сложной категории оружия, насыщенной наукой.
Прививка: углубление чувства незащищенности
Использование терминов, таких как "роботы-убийцы", было выбрано в качестве подходящей стратегии с самого начала, на что указывает само название Кампании. Слова «опасность» также широко используется для создания ощущения насущности и подчеркивания важности проблемы. Участники Кампании описали появление все более автономного оружия как «опасное развитие событий», «дестабилизирующую гонку роботизированных вооружений» и «серьезную глобальную угрозу». Пугающие видеоролики были созданы для того, чтобы предупредить людей о надвигающейся опасности и убедиться, что они осознают ее актуальность.
Прежде всего, страх перед роботами-убийцами подогревается их крайне стереотипным представлением в научной фантастике. Например, изображения ужасающих военных роботов-гуманоидов, которых можно увидеть в научно-фантастических фильмах, таких как «Терминатор».
Аргумент в пользу запрета САС также опирается на беспокойство широкой общественности по поводу искусственного интеллекта, особенно искусственного интеллекта, который, возможно, может пойти против людей.
В дополнение к страху потерять контроль над искусственным интеллектом, призыв к полному запрету САС также был связан с гендерными и расовыми предубеждениями в области искусственного интеллекта.
Также подчеркивалось, что смертоносное автономное оружие «увеличивает риск целенаправленного насилия в отношении отдельных категорий лиц, включая этнические чистки и геноцид».
Таким образом, шаги кампании по насаждению чувства незащищенности в отношении САС путем перенесения этой проблемы безопасности на другие важные вопросы, с помощью средств массовой информации и даже научно-фантастические образы, на самом деле оказались контрпродуктивными. Стремясь максимально приблизить перспективу смертоносного искусственного интеллекта к страхам обычных людей и в поисках простых и понятных сообщений, которые могли бы найти максимально широкий отклик у широкой общественности, Кампания достигла противоположного эффекта. В итоге, получается расплывчатое определение угрозы, основанное на односторонних доказательствах, чрезмерных упрощениях, и фантазиях, а не на чем-то близком к тому, что можно рассматривать как осязаемую, понятную и недвусмысленную угрозу.
Заключение
Таким образом, следует переосмыслить популярное предположение о том, что сильная стигматизация является наилучшей универсально применимой стратегией разоружения. Сделав выбор в пользу беспристрастного рассмотрения технических нюансов и соответствующих плюсов и минусов САС, Кампании пришлось бы иметь дело с бесконечной цепью аргументов и контраргументов и потерять в неотложности и срочности вопроса. Кампания выбрала путь мотивированной превентивными запретами сильной стигматизации. Однако у выбранной ими стратегии тоже есть серьезные проблемы. Это связано со сложностью САС как отдельной категории оружия в сочетании с их популярным образом, вдохновленным «Терминатором».
Источник: Anzhelika Solovyeva, Nik Hynek, «When stigmatization does not work: over‑securitization in efforts of the Campaign to Stop Killer Robots», 2021, извлечено из:
https://www.researchgate.net/publication/367327557_When_stigmatization_does_not_work_over-securitization_in_efforts_of_the_Campaign_to_Stop_Killer_Robots
Comments