В настоящее время идет глобальная гонка вооружений по разработке искусственного интеллекта (ИИ) и беспилотных роботизированных систем, наделенных возможностями ИИ.
ИИ-роботы, используемые в настоящее время на поле боя
«Многочисленные типы полевых роботизированных систем могут выполнять ограниченные операции самостоятельно, но они управляются дистанционно пилотом или оператором. Требуется связь в реальном времени между человеком-оператором и беспилотной роботизированной системой, чтобы человек мог управлять платформой в динамичном, сложном поле боя. Возрастает потребность в увеличении автономности роботов.»
Беспилотные летательные аппараты
Относительно низкая стоимость и низкий технологический барьер для БПЛА малого радиуса действия позволили быстро распространить технологии БПЛА для индивидуального использования, в группах или в больших роях.
«Роль БПЛА расширилась до идентификации и отслеживания целей; прямая атака; командование, контроль. Существуют алгоритмы искусственного интеллекта, которые могут устанавливать путевые точки — траекторию полета БПЛА, — но БПЛА не принимает решений о том, куда идти или стрелять из оружия. Эти функции в настоящее время являются обязанностью пилота. Есть признаки того, что основные вооруженные силы движутся к тому, чтобы вывести человека из цикла, заставив БПЛА выполнять действия автономно.»
Беспилотные наземные, надводные и подводные аппараты
«Армия США успешно использовала небольшие, невооруженные, переносные беспилотные наземные транспортные средства (UGV) для удаления самодельных взрывных устройств (СВУ) и обезвреживания взрывоопасных предметов в Ираке и Афганистане.»
В последнее время акцент сместился на использование как небольших вооруженных UGV, так и более крупных вооруженных танков-роботов. Россия развернула роботизированный танк Уран-9, вооруженный пушкой и ракетами, в Сирии с неоднозначными результатами.
В 2018 г. Китай продемонстрировал контроль над группой из 56 невооруженных беспилотных надводных аппаратов (USV).
«Важность управления роем USV или необитаемых подводных аппаратов (UUV) заключается в способности сокрушать защиту гораздо более крупных кораблей, наносить несоразмерный урон.»
США разрабатывают беспилотные летательные аппараты, которые могут автономно вести противолодочную войну и противоминную. Как и в случае с БПЛА и UGV, USV и UUV требуют связи с людьми-операторами или интегрированными системами управления.
Интегрированные системы ПВО и интеллектуальное оружие
«Россия разработала и внедрила высокоэффективную интегрированную систему противовоздушной обороны (IADS), которая может поражать и уничтожать несколько самолетов на расстоянии, создавая зоны, в которых никто не может летать. IADS сочетает в себе радиолокационное слежение; ракеты ПВО малой, средней и большой дальности; возможности радиоэлектронной борьбы (РЭБ); оружие; зенитные ракеты; надежные коммуникации; и система управления интеграцией. Из-за скорости приближающихся самолетов и ракет эти IADS являются полностью автономными системами вооружения без идентификации «свой-чужой». Система определяет, какие цели являются целями, какие цели следует обстреливать, и время поражения, а затем принимает решения о нацеливании.»
Понимание ИИ и того, как он обеспечивает автономию машин
ИИ как область исследования можно рассматривать как стремление создать все более интеллектуальный ИИ, взаимодействующий с миром, или агентов ИИ. Агенты обычно реализуются как системы, в которых взаимодействие компонентов системы — датчиков, компьютеров, алгоритмов — порождает ее интеллект.
«У них есть способность воспринимать свое окружение, выбирать курс действий, который лучше всего соответствует их целям, и действовать каким-то образом, чтобы выполнять курс действий, работая в команде с другими агентами. Мультиагентные команды можно рассматривать как интеллектуальные системы, в которых интеллект возникает из способности агентов действовать сообща для достижения общих целей. Надлежащая калибровка доверия является ключевым фактором для эффективной совместной работы агентов, выполняющих сложные задачи в сложных условиях.»
Perceive, Decide, Act, Team, Trust (PDATT) — это концептуальная основа, которая позволяет нам интуитивно строить основные направления исследований ИИ, текущее состояние дел и ограничения роботов ИИ.
Элементы схемы PDATT
Perceive
«Восприятие интеллектуальной системы включает восприятие и понимание соответствующей информации о состоянии операционной среды. Четкое восприятие физической среды для интеллектуальной системы может потребовать восприятия физических явлений как в пределах, так и за пределами диапазона человеческих чувств. Пространство восприятия для интеллектуальной системы может лежать и в чисто информационной области. Недавний прогресс в машинном обучении позволил добиться удивительных улучшений в распознавании объектов и преобразовании последовательностей, в то время как сочетание такого рода распознавания образов на основе данных с надежным человеческим мышлением остается фундаментальной проблемой.»
Decide
«Принятие решений для интеллектуальной системы включает в себя поиск, оценку и выбор курса действий среди огромного множества возможных действий для достижения долгосрочных целей. Эта проблема, может быть проиллюстрирована с помощью стратегических игр, таких как шахматы. Алгоритм, играющий в шахматы, должен определить наилучшую последовательность ходов, чтобы достичь конечной цели — выиграть игру. Хотя такая игра, как шахматы, менее сложна, чем процесс принятия решений в реальном мире, она по-прежнему представляет собой трудную задачу для агента. Несмотря на свою сложность, эти игры абстрагируются от динамики и неопределенности, связанных с принятием решений в реальном мире. Потребуются значительные исследования, чтобы ИИ был способен принимать долгосрочные решения для сложных задач реального мира.»
Act
«Действия для интеллектуальной системы включают в себя способы, которыми система взаимодействует с окружающей средой для достижения поставленных целей. Система может действовать, чтобы улучшить свое восприятие, например, перемещая датчик, чтобы лучше видеть интересующий объект. Пространство действий агента — это набор возможных действий, доступных ему. Недавний прогресс в области робототехники позволил создать системы, способные выполнять сложные действия в тщательно контролируемых условиях, таких как заводские настройки, в то время как обеспечение роботов, которые действуют в неструктурированных условиях реального мира, остается ключевой проблемой.»
Team
«Для интеллектуальной системы эффективное достижение сложных целей в сложных условиях почти всегда требует действий в составе многоагентной команды. Групповая работа обычно требует некоторой формы коммуникации, способности создать достаточную общую ситуационную осведомленность об операционной среде и способности эффективно распределять задачи между агентами. Гибкое объединение нескольких агентов в неструктурированных сценариях потребует дальнейших исследований. Этот уровень совместной работы может потребовать чего-то вроде разработки машинной теории разума, включая способность моделировать цели, убеждения, знания других агентов.»
Trust
Доверие определяется как «... намерение принять уязвимость по отношению к доверенному лицу, основанное на положительных ожиданиях от его или ее действий».
«Необходимы фундаментальные улучшения в доверии, поскольку оно относится к интеллектуальным системам, включая следующее:
• Тестирование и оценка: обеспечение соответствия сложных интеллектуальных систем целям проектирования в условиях значительной неопределенности как в тестовой, так и в операционной среде.
• Устойчивость к враждебному влиянию: защита интеллектуальных систем от подрывной деятельности посредством феноменологической, поведенческой и информационной атаки злоумышленника.
• Согласование целей: обеспечение того, чтобы действия, выполняемые интеллектуальными системами, оставались согласованными с человеческими намерениями, даже если перед этими системами поставлена задача преследовать все более высокие цели.
• Политика: определение того, какие решения и действия подходят для автономной работы интеллектуальной системы в соответствии с возможностями системы, а также общественными ценностями и этическими нормами.»
Риски ИИ-роботов на поле боя
Предполагая, что общий искусственный интеллект (ОИИ) — с восприятием на уровне человека, пониманием контекста и абстрактным мышлением — не будет доступен в следующем десятилетии, каковы ограничения нынешних роботов с искусственным интеллектом, которые создают риск на поле боя?
Текущие ограничения AI-роботов на поле боя и связанные с этим риски
Восприятие
Осмысление мира в трех измерениях включает в себя нечто большее, чем обнаружение и классификацию объектов.
«Текущие технические проблемы восприятия включают последовательное отслеживание людей и объектов на различном фоне и в различных условиях освещения; выявление и отслеживание лиц в различных контекстах; определение поведения; и предсказание намерений или результатов. Действия, совершаемые во времени, также имеют значение, равно как и взаимодействия между людьми, между людьми и объектами и между разными объектами. Нынешним системам искусственного интеллекта не хватает сложной мультисенсорной системы восприятия, которая создает богатые внутренние представления о состоянии мира и его изменениях в реальном времени. Риски, связанные с ограниченным восприятием, включают неспособность надежно обнаружить свой или чужой; отношения между элементами в сцене; и последствия действий, людей и объектов в сцене.»
Принятие решений, рассуждения и понимание контекста
Сложная сеть опыта необходима для рассуждений и принятия решений.
«Самые продвинутые системы рассуждений искусственного интеллекта основаны на правилах, то есть они представляют собой набор утверждений «если-то», которые кодируют человеческие процессы и решения. Эти системы статически запрограммированы до того, как система ИИ начнет работать на поле боя, поэтому они обязательно ограничены и предсказуемы. Конечная цель состоит в том, чтобы создать ОИИ, который будет иметь рассуждения на человеческом уровне и будет одновременно генеративным, способным создавать новые модели поведения на лету в ответ на новые ситуации, и обобщающим, способным применять обучение в одной области к другим операциям или миссиям. Выбор подходящих действий в конкретном контексте и миссии требует очень точного и надежного восприятия, а также обширных фоновых знаний о том, что контекст, правила и восприятие означают для принятия решений.»
Выбор действия, самокоррекция и этика, самооценка
Если беспилотная платформа должна работать независимо от человека-оператора, она должна будет кодировать и функционировать в рамках правовых и этических ограничений военных, эксплуатирующих систему.
«Системы ИИ не могут взвесить альтернативы с этической или юридической точки зрения. Люди способны все время предсказывать последствия различных возможных действий, взвешивая, какая альтернатива является наиболее выгодной, придерживаясь выбранных личных норм. Будущие системы искусственного интеллекта для боевых роботов должны будут иметь возможность прогнозировать воздействие действий на окружающую среду, включая дружественные силы, противника и мирных жителей, а затем принимать решения, основанные на праве вооруженных конфликтов и национальной политике.»
Если роботы с искусственным интеллектом не будут иметь возможности непрерывного прогнозирования с прямой связью, они не смогут саморегулироваться, что поставит под угрозу их способность придерживаться параметров миссии в отсутствие прямого контроля со стороны человека.
Объединение в команду и доверие: прозрачность в человеческих взаимодействиях
Серьезная проблема с современными современными алгоритмами искусственного интеллекта заключается в том, что некоторые нейронные сети, используемые для боевых роботов, не читаются человеком.
«По мере расширения роли ИИ-роботов на поле боя, обоснование ИИ выбора определенного курса действий или его определение объекта как угрозы должно быть объяснимо человеку-оператору. Важно помнить, что военные решения, принятые во время войны, подлежат юридической проверке, поэтому крайне важно собрать цепочку доказательств того, какие алгоритмы использовались, и их основу для определения действий. Будущие роботы с искусственным интеллектом должны последовательно и понятно выполнять важные функции, сохраняя доступную для анализа информацию о восприятии, рассуждениях и решениях, чтобы люди-солдаты доверяли им и могли определять, когда их использование является приемлемым.»
Отсутствие прозрачности может снизить доверие человека-оператора к ИИ-роботу, и оператор может не знать, когда использовать или не использовать ИИ-робота безопасно и надлежащим образом.
Доверие: уязвимости к кибератакам
Последствия для поля боя заключаются в том, что противник может изменить результаты классификации ИИ, чтобы робот предпринял непреднамеренные действия.
«Доверие к боевому роботу с искусственным интеллектом требует, чтобы робот выполнял задачи хорошо и последовательно, способом, понятным оператору, и чтобы противник не мог его испортить.»
Устранение киберуязвимостей будет иметь решающее значение для успешного использования ИИ-роботов на поле боя.
Будущее роботов с искусственным интеллектом на поле боя
В то время как неминуемое использование человекоподобных роботов-машин для убийства по-прежнему получает наибольшее внимание в дискуссиях и статьях об ИИ, это лишь одно из многих потенциальных применений ИИ на поле боя будущего, и это не обязательно должно вызывать озабоченность в ближайшем будущем.
«Некоторые из текущих приложений ИИ в оружии сосредоточены на улучшении взаимодействия человека и машины и расширении использования беспилотных транспортных средств для различных миссий, в основном несмертельных. Если они и способны нанести смертельный удар, то до сих пор выставленные на вооружение системы служили только оборонительным целям.»
Однако эта норма может быть оспорена, поскольку будущие приложения ИИ, вероятно, будут охватывать более широкий спектр, от сортировки данных для расширенного анализа интеллекта до замены принятия решений человеком в решениях о нацеливании.
Что ИИ-роботы смогут делать в ближайшем будущем
Эти системы дороги в разработке и постановке на вооружение, и они полезны для ряда задач, но не для всех боевых задач. Таким образом, с точки зрения затрат и выгод ИИ вряд ли полностью заменит людей-операторов, как многие предполагают, а скорее дополнит их. Усовершенствования в ближайшем будущем могут расширить количество соответствующих миссий, а улучшенное оружие с искусственным интеллектом может бросить вызов нынешней роли человека в цикле наведения. Ниже приводится обсуждение пяти областей развития, которые могут повлиять на будущее поле боя.
Улучшение того, что у нас уже есть, и расширение миссий
Исследования и разработка таких систем, как БПЛА для использования в роях, а также БПЛА, продолжаются, но упор делается на большей автономии и большей координации между несколькими платформами.
«Возможно, самым тревожным будущим развитием событий является не платформа с поддержкой ИИ (хотя способность скрытно преодолевать большие расстояния важна), а то, какую полезную нагрузку может использовать ИИ-робот.»
Дебаты и призывы к международным соглашениям возникли в ответ на идею применения ИИ к любой части ядерного предприятия из-за опасений, что это полностью подорвет ядерную стабильность. Этот страх основан на вере в то, что ИИ подтолкнет людей к принятию катастрофических решений или что ИИ сделает это сам.
Скучная, грязная и опасная работа
«В настоящее время беспилотные транспортные средства логистики могут позволить новые миссии, которые в противном случае были бы исключены из-за невозможности безопасно доставить материалы в нужное место. В другом случае беспилотный грузовик с искусственным интеллектом может продвигаться впереди группы тактических машин, если командир считает, что в этом районе есть СВУ.»
Применение ИИ здесь делает две вещи: освобождает людей-операторов и снижает риск оператора.
Расширение процесса принятия решений человеком
Для аналитика, уставившегося в экран, вполне возможно, что ИИ мог бы значительно упростить анализ данных, выполняя часть работы за него и, возможно, делая ее лучше. Такой анализ необходим для разработки ударных пакетов.
«Вполне возможно, что применение ИИ для анализа информации может продвинуться до такой степени, что военные будут стремиться использовать его вместо человека, проводящего идентификацию цели и поражение. В то время как большинство западных политиков согласны с тем, что дроны убивают дроны, когда дело доходит до смертоносной силы, устоявшаяся точка зрения состоит в том, что человек должен быть в курсе событий.»
Замена человеческого принятия решений
«Системы вооружения роботов с искусственным интеллектом, работающие со скоростью машины, будет сложнее обнаружить и противодействовать, а информационные системы с искусственным интеллектом позволяют противникам двигаться быстрее и эффективнее. Это увеличение скорости означает, что время для принятия решений человеком сжимается, и в некоторых случаях может потребоваться принятие решений быстрее, чем люди могут их принять.
Помимо скорости, второй фактор вывода людей из цикла ИИ связан с масштабом — объем получаемой информации или предпринятых действий превышает человеческую способность понять, а затем действовать. Таким образом, растущий масштаб данных и действий, а также сжатое время для принятия решений требуют автономии без возможности вмешательства человека во время выбора и выполнения действий ИИ.»
Электронная война
«Применение ИИ для РЭБ, также обусловленное увеличением скорости и сокращением времени на принятие решений, приобретает все большее значение для ряда стран. Разрабатываются системы для использования на различных платформах, которые могут обнаруживать угрозу РЭБ противника, практически одновременно характеризуя ее и разрабатывая меры противодействия.»
Исследования JHU/APL в области роботов с искусственным интеллектом для надежных операций в реальном мире
JHU/APL часто выступает в качестве надежного партнера для организации Министерства обороны США, помогающие понять возможности и ограничения современного ИИ применительно к его использованию в военных приложениях. Поскольку ИИ-роботы для использования в воздухе, на земле, на поверхности и под водой разрабатываются для использования на поле боя, JHU/APL стремится к тому, чтобы они разрабатывались, тестировались и эксплуатировались в соответствии с требованиями безопасности, правовыми и политическими нормами США.
Области исследований ИИ-робототехники в JHU/APL
Исследование включает в себя разработку внешних систем управления для ИИ-роботов для обеспечения безопасности, систем ИИ, которые являются самокорректирующими, объяснимыми и прозрачными, а также ИИ с этическим обоснованием.
Безопасное тестирование автономности в сложных интерактивных средах
«JHU/APL является ведущим разработчиком программы безопасного тестирования автономии в сложных интерактивных средах (TACE). TACE предоставляет встроенную «сторожевую» программу, которая отслеживает поведение робота с искусственным интеллектом и берет на себя управление платформой, если поведение искусственного интеллекта выходит за рамки правил безопасности, политики и правовых предписаний миссии.
TACE работает в живой, виртуальной и конструктивной средах, которые сочетают в себе симуляцию и реальность, чтобы позволить алгоритмам ИИ изучить соответствующее поведение, прежде чем работать в реальном мире. В настоящее время TACE используется при разработке и тестировании автономных систем для обеспечения безопасности и контроля систем ИИ-роботов.»
Саморегулирующийся ИИ
«Саморегулирующийся ИИ — это гибридная модель, в которой используются как кодирование границ и ограничений на основе правил, так и ИИ на основе нейронных сетей, обеспечивающий адаптивное поведение в сложных условиях. Ключевым элементом этого исследования является способность ИИ предсказывать влияние набора возможных действий на окружающую среду. ИИ учится принимать решения, которые не нарушают требований миссии.»
Объяснимый ИИ и взаимодействие человека и машины
Простые системы ИИ, которые многократно выполняют функцию без принятия решений, являются просто инструментами; проблемы во взаимодействии человека и машины возникают, когда ИИ-робот действует как агент, оценивая окружающую среду, анализируя цели и ограничения своей миссии, а затем решая что-то сделать. Насколько предсказуемым будет ИИ-робот для товарищей по команде?
«JHU/APL исследует, как люди развивают доверие к другим людям, и как этот процесс меняется, когда люди работают с ИИ-роботами. Это включает в себя обучение ИИ, когда ему нужно предоставить информацию своему товарищу по команде, когда предупредить человека об изменении планов и, что важно, когда не принимать решение и не просить человека о помощи.»
На рисунке представлена интеграция исследований элементов человеческого доверия к автономии, включая человека, автономную сущность, команду и факторы задачи. Требуется, чтобы ИИ имел возможность самостоятельно оценивать и обеспечивать уровень уверенности в каждом восприятии, решении и действии.
Этический ИИ
Начиная с первого из законов робототехники Айзека Азимова — «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред».
«Чтобы ИИ мог рассуждать о морали, ему обязательно нужно было бы закодировать, что такое человек, каковы травмы людей и как люди получают травмы. Принятие моральных и этических решений для предотвращения нанесения вреда человеку ИИ начинается с восприятия. Исследование JHU/APL формулирует метод оценки моральной сцены для интеллектуальных систем, чтобы дать системам ИИ «прото-сознание», которое позволяет им идентифицировать в сцене элементы, имеющие моральное значение. На этом основывается выбор поведения при взаимодействии с людьми.»
Выводы: будущее ИИ для роботов
Системы ИИ станут более способными и смертоносными, а войны в конечном итоге будут вестись со скоростью машин — быстрее, чем люди могут обрабатывать информацию и принимать решения. По мере развития систем рассуждений ИИ более сложное поведение будет делегировано системам ИИ-роботов с человеческим контролем в цикле или полностью вне цикла.
Возможны три варианта развития событий в будущем:
1) Подчинение человека роботам с искусственным интеллектом;
2) Доминирование человека над роботами с искусственным интеллектом;
3) Совместная эволюция с ИИ-роботами.
Источник
Joachim von Braun, Margaret S. Archer, Gregory M. Reichberg, Marcelo Sánchez Sorondo 'Designing Robots for the Battlefield: State of the Art' // Robotics, AI, and Humanity Science, Ethics, and Policy, 2021, стр. 131-147.
URL: https://library.oapen.org/bitstream/handle/20.500.12657/47279/9783030541736.pdf
Comments