1) Research in machine ethics has proliferated in recent years.
2) Using trolley-style problems in the context of autonomous vehicles as a case study, I argue (1) that this is a misapplication of philosophical thought experiments because (2) it fails to appreciate the purpose of moral dilemmas, and (3) this has potentially catastrophic consequences; however, (4) there are uses of moral dilemmas in machine ethics that are appropriate and the novel situations that arise in a machine-learning context can shed some light on philosophical work in ethics.
3) Increasingly, autonomous systems are being developed and deployed in situations that may require some degree of ethical decision-making ability.
4) As a result, research in machine ethics—including fundamental questions surrounding the very nature and possibility of artificial moral agency—has proliferated in recent years.
5) This work has included using moral dilemmas (i.e., philosophical thought experiments) as validation mechanisms for implementing decision-making algorithms in ethically-loaded situations.
6) This misapplication comes from an apparent misunderstanding of what morally charged thought experiments from philosophy are supposed to accomplish. I conclude by describing what philosophical thought experiments are useful for in the context of ML and addressing some meta-ethical worries. I also describe how the novel situations that arise from the possibility of autonomous agents can shed some further light on philosophical work in ethics.
7) The Society for Automotive Engineers defines six levels of automation, ranging from (0) no automation, where the driver performs all driving tasks, to high (4) or full (5) automation, where the vehicle is capable of autonomously performing all driving functions under certain/all conditions. Most vehicles on the road today are classed as level 0 or 1: they are controlled by humans but may have some driver-assistance capabilities, such as adaptive cruise control.
8) Predictions vary widely as to when fully-autonomous vehicles will be available for private use, which is consistent with the long history of overestimating the near-future abilities of AI systems.
9) Machine learning algorithms for autonomous vehicles must continuously render the surrounding environment, in addition to predicting possible changes to that environment moving forward through time and reacting appropriately to those changes.
10) These data may be fed into (typically several) deep neural networks and processed in real-time.
11) The advent of artificial intelligence systems highlights how difficult it is to perform tasks that humans take for granted.
12) And, strange things can happen when the system is presented with examples that it has not yet encountered: in 2018, a self-driving vehicle in Tempe, AZ apparently alternated between classifying a pedestrian, Elaine Herzberg, who was walking her bicycle in the street, as ‘vehicle’, ‘person’, and ‘other object’. The result was that the vehicle struck and killed Herzberg.
13) In addition, the software used in this particular instance did not include considerations for jaywalking pedestrians. If training examples always include crosswalks, the system may pick up on these underlying regularities instead of the intended target.
14) As autonomous vehicles become more prevalent on society’s roads, it is supposed that it will become increasingly likely that an individual vehicle will need to be programmed to make decisions in situations that carry significant moral weight. Practically, this is a difficult problem.
15) Low-probability, but high-risk, events pose particular challenges for machine learning methods that depend upon the system seeing many examples in order to learn. This is true even when there is an objectively correct answer to the problem; however, in morally-charged situations, there may not be obviously correct answers on which to train the model, as I will discuss below.
16) As is well-known in philosophy, the trolley problem is a set of ethical dilemmas wherein a subject must choose between some set of options involving (typically) human lives.
17) Is it better, for example, to hit a group of pedestrians on the road or swerve into a barrier, killing the driver? When harm is possible or inevitable, the vehicle will need to make a decision, which means that it needs to have been programmed or trained to be capable of making a decision.
18) The Moral Machine Experiment is a multilingual online ‘game’ for gathering human perspectives on moral dilemmas—specifically, trolley-style problems in the context of autonomous vehicles.
19) Globally, they find that individuals tend to prioritise humans over animals, many humans over fewer, and younger humans over older.
20) Benchmarking is a way of evaluating and comparing new methods in ML for performance on a particular dataset.
21) The most popular method for evaluating whether an artificial system behaves ethically is by evaluating its performance on ethical dilemmas.
22) In the case of autonomous vehicles, the most common dilemma that is appealed to is the trolley problem—due, in no small part, to its use in the Moral Machine Experiment.
23) If human agents strongly prefer sparing more lives to fewer, then researchers might conclude that the ‘right’ decision for their algorithm to make is the one that reflects this sociological fact.
24) As previously mentioned, the notion of using moral dilemmas as a benchmark for machine ethics extends well beyond the particular case of trolley-style problems and autonomous vehicles.
25) Importantly, philosophical thought experiments (as intuition pumps), should not be understood as ‘an engine of discovery, but a persuader or pedagogical tool—a way of getting people to see things your way’.
26) Responses to moral dilemmas vary widely across societies and time periods.
27) There is differential import between the positive and negative duties one has—in particular, negative rights (and the ‘duties’ which follow from them) typically outweigh positive rights.
28) There is no ‘right’ and ‘wrong’ answer in a moral dilemma; there are only intuitions and explanations or theories about the causes of those intuitions.
29) Using human data from decisions in moral dilemmas as a benchmark for AI systems is certainly the closest we can get to measuring ethical behaviour—namely, maximising social acceptability.
30) Moral dilemmas are taken to provide something like a ground truth against which an algorithm can be benchmarked.
Sources:
LaCroix, T. Moral dilemmas for moral machines. AI Ethics (2022). Retrieved from https://link.springer.com/article/10.1007/s43681-022-00134-y
Перевод текста на русский язык
Моральные дилеммы для моральных машин
1) В последние годы увеличилось количество исследований в области машинной этики.
2) Используя проблемы трамвайного типа в контексте автономных транспортных средств в качестве тематического исследования, я утверждаю, что (1) это неправильное применение философских мысленных экспериментов, потому что (2) они не в состоянии оценить цель моральных дилемм, и (3) это имеет потенциально катастрофические последствия; однако (4) моральные дилеммы в машинной этике используются вполне уместно, а новые ситуации, возникающие в контексте машинного обучения, могут пролить некоторый свет на философскую работу в этике.
3) Все чаще автономные системы разрабатываются и развертываются в ситуациях, которые могут потребовать определенной степени способности принимать этические решения.
4) В результате исследования машинной этики, включая фундаментальные вопросы, связанные с самой природой и возможностью искусственной моральной свободы, в последние годы получили широкое распространение.
5) Эта работа включала использование моральных дилемм (например, философских мысленных экспериментов) в качестве механизмов проверки для реализации алгоритмов принятия решений в этически нагруженных ситуациях.
6) Неправильное применение (экспериментов) происходит из-за очевидного непонимания того, чего должны достичь мысленные эксперименты из философии, руководствуясь нормами морали. В заключение я описываю, чем полезны философские мысленные эксперименты в контексте ML, и обращаюсь к некоторым метаэтическим проблемам. Я также описываю, как новые ситуации, возникающие из-за возможности автономных агентов, могут пролить дополнительный свет на философскую работу в области этики.
7) Общество автомобильных инженеров определяет шесть уровней автоматизации: от (0) отсутствия автоматизации, когда водитель выполняет все задачи вождения, до высокой (4) или полной (5) автоматизации, когда транспортное средство способно автономно выполнять все функции вождения при определенных/всех условиях. Большинство транспортных средств на дорогах сегодня относятся к уровню 0 или 1: ими управляют люди, но они могут иметь некоторые возможности помощи водителю, такие как адаптивный круиз-контроль.
8) Прогнозы относительно того, когда полностью автономные транспортные средства будут доступны для частного использования, сильно различаются, что согласуется с долгой историей переоценки возможностей систем ИИ в ближайшем будущем.
9) Алгоритмы машинного обучения для автономных транспортных средств должны непрерывно отображать окружающую среду, а также прогнозировать возможные изменения в этой среде в будущем и соответствующим образом реагировать на эти изменения.
10) Эти данные могут быть загружены в (обычно несколько) глубоких нейронных сетей и обработаны в режиме реального времени.
11) Появление систем искусственного интеллекта показывает, насколько сложно выполнять задачи, которые люди считают само собой разумеющимися.
12) И странные вещи могут происходить, когда системе представляют примеры, с которыми она еще не сталкивалась: в 2018 году беспилотный автомобиль в Темпе, штат Аризона, по-видимому, попеременно классифицировал пешехода, Элейн Херцберг, которая шла с велосипедом по улице, как «транспортное средство», «человек» и «другой объект». В результате машина врезалась и убила Херцберг.
13) Кроме того, программное обеспечение, используемое в данном конкретном случае, не учитывало пешеходов, переходящих дорогу в неположенном месте. Если обучающие примеры всегда включают пешеходные переходы, система может уловить эти базовые закономерности вместо намеченной цели.
14) По мере того, как автономные транспортные средства становятся все более распространенными на дорогах общества, предполагается, что будет возрастать вероятность того, что отдельное транспортное средство необходимо будет запрограммировать для принятия решений в ситуациях, имеющих значительный моральный вес. Практически это трудная задача.
15) Низкая вероятность, но высокий риск, события создают особые проблемы для методов машинного обучения, которые зависят от того, как система видит множество примеров для обучения. Это верно даже тогда, когда есть объективно правильный ответ на задачу; однако в морально ответственных ситуациях может не быть очевидно правильных ответов, на которых можно обучать модель, как я расскажу ниже.
16) Как хорошо известно в философии, проблема трамвая представляет собой набор этических дилемм, в которых субъект должен выбирать между некоторым набором вариантов, связанных (обычно) с человеческими жизнями.
17) Что лучше, например, сбить группу пешеходов на дороге или врезаться в барьер, убив водителя? Когда вред возможен или неизбежен, транспортное средство должно будет принять решение, а это означает, что оно должно быть запрограммировано или обучено, чтобы иметь возможность принимать решение.
18) Эксперимент моральной машины — это многоязычная онлайн-игра, предназначенная для сбора человеческих взглядов на моральные дилеммы, в частности проблемы в стиле трамвая в контексте автономных транспортных средств.
19) Они обнаружили, что в глобальном масштабе люди склонны отдавать предпочтение людям перед животными, большинству людей перед меньшинством, а молодым людям перед пожилыми.
20) Бенчмаркинг — это способ оценки и сравнения новых методов машинного обучения с точки зрения производительности на конкретном наборе данных.
21) Самый популярный метод оценки этичности поведения искусственной системы — оценка ее эффективности при решении этических дилемм.
22) В случае автономных транспортных средств наиболее распространенной дилеммой, к которой обращаются, является проблема трамвая — в немалой степени из-за ее использования в эксперименте «Моральная машина».
23) Если человеческие агенты решительно предпочитают щадить больше жизней, а не меньше, то исследователи могут прийти к выводу, что «правильным» решением для их алгоритма будет решение, отражающее этот социологический факт.
24) Как упоминалось ранее, идея использования моральных дилемм в качестве критерия машинной этики выходит далеко за рамки частного случая проблем в стиле трамваев и автономных транспортных средств.
25) Важно отметить, что философские мысленные эксперименты следует понимать не как «двигатель открытий, а как средство убеждения или педагогический инструмент — способ заставить людей смотреть на вещи по-своему».
26) Ответы на моральные дилеммы сильно различаются в разных обществах и периодах времени.
27) Существует различное значение положительного и отрицательного — в частности, негативные права (и вытекающие из них «обязанности») обычно перевешивают позитивные права.
28) В моральной дилемме нет «правильных» и «неправильных» ответов; есть только интуиции и объяснения или теории о причинах этих интуиций.
29) Использование человеческих данных о решениях моральных дилемм в качестве эталона для систем ИИ, безусловно, является самым близким к измерению этического поведения, а именно максимизации социальной приемлемости.
30) Моральные дилеммы используются для того, чтобы обеспечить что-то вроде базовой истины, относительно которой можно сравнить алгоритм.
Comments