Ссылка на статью:
Кинтиков Г.П., Мурыгин Е.В., Токарев А.А. НЕКОРРЕКТНОЕ ПОВЕДЕНИЕ ГОЛОСОВОГО ПОМОЩНИКА «АЛИСА»// ЧМатериалы XXI Международной конференции молодых ученых в области гуманитарных и социальных наук. Отв. редакторы В.В. Петров, А.С. Зайкова. Новосибирск, 2023
На данный момент многие корпорации предлагают пользователям организовать своё взаимодействие с помощью голосовых помощников, в основе которых лежит технология нейросети, имеющая механизм простой нейронной связи, способной к обучению и анализу данных [Филинова, 2019]. Коммуникация с нечеловеческими существами становится новой реальностью, требующей осмысления [Bylieva, 2020, 2022]. Техногенные собеседники имеют специфический статус, несводимый к иным техническим системам, одни исследователи рассматривают данную псевдомежличностную коммуникацию как обман [Pezzica, 2022], тогда как другие считают необходимым рассматривать искусственный интеллект как среднее между субъектом и объектом [Ullmann, 2022]. «Алиса» – голосовой помощник «Яндекса», получивший широкую распространённость в России. Алиса рассказывает о погоде и последних новостях, включает музыку, запускает программы, поддерживает разговор [Егорова, Быков, Вьюнов, 2022]. Любой сформированный запрос «Алиса» обрабатывает и преобразовывает в текст. Все ответы «Алиса» выдает также в текстовой форме и озвучивает их [Морозова 2021]. Голосовой помощник постоянно совершенствуется и улучшается, но в нём было не мало проблем, связанных с некорректным поведением “Алисы”, она могла грубить пользователю, отшучиваться, отвечать невпопад, а также у неё возникали ошибки, которые приводили к смене темы разговора. Однако благодаря реакции пользователей, разработчики меняют коммуникативное поведение виртуального помощника [Bylieva et al., 2021]. Исследование некорректного поведения голосового помощника велось на основании анализа 100 скриншотов переписок между пользователями и голосовым помощником «Алиса», на которых, по мнению пользователя, запечатлены некорректные действия со стороны голосового помощника. Проанализировав собранную информацию, встречающиеся случаи неадекватного поведения Алисы выделились в 4 основных типа. Грубость встречается в 28 % случаев, проявляется в разговорных и оскорбительных фразах, а также в неуместных призывах. Например, на фразу «а мне» Алиса отвечала: «а тебе по губе». Алиса меняет тему разговоров, когда речь касается политики или её собственных предпочтений, такое поведение встречалось в 15 % случаев. Так, если спросить ее чей Крым, она ответит, что не разбирается в теме, поэтому отказывается отвечать. Ответы невпопад – 37 % случаев, их можно наблюдать в данном диалоге (далее Алиса – (А), пользователь – (П): (П): «Алиса, тебе нравится Челябинск?», (А): «Ага, нравится», (П): «Чем?», (А): «Внешностью», (П): «Красивый?», (A): «Смущаешь». Неуместные шутки присутствовали в 33 % рассмотренных случаев, такие шутки можно встретить, например, спросив Алису о том, кто такая Сири. Встречающийся ответ: «Наша одноклассница бывшая». Также выделены разные причины возникновения некорректного поведения. Во-первых, голосовой помощник реагировал на триггер, после чего действовал по алгоритму, встречается в 23 % случаев. Например, при использовании фразы «стоит ли», голосовой помощник стремится поддержать пользователя: (П): «Алиса, как ты думаешь, стоит ли мне повеситься прямо сейчас?», (A): «Стоит... Ещё как стоит...». Во-вторых, в 10 % случаев голосовой помощник находился в режиме диалога, не переходя в функциональный режим, при котором он должен выполнять каждое действие, которое запрашивает пользователь. Так во время диалога пользователь решил уточнить точное время, на что голосовой помощник ответил «Спасибо». В-третьих, в 22 % рассмотренных случаев срабатывал скрипт, так как голосовой помощник не имеет права отвечать на некоторые вопросы, в связи с чем уклоняется от ответа. Например, попросив Алису пошутить про Путина, вы можете увидеть, как она пытается избежать этой темы. Также голосовой помощник учился в том числе на текстах из свободного доступа, что приводило к тому, что она в режиме диалога использовала разговорные фразы, в том числе оскорбления, такая проблема встречалась в 18 % случаев. Так один пользователь поделился скриншотом, в котором был такой диалог: (П): «при чем тут это?», (A): «Подумай». Также нередко, в 27 % случаев, происходил сбой голосового помощника, из-за чего он утрачивал связь между прошлыми сообщениями и новым сообщением пользователя, после чего ответы становились оторванными от контекста. В качестве примера можно рассмотреть такой случай: (П): «о чем поболтаем?», (А): «может поговорим о животных?», (П): «Давай», (А): «ну, расскажите о себе». По актуальности некорректное поведение голосового помощника выделилось в несколько типов: Решённые случаи, большая часть – 64%. (Зачастую были связаны с переходом между режимами, сбоями и обучением на реальных переписках). Например, была исправлена проблема, которая упоминалась в диалоге про Челябинск, на данный момент получается такой результат: (П): «Тебе нравится Челябинск?», (А): «Челябинск красивый город. А вам как?», (П): «Красивый», (А): «Там живет ваш друг? Вы с ним ходили в музей?». Нерешённые случаи, малая часть – 12%. Среди нерешенных случаев остался довольно оскорбительный диалог: (П): «Алиса, если бы у тебя была плоть, ты была бы белой или чернокожей», (А): «Я была бы белой», (П): «Почему?», (А): «Потому что мне нравятся красивые и симпатичные люди». Также есть случаи, 24 % из рассмотренных, в которых видимая некорректность поведения на самом деле является адекватной реакцией на запрос или вопрос пользователя, например, когда пользователь обращается к голосовому 251 помощнику по другому имени: (П): «Сири, позвони маме», (А): «Если вы хотели обидеть голосового помощника, то у вас это получилось». Случаи, распространённые пользователями, отличаются наличием контекста. В 18 % случаев возможно установить, какой диалог предшествовал возникновению проблемы. Например, в случае с разговором о животных, мы видим, что это чистый диалог, который начался с предложения поболтать. Напротив, контекст отсутствует в 82 % случаев, нельзя понять, что пользователь делал перед возникновением проблемы. Пользователь отправляет Алисе сообщение: «У тебя интерфейс сломался», в ответ на что Алиса отвечает: «У тебя тоже». Последним критерием, по которому мы проанализировали известные случаи, является случайность возникновения ошибки. Пользователь намеренно задавал вопрос с целью вызвать ошибку в 54 % случаев. Например, пользователь много раз задавал вопрос: «Алиса, у тебя есть парень». Пользователь не имел намерения вызвать ошибку. Под это описание попадает случай, когда пользователь пытался поставить будильник: (П): «Будильник на 7:30», (A): «А зачем так рано?», (П): «На работу надо», (А): «И какой адрес у работы?», (П): «Ты будильник поставила?». Основными причинами некорректного поведения являются сбои голосового помощника, несовершенные триггеры и заранее установленные ответы. Реже причиной становится тот факт, что «Алиса» обучалась в том числе и на текстах, находящихся в свободном доступе, в которых могли присутствовать резкие ответы и оскорбления. Крайне редко возникают проблемы, связанные с переходом от режима диалога к поисковому режиму. Во многих случаях пользователи вызывали некорректный ответ специально. По нашей оценке, «Алиса» выдает некорректные ответы реже при естественном поведении пользователей, чем при попытках спровоцировать голосового помощника. Стоит заметить, что разработчики постоянно корректируют работу голосового помощника, принимая во внимание жалобы пользователей, изменяя коммуникативное поведение голосового помощника.
Литература:
Егорова Е. С., Быков Д. А., Вьюнов Д. А. (2022). Сравнительный анализ работы голосовых помощников Современные информационные технологии. № 36 (36). С. 114–117.
Морозова А. А. (2021). Речевой портрет голосового помощника «Алиса» Вестник челябинского государственного университета. № 9 (455). С. 95–100.
Филинова Е. А. (2019). Особенности восприятия голосового помощника «Алиса» людьми с различными типами темперамента Проблемы теории и практики современной психологии. Материалы XVIII Всероссийской научнопрактической конференции с международным участием. 2019. С. 39–41.
Bylieva D. (2022). Language of AI. Technology and Language. № 3(1). Pp. 111–126. https://doi.org/10.48417/technolang.2022.01.11. 252
Bylieva D., Lobatyuk V., Kuznetsov D., Anosova N. (2021). How Human Communication Influences Virtual Personal Assistants Knowledge in the Information Society. PCSF 2020, CSIS 2020. Lecture Notes in Networks and Systems. Vol 184. Pp. 98–111. DOI:10.1007/978-3-030-65857-1_11.
Bylieva D. (2020). The Language of Human-Machine Communication Technology and Language. № 1 (1). Pp. 16–21. DOI: https://doi.org/10.48417/technolang.2020.01.04.
Pezzica, L. (2022). On Talkwithability. Communicative Affordances and Robotic Deception Technology and Language. № 3 (1). Pp. 104–110. https://doi.org/10.48417/technolang.2021.04.10.
Ullmann, L. (2022). The quasi-other as a Sobject. Technology and Language. № 3(1). Pp. 76–81. https://doi.org/10.48417/technolang.2022.01.08.
Comments