1) Здесь мы проиллюстрируем тот факт, что сами алгоритмы могут быть источником предвзятости, на примере алгоритмов совместной фильтрации для рекомендации и поиска.
2) Известно, что эти алгоритмы страдают, среди прочего, от предубеждений холодного запуска, популярности и гомогенизации. Хотя их обычно описывают как статистические предубеждения, а не как предубеждения морального значения; в этой статье мы показываем, что эти статистические погрешности могут привести непосредственно к дискриминационным результатам.
3) Предвзятые алгоритмы для приложений, таких как рекомендации СМИ, могут оказать значительное влияние на доступ отдельных лиц и сообществ к информации и культурно-значимым ресурсам.
4) Интуитивная идея состоит в том, что точки данных на полях распределения человеческих данных, как правило, соответствуют маргинализированным людям. Описанные здесь статистические погрешности приводят к дальнейшей маргинализации и без того маргинальных.
5) Растет осознание того, что результаты алгоритмических процессов могут быть дискриминационными. Наиболее известными недавними примерами алгоритмической дискриминации являются те, где данные, используемые для обучения алгоритмов машинного обучения, систематически искажаются, что приводит к алгоритмам с дискриминационными результатами.
6) Одной из сложностей в точном определении того, как и где алгоритмы предвзяты, является тот факт, что предвзятость имеет несколько разных значений. Некоторые из них нейтральны по отношению к ценностям, например, технические определения предвзятости в статистике, в то время как другие имеют моральный характер, подразумевая либо преднамеренную, либо неосознанную дискриминацию.
7) Примеры, с которых мы начали, — это те, где историческая дискриминация в таких областях, как охрана правопорядка, найм и здравоохранение, приводила к необъективным наборам данных, которые при использовании для обучения классификатора машинного обучения автоматизировали и воспроизводили эти исторические ошибки в другом поколении.
8) Разговорное значение предвзятости ближе к определению, предложенному Фридманом и Ниссенбаумом «предубеждения морального значения», то есть «систематической и несправедливой дискриминации одних лиц или групп лиц в пользу других».
9) В том же примере тот факт, что ложная идентификация лиц у чернокожих значительно выше, чем у белых, приводит к несправедливой дискриминации, когда программное обеспечение для распознавания лиц используется для таких целей, как поиск подозреваемых в совершении преступлений в толпе.
10) Уже было несколько задокументированных случаев ложного ареста темнокожих мужчин из-за неточного распознавания лиц.
11) Как показывает пример с распознаванием лиц, эти два вида предвзятости (статистическая и моральная) могут взаимодействовать.
12) Вот еще один пример: если полиция останавливает и обыскивает чернокожих без причины чаще, чем других людей (как было продемонстрировано в некоторых юрисдикциях в Северной Америке и Европе), это приведет к пропорционально большему количеству обвинений в мелких преступлениях. среди этой демографической группы (или пропорционально меньше обвинений в мелких преступлениях для других групп).
13) Другой потенциальный источник алгоритмической предвзятости — люди, создающие алгоритмы. Есть задокументированные случаи, когда алгоритмы были разработаны специально для создания дискриминационных результатов.
14) Довольно часто предвзятость бывает случайной и непредвиденной и возникает из-за ограниченного взгляда создателей алгоритмов и владельцев бизнеса, а не из-за грубой небрежности.
15) Алгоритмы сами по себе являются источником предвзятости, которую часто упускают из виду в обзорах алгоритмической предвзятости, которые, как правило, сосредоточены на дискриминационных результатах или предвзятости данных.
16) Алгоритмы совместной фильтрации используются в популярных рекомендательных системах, таких как Amazon и Netflix, которые показывают пользователям элементы на основе критериев, таких как «Клиенты, которые просматривали этот элемент, также просматривали» или «Поскольку вы смотрели...».
17) Совместная фильтрация основана на предположении, что ни один пользователь не уникален, поскольку рекомендации выполняются путем сопоставления с другими пользователями.
18) Если самые уникальные пользователи окажутся людьми, принадлежащими к нескольким группам меньшинств, то есть априорные причины ожидать, что совместная фильтрация может быть предвзятой в пользу большинства.
19) Тесно связанная проблема известна как предвзятость популярности, когда очень популярные товары, скорее всего, будут рекомендованы каждому пользователю (а поскольку рекомендации повышают вероятность рейтинга, популярность популярных товаров, как правило, растет).
20) Абдоллапури и др. показывают, что предвзятость в отношении популярности влияет на некоторые группы пользователей больше, чем на другие, при этом пользователи, которые предпочитают в основном элементы с «длинным хвостом» (элементы, которые в целом непопулярны), подвергаются наибольшему неблагоприятному воздействию.
21) Один подход, использованный Чжао и др. чтобы смягчить предвзятость популярности, нужно добавить веса к рекомендациям, таким образом, когда пользователи более похожи, их рекомендациям придается больший вес, а когда пользователи менее похожи, их рекомендациям придается меньше веса.
22) Чрезмерная специализация возникает, когда рекомендательный алгоритм предлагает гораздо более узкий выбор, чем полный диапазон того, что хотел бы пользователь.
23) Интуитивно возникает проблема, потому что элементы, похожие на те, которые ранее понравились пользователю, будут иметь высокую вероятность того, что они также понравятся, даже если пользователю нужен более широкий спектр рекомендаций, более полно охватывающих его предпочтения.
24) Гомогенизация — это эффект для набора данных в целом, при котором дисперсия элементов, рекомендованных всем пользователям вместе, уменьшается с течением времени. Одна из гипотез того, как это может произойти, заключается в том, что предпочтения пользователей в отношении разнообразия или популярности при потреблении медиа не улавливаются алгоритмами совместной фильтрации, как описано Абдоллахпури и др.
25) Неофиту и др. показывают, что популярность товаров, которые нравятся пользователю, влияет на точность предсказания рекомендаций, так что пользователи с нишевыми вкусами получают менее точные рекомендации.
26) Информационные фильтры, которые постоянно обновляют свою прогностическую модель на основе обратной связи (например, на что нажимает пользователь), для повышения производительности во время работы, также называются «онлайн», «активными» или «итеративными». Здесь мы используем термин итеративная фильтрация информации.
27) Неисправленная статистическая погрешность негативно влияет на производительность алгоритмов, что плохо для пользователей, а также для производителей медиа и рекламодателей, которые могут выиграть от точных рекомендаций.
28) Люди из сообществ меньшинств отмечают, что рекомендательные алгоритмы не работают для них.
29) Возможно, самый большой источник вреда заключается в том, что иллюзия нейтральности алгоритмов может быть использована в попытках отменить защиту от дискриминации.
30) Коллаборативная фильтрация, как показано здесь, является стандартной в своей отрасли, не использует прокси для защищенных категорий, и ее целевая функция, точность предсказания, является действительной целью; однако алгоритм систематически дает дискриминационные результаты.
31) Исправление предвзятых наборов данных и улучшение этического поведения работников ИИ также являются необходимыми шагами, но они не устранят все источники предвзятости в машинном обучении, потому что в самих алгоритмах также есть предвзятость.
32) Когда маргинализированные группы населения буквально находятся на краю или в хвосте распределения пользовательских данных, статистические погрешности приводят к дискриминационным выводам.
Источник:
Stinson, C. Algorithms are not neutral. AI Ethics (2022).
Retrieved from https://link.springer.com/article/10.1007/s43681-022-00136-w
Comments