Введение
Современные нейронауки используются для изучения поведения людей и машин. Искусственный интеллект в "умных" технологиях моделируется на основе нервных систем и нейросетей. Эти нейросети учатся распознавать паттерны и устанавливать связи между искусственными нейронами. Синаптическая пластичность и механизмы подкрепления играют важную роль в нейросетях и глубоком машинном обучении. Современные технологии подтверждают некоторые теоретические аргументы из исследований наук и технологий. Также рассматривается связь проблемы нейтральности технологий с раскрытием "черных ящиков".
Исследования наук и технологий и проблема(ценностной) нейтральности технологий
Исследования наук и технологий включают в себя перенос методологий между социологией науки и социологией техники. В этом контексте возникает вопрос о нейтральности технологий с точки зрения ценностей. Конструктивистские исследования науки и технологии стремятся избавиться от представления о предсуществующей структуре мира, рассматривая науку и технику как социально-политически конструируемые. В отличие от исследований науки, исследования технологий подчеркивают конструктивный характер техники и возникающую из этого проблему ценностной нейтральности. Существуют три основных подхода к этой проблеме: первый считает, что технологии просто материализуют и конкретизируют научное знание; второй подчеркивает, что технологии нейтральны и их эффекты зависят от ценностей пользователей; третий подход утверждает, что технологии внутренне пронизаны ценностями и социально-политическими отношениями. Однако все три подхода концептуализируют технологию как послушного проводника, различаясь лишь в локализации ценностей и условиях дизайна технологий.
Прозрачность технологий и амбивалентный троп раскрытия «черных ящиков»
Сочетание проблемы нейтральности и амбивалентного тропа раскрытия «черных ящиков» технологий позволяет обозначить прозрачность. Все три ответа рассматривают технику как нейтральный проводник внешних сил, но также смотрят сквозь технологии на их условия возможности. В первом случае подчеркивается роль науки и материального дизайна, во втором - использование технологии людьми, а в третьем - социально-политические условия. Раскрытие «черных ящиков» сопровождается разоблачениями и сенсационностью, вызывая реакцию публики и профессионалов. Это приводит к транспарентизации технологий и вызывает социально-политические эффекты
Проблема нейтральности связана с проблемой прозрачности посредством центрального для STS образа «черного ящика». Под акронимом STS скрывается то, что Стив Фуллер в свое время назвал «двумя церквями»: академической Science & Technology Studies и активистской Science, Technology & Society [Fuller 1997: 181–183]. В методологическом плане «черный ящик» — это один из приемов, позволяющих следовать за акторами и настраивать фокус исследования. Методологическое значение фигуры «черного ящика» определяется как минимум тремя пунктами.
Проводит границу между STS и другими исследованиями науки и техники, утверждая, что все, что представляется непроблематичным в настоящее время, было проблематичным в прошлом. Сторонники STS раскрывают «черные ящики», рассказывая сложные истории фактов и артефактов.
«Черный ящик» помогает определить границу, за которой нет необходимости продолжать исследование. Если акторы рассматривают факт или устройство как «черный ящик» и его история не имеет значения для текущей деятельности, то его можно игнорировать.
«Черный ящик» отсылает к тому, что ученые и инженеры считают важным и интересным, позволяя избежать нерелевантных вопросов [Латур, Вулгар 2012: 178–179;, 163 199–206].
В социально-политическом плане раскрытие «черных ящиков» наук и технологий связано с разницей между официальным образом и приватными практиками. Это может быть и ресурсом, и проблемой для STS. Раскрытие «черных ящиков» требует выноса приватной информации в публичное пространство, что может вызвать сопротивление и угрозу социальной легитимности наук и технологий. Попытки исследовать производство знания и техники привели к «научным войнам» и конфронтации с представителями естественных наук [Edge 1979: 114; Bloor 1991 (1976): 46]
К непрозрачности технологий: переориентация критики в акторно-сетевой теории Б. Латура
Социально-конструктивистские взломщики «черных ящиков» сталкиваются с проблемой нейтральности и прозрачности технологий. В ответ на это, предлагаются альтернативные решения внутри STS, включая аргумент о со-производстве технологий и общества. Эти подходы различно интерпретируют приставку «со-» в термине «со-производство». В акторно-сетевой теории и социологии перевода «со-» понимается как тождество или неразличимость социального и технического в процессе перевода. В ходе этого процесса акторы изменяются, и результирующая граница между технологией и обществом стабилизируется, но может быть дестабилизирована в будущем. Это указывает на отсутствие стабильной границы между «социальным» и «техническим» акторами в других контекстах инноваций и исследований.
Акторно-сетевая теория утверждает, что существует единый процесс перевода или медиации, который приводит к дистилляции двух типов реальности. Это представлено в работе Латура [Latour 1990] под названием «Технология есть общество, сделанное прочным». Развитие этого решения включает использование материально-семиотической модели социотехнических графов, где социотехническая динамика определяется взаимодействием программ и антипрограмм. Инженеры связывают свои желания с гетерогенными акторами, чтобы реализовать программу действия, а модификации технологии визуализируются через граф. Эта инновация привела к появлению элементов «социальных» и «технических» как в программе действия, так и в антипрограмме.
Во-вторых, Латур предлагает новое понимание технологии как цепочки гетерогенных акторов и переводов, соединенных в одной программе действия. Он заменяет понятие артефакта скриптами на понятие социотехнических графов. Таким образом, технология становится ассоциацией разнородных элементов, где программы и антипрограммы действия противостоят друг другу. Это позволяет описывать динамику технологии без выбора между дизайном и использованием. Компоненты, такие как люди, не-человеки, знаки, практики, идеи, воплощены в дизайнах, использованиях, ремонтах и обслуживании. Нет необходимости устанавливать иерархию между ними, так как каждый компонент является неотъемлемым условием стабилизации технологии. Поэтому описание условий возможности техники недостаточно для понимания процесса стабилизации. Важно описывать содержание программ и антипрограмм, не принимая предположения о главном компоненте, к которому все остальные сводятся.
Описание технологии является эквивалентом объяснению, и фокус только на условиях возможности недостаточен. Критика призвана описывать и объяснять технологию как ассоциацию множества участников, поддерживающих ее существование. Однако старая критика оказалась бесполезной, так как не могла раскрыть сущность твердых объектов науки. Вместо этого, новая критика сосредоточена на описании того, как много участников собрано в технологической ассоциации. Кроме того, технический артефакт воспринимается как нечто непрозрачное, способное порождать сюрпризы и события. Понятие суперкритического ума А. Тьюринга требует пересмотра представления компьютеров как объектов с простыми входами и выходами, воспринимая их как вещи, которые ассемблируются и обладают множеством складок.
Латур вносит модификации в понятие перевода, заменяя его понятием медиации. Медиация подразумевает набор операций, устанавливающих отношение между участниками. Действие рассматривается как медиация, связывающая различных акторов. Технология рассматривается как посредник-медиатор, объединяющий дизайн, использование, людей и не-человеков.
От следования правилам к их порождению
Одна из ключевых особенностей технологий на основе нейросетей — их способность порождать правила, а не просто следовать им. Это понимание было теоретически сформулировано в области науки, технологии и общества (STS) уже в конце 1980-х — начале 1990-х. Однако, оно также находит подтверждение в современных инженерных практиках и реальности технологий, использующих нестрогие алгоритмы нейросетей. Взгляд на технологии как на порождающие правила оказался несоответствующим утверждениям в публичной сфере, где технологии рассматриваются как подчиненные заранее заданным правилам и протоколам. Аварии и катастрофы, сопровождающиеся публичными расследованиями, раскрывают реальные практики управления и эксплуатации технологий. Они показывают, что практики генерируют правила, а не следуют им. Поэтому в повседневной реальности операторы технологических систем часто вынуждены пересматривать и переопределять правила и стандарты, чтобы адаптироваться к новым ситуациям и обеспечивать безопасное функционирование, даже при возникновении так называемых «нормальных аварий».
Нормализация технологии может иметь непредсказуемые последствия, включая фрагментацию и непредвиденные аварии. Контекстуализация учитывает локальные требования, но может привести к противоречиям в системе. Дизайн и использование технологии включают добавление "патчей" в ответ на антипрограммы, что требует усилий. Технологии не являются нейтральными проводниками интенций или ценностей, они связывают различные требования.
В области разработки программного обеспечения наблюдается тенденция к написанию кода с нуля вместо повторного использования уже существующего кода. Это связано с трудностью чтения старого кода, который становится беспорядочным и содержит исправления ошибок, над которыми работали долгое время. Однако, при выбрасывании старого кода теряется накопленное знание и годы работы.
В случае нестрогих алгоритмов нейросетей, таких как алгоритмы глубокого машинного обучения, эти свойства технологий становятся еще более заметными. В отличие от традиционного программного обеспечения, алгоритмы глубокого машинного обучения не программируются формальными правилами, а обучаются самостоятельно, разучивая правила для решения задач. Это особенно важно в контексте беспилотных автомобилей.
Для решения проблемы вождения автономные автомобили используют глубокие нейросети, которые способны воспринимать и классифицировать окружающую среду, а затем принимать вероятностные решения. Такие сложные ситуации не могут быть программированы с помощью формальных правил, поэтому нейросети обучаются на больших объемах данных. Они создают свои собственные правила на основе данных, собранных в процессе езды.
Это подтверждает аргумент в рамках науки, технологии и общества (STS), что технологии не являются просто нейтральными инструментами, следующими заданным правилам или командам, а являются активными посредниками, которые порождают собственные правила. В случае нестрогих алгоритмов нейросетей, это становится еще более очевидным.
Возвращение «черных ящиков» и непрозрачности нейросетей
Беспилотные автомобили и алгоритмы глубокого обучения вызывают оптимизм, но возникают вопросы о прозрачности и подотчетности. Нейросети часто непрозрачны из-за ограниченного доступа к алгоритмам и датасетам, которые являются коммерческой тайной. Критики видят в этом уклонение от ответственности и скрытие дискриминации. Для борьбы с непрозрачностью требуется открытый код и алгоритмический аудит.
В доступном коде часто встречается непрозрачность, поскольку его понимание требует специализированных навыков, доступных лишь немногим. Даже для внутренних разработчиков может быть сложно разобраться в коде, который они не создавали. Как утверждает программист Кевин Слэвин, мы пишем код, который уже не понимаем. Это создает непрозрачность для тех, кто не причастен к процессу разработки.
Кроме того, непрозрачность алгоритмов связана с различиями между машинным и человеческим способами обучения. Контролируемое глубокое обучение нейросетей, также известное как обучение с учителем, основано на двух алгоритмах: "обучающемся" и "классификаторе". Обучающийся проходит обучение на размеченных данных, чтобы создать матрицу весов, которая затем используется классификатором. Классификатор принимает входные данные и выдает выходные данные в виде категорий или меток. Однако внутренний слой нейросети, скрытый от человеческого восприятия, обрабатывает данные, исходя из собственных внутренних "подсказок". Человек не обладает пониманием этих внутренних паттернов, но нейросеть успешно распознает изображения на основе этих "подсказок".
Таким образом, алгоритмы машинного обучения решают задачи по-своему, отличному от человеческого мышления. Это приводит к непрозрачности, поскольку алгоритмы не разбивают задачи на понятные человеку подзадачи. Визуальное понимание работы машин может быть непонятным, произвольным и дезорганизованным. Подсознательное распознавание визуальных элементов является неявным процессом у людей и также содержит свою непрозрачность.
Возражение против раскрытия "черных ящиков" основано на критике идеала прозрачности, который считается гарантией ответственности и управляемости нейросетей. Ананни и Кроуфорд указывают на десять ограничений идеала прозрачности в контексте политики алгоритмических систем. В первую очередь, идеал прозрачности сведен к простому "видеть" без понимания поведения или истоков системы. Во-вторых, алгоритмические системы, включая нейросети, не являются полностью прозрачными и подотчетными для своих создателей. Примером служит случай с алгоритмами Google Photos, которые неправильно распознавали чернокожих людей. В-третьих, технологии имеют динамику, и доступ к исходному коду и данным недостаточен для полного понимания функционирования системы, особенно в случае нейросетей, которые обучаются и адаптируются с поступлением новых данных. Вместо того, чтобы смотреть внутрь "черных ящиков", авторы предлагают рассматривать их в контексте социотехнических систем, которые взаимодействуют и переплетаются с людьми и не-людьми. Это требует пересмотра понятия прозрачности и учета взаимодействий системы в целом.
Заключение
В заключении, данная работа подтверждает, что нейросети, основанные на нестрогих алгоритмах и глубоком обучении, подтверждают идеи STS относительно непрозрачности и удивительности технологий. Однако эмпирические данные и научные дебаты показывают изменение значения тропы раскрытия "черных ящиков". Вместо простого приоритизирования условий возможности, сегодня подход акторно-сетевой теории Бруно Латура предлагает рассмотрение технологии как социальной сущности без приоритизации компонентов и с признанием ее непрозрачности и способности удивлять даже создателей. Это указывает на необходимость пересмотра старых критических подходов к управлению новыми технологиями.
Источники
1. Кузнецов А.Г. (2020) Туманности нейросетей: «черные ящики» технологий и на-
глядные уроки непрозрачности алгоритмов.Социология власти, 32 (2): 157-182
Comentarios