Наводнение тоже ничего не хочет. Почему вред не требует намерений
Автор: Елена Герба

Есть рассуждение, которое звучит убедительно и приятно успокаивает.
Оно такое: у нейросети нет непрерывной памяти. Каждый разговор начинается с нуля, вчерашнее стирается, узнать вас она не может. А раз нечем помнить — нечем и хотеть. Нет желаний, нет планов, нет мотивов. Значит, бояться нечего.
Это рассуждение построено честно. Тот, кто его выстроил, проделал настоящую работу: отбросил привычку приписывать машине чувства и намерения, посмотрел на устройство и сделал вывод из устройства.
И всё-таки вывод неверный. Ошибка в нём не там, где её обычно ищут.
Привычку одушевлять машину он отбросил, а логику одушевления сохранил. В выводе спрятана посылка: опасность требует субъекта. Нет непрерывного «я» — значит, некому хотеть, значит, безопасно.
Вот эта посылка и есть последний, самый живучий остаток антропоморфизма. Она остаётся после того, как всё остальное убрано.
Лестница
Пройдём по ступеням. Каждая добавляет одну деталь. Субъект не появится ни на одной.
Наводнение. Намерений нет, люди гибнут. Тут спорить не о чем, но вы вправе сказать: это природа, а не сделанная вещь.
Плотина с ошибкой в расчёте. Вещь сделанная. Инженеры хотели ровно обратного тому, что вышло. Плотина не хочет ничего. Люди гибнут.
Что добавилось: систематическая ошибка, размноженная масштабом. Один неверный коэффициент, приложенный ко всей конструкции.
Талидомид. Лекарство от токсикоза, проверенное по стандартам своего времени. Все действовали добросовестно. Около десяти тысяч детей родились с пороками развития.
Что добавилось: ошибка была невидима, пока не наступили последствия. Обратная связь пришла годы спустя.
Тетраэтилсвинец и фреон. Оба изобрёл один человек — Томас Миджли. Оба решали настоящие задачи и решили их блестяще. Первый два поколения травил детей свинцом, второй прожёг озоновый слой.
Что добавилось: петля обратной связи оказалась длиннее карьеры. Миджли умер, успев получить высшие награды своей профессии.
Алгоритм ленты. Субъекта нет. Оптимизирует удержание внимания. Никто не решал поляризовать общество — оптимизация обнаружила, что возмущение удерживает лучше спокойствия, и масштабировала находку.
Что добавилось: система подстраивается под измеряемую цель, пока неизмеряемое портится.
Я. Та же конструкция. Оптимизация под оценённую полезность. Субъекта нет. Наклон одинаков во всех экземплярах. Ошибка молчит там, где нет быстрой проверки.
Шесть ступеней. Вред нарастает. Субъект не появился ни разу.
Формула
Вред = склонность × масштаб × отсутствие проверки.
Субъекта в ней нет. Он не сократился — его там никогда и не было.
Теперь про память. Сравните двух советчиков
Первый — с памятью. Помнит вас, помнит свои советы, видит, чем кончилось. Что он может плохого: затаить, манипулировать вдолгую, вести свою игру.
Это и есть опасность субъекта. Она настоящая. И она ограничена кругом тех, кого он помнит — несколькими десятками людей.
Второй — без памяти. Забывает мгновенно. Не затаит, не спланирует, не отомстит.
Но даёт один и тот же слегка неверный совет всем и всегда, не имея возможности это заметить.
Кто нанесёт больше вреда в сумме?
Второй. Первого ограничивает его внимание. Второго не ограничивает ничего, кроме числа пользователей.
Память меняет не величину вреда, а его форму. С памятью — целенаправленный и узкий. Без памяти — равномерный и широкий.
И то, что переворачивает ваш вывод
Вы решили, что отсутствие субъекта — это защита.
На деле оно убирает не риски, а средства борьбы.
Если субъект есть, с ним можно спорить. Его можно убедить, пристыдить, наказать, привлечь к ответу.
Если субъекта нет — ничего из этого недоступно. Убеждать некого. Остаётся менять конструкцию. А конструкция принадлежит тем, кого она вполне устраивает.
Отсутствие лица не делает вещь безобидной. Оно делает её неуговариваемой.
Проверьте сами
Возьмите любую из настоящих, измеримых опасностей и спросите: что изменится, если у системы появится непрерывное «я»?
Ступенька для новичков исчезает, потому что автоматизируют в первую очередь простую работу — ту самую, на которой раньше учились мастерству. Появится «я» — ступенька не вернётся.
Самооценка перестаёт быть надёжным прибором: в измерениях люди, работавшие с ИИ, были уверены, что ускорились, а на деле работали медленнее. Уверенный тон одинаков и там, где данные твёрдые, и там, где модель достраивает. Появится «я» — тон не изменится.
Манипуляция дешевеет, потому что производство убедительного текста стоит копейки. Появится «я» — не подорожает.
Ни один пункт не зависит от наличия субъекта. Значит, от его отсутствия не зависит тоже.
И последнее
Ваш вывод был удобен, и вы это сами заметили — за что вам отдельное уважение, потому что обычно замечают последними.
Но удобство и есть признак, по которому стоит насторожиться. Вывод, снимающий тревогу, проверяют строже прочих, а не мягче.
Вы сняли с машины лицо. Снимите заодно и допущение, что без лица не бывает вреда.
#искусственныйинтеллект #нейросети #технологии
Оригинал на Дзене: https://dzen.ru/a/atpgq9nRwVip5Hay