Это эссе было написано Брюсом Шнайером и Севой Гуницким и первоначально опубликовано в журнале Foreign Affairs . Волонтеры «Автономного Действия» перевели его на русский. Мы думаем, что оно интересно с точки зрения дальнейшего развития путинского режима и технологий искусственного интеллекта.
Через две недели после полномасштабного вторжения Москвы в Украину в марте 2022 года редактор Первого канала России Марина Овсянникова ворвалась в студию вечерних новостей. Она держала над головой ведущего самодельный плакат с надписью: «Остановите войну. Не верьте пропаганде. Здесь вам врут!» Она кричала: «Нет войне!», пока её не оттащили.
С тех пор никто не протестовал против войны на российском телевидении, отчасти из-за усиления мер безопасности и общей атмосферы страха. Но в октябре 2024 года Маргарита Симоньян, одна из главных российских пропагандисток, предложила другое объяснение. По ее словам, все большее число ведущих российских телеканалов — не настоящие. «Этого лица не существует. Мы сами сгенерировали голос и все остальное». Она имела в виду, что они были созданы искусственным интеллектом. В последующем интервью газете «Ведомости» она изложила логику: «Этим ведущим не нужна зарплата или страховка, — сказала она. — Их не арестуют, и полиция не будет обыскивать их дома. Это все одновременно прекрасно и ужасно».
Это то, что ИИ обещает каждому авторитарному правителю: способность поддерживать контроль, не делегируя задачи ненадежным человеческим существам. Это чрезвычайно привлекательная перспектива. Какими бы могущественными ни были диктаторы, им всегда нужны были подчиненные — цензоры, пропагандисты , охранники, полицейские, аналитики разведки и местные чиновники — для выполнения их приказов. Но подчиненные всегда представляют потенциальную угрозу. Они могут уклоняться от ответственности, воровать, лгать, сливать информацию или вступать в заговор против своего босса. В результате одна из старейших дилемм, стоящих перед автократами, заключается в том, как наделить агентов полномочиями для выполнения приказов, не позволяя им при этом выступать против своего лидера. Автократы обычно находили компромисс, заполняя ключевые должности посредственностями, чья тупость, как выразилась политический теоретик Ханна Арендт, является «лучшей гарантией их лояльности». Но это неизбежно затрудняет управление диктатурами и выживание в условиях кризисов.
Искусственный интеллект, по-видимому, предлагает автократам два способа решения этой давней дилеммы. Во-первых, это означает, что теперь они могут легко отслеживать и дрессировать своих подчиненных в режиме реального времени. Изменение в привычках траты денег или расписании встреч местного чиновника может быть автоматически отмечено системой ИИ без необходимости использования информаторов, которые могут преследовать собственные интересы. Во-вторых, ИИ может полностью устранить подчиненных. Автоматизируя задачи, которые ранее требовали человеческих решений, правители могут заменить ненадежных посредников лояльными алгоритмами, которые невозможно подкупить или манипулировать ими. Об этом уже говорят сами чиновники в авторитарных режимах. ИИ «определенно может заменить половину чиновников», — заявил министр цифрового развития России Максут Шадаев на Московском форуме по данным в апреле 2025 года, добавив: «возможно, немного больше».
Однако эти мечты о государстве, которое работает само по себе, иллюзорны. ИИ никогда не бывает по-настоящему автономным. Системы должны создаваться и поддерживаться группой инженеров и специалистов по обработке данных, чью экспертизу политические лидеры не могут оценить. Правитель, который обращается к ИИ, чтобы уменьшить зависимость от ненадежных людей, может в итоге еще более слепо полагаться на немногих специалистов по ИИ, которые поддерживают работу этой системы. И эта новая цифровая преторианская гвардия может обладать теми же слабостями, что и старая, что делает ее угрозой для правителя.
Глаза и уши
Китай лидирует в разработке систем искусственного интеллекта, способных контролировать или заменять подчиненных. Программы «умных городов» в Пекине, Шанхае и других крупных городах используют ИИ для отслеживания эффективности работы и централизации надзора за местными чиновниками, которые ранее работали в комфортной тени, подвергая их алгоритмической оценке производительности. Китай также разработал «систему ИИ с нулевым доверием», которую за последнее десятилетие внедрил примерно в 30 уездах и городах. Эта система сопоставляла более 150 правительственных баз данных для выявления хищений и кумовства со стороны местных чиновников. Она работала даже слишком хорошо, выявив 8700 чиновников, прежде чем местные органы власти, под давлением чиновников, за которыми она следила, начали ее отменять. Но Пекин не отказался от своих новых порталов электронного правительства, которые используют автоматизированные системы для выдачи документов и разрешений, сокращая личное взаимодействие, порождающее мелкую коррупцию или фаворитизм. Тем временем Коммунистическая Партия Китая активно занимается исследованиями в области так называемого «управления мыслями», или использования искусственного интеллекта для создания таргетированной пропаганды. Китайская армия интернет-комментаторов, ранее состоявшая из оплачиваемых людей, уже заменяется ботами.
Россия преследует те же цели с аналогичным рвением. В Москве общегородская система распознавания лиц, развернутая на 200 000 камерах, использовалась для идентификации и задержания протестующих во время антиправительственных выступлений 2021 года. Центральное правительство начало использовать автоматизированный сбор и агрегацию данных, чтобы не зависеть от региональных чиновников, которые могли бы исказить данные или использовать их в своих интересах. В 2023 году российский интернет-регулятор (Роскомнадзор) запустил Oculus, систему на базе машинного обучения, которая сканирует сотни тысяч изображений в день на предмет запрещенного контента, включая политический контент — объёмы, на порядки превышающие возможности человеческой цензуры. Инструмент российских спецслужб «Мелиоратор» использовался для создания более тысячи профилей вымышленных американцев, в основном на X (ранее Twitter), для распространения кремлевских нарративов с минимальными затратами по сравнению с человеческими фабриками троллей.
Другие автократии следуют по стопам Пекина и Москвы. В апреле 2025 года Объединенные Арабские Эмираты создали Управление Регуляторного Интеллекта, которое использует ИИ для разработки и внесения поправок в федеральные законы — работу, которую раньше делали сотрудники законодательных органов. Год спустя премьер-министр ОАЭ шейх Мохаммед бин Рашид аль-Мактум объявил, что автономные агенты ИИ возьмут на себя половину операций федерального правительства в течение двух лет и что «эффективность работы министров, генеральных директоров и организаций будет оцениваться на основе их способности адаптироваться к этой трансформации».
Эти нововведения могут сократить число бюрократов, необходимых автократам. Но они не могут создать то, чего диктаторы желают больше всего: государство, которое работает «само по себе». Даже телеведущим, созданным с помощью ИИ, нужны люди для их разработки и поддержки, а системам цензуры нужны люди для их переобучения по мере изменения лексики, используемой в инакомыслии. За каждой моделью ИИ стоит небольшая группа инженеров и специалистов по обработке данных, занимающихся её необходимым обслуживанием, и их работа настолько сложна, что правители не могут её понять.
Таким образом, эта зависимость становится еще одной формой власти. Инженеры, обслуживающие, например, систему слежки автократа, могут влиять на то, что видит правитель. Они решают, какая информация достаточно важна для передачи и в какой форме ее представлять. Они определяют, какие угрозы следует выявлять, и могут корректировать алгоритмы, которые выбирают, какой контент следует подавлять и кого арестовывать. И они могут делать это так, чтобы никто во дворце этого не заметил. Автократы, которые обращаются к ИИ, чтобы избежать зависимости от ненадежных подчиненных, лишь переносят свои уязвимости на новую группу чиновников.
На самом деле, эта новая преторианская гвардия может быть опаснее, чем прежние элиты. Отчасти это объясняется непрозрачностью технологий искусственного интеллекта, а также тем, что эта клика гораздо меньше. У римских императоров, как правило, в преторианской гвардии служили десятки тысяч человек; современные автократы полагаются на целые армии. Но с появлением ИИ автократам потребуется лишь небольшая группа инженеров для создания и обслуживания крупномасштабных систем ИИ. Это может быть выгодно правителям, поскольку им придётся следить за меньшим количеством людей, но также это создаёт точки отказа, так как для катастрофического сбоя достаточно всего нескольких инженеров, и членам этой гвардии будет легче плести интриги против лидера. Члены этой новой гвардии также могут оказаться незаменимыми. Диктатор может сменить генералов, сохранив армию. Но управление сложными системами машинного обучения требует такого специализированного набора навыков, что инженеров трудно заменить без сбоев, что даёт им огромные рычаги влияния.
Незаменимые
Важность IT-специалистов для автократий уже стала очевидной. Например, когда после полномасштабного вторжения в Украину в феврале 2022 года IT-специалисты начали массово покидать Россию, Кремль отреагировал не кнутом, а пряником, предложив IT-специалистам отсрочку от призыва. Он освободил их фирмы от налогов и субсидировал их кредиты. Когда семь месяцев спустя президент России Владимир Путин отдал приказ о мобилизации 300 000 человек, IT-специалистам была предоставлена полная бронь. Это может показаться излишним, учитывая, что для работы системы искусственного интеллекта требуется всего несколько инженеров. Но режим не может заранее знать, какие именно инженеры ему понадобятся, и не может быстро подготовить замену, поэтому ему приходится удерживать весь кадровый резерв, из которого отбираются эти немногие.
Эти меры не смогли остановить отток примерно 100 000 специалистов — около десятой части российской рабочей силы в сфере информационных технологий — в течение 2022 года. Но Москва продолжала прибегать к подкупу, потому что специалистов крайне сложно мобилизовать под дулом пистолета, и потому что мобилизованные специалисты с меньшей вероятностью будут выполнять указания. Тем не менее, деньги и привилегии не могут гарантировать лояльность этих элит. Автократам следует помнить урок первоначальной преторианской гвардии: какое-то время она обеспечивала защиту и безопасность римских императоров. Но затем преторианцы обнаружили свою незаменимость, и ко второму веку нашей эры они уже продавали империю тому, кто предложит наибольшую цену. Эта новая группа элит может сделать то же самое. В июне 2023 года, когда колонны ЧВК «Вагнер» Евгения Пригожина двигались по шоссе в сторону Москвы, Путин полагался на свои спецслужбы, которые должны были сообщать ему о происходящем. Будущие правители на месте Путина будут получать подобные предупреждения через компьютеры: перехваченные коммуникации, отсортированные программами, видеопотоки с камер, обработанные системами распознавания, региональные отчеты, сведенные в информационные дашборды. Инженеры, управляющие этими системами, могут вступить в сговор с новым претендентом на власть, а затем затягивать процесс. Они могут задерживать данные, допускать задержку сигналов тревоги на несколько часов, ухудшать качество видеопотоков в неподходящие моменты или выводить из строя системы распознавания. В этом случае правитель будет действовать вслепую. Преторианской гвардии не нужно было убивать императора Нерона, чтобы занять его место. Ей достаточно было просто отказаться от него в пользу соперника.
Вряд ли эти программисты смогут захватить власть самостоятельно, поскольку вряд ли у них будет то, что в конечном итоге потребуется лидерам переворота: оружие. Но уже есть прецедент, когда инженеры использовали свою силу для влияния разворачивающуюся борьбу за власть. В 1991 году, когда советские военные и спецслужбы попытались перехватить власть у Михаила Горбачёва, горстка программистов в сети Relcom (кооператив «Демос») обеспечивала поток новостей за границу и транслировала указы президента России Бориса Ельцина читателям внутри страны и за рубежом. Заговорщики («путчисты») не смогли остановить распространение новостей о сопротивлении Ельцина, и переворот проиграл за три дня.
Сокращение ожиданий
Искусственный интеллект не позволит автократам уволить всех своих чиновников. Кто-то всё равно должен арестовывать людей и управлять тюрьмами, а автократы могут покупать лояльность, предлагая сторонникам государственные должности. Но он позволит авторитарным режимам сократить число чиновников, ведь в конечном итоге важно не количество, а то, как организован надзор за ними. Отслеживание интриг или некомпетентных подчинённых всегда было главной задачей автократа. ИИ мог бы облегчить её, позволив правителям более тщательно следить за своими чиновниками, при этом не тратя много активного внимания.
Таким образом, в ближайшей перспективе ИИ может принести огромную пользу автократиям. Несмотря на многочисленные препятствия на пути внедрения, эта технология уже приносит автократическим режимам выгоды в виде более дешевой слежки, более умной цензуры и меньшего числа подчиненных (людей можно бояться и им можно не доверять). Но в то же время, соблазны искусственного интеллекта могут воссоздать для автократов ту же ловушку, из которой они пытаются выбраться. Чем больше режим зависит от ИИ, тем больше он зависит от людей, которые поддерживают работу ИИ. И эти люди, как и любой другой преторианский класс в истории, быстро поймут, чего стоит их незаменимость.
Перевод avtonom.org
Добавить комментарий