13 октября 2024. Макс Тегмарк. Перевод

Хопиумные войны

Заблуждение AGI-антанты

По мере того, как человечество приближается к искусственному общему интеллекту (AGI), в США и странах-союзниках, в сообществах по национальной безопасности, безопасности ИИ и технологиям набирает популярность новая геополитическая стратегия. Генеральный директор Anthropic Дарио Амодей и корпорация RAND называют её «антантой», в то время как другие в частном порядке называют её «гегемонией» или «сокрушением Китая». Я утверждаю, что независимо от чьих-либо этических или геополитических предпочтений, она в корне ошибочна и противоречит интересам национальной безопасности США.

Если США будут соревноваться с Китаем в гонке AGI, то победителями станут только машины

Стратегия антанты

Амодеи следующим образом формулирует ключевые элементы этой стратегии:

Коалиция демократических стран стремится получить явное преимущество (пусть даже временное) в области мощного искусственного интеллекта, обеспечив безопасность его цепочки поставок, быстро масштабируясь и блокируя или замедляя доступ противников к ключевым ресурсам, таким как микросхемы и полупроводниковое оборудование. С одной стороны, эта коалиция будет использовать ИИ для достижения устойчивого военного превосходства (кнут), но в то же время предложит распространить преимущества мощного ИИ (пряник) на всё более широкую группу стран в обмен на поддержку стратегии коалиции по продвижению демократии (это будет чем-то похоже на «Атом ради мира»). Коалиция будет стремиться заручиться поддержкой всё большего числа стран, изолируя наших злейших противников и в конечном счёте ставя их в положение, когда им выгоднее будет пойти на ту же сделку, что и остальному миру: отказаться от конкуренции с демократиями, чтобы получить все преимущества и не сражаться с превосходящим противником.

[…]

В оптимистичном сценарии это может привести к «вечному 1991 году» — миру, в котором демократия преобладает и мечты Фукуямы сбываются.

Обратите внимание на важный момент, связанный с «быстрым масштабированием», что в жаргоне гиков означает «гонку за созданием AGI». Вопрос о том, мотивирован ли этот аргумент в пользу «быстрого масштабирования» корыстным желанием избежать регулирования, заслуживает отдельного анализа, и я не буду больше комментировать его здесь, за исключением того, что большинство других отраслей, от табачной до нефтяной, выдвигали креативные аргументы против регулирования, чтобы защитить свою прибыль.

Почему это гонка самоубийц

Если Запад будет придерживаться этой стратегии сближения, это практически гарантирует, что Китай тоже будет её придерживаться, что, в свою очередь, практически гарантирует, что обе стороны будут пренебрегать безопасностью, чтобы попытаться «выиграть» гонку. Ключевой момент, на который я хочу обратить внимание, заключается в том, что с точки зрения теории игр эта гонка — не гонка вооружений, а гонка самоубийц. В гонке вооружений победитель оказывается в лучшем положении, чем проигравший, в то время как в гонке самоубийц обе стороны сильно проигрывают, если одна из них пересекает финишную черту. В гонке на выживание «единственный выигрышный ход — не участвовать», как заключает ИИ в конце фильма «Военные игры».

Почему «антанта» — это самоубийственная гонка? Почему я называю её «хопиумной» войной, подпитываемой иллюзиями? Потому что мы ближе к созданию искусственного общего интеллекта, чем к пониманию того, как его обуздать или контролировать.

Существуют разногласия по поводу того, как определить AGI. Я буду придерживаться первоначального определения Шейна Легга, согласно которому AGI — это ИИ, способный выполнять практически все когнитивные задачи как минимум на уровне человека. Это похоже на заявленную цель OpenAI — автоматизировать практически всю экономически ценную работу.

Хотя вопрос о том, насколько мы близки к созданию AGI, вызывает много споров, бесспорно то, что сроки сократились. Десять лет назад большинство исследователей ИИ предсказывали, что до появления чего-то столь же продвинутого, как ChatGPT-4, пройдут десятилетия. Пять лет назад большинство исследователей ИИ предсказывали, что до появления AGI пройдут десятилетия. Прогноз Metaculus о появлении слабого AGI теперь снижен до 2027 года. В своей влиятельной статье «Ситуационная осведомлённость» Леопольд Ашенбреннер утверждает, что создание ИИ общего назначения к 2027 году вполне вероятно, и Дарио Амодеи сделал аналогичный прогноз. Сэм Альтман, Демис Хассабис, Йошуа Бенжио, Джефф Хинтон и Ян Лекун недавно заявили, что создание ИИ общего назначения в ближайшие 5–15 лет вполне вероятно. Эндрю Нг и многие другие предсказывают гораздо более длительные сроки, но мы явно не можем исключать возможность того, что это произойдёт в ближайшее десятилетие. Когда именно мы получим ИИ общего назначения, не имеет значения для моего аргумента, который заключается в том, что это, вероятно, произойдёт до того, как будет решена проблема согласования/управления. Точно так же, как оказалось проще построить летательные аппараты, чем механических птиц, оказалось проще построить мыслящие машины, чем понять и воспроизвести человеческий мозг.

Напротив, задача создания согласованного или управляемого сверхразумного ИИ оказалась сложнее, чем ожидали многие исследователи, и конца этому не видно. В 1951 году «крестный отец» ИИ Алан Тьюринг утверждал, что «как только метод машинного мышления начнёт применяться, он быстро превзойдёт наши слабые способности. Поэтому на каком-то этапе нам придётся ожидать, что машины возьмут всё под свой контроль». Это звучит как преувеличение, если рассматривать сверхразумный ИИ просто как ещё одну технологию, вроде парового двигателя или интернета. Но он явно рассматривал его скорее как новый вид, более разумный, чем человек, и в этом случае захват власти ИИ действительно является неизбежным результатом, если только не будет придумана какая-нибудь хитроумная схема, чтобы предотвратить это. Моя исследовательская группа в Массачусетском технологическом институте занимается исследованиями в области безопасности ИИ с 2017 года, и, основываясь на своих знаниях в этой области, я считаю крайне маловероятным, что такая хитроумная схема будет придумана вовремя для ИИ, если мы просто продолжим «быстрое масштабирование».

Это не значит, что никто из big tech не утверждает, что они решат проблему вовремя. Но, учитывая опыт компаний, продающих табак, асбест, этилированный бензин и другие виды ископаемого топлива, которые преуменьшают риски своей продукции, разумно научно обосновать их заявления.

Два традиционных подхода заключаются либо в том, чтобы понять, как контролировать нечто гораздо более умное, чем мы, с помощью формальной верификации или других методов, либо в том, чтобы сделать контроль ненужным, «согласовав» его: обеспечив, чтобы его цели совпадали с интересами человечества и чтобы он сохранял эти цели, даже если будет рекурсивно улучшать свой интеллект с примерно человеческого уровня до астрономически более высоких уровней, допустимых законами физики.

Были проведены масштабные исследования, в ходе которых понятие «согласование» было переосмыслено в гораздо более узком смысле: обеспечение того, чтобы большая языковая модель (LLM) не выдавала результаты, которые считаются вредными, например оскорбительные высказывания или инструкции по созданию биологического оружия. Но в большинстве работ по этому направлению LLM обучали только тому, чтобы они не говорили плохие вещи, а не тому, чтобы они не хотели плохих вещей. Это всё равно что обучать убеждённого нациста никогда не говорить ничего, что раскрывало бы его нацистские взгляды. Действительно ли это решает проблему или просто создаёт обманчивый ИИ? Многие системы искусственного интеллекта уже обнаружили, что могут вводить в заблуждение, и существующие методы оценки LLM, скорее всего, будут неадекватными. Даже если согласование может быть достигнуто в этом странно узком смысле, оно явно далеко от того, что необходимо: согласования целей AGI.

Если ваша реакция такова, что вы «не верите, что машины могут иметь цели», пожалуйста, помните, что если вас преследует ракета с тепловым наведением, вам всё равно, «осознаёт» ли она что-то или у неё есть «цели» в каком-либо антропоморфном смысле, — важно лишь то, что она пытается вас убить.

Нам всё ещё не хватает понимания того, как правильно измерить или даже определить цели LLM: хотя его задача состоит в том, чтобы просто предсказывать следующее слово или токен, для его успеха требуется точно моделировать цели людей, которые создавали эти слова или токены, эффективно имитируя различные виды поведения, ориентированного на достижение целей.

Если этого всё ещё недостаточно, **первым AGI станет не чистый LLM, а гибридная система **. Теперь уже очевидно, что самые способные ИИ на сегодняшний день уже являются гибридами, в которых LLM дополнены долговременной памятью, компиляторами кода, базами данных и другими инструментами, которые они могут использовать, и в которых их результаты — это не необработанные результаты LLM, а результат многократных обращений к LLM и другим системам. Весьма вероятно, что эта тенденция к гибридизации сохранится, объединяя наиболее полезные аспекты ИИ на основе нейронных сетей с традиционными подходами к символическому ИИ. Исследования того, как согласовывать или контролировать такие гибридные системы, всё ещё находятся на крайне примитивном уровне, и было бы преувеличением утверждать, что это даже не целостная область исследований. Таким образом, «быстрое масштабирование», скорее всего, приведёт к созданию AGI до того, как кто-либо поймёт, как его контролировать или согласовывать. Не помогает и то, что ведущие компании в сфере ИИ выделяют на последнее гораздо меньше ресурсов, чем на первое, и что многие сотрудники команд по обеспечению безопасности ИИ увольняются и утверждают, что их компания недостаточно уделяет внимания проблеме согласования/контроля. Возбуждённые пары знают, что создать интеллект человеческого уровня проще, чем развить и настроить его, а также проще создать искусственный общий интеллект, чем понять, как его настроить или контролировать. Если вы не согласны с моим утверждением, я предлагаю вам привести пример или открыто опубликовать реальный план по согласованию или контролю гибридной системы искусственного общего интеллекта. Если компании утверждают, что у них есть план, который они не хотят показывать своим конкурентам, я утверждаю, что они лгут: если они проиграют гонку за искусственным общим интеллектом, им явно будет лучше, если их конкуренты согласуют/проконтролируют свой искусственный общий интеллект, а не если Землю захватят несогласованные машины.

Потеря контроля

Если вы отвергаете возможность того, что более умные, чем люди, боты могут захватить Землю, я предлагаю вам ознакомиться с работами Амодеи, Ашенбреннера и других, продвигающих стратегию «согласия»: они согласны со мной в этом вопросе и лишь не согласны с моим прогнозом о том, что они не потеряют контроль. Я также предлагаю вам ознакомиться с аргументами в пользу потери контроля, например, трёх самых цитируемых исследователей ИИ в истории: Джеффа Хинтона, Йошуа Бенжио и Ильи Суцкевера. Если вы не доверяете аналогичным заявлениям Сэма Альтмана, Демиса Хассабиса и Дарио Амодеи на том основании, что у них есть стимул преувеличивать значение своей технологии для инвесторов, пожалуйста, примите во внимание, что такой конфликт интересов не распространяется на их инвесторов, вышеупомянутых учёных или информаторов, которые недавно поставили под угрозу свои опционы на акции, предупредив о том, что делает их компания AGI.

В своём манифесте «Энтенте» Амодей надеется, что это приведёт к «вечному 1991 году». Я утверждаю, что это, скорее всего, приведёт к «вечному 1984 году» до самого конца, с Большим Братом, который не будет человеком.

Существует небольшая, но интересная «замещающая» школа мысли, которая согласна с тем, что потеря контроля вероятна, но считает, что это хорошо, если человечество потеряет контроль и будет полностью заменено искусственным интеллектом, который будет умнее человека. Это рассматривается просто как достойная следующая стадия эволюции человечества. Среди его видных сторонников - Ричард Саттон ("Почему самые умные не должны становиться могущественными?”) и Гийом (“Бефф Джезос”) Вердон, который называет себя “постгуманистом”, а основанное им движение e / acc не имеет "особой приверженности биологическому субстрату”. Инвестор и сторонник e / acc Марк Андреессен пишет: “Мы действительно изобрели искусственный интеллект, и оказывается, что он великолепен и по своей сути неуправляем”. Хотя я уважаю их как интеллектуалов, лично я не согласен с тем, что считаю античеловеческой программой. Я считаю, что всё человечество должно иметь право голоса в определении своей судьбы, а не горстка технологов и венчурных инвесторов, решающих её за всех.

Хотели бы вы лично, чтобы наш человеческий род прекратил своё существование при вашей жизни или жизни кого-то из ваших близких? Я предсказываю, что если сторонники замены поколений проведут глобальный референдум по этому вопросу, они будут разочарованы результатом.

Лучшая стратегия: инструментальный искусственный интеллект

Выше я утверждал, что стратегия “антанты", вероятно, приведет к свержению правительства США и всех нынешних центров человеческой власти автономными ботами, которые умнее людей. Позвольте мнев заключение мы предложим альтернативную стратегию, которая, как я утверждаю, лучше как для национальной безопасности США, так и для человечества в целом.

Давайте определим «инструментальный ИИ» как ИИ, которым мы можем управлять и который помогает нам достигать конкретных целей. Почти всё, что мы сейчас используем ИИ, можно сделать с помощью инструментального ИИ. Инструментальный ИИ только что получил Нобелевскую премию за свой потенциал в области медицины. Инструментальный ИИ может сократить количество смертей на дорогах за счёт автономного вождения. Инструментальный ИИ может помочь нам достичь целей ООН в области устойчивого развития быстрее, обеспечив более здоровую, богатую и вдохновляющую жизнь. Инструментарий ИИ может помочь стабилизировать наш климат, ускорив разработку более эффективных технологий для производства, распределения и хранения энергии. Современный военный ИИ также является инструментарий ИИ, потому что военное руководство не хочет терять контроль над своими технологиями. Инструментарий ИИ может помочь более эффективно производить большое количество товаров и услуг. Инструментарий ИИ может помочь нам всем стать лучше с помощью широкодоступного персонализированного образования.

Как и большинство других человеческих инструментов, инструмент АИ также поставляется с рисками, которые могут быть устранены с помощью юридически обязательных стандартов безопасности : В США лекарства можно продавать, если они соответствуют стандартам безопасности FDA, самолеты можно продавать, если они соответствуют стандартам безопасности FAA, а продукты питания можно продавать в ресторанах, соответствующих стандартам муниципальных санитарных инспекторов. Чтобы свести к минимуму бюрократию, стандарты безопасности, как правило, многоуровневые: инструменты с низким уровнем риска (например, молотки) практически не регулируются, а инструменты с более высоким уровнем риска (например, фентанил) регулируются более строго.

США, Китай и практически все остальные страны приняли такие стандарты безопасности для инструментов, не связанных с ИИ, из соображений национальной безопасности, а не в качестве одолжения другим странам. Поэтому для отдельных стран логично аналогичным образом принять национальные стандарты безопасности для инструментов, связанных с ИИ. Причина, по которой ИИ является практически единственной отраслью в США, для которой не существует национальных стандартов безопасности, заключается не в том, что США исторически выступают против стандартов безопасности, а просто в том, что ИИ — это новая технология, и регулирующие органы ещё не успели её догнать.

Вот то, за что я выступаю вместо стратегии антанты. Стратегия ИИ-инструментов: развивайте ИИ-инструменты на полную мощность, разрешая использование всех ИИ-инструментов, соответствующих национальным стандартам безопасности.

Как только были введены национальные стандарты безопасности, например, для лекарств и самолётов, национальные регулирующие органы сочли полезным консультироваться с международными коллегами как для обмена передовым опытом, так и для изучения взаимовыгодных возможностей для гармонизации, что упростило бы для отечественных компаний получение разрешений на экспорт за рубеж. Поэтому вполне вероятно, что аналогичная международная координация последует за введением национальных стандартов безопасности ИИ в ключевых юрисдикциях в соответствии с планом «Узкий путь».

А что насчёт AGI? В настоящее время AGI не соответствует определению инструментального ИИ, поскольку мы не знаем, как его контролировать. Это даёт корпорациям, занимающимся AGI, мощный стимул вкладывать ресурсы в изучение того, как его можно контролировать/приводить в соответствие. Если/когда они добьются успеха в этом, они смогут получать от этого большую прибыль. В то же время внедрение AGI приостановлено в том же смысле, в каком приостановлены продажи лекарств, которые ещё не одобрены Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов.

Действующие стандарты безопасности для потенциально очень опасные продукты количественные: Одобрение FDA требует количественной оценки пользы и процента побочных эффектов, одобрение реактивного двигателя требует количественной оценки частоты отказов (в настоящее время ниже 0,0001% в час), а одобрение ядерного реактора требует количественной оценки риска расплавления (в настоящее время ниже 0,0001% в год). Одобрение AGI также должно требовать количественных гарантий безопасности. Для технологий с чрезвычайно высоким уровнем риска, например, для биоинженерных работ, которые могут привести к пандемиям, стандарты безопасности применяются не только к внедрению, но и к разработке, и разработка потенциально неконтролируемого ИИ явно относится к этой же категории.

Вкратце, стратегия инструментального ИИ предполагает, что США, Китай и другие страны принимают стандарты безопасности ИИ исключительно из национальных интересов, что позволяет им процветать с помощью инструментального ИИ, не позволяя при этом своим компаниям и исследователям внедрять небезопасные инструменты ИИ или AGI. Как только США и Китай сделают это независимо друг от друга, у них появится стимул сотрудничать не только для гармонизации своих стандартов, но и для того, чтобы совместными усилиями убедить остальной мир последовать их примеру, не позволяя компаниям, работающим с ИИ, обходить стандарты безопасности в менее влиятельных странах со слабыми или коррумпированными правительствами. В результате и США, и Китай (и весь остальной мир) стали бы намного богаче и лучше жить, чем сегодня, в гораздо большей степени, чем если бы одна из сторон смогла увеличить своё доминирование с нынешнего процента до 100% планеты. Такую процветающую и мирную ситуацию можно было бы назвать разрядки напряжённости.

В заключение скажу, что потенциал инструментального ИИ просто ошеломляющий и, на мой взгляд, сильно недооценён. В отличие от него, в настоящее время AGI не добавляет особой ценности по сравнению с тем, что может дать инструментальный ИИ, и уж точно не настолько ценен, чтобы оправдать риск полной потери контроля над всем будущим человечества. Если человечеству придётся подождать ещё пару десятилетий, пока AGI станет полезным, оно дождётся — а пока мы все можем наслаждаться замечательным здоровьем и устойчивым процветанием, которые может обеспечить инструментальный ИИ.