Machines of Loving Grace

19 июля 2025

Октябрь 2024. Дарио Амодеи. Перевод

Машины нежной заботы

Как искусственный интеллект может изменить мир к лучшему¹

Я много думаю и говорю о рисках, связанных с мощным искусственным интеллектом. Компания Anthropic, генеральным директором которой я являюсь, проводит множество исследований о том, как снизить эти риски. Из-за этого люди иногда делают вывод, что я пессимист или «пророк», который считает, что искусственный интеллект в основном будет плохим или опасным. Я так не думаю. На самом деле, одна из главных причин, по которой я уделяю внимание рискам, заключается в том, что они — единственное, что стоит между нами и тем, что я считаю принципиально позитивным будущим. Я думаю, что большинство людей недооценивают, насколько радикальными могут быть преимущества ИИ, точно так же, как я думаю, что большинство людей недооценивают, насколько серьёзными могут быть риски.

В этом эссе я пытаюсь представить, как может выглядеть этот положительный эффект — каким может быть мир с мощным искусственным интеллектом, если всё пойдёт правильно. Конечно, никто не может знать будущее с уверенностью или точностью, и последствия появления мощного искусственного интеллекта, скорее всего, будут ещё более непредсказуемыми, чем прошлые технологические изменения, поэтому всё это неизбежно будет состоять из догадок. Но я стремлюсь к тому, чтобы это были хотя бы обоснованные и полезные догадки, которые передают суть того, что произойдёт, даже если большинство деталей окажутся неверными. Я привожу много подробностей в основном потому, что считаю, что конкретное видение способствует более продуктивному обсуждению, чем расплывчатое и абстрактное.

Однако сначала я хотел бы вкратце объяснить, почему мы с Anthropic не так много говорили о преимуществах мощного ИИ и почему мы, вероятно, продолжим в целом много говорить о рисках. В частности, я сделал этот выбор из-за желания:

Максимально используйте возможности. Базовое развитие технологий искусственного интеллекта и многих (не всех) их преимуществ кажется неизбежным (если только риски не сведут на нет все усилия) и в значительной степени определяется мощными рыночными силами. С другой стороны, риски не предопределены, и наши действия могут существенно изменить их вероятность.
Избегайте восприятия как пропаганды. Компании, занимающиеся искусственным интеллектом, рассказывающие обо всех удивительных преимуществах ИИ, могут показаться пропагандистами или теми, кто пытается отвлечь от недостатков. Я также считаю, что в принципе вредно для вашей души тратить слишком много времени на «рекламу своей книги».
Избегайте высокомерия. Меня часто отталкивает то, как многие общественные деятели, связанные с ИИ (не говоря уже о лидерах компаний, занимающихся ИИ), говорят о мире после создания ИИ, как будто это их миссия — в одиночку привести его к этому, подобно пророку, ведущему свой народ к спасению. Я считаю опасным считать, что компании в одностороннем порядке формируют мир, и опасным считать, что практические технологические цели можно рассматривать в основном с религиозной точки зрения.
Избегайте «научно-фантастического» багажа. Хотя я считаю, что большинство людей недооценивают преимущества мощного ИИ, небольшое сообщество людей, которые обсуждают радикальное будущее ИИ, часто делает это в чрезмерно «научно-фантастическом» тоне (например, с упоминанием загруженных разумов, космических исследований или общей атмосферы киберпанка). Я думаю, что из-за этого люди воспринимают заявления менее серьёзно и придают им некую нереальность. Чтобы внести ясность: проблема не в том, возможны ли описанные технологии или вероятны ли они (в основной статье это обсуждается в мельчайших подробностях), а в том, что «атмосфера» коннотирует целый ряд культурных стереотипов и невысказанных предположений о том, какое будущее желательно, как будут решаться различные социальные проблемы и т. д. В результате это часто выглядит как фантазия для узкой субкультуры, отталкивающая большинство людей.

Тем не менее, несмотря на все вышеперечисленные опасения, я действительно считаю, что важно обсудить, как может выглядеть хороший мир с мощным искусственным интеллектом, и при этом сделать всё возможное, чтобы избежать вышеперечисленных проблем. На самом деле я считаю, что крайне важно иметь по-настоящему вдохновляющее видение будущего, а не просто план по тушению пожаров. Многие последствия развития мощного ИИ носят враждебный или опасный характер, но в конце концов должно быть что-то, за что мы боремся и ради чего, какой-то результат с положительной суммой, при котором всем будет лучше, что-то, что сплотит людей, заставит их подняться над своими разногласиями и противостоять предстоящим вызовам. Страх — один из видов мотивации, но его недостаточно: нам нужна надежда.

Список положительных применений мощного ИИ чрезвычайно велик (и включает робототехнику, производство, энергетику и многое другое), но я собираюсь сосредоточиться на небольшом количестве областей, которые, как мне кажется, обладают наибольшим потенциалом для непосредственного улучшения качества жизни людей. Пять категорий, которые меня больше всего волнуют:

Биология и физическое здоровье
Неврология и психическое здоровье
Экономическое развитие и бедность
Мир и управление
Работа и смысл

Мои прогнозы будут радикальными по большинству стандартов (кроме научно-фантастических представлений о «сингулярности»²), но я говорю об этом искренне и серьёзно. Всё, что я говорю, может оказаться неправдой (повторю свою мысль из предыдущего абзаца), но я, по крайней мере, попытался обосновать свои взгляды полуаналитической оценкой того, насколько может ускориться прогресс в различных областях и что это может означать на практике. Мне повезло, что у меня есть профессиональный опыт в биологии и нейробиологии, и я являюсь информированным любителем в области экономического развития, но я уверен, что многое буду делать не так. Написав это эссе, я понял, что было бы полезно собрать группу экспертов в этой области (в биологии, экономике, международных отношениях и других сферах), чтобы написать гораздо более качественную и обоснованную версию того, что я здесь представил. Вероятно, лучше всего рассматривать мои усилия здесь как отправную точку для этой группы.

Основные допущения и структура

Чтобы сделать это эссе более точным и обоснованным, полезно чётко определить, что мы подразумеваем под мощным ИИ (то есть порог, при котором начинают отсчитываться 5–10 лет), а также составить представление о последствиях появления такого ИИ.

То, как будет выглядеть мощный ИИ (мне не нравится термин «искусственный общий интеллект»)³, и когда (или если) он появится, — это огромная тема сама по себе. Я уже обсуждал её публично и мог бы написать об этом отдельное эссе (возможно, когда-нибудь напишу). Очевидно, что многие люди скептически относятся к тому, что мощный ИИ появится в ближайшее время, а некоторые скептически относятся к тому, что он вообще когда-нибудь появится. Я думаю, что это может произойти уже в 2026 году, хотя есть и другие варианты, при которых это займёт гораздо больше времени. Но для целей этого эссе я бы хотел оставить эти вопросы в стороне, предположить, что это произойдёт достаточно скоро, и сосредоточиться на том, что произойдёт через 5–10 лет после этого. Я также хочу предположить, как будет выглядеть такая система, каковы будут её возможности и как она будет взаимодействовать, хотя по этому поводу могут быть разногласия.

Под мощным ИИ я подразумеваю модель ИИ, которая, вероятно, по форме будет похожа на современные LLM, но может быть основана на другой архитектуре, включать несколько взаимодействующих моделей и обучаться по-другому, обладая следующими свойствами:

С точки зрения чистого интеллекта⁴ он умнее лауреата Нобелевской премии в большинстве соответствующих областей — биологии, программировании, математике, инженерии, писательстве и т. д. Это означает, что он может доказывать нерешённые математические теоремы, писать очень хорошие романы, создавать сложные кодовые базы с нуля и т. д.
Помимо того, что это просто «умная вещь, с которой можно разговаривать», у неё есть все «интерфейсы», доступные человеку, работающему в виртуальном пространстве, включая текст, аудио, видео, управление мышью и клавиатурой, а также доступ в Интернет. Она может выполнять любые действия, общаться или удалённо управлять объектами с помощью этого интерфейса, в том числе выполнять действия в Интернете, задавать вопросы людям или давать им указания, заказывать материалы, руководить экспериментами, смотреть видео, снимать видео и так далее. Он выполняет все эти задачи с таким же мастерством, как и самые способные люди в мире.
Он не просто пассивно отвечает на вопросы; вместо этого ему можно давать задачи, на выполнение которых уходят часы, дни или недели, а затем он уходит и выполняет эти задачи самостоятельно, как умный сотрудник, при необходимости запрашивая разъяснения.
У него нет физического воплощения (кроме как на экране компьютера), но он может управлять существующими физическими инструментами, роботами или лабораторным оборудованием с помощью компьютера; теоретически он может даже создавать роботов или оборудование для себя.
Ресурсы, используемые для обучения модели, могут быть перенаправлены на запуск миллионов её экземпляров (это соответствует прогнозируемым размерам кластеров к 2027 году), и модель может обрабатывать информацию и генерировать действия примерно в 10–100 раз быстрее, чем человек⁵. Однако она может быть ограничена временем отклика физического мира или программного обеспечения, с которым она взаимодействует.
Каждая из этих миллионов копий может действовать независимо, выполняя несвязанные между собой задачи, или, при необходимости, все они могут работать вместе так же, как сотрудничают люди, возможно, с разными подгруппами, настроенными на выполнение конкретных задач.

Мы могли бы охарактеризовать это как «страну гениев в центре обработки данных».

Очевидно, что такая сущность была бы способна очень быстро решать очень сложные задачи, но нетривиально понять, насколько быстро. Две «крайние» точки зрения кажутся мне неверными. Во-первых, вы можете подумать, что мир мгновенно преобразится в течение нескольких секунд или дней («сингулярность»), поскольку высший разум будет развиваться и почти мгновенно решать все возможные научные, инженерные и операционные задачи. Проблема в том, что существуют реальные физические и практические ограничения, например, в создании оборудования или проведении биологических экспериментов. Даже новая страна гениев столкнётся с этими ограничениями. Интеллект может быть очень мощным, но это не волшебная пыльца фей.

Во-вторых, и наоборот, вы можете считать, что технологический прогресс ограничен данными реального мира или социальными факторами и что искусственный интеллект, превосходящий человеческий, мало что добавит⁶. Мне это кажется столь же неправдоподобным — я могу придумать сотни научных или даже социальных проблем, в которых большая группа по-настоящему умных людей могла бы значительно ускорить прогресс, особенно если они не ограничиваются анализом, а могут влиять на события в реальном мире (что может делать наша гипотетическая страна гениев, в том числе направляя или помогая командам людей).

Я думаю, что истина, скорее всего, представляет собой некую беспорядочную смесь этих двух крайних точек зрения, которая варьируется в зависимости от задачи и области применения и очень тонка в своих деталях. Я считаю, что нам нужны новые концепции, чтобы продуктивно размышлять об этих деталях.

Экономисты часто говорят о «факторах производства»: таких вещах, как рабочая сила, земля и капитал. Выражение «предельная отдача от рабочей силы/земли/капитала» отражает идею о том, что в конкретной ситуации тот или иной фактор может быть ограничивающим, а может и не быть. Например, военно-воздушным силам нужны и самолёты, и пилоты, и найм большего количества пилотов не сильно поможет, если у вас нет самолётов. Я считаю, что в эпоху ИИ мы должны говорить о предельной отдаче от интеллекта⁷ и пытаться понять, какие ещё факторы дополняют интеллект и становятся ограничивающими факторами, когда интеллект очень высок. Мы не привыкли так думать — спрашивать, «насколько интеллект помогает в решении этой задачи и в какие сроки?» — но, кажется, это правильный способ концептуализации мира с очень мощным ИИ.

По моему мнению, список факторов, которые ограничивают или дополняют интеллект, включает:

Скорость внешнего мира. Разумным агентам необходимо взаимодействовать с миром, чтобы выполнять задачи, а также учиться⁸. Но мир движется не так быстро. Клетки и животные функционируют с постоянной скоростью, поэтому эксперименты с ними занимают определённое время, которое может быть неизменным. То же самое относится к аппаратному обеспечению, материаловедению, всему, что связано с общением с людьми, и даже к нашей существующей программной инфраструктуре. Кроме того, в науке часто требуется проводить множество экспериментов последовательно, каждый из которых основывается на предыдущем или дополняет его. Всё это означает, что скорость, с которой может быть завершён крупный проект — например, разработка лекарства от рака, — может иметь минимальный предел, который невозможно снизить, даже если интеллект продолжает развиваться.
Потребность в данных. Иногда не хватает необработанных данных, и в их отсутствие дополнительный интеллект не помогает. Современные физики-ядерщики очень изобретательны и разработали множество теорий, но им не хватает данных, чтобы выбирать между ними, потому что данные с ускорителей частиц очень ограничены. Неясно, стали бы они работать намного лучше, если бы обладали сверхинтеллектом, разве что ускорили бы строительство более крупного ускорителя.
Внутренняя сложность. Некоторые вещи по своей сути непредсказуемы или хаотичны, и даже самый мощный искусственный интеллект не может предсказать или распутать их значительно лучше, чем человек или компьютер сегодня. Например, даже невероятно мощный ИИ может предсказать лишь незначительное продвижение вперед в хаотической системе (такой как проблема трех тел) в общем случае, ⁹ по сравнению с сегодняшними людьми и компьютерами.
Ограничения со стороны людей. Многие вещи невозможно сделать, не нарушая законы, не причиняя вреда людям или не разрушая общество. Согласованный ИИ не стал бы этого делать (а если у нас будет несогласованный ИИ, мы снова будем говорить о рисках). Многие структуры человеческого общества неэффективны или даже активно вредят, но их трудно изменить, соблюдая такие ограничения, как требования законодательства в отношении клинических испытаний, готовность людей менять свои привычки или поведение правительств. Примеры достижений, которые хорошо работают в техническом плане, но влияние которых было существенно снижено из-за правил или необоснованных опасений, включают ядерную энергетику, сверхзвуковые полёты и даже лифты.
Физические законы. Это более жёсткая версия первого пункта. Существуют определённые физические законы, которые, по-видимому, невозможно нарушить. Невозможно путешествовать быстрее света. Пудинг не перестаёт быть пудингом). В чипах может быть только определённое количество транзисторов на квадратный сантиметр, прежде чем они станут ненадёжными. Для вычислений требуется определённое минимальное количество энергии на бит стираемой информации, что ограничивает плотность вычислений в мире.

Существует ещё одно различие, основанное на временных рамках. То, что является жёсткими ограничениями в краткосрочной перспективе, может стать более податливым для интеллекта в долгосрочной перспективе. Например, интеллект можно использовать для разработки новой экспериментальной парадигмы, которая позволит нам изучать в пробирке то, для чего раньше требовались эксперименты на живых организмах, или для создания инструментов, необходимых для сбора новых данных (например, более мощного ускорителя частиц), или для (в рамках этических ограничений) поиска способов обойти ограничения, связанные с людьми (например, для улучшения системы клинических испытаний, для создания новых юрисдикций, где клинические испытания менее бюрократизированы, или для улучшения самой науки, чтобы сделать клинические испытания на людях менее необходимыми или более дешёвыми).

Таким образом, мы должны представить себе картину, в которой интеллект изначально сильно ограничен другими факторами производства, но со временем сам интеллект всё больше обходит другие факторы, даже если они никогда полностью не исчезнут (а некоторые вещи, например, физические законы, абсолютны)¹⁰. Ключевой вопрос заключается в том, как быстро всё это происходит и в каком порядке.

Учитывая вышесказанное, я постараюсь ответить на этот вопрос применительно к пяти областям, упомянутым во введении.

1. Биология и здоровье

Биология, вероятно, является той областью, в которой научный прогресс обладает наибольшим потенциалом для непосредственного и однозначного улучшения качества жизни людей. В прошлом веке некоторые из самых древних болезней человека (например, оспа) были окончательно побеждены, но многие другие всё ещё существуют, и их искоренение стало бы огромным гуманитарным достижением. Помимо лечения болезней, биологическая наука в принципе может улучшить базовое качество человеческого здоровья, продлевая продолжительность здоровой жизни, усиливая контроль и свободу над нашими собственными биологическими процессами и решая повседневные проблемы, которые мы сейчас считаем неизменными составляющими человеческого существования.

Если говорить о «ограничивающих факторах» из предыдущего раздела, то основными проблемами, связанными с непосредственным применением интеллекта в биологии, являются данные, скорость физического мира и внутренняя сложность (на самом деле, все три фактора взаимосвязаны). Человеческие ограничения также играют роль на более позднем этапе, когда проводятся клинические испытания. Давайте рассмотрим их по очереди.

Эксперименты с клетками, животными и даже химическими процессами ограничены скоростью физического мира: многие биологические протоколы включают культивирование бактерий или других клеток или просто ожидание химических реакций, и иногда это может занимать дни или даже недели, и нет очевидного способа ускорить процесс. Эксперименты на животных могут занимать месяцы (или больше), а эксперименты на людях часто длятся годами (или даже десятилетиями в случае долгосрочных исследований). В связи с этим часто не хватает данных — не столько в количественном, сколько в качественном отношении: всегда не хватает чётких, однозначных данных, которые отделяют интересующий нас биологический эффект от других 10 000 мешающих факторов, которые происходят, или которые причинно влияют на данный процесс, или которые напрямую измеряют какой-либо эффект (в отличие от косвенного или неточного определения его последствий). Даже обширные количественные молекулярные данные, такие как данные протеомики, которые я собрал, работая с методами масс-спектрометрии, содержат много шума и пропусков (в каких типах клеток были эти белки? В какой части клетки? На какой стадии клеточного цикла?).

Отчасти эти проблемы с данными возникают из-за их внутренней сложности: если вы когда-нибудь видели схему, показывающую биохимию человеческого метаболизма, то знаете, что очень сложно выделить влияние какой-либо части этой сложной системы и ещё сложнее вмешаться в систему точным или предсказуемым образом. И наконец, помимо времени, необходимого для проведения эксперимента на людях, реальные клинические испытания включают в себя множество бюрократических процедур и нормативных требований, которые (по мнению многих людей, включая меня) отнимают лишнее время и замедляют прогресс.

Учитывая всё это, многие биологи долгое время скептически относились к ценности ИИ и «больших данных» в целом для биологии. Исторически сложилось так, что математики, программисты и физики, которые применяли свои навыки в биологии в течение последних 30 лет, добились определённых успехов, но не оказали того поистине преобразующего влияния, на которое изначально рассчитывали. Некоторый скептицизм был развеян крупными и революционными прорывами, такими как AlphaFold (который только что заслуженно принёс своим создателям Нобелевскую премию по химии) и AlphaProteo¹¹, но по-прежнему существует мнение, что ИИ полезен (и будет полезен) только в ограниченном наборе условий. Распространённая формулировка: «ИИ может лучше анализировать ваши данные, но не может генерировать больше данных или улучшать их качество. Мусор на входе — мусор на выходе».

Но я думаю, что пессимистичный взгляд на ИИ — это неправильный подход. Если наша основная гипотеза о прогрессе ИИ верна, то правильно думать об ИИ не как о методе анализа данных, а как о виртуальном биологе, который выполняет все задачи, которые выполняют биологи, в том числе проектирует и проводит эксперименты в реальном мире (управляя лабораторными роботами или просто указывая людям, какие эксперименты проводить — как научный руководитель своим аспирантам), изобретает новые биологические методы или способы измерения и так далее. Именно ускоряя весь процесс исследования, ИИ может по-настоящему ускорить развитие биологии. Я хочу повторить это, потому что это самое распространённое заблуждение, которое возникает, когда я говорю о способности ИИ преобразовать биологию: я не говорю об ИИ как о простом инструменте для анализа данных. В соответствии с определением мощного ИИ в начале этого эссе, я говорю об использовании ИИ для выполнения, управления и улучшения практически всего, что делают биологи.

Если говорить более конкретно о том, откуда, по моему мнению, может прийти ускорение, то на удивление большая часть прогресса в биологии связана с поистине крошечным количеством открытий, часто связанных с широкими измерительными инструментами или методами¹², которые позволяют точно, но обобщённо или программируемо вмешиваться в биологические системы. Таких крупных открытий, возможно, происходит около 1 в год, и в совокупности они, вероятно, обеспечивают более 50% прогресса в биологии. Эти открытия настолько важны именно потому, что они позволяют преодолеть внутреннюю сложность и ограничения, связанные с данными, напрямую увеличивая наше понимание биологических процессов и позволяя контролировать их. Несколько открытий за десятилетие позволили нам в значительной степени расширить наше базовое научное понимание биологии и разработать многие из наиболее эффективных методов лечения.

Вот некоторые примеры::

CRISPR: метод, который позволяет редактировать любой ген в живых организмах (заменять любую произвольную последовательность генов любой другой произвольной последовательностью). С момента разработки оригинального метода постоянно вносились улучшения, направленные на работу с определёнными типами клеток, повышение точности и уменьшение количества ошибок при редактировании генов — всё это необходимо для безопасного использования метода на людях.
Различные виды микроскопии для наблюдения за происходящим на микроскопическом уровне: усовершенствованные световые микроскопы (с различными видами флуоресцентных методов, специальной оптикой и т. д.), электронные микроскопы, атомно-силовые микроскопы и т. д.
Секвенирование и синтез генома, стоимость которых снизилась на несколько порядков за последние пару десятилетий.
Оптогенетические методы, которые позволяют активировать нейрон, воздействуя на него светом.
мРНК-вакцины, которые, в принципе, позволяют нам создавать вакцину против чего угодно, а затем быстро адаптировать её (мРНК-вакцины, конечно, стали известны во время пандемии COVID).
Клеточные методы лечения, такие как CAR-T, позволяют извлекать иммунные клетки из организма и «перепрограммировать» их для атаки практически на что угодно.
Концептуальные идеи, такие как микробная теория болезней или осознание связи между иммунной системой и раком¹³.

Я беру на себя труд перечислить все эти технологии, потому что хочу сделать важное заявление о них: я думаю, что скорость их открытия можно было бы увеличить в 10 раз или даже больше, если бы было гораздо больше талантливых, креативных исследователей. Или, другими словами, я думаю, что отдача от интеллекта в этих открытиях высока, и что всё остальное в биологии и медицине в основном следует из них.

Почему я так думаю? Из-за ответов на некоторые вопросы, которые мы должны научиться задавать, когда пытаемся определить «прибыль от интеллекта». Во-первых, эти открытия, как правило, совершаются небольшим количеством исследователей, часто одними и теми же людьми, что говорит о мастерстве, а не о случайном поиске (последнее может указывать на то, что ограничивающим фактором являются длительные эксперименты). Во-вторых, их часто «могли бы создать» на несколько лет раньше, чем это произошло: например, CRISPR был естественным компонентом иммунной системы бактерий, о котором знали с 1980-х годов, но потребовалось ещё 25 лет, чтобы люди поняли, что его можно использовать для общего редактирования генов. Кроме того, их разработка часто откладывалась на много лет из-за отсутствия поддержки со стороны научного сообщества в отношении многообещающих направлений (см. этот профиль об изобретателе мРНК-вакцин; подобных историй предостаточно). В-третьих, успешные проекты часто являются малобюджетными или задумываются в последнюю очередь, когда люди изначально не считали их многообещающими, а не в результате масштабного финансирования. Это говорит о том, что открытиями движет не только концентрация ресурсов, но и изобретательность.

Наконец, хотя некоторые из этих открытий имеют «последовательную зависимость» (сначала нужно сделать открытие А, чтобы получить инструменты или знания для открытия Б), что опять же может привести к задержкам в экспериментах, многие, а возможно, и большинство из них, являются независимыми, то есть над многими из них можно работать параллельно. И эти факты, и мой общий опыт как биолога наводят меня на мысль, что существуют сотни таких открытий, которые ждут своего часа, если бы учёные были умнее и лучше умели находить связи между огромным количеством биологических знаний, которыми обладает человечество (снова рассмотрим пример CRISPR). Успех AlphaFold/AlphaProteo в решении важных задач гораздо более эффективно, чем люди, несмотря на десятилетия тщательного физического моделирования, является доказательством принципа (хотя и с помощью узкого инструмента в узкой области), которое должно указать путь вперёд.

Таким образом, я предполагаю, что мощный ИИ мог бы как минимум в 10 раз ускорить эти открытия, обеспечив нам следующие 50–100 лет биологического прогресса за 5–10 лет.¹⁴ Почему не в 100 раз? Возможно, это возможно, но здесь важны как последовательная зависимость, так и время проведения эксперимента: чтобы добиться 100-летнего прогресса за 1 год, нужно, чтобы с первого раза всё прошло правильно, включая эксперименты на животных и такие вещи, как разработка микроскопов или дорогостоящих лабораторных установок. На самом деле я открыт для (возможно, абсурдной на первый взгляд) идеи о том, что мы можем добиться 1000 лет прогресса за 5–10 лет, но очень скептически отношусь к тому, что мы можем добиться 100 лет за 1 год. Другими словами, я думаю, что существует неизбежная постоянная задержка: эксперименты и разработка аппаратного обеспечения имеют определённую «задержку» и должны повторяться определённое «неизбежное» количество раз, чтобы узнать то, что нельзя вывести логически. Но помимо этого может быть возможен массовый параллелизм¹⁵.

А как насчёт клинических испытаний? Несмотря на то, что с ними связано много бюрократии и проволочек, правда в том, что большая часть (хотя и не вся!) их медлительности в конечном счёте обусловлена необходимостью тщательно оценивать препараты, которые едва ли работают или работают неоднозначно. К сожалению, это относится к большинству современных методов лечения: в среднем противораковый препарат увеличивает продолжительность жизни на несколько месяцев, но имеет значительные побочные эффекты, которые необходимо тщательно изучать (то же самое можно сказать о препаратах от болезни Альцгеймера). Это приводит к масштабным исследованиям (для достижения статистической достоверности) и сложным компромиссам, на которые регулирующие органы, как правило, не очень хорошо идут, опять же из-за бюрократии и сложности конкурирующих интересов.

Когда что-то работает очень хорошо, это происходит гораздо быстрее: существует ускоренная процедура одобрения, и одобрение даётся гораздо проще, когда эффект сильнее. Вакцины на основе мРНК от COVID были одобрены за 9 месяцев — намного быстрее, чем обычно. Тем не менее, даже в таких условиях клинические испытания всё равно проходят слишком медленно — вакцины на основе мРНК, возможно, должны были быть одобрены примерно за 2 месяца. Но такие задержки (от 1 года до конца разработки препарата) в сочетании с массовым параллелизмом и необходимостью некоторой, но не слишком большой итерации («несколько попыток») вполне совместимы с радикальными преобразованиями в течение 5–10 лет. Более того, можно с оптимизмом предположить, что биологические науки с использованием ИИ сократят потребность в итерации клинических испытаний за счёт разработки более качественных экспериментальных моделей на животных и клетках (или даже симуляций), которые точнее предсказывают, что произойдёт с людьми. Это будет особенно важно при разработке лекарств против старения, которое длится десятилетиями и для которого нам нужен более быстрый цикл итераций.

Наконец, что касается клинических испытаний и социальных барьеров, стоит особо отметить, что в некоторых аспектах биомедицинские инновации имеют необычайно успешный послужной список, в отличие от некоторых других технологий¹⁶. Как упоминалось во введении, многие технологии сдерживаются социальными факторами, несмотря на то, что технически они хорошо работают. Это может указывать на пессимистичный взгляд на то, чего может достичь ИИ. Но биомедицина уникальна тем, что, хотя процесс разработки лекарств очень трудоёмкий, после разработки они, как правило, успешно внедряются и используются.

** Подводя итог вышесказанному, мой основной прогноз заключается в том, что биология и медицина с использованием ИИ позволят нам сократить время, которое биологи потратили бы на изучение человека за следующие 50–100 лет, до 5–10 лет. Я буду называть это «сжатым 21-м веком»: идея о том, что после разработки мощного ИИ мы за несколько лет достигнем такого прогресса в биологии и медицине, которого не смогли бы достичь за весь 21-й век.**

Хотя предсказать, что сможет сделать мощный ИИ через несколько лет, по своей сути сложно и рискованно, можно с некоторой долей конкретности задаться вопросом: «Что люди смогут делать без посторонней помощи в ближайшие 100 лет?». Если просто посмотреть на то, чего мы достигли в XX веке, или экстраполировать результаты первых двух десятилетий XXI века, или спросить, чего мы можем добиться с помощью «10 CRISPR и 50 CAR-T», то все эти практические, обоснованные способы оценки общего уровня прогресса, которого мы можем ожидать от мощного ИИ.

Ниже я попытаюсь составить список того, чего мы можем ожидать. Он не основан на какой-либо строгой методологии и почти наверняка окажется неверным в деталях, но я пытаюсь передать общий уровень радикализма, которого нам следует ожидать:

Надежная профилактика и лечение почти всех ¹⁷ естественных инфекционных заболеваний. Учитывая огромный прогресс в борьбе с инфекционными заболеваниями в XX веке, не будет радикальным предположить, что мы могли бы более или менее «завершить работу» в сжатом 21-м веке. мРНК-вакцины и аналогичные технологии уже указывают путь к «вакцинам от всего». Будет ли инфекционное заболевание полностью искоренено в мире (а не только в некоторых местах) зависит от вопросов о бедности и неравенстве, которые рассматриваются в разделе 3.
Устранение большинства видов рака. В последние десятилетия уровень смертности от рака снижается примерно на 2% в год. Таким образом, мы на пути к тому, чтобы устранить большинство видов рака в XXI веке при нынешних темпах развития науки. Некоторые подтипы уже в значительной степени излечимы (например, некоторые виды лейкемии с помощью CAR-T-терапии), и я, пожалуй, ещё больше воодушевлён очень избирательными лекарствами, которые воздействуют на рак на ранней стадии и предотвращают его рост. ИИ также сделает возможными схемы лечения, очень точно адаптированные к индивидуальному геному рака. Сегодня это возможно, но требует огромных затрат времени и человеческих ресурсов, которые ИИ должен позволить нам масштабировать. Снижение смертности и заболеваемости на 95% и более представляется возможным. При этом рак чрезвычайно разнообразен и адаптируется, и, вероятно, это самое сложное из всех заболеваний, которое трудно полностью уничтожить. Не будет ничего удивительного, если сохранится ряд редких и трудноизлечимых видов рака.
Очень эффективная профилактика и эффективное лечение генетических заболеваний. Значительно улучшенный скрининг эмбрионов, вероятно, позволит предотвратить большинство генетических заболеваний, а более безопасный и надёжный потомок CRISPR может вылечить большинство генетических заболеваний у существующих людей. Однако заболевания, поражающие весь организм и затрагивающие большую часть клеток, могут оказаться последними.
Предотвращение болезни Альцгеймера. Нам было очень трудно понять, что вызывает болезнь Альцгеймера (она каким-то образом связана с бета-амилоидным белком, но на самом деле всё очень сложно). Похоже, что это именно та проблема, которую можно решить с помощью более совершенных инструментов измерения, позволяющих изолировать биологические эффекты; поэтому я оптимистично настроен в отношении способности ИИ решить эту проблему. Есть большая вероятность, что в конечном итоге это можно будет предотвратить с помощью относительно простых мер, как только мы поймём, что происходит. Тем не менее, ущерб, нанесённый уже существующей болезнью Альцгеймера, может быть очень трудно устранить.
Улучшенное лечение большинства других заболеваний. Это общая категория для других заболеваний, включая диабет, ожирение, болезни сердца, аутоиммунные заболевания и многое другое. Большинство из них, по-видимому, «легче» поддаются лечению, чем рак и болезнь Альцгеймера, и во многих случаях их число уже значительно сократилось. Например, смертность от болезней сердца уже снизилась более чем на 50%, а простые меры, такие как агонисты рецепторов глюкагоноподобного пептида-1, уже позволили добиться значительного прогресса в борьбе с ожирением и диабетом.
Биологическая свобода. За последние 70 лет были достигнуты успехи в контроле рождаемости, фертильности, контроле веса и многом другом. Но я подозреваю, что биология, ускоренная искусственным интеллектом, значительно расширит возможности: вес, внешний вид, репродуктивная функция и другие биологические процессы будут полностью под контролем людей. Мы будем рассматривать их под заголовком биологической свободы: идея о том, что каждый должен иметь возможность выбирать, кем он хочет стать, и жить так, как ему больше всего нравится. Конечно, возникнут важные вопросы о глобальном равенстве доступа; они рассматриваются в разделе 3.
Увеличение продолжительности жизни человека в два раза¹⁸. Это может показаться радикальным, но продолжительность жизни увеличилась почти в два раза в XX веке (с ~40 лет до ~75), так что «согласно тенденции» в «сжатом XXI веке» она снова увеличится в два раза и составит 150 лет. Очевидно, что меры, направленные на замедление процесса старения, будут отличаться от тех, которые требовались в прошлом веке для предотвращения (в основном детской) преждевременной смерти от болезней, но масштабы изменений не беспрецедентны¹⁹. В частности, уже существуют препараты, которые увеличивают продолжительность жизни крыс на 25-50% с ограниченными побочными эффектами. А некоторые животные (например, некоторые виды черепах) уже живут по 200 лет, так что люди явно не достигли какого-то теоретического верхнего предела. Полагаю, самое важное, что нужно, — это надёжные, не подверженные принципу Гудхарта биомаркеры старения человека, так как это позволит быстро проводить эксперименты и клинические испытания. Как только продолжительность жизни человека достигнет 150 лет, мы сможем достичь «скорости убегания», выиграв достаточно времени, чтобы большинство из тех, кто живёт сегодня, могли жить так долго, как захотят, хотя, конечно, нет никаких гарантий, что это возможно с биологической точки зрения.

Стоит взглянуть на этот список и подумать о том, насколько другим станет мир, если всё это будет достигнуто через 7–12 лет (что соответствует агрессивным срокам развития ИИ). Само собой разумеется, что это будет невообразимый гуманитарный триумф, одновременное избавление от большинства бедствий, преследовавших человечество на протяжении тысячелетий. Многие из моих друзей и коллег растят детей, и я надеюсь, что, когда эти дети вырастут, любое упоминание о болезни будет звучать для них так же, как для нас звучат слова «цинга», «оспа» или «бубонная чума». Это поколение также выиграет от большей биологической свободы и самовыражения, а если повезёт, то сможет жить так долго, как захочет.

Трудно переоценить, насколько удивительными эти изменения будут для всех, кроме небольшого сообщества людей, которые ожидали появления мощного ИИ. Например, тысячи экономистов и политических экспертов в США в настоящее время обсуждают, как сохранить платёжеспособность программ социального обеспечения и Medicare, а в более широком смысле — как снизить стоимость медицинского обслуживания (которое в основном получают люди старше 70 лет и особенно те, кто страдает неизлечимыми заболеваниями, такими как рак). Если всё это произойдёт²⁰, ситуация для этих программ, скорее всего, радикально улучшится, так как соотношение трудоспособного и пенсионного населения кардинально изменится. Несомненно, эти проблемы будут заменены другими, например, как обеспечить повсеместный доступ к новым технологиям, но стоит задуматься о том, насколько изменится мир, даже если биология станет единственной областью, в которой ИИ будет успешно применяться.

2. Нейробиология и разум

В предыдущем разделе я сосредоточился на физических заболеваниях и биологии в целом и не затрагивал нейробиологию и психическое здоровье. Но нейробиология — это раздел биологии, а психическое здоровье так же важно, как и физическое. На самом деле, психическое здоровье влияет на благополучие человека даже сильнее, чем физическое. Сотни миллионов людей живут с очень низким качеством жизни из-за таких проблем, как зависимость, депрессия, шизофрения, слабовыраженный аутизм, посттравматическое стрессовое расстройство, психопатия²¹ или умственная отсталость. Миллиарды людей сталкиваются с повседневными проблемами, которые часто можно интерпретировать как более лёгкие формы одного из этих тяжёлых клинических расстройств. И, как и в случае с общей биологией, возможно, удастся не только решать проблемы, но и повышать базовое качество жизни людей.

Основные принципы, которые я изложил для биологии, в равной степени применимы и к нейробиологии. Эта область науки развивается благодаря небольшому числу открытий, часто связанных с инструментами для измерения или точного вмешательства. В приведённом выше списке оптогенетика была открытием в области нейробиологии, а CLARITY и экспансионная микроскопия%20is%20a,them%20using%20a%20polymer%20system.) — это недавние достижения в том же направлении, в дополнение к методам общей клеточной биологии, которые напрямую применяются в нейробиологии. Я думаю, что ИИ ускорит эти достижения, и, следовательно, принцип «100 лет прогресса за 5–10 лет» применим к нейробиологии так же, как и к биологии, и по тем же причинам. Как и в биологии, прогресс в нейробиологии в XX веке был огромным — например, мы даже не понимали, как и почему срабатывают нейроны, до 1950-х годов. Таким образом, представляется разумным ожидать, что нейробиология, ускоренная искусственным интеллектом, будет стремительно развиваться в течение нескольких лет.

К этой базовой картине мы должны добавить, что некоторые из того, что мы узнали (или узнаём) о самом ИИ за последние несколько лет, вероятно, помогут развитию нейробиологии, даже если этим будут заниматься только люди. Интерпретируемость - очевидный пример: хотя биологические нейроны внешне работают совершенно иначе, чем искусственные нейроны (они общаются с помощью импульсов и часто с высокой частотой, поэтому в искусственных нейронах отсутствует элемент времени, а множество деталей, относящихся к физиологии клеток и нейротрансмиттерам, существенно модифицируют их работу), основной вопрос “как распределенные, обученные сети простых блоков, которые выполняют комбинированные линейные / нелинейные операции, работают вместе для выполнения важных вычислений”, тот же, и я сильно подозреваю, что детали отдельных нейронов различаются. коммуникация будет абстрагирована от большинства интересных вопросов о вычислениях и схемах[^22]. В качестве лишь одного из примеров можно привести вычислительный механизм, обнаруженный исследователями интерпретируемости в системах искусственного интеллекта, который недавно был повторно открыт в мозге мышей.

Гораздо проще проводить эксперименты на искусственных нейронных сетях, чем на реальных (для последних часто требуется вскрытие мозга животных), поэтому интерпретируемость вполне может стать инструментом для улучшения нашего понимания нейробиологии. Более того, мощные ИИ, вероятно, смогут разрабатывать и применять этот инструмент лучше, чем люди.

Помимо интерпретируемости, то, что мы узнали из ИИ о том, как обучаются интеллектуальные системы, должно (хотя я не уверен, что это уже произошло) произвести революцию в нейробиологии. Когда я работал в нейробиологии, многие люди задавались вопросами об обучении, которые я бы сейчас назвал неправильными, потому что концепции гипотезы масштабирования / горького урока ещё не существовало. Мысль о том, что простая целевая функция в сочетании с большим количеством данных может приводить к невероятно сложному поведению, делает более интересным изучение целевых функций и архитектурных предубеждений и менее интересным изучение деталей возникающих вычислений. В последние годы я не следил за этой областью, но у меня есть смутное ощущение, что нейробиологи, занимающиеся вычислительными методами, до сих пор не усвоили этот урок. Моё отношение к гипотезе масштабирования всегда было таким: «Ага, вот оно — объяснение на высоком уровне того, как работает интеллект и как он так легко развился», но я не думаю, что это мнение среднестатистического нейробиолога, отчасти потому, что гипотеза масштабирования как «секрет интеллекта» не получила полного признания даже в сфере ИИ.

Я думаю, что нейробиологи должны попытаться объединить это базовое понимание с особенностями человеческого мозга (биофизическими ограничениями, эволюционной историей, топологией, деталями двигательных и сенсорных входов/выходов), чтобы попытаться разгадать некоторые ключевые загадки нейробиологии. Некоторые из них, вероятно, уже разгаданы, но я подозреваю, что этого пока недостаточно и что нейробиологи, изучающие искусственный интеллект, смогут более эффективно использовать этот подход для ускорения прогресса.

Я ожидаю, что ИИ ускорит прогресс в нейробиологии по четырём отдельным направлениям, которые, надеюсь, будут работать вместе, чтобы лечить психические заболевания и улучшать функции организма:

Традиционная молекулярная биология, химия и генетика. По сути, это та же история, что и общая биология в разделе 1, и ИИ, вероятно, может ускорить её с помощью тех же механизмов. Существует множество препаратов, которые воздействуют на нейромедиаторы, чтобы изменить работу мозга, повлиять на внимательность или восприятие, изменить настроение и т. д., и ИИ может помочь нам изобрести ещё больше таких препаратов. ИИ, вероятно, также может ускорить исследования генетической основы психических заболеваний.
Мелкомасштабное нейробиологическое измерение и вмешательство. Это возможность измерять то, что делают множество отдельных нейронов или нейронных цепей, и вмешиваться в их работу, чтобы изменить их поведение. Оптогенетика и нейронные зонды — это технологии, которые позволяют как измерять, так и вмешиваться в работу живых организмов, а также ряд очень продвинутых методов (например, молекулярные ленты-регистраторы для считывания паттернов активности большого количества отдельных нейронов), которые также были предложены и в принципе кажутся возможными.
Передовая вычислительная нейронаука. Как отмечалось выше, как конкретные идеи, так и целостность современного ИИ, вероятно, могут быть плодотворно применены для решения вопросов в области системной нейронауки00099-2), в том числе, возможно, для выявления реальных причин и динамики таких сложных заболеваний, как психоз или расстройства настроения.
Поведенческие вмешательства. Я почти не упоминал об этом, учитывая, что основное внимание уделяется биологической стороне нейробиологии, но психиатрия и психология, конечно, разработали широкий спектр поведенческих вмешательств в течение XX века. Вполне логично, что ИИ может ускорить и разработку новых методов, и помочь пациентам придерживаться существующих методов. В более широком смысле идея «ИИ-тренера», который всегда помогает вам стать лучшей версией себя, изучает ваши взаимодействия и помогает вам стать более эффективным, кажется очень многообещающей.

Я предполагаю, что эти четыре направления развития, работая вместе, как и в случае с физическими заболеваниями, приведут к излечению или предотвращению большинства психических заболеваний в ближайшие 100 лет, даже если ИИ не будет задействован, и, таким образом, могут быть завершены в течение 5–10 лет с учётом ускорения ИИ. Конкретно я предполагаю, что произойдёт что-то вроде этого:

Большинство психических заболеваний, вероятно, можно вылечить. Я не эксперт в области психических заболеваний (в нейробиологии я занимался созданием зондов для изучения небольших групп нейронов), но я предполагаю, что такие заболевания, как посттравматическое стрессовое расстройство, депрессия, шизофрения, зависимость и т. д., можно изучить и очень эффективно лечить с помощью комбинации четырёх вышеперечисленных направлений. Скорее всего, ответ будет заключаться в сочетании «что-то пошло не так на биохимическом уровне» (хотя это может быть очень сложно) и «что-то пошло не так с нейронной сетью на высоком уровне». То есть это вопрос системной нейробиологии, хотя это не отрицает влияние поведенческих вмешательств, о которых говорилось выше. Инструменты для измерения и вмешательства, особенно на живых людях, скорее всего, приведут к быстрой итерации и прогрессу.
Заболевания, которые являются «структурными», могут быть более сложными, но не безнадёжными. Есть некоторые доказательства того, что психопатия связана с очевидными нейроанатомическими различиями — некоторые области мозга у психопатов просто меньше или менее развиты. Считается, что психопаты с раннего возраста лишены эмпатии; что бы ни отличало их мозг, вероятно, так было всегда. То же самое может быть верно в отношении некоторых умственных отклонений и, возможно, других заболеваний. Перестройка мозга звучит сложно, но это также кажется задачей, которая принесёт большую пользу интеллекту. Возможно, есть какой-то способ вернуть взрослый мозг в более раннее или пластичное состояние, в котором его можно изменить. Я не уверен, насколько это возможно, но мне хочется с оптимизмом смотреть на то, что ИИ может здесь изобрести.
Эффективная генетическая профилактика психических заболеваний представляется возможной. Большинство психических заболеваний частично наследуются, и полногеномные ассоциативные исследования начинают набирать обороты в выявлении соответствующих факторов, которых зачастую бывает много. Вероятно, большинство этих заболеваний можно будет предотвратить с помощью скрининга эмбрионов, как и в случае с физическими заболеваниями. Одно из различий заключается в том, что психические заболевания, скорее всего, являются полигенными (в их развитии участвуют многие гены), поэтому из-за их сложности существует повышенный риск неосознанного отбора против положительных черт, которые коррелируют с заболеванием. Однако, как ни странно, в последние годы исследования GWAS, по-видимому, показывают, что эти корреляции могли быть переоценены. В любом случае, нейробиология, ускоренная искусственным интеллектом, может помочь нам разобраться в этом. Конечно, скрининг эмбрионов на наличие сложных заболеваний поднимает ряд социальных вопросов и будет вызывать споры, хотя я бы предположил, что большинство людей поддержат скрининг на наличие тяжёлых или изнурительных психических заболеваний.
Повседневные проблемы, которые мы не считаем клиническими заболеваниями, также будут решены. У большинства из нас есть повседневные психологические проблемы, которые обычно не считаются клиническими заболеваниями. Некоторые люди быстро выходят из себя, другим трудно сосредоточиться или они часто чувствуют сонливость, некоторые испытывают страх или тревогу или плохо реагируют на перемены. Сегодня уже существуют препараты, которые помогают, например, повысить бдительность или концентрацию (кофеин, модафинил, риталин), но, как и во многих других областях, возможно гораздо больше. Вероятно, существует ещё много таких препаратов, которые ещё не открыты, а также могут быть совершенно новые методы лечения, такие как целенаправленная световая стимуляция (см. оптогенетику выше) или магнитные поля. Учитывая, сколько лекарств мы разработали в XX веке, которые улучшают когнитивные функции и эмоциональное состояние, я с большим оптимизмом смотрю на «сжатый XXI век», в котором каждый сможет заставить свой мозг работать немного лучше и получать больше удовольствия от повседневной жизни.
Базовый человеческий опыт может быть намного лучше. Если пойти дальше, то многие люди переживали необыкновенные моменты озарения, творческого вдохновения, сострадания, самореализации, трансцендентности, любви, красоты или медитативного покоя. Характер и частота этих переживаний сильно различаются у разных людей и у одного и того же человека в разное время, а также могут быть вызваны различными препаратами (хотя часто с побочными эффектами). Всё это говорит о том, что «пространство возможностей» очень обширно и что большая часть жизни людей может состоять из таких необычных моментов. Вероятно, также можно улучшить различные когнитивные функции. Возможно, это нейробиологическая версия «биологической свободы» или «увеличения продолжительности жизни».

Одна из тем, которая часто поднимается в научно-фантастических описаниях ИИ, но которую я намеренно не обсуждал здесь, — это «загрузка разума», идея о том, чтобы зафиксировать структуру и динамику человеческого мозга и реализовать их в программном обеспечении. Эта тема сама по себе могла бы стать предметом отдельного эссе, но достаточно сказать, что, хотя я считаю, что загрузка в принципе почти наверняка возможна, на практике она сталкивается со значительными технологическими и социальными проблемами, даже при наличии мощного искусственного интеллекта, которые, скорее всего, не позволят ей появиться в течение 5–10 лет, о которых мы говорим.

Подводя итог, можно сказать, что нейробиология, ускоренная искусственным интеллектом, вероятно, значительно улучшит методы лечения или даже излечит большинство психических заболеваний, а также значительно расширит «когнитивную и ментальную свободу» и когнитивные и эмоциональные способности человека. Это будет так же радикально, как и улучшения в области физического здоровья, описанные в предыдущем разделе. Возможно, внешне мир не сильно изменится, но мир, каким его видят люди, станет намного лучше и гуманнее, а также предоставит больше возможностей для самореализации. Я также подозреваю, что улучшение психического здоровья поможет решить множество других социальных проблем, в том числе политических и экономических.

3. Экономическое развитие и бедность

В предыдущих двух разделах речь шла о разработке новых технологий, которые лечат болезни и улучшают качество жизни людей. Однако очевидный вопрос с гуманитарной точки зрения звучит так: «Будут ли у всех этих технологий?»

Одно дело — разработать лекарство от болезни, и совсем другое — искоренить эту болезнь в мире. В более широком смысле многие существующие методы лечения ещё не применяются повсеместно в мире, и то же самое можно сказать о (не связанных со здоровьем) технологических усовершенствованиях в целом. Другими словами, уровень жизни во многих частях мира по-прежнему крайне низок: ВВП на душу населения в странах Африки к югу от Сахары составляет ~2000 долларов по сравнению с ~75 000 долларов в Соединённых Штатах. Если ИИ ещё больше увеличит экономический рост и улучшит качество жизни в развитых странах, но при этом мало поможет развивающимся странам, мы должны рассматривать это как ужасную моральную неудачу и пятно на подлинных гуманитарных победах, описанных в предыдущих двух разделах. В идеале мощный ИИ должен помочь развивающемуся миру догнать развитый мир, даже если он произведёт революцию в последнем.

Я не так уверен в том, что ИИ может решить проблему неравенства и экономического роста, как в том, что он может изобретать фундаментальные технологии, потому что в технологиях очевидна высокая отдача от интеллекта (в том числе способность обходить сложности и нехватку данных), в то время как экономика сопряжена с множеством ограничений со стороны людей, а также с высокой внутренней сложностью. Я несколько скептически отношусь к тому, что ИИ может решить знаменитую «проблему социалистического расчёта»²², и я не думаю, что правительства будут (или должны будут) передавать свою экономическую политику такой организации, даже если бы она могла это сделать. Есть также проблемы, связанные с тем, как убедить людей принимать эффективные методы лечения, к которым они могут относиться с подозрением.

Проблемы, с которыми сталкивается развивающийся мир, усугубляются повсеместной коррупцией как в частном, так и в государственном секторе. Коррупция создаёт порочный круг: она усугубляет бедность, а бедность, в свою очередь, порождает ещё больше коррупции. Планы экономического развития на основе ИИ должны учитывать коррупцию, слабость институтов и другие сугубо человеческие проблемы.

Тем не менее, я вижу веские основания для оптимизма. Болезни были искоренены, и многие страны превратились из бедных в богатые, и очевидно, что решения, связанные с этими задачами, демонстрируют высокую отдачу от интеллекта (несмотря на человеческие ограничения и сложность). Поэтому ИИ, скорее всего, сможет выполнять их лучше, чем это делается сейчас. Также могут быть целенаправленные меры, которые позволят обойти человеческие ограничения и на которых ИИ мог бы сосредоточиться. Но что ещё важнее, мы должны попытаться. И компаниям, занимающимся искусственным интеллектом, и политикам из развитых стран нужно будет внести свой вклад в то, чтобы развивающиеся страны не остались в стороне; моральный императив слишком велик. Поэтому в этом разделе я продолжу высказывать оптимистичные предположения, но везде буду иметь в виду, что успех не гарантирован и зависит от наших коллективных усилий.

Ниже я высказываю некоторые предположения о том, как, по моему мнению, могут развиваться события в развивающемся мире в течение 5–10 лет после разработки мощного искусственного интеллекта:

Распространение медицинских вмешательств. Область, в которой я, пожалуй, наиболее оптимистичен, — это распространение медицинских вмешательств по всему миру. Болезни были фактически искоренены благодаря кампаниям, проводимым сверху вниз: оспа была полностью ликвидирована в 1970-х годах, а полиомиелит и шистосомоз почти искоренены: их число составляет менее 100 случаев в год. Математически сложное эпидемиологическое моделирование играет важную роль в кампаниях по искоренению болезней, и, по-видимому, есть место для более интеллектуальных, чем человек, систем искусственного интеллекта, которые справятся с этой задачей лучше, чем люди. Логистику распространения, вероятно, также можно значительно оптимизировать. Как один из первых доноров GiveWell, я понял, что некоторые благотворительные организации в сфере здравоохранения намного эффективнее других; есть надежда, что усилия, ускоренные искусственным интеллектом, будут ещё эффективнее. Кроме того, некоторые биологические достижения значительно упрощают логистику распространения: например, малярию было трудно искоренить, потому что она требует лечения при каждом заражении; вакцина, которую нужно ввести только один раз, значительно упрощает логистику (и такие вакцины от малярии на самом деле разрабатываются в настоящее время). Возможны и более простые механизмы распространения: некоторые заболевания в принципе можно было бы искоренить, воздействуя на их переносчиков, например, выпуская комаров, заражённых бактерией, которая блокирует их способность переносить заболевание (которые затем заражают всех остальных комаров), или просто используя генные драйвы для уничтожения комаров. Для этого потребуется одно или несколько централизованных действий, а не скоординированная кампания, в рамках которой необходимо индивидуально лечить миллионы людей. В целом, я думаю, что 5–10 лет — это разумный срок для того, чтобы значительная часть (возможно, 50%) преимуществ ИИ в области здравоохранения распространилась даже на самые бедные страны мира. Хорошей целью может быть то, чтобы через 5–10 лет после появления мощного ИИ развивающиеся страны были хотя бы значительно здоровее, чем развитые страны сегодня, даже если они продолжат отставать от развитых стран. Для достижения этой цели, конечно, потребуются огромные усилия в области глобального здравоохранения, благотворительности, политической пропаганды и многих других сфер, в которых должны участвовать как разработчики ИИ, так и политики.
Экономический рост. Сможет ли развивающийся мир быстро догнать развитый мир не только в области здравоохранения, но и во всех остальных сферах экономики? Для этого есть прецедент: в последние десятилетия XX века несколько стран Восточной Азии стабильно росли примерно на 10% в год, что позволило им догнать развитый мир. Экономисты-люди принимали решения, которые привели к этому успеху, не напрямую управляя всей экономикой, а воздействуя на несколько ключевых рычагов (таких как промышленная политика, ориентированная на экспорт, и отказ от соблазна полагаться на природные ресурсы). Вполне вероятно, что «министры финансов и руководители центральных банков с искусственным интеллектом» смогут повторить или превзойти этот результат в 10%. Важный вопрос заключается в том, как убедить правительства развивающихся стран принять их, соблюдая при этом принцип самоопределения. Некоторые могут отнестись к этому с энтузиазмом, но другие, скорее всего, будут настроены скептически. С оптимистической точки зрения, многие меры в области здравоохранения, упомянутые в предыдущем пункте, скорее всего, естественным образом ускорят экономический рост: искоренение СПИДа/малярии/паразитических червей окажет преобразующее воздействие на производительность, не говоря уже об экономических выгодах, которые принесут некоторые нейробиологические вмешательства (например, улучшение настроения и концентрации внимания) как в развитых, так и в развивающихся странах. Наконец, технологии, не связанные со здравоохранением, ускоренные искусственным интеллектом (например, энергетические технологии, транспортные дроны, улучшенные строительные материалы, более эффективная логистика и дистрибуция и так далее), могут просто естественным образом распространиться по всему миру; например, даже мобильные телефоны быстро распространились в странах Африки к югу от Сахары благодаря рыночным механизмам, без необходимости в благотворительных усилиях. С другой стороны, несмотря на то, что искусственный интеллект и автоматизация имеют множество потенциальных преимуществ, они также создают проблемы для экономического развития, особенно в странах, которые ещё не достигли уровня индустриализации. Поиск способов, которые позволят этим странам продолжать развиваться и улучшать свою экономику в эпоху растущей автоматизации, является важной задачей для экономистов и политиков. В целом, идеальным сценарием — возможно, целью, к которой стоит стремиться, — был бы ежегодный рост ВВП в развивающихся странах на 20%, из которых 10% приходились бы на экономические решения, принимаемые с помощью ИИ, и естественное распространение технологий, ускоренных ИИ, в том числе в сфере здравоохранения. Если бы это было достигнуто, то через 5–10 лет ВВП на душу населения в странах Африки к югу от Сахары достиг бы уровня ВВП Китая, а большая часть остального развивающегося мира поднялась бы до уровня, превышающего текущий ВВП США. Опять же, это сценарий мечты, а не то, что происходит по умолчанию: это то, над чем мы все должны работать сообща, чтобы сделать это более вероятным.
Продовольственная безопасность ²³. Достижения в области сельскохозяйственных технологий, такие как более качественные удобрения и пестициды, более высокая степень автоматизации и более эффективное использование земель, значительно повысили урожайность в XX веке, спасая миллионы людей от голода. Генная инженерия в настоящее время ещё больше улучшает многие сельскохозяйственные культуры. Поиск новых способов сделать это, а также повысить эффективность сельскохозяйственных цепочек поставок может привести к второй Зелёной революции на основе ИИ, которая поможет сократить разрыв между развивающимися и развитыми странами.
Смягчение последствий изменения климата. Изменение климата будет ощущаться гораздо сильнее в развивающихся странах, препятствуя их развитию. Мы можем ожидать, что ИИ приведёт к усовершенствованию технологий, которые замедляют или предотвращают изменение климата, от удаления углерода из атмосферы и технологий чистой энергии до выращенного в лаборатории мяса, которое снизит нашу зависимость от углеродоёмкого промышленного сельского хозяйства. Конечно, как уже говорилось выше, технологии — не единственное, что сдерживает прогресс в борьбе с изменением климата. Как и в случае со всеми остальными проблемами, обсуждаемыми в этом эссе, важную роль играют социальные факторы. Но есть веские основания полагать, что исследования с использованием ИИ дадут нам возможность сделать борьбу с изменением климата гораздо менее затратной и разрушительной, устранив многие возражения и позволив развивающимся странам добиться большего экономического прогресса.
Неравенство внутри стран. Я в основном говорил о неравенстве как о глобальном явлении (которое, по моему мнению, является его самым важным проявлением), но, конечно, неравенство существует и внутри стран. При наличии передовых медицинских технологий и особенно радикального увеличения продолжительности жизни или препаратов для улучшения когнитивных функций, безусловно, возникнут обоснованные опасения, что эти технологии «только для богатых». Я более оптимистично настроен в отношении неравенства внутри стран, особенно в развитых странах, по двум причинам. Во-первых, рынки лучше функционируют в развитых странах, и рынки, как правило, хорошо справляются с сокращением стоимости дорогостоящих технологий с течением времени[25]. Во-вторых, политические институты развитых стран более отзывчивы к нуждам своих граждан и обладают большими государственными возможностями для реализации программ всеобщего доступа. И я ожидаю, что граждане будут требовать доступа к технологиям, которые так радикально улучшают качество жизни. Конечно, не факт, что такие требования будут удовлетворены, и это ещё одна область, в которой мы все вместе должны сделать всё возможное для построения справедливого общества. Существует отдельная проблема, связанная с неравенством богатства (в отличие от неравенства в доступе к технологиям, спасающим и улучшающим жизнь), которая, по-видимому, сложнее и которую я обсуждаю в разделе 5.
Проблема отказа от услуг. Одной из проблем как в развитых, так и в развивающихся странах является то, что люди отказываются от услуг, предоставляемых с помощью ИИ (по аналогии с движением против вакцинации или луддитами в целом). В конечном итоге могут возникнуть негативные циклы обратной связи, когда, например, люди, которые хуже всего умеют принимать правильные решения, отказываются от тех самых технологий, которые улучшают их способность принимать решения, что приводит к постоянно увеличивающемуся разрыву и даже к появлению антиутопического низшего класса (некоторые исследователи утверждают, что это подрывает демократию, и я подробнее расскажу об этом в следующем разделе). Это снова наложило бы моральный отпечаток на положительные достижения ИИ. Эту проблему сложно решить, поскольку я не думаю, что с этической точки зрения правильно принуждать людей, но мы можем, по крайней мере, попытаться повысить уровень научного понимания людей — и, возможно, сам ИИ может нам в этом помочь. Одним из обнадеживающих признаков является то, что исторически антитехнологические движения скорее лаяли, чем кусали: критика современных технологий популярна, но большинство людей в конечном счёте принимают их, по крайней мере, когда это вопрос личного выбора. Люди, как правило, принимают большинство медицинских и потребительских технологий, в то время как технологии, которые действительно сдерживаются, например ядерная энергетика, как правило, являются результатом коллективных политических решений.

В целом я с оптимизмом смотрю на то, что биологические достижения ИИ быстро дойдут до людей в развивающихся странах. Я надеюсь, хотя и не уверен, что ИИ также может обеспечить беспрецедентные темпы экономического роста и позволить развивающимся странам хотя бы приблизиться к уровню развитых стран. Меня беспокоит проблема «отказа» как в развитых, так и в развивающихся странах, но я подозреваю, что со временем она исчезнет и что ИИ может помочь ускорить этот процесс. Это не будет идеальный мир, и те, кто отстаёт, не смогут догнать остальных, по крайней мере, в первые несколько лет. Но если мы приложим все усилия, то сможем сдвинуть дело с мёртвой точки — и быстро. Если мы это сделаем, то сможем хотя бы частично выполнить обещания о достоинстве и равенстве, которые мы должны дать каждому человеку на Земле.

4. Мир и управление

Предположим, что всё, о чём говорилось в первых трёх разделах, происходит успешно: болезни, бедность и неравенство значительно сокращаются, а базовый уровень человеческого опыта существенно повышается. Из этого не следует, что все основные причины человеческих страданий устранены. Люди по-прежнему представляют угрозу друг для друга. Несмотря на тенденцию к технологическому прогрессу и экономическому развитию, ведущим к демократии и миру, это очень слабая тенденция с частыми (и недавними) откатами назад. На заре XX века люди думали, что война осталась в прошлом; затем последовали две мировые войны. Тридцать лет назад Фрэнсис Фукуяма писал о «конце истории» и окончательном триумфе либеральной демократии; этого до сих пор не произошло. Двадцать лет назад американские политики считали, что свободная торговля с Китаем приведёт к его либерализации по мере роста благосостояния; этого почти не произошло, и теперь мы, кажется, Мы движемся ко второй холодной войне с возрождающимся авторитарным блоком. И правдоподобные теории предполагают, что интернет-технологии на самом деле могут быть на руку авторитаризму, а не демократии, как считалось изначально (например, в период «арабской весны»). Кажется важным попытаться понять, насколько сильно ИИ повлияет на эти вопросы мира, демократии и свободы.

К сожалению, я не вижу веских причин полагать, что ИИ будет способствовать развитию демократии и мира в той же мере, в какой, по моему мнению, он будет способствовать развитию здравоохранения и борьбе с бедностью. Человеческие конфликты носят антагонистический характер, и ИИ в принципе может помочь как «хорошим парням», так и «плохим парням». Более того, некоторые структурные факторы вызывают беспокойство: ИИ, скорее всего, позволит гораздо лучше вести пропаганду и наблюдение — два основных инструмента в арсенале автократов. Таким образом, именно от нас, как от отдельных участников, зависит, в каком направлении будут развиваться события: если мы хотим, чтобы ИИ способствовал демократии и правам личности, нам придётся бороться за это. Я переживаю из-за этого даже больше, чем из-за международного неравенства: победа либеральной демократии и политической стабильности не гарантирована, возможно, даже маловероятна и потребует от всех нас больших жертв и усилий, как это часто случалось в прошлом.

Я рассматриваю эту проблему с двух точек зрения: международный конфликт и внутренняя структура государств. С международной точки зрения, кажется очень важным, чтобы демократические страны имели преимущество на мировой арене, когда будет создан мощный ИИ. Авторитаризм, основанный на ИИ, кажется слишком ужасным, чтобы о нём думать, поэтому демократические страны должны иметь возможность устанавливать условия, на которых мощный ИИ будет появляться в мире, чтобы не допустить его использования авторитарными странами и предотвратить нарушения прав человека в авторитарных странах.

На данный момент я считаю, что лучший способ сделать это — «стратегия сближения»²⁴, при которой коалиция демократических стран стремится получить явное преимущество (пусть даже временное) над мощным искусственным интеллектом, обеспечив его цепочку поставок, быстро масштабируясь и блокируя или замедляя доступ противников к ключевым ресурсам, таким как микросхемы и полупроводниковое оборудование. Эта коалиция, с одной стороны, будет использовать ИИ для достижения надёжного военного превосходства (кнут), в то же время предлагая распространить преимущества мощного ИИ (пряник) на всё более широкую группу стран в обмен на поддержку стратегии коалиции по продвижению демократии (это было бы чем-то вроде «Атом для мира»). Коалиция будет стремиться заручиться поддержкой всё большего числа стран мира, изолируя наших злейших противников и в конечном счёте поставив их в такое положение, когда им будет выгоднее заключить ту же сделку, что и остальному миру: отказаться от соперничества с демократиями, чтобы получить все преимущества и не сражаться с превосходящим противником.

Если мы сможем сделать всё это, то у нас будет мир, в котором демократические страны будут лидировать на мировой арене и обладать достаточной экономической и военной мощью, чтобы не допустить подрыва, завоевания или саботажа со стороны автократий, и, возможно, смогут превратить своё превосходство в области ИИ в долгосрочное преимущество. Это может привести к «вечному 1991 году» — миру, в котором демократические страны будут доминировать и мечты Фукуямы сбудутся. Опять же, этого будет очень трудно добиться, и, в частности, потребуется тесное сотрудничество между частными компаниями, занимающимися искусственным интеллектом, и демократическими правительствами, а также чрезвычайно взвешенные решения о балансе между кнутом и пряником.

Даже если всё пойдёт хорошо, остаётся вопрос о борьбе между демократией и автократией внутри каждой страны. Очевидно, что трудно предсказать, что здесь произойдёт, но я с некоторым оптимизмом смотрю на то, что при условии глобальной среды, в которой демократические страны контролируют самый мощный ИИ, тогда ИИ может структурно способствовать развитию демократии во всём мире. В частности, в такой среде демократические правительства могут использовать свой превосходный искусственный интеллект для победы в информационной войне: они могут противостоять влиянию и пропагандистским операциям автократий и даже могут создать глобальную свободную информационную среду, предоставляя каналы информации и услуги искусственного интеллекта таким образом, что автократиям будет не хватать технических возможностей для их блокировки или мониторинга. Вероятно, нет необходимости в пропаганде, достаточно противостоять злонамеренным атакам и разблокировать свободный поток информации. Хотя это и не произойдёт мгновенно, такое равное игровое поле имеет хорошие шансы постепенно склонить глобальное управление в сторону демократии по нескольким причинам.

Во-первых, повышение качества жизни в разделах 1-3 при прочих равных условиях должно способствовать развитию демократии: исторически так и было, по крайней мере, в некоторой степени. В частности, я ожидаю, что улучшение психического здоровья, благополучия и образования приведёт к росту демократии, поскольку все эти три фактора отрицательно связаны с поддержкой авторитарных лидеров. В целом люди хотят больше самовыражаться, когда их другие потребности удовлетворены, а демократия, помимо прочего, является формой самовыражения. И наоборот, авторитаризм процветает на страхе и негодовании.

Во-вторых, есть большая вероятность, что свободная информация действительно подрывает авторитаризм, если только авторитарные режимы не могут подвергать её цензуре. А неподверженный цензуре ИИ может предоставить людям мощные инструменты для подрыва репрессивных режимов. Репрессивные режимы выживают, отказывая людям в определённых знаниях, не давая им понять, что «у императора нет одежды». Например, Срджа Попович), который помог свергнуть правительство Милошевича в Сербии, много писал о методах психологического воздействия на авторитарных лидеров, о том, как разрушить чары и заручиться поддержкой против диктатора. Сверхчеловечески эффективная версия ИИ Поповича (чьи навыки, похоже, напрямую связаны с интеллектом) в каждом кармане, которую диктаторы не смогут заблокировать или подвергнуть цензуре, может стать опорой для диссидентов и реформаторов по всему миру. Повторяю, это будет долгая и изнурительная борьба, в которой победа не гарантирована, но если мы правильно спроектируем и создадим ИИ, то, по крайней мере, у сторонников свободы во всём мире будет преимущество.

Как и в случае с нейробиологией и биологией, мы можем задаться вопросом, как сделать так, чтобы всё было «лучше, чем обычно», — не только как избежать автократии, но и как сделать демократические страны лучше, чем они есть сегодня. Даже в демократических странах постоянно происходит несправедливость. Общества с верховенством закона обещают своим гражданам, что все будут равны перед законом и каждый будет иметь право на основные права человека, но очевидно, что люди не всегда получают эти права на практике. То, что это обещание хотя бы частично выполнено, — повод для гордости, но может ли ИИ помочь нам стать лучше?

Например, может ли ИИ улучшить нашу правовую и судебную систему, сделав решения и процессы более беспристрастными? Сегодня люди в основном беспокоятся о том, что системы ИИ станут причиной дискриминации в правовом или судебном контексте, и эти опасения важны и требуют опровержения. В то же время жизнеспособность демократии зависит от использования новых технологий для улучшения демократических институтов, а не только для реагирования на риски. По-настоящему зрелая и успешная реализация ИИ может уменьшить предвзятость и сделать систему более справедливой для всех.

На протяжении веков правовые системы сталкивались с дилеммой: закон должен быть беспристрастным, но по своей сути он субъективен и, следовательно, должен интерпретироваться предвзятыми людьми. Попытки сделать закон полностью механическим не увенчались успехом, потому что реальный мир сложен и не всегда может быть описан математическими формулами. Вместо этого правовые системы полагаются на заведомо неточные критерии, такие как «жестокое и необычное наказание» или «совершенно не имеющее социальной значимости», которые затем интерпретируются людьми — и часто таким образом, что это демонстрирует предвзятость, фаворитизм или произвол. «Смарт-контракты» в криптовалютах не произвели революцию в юриспруденции, потому что обычный код недостаточно умён, чтобы рассматривать все интересующие вопросы. Но ИИ может оказаться достаточно умным для этого: это первая технология, способная выносить широкие, расплывчатые суждения воспроизводимым и механическим способом.

Я не предлагаю в буквальном смысле заменить судей системами искусственного интеллекта, но сочетание беспристрастности со способностью понимать и обрабатывать сложные ситуации из реального мира кажется перспективным для применения в юриспруденции и правосудии. По крайней мере, такие системы могли бы работать вместе с людьми, помогая им принимать решения. Прозрачность была бы важна для любой такой системы, и зрелая наука об искусственном интеллекте могла бы её обеспечить: процесс обучения таких систем можно было бы тщательно изучить, а передовые методы интерпретации можно было бы использовать, чтобы заглянуть внутрь финальной модели и оценить её на предмет скрытых предубеждений, что просто невозможно сделать с помощью людей. Такие инструменты ИИ можно было бы также использовать для отслеживания нарушений основных прав в судебном или полицейском контексте, что сделало бы конституции более действенными.

Аналогичным образом ИИ можно использовать для сбора мнений и достижения консенсуса среди граждан, разрешая конфликты, находя точки соприкосновения и стремясь к компромиссу. Некоторые ранние идеи в этом направлении были выдвинуты в рамках проекта «Вычислительная демократия», включая сотрудничество с Anthropic. Более информированные и вдумчивые граждане, очевидно, укрепили бы демократические институты.

Также существует очевидная возможность использовать ИИ для оказания государственных услуг, таких как медицинские пособия или социальные услуги, которые в принципе доступны всем, но на практике часто сильно недофинансируются, а в некоторых местах ситуация хуже, чем в других. Сюда входят медицинские услуги, управление по делам транспортных средств, налоги, социальное обеспечение, соблюдение строительных норм и так далее. Если бы у вас был очень вдумчивый и информированный ИИ, чья задача состояла бы в том, чтобы предоставлять вам всё, на что вы имеете законное право, в понятной вам форме, а также помогать вам соблюдать часто непонятные государственные правила, это было бы большим достижением. Расширение возможностей государства помогает выполнять обещание о равенстве перед законом и укрепляет уважение к демократическому управлению. Плохо предоставляемые услуги в настоящее время являются основной причиной цинизма по отношению к правительству²⁵.

Всё это довольно расплывчатые идеи, и, как я уже сказал в начале этого раздела, я далеко не так уверен в их осуществимости, как в достижениях биологии, нейробиологии и в борьбе с бедностью. Они могут быть нереалистичными и утопичными. Но важно иметь амбициозное видение, быть готовым мечтать о большем и пробовать что-то новое. Идея о том, что ИИ станет гарантом свободы, прав личности и равенства перед законом, слишком сильна, чтобы не бороться за неё. Политическая система XXI века, основанная на искусственном интеллекте, может стать как более надёжным защитником свободы личности, так и маяком надежды, который поможет сделать либеральную демократию формой правления, к которой стремится весь мир.

5. Работа и смысл

Даже если всё, о чём говорилось в предыдущих четырёх разделах, сбудется — мы не только избавимся от болезней, бедности и неравенства, но и либеральная демократия станет доминирующей формой правления, а существующие либеральные демократии станут более совершенными версиями самих себя, — по крайней мере, один важный вопрос всё равно останется. «Здорово, что мы живём в таком технологически развитом, справедливом и достойном мире, — может возразить кто-то, — но если за всё будет отвечать ИИ, как у людей появится смысл жизни?» Если уж на то пошло, как они будут выживать экономически?”.

Я думаю, что этот вопрос сложнее остальных. Я не имею в виду, что я более пессимистично настроен по отношению к нему, чем по отношению к другим вопросам (хотя я вижу трудности). Я имею в виду, что он более расплывчатый, и его сложнее предсказать заранее, потому что он связан с макроскопическими вопросами об устройстве общества, которые, как правило, решаются только со временем и децентрализованно. Например, в исторических обществах охотников-собирателей могло бы сложиться впечатление, что жизнь бессмысленна без охоты и различных религиозных ритуалов, связанных с охотой, и что наше сытое технологическое общество лишено цели. Они также могли бы не понимать, как наша экономика может обеспечить всех, или какую функцию люди могут выполнять в механизированном обществе.

Тем не менее, стоит сказать хотя бы несколько слов, памятуя о том, что краткость этого раздела вовсе не означает, что я не воспринимаю эти вопросы всерьёз — напротив, это признак отсутствия чётких ответов.

Что касается смысла, я думаю, что, скорее всего, ошибочно полагать, что задачи, которые вы выполняете, бессмысленны просто потому, что ИИ может сделать их лучше. Большинство людей ни в чём не являются лучшими в мире, и это, похоже, их не особо беспокоит. Конечно, сегодня они всё ещё могут вносить свой вклад благодаря сравнительным преимуществам и получать смысл от экономической ценности, которую они создают, но людям также очень нравится заниматься тем, что не создаёт экономической ценности. Я провожу много времени, играя в видеоигры, плавая, гуляя на улице и разговаривая с друзьями, и все это не приносит никакой экономической пользы. Я мог бы потратить день, пытаясь стать лучше в видеоигре или быстрее кататься на велосипеде в гору, и для меня на самом деле не имеет значения, что кто-то где-то намного лучше в этих вещах. В любом случае, я думаю, что смысл приходит в основном от человеческих взаимоотношений, а не от экономического труда. Людям действительно нужно чувство выполненного долга, даже чувство соперничества, и в мире после появления ИИ вполне возможно будет тратить годы на выполнение очень сложной задачи со сложной стратегией, подобно тому, как люди поступают сегодня, когда берутся за исследовательские проекты, пытаются стать голливудскими актёрами или основать компании²⁶. Мне кажется, что тот факт, что (а) где-то ИИ в принципе может выполнять эту задачу лучше, и (б) эта задача больше не является экономически выгодным элементом глобальной экономики, не имеет большого значения.

Экономическая составляющая на самом деле кажется мне более сложной, чем смысловая. Под «экономической» в этом разделе я подразумеваю возможную проблему, заключающуюся в том, что большинство или все люди могут быть неспособны внести значимый вклад в достаточно развитую экономику, основанную на искусственном интеллекте. Это более масштабная проблема, чем отдельная проблема неравенства, особенно неравенства в доступе к новым технологиям, которую я обсуждал в разделе 3.

Прежде всего, в краткосрочной перспективе я согласен с аргументами о том, что сравнительное преимущество будет и дальше поддерживать актуальность людей и фактически повышать их производительность, а в некоторых отношениях может даже выровнять условия для всех людей. До тех пор, пока ИИ будет лучше справляться только с 90% задач, остальные 10% приведут к тому, что люди будут работать с высокой нагрузкой, получать больше денег и фактически создавать множество новых рабочих мест для людей, дополняющих и расширяющих то, в чём хорош ИИ, так что «10%» расширятся и будут продолжать нанимать почти всех. На самом деле, даже если ИИ может выполнять 100% задач лучше, чем люди, но при этом остаётся неэффективным или дорогостоящим в некоторых областях, или если затраты ресурсов у людей и ИИ существенно различаются, то логика сравнительного преимущества продолжает действовать. Одна из областей, в которой люди, скорее всего, будут сохранять относительное (или даже абсолютное) преимущество в течение длительного времени, — это физический мир. Таким образом, я думаю, что человеческая экономика может продолжать существовать и после того, как мы достигнем «страны гениев в центре обработки данных».

Однако я думаю, что в долгосрочной перспективе ИИ станет настолько эффективным и дешёвым, что это перестанет быть актуальным. В этот момент наша нынешняя экономическая система перестанет быть целесообразной, и возникнет необходимость в более широком общественном обсуждении того, как должна быть устроена экономика.

Хотя это может показаться безумием, факт в том, что в прошлом цивилизация успешно справлялась с крупными экономическими сдвигами: от охоты и собирательства к земледелию, от земледелия к феодализму, от феодализма к индустриализму. Я подозреваю, что потребуется нечто новое и более странное, и что сегодня никто не может этого хорошо представить. Это может быть что-то простое, например, большой универсальный базовый доход для всех, хотя я подозреваю, что это будет лишь малая часть решения. Это может быть капиталистическая экономика, основанная на системах искусственного интеллекта, которые затем распределяют ресурсы (в огромных количествах, поскольку общий экономический пирог будет гигантским) между людьми на основе какой-то вторичной экономики, основанной на том, что, по мнению систем искусственного интеллекта, имеет смысл вознаграждать людей (на основе какого-то суждения, в конечном счёте основанного на человеческих ценностях). Возможно, экономика будет основана на баллах Whuffie. Или, возможно, люди всё-таки останутся экономически ценными, но не так, как предсказывают обычные экономические модели. У всех этих решений есть множество возможных проблем, и невозможно понять, будут ли они иметь смысл, без множества итераций и экспериментов. И, как и в случае с некоторыми другими проблемами, нам, скорее всего, придётся бороться, чтобы добиться хорошего результата: очевидно, что эксплуататорские или антиутопические направления тоже возможны, и их нужно предотвращать. Об этих вопросах можно было бы написать гораздо больше, и я надеюсь сделать это в будущем.

Подводим итоги

В приведённых выше темах я попытался представить себе мир, который был бы правдоподобным, если бы всё шло хорошо с ИИ, и намного лучше, чем мир сегодняшний. Я не знаю, реален ли этот мир, и даже если он реален, он не будет достигнут без огромных усилий и борьбы многих смелых и преданных своему делу людей. Каждый (включая компании, занимающиеся ИИ!) должен будет внести свой вклад, чтобы предотвратить риски и в полной мере воспользоваться преимуществами.

Но это мир, за который стоит бороться. Если всё это действительно произойдёт в течение 5–10 лет — победа над большинством болезней, рост биологической и когнитивной свободы, избавление миллиардов людей от нищеты и доступ к новым технологиям, возрождение либеральной демократии и прав человека, — я подозреваю, что все, кто это увидит, будут удивлены тем, как это на них повлияет. Я не имею в виду личный опыт использования всех этих новых технологий, хотя это, безусловно, будет потрясающе. Я имею в виду опыт наблюдения за тем, как давно лелеемые нами идеалы воплощаются перед нами все сразу. Я думаю, что многих это буквально растрогает до слёз.

В процессе написания этого эссе я заметил интересное противоречие. В каком-то смысле изложенная здесь концепция крайне радикальна: это не то, чего почти никто не ожидает в следующем десятилетии, и многим она, скорее всего, покажется абсурдной фантазией. Некоторые могут даже счесть её нежелательной; она воплощает ценности и политические решения, с которыми не все согласятся. Но в то же время в этом есть что-то ослепительно очевидное — что-то сверхопределённое, — как будто множество различных попыток представить себе хороший мир неизбежно приводят примерно к этому.

В романе Иэна М. Бэнкса «Игрок в игры»²⁷ главный герой — член общества под названием «Культура», основанного на принципах, схожих с теми, что я изложил здесь, — отправляется в репрессивную милитаристскую империю, в которой лидерство определяется соревнованием в сложной военной игре. Однако игра настолько сложна, что стратегия игрока в ней, как правило, отражает его собственные политические и философские взгляды. Главному герою удаётся победить императора в игре, показав, что его ценности (ценности Культуры) представляют собой выигрышную стратегию даже в игре, разработанной обществом, основанным на безжалостной конкуренции и выживании наиболее приспособленных. В известной статье Скотта Александера тот же тезис: конкуренция обречена на провал и ведёт к обществу, основанному на сострадании и сотрудничестве. «Дуга нравственной вселенной» — ещё одна похожая концепция.

Я считаю, что ценности культуры — это выигрышная стратегия, потому что они представляют собой совокупность миллиона мелких решений, которые обладают явной моральной силой и, как правило, объединяют всех на одной стороне. С базовыми человеческими инстинктами справедливости, сотрудничества, любознательности и самостоятельности трудно поспорить, и они накапливаются, в отличие от наших более разрушительных порывов. Легко утверждать, что дети не должны умирать от болезней, если мы можем это предотвратить, и отсюда легко сделать вывод, что все дети в равной степени заслуживают этого права. Исходя из этого, нетрудно утверждать, что мы все должны объединиться и использовать свой интеллект для достижения этого результата. Мало кто не согласится с тем, что люди должны быть наказаны за нападения или причинение вреда другим без необходимости, и отсюда уже недалеко до идеи о том, что наказания должны быть последовательными и систематическими для всех людей. Точно так же интуитивно понятно, что люди должны обладать свободой и нести ответственность за свою жизнь и выбор. Эти простые интуитивные догадки, если довести их до логического завершения, в конечном счёте приведут к верховенству закона, демократии и ценностям Просвещения. Если не неизбежно, то, по крайней мере, в качестве статистической тенденции, именно к этому уже стремилось человечество. ИИ просто даёт нам возможность добраться до этого быстрее — сделать логику более очевидной, а цель — более ясной.

Тем не менее, это нечто невероятное по своей красоте. У нас есть возможность сыграть небольшую роль в том, чтобы это стало реальностью.

Спасибо Кевину Эсвелту, Парагу Маллику, Стюарту Ричи, Мэтту Иглесиасу, Эрику Бриньолфссону, Джиму МакКлэйву, Аллану Дафо и многим сотрудникам Anthropic за то, что они просмотрели черновики этого эссе.

Лауреатам Нобелевской премии по химии 2024 года за то, что показали нам путь.

Примечания

— Разработка более совершенных вычислительных инструментов, таких как AlphaFold и AlphaProteo, то есть системы общего ИИ, которая ускорит создание специализированных инструментов вычислительной биологии на основе ИИ. — Более эффективный и избирательный CRISPR. — Более совершенные методы клеточной терапии. — Прорывы в области материаловедения и миниатюризации, ведущие к созданию более совершенных имплантируемых устройств. — Более эффективный контроль над стволовыми клетками, дифференцировкой и дедифференцировкой клеток, а также способность восстанавливать или изменять форму тканей. — Более эффективный контроль над иммунной системой: выборочное включение для борьбы с раком и инфекционными заболеваниями и выборочное отключение для борьбы с аутоиммунными заболеваниями.

[^22] Я думаю, что это в некоторой степени аналогично тому факту, что многие, хотя, вероятно, и не все, результаты, которые мы получаем благодаря интерпретируемости, останутся актуальными, даже если некоторые архитектурные детали наших нынешних искусственных нейронных сетей, такие как механизм внимания, будут каким-то образом изменены или заменены.

https://allpoetry.com/All-Watched-Over-By-Machines-Of-Loving-Grace↩
Я ожидаю, что реакция меньшинства людей будет такой: «это довольно безобидно». Я думаю, что этим людям нужно, как говорят в Твиттере, «не трогать траву». Но что ещё важнее, безобидность хороша с точки зрения общества. Я думаю, что люди могут справиться только с определённым количеством изменений одновременно, и темп, который я описываю, вероятно, близок к пределу того, что общество может принять без сильной турбулентности.↩
Я считаю, что «сверхразумный ИИ» — это неточный термин, который собрал в себе много научно-фантастических наслоений и шумихи. Я предпочитаю «мощный ИИ» или «науку и инженерию экспертного уровня», которые передают то, что я имею в виду, без шумихи.↩
В этом эссе я использую термин «интеллект» для обозначения общей способности решать проблемы, которая может применяться в различных областях. Сюда входят такие способности, как рассуждение, обучение, планирование и креативность. Хотя я использую термин «интеллект» в качестве сокращения на протяжении всего эссе, я признаю, что природа интеллекта — сложная и спорная тема в когнитивной науке и исследованиях в области искусственного интеллекта. Некоторые исследователи утверждают, что интеллект — это не единое, цельное понятие, а скорее совокупность отдельных когнитивных способностей. Другие считают, что существует общий фактор интеллекта (g-фактор), лежащий в основе различных когнитивных навыков. Это спорный вопрос, но об этом в другой раз.↩
Это примерно соответствует текущей скорости работы систем искусственного интеллекта — например, они могут прочитать страницу текста за пару секунд и написать страницу текста примерно за 20 секунд, что в 10-100 раз быстрее, чем люди могут делать то же самое. Со временем более крупные модели, как правило, работают медленнее, но более мощные чипы, как правило, работают быстрее; на сегодняшний день эти два эффекта примерно уравновешивают друг друга.↩
Это может показаться абсурдной позицией, но такие осторожные мыслители, как Тайлер Коуэн и Мэтт Иглесиас, поднимают этот вопрос как серьёзную проблему (хотя я не думаю, что они полностью разделяют эту точку зрения), и я не считаю это безумием.↩
Наиболее близкой к решению этого вопроса экономической работой, о которой мне известно, является работа о «технологиях общего назначения» и «неосязаемых инвестициях», которые служат дополнением к технологиям общего назначения.↩
Такое обучение может включать в себя временное, контекстное обучение или традиционное обучение; и то, и другое будет ограничено физическим миром.↩
В хаотической системе небольшие ошибки со временем накапливаются в геометрической прогрессии, так что даже значительное увеличение вычислительной мощности приводит лишь к незначительному улучшению прогнозирования наперёд, а на практике погрешность измерений может ещё больше ухудшить ситуацию.↩
Другим фактором, конечно, является то, что мощный ИИ потенциально может быть использован для создания ещё более мощного ИИ. Я предполагаю, что это может (и, вероятно, будет) происходить, но эффект будет меньше, чем вы можете себе представить, именно из-за «снижения предельной отдачи от интеллекта», о котором здесь идёт речь. Другими словами, ИИ будет продолжать быстро становиться умнее, но его влияние в конечном счёте будет ограничено факторами, не связанными с интеллектом, и анализ этих факторов — вот что важнее всего для скорости научного прогресса за пределами ИИ.↩
Эти достижения вдохновили меня и, возможно, являются самым ярким примером использования ИИ для преобразования биологии.↩
«Прогресс в науке зависит от новых методов, новых открытий и новых идей, вероятно, в таком порядке». — Сидни Бреннер↩
Спасибо Парагу Маллику за то, что указал на это.↩
Я не хотел перегружать текст рассуждениями о том, какие конкретные открытия в будущем может сделать наука с использованием ИИ, но вот несколько возможных вариантов:↩
ИИ, конечно, может помочь и в более разумном выборе экспериментов для проведения: улучшить дизайн эксперимента, извлечь больше пользы из первого раунда экспериментов, чтобы во втором раунде можно было сосредоточиться на ключевых вопросах, и так далее.↩
Спасибо Мэтью Иглесиасу за то, что указал на это.↩
Быстро развивающиеся заболевания, такие как штаммы с множественной лекарственной устойчивостью, которые по сути используют больницы в качестве эволюционной лаборатории для постоянного повышения своей устойчивости к лечению, могут быть особенно трудноизлечимыми, и именно они могут помешать нам достичь 100-процентной эффективности.↩
Обратите внимание, что нам может быть трудно осознать, что мы удвоили продолжительность жизни человека за 5-10 лет. Хотя мы, возможно, и добились этого, мы можем не знать об этом в рамках исследования.↩
Это одно из тех мест, где я готов, несмотря на очевидные биологические различия между лечением болезней и замедлением процесса старения, взглянуть на статистическую тенденцию с более широкой точки зрения и сказать: «Несмотря на то, что детали отличаются, я думаю, что наука о человеке, вероятно, найдёт способ продолжить эту тенденцию; в конце концов, плавные тенденции в чём-либо сложном обязательно складываются из очень разнородных компонентов.↩
Например, мне сказали, что увеличение производительности на 1% или даже 0,5% в год может кардинально изменить прогнозы, связанные с этими программами. Если идеи, изложенные в этом эссе, воплотятся в жизнь, рост производительности может быть гораздо выше.↩
СМИ любят изображать высокопоставленных психопатов, но среднестатистический психопат — это, вероятно, человек с плохими экономическими перспективами и слабым контролем над импульсами, который в итоге проводит значительную часть жизни в тюрьме.↩
Я подозреваю, что это немного похоже на классическую хаотическую систему, отличающуюся непреодолимой сложностью, которой приходится управлять в основном децентрализованно. Хотя, как я скажу далее в этом разделе, возможны и более скромные вмешательства. Экономист Эрик Бринхольмссон привёл мне контраргумент, заключающийся в том, что крупные компании (такие как Walmart или Uber) начинают обладать достаточными централизованными знаниями, чтобы понимать потребителей лучше, чем любой децентрализованный процесс. Возможно, это заставит нас пересмотреть выводы Хайека о том, у кого лучше всего развиты локальные знания.↩
Спасибо Кевину Эсвелту за то, что он указал на этот момент.↩
Это название готовящейся к публикации статьи RAND, в которой в общих чертах изложена стратегия, которую я описываю.↩
Когда среднестатистический человек думает о государственных учреждениях, он, вероятно, вспоминает свой опыт взаимодействия с Управлением по делам транспортных средств, Налоговой службой, программой медицинского страхования или аналогичными функциями. Сделать этот опыт более позитивным, чем он есть сейчас, кажется эффективным способом борьбы с чрезмерным цинизмом.↩
Действительно, в мире, управляемом искусственным интеллектом, спектр таких возможных задач и проектов будет намного шире, чем сегодня.↩
Я нарушаю собственное правило не говорить здесь о научной фантастике, но мне трудно не упоминать её хотя бы немного. Дело в том, что научная фантастика — один из наших единственных источников масштабных мысленных экспериментов о будущем; я думаю, это плохо, что она так тесно связана с определённой узкой субкультурой.↩