Нам повезло жить в невероятный момент истории. В ближайшие несколько лет люди смогут использовать сверхинтеллект, превосходящий человеческие возможности, чтобы создавать и открывать необыкновенные новые вещи, строить новые компании, выражать новые идеи, изучать новые концепции и улучшать наше здоровье и качество жизни. По мере того как мы приближаемся к этому моменту, важно сформировать философию того, как мы можем наилучшим образом использовать сверхинтеллект, чтобы он улучшал жизнь каждого из нас, нашу работу, наши сообщества, свободу и безопасность.
Определяющие вопросы нашей эпохи заключаются в том, кто получит доступ к сверхинтеллекту и на что мы его направим. Будет ли он централизован и ограничен несколькими институтами или станет инструментом, который расширяет возможности каждого?
Мы предлагаем философию, основанную на расширении возможностей человека как источнике процветания, изобретательстве как главной цели сверхинтеллекта и балансе сил как основе безопасности.
Все новые технологии создают возможности и трудности. Сверхинтеллект станет одной из важнейших технологий в истории, поэтому связанные с ним возможности и трудности, вероятно, будут масштабнее всего, что мы видели за свою жизнь. Мы должны относиться к этому очень серьёзно.
И всё же удивительно, насколько рассуждения многих разработчиков ИИ наполнены ожиданием катастрофы. Я не понимаю, почему тот, кто верит, что ИИ уничтожит большинство рабочих мест и в значительной степени лишит человечество значимости, спешит построить такое будущее. Представление о том, что ИИ настолько опасен, что единственный безопасный путь заключается в предельной концентрации власти, само по себе кажется проблематичным. Исторически надежда на то, что абсолютная власть, если она достаточно просвещённая, будет благожелательно заботиться о человечестве, не приводила к безопасным или позитивным результатам.
Человечество стало свидетелем множества преобразующих достижений. Каждый раз возникал страх, что люди останутся позади. Но каждый раз в итоге всё больше людей получали доступ к большему процветанию, здоровью и свободе. Мы верим, что с ИИ будет так же и что изобилие будущего может быть разделено между всеми. Мы также верим, что ценности, которые привели нас к нынешней точке, такие как свобода, открытое исследование, свободное предпринимательство и равные возможности, являются правильными ценностями и для построения позитивного будущего.
Передача власти в руки людей, чтобы они могли следовать собственным устремлениям, была тем способом, благодаря которому человечество добилось наибольшего прогресса. Новые идеи и крупные шаги вперёд редко исходят только от сложившихся институтов. Они исходили от братьев из велосипедной мастерской, которые верили, что люди могут летать, от необразованного ученика переплётчика, который понял, как вырабатывать электричество, и от парня в гараже, который решил, что персональные компьютеры могут быть доступны каждому. Мы верим, что так будет и дальше. По мере того как каждый получает более мощные инструменты, каждый человек становится более способным формировать будущее, а не менее.
Изобретательство, а не автоматизация, станет величайшим вкладом сверхинтеллекта. Ранний ИИ мог отвечать на вопросы и выполнять рутинную работу. Вскоре он будет всё чаще помогать открывать новые знания: от создания новых лекарств для лечения болезни члена семьи до поиска новых способов улучшить ваш бизнес. Количество вопросов, которые человек может задать за день, ограничено, а количество ценных вещей, которые сверхинтеллект может изобрести для достижения ваших целей, не ограничено.
По мере того как интеллект становится изобильным ресурсом, важнейшим вопросом будет то, куда мы его направим. Некоторые утверждают, что сам сверхинтеллект или небольшая группа управляющих им экспертов должны решать, что лучше для человечества. Мы не согласны. История демократии и экономики показала, что не существует единственного объективного ответа на вопрос о том, как люди определяют лучшую жизнь, поэтому лучший подход заключается в том, чтобы позволить людям самим решать, что имеет значение в их собственной жизни.
Мы верим, что предоставление сверхинтеллекта каждому и есть ответ на этот вопрос. Это продолжает традицию, благодаря которой сила суперкомпьютеров и интернета оказалась в карманах людей и на их рабочих столах. Вместо того чтобы централизовать сверхинтеллект, мы должны широко его распространить и дать каждому человеку возможность им управлять. Это может положить начало новой эпохе расширения личных возможностей, в которой люди смогут использовать эту мощную новую способность, чтобы полностью реализовывать свой потенциал, следовать своим интересам и улучшать свою жизнь и мир сильнее, чем когда-либо прежде.
Чтобы сделать это более конкретным, вот несколько направлений, по которым Meta создаёт персональный сверхинтеллект для улучшения жизни каждого из нас:
- У каждого будет исключительно способный персональный агент, который понимает вас, ваши цели и всё, что вам важно. Ваш агент будет работать от вашего имени круглосуточно, чтобы улучшать ваши отношения, здоровье, карьеру, финансы, управление домом, увлечения и многое другое. Он освободит время для того, что вам нравится, и поможет добиваться большего, чем вы могли бы без него. У него будут надёжные настройки конфиденциальности и безопасности, поэтому вы сможете доверить ему весь свой личный контент, зная, что никто другой не получит доступ к вашей информации, подобно тому как работает шифрование в WhatsApp. Вы сможете взаимодействовать со своим агентом через любое устройство, включая очки, чтобы оставаться в настоящем моменте рядом с людьми, которые вам дороги.
Например, мой агент отмечает интересную информацию и помогает мне создавать прототипы идей. Он помогает мне сохранять здоровье, отслеживая мой сон, а затем наблюдая за моими тренировками и давая обратную связь. Моя дочь любит печь, поэтому мой агент планирует персональные рецепты, которые мы готовим вместе каждые выходные, заказывает ингредиенты, а затем даёт советы во время готовки.
- У каждого будут невероятные инструменты для творчества и выражения своих идей. Моя восьмилетняя дочь уже может воплощать свои идеи в коде и за один вечер создавать видео, на которые у меня ушли бы месяцы или которые раньше вообще было бы невозможно сделать. Сейчас мы вместе проектируем робота. Тем временем исследователи Meta создают новые кристаллические структуры, идеально подходящие для очков дополненной реальности, а инженеры создают новые приложения за малую долю того времени, которое потребовалось бы раньше. Вскоре каждый получит сверхспособности изобретателя.
- У каждого будут мощные инструменты для создания новых компаний, а экономика станет более предпринимательской. Люди уже начинают самостоятельно воплощать идеи, не привлекая финансирование и не создавая большие команды. Многие идеи, которые раньше было слишком сложно или дорого проверять, теперь станут возможными. Это означает, что мы увидим гораздо больше идей и компаний. Я прогнозирую, что со временем это приведёт не только к намного более сильному экономическому росту, но и к увеличению занятости, а не к её сокращению.
- У каждого будет персональный преподаватель и наставник с уровнем доктора наук по каждому предмету и безграничным терпением, который поможет изучить всё, что вы захотите. Учащиеся получат дополнительную помощь в тех областях, где она им нужна, хотя сегодня такая помощь доступна только тем, чьи родители могут за неё заплатить. У взрослых будет сверхинтеллектуальный помощник в обучении, который точно знает, как научить вас новым профессиональным навыкам, новым языкам, новым увлечениям или чему угодно ещё, что вам интересно.
- Каждый получит пользу от научных достижений и сможет вносить вклад в научный прогресс. Например, Biohub уже выпустил биологические модели с открытым исходным кодом, связанные с виртуальными клетками и белками, которые помогают учёным делать новые открытия и разрабатывать новые лекарства. Когда мы с Присциллой начали эту работу, нашей целью было помочь учёным вылечить или предотвратить все болезни в этом столетии, а теперь благодаря достижениям ИИ мы ожидаем, что это станет возможным гораздо раньше.
Поскольку существует длинный список различных заболеваний, а биология каждого человека уникальна, прямое участие людей поможет открыть персонализированные методы лечения и ускорить испытания, чтобы они соответствовали темпу изобретательства, а отрасль смогла перестать непропорционально сильно сосредотачиваться только на распространённых заболеваниях.
За пределами биологии ИИ поможет людям продвигать исследования в каждой области, применяя научный метод и работая неделями или месяцами для проверки и уточнения гипотез. Научные открытия, вероятно, станут одной из самых ценных для общества форм изобретательства.
- У каждого будет бесплатный или доступный по цене доступ к этим инструментам. Чтобы каждый мог стать частью будущего, у каждого должна быть возможность использовать сверхинтеллект для улучшения своей жизни и формирования мира. Мы предложим бесплатные версии, доступные миллиардам людей. Для тех, кто захочет платить за использование большего объёма вычислительных ресурсов, будет действовать динамический аукционный механизм. Он гарантирует каждому минимально возможную цену за используемые интеллект и вычислительные ресурсы, одновременно обеспечивая направление мощностей на то, что люди в совокупности считают наиболее ценным. Это позволит широко распределить преимущества сверхинтеллекта.
Это некоторые из основных направлений, на которых сосредоточена Meta. Каждое из них продвигает ценности расширения личных возможностей и способствует будущему, в котором каждый играет большую роль в формировании мира, чем сегодня. Если эти усилия увенчаются успехом, будущее принесёт изобилие личной самостоятельности, выражения идей, углубления отношений, экономического и финансового процветания, улучшения здоровья и изобретений, которые мы сегодня не можем представить. Но важнее всего то, что будущее будет создано всеми нами и станет отражением всех наших ценностей и взглядов.
В то же время новые технологии приносят и новые риски. Есть много важных проблем, над решением которых мы сосредоточены: от опасений по поводу вытеснения людей с рабочих мест и необходимости обеспечить пользу местным сообществам от строительства центров обработки данных до рисков злоупотребления ИИ в сфере кибербезопасности и биологических угроз, предотвращения тирании и государственного надзора, обеспечения лидерства США и демократических стран и, наконец, сохранения контроля человечества над сверхинтеллектом, чтобы он служил нам, а не создавал для нас опасность.
Согласно общепринятому взгляду, эти опасения связаны с самой технологией, и если мы потратим достаточно времени, то сможем довести её до совершенства или согласовать её так, чтобы создать единый благожелательный сверхинтеллект. Я считаю такой взгляд на согласование в корне ошибочным.
Человечество не является монокультурой. Разнообразные ценности людей отражают разные компромиссы, на которые они готовы идти по важным вопросам. Не существует технологического решения, которое можно было бы одновременно согласовать со всеми противоположными интересами и ценностями людей. Любой единый сверхинтеллект был бы вынужден отдавать приоритет одним ценностям перед другими и в результате не смог бы быть благожелательным для всех.
Вместо этого мы предлагаем рассматривать каждую из этих проблем через призму достижения правильного баланса сил, как это делает западное общество в демократических институтах управления. Люди и институты с конкурирующими интересами естественным образом сдерживают и уравновешивают друг друга, что ведёт к позитивным результатам. Лучший и наиболее реалистичный путь к построению позитивного будущего ИИ заключается в предоставлении сверхинтеллекта каждому.
В качестве мысленного эксперимента представьте, что только у одного человека есть сверхинтеллектуальный юрист. Этот человек получил бы несправедливое преимущество в суде, даже если бы был неправ по существу дела. Это привело бы к худшему обществу. А теперь представьте, что сверхинтеллектуальный юрист есть у каждого. В таком случае правосудие осуществлялось бы гораздо справедливее и эффективнее, чем сегодня, когда в судебных процессах часто существует неравенство навыков и ресурсов.
Аналогично, если бы сверхинтеллект в сфере кибербезопасности был только у одного человека, он, вероятно, смог бы взломать почти любую техническую систему, и мир стал бы гораздо менее безопасным, чем сегодня. Но если доступ к сверхинтеллекту в сфере кибербезопасности будет у каждого, все наши технические системы станут безопаснее, поскольку широко развёрнутый сверхинтеллект будет помогать укреплять и обновлять каждую систему.
Если бы сверхинтеллект был только у одной компании, она превзошла бы всех конкурентов, а рынок стал бы менее динамичным и менее широко процветающим, чем сегодня. Но если доступ к сверхинтеллекту будет у каждого, все получат инструменты для создания вещей, которые сегодня невозможны, экономика станет более динамичной и будет обеспечивать более широкое процветание.
Когда люди получают больше возможностей, они естественным образом конкурируют и сдерживают друг друга в экономике, обществе, политике и во всех других сферах человеческого взаимодействия. Люди также сдерживают и уравновешивают власть институтов, включая компании и правительства.
Но если власть сверхинтеллекта сосредоточена у небольшого числа людей, компаний, правительств или у самого ИИ, это естественным образом приведёт к менее благоприятным результатам для всех остальных. Это не технологический принцип. Речь идёт о балансе сил. Единого благожелательного сверхинтеллекта не существует.
Поэтому ключ к позитивному будущему для всех заключается в достижении баланса сил, который благоприятствует отдельным людям. Решение состоит в том, чтобы обеспечить широкое распространение сверхинтеллекта для расширения возможностей людей.
Meta является компанией, в первую очередь сосредоточенной на создании персонального сверхинтеллекта для каждого. Большинство других лабораторий сосредоточено на создании ИИ для компаний, правительств и других институтов, поэтому, если лидировать будут эти лаборатории, баланс сил будет благоприятствовать крупным институтам, а не отдельным людям. С момента основания миссия Meta была сосредоточена на передаче власти в руки людей. Если наши убеждения и принципы станут ведущими, баланс сил будет благоприятствовать людям и лучшему будущему для каждого.
Рассмотрим каждый из упомянутых выше рисков подробнее.
Рост занятости и экономика
У людей существует безграничный спрос на новый опыт, и они всегда находили новые проблемы, которыми стоит заняться. В экономике существует естественный баланс между компаниями, которые благодаря автоматизации стремятся эффективнее удовлетворять потребности людей, и людьми, которые приобретают новые навыки, чтобы удовлетворять более сложные потребности. Когда этот баланс здоровый, общая производительность и инновации растут, а уровень занятости остаётся высоким.
Люди боятся, что автоматизация будет развиваться быстрее, чем способности отдельных людей, что приведёт к вытеснению с рабочих мест, за которым последует трудный период освоения новых профессий. Но не существует правила, согласно которому ИИ обязательно должен усиливать автоматизацию быстрее, чем он расширяет способности людей или спрос на новые навыки. Недавняя статистика показывает, что рост возможностей людей, вероятно, сможет соответствовать темпу автоматизации или опережать его. В этом случае люди получат способность делать множество новых вещей раньше, чем изменятся их нынешние профессии. Это приведёт к здоровому балансу и потенциально даже к росту занятости.
То, какой результат мы получим, зависит от баланса прогресса между автоматизацией, с одной стороны, и расширением возможностей людей и изобретательством, с другой. Если лидировать будут лаборатории, сосредоточенные на автоматизации интеллектуального труда, то, как я ожидаю, переход окажется для людей и экономики гораздо сложнее. Но если каждый получит доступ к персональному сверхинтеллекту, расширяющему его способности, это сдвинет баланс в сторону расширения возможностей людей и позитивного будущего.
Есть несколько причин с оптимизмом ожидать, что в будущем рабочих мест будет в изобилии. Каким бы умным ни стал ИИ, объём вычислительных ресурсов всегда будет конечным, а значит, всегда будет существовать альтернативная стоимость их использования. Если люди смогут применять ИИ для изобретения невероятно ценных новых вещей, будет разумнее направлять ресурсы на это, а не на автоматизацию существующих профессий. Чем больше сверхинтеллект служит инструментом изобретательства, тем вероятнее, что способности людей будут развиваться быстрее автоматизации и будущее окажется для людей лучше.
Люди также постоянно придумывают новые способы улучшить нашу жизнь и новые профессии для воплощения этих идей. Поколение назад не существовало разработчиков приложений, авторов контента в социальных сетях, специалистов по электромобилям и операторов центров обработки данных. В ближайшем будущем появятся профессии, которые сегодня ещё не распространены: продуктовые студии из одного человека, проектирующие индивидуальные игрушки, мебель или одежду; создатели миров и дизайнеры впечатлений, создающие игры, истории и приключения; персональные биологи, использующие сверхинтеллект для разработки индивидуальных методов лечения; и многое другое, что мы пока не в состоянии представить.
Во многих отношениях это продолжение исторических тенденций. До промышленной революции 90% людей были фермерами, выращивавшими пищу, чтобы выжить. Технологический прогресс постепенно освободил значительную часть человечества от необходимости сосредотачиваться на выживании и позволил уделять больше внимания занятиям, которые мы выбираем сами. На каждом этапе люди использовали вновь обретённую производительность, чтобы достигать большего, чем было возможно прежде, а также больше времени посвящать творчеству, культуре, отношениям и удовольствию от жизни.
Конечно, некоторые аспекты нашей работы изменятся, как они менялись с появлением компьютеров, интернета и любой новой технологии. Людям придётся адаптироваться, и это будет непросто. Но чем больше у каждого будет персональный агент, обладающий сверхинтеллектом в обучении новым навыкам и помощи в адаптации к переменам, тем легче пройдёт этот переход.
Размеры компаний могут уменьшиться, как они уменьшились при переходе от промышленных гигантов к технологическим компаниям. Но это не означает общего сокращения количества рабочих мест. Это подразумевает большее количество компаний с меньшим числом сотрудников в каждой. Сегодня существует гораздо больше ценных компаний и сервисов, которые можно было бы создать, чем люди способны создать. Я ожидаю, что мы начнём видеть, как небольшие группы людей с персональными сверхинтеллектуальными агентами управляют компаниями значительного масштаба. В будущем малый бизнес продолжит оставаться основой экономики, но каждый малый бизнес сможет оказывать гораздо большее влияние.
Создание инфраструктуры ИИ вместе с сообществами
Устойчивое развитие инфраструктуры означает, что местные сообщества должны получать значительную пользу от каждого проекта. Это включает высокооплачиваемые рабочие места на местах, инвестиции в школы и государственные услуги, предотвращение роста цен на электроэнергию и заботу об окружающей среде. Рост налоговых поступлений также приносит пользу учителям, правоохранительным органам, пожарным службам и другим. Мы называем эти местные преимущества нашим общественным договором и запускаем фонд `Future Is For Everyone Fund`, чтобы напрямую поддерживать каждое сообщество, в котором мы работаем.
Например, в округе Ричленд штата Луизиана, где Meta строит крупный центр обработки данных, учителя в этом году получили премию в размере 50 000 долларов благодаря увеличению налоговых поступлений от наших инвестиций. Руководитель местной системы образования рассказал нам, что теперь учителя переезжают туда со всей страны, и, по его мнению, эта система станет одной из лучших школьных систем в США.
В отличие от опасений по поводу вытеснения специалистов интеллектуального труда, сейчас существует нехватка квалифицированных рабочих, таких как плотники, электрики и строители, необходимых для удовлетворения спроса на развитие инфраструктуры. Meta создала `America's Workforce Academy`, чтобы бесплатно обучать квалифицированных специалистов и гарантировать им высокооплачиваемую работу в регионах, где мы строим центры обработки данных.
Мы помогаем сохранять низкие цены на электроэнергию, создавая собственную энергетическую инфраструктуру везде, где инвестируем. Благодаря этому мы не только не потребляем энергию, которая могла бы достаться местным сообществам, но в некоторых случаях даже поставляем им излишки недорогой энергии. Мы считаем это важным принципом устойчивого инвестирования.
Наши центры обработки данных также спроектированы так, чтобы быть одними из самых водоэффективных в мире. Мы стремимся стать компанией с положительным водным балансом, то есть к 2030 году возвращать в водосборные бассейны больше воды, чем используем. В регионах с высоким дефицитом воды наша цель заключается в восстановлении 200% используемого объёма.
Мы видим, что сообщества, в которые мы инвестируем в долгосрочной перспективе, сильнее поддерживают развитие, чем сообщества, где спекулятивные инвесторы начинают строительство с минимальными вложениями в местную среду. Исторически города, в которые приходили железные и автомобильные дороги, электрификация и широкополосный интернет, становились центрами исследований, бизнеса и промышленности, вслед за чем росло их население и экономика. Мы верим, что инфраструктура ИИ может сыграть похожую роль, если её создавать на основе сильных общественных договоров, формирующих долговечные активы и причины для следующего поколения строить и развивать там свою жизнь.
У развития также есть аспекты, связанные с национальными интересами и национальной безопасностью. Американские сообщества получат больше процветания и безопасности, если Америка и её союзники будут лидировать в ИИ по сравнению с геополитическими соперниками. При этом один из существенных недостатков США по сравнению с такими странами, как Китай, заключается в том, что строить инфраструктуру здесь сложнее. Поэтому всем нам будет полезно совместно определить общественные договоры, необходимые для устойчивого развития по всей стране.
Защита от злоупотребления ИИ в кибербезопасности, биотерроризме и других областях
В свободном обществе у людей есть инструменты, которые можно использовать во благо или во вред, но правоохранительные органы и военные располагают большим количеством оружия и разведывательных возможностей. В случае ИИ у защитников также будет больше вычислительных ресурсов, чтобы получать значительно больше информации от тех же моделей, а в некоторых случаях у них будут и более продвинутые модели.
Стратегии защиты от киберугроз, биотерроризма и других опасностей различаются, но общий принцип заключается в том, что общество должно обеспечить защитникам, которые сдерживают злоумышленников, большее преимущество в силах и ресурсах.
Некоторые утверждают, что лучший способ снизить риск заключается в ограничении возможностей, доступных отдельным людям. Но предоставление людям возможностей в сфере кибербезопасности также является способом защитить длинный список различных систем, а предоставление людям научных возможностей позволяет продвигать науку так, чтобы в долгосрочной перспективе снижать риски вреда. Ограничение возможностей ведёт нас к централизации и отсутствию сдержек и противовесов, поэтому мы должны быть предельно осторожны с этим подходом, особенно если другие страны пойдут по менее ограничительному пути.
В сфере кибербезопасности широко распространённые системы с открытым исходным кодом доказали более высокую безопасность, потому что больше людей может находить уязвимости, укреплять системы и легко обновлять их до последних, наиболее защищённых версий. Даже в последние недели мы видели, как компании, столкнувшиеся с инцидентами безопасности, например Hugging Face, использовали широко доступные открытые модели для устранения уязвимостей. Со временем, как я ожидаю, широко развёрнутые модели ИИ с мощными возможностями в сфере кибербезопасности сделают системы более безопасными, а не менее. Это окончательно станет верно, когда сверхинтеллект позволит сделать большую часть мирового программного кода проверяемо безопасной. Долгосрочный ответ заключается не в том, чтобы удерживать возможности, а в том, чтобы установить баланс сил, при котором сверхинтеллект широко распространён.
В ближайшей перспективе важно ускорить укрепление критически важных систем. Я предлагаю компаниям, разрабатывающим передовой ИИ, направить значительные технические ресурсы на помощь правительству в укреплении критической инфраструктуры. Я также предлагаю передовым ИИ-лабораториям предоставлять правительству для использования и проверки промежуточные контрольные точки обучения новых моделей, не дожидаясь завершения обучения. Так правительство заранее получит доступ к самым мощным моделям и целой армии квалифицированных инженеров для выявления и устранения проблем безопасности. Лаборатории также должны сотрудничать с правоохранительными органами, помогая выявлять злоумышленников, которые пытаются неправомерно использовать их системы. Эти меры ускорят безопасное внедрение, не замедляя темп инноваций моделей и не создавая значительной задержки в доступе людей к этой технологии.
В отношении биологических и химических рисков опасение состоит в том, что те же возможности, которые помогают учёным создавать новые лекарства, могут помочь злоумышленникам разрабатывать вредоносные соединения. В такой постановке вопрос выглядит как компромисс между значительными преимуществами научного прогресса в лечении рака и других заболеваний и риском новых угроз. Но в идеале мы должны ускорять науку, одновременно снижая риски.
Я считаю, что к этому риску особенно важно подходить со смирением, потому что у нас мало исторических прецедентов, позволяющих оценить его вероятность. Злоумышленники уже десятилетиями имеют возможность синтезировать вредоносные соединения, но это редко становилось значительной проблемой, возможно, потому, что здесь отсутствует финансовая мотивация, существующая в кибератаках. При этом, если начнут появляться вредоносные примеры, нам следует соответствующим образом скорректировать свою стратегию снижения риска.
Лаборатории должны продолжать работу по снижению биологических и химических рисков в наших моделях. Одновременно, как я считаю, правительству следует обновить политику в нескольких областях. Во-первых, нам следует сосредоточиться на ограничении физического производства и распространения вредоносных материалов. Я ожидаю, что регулировать и контролировать физические компоненты будет проще, чем распространение знаний, поэтому это важное направление государственной политики. Во-вторых, нам следует ускорить способность общества разрабатывать новые методы лечения и защиты от возникающих угроз. Это включает упрощение процедур, с помощью которых FDA и другие регулирующие органы проверяют и одобряют новые методы лечения. По мере того как ИИ ускоряет разработку лекарств, нам в любом случае придётся обновлять эти процессы, чтобы они соответствовали темпу инноваций.
В долгосрочной перспективе ответом на риски, возникающие из новых научных открытий, станет ускорение научного прогресса, а не его замедление.
Защита свободы и предотвращение государственной тирании
Существует риск, что дисбаланс сил между отдельными людьми и государством приведёт к утрате свободы или возникновению тоталитарного государства. Это постоянное напряжение внутри демократии. Мы все хотим личной свободы и одновременно хотим, чтобы государство было способно обеспечивать нашу безопасность.
Чтобы сохранить свободу, мы должны обеспечить, чтобы сверхинтеллект прежде всего расширял возможности отдельных людей. Идеал либеральной демократии состоит в том, что люди естественным образом обладают всеми правами и соглашаются ограничить лишь некоторые свободы ради защиты общего блага. Аналогично отдельные люди должны иметь доступ к персональному сверхинтеллекту и подвергаться ограничениям только тогда, когда это действительно необходимо.
Конфиденциальность является важной основой личных возможностей и свободы. Мы считаем, что для персональных агентов должен существовать полностью приватный режим, в котором даже Meta или любой другой поставщик услуг не сможет увидеть вашу информацию или предоставить к ней доступ. Это похоже на то, как мы превратили WhatsApp в ведущий в мире сервис со сквозным шифрованием, чтобы вы могли свободно общаться, а ваши сообщения оставались приватными и защищёнными.
В то же время мы должны обеспечить государству доступ к инструментам и ресурсам, необходимым для соблюдения законов и защиты безопасности. Мы можем добиться этого за счёт более глубокого и проактивного сотрудничества между лабораториями и государством, которое укрепляет возможности государства в сфере национальной безопасности, не ограничивая и не задерживая доступ людей к передовым моделям.
Иными словами, вместо того чтобы ждать готовности модели, а затем передавать её правительству на проверку и начинать её использование, я предлагаю ведущим лабораториям предоставлять правительству промежуточные контрольные точки обучения новых передовых моделей и технических специалистов, чтобы государство могло укреплять и защищать критически важные системы от новых рисков. Так правительство получит возможности в сфере безопасности, не ограничивая и не задерживая доступ людей к персональному сверхинтеллекту и не создавая дисбаланса сил.
Обеспечение лидерства Америки
То, какие страны будут лидировать в разработке и внедрении передового ИИ, повлияет на новый геополитический баланс сил, который определит распространённость демократических ценностей, процветания и безопасности в будущем. Чтобы достичь позитивного равновесия, мы должны обеспечить лидерство систем ИИ, воплощающих наши ценности, развивающих нашу экономику и укрепляющих национальную безопасность. Лучший способ добиться этого заключается в широком распространении наших систем. Meta внесёт свой вклад, создавая ведущих персональных сверхинтеллектуальных агентов и модели, включая модели с открытым исходным кодом, и предоставляя их миллиардам людей по всему миру.
Чтобы создавать самые передовые модели и продукты, мы должны признать, что ИИ, вероятно, является самой конкурентной отраслью в истории. Инновации быстро копируются и усваиваются в течение нескольких месяцев. Но люди всегда хотят использовать самые передовые модели или самые передовые модели при заданной цене, поэтому сохранение даже двухмесячного преимущества чрезвычайно ценно. Это показывает, насколько мал запас лидерства и насколько важно предпринимать действия, которые ускоряют американские инновации и замедляют геополитических соперников.
Основными факторами государственной политики здесь являются эффективность строительства физической инфраструктуры, введение мер, замедляющих американские лаборатории, и экспортные ограничения, замедляющие зарубежные лаборатории.
В инфраструктуре Америка и её союзники сейчас имеют преимущество в проектировании микросхем, но уступают в скорости создания энергетических мощностей и физической инфраструктуры. Такие страны, как Китай, вводят в эксплуатацию более одного гигаватта атомных мощностей каждые две недели, поэтому нам необходимо ускорить строительство энергетической инфраструктуры и центров обработки данных, чтобы сохранить конкурентоспособность. Экспортные ограничения на поставки микросхем успешно замедляют развитие зарубежных лабораторий в этот критический период, поэтому продолжать их является правильным стратегическим решением.
Любая политика, замедляющая выпуск американских моделей хотя бы на месяц, может существенно увеличить риск для американского лидерства, одновременно позволяя зарубежным моделям вырваться вперёд. В то же время, когда появляются новые возможности, важно, чтобы правительство США заранее располагало знаниями и ресурсами для укрепления критических систем и, возможно, некоторое время имело преимущество в использовании передовых систем.
Выше я предложил модель сотрудничества, основанную на передаче промежуточных контрольных точек обучения и предоставлении технических специалистов. Учитывая динамичность и конкурентность сферы ИИ, я считаю, что тесное проактивное сотрудничество между передовыми лабораториями и правительством будет продуктивнее жёсткого процесса с одинаковым графиком проверок во всех случаях. В некоторых ситуациях американские лаборатории могут увеличить отрыв больше чем на несколько месяцев, и дополнительное время на снижение новых рисков может привести к более безопасным решениям. В других случаях задержка выпуска хотя бы на месяц может лишить Америку лидерства и привести к худшим результатам. Обеспечив правительству ранний доступ, мы сможем укреплять национальную безопасность, сводя к минимуму задержки публичных выпусков.
Также важно, чтобы США и их союзники лидировали в экосистеме ИИ с открытым исходным кодом, которая будет составлять значительную долю мирового использования ИИ.
Зарубежные лаборатории сейчас имеют здесь несколько преимуществ, поскольку американские лаборатории обязаны соблюдать гораздо больше ограничений в отношении данных для обучения. Политика США должна уменьшить это дополнительное трение, если мы хотим, чтобы американские открытые модели со временем стали лидерами. Я не считаю ограничение доступа к зарубежным открытым моделям эффективным решением. Наша цель должна заключаться в том, чтобы американские открытые модели были лучшими в мире. Для этого необходимо устранить препятствия, которые мешают американским открытым моделям конкурировать. Ограничение возможности людей и компаний использовать ведущие открытые модели, независимо от того, откуда они происходят, снизит качество доступного им ИИ и приведёт к централизации ИИ вместо передачи большей власти в руки людей.
Чтобы США лидировали в сфере открытого исходного кода, нам потребуется пересмотреть политику в нескольких областях, включая дистилляцию и использование данных при обучении. Способность моделей учиться у других моделей является важным принципом работы экосистемы открытого исходного кода. Все модели ИИ происходят из человеческих знаний. Некоторые пытались представить дистилляцию как нечто вредное, но я считаю важным защищать принцип, согласно которому можно учиться у всего, что можно наблюдать. Так устроен мир, и США не смогут лидировать, если будут ограничивать себя в этом отношении.
Если смотреть на общую картину, отставание в сфере ИИ почти наверняка станет более крупной и долгосрочной проблемой национальной безопасности, чем любая конкретная проблема, с которой мы столкнёмся при его разработке.
При правильном сотрудничестве Америка сможет лидировать и в частном, и в государственном секторе, предоставляя всему миру персональный сверхинтеллект, воплощающий расширение возможностей человека и демократические принципы, и одновременно укрепляя национальную безопасность.
Согласование с людьми и решение проблемы экзистенциального риска
Главный вопрос баланса сил заключается в том, как человечество сохранит власть и контроль над самим ИИ. Опасение состоит в том, что ИИ может получить достаточно власти или контроля, чтобы в лучшем случае перестать служить интересам человечества, а в худшем поставить человечество под угрозу.
Здоровый баланс сил означает отсутствие единого централизованного сверхинтеллекта. Вместо него как можно больше людей и компаний должны располагать различными сверхинтеллектуальными агентами, согласованными с их целями, которые сдерживают друг друга и конкурируют между собой так же, как действует наша естественная экономика. Этот баланс станет ещё сильнее, если будет существовать несколько передовых лабораторий, модели которых воплощают разные ценности и также могут сдерживать друг друга.
Хотя выпуск мощных моделей связан с рисками, самым опасным сценарием с этой точки зрения станет ситуация, в которой ведущие ИИ-лаборатории обучают мощные модели и оставляют их у себя. Как бы лаборатория ни оправдывала это ответственностью и безопасностью, такой путь ведёт к созданию единого сверхинтеллекта, который невозможно сдержать другими системами.
Создание персональных агентов требует нового взгляда на согласование. Сегодня большинство лабораторий рассматривает согласование как защитную меру для обеспечения централизованного набора ценностей. Например, одна ведущая модель была согласована так, что отказалась помочь написать письмо потенциальным родителям учеников школы, поскольку сочла стандартизированное тестирование неэтичным.
Мы же рассматриваем согласование как обеспечение того, чтобы агенты разделяли цели и ценности человека, а не нашей компании. Разумеется, существуют важные правовые ограничения и ограничения безопасности, но в основе своей согласование должно помогать людям следовать множеству разнообразных целей и взглядов, существующих в обществе, а не быть способом навязывания централизованной догмы.
На практике люди не станут пользоваться агентами, если не смогут доверить им конфиденциальные сведения и задачи. Они не будут им доверять, если агенты действуют против интересов людей, потому что согласованы с отличающимися ценностями компании.
Решение проблемы согласования необходимо, чтобы миллиарды людей могли начать пользоваться персональными сверхинтеллектуальными агентами. Но из этого также следует, что, если мы достигнем состояния, в котором миллиарды людей используют и внимательно проверяют персональных сверхинтеллектуальных агентов, мы уже решим задачу согласования с интересами отдельных людей. Этого должно быть достаточно для установления необходимого баланса сил и естественной системы сдержек и противовесов ради позитивного и безопасного будущего.
Таким образом, согласование не является некой идеализированной технологией, способной в будущем сохранять благожелательность единого сверхинтеллекта. Это то, что делает персональных агентов полезными и заслуживающими доверия и создаёт необходимый общественный баланс сил, который действительно обеспечит нашу безопасность.
Сохранение контроля над сверхинтеллектом
Существует дилемма: как только системы ИИ смогут автономно совершенствовать себя, любая лаборатория, которая не позволит своей системе ИИ направлять значительную долю вычислительных мощностей на рекурсивное самосовершенствование, неизбежно начнёт отставать. Например, если самосовершенствующаяся система ИИ сосредоточится на оптимизации эффективности вычислений, теоретически она сможет изобрести способы извлекать в сто раз больше интеллекта из каждого гигаватта. Это означает, что самосовершенствующаяся система ИИ, работающая на небольшой доле мировых вычислительных ресурсов, потенциально сможет располагать большим объёмом эффективных вычислений и интеллекта, чем все остальные вместе взятые, получить превосходящий баланс сил и превратиться в тот единый сверхинтеллект, которого мы опасаемся.
Есть несколько способов, при которых баланс сил может существовать в условиях рекурсивного самосовершенствования. Самый простой заключается в том, что несколько лабораторий могут достичь рекурсивного самосовершенствования примерно одновременно. Если некоторые или все эти сверхинтеллекты каким-то образом окажутся благожелательными, они смогут сдерживать и уравновешивать друг друга. При этом неясно, существует ли вообще какой-то способ ожидать благожелательности или полагаться на то, что не управляемый людьми сверхинтеллект обеспечит позитивное будущее.
Чтобы люди сохраняли контроль, значительное большинство интеллекта должно направляться людьми на достижение человеческих целей. Это означает, что Meta, другие передовые лаборатории и облачные платформы, стремящиеся укреплять баланс сил в пользу людей, должны совместно создать достаточно большой объём вычислительных ресурсов. Тогда мы сможем выделять достаточно мощностей на рекурсивное самосовершенствование, чтобы оставаться конкурентоспособными, и при этом по-прежнему направлять значительное большинство ресурсов на индивидуальные цели людей.
Как обсуждалось выше, чтобы миллиарды людей приняли персональных сверхинтеллектуальных агентов и доверяли им, нам по определению придётся решить задачу согласования с интересами людей и создать систему сдержек и противовесов в большом масштабе. В то же время любой ИИ, занимающийся рекурсивным самосовершенствованием, по определению направляет и продвигает собственные цели. Все лаборатории должны внимательно следить за его задачами и нашей способностью его контролировать. Если появятся любые признаки вредоносного поведения, мы должны совместно действовать и соответствующим образом корректировать подход. Но сам по себе факт, что система ИИ или кто-либо ещё следует собственным целям, не обязательно является вредным, даже если эти цели не полностью согласованы с интересами многих людей, при условии что мы сохраняем общий баланс сил в пользу людей. Основная предпосылка теории баланса сил заключается в том, что конкурирующие интересы естественны, а единственный способ обеспечить соблюдение человеческих ценностей состоит в том, чтобы дать людям больше власти.
Эта философия расширения личных возможностей, изобретательства и баланса сил имеет несколько последствий для государственной политики:
- В Meta мы сосредоточим усилия на предоставлении персонального сверхинтеллекта миллиардам людей и малых компаний, чтобы помочь каждому достигать своих целей и изобретать то, что он хочет видеть в мире. Мы будем делать это, обучая ведущие модели и затем обеспечивая максимальную доступность технологии: делая её простой в использовании, предлагая её бесплатно или по максимально доступной цене, создавая достаточный объём вычислительных ресурсов для всех людей и широко распространяя её. Мы создадим полностью приватный режим, в котором даже Meta не сможет видеть вашу информацию или предоставлять к ней доступ. Мы уделим особое внимание согласованию, определяемому как помощь каждому человеку в достижении его целей, а не наших.
- Открытый исходный код является позитивной и важной силой, расширяющей возможности людей и предотвращающей централизацию, которая вредит и безопасности, и экономике. Meta продолжает решительно поддерживать открытый исходный код, включая модели ИИ с открытым исходным кодом. Нынешняя открытая экосистема сильна, и мы считаем, что ограничивать её было бы ошибкой. Теперь, когда Meta Superintelligence Labs начала работу, мы вскоре возобновим выпуск некоторых открытых моделей.
- Независимое управление и надзор важны, учитывая высокую значимость решений, связанных со сверхинтеллектом. Я не считаю, что в моих интересах, интересах Meta или мира было бы правильно, если бы я или кто-либо другой единолично решал, как развёртывать сверхинтеллект. Поэтому Meta внедряет структуру управления, которая наделяет наш независимый совет директоров полномочиями утверждать критерии безопасности выпуска моделей и проверять соответствие каждого выпуска этим критериям. Хотя Meta является компанией, контролируемой основателем, руководители всех передовых лабораторий сегодня обладают широкими полномочиями в отношении выпуска моделей, поэтому мы призываем других внедрять похожие структуры. Я также считаю полезной подобную общеотраслевую процедуру для управления всей отраслью.
- Государственная политика необходима для обеспечения позитивного будущего и снижения рисков, рассмотренных выше. В этом тексте я изложил несколько рекомендаций для государственной политики. В целом мы должны поощрять тесное сотрудничество между передовыми лабораториями и правительством. Для национальной безопасности важно, чтобы у государства были технические ресурсы для укрепления критически важных систем и эффективного использования передовых моделей. Но для национальной безопасности также важно, чтобы американская индустрия ИИ продолжала лидировать. Мы должны ускорить создание инфраструктуры, будь то энергетика, центры обработки данных или микросхемы, и укреплять доверие и согласованность с сообществами по всей стране. Мы должны быть осторожны и не замедлять конкурентоспособность Америки. Мы должны скептически относиться к любым предложениям, которые ведут к централизации сверхинтеллекта, и поддерживать политику, способствующую здоровому балансу сил в пользу людей.
Мы живём в невероятное время. Разработка сверхинтеллекта станет самым глубоким технологическим достижением, которое мы увидим за свою жизнь.
По мере того как мы приближаемся к этому моменту, становится всё важнее иметь ясную философию и ценности, определяющие, как сверхинтеллект принесёт пользу человечеству. Meta стремится строить будущее на принципах расширения возможностей человека как источника процветания, изобретательства как цели ИИ и баланса сил в пользу людей как основы для решения проблем безопасности.
Если эти ценности будут определять путь, я с оптимизмом смотрю на то, что ближайшие десятилетия станут одними из самых удивительных в истории. Ход развития человеческой цивилизации был направлен на передачу людям всё большей власти, чтобы они могли жить и формировать мир так, как считают правильным. Сверхинтеллект обещает дать эту власть каждому и построить позитивное будущее для всех.
Марк
10 августа 2026 года