В 2023 году я поставил, что >70%, что ИИ получит золотую медаль на международной олимпиаде по математике до 2027 года (и >90%, что до 2029 и >37%, что в этом году). В последний год было довольно очевидно, что в этом году должны получить, и цены на рынках предсказаний (в районе 25%) были совсем абсурдными.

Модель OpenAI сегодня получила золотую медаль на IMO.

Грустно продолжать наблюдать, как предсказания сбываются: к сожалению, ещё одно предсказание, в котором больше, чем на 70% уверен — что ИИ буквально убьёт всех на планете.

16 сентября у Элиезера Юдковского выходит новая книга!

О книге уже положительно отозвались крупные учёные (от самого высокоцитируемого живущего учёного и лауреата премии Тьюринга Йошуа Бенжио до Нобелевского лауреата по экономике Бена Бернанке), профессора компьютерных наук и информационной безопасности, бывший промежуточный CEO OpenAI и какое-то число известных людей (от Стивена Фрая до Grimes).

Макс Тегмарк (профессор физики из MIT) назвал эту книгу самой важной книгой десятилетия.

В отличие от известного многим вам фанфика, эта книга — нон-фикшн (и написана в соавторстве с президентом MIRI Нейтом Соаресом). Она называется "If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All" и рассказывает о проблеме, над которой Юдковский стал работать за десять лет до начала написания ГПиМРМ.

К сожалению, название книги — не преувеличение, а точное описание ситуации, в которой находится человечество. Книга подробно объясняет, почему из-за того, как устроены современные ИИ, какой уровень контроля мы имеем над их внутренним устройством и какой уровень контроля будем иметь над их целями, когда эти системы станут сверхчеловеческими, все на планете буквально умрут, если искусственный суперинтеллект будет создан в условиях и с технологиями, подобными текущим.

Юдковский с соавтором выпускают книгу через традиционное издательство, потому что надеются так достичь аудиторию, обычно недоступную постам в блогах и статьям в научных журналах. Цель — не заработать на продажах: они потратят на книгу гораздо больше своих авторских гонораров.

У книги уже больше 5 000 предзаказов; вероятно, она попадёт в список бестселлеров New York Times. Но чтобы попасть на первые строчки списка и получить максимально широкое освещение, нужно 20-25 000 проданных копий за неделю. (Предзаказы считаются продажами в первую неделю.)

Поэтому огромная просьба: если у вас есть возможность заказать книжку, сделайте это. Особенно если Юдковский был вам больше, чем на тридцать долларов полезен: заказ книги сейчас очень поможет.

Со мной ещё до выхода поделились черновиком; книга ещё и очень хорошо написана и убедительно и корректно рассказывает о самой важной (на мой взгляд и на взгляд авторов) из стоящих перед человечеством проблем.

Сделать предзаказ на Amazon: amzn.to/4pnKLAW

Если вы в России, воспользуйтесь любой из служб доставки, которые пересылают посылки от Amazon. Мы собрали несколько способов в этом гугл-доке. (Если можете порекомендовать другие способы, посоветуйте в комментариях!).

Если вы в других странах вне Штатов, по ссылке может быть доступна только версия в мягкой обложке — paperback. Найдите местную версию книги через поиск или в книжных вашей страны.

На русском книга выйдет в следующем году в Corpus. Но огромная просьба попытаться сделать предзаказ на английском. Это действительно очень помогло бы.

Книга выходит уже завтра!

Если вы в России, собрали способы заказать книжку с Amazon: через СДЭК, Бандерольку и другие сервисы

В феврале 2024 года нам удалось получить, переправить за границу и передать лаборатории одной из западных стран биологические материалы Алексея. Несколько месяцев назад я узнала, что результаты получены, и уже две лаборатории двух стран независимо друг от друга пришли к выводу, что Алексей был отравлен.

А дальше — я не знаю, что делать.

Гражданин России убит. Убит на территории России.
Вся доказательная база тоже находится там.
Никаких юридических оснований возбуждать и вести уголовное дело у западных стран нет.

А еще есть политические соображения.
Всегда находится куча причин, почему не опубликовать эту информацию. Не хочется, чтобы неудобная правда вылезла в неподходящий момент. Поэтому официальных результатов, где написано, каким именно ядом он был отравлен, мы получить не можем.

Но мы все заслуживаем эту правду знать. Я требую, чтобы результаты исследований того, чем именно был отравлен мой муж, Алексей Навальный, были раскрыты. Я требую это для себя, для наших детей, для родителей Алексея, для наших сторонников в России, и для всех людей во всем мире, которые борются за свободу, и справедливость.

Поделитесь, пожалуйста, этим видео. Мне очень важно, чтобы его посмотрело как можно больше людей.

Рынки дают 98%, что новая книга Юдковского — бестселлер NYT!

Бестселлер New York Times.

#7 в Combined Print & E-Book Nonfiction.
#8 в Hardcover Nonfiction.

Хороший подкаст Фонда Карнеги с Нейтом Соаресом:
https://www.youtube.com/watch?v=TSfWqp6djck

Прогнозы ai-2027.com пока что сбываются.

Цифры спустя пять лет оказались немного неправильные: GPT-5, не GPT-4, может доказывать простые, но новые математические теоремы.

В остальном, да, мы уже на уровне систем, которые могут решать математику исследовательского уровня.

Прочитал какое-то время назад книгу Юдковского и Соареса "If Anyone Builds It, Everyone Dies: The Case Against Superintelligent AI" (https://t.me/gonzo_ML/4030), вот добрался написать.

Нормальная книга в целом.

Состоит из трёх частей:
1. Nonhuman minds
2. One extinction scenario
3. Facing the challenge

Первая часть про то, что современный AI уже трудно понять (по факту невозможно, наши достижения в интерпретируемости пока даже не детские), что он скорее выращивается, чем программируется, что у него могут быть свои преференции и целе-подобные поведения (даже если он сделан чтобы играть в условные шахматы, у него уже есть цель -- победить), что цели эти даже если заданы на довольно низком техническом уровне всё равно могут достигаться очень странными нечеловеческими способами, и что более способные системы будущего в этом ещё более преуспеют -- нельзя ожидать, что у них будет человеческая психология и мы их будем прекрасно понимать. Не будем.

Часть про возникновение целей для меня наименее понятная, но с другой стороны даже LLM (про которые нет речи, что это и есть тот самый суперинтеллект) уже демонстрируют какие-то подобные поведения, которые напрямую в них заложены не были. Наши собственные желания и предпочтения порой очень далеки от каких-то базовых биологических механизмов, из которых они выросли -- гэп между эволюционным предпочтением к сладкой и жирной пище и полками с мороженым или coke zero в супермаркете довольно велик (и это уже своего рода reward hacking). Предпочтения, возникшие в результате полового отбора, могут быть ещё более странными. В выращивании интеллектуальных систем (градиентный спуск в этом месте не сильно отличается от эволюции, да и та тоже может использоваться) могут получиться не менее странные результаты.

Когда появится суперинтеллект (а цель всего направления ИИ ведь именно такая, опрос здесь в канале также показывает, что большинство ответивших не видят никакого физического запрета на появление интеллекта в машине и более половины считают, что в будущем суперинтеллект появится https://t.me/gonzo_ML/4088), когда и если он обретёт достаточно влияния (непонятно, почему он не сможет этого сделать?), то с какой стати он как-то особенно будет заботиться о людях? Вся история биосферы, вся история людей практически говорит об обратном -- когда-то давно микроорганизмы отравили атмосферу кислородом, "продвинутые" цивилизации выкосили кучу других цивилизаций, которые они считали "менее продвинутыми", и прямо сейчас продолжают воевать и засирать планету.

ИИ не обязательно должен быть зловредным аки терминатор, но преференции и цели у искусственного интеллекта будут свои и странные, инопланетные, как-то повлиять на них и тем более заложить свои мы не знаем как, нет ни одного нормального рецепта. Все технооптимисты, говорящие, что сверхинтеллект будет делать то, что мы в него заложим, не могут подкрепить свои слова никаким рецептом за пределами wishful thinking. Надежды на то, что ASI будет высокоморальным, добрым и хорошим (что бы это ни значило) и заботиться о всём живом -- это хорошие надежды, я сам хотел бы жить в таком мире (дьявол в деталях), но опять же, подкрепить это нечем кроме как wishful thinking.

Такой вот статус кво.

Вторая часть книги -- микро фантастический рассказ про один из вариантов, как могло бы случиться (но скорее всего случится иначе). Похоже, кстати, на книгу Avogadro Corp от William Hertling. Норм рассказ.

Третья часть книги про челлендж как таковой. Сверхинтеллект это задача, в которой нет места для ошибки -- если сделаем не так, второго шанса может и не быть. Даже если у нас есть рецепт такого ИИ, что будет благожелателен и строго с нашими ценностями (что отдельный вопрос, что это за ценности такие, которые мы сами так себе соблюдаем), то даже его надо имплементировать без ошибок, а мы так не умеем, вся область cybersecurity подтверждает. Эта часть начинается со сравнения с другими проблемами, где на ошибку места не было -- запуск космических проб, ядерная энергетика, компьютерная безопасность -- накосячили везде и неоднократно.

Заявление, подписанное пятью Нобелевскими лауреатами; >150 профессорами; экспертами национальной безопасности; бывшими сотрудниками Белого дома при Обаме и Трампе; бывшими членами Конгресса; членами британского парламента, бывшими министрами правительства, принцом; бывшей президенткой Ирландии; членами Европарламента; руководителями университетов; несколькими сотрудниками OpenAI, Anthropic, Google DeepMind:

Мы призываем к запрету разработки суперинтеллекта, который не должен быть снят, пока не будут достигнуты:
- широкий научный консенсус, что она будет безопасной и контролируемой; и
- сильной поддержки со стороны общества.

(Тоже подписал, несмотря на то, что считаю, что отсутствие сильного согласия со стороны общества само по себе не должно быть релевантным в этом вопросе.)

https://superintelligence-statement.org/

«Как именно ИИ всех убьёт?»

Это довольно частый вопрос. Настоящий ответ — что это не важно: результат — что ИИ, обученный выигрывать, достигающий своих целей лучше, чем это делают люди, выиграет — предсказать гораздо проще конкретного пути; как предсказать, что Stockfish выиграет партию против человека гораздо проще, чем предсказать конкретные ходы.

Тем не менее, If Anyone Builds It, Everyone Dies описывает один из возможных сценариев. Хорошее видео, визуализирующее этот сценарий: https://youtu.be/D8RtMHuFsUw

46 000 человек подписали это заявление.

Тем временем Йошуа Бенжио — подписант этого заявления, один из «крёстных отцов» современного машинного обучения и один из людей, рекомендующих книгу Юдковского — первый учёный в истории человечества, перешедший порог в миллион цитирований.

Вы находитесь здесь:

(модели понимают, что их тестируют на алайнмент)

"Sonnet 4.5’s frequent evaluation gaming undermines the bottom line conclusion that it is better behaved than prior Anthropic models in the synthetic honeypot evaluation. When Sonnet 4.5’s internal features are inhibited such that this sometimes results in 0% verbalized eval awareness (same as Sonnet 4), it misbehaves up to 9% of the time on this evaluation while Sonnet 4 misbehaves somewhat over 10%. Since reducing verbalized eval awareness to 0% still may not fully eliminate Sonnet 4.5’s evaluation awareness, this result is consistent with Sonnet 4.5’s “genuine misaligned behavior rate” (if we magically removed all evaluation awareness) being above 10%, i.e. comparable or worse than Sonnet 4. This makes it plausible that the main reason why Sonnet 4.5 behaves “better" on these synthetic honeypot evals than Sonnet 4 is because it's much more likely to evaluation game."

source

Написал пост о своём умном доме (превратить свой в такой же очень дёшево и безопасно!)

https://mikhailsamin.substack.com/p/smart-home

Написал довольно важный пост об Anthropic: компании, начавшейся, как “AI safety lab” на деньги эффективных альтруистов и долгое время притворяющейся заботящейся об экзистенциальном риске, но с тех пор превратившийся в стоящего $350 миллиардов почти что клона OpenAI.

Её CEO, Дарио Амодей, говорит, что вероятность экзистенциальной катастрофы — 10-25%. Сотни человек работают в Anthropic, потому что считают, что эта компания — самая ответственная из существующих и помощь ей выиграть гонку увеличивает шанс положительных исходов.

К сожалению, текущих и потенциальных сотрудников годами вводят в заблуждение.

За закрытыми дверьми с политиками, представители Anthropic говорят то же самое, что представители OpenAI и делают прямо противоположение тому, что можно было бы ожидать от компании, которая притворяется честной и принципиальной.

Один из сооснователей, ставший долларовым миллиардером благодаря доли в компании — Джек Кларк. Он руководит взаимодействием компании с законодательными органами и правительствами. Он публично врал о Нью-Йоркском RAISE Act: законопроекте, который сейчас ждёт подписи губернатора Нью-Йорка и обязал бы компании, разрабатывающие передовые системы ИИ выполнять минимальные требования о безопасности и о разглашении инцидентов правительству. В посте рассказываю об одном случае, когда он за закрытыми дверьми продвигал члену Конгресса идею запрета на регулирование ИИ на уровне отдельных штатов.

Есть и другие примеры, где компания лоббирует против любого регулирования ИИ, несмотря на то, что раньше, на словах, предлагаемые меры, против которых лоббирует, поддерживала.

У компании есть и другие довольно абсурдные качества.

От нарушения руководством данных обещаний до того, что, пока об этом не стало публично известно, сотрудники компании при увольнении должны были подписывать соглашения о том, что не будут негативно высказываться о компании и не разглашать факт этого соглашения. (И когда об этом стало известно, другой сооснователь компании врал в комментариях на LessWrong о деталях.)

К сожалению, нет ни одной компании, стремящейся создать сильный ИИ, за которой не было бы истории вранья, беспринципности и нарушения обещаний.

У меня есть надежда, что в Anthropic, из-за довольно уникальной внутренней культуры, в результате давления сотрудников из-за этого поста может что-то поменяться (и пока ничего не меняется, я надеюсь, что кого-то пост может побудить уволиться из Anthropic или не устраиваться туда.)

Если интересно увидеть больше деталей, прочитайте пост.

На LessWrong: https://www.lesswrong.com/posts/5aKRshJzhojqfbRyo/unless-its-governance-changes-anthropic-is-untrustworthy

На собственном сайте: https://anthropic.ml