Бестселлер New York Times.

#7 в Combined Print & E-Book Nonfiction.
#8 в Hardcover Nonfiction.

Хороший подкаст Фонда Карнеги с Нейтом Соаресом:
https://www.youtube.com/watch?v=TSfWqp6djck

Прогнозы ai-2027.com пока что сбываются.

Цифры спустя пять лет оказались немного неправильные: GPT-5, не GPT-4, может доказывать простые, но новые математические теоремы.

В остальном, да, мы уже на уровне систем, которые могут решать математику исследовательского уровня.

Прочитал какое-то время назад книгу Юдковского и Соареса "If Anyone Builds It, Everyone Dies: The Case Against Superintelligent AI" (https://t.me/gonzo_ML/4030), вот добрался написать.

Нормальная книга в целом.

Состоит из трёх частей:
1. Nonhuman minds
2. One extinction scenario
3. Facing the challenge

Первая часть про то, что современный AI уже трудно понять (по факту невозможно, наши достижения в интерпретируемости пока даже не детские), что он скорее выращивается, чем программируется, что у него могут быть свои преференции и целе-подобные поведения (даже если он сделан чтобы играть в условные шахматы, у него уже есть цель -- победить), что цели эти даже если заданы на довольно низком техническом уровне всё равно могут достигаться очень странными нечеловеческими способами, и что более способные системы будущего в этом ещё более преуспеют -- нельзя ожидать, что у них будет человеческая психология и мы их будем прекрасно понимать. Не будем.

Часть про возникновение целей для меня наименее понятная, но с другой стороны даже LLM (про которые нет речи, что это и есть тот самый суперинтеллект) уже демонстрируют какие-то подобные поведения, которые напрямую в них заложены не были. Наши собственные желания и предпочтения порой очень далеки от каких-то базовых биологических механизмов, из которых они выросли -- гэп между эволюционным предпочтением к сладкой и жирной пище и полками с мороженым или coke zero в супермаркете довольно велик (и это уже своего рода reward hacking). Предпочтения, возникшие в результате полового отбора, могут быть ещё более странными. В выращивании интеллектуальных систем (градиентный спуск в этом месте не сильно отличается от эволюции, да и та тоже может использоваться) могут получиться не менее странные результаты.

Когда появится суперинтеллект (а цель всего направления ИИ ведь именно такая, опрос здесь в канале также показывает, что большинство ответивших не видят никакого физического запрета на появление интеллекта в машине и более половины считают, что в будущем суперинтеллект появится https://t.me/gonzo_ML/4088), когда и если он обретёт достаточно влияния (непонятно, почему он не сможет этого сделать?), то с какой стати он как-то особенно будет заботиться о людях? Вся история биосферы, вся история людей практически говорит об обратном -- когда-то давно микроорганизмы отравили атмосферу кислородом, "продвинутые" цивилизации выкосили кучу других цивилизаций, которые они считали "менее продвинутыми", и прямо сейчас продолжают воевать и засирать планету.

ИИ не обязательно должен быть зловредным аки терминатор, но преференции и цели у искусственного интеллекта будут свои и странные, инопланетные, как-то повлиять на них и тем более заложить свои мы не знаем как, нет ни одного нормального рецепта. Все технооптимисты, говорящие, что сверхинтеллект будет делать то, что мы в него заложим, не могут подкрепить свои слова никаким рецептом за пределами wishful thinking. Надежды на то, что ASI будет высокоморальным, добрым и хорошим (что бы это ни значило) и заботиться о всём живом -- это хорошие надежды, я сам хотел бы жить в таком мире (дьявол в деталях), но опять же, подкрепить это нечем кроме как wishful thinking.

Такой вот статус кво.

Вторая часть книги -- микро фантастический рассказ про один из вариантов, как могло бы случиться (но скорее всего случится иначе). Похоже, кстати, на книгу Avogadro Corp от William Hertling. Норм рассказ.

Третья часть книги про челлендж как таковой. Сверхинтеллект это задача, в которой нет места для ошибки -- если сделаем не так, второго шанса может и не быть. Даже если у нас есть рецепт такого ИИ, что будет благожелателен и строго с нашими ценностями (что отдельный вопрос, что это за ценности такие, которые мы сами так себе соблюдаем), то даже его надо имплементировать без ошибок, а мы так не умеем, вся область cybersecurity подтверждает. Эта часть начинается со сравнения с другими проблемами, где на ошибку места не было -- запуск космических проб, ядерная энергетика, компьютерная безопасность -- накосячили везде и неоднократно.

Заявление, подписанное пятью Нобелевскими лауреатами; >150 профессорами; экспертами национальной безопасности; бывшими сотрудниками Белого дома при Обаме и Трампе; бывшими членами Конгресса; членами британского парламента, бывшими министрами правительства, принцом; бывшей президенткой Ирландии; членами Европарламента; руководителями университетов; несколькими сотрудниками OpenAI, Anthropic, Google DeepMind:

Мы призываем к запрету разработки суперинтеллекта, который не должен быть снят, пока не будут достигнуты:
- широкий научный консенсус, что она будет безопасной и контролируемой; и
- сильной поддержки со стороны общества.

(Тоже подписал, несмотря на то, что считаю, что отсутствие сильного согласия со стороны общества само по себе не должно быть релевантным в этом вопросе.)

https://superintelligence-statement.org/

«Как именно ИИ всех убьёт?»

Это довольно частый вопрос. Настоящий ответ — что это не важно: результат — что ИИ, обученный выигрывать, достигающий своих целей лучше, чем это делают люди, выиграет — предсказать гораздо проще конкретного пути; как предсказать, что Stockfish выиграет партию против человека гораздо проще, чем предсказать конкретные ходы.

Тем не менее, If Anyone Builds It, Everyone Dies описывает один из возможных сценариев. Хорошее видео, визуализирующее этот сценарий: https://youtu.be/D8RtMHuFsUw