Мемориалу дали Нобелевскую премию мира ❤️! Продолжаю бесконечно ими восхищаться и очень рад и поздравляю!

https://habr.com/ru/post/711928/

За последний месяц, вручили победителям олимпиад больше пяти сотен экземпляров.

Если подходите под критерии, заполните форму на гпмрм.рф/olymp

Как я писал, форкастеры на Metaculus недооценили возможность новых скачков. Медиана даты weak AGI на Metaculus опустилась до 2025 — по лучшей существующей оценке, вместо десяти лет осталось два с половиной года.

(В мае прошлого года я предсказал там 2026 и заморозил возможность изменять предсказания, чтобы получить доступ к оценке алгоритмами Метакулуса. Пару недель назад медиана сообщества в этом вопросе впервые опустилась ниже моей.)

Никто всё ещё не знает, как решить проблему алайнмента и предотвратить уничтожение человечества.

Я не думаю, что посты тут что-то изменят, но делиться происходящим и пытаться, наверное, стоит: слишком многое на весах.

Не то чтобы эта проблема вне мейнстрима.

Часть людей, работающих в OpenAI, Anthropic, DeepMind понимают проблему. Общался с работающим там профессором computer science, думающим, что вероятность уничтожения человечества искусственным интеллектом — 80% (и оставшиеся 20 вытекают, прежде всего, из возможности координации человечества, которая дала бы несколько десятилетий); с работающими там ребятами, рассказывающими, что в их компаниях решения о релизе технологий принимаются раньше запланированного, потому что становится известно о разработке подобных технологий в других компаниях (даже если в других не планировалось делать релизы). Общался с Юдковским, который выглядит, как сдавшийся учёный из Don’t Look Up. Он действительно подумал вообще обо всём, что могло бы помочь, и не видит реалистичных идей, как за оставшееся время может найтись решение проблемы (зато видит причины, некоторые из которых независимо приводят к уничтожению человечества).

При этом в тех же компаниях есть сотни ML-инженеров, которые получают удовольствие от успехов обучения и из-за устройства фидбек-лупов даже не погружаются в проблему.

Почти половина из них всё равно считает (NYT), что вероятность уничтожения человечества ИИ — >10%. «Представьте вы готовитесь сесть в самолёт и 50% инженеров, которые его построили, говорят, есть десятипроцентный шанс, что он упадёт и всех убьёт», — говорят на NBC. «Несёмся ли мы к вызванной ИИ катастрофе?», — спрашивает Vox. Статью за статьёй пишут в TIME.

Билл Гейтс пишет, что ИИ — одна из двух технологий, демонстрации которых кажутся революционными; первой были графические интерфейсы. Он читал Superintelligence Ника Бострома и упоминает риски, но кажется, не понимает масштаб проблемы и насколько всё не под контролем.

Примерно во времена выхода книги Бострома, Стивен Хокинг говорил, что “The development of full artificial intelligence could spell the end of the human race”.

Илон Маск послушал в 2015 аргументы Юдковского и сделал ровно наоборот, основав OpenAI — компанию, из-за которой и из-за исходного подхода которой времени на решение проблемы осталось гораздо меньше.

Но это всё совсем не похоже на мир с шансом координации (например, в котором работники правительств внезапно вспоминают, что у них есть дети, для которых они хотят будущего, и начинают делать что-то разумное и работающее). Человечество провалило коронавирус, и даже не подготовилось достаточно к будущем пандемиям. В случае с ИИ, стимулы гораздо хуже устроены: пока самолёт не запущен и не рухнул, строительство всё более и более похожих на самолёт систем приносит больше и больше денег.

Есть десятки исследователей, занимающихся полезным рисёрчем в этой области (у которого не хватит времени, но нужно больше рук и попытаться стоит); есть десятки пытающихся наткнутся на что-то полезное или улучшить понимание проблемы, что неплохо, если только не сокращает таймлайны; и есть десятки ошибочно полагающих, что у их идей есть шансы решить проблему.

Этого всего совершенно недостаточно.

Я совершенно не удивлюсь, если в ближайшие 10 лет человечества — и всего того огромного будущего, что могло бы быть — не станет.

Вау, 23 🥳

“I think [superintelligent AI] is the single most likely reason that I will personally die.”

—Dr. Paul Christiano, PhD
Он — автор Deep Reinforcement Learning from Human Preferences (сейчас это называют RHLF), лежащего в основе ChatGPT и GPT-4.

Пол сейчас — пожалуй, основной оппонент Юдковского по многим вопросам. В большинстве из них позиция Элиезера мне ближе, но, тем не менее, это очень адекватная другая сторона и посмотреть подкаст с ним рекомендую:

https://youtu.be/GyFkWb903aU

Сходил на подкаст, поговорили о проблеме алайнмента.

Подкаст идёт час, можно смотреть на 2x.

-> https://youtu.be/X1B91PkXtFY


За час совершенно невозможно охватить значительную часть проблемы но может быть интересно. (Не обращайте внимания на заголовок 😅)

+ Подарим трёхтомник «Гарри Поттера и методов рационального мышления» за лучший вопрос или лучший контраргумент о проблеме в комментариях

United Nations Office for Disaster Risk Reduction:
“An existential risk is 1.9 to 14.3% likely this century”
“[A] key problem is the potential value misalignment of [transformative AI systems]. […] This alignment problem is a key issue for societal stability.”

Достаточно поверхностное описание проблемы алайнмента, но есть ссылки на Ника Бострома, Тоби Орда, Стюарта Расселла, и даже почему-то на concrete problems in ai safety.

Рад видеть движение в этом направлении.

https://www.undrr.org/media/86500/download?startDownload=true

OpenAI: "Given the risks and difficulties, it’s worth considering why we are building this technology at all.
... we believe it would be unintuitively risky and difficult to stop the creation of superintelligence. Because the upsides are so tremendous, the cost to build it decreases each year, the number of actors building it is rapidly increasing, and it’s inherently part of the technological path we are on, stopping it would require something like a global surveillance regime, and even that isn’t guaranteed to work. So we have to get it right."

https://openai.com/blog/governance-of-superintelligence

Движение в неплохом направлении, но, по сути, "Это совершенно внешняя сила, с которой мы ничего не можем сделать и никак не можем остановить", — говорят чуваки, которые стоят прямо перед тобой и строят эту штуку собственными руками (Connor Leahy)

Nate Soares:

This is an occasional reminder that I think pushing the frontier of AI capabilities in the current paradigm is highly anti-social, and contributes significantly in expectation to the destruction of everything I know and love. To all doing that who read this: I request you stop.

(There's plenty of other similarly fun things you can do instead! Like trying to figure out how the heck modern AI systems work as well as they do, preferably with a cross-organization network of people who commit not to using their insights to push the capabilities frontier before they understand what the hell they're doing![1])

(I reiterate that this is not a request to stop indefinitely; I think building AGI eventually is imperative[2]; I just think literally every human will be killed at once if we build AGI before we understand what the hell we're doing.)

https://www.deepmind.com/blog/an-early-warning-system-for-novel-ai-risks

У DeepMind вышла статья о необходимости оценивать опасность моделей в соавторстве с OpenAI, Anthropic и Alignment Research Center

Ещё среди соавторов Yoshua Bengio — второй из трёх «крёстных отцов» искусственного интеллекта, топ-6 учёных мира по индексу Хирша за последние шесть лет. Он несколько дней назад опубликовал обзор риска — гораздо более аккуратный в формулировках, чем обычно используют в сообществе алайнмента, но интересно, как это начинают в меинстримном ML воспринимать
https://yoshuabengio.org/2023/05/22/how-rogue-ais-may-arise/

Statement on AI risk, подписанный руководителями OpenAI, Google DeepMind, Anthropic, тремя обладателями Премии Тьюринга и др.:

Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war.

https://www.safe.ai/statement-on-ai-risk

Обложка Time

https://time.com/6283609/artificial-intelligence-race-existential-threat/