Вышла вторая часть, о желательных побочных эффектах.

https://youtu.be/9SmY5dkCB_k

Там упоминается статья 80,000 Часов о работах в области безопасности ИИ. Её как раз позавчера обновили — https://80000hours.org/problem-profiles/artificial-intelligence/

I've taken the Giving What We Can pledge to donate at least 10% of my income for the rest of my life or until I retire to the organizations that can use it most effectively to improve the lives of others.

We live in a world so broken that not only do suffering and deaths exist, but it costs only $5000 to save an invaluable life; a world about to lose its unimaginably vast and valuable potential future, with almost no effort made towards safeguarding it.

Individual donations are likely insufficient to fix this. One can make much more impact by directly working on the world's most pressing problems (see 80,000 Hours). Still, donations can save lives, reduce suffering, and, at least marginally, improve humanity's chances.

I'm incredibly privileged to have been able in the last couple of years to donate more than $72k to the charities I believe can do the most good. (>$50k, including $20k donated today, to MIRI and the rest mainly to GiveWell recommended orgs).

I intend to continue donating and doing the work that I find the most impactful to focus on. Taking that pledge doesn't change my future actions much, but perhaps it might encourage more people to consider doing more good with the resources they have.

(Простите за язык)

На моей видеоаватарке меня задерживают у здания ФСБ при попытке стать в пикет. На рюкзаке — «Свободу Ивану Сафронову». Два года заключения спустя, обвинение запросило ему 24 года колонии.

«Проект» добыли обвинительное заключение и написали об абсурдности и безосновательности обвинений. Все «секретные» данные, в передаче которых обвиняют Сафронова, были ранее доступны в интернете — в том числе, опубликованы на ресурсах свидетелей/экспертов обвинения. Прочитайте их материал

https://www.proekt.media/narrative/delo-ivana-safronova/

В июле в Кочерге проходило Летнее солнцестояние. Коротко рассказал там, что проблемой алайнмента действительно можно и стоит взять и заняться. Особенно если вы математик или у вас есть бэкграунд в ML/computer science.

Записывали из зума, так что немного подлагивает, но посмотрите!

Отредактировали аудиоверсию, вырезали 10 минут, слушать теперь должно быть гораздо приятнее!

Google Podcasts | Spotify | Apple | Другие площадки

Мемориалу дали Нобелевскую премию мира ❤️! Продолжаю бесконечно ими восхищаться и очень рад и поздравляю!

https://habr.com/ru/post/711928/

За последний месяц, вручили победителям олимпиад больше пяти сотен экземпляров.

Если подходите под критерии, заполните форму на гпмрм.рф/olymp

Как я писал, форкастеры на Metaculus недооценили возможность новых скачков. Медиана даты weak AGI на Metaculus опустилась до 2025 — по лучшей существующей оценке, вместо десяти лет осталось два с половиной года.

(В мае прошлого года я предсказал там 2026 и заморозил возможность изменять предсказания, чтобы получить доступ к оценке алгоритмами Метакулуса. Пару недель назад медиана сообщества в этом вопросе впервые опустилась ниже моей.)

Никто всё ещё не знает, как решить проблему алайнмента и предотвратить уничтожение человечества.

Я не думаю, что посты тут что-то изменят, но делиться происходящим и пытаться, наверное, стоит: слишком многое на весах.

Не то чтобы эта проблема вне мейнстрима.

Часть людей, работающих в OpenAI, Anthropic, DeepMind понимают проблему. Общался с работающим там профессором computer science, думающим, что вероятность уничтожения человечества искусственным интеллектом — 80% (и оставшиеся 20 вытекают, прежде всего, из возможности координации человечества, которая дала бы несколько десятилетий); с работающими там ребятами, рассказывающими, что в их компаниях решения о релизе технологий принимаются раньше запланированного, потому что становится известно о разработке подобных технологий в других компаниях (даже если в других не планировалось делать релизы). Общался с Юдковским, который выглядит, как сдавшийся учёный из Don’t Look Up. Он действительно подумал вообще обо всём, что могло бы помочь, и не видит реалистичных идей, как за оставшееся время может найтись решение проблемы (зато видит причины, некоторые из которых независимо приводят к уничтожению человечества).

При этом в тех же компаниях есть сотни ML-инженеров, которые получают удовольствие от успехов обучения и из-за устройства фидбек-лупов даже не погружаются в проблему.

Почти половина из них всё равно считает (NYT), что вероятность уничтожения человечества ИИ — >10%. «Представьте вы готовитесь сесть в самолёт и 50% инженеров, которые его построили, говорят, есть десятипроцентный шанс, что он упадёт и всех убьёт», — говорят на NBC. «Несёмся ли мы к вызванной ИИ катастрофе?», — спрашивает Vox. Статью за статьёй пишут в TIME.

Билл Гейтс пишет, что ИИ — одна из двух технологий, демонстрации которых кажутся революционными; первой были графические интерфейсы. Он читал Superintelligence Ника Бострома и упоминает риски, но кажется, не понимает масштаб проблемы и насколько всё не под контролем.

Примерно во времена выхода книги Бострома, Стивен Хокинг говорил, что “The development of full artificial intelligence could spell the end of the human race”.

Илон Маск послушал в 2015 аргументы Юдковского и сделал ровно наоборот, основав OpenAI — компанию, из-за которой и из-за исходного подхода которой времени на решение проблемы осталось гораздо меньше.

Но это всё совсем не похоже на мир с шансом координации (например, в котором работники правительств внезапно вспоминают, что у них есть дети, для которых они хотят будущего, и начинают делать что-то разумное и работающее). Человечество провалило коронавирус, и даже не подготовилось достаточно к будущем пандемиям. В случае с ИИ, стимулы гораздо хуже устроены: пока самолёт не запущен и не рухнул, строительство всё более и более похожих на самолёт систем приносит больше и больше денег.

Есть десятки исследователей, занимающихся полезным рисёрчем в этой области (у которого не хватит времени, но нужно больше рук и попытаться стоит); есть десятки пытающихся наткнутся на что-то полезное или улучшить понимание проблемы, что неплохо, если только не сокращает таймлайны; и есть десятки ошибочно полагающих, что у их идей есть шансы решить проблему.

Этого всего совершенно недостаточно.

Я совершенно не удивлюсь, если в ближайшие 10 лет человечества — и всего того огромного будущего, что могло бы быть — не станет.

Вау, 23 🥳

“I think [superintelligent AI] is the single most likely reason that I will personally die.”

—Dr. Paul Christiano, PhD
Он — автор Deep Reinforcement Learning from Human Preferences (сейчас это называют RHLF), лежащего в основе ChatGPT и GPT-4.

Пол сейчас — пожалуй, основной оппонент Юдковского по многим вопросам. В большинстве из них позиция Элиезера мне ближе, но, тем не менее, это очень адекватная другая сторона и посмотреть подкаст с ним рекомендую:

https://youtu.be/GyFkWb903aU

Сходил на подкаст, поговорили о проблеме алайнмента.

Подкаст идёт час, можно смотреть на 2x.

-> https://youtu.be/X1B91PkXtFY


За час совершенно невозможно охватить значительную часть проблемы но может быть интересно. (Не обращайте внимания на заголовок 😅)

+ Подарим трёхтомник «Гарри Поттера и методов рационального мышления» за лучший вопрос или лучший контраргумент о проблеме в комментариях

United Nations Office for Disaster Risk Reduction:
“An existential risk is 1.9 to 14.3% likely this century”
“[A] key problem is the potential value misalignment of [transformative AI systems]. […] This alignment problem is a key issue for societal stability.”

Достаточно поверхностное описание проблемы алайнмента, но есть ссылки на Ника Бострома, Тоби Орда, Стюарта Расселла, и даже почему-то на concrete problems in ai safety.

Рад видеть движение в этом направлении.

https://www.undrr.org/media/86500/download?startDownload=true

OpenAI: "Given the risks and difficulties, it’s worth considering why we are building this technology at all.
... we believe it would be unintuitively risky and difficult to stop the creation of superintelligence. Because the upsides are so tremendous, the cost to build it decreases each year, the number of actors building it is rapidly increasing, and it’s inherently part of the technological path we are on, stopping it would require something like a global surveillance regime, and even that isn’t guaranteed to work. So we have to get it right."

https://openai.com/blog/governance-of-superintelligence

Движение в неплохом направлении, но, по сути, "Это совершенно внешняя сила, с которой мы ничего не можем сделать и никак не можем остановить", — говорят чуваки, которые стоят прямо перед тобой и строят эту штуку собственными руками (Connor Leahy)