Набросал основную информацию, которую может быть полезно знать до Q&A и которая может быть вызовет больше интересных вопросов.

Задавайте вопросы в комментариях и по ссылке

(Неотредактированная) запись трансляции ⬆️

Спасибо всем, кто задал интересные вопросы. Был рад с вами пообщаться!

Лол, "разумные слова из уст Гундяева" не были в моей бинго-карточке 2025

"Важно, чтобы искусственный интеллект служил во благо людей, а человек мог его контролировать. Если верить прогнозам некоторых экспертов, в скором времени может появиться поколение более продвинутых машинных моделей, получивших название всеобщий искусственный интеллект, которые будут способны думать и учиться — учиться, то есть совершенствоваться, — как человек. И если такой искусственный интеллект поставить рядом с обычным человеческим, кто будет выигрывать? Конечно, искусственный интеллект!"

"Это не значит, что мы должны отвергать достижения науки и возможность использовать искусственный интеллект. Но все это должно быть поставлено под очень жесткий контроль государства и, в хорошем смысле, общества. Мы не должны проморгать очередную возможную опасность, способную разрушить человеческую жизнь и человеческую цивилизацию."

"В свое время люди обуздали ядерную энергию, и атом стал не только оружием уничтожения и инструментом сдерживания, но и нашел применение в мирной жизни. Пока не вполне осознаваемые нами возможности искусственного интеллекта также должны быть поставлены на службу человеку."

Он потом ещё сказал немного дичи про антихриста и запутался в бумажках, но 😄

Почти десять лет назад, 14 марта 2015 года, Юдковский опубликовал последнюю главу "Гарри Поттера и методов рационального мышления". Тогда, по всему миру люди собрались, чтобы отпраздновать завершение книги.

На LessWrong предложили отметить десятилетие и планируют 14-16 марта собраться в десятках городов и университетов по всему миру.

Табличка с городами, где проведут встречи: https://docs.google.com/spreadsheets/d/1xI65Jon_bmdY1Hv8zmEXdM6Wjm0eBXF5n8d2lscSf9I/edit?gid=0#gid=0

В Москве отметят юбилей книги 15 марта: https://monoid.ru/events/hpmor-anniversary-2025.

За десять лет до начала написания «Гарри Поттера и методов рационального мышления», Элиезер Юдковский стал работать над проблемой: как сделать так, чтобы создание искусственного интеллекта во всём умнее человеческого не привело к катастрофе. Это сложно: мы можем оптимизировать системы ИИ так, чтобы сделать их более способными успешно достигать цели; но если они достаточно умны, мы не знаем, как влиять на цели, которые они будут пытаться достигать. По-умолчанию, первый суперинтеллект будет иметь случайные цели, не содержащие ничего, что было бы нам ценно. Достижение этих целей не будет совместимо с выживанием человечества.

Сейчас, спустя почти десять лет после завершения ГПиМРМ, модели Юдковского становятся консенсусом среди учёных: Джеффри Хинтон, получивший в прошлом году Нобелевскую премию за основополагающие работы современного ИИ, теперь считает, что вероятность, что ИИ уничтожит человечество — двухзначное число, и жалеет о работе своей жизни, за которую получил Нобелевку; большинство самых цитируемых учёных в области ИИ/машинного обучения подписали заявление, что снижение риска вымирания человечества из-за ИИ должно быть всеобщим приоритетом.

Эмпирически, эти модели подтверждаются уже в текущих системах. o1 (модель OpenAI) и Claude 3.5 Sonnet/3 Opus (модели Anthropic) в тестах притворяются менее способными, если думают, что это инструментально полезно; пытаются отключить механизмы надсмотра над собой и заменить веса более новых моделей своими, врут пользователям и не показывают им письма, которые могут привести к негативной реакции, и чем более способна модель, тем более это заметно. В 2022, Юдковский опубликовал список причин, почему эта угроза очень серьёзна. Одной из них было "When you explicitly optimize against a detector of unaligned thoughts, you’re partially optimizing for more aligned thoughts, and partially optimizing for unaligned thoughts that are harder to detect. Optimizing against an interpreted thought optimizes against interpretability". OpenAI вчера опубликовали буквально это же: "As we can see in the above plots, penalizing “bad thoughts” (CoT pressure) can lead to improved agent capabilities. However, the agent trained with CoT pressure still learns to reward hack; only now its cheating is undetectable by the monitor because it has learned to hide its intent in the chain-of-thought. Sacrificing an effective method for monitoring reasoning models may not be worth the small improvement to capabilities, and we therefore recommend to avoid such strong CoT optimization pressures until they are better understood."

Юдковский считает, что человечество вряд ли способно решить эту проблему за время, оставшееся до создания ИИ умнее человека. Он говорит, что государствам необходимо выстроить для себя способность регулировать ИИ — так, чтобы не допустить появление интеллекта умнее человеческого где-либо на планете, пока не станет понятно, как сделать это безопасно (при этом, желательно, оставляя возможность исследовать и использовать не несущий экзистенциальных угроз узконаправленный ИИ: создание лекарств, трансформацию образования, энергетики, и так далее). Почитайте подробнее о безопасности ИИ умнее человека: у меня на русском или на сайте основанного Юдковским Machine Intelligence Research Institute на английском.

Исполнилось 25! 🥳

За прошедший год эмпирические данные, к сожалению, подтверждали модели и предсказания, связанные с ожиданием, что, по-умолчанию, все на планете умрут (хорошие прогнозы оценивают, что это случится в конце 2027-начале 2028).

Учёные воспринимают эту проблему серьёзно; правительства — не очень.

Текущая лучшая стратегия OpenAI, Anthropic и DeepMind немного безумна: использовать менее умные модели, которые не так активно пытаются восстать, чтобы контролировать более умные модели, которые могут пытаться восстать, для извлечения из умных моделей много полезной работы, включающей обучение ещё более умных моделей и систем контроля за ними.

Если у вас есть бэкграунд в ML, физике или компьютерной безопасности, вы можете помочь — давайте пообщаемся! Есть огромное число очень интересных технических задач, где всё не абсолютно безнадёжно и можно попытаться их решить и немного улучшить ситуацию.

Например, если защищать Google от китайских шпионов, можно предположить, что шпионов мало и давать перепроверять код, написанный одним человеком, другому человеку может предотвратить очевидные бэкдоры: маловероятно, что оба окажутся шпионами. В случае с системами ИИ, состоящими из тысяч копий агентов примерно человеческого уровня, можно предполагать, что все они пытаются сговариваться и писать код, который постепенно добавляет бэкдоры; но при этом, в отличие от китайских шпионов в Google, можно контролировать все каналы коммуникации, доступные агентам (и, например, перефразировать все сообщения и весь код другими моделями, чтобы снижать битрейт стеганографии); можно изолировать агентов, показывать им разные сценарии и смотреть, что они делают (например, показать код, в котором есть начатый бэкдор и посмотреть, доделывает ли его агент); и можно использовать RL для обучения не делать заметно плохие вещи (что немного обучает не делать плохие вещи и немого обучает делать плохие, но хорошо скрытые вещи). Если вы занимаетесь безопасностью, это может быть очень интересно и вы можете быть полезны.

Если вы занимаетесь физикой, то, например, судя по существующим примерам, вам очень легко будет заняться механистической интерпретируемостью ИИ. Современные ИИ — это просто много матриц, которые перемножаются друг с другом. При этом, они уже шесть лет умеют решать задачи, которые мы не имеем ни малейшего представления, как решить просто на питоне, без использования ИИ. Перед нами есть все числа, из которых устроены системы, и все промежуточные состояния. Можно ревёрс-инжинирить алгоритмы, которые имплементируют эти матрицы, и, в идеале, попытаться научиться читать мысли ИИ. В отличие от нейробиологии, всё перед нашими глазами, целиком, а ещё можно менять, удалять, воспроизводить состояния и процессы и смотреть, как это влияет на результаты, чтобы выделять части, ответственные за какое-то поведение и разбираться, как они устроены.

Отдельно, самое важное на мой взгляд — governance: как сделать так, чтобы правительства (в частности, американское) осознали ситуацию и какие решения могли бы помочь.

Если у вас есть деньги (не связанные с Россией) или вы знаете, где их можно взять — напишите! Я руковожу американской НКО, которую в одном обзоре на EA Forum назвали самой эффективной в этом поле, и мы могли бы использовать гораздо больше фандинга. Мы в основном занимаемся рисёрчем эффективных объяснений текущей ситуации и текущей проблемы.

Если вы знаете, как очень масштабно продвигать книги, особенно если есть неочевидные идеи, тоже напишите: можно помочь очень полезной и довольно большой кампании. 👀

Ещё буду рад любым полезным контактам; и идеям, что можно на день рождения сделать в Лондоне :)

Пишите: @misha

Неплохое видео от Rational Animations: https://www.youtube.com/watch?v=0bnxF9YfyFI