22. Всё больше и больше!

Ожидания от прошедшего года жизни в чём-то оказались слишком оптимистичными.

Совершенно не планировал уезжать из России, совершенно не ожидал, что придётся наблюдать за войной.

В начале апреля ещё и увеличилась уверенность, что на решение главной стоящей перед человечеством проблемы не остаётся достаточно времени. На Metaculus медианное предсказание даты, когда о слабом общем ИИ (проходящем разные тесты лучше большинства людей и тест Тьюринга), впервые станет публично известно, опустилось с 2042 до 2032 за неделю: Google выпустили PaLM — модель, которая превосходит среднестатистических людей в решении задач из бенчмарка BIG-bench, оценивающего понимание текста, мира, людей, математики и умение логически о них рассуждать.

Даже если действительно осталось целых десять лет, и форкастеры на Metaculus не недооценивают возможность новых скачков, этого совершено не хватает, чтобы решить AI Alignment и предотвратить уничтожение человечества. Никто не знает, как прийти к способу создания AGI так, чтобы его предпочтения совпадали с предпочтениями человечества и человечество не оказалось уничтожено. Из-за того, насколько экономически выгоднее иметь модели, более близкие к AGI, и насколько легко может начаться «гонка вооружений», почти невозможно представить уровень глобальной координации, который был бы необходим для предотвращения запуска AGI до решения AI Alignment.

Если у вас есть степень по математике, computer science, физике или другим смежным предметам или если вы занимаетесь машинным обучением, если вы потенциально были бы готовы сменить направление исследований на какое-нибудь интересное и очень полезное человечеству, лучший подарок, который можно сделать мне на день рождения — запланировать звонок со мной на полчаса/час.

Спасибо! <3

Небольшое обновление. С тех пор вышли ещё две статьи DeepMind.

В первой (arxiv, пост), озаглавленной A Generalist Agent, нейронная сеть — трансформер, с замороженными весами — без дополнительного обучения, сходу играет в совсем разные игры, строит долгосрочные планы (например, в играх, в которых отсутствие плана в начале игры приводит к поражению, из которого невозможно восстановиться) и придерживается их, выполняет множество задач — включая IQ-подобные — лучше человеческих экспертов.

Во второй (arxiv, пост) агенты учатся торговать друг с другом, обмериваться ресурсами, зарабатывать на разнице в ценах, складывающихся в разных местах. Их поведение меняется в соответствии с предсказаниями макроэкономики.
“As a path to AGI, multi-agent reinforcement learning research should encompass all critical domains of social intelligence. However, until now it hasn’t incorporated traditional economic phenomena such as trade, bargaining, specialisation, consumption, and production. This paper fills this gap and provides a platform for further research”, — пишут DeepMind.

Heated debates о том, насколько опасен ИИ, выглядят так: “it's not like "90% chance AI's gonna kill us" vs "AI will never be a serious threat" the debates are more like "is it 90% or 30% chance we will all be dead in ten years". It's a matter of degree”.

На Metaculus медиана даты, когда о “weak AGI” станет публично известно, опустилась до 2029. И это не новые форкастеры: у людей, впервые сделавших предсказание до апреля 2021, медиана опустилась сильнее.

Тряхнула стариной и написала не (совсем) про войну, а про очередное безумное уголовное дело в России. Супер-подробно про то, как следователи возбудились на движение «Весна» с началом войны — ребята одни из первых начали антивоенную кампанию. Давили на них не только арестами и обысками: на дверях активистам провокаторы рисовали буквы Z, а на нескольких напали, одному активисту даже пришлось делать операцию.

Активисты «Весны» позвали людей на акцию «Бессмертный полк» с портретами ветеранов и словами: «Они воевали не за это». А аж целое главное управление Следственного комитета решило, что выступая против войны они посягнули на права граждан (какие права, развязывать войну и убивать?)

Сейчас шестеро молодых ребят в разных городах под запретом определенных действий и с браслетами слежения на ногах. Двое — действительно участники движения «Весна». Один — уже не состоит в движении. А трое ребят из Москвы никогда не состояли в «Весне». А теперь они все в одном уголовном деле.

https://zona.media/article/2022/05/27/vesna

Vert Dider перевели и озвучили первое видео из серии роликов Роба Майлза об алайнменте (я их поддержал финансово и научной редактурой)

https://youtu.be/SVLl-b6oLVs

Видео рассказывает об одной из конкретных проблем безопасности ИИ, над которыми можно работать уже сегодня. Их решения и развитие интуиций о них могут помочь сделать так, чтобы ИИ будущего имели положительный эффект.

Шанс, что вся ценность долгосрочного будущего будет уничтожена искусственным интеллектом, непозволительно велик.

Поговорили об этом в подкасте с Ди @dvdhomak.

https://youtu.be/IwIjk2Wrw18 | на площадках с подкастами

Это третья или четвёртая попытка записать. Предыдущие получались слишком длинными и объёмными, так что сейчас решили поговорить недолго и как получится, выложить, и в следующей части обсудить вопросы из комментариев.

Мы совсем не упомянули, почему нельзя просто сказать ИИ не убивать людей, почему примерно любая конкретная функция, которую мы придумываем и даём ИИ максимизировать, не работает, и почему даже если задать функцию, мы не умеем находить ИИ, которые максимизируют действительно именно эту функцию (особенно если ищем среди очень умных).

Это могут быть очень неочевидные штуки, комментируйте, если хотите, чтобы мы о них поговорили

Если вы знаете очень крутых {university students and early-career professionals ~до 25}, которые не слишком посвящены в эффективный альтруизм (максимум, прочитали одну книгу) и которые хотят использовать свою карьеру для улучшения мира и создания процветающего будущего — поделитесь с ними ссылкой.

EA Sweden открыли подачу заявок на участие в Future Academy — бесплатную пятимесячную программу для амбициозных студентов и молодых профессионалов, в том числе из России. Цель — обеспечить участников "thinking, tools, and resources they need to pursue ambitious longtermist careers while growing as people".

Проект поддержан Фондом Нобеля, среди спикеров — лауреат Нобелевской премии Сол Перлмуттер и глава long-term strategy and governance в DeepMind Аллан Дефо.

В ходе программы участники четыре раза проведут в Стокгольме выходные, заполненные воркшопами, презентациями и социальными ивентами; остальная часть программы — онлайн. Часть участников получат стипендии в $10k.

Подача заявок — до 4 сентября.

Вышла вторая часть, о желательных побочных эффектах.

https://youtu.be/9SmY5dkCB_k

Там упоминается статья 80,000 Часов о работах в области безопасности ИИ. Её как раз позавчера обновили — https://80000hours.org/problem-profiles/artificial-intelligence/

I've taken the Giving What We Can pledge to donate at least 10% of my income for the rest of my life or until I retire to the organizations that can use it most effectively to improve the lives of others.

We live in a world so broken that not only do suffering and deaths exist, but it costs only $5000 to save an invaluable life; a world about to lose its unimaginably vast and valuable potential future, with almost no effort made towards safeguarding it.

Individual donations are likely insufficient to fix this. One can make much more impact by directly working on the world's most pressing problems (see 80,000 Hours). Still, donations can save lives, reduce suffering, and, at least marginally, improve humanity's chances.

I'm incredibly privileged to have been able in the last couple of years to donate more than $72k to the charities I believe can do the most good. (>$50k, including $20k donated today, to MIRI and the rest mainly to GiveWell recommended orgs).

I intend to continue donating and doing the work that I find the most impactful to focus on. Taking that pledge doesn't change my future actions much, but perhaps it might encourage more people to consider doing more good with the resources they have.

(Простите за язык)

На моей видеоаватарке меня задерживают у здания ФСБ при попытке стать в пикет. На рюкзаке — «Свободу Ивану Сафронову». Два года заключения спустя, обвинение запросило ему 24 года колонии.

«Проект» добыли обвинительное заключение и написали об абсурдности и безосновательности обвинений. Все «секретные» данные, в передаче которых обвиняют Сафронова, были ранее доступны в интернете — в том числе, опубликованы на ресурсах свидетелей/экспертов обвинения. Прочитайте их материал

https://www.proekt.media/narrative/delo-ivana-safronova/

В июле в Кочерге проходило Летнее солнцестояние. Коротко рассказал там, что проблемой алайнмента действительно можно и стоит взять и заняться. Особенно если вы математик или у вас есть бэкграунд в ML/computer science.

Записывали из зума, так что немного подлагивает, но посмотрите!

Отредактировали аудиоверсию, вырезали 10 минут, слушать теперь должно быть гораздо приятнее!

Google Podcasts | Spotify | Apple | Другие площадки

Мемориалу дали Нобелевскую премию мира ❤️! Продолжаю бесконечно ими восхищаться и очень рад и поздравляю!

https://habr.com/ru/post/711928/

За последний месяц, вручили победителям олимпиад больше пяти сотен экземпляров.

Если подходите под критерии, заполните форму на гпмрм.рф/olymp

Как я писал, форкастеры на Metaculus недооценили возможность новых скачков. Медиана даты weak AGI на Metaculus опустилась до 2025 — по лучшей существующей оценке, вместо десяти лет осталось два с половиной года.

(В мае прошлого года я предсказал там 2026 и заморозил возможность изменять предсказания, чтобы получить доступ к оценке алгоритмами Метакулуса. Пару недель назад медиана сообщества в этом вопросе впервые опустилась ниже моей.)

Никто всё ещё не знает, как решить проблему алайнмента и предотвратить уничтожение человечества.

Я не думаю, что посты тут что-то изменят, но делиться происходящим и пытаться, наверное, стоит: слишком многое на весах.

Не то чтобы эта проблема вне мейнстрима.

Часть людей, работающих в OpenAI, Anthropic, DeepMind понимают проблему. Общался с работающим там профессором computer science, думающим, что вероятность уничтожения человечества искусственным интеллектом — 80% (и оставшиеся 20 вытекают, прежде всего, из возможности координации человечества, которая дала бы несколько десятилетий); с работающими там ребятами, рассказывающими, что в их компаниях решения о релизе технологий принимаются раньше запланированного, потому что становится известно о разработке подобных технологий в других компаниях (даже если в других не планировалось делать релизы). Общался с Юдковским, который выглядит, как сдавшийся учёный из Don’t Look Up. Он действительно подумал вообще обо всём, что могло бы помочь, и не видит реалистичных идей, как за оставшееся время может найтись решение проблемы (зато видит причины, некоторые из которых независимо приводят к уничтожению человечества).

При этом в тех же компаниях есть сотни ML-инженеров, которые получают удовольствие от успехов обучения и из-за устройства фидбек-лупов даже не погружаются в проблему.

Почти половина из них всё равно считает (NYT), что вероятность уничтожения человечества ИИ — >10%. «Представьте вы готовитесь сесть в самолёт и 50% инженеров, которые его построили, говорят, есть десятипроцентный шанс, что он упадёт и всех убьёт», — говорят на NBC. «Несёмся ли мы к вызванной ИИ катастрофе?», — спрашивает Vox. Статью за статьёй пишут в TIME.

Билл Гейтс пишет, что ИИ — одна из двух технологий, демонстрации которых кажутся революционными; первой были графические интерфейсы. Он читал Superintelligence Ника Бострома и упоминает риски, но кажется, не понимает масштаб проблемы и насколько всё не под контролем.

Примерно во времена выхода книги Бострома, Стивен Хокинг говорил, что “The development of full artificial intelligence could spell the end of the human race”.

Илон Маск послушал в 2015 аргументы Юдковского и сделал ровно наоборот, основав OpenAI — компанию, из-за которой и из-за исходного подхода которой времени на решение проблемы осталось гораздо меньше.

Но это всё совсем не похоже на мир с шансом координации (например, в котором работники правительств внезапно вспоминают, что у них есть дети, для которых они хотят будущего, и начинают делать что-то разумное и работающее). Человечество провалило коронавирус, и даже не подготовилось достаточно к будущем пандемиям. В случае с ИИ, стимулы гораздо хуже устроены: пока самолёт не запущен и не рухнул, строительство всё более и более похожих на самолёт систем приносит больше и больше денег.

Есть десятки исследователей, занимающихся полезным рисёрчем в этой области (у которого не хватит времени, но нужно больше рук и попытаться стоит); есть десятки пытающихся наткнутся на что-то полезное или улучшить понимание проблемы, что неплохо, если только не сокращает таймлайны; и есть десятки ошибочно полагающих, что у их идей есть шансы решить проблему.

Этого всего совершенно недостаточно.

Я совершенно не удивлюсь, если в ближайшие 10 лет человечества — и всего того огромного будущего, что могло бы быть — не станет.

Вау, 23 🥳