Тряхнула стариной и написала не (совсем) про войну, а про очередное безумное уголовное дело в России. Супер-подробно про то, как следователи возбудились на движение «Весна» с началом войны — ребята одни из первых начали антивоенную кампанию. Давили на них не только арестами и обысками: на дверях активистам провокаторы рисовали буквы Z, а на нескольких напали, одному активисту даже пришлось делать операцию.

Активисты «Весны» позвали людей на акцию «Бессмертный полк» с портретами ветеранов и словами: «Они воевали не за это». А аж целое главное управление Следственного комитета решило, что выступая против войны они посягнули на права граждан (какие права, развязывать войну и убивать?)

Сейчас шестеро молодых ребят в разных городах под запретом определенных действий и с браслетами слежения на ногах. Двое — действительно участники движения «Весна». Один — уже не состоит в движении. А трое ребят из Москвы никогда не состояли в «Весне». А теперь они все в одном уголовном деле.

https://zona.media/article/2022/05/27/vesna

Vert Dider перевели и озвучили первое видео из серии роликов Роба Майлза об алайнменте (я их поддержал финансово и научной редактурой)

https://youtu.be/SVLl-b6oLVs

Видео рассказывает об одной из конкретных проблем безопасности ИИ, над которыми можно работать уже сегодня. Их решения и развитие интуиций о них могут помочь сделать так, чтобы ИИ будущего имели положительный эффект.

Шанс, что вся ценность долгосрочного будущего будет уничтожена искусственным интеллектом, непозволительно велик.

Поговорили об этом в подкасте с Ди @dvdhomak.

https://youtu.be/IwIjk2Wrw18 | на площадках с подкастами

Это третья или четвёртая попытка записать. Предыдущие получались слишком длинными и объёмными, так что сейчас решили поговорить недолго и как получится, выложить, и в следующей части обсудить вопросы из комментариев.

Мы совсем не упомянули, почему нельзя просто сказать ИИ не убивать людей, почему примерно любая конкретная функция, которую мы придумываем и даём ИИ максимизировать, не работает, и почему даже если задать функцию, мы не умеем находить ИИ, которые максимизируют действительно именно эту функцию (особенно если ищем среди очень умных).

Это могут быть очень неочевидные штуки, комментируйте, если хотите, чтобы мы о них поговорили

Если вы знаете очень крутых {university students and early-career professionals ~до 25}, которые не слишком посвящены в эффективный альтруизм (максимум, прочитали одну книгу) и которые хотят использовать свою карьеру для улучшения мира и создания процветающего будущего — поделитесь с ними ссылкой.

EA Sweden открыли подачу заявок на участие в Future Academy — бесплатную пятимесячную программу для амбициозных студентов и молодых профессионалов, в том числе из России. Цель — обеспечить участников "thinking, tools, and resources they need to pursue ambitious longtermist careers while growing as people".

Проект поддержан Фондом Нобеля, среди спикеров — лауреат Нобелевской премии Сол Перлмуттер и глава long-term strategy and governance в DeepMind Аллан Дефо.

В ходе программы участники четыре раза проведут в Стокгольме выходные, заполненные воркшопами, презентациями и социальными ивентами; остальная часть программы — онлайн. Часть участников получат стипендии в $10k.

Подача заявок — до 4 сентября.

Вышла вторая часть, о желательных побочных эффектах.

https://youtu.be/9SmY5dkCB_k

Там упоминается статья 80,000 Часов о работах в области безопасности ИИ. Её как раз позавчера обновили — https://80000hours.org/problem-profiles/artificial-intelligence/

I've taken the Giving What We Can pledge to donate at least 10% of my income for the rest of my life or until I retire to the organizations that can use it most effectively to improve the lives of others.

We live in a world so broken that not only do suffering and deaths exist, but it costs only $5000 to save an invaluable life; a world about to lose its unimaginably vast and valuable potential future, with almost no effort made towards safeguarding it.

Individual donations are likely insufficient to fix this. One can make much more impact by directly working on the world's most pressing problems (see 80,000 Hours). Still, donations can save lives, reduce suffering, and, at least marginally, improve humanity's chances.

I'm incredibly privileged to have been able in the last couple of years to donate more than $72k to the charities I believe can do the most good. (>$50k, including $20k donated today, to MIRI and the rest mainly to GiveWell recommended orgs).

I intend to continue donating and doing the work that I find the most impactful to focus on. Taking that pledge doesn't change my future actions much, but perhaps it might encourage more people to consider doing more good with the resources they have.

(Простите за язык)

На моей видеоаватарке меня задерживают у здания ФСБ при попытке стать в пикет. На рюкзаке — «Свободу Ивану Сафронову». Два года заключения спустя, обвинение запросило ему 24 года колонии.

«Проект» добыли обвинительное заключение и написали об абсурдности и безосновательности обвинений. Все «секретные» данные, в передаче которых обвиняют Сафронова, были ранее доступны в интернете — в том числе, опубликованы на ресурсах свидетелей/экспертов обвинения. Прочитайте их материал

https://www.proekt.media/narrative/delo-ivana-safronova/

В июле в Кочерге проходило Летнее солнцестояние. Коротко рассказал там, что проблемой алайнмента действительно можно и стоит взять и заняться. Особенно если вы математик или у вас есть бэкграунд в ML/computer science.

Записывали из зума, так что немного подлагивает, но посмотрите!

Отредактировали аудиоверсию, вырезали 10 минут, слушать теперь должно быть гораздо приятнее!

Google Podcasts | Spotify | Apple | Другие площадки

Мемориалу дали Нобелевскую премию мира ❤️! Продолжаю бесконечно ими восхищаться и очень рад и поздравляю!

https://habr.com/ru/post/711928/

За последний месяц, вручили победителям олимпиад больше пяти сотен экземпляров.

Если подходите под критерии, заполните форму на гпмрм.рф/olymp

Как я писал, форкастеры на Metaculus недооценили возможность новых скачков. Медиана даты weak AGI на Metaculus опустилась до 2025 — по лучшей существующей оценке, вместо десяти лет осталось два с половиной года.

(В мае прошлого года я предсказал там 2026 и заморозил возможность изменять предсказания, чтобы получить доступ к оценке алгоритмами Метакулуса. Пару недель назад медиана сообщества в этом вопросе впервые опустилась ниже моей.)

Никто всё ещё не знает, как решить проблему алайнмента и предотвратить уничтожение человечества.

Я не думаю, что посты тут что-то изменят, но делиться происходящим и пытаться, наверное, стоит: слишком многое на весах.

Не то чтобы эта проблема вне мейнстрима.

Часть людей, работающих в OpenAI, Anthropic, DeepMind понимают проблему. Общался с работающим там профессором computer science, думающим, что вероятность уничтожения человечества искусственным интеллектом — 80% (и оставшиеся 20 вытекают, прежде всего, из возможности координации человечества, которая дала бы несколько десятилетий); с работающими там ребятами, рассказывающими, что в их компаниях решения о релизе технологий принимаются раньше запланированного, потому что становится известно о разработке подобных технологий в других компаниях (даже если в других не планировалось делать релизы). Общался с Юдковским, который выглядит, как сдавшийся учёный из Don’t Look Up. Он действительно подумал вообще обо всём, что могло бы помочь, и не видит реалистичных идей, как за оставшееся время может найтись решение проблемы (зато видит причины, некоторые из которых независимо приводят к уничтожению человечества).

При этом в тех же компаниях есть сотни ML-инженеров, которые получают удовольствие от успехов обучения и из-за устройства фидбек-лупов даже не погружаются в проблему.

Почти половина из них всё равно считает (NYT), что вероятность уничтожения человечества ИИ — >10%. «Представьте вы готовитесь сесть в самолёт и 50% инженеров, которые его построили, говорят, есть десятипроцентный шанс, что он упадёт и всех убьёт», — говорят на NBC. «Несёмся ли мы к вызванной ИИ катастрофе?», — спрашивает Vox. Статью за статьёй пишут в TIME.

Билл Гейтс пишет, что ИИ — одна из двух технологий, демонстрации которых кажутся революционными; первой были графические интерфейсы. Он читал Superintelligence Ника Бострома и упоминает риски, но кажется, не понимает масштаб проблемы и насколько всё не под контролем.

Примерно во времена выхода книги Бострома, Стивен Хокинг говорил, что “The development of full artificial intelligence could spell the end of the human race”.

Илон Маск послушал в 2015 аргументы Юдковского и сделал ровно наоборот, основав OpenAI — компанию, из-за которой и из-за исходного подхода которой времени на решение проблемы осталось гораздо меньше.

Но это всё совсем не похоже на мир с шансом координации (например, в котором работники правительств внезапно вспоминают, что у них есть дети, для которых они хотят будущего, и начинают делать что-то разумное и работающее). Человечество провалило коронавирус, и даже не подготовилось достаточно к будущем пандемиям. В случае с ИИ, стимулы гораздо хуже устроены: пока самолёт не запущен и не рухнул, строительство всё более и более похожих на самолёт систем приносит больше и больше денег.

Есть десятки исследователей, занимающихся полезным рисёрчем в этой области (у которого не хватит времени, но нужно больше рук и попытаться стоит); есть десятки пытающихся наткнутся на что-то полезное или улучшить понимание проблемы, что неплохо, если только не сокращает таймлайны; и есть десятки ошибочно полагающих, что у их идей есть шансы решить проблему.

Этого всего совершенно недостаточно.

Я совершенно не удивлюсь, если в ближайшие 10 лет человечества — и всего того огромного будущего, что могло бы быть — не станет.

Вау, 23 🥳

“I think [superintelligent AI] is the single most likely reason that I will personally die.”

—Dr. Paul Christiano, PhD
Он — автор Deep Reinforcement Learning from Human Preferences (сейчас это называют RHLF), лежащего в основе ChatGPT и GPT-4.

Пол сейчас — пожалуй, основной оппонент Юдковского по многим вопросам. В большинстве из них позиция Элиезера мне ближе, но, тем не менее, это очень адекватная другая сторона и посмотреть подкаст с ним рекомендую:

https://youtu.be/GyFkWb903aU

Сходил на подкаст, поговорили о проблеме алайнмента.

Подкаст идёт час, можно смотреть на 2x.

-> https://youtu.be/X1B91PkXtFY


За час совершенно невозможно охватить значительную часть проблемы но может быть интересно. (Не обращайте внимания на заголовок 😅)

+ Подарим трёхтомник «Гарри Поттера и методов рационального мышления» за лучший вопрос или лучший контраргумент о проблеме в комментариях