Mikhail Samin
Mikhail Samin
OpenAI на основе GPT-3 сделали нейросеть, генерирующую изображения (а ещё нейросеть, распознавшую изображения) https://openai.com/blog/tags/multimodal/. Просто посмотрите, что они теперь умеют
Выпустили вторую версию. Все эти изображения сгенерированы нейронной сетью по описанию
https://openai.com/dall-e-2/
https://openai.com/dall-e-2/
Mikhail Samin
22. Всё больше и больше!
Ожидания от прошедшего года жизни в чём-то оказались слишком оптимистичными.
Совершенно не планировал уезжать из России, совершенно не ожидал, что придётся наблюдать за войной.
В начале апреля ещё и увеличилась уверенность, что на решение главной стоящей перед человечеством проблемы не остаётся достаточно времени. На Metaculus медианное предсказание даты, когда о слабом общем ИИ (проходящем разные тесты лучше большинства людей и тест Тьюринга), впервые станет публично известно, опустилось с 2042 до 2032 за неделю: Google выпустили PaLM — модель, которая превосходит среднестатистических людей в решении задач из бенчмарка BIG-bench, оценивающего понимание текста, мира, людей, математики и умение логически о них рассуждать.
Даже если действительно осталось целых десять лет, и форкастеры на Metaculus не недооценивают возможность новых скачков, этого совершено не хватает, чтобы решить AI Alignment и предотвратить уничтожение человечества. Никто не знает, как прийти к способу создания AGI так, чтобы его предпочтения совпадали с предпочтениями человечества и человечество не оказалось уничтожено. Из-за того, насколько экономически выгоднее иметь модели, более близкие к AGI, и насколько легко может начаться «гонка вооружений», почти невозможно представить уровень глобальной координации, который был бы необходим для предотвращения запуска AGI до решения AI Alignment.
Если у вас есть степень по математике, computer science, физике или другим смежным предметам или если вы занимаетесь машинным обучением, если вы потенциально были бы готовы сменить направление исследований на какое-нибудь интересное и очень полезное человечеству, лучший подарок, который можно сделать мне на день рождения — запланировать звонок со мной на полчаса/час.
Спасибо! <3
Ожидания от прошедшего года жизни в чём-то оказались слишком оптимистичными.
Совершенно не планировал уезжать из России, совершенно не ожидал, что придётся наблюдать за войной.
В начале апреля ещё и увеличилась уверенность, что на решение главной стоящей перед человечеством проблемы не остаётся достаточно времени. На Metaculus медианное предсказание даты, когда о слабом общем ИИ (проходящем разные тесты лучше большинства людей и тест Тьюринга), впервые станет публично известно, опустилось с 2042 до 2032 за неделю: Google выпустили PaLM — модель, которая превосходит среднестатистических людей в решении задач из бенчмарка BIG-bench, оценивающего понимание текста, мира, людей, математики и умение логически о них рассуждать.
Даже если действительно осталось целых десять лет, и форкастеры на Metaculus не недооценивают возможность новых скачков, этого совершено не хватает, чтобы решить AI Alignment и предотвратить уничтожение человечества. Никто не знает, как прийти к способу создания AGI так, чтобы его предпочтения совпадали с предпочтениями человечества и человечество не оказалось уничтожено. Из-за того, насколько экономически выгоднее иметь модели, более близкие к AGI, и насколько легко может начаться «гонка вооружений», почти невозможно представить уровень глобальной координации, который был бы необходим для предотвращения запуска AGI до решения AI Alignment.
Если у вас есть степень по математике, computer science, физике или другим смежным предметам или если вы занимаетесь машинным обучением, если вы потенциально были бы готовы сменить направление исследований на какое-нибудь интересное и очень полезное человечеству, лучший подарок, который можно сделать мне на день рождения — запланировать звонок со мной на полчаса/час.
Спасибо! <3
Mikhail Samin
Mikhail Samin
22. Всё больше и больше! Ожидания от прошедшего года жизни в чём-то оказались слишком оптимистичными. Совершенно не планировал уезжать из России, совершенно не ожидал, что придётся наблюдать за войной. В начале апреля ещё и увеличилась уверенность, что…
Небольшое обновление. С тех пор вышли ещё две статьи DeepMind.
В первой (arxiv, пост), озаглавленной A Generalist Agent, нейронная сеть — трансформер, с замороженными весами — без дополнительного обучения, сходу играет в совсем разные игры, строит долгосрочные планы (например, в играх, в которых отсутствие плана в начале игры приводит к поражению, из которого невозможно восстановиться) и придерживается их, выполняет множество задач — включая IQ-подобные — лучше человеческих экспертов.
Во второй (arxiv, пост) агенты учатся торговать друг с другом, обмериваться ресурсами, зарабатывать на разнице в ценах, складывающихся в разных местах. Их поведение меняется в соответствии с предсказаниями макроэкономики.
“As a path to AGI, multi-agent reinforcement learning research should encompass all critical domains of social intelligence. However, until now it hasn’t incorporated traditional economic phenomena such as trade, bargaining, specialisation, consumption, and production. This paper fills this gap and provides a platform for further research”, — пишут DeepMind.
Heated debates о том, насколько опасен ИИ, выглядят так: “it's not like "90% chance AI's gonna kill us" vs "AI will never be a serious threat" the debates are more like "is it 90% or 30% chance we will all be dead in ten years". It's a matter of degree”.
На Metaculus медиана даты, когда о “weak AGI” станет публично известно, опустилась до 2029. И это не новые форкастеры: у людей, впервые сделавших предсказание до апреля 2021, медиана опустилась сильнее.
В первой (arxiv, пост), озаглавленной A Generalist Agent, нейронная сеть — трансформер, с замороженными весами — без дополнительного обучения, сходу играет в совсем разные игры, строит долгосрочные планы (например, в играх, в которых отсутствие плана в начале игры приводит к поражению, из которого невозможно восстановиться) и придерживается их, выполняет множество задач — включая IQ-подобные — лучше человеческих экспертов.
Во второй (arxiv, пост) агенты учатся торговать друг с другом, обмериваться ресурсами, зарабатывать на разнице в ценах, складывающихся в разных местах. Их поведение меняется в соответствии с предсказаниями макроэкономики.
“As a path to AGI, multi-agent reinforcement learning research should encompass all critical domains of social intelligence. However, until now it hasn’t incorporated traditional economic phenomena such as trade, bargaining, specialisation, consumption, and production. This paper fills this gap and provides a platform for further research”, — пишут DeepMind.
Heated debates о том, насколько опасен ИИ, выглядят так: “it's not like "90% chance AI's gonna kill us" vs "AI will never be a serious threat" the debates are more like "is it 90% or 30% chance we will all be dead in ten years". It's a matter of degree”.
На Metaculus медиана даты, когда о “weak AGI” станет публично известно, опустилась до 2029. И это не новые форкастеры: у людей, впервые сделавших предсказание до апреля 2021, медиана опустилась сильнее.
Mikhail Samin
Forwarded from Нестерова.fm
Тряхнула стариной и написала не (совсем) про войну, а про очередное безумное уголовное дело в России. Супер-подробно про то, как следователи возбудились на движение «Весна» с началом войны — ребята одни из первых начали антивоенную кампанию. Давили на них не только арестами и обысками: на дверях активистам провокаторы рисовали буквы Z, а на нескольких напали, одному активисту даже пришлось делать операцию.
Активисты «Весны» позвали людей на акцию «Бессмертный полк» с портретами ветеранов и словами: «Они воевали не за это». А аж целое главное управление Следственного комитета решило, что выступая против войны они посягнули на права граждан (какие права, развязывать войну и убивать?)
Сейчас шестеро молодых ребят в разных городах под запретом определенных действий и с браслетами слежения на ногах. Двое — действительно участники движения «Весна». Один — уже не состоит в движении. А трое ребят из Москвы никогда не состояли в «Весне». А теперь они все в одном уголовном деле.
https://zona.media/article/2022/05/27/vesna
Активисты «Весны» позвали людей на акцию «Бессмертный полк» с портретами ветеранов и словами: «Они воевали не за это». А аж целое главное управление Следственного комитета решило, что выступая против войны они посягнули на права граждан (какие права, развязывать войну и убивать?)
Сейчас шестеро молодых ребят в разных городах под запретом определенных действий и с браслетами слежения на ногах. Двое — действительно участники движения «Весна». Один — уже не состоит в движении. А трое ребят из Москвы никогда не состояли в «Весне». А теперь они все в одном уголовном деле.
https://zona.media/article/2022/05/27/vesna
Медиазона
Последний месяц «Весны». Активисты позвали на антивоенное шествие 9 мая — и стали фигурантами дела об НКО, посягающей на права…
Перед 9 мая участники движения «Весна» призвали своих сторонников прийти на акцию «Бессмертный полк» с портретами ветера...
Mikhail Samin
Vert Dider перевели и озвучили первое видео из серии роликов Роба Майлза об алайнменте (я их поддержал финансово и научной редактурой)
https://youtu.be/SVLl-b6oLVs
Видео рассказывает об одной из конкретных проблем безопасности ИИ, над которыми можно работать уже сегодня. Их решения и развитие интуиций о них могут помочь сделать так, чтобы ИИ будущего имели положительный эффект.
https://youtu.be/SVLl-b6oLVs
Видео рассказывает об одной из конкретных проблем безопасности ИИ, над которыми можно работать уже сегодня. Их решения и развитие интуиций о них могут помочь сделать так, чтобы ИИ будущего имели положительный эффект.
YouTube
Нежелательные побочные эффекты. Как создать безопасный ИИ? #1 [Robert Miles]
Если вы в России: https://boosty.to/vertdiderЕсли вы не в России: https://www.patreon.com/VertDiderИскусственный интеллект может создать кучу проблем, и лишь...
Mikhail Samin
Шанс, что вся ценность долгосрочного будущего будет уничтожена искусственным интеллектом, непозволительно велик.
Поговорили об этом в подкасте с Ди @dvdhomak.
https://youtu.be/IwIjk2Wrw18 | на площадках с подкастами
Это третья или четвёртая попытка записать. Предыдущие получались слишком длинными и объёмными, так что сейчас решили поговорить недолго и как получится, выложить, и в следующей части обсудить вопросы из комментариев.
Мы совсем не упомянули, почему нельзя просто сказать ИИ не убивать людей, почему примерно любая конкретная функция, которую мы придумываем и даём ИИ максимизировать, не работает, и почему даже если задать функцию, мы не умеем находить ИИ, которые максимизируют действительно именно эту функцию (особенно если ищем среди очень умных).
Это могут быть очень неочевидные штуки, комментируйте, если хотите, чтобы мы о них поговорили
Поговорили об этом в подкасте с Ди @dvdhomak.
https://youtu.be/IwIjk2Wrw18 | на площадках с подкастами
Это третья или четвёртая попытка записать. Предыдущие получались слишком длинными и объёмными, так что сейчас решили поговорить недолго и как получится, выложить, и в следующей части обсудить вопросы из комментариев.
Мы совсем не упомянули, почему нельзя просто сказать ИИ не убивать людей, почему примерно любая конкретная функция, которую мы придумываем и даём ИИ максимизировать, не работает, и почему даже если задать функцию, мы не умеем находить ИИ, которые максимизируют действительно именно эту функцию (особенно если ищем среди очень умных).
Это могут быть очень неочевидные штуки, комментируйте, если хотите, чтобы мы о них поговорили
YouTube
Есть Один Вопрос: Искусственный Интеллект
Новый выпуск подкаста «Есть один вопрос» с Михаилом Саминым (часть первая)
поддержать Украину (обязательно): https://savelife.in.ua/ или https://ukrainewar.carrd.co/
поддержать нас на патреоне (опционально) https://www.patreon.com/aalien или купить кофе:…
поддержать Украину (обязательно): https://savelife.in.ua/ или https://ukrainewar.carrd.co/
поддержать нас на патреоне (опционально) https://www.patreon.com/aalien или купить кофе:…
Mikhail Samin
Если вы знаете очень крутых {university students and early-career professionals ~до 25}, которые не слишком посвящены в эффективный альтруизм (максимум, прочитали одну книгу) и которые хотят использовать свою карьеру для улучшения мира и создания процветающего будущего — поделитесь с ними ссылкой.
EA Sweden открыли подачу заявок на участие в Future Academy — бесплатную пятимесячную программу для амбициозных студентов и молодых профессионалов, в том числе из России. Цель — обеспечить участников "thinking, tools, and resources they need to pursue ambitious longtermist careers while growing as people".
Проект поддержан Фондом Нобеля, среди спикеров — лауреат Нобелевской премии Сол Перлмуттер и глава long-term strategy and governance в DeepMind Аллан Дефо.
В ходе программы участники четыре раза проведут в Стокгольме выходные, заполненные воркшопами, презентациями и социальными ивентами; остальная часть программы — онлайн. Часть участников получат стипендии в $10k.
Подача заявок — до 4 сентября.
EA Sweden открыли подачу заявок на участие в Future Academy — бесплатную пятимесячную программу для амбициозных студентов и молодых профессионалов, в том числе из России. Цель — обеспечить участников "thinking, tools, and resources they need to pursue ambitious longtermist careers while growing as people".
Проект поддержан Фондом Нобеля, среди спикеров — лауреат Нобелевской премии Сол Перлмуттер и глава long-term strategy and governance в DeepMind Аллан Дефо.
В ходе программы участники четыре раза проведут в Стокгольме выходные, заполненные воркшопами, презентациями и социальными ивентами; остальная часть программы — онлайн. Часть участников получат стипендии в $10k.
Подача заявок — до 4 сентября.
Mikhail Samin
Mikhail Samin
Vert Dider перевели и озвучили первое видео из серии роликов Роба Майлза об алайнменте (я их поддержал финансово и научной редактурой) https://youtu.be/SVLl-b6oLVs Видео рассказывает об одной из конкретных проблем безопасности ИИ, над которыми можно работать…
Вышла вторая часть, о желательных побочных эффектах.
https://youtu.be/9SmY5dkCB_k
Там упоминается статья 80,000 Часов о работах в области безопасности ИИ. Её как раз позавчера обновили — https://80000hours.org/problem-profiles/artificial-intelligence/
https://youtu.be/9SmY5dkCB_k
Там упоминается статья 80,000 Часов о работах в области безопасности ИИ. Её как раз позавчера обновили — https://80000hours.org/problem-profiles/artificial-intelligence/
YouTube
Желательные побочные эффекты. Как создать безопасный ИИ? #1.5 [Robert Miles]
Если вы в России: https://boosty.to/vertdider
Если вы не в России: https://www.patreon.com/VertDider
Искусственный интеллект может создать кучу проблем, и лишь недавно мы всерьез задумались о том, как этого избежать. Восстание машин и истребление всего человечества…
Если вы не в России: https://www.patreon.com/VertDider
Искусственный интеллект может создать кучу проблем, и лишь недавно мы всерьез задумались о том, как этого избежать. Восстание машин и истребление всего человечества…
Mikhail Samin
I've taken the Giving What We Can pledge to donate at least 10% of my income for the rest of my life or until I retire to the organizations that can use it most effectively to improve the lives of others.
We live in a world so broken that not only do suffering and deaths exist, but it costs only $5000 to save an invaluable life; a world about to lose its unimaginably vast and valuable potential future, with almost no effort made towards safeguarding it.
Individual donations are likely insufficient to fix this. One can make much more impact by directly working on the world's most pressing problems (see 80,000 Hours). Still, donations can save lives, reduce suffering, and, at least marginally, improve humanity's chances.
I'm incredibly privileged to have been able in the last couple of years to donate more than $72k to the charities I believe can do the most good. (>$50k, including $20k donated today, to MIRI and the rest mainly to GiveWell recommended orgs).
I intend to continue donating and doing the work that I find the most impactful to focus on. Taking that pledge doesn't change my future actions much, but perhaps it might encourage more people to consider doing more good with the resources they have.
(Простите за язык)
We live in a world so broken that not only do suffering and deaths exist, but it costs only $5000 to save an invaluable life; a world about to lose its unimaginably vast and valuable potential future, with almost no effort made towards safeguarding it.
Individual donations are likely insufficient to fix this. One can make much more impact by directly working on the world's most pressing problems (see 80,000 Hours). Still, donations can save lives, reduce suffering, and, at least marginally, improve humanity's chances.
I'm incredibly privileged to have been able in the last couple of years to donate more than $72k to the charities I believe can do the most good. (>$50k, including $20k donated today, to MIRI and the rest mainly to GiveWell recommended orgs).
I intend to continue donating and doing the work that I find the most impactful to focus on. Taking that pledge doesn't change my future actions much, but perhaps it might encourage more people to consider doing more good with the resources they have.
(Простите за язык)
Mikhail Samin
На моей видеоаватарке меня задерживают у здания ФСБ при попытке стать в пикет. На рюкзаке — «Свободу Ивану Сафронову». Два года заключения спустя, обвинение запросило ему 24 года колонии.
«Проект» добыли обвинительное заключение и написали об абсурдности и безосновательности обвинений. Все «секретные» данные, в передаче которых обвиняют Сафронова, были ранее доступны в интернете — в том числе, опубликованы на ресурсах свидетелей/экспертов обвинения. Прочитайте их материал
https://www.proekt.media/narrative/delo-ivana-safronova/
«Проект» добыли обвинительное заключение и написали об абсурдности и безосновательности обвинений. Все «секретные» данные, в передаче которых обвиняют Сафронова, были ранее доступны в интернете — в том числе, опубликованы на ресурсах свидетелей/экспертов обвинения. Прочитайте их материал
https://www.proekt.media/narrative/delo-ivana-safronova/
Проект.
Процесс
Изучив обвинительное заключение по делу Сафронова, «Проект» утверждает — большинство доводов следствия не выдерживает критики.
Mikhail Samin
В июле в Кочерге проходило Летнее солнцестояние. Коротко рассказал там, что проблемой алайнмента действительно можно и стоит взять и заняться. Особенно если вы математик или у вас есть бэкграунд в ML/computer science.
Записывали из зума, так что немного подлагивает, но посмотрите!
Записывали из зума, так что немного подлагивает, но посмотрите!
YouTube
Алайнмент: займись этой проблемой прямо сейчас (на Летнем солнцестоянии в Кочерге)
До появления сильного ИИ остаётся немного времени — и мы не думаем, что удастся заставить его оптимизировать мир под наши предпочтения; Юдковский считает, что ИИ всех убьёт, но стоит умереть с достоинством, попытавшись удвоить шансы человечества с 0% до 0%.…
Mikhail Samin
Mikhail Samin
Шанс, что вся ценность долгосрочного будущего будет уничтожена искусственным интеллектом, непозволительно велик. Поговорили об этом в подкасте с Ди @dvdhomak. https://youtu.be/IwIjk2Wrw18 | на площадках с подкастами Это третья или четвёртая попытка записать.…
Отредактировали аудиоверсию, вырезали 10 минут, слушать теперь должно быть гораздо приятнее!
Google Podcasts | Spotify | Apple | Другие площадки
Google Podcasts | Spotify | Apple | Другие площадки
Google Podcasts
есть один вопрос - Опасности сильного искусственного интеллекта с Михаилом Саминым
Новый выпуск подкаста «Есть один вопрос» с Михаилом Саминым (часть первая)
поддержать Украину (обязательно): или https://ukrainewar.carrd.co/
поддержать нас на патреоне (опционально) или купить нам кофе
ссылки для дальнейшего изучения:
"AGI Ruin" …
поддержать Украину (обязательно): или https://ukrainewar.carrd.co/
поддержать нас на патреоне (опционально) или купить нам кофе
ссылки для дальнейшего изучения:
"AGI Ruin" …