I visited Navalny’s Anti-Corruption Foundation, which continues the work to stop the war and make Russia democratic, prosperous, and peaceful. They advocate for sanctions designed to harm Putin and publish investigations of Russian gov’s corruption and crimes.

В реальной жизни с неумными оппонентами, на угрозы и шантаж хорошая практика вообще никогда не поддаваться, но в некоторых играх можно делать что-то лучшее, чем всегда отказываться от однократных предложений нечестного разделения пользы сотрудничества.

Написал короткий пост на LW о простом алгоритме, который используют хорошие теории принятия решений.

Представьте, что вы — второй игрок в Ultimatum Game. Первый игрок делит 10 долларов между собой и вами. Вы можете принять разделение и получить определённую первым игроком долю или отказаться, и тогда ни вы, ни первый игрок не получите денег. Какой стратегии следовать, чтобы получать хотя бы честное разделение?

Если принимать любое разделение, где вам достаётся больше нуля, вы всегда будете получать деньги, но вам всегда будут предлагать 1$.

Можно принимать всегда, если вам предлагают 5-10 и всегда отказываться, если предлагают меньше 5. Такая стратегия обладает свойством неэксплуатируемости — другому игроку выгоднее всего предложить вам хотя бы 5.

Можно ли придумать стратегию, которая будет получать в ожидании больше 0, если предлагают меньше 5, но при этом всё равно не быть эксплуатируемой, то есть стимулировать другого игрока предлагать вам хотя бы 5?

Попробуйте придумать; и потом прочитайте ответ в посте: https://www.lesswrong.com/posts/TXbFFYpNWDmEmHevp/how-to-give-in-to-threats-without-incentivizing-them

(Это всё гораздо важнее в контексте ИИ, чем в контексте людей, но людям тоже может быть интересно/полезно.)

Джеффри Хинтон — один из отцов-основателей современного машинного обучения, считающий, что шанс, что ИИ уничтожит человечество примерно 50%* — получил Нобелевскую премию по физике этого года за свою работу над искусственными нейронными сетями.

(* по его словам, он внутренне убеждён, что шанс выше, но апдейтится вниз, потому что Ян Лекун, с которым они тепло дружат, с ним не согласен)

Второй учёный, получивший Нобелевку по физике этого года, подписывал письмо, призывающее поставить на паузу передовые эксперименты с общим ИИ.

Шведская королевская академия наук: "While machine learning has enormous benefits, its rapid development has also raised concerns about our future. Collectively, humans carry the responsibility for using this new technology in a safe and ethical way, for the benefit of humankind."

Сегодняшнюю Нобелевскую премию по химии тоже дали за ИИ — вместе с Дэвидом Бейкером, её разделили Демис Хассабис (CEO Google DeepMind) и Джон Джампер (руководитель команды AlphaFold).

Нобелевская премия за AlphaFold была гораздо более ожидаемой. DeepMind предсказали трёхмерную структуру всех известных белков — решили задачу, про которую раньше многие считали, что её решить невозможно.

Демис, как и вчерашний лауреат Джеффри Хинтон — подписант https://www.safe.ai/work/statement-on-ai-risk.

Карта российских библиотек, куда (по их заявкам) отправили 1740 трёхтомников Гарри Поттера и методов рационального мышления.

Ещё отправили 2к экземпляров победителям олимпиад.

Остаётся ещё 6.5к экземпляров — больше 19к книг! Если есть идеи, что можно с ними сделать, что принесло бы пользу, предлагайте!

Окей, проведу трансляцию в следующую субботу.

Задавать вопросы можно будет во время стрима или заранее — оставляйте и лайкайте интересные по ссылке или в комментариях к этому посту.

Меньше чем через два часа начну трансляцию с Q&A! Придумывайте вопросы и задавайте их заранее или во время стрима.

Тезисы:

1. ИИ отличается от нормальных программ.

Традиционные программы — это написанные людьми инструкции, которые выполняет компьютер. Эти инструкции содержат придуманные людьми алгоритмы. Современные системы ИИ вроде ChatGPT — это нейронные сети: матрицы с миллиардами-триллионами чисел. В принципе, для любого алгоритма, даже ещё неизвестного людям, есть (возможно, очень большая) нейронная сеть, которая его приближённо выполняла бы. Но числа в нейронных сетях и алгоритмы, которые они выполняют, людям непонятны.

Чтобы создать нейронную сеть, мы придумываем, в каком порядке перемножать много матриц и какие операции делать между перемножениями. Потом мы наполняем матрицы совершенно случайными числами, задаём какую-то метрику, чтобы измерять, насколько хорошо нейронная сеть достигает целей, и используем довольно простую математику, чтобы считать, в какую сторону изменять все эти числа, чтобы нейронная сеть показывала себя на заданной метрике лучше. В итоге, мы, по сути, выращиваем эту нейронную сеть: автоматически меняем её так, чтобы она была более способной.

Но, хотя мы видим все миллиарды-триллионы чисел, из которых состоит нейронная сеть, мы совершенно не представляем, из чего она состоит и не знаем, каким образом перемножение этих чисел приводит к достижению целей. (Даже если полностью просканировать человеческий мозг, нейробиологам и другим учёным нужно было бы проделать очень много работы, чтобы разобраться, как устроено человеческое сознание и из чего устроено достижение целей людьми.)

Набросал простой инструмент, можете руками научить нейронную сеть находить элемент посередине между двумя выбранными: contact.ms/sgd.

2. Мы знаем, как делать нейронные сети более способными.

Если есть способ решить задачу, есть нейронная сеть, которая может решить эту задачу. Если есть способ произвести текст и мы учим нейронную сеть предсказывать текст, она, в принципе, может понять способ, которым этот текст был произведён в реальности. Если использовать «обучение с подкреплением» — давать вознаграждение за успешное достижение целей — есть нейронная сеть, которая получала бы максимальное вознаграждение.

Машинное обучение занимается заданием метрики, чтобы измерять, насколько нейронная сеть способна; выбором архитектуры (как именно расположить все матрицы, чтобы нейронная сеть была потенциально достаточно способной); и процессом обучения (как именно автоматически менять все эти числа, чтобы получать такие, что составляют всё более способу нейронную сеть).

Судя по всему, из-за математических особенностей (пример) обучения — поиска в очень многомерном пространстве — трата большего числа вычислительных ресурсов просто приводит к лучшим результатам. Это значит, что если мы берём сильно больше GPU и тратим больше электричества, мы можем получить на выходе более способную нейронную сеть.

3. Осталось не слишком много времени до момента, когда нейронные сети будут не менее же способны достигать цели, насколько способны люди.

Осознание этого сподвигло Нобелевского лауреата Джеффри Хинтона уйти из Google. Из-за этого же подавляющее большинство передовых учёных, занимающихся ИИ, подписало стейтмент в мае 2023:
”Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war.“

С выхода GPT-2 в 2019 году, мне стало понятно, что траектория развития ИИ будет гораздо быстрее, чем ожидал, потому что обучение нейронных сетей работают. Многим это стало понятно после выхода AlphaGo/Alpha/Zero. Но после выхода ChatGPT два года назад скорость, с которой передовые системы ИИ становятся умнее, стала довольно очевидна подавляющему большинству учёных.

Мы можем делать системы ИИ более способными; у нас получается; вопрос только в ресурсах, которые нужно потратить и конкретных алгоритмах, которые приводят туда эффективно.

Я очень удивлюсь, если осталось меньше года или больше десяти лет.

4. Мы не умеем давать ИИ цели.