Миллиардер Илон Маск, сооснователь Apple Стив Возняк, сооснователи или CEO целого ряда крупных и средних компаний. Профессора MIT, Гарварда, Оксфорда и сотен других университетов в США, Евросоюзе и других странах и регионах. Актеры, пилоты, медсестры, учителя, инженеры и бесчисленные IT-специалисты. И даже сами разработчики искусственного интеллекта, в том числе главы Stability AI и Conjecture. Все эти люди — под открытым обращением подписались более тысячи человек — считают необходимым немедленно запретить разработку новых моделей искусственного интеллекта. Пусть не всех, но хотя бы более масштабных, чем GPT-4. И хотя бы на полгода — на время подготовки систем регулирования.

Время ли бить тревогу? Комментирует главный аналитик Центра искусственного интеллекта МФТИ Игорь Пивоваров:

Игорь Пивоваров главный аналитик Центра искусственного интеллекта МФТИ «С одной стороны, сейчас очень большие модели становятся все больше, а понимания того, что там происходит внутри, у нас все меньше. Отследить цепочки, почему модель сделала так, а не по-другому, достаточно трудно. Но еще более проблемным является тот факт, что сейчас несколько стран в мире совершают большой забег в области искусственного интеллекта, и все понимают, что если будет создана технология так называемого сильного ИИ, то это может стать большим достижением. Вообще-то, опасно заниматься такими разработками в спешке, в гонке, когда явно меньше внимания, чем нужно, уделяется вопросам безопасности, надежности и прочее. Технологии такого плана, которые потенциально несут большие возможности и, с другой стороны, большие риски для всего человечества, должны делаться в хорошем международном сотрудничестве, обстоятельно, с привлечением лучших людей. А не в условиях даже не то чтобы спешки и гонки, а объективно и буквально гонки вооружений».

Авторы обращения описывают риски пусть не подробно, но красочно. «Дадим ли мы машинам заполнить наше инфопространство пропагандой? Должны ли мы автоматизировать все профессии, даже те, которые приносят удовлетворение? Нужно ли создавать нечеловеческие умы, которые могут догнать, перегнать и в итоге заменить нас? Стоит ли рисковать потерей контроля над человеческой цивилизацией?» Тревоги о появлении «сильного ИИ», способного выполнять любые задачи наравне с человеком, озвучиваются давно, но сегодняшние нейросети таковыми называют только отдельные специалисты, зачастую весьма экзальтированные.

Реальные риски гораздо ближе, продолжает автор и ведущий YouTube-канала «Душкин объяснит» Роман Душкин:

Роман Душкин автор и ведущий YouTube-канала «Душкин объяснит» «Самый главный риск в том, что эта модель будет обучаться во взаимодействии с людьми. Там есть механизм, который называется Reinforcement Learning with Human Feedback. Это обучение с подкреплением на основе реакции человека. Система видит, как реагирует человек на ее поведение, и она свое поведение подстраивает. У нее огромное количество подключенных к ней пользователей, она сможет реагировать на поведение людей таким образом, чтобы людей можно было убедить в чем угодно. И люди, которые не обладают глубокой экспертизой, которые полагаются на мнение других, не проверяя его, будут очень зависимы от подобного рода систем. Через такие системы можно будет манипулировать массами намного сильнее и намного проще, чем это делают социальные сети. Разработчики подкручивают коэффициенты нейросети, и она на те или иные вопросы отвечает так, как нужно».

За время полугодового моратория на проведение экспериментов с нейромоделями, превышающими по масштабам и без того гигантский GPT-4, авторы письма призывают подготовить регулирование области. В частности, правительствам рекомендовано создать специальные ведомства — этакие Росботнадзоры — для контроля над разработкой ИИ. Подписанты отмечают, что при должных усилиях мир может ждать долгое «лето искусственного интеллекта», когда машины будут работать на благо каждого. В противном же случае человечество может пропустить лето и сразу перейти к осени.