Q* — именно так, а не каким-нибудь там «Скайнетом», могут звать нашего будущего нейросетевого оверлорда. О закрытом проекте OpenAI рассказали источники Reuters. По словам собеседников агентства, на прошлой неделе ряд сотрудников компании были настолько обеспокоены неким «прорывом» в разработке Q*, что написали совету директоров OpenAI о его опасности для человечества. Как утверждается, авторы обращения увидели в проекте признаки так называемого «общего искусственного интеллекта» — модели, способной к самостоятельному решению любых задач лучше человека. Согласно статье, сотрудники обвинили сооснователя OpenAI Сэма Альтмана в стремлении коммерциализировать любые достижения, не понимая риски, что и стало «одним из факторов» его увольнения. Продолжает в эфире CNBC директор Института технологической политики Корнеллского университета Сара Крепс:

«В основе конфликта лежат противоречия на тему того, как правильно разрабатывать общий искусственный интеллект на благо человечества. Убеждена, что создать его хотели все участники дискуссий, но видение процесса сильно различалось между советом директоров материнского НКО OpenAI и руководством самой компании. Результатом стало изгнание Альтмана, а его восстановление в должности не оставляет сомнений по поводу того, что сторонники максимально быстрой разработки в итоге победили. Теперь всей структуре OpenAI, которая зародилась именно как некоммерческая организация по медленной и вдумчивой разработке ИИ, будет куда сложнее соблюдать былые установки. После взрывного роста ChatGPT на рынке действуют десятки конкурентов. В гонку за общим искусственным интеллектом включились все».

Сор из избы OpenAI привел к популяризации нового термина — «эффективный альтруизм». Как пишет Bloomberg, к этому движению принадлежали в том числе члены правления ИИ-гиганта, в итоге проигравшие схватку с Альтманом и Microsoft. Основная идея эффективного альтруизма состоит в том, чтобы находить наиболее эффективные способы делать мир лучше на основе научного подхода. Движение давно заинтересовалось перспективой появления общего ИИ, причем не только радужной, но и мрачной. Об этаком альтруистическом лобби в IT-индустрии рассказывает редактор раздела технологий France 24 Питер о'Брайан:

«Сообщество «эффективных альтруистов» состоит в основном из молодых выпускников элитных технических вузов США и Британии. Многие из них с легкостью устраиваются в IT-компании или институты изучения ИИ в Кремниевой долине, или основывают новые. Карьерная платформа «80 тысяч часов», аффилированная с Центром эффективного альтруизма, уже давно называет «исследования безопасности ИИ» и «регулирование ИИ» предпочтительными карьерными путями для молодых сторонников движения. В результате этого многие эффективные альтруисты стали ведущими фигурами в области ИИ и подтолкнули глобальный дискурс в сторону рисков технологии. Некоторые игроки отрицают связь с эффективным альтруизмом, но среди их владельцев, руководителей или доноров легко найти людей, связанных с движением. Например, крупная компания Anthropic AI была основана, когда ее нынешний руководитель Дарио Амодей покинул OpenAI вместе с группой сторонников эффективного альтруизма. Ранее фирма представила популярную нейросеть Claude».

Идеи эффективного альтруизма разделяет отнюдь не вся ИИ-индустрия. Как пишет Bloomberg, на этой неделе глава двухмиллиардного стартапа Cohere раскритиковал движение в письме сотрудникам. По мнению Эйдана Гомеса, некоторые эффективные альтруисты «начинают настолько верить в свою способность облагодетельствовать или даже спасти человечество», что идут на экстремальные шаги, потому что «цель оправдывает средства». Компания подтвердила подлинность письма, но не стала давать комментарии.