Google DeepMind во вторник выпустила в предварительном просмотре новейшую мировую модель Genie 4. Она генерирует самые фотореалистичные и интерактивные миры: пользователи вводят текстовые подсказки, чтобы менять сцену. Модель также создаёт звук в реальном времени, соответствующий симулируемому миру, — музыку, окружающие шумы и интерактивный диалог.
Что происходит на рынке мировых моделей?

Выпуск Genie 4 состоялся через пару месяцев после того, как стартап Runway выпустил свою вторую мировую модель, GWM Worlds 2, воспроизводимую модель, которая динамически реагирует на пользовательские вводы и включает в себя генерацию звука. В то же время мировая модельная индустрия начинает консолидироваться. World Labs от Fei-Fei Li приобретается AMD, Amazon ведет переговоры о покупке Decart, а Rivian только что приобрела Third Dimension, чтобы внедрить возможности моделирования для тестирования самостоятельного вождения.
Genie 4 — это последний шаг Google, чтобы оставаться впереди в переполненном поле.
Чем Genie 4 отличается от Genie 3?
Google выпустила своего предшественника, Genie 3, в качестве предварительного просмотра исследования чуть более года назад. Помимо того, что Genie 4 гораздо более фотореалистичен и оснащен аудио, он позволяет редактировать в свободной форме, например, изменять погоду или угол камеры в режиме реального времени или добавлять новых людей или объекты. Он может поддерживать постоянную сцену в течение двух минут, удваивать лимит своего предшественника и предлагает лучшую физику и больше похожих на человека персонажей.
Gemini, модель искусственного интеллекта Google, также более тесно интегрирована с Genie 4, выступая в качестве директора, который планирует шаги и проверяет кадры, в то время как Genie создает визуальные эффекты. В исследовательском эксперименте, связанном с Gemini Robotics, модель Gemini 4 Argon разбила задачи на этапы, которые Genie 4 имитировал в режиме реального времени. Эксперимент показывает возможный способ тестирования сценариев роботов в моделировании до того, как они произойдут в реальном мире.
«То, что мы все чаще увидим в будущем, — это гибридные модели мира, где у вас есть комбинация написания кода и текста Близнецами, а Джин проглатывает это в режиме реального времени и имитирует реальность на разных уровнях абстракции», — сказал Техас Кулкарни, директор по исследованиям Google.
Как и в случае с другими мировыми моделями, коммерческие варианты использования включают в себя игры, интерактивное обучение и робототехнику. Одним из спекулятивных примеров интерактивного обучения будет вхождение в картину исторической сцены и общение с субъектами картины о изображенном событии.
Как тестировщики нашли новое применение?
Но «доверенные тестировщики» — люди, которые получают первый доступ к передовым продуктам Google, — указывают на возможное новое использование: прототипирование фильмов.
«Аспект реального времени становится наиболее ценным в тех областях, где поддержание состояния потока в пространстве творчества становится невероятно полезным, — сказал Диего Ривас, инженер Google DeepMind. — Например, в фазе идеи, в фазе раскадровки — в любое время, когда вам нужна быстрая идея».
Google также предлагает Veo, свою модель генерации видео с искусственным интеллектом, которая делает клипы высокой четкости со встроенным синхронизированным аудио из текста, изображения или видео подсказок — инструмент, который растет в популярности среди кинематографистов.
Ривас добавил, что пользователи могут в конечном итоге полагаться на Gemini Omni, мультимодальную модель большого языка, которая может генерировать видео из изображений, аудио и текста, чтобы превратить эти прототипы в творческие активы. Хотя эти возможности, по его словам, все еще являются выходом.
Какие недостатки остаются у Genie 4?
На протяжении всего брифинга Ривас подчеркнул, что для Genie 4 еще рано, и что еще не ясно, каким будет сквозной опыт продукта. Команда также признала, что у Genie 4 все еще есть пробелы: детали и объекты могут дрейфовать дольше, чем работает симуляция, и они все еще не совсем поняли, как обеспечить точность звука и разборчивость любого текста в мире.
Genie 4 теперь доступен в качестве предварительного просмотра для надежных тестировщиков. В ближайшие недели модель будет представлена подписчикам Google AI Ultra в Project Genie, инструменте искусственного интеллекта Google для создания интерактивных миров из текстовых или графических подсказок, а также партнерам по раннему доступу API Gemini и Google AI Studio.
Вопросы и ответы
Кто покупает World Labs и Decart?
World Labs, проект Фэй-Фэй Ли, приобретает AMD. Amazon ведёт переговоры о покупке Decart. Кроме того, Rivian купила Third Dimension, чтобы тестировать самостоятельное вождение через симуляцию.
Сколько времени Genie 4 удерживает одну сцену?
Модель способна сохранять постоянную сцену две минуты — это вдвое больше, чем у Genie 3. Также у неё улучшенная физика и более похожие на людей персонажи.
Как тестировщики предлагают использовать Genie 4?
Инженер Google DeepMind Диего Ривас видит главную ценность в реальном времени для творчества — например, на этапе идеи и раскадровки фильма, когда нужна быстрая задумка.










