Gemini теперь обучает SIMA 2

DeepMind добавила многомодальный модель Gemini на существующую модель SIMA 2, создавая агента, который следует за голосовыми, текстовыми и рисунковыми командами в открытых играх.

Новые возможности

• Улучшенное пространственное мышление: навигация по крупным картам и запоминание целей в течение нескольких сессий.
• Многомодальные вводы: комбинирование речи, текста и простых рисунков для уточнения намерений.
• Контроль стратегии: предлагает следующие действия, при этом игрок сохраняет полный контроль.

Почему это важно

• Демонстрирует, как фундаментальные модели могут обобщаться на разнообразные 3D среды без переподстройки для каждой игры.
• Открывает путь к ассистент-типу копилотам для креативных инструментов и тренировок в симуляциях.

Предупреждения

• Безопасность: агенты должны избегать поведения, которое может нарушать игру или использовать баги.
• Конфиденциальность: голосовые и игровые потоки требуют явного согласия и ограничений по хранению.
• Надежность: открытые среды нестабильны; аварийные режимы и передача управления человеку остаются ключевыми.

Вывод: SIMA 2 с использовани и Gemini — это предварительный взгляд на кросс-средние ассистенты; настоящий тест будет заключаться в том, чтобы сохранять их безопасность, управляемость и уважение к автономии игрока.