文章来源:万象ai发布时间:2025-07-24 12:14:23
机器人终于有了自己的“离线大脑”。
Google DeepMind团队首个可以完全在机器人本地运行的视觉-语言-动作(VLA)模型Gemini Robotics On-Device发布。
这个模型不仅能离线运行,还保持了相当强悍的操作能力,能遵循指令完成各种需要精细操作的任务。
支持从人形机器人到工业双臂机器人的多种机器人本体上部署,响应延迟还低到飞起。
此前3月份发布的Gemini Robotics虽然性能强大,但需要依赖云端计算。而这次的On-Device版本,直接把AI塞进了机器人的“大脑”里,彻底解决了网络延迟和连接不稳定的老大难问题。
团队把Gemini 2.0的多模态推理能力和真实世界理解能力,全都塞进了这个可以在机器人设备上运行的模型里。
由于模型独立于数据网络运行,它特别适合对延迟敏感的应用,并确保在网络间歇性或零连接的环境中也能稳定工作。
评测数据显示,On-Device版本在泛化性能测试中表现亮眼。在视觉泛化、语义理解和行为泛化等多个维度上,虽然比云端版本的Gemini Robotics略有差距,但已经大幅超越了之前最好的本地模型。
在处理分布外任务(out-of-distribution tasks)和复杂多步骤指令时,Gemini Robotics On-Device对比此前的本地模型也展现出了碾压级的优势。
这种指令跟随能力,让机器人真正能够理解人类的自然语言指令,而不是简单地执行预设程序。
如果说性能强悍只是基础,那么Gemini Robotics On-Device的适应能力才是真正的杀手锏。
这是谷歌首次开放VLA模型的微调功能。
开发者只需要50到100个演示样本,就能让模型适应全新的任务。在测试中,团队在七个不同难度的灵巧操作任务上进行了验证,包括给午餐盒拉拉链、抽卡片、倒沙拉酱等。
结果显示,即使是最复杂的任务,用不到100个样本就能达到相当高的成功率。
虽然这个模型最初只在ALOHA机器人上训练,但团队成功将其迁移到了完全不同的机器人平台上。
在双臂Franka FR3机器人上,模型不仅能执行通用的指令跟随任务,还能完成工业级的皮带装配任务。
而在Apptronik公司的Apollo人形机器人上,面对截然不同的机械结构,模型同样展现出了强大的泛化能力。它能够遵循自然语言指令,操作各种物体,包括训练时从未见过的新物体。
团队还特别强调,他们在开发过程中严格遵循了谷歌的AI原则,采用了语义安全和物理安全并重的整体安全方案。通过Live API捕获语义和内容安全问题,并与底层安全关键控制器接口来执行动作。
为了让更多开发者能够使用这项技术,谷歌同时发布了Gemini Robotics SDK。
这个SDK不仅能让开发者轻松评估模型在自己任务和环境中的表现,还提供了MuJoCo物理模拟器的测试功能。开发者可以先在模拟环境中验证想法,再部署到真实机器人上,大大降低了开发成本和风险。
目前,SDK正在通过可信测试者计划(trusted tester program)逐步开放。感兴趣的开发者可以在官网上申请加入,抢先体验这项技术。
参考链接:
[1]https://deepmind.google/discover/blog/gemini-robotics-on-device-brings-ai-to-local-robotic-devices/
相关攻略 更多
OpenAI底层AGI技术被曝光!前研究主管豪言:从此再无新范式
爆款AI视频越来越多,但本质我觉得跟炒股没区别。
Cursor+Claude的SVG图片生成功能,强到离谱,强烈建议写PPT没思路的时候买个会员
超20万人使用!最强开源浏览器Workflow插件【内置3300+模版】效率又起飞了~
营销获客AI公司Clay,花7年找到PMF后,快速实现10倍增长的秘密
5天连发5个王炸!MiniMax这波发布周把OpenAI都整懵了|MiniMax发布周回顾
AI应用行业全景洞察丨中国丨2025年5月丨万字诚作丨Xsignal
数字疗法AI医疗独角兽SwordHealth再融4000万,估值冲至40亿美元背后的战略棋局
最新资讯 更多
OpenAI底层AGI技术被曝光!前研究主管豪言:从此再无新范式
更新时间:2025-07-25
爆款AI视频越来越多,但本质我觉得跟炒股没区别。
更新时间:2025-07-25
Cursor+Claude的SVG图片生成功能,强到离谱,强烈建议写PPT没思路的时候买个会员
更新时间:2025-07-25
超20万人使用!最强开源浏览器Workflow插件【内置3300+模版】效率又起飞了~
更新时间:2025-07-25
营销获客AI公司Clay,花7年找到PMF后,快速实现10倍增长的秘密
更新时间:2025-07-25
5天连发5个王炸!MiniMax这波发布周把OpenAI都整懵了|MiniMax发布周回顾
更新时间:2025-07-25
AI应用行业全景洞察丨中国丨2025年5月丨万字诚作丨Xsignal
更新时间:2025-07-25
数字疗法AI医疗独角兽SwordHealth再融4000万,估值冲至40亿美元背后的战略棋局
更新时间:2025-07-25
宁德时代领投,「银河通用」完成超10亿元新一轮融资
更新时间:2025-07-25
【译】万字长文解读:生成式AI的21个设计模式、示例及应用策略
更新时间:2025-07-25