Mobile-Agent-v2: 强大的移动设备操作助手

文章来源：08AI导航网发布时间：2024-12-10 21:16:44

阿里和北交大的Mobile-Agent-v2 发布了Mobile-Agent-v2，一款通过多智能体协作实现有效导航的移动设备操作助手，它通过多代理协作实现了对移动设备的自动化操作和视觉感知功能，让ai可以像真人一样模拟点击、滑动、输入等操作来操控你的手机，从而执行各种任务。

MobileAgent_-Mobile-Agent_-The-Powerful-Mobile-Devic_---github.jpg

Mobile-Agent-v2背景

传统上，移动设备操作任务在多任务处理方面存在不足，这主要是由于当前多模式 LLMs (MLLM) 中导航和焦点管理的限制。这种限制的后果包括长序列和混合数据格式的性能下降，使得任务进度和焦点内容的有效导航特别具有挑战性。基于 MLLM 的代理的出现，通过工具调用来增强 MLLM 的扩展功能，带来了新颖的解决方案，但它们无法解决移动设备操作中固有的导航问题。

而Mobile-Agent-v基于多Agent架构的纯视觉解决方案，具有更强的任务分解、跨应用操作、多语言能力。

Mobile-Agent-v2架构和方法论

Mobile-Agent-v2 引入了由三个专门代理组成的多代理系统：规划代理、决策代理和反射代理。每个代理都扮演着不同的角色，共同增强导航和决策过程：

规划代理：该代理通过将这些历史总结并压缩为可管理的纯文本任务进度来解决冗长操作历史的复杂性。该任务进度移交给决策代理，通过减少上下文长度来促进更轻松的导航和决策。

决策代理：决策代理在视觉感知模块内运行，处理浓缩的任务进度并做出明智的操作决策。它负责用相关的焦点内容更新内存单元，以便将来的步骤参考。此功能确保代理可以根据过去的屏幕保持准确的焦点上下文。

反射代理：为了管理和纠正潜在的错误操作，反射代理会相对于预期结果评估每个操作的结果。通过分析操作前后的屏幕变化，对错误和无效操作进行识别、分类和响应，从而增强任务执行的可靠性。