省流：我们基于 AutoGLM 和 GELab-Zero 这类 开源 GUI model ，构建了一个 GUI Agent --- OMG-Agent！已开源先是豆包手机证明 AI ...

在更接近真实场景的MobileWorld测试集上，MAI-UI-235B-A22B整体成功率41.7%，比其他端到端模型高出20.8个百分点。在需要主动询问用户的任务上成功率37.5%，在需要调用MCP工具的任务上成功率51.1%，分别比之前最好的成绩高出32.1和18.7个百分点。

凤凰网科技讯 12月29日，通义实验室多模态交互团队近日宣布开源其通用GUI智能体基座模型MAI-UI。该模型旨在通过理解屏幕界面并执行操作，完成跨应用、多步骤的复杂任务，例如查询车票、在通讯群组同步信息、调整会议安排等。

在12月初，豆包与中兴旗下的努比亚共同推出了AI手机“努比亚M153”，这一举动迅速成为互联网和AI领域的热议焦点。豆包手机的最大亮点在于其具备在用户授权下自动操作手机的能力，能够高效完成复杂的长链路任务。这一创新不仅引发了国内的广泛讨论，也让海外市场倍感震撼。

嘻疯 发自 凹非寺量子位 | 公众号 QbitAI3万台首批备货被一抢而空、在二手市场价格翻番的当红炸子鸡“豆包手机”，更多技术详情得到证实。事实证明，豆包手机助手技术预览版背后，是字节在“系统级GUI Agent”赛道上布局了近两年的大棋。在官方演示中，搭载在工程样机nubia ...

近日，字节跳动与努比亚联合推出的“豆包AI手机”引发关注。该手机通过GUI技术实现跨App操作，但也引发隐私安全担忧。12月22日，快手平台遭黑灰产攻击，加剧了对AI技术安全性的讨论。

近日，OPPO ColorOS 智慧产品研发总监姜昱辰在接受媒体采访时，阐述了 OPPO 在 AI 手机领域的发展路线，强调 GUI Agent 是当前技术的过渡形态未来将更倾向于 Agent to Agent（A2A）模式。此番言论恰逢字节跳动与努比亚联合推出的 “豆包 AI 手机” 引发广泛关注，后者通过语音指令实现跨 App 自动操作，成为行业热点。

在嵌入式系统开发中，选择一个合适的图形用户界面（GUI）库是至关重要的。在屏幕上显示的时候，使用现成的图形库，这样开发人员就不需要弄清楚底层任务，例如如何绘制像素、线条、形状，如果再高级一点，则可以绘制某些对象，例如窗口、按钮等。

当前，多模态大模型驱动的图形用户界面（GUI）智能体在自动化手机、电脑操作方面展现出巨大潜力。然而，一些现有智能体更类似于「反应式行动者」（Reactive Actors），主要依赖隐式推理，面对需要复杂规划和错误恢复的任务时常常力不从心。 我们认为，要 ...

OPPO ColorOS智慧产品研发负责人姜昱辰在近期访谈中，系统阐释了该公司对AI手机技术演进方向的判断。他特别指出，当前以图形用户界面交互为主的GUI Agent模式属于过渡阶段，未来将逐步向智能体间直接协作的Agent to ...

近日，微软研究团队发布了一篇长达 80 页、逾 3 万字的综述论文《Large Language Model-Brained GUI Agents: A Survey》。这份综述系统梳理了大模型驱动的 GUI 智能体在现状、技术框架、挑战与应用等方面的研究进展。论文指出，通过将大语言模型（LLMs）与多模态模型（Visual Language Models, VLMs）相结合，GUI ...

前述内容由第一财经“星翼大模型”智能生成，相关AI内容力求但不保证准确性、时效性、完整性等。请用户注意甄别，第一财经不承担由此产生的任何责任。 如您有疑问或需要更多信息，可以联系我们 [email protected] 阶跃星辰宣布GUI Agent全面升级 阶跃星辰今日宣布GUI Agent全面升级，包括云端模型Step-GUI全量上新，任务场景突破200+，支持超长步骤推理，并开放GUI-MCP ...