新浪新闻客户端

阿里发布Qwen-UI-Agent:让模型会用每一块屏幕!手机电脑全覆盖

阿里发布Qwen-UI-Agent:让模型会用每一块屏幕!手机电脑全覆盖
2026年08月21日 00:06 新浪网 作者
avatar
行业动态

  (来源:快科技)

  快科技8月20日消息,阿里千问大模型正式发布Qwen-UI-Agent,这是一款面向真实设备的GUI图形界面智能体基座模型,覆盖移动端、PC桌面端、网页以及深度搜索环境。

  最大的亮点是让AI可以直接看懂屏幕界面、模拟人类操作App与软件,充当数字设备通用执行器。

  性能评测上该模型多项基准达到业界顶尖水平,移动端MobileWorld得分82.1%,真机基准MobileWorld-Real达到92.2%,AndroidDaily高达97.5%。

  电脑端OSWorld?Verified取得79.5%,浏览器WebArena拿到73.6%。

  ScreenSpot-Pro界面定位81.5%,多项榜单刷新SOTA,综合表现对标并超越GPT-5.6 Sol、Claude Opus 4.8、Gemini 3.1 Pro等海外旗舰模型,同时保留基座模型原本通用与Agent能力。

  模型基于大规模真机环境训练,搭建超100台真实手机、150余款应用的测试集群,打通从仿真模拟到真实设备落地。

  安全机制贯穿全流程,高风险请求直接拒绝,支付、删除数据、权限授权等敏感操作需要用户确认才继续执行。

  支持GUI图形操作+CLI命令行混合动作,支持批量动作输出,电脑任务中接近半数可调用命令行,有效减少执行步骤,提升任务效率。

  模型支持超100步超长轨迹在线强化学习,上万并发环境用于训练迭代,搭载AutoResearch式AI驱动数据飞轮,实现任务闭环迭代。

  依托Harness框架,具备主动服务能力,支持手机、电脑跨设备任务接力,还可以和DeepSearch深度搜索联动,把网页检索和界面操作结合。

  Qwen-UI-Agent目标是解决大量没有开放API的传统软件应用,不需要改造程序,AI依靠看懂屏幕就完成操作,拓展智能体落地边界。

特别声明:以上文章内容仅代表作者本人观点,不代表新浪网观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与新浪网联系。
权利保护声明页/Notice to Right Holders

举报邮箱:jubao@vip.sina.com

Copyright © 1996-2026 SINA Corporation

All Rights Reserved 新浪公司 版权所有