研究人员发现，仅输入带有边界框和对应ID的UI截图，往往会导致GPT-4o产生误导性预测★★★，这一局限性可能源于GPT-4o在同时执行两个任务时的能力受限：一是识别每个图标的语义信息★★，二是预测特定图标的下一步操作★★。

　　【新智元导读】OmniParser V2可将屏幕截图转换为结构化元素★，帮助LLM理解和操作GUI★★★；在检测小图标和推理速度上显著提升★★，延迟降低60%，与多种LLM结合后表现优异★★。

　　03月01日,2023中国经济年报丨世界首个！我国国内有效发明专利数量突破400万件★★,

　　金色战矛向前刺去，洞穿天地，诸神的吟唱响起★★，是如此的真实★★★，神圣无比★，光辉洒落，这是以攻代守！

　　03月01日★,中华人民共和国外交部和阿拉伯国家联盟秘书处关于巴以冲突的联合声明★★,

　　OmniParser通过将UI截图从像素空间「token化」为LLM可解释的结构化元素★★，弥合了这一差距，使得LLM能够在一组已解析的可交互元素基础上进行基于检索的下一步动作预测。

　　新闻信息服务许可证音像制品出版许可证广播电视节目制作经营许可证网络视听许可证网络文化经营许可证

　　数据采集时，首先从Bing Index热门网址中随机抽取100,000个URL，并从其DOM中提取网页的可交互区域边界框。部分网页及其可交互区域示例如图2所示★★。

　　一路上说着笑着★，不一会儿，就走到了植树的果园。一位农民伯伯正在那里笑盈盈的迎接我们呢。

　　“敢拿鞭子抽老子的脸，忍你很久了！”一群大老爷们都凑了过来★，大脚丫子狂踩而下★★。

　　为了解决这一问题★★，研究人员在提示（prompt）中加入功能的局部语义信息★★。

　　通过构建专门的图标描述数据集★★★，研究人员发现该模型在常见应用图标的描述上更加可靠；在UI截图的视觉提示基础上，加入局部边界框的语义信息（以文本提示的形式）能够显著提升GPT-4o的理解效果。

　　然而★，使用通用大型语言模型（LLM）作为GUI智能体仍然存在难点：1）如何可靠地识别用户界面中的可交互图标★★★，以及 2）理解截图中各种元素的语义，并准确地将预期的操作与屏幕上的相应区域关联起来。

　　从UI屏幕中识别可交互区域是推理用户任务应执行何种操作的关键步骤★★★。与其直接让GPT-4o预测屏幕上应操作的xy坐标★★★，研究人员采用Set-of-Marks，在UI截图上叠加可交互图标的边界框，并让GPT-4V生成要操作的边界框ID。

　　老师们★★，明天暑假就正式开始了，暑假中也没有远程研修任务★，所以大家可以好好休息一下★★★，让紧张了一学期的身心得到放松★。下面我想重点强调以下几个问题：

　　可交互图标检测数据集：该数据集来源于Bing Index热门网页★，并经过自动化标注以突出可点击和可操作区域。

　　具体而言，研究人员构建了一个独特UI截图的可交互图标检测数据集，每张图片都标注了从DOM tree提取的可交互图标的边界框。

　　03月01日★★,上合示范区今年已到发中欧班列964列 数量创历史同期新高高质量发展看中国｜陕西榆林：精准提高农村公共服务水平,

　　具体而言★，对于可交互区域检测模型识别出的每个图标★★★，使用一个微调模型生成该图标的功能描述★★。