Wink Pings

FigmaTrace开源:200小时真实设计轨迹,AI终于有“设计操作”教材了

PatronusAI开源FigmaTrace,首个面向设计领域的计算机使用数据集,包含200+小时、3400+条Figma真实操作轨迹,为AI学习长周期设计任务提供了稀缺素材。

AI操作电脑的“计算机使用”(computer use)赛道,过去多集中在浏览器、代码编辑器这类场景。设计工具一直缺位——直到FigmaTrace出现。

今天,PatronusAI的Anand Kannappan宣布开源FigmaTrace,号称是**第一个面向设计的计算机使用数据集**。它记录的不是简单点击,而是设计师在Figma里执行复杂、长周期任务的完整过程。

**数据规模:200+小时,3400+条轨迹**

每条轨迹都是一次真实设计工作的逐步记录。从画板搭建到组件调整,从样式微调到交互连线,模型可以从中看到设计师如何拆解一个模糊需求,一步步落到具体操作。

**为什么值得关注?**

现有公开数据集大多来自通用网页操作,设计软件的数据极其稀缺。原因是采集门槛高:需要录屏、记录底层DOM变化、还要标注意图。FigmaTrace用真实环境采集,避免了合成数据常见的“假操作”问题。

另外,设计任务的轨迹通常很长,涉及多步判断和撤销重做。这正好考验AI agent的长程规划能力,比“点个按钮”这类任务有更丰富的学习信号。

数据集、论文和博客都已放出。如果你在做多模态agent或设计工具智能化,这份数据值得花时间看看。

(素材来自Anand Kannappan的推文,经授权整理)

发布时间: 2026-08-21 07:30