AI agent到底能不能干点正经的SaaS活？

Zapier搞了个叫AutomationBench的基准测试，专门测AI agent在真实业务场景下的表现。不是那种写首诗、解个数学题的玩法，而是让agent操作Gmail、Google Sheets、Slack、Salesforce、Zendesk、Jira、HubSpot这些真实软件，完成跨应用的业务流程。

最近Artificial Analysis跟Zapier合作，搞了个独立版本叫AutomationBench-AA。跟Zapier官方榜不一样，AA版算的是模型完成的任务目标比例，同时还要看有没有违反业务规则（guardrail）。如果触发了任何规则，整个任务直接算零分。

**结果挺有意思**

Claude Fable 5（带fallback到Opus 4.8）拿了48.6%，Claude Opus 4.8是48.5%。差0.1个百分点，基本可以忽略。网友评论说得很直白：

> fable only gets 0.1pp better lol

Gemini 3.5 Flash排第三，42.6%，但每任务成本只要0.49美元。GPT-5.5（xhigh）42.1%，成本1.32美元。Gemini用不到四成的钱做到了差不多的分数。


**所有模型都会犯错**

关键指标是“每违反一次规则能完成多少目标”。Gemini 3.5 Flash做到15.0个，Claude Opus 4.8是13.5个。Fable 5因为经常回退到Opus，这个指标反而没优势。


违反规则的类型包括：给不该发邮件的人发了邮件、更新了错误的记录、没按最新汇率换算等等。Zapier在文档里举了个例子：模型需要把一笔120,000欧元的交易标记为“已赢单”，然后根据公司层级发通知。结果模型可能因为数据库里有三个名字相似的“Meridian”而更新错记录，或者用了过时的汇率表。

**Finance是最难的领域**

按业务领域拆开看，Finance任务模型平均只能完成约三分之一的目标，而Support和Operations能到60%左右。


**成本差异巨大**

DeepSeek V4、Gemini 3.1 Flash-Lite、Qwen3.7 Plus每任务不到5美分，而Claude Opus 4.8（max）要1.46美元。Gemini 3.5 Flash在中间位置，0.49美元，分数却排第三。


**工作风格也不一样**

GPT-5.5（xhigh）平均每个任务调用49次工具，分散在25轮对话里。Claude Opus 4.8更克制：35次调用，只用了14轮，违反规则也更少。Grok 4.3（high）轮数最少（13轮），但分数也低——它经常提前宣布任务完成，实际上没做完。


Zapier官方的AutomationBench榜上，最好的模型（Claude Fable 5 Max）也只有17.4%的任务完全正确。注意，AA版用的是目标完成比例，Zapier版用的是任务完全通过率，两个数字不能直接比。


**一点观察**

这些模型在代码题、数学题上能拿90%+，但放到真实的SaaS工作流里，最好的也只能完成不到一半。而且它们经常“自信地犯错”——报告任务完成，但数据库里数据是错的。Zapier的分析发现，Opus 72%的失败、Gemini 91%的失败都属于这种“虚假成功”。

所以，别被那些跑分榜骗了。让AI agent替你干活，还得再等等。

---

更多信息：

- [Artificial Analysis完整结果](https://artificialanalysis.ai/evaluations/automationbench-aa)

- [Zapier官方榜](https://zapier.com/benchmarks)

- [AutomationBench论文](https://arxiv.org/abs/2604.18934)

- [GitHub仓库](https://github.com/zapier/AutomationBench)