让AI先画图再干活:法律任务准确率+30%,成本-48%
Harvey在Legal Agent Bench上测试了上下文图谱:先让Agent构建文档关系图,再执行任务。结果显示,任务准确率最高提升30个百分点,成本降低近50%。
Harvey公布了一组实验数据:他们让AI agent在处理法律任务前,先构建一份“上下文图谱”(context graph),结果在Legal Agent Bench(LAB)的多项任务上,准确率提升了最多30个百分点,成本降低了近一半。
下面这个视频是官方发布的概述:
具体做法是:agent先阅读客户事项中的每一份文档,把相关实体和关系提取出来,比如当事方、日期、草稿/签署状态、哪些版本属于同一份合同。这相当于先画一张关系网,再开始干活。
实验覆盖LAB的11个类别,包括并购尽职调查、合同谈判等。agent在构建图谱时,看不到评估任务和评分标准。
结果很有说服力。Firm Knowledge任务:65%→80%;Precedent lists:67%→80%;Matter counting:53%→83%。成本方面,有图谱的agent平均节省48%。
一个典型的案例:任务是找到公司最近的一笔担保融资,并调出已签署的信贷和担保协议作为新融资的先例。没有图谱的agent从头到尾翻了好几个文件、看了好几个事项,最后选错了先例,得0分。有图谱的agent直接定位到了相关事项和已签署协议,拿到75%的评分标准。
实验结果引发了不少讨论。评论区有人问图谱是按单个事项构建还是跨整个客户语料库构建,是否包含构建成本,文档更新时图谱是增量更新还是重建。也有人指出,这本质上还是知识图谱,不是上下文图谱,因为它从静态文档中提取关系,没有捕捉文档在评审、修改、接受过程中的上下文。还有人建议把图谱和grep结合,效果可能更好。
Harvey表示,后续会分享更多关于如何将这一能力集成到产品中的细节。视频里展示了图谱的界面,可以看一下。
发布时间: 2026-10-16 13:46