NVIDIA AI 在 ICML 2026 上发了一篇论文，回答了一个看似简单的问题：LLM 到底能记住多少东西？

答案是一个具体数字：约 3.6 bits 每参数。


这个数字来自对“无意记忆”（unintended memorization）和“泛化”的分离测量。论文用不同参数规模（从 170K 到 19.2M）的 GPT 风格模型做实验，画出了上面那张图。横轴是训练数据量，纵轴是模型能记住的比特数。两条关键曲线：一条是实际记忆量，一条是理论容量上限。

结果很直接：模型参数每增加一个，记忆容量就增加约 3.6 bits。

做个简单计算：一个 7B 参数的模型，记忆容量大约 25 billion bits，换算下来约 3 GB。而它训练时吃进去的数据量，往往是几百 GB 甚至 TB 级别。

有网友算得更直观：

> Quick calc: A 7B model only has ~3.6 × 7B = ~25 billion bits of memorization capacity → roughly 3 GB of unique information. That’s tiny compared to the trillions of tokens it’s trained on. Most of what LLMs actually do is generalization, not memorization. This paper finally puts a hard number on it. Huge implications for privacy and scaling.

这个比例意味着什么？

—— scaling 买来的主要不是存储，而是压缩。

另一位网友 Gregor 点出了关键：

> the ratio to training data is what makes this sharp. 7b params * 3.6 bits = roughly 3gb memorizable, out of hundreds of gb trained on. so most of what scaling buys isn't storage, it's compression

这跟直觉相反。很多人以为大模型是个巨大的数据库，能记住训练集里的每一条。但 3.6 bits/参数 的硬上限告诉你：模型更像一个高效的压缩器，它只保留了那些能帮助泛化的模式，大部分细节被丢弃了。

对隐私研究来说，这个结果尤其有意思。

有网友 R K 指出：

> The counterintuitive part: privacy improves with MORE data — past capacity, the model must generalize and per-example memorization collapses. Membership-inference risk peaks below that line, not above.

也就是说，当训练数据量超过模型的记忆容量时，模型被迫泛化，对单个样本的记忆反而崩溃。成员推断攻击的风险峰值出现在容量线以下，而不是以上。数据越多，隐私风险反而越低。

这个结论反直觉，但逻辑自洽。

当然，论文目前只针对纯文本的 GPT 风格模型。有网友问多模态模型是否适用，答案还不清楚。但至少，这个框架给了我们一个更锋利的工具来讨论数据、scaling 和隐私。

另外，NVIDIA 在 ICML 2026 的存在感不止这篇论文。官方数据：145 篇被接收论文引用了 Nemotron 模型和数据集，74 篇 NVIDIA 论文被接收，约 2000 篇论文引用了 NVIDIA GPU。


开放模型正在成为 AI 研究的基础设施，这个趋势在 ICML 的论文列表里已经写得很清楚了。

最后，3.6 bits/参数 这个数字，可能会成为未来模型评估的一个新基准。正如一位网友说的：

> Bits per parameter is a metric I can get behind 😍

它让“记忆”不再是一个神秘旋钮，而是一个可测量、可设计的东西。如果你想让模型记住更多，就加参数；如果你想让它泛化更好，就加数据。

就这么简单。