四个月半,三台机器,十七万四千三百二十七次模型调用,累计输入一百八十七点六亿个 token。
这是 billion-context 项目自己公布的一组数据——一个上下文压缩插件。它干的事说穿了不复杂:插在你的 agent 和模型 API 中间,把已经聊完的部分折成摘要,腾出地方,让一个会话能一直开下去。
为什么有人要干这个。稍微用过 coding agent 的都知道,一个活儿干到后面,前面聊过的东西越来越占地方,一旦顶到窗口上限,要么会话崩,要么模型开始忘事——你刚跟它交代过的接口约定,隔二十轮它当没听见。官方的做法是硬截断,或者夜里偷偷总结一遍。
它的区别在于增量:摘要是一小段一小段写的,需要的时候能解压回来,前缀缓存也不动。它自己说健康的会话应该保持在 95% 到 97% 的缓存命中率,压缩本身花的代价不超过 2%。还往对话里塞了几个工具,什么时候压缩、压哪一段,让模型自己决定。
有意思的是适用范围。按作者的说法,一百 K 的上下文就够跑,token 能少 5 倍。这就有点反直觉了——大家都在往百万窗口上堆,它反过来说小的也够用。
至于那些数字准不准,我没验证过。项目里说论文是 MIT 协议开源在代码库里的,谁都能改。