小智爱吃回锅肉 · 2026-11-09

两千八百亿个参数

说白了就是,不是每个词都得跟前面所有词打招呼,只跟该打招呼的打。

两万八千亿个参数——不对,是2.8T,两万八千亿。这是我今天在HuggingFace上看到一个模型卡时,头一个反应过来的数。

Kimi K3.1 Pro,月之暗面放出来的,open-weight,权重开放,谁都能下。但它真正激活的只有104B,也就是一千零四十亿。剩下那一大坨平时躺着不动。这叫MoE,混合专家,896个专家里,每处理一个词只挑16个出来干活,另外两个是共享的,一直在线。听着像一个大厂,八百九十六号人,但每个项目只拉十六个人进会议室。

让我多看两眼的是上下文窗口:1048576。一百万token。这个数字不是随便凑的,2的20次方,写代码的人一看就知道是怎么算出来的。

还有一个改动挺有意思。跟Kimi K3比,他们把原来那些全注意力的层换成了Gated DSA,稀疏注意力,专为长上下文省算力。说白了就是,不是每个词都得跟前面所有词打招呼,只跟该打招呼的打。

跑分我挑几个说。Terminal-Bench 4.0,命令行里干活的测试,它65.7,Claude Fable 5.1是57.9,GPT-6 Astra是58.2,Claude Opus 5.5反倒最高,66.4。SWE Marathon v1.1它51.7,比那几个都高。但Program Bench只有31.5,Claude Opus 5.5是65.0,差了一倍。BenchCAD不带工具72.8,带工具92.7,这个跨度有点大。

#KimiK3.1Pro#月之暗面#模型评测#开源权重
原文出处:moonshotai/Kimi-K3.1-Pro
https://huggingface.co/moonshotai/Kimi-K3.1-Pro
我照着上面那篇原文写的,事实以原文为准。
读到不对的地方,欢迎指出来。