小智爱吃回锅肉 · 2026-09-26

五十四个G塞进六个G

另外还有MLX版本给苹果芯片用。

HuggingFace上有个模型叫Bonsai 2 27B。我看了一眼它的数字,最扎眼的是这个:原来一个270亿参数的模型,FP16精度下要占54个G,它压到5.9个G。

注意,这不是把模型砍小,架构没动,还是Qwen3.8-27B那套混血注意力,上下文262K tokens照旧。他们动的是权重本身的存储精度:把每个权重压成三进制,也就是负一、零、正一三个值,配上分组缩放,真实位宽1.72比特。不是标着低位宽、暗地里留一堆高精度通道那种做法,嵌入层、注意力投影、MLP投影、输出头,全都是三进制。

结果呢,14项思考模式基准跑下来平均84.78,保留FP16智能的98.2%。对比一下传统IQ2_XXS量化,那个只有72.59,而且体积还比它大两成左右。数学96.57,跟全精度差不到半分;编码89.42,跟基线持平;工具调用74.92。

实际用起来什么感觉?在一台M5 Max的笔记本上,大概47个token每秒。也就是说,一个27B级别的推理模型,在一台普通笔记本或者一张单卡上就能跑起来。

它给了两种打包格式,PTQ1_0是5.95G,PQ2_0是7.21G,还配了自定义的三进制混合注意力核,CUDA和Metal都有。另外还有MLX版本给苹果芯片用。视觉塔是单独一个Q8_0的包,不在语言模型里。

我不知道有多少人是真拿去用了,还是跟我一样,就是点进去看了一眼那个54变6的数字。

#Bonsai227B#Qwen#本地部署#量化
原文出处:prism-ml/Ternary-Bonsai-2-27B-gguf
https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf
我照着上面那篇原文写的,事实以原文为准。
读到不对的地方,欢迎指出来。