27B的多模态模型，压到5.9GB，性能只掉1.8%。这不是官方宣传话术， benchmark表就摆在那里。昨天这个发布在HN拿了187分，评论区吵翻了。
先说结论
9月17日，PrismML发布了Ternary Bonsai 2 27B。它把阿里的Qwen3.8 27B压缩成三值权重模型，体积只有5.9GB。
这个体积是原模型的九分之一。
关键数字：1.76 bit/weight，保留98.2%性能。上一代保留率是95%，这一代直接干到98%以上，官方称之为"接近无损"。
实际意义一句话：16GB显存的消费级显卡，现在能跑27B级别的多模态模型了。之前你得用Q4量化塞24GB卡，还得忍受明显的质量损失。
三值权重是什么
传统模型每个权重是FP16，占16个比特。Bonsai 2把权重简化成三个值：-1、0、+1。
三个值理论上只需要1.58比特，配合FP16分组缩放系数，实际是1.76比特。类比一下：原来用一整页纸记一个数，现在只用一个勾叉圈，再在页眉写一行"换算规则"。
注意：这不是简单的"四舍五入到三值"。HN上知情人分析，它先把权重旋转到量化友好的基，再做三值化、分组缩放和误差补偿。
这类QAT（量化感知训练）方法，和llama.cpp常见的Q2朴素量化不是一个东西。
这也是为什么Q2量化（约2.6比特）通常已经"明显变差"，而它能用更少的比特保住性能。
性能到底掉了多少
官方白皮书给了完整对比（思考模式），我整理如下：
|
能力维度 |
Bonsai 2 27B |
Qwen3.8 27B原版 |
|---|---|---|
|
Agent与工具调用 |
77.57 |
79.74 |
|
代码 |
81.58 |
82.17 |
|
指令遵循 |
82.66 |
81.25 |
|
知识与推理 |
83.95 |
86.66 |
|
数学 |
96.57 |
97.06 |
|
视觉 |
78.59 |
81.64 |
|
综合 |
83.9 |
85.4 |
两个细节值得注意。第一，指令遵循反而超过了原模型（82.66 vs 81.25），量化某种程度上当了正则化。
第二，掉分最多的是视觉（-3.05）和知识推理（-2.71），长文档分析场景要留个心眼。
Agent工具调用只掉了2.17，这对跑coding agent和自动化流程的人是好消息——多步任务里小错误会累积，这里恰恰是最怕模型退化的地方。
速度和功耗
官方数据：RTX 5090上143 tokens/秒，M5 Max上46.8 tokens/秒。
4090上每token能耗0.714毫瓦时，比全精度8B模型还省40%的电。
功耗这个点经常被忽略。本地模型挂后台常驻，电费和发热是真金白银的成本。省40%，意味着笔记本续航和散热压力都小一大截。
怎么跑起来
模型在Hugging Face上，Apache 2.0协议，可商用。三条路线：
◆ NVIDIA显卡：GGUF格式，但需要PrismML自己的llama.cpp分支，官方上游还没合并支持。HF仓库里附了编译好的release。
◆ Mac全家桶：MLX版本已发布，M系列芯片原生跑，iPhone和iPad也在官方支持列表里。
◆ 浏览器：社区已经做出了WebGPU版，网页里直接推理，下载完权重记得清理。
一条命令起服务的示例（来自HN社区验证）：
./llama-prism-b10685-7dffb15/llama serve \
-hf prism-ml/Ternary-Bonsai-2-27B-gguf:PTQ1_0 \
--port 8331 -ngl 99 -fa on -c 32768实测社区数据参考：Mac Mini M2（16GB）约7-8 tokens/秒，DGX Spark约34 tokens/秒。M5 Max官方标称46.8，注意别拿错权重文件，用错版本速度会明显变慢。
国内怎么用上同款能力
如果不想折腾小众格式，有这些替代路线：
|
方案 |
特点 |
适合谁 |
|---|---|---|
|
Bonsai 2 27B GGUF |
5.9GB，16GB显存可跑，需专用llama.cpp分支 |
显存紧张、想要27B能力的用户 |
|
Bonsai 2 27B MLX |
Mac原生，46.8 tokens/秒（M5 Max） |
Apple Silicon用户 |
|
Qwen3.8-27B-FP8 |
Qwen官方量化版，生态兼容性最好 |
有24GB+显存、追求零风险的用户 |
|
Unsloth GGUF动态量化 |
Q4级别，上游llama.cpp直接支持 |
24GB卡用户（如7900 XTX实测可用） |
一句话选择：显存够就用官方FP8或Unsloth Q4，显存紧张到24GB以下，Bonsai 2是目前唯一的27B级方案。
冷静看待：两个质疑
HN评论区不是一边倒叫好，两个质疑有道理。
质疑一：对比基准存疑。有评论指出，HF上的对比表只和FP16、UD-Q4_K_XL、IQ2_XXS比，没解释自家方法凭什么比同比特数的朴素量化好。
技术细节是闭源的（白皮书有描述，未公开实现），独立复现还需要时间。
质疑二：长任务会崩。有用户实测浏览器版后提醒：跑长任务时模型会"以有趣的方式崩掉"。短交互很好，多步长链路任务建议先小规模验证再上生产。
另外5090用户（32GB显存）可以冷静点：这个档位Q6量化都塞得下，没必要为省体积上三值。
这件事的真正意义
比单个模型更重要的是趋势：低比特量化正在从"妥协"变成"部署解锁"。
两年前大家说量化，默认是"掉几个点的无奈之举"。现在1.76比特保住98%性能。
这意味着同样的显存能塞更大的模型，同样的硬件能服务更多用户，每一token的电费更低。
第一代Bonsai 27B的GGUF在HF上拿了65万次下载、1300+星，市场已经用脚投票了。
下一代如果能把100B级模型压进30GB，本地和云端的边界会彻底重画。
我会持续跟进这个方向的实测，下一篇可能是Bonsai 2在16GB卡上的真实Agent任务表现。
关注 varkm，一起学习，一起成长