Bonsai 27B：27B 级模型开始挤进手机内存

PrismML 在 2026 年 7 月 14 日发布 Bonsai 27B，称其基于 Qwen3.6 27B，是 Bonsai 系列新的多模态旗舰模型。官方强调的重点不是简单缩小参数量，而是让 27B 级能力进入手机、笔记本和单卡设备的内存预算。

Bonsai 27B 有两个版本：Ternary 版本使用 {-1, 0, +1} 三值权重和 FP16 分组缩放，等效 1.71 bit/weight，体积为 5.9GB；1-bit 版本使用 {-1, +1} 二值权重和相同的分组缩放，等效 1.125 bit/weight，体积为 3.9GB。PrismML 称后者能进入 iPhone 17 Pro 的内存预算。

传统 27B 模型如果用 16-bit 精度，PrismML 给出的估算是大约 54GB；即使用较好的 4-bit 构建，也大约需要 18GB。这让这类模型很难真正进入普通手机和多数笔记本。

Bonsai 27B 的意义在于把压缩目标从“能聊天的小模型”推进到“能做多步推理、结构化工具调用、视觉任务和 computer-use agentic loops 的模型”。如果这些能力能在本地运行，Agent 的成本、隐私和延迟结构都会变化。

PrismML 在发布文中给出 15 项 benchmark 的汇总结果：Ternary Bonsai 27B 的 overall score 为 80.5，对照的全精度 Qwen3.6 27B 为 85.0；1-bit Bonsai 27B 为 76.1。官方表述为三值版本保留 95% 的全精度基线能力，1-bit 版本保留 90%。

分项上，官方数据里数学、代码、工具调用和视觉都有下降，但不是同等幅度。对于学习者来说，关键不是把这些数字当成绝对排名，而是观察低比特压缩开始瞄准 Agent 所需的能力组合：长上下文、工具调用、视觉输入和多步循环。

PrismML 把本地执行的价值说得很直接：Agent 不是一次模型调用，而是可能包含上百步，每一步都带着上下文、工具调用和中间结果。如果全放在云端，成本会随循环次数累积，用户的文件、屏幕和私有数据也会不断跨网络传输。

这并不意味着云模型会被替代。更现实的方向可能是混合架构：隐私敏感、非前沿和高频步骤由本地模型处理，最困难的推理再交给云端前沿模型。学习者可以从这个角度重新理解本地模型：它不只是离线聊天，而是 Agent 系统里的成本和隐私控制层。