TurboFieldfare | 2G 内存跑 26B 模型

TurboFieldfare 是个专为 Apple Silicon 写的推理引擎，能让 Gemma 4 的 26B-A4B 模型只占约 2GB 内存跑起来，8GB 的 Mac 也能用。原理是不把 14.3GB 的模型整个塞进内存，只让 1.35GB 的共享核心常驻，其余专家权重从 SSD 按需流式读取。项目用 Swift 6.2 和 Metal 4 写成，带原生 Mac 应用、命令行工具和一个兼容 OpenAI 接口的本地服务。点评：这个项目真正的价值在于，它最大化发挥了 MOE 架构模型的特点，降低资源需求。这一思路的前提是 SSD 够快，苹果的统一内存和高速 NVMe 恰好是最合适的土壤，换到普通 PC 上收益可能会明显缩水。