Koala OSS Club

Colibrì 是一个纯 C 实现的推理引擎，核心只有约 2400 行代码、零运行时依赖，却能在 25GB 内存的消费级设备上跑 GLM-5.2 这个 744B 参数的 MoE 模型。思路是将部分参数层常驻在内存中，370GB 的两万多个路由专家放在磁盘按需流式加载，配合 int4 量化和投机解码，Apple M5 Max 实测约每秒 1 个 token。 点评：这个速度离生产可用还很远，但它证明了 MoE 加 NVMe 流式加载这条路，能把接近万亿参数的模型塞进笔记本，是 llama.cpp 之后又一个极限工程实现。随着固态硬盘带宽持续逼近内存，专家按需加载可能会成为本地推理的常规手段。