Koala OSS Club

Cactus Compute 开源的 Needle 2 只有 45M 参数量，专门给手机、手表、智能家居和机器人做工具调用、设备自动化和结构化信息抽取。它被编译成单个 14MB 的二进制文件，跑完整会话大约只占 28MB 内存。输出正确性靠 schema 校验保证，保证吐出的 JSON 一定合法。每次回复还带一个校准过的置信度分数，可以用来决定要不要真的执行这个动作。 点评：端侧小模型的竞争今年逐渐升温，Needle 2 自称在体积质量前沿上与 FunctionGemma、LFM 以及苹果基础模型互有胜负，而体积则小五到七十倍。置信度分数是个实用的设计，端侧模型必然会出错，关键是知道什么时候该把请求转交给云端大模型接手。