Koala OSS Club

Cloudflare 开源了决策模型 Clef 和 Clef-flash。和 Jev 一样，不生成文字，而是在预设的 schema 选项里直接给出结果和概率。Clef 以 Qwen 为骨干，冻结主体只训练路由 head 和 LoRA，采用非自回归解码，一次前向并行给所有选项打分。其中 flash 版本的中位延迟不到 39 毫秒，还支持图像输入和 64K 上下文，权重以 Apache 2.0 发布。 点评：Agent 工作流里大量环节其实是分类和路由，用通用大模型做既慢又不稳定，专用决策模型是很务实的方向。clef 的实现在架构层面有所创新，在不盲目缩小模型参数量的情况下，大幅度提升了决策速度。