Koala OSS Club

如果你正在开发 LLM 应用，那可以试试使用开源项目 TensorZero，它可以为你的 LLM 应用创建一个反馈回路，通过生产数据不断优化模型，让它们变得更智能、更快、更便宜。TensorZero 统一了 LLM 网关、可观测性、优化、评估和实验，形成一个数据和学习的飞轮。你可以用它的网关来做 A/B 测试和流量路由，一方面让它选择最划算的模型完成任务，另一方面收集数据用于后续微调。 TensorZero 使用 Rust 编写，性能强悍，避免在 API 中引入过多延迟。 点评：随着 LLM 应用从 demo 走向生产，这类观测与优化工具还有更大的潜力等待挖掘。