Koala OSS Club


Experiential | AI 模型网关与路由


Experiential 是个开源的模型网关,兼容 OpenAI 和 Anthropic 的 Messages API,让你用一个统一接口接入各类模型,还能按用户和 Agent 设置谁能用哪些模型、花多少钱。它能采集 OpenTelemetry 追踪数据,用生产流量自定义更优的自定义路由策略,兼顾质量、速度和成本。 点评:随着团队同时用多个模型供应商变得常态化,模型网关这条赛道已经挤了不少玩家,比如 LiteLLM、Portkey,Experiential 的差异化在于把可观测性数据直接转化成路由训练信号,而不是只做转发和限流。这个思路对已经积累了不少生产流量的团队价值更大。