DBRX | Databricks 开源基础大模型
本周 Databricks 发布了他们新的开源大语言模型 DBRX，并表示性能已经达到了开源模型领域的领先水平。根据 Databricks 的测试，该模型在性能上超越 GPT-3.5，与 Gemini 1.0 Pro 版本接近，作为一个通用模型，在代码生成的特定任务上也超越了 CodeLLaMA 等专用模型。Koala 认为：DBRX 的定位是基础模型，与 LLaMA、Mixtral、Grok 相同。根据发布说明，DBRX 基于 3072 张 H100 GPU 训练而来，也体现了基础模型所需要的算力之大。值得注意的是，Databricks 着重强调了训练 DBRX 的过程运用了 Databricks 发布的一系列工具以及 Databricks 本身的数据平台，并且这些工具与开放给 Databricks 用户的是同一版本。DBRX 本身固然有价值，但也许 Databricks 更想向他们的客户展示在自家产品上训练大语言模型的独特优势。