Koala OSS Club

llmfit 是用 Rust 写的终端工具，帮助用户了解一台机器到底能跑哪些大模型。它先探测内存、CPU、显卡显存，然后把几百个模型按四个维度打分，包括能不能装下、跑多快、质量如何、上下文多长。同时提供交互式 TUI 和 CLI 两种模式，后端覆盖多种本地推理方案，还能自动挑合适的量化方案。 点评：本地跑模型这两年从极客玩具变成了真实需求，但大多数人靠论坛帖子和试错选型，效率不高。llmfit 把硬件探测和模型库对上号，实现了一个实用的模型推荐系统。