Koala OSS Club

浏览器中的 WebGPU 已经较为成熟，secret-llama 这个项⽬则将 Mistral 和 LLama3等最先进的⼤语⾔模型通过 WebGPU 搬进了浏览器。同样使⽤⼀个对话式 UI，但通过13WebGPU 的能⼒调⽤本地运⾏的⼤模型，可以保证对话内容完全本地化，最⼤程度保证隐私，即使是离线环境下也可以运⾏。Koala 认为：该项⽬⽬前⽀持 Mistral 7B 和Llama 3 8B 等 4 种模型，模型尺⼨从 600MB 到 4.3GB 不等，同时对 GPU 也有较⾼的要求。虽然从模型尺⼨和硬件需求上看实⽤意义还不⼤，但可以作为学习 WebGPU的实验性项⽬进⾏了解。