Shimmy: Ollama要被干掉了？这个5MB的小东西真的有点东西

2026-5-6 15:42 338 0

摘要: 这个5MB的小东西真的有点东西有人用Rust写了个叫Shimmy的本地AI推理工具，直接把矛头对准Ollama——① 单文件5MB，Ollama那边直接哑火② 启动速度不到100ms，内存只吃50MB③ OpenAI兼容API，接入成本几乎是零④ 无需配置、自动分配端口，开箱即用模型来源也全覆盖了：Hugging Fa...

关键词：LLaMA, Ollama, Shimmy, MB, GitHub, OpenAI, Hugging, AI, 本地, AI推理

Ollama要被干掉了？这个5MB的小东西真的有点东西

有人用Rust写了个叫Shimmy的本地AI推理工具，直接把矛头对准Ollama——

① 单文件5MB，Ollama那边直接哑火

② 启动速度不到100ms，内存只吃50MB

③ OpenAI兼容API，接入成本几乎是零

④ 无需配置、自动分配端口，开箱即用

模型来源也全覆盖了：Hugging Face、Ollama、本地目录，自动识别不用你操心。

体积、速度、内存，三项关键指标全线碾压。想跑本地模型又嫌Ollama太重的，这个值得装一个玩玩。

https://github.com/Michael-A-Kuykendall/shimmy