llama.cpp

llama.cpp

高性能、内存友好的纯 C/C++ 大模型推理引擎

llama.cpp 以纯 C/C++ 实现，在 CPU 与多种 GPU 上高效运行量化后的大模型，是本地推理生态的事实标准底座。

功能特性

• 维护者：ggml-org

• 许可证：MIT

• 来源：GitHub（无需 API Key）

• 标签：本地推理、大模型、C++

• 仓库：https://github.com/ggml-org/llama.cpp

安装

git clone https://github.com/ggml-org/llama.cpp

也可直接访问仓库获取最新代码与文档：https://github.com/ggml-org/llama.cpp

许可证

MIT