APICheck 交流群 · 欢迎加入讨论
QQ 群二维码
群号: 1058136854

使用 QQ 扫一扫上方二维码即可加群

开发无需 API Key

llama.cpp

高性能、内存友好的纯 C/C++ 大模型推理引擎

ggml-org GitHub 更新于 2026/07/23
#本地推理#大模型#C++
0下载
0安装
121,328星标

关于本页数据

本技能包信息最近更新于 2026年7月23日;下载与安装请通过 APICheck 技能资源市场进行, 并以页面展示的版本与来源为准。

llama.cpp

高性能、内存友好的纯 C/C++ 大模型推理引擎

llama.cpp 以纯 C/C++ 实现,在 CPU 与多种 GPU 上高效运行量化后的大模型,是本地推理生态的事实标准底座。

功能特性

安装

git clone https://github.com/ggml-org/llama.cpp

也可直接访问仓库获取最新代码与文档:https://github.com/ggml-org/llama.cpp

许可证

MIT