Ollama
运行开源大模型的本地工具，适合在电脑或服务器上快速拉起模型、测试应用和练习本地推理。
本地模型 开源模型本地运行命令行推理
为什么值得关注
核心能力
安装简单
用少量命令即可下载和运行常见开源模型，适合入门本地 AI。
生态兼容好
很多本地 AI 应用和开发工具都能直接连接 Ollama。
适合离线实验
基础推理可以在本机完成，更容易理解模型能力和硬件限制。
便于应用开发
可以作为本地模型服务，为原型和学习项目提供接口。
适合用在这些场景
- ✓在本机运行开源模型
- ✓给本地开发项目接入 LLM
- ✓比较不同模型的中文和代码能力
- ✓学习模型部署、上下文和量化基础
如何开始
- 1先安装并运行一个小模型，确认下载、推理和停止服务的基本命令。
- 2用同一组问题测试不同模型，记录速度、内存占用和输出质量。
- 3再把 Ollama 接入聊天界面、RAG 工具或自己的小应用。
使用前注意
- 模型越大越吃内存和显存，不要只看参数量选择模型。
- 本地模型知识可能过时，涉及实时信息需要额外接入检索来源。