切换主题

Ollama 本地 LLM 实战指南

本系列共 19 篇文章

如果你想在本地设备上低成本、安全地运行大语言模型,并结合 API 或 Web UI 搭建专属应用,这个系列适合作为你的实战入口。

安装配置模型管理API 集成本地 WebUI
1

Ollama 入门:本地运行大语言模型的第一步

想在自己的电脑上运行大语言模型?本指南手把手教你安装配置 Ollama,从零开始体验本地 LLM 的强大功能,涵盖多平台安装、模型管理、GPU加速和 API 集成的完整教程

AI与智能
2

Ollama 模型管理:下载、切换、删除与版本控制完全指南

详细讲解 Ollama 模型管理核心命令,包括下载指定版本、切换模型、批量删除脚本、版本控制最佳实践,帮助你高效管理本地 LLM 库,腾出磁盘空间,避免版本混乱。适合 AI 开发者和 OpenClaw 部署者。

AI与智能
3

Ollama 版本回滚实战:90% 开发者忽略的 3 个关键步骤

升级 Ollama 后系统不稳定?本文提供三种完整版本回滚方案(二进制替换、包管理器、Docker)、一键自动化脚本和多版本共存实战指南,帮你快速解决版本管理难题。

AI与智能
4

Ollama Modelfile 参数详解:创建专属定制模型的完整指南

详解 Ollama Modelfile 的 10 个核心参数配置,包含 temperature、num_ctx 等调优技巧,提供 4 个可直接使用的实战模板,帮助你创建专属定制模型

AI与智能
5

Llama 70B 本地运行:5700XT、Mac M4、CUDA 三方案对比与选型指南

想本地运行 Llama 70B?本文对比 AMD 5700XT、Mac M4、NVIDIA CUDA 三种方案,用实测数据帮你判断哪种硬件适合自己,包含显存需求、性能对比和踩坑指南。

AI与智能
6

Ollama 硬件选型表:显存、量化、GPU 对照指南(2026)

一张完整的 Ollama 硬件选型对照表:7B/13B/70B 模型显存需求、Q4/Q8 量化对比、NVIDIA CUDA/AMD ROCm/Apple Metal 三大加速技术详解。RTX 3060 到 5090 分级推荐,帮你快速匹配显卡与模型。

AI与智能
7

Ollama GPU 加速配置:CUDA、ROCm 与 Metal 全平台实战指南

Ollama GPU 加速完整指南:覆盖 NVIDIA CUDA、AMD ROCm、Apple Metal 三平台配置方法,包含验证步骤、多 GPU 设置和故障排除,让本地 LLM 推理速度提升 10-20 倍。

AI与智能
8

Ollama GPU 加速配置:CUDA、ROCm 与 Metal 全平台实战

详解 Ollama GPU 加速配置方法,覆盖 NVIDIA CUDA、AMD ROCm、Apple Metal 三大平台。包含硬件要求、驱动安装、验证步骤、常见问题排查及显存不足解决方案,实现本地 LLM 50 倍推理加速

AI与智能
9

Ollama GPU 调度与资源管理:显存优化、多 GPU 负载均衡

深入解析 Ollama GPU 调度与资源管理,涵盖显存优化参数配置、多 GPU 负载均衡实战架构、llama.cpp 技术原理。提供 3 个真实场景案例,帮你稳定运行大模型,充分利用多显卡硬件

AI与智能
10

Ollama 性能优化实战:量化、批处理与内存调优完全指南

详解 Ollama 量化技术 Q4/Q5/Q8 选择策略,批处理 num_batch 配置提升吞吐量 50-150%,GPU 内存管理与 OOM 解决方案。附带不同硬件性能基准数据。

AI与智能
11

Ollama 多模型并行运行:Qwen、Llama、DeepSeek 配置实战

详解 Ollama 多模型并行运行配置方法,对比 Qwen、Llama、DeepSeek 三大模型特点与适用场景,分享 GPU 内存管理技巧,助你打造智能模型切换系统。

AI与智能
12

Ollama + Open WebUI:搭建本地 ChatGPT 界面(完整指南)

手把手教你用 Ollama 和 Open WebUI 在本地搭建 ChatGPT 风格的 AI 对话界面,涵盖安装部署、模型选择、RAG 知识库、API 集成和性能优化,30 分钟完成本地 AI 助手

AI与智能
13

Ollama API 调用:从 curl 到 OpenAI SDK 兼容接口

学习 Ollama API 调用的两种方式:原生 REST API(curl)和 OpenAI SDK 兼容接口。包含完整代码示例、流式响应处理和最佳实践指南

AI与智能
14

Ollama API 实战:Python 与 Node.js 客户端开发指南

详解 Ollama API 调用方法,涵盖 Python 与 Node.js SDK 原生调用、流式响应处理、工具调用 Agent Loop、thinking 模式及 OpenAI 兼容方案对比

AI与智能
15

LangChain + Ollama 集成实战:本地 LLM 应用开发完全指南

详解 LangChain 与 Ollama 集成的完整方法,包含 Chat、RAG、Agent 三大实战场景的代码示例,对比 OpenAI 与 Ollama 切换策略,助你用本地模型打造企业级 LLM 应用。

AI与智能
16

Ollama Embedding 实战:本地向量检索与 RAG 搭建

用 Ollama 搭建本地 RAG 系统:mxbai-embed-large vs nomic-embed-text 模型对比,ChromaDB/FAISS/Milvus 向量数据库选型,完整 Python 代码实战

AI与智能
17

Ollama 模型量化实战:GGUF 格式与精度损失完全解析

详解 Ollama GGUF 量化原理,引用 Red Hat 500K+ 评估数据揭示精度损失真相,提供不同硬件配置的量化选择建议,帮助你在消费级显卡上运行大模型。

AI与智能
18

Ollama 生产环境监控:日志配置与 Prometheus 告警实战

完整 Ollama 生产部署监控方案,包含日志配置、Prometheus 指标采集、AlertManager 告警规则和 Grafana Dashboard 实战配置,实现 GPU 多卡监控与自动故障恢复

AI与智能
19

Mnemo:给本地 LLM 加一层可迁移的长期记忆

Mnemo 是一个 local-first AI memory layer。本文结合 GitHub README 解释它和 RAG 的区别、Rust/SQLite/图检索架构、Docker 与 Ollama 上手路径、适用边界和排障清单。

AI与智能
Easton BlogEaston Blog