首页 / 开源 · 本地跑模型 / 自部署 / Ollama
🦙
Ollama
Ollama
一条命令在本地跑各种开源大模型,免费、断网也能用。
它能帮你做什么
- 在自己电脑上免费用类似 ChatGPT 的对话:写文案、翻译、总结文章、写代码、改简历
- 断网 / 出差 / 内网环境也能用 AI,数据一个字都不上传
- 处理隐私敏感内容(合同、病历、公司内部资料)不怕泄露
- 当其它软件的「本地 AI 引擎」:配 Open WebUI 得到网页版 ChatGPT,配 Continue 得到免费的代码补全
- 同一台电脑随意切换几十个开源模型,一条命令换一个,想用哪个用哪个
解读
Ollama 是目前最流行的「本地大模型运行器」。你可以把它理解成大模型界的「播放器」——它帮你把 Llama、通义千问 Qwen、DeepSeek 等开源大模型下载好、装好、跑起来,你只要一条命令就能和模型对话。
它最大的意义是三个字:免费、私密、离线。ChatGPT 要付费、要联网、聊天记录在别人服务器上;而 Ollama 跑的模型完全在你自己电脑里,断网也能用,聊再敏感的内容也不怕上传。
代价是:效果和速度取决于你的电脑配置。内存越大、有独立显卡(尤其 NVIDIA)越流畅。8G 内存能跑小模型(3B/7B),16G 以上体验明显更好。它是入门本地 AI 的第一站,强烈建议从它开始。
适合谁
想免费用 AI、注重隐私、或想折腾本地模型的人。纯小白也能上手——全程只需复制粘贴一条命令,不用写代码。电脑内存建议 8G 起步,16G 以上更顺;有 NVIDIA 显卡或苹果 M 系芯片体验最佳。
开始前的准备
- 一台电脑:Windows 10/11、macOS 或 Linux 都行。
- 内存至少 8G(跑小模型),16G+ 更舒服;有独立显卡(N 卡)或苹果 M 系芯片会明显更快。
- 约 5–10G 空闲硬盘放模型(每个模型 2–5G 不等)。
- 不需要注册账号、不需要 API Key、不需要花钱、不需要梯子。
手把手教程
- 下载安装:打开官网
ollama.com,点右上角「Download」,选你的系统下载安装包,像装普通软件一样双击安装。装完它会在后台悄悄运行(Mac 顶部菜单栏、Windows 右下角会有一个小图标)。 - 打开终端(命令行):Windows 按
Win+R,输入cmd回车;Mac 打开「访达 → 应用程序 → 实用工具 → 终端」。会弹出一个黑色/白色的输入框,别怕,接下来只需复制粘贴。 - 跑第一个模型:在终端粘贴
ollama run qwen2.5回车(qwen2.5 是阿里通义千问,中文好、体积适中)。第一次会自动下载模型(几个 G,按网速等几分钟),下完会出现一个>>>提示符,代表可以聊了。 - 开始聊天:直接在
>>>后面打字,比如「用 100 字介绍杭州」,回车,模型就会回答。想结束对话,输入/bye回车即可退出。 - 换模型 / 常用命令:换模型就把命令里的名字换掉,如
ollama run llama3.2、ollama run deepseek-r1;看已下载的模型用ollama list;删掉某个模型省硬盘用ollama rm 模型名。 - (可选)要网页界面:装好下面「同类还有」里的 Open WebUI,就能得到一个和 ChatGPT 一模一样的网页,家里人打开浏览器就能用。
常见问题 / 踩坑
跑起来很慢 / 电脑很卡怎么办?
说明模型对你的配置偏大。换更小的模型,比如
ollama run qwen2.5:3b 或 ollama run llama3.2:1b(名字后面的 3b/1b 是参数量,越小越快越省内存)。同时关掉其它占内存的程序。模型下载特别慢或中途断了?
重新运行同一条
ollama run 命令即可,它会断点续传,不用从头下。实在慢就换成体积更小的模型(带 :3b、:1b 的)。它的回答质量为什么不如 ChatGPT?
正常现象。本地能跑的开源模型比 GPT-5 这类云端大模型小很多,日常问答/翻译/总结够用,但复杂推理会弱一些。想要更强就跑大一点的模型(如
qwen2.5:14b,但需要更多内存)。用完怎么关掉它?占内存吗?
Mac 点顶部菜单栏图标选退出;Windows 右下角图标右键退出。不聊天时它占用很小,平时不用特意管它。
进阶技巧
- 模型名后加
:数字b选大小:1b/3b快而轻,7b/8b平衡,14b/32b更聪明但吃内存。先从小的试起。 - 让别的软件用它:Ollama 默认在
localhost:11434提供接口,Open WebUI、Continue、AnythingLLM 等都能一键接上,无需额外配置。 - 想更新到最新的 DeepSeek / 通义,先运行
ollama pull 模型名拉取最新版。
打不开 GitHub / 国内访问
官网 ollama.com 国内可直接访问、可下载安装包;模型走 Ollama 官方源,速度通常尚可,断了重跑命令会续传。若想单独下载 gguf 模型文件,也可去国内「魔搭 ModelScope」找。全程不需要梯子、不需要碰 GitHub。