首页 / 开源 · 本地跑模型 / 自部署 / Ollama
🦙

Ollama

Ollama
⭐ 176k开源免费

一条命令在本地跑各种开源大模型,免费、断网也能用。

它能帮你做什么

解读

Ollama 是目前最流行的「本地大模型运行器」。你可以把它理解成大模型界的「播放器」——它帮你把 Llama、通义千问 Qwen、DeepSeek 等开源大模型下载好、装好、跑起来,你只要一条命令就能和模型对话。

它最大的意义是三个字:免费、私密、离线。ChatGPT 要付费、要联网、聊天记录在别人服务器上;而 Ollama 跑的模型完全在你自己电脑里,断网也能用,聊再敏感的内容也不怕上传。

代价是:效果和速度取决于你的电脑配置。内存越大、有独立显卡(尤其 NVIDIA)越流畅。8G 内存能跑小模型(3B/7B),16G 以上体验明显更好。它是入门本地 AI 的第一站,强烈建议从它开始。

适合谁

想免费用 AI、注重隐私、或想折腾本地模型的人。纯小白也能上手——全程只需复制粘贴一条命令,不用写代码。电脑内存建议 8G 起步,16G 以上更顺;有 NVIDIA 显卡或苹果 M 系芯片体验最佳。

开始前的准备

手把手教程

  1. 下载安装:打开官网 ollama.com,点右上角「Download」,选你的系统下载安装包,像装普通软件一样双击安装。装完它会在后台悄悄运行(Mac 顶部菜单栏、Windows 右下角会有一个小图标)。
  2. 打开终端(命令行):Windows 按 Win+R,输入 cmd 回车;Mac 打开「访达 → 应用程序 → 实用工具 → 终端」。会弹出一个黑色/白色的输入框,别怕,接下来只需复制粘贴。
  3. 跑第一个模型:在终端粘贴 ollama run qwen2.5 回车(qwen2.5 是阿里通义千问,中文好、体积适中)。第一次会自动下载模型(几个 G,按网速等几分钟),下完会出现一个 >>> 提示符,代表可以聊了。
  4. 开始聊天:直接在 >>> 后面打字,比如「用 100 字介绍杭州」,回车,模型就会回答。想结束对话,输入 /bye 回车即可退出。
  5. 换模型 / 常用命令:换模型就把命令里的名字换掉,如 ollama run llama3.2ollama run deepseek-r1;看已下载的模型用 ollama list;删掉某个模型省硬盘用 ollama rm 模型名
  6. (可选)要网页界面:装好下面「同类还有」里的 Open WebUI,就能得到一个和 ChatGPT 一模一样的网页,家里人打开浏览器就能用。

常见问题 / 踩坑

跑起来很慢 / 电脑很卡怎么办?
说明模型对你的配置偏大。换更小的模型,比如 ollama run qwen2.5:3bollama run llama3.2:1b(名字后面的 3b/1b 是参数量,越小越快越省内存)。同时关掉其它占内存的程序。
模型下载特别慢或中途断了?
重新运行同一条 ollama run 命令即可,它会断点续传,不用从头下。实在慢就换成体积更小的模型(带 :3b:1b 的)。
它的回答质量为什么不如 ChatGPT?
正常现象。本地能跑的开源模型比 GPT-5 这类云端大模型小很多,日常问答/翻译/总结够用,但复杂推理会弱一些。想要更强就跑大一点的模型(如 qwen2.5:14b,但需要更多内存)。
用完怎么关掉它?占内存吗?
Mac 点顶部菜单栏图标选退出;Windows 右下角图标右键退出。不聊天时它占用很小,平时不用特意管它。

进阶技巧

打不开 GitHub / 国内访问

官网 ollama.com 国内可直接访问、可下载安装包;模型走 Ollama 官方源,速度通常尚可,断了重跑命令会续传。若想单独下载 gguf 模型文件,也可去国内「魔搭 ModelScope」找。全程不需要梯子、不需要碰 GitHub。

同类还有

← 返回全部工具