Windows 上使用 Ollama 拉取并运行模型实践
Ollama 是本地运行开源大模型的工具,支持 Llama 3、Qwen(通义千问)、Phi-3 等模型,可在 Windows 上快速搭建离线或私有的 AI 推理服务。
本文按安装验证 → 拉取模型 → 运行模型 → 常用辅助命令 → 镜像加速的流程整理完整命令,方便快速上手。
一、前提:验证 Ollama 是否安装并启动
首先打开管理员模式的 PowerShell(或普通 CMD),执行以下命令验证 Ollama 是否正常运行。
1. Windows 环境安装
irm https://ollama.com/install.ps1 | iex2. 检查 Ollama 版本
ollama -v3. 启动 Ollama 服务
Windows 默认安装后会自动启动服务,若未启动则手动执行:
ollama serve注:执行 ollama serve 后会占用当前终端。如需后台运行,可新开一个终端执行后续命令。
二、核心命令:拉取并运行模型
1. 拉取模型
Ollama 的模型拉取命令统一为:
ollama pull <模型名>以下是几个常用模型的拉取命令,可按需选择:
# 拉取 Meta Llama 3 8B(轻量、通用,推荐新手)
ollama pull llama3
# 拉取 Meta qwen3-coder:30b(轻量、通用,推荐新手)
ollama pull qwen3-coder:30b
# 拉取 Qwen 7B(通义千问,中文友好)
ollama pull qwen
# 拉取 Phi-3 Mini(微软小模型,速度快)
ollama pull phi3
# 拉取指定版本/尺寸的模型(如 Llama 3 70B)
ollama pull llama3:70b拉取过程会显示下载进度,模型文件默认保存在 C:\Users\<你的用户名>\.ollama\models。若拉取速度慢,可配置国内镜像加速(见第四节)。
2. 运行模型
拉取完成后,执行以下命令即可交互式运行模型:
ollama run <模型名>示例:
# 运行 Llama 3 8B
ollama run llama3
# 运行通义千问
ollama run qwen执行后会进入模型交互界面,直接输入问题即可(如"介绍一下 Ollama")。
退出交互的方式:
/bye
# 或按 Ctrl+C三、常用辅助命令
# 查看已拉取的所有模型
ollama list
# 删除不需要的模型(如删除 phi3)
ollama rm phi3以 API 模式运行
供编程调用,默认端口 11434,可通过 http://localhost:11434/api/chat 调用:
ollama run llama3 --api自定义模型
如需修改参数(如调整上下文长度),先创建 Modelfile 文件,再执行:
ollama create my-llama3 -f Modelfile
ollama run my-llama3四、配置国内镜像加速拉取
若拉取模型速度慢,可在 Windows 中配置 Ollama 镜像。新建以下系统环境变量:
| 变量名 | 值 |
|---|---|
OLLAMA_HOST | 0.0.0.0 |
OLLAMA_MODELS | https://mirror.ghproxy.com/https://github.com/ollama/ollama-models/raw/main |
配置完成后重启 Ollama 服务(或重启电脑),再执行 ollama pull 命令即可。
总结
- 核心流程:验证 Ollama(
ollama -v)→ 拉取模型(ollama pull <模型名>)→ 运行模型(ollama run <模型名>) - 常用模型:
llama3(通用)、qwen(中文友好)、phi3(轻量) - 关键技巧:拉取慢配置国内镜像;退出交互用
/bye;查看已装模型用ollama list
评论区