侧边栏壁纸
博主头像
Setyg的博客

当秋风染红落叶的时候,就是新生~

  • 累计撰写 86 篇文章
  • 累计创建 66 个标签
  • 累计收到 0 条评论

目 录CONTENT

文章目录

Windows 上使用 Ollama 拉取并运行模型实践

Setyg
2026-10-15 / 0 评论 / 0 点赞 / 2 阅读 / 0 字

Windows 上使用 Ollama 拉取并运行模型实践

Ollama 是本地运行开源大模型的工具,支持 Llama 3、Qwen(通义千问)、Phi-3 等模型,可在 Windows 上快速搭建离线或私有的 AI 推理服务。

本文按安装验证 → 拉取模型 → 运行模型 → 常用辅助命令 → 镜像加速的流程整理完整命令,方便快速上手。

一、前提:验证 Ollama 是否安装并启动

首先打开管理员模式的 PowerShell(或普通 CMD),执行以下命令验证 Ollama 是否正常运行。

1. Windows 环境安装

irm https://ollama.com/install.ps1 | iex

2. 检查 Ollama 版本

ollama -v

3. 启动 Ollama 服务

Windows 默认安装后会自动启动服务,若未启动则手动执行:

ollama serve

注:执行 ollama serve 后会占用当前终端。如需后台运行,可新开一个终端执行后续命令。

二、核心命令:拉取并运行模型

1. 拉取模型

Ollama 的模型拉取命令统一为:

ollama pull <模型名>

以下是几个常用模型的拉取命令,可按需选择:

# 拉取 Meta Llama 3 8B(轻量、通用,推荐新手)
ollama pull llama3

# 拉取 Meta qwen3-coder:30b(轻量、通用,推荐新手)
ollama pull qwen3-coder:30b

# 拉取 Qwen 7B(通义千问,中文友好)
ollama pull qwen

# 拉取 Phi-3 Mini(微软小模型,速度快)
ollama pull phi3

# 拉取指定版本/尺寸的模型(如 Llama 3 70B)
ollama pull llama3:70b

拉取过程会显示下载进度,模型文件默认保存在 C:\Users\<你的用户名>\.ollama\models。若拉取速度慢,可配置国内镜像加速(见第四节)。

2. 运行模型

拉取完成后,执行以下命令即可交互式运行模型:

ollama run <模型名>

示例:

# 运行 Llama 3 8B
ollama run llama3

# 运行通义千问
ollama run qwen

执行后会进入模型交互界面,直接输入问题即可(如"介绍一下 Ollama")。

退出交互的方式:

/bye
# 或按 Ctrl+C

三、常用辅助命令

# 查看已拉取的所有模型
ollama list

# 删除不需要的模型(如删除 phi3)
ollama rm phi3

以 API 模式运行

供编程调用,默认端口 11434,可通过 http://localhost:11434/api/chat 调用:

ollama run llama3 --api

自定义模型

如需修改参数(如调整上下文长度),先创建 Modelfile 文件,再执行:

ollama create my-llama3 -f Modelfile
ollama run my-llama3

四、配置国内镜像加速拉取

若拉取模型速度慢,可在 Windows 中配置 Ollama 镜像。新建以下系统环境变量:

变量名值
OLLAMA_HOST0.0.0.0
OLLAMA_MODELShttps://mirror.ghproxy.com/https://github.com/ollama/ollama-models/raw/main

配置完成后重启 Ollama 服务(或重启电脑),再执行 ollama pull 命令即可。

总结

  • 核心流程:验证 Ollama(ollama -v)→ 拉取模型(ollama pull <模型名>)→ 运行模型(ollama run <模型名>)
  • 常用模型:llama3(通用)、qwen(中文友好)、phi3(轻量)
  • 关键技巧:拉取慢配置国内镜像;退出交互用 /bye;查看已装模型用 ollama list
0
  1. 支付宝打赏

    qrcode alipay
  2. 微信打赏

    qrcode weixin

评论区