使用 Ollama 运行大模型

windows

下载

Ollama (opens new window)

运行

$env:OLLAMA_HOST = "0.0.0.0:11434"
$env:OLLAMA_ORIGINS = "*"

ollama pull qwen2.5-coder:7b
allama serve

性能

模型 \ 显卡	GTX 1060 6G	RTX 4060 8G
qwen2.5-coder:7b	8 tokens/s	33 tokens/s