首先是空间需求,Qwen系列是使用DeepSeek蒸馏后的Qwen模型,Llama是DeepSeek蒸馏后的Llama模型。
模型的安装命令
1.5B Qwen DeepSeek R1
所需空间大约 1.1G
ollama run deepseek-r1:1.5b
7B Qwen DeepSeek R1
所需空间大约 4.7G
ollama run deepseek-r1:7b
8B Llama DeepSeek R1
所需空间大约 4.9G
ollama run deepseek-r1:8b
14B Qwen DeepSeek R1
所需空间大约 9G
ollama run deepseek-r1:14b
32B Qwen DeepSeek R1
所需空间大约 20G
ollama run deepseek-r1:32b
70B Llama DeepSeek R1
所需空间大约 43G
ollama run deepseek-r1:70b
671B Llama DeepSeek R1
所需空间大约 404G
ollama run deepseek-r1:671b
Windows的环境变量监听
OLLAMA_HOST 0.0.0.0
启动命令
ollama serve
可以用chatbox连接访问
下载了ollama和本地模型后,导入本地模型的方法:
创建一个modelfile.mf文件,内容为:
FROM ./xxxx.gguf
然后ollama create deepseek-r1_local:7b -f modelfile.mf
就可以通过ollama ls 看到新导入的镜像,然后用
ollama run 镜像名就可以运行了