使用ollama运行deepseek的条件和过程(待续)

首先是空间需求,Qwen系列是使用DeepSeek蒸馏后的Qwen模型,Llama是DeepSeek蒸馏后的Llama模型。

模型的安装命令

1.5B Qwen DeepSeek R1

所需空间大约 1.1G

ollama run deepseek-r1:1.5b

7B Qwen DeepSeek R1

所需空间大约 4.7G

ollama run deepseek-r1:7b

8B Llama DeepSeek R1

所需空间大约 4.9G

ollama run deepseek-r1:8b

14B Qwen DeepSeek R1

所需空间大约 9G

ollama run deepseek-r1:14b

32B Qwen DeepSeek R1

所需空间大约 20G

ollama run deepseek-r1:32b

70B Llama DeepSeek R1

所需空间大约 43G

ollama run deepseek-r1:70b

671B Llama DeepSeek R1

所需空间大约 404G

ollama run deepseek-r1:671b

Windows的环境变量监听

OLLAMA_HOST 0.0.0.0

启动命令

ollama serve

可以用chatbox连接访问

下载了ollama和本地模型后,导入本地模型的方法:
创建一个modelfile.mf文件,内容为:
FROM ./xxxx.gguf
然后ollama create deepseek-r1_local:7b -f modelfile.mf
就可以通过ollama ls 看到新导入的镜像,然后用
ollama run 镜像名就可以运行了