人工智能迅速发展,deepseek目前正火,关键deepseek开源了,还供源码下载给人可以自己在本 地电脑或者服务器上部署。那么在本地服务器上部署 DeepSeek(如 DeepSeek LLM 或 DeepSeek Coder)需要考虑硬件、软件和依赖项 的要求。大概需要些什么样的配置呢?以下是我们整理的最低配置和推荐配置建议:
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # CUDA 11.8 pip install transformers>=4.35.0 pip install sentencepiece einops flash-attn # 优化推理速度
(1)直接运行(HuggingFace Transformers)以下为Python语言:
from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "deepseek-ai/deepseek-llm-7b" # 或 deepseek-coder tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto") input_text = "你好,DeepSeek!" inputs = tokenizer(input_text, return_tensors="pt").to("cuda") outputs = model.generate(**inputs, max_new_tokens=50) print(tokenizer.decode(outputs[0], skip_special_tokens=True))
(2)使用vLLM(高性能推理)以下为Bash语言:
pip install vllm python -m vllm.entrypoints.api_server --model deepseek-ai/deepseek-llm-7b
(3)量化运行(低显存需求)以下为Python语言:
model = AutoModelForCausalLM.from_pretrained( model_name, device_map="auto", load_in_4bit=True, # 4-bit量化 torch_dtype=torch.float16 )
如果你的服务器 没有GPU,可以尝试 CPU + 量化,但速度会显著下降。建议至少使用 RTX 3060(12GB) 来运行 7B模型。