智能摘要 文章介绍了在RTX 5070ti显卡上部署Gpustack和最新版本VLLM的注意事项和具体步骤。由于版本依赖较强,需使用CUDA 12.8以避免出现sm_120不可用的错误。作者推荐使用NVIDIA官网下载CUDA 12.8.1并以runfile方式安装,避免覆盖已有的显卡驱动。随后通过配置环境变量和创建虚拟环境安装VLLM,并通过软链接将VLLM接入GPUstack的指定路径以成功运行后端服务。整个流程强调版本适配和安装方法选择。— 此摘要由AI生成仅供参考。 对于50系显卡,我的是5070ti,cu…