Archlinux 部署 deepseek-r1
最近 Deepseek 发布 R1 模型，在网上特别火，正好闲的没事部署一个 7b 版本玩一玩。 使用 ollama 可以简化部署流程，通过 yay -S ollama 安装 ollama 后，启动服务 sudo systemctl start ollama，再运行命令 ollama run deepseek-r1 即可开始对话。 但是很快我发现事情不对，为什么生成速度那么慢？查看资源管理器发现推理运行在 CPU 上，完全没有使用 GPU 加速，于是我开始排查问题。 查看 ollama 服务的日志 journalctl -u ollama -f 发现一行警告 no cuda runners detected, unable to run on cuda GPU，但是我显然是有 CUDA 驱动的。 于是我在网上一顿搜，看到解决方法直接无语。aur 库中除了有 ollama 还有一个 ollama-cuda，需要同时安装才能调用 cuda 加速。