跳过至正文

​
Nvidia

Ollama 支持计算能力为 5.0+ 且驱动版本为 531 及以上的 Nvidia GPU。 检查您的计算兼容性，查看您的显卡是否受支持：https://developer.nvidia.com/cuda-gpus
计算能力系列显卡
12.1NVIDIAGB10 (DGX Spark)
12.0GeForce RTX 50xxRTX 5060 RTX 5060 Ti RTX 5070 RTX 5070 Ti RTX 5080 RTX 5090
NVIDIA 专业级RTX PRO 4000 Blackwell RTX PRO 4500 Blackwell RTX PRO 5000 Blackwell RTX PRO 6000 Blackwell
9.0NVIDIAH200 H100
8.9GeForce RTX 40xxRTX 4090 RTX 4080 SUPER RTX 4080 RTX 4070 Ti SUPER RTX 4070 Ti RTX 4070 SUPER RTX 4070 RTX 4060 Ti RTX 4060
NVIDIA 专业级L4 L40 RTX 6000
8.6GeForce RTX 30xxRTX 3090 Ti RTX 3090 RTX 3080 Ti RTX 3080 RTX 3070 Ti RTX 3070 RTX 3060 Ti RTX 3060 RTX 3050 Ti RTX 3050
NVIDIA 专业级A40 RTX A6000 RTX A5000 RTX A4000 RTX A3000 RTX A2000 A10 A16 A2
8.0NVIDIAA100 A30
7.5GeForce GTX/RTXGTX 1650 Ti TITAN RTX RTX 2080 Ti RTX 2080 RTX 2070 RTX 2060
NVIDIA 专业级T4 RTX 5000 RTX 4000 RTX 3000 T2000 T1200 T1000 T600 T500
QuadroRTX 8000 RTX 6000 RTX 5000 RTX 4000
7.0NVIDIATITAN V V100 Quadro GV100
6.1NVIDIA TITANTITAN Xp TITAN X
GeForce GTXGTX 1080 Ti GTX 1080 GTX 1070 Ti GTX 1070 GTX 1060 GTX 1050 Ti GTX 1050
QuadroP6000 P5200 P4200 P3200 P5000 P4000 P3000 P2200 P2000 P1000 P620 P600 P500 P520
TeslaP40 P4
6.0NVIDIATesla P100 Quadro GP100
5.2GeForce GTXGTX TITAN X GTX 980 Ti GTX 980 GTX 970 GTX 960 GTX 950
QuadroM6000 24GB M6000 M5000 M5500M M4000 M2200 M2000 M620
TeslaM60 M40
5.0GeForce GTXGTX 750 Ti GTX 750 NVS 810
QuadroK2200 K1200 K620 M1200 M520 M5000M M4000M M3000M M2000M M1000M K620M M600M M500M
如需通过本地构建以支持旧款 GPU，请参阅开发者文档

​
GPU 选择

如果您的系统中有多个 NVIDIA GPU 并希望限制 Ollama 仅使用其中一部分，您可以将 CUDA_VISIBLE_DEVICES 设置为以逗号分隔的 GPU 列表。可以使用数字 ID，但由于顺序可能会发生变化，因此 UUID 更可靠。您可以通过运行 nvidia-smi -L 来查看 GPU 的 UUID。如果您想忽略 GPU 并强制使用 CPU，请使用无效的 GPU ID（例如“-1”）。

​
Linux 挂起/恢复

在 Linux 上，在挂起/恢复周期后，有时 Ollama 会无法发现您的 NVIDIA GPU，并退而运行在 CPU 上。您可以通过使用 sudo rmmod nvidia_uvm && sudo modprobe nvidia_uvm 重新加载 NVIDIA UVM 驱动程序来解决此驱动程序错误。

​
AMD Radeon

Ollama 通过 ROCm 库支持以下 AMD GPU
注意： Vulkan 库提供了额外的 AMD GPU 支持 - 见下文。

​
Linux 支持

Ollama 在 Linux 上需要 AMD ROCm v7 驱动程序。您可以使用来自 AMD 的 ROCm 文档的 amdgpu-install 工具进行安装或升级。
系列显卡和加速器
AMD Radeon RX9070 XT 9070 GRE 9070 9060 XT 9060 XT LP 9060 7900 XTX 7900 XT 7900 GRE 7800 XT 7700 XT 7700 7600 XT 7600 6950 XT 6900 XTX 6900XT 6800 XT 6800 5700 XT 5700 5600 XT 5500 XT
AMD Radeon AI PROR9700 R9600D
AMD Radeon PROW7900 W7800 W7700 W7600 W7500 W6900X W6800X Duo W6800X W6800 V620
AMD Ryzen AIRyzen AI Max+ 395 Ryzen AI Max 390 Ryzen AI Max 385 Ryzen AI 9 HX 475 Ryzen AI 9 HX 470 Ryzen AI 9 465 Ryzen AI 9 HX 375 Ryzen AI 9 HX 370 Ryzen AI 9 365
AMD InstinctMI350X MI300X MI300A MI250X MI250 MI210 MI100

​
Windows 支持

配合 ROCm v6.1，Windows 上支持以下 GPU。
系列显卡和加速器
AMD Radeon RX7900 XTX 7900 XT 7900 GRE 7800 XT 7700 XT 7600 XT 7600 6950 XT 6900 XTX 6900XT 6800 XT 6800
AMD Radeon PROW7900 W7800 W7700 W7600 W7500 W6900X W6800X Duo W6800X W6800 V620

​
Linux 上的覆盖设置

Ollama 利用了 AMD ROCm 库，该库并不支持所有的 AMD GPU。在某些情况下，您可以强制系统尝试使用相近的类似 LLVM 目标。例如，Radeon RX 5400 是 gfx1034（也称为 10.3.4），但 ROCm 目前不支持此目标。最接近的支持目标是 gfx1030。您可以使用 x.y.z 语法的环境变量 HSA_OVERRIDE_GFX_VERSION。例如，要强制系统在 RX 5400 上运行，您可以为服务器设置环境变量 HSA_OVERRIDE_GFX_VERSION="10.3.0"。如果您拥有不受支持的 AMD GPU，可以使用下面列出的受支持类型进行尝试。 如果您有多个具有不同 GFX 版本的 GPU，请在环境变量中附加数字设备编号以分别设置。例如，HSA_OVERRIDE_GFX_VERSION_0=10.3.0 和 HSA_OVERRIDE_GFX_VERSION_1=11.0.0。 目前，Linux 上已知支持的 GPU 类型是以下 LLVM 目标。此表显示了一些映射到这些 LLVM 目标的 GPU 示例：
LLVM 目标示例 GPU
gfx908Radeon Instinct MI100
gfx90aRadeon Instinct MI210/MI250
gfx942Radeon Instinct MI300X/MI300A
gfx950Radeon Instinct MI350X
gfx1010Radeon RX 5700 XT
gfx1012Radeon RX 5500 XT
gfx1030Radeon PRO V620
gfx1100Radeon PRO W7900
gfx1101Radeon PRO W7700
gfx1102Radeon RX 7600
gfx1103Radeon 780M
gfx1150Ryzen AI 9 HX 375
gfx1151Ryzen AI Max+ 395
gfx1200Radeon RX 9070
gfx1201Radeon RX 9070 XT
在 Discord 上联系我们或提交 issue 以寻求更多帮助。

​
GPU 选择

如果您的系统中有多个 AMD GPU 并希望限制 Ollama 仅使用其中一部分，您可以将 ROCR_VISIBLE_DEVICES 设置为以逗号分隔的 GPU 列表。您可以通过 rocminfo 查看设备列表。如果您想忽略 GPU 并强制使用 CPU，请使用无效的 GPU ID（例如“-1”）。如果可用，请使用 Uuid 而不是数值来唯一标识设备。

​
容器权限

在某些 Linux 发行版中，SELinux 可能会阻止容器访问 AMD GPU 设备。您可以在宿主机系统上运行 sudo setsebool container_use_devices=1 以允许容器使用设备。

​
Metal (Apple GPU)

Ollama 通过 Metal API 在 Apple 设备上支持 GPU 加速。

​
Vulkan GPU 支持

注意： Vulkan 目前是一项实验性功能。要启用它，您必须按照 常见问题 (FAQ) 中的说明为 Ollama 服务器设置 OLLAMA_VULKAN=1。
Windows 和 Linux 上的额外 GPU 支持通过 Vulkan 提供。在 Windows 上，大多数显卡厂商的驱动程序都捆绑了 Vulkan 支持，无需额外的设置步骤。大多数 Linux 发行版需要安装额外的组件，并且您可能会在 Mesa 和 GPU 厂商特定软件包之间有多个 Vulkan 驱动程序选项。 对于某些 Linux 发行版上的 AMD GPU，您可能需要将 ollama 用户添加到 render 组。 Ollama 调度器利用 GPU 库报告的可用 VRAM 数据来做出最佳调度决策。Vulkan 需要额外的权限或以 root 身份运行才能公开此可用 VRAM 数据。如果没有授予 root 权限或此项能力，Ollama 将使用模型的近似大小来尽力做出调度决策。
sudo setcap cap_perfmon+ep /usr/local/bin/ollama

​
GPU 选择

要选择特定的 Vulkan GPU，您可以按照 常见问题 (FAQ) 中的说明在 Ollama 服务器上将环境变量 GGML_VK_VISIBLE_DEVICES 设置为一个或多个数字 ID。如果您在使用基于 Vulkan 的 GPU 时遇到任何问题，可以通过设置 GGML_VK_VISIBLE_DEVICES=-1 来禁用所有 Vulkan GPU。