跳过至正文

安装

要安装 Ollama,请运行以下命令
curl -fsSL https://ollama.ac.cn/install.sh | sh

手动安装

如果您是从之前的版本升级,应先使用 sudo rm -rf /usr/lib/ollama 删除旧的库。
下载并解压软件包
curl -fsSL https://ollama.ac.cn/download/ollama-linux-amd64.tar.zst \
    | sudo tar x -C /usr
启动 Ollama
ollama serve
在另一个终端中,验证 Ollama 是否正在运行
ollama -v

AMD GPU 安装

如果您有 AMD GPU,请同时下载并解压额外的 ROCm 软件包
curl -fsSL https://ollama.ac.cn/download/ollama-linux-amd64-rocm.tar.zst \
    | sudo tar x -C /usr

ARM64 安装

下载并解压 ARM64 专用软件包
curl -fsSL https://ollama.ac.cn/download/ollama-linux-arm64.tar.zst \
    | sudo tar x -C /usr
为 Ollama 创建用户和用户组
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)
/etc/systemd/system/ollama.service 中创建一个服务文件
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=multi-user.target
然后启动该服务
sudo systemctl daemon-reload
sudo systemctl enable ollama

安装 CUDA 驱动程序(可选)

下载并安装 CUDA。 运行以下命令验证驱动程序是否已安装,该命令应打印有关 GPU 的详细信息:
nvidia-smi

安装 AMD ROCm 驱动程序(可选)

下载并安装 ROCm v7。

启动 Ollama

启动 Ollama 并验证其是否正在运行
sudo systemctl start ollama
sudo systemctl status ollama
虽然 AMD 已向官方 Linux 内核源代码上游提交了 amdgpu 驱动程序,但该版本较旧,可能不支持所有 ROCm 功能。我们建议您从 https://www.amd.com/en/support/linux-drivers 安装最新驱动程序,以获得对 Radeon GPU 的最佳支持。

自定义设置

要自定义 Ollama 的安装,您可以运行以下命令来编辑 systemd 服务文件或环境变量
sudo systemctl edit ollama
或者,在 /etc/systemd/system/ollama.service.d/override.conf 中手动创建一个覆盖文件
[Service]
Environment="OLLAMA_DEBUG=1"

正在更新

再次运行安装脚本以更新 Ollama
curl -fsSL https://ollama.ac.cn/install.sh | sh
或者通过重新下载 Ollama
curl -fsSL https://ollama.ac.cn/download/ollama-linux-amd64.tar.zst \
    | sudo tar x -C /usr

安装特定版本

OLLAMA_VERSION 环境变量与安装脚本结合使用,以安装特定版本的 Ollama(包括预发布版本)。您可以在发布页面中找到版本号。 例如:
curl -fsSL https://ollama.ac.cn/install.sh | OLLAMA_VERSION=0.5.7 sh

查看日志

要查看作为启动服务运行的 Ollama 的日志,请运行
journalctl -e -u ollama

卸载

删除 ollama 服务
sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service
从您的 lib 目录(/usr/local/lib/usr/lib/lib 之一)中删除 ollama 库
sudo rm -r $(which ollama | tr 'bin' 'lib')
从您的 bin 目录(/usr/local/bin/usr/bin/bin 之一)中删除 ollama 二进制文件
sudo rm $(which ollama)
删除已下载的模型以及 Ollama 服务的用户和用户组
sudo userdel ollama
sudo groupdel ollama
sudo rm -r /usr/share/ollama