云端 - Ollama 文档

云端模型

Ollama 的云端模型是 Ollama 中的一种新型模型，无需强大的 GPU 即可运行。相反，云端模型会自动卸载到 Ollama 的云服务中，同时提供与本地模型相同的功能，让您能够继续使用本地工具，同时运行个人电脑无法容纳的大型模型。

支持的模型

如需查看支持的模型列表，请参阅 Ollama 的模型库。

运行云端模型

Ollama 的云端模型需要 ollama.com 上的账户。要登录或创建账户，请运行

ollama signin

CLI
Python
JavaScript
cURL

要运行云端模型，请打开终端并运行

ollama run gpt-oss:120b-cloud

首先，拉取一个云端模型以便访问

ollama pull gpt-oss:120b-cloud

接下来，安装 Ollama 的 Python 库

pip install ollama

接下来，创建并运行一个简单的 Python 脚本

from ollama import Client

client = Client()

messages = [
  {
    'role': 'user',
    'content': 'Why is the sky blue?',
  },
]

for part in client.chat('gpt-oss:120b-cloud', messages=messages, stream=True):
  print(part['message']['content'], end='', flush=True)

首先，拉取一个云端模型以便访问

ollama pull gpt-oss:120b-cloud

接下来，安装 Ollama 的 JavaScript 库

npm i ollama

然后使用该库运行云端模型

import { Ollama } from "ollama";

const ollama = new Ollama();

const response = await ollama.chat({
  model: "gpt-oss:120b-cloud",
  messages: [{ role: "user", content: "Explain quantum computing" }],
  stream: true,
});

for await (const part of response) {
  process.stdout.write(part.message.content);
}

首先，拉取一个云端模型以便访问

ollama pull gpt-oss:120b-cloud

运行以下 cURL 命令以通过 Ollama 的 API 运行该命令

curl https://:11434/api/chat -d '{
  "model": "gpt-oss:120b-cloud",
  "messages": [{
    "role": "user",
    "content": "Why is the sky blue?"
  }],
  "stream": false
}'

云端 API 访问

云端模型也可以直接在 ollama.com 的 API 上访问。在此模式下，ollama.com 充当远程 Ollama 主机。

身份验证

要直接访问 ollama.com 的 API，请先创建一个 API 密钥。然后，将 OLLAMA_API_KEY 环境变量设置为您的 API 密钥。

export OLLAMA_API_KEY=your_api_key

列出模型

对于直接通过 Ollama API 可用的模型，可以通过以下方式列出模型

curl https://ollama.ac.cn/api/tags

生成响应

Python
JavaScript
cURL

首先，安装 Ollama 的 Python 库

pip install ollama

然后发送请求

import os
from ollama import Client

client = Client(
    host="https://ollama.ac.cn",
    headers={'Authorization': 'Bearer ' + os.environ.get('OLLAMA_API_KEY')}
)

messages = [
  {
    'role': 'user',
    'content': 'Why is the sky blue?',
  },
]

for part in client.chat('gpt-oss:120b', messages=messages, stream=True):
  print(part['message']['content'], end='', flush=True)

首先，安装 Ollama 的 JavaScript 库

npm i ollama

接下来，向模型发送请求

import { Ollama } from "ollama";

const ollama = new Ollama({
  host: "https://ollama.ac.cn",
  headers: {
    Authorization: "Bearer " + process.env.OLLAMA_API_KEY,
  },
});

const response = await ollama.chat({
  model: "gpt-oss:120b",
  messages: [{ role: "user", content: "Explain quantum computing" }],
  stream: true,
});

for await (const part of response) {
  process.stdout.write(part.message.content);
}

通过 Ollama 的聊天 API 生成响应

curl https://ollama.ac.cn/api/chat \
  -H "Authorization: Bearer $OLLAMA_API_KEY" \
  -d '{
    "model": "gpt-oss:120b",
    "messages": [{
      "role": "user",
      "content": "Why is the sky blue?"
    }],
    "stream": false
  }'

仅限本地

Ollama 可以通过禁用 Ollama 的云端功能在仅限本地的模式下运行。

开始使用

功能

集成

更多信息

云端

云端模型

支持的模型

运行云端模型

云端 API 访问

身份验证

列出模型

生成响应

仅限本地

开始使用

功能

集成

更多信息

​云端模型

​支持的模型

​运行云端模型

​云端 API 访问

​身份验证

​列出模型

​生成响应

​仅限本地

云端模型

支持的模型

运行云端模型

云端 API 访问

身份验证

列出模型

生成响应

仅限本地