跳转至

协议支持

平台基于统一模型网关构建，提供标准化 API 服务接口，兼容主流大模型调用协议，方便用户快速接入各类开发框架与应用系统。

用户无需关注底层模型部署与推理引擎差异，即可通过统一接口调用平台模型服务。

OpenAI 协议兼容（推荐）

平台主要兼容 OpenAI API 调用格式，可直接适配绝大多数现有 AI 开发工具与 SDK。

支持接口包括：

POST /v1/chat/completions
POST /v1/completions
GET  /v1/models

支持的开发方式

可直接使用：

  • OpenAI Python SDK
  • OpenAI JavaScript SDK
  • curl / REST API
  • LangChain
  • LlamaIndex
  • Dify
  • FastGPT
  • OpenWebUI
  • OpenClaw
  • 各类 Agent 框架

Python 示例

from openai import OpenAI

client = OpenAI(
    api_key="sk-你的Key",
    base_url="https://api.llm.ustc.edu.cn/v1"
)

resp = client.chat.completions.create(
    model="deepseek-v4-flash",
    messages=[
        {"role": "user", "content": "你好"}
    ]
)

print(resp.choices[0].message.content)

Anthropic 协议兼容

平台支持 Anthropic 风格接口，兼容 Claude 类 SDK 与 Agent 框架。

支持接口：

POST /v1/messages

适用场景

适用于：

  • Claude SDK
  • MCP Agent
  • Anthropic 风格客户端
  • 多 Agent 框架

请求头示例

anthropic-version: 2023-06-01

流式输出支持（Streaming）

平台支持 SSE（Server-Sent Events）流式输出。

用户可在生成过程中实时接收模型返回内容，降低长回答等待时间。

开启方式

{
  "stream": true
}

适用场景

  • Web 对话
  • Chat UI
  • 实时生成
  • 长文本输出
  • Agent 交互

多模型统一路由

平台基于统一模型网关，实现：

  • 多模型统一入口
  • 标准化调用方式
  • 模型透明切换
  • 异构算力统一调度

用户仅需修改：

"model": "模型名称"

即可切换不同模型，无需修改其他调用逻辑。

支持的调用方式

调用方式 支持情况
HTTP REST API ✅
OpenAI SDK ✅
Anthropic SDK ✅
SSE 流式输出 ✅
LangChain ✅
MCP Agent ✅
Tool Calling ✅
多轮对话 ✅

Tool Calling 支持

部分模型支持 Tool Calling / Function Calling 能力，可用于：

  • Agent 工具调用
  • MCP 工具执行
  • 自动任务编排
  • 外部系统交互

适用场景

  • 智能体（Agent）
  • 自动化工作流
  • 数据查询
  • 超算任务助手
  • 科研自动化流程

Embedding 接口支持

平台支持向量模型（Embedding）服务。

适用于：

  • 知识库问答（RAG）
  • 文档检索
  • 相似度搜索
  • 语义匹配

接口示例

POST /v1/embeddings

协议兼容优势

平台采用统一协议设计，带来以下优势：

  • 降低开发接入成本
  • 兼容现有 AI 开发生态
  • 支持多模型快速切换
  • 支持异构模型统一调用
  • 提升系统扩展能力

总结

平台通过兼容 OpenAI 与 Anthropic 等主流协议，实现多模型统一接入与标准化调用，帮助用户快速构建 AI 应用与智能体系统。