Skip to content
全部能力
AI 运行时packages/ai/llm-gateway

llm-gateway 能力包

LLM 调用的 provider 路由层 — 回退链、按租户 quota、响应缓存、用量计量统一接入。

打开文档
稳定性
稳定
作用域
全局
边界
packages/ai/llm-gateway

llm-gateway

packages/ai/llm-gateway

AI 运行时 · 工具注册表 · MCP 边界

就绪

能力图谱

ai/llm-gateway
llm-gateway
工具策略
流式 UI
输出

执行账本

  1. 1
    输入
    packages/ai/llm-gateway/request
  2. 2
    规划
    message reducer -> model turn
  3. 3
    工具策略
    tool schema · auth scope · rate limit
  4. 4
    流式 UI
    events -> UI state machine
  5. 5
    输出
    @nebutra/agents response envelope
p50 延迟
76 毫秒
事件/秒
409/秒
提供方
3
评测分
79
使用方式llm-gateway.ts
typescript
llm-gateway.ts
1import { llmGateway } from "@nebutra/llm-gateway";
2
3const result = await llmGateway.run({
4  tenantId: org.id,
5  // llm-gateway is part of the AI runtime — composable with other AI primitives.
6  input: payload,
7});
同能力域 · AI 运行时
3d-pipeline能力包
packages/ai/3d-pipeline

3D 资产生成 + 渲染 — 文生 mesh + USD 导出 + Three.js 预览;backend 走 GPU pool 路由。

查看
agent-runtime能力包
packages/ai/agent-runtime

更底层的 agent 执行 — message reducer、tool 调用、流式状态机;@nebutra/agents 在其之上封装。

查看
agents能力包
packages/ai/agents

多步骤 agent 运行时 — Vercel AI SDK 为底、tool registry、流式 UI、MCP 接入;所有 Sailor agentic 能力的脚手架。

查看
ai-primitives能力包
packages/ai/ai-primitives

所有 AI 包共享的辅助 — token 计数、prompt 模板、stream 解析、退避重试;不依赖具体 provider。

查看