64
GPU 总数
▲ 62 在线 · 2 离线
3
在线模型数
Qwen3-72B / DeepSeek-V3 / ChatGLM3
2,847,521
今日 Token 消耗
▲ 12.5% vs 昨日
127
平均延迟 (ms)
▼ 8ms
GPU 集群拓扑 — BJ-DC1 机房 · Rack-A
实时推理吞吐量 (tokens/s)
👈
请从左侧选择一个模型查看详情
vLLM 推理引擎配置
自动扩缩容策略
当前副本数: 4
状态: ● 稳定运行中
3,247
当前吞吐量 (tok/s)
98ms
推理延迟 P50
342ms
推理延迟 P99
12
队列深度
推理延迟趋势 (ms)
吞吐量 & 队列深度
OpenAI 兼容
接口状态
已开启
3
路由规则数
Qwen3: 风险合规 · DeepSeek-V3: 长文档
1,580/min
当前 API 调用速率
▲ 8.2% vs 上小时
多模型路由规则
API Key 管理
实时调用日志
等待 API 调用...
网络隔离状态
当前网络: 政务外网 · 互联网出口: 已阻断 · VPN 接入: 国密SM4加密隧道
✅ 隔离正常
TLS 证书管理
证书颁发: 国家SM2根CA · 有效期至 2027-06-30 · 加密套件: TLS 1.3 + 国密GMTLS
✅ 证书有效 (剩余 334 天)
内容安全过滤
敏感词库: 12,847 条 · 今日拦截: 23 次 · 过滤引擎: v2.8
✅ 正常运行 · 查看拦截日志
灾备状态
主节点: BJ-DC1 (在线) · 备节点: SH-DC2 (热备) · 数据同步: 实时
✅ RPO < 1s · RTO < 30s · 上次切换演练: 2026-07-15
安全配置摘要
| 配置项 | 当前值 | 状态 |
|---|---|---|
| API 鉴权模式 | Bearer Token + IP 白名单 | 已启用 |
| IP 白名单 | 192.168.1.0/24, 10.0.0.0/8, VPN-10.8.0.0/16 | 3 条规则 |
| 频率限制 | 管理: 1000次/min, 读写: 500次/min, 只读: 200次/min | 已启用 |
| 审计日志保留 | 6 个月 (自动归档至对象存储) | 正常 |
| DDoS 防护 | 令牌桶算法 · 突发限制: 200 | 已启用 |
敏感词库管理
| 敏感词 | 分类 | 匹配模式 | 严重等级 | 添加时间 | 操作 |
|---|
共 12,847 条 · 引擎 v2.8 · 今日拦截 23 次
全量审计日志
共 128 条记录
| 时间 | 调用者 | IP 地址 | 操作 | 模型 | Token 数 | 延迟(ms) | 状态 |
|---|