服务监控
实时监控推理服务的运行状态和性能指标
在线服务
5
较昨日 +2
总QPS
1,234
较昨日 +15%
平均延迟
45ms
较昨日 -5ms
错误率
0.12%
较昨日 +0.02%
推理服务列表
Qwen2.5-72B-生产环境
ID: svc-20240308-001 · Qwen2.5-72B-微调版
运行中
QPS
1,234
平均延迟
45ms
成功率
99.9%
实例数
2
QPS趋势
当前
昨日
延迟分布
10:30:25 [INFO] 服务健康检查通过
10:30:20 [SUCCESS] 请求处理完成，耗时 42ms
10:30:15 [INFO] 收到新请求，批量大小: 1
10:30:10 [SUCCESS] 模型推理完成，生成 tokens: 156
GLM-4-医疗助手
ID: svc-20240308-002 · GLM-4-医疗助手
运行中
QPS
856
平均延迟
32ms
成功率
99.8%
实例数
1
QPS趋势
当前
昨日
延迟分布