推理服务管理
管理您的模型推理服务实例
服务总数
运行中
5
已停止
2
部署中
1
总调用量
今日 API 调用
128.5K
平均延迟
响应时间 (P99)
45ms
实例总数
运行实例数
8
| 服务名称 | 状态 | 模型 | 实例数 | 性能指标 | 创建时间 | 操作 |
|---|---|---|---|---|---|---|
Qwen2.5-72B-生产环境ID: svc-20240308-001 |
运行中 | Qwen2.5-72B-Instruct | 2 |
QPS:
1,234
延迟:
45ms
|
2024-03-01 10:30 | |
GLM-4-医疗助手ID: svc-20240308-002 |
运行中 | GLM-4-9B-Chat | 1 |
QPS:
856
延迟:
32ms
|
2024-03-05 14:20 | |
DeepSeek-R1-推理服务ID: svc-20240308-003 |
DeepSeek-R1-Distill-Qwen-32B | 1 |
进度:
75%
|
2024-03-08 09:15 | ||
Llama3-70B-金融版ID: svc-20240307-001 |
已停止 | Llama-3.1-70B-Instruct | 0 |
总调用:
50.2K
|
2024-02-20 16:45 | |
Qwen-VL-多模态服务ID: svc-20240306-002 |
异常 | Qwen2-VL-7B-Instruct | 1 |
错误率:
15.2%
|
2024-02-28 11:20 |