训练任务 - 模型训练 - 国信数算控制台

基础模型选择

*

Q

Qwen2.5-72B

通义千问 · 72B参数

G

GLM-4-9B

智谱AI · 9B参数

L

Llama-3-70B

Meta · 70B参数

B

Baichuan2-13B

百川智能 · 13B参数

数据集配置

*

拖拽文件到此处，或点击上传

支持格式：JSONL、Parquet、CSV（最大10GB）

instruction_data_v2.jsonl

2.3GB · 125,000条 · 上传于 2024-03-08

≈ 45M Tokens

medical_qa_dataset.jsonl

856MB · 32,000条 · 上传于 2024-03-05

≈ 18M Tokens

算力偏好

效率优先

调度至低负载高性能节点

价格标准 · 即时启动

成本优先

调度至闲置资源池

价格优惠30% · 可能排队

训练方法

LoRA

低秩适应，训练速度快，显存占用少

QLoRA

4-bit量化+LoRA，极低显存占用

全参数微调

完整模型训练，效果最佳，资源消耗大

Prefix Tuning

前缀调优，冻结主模型参数

超参数配置

学习率 (Learning Rate)

批次大小 (Batch Size)

训练轮数 (Epochs)

Warmup 比例

权重衰减 (Weight Decay)

梯度累积步数

高级选项

断点续训

训练中断后自动从检查点恢复

混合精度训练

FP16/BF16 加速训练，减少显存占用

梯度检查点

以计算换内存，支持更大模型训练

PS Server配置

参数服务器台数

台

上传配置文件

未选择文件

选择挂载路径

（用于配置文件传递、数据共享）

指定检查点保存地址

（任务检查点文件，用于记录并行任务的执行状态）

指定日志保存地址

允许公网访问

Group配置模式

请根据需要选择以下两种配置模式之一

自定义配置（可自由填写训练所需配置，自由度高）自动适配（自动生成训练所需配置，提高效率）

自定义配置

Group1

选择地域

选择厂商

选择卡种

输入卡数

选择镜像

日志文件保存路径

选择挂载路径

上传训练配置

未选择文件

（包含数据信息、分组权重、同步时间间隔等模型训练所需的必要信息）

选择训练策略

未选择文件

（定义模型训练策略，可上传策略文件或使用默认策略）

自动适配

上传训练配置

未选择文件

（包含超参、数据信息、分组权重、同步时间间隔等模型训练所需的必要信息）

输入算力要求

输入NV等价卡数

输入总算力FLOPS值

输入训练时间要求

日志文件保存路径

选择挂载路径

配置详情展示

【Group1】

配置项	内容
推荐厂商	华为
推荐卡种	910B
推荐卡数	64卡
所在地域	上海
推荐的训练策略	【查看详情】
默认镜像	ailab-deeplink/3dps_torch_2_1_cann_8_0_0; ailab-deeplink/huawei-20.04-v2.11.0

【Group2】

配置项	内容
推荐厂商	沐曦
推荐卡种	C500
推荐卡数	64卡
所在地域	山东
推荐的训练策略	【查看详情】
默认镜像	ailab-deeplink/3dps_torch_2_1_cann_8_0_0; ailab-deeplink/muxi-1.04-v1.11.0

费用确认

算力费用 ¥614.40

存储费用 ¥2.30

新用户优惠 -¥100.00

预计总费用 ¥516.70

账户余额: ¥2,580.00 余额充足