端到端微调案例总结

任务

Question - Answer

实际上是训练模型对特定任务的推理能力。要让模型学会通过Question推断出症状、经济状况，以及最重要的，(症状 ， 经济状况) -> 治疗方案 。同时要忽略性别。

数据样例

共1000条，训练集900条，测试集100条。

"messages":[
{
"role":"user",
"content":"症状描述:我脸上的老年斑越来越多，尤其在额头和两颊部位，颜色加深了。 我的皮肤对很多护肤成分过敏，特别是使用含酒精或香料的护肤品时，总是感觉刺痛或发炎。 性别女性 年龄段中年人 经济状况低"
},
{
"role":"assistant",
"content":"温和护理,保湿面膜,修复类护肤品,光子嫩肤"
}
]

"messages":[
{
"role":"user",
"content":"症状描述:我的皮肤很容易出现过敏反应，尤其是在接触到花粉或者灰尘的时候，脸颊和下巴处总是容易发红。 我的面部出现了色素斑，尤其是脸颊和前额，看起来很不好看。 性别男性 年龄段中年人 经济状况高"
},
{
"role":"assistant",
"content":"PRP血浆疗法,深度激光祛斑,自体血浆修复"
}
]

"messages":[
{
"role":"user",
"content":"症状描述:我皮肤上有很多不均匀的色块，尤其是在颧骨和额头，肤色差异非常明显。 脸上的皮肤看起来很粗糙，尤其是干燥的季节，皮肤总是脱皮。 性别女性 年龄段青年人 经济状况中"
},
{
"role":"assistant",
"content":"激光美白,射频治疗,微针疗法"
}
]

训练

豆包

训练参数为：

epoch :5

lr:0.0002

豆包训练token数：331,695

	豆包
基础模型	doubao-pro-32k240828版本
平台训练总时长
（含排队）	30分17秒
训练时长	10分50秒
费用	110.53元

算想云

基础模型 ：gemma-2b-it

第一次

epoch :5

lr: 0.0002

训练时长：50分钟

训练费用：

第二次

epoch : 20

lr: 0.0005

训练时长：4小时16分

训练费用：

效果

豆包

	训练前	训练5个epoch
RougeL score	0.1505	0.3847
BERT score	0.5194	0.7951

算想云

	训练前	训练5个epoch	训练20个epoch
RougeL score	0.0321	0.1437	0.2618
BERT score	0.2398	0.3513	0.4421