像文心一言4.0等是通用大模型,而不是行业大模型。
各行各业有自己的数据集和个性化需求。可以在通用基座大模型的基础上,用自己的数据集(数据集可以很小,几百条也可以)精调训练。把基座大模型的知识和能力,迁移泛化到我们自己的领域。
让最前沿的AI大模型,赋能你的行业和专业。
百度智能云千帆modelbuilder模型,主要步骤有:整理数据集,SFT模型精调,在线测试,模型评估,公有云部署,API调用
注册百度千帆账号
https://console.bce.baidu.com/
千帆-大模型超级工厂:千帆大模型平台
立即使用
画面信息显示:可以直接调用内置主流大模型API,也可以精调训练自己的行业大模型。
应用接入-创建应用
填写基本信息,选择对应服务配置
创建成功后,会对应生成API Key+Secret Key,以便后续调用该应用api
数据集-通用数据集
创建数据集
填写基本信息
数据类型选择:prompt+Response(一问一答类型)
整理好需要训练的数据集后,进行本地导入上传至平台。
可根据官方提供的样例文件,下载查看数据集的格式。
数据量越多,训练效果越好
导入完成,如果提示有错误数据,则可以查看具体的错误数据。
删除这个数据集,将修改完成的数据集然后重新上传即可。
发布数据集
模型精调-SFT
关注以下参数及其差异:
Post-pretrain:适合数据量大,预算充足的场景。10亿token级别的高质量行业语料库。即行业大模型。
SFT:问答对,小数据集训练一个助手
RLHF:强化学习的方法,利用人类反馈信号直接优化语言模型,即训练chatgpt的技巧。需要大量的人工反馈。
ERNIE Speed:百度文心大模型家族2024年新成员,高速度,高性能
全量更新:微调大模型的全部参数,适合数据量比较大,和基座模型差异大的专业领域
lora:保留原始权重矩阵,只更新低秩分解后的参数。适合数据量小,和基座模型差异小的通用领域。
基本信息
训练配置
lora
迭代轮次0-50
学习率,最低0.00003
数据配置
加载自己的预训练数据集
开通付费
全部选择:预置服务
确认并提交订单
确认训练
基座模型,迭代轮次都会影响预估费用
训练中
训练完成,查看评估报告
根据参数提示,可查看训练的质量如何。
发布模型
在线服务-我的服务
创建服务
填写基本信息和付费信息,确定后并发布模型
api的服务地址
体验中心-选择服务:我的服务
选择训练的模型,进行对话测试