新闻| 文章| 资讯| 行情| 企业| wap手机版| article文章| 首页|会员中心|保存桌面|手机浏览
普通会员

易达信息科技

企业列表
新闻列表
推荐企业新闻
联系方式
  • 联系人:依依
友情链接
  • 暂无链接
首页 > 新闻中心 > 如何使用百度智能云千帆训练自己的行业大模型
新闻中心
如何使用百度智能云千帆训练自己的行业大模型
发布时间:2024-12-11        浏览次数:5        返回列表

像文心一言4.0等是通用大模型,而不是行业大模型。

如何使用百度智能云千帆训练自己的行业大模型

各行各业有自己的数据集和个性化需求。可以在通用基座大模型的基础上,用自己的数据集(数据集可以很小,几百条也可以)精调训练。把基座大模型的知识和能力,迁移泛化到我们自己的领域。

让最前沿的AI大模型,赋能你的行业和专业。

百度智能云千帆modelbuilder模型,主要步骤有:整理数据集,SFT模型精调,在线测试,模型评估,公有云部署,API调用

注册百度千帆账号

https://console.bce.baidu.com/

千帆-大模型超级工厂:千帆大模型平台

立即使用

画面信息显示:可以直接调用内置主流大模型API,也可以精调训练自己的行业大模型。

应用接入-创建应用

填写基本信息,选择对应服务配置

创建成功后,会对应生成API Key+Secret Key,以便后续调用该应用api

数据集-通用数据集

创建数据集

填写基本信息

数据类型选择:prompt+Response(一问一答类型)

整理好需要训练的数据集后,进行本地导入上传至平台。

可根据官方提供的样例文件,下载查看数据集的格式。

数据量越多,训练效果越好

导入完成,如果提示有错误数据,则可以查看具体的错误数据。

删除这个数据集,将修改完成的数据集然后重新上传即可。

发布数据集

模型精调-SFT

关注以下参数及其差异:

Post-pretrain:适合数据量大,预算充足的场景。10亿token级别的高质量行业语料库。即行业大模型。

SFT:问答对,小数据集训练一个助手

RLHF:强化学习的方法,利用人类反馈信号直接优化语言模型,即训练chatgpt的技巧。需要大量的人工反馈。

ERNIE Speed:百度文心大模型家族2024年新成员,高速度,高性能

全量更新:微调大模型的全部参数,适合数据量比较大,和基座模型差异大的专业领域

lora:保留原始权重矩阵,只更新低秩分解后的参数。适合数据量小,和基座模型差异小的通用领域。

基本信息

训练配置

lora

迭代轮次0-50

学习率,最低0.00003

数据配置

加载自己的预训练数据集

开通付费

全部选择:预置服务

确认并提交订单

确认训练

基座模型,迭代轮次都会影响预估费用

训练中

训练完成,查看评估报告

根据参数提示,可查看训练的质量如何。

发布模型

在线服务-我的服务

创建服务

填写基本信息和付费信息,确定后并发布模型

api的服务地址

体验中心-选择服务:我的服务

选择训练的模型,进行对话测试