分享
基于华为昇腾910B,实战InternLM个人小助手认知微调
输入“/”快速插入内容
基于华为昇腾910B,实战InternLM个人小助手认知微调
用户1672
用户1672
用户770
用户770
用户1423
用户1423
用户3543
用户3543
2024年12月30日修改
本文将带领大家基于
华为云
ModelArts
,使用
XTuner 单卡微调一个
InternLM
个人小助手
。
开源链接:(欢迎 star)
https://github.com/InternLM/InternLM
https://github.com/InternLM/xtuner
XTuner
简介
XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。
常用命令
如下:
查看帮助
代码块
Shell
xtuner help
查看版本
代码块
Shell
xtuner version
列出所有预定义配置文件
代码块
Shell
xtuner list-cfg
列出包含指定名称的预定义配置文件
代码块
Shell
xtuner list-cfg -p $NAME
xtuner list-cfg 命令用于列出内置的所有配置文件。参数 -p 或 --pattern 表示模式匹配,后面跟着的内容将会在所有的配置文件里进行模糊匹配搜索,然后返回最有可能
的
内容。
复制配置文件
代码块
Shell
xtuner copy-cfg $CONFIG $SAVE_PATH
xtuner copy-cfg 命令用于复制一个内置的配置文件。该命令需要两个参数:CONFIG 代表需要复制的配置文件名称,SAVE_PATH 代表复制的目标路径。
执行微调训练
代码块
Shell
xtuner train $CONFIG
xtuner train 命令用于启动模型微调进程。该命令需要一个参数:CONFIG 用于指定微调配置文件。
将 pth 格式的模型文件转换成 HuggingFace 格式的模型
代码块
Shell
xtuner convert pth_to_hf $CONFIG $PATH_TO_PTH_MODEL $SAVE_PATH_TO_HF_MODEL
xtuner convert pth_to_hf 命令用于进行模型格式转换。该命令需要三个参数:CONFIG 表示微调的配置文件
;
PATH_TO_PTH_MODEL 表示微调的模型权重文件路径,即要转换的模型权重
;
SAVE_PATH_TO_HF_MODEL 表示转换后的 HuggingFace 格式文件的保存路径。
华为云资源选择
模块:【华为云】-
【控制台】-
【AI开发平台ModelArts】-【开发空间】-【Notebook】
镜像:pytorch_2.1.0-cann_8.0.rc1-py_3.9-euler_2.10.7-aarch64-snt9b
类型:【Ascend】
规格
:
【Ascend: 1*ascend-snt9b2|ARM: 24核 192GB】
磁盘规格:按需即可
安装环境
安装依赖
代码块
Shell
pip install einops
pip install accelerate
pip install dlinfer-ascend
pip install deepspeed
pip install loguru