Llama3-Emollm XTuner 版

用户1672

用户8611

用户2971

2024年12月9日修改

写在前面

common.docs_name - LarkCCM_Docs_Menu_Image

本文将从以下几个方面来介绍Llama3的下载和使用，在EmoLLM项目上进行基于Xtuner微调。​

•
Huggingface上Llama3模型使用申请​

•
实验环境搭建​

•
下载LLama3模型和github安装​

•
下载和安装Xtuner​

•
修改Xtuner模型配置文件​

•
在EmoLLM项目上进行基于Xtuner进行QLoRA微调​

模型和有关GitHub项目下载

Llama-3-8B-Instruct模型下载

我们这里采用的是Meta-Llama-3-8B-Instruct模型

该模型已经针对指令和任务数据集进行了 fine-tuning，使其更适合需要遵循指令或完成任务的应用场景。 The "Instruct" suffix indicates that this model has been fine-tuned on a dataset of instructions and tasks, making it more suitable for applications that require following instructions or completing tasks.​

代码块

from modelscope import snapshot_download​
​
model_dir = snapshot_download('LLM-Research/Meta-Llama-3-8B-Instruct')​
print(model_dir)​

添加图片注释，不超过 140 字（可选）

实验环境搭建

建议新建环境

代码块

conda create -n llama python=3.10

pytorch安装

代码块

# CUDA 12.1​
conda install pytorch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 pytorch-cuda=12.1 -c pytorch -c nvidia​

git clone xtuner-0.1.18.dev0

git clone https://github.com/InternLM/xtuner

查看更新的/root/xtuner/xtuner/utils/templates.py中 llama3_chat的模板

代码块

    llama3_chat=dict(​
        SYSTEM=('<|start_header_id|>system<|end_header_id|>\n\n'​
                '{system}<|eot_id|>'),​
        INSTRUCTION=(​
            '<|start_header_id|>user<|end_header_id|>\n\n{input}<|eot_id|>'​
            '<|start_header_id|>assistant<|end_header_id|>\n\n'),​
        SUFFIX='<|eot_id|>',​
        SUFFIX_AS_EOS=True,​
        STOP_WORDS=['<|eot_id|>']),​

Llama3-Emollm XTuner 版​

Llama3-Emollm XTuner 版