浦语工具链玩转 Llama 3.1

用户1672

用户9583

用户539

用户8616

2025年6月24日修改

common.docs_name - LarkCCM_Docs_Menu_Image

标题：全网首发，Llama 3.1 微调部署及Function Call

前言：Meta 重磅发布 Llama 3.1，分别为 8B、70B和405B三个尺寸的模型～原生支持 Function Calling 功能。​

128K 上下文、非 MoE 模型、卷合成数据、原生支持 Function Call、官方支持多语言不包含中文、纯语言模型。​

Llama 3.1开源发布了，虽然模型提前被泄露了，但Meta正式发布并提供细节后还是发现一些有意思的点。​

官网：https://ai.meta.com/blog/meta-llama-3-1/

论文地址：https://ai.meta.com/research/publications/the-llama-3-herd-of-models/

1.
模型下载​

首先申请权限

代码块

import os​
​
import sys​
​
repo = sys.argv[1]​
​
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'​
​
from huggingface_hub import snapshot_download​
​
token = 'YOUR_TOKEN'​
​
snapshot_download(repo_id=repo, local_dir=f'/share/new_models/{repo}', local_dir_use_symlinks=False, max_workers=1, resume_download=True, token=token, ignore_patterns=["*consolidated*"])​

2.
LMDeploy 量化部署​

https://github.com/internLM/lmdeploy

欢迎 Star

LMDeploy 实践教程

环境配置

代码块

conda create -n llama3 python=3.10conda activate llama3​
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia​
​
conda install git​
git-lfs install​

安装LMDeploy与其他工具

代码块

cd ~​
pip install lmdeploy​
pip install triton>=2.1.0​

LMDeploy 量化

LMDeploy 支持一键量化和部署，只需要一行命令即可将模型进行量化。LMDeploy 支持两种量化方式，INT4 量化和 W8A8 量化，经量化后的模型可以直接进行使用。​

1.
INT4 量化​

代码块

lmdeploy lite auto_awq /root/share/new_models/meta-llama/Meta-Llama-3.1-8B-Instruct --work-dir ./Meta-Llama-3.1-8B-Instruct-4bit​

注：经 INT4 量化后在推理时加入--model-format awq，如：

浦语工具链玩转 Llama 3.1​

浦语工具链玩转 Llama 3.1