💡
专业名词解释

1.
云原生名词​

云原生 (Clould - Native)

云原生应用程序通常借助容器、微服务架构、自动化、持续集成/持续交付（CI/CD）等现代技术和实践来提供更高的敏捷性、可靠性和可扩展性。​

(Docker) 容器

在 InternStudio 中您使用的开发机就是一个 Docker 容器。容器中通常包含运行一个应用程序的依赖，并且实现了计算资源的隔离。​

(Docker) 镜像

Docker 镜像是容器的构建模块，可以理解为容器的运行环境。它是一个轻量级的、可执行的软件包，包括了软件所需的依赖项和配置文件。因此，docker 镜像非常适合应用为模型训练的开发环境，帮助用户进行敏捷的环境切换。​

2.
微调名词​

SFT (Supervised-Finetuning)

SFT 是有监督微调的缩写，通常用于针对特定任务或应用程序微调预训练（基座）的深度学习模型，如 BERT、GPT、或其他自然语言处理（NLP）或计算机视觉模型，从而通过更少量的数据，训练更少的参数以达到快速适配下游任务的效果。​

PEFT (Parameter-Efficient Finetuning)

是伴随大模型兴起的一种参数友好型微调方法。与传统的全量微调模型参数、微调模型部分参数不同，PEFT 类型的微调方法具有参与训练参数数量少、对硬件资源依赖小且效果与传统微调方法相当的特点。Xtuner 库支持了目前使用的最主流 PEFT 方法：LORA、QLORA

LORA (Low Rank Adaption of LLM)

目前最主流的大模型微调方法之一，特点是将模型中的权重矩阵低秩分解，分解成2个参数量极小的矩阵来加入微调任务，而不微调模型本身。优势是：1. 训练所需显存极小 2. 部署灵活。​

Adapter

伴随 PEFT 方法出现的名词。通常情况下，使用 PEFT 方法如 LORA，会训练出一个模型 Adapter，它区分于预训练模型本身，在部署时会作为模型的适配器共同部署，从而改变模型的推理结果。换句话说，PEFT 方法不会训练预训练模型本身，而是训练出一个 Adapter，从而使大模型的部署更加灵活。​