👍
Agent-FLAN 技术报告

用户1672

用户6290

用户9177

用户3613

用户6995

2024年4月17日修改

论文地址：https://arxiv.org/abs/2403.12881

Repo：https://github.com/InternLM/Agent-FLAN

圆桌时间：4月20日 20:00

腾讯会议：308-512-860

common.docs_name - LarkCCM_Docs_Menu_Image

46%

54%

加入飞书群获取文档编辑权限

翻译内容	人员	微信昵称	预计截止时间
摘要	用户9737 用户9737	A_Tang_abaaba	已完成
1. 介绍	用户9737 用户9737	A_Tang_abaaba	已完成
2. Related Works	-		-
2.1 LLM as Agent	陈德林	Dennis	已完成
2.2 Language Model Fine-Tuning	陈德林	Dennis	已完成
3. Pilot Observations	-		-
3.1 Observation 1	用户3613 用户3613	那路
3.2 Observation 2	用户3613 用户3613	那路
3.3 Observation 3	用户6995 用户6995		已完成
4. Agent-Flan	-		-
4.1 Aligning Agent Tuning to Pretrain Domain	用户6995 用户6995	莲梅莉	已完成
4.2 Capabilities Decomposition and Data Balancing	用户6995 用户6995	莲梅莉	已完成
4.3 Negative Sample Learning for Hallucination	用户6995 用户6995	莲梅莉	已完成
5. Analysis	-		-
5.1 Scaling Law for Agent Tuning	用户5032 用户5032	明
5.2 General Abiliyu v.s. Agent Ability	用户5032 用户5032	明
6. Conclusion	用户6995 用户6995		已完成
7. Limitations	用户6995 用户6995		已完成
8. Ethical Considerations	用户6995 用户6995		已完成

摘要

尽管开源的大型语言模型（LLMs）在 NLP 领域取得了令人瞩目的成就，但在被用作智能体时，它们的表现仍远远逊色于基于 API 的模型。因此，如何将 Agent 能力融入到一般的 LLMs 中，成为当前亟待解决的关键问题。本文首先指出了三个核心现象：（1）当前的智能体训练语料库都与格式遵循和 Agent 推理混合在一起，这与预训练数据的分布存在显著差异（the current agent training corpus is entangled with both formats following and agent reasoning, which significantly shifts from the distribution of its pre-training data）；（2）LLMs 在 Agent 任务所需的不同能力上表现出的学习速度不同；（3）当前改进智能体能力的方法存在副作用（会引入“幻觉”）。基于上述发现，我们提出了 Agent-FLAN，旨在有效微调语言模型，使其更好地胜任智能体角色。通过精心分解和重新设计训练语料，Agent-FLAN 成功提升了 Llama2-7B 模型在多个智能体评估数据集上的表现，相较于先前的最佳结果，其性能提升了 3.5%。我们还构建了全面的负样本，显著改善了 Agent-FLAN 在我们建立的评估基准上的幻觉问题。此外，智能体能力与通用能力均会随着模型增大而提升。Agent-FLAN的代码已开源至：https://github.com/InternLM/Agent-FLAN 。

1.
介绍​

语言智能体 (Mialon et al., 2023; Sumers et al., 2023) 能够提升 LLMs 的强大性能以实现环境感知、决策与执行的。现有研究 (Song et al., 2023; Huang et al., 2023) 发现这些已经涌现的智能体在解决现实世界的复杂问题中展现出巨大的潜力。目前，多数研究聚焦于提示词工程 (Wei et al., 2022; Yao et al., 2022b; Shinn et al., 2023) 或通过调度一个/多个闭源 LLM（如 GPT4）(Wu et al., 2023; Talebirad & Nadiri, 2023; Hong et al., 2023) 来实现智能体任务。尽管这些研究的成果和灵活性令人印象深刻，但闭源 LLMs 带来的高昂财务成本和潜在的安全隐患 (Li et al., 2023; Yuan et al., 2023) 限制了其在实际部署中的广泛应用。​

与此同时，开源 LLMs 的崛起为这一领域带来了新的机遇。近期的研究 (Chiang et al., 2023; Touvron et al., 2023; Jiang et al., 2024) 表明开源 LLMs 在多个领域展现出强大的性能。然而，一个挥之不去的挑战依然存在：虽然这些 LLMs 在需要语言技巧的任务中表现出色，但当它们作为智能体被部署时，尤其是与基于 API 的模型相比，其性能往往不尽如人意 (Zeng et al., 2023; Liu et al., 2023a)。尽管针对特定垂直领域的微调方法正在不断探索 (Qin et al., 2023; Gou et al., 2023)，但这种方法有可能损害其通用能力。因此，为了弥补专业语言模型和通用语言模型之间的差距，有效地将 Agent 能力集成进通用 LLMs 中，成为了这个领域中一个亟待解决的问题。​

在本文中，我们将着手缩小开源 LLMs 和基于 API 的模型在围绕智能体开展的任务上的卓越性能之间的差距。首先我们揭示了作为我们研究基础的三个关键现象：（1）大多数 Agent 训练数据与格式遵循和通用推理混合在一起，偏离了模型原始预训练领域（即自然对话），这导致了模型学习到的 Agent 能力不足；（2）将训练数据按照维度拆分，各个维度数据的损失表现出不同的收敛情况，表明模型对不同的维度具有不同的学习速度；（3）目前的方法主要集中在特定的智能体能力上，忽略了模型输出中幻觉的普遍性和重要性。​

在这些重要发现的基础上，我们提出了 Agent-FLAN，以研究大语言模型的智能体高效微调的设计方案。具体而言，我们将智能体训练语料中的指令遵循与推理能力拆分，构造成对话数据，进而激发模型的agent 能力，同时避免过拟合输出格式。为了全面解决智能体任务中的幻觉问题，我们构建了 Agent-H 基准，来从多方面评估 LLMs 的幻觉问题。随后，我们精心构建了多种 "负面 "训练样本，以有效缓解这一问题。​

图 1. 不同智能体微调方法在训练域(held-in)和测试域(held-out)任务上的性能比较