The Rise and Potential of Large Language Model Based Agents: A Survey
输入“/”快速插入内容
The Rise and Potential of Large Language Model Based Agents: A Survey
The Rise and Potential of Large Language Model Based Agents: A Survey
飞书用户91772024年4月14日修改
什么是 Agent
Agent 的由来
18世纪，哲学家丹尼斯·狄德罗 (Denis Diderot) 就提出：如果一只鹦鹉能回答每一个问题，它就可以被认为是一种智慧生物。即高度智能的生物可能类似于人类的智能。
Agent 的概念起源于哲学，甚至可以追溯到亚里士多德和休谟等人的言论，它描述了一种拥有欲望、信念、意图和行动能力的实体。
长期以来，人们一直在追求等同于人类，甚至超越人类的人工智能。如果说 Agent 为这一想法带来了更多的可能性。那么 LLM 的诞生则是为 Agent 的进一步发展带来了希望。根据世界范围的概念，其包含从 NLP 到 AGI 的五个层次，即语料库，互联网，感知，参与和社会。
纯 LLM 建立在具有互联网规模文本输入和输出的第二级。因为 LLM 有着很强的能力，且可以通过自然语言与人类交互，因此倘若赋予 LLM 以感知和行动空间，它们就有可能达到世界范围的第三或第四层次。此外，这些基于 LLM 的智能体可以通过合作或竞争来处理更复杂的任务，并且将它们放在一起时可以观察到新兴的社会现象，有可能达到第五个 WS 级别。
Agent 的演变
Symbolic Agent
在人工智能研究的早期阶段，最主要的方法是符号人工智能。其依赖逻辑规则和符号表示，关注转换问题和推理问题两方面，旨在模拟人类的思维模式。尽管它们具有良好的可解释性和高度的表达能力，但是它们在处理不确定性和大规模现实世界问题时面临着局限性。此外，由于符号推理算法错综复杂，要找到一种能在有限时间内产生有意义结果的高效算法也很有挑战性。
Reactive Agent
这类 Agent 主要关注与环境的交互，强调快速与实时响应。其设计主要考虑直接映射输入输出，而非复杂推理。因此它们的反应更快，但是缺乏复杂的决策和规划能力。
RL-based Agent
其主要关注如何让 Agent 在与环境的交互过程中学习。最初，这类 Agent 主要依赖强化学习算法，如 Q-Learning 等。随着深度学习发展，开始依赖于深度强化学习算法，如 DQN，PPO 等。然而其训练时间长，且泛化性较差，同时在复杂的真实世界环境中应用时的稳定性也难以保证。
Transfer & Meta Learning
为了增强泛化能力，研究人员引入了迁移学习来加速 Agent 对新任务的学习，促进知识在不同任务间的共享和迁移。此外，Agent 还引入了元学习，即学习如何学习，从而能使得 Agent 从少量样本中迅速得到新任务的最优策略，进而减少对大量样本的依赖。
LLM-based Agent
由于 LLM 的能力令人印象深刻，研究人员开始利用 LLM 来构建 AI Agent。即采用 LLM 作为大脑，利用多模态感知和工具调用等策略扩展其感知和行为空间。通过 CoT (Chain of Thought) 等技术，LLM-based Agent 可以表现出与符号智能相当的推理能力。它们还可以通过从反馈中学习和执行新的行动，获得与环境互动的能力，类似于 Reactive Agent。同样，LLM 会在大规模语料库中进行预训练，展示出少量泛化能力，从而实现任务间的无缝转移，而无需更新参数。
为什么 LLM 能作为大脑
自主性
自主性意味着，Agent 不仅应具备按照人类的指令完成任务的能力，还应表现出独立发起和执行行动的能力。AutoGPT 等应用展示出了 LLM 构建自主 Agent 的巨大潜力。只需向它们提供任务和可用的工具，它们就能自主制定计划并执行计划，以实现最终目标。
反应性
反应性意味着 Agent 可以感知周围环境的变化，并迅速采取适当的行动。LLM-based Agent 在执行非文本操作时，需要一个中间步骤，即以文本形式进行思考或给出工具调用的详细信息，然后最终将其转化为具体操作。尽管 这一中间过程会消耗时间，降低响应速度，但这与人类的行为模式密切相关。
主动性
Agent 不仅会对环境做出反应，它们还能积极主动地采取以目标为导向的行动。主动性强调 Agent 可以在行动中推理，制定计划，以实现特定目标。通过在提示词中融入"让我们一步一步地思考"的指令，就可以激发它们的推理能力，如逻辑推理和数学推理。
社会能力
社交能力指的是一个 Agent 可以与其他 Agent 或是人类交流交互的能力。由于 LLM 有着很强的自然语言处理能力，LLM 可以以可解释的方式与其他 LLM 或是人类交互。同时，LLM-based Agent 可以通过写作和竞争等社会行为提高任务绩效。（MetaGPT）。此外，通过特定的 Prompt，LLM 可以扮演不同角色，从而模拟分工，甚至可以看到新的社会现象。
LLM-based Agent 的组成