浙大和阿里联合开源“AIR-Bench：基于生成理解的大型音频-语言模型评估”
输入“/”快速插入内容
浙大和阿里联合开源“AIR-Bench：基于生成理解的大型音频-语言模型评估”
浙大和阿里联合开源“AIR-Bench：基于生成理解的大型音频-语言模型评估”
用户1672用户1672
用户3291用户3291
用户6769用户6769
用户3474用户3474用户415用户4159月14日修改
论文标题：【AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension】
作者单位：浙大、阿里巴巴
AIR-Bench（音频指令基准）是首个专为评估大型音频-语言模型（LALMs）设计的基准测试，旨在测试这些大模型理解多种音频信号（包括人类语音、自然声音和音乐）的能力，并能进一步以文本的形式与人类交互。
AIR-Bench 包含两个维度：基础基准和对话基准。基础基准由19个任务组成，包含约1.9万道单选题；对话基准则包含2000个开放式问答数据。
图1: AIR-Bench概况图
摘要
近年来，能够按照指令进行互动的音频-语言模型在与人类的音频交互方面越来越受关注。然而，由于缺乏评估这些模型音频互动能力的标准测试，研究进展受到了限制。以前的模型主要关注一些基础任务，比如自动语音识别，而没有评估这些模型在生成音频相关内容方面的能力。这使得人们很难跟踪大型音频-语言模型（LALMs）的发展，也无法为未来的改进提供方向。为此，我们推出了 AIR-Bench（Audio InstRuction Benchmark），这是首个专门用来测试 LALMs 理解多种音频信号（包括人类语音、自然声音和音乐）并与人类进行文本互动的基准。AIR-Bench 包含两个部分：基础基准和对话基准。基础基准包括19个任务和大约1.9万道单选题，用来测试模型在单一任务上的基础能力。对话基准则包含约2000个开放式问答，直接测试模型对复杂音频的理解能力和遵循指令的能力。我们设计了一个统一的框架，利用先进的语言模型（如 GPT-4）来评估这些模型生成的答案，并通过实验展示了 GPT-4 的评估结果与人工评估的高度一致性。AIR-Bench 不仅揭示了现有 LALMs 的不足，还对未来的研究提供了有价值的指引。
1 引言
大型语言模型（LLMs）的快速发展，推动了通用人工智能领域的重大进展。LLMs 不仅展示了强大的知识储备和推理能力，还能够按照人类的指令解决复杂问题。受 LLMs 的影响，大型音频-语言模型（LALMs）领域也取得了显著进展。为了能够理解并处理丰富的音频信号，同时生成符合人类需求的文本响应，诸如 SALMONN、BLSP、Speech-LLaMA 和 Qwen-Audio 等模型应运而生，并展现了在音频对话中的出色表现。然而，先前的 LALMs 研究主要集中在一些基础任务的评估上，缺乏统一的测试标准来评估这些模型的生成能力。大多数研究只能通过展示示例或发布模型供公众试用来展示其对话能力。这种方法不仅难以对比不同模型的表现，也掩盖了模型的某些局限性，从而影响了 LALMs 领域的进一步发展。
目前，音频领域的评估大多围绕特定任务展开，比如用 LibriSpeech 和 Common Voice 基准测试自动语音识别。而像 SUPERB 和 HEAR 这样的基准则用于评估自监督学习模型在各种任务中的表现。在评估 LALMs 的指令执行能力方面，Dynamic-SUPERB 是目前唯一的标准，但它只关注人类语音处理，没有涵盖模型在生成对话方面的能力。
在此背景下，我们提出了 AIR-Bench（Audio InstRuction Benchmark），一个新型的基准测试，旨在评估大型音频-语言模型（LALMs）理解各种音频信号并按指令互动的能力。AIR-Bench 具有以下三个主要特点：
a.
全面的音频信号覆盖：AIR-Bench 提供了对音频信号的广泛覆盖，包括人类语音、自然声音和音乐，确保对 LALMs 能力进行全面评估。
b.
分层的基准结构：基准由基础测试和对话测试组成。基础测试包含19项不同的音频任务，包含超过19,000道单选题，每道题目仅集中测试一种基础能力。GPT-4通过精心设计的提示扩展了问题和候选选项。对话部分包含超过2,000道基于音频的开放式问题。为了增加音频的复杂性并更贴近真实场景中的复杂音频，我们提出了一种新的音频混合策略，包含音量控制和时间偏移。具体来说，我们在两个音频片段的混合过程中调整音量，并引入不同的时间偏移。由此生成的相对音量和时间位置信息被记录为额外的元信息，为音频提供了更全面的文本描述。数据质量通过 GPT-4 的自动过滤并由人工复核得以保证。
c.
统一、客观且可重复的评估框架：模型需要在两个基准上直接生成假设答案，以便更准确地与实际应用场景对齐。然后，我们使用 GPT-4 根据元信息和微调的提示词生成参考答案。根据参考答案和假设答案，按照Liu 等人（2023）和 Bai 等人（2023）的做法，我们利用 GPT-4 来判断基础测试中的选项是否正确，并为对话测试中的假设打分。为了消除位置偏差，我们还通过交换参考答案和假设的顺序进行第二次评分。通过对9种 LALMs 的全面实验，我们发现现有的 LALMs 在音频理解或指令遵循能力上仍有显著提升空间。
本文的贡献总结如下：
◦
AIR-Bench 是第一个针对大型音频-语言模型的生成式评估基准，涵盖了广泛的音频类型，如语音、自然声音和音乐。AIR-Bench 是一个大型分层基准，包括19项音频任务和超过1.9万道单选题的基础测试，以及包含2,000多道精心设计的开放式音频问题的对话测试，以确保全面评估。
◦
我们提出了一种新的音频混合策略，通过音量控制和时间偏移来增加音频的复杂性。
◦
我们开发了一个统一、客观且可重复的评估框架，用于评估生成答案的质量。
◦
我们对9种模型进行了全面评估，以便建立基准参考。
2 相关工作
音频处理的基准测试
以前的研究主要关注模型在特定任务上的基础能力。比如在语音处理领域，自动语音识别（ASR）一直是热门任务，常用的基准测试包括 LibriSpeech 和 Common Voice。此外，还有针对不同语音处理任务的基准，比如语音翻译和情绪识别等。在声音处理领域，针对自动音频描述的 Clotho 和 Audiocaps 等基准逐渐发展起来；在音乐处理领域，也有 MusicCaps 等数据集用来自动对音乐描述。不过，大部分现有的问答基准，比如 Clotho-AQA 和 AVQA，使用的是高度结构化的回答形式，适合封闭式问题，难以支持开放式生成。
除了这些针对单项任务的数据集，还有一些像 SUPERB 和 HEAR 这样的基准，用于全面评估自监督学习模型的能力。唯一一个用来评估 LALMs 指令执行能力的基准是 Dynamic-SUPERB，但它主要集中于人类语音处理，没有涉及开放式对话生成。相比之下，AIR-Bench 是第一个针对大规模音频-语言模型的生成式评估基准，涵盖了多种音频类型，包括语音、自然声音和音乐。
大规模音频-语言模型
最近，越来越多的音频-语言模型可以直接跟随指令完成任务。不同模型专注于不同的音频领域，比如有些模型专注于语音处理（如 SpeechGPT 和 BLSP），有些专注于声音处理，还有些专注于音乐处理。还有像 SALMONN 和 Qwen-Audio 这样的模型支持多种音频类型，展示了较强的通用音频理解能力。不过，这些模型的评估方式不同，通常只是通过示例展示对话能力，缺乏严谨的测试来衡量它们的指令执行能力。为了解决这些问题，本文提出了 AIR-Bench，它包括了基础基准和对话基准，用于公平比较模型的基础能力和高阶的指令执行能力。
3 AIR-Bench
AIR-Bench 具备三大独有的特点，使其在音频理解基准测试中区别于现有基准：
1.
AIR-Bench 是首个将各种音频类型任务的评估整合到分层分类体系中的工作；
2.
AIR-Bench 是首个能够处理大型音频-语言模型（LALMs）自由生成输出的生成式评估基准；
3.
AIR-Bench 使用基于 GPT-4 的自动化评估方法，能够以合理成本提供可靠的评估结果。
在 3.1 节中，我们介绍了 AIR-Bench 的分层分类体系，并讨论了其设计理念。