CVPR013 Rich Human Feedback for Text-to-lmage Generation
输入“/”快速插入内容
CVPR013 Rich Human Feedback for Text-to-lmage Generation
CVPR013 Rich Human Feedback for Text-to-lmage Generation
用户5190用户5190用户5458用户54582024年6月14日修改
引言
《流浪地球》是深受大家喜爱的系列科幻作品，其中提及了许多引人深思的科技概念，“人在回路”便是之一。影片中，人类的智慧和决策过程（数字生命图丫丫的介入）融入到机器学习的循环中，让人工智能（MOSS）在执行任务时不仅依赖数据，更考虑道德和伦理因素（人道主义），从而避免了人类的毁灭性危机。在自动化和智能化系统中，人类智能的不可替代性，以及在关键决策过程中引入人类判断的过程是至关重要的。智慧和算法的有机融合，不仅在电影中试图帮助人类构建一个充满希望的未来世界，在现实世界的科学研究和技术发展中也具有深远影响。
丫丫，我要给你完整的一生！（来源：《流浪地球2》剧照）
基于人类反馈的强化学习（Reinforcement Learning with Human Feedback, RLHF）是大语言模型（Large Language Models, LLMs）的典型训练方法，在对大量数据进行训练时，人类的直接反馈被用来优化模型的性能。这样看，RLHF其实也是一种实现“人在回路”的技术手段，并且已在LLMs训练中得到广泛应用。回顾计算机视觉领域相关研究，尤其是文本到图像（Text-to-Image, T2I）的生成任务，虽然技术上取得了显著进步，但生成的图像仍然存在诸多问题，如伪影、与文本描述不一致以及审美质量低下。这些问题凸显了现有自动评估指标的局限性，同时也表明了在图像生成过程中引入人类反馈的必要性。
本次将要介绍的这篇CVPR 2024最佳论文候选《Rich Human Feedback for Text-to-lmage Generation》，其核心贡献在于提出一种新颖的方法，通过收集和利用丰富的人类反馈来指导和改进T2I生成模型，这不仅为图像生成领域带来了新的思路，也为“人在回路”概念在计算机视觉中的实践有效性提供了有力证明。
论文十问
Q1：论文试图解决什么问题？
论文试图解决T2I生成模型在生成高分辨率图像时仍然存在一些问题，例如现实规则不一致（图像中的伪影与不合理性）、图文语义不一致（与所提供的提示词描述不一致）、美学期望不一致（生成的图像具有低审美质量）。为了改善这些问题，论文提出了一种通过丰富人类反馈来改进T2I生成的方法。
Q2：这是否是一个新的问题？
这个问题并不是一个全新的问题，因为在深度学习时代，T2I生成模型已经经历了多次迭代和进化，包括生成对抗网络（GANs）、变分自编码器（VAEs）和扩散模型（DMs）。T2I生成模型的改进一直是计算机视觉和机器学习领域的研究热点，这些模型在生成图像的质量和多样性方面取得了显著进展，但上述问题仍然是该领域研究者们面临的挑战。不过，本文提出的解决方案是新颖的，因为它引入了丰富的人类反馈来改善评估和生成过程，这是对现有方法的扩展。
Q3：这篇文章要验证一个什么科学假设？
文章希望验证：通过收集和利用丰富的人类反馈（包括图像中不合理或与文本不一致区域的标记、文本提示中未被正确表示或缺失的词汇的注释，以及对图像的多方面细致评分），可以训练一个多模态Tansformer模型（Rich Automatic Human Feedback, RAHF）来自动预测这些反馈，并且使用这些预测的反馈来改善T2I生成模型的输出质量。具体来说，这个工作期望使用预测的反馈来指导模型微调、选择训练数据，以及进行区域修复，从而提高生成图像的质量。
Q4：涉及哪些相关研究领域？
•
文生图模型：GANs、VAEs、DMs这些模型通过不同的方法生成图像，但都面临质量和准确性的挑战。
•
图像评估和奖励：研究者们开发了多种评估生成图像质量的方法，例如基于人类偏好的数据集和评估模型，如Pick-a-Pic，PickScore，T2I-CompBench，HPS等。
•
图像修复和编辑：一些研究专注于通过识别图像中的伪影或不合理区域，并提出修复方法，如使用分割模型预测伪影区域并进行修复。
•
图文多模态学习：结合图像和文本信息以提高生成质量和评估准确性的研究，例如使用CLIP模型来评估图像和文本的对齐度。
Q5：论文中提到的解决方案之关键是什么？
•
丰富的人类反馈：通过标记图像中的不合理或与文本不一致的区域，并注释文本提示中未正确表示或缺失的词汇，收集更细致和可解释的反馈。
•
多模态Transformer：设计了一个名为RAHF的模型，用于自动预测丰富的人类注释。
•
预测的反馈的下游应用：使用预测的反馈来改善图像生成过程，包括选择高质量的训练数据进行微调，以及创建掩码来修复问题区域。
Q6：论文中的实验是如何设计的？
数据收集
论文收集了18,000张生成图像的丰富人类反馈，包括点注释、文本标记和细粒度评分。注释数据的要点详见图一，注释者在图像上标记点以指示与文本提示相关的不合理区域（图中红点，如熊猫的鼻子和轮毂部分）或图文不一致区域（图中蓝点，如右侧熊猫）。然后，标注者点击单词以标记不匹配的关键词（右侧下划线和着色文字，例如这里有两只熊猫），并为可信度、图文对齐程度、美观度和整体质量选择分数（右侧下划线文字）。
论文所使用的标注UI（来源：原论文）
图二展示了RichHF-18K中所有图像数据四项打分指标的数据分布情况，大致呈现中间多，两头少，偏向于中高分的趋势。论文中还介绍了所标注数据的一致性分析相关研究，大约25%的样本在标注者之间达到了完全一致，而大约85%的样本具有较好的一致性。另外，图四对每个样本的标注评分最大差值进行了统计，并考察其差值区间分布，打分差值基本在0.75以下。
论文数据集中四项打分指标的数据分布情况（来源：原论文）
训练集训练数据的差异分布（来源：原论文）
模型训练
如图三所示，论文使用收集的数据训练RAHF模型，该模型结合了视觉变换器Vision Transformer（ViT）和文本编码器（T5X），主要包括如下几个部分：
1.
双流计算：模型包含两个主要的流，一个是视觉流，处理输入的图像；另一个是文本流，处理与图像相关的文本提示。使用ViT作为编码器，将输入图像转换成一系列的图像token，这些token是图像的高级表示。文本提示被嵌入成密集向量，然后通过T5X模型进行编码。