提升AI可信度：MIT团队开发新工具对抗“幻觉”

来源：MITNews

尽管大型语言模型的能力令人印象深刻，但它们仍然远非完美。这些人工智能模型有时会出现“幻觉”，生成不正确或没有依据的信息来回应查询。

由于这个幻觉问题，模型的响应通常需要由人工审查员进行验证，尤其是在医疗或金融等高风险环境中。然而，验证过程往往要求人们阅读模型引用的长文档，这项繁琐且容易出错的任务可能会让一些用户望而却步，从而不愿意使用生成式AI模型。

为帮助人工验证者，MIT的研究人员创建了一个用户友好的系统，使人们能够更快地验证大型语言模型的响应。这个名为SymGen的工具可以让LLM生成带有引用的响应，直接指向源文档中的具体位置，比如数据库中的某个单元格。

用户可以悬停在文本响应的高亮部分，以查看模型用于生成特定词汇或短语的数据。同时，未高亮的部分则显示需要额外关注以进行检查和验证的短语。

“我们让人们能够选择性地关注他们需要更加关注的文本部分。最终，SymGen能够提高人们对模型响应的信心，因为他们可以轻松地仔细检查，以确保信息的可靠性。”电气工程与计算机科学研究生、SymGen论文的共同第一作者ShannonShen表示。

通过用户研究，Shen和他的合作者发现，使用SymGen进行验证的时间比手动流程缩短了约20%。通过使人们验证模型输出的过程更快、更简单，SymGen有助于识别在各种实际应用中使用的LLM的错误，从生成临床记录到总结金融市场报告。

Shen的论文合作者还包括共同第一作者、EECS研究生LucasTorrobaHennigen；EECS研究生Aniruddha“Ani”Nrusimha；GoodDataInitiative的**BernhardGapp；以及高级作者DavidSontag，EECS教授、MITJameelClinic成员、计算机科学与人工智能实验室（CSAIL）临床机器学习组的负责人；还有助理教授yoonKim，CSAIL的成员。该研究最近在语言建模会议上进行了展示。

符号引用

为了帮助验证，许多LLM被设计为生成引用，指向外部文档，并提供语言基础的响应，以便用户进行检查。然而，这些验证系统通常是事后考虑的，并没有考虑到人们在筛选大量引用时所需的努力，Shen说。

“生成式AI的目的是减少用户完成任务所需的时间。如果您需要花费数小时阅读这些文档，以验证模型的说法是否合理，那么在实际应用中生成的内容就不那么有帮助了。”Shen表示。

研究人员从将要进行验证工作的人的角度来解决这个问题。

SymGen用户首先向LLM提供可以作为参考的数据，例如包含篮球比赛统计信息的表格。然后，研究人员进行一个中间步骤，而不是立即要求模型完成任务，比如从这些数据生成比赛摘要。他们提示模型以符号形式生成响应。

在这个提示下，每当模型希望在响应中引用词汇时，必须写出数据表中包含该信息的具体单元格。例如，如果模型想在响应中引用“波特兰开拓者”这个短语，它将用数据表中包含这些词的单元格名称替换该文本。

“因为我们有这个中间步骤，使文本以符号格式呈现，我们能够实现非常精细的引用。我们可以明确指出，输出中每一段文本具体对应数据中的哪一部分。”TorrobaHennigen表示。

SymGen然后使用基于规则的工具解析每个引用，将相应的文本从数据表复制到模型的响应中。

“这样，我们知道它是逐字复制的，因此可以确保与实际数据变量对应的文本部分不会出错。”Shen补充道。

简化验证

模型能够生成符号响应，是由于其训练方式。大型语言模型接受来自互联网的大量数据，其中一些数据以“占位符格式”记录，代码替代了实际值。

当SymGen提示模型生成符号响应时，它使用类似的结构。

“我们以特定的方式设计提示，以发挥LLM的能力。”Shen补充说。

在用户研究中，大多数参与者表示SymGen使验证LLM生成的文本变得更容易。他们验证模型响应的速度比使用标准方法快约20%。

然而，SymGen的效果受源数据质量的限制。LLM可能引用错误的变量，而人工验证者可能对此毫不知情。

此外，用户必须以结构化格式（如表格）提供源数据，以便输入到SymGen。目前，该系统仅适用于表格数据。

展望未来，研究人员正在增强SymGen的功能，以便处理任意文本和其他数据形式。有了这个能力，它可以帮助验证AI生成的法律文件摘要的某些部分。他们还计划与医生一起测试SymGen，以研究它如何识别AI生成的临床摘要中的错误。

这项工作部分由LiBERTyMutual和MIT智能探索计划资助。