OpenAI宣布开源SimpleQA新基准,专治大模型“胡言乱语”

业界
2024
10/31
10:27
IT之家
分享
评论

10 月 31 日消息,当地时间 30 日,OpenAI 宣布,为了衡量语言模型的准确性,将开源一个名为 SimpleQA 的新基准,可衡量语言模型回答简短的事实寻求(fact-seeking)问题的能力。

AI 领域中的一个开放性难题是如何训练模型生成事实正确的回答。当前的语言模型有时会产生错误输出或未经证实的答案,这一问题被称为“幻觉”。能够生成更准确、更少幻觉的回答的语言模型更为可靠,可以用于更广泛的应用领域。

OpenAI宣布开源SimpleQA新基准,专治大模型“胡言乱语”

OpenAI 表示,目标是使用 SimpleQA 创建一个具备以下特点的数据集:

高正确性:问题的参考答案由两名独立的 AI 训练师验证,以确保评分的公正性。

多样性:SimpleQA 涵盖广泛主题,从科学技术到电视节目与电子游戏应有尽有。

前沿挑战性:与 TriviaQA(2017 年)或 NQ(2019 年)等早期基准相比,SimpleQA 更具挑战性,尤其针对如 GPT-4o 等前沿模型(例如,GPT-4o 的得分不足 40%)。

高效用户体验:SimpleQA 问题与答案简洁明了,使操作快速高效,并可通过 OpenAI API 等进行快速评分。此外,包含 4326 道问题的 SimpleQA 在评估中应具有较低的方差。

SimpleQA 将是一个简单但具有挑战性的基准,用于评估前沿模型的事实准确性。SimpleQA 的主要限制在于其范围 —— 尽管 SimpleQA 准确,但它只在短查询的受限设置中测量事实准确性,这些查询是事实导向的,并且有一个可验证的答案。

OpenAI 表示,模型在短回答中表现出的事实性是否与其在长篇、多事实内容中的表现相关,这仍是个悬而未决的研究课题。其希望 SimpleQA 的开源能够进一步推动 AI 研究的发展,使模型更加可信并富有可靠性。

【来源:IT之家

THE END
广告、内容合作请点击这里 寻求合作
OpenAI
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表砍柴网的观点和立场。

相关热点

9 月 17 日消息,OpenAI 昨晚发布公告,阐述了其在青少年安全、用户自由与隐私保护三个原则之间的取舍与决策。
业界
9 月 16 日消息,OpenAI 今日凌晨宣布推出全新的 GPT-5-Codex,并已在其 AI 编程助手 Codex 中上线。这是一个专门为 Agent 编程而优化的 GPT-5 新版本。
业界
北京时间9月15日,OpenAI董事长布雷特·泰勒(Bret Taylor)表示,行业正处于AI泡沫中,许多人会损失惨重。
业界
北京时间9月12日,据路透社报道,微软与OpenAI周四表示,他们已就双方关系的新条款签署了一项非约束性协议。
业界
9月12日,近日有传闻称,OpenAI研究员姚顺雨上亿薪资入职腾讯。对此,鹅厂黑板报发文辟谣称该传闻不实。
业界

相关推荐

1
3