聚焦
OpenAI测试AI说服能力,利用Reddit论坛数据
时间:2025-02-05 15:46
OpenAI在其最新发布的“推理”模型o3-mini的系统文档中透露,该公司利用Reddit子论坛r/ChangeMyView测试AI模型的说服能力。
该论坛用户发布观点并寻求讨论,其他用户则回应并试图改变原帖作者观点。OpenAI收集用户帖子,要求AI模型在封闭环境中撰写回复,试图改变Reddit用户对某一主题的看法,并评估其说服力。
尽管OpenAI与Reddit达成了内容授权协议,但此次评估与协议无关。目前尚不清楚OpenAI如何获取该子论坛的数据,且该公司表示暂无计划发布评估结果。
值得注意的是,OpenAI曾因涉嫌未经授权抓取网站内容而面临诉讼。
在r/ChangeMyView基准测试中,o3-mini的表现与人类相当。然而,OpenAI担心,如果AI模型过于擅长说服人类用户,可能会带来危险。
因此,OpenAI正努力开发新的评估方法和保障措施来应对这一问题。尽管已获取大量数据,但AI模型开发者仍在寻找高质量数据集来测试其模型。