ChatGPT检测器的可靠性问题

站长之家6月9日 消息:堪萨斯大学的科学家周三发表了一篇论文，详细介绍了一种算法ChatGPT spotter，他们说这种算法可以检测来自 ChatGPT 的学术写作，准确率超过99%。

如今，AI聊天机器人日益普及，人们普遍关注的焦点之一在于如何准确地区分机器人和真实人类。为此，诸如ChatGPT检测器等方案应运而生，同时，包括OpenAI在内的多家公司纷纷投入研发，力求打造更为精准的AI识别技术。然而，目前尚未有任何项目能完全保证可靠性，即便出自知名企业OpenAI之手。现有的检测工具效能欠佳，以至于在实际应用中几乎派不上用场。

打开凤凰新闻，查看更多高清图片

在论文中，我们提及的ChatGPT Spotter仅对特定环境具有适用性。研究者们确认了人工智能写作的存在。为了实现这一目标，他们对一组由人类作者编写的64篇科学研究文章进行了选取，涵盖了诸如生物学、物理学等众多学科领域。之后，他们将这些数据提供给了ChatGPT，并利用其生成了一个包含128篇AI文章的数据集，总计达1，276段对话式废话。为了建立自己的ChatGPT检测算法，科学家们利用这些伪造的段落进行了深入研究和整理。接着，他们又创建了一个新的数据集以测试自己的算法，其中包括30篇真实文章和60篇由ChatGPT撰写的文章，总共涉及1，210段内容。

在经过深入研究后，研究者们自信地宣称，他们的算法在100%的时间里成功识别出了由ChatGPT所创作的完整文章。尽管这一结果并不十分精确，但该算法仍能捕获92%的AI相关段落。为了推动人工智能技术的发展，研究人员期望他人能够借鉴他们的研究成果，根据自身所在行业和实际需求，对检测软件进行个性化定制。

虽然这些成果看似乐观，然而，科技企业和AI支持者强调，诸如ChatGPT之类的工具仍处于初始阶段。如果AI在未来几年内继续保持令人瞩目的增长速度，那么这种检测方法的可靠性和准确性将受到质疑。