ChatGPT引领科技热潮，专业评测揭示其水平与局限
文章主题：ChatGPT, 人工智能, 对话能力, 评测结果
ChatGPT在全球掀起热潮，科技巨头纷纷跟进布局。图/IC photo
ChatGPT火遍全球。
ChatGPT 的一个显著特性在于它的亲切感，与以往的人工智能产品相比，它变得更加易于接近。这种友好性使得普通用户可以参与到互动性的聊天中，从而提高了用户的体验感。
在专业人士和研究人员眼中，ChatGPT 代表了什么水平呢？为此，我们采访了我国中国信息通信研究院（简称：中国信通院）云大所人工智能部副主任曹峰。
作为中国人工智能领域的”国家队”，曹峰及其所在的我国信息通信研究院团队在2022年12月，便在智能对话和大模型等研究基础上，对ChatGPT的对话和生成两大能力进行了全方位评估，并最终发布了相关结果。这一举动引起了产业内外的广泛关注。
ChatGPT在全球处技术领先位置
新京智库：在AIGC（利用人工智能技术来生成内容）领域，就计算能力与现有技术而言，ChatGPT属于什么级别？
曹峰：ChatGPT的计算能力、数据集尚未公布。但是从技术的领先性来说，ChatGPT在全球都属于领先位置，一般来看领先半年到一年左右。
在对话集成技术、实现机制、效果以及应用领域等方面，ChatGPT在开放域对话上展现出压倒性的优势。然而，在特定领域的对话中，ChatGPT的优势并不显著。据我国的中国信息通信研究院于2022年12月的评测结果显示，ChatGPT在知识整合和逻辑推理方面仍存在挑战，其在约束条件下的生成能力也有待提高。
短期内无法取代高要求写作
新京智库： 2022年12月，中国信通院对ChatGPT的对话、生成两项能力进行多维评测，评测有哪些发现？
曹峰：根据中国信通院对ChatGPT的测试结果来看，当前ChatGPT支持以下几大类的文案生成，包括创意写作：学术类、新闻类、文案类、散文类、诗歌类、戏剧类、小说类、心得类、其他类；命题写作：主题拟定、风格模仿、文本续写、格式拟定；摘要生成：学术类、新闻类、散文类、戏剧类、小说类；代码生成：原始生成、错误修复。
# ChatGPT在开放域内容创作上的优势及约束条件下的生成的不足从结果来看，ChatGPT在开放域内容创作上表现得相当出色。然而，在面临命题写作和摘要生成的约束条件时，其生成的能力仍有待提高。
🔍显然，目前的ChatGPT只能应对一些编程相关文案的协作任务。一旦设定了一些限制条件，它的性能就会大幅度降低。因此，在短期内，它无法满足那些对高质量和高特定场景有严格要求的写作需求。
中国信通院和联盟对ChatGPT的生成能力评测结果截图。图/ 中国信通院人工智能产业发展联盟AIIA公众号
在多个方面取得重要突破
新京智库：有人说ChatGPT具有里程碑的意义，你怎么看？
曹峰：在产业热度上，ChatGPT发布至今已获得前所未有的关注度。ChatGPT仅用两个月就实现了上亿用户目标，成为史上用户数量增长最快的消费者应用。这种热度还在持续提升。ChatGPT引发科技浪潮，吸引Google、Microsoft、Amazon、百度、腾讯、竹间等国内外企业的积极布局。
在技术实现上，集成多种前沿技术并采用先进的训练方式。ChatGPT作为大规模语言模型，借助预训练学习、微调学习、提示学习和强化学习等技术手段，不断借助人类反馈，实现了更强的自我学习能力。
此外，ChatGPT在更广泛复杂的数据集上采用了更为通用的预训练方式，能捕捉到人类语言不同题材的特征，从而可以面向特定领域和场景做进一步的微调。
在应用表现上，ChatGPT交互语言多样、能力丰富、机制全面。ChatGPT支持英文、中文、日语等多语言交互，除擅长的对话问答能力外，还具备代码生成、论文写作、诗词创作等内容创作能力。相比于同一家族的GPT-3模型，ChatGPT在复杂语句理解、上下文语义衔接、错误内容纠正、质疑不合理前提、拒绝恶意提问等方面取得重要突破。
ChatGPT目前相当于一个“玩具”
新京智库：近期，OpenAI传出即将发布GPT-4的消息。据分析，升级版的GPT模型在技术上会有更大的提升，能够准确执行更接近人类能力的任务。ChatGPT未来还会有怎样的发展？
曹峰：我们注意到OpenAI已经预告即将发布GPT-4。据称，与GPT-4相比，ChatGPT就相当于是一个“玩具（toy）”。我们已经看到ChatGPT所能带来的巨大可能，GPT-4可能在功能、性能等方面远远超过现在的ChatGPT。
我国相关产品值得期待
新京智库：国内是否有类似的技术或产品？与其相比有哪些差距？
曹峰：当前我国并没有直接对标ChatGPT的产品，但是我们看到，2月7日，百度正式对外官宣类ChatGPT项目“文心一言”（ERNIE Bot）。该产品目前正在做上线前的冲刺，将于三月份完成内测，面向公众开放。另据报道，阿里版聊天机器人ChatGPT正在研发中，目前处于内测阶段。
实际上，国内智能对话相关产品很多，并已经出现了很多年。百度、腾讯、思必驰、竹间、图灵人工智能研究院均推出相关对话开发平台和产品。
目前，我们看到阿里、腾讯都在内部测试相关的产品，可以期待我国相关产品的能力和表现。
文/新京报记者 柯锐 实习生 韩朝璐
编辑/郑伟彬
校对/吴兴发
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
