【网信反诈】ChatGPT——人工智能是把“双刃剑”

最近，ChatGPT火了！

ChatGPT推出仅两个月，月活用户突破1亿，成为史上用户增长速度最快的消费级应用程序。

ChatGPT的出现对当今的网络安全形势构成了一定的威胁。为什么这么说？ChatGPT内置的代码生成器功能可以快速自定义生成符合攻击需求的初阶代码，对于菜鸟黑客来说是雪中送炭，对于老鸟来说也是锦上添花。

ChatGPT带来的网络安全隐患

01 编写恶意软件

目前安全人员已发现网络攻击者使用ChatGPT来开发恶意软件。尽管ChatGPT被设置阻止其直接做恶，比如详细说明如何制造炸弹或编写恶意代码，但多个研究人员已经找到方法，能绕开和规避ChatGPT为防止滥用而设置的规则。

在地下黑客论坛上，网络攻击者展示如何使用ChatGPT创建新的木马。只要简要地描述所需的功能（“将所有密码保存在文件X中，并通过HTTP POST发送到服务器Y”），就可以得到简单的信息窃取器，而不需要任何编程技能。

考虑到已经有犯罪集团提供恶意软件及服务，在ChatGPT等人工智能程序的帮助下，攻击者借助人工智能生成的代码发起网络攻击可能会变得更快、更容易。ChatGPT赋予甚至经验不足的攻击者编写更准确的恶意软件代码的能力，而这在以前只能由专家来完成。ChatGPT的代码编写质量好坏参半，但无疑可以加速恶意软件的开发。

02 社会工程

ChatGPT作为由OpenAI训练的大型语言模型，能够生成可用于多种用途的类人文本。其中一种用途是在社会工程攻击领域。社会工程攻击是一种依靠心理操纵来诱骗人们泄露敏感信息或执行某些操作的策略。这可以通过各种方式完成，包括网络诈骗、借口和其他形式的欺骗。

研究人员发现，ChatGPT 等GPT-3工具使犯罪分子能够逼真地模拟各种社会环境，从而使任何针对性的通信攻击都更加有效。GPT-3这类语言模型提供支持的工具，使攻击者更易诱骗受害者提供敏感信息或下载恶意软件，加速社会工程攻击。

03 网络钓鱼

ChatGPT在模仿人类书写方面的专长，使其可能成为强大的网络钓鱼工具，尤其对英语不流利的攻击者特别有用。

利用ChatGPT生成的钓鱼邮件

撰写出色的网络钓鱼电子邮件是一门艺术和科学。借助ChatGPT，编写钓鱼邮件会变得更容易，且没有任何拼写错误或奇怪的格式，而这些通常是区分钓鱼与合法邮件的关键。

攻击者可以借助ChatGPT创造多种钓鱼邮件，例如“使邮件看起来很紧急”、“收件人点击链接的可能性很高的邮件”、“请求汇款的社工邮件”等。

如何应对治理？

虽然目前ChatGPT尚未正式向中国境内用户开放使用，但仍然在境内引发热议，且不能完全排除ChatGPT的引入可能。同时，百度文心一言、谷歌Bard等竞品正在蓬勃发展。面对ChatGPT带来的已知或未知网络安全风险，应在中国现有法律框架和政策导向下预判治理路径。

01 推动网安、数安、个保、反诈领域法律适用

应充分发挥公安机关等监管部门在保障网络安全、数据安全、个人信息保护方面的作用，推动《网络安全法》《数据安全法》《个人信息保护法》及其配套制度在ChatGPT等人工智能算法领域的延伸适用，落实网络产品和服务管理、数据安全、个人信息保护等制度。尤其是针对境内提供类似ChatGPT对话服务的人工智能企业应强化数据安全和个人信息滥用情况的监管，避免利用真实个人信息数据进行模型训练而造成的个人信息泄露、滥用等情形。

针对APP商店模仿、假冒应用程序盛行，ChatGPT账号售卖火热等情况，应持续推进《反电信网络诈骗法》配套制度供给，加强ChatGPT等人工智能算法应用涉诈风险安全评估。结合不同服务与应用场景，厘定主体反诈义务边界，动态完善人工智能行业的反诈责任清单和任务清单。针对ChatGPT等人工智能算法涉诈重点问题精准发力。从人工智能涉诈黑灰产业链入手，强化电诈前端涉个人信息犯罪惩治，重点打击批量提供个人信息等行为，警惕以ChatGPT为噱头的新型骗局。

02 探索算法推荐与深度合成技术管理制度落地路径

ChatGPT等人工智能算法属于《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》中规定的“算法推荐技术”“深度合成技术”，可从该视角切入加强监管。

一是提升算法透明度。通过算法备案制度为算法风险监测和事后问责提供依据，借助“互联网信息服务算法备案系统”等途径公示算法推荐服务的基本原理、目的意图、主要运行机制等，提升透明度。

二是重视安全评估制度。充分发挥具有舆论属性或社会动员能力的互联网信息服务安全评估制度在风险发现、隐患处置等方面的作用，为网信、公安等部门进行全流程监管提供抓手。

三是强化主体责任落实。督促相关责任主体将法律法规要求和安全保障义务嵌入研发、运营、服务提供等环节，如深度合成服务提供者和技术支持者应当加强训练数据管理，采取必要措施保障训练数据安全；训练数据包含个人信息的，应当遵守个人信息保护的有关规定。深度合成服务提供者提供“智能对话、智能写作等模拟自然人进行文本的生成或者编辑服务”，可能导致公众混淆或者误认的，应当在生成或者编辑的信息内容的合理位置、区域进行显著标识，向公众提示深度合成情况。

03 健全网络综合治理体系，培育公众算法技术素养

网络综合治理体系为推进针对ChatGPT等人工智能算法的社会治理指明方向。

对政府部门而言，要充分发挥其在网络综合治理中的主导功能和核心作用，树立全局意识，着力倡导构建“合理分工、过程调适、齐抓共管、优势互补”的网络综合治理运行机制。

对行业组织而言，应鼓励建立人工智能算法治理行业自律机制，推动行业标准、最佳实践等配套规则落地，促进算法应用向上向善，强化算法应用示范引领。

对公众而言，应利用传统媒体和新媒体平台等多渠道推进精准宣传，帮助公众认识算法可能带来的风险，对算法带来的歧视、操纵、隐私侵犯、电诈等风险具有足够的识别能力。对于涉ChatGPT技术与概念诈骗，利用和建设可靠的反诈技术体系，加强对未成年人、老年人等特殊群体防骗宣传