文章ChatGPT风靡全球,教育界dividedoveritsimpact
文章主题:人工智能, 自然语言处理, 语言模型, 学术诚信
编辑:Aeneas 好困
【新智元导读】调查发现,89%的美国大学生已经在用ChatGPT写作业了,而其中的72%也同时支持封杀。对此,老师们的态度倒是褒贬不一,值得玩味。
ChatGPT诞生才两个月,但它给全世界投下的「重磅炸弹」就没停下来过。
虽然在很多学校,老师们防ChatGPT如洪水猛兽,却还是屡禁不止。
一项调查显示,现在美国89%的大学生都是用ChatGPT做作业的。
89%的学生用ChatGPT做作业
89%?没错,甚至,真实的比例更高。
虽然此前,纽约的教育系统全面封杀了ChatGPT,但凭学生们的聪明才智,怎么可能真正把它禁掉呢?
果然,现在教育工作者们不得不直面现实:学生们已经在用ChatGPT肆无忌惮地作弊了。
在一次评分过程中,北密歇根大学的哲学教授Antony Auman在检查自己世界宗教课程的学生论文时,意外地发现了一份论文竟然是使用ChatGPT所撰写的。这无疑是一次令人惊讶的发现,因为ChatGPT是一款人工智能助手,而非传统意义上的学术作者。
在线课程供应商http://Study.com向1,000名18岁以上的学生中发起一项调查,询问了他们在课堂上使用ChatGPT的情况。
结果显示——
每10个学生中就有超过9个知道ChatGPT,远远超过小学教育工作者超过89%的学生使用ChatGPT来完成家庭作业48%的学生用ChatGPT完成小测验,53%的学生用ChatGPT写论文,22%的学生用ChatGPT生成论文大纲令人惊讶的是,72%的大学生认为ChatGPT应该在大学网络中被禁在大量令人震惊的数据面前,我们必须正视一个事实:人工智能已经渗透到人类社会的各个层面,并产生了深远的影响。
值得注意的是,尽管我国近90%的学生在家中使用ChatGPT完成作业,但仍有近三分之二的学者呼吁在学校禁止使用ChatGPT。
也就是说,不患寡而患不均,无论是在哪个场景,学生们都希望站在同一起跑线上。
要么大家一起用,要么就都不用。
老师们怎么看?
同时,http://Study.com也调查了100多名教育工作者,以便深入了解他们对ChatGPT的感受。
了解ChatGPT的大学教授中有72%担心它对作弊的影响,而小学教育工作者中这一比例为58%超过三分之一 (34%) 的教育工作者认为ChatGPT应该在学校中被禁,剩下66%的则支持学生使用看来,老师们远比我们想象得开明。那么他们打算如何使用ChatGPT呢?
根据http://Study.com的调查,已经有21%的老师开始用ChatGPT辅助教学工作了——
7%使用ChatGPT提供写作提示5%使用 ChatGPT来帮助授课4%使用ChatGPT来制定课程计划4%使用ChatGPT教授写作风格3%使用ChatGPT作为数字导师在我们对参与调查的教师进行观察时,发现他们的态度 towards AI 相对开放。根据数据显示,有 66% 的教师认为 ChatGPT 可以作为一种对学生有益的学习资源。这一观点与我们之前的印象有所不同,这说明 ChatGPT 在教育领域的应用具有广泛的前景。
与之相比,反倒是学生们自己的信任度要低得多,高达72%的人认为ChatGPT在学校里应该被禁。
在整个人类历史上,一项新事物的诞生,往往伴随着诸多争议。
很显然,面对ChatGPT这个诞生两个月的「新生儿」,教师团队内部也并没有统一意见。
其中一部分教师,对于学生使用ChatGPT的态度非常鲜明——就是纯纯的作弊!
纽约大学教授:要像避瘟神一样躲开ChatGPT!
这几天,美国的很多学校开学了,师生中最热门的话题,无疑就是ChatGPT。
在纽约大学,教学大纲的「学术诚信」部分已经明确把使用AI视为作弊行为,明令禁止。
此外,学生们在上课第一天也收到了教授的警告。
在纽约大学Tisch艺术学院的一堂课上,教授在教学大纲上直截了当地写道——
「问:使用ChatGPT或其他生成文本或内容的AI工具是否视为作弊?答:是的。」
即使在不需要写论文的课上,教授也提出了ChatGPT警告。
在这份宏观经济学教学大纲中,作者强调了时间的紧迫性。为了确保学生能够充分掌握课程内容,大纲对学生进行了严格的时间管理。在这样的情况下,学生实际上是没有足够的时间去查阅相关书籍、访问ChatGPT或其他在线资源,同时完成各种测试。在考试的24小时内,学生被明确禁止与任何其他人(包括ChatGPT)进行交流。这样的规定旨在提高学生的学习效果,帮助他们更好地理解和掌握课程内容。
当然,众所周知ChatGPT面对数学题时常犯蠢,因此数学系的教授们倒是免了这一层担忧。
纽约大学文理学院的副院长Jenni Quitter最近表达了担忧,因为学生们可能会利用ChatGPT来作弊。
据Quilter介绍,早在12月,就有学生使用ChatGPT的事件发生。
「在未经允许的情况下使用ChatGPT,后果等同于任何学术剽窃事件,处理结果包括重做作业、扣分、写检查。」
纽约大学古典学教授David Levene表示,他正在密切关注所有与ChatGTP相关的剽窃行为。
「我已经明确警告学生,除非有我的许可,否则无论以任何形式使用ChatGPT,都是作弊。」
「我还跟他们说,我已经试过用ChatGPT写论文,它的最好成绩是B-,最差是F。所以如果他们想得到比B-更高的成绩,就应该像避瘟神一样避开它!」
纽约大学教授们的担心并非杞人忧天。
根据斯坦福日报进行的一项调查,17%的学生曾使用ChatGPT来完成秋季学期的作业和考试。
不过,比起http://Study.com的89%和48%,斯坦福这边的比例显然要低了很多。
AI会让学生「大脑萎缩」?
很多教授在担心,AI聊天机器人会对教育产生灾难性影响。
「仅仅因为有一台机器可以帮助我举起哑铃,并不意味着我的肌肉就会发达,」西华盛顿大学历史学教授Johann Neem接受《华尔街日报》采访时说。
「同样地,有一台可以写论文的机器并不意味着我的思维就会发展。」
但其他教授认为,应该利用ChatGPT强大的技术,让学生为新的现实做好准备。
韦伯州立大学教授Alex Lawrence表示:「我希望它能给你足够的启发和教育,让你想要学习如何利用这些工具,而不仅仅是学会更好地作弊。」
而宾夕法尼亚大学的Ethan Mollick说,他希望自己文学系的学生能够利用技术「写得更多」和「写得更好」。
「ChatGPT是写作的力量倍增器,」Mollick补充道。「我希望他们使用它。」
谷歌可以,ChatGPT就不行?
虽然引发了学术诚信的风暴,但许多专家认为,这项技术只是一个新学习时代的开始——AI写作工具是学习的未来。
迪肯大学数字研究中心主任Phillip Dawson表示:「我认为这是人类能力提升的一个重大时刻。」
「在我看来,五年后毕业的学生比现在的学生能做的事情要多得多,因为他们有这些AI工具。」
他把写论文的学生与驾驶现代飞机的飞行员做了类比。「是的,你必须学会使用所有的仪器,你需要知道这些仪器是如何工作的,但你也需要在仪器出现故障时驾驶飞机。」
阿德莱德大学计算机与数学学院讲师Cheryl Pope博士表示,ChatGPT非常适合编写初稿,但无法取代人工编辑和事实核查的需求。「你需要理解这个话题,才能评论它产生的答案。」
ChatGPT能让你走出几步,但不能让你获得高分。但它的可能性让人兴奋,能让我们走向更高的标准。就像我们对两个小时的笔试和两个月写出的论文有不同的期待。
还有一个原因是,获得帮助需要大量的社会资源。
问别人一个蠢问题,会让人很羞愧,但是面对AI,我们永远不会有这样的担心。
斯坦福最强检测器:DetectGPT
有攻就有防,能为老师们解忧的AI作弊检测工具,也火速诞生了。
最近,来自斯坦福大学的研究团队就提出了一种用于检测AI生成文本的全新方法——DetectGPT。
概括来说:
DetectGPT通过利用模型的对数概率函数的局部曲率(由LLM生成的往往占据负曲率区域),来检测文本是否出自预训练语言模型。DetectGPT只使用兴趣模型计算出的对数概率和来自另一个通用预训练语言模型(如T5)的随机扰动,无需训练单独的分类器,收集真实或生成的段落数据集,或给生成文本加水印。DetectGPT的检测效果比现有的零样本(zero-shot)方法更好,特别是将20B参数GPT-NeoX生成的假新闻的检测率从0.81 AUROC提高到了0.95 AUROC。论文地址:https://arxiv.org/abs/2301.11305
我们可以观察到,机器生成的文本(左)有位于对数负曲率区域的趋势,而附近的样本平均具有较低的模型对数概率。
相比之下,人类的文本(右)则不会明显占据负对数概率曲率区域。
接下来,想要确定一段文字是否由一个特定的LLM产生,如GPT-3。
首先需要DetectGPT使用一个通用的预训练模型(如T5)对该段落产生轻微的扰动。然后再让DetectGPT比较原始样本与每个扰动样本的对数概率。
如果平均对数比很高,则该样本很可能来自源模型。
具体的测试结果如下:
此外,经过真实和生成文本的大型数据集训练的有监督检测模型,在分布式文本上的表现与DetectGPT一样,甚至更好。(上)
然而,对于新的领域,如PubMed医学文本和来自WMT16的德国新闻数据,zero-shot是开箱即用的,而有监督的检测方法则会由于过度的分布偏移而垮掉。(下)
不过,DetectGPT自身也存在着明显的限制。
首先,DetectGPT基于的是白盒假设,即我们可以评估有关模型的对数概率。对于那些API背后的模型(如GPT-3),评估概率还需要花钱。
其次,DetectGPT需要获得一个合理的扰动函数。虽然在这项工作中,作者使用了现成的掩码模型,如T5和mT5(用于非英语语言),但如果现有的模型不能很好地对空间进行表征,那么DetectGPT在一些领域的性能就可能会降低。
最后,DetectGPT比其他检测方法的计算量更大,因为它需要对每个候选段落的扰动集进行抽样和评分,而不是仅仅对候选段落进行评分。
虽然DetectGPT现阶段还没开放,但问题不大。
毕竟,市面上还有很多工具可以直接使用。
尤其是GPTZero,不仅免费,而且效果拔群。
小编亲测发现,最新版本的GPTZero甚至可以明确地指出一段文字中,哪段是AI生成的,哪段是人类写的。
体验链接:https://gptzero.me/
原理上,GPTZero主要靠「困惑度」(文本的随机性)和「突发性」(困惑度的变化)作为指标进行判断。
在每次测试中,GPTZero还会挑选出困惑度最高的那个句子,也就是AI写出的最像人话的句子。
参考资料:
https://study.com/resources/perceptions-of-chatgpt-in-schools
https://www.vice.com/en/article/n7zxe7/nyu-professors-tell-their-students-do-not-use-chatgpt
https://arxiv.org/abs/2301.11305
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!