智能手机的负面影响:ChatGPT评论文的视角

文章主题:关键词:自动评分,语言测试,ChatGPT,外语写作

666AI工具大全,助力做AI时代先行者!

自动评分(Automated Scoring)在语言测试领域中一直受到高度关注。相较于翻译自动评分,作文自动评分技术的发展更为成熟(引自江进林,2022年)。随着ChatGPT逐渐成为“热点”,人们开始尝试将其运用在外语写作和测评领域。Barrot(2023年)提到,ChatGPT有可能成为解决二语写作者紧迫需求的有力助手,例如提供即时和适应性的反馈、搭建写作练习平台以及作为写作辅助工具。ChatGPT可以作为一种自动评分工具,依据预设的标准对学生的作文进行评分,并给出详细的评价建议。基于与ChatGPT的互动实践,Barrot(2023年)发现该工具在考虑诸如语用、语义、连贯、衔接、语言风格、格式、语法和句法等一系列写作概念方面表现出色,然而在捕捉情感深度、写作声音、身份认同以及修辞灵活性等方面却存在一定的局限性。

Su et al.(2023)展示了如何将ChatGPT应用于议论文写作过程教学中:在准备阶段,它可以帮助学生进行写作构思,并为学生的写作大纲提供反馈。在编辑阶段,它可以为学生的写作草稿提供反馈,以及不同的视角。该阶段聚焦内容质量,具体包括如何界定观点、组织子观点的逻辑流、从可靠来源选择证据并详细阐述证据、说明证据如何支持观点,并驳斥反对观点等内容。在校对阶段,它可以进行语言层面的改错。在反思阶段,与它的对话历史有助于促进写作者的反思。

参考文献

Barrot, J. S., 2023, Using ChatGPT for second language writing: Pitfalls and potentials, Assessing Writing 57, https://doi.org/10.1016/j.asw.2023.100745.

Su, Y., Y. Lin, C. Lai, 2023, Collaborating with ChatGPT in argumentative writing classrooms, Assessing Writing 57, https://doi.org/10.1016/j.asw.2023.100752.

江进林,2022,自动评分技术,载罗凯洲(主编),《语言测试重点问题研究》。北京:外语教学与研究出版社。132-150。

除了基本的语言校对外,ChatGPT真的强大到能有效评价文本的内容和结构吗?今天小编带大家来一探究竟!

在本文中,我们将探讨智能手机在我国社会中的广泛应用所带来的一些负面影响。作者作为一名英语专业的大二学生,通过深入思考和分析,提出了一篇名为《智能手机的弊端》的议论文。在这篇文章中,我们将讨论智能手机过度依赖所带来的问题,以及其对人际关系、健康和生活方式的影响。通过对这一现象的深入剖析,我们希望唤起人们对智能手机利弊的重视,引导大家更加合理地使用这些设备。

在接下来的部分中,我们将运用Su等人在2023年的研究中所提出的评估准则,对ChatGPT从三个主要方面来评价学生的作文——观点(assertion)、证据(evidence)以及推理与反驳(reasoning and counterargument)。具体而言,我们将展示这个评估过程中的问题和讨论。

问:

输入学生写作文本:

The Downside of Smartphones

一项最近进行的调查结果显示,我国有超过10亿部手机被人们所使用,其中绝大多数是智能手机。不可否认,智能手机为我们的日常生活注入了新的活力,使我们能够随时随地地享受便利,无论是支付账单还是与朋友保持联系。然而,就我而言,过度依赖智能手机可能会带来一些不愉快的后果,比如降低注意力和侵犯面对面交流的机会。

智能手机的便利性,竟然产生了一种反效果,那就是夺走了我们大量的注意力。举例来说,过度沉迷于各种娱乐APP的学生,往往注意力和同桌相比会有所下降,因为这些学生更加依赖手机。更糟糕的是,他们往往会一边做作业一边查看手机屏幕和回复信息,导致无法专心致志地学习,从而影响了学习效率。

智能手机的普及不仅改变了我们的生活方式,也对我们的人际交往产生了深远影响。尤其是在面对面交流方面,智能手机的存在使得人们更倾向于分心于屏幕,而非全神贯注地进行深入的交流。这种现象在餐厅约会等场合尤为明显,一对情侣宁愿各自低头看手机,也不愿进行眼神接触,进行真诚的沟通。看似科技进步让人们之间的距离更近,但实际上却阻碍了我们更有效地与他人互动,这对我们的社交生活造成了负面影响。

在智能手机存在与否的生活中,存在着巨大的差异。我们绝对不能被它们带来的舒适和温馨所吸引。相反,我们应该更加理性和明智地利用智能手机的提醒功能和强大力量,以避免在注意力和沟通上受到负面影响。

(上下滑动,查看学生写作文本)

OpenAI:

Claim:

原内容有效地探讨了智能手机的负面影响,特别是在注意力和面对面交流方面。

原内容主要阐述过度沉迷智能手机会带来不良后果,具体表现为注意力和面对面交流的减少。作者通过学生做作业时被手机干扰以及情侣之间过多关注手机而忽视交流的实例来证明这一观点。

(3)The subclaims about reduced attention span and hindrance to face-to-face communication are logically connected and support the main claim that overindulgence in smartphones has negative consequences.

Evidence:

(4) The writing does not provide specific evidence sourced from credible and trustworthy sources. It relies more on general observations and personal experiences.

(5) The writing does not provide detailed descriptions of specific evidence since it lacks cited sources or examples.

(6) While the writing mentions observations and experiences, it does not explicitly link them to supporting the main claim.

Reasoning and counterargument:

(7) The writing presents logical inferences regarding the negative impact of smartphone use on attention span and face-to-face communication. However, it does not delve deeply into the implications or potential consequences.

(8) The writing does not include any counterarguments to address opposing viewpoints or strengthen the argument.

(9)The writing effectively uses linking words to introduce points and connect ideas in a logical sequence, aiding the reader in understanding the writers perspective.

In summary, the students writing addresses the downsides of smartphones, specifically focusing on attention span and face-to-face communication. The writing lacks specific evidence from credible sources and fails to link the evidence provided to support its claims. It also does not incorporate counterarguments or delve deeply into the implications. However, it effectively uses linking words to maintain a logical flow in presenting ideas. To improve, the student should consider incorporating more concrete evidence and addressing counterarguments to strengthen the overall argument.

可以看到,ChatGPT能够指出该作文的优点:作者的立场是过度使用手机有害,并提出过度使用手机会“减少注意力”“阻碍面对面交流”两个分论点,并使用具体的例子作为支撑;两个分论点能够有逻辑性地支撑作者的立场。

同时,ChatGPT也指出了作文的不足之处(见上文加粗部分):缺少带有可靠来源的具体证据,而只是基于一般观察和个人经历,且这些并未直接和作者的主要立场相联系;缺少细节描写;在讨论分论点时,未深入探讨其影响或潜在后果;未提及反驳论点。

如果分别给这三个评价维度赋30分的话,ChatGPT还能给学生的作文进行打分:

但是,我们也能看到,ChatGPT给出的一些建议会有些模糊,它的一些评价语比较抽象,如“specific evidence”“explicitly link them to supporting the main claim”。这可能是由于ChatGPT的生成能力有限,这时候就需要学生继续追问,请ChatGPT做出进一步的解释说明(Su et al. 2023)。比如,在本例中,小编针对“it does not explicitly link them to supporting the main claim”这一评语继续追问,请它给出修改建议:

此外,Su et al.(2023)指出,除了产出信息不准确问题,在写作中使用ChatGPT也会涉及伦理道德问题:文本可能涉及作者身份和抄袭问题,且ChatGPT这一大语言模型可能会产出带有偏见、不恰当的内容。所以,写作教师应引导学生批判性地审视ChatGPT产出的内容,并在必要时提供支持(scaffolding)和补充性反馈。

那么,除此之外,还有哪些作文自动评分技术呢?小编认真阅读了《语言测试重点问题研究》的第七章,该章对此进行了系统全面的梳理。快来和小编一起学习一下吧~

(点击图片,了解图书详情)

下表列出了几个主要作文自动评分系统的特点。

第一,除了IEA和IntelliMetric,其他两个评分系统都通过变量提取、多元回归、分数计算三大步骤来完成评分。

第二,结合早期的PEG可以发现,作文自动评分系统的测量对象从语言形式发展到语义内容,再过渡到语言、内容和结构三个方面。

第三,每个评分系统都采用多种技术来提取变量。

第四,各个系统使用的变量与其测量对象对应。例如,梁茂成的iWrite系统采用流利度、地道性、复杂度方面的变量考察语言形式质量;采用语义相似度衡量语义质量;采用连接词等测量作文结构质量。

第五,与PEG相比,表7.1中的系统不仅使用相关度指标,还采用一致性指标来检验机器评分与人工评分的相似性。一致性包括绝对一致和相邻一致百分比(Chung & Baker,2003:28)。前者指机器与人工所评等级相同的文本数量占所评文本总数的比例,后者指机器与人工所评等级相差不大于1的文本数量占所评文本总数的比例。当评分量表为离散数据且等级较少时,往往使用绝对一致百分比;当评分等级较多时,也可使用相邻一致百分比(Yang et al.,2002)。

总之,现有作文自动评分系统已经比较成熟。上述系统的评分与人工评分的相关度都在0.7—0.9之间,可以在实际评分中适当代替人工评分员。

(节选自《语言测试重点问题研究》第七章“自动评分技术”,作者:江进林。)

想了解这些自动评分技术的运作原理等更多信息,以及更多语言测试重点问题,欢迎关注《语言测试重点问题研究》一书,并参加本书的“我来读文献”活动!

温馨提示

第111期“我来读文献”活动正在火热进行中!

第111期我来读文献 | 《语言测试重点问题研究》(领读专家:高淼副教授)

扫描下方二维码,即可加入读书活动群!

相关资讯

这个暑期,外研社精心策划了三期测评相关主题的研修班,分别涉及大学英语教学评价、教学评用一体化、以学习为导向的评价等主题。以学习为导向的评价在高校英语教学设计中的应用研修班仍在报名中,诚邀各位老师报名参加,一起交流探讨教学和测评方法,共同进步!

点击下面图片,开启研修之旅~

AI时代,拥有个人微信机器人AI助手!AI时代不落人后!

免费ChatGPT问答,办公、写作、生活好得力助手!

搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!

Leave a Reply