云素材PPT模板超市 ChatGPT与PPT 2023-08-06

ChatGPT:生成式人工智能对写作任务的改变与影响

文章主题：Science, ChatGPT, 人工智能, 写作效率

Science：ChatGPT让写作的平均花费时长减少了40%

生成式人工智能（AI）如ChatGPT会带来哪些可能性？答案取决于一系列研究问题 (RQ)：

RQ1：使用生成式AI如何影响工作者在现有工作中的生产力？工作者会选择使用这些工具吗？在使用这些工具的条件下，工作者如何与AI互动，AI如何影响生产力？ RQ2：这些AI工具对工作能力强和能力弱的工作者，影响是否不同？ RQ3：工作者对这些AI技术的主观反应如何？

2023年7月13日，《Science》发表了一项研究，招募已大学毕业的专业人士完成激励性写作任务，以回答上述第一个问题。结果显示，ChatGPT显著提高了生产力：让写作的平均花费时长减少了40%，产出质量提高了18%。

链接：https://www.science.org/doi/10.1126/science.adh2586#supplementary-materials

研究方法

这是一项预先注册的在线实验，利用在线调查平台Prolific开展。研究者在Prolific上招募了453名大学毕业的专业写作人员，并分配每人完成两项激励性写作任务。该实验于2023年1月27日至2月21日每天上午5点到中午12点在美国东部进行。参与者包括市场营销人员、撰写提案专业人员，咨询顾问、数据分析师、人力资源专业人员、管理者。

研究将参与者随机分为两组，50%为ChatGPT辅助组（GPT-3.5），另外50%为不使用ChatGPT的对照组。ChatGPT辅助组会在第一项和第二项任务间注册ChatGPT并接受使用指导。如果发现ChatGPT有用，则在第二项写作任务中使用。对照组被要求注册LaTeX编辑器Overleaf，以平衡两组间的注册时间和花费的精力。对照组不需要在第二项任务中使用Overleaf。

除了对产出质量进行评估，研究者还收集了参与者执行任务所花费的时间，包括自我报告和客观测量的时间（客观测量由任务过程中每分钟拍摄的快照测得）。

研究结果

ChatGPT的使用情况

在参与研究前，70%的参与者听说过ChatGPT，32%的参与者曾使用过。

在ChatGPT辅助组中，92%的参与者成功注册了ChatGPT，80%的参与者选择在第二项任务中继续使用。用户对ChatGPT的有用性评分为4.4分（满分为5分）。

ChatGPT对产出效率的影响

研究者首先用两个指标来评估产出效率：任务花费时间和评估者评级。与对照组相比，ChatGPT辅助组完成任务时间比对照组少11分钟，相差0.75个标准差（SDs）。与对照组相比，ChatGPT辅助组的平均评级比对照组增加了0.45个SDs（P<0.001）。ChatGPT辅助组在整体评级和单项评级（如写作质量，内容质量和原创性）方面都有类似的提高。

图. ChatGPT对任务完成时间和评估者评级的影响

ChatGPT辅助组中第一项任务评级较低的参与者，第二项任务的评级相较于第一项任务增加了1到2个等级，而完成任务所用时间减少了10分钟。第一项任务评级较高的参与者，在第二项任务中评级不变，而花费时间也减少了约10分钟。

图. 使用ChatGPT后的影响

人机交互

上述生产力的结果是基于哪些类型的人机交互？

他们的观点是，ChatGPT 在写作方面的表现相当出色，因此可以将写作任务直接交给 ChatGPT，然后迅速获取 ChatGPT 的成果，这样可以有效地节省时间。

在参与者的眼中，ChatGPT 是一种具有价值的辅助工具，尽管它在某些方面尚待完善。他们可能会利用 ChatGPT 来生成初步的文本草稿，然后进一步修改和完善这些草稿。此外，ChatGPT 也可以用于激发创意和进行头脑风暴，从而帮助用户更有效地展开工作。总之，虽然 ChatGPT 存在一定的局限性，但它仍然可以在多种场景中发挥积极作用。

研究支持了上述第一种。几乎每个使用ChatGPT辅助工具的人，仅轻微修改或未修改ChatGPT的输出内容就提交给了工作人员。在ChatGPT辅助组中，33%的参与者报告没有编辑过ChatPGT的初始输出，53%的参与者报告在提交前进行了编辑。然而，这些编辑花费的平均时间也只有3.3分钟，定性分析表明都是浅显的编辑，例如只改变了占位符或重新排列语句。

主观结果：工作满意度、自我效能感和对自动化的信心

研究通过一系列问题来评估参与者对ChatGPT的主观反应。结果显示，使用ChatGPT后参与者对任务的享受程度提升了0.47 SDs（P<0.001），关于AI对其职业影响的担忧(P<0.01)和兴奋感(P<0.001)都有所增加。这些影响在2周和2个月的随访中逐渐消失，可以归结为受访者首次使用技术的短期现象。

两周和两月随访：工作中是否会继续使用ChatGPT

为了进一步考察ChatGPT在工作中的应用价值，参与者在完成初始调查后2周和2个月再次接受了调查，应答率分别为92%和83%。在2周的随访中，ChatGPT辅助组中有34%的人在近一周的工作中使用了ChatGPT，对照组中该比例为18%（P<0.001）。这种差距也持续到2个月的随访中，ChatGPT辅助组和对照组的ChatGPT使用率分别为：42%和27%（P<0.01）。

总结

本研究揭示了专业人士在执行写作任务时，借助ChatGPT等生成式写作工具，其工作效率可得到显著提升。这些工具不仅有助于提高特定群体的产出质量，还能有效减轻所有工作者的任务负担。

参考文献：Science. 2023;381(6654):187-192.返回搜狐，查看更多

责任编辑：