云素材PPT模板超市 ChatGPT与PPT 2023-08-04

注意力机制：从ChatGPT到投资决策

文章主题：注意力机制, Transformer模型, 行为金融学, 有限注意力

1、ChatGPT中的注意力机制

众所周知，ChatGPT 在处理语义理解任务方面表现尤为出色，这要归功于其基于Transformer模型构建。Transformer模型由谷歌在2017年的论文《Attention is All You Need》中提出，其中所提到的“Attention”，即注意力机制，构成了Transformer模型的核心要素。简而言之，这种注意力机制类似于人类生活中的直觉式关注。

在心理学领域，人们往往在面临复杂环境时，更容易关注那些引人注目的元素。举例来说，科学家们进行过一项实验，观察人们在观察一张图片时，注意力往往会优先集中于哪些区域。实验结果显示，观众在观看这张图片时，大脑能够迅速识别并判断哪些区域所包含的信息最为丰富。因此，我们可以得出结论，人类在处理信息时，往往会优先关注那些被认为是“重要”的区域。

类似于人类对注意力的运用，Transformer模型同样具备简化复杂问题的能力。在训练过程中，该模型会对比分析问题与全体样本的关键特征，从而找出更为相似的特征对结果产生的影响越大，也就是说，它会根据这些相似度的权重来计算最终的结果。

Transformer模型与传统模型有所不同，它能够捕获长时间跨度数据之间的关联性，而非仅仅关注时间序列。该模型经过大量的数据训练，能够提炼出关键信息并发掘潜在的模式，从而使注意力更加精准地指向正确的方向。在投资领域中，运用Transformer模型进行训练就像是让它在模拟市场中不断尝试和成长，反复实践，以追求更高的回报。随着训练的进行，它的注意力可能会从最初的价格敏感度逐渐转向对量价关系的关注，甚至能发现一些高胜率高赔率的交易信号。这种注意力的转变，是模型的核心所在。只有当收益曲线表现良好时，才能够证明模型的注意力已经聚焦在了关键信息上。

2、行为金融学中的有限注意力

在深入探讨Transformer模型中的拟人化注意力机制之后，让我们重新审视人类注意力在金融市场中的应用。在实际操作中，投资者常常需要处理大量的信息，这些信息可能包括错综复杂的技术指标和各种眼花缭乱的产业逻辑。在这种情况下，要充分关注并纳入所有因素是非常具有挑战性的。

为了确保我们的投资决策准确无误，我们将依赖自身的专业知识来筛选出关键信息。在行为金融学领域，有限注意力理论为我们提供了一个重要的视角。该理论揭示了投资者在决策过程中可能出现的一些偏见。具体来说，投资者往往更容易注意到那些直观且易于获取的信息，而对其他虽然重要却不太显眼的信息视而不见。这种选择性的信息关注可能导致投资决策出现偏差，进而影响市场有效性。因此，我们需要在分析信息时，努力克服这些潜在的偏见，以确保我们的判断更加客观和全面。

最近TMT板块大火，机构讨论度相当高，专家们通过比较宏观环境、事件催化与技术指标，纷纷对标起历史上各段火爆行情，不仅对标TMT板块历史上的行情，还有对标其他成长赛道初期的行情。在这个过程中，国外巨头企业的事件驱动、国内更耳熟能详的企业以及结构化行情中的领涨股等等这些都足够引人关注。我们更应该在事前找到未来会被广泛关注的机会，而不是被涨跌绑架，避免因注意力的有限产生非理性的行为偏差。

3、投资需要什么样的注意力？

从定义上来看，Transform模型中的注意力机制与行为金融学中的注意力理论都涉及到“注意力”这一概念，但它们的本质是不同的。举个例子，如果让Transformer模型与研究员同时参与TMT板块的决策：Transformer模型是为了高收益的目标，通过无数次模拟盘尝试，调整对于行情的注意力，最后进行决策——但是这个注意力究竟是什么样的，我们不得而知；研究员是通过多年的学习与积累，建立起了自己的投资体系，决策前对于本轮行情的关注点是可知的——但对于是否能取得正收益很难给出具体的数据支持。

两者的缺点都显而易见，前者是：若ChatGPT真推荐一只股票（真实情况是它对于投资相关的问题回答的非常理性），但无法给出具体的原因，你真的敢买吗？而后者的问题就容易在我们每一个投资者身上发生：我们的注意力容易被市场中太多信息干扰，尤其在行情火热时，看似理性分析的注意力恰恰是非理性的情绪造成的。

主观与量化相结合的体系则可以在一定程度上取长补短。量化的回测方式避免了被涨跌绑架，造成先入为主的简单对标逻辑。特别是对于刚刚接触市场的投资者，没有经历过的行情信息均可以被利用；对于经历过的行情，回测也可以进行标准化检验，避免了记忆偏差与幸存者效应。它给予你的指导是可回溯、可迭代的。

在主观的注意力机制中，人们的创造力又可以提供给量化模型更多“所见即所得”的策略，而不仅限于黑盒中的数据拷问。比如说，这轮由国外新技术推动的行情很容易让大家联想到之前的“云宇宙”、“机器人”等，那么这里的信息显然不是股价走势那么简单，如果仅仅让模型在量价关系中训练，是无法获得这个在大多人眼中“显而易见”的观点的。毕竟语义理解技术再先进，GPT4也是从已有的语料库中训练得到，逻辑思考能力依旧有待提升，而灵光乍现的创造力或许能注入新的活力。尽管Transformer模型中的注意力与行为金融学中的注意力有所不同，但它们在金融领域存在一定的联系，可以相互借鉴和结合，从而在市场犹豫时把握分歧的机会，在市场狂热时做出更理性的决策。