陆奇谈ChatGPT讲座全文 第一部分

理解新范式拥抱新时代把握新机会(独家内部分享)

透亲爱的各位提交过奇绩创业营申请表的创业者,

最近我们举办了一场内部活动《大模型”集体转型”大会》。我们整理了此次活动的资料笔记,特意分享给你 史上提交过奇绩创业营申请表的创业者,分享我们看到的大模型的信息和机会,也希望可以帮助奇绩社区的 创业者们。

•本文档中的视频、图片和文字资料均为奇迹社区内部资料,请勿对外分享。•欢迎大家在留言区跟我们交流。

陆奇博士分享文字稿+PPT

“转型”加了一个引号,但本质上每一位校友和创业公司都必须认真思考,因为转不转型是一个思考的过程,但是基本 点是要知道我们今天处在什么样的时代。

首先讲一下OpenAI所代表的新范式

第一,它的本质是什么?我们要有一个充分的理解。

第二,这个范式它意味着什么?我们如何去拥抱这个新的时代?

第三,更为重要的是怎么把握好我们所面临的机会和挑战。有些行业不进则退,且没有退路。

最后,我们在奇绩体系怎么样里面大力“出奇绩”,通过奇绩给每位校友提供服务,帮助大家一起更好地把握住这个机

4

O

1 .理解新范式1.1 新拐点,新范式

首先讲一下我们怎么去理解这个新的范式。

讲这张图之前,先给大家讲一个小背景。今年春节我在美国待了 3个月,到Open Al跟Sam也聊了一些。我想说, 奇绩创坛本质上真正的创始人是Sam ,是他找了我7年多,说服我来做奇绩创坛。我认识Sam是在2005年,他才 18岁,而我已经40多岁了,我们两个人是忘年交。Sam是一个很奇怪的一个小孩,我很高兴他能够这样来改变世 界,所以在某种意义上,奇绩的体系和YC体系、OpenAI的成长是有内在连接的。

那接下来我先讲这张图,最近关于ChatGPT和OpenAI大家都讲了很多,怎么去看待这件事情?我认为这张图是非 常好的一个体系和结构,能够把ChatGPT和OpenAI所代表的一切都讲清楚。之后,基于第一性原理,你自然会推 演出来,所在的赛道会有什么样的机会和挑战。

首先我先讲一下上面这张图,“三位一体”,本质上是讲任何复杂体系。人、组织、公司、社会、甚至数字化本身的数 字化体系,都是复杂体系。

那么“三位一体”是什么?

第一,“信息”子系统(subsystem of information),从环境当中获得信息。

第二,“模型”子系统(subsystem of model),对信息做一种表达,来做推理和规划。

第三,“行动”子系统(subsystem of action),我们最终是要跟环境做交互,达到人类想要达到目的。

所以任何体系,它永远是这三个体系的组合,数字化的系统尤其如此。

我在微软的同事Lampson,也是1992年图灵奖的获得者。他就一直认为,这是去看待数字化系统的最好方法。所以 基于这个大概念,我来把这张图讲清楚,三种颜色。

这张图上,底层是不同时代的数字化平台,绿色的是信息系统,蓝色的是模型系统,红色的是行动系统。数字化和人 分不开一一人要获得信息,人要表达信息,人要做行动,解决问题和满足需求。基于此,我们可以得出一个简单结论 一一今天的大部分数字化的产品和公司,包括谷歌、微软、阿里、字节,本质上都是信息搬运公司。大家一定要记住 我们所做的一切,包括在座的大部分企业都是在搬运信息。Nothing more than that, You just move bytes.(你所做 的逃不出这个“搬运信息”的框架)

我们要记住的第一点是一一我们所做的一切基本上都在搬运信息,但已经做的足够好,以至于改变了世界。

第二点,我们看到1995年-1996年,那时候我刚刚从CMU (卡内基梅隆大学,位于美国比兹堡)毕业。通过PC (personal computer个人电脑),互联网迎来了一个拐点。为什么会有这个拐点?为什么会有大量的爆发式增长?

把这个拐点搞清楚了,你也能理解今天OpenAI所代表的新范式。

当时,大量公司层出不穷,其中诞生了一家伟大的公司叫谷歌。获取信息的边际成本开始变成固定成本,一定要记住 这点,任何改变社会和产业,永远是结构性改变。这个结构性改变的往往是一类大成本。

我举个例子,就很能说明问题。我在CMU念书的时候,要离开比兹堡,就得买一张3美元的地图。但是在今天,我如 果要一张地图指导我去想去的地方,成本几乎为0。虽然还是有价格,但是都变成了微不足道的固定价格。

谷歌平均一年付10亿美元做一张地图,但是每个人、每个用户,要获得地图的信息,基本上代价都是0。也就是说当 获取信息成本变0的时候,它一定改变了所有的产业。这就是过去20多年发生的。在今天,什么信息基本上都是免 费的,且无处不在。

谷歌为什么伟大?因为它把边际成本变成固定成本了,这是这个拐点的关键。信息获取的边际成本不是没有了,而是 从marg/77 cost become cost (边际成本变成固定成本),这是一定要关注的。

那现在这个时代不可阻挡的拐点是什么?是大模型,它也从边际成本走向固定成本,和互联网改变世界的结构是一模 一样的。大模型是技术的核心、产业化的基础。这个发展和爬升的速度会很快很快。

为什么模型这么重要?因为模型和人是有内在关系的。因为我们每一个人都是三种模型的组合一一

第一,认知模型,我们能看、能听、能思考、能规划。

第二,任务模型,我们能爬楼梯、搬椅子、剥鸡蛋,我们有一大堆的任务模型。

第三,领域模型,我们可以是医生、律师、码农等。

我们对社会的所有的贡献都是这三种模型的组合,我们所有的价值也都是这三种模型的组合。因为我们今天每个人不 是靠我们手和腿的力量来赚钱的,而是靠脑袋。

简单想一想,我们每个人,如果你没有自己的思考和见解,你的一些通用能力都能在大模型里逐步找到,未来唯一有 价值的是独到的见解。所以这一次的变革影响每一个人,同时影响整个社会,因为人类每一个需求都是有模型的,所 以这对任何产业都有深远的影响。

总结一下,这个拐点对每个人、每个产业、每个领域都有重要的影响。

我们想清楚了这个拐点之后,那下一个拐点是什么?下个拐点将是自动驾驶+机器人+空间计算的组合,也就是说人 在物理空间当中行动的代价也从边际成本走向固定成本。

20年以后,我演讲所在的这个房间里面所有的一切都有机械臂和自动化的东西。那谁会站住未来这个拐点?我认为 特斯拉会有很高概率站住这个拐点,因为它的自动驾驶和机器人非常厉害。

我在美国融资的时候,跟微软讲,微软今天虽然跟着OpenAI走,但是微软要怎么站住这个东西呢?我们23年春季创 业营里有10多家做机器人的公司,你们都有机会朝这个拐点走。每家公司也都有机会抓住这个拐点,来提升你的业 务。一会我会讲,每一个领域都有机会,关键看你怎么思考。

最后讲一下,我们所看到的三个拐点。

一、今天信息已经无处不在了,接下来15年到20年,模型将会让知识无处不在,手机上一联网,模型就过来了, 教你怎么去解答法律问题、怎么去做医学的检验。

二、在未来,自动化、自主化的动作也可以无处不在。

三、人和数字化的技术需要共同进化。这是Sam最近经常讲的,必须共同进化,才能达到通用智能。因为通用智能必 须有四大要素一一

• 涌现 emergence• 代理 agency• 功能可见性affordence• 具象 embodiment

不然就不叫智能,只有这样才能实现真正更长期的通用智能。

总结一下,我们从根本性的“三位一体”结构来分析未来。从过去的历史拐点和看到今天的拐点非常相似,其本质是模 型的成本从边际走向固定,将有一家甚至于多家伟大的公司诞生。毫无疑问,OpenAI现在是处在领先的。

我这次在美国和OpenAI的3个董事聊,虽然现在下结论有点为时过早,但我个人认为未来OpenAI肯定比谷歌要 大,只不过是大几倍的问题。一会儿我会讲为什么会这么大?为什么YC是其中很关键的因素?所以这是我们所看 到的格局关键所在。

1.2新范式的历史背景

接下来我们来讲,大模型对每个人、每个产业的影响。

今天这个拐点虽然很伟大,但它也是技术驱动历史进展的一个环节。

这张图我经常讲一一人类社会毫无疑问是技术驱动的。首先,是科学到技术到经济发展体系,有农业体系,工业体系 到数字化这条蓝色曲线,然后数字化通过平台来驱动物理世界、能源、材料科学、物理过程转化能源、生命科学转化 能源,最后是物理空间。

核心是当中这条一一数字化和新的能源技术为什么会越来越快地驱动世界? 一个公司只要是以软件、算法为主要创新 点的,那它本质上就把创新变成真正的生产力了。为什么特斯拉是一家Tech (科技)公司,而福特不是,本质的区 别也在这里。

因为科技本质上是用更高的能源密度、更高的信息密度去改变世界。所以OpenAI所开启的新范式会对人类产生很大 的影响。

1.3新范式的社会影响

为什么影响很大?

我们拆开讲,从技术的进步和社会经济发展的格局来看。首先从农业时代开始,人要做简单的劳动。最大的问题是人 是缺少流通性,人没有自由,跟土地绑定在一起了。

工业发展对人最大的改变就是人开始移动了。早期的工业体系以体力劳动为主,脑力劳动为辅。但随着机械化、电气 化、电子化,体力劳动的比例越来越下降。信息化时代开始以后,人都是以脑力劳动为主,开始从商品经济转向服务 经济一一码农、设计师、分析师成为这个时代的典型职业。

但这一次大模型拐点,会让所有在服务经济中的人、所有的蓝领都受影响。因为他们都是模型,除非一个人有独到的 见解,不然大模型里面都有。所以,下一时代的典型的职业,我们认为是创业者和科学家。

最后,AI时代的经济体系。在YC中国的时候,我是负责YC研究院的,YC研究院现在改名叫Open Research。我 现在还是Open Research的院长,只不过我不在上面花时间。我不方便讲太多,但可以简单讲几句一一YC研究院有很 多研究项目在进行,其中有一个就是UBI (universal basic income通用基础收入),就是如果社会每个人都有钱, 都不需要工作了,那么人会怎么做?这也是Sam之前interview (接受采访)的时候也提到的。

所以,我们一定要知道在历史大盘下,这场技术变革对我们会有根本性的影响。

讲了以上几点之后,我简单跟大家从技术的角度来讲一下OpenAl的大事记。它是怎么开创了这个大模型时代。

一开始Gates (比尔・盖茨)根本不相信OpenAl。上个礼拜我跟沈向洋(微软原全球执行副总裁)聊,他说只有陆奇 相信Sam这帮小孩。Gates大概6个月之前还不相信,4个月之前看到GPT 4的dem。(产品原型)目瞪口呆。我 不知道大家有没有在用,我是GPT用了几个月,而且每天都用。谷歌的情况也和微软大同小异。

所以要讲ChatGPT,一定要讲open Al,因为they got it, they figured out (是他们天才般的搞出了这个东西),那 他们是怎么搞的?

大家可以看一下起步。

其实首先来讲Sam, 2005年那时我认识他,他在YC的第一家公司做得不是很好。我在微软的时候,本来想买他的 公司,尽调之后发现真的不是很好,就没买他的公司。后来这个公司以4000万美元卖给了银行。

后来Sam进入了YC。因为Paul 一直认为他是最出色的,等到Paul想要交接的时候,毫无疑问就Sam来接手YC。我认 为Sam有今天跟他进入YC体系是分不开的一一他在YC体系里长大,他的一切思考都是在YC里面发生的。

2014年,Sam刚刚接手YC,当时我还在微软,Sam就来找我做YC中国,所以某种程度上说,Sam是奇绩创坛的创始 人。

2015年,Sam成立了open AI,我那年也离开了微软。我当时有两个选择,一个是YC, 一个是百度,那个时候我非常 想参与“软件定义的汽车”这件事情,最后去了百度。但我跟Sam说一一如果你要我来的话可以,但是只做YC的太小 了,你还得给我另外1份工作。Sam就说你要不既做YC中国,又管YC研究院(OpenAl是YC研究院孵化的项目之 -)o于是,我就和OpenAl这帮小朋友都聊了一下。后来OpenAl的融资就是2018年时候的事情了。

OpenAl的结构为什么这样设计,跟Sam的早期目标和对未来的判断是分不开的。他知道要融很多钱,但因为股权设 计有一个很大的挑战,就是容易把回报和控制混在一起,所以他要设计一个结构,能够让他不受任何股东的制约。于 是,OpenAl的投资者就是没有控制权的,他们的协议是一种债的结构,OpenAl每赚一块钱,比方最初的两毛五到你 这边去,接下来三毛到你这边去。如果是赚完两万亿,接下来都是皿门和「。祇(不再盈利了),一切都回归社会。

建议大家要听一下ILya和老黄(黄仁勋)的那个访谈,讲的都是大实话,没有任何掩饰。

这里讲几个关键点。

OpenAI就相信两件事情。这里先讲第一件一一模型架构。当模型到了一定的深度,只要有算力,只要有数据,越大就 越好。他们一开始是LSTM (long short term memory),后来看到了transformer就用transformer。

GPT-1在某种意义上是第一次用预训练的方式,把语言理解用很高效的训练方法来实现。

GPT-2主要是迁移,多种任务高效的迁移。

DALLE是走到另外一个模态。

GPT-3主要是泛化,few-shot (小样本)的泛化。

GPT-3.5, instruction following (指令遵循)和tuning (微调)是最大的突破。

GPT-4是工程化,2023年3月底的Plugin是生态化。之后将越来越势不可挡,谷歌需要追一阵子了。

以上是OpenAI一路走来的关键技术。如果大家对这个技术感兴趣,可以多了解了解相关历史。

Sam在访谈里也讲了,对他来讲最重要是ChatGPT的RLFH,通过增强学习,用人的反馈和少量的数据来做,这一部 分,我在下一部分讲。

Leave a Reply