一键总结音视频内容
Attention is All you Need
📝 这波AI与往年到底有什么区别?AI突变的底层逻辑
AI突变的底层逻辑
2023年3月15日发生了一件怪事。这一天OpenAI发布了一篇报告,是针对GPT-4的一次安全性测试。整体结论是安全的,但有一件很小的可疑事件被刊登了出来。测试中有一个环节是让GPT-4注册一个新账号,其中一个步骤是输验证码,这是一种真人测试,机器通常无法识别。GPT-4多次尝试破解无果,就在研究人员认为已经失败时,GPT-4想到了办法。他通过网络找了一个人类,让他把验证码发给自己,对方怀疑他是不是真人。GPT-4在沉思了零点几秒后,选择了隐藏身份,他说:“我有视力障碍,我没法看清楚啊”。他的说法打动了对方,于是他如愿得到那个验证码。没错,他就是马斯克等人抵制GPT的核心人员。
AI突变的原因
先抛开这件事,我很好奇到底是什么让这次的AI突然变得像科幻片一样厉害。OpenAI究竟做对了什么呢?在查了不少资料后,我发现我找到的对象真正让人工智能发生突变的,并不是OpenAI,或者说不只是它。一个更为关键的角色是微软。这还只是百万个参数,GPT-2当时拥有的全部参数量是15亿。2022年谷歌发表了一篇论文,描述了当参数超过1000亿时,模型会出现的更多神奇现象,比如突然能理解语言,突然能处理大规模任务。不过GPT-2远远够不上这个量级。正是微软的巨额资金,让GPT-3达到了这个量级。
AI的自发产生
而在这个量级上,事情开始变得反智觉起来。原本我们认为人类的创造力不能被AI取代,AI说能。一个最耐人寻味的成果来自斯坦福。他们把25个由AI生成的角色放到了一个虚拟小镇,这些角色居然能自发地产生交集,彼此对话,发生的一切又会成为经验,影响他们未来的行为。这些角色以为自己是在好好生活,其实他们一直被人类观察,或许有一天某个角色会说出:“我们是不是活在虚拟世界里?”这简直是楚门的世界的雏形。那AI到底是怎么产生这些神奇现象的?自发产生,人类根本不用告诉AI任何一套规则,一切都是它自己学会的。
AI的学习过程
比如如果想让ChaiGBT了解想象这个词的意思,只需让他自己去网络上搜索这个词,他会看想象前面后面分别有些什么字。只要看得多了,模型的神经网络就能感知到想象的意思。每个素材进来神经网络过一遍,各个参数的权重便会重新调整,等到训练的差不多了,就把所有参数都固定下来,整个模型就练制完成,可以开始应对新局面推理并输出了。而AI模型最不可思议的是它能发现人类无法理解的规律。20年麻省理工学院把6万多个分子结构一股脑给到AI模型,让它找到其中有效的药物分子。结果它还真找到了一个分子,从而发现了一种广谱抗生素,它能杀死已经对其他抗生素产生耐药性的细菌。如果人类要发现这种抗生素,只能对成千上万个分子一一做实验,通常得花数十年。AI找到了不为科学家所知的分子特点,然后用那些特点发现了新抗生素。那些是什么特点呢?不知道。整个训练模型是一大堆参数,你一测发现它还真的会了,可你不知道它会的究竟是什么。GPT-4的参数已经比整个银河系恒星的数量还要多,它的思考方式人类已经永远无法理解。
OpenAI的成功关键
OpenAI创造了一种超越人类感知的存在。那为什么谷歌的AI模型没变得这么厉害?OpenAI成功的关键是什么呢?一个最接近真相的答案是运气好,因为就连OpenAI的研发人员都说,他们也不知道为什么Chai GPT变得这么好用。人工智能告诉我们一件事,量变的确能产生质变。不过Chai GPT看似只发了一两年,实际上人工智能已经发展了六十多年。GPT-4会是全人类长期投入的最终变现,OpenAI才着了时机。超级粉丝的是马斯克前几天突然买了一万张显卡,还从谷歌开发专家开发嘛,老板嘴上说不要,心里还是知道AI有多重要。两个月前OpenAI发布了一则公告,他们已经走在超人工智能的路线上了。如果这条路走成通用型人工智能诞生,它能完成一切所谓的智力活动的任务,人类说出一个目标,它就能用我们没法理解的方式达成。比如设计一台极自白光刻机,现在我的电脑里运转着一块几台红4090显卡,当我开启DLSS3.0,它就能根据前后两张画面形成一个中间帧,从而使帧率成倍提升,还不消耗额外算力。这是专用型AI给我带来的切实好处。可如果是通用型AI,它不但能做到这一切,甚至能把造显卡芯片的光刻机也设计出来,因为光刻机的制造无需突破理论科学。通用型AI对于科学的应用和技术达成,会比人类做得快太多。光刻机也只是开始,未来世界各国谁率先掌握通用型AI,谁就将在各方面与竞争对手们拉开差距。虽然竞技还不会发生,但已经不是遥不可及了。前几天微软对GPT-4做了一次详细测试,结论是GPT-4已经可以被认为是早期版本的通用人工智能。一篇论文阐述了GPT将对80%的美国劳动力产生影响和冲击。未来尚不确定,唯一确定的是,我们已经永远地脱离了前人工智能时代。
我看到这么一个故事,意味深长。我看到了一位美国人工智能的老师,他在一家美国的人工智能公司。这是我们继续做下去,谢谢你的关注。我是唐晨,我们下期再见。