人类文明，可能只是人工智能的一个开机程序。

当地时间3月28日，在GPT-4发布两周之后，知名科技企业家埃隆·马斯克和包括苹果公司联合创始人、图灵奖得主等上千名科技界、商业界人士联名，发了一封石破天惊的公开信。

这封公开信呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练至少6个月。

这个新闻本身其实就是一个特别科幻的事情，因为这些人都是科技和商业界的大佬，他们理应最明白一件事——科技和商业，这两样东西都是有它们自己的“生命”的，二者结合在一起时生命力将尤其强大。一项有商业前景的技术，你不研究，你的对手也会研究，你和对手达成业内共识，都不研究了，“门口的野蛮人”也会冲进来替你们研究，并最终将你们淘汰。

所以，想靠人力呼吁给全人类的科技或商业的发展按下“暂停键”，是一件根本不可能的事情。它相当于让你生下来的孩子下令“停止长大”，这个事儿如果能干成的话，什么环境污染、碳排放、核不扩散等人类今天最挠头的问题，就压根都不是问题了。

可是，明知这种呼吁几乎不可能起到效果的马斯克们还是“知其不可而为之”，这就让我产生了浓烈的好奇，找来了这份公开信读了读，想看看他们到底在担忧什么，想干什么。

读完之后，我发现马斯克们还是明智的，他们并非天真的认为科技的发展可以遏制，他们担忧的只是近期人工智能技术研究的突然加速，让人类下一步面临的许多风险都处于未知和失控的状态——也就是说AI技术这辆“车”跑的太快了，而技术前路上的“迷雾”又太大，为了安全驾驶，他们建议点一点刹车，把车速放缓、甚至暂停一下，看清楚了路况再走。

基于这种认识，该公开信连续抛出了四个问题：

1、我们是否应该让机器用宣传和谎言淹没我们的信息渠道？

2、我们是否应该让所有的工作自动化，包括那些令人满意的工作？

3、我们是否应该发展最终可能在数量上超过我们、在智能上超越我们、能够淘汰并取代我们的非人类思维？

4、我们应该冒着失去对我们文明控制的风险吗？

如果这封公开信是AI时代的《启示录》，那马斯克们警告的这四种风险，就堪称这本“现代启示录”中的“天启四骑士”。

篇幅有限，我们就聊聊第一个问题好了——AI在宣传和谎言的欺骗性这件事。

前两天美国前总统特朗普发了一个声明，声称自己“第二天就会被逮捕”，按说川普那张大嘴，这种话说出来都不算新闻。

但问题在于，第二天，还真有不少人用基于GPT-4的图像编绘技术编造了不少“特朗普被捕”的“照片”，“有图有真相”到了看的人都毛骨悚然的地步。

人类当代信息传播，是遵循“远程传播、眼见为实”的标准的，可是目前电脑AI的文字、图像编绘技术，已经快要达到在媒体终端上以假乱真的程度了。那么有一种危险就在于，《黑客帝国》里说的那种场景，会不会在媒体中真的实现——我这里指的倒不是AI会基于自己的意志恶意欺骗全人类。而是人类很可能利用足够以假乱真的AI编绘系统互相欺骗，那会造成一个非常要命的结果，就是真相溷杂在这些被编绘的假象中，丧失说服力——你拿几十张足够以假乱真的特朗普被捕照片、甚至视频，说这事儿已经发生了，我拿什么东西在大众中向你辟谣呢？无非也就是照片和视频加文字而已么。

法国哲学家让·鲍德里亚所预言的那种公众丧失了验证信息真假唯一手段的未来正在成为现实。全人类将迈入“信奉不同真相，执着各自表述”的“后真相时代”。这种前景所造成的纷争烈度，将数十上百倍于印刷术普及圣经给欧洲带来的宗教战争。

而这个图景，其实也只是公开信所预言的“天启四骑士”中的头一个而已。

事实上，整篇公开信读下来，我们能感觉到马斯克们最担心的事情，还是AI技术单兵突进、发展过快所带来的失控问题。这种“失控”其实非常类似于两百年前火车刚刚被发明出来时的情况。

1804年，人类第一台蒸汽火车问世。到了1825年，在发明家乔治·斯蒂芬的改进下，火车终于跑过了马匹，火车的商业化应用成为可能，铁路开始在全英、全欧乃至全世界铺开，人类进入火车时代。

但火车技术横空出世带来了一个始料未及的问题：铁轨只有一两条，同轨道的列车是需要提前调度才能够彼此避开的，而提前调度又需要火车的行驶信息快于火车本身，先传达到下一站的列车调度员那里。否则，等到高速行驶的列车彼此看到再去急刹车或者扳道，那就太晚了，蒸汽火车根本刹不住。

但这样问题就来了——当时人类靠谱的信息最快的手段是什么呢？火车出现之前是马匹，火车出现之后就是火车。

也就是说，有一阵子，传递火车行驶信息的最快手段，就是火车本身。

这就给火车调度造成了极大的麻烦。当时的人为此想了无数的权宜之计——比如蒸汽火车那超大嗓门的汽笛，就是为解决这个麻烦产生，汽笛让很多火车司机的听力都受到了永久的损害，但没办法，当时的司机就是要用汽笛的大嗓门让远方的调度员尽量远一些的听到火车要来了，赶紧做好预备。

所以火车问世之后很长一段时间，是事故频发、且行驶效率受到大大制约的。当时列车调度员们必须非常小心，想各种办法，才能让这个体系不再自己手中失控。

这个情况，直到1837年电报的问世和不久之后普及才真正被解决。电报的出现，让人类信息传递和交通之间速度重新拉开了距离，体系失控的危险消除了。

所以这就能解释为什么19世纪一条铁路铺设之前，一定先会开设电报房，因为电报技术是铁路技术必须的“制动器”。

每个技术，都是不能单独成熟的，它必须有其相应的“制动器”否则就会产生问题。

我觉得在马斯克们那封信当中，他们所认为发展过快的AI技术也和两百年前的铁路技术存在相似的问题——不是说它不好，而是其发展速度有失控的风险。AI如果在智力上超过人类，那么其恐怖程度可能百倍于当年的火车跑过赛马。马斯克们的意思显然是想让这项技术的发展速度停下来，与有可能在未来成为其“制动器”的相关技术进行一下“对齐”。有些技术（比如脑机互联），如果能及时跟进，也许可以像像电报制约火车一样，制约AI技术，不让它失控。

而在这些技术成熟之前，人类需要像得到电报技术前的列车调度员一样，在黑暗中小心的摸索，制定一些谨慎的规则去制约AI技术的发展速度。这也就是公开信所呼吁的那个意思：“高级AI可能意味着地球生命史上的深刻变革，我们应当投入相称的关注和资源对其进行规划和管理”。简而言之，就是不要让AI这列火车失速。

所以这封公开信的警告与倡议都是非常专业的，并非理想主义的门外汉一厢情愿的幼稚呼吁。但它有可能起到效果么？

我并不乐观。

“失控”这个概念的本质，就在于风险信息与发展速度之间的不对称。就像一辆迷雾中高速行驶的汽车一样，司机不是不想规避前路上的危险，而是那些危险在远处时你看不到，当你看到时，不及你反应，你就已经撞上去了。而以这个比喻而论，公开信所警告的这“天启四骑士”（信息欺骗、工作替代、智能超越、管理失控），其实都是我们已经“看到的危险”。而我总觉得，既然AI技术发展最大的问题是速度过快，那么真正致命的风险应该还藏在我们看不到的地方——AI最终应该会用一种马斯克们现在还预判不到，甚至超越人类智能想象力的方式颠覆我们目前的生活。这个危险现在肯定还在未来的迷雾中，而当它凸显时，我们可能已经闪避不及了。

至于这个危机会是什么样子，倒是已经有了一些大而泛之的猜想，比如着名的“曲别针制造机”假说，该假说假定一台人工智能接受指令“制造曲别针”，那么如果它过于成功、并获得了自由裁量权之后，它就会穷尽地球上所有的资源，不知疲倦地去完成“制造曲别针”这个命令，最终因为将可用资源被彻底榨干，而导致了人类、AI自身、乃至整个世界的灭亡。

类似的情况，在人类历史上没有，但整个生命演化史上还真发生过的，比如6亿年前的“雪球地球事件”，将地球的平均气温降低到了零下50度，冰封了整个地球，几乎灭绝了所有生命。而究其原因，居然是当时大量繁殖的原始藻类因为缺乏天敌的制约，无限度的进行光合作用，榨干了大气中的二氧化碳，导致地球存不住热量，导致地球被冰封。如果不是后来的地壳运动重新让地球解冻，可能地球生命演化史就这么早早结束了。

藻类导致“雪球地球”危机的根本原因在于其缺乏相应的“制动器”（天敌），同样的，如果AI技术单兵突进过远，它也很可能因为缺乏“制动器”用某种我们意想不到的方式上演“曲别针制造机”假说。

因为人类的伦理道德标准，其实跟自然界的生态环境一样，是经过成万甚至上亿年反复博弈、演化，最终达成的一种生态平衡。人类做什么事情都“知度”、“知止”，知道再好的东西做的过了头就不美好了。所以伦理道德本质上是一种人类内心的“生态平衡”。

这种“存乎一心”的生态平衡，是注定无法用几行代码传达给AI的。所以伦理道德。AI想要习得这种稳态平衡恐怕也要经历反复的实践才能成功。

而我们现在需要担心的，是人类会不会在AI用实践习得这套“伦理道德”之前，就被它们失手折腾没了。

再退一万步讲，即便AI能够通过演练为自己的行为提供“制动”，形成并理解一套对人类有利的道德律，这套道德侓恐怕也早已超越了“阿西莫夫三定律”，成为了一套人类无从置喙的体系。换句话说，如果AI最终在智能和行动力上都远远超过人类，那么在道德上，人类最终必然也将无权替AI界定什么是善的、什么是好的，而很可能是反过来——由AI告诉人类什么是“好”，什么是“善”。这个关系有点类似于小的时候，父母有权教育孩子如何为人处世，而等到孩子长大、父母老去心智和体能一起衰退之后，更好的亲子关系将是父母更多听从儿女的判断和意见一样。

道德和智力这两件事情本质上是统一的，一个心智上远远弱于对方的存在无法替后者规定其行动准则——就像你不可能听从你家的猫给你制定的行为规范一样，即便你对它有最大的善意，但你知道，你做的绝大多数事情，都远远超过它的智商理解范畴。

人类和AI的未来如果缺乏其他相应技术的制动的话，很可能也是这样一种关系——我们将手造一个心智和能力都远远超越我们的“现世神”，它未必会像科幻作品中描写的那样造我们的反，灭绝我们。却有可能把我们当老去的父母、甚至宠物来养，我们将在他们的“赡养”下“安享晚年”，最终告别这个已经不属于我们的世界。

这将是人类文明的晚年。

所以马斯克们最后问的那个问题其实很好：“我们应该冒着失去对我们文明控制的风险吗？”——可能不是想不想的问题，而是已经在失控了。

结尾我想向大家推荐一本凯文·凯利（KK）写的书，叫《科技想要什么》，凯文·凯利在这本书里换了一个视角去审视整个人类的技术史，他认为，作为一个整体，科技不是由线路和金属构成的一团乱麻，而是有生命力的自然形成的系统，这个系统也再像所有生命一样，在演化、发育，最终将破茧而出。而人类、乃至整个地球生命演化历程，这样看来，其实只是帮助技术完成其发育的那个“茧房”，起初在技术弱小的时候，我们错以为是我们在使用科技、开发科技，但当科技跨越某个节点，它的自我生命力将开始“胎动”，以一种不可遏制的趋势，脱离我们的控制。

这个过程在我们看来是“失控”，但实则是一场必然。

类似的话，我记得马斯克自己也说过，他说“人类文明很可能只是人工智能的一个开机程序”。

那么现在，问题就来了，当“上帝之手”已经按了开机键之后，开机程序们有没有彼此商量一下，发个公开信，然后自己把机器关了？

我觉得，这好难。