人類文明，可能只是人工智能的一個開機程序。

當地時間3月28日，在GPT-4發布兩周之後，知名科技企業家埃隆·馬斯克和包括蘋果公司聯合創始人、圖靈獎得主等上千名科技界、商業界人士聯名，發了一封石破天驚的公開信。

這封公開信呼籲所有人工智能實驗室立即暫停比GPT-4更強大的人工智能系統的訓練至少6個月。

這個新聞本身其實就是一個特別科幻的事情，因為這些人都是科技和商業界的大佬，他們理應最明白一件事——科技和商業，這兩樣東西都是有它們自己的“生命”的，二者結合在一起時生命力將尤其強大。一項有商業前景的技術，你不研究，你的對手也會研究，你和對手達成業內共識，都不研究了，“門口的野蠻人”也會沖進來替你們研究，並最終將你們淘汰。

所以，想靠人力呼籲給全人類的科技或商業的發展按下“暫停鍵”，是一件根本不可能的事情。它相當於讓你生下來的孩子下令“停止長大”，這個事兒如果能幹成的話，什麽環境汙染、碳排放、核不擴散等人類今天最撓頭的問題，就壓根都不是問題了。

可是，明知這種呼籲幾乎不可能起到效果的馬斯克們還是“知其不可而為之”，這就讓我產生了濃烈的好奇，找來了這份公開信讀了讀，想看看他們到底在擔憂什麽，想幹什麽。

讀完之後，我發現馬斯克們還是明智的，他們並非天真的認為科技的發展可以遏制，他們擔憂的只是近期人工智能技術研究的突然加速，讓人類下一步面臨的許多風險都處於未知和失控的狀態——也就是說AI技術這輛“車”跑的太快了，而技術前路上的“迷霧”又太大，為了安全駕駛，他們建議點一點剎車，把車速放緩、甚至暫停一下，看清楚了路況再走。

基於這種認識，該公開信連續拋出了四個問題：

1、我們是否應該讓機器用宣傳和謊言淹沒我們的信息渠道？

2、我們是否應該讓所有的工作自動化，包括那些令人滿意的工作？

3、我們是否應該發展最終可能在數量上超過我們、在智能上超越我們、能夠淘汰並取代我們的非人類思維？

4、我們應該冒著失去對我們文明控制的風險嗎？

如果這封公開信是AI時代的《啟示錄》，那馬斯克們警告的這四種風險，就堪稱這本“現代啟示錄”中的“天啟四騎士”。

篇幅有限，我們就聊聊第一個問題好了——AI在宣傳和謊言的欺騙性這件事。

前兩天美國前總統特朗普發了一個聲明，聲稱自己“第二天就會被逮捕”，按說川普那張大嘴，這種話說出來都不算新聞。

但問題在於，第二天，還真有不少人用基於GPT-4的圖像編繪技術編造了不少“特朗普被捕”的“照片”，“有圖有真相”到了看的人都毛骨悚然的地步。

人類當代信息傳播，是遵循“遠程傳播、眼見為實”的標準的，可是目前電腦AI的文字、圖像編繪技術，已經快要達到在媒體終端上以假亂真的程度了。那麽有一種危險就在於，《黑客帝國》裏說的那種場景，會不會在媒體中真的實現——我這裏指的倒不是AI會基於自己的意誌惡意欺騙全人類。而是人類很可能利用足夠以假亂真的AI編繪系統互相欺騙，那會造成一個非常要命的結果，就是真相混雜在這些被編繪的假象中，喪失說服力——你拿幾十張足夠以假亂真的特朗普被捕照片、甚至視頻，說這事兒已經發生了，我拿什麽東西在大眾中向你辟謠呢？無非也就是照片和視頻加文字而已麽。

法國哲學家讓·鮑德裏亞所預言的那種公眾喪失了驗證信息真假唯一手段的未來正在成為現實。全人類將邁入“信奉不同真相，執著各自表述”的“後真相時代”。這種前景所造成的紛爭烈度，將數十上百倍於印刷術普及聖經給歐洲帶來的宗教戰爭。

而這個圖景，其實也只是公開信所預言的“天啟四騎士”中的頭一個而已。

事實上，整篇公開信讀下來，我們能感覺到馬斯克們最擔心的事情，還是AI技術單兵突進、發展過快所帶來的失控問題。這種“失控”其實非常類似於兩百年前火車剛剛被發明出來時的情況。

1804年，人類第一臺蒸汽火車問世。到了1825年，在發明家喬治·斯蒂芬的改進下，火車終於跑過了馬匹，火車的商業化應用成為可能，鐵路開始在全英、全歐乃至全世界鋪開，人類進入火車時代。

但火車技術橫空出世帶來了一個始料未及的問題：鐵軌只有一兩條，同軌道的列車是需要提前調度才能夠彼此避開的，而提前調度又需要火車的行駛信息快於火車本身，先傳達到下一站的列車調度員那裏。否則，等到高速行駛的列車彼此看到再去急剎車或者扳道，那就太晚了，蒸汽火車根本剎不住。

但這樣問題就來了——當時人類靠譜的信息最快的手段是什麽呢？火車出現之前是馬匹，火車出現之後就是火車。

也就是說，有一陣子，傳遞火車行駛信息的最快手段，就是火車本身。

這就給火車調度造成了極大的麻煩。當時的人為此想了無數的權宜之計——比如蒸汽火車那超大嗓門的汽笛，就是為解決這個麻煩產生，汽笛讓很多火車司機的聽力都受到了永久的損害，但沒辦法，當時的司機就是要用汽笛的大嗓門讓遠方的調度員盡量遠一些的聽到火車要來了，趕緊做好預備。

所以火車問世之後很長一段時間，是事故頻發、且行駛效率受到大大制約的。當時列車調度員們必須非常小心，想各種辦法，才能讓這個體系不再自己手中失控。

這個情況，直到1837年電報的問世和不久之後普及才真正被解決。電報的出現，讓人類信息傳遞和交通之間速度重新拉開了距離，體系失控的危險消除了。

所以這就能解釋為什麽19世紀一條鐵路鋪設之前，一定先會開設電報房，因為電報技術是鐵路技術必須的“制動器”。

每個技術，都是不能單獨成熟的，它必須有其相應的“制動器”否則就會產生問題。

我覺得在馬斯克們那封信當中，他們所認為發展過快的AI技術也和兩百年前的鐵路技術存在相似的問題——不是說它不好，而是其發展速度有失控的風險。AI如果在智力上超過人類，那麽其恐怖程度可能百倍於當年的火車跑過賽馬。馬斯克們的意思顯然是想讓這項技術的發展速度停下來，與有可能在未來成為其“制動器”的相關技術進行一下“對齊”。有些技術（比如腦機互聯），如果能及時跟進，也許可以像像電報制約火車一樣，制約AI技術，不讓它失控。

而在這些技術成熟之前，人類需要像得到電報技術前的列車調度員一樣，在黑暗中小心的摸索，制定一些謹慎的規則去制約AI技術的發展速度。這也就是公開信所呼籲的那個意思：“高級AI可能意味著地球生命史上的深刻變革，我們應當投入相稱的關註和資源對其進行規劃和管理”。簡而言之，就是不要讓AI這列火車失速。

所以這封公開信的警告與倡議都是非常專業的，並非理想主義的門外漢一廂情願的幼稚呼籲。但它有可能起到效果麽？

我並不樂觀。

“失控”這個概念的本質，就在於風險信息與發展速度之間的不對稱。就像一輛迷霧中高速行駛的汽車一樣，司機不是不想規避前路上的危險，而是那些危險在遠處時你看不到，當你看到時，不及你反應，你就已經撞上去了。而以這個比喻而論，公開信所警告的這“天啟四騎士”（信息欺騙、工作替代、智能超越、管理失控），其實都是我們已經“看到的危險”。而我總覺得，既然AI技術發展最大的問題是速度過快，那麽真正致命的風險應該還藏在我們看不到的地方——AI最終應該會用一種馬斯克們現在還預判不到，甚至超越人類智能想象力的方式顛覆我們目前的生活。這個危險現在肯定還在未來的迷霧中，而當它凸顯時，我們可能已經閃避不及了。

至於這個危機會是什麽樣子，倒是已經有了一些大而泛之的猜想，比如著名的“曲別針制造機”假說，該假說假定一臺人工智能接受指令“制造曲別針”，那麽如果它過於成功、並獲得了自由裁量權之後，它就會窮盡地球上所有的資源，不知疲倦地去完成“制造曲別針”這個命令，最終因為將可用資源被徹底榨幹，而導致了人類、AI自身、乃至整個世界的滅亡。

類似的情況，在人類歷史上沒有，但整個生命演化史上還真發生過的，比如6億年前的“雪球地球事件”，將地球的平均氣溫降低到了零下50度，冰封了整個地球，幾乎滅絕了所有生命。而究其原因，居然是當時大量繁殖的原始藻類因為缺乏天敵的制約，無限度的進行光合作用，榨幹了大氣中的二氧化碳，導致地球存不住熱量，導致地球被冰封。如果不是後來的地殼運動重新讓地球解凍，可能地球生命演化史就這麽早早結束了。

藻類導致“雪球地球”危機的根本原因在於其缺乏相應的“制動器”（天敵），同樣的，如果AI技術單兵突進過遠，它也很可能因為缺乏“制動器”用某種我們意想不到的方式上演“曲別針制造機”假說。

因為人類的倫理道德標準，其實跟自然界的生態環境一樣，是經過成萬甚至上億年反復博弈、演化，最終達成的一種生態平衡。人類做什麽事情都“知度”、“知止”，知道再好的東西做的過了頭就不美好了。所以倫理道德本質上是一種人類內心的“生態平衡”。

這種“存乎一心”的生態平衡，是註定無法用幾行代碼傳達給AI的。所以倫理道德。AI想要習得這種穩態平衡恐怕也要經歷反復的實踐才能成功。

而我們現在需要擔心的，是人類會不會在AI用實踐習得這套“倫理道德”之前，就被它們失手折騰沒了。

再退一萬步講，即便AI能夠通過演練為自己的行為提供“制動”，形成並理解一套對人類有利的道德律，這套道德侓恐怕也早已超越了“阿西莫夫三定律”，成為了一套人類無從置喙的體系。換句話說，如果AI最終在智能和行動力上都遠遠超過人類，那麽在道德上，人類最終必然也將無權替AI界定什麽是善的、什麽是好的，而很可能是反過來——由AI告訴人類什麽是“好”，什麽是“善”。這個關系有點類似於小的時候，父母有權教育孩子如何為人處世，而等到孩子長大、父母老去心智和體能一起衰退之後，更好的親子關系將是父母更多聽從兒女的判斷和意見一樣。

道德和智力這兩件事情本質上是統一的，一個心智上遠遠弱於對方的存在無法替後者規定其行動準則——就像你不可能聽從你家的貓給你制定的行為規範一樣，即便你對它有最大的善意，但你知道，你做的絕大多數事情，都遠遠超過它的智商理解範疇。

人類和AI的未來如果缺乏其他相應技術的制動的話，很可能也是這樣一種關系——我們將手造一個心智和能力都遠遠超越我們的“現世神”，它未必會像科幻作品中描寫的那樣造我們的反，滅絕我們。卻有可能把我們當老去的父母、甚至寵物來養，我們將在他們的“贍養”下“安享晚年”，最終告別這個已經不屬於我們的世界。

這將是人類文明的晚年。

所以馬斯克們最後問的那個問題其實很好：“我們應該冒著失去對我們文明控制的風險嗎？”——可能不是想不想的問題，而是已經在失控了。

結尾我想向大家推薦一本凱文·凱利（KK）寫的書，叫《科技想要什麽》，凱文·凱利在這本書裏換了一個視角去審視整個人類的技術史，他認為，作為一個整體，科技不是由線路和金屬構成的一團亂麻，而是有生命力的自然形成的系統，這個系統也再像所有生命一樣，在演化、發育，最終將破繭而出。而人類、乃至整個地球生命演化歷程，這樣看來，其實只是幫助技術完成其發育的那個“繭房”，起初在技術弱小的時候，我們錯以為是我們在使用科技、開發科技，但當科技跨越某個節點，它的自我生命力將開始“胎動”，以一種不可遏制的趨勢，脫離我們的控制。

這個過程在我們看來是“失控”，但實則是一場必然。

類似的話，我記得馬斯克自己也說過，他說“人類文明很可能只是人工智能的一個開機程序”。

那麽現在，問題就來了，當“上帝之手”已經按了開機鍵之後，開機程序們有沒有彼此商量一下，發個公開信，然後自己把機器關了？

我覺得，這好難。