■唐山

　　多倫(lun) 多大學經濟學家甘斯希望女兒(er) 能照顧小弟弟上廁所，他想出一個(ge) “好辦法”：每幫小弟弟上一次廁所，女兒(er) 可得一塊糖果。女兒(er) 很快找到竅門：不斷給小弟弟喂水，讓他多上廁所，以得到更多糖果……

　　甘斯遭遇了典型的“對齊問題”：行動與(yu) 目標不統一，“需要A卻獎勵了B”。

　　在人類史上，“對齊問題”一次次帶來困擾，隨著人工智能（以下簡寫(xie) 為(wei) AI）出現，“人機對齊”成了難題——AI可打敗世界上最好的棋手，我們(men) 卻不知它是如何做到的。隨著人類越來越依賴AI，風險真地可控嗎？我們(men) 會(hui) 不會(hui) 落入科幻短片《戰爭(zheng) 的最後一天》裏的悲慘境地（人類滅絕，AI仍在自動作戰）？

　　《人機對齊》是一本不太好讀的書(shu) ，全書(shu) 分三篇，即“預警”“自主”與(yu) “示範”，彼此關(guan) 聯不大，甚至同篇各章間的邏輯關(guan) 係亦不明顯。或因本書(shu) 旨趣不在於(yu) 說明“AI已發展到什麽(me) 地步”，而在於(yu) 由此引發的思考。

　　從(cong) 這個(ge) 意義(yi) 看，《人機對齊》不隻是科普書(shu) ，更是通識書(shu) ，人人都有閱讀它的必要，它應成為(wei) 現代常識的組成部分——不了解這些常識，你會(hui) 被現代社會(hui) “開除”。

　　不是技術問題，而是社會(hui) 問題

　　玩家知道，所有電子遊戲都有“暗關(guan) ”。比如玩《魂鬥羅》，可反複打較低級的關(guan) ，刷分換武器，則過難關(guan) 會(hui) 更容易；再如老版《FIFA》，下底傳(chuan) 中必進，借此大招，操縱中國隊也能拿世界杯……許多“暗關(guan) ”來自設計失誤，不論程序員們(men) 怎樣小心，也無法完全避免類似失誤。

　　隨著AI發展，失誤變得越來越不可容忍。

　　2015年，來自海地的網絡開發者阿爾西內(nei) 利用穀歌照片軟件，在網上分享了自己和親(qin) 友的照片，讓阿爾西內(nei) 震驚的是，他們(men) 的照片竟被歸類為(wei) “大猩猩”。穀歌的技術團隊迅速響應，可幾個(ge) 小時後，問題依舊，穀歌隻好關(guan) 閉了“大猩猩”這個(ge) 標簽。直到三年後，用穀歌搜大猩猩，仍看不到任何一張照片。

　　軟件是怎麽(me) “學會(hui) ”種族主義(yi) 的？實際上，技術錯誤從(cong) 來不隻是技術本身的問題。19世紀照相最多的美國人不是林肯、格蘭(lan) 特，而是弗雷德裏克·道格拉斯，一位廢奴主義(yi) 者，他發現，照片上的黑人特別難看，因膠片均依白人模特校準，形成化學配方，拍出的黑人則千人一麵。

　　解決(jue) 該問題似乎不難，多找黑人模特即可。同理，增加黑人照片，穀歌軟件的識別率會(hui) 更準確。

　　然而，結果適得其反：IBM用AI開發了招聘軟件，輸入100份簡曆，選出5份最好的——幾乎都是男性。程序員關(guan) 閉了性別選項，卻無法改變結果。因為(wei) AI會(hui) 通過關(guan) 聯信息，自動將女性排除。比如，它會(hui) 把“上一年沒有工作”的簡曆標注為(wei) 不合格，於(yu) 是所有剛生育的女性均遭拒。類似的標簽無所不在，改不勝改。程序員們(men) 最後發現，他們(men) 麵對的不是技術問題，而是社會(hui) 問題——人類社會(hui) 處處都有性別標簽，通過這些標簽，女性總會(hui) 被辨認出來，被視為(wei) 缺乏競爭(zheng) 力者。單靠技術，已無法解決(jue) 。

　　無法突破的“不可能性原理”

　　上世紀80年代，美國司法開始用AI判斷囚犯可否假釋，2000年時，已有26個(ge) 州如此進行。研究者發現了其中漏洞：黑人初犯者被評為(wei) 高風險，但他們(men) 不再犯罪的可能性是白人的兩(liang) 倍，白人初犯者反而被評為(wei) 低風險。

　　這一發現引發輿情激蕩，人們(men) 紛紛要求去掉該係統的種族標簽，結果卻發現，落入IBM招聘係統一樣的困境——假釋係統會(hui) 通過其他標簽，重新進行種族篩選，但如把相關(guan) 標簽全撤掉，AI又會(hui) 失去判斷能力。

　　研究者們(men) 發現，一切判斷都存在著“不可能性原理”，這在數學上得到了證明：沒有標簽，就不可能做判斷；有標簽，又必然有偏見，“原則上，任何風險評分天生都會(hui) 被批評為(wei) 有偏見”。

　　AI開發無法繞過兩(liang) 大難題：

　　首先，道德無法客觀化。道德選擇沒有固定標準，會(hui) 隨情境的改變而變，人類常常無法回答“什麽(me) 是真正重要的”，AI更做不到。

　　其次，精準預測無法減少風險。人類喜歡更精準的預測，從(cong) 而掉進“預測陷阱”，事實上，造成結果的原因是多元的，預測再精準，也無法影響結果。美國芝加哥市曾列“危險擁槍者”名單，據說他們(men) 比其他人死於(yu) 凶殺案的比例高232倍，即使如此，他們(men) 被槍殺的概率也僅(jin) 有0.7%，如何從(cong) 1000人中找到這7個(ge) 人呢？折騰1000人，真能挽救這7個(ge) 人？在《反對預測》中，作者哈科特寫(xie) 道：男司機易出事故，可是嚴(yan) 查男司機，會(hui) 鼓勵女司機變得更魯莽，車禍率並未下降。

　　不給答案，因為(wei) 根本給不出答案

　　AI模仿了人腦的工作方式，通過大量案例訓練，總結出“經驗”，獲得判斷力。可這些“經驗”正確嗎？比如一款AI診病軟件，研究者驚訝地發現，它得出的“經驗”是：肺病患者如有哮喘病，屬低風險。胸痛有好處。

　　心髒病有好處。

　　超過100歲有好處。

　　這些逆天的“經驗”，可能來自相關(guan) 患者屬高風險，會(hui) 被特殊照顧，但AI不知全過程，隻知他們(men) 經特殊照顧後，痊愈率較高，便認定“有好處”。

　　AI的大多數“錯誤經驗”之所以不可知，是因為(wei) 它模仿了人類的神經係統，作為(wei) 人類，我們(men) 自己也不知自己有多少“錯誤經驗”，以及它們(men) 形成的原理。通過可視化技術，研究者們(men) 發現，AI的底層充滿荒謬。

　　比如判斷“什麽(me) 是啞鈴”，AI會(hui) 把手臂、肉色的、超現實的圖案都算成啞鈴，試錯後，這些“經驗”被否定，但並沒消失，而是滯留在底層。人類會(hui) 情緒失控，我們(men) 能模糊地感到，這與(yu) 底層“經驗”相關(guan) ，那麽(me) “把啞鈴誤認作手臂”會(hui) 不會(hui) 帶來長期影響？

　　AI正深入生活的方方麵麵，自動駕駛、醫療、城市管理、戰爭(zheng) ……誰能保證AI的底層經驗不犯錯？人類從(cong) 沒真正掌控好自我，引發一次次災難，我們(men) 真能掌控好AI嗎？

　　本書(shu) 第二篇、第三篇將焦點轉向AI發展史，描述了研究者們(men) 的突破曆程，包括從(cong) 單任務轉向多任務，用單一AI在不同遊戲中取勝；從(cong) 外部激勵轉向AI自我激勵；通過模仿、逆強化學習(xi) 等，使AI更強大……

　　然而，更強大的AI不等於(yu) “人機對齊”，AI實際上在“強製執行自己有局限的理解”，它的目的未必是人類的目的。

　　當然，在牛津大學教授博斯特羅姆等激進進化主義(yi) 者看來，這些都不是問題。他計算出，未來星際文明非常強大，今天耽誤的每一秒，都相當於(yu) 失去將來的100萬(wan) 億(yi) 人的生命，每向未來世界前進1%，都等於(yu) 技術加速1000萬(wan) 年。因此即使AI有風險，也應全力推動。

　　研究者施萊格裏斯則說：“如果有一個(ge) 神奇的按鈕，可以把人類變成一樣的為(wei) 幸福而優(you) 化的笨蛋，他們(men) 會(hui) 按下它……幾年前，我也鼓吹這樣做。”但現在，他的看法改變了：“我認為(wei) 不應該按那個(ge) 按鈕。”

　　對此，《人機對齊》沒給出答案，因為(wei) 根本給不出答案。

　　我們(men) 乃至曆史，也許都是“AI”

　　雖然本書(shu) 用大量篇幅在講述AI發展的細節，但我更喜歡的，還是書(shu) 中的“跑題”部分——為(wei) 強化AI，研究者深入研究了人類自身智能的產(chan) 生過程，得出的見解振聾發聵：我們(men) 每個(ge) 人可能都是世界訓練出來的“AI”。

　　人類擁有智能，源頭是趨利避害的本能，在多巴胺的簡單獎勵下，塑造出複雜行為(wei) ——並不是做對了，多巴胺才獎勵快感，而是做新奇的事時，多巴胺才會(hui) 給獎勵。

　　所以，人類喜歡刺激、冒險和挑戰。不斷嚐試，就有了更多試錯機會(hui) ，通過試錯，人類智能得以成長。人類生活的世界就是“有效的課程”，它像一個(ge) 大型遊戲。這就可以理解，為(wei) 什麽(me) 電子遊戲讓人難以自拔，因為(wei) 它比現實世界的獎勵更直接。

　　在現實世界中，人在進化，決(jue) 定成敗的核心因素，是“獎勵的稀疏性”。比如為(wei) 了讓人類學會(hui) 飛，讓人從(cong) 懸崖往下跳，不會(hui) 飛便摔死——這並非聰明的辦法。在會(hui) 飛與(yu) 不會(hui) 飛之間，有無數環節，如在每個(ge) 環節都設置獎勵，人類最終就能學會(hui) 飛；如獎勵太稀疏，從(cong) 不會(hui) 飛直接跨越到飛，必然失敗。正如眼睛，是經四五十次進化才完成的。在書(shu) 中，一位學者開玩笑說，要麽(me) 讓自己的孩子學會(hui) 中文，要麽(me) 就不給飯吃，孩子的母親(qin) 明智地拒絕了這個(ge) 建議。

　　作者本想說明研究者通過改變稀疏性，提高AI能力，卻給讀者一個(ge) 全新的看世界的視角：人類文明的本質就是一個(ge) 獎勵結構的故事。沿著這一思路，我們(men) 會(hui) 推演出一個(ge) 完全不同於(yu) 以往“思想——行動——改變”的曆史解釋的結論，推動進步的力量是多元的，不論個(ge) 體(ti) ，還是群體(ti) ，都沿著稀疏性向密集的方向發展，決(jue) 定曆史的關(guan) 鍵因是稀疏性，而非想法、技術、製度或人物。

　　由此帶來新的認知危機：如果人是受造物，那麽(me) 自由是什麽(me) ？

　　在書(shu) 中，著名思想史學者斯金納指出，在稀疏性麵前，人與(yu) 老鼠相同。當記者問他：“自由意誌還有位置嗎？”斯金納回答：“它還有虛構的位置。”哪怕隻為(wei) 與(yu) 這句話相遇，《人機對齊》就值得一讀。