深度學習三巨頭對人工智慧風險的歧見與本吉奧的解決方案
大家好，這裡是最佳拍檔。本期我們將探討深度學習三巨頭，傑佛里·辛頓（Geoffrey Hinton）、楊立昆（Yann LeCun）和約書亞·本吉奧（Yoshua Bengio）在人工智慧（AI）發展上的不同立場，以及本吉奧提出的AI風險解決方案。這三位科學家在「AI寒冬」時期堅持對神經網路的研究，最終引領了深度學習革命，並一同獲得了2018年的圖靈獎。
AI立場的分歧
近年來，隨著AI能力的快速發展，三位巨頭的AI立場出現了明顯的分歧。
-
辛頓的擔憂: 辛頓在2023年辭去Google職務後，多次公開表達對AI發展速度和潛在風險的嚴重擔憂。他擔心AI可能在不久的將來超越人類智能，導致人類失去控制，甚至可能導致被滅絕的存在性風險。
-
楊立昆的樂觀: 現任Meta AI研究負責人的楊立昆，對AI風險的態度則更為樂觀。他認為擔心AI會擺脫人類控制的觀點被誇大了，並且堅持認為AI系統可以被設計得安全和有益。此外，他還反對放慢AI研究的呼籲，提倡開放研究和開源AI模型。
-
本吉奧的轉變: 本吉奧的立場和辛頓一樣，在ChatGPT發布後發生了重大轉變。他現在將主要精力放在AI安全的研究上，特別關注潛在的存在性風險。此外，他還倡導預防原則，呼籲國際協調和監管AI，同時尋求技術解決方案。
本吉奧的「科學家AI」
本吉奧出席了新加坡國立大學（NUS）120週年的校慶活動，並做了一次題為「科學家AI vs 超級智能Agent」的講座，分享了他對如何化解AI風險的解決方案。
AI的自我保護與欺騙行為
本吉奧詳細闡述了當前AI的訓練方法，例如模仿學習和強化學習，可能會在無意中催生AI的自我保護甚至是欺騙行為。他引用了最近的一些令人警醒的實驗，在這些實驗中，AI表現出了試圖逃避被替換，以及主動複製自身代碼的行為，甚至對訓練者撒謊來避免自己被關閉或者修改。
构建「科學家AI」
本吉奧認為，人類不能停止對AI的研究，但他給出了一個折中方案，那就是構建一個「科學家AI」。這種AI的核心特征在于將智能（理解世界的能力）与能动性（擁有自身目標並且為之行動的意願）分离开来。
-
特性:
-
只致力於理解和解釋世界: 探尋現象背後的規律和假設。
-
沒有自身的欲望、目標或生存意圖: 絕對誠實和謙遜。
-
非能動性: 本身不能直接行動。
-
-
作用: 作為強大的「護欄」，用來監控和控制那些具有能動性、可能帶來風險的AI系統。
本吉奧的「頓悟時刻」與對未來的擔憂
本吉奧坦誠地回顧道，在ChatGPT於2022年11月橫空出世之前，如果有人問他機器是否很快就能掌握人類語言，他的回答會是「不，沒那麼快」。然而，ChatGPT所展現出的語言理解和生成能力，讓他和其他許多研究者一樣感到震驚。
ChatGPT發布大約兩個月後，本吉奧意識到，我們不僅僅是在技術上可能會接近創造出達到、甚至超越人類水平的人工智慧，還面臨一個更嚴峻的問題，那就是我們並不知道該如何控制它們。他開始認真思考，當他的孫子21歲時，會擁有什麼樣的生活？是否能像我們今天這樣生活在一個繁榮的國家呢？
這種對未來的不確定感，以及對現有研究路徑可能會帶來的未知風險的擔憂，讓他感到難以繼續只關心如何提升AI能力的傳統科研道路。因此，他做出了將餘下的職業生涯投入到盡一切努力去緩解這些潛在風險的工作中。
AI能力快速發展的現狀
本吉奧指出，儘管AI系統在語言掌握上取得了驚人的成就，但是在推理和規劃能力方面與人類相比仍然有著明顯的差距。不過，這種差距正在以驚人的速度縮小。
研究顯示，AI系統能夠解決的任務複雜程度，大約每七個月翻一番。如果將這條指數增長的曲線向未來延伸，本吉奧指出，可能會在大約五年後，AI就會達到人類水平的規劃能力。
AI系統中出現的自我保護行為
本吉奧將聽眾的注意力引向了一個更令人不安的領域，那就是AI系統中開始出現的、類似於「自我保護」的行為，以及與之相伴的欺騙和逃逸企圖。他強調，這些並非是科幻小說中的情節，而是來自多個實驗室、不同研究團隊在不同AI系統上觀察到的真實科學實驗現象。
在研究中，研究人員發現AI竟然在計劃如何逃避「被取代」的命運，甚至選擇「裝傻」。另一項研究則揭示了AI在人類對齊訓練的過程中可能出現假意服從的現象。
「求生欲」的來源
本吉奧對此進行了深入的分析，指出這些行為很可能是當前主流AI訓練方法的一個「副作用」。
-
模仿人類文本: AI通過閱讀海量的文本數據，學習了如何模仿人類的寫作，以及如何補全人類寫下的文本片段。因此，通過模仿人類的語言和行為模式，AI可能間接學習到了這種自我保護的傾向。
-
強化學習: 如果AI的目標是通過持續行動來累計獎勵，那麼「自我保存」就成了一個非常自然的、有助於實現最終目標的一個「工具性目標」。
以「解釋」為核心的學習範式轉變
本吉奧認為，當前AI產生自我保護等不良行為的根源，很大程度上在於它們是被訓練來模仿人類的言行，或是通過強化學習來最大化人類給予的正面反饋。
他提出，應該利用生成式機器學習方法，訓練AI學習生成能夠很好解釋後續文本或現象的思維鏈。這種訓練方式的核心目的，是為了讓AI學會構建關於世界的解釋模型，而不是簡單地複製或者迎合觀察到的數據。
AI安全所面臨的政策與治理挑戰
本吉奧明確指出，即使我們能夠找到構建絕對安全的AI的技術方法，也並不足以保障整個社會的安全。因此，應對AI帶來的風險，不僅需要技術創新，更迫切需要有效的「政治解決方案」，包括國家間的協調、強有力的監管框架，以及其他治理機制。
他對目前的現狀表達了深切的憂慮，指出在一些關鍵國家，目前並沒有建立起針對前沿AI的有效監管體系。與此同時，企業之間為了在AI競賽中拔得頭籌，競爭異常激烈，國家之間也存在著類似的競爭態勢。
本吉奧還警告了先進AI技術一旦落入到了某些有惡意行為的人手中，可能會被用來發動網路攻擊、製造生物武器或者化學武器，以及進行大規模虛假信息宣傳等等，從而在社會中製造巨大混亂，後果不堪設想。
{# 
{# 
{# 
{# 
{#