Video thumbnail for AI 的想法已脫離人類掌控?「可解釋 AI」是什麼?AI 給的答案真的能相信嗎? ft. 鼎新數智

AI失控?破解黑箱決策!「可解釋AI」如何重拾信任?ft. 鼎新數智

Summary

Language:

Quick Abstract

探索可解釋AI:馬斯克與奧特曼的AI競賽引發了對AI決策透明度的關注。當AI在醫療診斷、貸款審批甚至無人機攻擊中扮演角色,我們如何理解其決策過程?本摘要將探討可解釋AI的重要性、當前挑戰,以及潛在的解決方案,例如熱圖、局部解釋(LIME、SHAP)與反事實解釋。

Quick Takeaways:

  • AI已滲透生活,但我們對AI的理解仍停留在「求神問卜」階段,缺乏科學依據。

  • 深度學習模型的複雜性使其決策過程難以追蹤,AI的「特徵學習」也與人類認知不同。

  • 可解釋AI的目標是揭示AI決策的依據,建立人與AI之間的信任。

  • 熱圖/注意力圖、LIME、SHAP與反事實解釋等技術有助於理解AI的「思維」與決策過程。

  • 鼎新數智的METIS平台案例顯示,數智驅動能提升企業營運效率,創造新的增長點。

  • 數智驅動成功的關鍵在於服務具體的業務需求,並與企業商業策略緊密結合。

可解釋AI的未來發展方向是建立一致且可衡量的解釋標準,以解決人與AI之間的信任問題。企業需要的不僅是AI的決策,更需要AI解釋決策背後的原因,從而實現更高效、透明的數智驅動。

馬斯克與 xAI 的目標

馬斯克跟 OpenAI 的奧特曼鬧翻之後,自己開了一間新 AI 公司,推出了 Grok,已經能在 x 上使用。他宣稱 xAI 的目標,是用開源可解釋 AI 對決其他模型。除了馬斯克很喜歡 x 之外,xAI 另外一個意思是 explainable AI,也就是可解釋 AI。

AI 決策不透明的問題

金融領域

現在許多銀行跟貸款機構,已經開始使用人工智慧來評估借貸申請者的信用風險。但這些模型神秘得很,有些人申請貸款被拒,卻完全不知道為什麼。AI 可能擅自根據住所位置或社會經濟背景給負面評價,而這些因素跟信用風險未必有很大關係。這種不透明性,讓原本就難融入金融體系的弱勢群體更難取得貸款,加劇貧富差距。

司法領域

美國部分法院早在 2016 年開始,就用 AI 工具來幫助量刑,試著根據嫌犯的背景預測再犯可能性。但這些工具被發現對有色人種特別不友好,給出偏高的再犯風險評估,導致更重刑罰和更嚴苛的保釋條件,嚴重影響法律公平性。而且 AI 決策無法解釋,嫌犯跟律師想找出問題根源都無從下手,削弱司法公正性。

其他生活場景

如果 AI 幫病人診斷後提出報告卻沒給出原因,醫生敢相信嗎?現在社群媒體或是 YouTube 大量使用的 AI 自動審查,能接受嗎?同樣問題出現在自駕車、智慧家居、智慧工廠等與生活密切相關的場景,黑盒子問題就像越來越複雜的魔術秀。若只能看到結果,卻無法理解過程,對 AI 的信任感就成為巨大挑戰。

AI 難以理解的原因

模型結構複雜

深度學習模型擁有多層結構和數以百萬計的超大量參數,人類要清楚追蹤每一個輸入特徵如何影響最終決策結果非常困難。例如 ChatGPT 裡的 Transformer 模型,包含注意力機制,讓模型能根據不同詞之間的重要性進行特徵加權。然而這種注意力機制本身涉及大量矩陣運算和加權計算,使得整個模型的運作變得更加抽象難以理解。

學習特徵抽象

深度學習模型會從資料中學習某些「特徵」,但這些特徵對人類來說可能很抽象。在影像辨識中,人類習慣用眼睛嘴巴的相對位置或手指數量等特徵來解讀一張圖,深度學習模型卻可能學習到一些抽象的形狀或紋理特徵,且難以用人類語言描述。深度學習模型通常採用高維向量來編碼特徵,使得 AI 學習到的圖像特徵在人眼裡像墨跡測驗一樣抽象。

打造可解釋 AI 的方法

可視化技術

通過熱圖或注意力圖這種可視化技術讓 AI 的思維有跡可循。在卷積神經網路和 Diffusion Models 中,當 AI 在判斷照片裡是貓還是狗時,可讓 AI 展示在哪些地方盯得最緊,像是耳朵的形狀還是毛色的分佈。

局部解釋技術

  • SHAP:概念來自博弈,把每個特徵當成一個玩家,模型的預測結果就像收益。SHAP 會計算每個玩家對收益的貢獻,讓我們瞭解各個特徵如何影響最終結果。它不僅能透過局部解釋瞭解單一結果的來源,還能通過全局解釋理解模型整體運作中哪些特徵最重要。

  • LIME:針對單一個案建立一個簡單模型,來近似原始複雜模型的行為,目的是快速瞭解局部範圍內的操作。例如向銀行申請貸款被 AI 拒絕,LIME 可以找出是「收入不穩定」還是「信用紀錄有問題」導致拒絕。在 Transformer 跟 NLP 應用中廣泛使用,靈活且計算速度快。

反事實解釋

如果改變一點點會怎麼樣。當 AI 告訴你銀行不會貸款給你,你可以問 AI 如果年輕 5 歲或是多一份工作結果會怎樣。反事實解釋會模擬這些變化對結果的影響,讓我們瞭解模型如何權衡利弊。

特徵重要性分析

讓 AI 模型指出哪些輸入特徵對決策結果影響最大。例如一個金融風險預測模型可能會告訴你,收入占整個決策的 40%,消費習慣占 30%,年齡占 20%。若用在 Transformer 模型上,還需搭配 SHAP、LIME 以及可視化技術,達到更完整的解釋效果。

xAI 面臨的挑戰與未來發展

xAI 目前遇到不少問題,光是標準這塊就很頭疼,因為大家對可解釋的定義、解釋的標準,甚至解釋的好壞根本沒共識。而且 xAI 面對的用戶群體差異很大,領域專家需要技術詳盡的細節,普通使用者只想要簡單明瞭的答案。

未來發展的第一步,是讓解釋結果更一致可衡量。可以制定一些大家認可的解釋標準,像考試分數一樣,量化我們距離可解釋 AI 還有多元的問題。

數智驅動:AI 代理人的合作

我們終究是想解決人與 AI 的信任問題。當未來跟 AI 同事深度共事,希望它的決策跟行動能被認可。AI 既要會解釋,又要會做事。

例如企業做決策,像快時尚品牌決定是否推出新一季服裝,背後決策極為複雜,要考慮多種因素。這時企業希望有像經營大師的 AI 代理人,能吸收所有數據快速分析,並解釋決策依據。

另外還需要像智慧產品經理的 AI 代理人,裝滿公司所有規則、條件跟行動邏輯。當客戶要求變更產品設計,能按步驟行動,自動生成相關單據通知各部門配合執行,還會不斷學習提高效率。

這兩位 AI 代理人的合作,讓企業決策流程不僅透明,還能自動執行,這正是數智驅動的核心,即「資料驅動決策、解釋決策依據、自動執行決策」的閉環流程,隨著數據變化不斷進化。

以偉盛乾燥工業為例,導入鼎新數智的 METIS 平台後,成功將數智驅動融入業務與產品開發,專案準時率提升 80%,組裝任務如期率達 90%,提升企業營運競爭力,還開發出新設備打入半導體產業,帶動業績成長。

數智驅動的成功不僅依賴技術,還要與企業商業策略緊密結合。企業首先要確保它服務於具體的業務需求,而非為了技術而技術。

結語

對於可解釋 AI 在企業決策中是否足夠可靠,大家看法可能不同。有人覺得能理解 AI 決策過程會更放心,有人覺得解釋可能有偏差,也有人認為只要有好結果,能否解釋不是最重要的。

以上就是本集內容,記得訂閱 PanSci 泛科學,開啟小鈴鐺,加入頻道會員,鎖定更多精彩科學新知與科學議題,我們下集再見。

Was this summary helpful?

Quick Actions

Watch on YouTube

Summarize a New YouTube Video

Enter a YouTube video URL below to get a quick summary and key takeaways.