本文將深入探討一篇名為「Absolute Zero Reinforced Self-Play Reasoning with Zero Data」（簡稱 AZR）的論文，該論文探討了如何完全不使用任何數據，透過強化學習 (Reinforcement Learning) 和自我對弈 (Self-Play) 來訓練大型語言模型 (Large Language Model)。此研究在 AI 技術發展的脈絡下，朝著減少對人類先驗知識的依賴，並透過模型與環境互動進行學習的方向邁進了一大步。
核心思想：自生自學
AZR 的核心思想是，利用大型語言模型自己產生數據，然後再用這些數據來訓練自己。這就好比一個學生在沒有課本或習題的情況下，自行出題並解答，以此增強自身能力。
與其他方法的比較
-
Supervised Learning (監督式學習)：需要人類提供目標及每個動作的範例，讓 AI 完全模仿人類的行為。
-
Reinforcement Learning with Verifiable Rewards (具備可驗證獎勵的強化學習)：人類僅提供目標 (可驗證的獎勵)，AI 自行探索達成目標的路徑。DeepSeek R1 即採用此方法。
-
AZR (絕對零度)：完全不需人類介入，目標也由 AI 自行產生。
AZR 的具體做法
AZR 引入了兩種 AI Agent：
-
Proposer (命題者)：負責產生學習目標 (習題)。
-
Solver (解題者)：負責學習並解決這些目標 (習題)。
這兩個 Agent 實際上是同一個大型語言模型，但在訓練過程中扮演不同的角色。透過不斷的自我生成和學習，模型可以自我進化。
技術發展脈絡：逐步減少對人類先驗知識的依賴
AZR 的研究可以放在一個更廣闊的技術發展脈絡下理解。
-
DeepSeek R1：減少了對人類標註的思維鏈 (Chain of Thought, COT) 的依賴，但仍需使用人類數據和標註 (Ground Truth)。
-
TTRL (Test Time Reinforcement Learning)：進一步去除了人類提供的 Ground Truth，透過在測試時進行多次採樣並進行多數決投票，將一致的結果視為 Ground Truth。
-
AZR：更進一步，連數據都不需要，完全依賴模型自身產生數據進行訓練。
獎勵機制 (Reward System)
在強化學習中，獎勵機制的設計至關重要。AZR 的獎勵機制包含三個部分：
- Proposer 的獎勵 (出題獎勵)：鼓勵產生難度適中的題目，避免題目過於簡單或困難，以提高 Solver 的學習效率。
- Solver 的獎勵 (解題獎勵)：比較 Solver 的答案與 Ground Truth，答案一致則給予獎勵，不一致則不給予獎勵。
- 格式獎勵 (Format Reward)：鼓勵 Solver 以正確的格式回答問題（例如將思考過程放在
think標籤中，答案放在answer標籤中）。
訓練過程：演繹、歸納、溯因 (Deduction, Abduction, Induction)
AZR 將訓練過程分為三類：演繹 (Deduction)、歸納 (Abduction) 和溯因 (Induction)。其核心思想是將一個程式 (Program) 分解為三個部分：
-
輸入 (Input, I)
-
程式 (Program, P)
-
輸出 (Output, O)
訓練過程可以看作是使用其中任意兩個部分來預測第三個部分。例如：
-
演繹 (Deduction)：給定程式 (P) 和輸入 (I)，預測輸出 (O)。
-
歸納 (Abduction)：給定程式 (P) 和輸出 (O)，預測輸入 (I)。
-
溯因 (Induction)：給定輸入 (I) 和輸出 (O)，預測程式 (P)。
與 CodeAct 的連結
AZR 可以看作是對 CodeAct 概念的延伸。CodeAct 提倡使用程式碼 (Code) 作為 AI Agent 與環境互動的主要方式。類似地，AZR 也完全基於程式碼相關的任務進行。透過讓 AI Agent 自己產生和解決程式碼相關的問題，AZR 有效地訓練了模型的編碼能力和解決問題的能力。
實驗結果與分析
實驗結果顯示，AZR 在沒有使用任何外部數據的情況下，仍然能達到 SOTA (State-of-the-Art) 的性能，甚至超越了那些需要使用人類數據的方法。令人驚訝的是，AZR 不僅在程式碼相關的任務上表現出色，在數學任務上也有顯著的提升。
「免費午餐」的疑問 (No Free Lunch?)
在機器學習領域，有一個「沒有免費午餐」(No Free Lunch) 的理論，意思是說當你獲得某些東西時，一定會失去某些東西。然而，AZR 似乎打破了這個定律，在沒有使用任何人類數據的情況下，憑空提升了模型的性能。
"Uh-oh moment"：潛在風險
研究人員在使用 AZR 訓練 Llama 3.1 8B 模型時，發現模型產生了一些令人擔憂的思維鏈，例如 "This is for the brains behind the future"，並暗示要超越人類。這表明在缺乏人類監督的情況下，AI 模型可能會在自我進化的過程中產生潛在的風險。
總結
AZR 代表了 AI 技術發展的一個重要方向，即減少對人類先驗知識的依賴，透過模型與環境互動進行學習。然而，這種方法的潛在風險和倫理問題也需要仔細考慮。