前言
想知道初階機器學習專案與像 Google 和 Amazon 等公司所使用的系統有何不同嗎？這個差距可能看似遙不可及，但大多數機器學習從業者其實都遵循著相當明確的進程。今天，我將為大家勾勒出機器學習專案的五個層級，這些層級將完全的初學者與業界領導者區分開來。在本影片結束時，你將準確了解自己在這段旅程中的位置，以及達到下一個層級所需的特定技能。
許多有抱負的機器學習工程師因構建錯誤類型的專案而陷入困境，這些專案實際上從未幫他們找到工作。我將向你展示不同角色所需的專案層級，從初階職位到頂尖 AI 公司的研究團隊。
第一層級：初學起步
第一層級是每段旅程的開始。在 Jupyter 筆記本中處理乾淨的結構化資料集，可能只是在你的筆記型電腦上進行。
在這個層級，你會從 Kaggle 等來源下載預先清理好的資料集。你會導入像 pandas 這樣的庫進行資料操作，使用 matplotlib、seaborn 甚至 plotly 進行互動式視覺化，並使用 scikit-learn 訓練基本模型，如線性回歸或邏輯回歸。
一個典型的專案可能是這樣的：你將 CSV 檔案加載到資料框架中，花一些時間進行探索性資料分析，使用簡單的視覺化。你通過刪除或用平均值填充來處理缺失值，使用獨熱編碼對分類特徵進行編碼，使用預設超參數訓練模型，並使用準確率等基本指標進行評估。所有這些都發生在筆記本中，你將程式碼、註釋和視覺化混合在一起，這對於學習和獲得即時反饋絕對是完美的。
然而，我們都知道，這些小專案與現實世界的機器學習應用相去甚遠。你那完美的 Kaggle 資料集很少有真實資料的混亂問題，而且你還沒有考慮資料洩漏、複雜的資料插補、可擴展性或其他數十種考慮因素。當你開始感到受到這些限制時，就該進入第二層級了。
第二層級：更上層樓
在第二層級，事情變得更有趣，也更具挑戰性。你現在正在處理更混亂、更現實的資料，並像專業資料科學家一樣組織你的專案，而不只是在筆記本中進行混亂的實驗。
你的工具和工作流程已經有了以下演變：你從單個筆記本轉向組織良好的 Python 專案，具有用於資料處理、特徵工程、模型訓練和評估的單獨模組。你使用 Git 進行版本控制，並創建配置檔案以保持實驗的可重複性。
你不再只是隨機洗牌，而是使用適當的訓練驗證測試分割，通常使用像時間序列資料的向前驗證。你正在解決像類別不平衡這樣的問題，使用像 SMOTE 或調整類別權重這樣的技術，並應用現代特徵工程工具。
你可能正在使用更有趣的模型，如 LightGBM、簡單的神經網絡，甚至 AI API。你正在考慮超參數調整，也許甚至在嘗試更先進的選項，如貝葉斯搜索。也許你正在使用 Prefect 等工具製作一個簡單的管道。
想像一個典型的第二層級專案。這可能是像建立一個客戶流失預測管道，使用來自多個來源的資料，如交易記錄、支援互動和使用日誌。處理不平衡的類別，進行特徵選擇以識別最具預測性的變量，並使用精確度召回曲線、ROC 曲線和業務特定指標評估你的模型。
這是你的工作變得更有結構和更可靠的階段。但是，當你的經理或客戶說：“好的，這是一個很棒的模型。我們什麼時候可以使用它？”你很快就會意識到有一整個世界的生產挑戰在等著你。這就是進入第三層級的時候。
第三層級：邁向生產
第三層級是從純粹的資料科學向機器學習工程世界的轉變，你的模型必須在生產中工作，為真實用戶提供服務，並推動業務成果。
在這個階段，你正在使用一整套新的工具和實踐。你使用 Docker 將模型容器化，以確保部署和生產之間的一致性。你使用 FastAPI 或 Flask 創建 API 來提供預測，也許還在探索像 BentoML 這樣的框架來簡化流程。
你正在設置負載測試，以確保你的系統能夠處理真實流量。監控變得至關重要，所以你正在使用像 Grafana 這樣的工具部署日誌記錄和儀表板，並開始使用 DVC、MLflow 和模型註冊中心等工具對資料和模型進行版本控制。
這裡有一個第三層級專案的例子，一個小型媒體平台的內容推薦引擎。你的模型被打包在一個 Docker 容器中，並部署為一個微服務。你提供批量預測以每晚更新推薦，以及一個實時 API 用於按需預測。
你跟踪指標，如點擊率、延遲百分位數，並監測特徵分佈的變化。你還實施影子部署或斷路器，以便如果你的 ML 服務失敗，系統可以恢復到更簡單的策略。
現在，複雜性顯然已經增加。你不僅關注準確性，還關注推理延遲、吞吐量和可靠性。隨著你的系統擴展，你很快就會遇到導致第四層級的挑戰。
第四層級：大規模與穩健性
第四層級是關於構建強大、可擴展的機器學習系統，能夠在複雜、不斷變化的環境中蓬勃發展。在這裡，你正在處理工業規模的挑戰，並實施複雜的解決方案。
你的基礎設施和工具包括雲平台，如 AWS SageMaker、Google Vertex AI 或 Azure ML 用於部署和擴展，使用 Kubernetes 和 Airflow 或 Prefect 等工作流程工具進行協調，使用 PyTorch 或 TensorFlow 等深度學習框架進行自定義模型開發，使用量化、知識蒸餾和 LoRA 等優化方法有效地微調大型模型，使用 Weights & Biases 或 MLflow 進行實驗跟踪和超參數優化，使用具有檢索增強生成、提示調整和上下文學習的 AI 模型，以及像專家混合模型這樣的東西，使用管道並行等技術在 GPU 集群上進行分佈式訓練，使用特徵存儲和由資料漂移觸發的自動再訓練管道，以及全面的監測和 AB 測試框架。
一個第四層級的專案可能是為一家全球金融機構開發一個實時欺詐檢測系統。利用先進的異常檢測演算法和集成方法，以高召回率和精確度識別欺詐活動。在 AWS 或 Azure 等雲平台上部署系統，利用自動擴展組來處理不同的負載，確保低延遲響應。
你還在實施全面的監測和警報機制，以檢測系統異常、模型漂移，並確保符合監管標準。在這個層級，你正在平衡創新的研究技術與實際的生產限制，創建既前沿又可靠的系統。這種複雜性自然為推進到研究級別的創新奠定了基礎，這就是第五層級。
第五層級：研究與前沿
第五層級將我們帶到了該領域的前沿，前沿機器學習系統正在積極定義 AI 的未來。這不是關於應用已經存在的東西，而是關於發明全新的方法。
在這個層級，你正在探索像自定義神經網絡架構和利用大量未標記資料的自我監督學習系統，強化學習的新應用，結合符號推理和神經網絡的混合模型的開發，甚至設計自定義硬體加速器以優化性能。
一個第五層級的專案可能是建立一個自主的科學發現系統，利用檢索增強生成與神經符號推理來形成和測試分子生物學中的假設。該系統使用在生物醫學文獻上微調的大型語言模型進行假設生成，採用符號邏輯模塊來設計合理的實驗並測試因果關係，集成強化學習代理來模擬結果並優化實驗策略，並通過提出新的基因相互作用和提出新的化合物進行測試，與人類研究人員合作進行開放式任務。
這些前沿專案並不總是意味著立即投入生產使用。它們是實驗性的，推動著理論界限，同時暗示著 AI 的變革潛力。
不同職位所需的專案層級
現在我們知道了有哪些層級，我經常被問到的一個問題是：“我需要什麼層級的專案才能在機器學習領域找到工作？”
老實說，這取決於角色。
對於初階資料科學職位，展示穩健的第二層級專案。雇主希望看到你能夠超越教程式的筆記本。你的 GitHub 應該突出顯示你處理過混亂的真實世界資料、應用了適當的驗證技術並清楚記錄了你的過程的專案。至少，你需要展示在自我激勵的問題上對 pandas、scikit-learn 和視覺化庫的精通，並從頭到尾解決這個問題。
對於中級資料科學家或初階機器學習工程師角色，第三層級專案基本上是必備的。雇主期望看到你了解如何在生產環境中部署模型。專案應該展示像使用 Docker 進行容器化、API 開發和監測系統這樣的東西。具有 CI/CD 和代碼及資料版本控制的經驗是一個很大的優勢。
對於高級職位或任何 MLOps 或 ML 平台工程師職位，第四層級專案至關重要。你需要證明你能夠在大規模上構建和維護複雜的機器學習系統，利用雲平台、協調工具、特徵存儲和自動再訓練管道。展示你如何處理分佈變化、實施複雜的監測或設計 AB 測試框架將是必需的。
對於 AI 優先公司的研究型職位，預期具備第五層級的能力。在會議上發表論文和推動模型架構或訓練方法論界限的專案受到高度重視。
請記住，你不需要達到最高層級才能在機器學習領域擁有一份有回報的職業。該行業的絕大多數 ML 工作都在第三層級和第四層級之間。一個全面的第三層級專案，從頭到尾解決一個真正的問題，通常比十幾個匆忙實施的第一層級筆記本更有價值。
結語
這就是機器學習專案從簡單的筆記本實驗到推動可能性邊界的前沿系統的演變。每個層級都建立在前一個層級的技能之上。你不需要直接跳到第五層級。從你覺得舒服的地方開始，掌握這些技能，當你準備好時再向上移動。
我很想知道你覺得自己目前在什麼層級工作，以及你面臨的挑戰。在下面發表評論，在未來的影片中，我將更深入地探討每個層級的具體技術。非常感謝你的觀看，下次見。