第一章 資料科學的思維框架

# 第一章 資料科學的思維框架 資料科學（Data Science）不只是寫程式、跑模型，更是一套以資料為核心的思維方式。透過本章，我們將從 **生命週期**、**問題定義**、以及 **價值挖掘流程** 三個面向，構建起資料科學專案的完整架構。 --- ## 1.1 資料科學的生命週期 資料科學專案通常遵循下列步驟，類似於軟體開發中的「瀑布模型」或「敏捷開發」: | 階段 | 主要任務 | 典型工具 / 技術 | |------|----------|-----------------| | **1. 問題定位** | 釐清商業需求、定義成功指標 | 請願書、商業分析報告 | | **2. 資料探索** | 初步清洗、描述性統計、視覺化 | pandas, matplotlib, seaborn | | **3. 資料處理** | 清洗、特徵工程、資料轉換 | scikit‑learn, featuretools | | **4. 模型建構** | 選擇演算法、訓練、驗證 | XGBoost, LightGBM, TensorFlow | | **5. 模型評估** | 交叉驗證、指標計算、模型選擇 | scikit‑learn, SHAP | | **6. 部署與監控** | 將模型上線、持續監測 | Docker, Kubernetes, Prometheus | | **7. 迭代與優化** | 收集新資料、重新訓練 | CI/CD pipelines | > **實務提示**：在實際專案中，這些階段往往交叉迭代。當你發現模型效果不佳時，往往需要回到「資料探索」或「特徵工程」階段重新調整。 --- ## 1.2 問題定義 在資料科學裡，**問題定義** 是最關鍵的一步。若未將商業目標轉化為可衡量的數據問題，任何模型都可能跑不出價值。 ### 1.2.1 定義步驟 1. **商業目標**：先詢問「為什麼要做這件事？想解決什麼痛點？」 2. **關鍵指標（KPIs）**：將商業目標量化，例如「提升10% 的客戶留存率」。 3. **問題類型**：決定是分類、回歸、聚類、序列預測等。 4. **數據可得性**：確認是否已有足夠資料，若無則評估資料收集成本。 5. **評估指標**：確定模型評估時使用的指標，例如 ROC‑AUC、RMSE、MAE、F1‑score 等。 ### 1.2.2 案例：線上零售商客戶流失預測 | 步驟 | 具體問題 | 可能使用的演算法 | 參考 KPI | |------|----------|----------------|----------| | 1 | 預測客戶是否會在接下來 6 個月內取消訂閱 | 隨機森林、梯度提升 | 流失率下降 15% | | 2 | 了解流失風險高的客戶特徵 | SHAP 值、特徵重要性 | 高風險客戶佔比提升 20% | > **實務提示**：在「問題類型」決定之前，先與業務人員討論，避免模型開發後與業務需求脫節。 --- ## 1.3 價值挖掘流程 價值挖掘是資料科學專案的核心：把數據變成可操作的洞察。其流程可分為以下四個子步驟。 1. **洞察提煉** - 從探索性資料分析（EDA）中提取關鍵趨勢與異常。 - 產生「假說」與「洞察」文件，供後續模型訓練參考。 2. **模型選擇與優化** - 根據問題類型挑選合適演算法，並進行超參數優化（Grid Search / Bayesian Optimization）。 - 用交叉驗證確保模型泛化能力。 3. **解釋與溝通** - 透過特徵重要性、SHAP、LIME 等工具，將模型決策可解釋給非技術人員。 - 製作可視化報告，確保商業決策者能快速理解。 4. **實務落地** - 將模型轉化為 API 或 batch job，並連接至現有系統。 - 設計 A/B 測試，驗證模型在真實環境中的效益。 > **實務提示**：在「洞察提煉」階段，保持資料治理與合規性（GDPR、個資法）是必要前置。 --- ## 1.4 小結 - 資料科學專案的生命週期涵蓋 **七大階段**，但實務上常需多次迭代。 - **問題定義** 是成功的前提，必須將商業目標轉化為可量化的資料問題。 - **價值挖掘流程** 強調從洞察到落地的完整迴圈，確保資料科學能直接驅動商業價值。 > **後續閱讀建議**：第 2 章將帶你深入統計學基礎，為後續模型建構奠定數學根基。