第七章 結果可視化與解釋

## 第七章 結果可視化與解釋 ### 7.1 為什麼需要解釋模型？ | 目的 | 重要性 | |------|---------| | **信任** | 高頻感測數據模型成功降低缺陷率，領導層仍需要知道「為什麼」會出現這樣的預測結果，才能對模型產生信任。 | **行動化** | 解釋能指出關鍵風險指標，讓作業人員能迅速調整流程。 | **合規與倫理** | 在某些領域（金融、醫療）模型決策需能被審計，必須提供可追溯的理由。 ### 7.2 常用解釋工具概覽 | 工具 | 主要特色 | 典型應用 | |------|----------|----------| | **SHAP (SHapley Additive exPlanations)** | 基於博弈理論的貢獻值，能逐特徵拆解每一次預測 | | | | 產品缺陷預測、信用評分 | | **LIME (Local Interpretable Model-agnostic Explanations)** | 針對單一樣本構造局部線性模型 | 影像辨識、客戶流失分析 | | **Partial Dependence Plots (PDP)** | 顯示單一特徵與預測結果之關係 | 產品設計優化 | | **Feature Importance (內建)** | 直接由模型計算的特徵重要性 | 監督學習模型簡易解釋 | ### 7.3 SHAP 詳解 #### 7.3.1 概念 SHAP 借用 Shapley 值來量化每個特徵對單一預測的貢獻。公式為： \[ \phi_i = \sum_{S\subseteq N\setminus\{i\}} \frac{|S|!(|N|-|S|-1)!}{|N|!}\bigl(f(S\cup\{i\})-f(S)\bigr) \] 其中 \(N\) 為所有特徵集合，\(S\) 為任意子集合。 #### 7.3.2 實作範例 假設我們已經在第 6 章得到一個 XGBoost 模型 `xgb_model`，並準備解釋單筆預測： ```python import pandas as pd import xgboost as xgb import shap # 讀取模型 xgb_model = xgb.Booster() xgb_model.load_model("xgb_optuna.model") # 製作 DMatrix X_test = pd.read_csv("test_features.csv") dmat = xgb.DMatrix(X_test) # 計算 SHAP 值 explainer = shap.TreeExplainer(xgb_model) shap_values = explainer.shap_values(dmat) # 以第一筆資料為例 shap.initjs() shap.force_plot(explainer.expected_value, shap_values[0], X_test.iloc[0]) ``` #### 7.3.3 典型視覺化 | 視覺化 | 何時使用 | 典型輸出 | |--------|-----------|----------| | **Force Plot** | 單一樣本解釋 | 直觀呈現正負貢獻 | | **Summary Plot** | 整體樣本 | 觀察各特徵分佈與貢獻度 | | **Dependence Plot** | 兩特徵交互 | 判斷交互效應 | #### 7.3.4 與業務溝通 1. **高層視覺化**：以 Summary Plot 顯示「壓力×溫度」交互對缺陷率最高，讓高層快速把握。 2. **流程優化**：依據 Force Plot 的負貢獻特徵（如「前 5 分鐘平均振幅」）調整維護頻率。 ### 7.4 LIME 與局部解釋 LIME 主要用於 - **非線性模型**（如深度學習） - **需要快速解釋**（即時決策） ```python import lime import lime.lime_tabular # 初始化 explainer = lime.lime_tabular.LimeTabularExplainer( training_data=np.array(X_train), feature_names=X_train.columns, class_names=['No Defect', 'Defect'], mode='classification') # 解釋第一筆資料 exp = explainer.explain_instance(X_test.iloc[0], xgb_model.predict, num_features=5) exp.show_in_notebook(show_table=True) ``` LIME 的優勢在於可以即時產生「如果變更特徵 X，預測將如何改變」的情境模擬，適合對決策者提出「假設分析」的情境。 ### 7.5 Partial Dependence & ICE - **Partial Dependence Plot (PDP)**：展示單一特徵在整體資料上的平均效應。 - **Individual Conditional Expectation (ICE)**：顯示各個樣本在特徵變化時的個別反應。 使用 `sklearn.inspection.partial_dependence` 或 `pdpbox`。 ```python from sklearn.inspection import plot_partial_dependence fig, ax = plot_partial_dependence( xgb_model, X_train, ['pressure'], n_jobs=-1) ``` ICE 能幫助決策者看到「某類產品在高溫下缺陷率上升」的個別差異，避免過度一般化。 ### 7.6 將解釋轉化為決策語言 | 步驟 | 內容 | 例子 | |------|------|------| | 1. **摘要** | 以簡短句子說明模型主要驅動因素 | 「壓力與溫度交互是缺陷率的關鍵驅動因子」 | | 2. **可視化呈現** | 使用 Summary Plot 或 PDP，並配合簡易說明文字 | 旁邊標註「當溫度 > 80°C 時，缺陷率提高 12%」 | | 3. **行動建議** | 直接對應到業務流程 | 「將高溫區域的壓力監控頻率提升至每 5 分鐘一次」 | | 4. **風險評估** | 評估解釋不確定性 | 「ICE 曲線顯示某些產品型號對溫度敏感度高，建議針對此類型進行額外檢驗」 | | 5. **跟蹤指標** | 建立 KPI 以量化改進 | 「缺陷率目標：5%以下，停機成本降低 10%」 | ### 7.7 典型案例：製造缺陷預測的解釋報告 | 報告章節 | 內容 | |----------|------| | **1. 背景** | 製造線路高頻感測數據，目標減少缺陷率 | | **2. 模型概述** | XGBoost 模型，調參：`max_depth=8`, `learning_rate=0.05` | | **3. 重要特徵** | | - 壓力×溫度交互 (重要性 0.32) | - 前 5 分鐘平均振幅 (重要性 0.18) | - 工作日/假期標記 (重要性 0.12) | **4. 解釋視覺化** | | - Summary Plot (色彩代表貢獻度) | - ICE 曲線對於高溫產品 | | **5. 行動建議** | 1) 即時傳輸感測數據；2) 加入特徵工程流程至 CI；3) 調整維護頻率 | | **6. KPI** | - 缺陷率下降 18%；- 停機成本節省 12% | ### 7.8 常見陷阱與最佳實踐 1. **過度依賴單一工具**：SHAP 與 LIME 各有優勢，建議交叉驗證。 2. **忽略特徵互動**：交互特徵往往能解釋大部分非線性效應，使用 PDP/ICE 先行探索。 3. **解釋偏差**：模型輸出受訓練資料分佈影響，請務必對外推域做校驗。 4. **可視化過度複雜**：決策者對圖表的閱讀速度有限，保持簡潔、直接。 ### 7.9 總結 - **可視化是橋樑**：將複雜模型結果轉化為圖表，讓非技術領導者能快速把握關鍵訊息。 - **解釋工具是手段**：SHAP、LIME、PDP、ICE 等皆可協助找出模型背後的商業邏輯。 - **語言轉化關鍵**：從「貢獻值」到「行動建議」的過程，需結合業務目標與 KPI。 - **持續驗證**：隨著數據變化，定期重新解釋模型，確保建議持續有效。 > 下一章將帶領讀者了解如何將已驗證的模型部署到生產環境，並設計監控機制確保長期穩定運作。