第六章：模型解釋性與可追溯性

# 第六章：模型解釋性與可追溯性 在資料科學的旅程中，模型的「黑盒」特性往往是最棘手的障礙。當我們把一個機器學習模型從實驗室推到生產環境，決策者、法規機構乃至最終使用者都需要確信模型的判斷背後有可解釋、可審計的依據。本章將以「可解釋 AI (XAI)」為核心，從概念到實務，探討如何將模型解釋性與可追溯性納入開發流程，並以實際程式碼示範加以說明。 --- ## 6.1 為何需要解釋性？ 1. **信任與採納** – 無法解釋的模型即使性能優秀，也難以在金融、醫療等高風險領域得到使用。 2. **合規與法規** – GDPR、CSAM 之類的隱私法規要求能說明決策背後的邏輯。 3. **錯誤診斷** – 透過解釋，我們能快速定位資料偏差、過擬合等問題。 4. **偏見與公平** – 解釋工具幫助我們發現不公平決策的根源，進而進行修正。 --- ## 6.2 主要解釋技術概覽 | 方法 | 針對模型 | 主要特點 | 典型工具 | |------|----------|----------|----------| | **特徵重要性** | 任何可導出梯度或決策規則模型 | 整體重要度排序 | `sklearn.feature_importances_`、`xgboost.plot_importance` | | **部分依賴圖 (PDP)** | 任何回歸或分類模型 | 展示單一特徵對預測的平均效應 | `sklearn.inspection.partial_dependence` | | **局部可解釋模型（LIME）** | 黑盒模型 | 在單個樣本附近構造局部線性模型 | `lime.lime_tabular` | | **SHAP 值** | 任何模型（尤其 Tree、Deep） | 一致性、局部正確性 | `shap.TreeExplainer`、`shap.DeepExplainer` | | **反事實可視化** | 生成式模型 | 觀察改變特徵如何改變輸出 | `alibi`、`fastai` | | **模型卡** | 所有模型 | 文字、表格、圖表結合的文件 | `MLflow`、`ModelCardToolkit` | --- ## 6.3 以 SHAP 進行全局與局部解釋 以下示例以 XGBoost 迴歸模型為例，展示如何計算 SHAP 值、繪製全局重要度圖與局部說明。 ```python import pandas as pd import xgboost as xgb import shap import matplotlib.pyplot as plt # 1️⃣ 讀取資料 X = pd.read_csv('data/features.csv') y = pd.read_csv('data/target.csv')['target'] # 2️⃣ 建立並訓練模型 model = xgb.XGBRegressor(max_depth=6, n_estimators=300, learning_rate=0.05) model.fit(X, y) # 3️⃣ 準備 SHAP 解釋器 explainer = shap.TreeExplainer(model) shap_values = explainer.shap_values(X) # 4️⃣ 全局重要度圖 shap.summary_plot(shap_values, X) # 5️⃣ 隔離單筆樣本進行局部解釋 sample = X.iloc[0] shap.force_plot(explainer.expected_value, shap_values[0], sample) ``` > **小結**：`summary_plot` 會顯示每個特徵對預測的平均影響；`force_plot` 以「推力」方式說明單筆樣本的預測貢獻。 --- ## 6.4 LIME 在分類模型中的實踐 LIME 對於需要快速解釋黑盒分類器（如深度學習）非常適用。下面示範對一個圖像分類模型進行解釋。 ```python from lime import lime_image from skimage.segmentation import mark_boundaries import numpy as np import matplotlib.pyplot as plt # 1️⃣ 讀取預訓練模型（假設已在 GPU 上） from tensorflow.keras.applications import resnet50 model = resnet50.ResNet50(weights='imagenet') # 2️⃣ 讀取待解釋圖像 img_path = 'images/sample.jpg' img = keras.preprocessing.image.load_img(img_path, target_size=(224,224)) img_array = keras.preprocessing.image.img_to_array(img) img_array = np.expand_dims(img_array, axis=0) img_array = resnet50.preprocess_input(img_array) # 3️⃣ 定義預測函式 pred_fn = lambda x: model.predict(x) # 4️⃣ 建立 LIME 解釋器 explainer = lime_image.LimeImageExplainer() explanation = explainer.explain_instance(img_array[0], pred_fn, top_labels=5, hide_color=0, num_samples=2000) # 5️⃣ 顯示解釋 label = explanation.top_labels[0] image, mask = explanation.get_image_and_mask(label, positive_only=True, num_features=5, hide_rest=False) plt.figure(figsize=(8,8)) plt.imshow(mark_boundaries(image, mask)) plt.title(f"LIME 解釋 (Label: {label})") plt.axis('off') plt.show() ``` > **提示**：LIME 的解釋高度依賴於「分割」方式，對圖像而言可用 `segmentation_algorithm='quickshift'` 調整細節。 --- ## 6.5 部署模型卡與追蹤元資料 模型卡（Model Card）是模型文件化的重要手段，能夠提供性能指標、使用限制、偏見評估等資訊。以下示範使用 MLflow 與 ModelCardToolkit 將模型卡自動化產生。 ```python import mlflow import mlflow.sklearn from modelcard import ModelCard, Task, Metric # 1️⃣ 登錄 MLflow 伺服器 mlflow.set_tracking_uri('http://mlflow.server:5000') # 2️⃣ 進入實驗區域 experiment_id = mlflow.set_experiment('XGBoost_Regression') # 3️⃣ 開始實驗 with mlflow.start_run() as run: # 4️⃣ 送入模型、資料、評估指標 mlflow.sklearn.log_model(model, 'model') mlflow.log_metric('rmse', rmse_value) mlflow.log_metric('mae', mae_value) # 5️⃣ 產生模型卡 card = ModelCard( name='XGBoost_Regression_v1', description='預測房價的 XGBoost 迴歸模型', authors=['墨羽行'], tasks=[Task(name='Regression', evaluation_metrics=[Metric(name='RMSE', value=rmse_value)])], dataset='Boston Housing', licenses='MIT', use_cases='房價預測、投資分析', ) card.save('modelcard.md') ``` > **說明**：MLflow 會將模型與評估指標版本化，配合 ModelCardToolkit 產生 Markdown 模型卡，方便閱讀與存檔。 --- ## 6.6 實務中的追蹤與審計 1. **資料來源追蹤** – 使用 Airflow 的 XCom 或 Prefect 的 metadata，將每個 DAG 步驟的輸入輸出儲存於資料湖。 2. **模型版本管理** – 在 Git 或 DVC (Data Version Control) 中存放訓練腳本、模型參數、輸出權重。 3. **事件日誌** – 透過 OpenTelemetry 收集模型請求、回傳時間、異常碼，並寫入 Elasticsearch 供 Kibana 可視化。 4. **合規審計** – 定期自動生成「模型決策報告」與「公平性報告」，並上傳至內部審計系統。 --- ## 6.7 結語 模型解釋性與可追溯性不僅是技術挑戰，更是一種責任。透過 SHAP、LIME、模型卡以及完整的元資料追蹤，我們能把「黑盒」變成「可審計」的智慧系統。當模型不再是單純的數學公式，而是可說明、可追蹤、可問責的「知識產權」，商業決策將更具信心，客戶與使用者也將更願意接受。 在下一章，我們將把焦點轉向「模型公平性與偏見檢測」，探討如何在實際應用中預防與糾正不公平決策。