第4章：可解釋深度模型的內部機制與可視化策略

## 第4章：可解釋深度模型的內部機制與可視化策略 在前一章中，我們已經建立了可解釋模型的基礎框架，討論了代理模型、局部解釋以及合規性指標。本章將進一步探討**深度學習模型**內部的可解釋性機制，並介紹多種可視化工具與實務落地策略。 --- ### 4.1 為何深度模型難以解釋 1. **高維參數空間**：典型的 CNN 或 Transformer 擁有數百萬乃至數十億個參數，單純列舉不僅冗長，更難以與業務邏輯對應。 2. **非線性非可辨結構**：多層非線性激活函數產生的交互效應，使得特徵與預測結果之間的關係變得高度非線性。 3. **內部表徵的不易解釋性**：中間層的表徵往往是抽象的語義表示，難以直接映射到人類可理解的概念。 這些挑戰使得深度模型的可解釋性不僅是技術問題，更是一種 *設計哲學*。我們需要在性能與可解釋性之間取得平衡，並針對不同業務場景選擇合適的內部機制。 --- ### 4.2 內部機制可解釋性方法 | 方法 | 主要概念 | 典型工具 | 優缺點 | |------|-----------|-----------|---------| | **注意力可視化** | 透過自注意力機制（Self‑Attention）展現關鍵詞關係 | `Transformer‑Viz`, `BERTViz` | 可直接映射到文本、圖像特徵；但注意力不等於重要性 | | **特徵圖（Feature Map）可視化** | 觀察卷積層的輸出特徵圖 | `Grad-CAM`, `Guided Backprop` | 直觀易懂；對於深層層級表徵缺乏解釋 | | **概念可視化（Concept Activation Vectors, CAVs）** | 將高階概念映射到權重空間 | `TCAV` | 以概念為單位解釋；需要先定義概念 | | **神經結構蒸餾** | 將深層模型「蒸餾」為可解釋子模型 | `Distillable Attention` | 可保留性能；蒸餾過程繁瑣 | | **梯度權重解釋（Grad‑∂L/∂x）** | 透過梯度訊號估算特徵重要性 | `Integrated Gradients`, `DeepLIFT` | 計算成本高；敏感於模型訓練狀態 | #### 4.2.1 注意力可視化實作 ```python import torch from transformers import BertModel, BertTokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased', output_attentions=True) text = "The quick brown fox jumps over the lazy dog." inputs = tokenizer(text, return_tensors='pt') outputs = model(**inputs) attentions = outputs.attentions # Tuple[Tensor] (num_layers, batch, heads, seq_len, seq_len) # 取第 12 層第 8 頭的注意力權重 attn_matrix = attentions[11][0,7].detach().numpy() # 進一步可用 seaborn heatmap 可視化 ``` 此段程式碼展示了如何提取 BERT 模型中第 12 層第 8 頭的注意力矩陣，並可進一步使用 `seaborn` 或 `plotly` 生成熱力圖，直觀呈現句子中各詞彙之間的關聯。 #### 4.2.2 Grad‑CAM 在圖像分類中的應用 ```python import torch import torchvision.models as models import torchvision.transforms as transforms from PIL import Image import matplotlib.pyplot as plt model = models.resnet50(pretrained=True) model.eval() img = Image.open('sample.jpg') transform = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]) input_tensor = transform(img).unsqueeze(0) # 取最後一個卷積層 feature_maps = model.layer4[-1](input_tensor) # 取預測類別 output = model(input_tensor) class_idx = output.argmax().item() # 計算 Grad‑CAM grads = torch.autograd.grad(outputs=output[:, class_idx], inputs=feature_maps, retain_graph=True)[0] weights = grads.mean(dim=[2,3], keepdim=True) cam = (weights * feature_maps).sum(1, keepdim=True).squeeze(0).detach() cam = torch.relu(cam) cam = cam - cam.min(); cam = cam / cam.max() cam_img = cam.cpu().numpy() plt.imshow(img) plt.imshow(cam_img, cmap='jet', alpha=0.5) plt.show() ``` --- ### 4.3 內部機制的評估指標 - **可視化一致性（Visual Consistency）**：不同層級的可視化輸出是否呈現相似的關鍵特徵。可使用 *Structural Similarity Index (SSIM)* 或 *Intersection over Union (IoU)* 量化。 - **概念重要性（Concept Importance）**：透過 CAVs 測量概念對輸出的貢獻度，評估模型是否依賴明確概念。 - **解釋可追溯性（Explainability Traceability）**：能否從輸入特徵追溯到模型內部表徵，再回到輸出結果。實作上可使用 *Trace Graph* 或 *Feature Attribution Graph*。 ### 4.4 實務案例：醫療影像診斷 #### 4.4.1 背景 某醫療機構希望使用深度 CNN 模型對肺部 CT 圖像進行肺結節偵測，並需符合 *歐盟 MDR*（Medical Device Regulation）對解釋性的法規要求。 #### 4.4.2 方法 1. **模型選型**：採用 `DenseNet-121`，因其特徵再利用機制有助於可解釋性。 2. **內部可視化**：使用 *Grad‑CAM* 於 `conv4_block6_out` 層輸出熱力圖。 3. **概念驗證**：定義兩個概念——「結節區域」與「非結節區域」，利用 TCAV 進行重要性評估。 4. **報告生成**：將熱力圖與概念重要性統計以 PDF 形式輸出，供醫師審核。 #### 4.4.3 成效 - **診斷準確率**：0.92 (提升 4% 於基準模型)。 - **解釋時間**：每張圖的 Grad‑CAM 生成時間 < 150 ms。 - **醫師滿意度**：95% 表示可視化對診斷信心提升。 ### 4.5 人機協同的最佳實踐 | 步驟 | 目的 | 工具 | 重要提示 | |------|------|------|-----------| | **1. 需求導向設計** | 明確業務與法規需求 | 需求矩陣、Stakeholder Map | 避免「功能漂移」 | | **2. 模型構造可解釋性** | 在架構層面嵌入可視化模組 | `Attention Layer`, `FeatureMap` | 需考慮算力成本 | | **3. 交互式解釋介面** | 允許使用者自定義可視化層級 | Web Dashboard (Plotly Dash) | 保障資料隱私 | | **4. 持續監控與更新** | 追蹤模型漂移對解釋的影響 | Explainability Monitoring Platform | 需與 CI/CD 整合 | ### 4.6 本章小結 1. 深度模型的內部機制提供了比代理模型更直接的可解釋途徑，但同時面臨高維、非線性和抽象表徵的挑戰。 2. 我們介紹了多種可視化方法（注意力、特徵圖、概念向量）以及實際評估指標，並以醫療影像為案例展示了法規合規與業務需求的兼顧。 3. 人機協同是落地的關鍵，透過需求導向設計、交互式介面與持續監控，可確保模型在複雜場景中保持可解釋性與性能的雙贏。 --- > **思考題**：在你自己的專案中，哪些層級的可視化對最終決策者最具價值？請列舉並說明理由。