返回目錄
A
數據科學實戰：從問題到洞見 - 第 11 章
第十一章：模型部署、監控與持續改進
發布於 2026-03-05 12:30
# 第十一章：模型部署、監控與持續改進
> **重點**：在完成模型建構後，真正的挑戰是如何把模型安全、可靠地交付到實際運營環境，並持續監控其表現、合規性與倫理風險。
## 1. 為何需要部署管線？
在實務裡，模型往往不是一次性跑完的結果，而是一個持續演進的系統。部署管線的目標是：
1. **可重複性**：確保每次推送都能在相同環境復現結果。
2. **可擴充性**：隨著流量增長，能水平擴展。
3. **可觀察性**：能即時監測模型輸出與數據漂移。
4. **合規保障**：自動化執行倫理審查與隱私保護。
> *思考題*：在你所在的部門，最常遇到哪一個部署瓶頸？嘗試用上述四項指標描述。
## 2. 部署工具選型
| 技術 | 優勢 | 缺點 |
|------|------|------|
| **FastAPI** | 高效、Python 原生、易於集成 | 需要自行管理 Docker / Kubernetes |
| **MLflow** | 端到端實驗跟蹤 + 模型包裝 | 部署時需要額外配置 Tracking Server |
| **Docker** | 一致環境、易於 CI/CD | 需要學習容器化基礎 |
| **Kubernetes** | 自動擴展、彈性調度 | 初期配置成本高 |
> 我們將以 **FastAPI + MLflow + Docker** 為核心示例，簡化到單機部署，適合中小規模應用。若需多機擴展，可再加 Kubernetes。
## 3. 典型部署流程
### 3.1 將模型打包
python
# lightfm_wrapper.py
from lightfm import LightFM
import joblib
model = LightFM(no_components=30)
# 以訓練好的模型為例
joblib.dump(model, "lightfm_model.pkl")
### 3.2 編寫 FastAPI 服務
python
# app/main.py
from fastapi import FastAPI, HTTPException
import joblib
from typing import List
app = FastAPI(title="LightFM 推薦服務")
model = joblib.load("lightfm_model.pkl")
@app.post("/predict")
async def predict(user_id: int, item_ids: List[int]):
try:
scores = model.predict(user_ids=[user_id]*len(item_ids), item_ids=item_ids)
return {"scores": scores.tolist()}
except Exception as e:
raise HTTPException(status_code=500, detail=str(e))
### 3.3 Dockerfile
dockerfile
FROM python:3.11-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY . .
EXPOSE 8000
CMD ["uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "8000"]
### 3.4 部署到本地
bash
# 建構映像
docker build -t lightfm-service .
# 執行
docker run -p 8000:8000 lightfm-service
> **提示**：在實際部署前，先使用 `docker-compose` 編寫測試環境，確保服務與資料庫、訊息佇列等外部依賴正常連線。
## 4. 監控與警報
### 4.1 日誌（Logging）
python
import logging
logging.basicConfig(level=logging.INFO, format='%(asctime)s %(levelname)s %(message)s')
將關鍵事件（如批次預測結果、錯誤）寫入 Log，並使用 **ELK** 或 **Grafana Loki** 聚合分析。
### 4.2 指標（Metrics）
使用 **Prometheus** 與 **FastAPI Prometheus Middleware** 收集：
- `api_requests_total`：請求總數
- `api_request_duration_seconds`：請求延遲
- `model_prediction_latency_seconds`：模型推論延遲
- `data_drift_score`：自訂數據漂移指標
python
from fastapi_prometheus import add_prometheus_middleware, get_metrics
add_prometheus_middleware(app)
### 4.3 數據漂移監測
python
# drift_detector.py
import numpy as np
import pandas as pd
from evidently.metrics import DataDriftMetric
from evidently.pipeline.column_mapping import ColumnMapping
class DriftDetector:
def __init__(self, reference_data: pd.DataFrame):
self.reference = reference_data
self.column_mapping = ColumnMapping(numerical_features=reference_data.columns.tolist())
def check_drift(self, new_data: pd.DataFrame):
metric = DataDriftMetric()
report = metric.calculate(reference=self.reference, current=new_data, column_mapping=self.column_mapping)
drift_score = report.get("data_drift_report")
return drift_score
將 drift_score 作為自訂指標推送到 Prometheus，若超過閾值即觸發警報。
## 5. 合規與倫理自動化
1. **隱私保護**：在模型輸出前，使用 **k-anonymity** 或 **differential privacy** 進行匿名化。
2. **公平性審查**：定期跑 AIF360 的 `ExponentiatedGradient` 或 `Fairlearn` 的 `GridSearch`，確保模型不偏向任何 protected group。
3. **可解釋性**：對重要預測，產出 SHAP 或 LIME 解釋，並將解釋圖嵌入 API 回傳。
> **實作範例**：將公平性調整後的模型重新訓練並封裝於 FastAPI，使用 `mlflow.pyfunc` 自動化實驗跟蹤。
>
> python
> import mlflow.pyfunc
>
> def train_fair_model():
> # 1. 讀取數據
> X, y, protected = load_data()
> # 2. 透過 AIF360 進行公平性調整
> fair_model = ExponentiatedGradient(...).fit(X, y, sensitive_features=protected)
> # 3. 封裝為 PyFunc
> mlflow.pyfunc.log_model("fair_model", python_model=fair_model)
>
## 6. 持續改進循環
1. **A/B 測試**：部署新模型版本時，使用灰度發佈，監測 A/B 指標。
2. **實驗管線**：利用 MLflow 的 `experiment` 與 `run`，自動紀錄 hyperparameter、metrics、artifacts。
3. **自動化回饋**：當 drift_score 或公平性指標偏離閾值時，觸發自動化 retrain pipeline。
4. **版本控制**：使用 `dvc` 或 `MLflow` 的模型版本化，確保可追蹤回溯。
> **小結**：部署不是終點，而是數據科學生命周期的開端。唯有將監控、合規、以及持續學習嵌入系統，才能真正讓模型在實際業務中發揮長效價值。
## 7. 實戰練習
1. **部署 LightFM 推薦服務**：按章節步驟完成 Docker 部署，並撰寫 `prometheus.yml` 收集指標。
2. **搭建 PySyft 聯邦學習服務**：將模型封裝於 FastAPI，並以 `docker-compose` 模擬多個節點。
3. **自動化公平性檢測**：使用 AIF360 的 `ExponentiatedGradient`，將公平性指標寫入 MLflow，並設置警報機制。
## 8. 參考資料
- IBM AI Fairness 360: <https://ibm.github.io/AI_Fairness_360/>
- Fairlearn: <https://fairlearn.org/>
- Evidently AI: <https://evidentlyai.com/>
- PySyft: <https://github.com/OpenMined/PySyft>
- GDPR Toolkit: <https://github.com/elastic/go-gdpr>
- Google Cloud Vertex AI AutoML: <https://cloud.google.com/vertex-ai>
- Microsoft Azure AutoML: <https://docs.microsoft.com/azure/machine-learning/automated-ml>
- H2O AutoML: <https://docs.h2o.ai/h2o/latest-stable/h2o-docs/automl.html>
---
> **作者備註**：部署與監控往往被低估。若你能把合規與倫理嵌入 CI/CD，將在未來的合規審查中脫穎而出。祝你在數據科學的道路上不斷突破！