第七章 部署與運營：從容器到雲端

# 第七章 部署與運營：從容器到雲端 在前面六章，我們已經從資料蒐集、清理、探索、建模、評估到可解釋性完成了完整的資料科學工作流。現在，我們面臨的挑戰不再是「是否能做」而是「如何將模型送上實際環境、確保其穩定、可擴充、且符合合規要求」。 ## 1. 為何部署是「持續迭代」的起點 - **實務需求**：醫院、金融機構或零售商都不會在單次實驗後就滿足於模型。相反，他們需要一個能夠自動更新、即時回應、且不影響日常運營的系統。 - **合規與安全**：特別是在醫療領域，模型的輸出必須被即時審核，並且在任何時候都能追溯決策過程。這對於資料隱私（GDPR、HIPAA）是嚴格的要求。 - **可觀測性**：部署後才可能觀測到模型漂移、輸入分佈變化、或是硬體瓶頸，這些資訊才能引發再訓練或優化。 > **關鍵訊息**：部署不是結束，而是一個新迭代周期的起點。 ## 2. 架構概覽 +-------------------+ +---------------------+ | 前端／客戶端 |<-------->| FastAPI API層 | +-------------------+ +---------------------+ | | | | +-------------------+ +---------------------+ | Docker 容器 |<-------->| AWS Lambda/ ECS | +-------------------+ +---------------------+ | | | | +-------------------+ +---------------------+ | S3 / RDS |<-------->| 監控 / 日誌服務 | +-------------------+ +---------------------+ - **FastAPI**：輕量、非同步、支援 OpenAPI/Swagger，自帶驗證與資料校驗，適合部署高效的推論服務。 - **Docker**：確保環境一致，便於版本回滾與多平台部署。 - **AWS Lambda / ECS**：根據流量動態擴縮，降低運營成本；同時支援無伺服器（serverless）或容器化微服務。 - **S3 / RDS**：儲存原始資料、模型 artefacts 以及推論結果；可按需分層（冷熱分離）。 - **CloudWatch / Grafana**：收集日誌、指標，監控延遲、PSI、模型漂移。 ## 3. Docker 化模型 > **步驟 1：撰寫 `Dockerfile`** > > Dockerfile > FROM python:3.10-slim > WORKDIR /app > COPY requirements.txt . > RUN pip install --no-cache-dir -r requirements.txt > COPY ./src ./src > COPY ./model.pkl ./model.pkl > CMD ["uvicorn", "src.main:app", "--host", "0.0.0.0", "--port", "80"] > > > - 這裡我們假設 `src/main.py` 是 FastAPI 的入口，`model.pkl` 為經過 `pickle` 存檔的預訓練模型。 > > **步驟 2：構建與推送** > > bash > docker build -t myapp:latest . > docker tag myapp:latest 123456789012.dkr.ecr.us-east-1.amazonaws.com/myapp:latest > aws ecr get-login-password --region us-east-1 | docker login --username AWS --password-stdin 123456789012.dkr.ecr.us-east-1.amazonaws.com > docker push 123456789012.dkr.ecr.us-east-1.amazonaws.com/myapp:latest > > > 這樣就完成了容器化與推送到 AWS ECR 的流程。 ## 4. FastAPI 與 Lambda 的橋接 - **Lambda 層**：使用 `aws-lambda-powertools` 或 `Mangum` 來將 FastAPI 包裝成 Lambda 處理器。 - **API Gateway**：設定 REST API 或 HTTP API，將請求路由到 Lambda；同時啟用自動化限流、授權與 IP 白名單。 python # src/main.py from fastapi import FastAPI, HTTPException import joblib from mangum import Mangum app = FastAPI(title="影像診斷 API") model = joblib.load("/tmp/model.pkl") # Lambda 會將檔案下載至 /tmp @app.post("/predict") async def predict(image_base64: str): try: image = decode_base64_to_array(image_base64) prob = model.predict_proba([image])[0][1] return {"risk_score": float(prob)} except Exception as e: raise HTTPException(status_code=400, detail=str(e)) handler = Mangum(app) > **小技巧**：在 Lambda 執行時，將模型檔案下載到 `/tmp`，避免每次請求都從 ECR 拉取。可使用 `layer` 或 `S3` 做為持久化儲存。 ## 5. 監控與漂移偵測 | 指標 | 來源 | 目標 | 作用 | |------|------|------|------| | 推論延遲 | CloudWatch | < 200ms | 保障使用者體驗 | | PSI (Population Stability Index) | 自訂腳本 | < 25 | 檢測輸入分佈漂移 | | 淨係數 | 內部 | 0.98-1.02 | 檢測模型輸出漂移 | | 日誌頻率 | CloudWatch | 持續上報 | 排查硬體瓶頸 | > **自動漂移偵測流程**：每隔 1 小時觸發 Lambda，下載最新輸入樣本，計算 PSI；若 PSI 超過門檻，即觸發通知並寫入 DynamoDB `DriftFlag`。 ## 6. 自動化再訓練 再訓練是模型生命週期中最關鍵、也是最費時的環節。以下是一個簡易 CI/CD 方案： 1. **資料收集**：每週自動將新影像上傳至 S3，並在 Lambda 中觸發 `ETL`。 2. **資料標註**：使用 AWS SageMaker Ground Truth 進行半自動標註，或外包給第三方。 3. **模型重訓**：在 SageMaker Notebook 或 EC2 上執行 `train.py`，使用最新資料重新訓練。將模型 artefacts 推送至 ECR。 4. **模型驗證**：使用 `sm-deployment-test` 進行 A/B 測試，確保召回率提升 15% 以上且錯誤率不超過 2%。 5. **灰度部署**：先在 10% 流量上部署新模型；若表現符合 SLA，即把流量比例提升到 100%。 > **重訓時間表**：每 6 週一次，或當 PSI 超過 30 時立即觸發。 ## 7. 合規與資料隱私 - **資料匿名化**：在模型訓練前使用 `k-anonymity` 或 ` differential privacy` 檢查。將病患 ID 替換為哈希值，確保無法追溯。 - **審計日誌**：所有 API 呼叫與模型輸出都必須寫入 CloudTrail，並加密儲存於 S3。 - **模型簽名**：使用 AWS KMS 加密模型檔案，確保僅授權實體能夠下載。 > **合規檢查清單**： > 1. HIPAA 標準（醫療資料） > 2. GDPR 第六條（資料保護原則） > 3. ISO/IEC 27001（資訊安全管理） ## 8. 成本與效益評估 | 服務 | 主要成本 | 省時效益 | |------|----------|----------| | AWS Lambda | 按執行時間/請求 | 無伺服器管理，降低維運成本 | | ECS / Fargate | 按容器執行時間 | 可水平擴縮，彈性高 | | CloudWatch | 指標/日誌 | 即時監控，減少停機時間 | | SageMaker | 訓練/推論 | 內建 GPU，縮短訓練時間 | > **ROI 估算**：在第 3 個月即可看到至少 20% 的營運成本下降，並且模型召回率提升 15% 帶來的診斷準確度提升，對病患安全的價值遠超成本。| ## 9. 團隊協作模型 | 角色 | 責任 | |------|------| | Data Engineer | 監控資料管線、維護 ETL | | ML Engineer | 訓練、驗證、部署 | | DevOps | 監控、成本優化、CI/CD | | Compliance Officer | 確保資料隱私與合規 | | Product Owner | 需求、優先級、商業評估 | > **協作工具**：GitHub (code)、GitHub Actions (CI)、Terraform (基礎設施)、Slack (通訊)、Confluence (文件)。 ## 10. 章節小結 1. **部署**：Docker + FastAPI + AWS Lambda，確保環境一致、彈性擴縮。<br> 2. **監控**：PSI、延遲、日誌；自動化漂移偵測。<br> 3. **再訓練**：定期收集新資料，使用 SageMaker 進行自動化訓練與灰度部署。<br> 4. **合規**：資料匿名化、審計日誌、模型加密，符合法規要求。<br> 5. **團隊**：跨職能協作，從資料到商業決策的全流程協同。<br> > **核心訊息**：部署不是終點，而是將洞見轉化為可持續商業價值的起點。透過容器化、雲端服務、監控與自動化再訓練，我們將模型從實驗室帶入實務，並確保它在變化的環境中仍保持準確與可信。 --- > **結語**：在這個章節，我們已經搭建了一座從資料到商業洞見的橋樑，並將其延伸至實際運營。接下來，章節 8 將進一步探討模型漂移的深入診斷與人機協同的決策支援系統。