第八章：資料治理與安全——從合法到可靠

# 第八章：資料治理與安全——從合法到可靠 > 在資料科學的旅程中，資料治理不是「額外的工作」，而是決策可信度的基石。若缺乏治理，任何高精度模型都可能因法律風險、隱私泄漏或數據漂移而失效。 ## 8.1 何謂資料治理 - **資料治理**：整合組織內所有資料資源的管理與政策，確保資料品質、可追溯性、合規性與安全。 - 目標： 1. **確保合法**：符合 GDPR、CCPA、ISO 27001 等標準。 2. **保護隱私**：實施最小權限、匿名化與差分隱私。 3. **確保可靠**：資料品質（完整性、準確性、可重現性）與可追蹤性。 ## 8.2 法律與合規框架 | 法規 | 主要要求 | 對資料科學的影響 | |------|----------|------------------| | GDPR（歐盟） | 資料主體權、資料最小化、透明度 | 需要對個人資料加密，並提供刪除請求接口 | | CCPA（加州） | 消費者知情權、資料買賣限制 | 需建立資料買賣日誌，確保合規審計 | | ISO 27001 | 資訊安全管理 | 建立風險評估與控制措施 | | HIPAA（美國） | 醫療資料保護 | 必須實施加密、審計與訪問控制 | > **提示**：在 MLOps 中，將合規性檢查納入 CI pipeline，可即時偵測違規數據。 ## 8.3 風險評估與分類 1. **資料分類**： - **公開**：可公開發布。 - **內部**：僅限組織內使用。 - **機密**：嚴格限制訪問。 - **高度機密**：必須加密、監控。 2. **風險矩陣**： - **機密度 × 重要度** → 風險等級。 - 根據等級設置相應的保護措施。 ## 8.4 建立資料生命週期管理（DLM） mermaid flowchart TD A[資料產生] --> B[資料接入] B --> C[資料存儲] C --> D[資料分析] D --> E[資料存檔] E --> F[資料刪除] - **資料接入**：使用 Kafka、AWS Kinesis 等流式平台。 - **資料存儲**：分為 Hot、Warm、Cold 三層，依存取頻率分層。 - **資料分析**：使用 Spark、SQL、Python 進行轉換。 - **資料存檔**：長期保存，使用加密檔案系統。 - **資料刪除**：符合「遺忘權」的自動化刪除機制。 ## 8.5 資料分類與加密 | 需求 | 加密方案 | 典型工具 | |------|----------|----------| | 靜態資料 | AES-256 | AWS S3 SSE‑S3 / GCP Cloud KMS | | 傳輸資料 | TLS 1.3 | OpenSSL, gRPC | | 進程內資料 | Homomorphic Encryption | Microsoft SEAL | ### 實作範例：Python 內部資料加密 python from cryptography.fernet import Fernet # 產生金鑰並儲存於安全儲存（如 Vault） key = Fernet.generate_key() # 將 key 存入安全儲存，這裡示意直接寫檔 with open('key.bin', 'wb') as f: f.write(key) # 加密 cipher = Fernet(key) plaintext = b"敏感資料：客戶信用卡號 4111 1111 1111 1111" ctext = cipher.encrypt(plaintext) print(ctext) # 解密 ptext = cipher.decrypt(ctext) print(ptext.decode()) > **安全提示**：永遠不要將金鑰硬編碼於程式碼。使用密鑰管理服務（KMS、Vault）。 ## 8.6 監管與稽核 - **資料審計日誌**：每次讀寫操作都寫入可追蹤的日誌。 - **合規檢查自動化**：透過 Airflow 或 Prefect 建立「合規檢查」 DAG，每週檢查一次。 - **異常偵測**：利用 anomaly detection 監控資料流異常（例如數量跳變、格式錯誤）。 python # Airflow DAG 範例：合規檢查 from airflow import DAG from airflow.operators.bash import BashOperator from datetime import datetime with DAG('compliance_check', start_date=datetime(2023,1,1), schedule_interval='@weekly') as dag: check_sql = BashOperator( task_id='sql_compliance', bash_command='psql -c "SELECT * FROM user_data WHERE age > 100;"' ) ## 8.7 實作範例：資料治理平台（Databricks + Unity Catalog） python # 建立 Unity Catalog spark.sql( """ CREATE CATALOG IF NOT EXISTS my_catalog WITH (owner = 'data_engineer') """ ) # 建立資料庫 spark.sql( """ CREATE SCHEMA IF NOT EXISTS my_catalog.sales WITH (owner = 'data_scientist', comment = '銷售資料') """ ) # 建立表格並設定資料分類 spark.sql( """ CREATE TABLE IF NOT EXISTS my_catalog.sales.orders ( order_id STRING, customer_id STRING, amount DOUBLE, order_date DATE ) USING DELTA LOCATION '/mnt/delta/orders' COMMENT '機密資料' """ ) # 設定權限 spark.sql( """ GRANT SELECT ON TABLE my_catalog.sales.orders TO GROUP analyst """ ) > **關鍵**：使用 Unity Catalog 可在資料層面直接管理權限，減少「開發者」級別的授權錯誤。 ## 8.8 小結 1. **資料治理是基礎**：所有資料科學工程的成功，皆建立於堅實的治理與安全之上。 2. **合規與安全並非阻力**：以自動化、標準化流程為核心，可將其變為增值工具。 3. **生命週期管理**：從產生到刪除，每一階段皆需設計安全與合規措施。 4. **技術實踐**：加密、審計日誌、資料分類、權限管理，均是實作的關鍵步驟。 5. **持續監測**：資料品質與合規風險需與模型監測同步，才能真正實現可信資料科學。 > **一句話提醒**：資料治理不是「額外工作」——它是每一次數據驅動決策的安全保險，也是長期競爭力的關鍵。