第一章：數據分析的生態系

# 第一章：數據分析的生態系 > **本章結構** > - 數據科學定位與產業需求 > - 職業路徑與角色分化 > - 數據分析全流程概覽 > - 案例啟示：從業務問題到模型交付的實際旅程 ## 1.1 數據科學的定位 ### 1.1.1 什麼是數據科學？ - **定義**：結合統計、機器學習、領域知識與工程技術，從原始資料中提取可行洞察並建構預測或決策模型的跨領域學科。 - **核心價值**： - **問題解決**：將業務問題數值化，提供可量化的解答。 - **資源優化**：提升營運效率、降低成本、發掘新商機。 - **風險控制**：透過模型預測提前識別風險，實現決策的科學化。 ### 1.1.2 數據科學在產業鏈中的位置 | 產業階段 | 主要貢獻 | 工具/技術 | |---------|-----------|-----------| | 資料收集 | 需求分析、數據來源設計 | Python、Scrapy、APIs | | 資料清理 | 缺失處理、資料標準化 | Pandas、SQL | | 資料探索 | 分布分析、異常檢測 | seaborn、Plotly | | 建模 | 迴歸、分類、時間序列 | scikit-learn、XGBoost | | 評估 | 交叉驗證、AUC | sklearn.metrics | | 部署 | API、容器化 | Flask、Docker | ## 1.2 職業路徑與角色分化 ### 1.2.1 常見職稱 | 職稱 | 主要工作內容 | 典型技能 | |------|--------------|----------| | 資料分析師 | 數據清洗、報表製作 | SQL、Excel、Tableau | | 數據工程師 | ETL、資料倉儲、數據管道 | Airflow、Kafka、Snowflake | | 數據科學家 | 模型研發、實驗設計 | Python、scikit-learn、PyTorch | | 機器學習工程師 | 模型部署、CI/CD | Docker、K8s、MLflow | | 商業分析師 | 需求規劃、ROI評估 | Power BI、R | ### 1.2.2 職業生涯路徑 1. **學術背景**：統計學、計算機科學、電機工程等。 2. **入門階段**：資料分析師／初級數據科學家，專注於報表與基礎模型。 3. **成長階段**：高級數據科學家／數據工程師，負責複雜問題與數據基礎設施。 4. **領導階段**：數據科學主管／數據策略總監，制定組織數據策略。 5. **創新階段**：AI 首席科學家／創業者，探索前沿技術與商業模式。 ## 1.3 數據分析全流程概覽 > **流程模型：** > mermaid > flowchart TD > A[業務問題] --> B[需求定義] > B --> C[資料收集] > C --> D[資料清理] > D --> E[探索性分析] > E --> F[特徵工程] > F --> G[建模] > G --> H[評估] > H --> I[部署] > I --> J[監控 & 維護] > > > 每一步都需要跨領域溝通，並以迭代方式不斷優化。 ### 1.3.1 需求定義 - **業務理解**：與業務單位對話，確定 KPI、預期輸出。 - **可行性評估**：確認資料可得性、時間成本、技術門檻。 - **成果規範**：設定交付物、評估指標、驗收標準。 ### 1.3.2 資料收集 - **來源多元**：結構化資料（關聯式資料庫）、半結構化資料（JSON、XML）、非結構化資料（文字、影像）。 - **方法多樣**：API 調用、網路爬蟲、批次 ETL、實時流（Kafka）。 ### 1.3.3 資料清理 - **缺失值處理**：刪除、填補、預測。 - **異常值檢測**：箱型圖、Z-score、Isolation Forest。 - **資料型別轉換**：日期時間、類別型、數值型。 ### 1.3.4 探索性分析（EDA） - **分佈可視化**：直方圖、箱型圖、熱力圖。 - **關聯分析**：散點圖、相關係數、偏相關。 - **洞察導向**：形成假設、選擇特徵、設計實驗。 ### 1.3.5 特徵工程 - **編碼**：One-Hot、Target Encoding、Frequency Encoding。 - **縮放**：StandardScaler、MinMaxScaler、RobustScaler。 - **衍生特徵**：組合特徵、時間週期特徵、文本 TF‑IDF。 ### 1.3.6 建模 - **模型選擇**：線性模型、決策樹、集成方法、深度學習。 - **訓練策略**：交叉驗證、分層抽樣、樣本加權。 - **參數調優**：GridSearch、RandomSearch、Optuna。 ### 1.3.7 評估 - **性能指標**：RMSE、MAE、R²、Precision、Recall、AUC。 - **模型解釋**：SHAP、LIME、Permutation Importance。 - **公平性評估**：偏差、歧視指標。 ### 1.3.8 部署與維護 - **容器化**：Docker、Docker Compose。 - **CI/CD**：GitHub Actions、GitLab CI、Argo CD。 - **監控**：Prometheus、Grafana、ELK 堆疊。 - **版本控制**：DVC、MLflow。 ## 1.4 案例啟示：從業務問題到模型交付 | 階段 | 任務 | 工具 | 成果 | |------|------|------|------| | 1. 需求 | 透過客服聊天分析預測客戶流失 | Power BI、Python | 需求文檔、 KPI 定義 | | 2. 資料 | 收集 CRM、聊天記錄、網站行為 | Airflow、S3 | 數據湖、資料清洗腳本 | | 3. EDA | 探索流失率分佈、特徵相關 | seaborn、Plotly | 洞察報告、特徵列表 | | 4. 特徵 | 生成時間戳特徵、文本 TF‑IDF | scikit-learn | 特徵矩陣 | | 5. 模型 | XGBoost、Logistic Regression | scikit-learn、XGBoost | 模型、性能指標 | | 6. 評估 | SHAP 可視化、AUC 分析 | SHAP、scikit-learn | 解釋報告 | | 7. 部署 | Flask API、Docker 容器 | Flask、Docker | API、監控面板 | | 8. 監控 | Prometheus 監測延遲、失敗率 | Prometheus、Grafana | 監控告警、迭代改進 | > **結語**：本章為數據分析師與數據科學家奠定基礎，提供從業務需求到模型交付的全貌。隨著後續章節的深入，你將在實務案例中掌握各項工具與技術，進一步提升洞察力與工程實力。