第 1 章：數據科學的生態與職能

# 第 1 章：數據科學的生態與職能 ## 1.1 數據科學的定義 > **數據科學（Data Science）** 是一門結合統計學、計算機科學、領域知識以及工程實踐的跨學科領域，其核心目標是從原始資料中抽取可行洞察，並以模型或數字化工具協助決策。 - **關鍵要素**： - **資料**：結構化、非結構化或半結構化 - **方法**：統計推論、機器學習、深度學習、資料可視化 - **工具**：Python、R、SQL、Spark、Docker、Kubernetes 等 - **價值**：成本優化、風險管理、客戶洞察、產品創新 ## 1.2 歷史演變 | 時期 | 里程碑 | 代表技術/語言 | 典型應用場景 | |------|--------|---------------|--------------| | 1950‑70s | 大數據前的統計學 | SPSS、SAS | 市場調查、財務報表 | | 1990s | 大數據雲端平台興起 | Hadoop, Hive | 電商推薦、日志分析 | | 2005‑12s | 機器學習成為主流 | R, Python | 金融風控、醫療診斷 | | 2013‑present | 深度學習與自動化 | TensorFlow, PyTorch | 圖像辨識、語音助手 | > **重點**：從統計推斷→機器學習→深度學習，再到自動機器學習（AutoML），每一步都擴大了數據科學的範疇與產業影響力。 ## 1.3 現代產業中的角色 ### 1.3.1 資料工程師（Data Engineer） - **職責**：建構、維護資料管道（ETL/ELT）、資料湖與資料倉儲，確保資料的可靠性、可擴展性與安全性。 - **核心技能**：SQL、Python/Scala、Airflow、Spark、Snowflake、Kafka。 ### 1.3.2 數據分析師 / 商業分析師（Data Analyst / Business Analyst） - **職責**：資料清洗、探索性資料分析（EDA）、可視化、報表製作，協助業務人員解讀數據。 - **核心技能**：Excel、Tableau / Power BI、Python（Pandas、Matplotlib）、R、SQL。 ### 1.3.3 機器學習工程師（ML Engineer） - **職責**：模型開發、訓練、優化、部署與監控；將研究成果轉化為可在生產環境執行的服務。 - **核心技能**：scikit‑learn、XGBoost、LightGBM、TensorFlow、PyTorch、MLflow、Docker、Kubernetes。 ### 1.3.4 數據科學家（Data Scientist） - **職責**：綜合上述技能，從問題定義、數據探索、模型構建到結果解釋與溝通，形成循環迭代。 - **核心技能**：統計推斷、機器學習、深度學習、資料視覺化、領域知識。 ## 1.4 團隊協作方式 > **協作模型**： > 1. **線性流程**：從資料工程→分析→ML→部署； > 2. **迭代循環**：快速原型 → 迭代改進 → 上線； > 3. **跨職能小組**：每個小組覆蓋資料、分析、模型、部署，促進即時回饋。 ### 1.4.1 需求溝通 - **業務方**：提供業務問題與 KPI； - **資料方**：確保資料完整性與合規； - **模型方**：評估模型可行性、風險與效益。 ### 1.4.2 版本控制與 CI/CD | 工具 | 用途 | |------|------| | Git | 版本管理 | | Jenkins / GitHub Actions | 自動化測試與建置 | | Docker / Kubernetes | 容器化與部署 | | MLflow | 模型版本與實驗追蹤 | > **最佳實踐**：建立共享資料字典、數據治理規範、模型可解釋性文件，並定期舉辦「數據科學站會」促進跨部門知識交流。 ## 1.5 典型數據科學工作流程 1. **業務問題定義** → 2. **資料蒐集與治理** → 3. **資料工程** → 4. **探索性資料分析** → 5. **特徵工程** → 6. **模型選擇與訓練** → 7. **模型評估** → 8. **部署與監控** → 9. **商業決策與 ROI 評估**。 > 這一流程在實務中往往是迴圈迭代，隨著新資料與新業務需求的不斷變化，團隊需保持高度的敏捷性與跨功能協作。 ## 1.6 讀者收益 - **掌握職能分工**：清楚了解各角色在資料科學項目中的定位。 - **構建高效團隊**：學習協作模式與工具選型。 - **建立職涯規劃**：根據個人興趣與技能，選擇合適的職能路徑。 - **洞悉產業趨勢**：把握數據科學在各行業的應用場景與未來發展。 --- > **小結**：數據科學不僅是一門技術，更是一套跨領域協作的生態系。理解並運用本章所列職能與協作模式，將為後續的資料蒐集、工程、建模與部署奠定堅實基礎。