第一章：數據科學的全景

# 第一章：數據科學的全景 > 本章為本書奠定基礎，從歷史脈絡、典型工作流程到職業發展，讓讀者對「數據科學」有一個全方位、層次分明的認識。 --- ## 1.1 數據科學的歷史 | 時期 | 主要發展 | 代表人物 / 事件 | |------|----------|-----------------| | 1950s‑60s | 早期統計學與機器學習的種子 | **R.A. Fisher** 的統計方法、**Duda & Hart** 的模式辨識 | | 1980s | AI 研究興起，關注知識表示 | **John McCarthy** 發表「Artificial Intelligence」概念 | | 1990s | 大數據萌芽，資料挖掘興起 | **R.B. Kelleher** 研究資料挖掘；**IBM 的 SPSS** 推廣統計軟體 | | 2000s | 數據驅動決策成為企業核心 | **Hadoop** 於 2006 年推出；**Google 的 MapReduce** 促進分散式計算 | | 2010s | 迴歸至機器學習與深度學習 | **Yann LeCun** 推廣卷積神經網路；**Apache Spark** 成為大數據處理標配 | | 2020s | MLOps、AI ethics 與可解釋 AI 成為熱點 | **OpenAI GPT‑4** 展示自然語言處理能力；**AI 知識圖譜** 在企業決策中廣泛應用 | > **小結**：數據科學不是一門單一技術，而是一連串演進的學科結合，涵蓋統計、電腦科學、商業領域與倫理學。理解其歷史脈絡，有助於預見未來趨勢與挑戰。 --- ## 1.2 典型工作流程（Data Science Life Cycle） 以下是數據科學專案的標準流程，通常以迭代方式進行，確保洞察的可靠性與可重複性。 1. **問題定義 (Problem Definition)** - 目標設定：量化指標、預測目標 - 受眾分析：決策者、技術團隊、業務同儕 2. **數據採集 (Data Acquisition)** - API、爬蟲、內部資料庫、外部資料供應商 - 資料治理：權限、合規性、元資料管理 3. **資料清洗 & 前處理 (Data Cleaning & Pre‑processing)** - 處理遺失值、離群值、資料類型轉換 - 特徵工程：標準化、編碼、特徵選擇 4. **探索性資料分析 (Exploratory Data Analysis, EDA)** - 視覺化、統計描述、相關性檢測 - 初步假設驗證與數據分布確認 5. **模型構建 (Model Building)** - 監督式 / 非監督式 / 強化學習模型選擇 - 交叉驗證、參數調優 6. **模型評估 (Model Evaluation)** - 指標選擇（精度、召回、F1、ROC-AUC 等） - 失敗案例分析、解釋性評估 7. **部署與運營 (Deployment & Ops)** - MLOps：容器化、CI/CD、模型監控 - 回溯與版本控制 8. **洞察產出 & 決策 (Insight & Decision Making)** - 報告撰寫、可視化儀表板、決策支援 > **實作提示**：使用 **Jupyter Notebook** 或 **R Markdown** 進行探索與迭代，確保程式碼與報告同步。 --- ## 1.3 職業路徑與角色 數據科學領域涵蓋多元職務，以下列舉主要職位與所需技能。 | 職位 | 主要職責 | 需要的核心技能 | |------|----------|-----------------| | **資料分析師 (Data Analyst)** | 數據清洗、報告撰寫、簡易預測模型 | SQL、Excel、Python（pandas）或 R、資料視覺化（Tableau/PowerBI） | | **數據科學家 (Data Scientist)** | 高階機器學習、模型部署、實驗設計 | 進階機器學習、深度學習、模型評估、程式開發（Python/Scala） | | **機器學習工程師 (ML Engineer)** | 模型部署、MLOps、模型效能優化 | Docker、Kubernetes、CI/CD、雲端服務（AWS/GCP/Azure） | | **資料架構師 (Data Architect)** | 數據平台設計、ETL、資料治理 | 大數據技術（Hadoop、Spark）、資料庫設計、元資料管理 | | **產品數據負責人 (Product Data Lead)** | 需求定義、數據產品策略 | 產品管理、業務分析、統計學、溝通能力 | > **職涯發展**：初期可從資料分析師入門，隨著實務經驗與技術深耕，可逐步轉向數據科學家或機器學習工程師。持續學習新工具（如 PyTorch、TensorFlow）及參與社群（Kaggle、Data Science Society）能加速職涯成長。 --- ## 1.4 實務小結 | 步驟 | 目的 | 常見工具 | |------|------|----------| | 1. 問題定義 | 明確業務需求 | Google Docs、Confluence | | 2. 數據採集 | 獲取高質量資料 | RESTful API、Scrapy、SQL | | 3. 清洗 & 前處理 | 確保資料品質 | pandas、NumPy、OpenRefine | | 4. EDA | 發現趨勢、假設 | matplotlib、seaborn、Plotly | | 5. 模型構建 | 解決預測/分類問題 | scikit‑learn、XGBoost、LightGBM | | 6. 評估 | 檢驗模型效能 | scikit‑learn.metrics、mlflow | | 7. 部署 | 讓模型服務化 | Flask、FastAPI、TensorFlow‑Serving | | 8. 洞察產出 | 支援決策 | Tableau、PowerBI、Dash | > **建議**：在每個階段結束時撰寫「結論報告」或「Jupyter Notebook」備忘錄，形成可重複、可追溯的工作流程。此習慣不僅提升個人效率，也為團隊協作與品質管控奠定基礎。 --- ## 1.5 課後練習 1. **案例研究**：選取一個公開資料集（如 Kaggle 的 Titanic、UCI Machine Learning Repository），從問題定義到模型部署，完整撰寫一份「數據科學專案報告」。 2. **流程梳理**：將本章所述工作流程以流程圖（可使用 Lucidchart、draw.io）呈現，並說明每一步的輸入、輸出與關鍵考量。 3. **職業定位**：寫一段 300 字自我介紹，說明你目前或未來想要進入的數據科學職位，並列出為達成目標所需掌握的三項技術。 > 完成以上練習後，將報告與流程圖上傳至雲端（如 Google Drive），並在下一章中與讀者分享。 --- > **小結**：數據科學是一門跨學科的綜合性科學，掌握其歷史脈絡、標準工作流程與職業路徑，是成為優秀數據科學家的第一步。接下來，我們將深入探討數據採集與存儲的技術細節，為你搭建實務操作的基礎。