第一章：從資料的種子到決策的種植園

# 第一章：從資料的種子到決策的種植園 > **「資料是土壤，決策是種子，洞見是收成。」** 在這個資料爆炸的時代，決策者、產品經理與分析師往往被無數數字與圖表包圍，卻很難把它們化成可行的行動。這一章的目的是把「資料科學」拆解成一棵有機的植物，從根部的採集到枝葉的模型，最後收穫可落地的決策。讓我們先從最基礎的一步開始：**建立一個可重複、可擴充的資料科學工作環境**。 --- ## 1.1 什麼是「系統化資料科學」？ - **系統化**：把資料科學流程拆成可拆分、可測試、可回溯的模塊。 - **從資料到決策**：強調結果的實務落地，不能僅停留在模型數字。 - **實務與理論結合**：在每一步都配合理論說明，避免「只會寫程式不懂原理」的困境。 > **實例**：一個電商平台想預測新上架商品的銷售量。若只用一個模型跑完就直接投入，可能因為資料不完整或變化未被捕捉而失效。系統化流程能讓你隨時檢視「資料質量」「特徵選取」等關鍵環節。 ## 1.2 建立工作環境：從「筆記本」到「流水線」 ### 1.2.1 版本控制：Git 與 GitHub - **建立倉庫**：`git init` → `git add .` → `git commit -m "initial commit"`。 - **分支管理**：`develop`、`feature/*`、`hotfix/*`。 - **拉取請求**：Code Review 促進知識分享。 > **技巧**：用 `.gitignore` 排除大型數據檔案，避免倉庫膨脹。 ### 1.2.2 數據存儲：資料湖 vs 數據倉 - **資料湖**：原始資料可直接存放，格式多樣。 - **資料倉**：經過清洗、整合後的結構化資料，方便 SQL 查詢。 > **工具**：Amazon S3、Google Cloud Storage、Snowflake、BigQuery。 ### 1.2.3 虛擬環境：Conda / Pipenv - **Conda**：適合多語言、依賴複雜的專案。 - **Pipenv**：輕量、以 `Pipfile` 管理。 ```bash # 建立 Conda 環境 conda create -n ds_env python=3.11 conda activate ds_env # 安裝常用套件 pip install pandas numpy scipy scikit-learn matplotlib seaborn ``` ## 1.3 需求澄清：從問題到 KPI - **問題定義**：`為什麼你要預測？`、`預測值要如何被使用？`。 - **KPI 指標**：預測準確度、營收提升、客戶滿意度。 - **資料可得性**：目前可用資料是否能支撐 KPI？若不足，需如何補齊？ > **案例**：一家零售商想提升「缺貨率」的預測。經討論，KPI 不是單純的 RMSE，而是「缺貨造成的營收損失」。 ## 1.4 資料採集：從原始到可用 | 步驟 | 描述 | 重要點 | |------|------|--------| | 1. 原始資料提取 | 從 API、資料庫、檔案匯入 | 使用 `requests`、`pandas.read_sql` | | 2. 資料質量檢查 | 缺失值、異常值、重複 | `pandas.isnull()`, `drop_duplicates()` | | 3. 資料清洗 | 格式化、類型轉換 | `astype()`, `pd.to_datetime()` | | 4. 資料整合 | 多表關聯、合併 | `merge()`, `concat()` | > **範例**：將「銷售紀錄」與「產品資訊」透過 `product_id` 進行 `inner join`。 ## 1.5 資料探索與可視化：先看一眼再決策 ### 1.5.1 描述統計 ```python import pandas as pd import seaborn as sns import matplotlib.pyplot as plt df = pd.read_csv('sales.csv') print(df.describe()) ``` ### 1.5.2 分佈圖 ```python sns.histplot(df['sales_amount'], kde=True) plt.title('銷售金額分佈') plt.show() ``` > **心得**：在預測前先瞭解資料的基礎分布，有助於選擇合適的特徵轉換。 ## 1.6 設計實驗：從「想法」到「可測量」 - **A/B 測試**：比較新模型 vs 現行模型。 - **時間序列拆分**：保證「未來」資料不被「未來」資訊污染。 - **交叉驗證**：K‑fold、TimeSeriesSplit。 > **技巧**：使用 `sklearn.model_selection.TimeSeriesSplit` 來處理時間序列資料。 ## 1.7 小結：從「資料種子」到「實務種植」的橋樑 1. **建立可重複環境**：版本控制、虛擬環境、資料存儲。 2. **明確問題與 KPI**：不被「數字」迷惑，回歸業務價值。 3. **系統化資料採集**：資料質量、整合、清洗。 4. **探索式分析**：先看再做，避免偏見。 5. **實驗設計**：確保結果可驗證、可落地。 > **一句話提醒**：資料科學不是單打獨鬥，而是**流程**。只有把每一步拆解、標準化，才能在繁雜的資料海洋中，持續耕耘並收穫可落地的成果。 --- **下一章將深入「特徵工程」——將資料變成模型的語言，讓我們一起探索如何將「原始」的數字轉化為「可解讀」的特徵。**