第一章：從原始市場數據說起 — 資料驅動投資的起點

--- ## 一、為什麼要用資料科學來做投資？ 在傳統投資領域，投資者往往依賴基本面分析、技術圖形以及市場情緒判斷。雖然這些方法在過去幾十年中獲得了不少成功案例，但它們同時面臨著人為主觀、反應慢、難以量化風險等問題。隨著資料量的爆炸性增長，**資料科學**（Data Science）和**機器學習**（Machine Learning）提供了全新的工具箱，使我們能夠把龐大、雜亂的市場資料轉化為可操作的訊號。 > **開放性（Openness）**：在本書中，我們將打破傳統框架，嘗試把金融市場視作一個複雜系統，探索不同資料來源（如期貨、ETF、公司財報、宏觀經濟指標、甚至社群媒體）如何交互影響。 > > **盡責性（Conscientiousness）**：資料驅動投資並非一蹴而就。每一步都需細緻審視、反覆驗證，從數據收集到模型評估，過程中的每一次實驗都被記錄並回溯。 ## 二、數據的起源：從行情到非結構化訊息 ### 2.1 行情資料：時間序列的核心 - **行情（OHLCV）**：開盤、最高、最低、收盤價格，以及成交量。這是最基本、最穩定的資料類型。 - **Tick 資料**：每一次成交或報價更新，提供更高頻率的訊息，適合高頻交易模型。 - **期權、債券、基金的衍生資料**：隱含波動率、利率曲線等。 ### 2.2 結構化財務資料 - **公司財報**：營收、毛利、資產負債表、現金流量表。透過定期更新，反映企業基本面的變化。 - **行業指標**：如製造業 PMI、零售業銷售指數，提供宏觀脈絡。 ### 2.3 非結構化訊息 - **新聞標題與內容**：利用自然語言處理（NLP）提取情感、關鍵字。 - **社群媒體（Twitter、LinkedIn）**：投資者情緒、影響力人物聲明。 - **公司公告、會議紀錄**：透過文字挖掘關鍵事件。 > **外向性（Extraversion）**：在此章中，我們會穿插多位業界專家、開源社群的實務案例，讓讀者感受真實世界的多元交流。 ## 三、數據質量的基石：清洗與預處理 1. **缺失值處理**：對於時間序列，常用向前/向後填補；對於財報，則需考慮季節性調整或重估。 2. **異常值偵測**：利用統計檢定（如 Z‑score）或機器學習（Isolation Forest）識別市場異常波動。 3. **時間同步**：不同資料來源的時間戳可能存在偏差，需對齊到同一頻率（日、週、月）。 4. **標準化與正則化**：為了避免某些特徵因尺度不同而主導模型，使用 Min‑Max、Z‑score 或 Robust Scaler。 5. **資料去重**：防止同一交易日被重複計算。 > **神經質（Neuroticism）**：面對數據品質問題，我們鼓勵讀者保持冷靜、系統性思考；不要因一次錯誤就放棄整個流程。 ## 四、特徵工程：把訊息轉化為可解讀的特徵 - **技術指標**：移動平均線、相對強弱指標（RSI）、布林帶、MACD 等。 - **宏觀因子**：GDP 成長率、失業率、利率變動。 - **事件因子**：股利發放、合併收購、政策變動。 - **情感因子**：新聞情緒分數、社群媒體情緒指標。 > **開放性**：在特徵設計中，我們不拘泥於傳統指標，鼓勵讀者嘗試創新的特徵（如「市場波動與新聞情緒的交互作用」）。 ## 五、模型構建的哲學：從簡單到複雜 1. **基礎模型**：線性回歸、邏輯斯迴歸。適合檢驗特徵與目標變數之間的線性關係。 2. **樹模型**：決策樹、隨機森林、XGBoost。能處理非線性、交互作用。 3. **深度學習**：LSTM、Transformer，特別適合長序列預測。 4. **模型評估**：使用交叉驗證、滑動窗口驗證，確保模型在不同市場環境下都具備穩健性。 > **盡責性**：在每一步模型選擇前，必須對特徵的重要性、模型複雜度、可解釋性做全面評估。 ## 六、案例示範：從股價數據到簡易預測模型 > 下面以 **台積電 (TSMC)** 的日股價為例，說明從資料取得、清洗、特徵工程到模型訓練的完整流程。 > > 1. **資料取得**：使用 Yahoo Finance API 下載 2018‑2023 的日收盤價、成交量。 > 2. **清洗**：填補缺失值，剔除交易日外的假日。 > 3. **特徵工程**：計算 20 日與 50 日移動平均差、RSI、成交量變化率。 > 4. **模型訓練**：用隨機森林預測下週的股價走勢，並使用交叉驗證評估。 > 5. **驗證**：計算 MAE、RMSE，並在實際市場測試。 > > 這個案例雖簡單，但已涵蓋本書後續章節所需的所有核心概念。 ## 七、從資料到決策：思維框架與流程圖 > 在本章結尾，我們提供一份**資料驅動投資流程圖**，總結了從資料收集、清洗、特徵工程、模型訓練、驗證到策略執行的完整流程。 > >  > > **重點**：每一步都應該有 **假設驗證**、**回溯檢查**與 **風險控制**，才能真正把資料轉化為可執行的投資信號。 --- > **結語**： > 本章為你搭建了資料驅動投資的基礎架構。下一章，我們將深入 **資料清洗** 的技術細節，學習如何自動化處理缺失值、異常值，並確保資料的一致性與可用性。 > > 歡迎跟隨我一起，在數據的海洋中尋找投資的寶藏！