第二章 基礎：機器學習與深度學習的核心概念

# 第二章 基礎：機器學習與深度學習的核心概念 > **前言** > 本章將從基礎概念說起，逐步建立機器學習（ML）與深度學習（DL）的知識框架，並以實務範例說明其在虛擬演員開發中的實際應用。 ## 2.1 監督式學習（Supervised Learning） ### 2.1.1 定義 監督式學習是指利用帶標籤（label）的資料集，訓練模型以預測新資料的標籤。典型應用：圖像分類、語音辨識、情緒分類等。 ### 2.1.2 核心流程 1. **資料收集**：取得大量實際或合成資料。 2. **資料預處理**：標準化、正則化、增強（augmentation）。 3. **模型選擇**：決策樹、SVM、神經網路等。 4. **損失函數**：MSE、Cross‑Entropy 等。 5. **優化器**：SGD、Adam、RMSprop 等。 6. **訓練**：前向傳播 → 反向傳播 → 更新參數。 7. **驗證**：交叉驗證、留一法。 8. **測試**：最終評估性能。 ### 2.1.3 實務範例：臉部表情分類 python import torch import torch.nn as nn import torchvision.transforms as T from torchvision.datasets import FER2013 # 資料預處理 transform = T.Compose([T.Resize(64), T.ToTensor()]) train_set = FER2013(split='Training', transform=transform) train_loader = torch.utils.data.DataLoader(train_set, batch_size=128, shuffle=True) # 簡單 CNN 模型 class EmotionCNN(nn.Module): def __init__(self): super().__init__() self.features = nn.Sequential( nn.Conv2d(1, 32, 3, padding=1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(32, 64, 3, padding=1), nn.ReLU(), nn.MaxPool2d(2), ) self.classifier = nn.Sequential( nn.Flatten(), nn.Linear(64*16*16, 128), nn.ReLU(), nn.Linear(128, 7) # 7 個表情類別 ) def forward(self, x): return self.classifier(self.features(x)) model = EmotionCNN() criterion = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=1e-3) > **提示**：在虛擬演員的面部表情生成中，這類分類器可用於即時情緒辨識，驅動表情合成引擎。 ## 2.2 非監督式學習（Unsupervised Learning） ### 2.2.1 定義 非監督式學習處理無標籤資料，目標是探索資料內在結構，常見方法：聚類、降維、生成模型。 ### 2.2.2 典型方法 | 方法 | 主要用途 | 代表演算法 | |------|----------|-----------| | 聚類 | 將相似項聚為一組 | K‑Means、DBSCAN | | 降維 | 簡化資料表示 | PCA、t‑SNE、UMAP | | 生成 | 產生新樣本 | VAE、GAN | ### 2.2.3 實務範例：視覺特徵聚類 python from sklearn.cluster import KMeans from sklearn.decomposition import PCA import numpy as np # 假設已經提取 512‑維的特徵向量 features = np.random.randn(5000, 512) # 降維至 50 維 pca = PCA(n_components=50) features_reduced = pca.fit_transform(features) # K‑Means 聚類 kmeans = KMeans(n_clusters=10, random_state=42) labels = kmeans.fit_predict(features_reduced) > **應用**：在虛擬演員的姿勢資料庫管理中，可使用聚類快速找出相似動作，降低編輯成本。 ## 2.3 神經網路結構（Neural Network Architectures） | 類型 | 特色 | 常見應用 | |------|------|-----------| | 前饋網路（Feed‑Forward） | 單向傳遞，無循環 | 基礎分類、回歸 | | 卷積神經網路（CNN） | 針對空間結構 | 圖像、視覺辨識 | | 循環神經網路（RNN） | 時序資料 | 語音、文本 | | Transformer | 自注意力，並行計算 | NLP、視覺‑語言、生成 | ### 2.3.1 Transformer 之核心概念 1. **多頭自注意力（Multi‑Head Self‑Attention）**：同時捕捉不同子空間的依賴。 2. **位置編碼（Positional Encoding）**：補償無序性。 3. **前向傳播網路（Feed‑Forward Network）**：在注意力之後進一步抽象。 4. **Layer Normalization + 殘差連結**：穩定訓練。 #### 代碼示例：簡易 Transformer Encoder python import torch.nn as nn import torch class SimpleTransformer(nn.Module): def __init__(self, d_model=512, nhead=8, num_layers=6): super().__init__() encoder_layer = nn.TransformerEncoderLayer(d_model=d_model, nhead=nhead) self.transformer = nn.TransformerEncoder(encoder_layer, num_layers=num_layers) self.fc = nn.Linear(d_model, 512) def forward(self, src): # src: [seq_len, batch, d_model] out = self.transformer(src) return self.fc(out) # 假設 src 形狀 (seq_len, batch, d_model) src = torch.randn(20, 4, 512) model = SimpleTransformer() out = model(src) print(out.shape) > **在虛擬演員中的角色**：Transformer 被用於語音合成（Tacotron‑2）、字幕生成、甚至姿勢序列預測。 ## 2.4 訓練流程（Training Process） ### 2.4.1 損失函數（Loss Functions） | 類型 | 損失 | 公式 | |------|------|------| | 回歸 | MSE | \( L = \frac{1}{N}\sum_i (y_i - \hat y_i)^2 \) | | 分類 | Cross‑Entropy | \( L = -\sum_i y_i \log \hat y_i \) | | 生成 | KL‑div + MSE | 取決於模型 | ### 2.4.2 優化器（Optimizers） | 優化器 | 主要特性 | 典型學習率 | |--------|----------|-----------| | SGD | 基礎, 需 momentum | 1e‑3 ~ 1e‑1 | | Adam | 自適應學習率, 收斂快 | 1e‑4 ~ 1e‑3 | | RMSprop | 適合 RNN, 防止梯度爆炸 | 1e‑3 ~ 1e‑2 | ### 2.4.3 反向傳播（Back‑Propagation） text 前向傳播 → 計算損失 → 反向傳播 (梯度計算) → 參數更新 > **技巧**：在多 GPU 訓練時，可使用 `torch.distributed` 或 `torch.nn.DataParallel`。 ## 2.5 正則化與模型泛化（Regularization & Generalization） | 技術 | 目的 | 範例 | |------|------|------| | Dropout | 防止過擬合 | `nn.Dropout(p=0.5)` | | L2 正則化 | 控制權重大小 | `optimizer = torch.optim.Adam(params, weight_decay=1e‑5)` | | Early‑Stopping | 停止過度訓練 | 監控驗證損失 | | 資料增強 | 擴充資料集 | `torchvision.transforms.RandomRotation` | > **實務應用**：虛擬演員的聲音合成模型通常需要大量資料，正則化手段能確保生成語音的流暢度與自然度。 ## 2.5 主要概念速覽 | 概念 | 定義 | |------|------| | **特徵（Feature）** | 資料中的輸入向量 | | **標籤（Label）** | 目標輸出 | | **偏差（Bias）** | 模型簡化導致的誤差 | | **方差（Variance）** | 模型對訓練資料的敏感度 | | **過擬合（Overfitting）** | 模型在訓練集表現好，但泛化差 | | **欠擬合（Underfitting）** | 模型表現不佳，無法捕捉關鍵模式 | | **bias‑variance trade‑off** | 平衡過擬合與欠擬合 | ### 2.5.1 訓練技巧 - **學習率調度（Learning‑Rate Scheduler）**：Cosine Annealing、Step‑Decay。 - **梯度裁剪（Gradient Clipping）**：防止梯度爆炸。 - **數據分區**：訓練集、驗證集、測試集。 - **模型壓縮**：Pruning、Knowledge Distillation。 ## 2.6 小結 1. 監督式學習是虛擬演員中情緒辨識、語音語義預測的基礎。 2. 非監督式學習則在姿勢聚類、音頻特徵分析等資料管理領域發揮關鍵。 3. 神經網路架構（CNN、RNN、Transformer）提供了多樣的功能模塊，能分別處理影像、時序、語音及生成任務。 4. 訓練流程的每一步都需細緻調整，才能確保模型在實際部署時既準確又穩定。 > **延伸閱讀**：第三章將深入探討深度學習模型在虛擬演員中的實際構建與部署技巧。