第 2 章 人工智慧基礎：機器學習與深度學習

# 第 2 章 人工智慧基礎：機器學習與深度學習 在虛擬演員的世界裡，人工智慧（Artificial Intelligence, AI）是所有智慧化表現的核心。無論是角色行為的自動生成、情緒表現的動態調整，還是語音合成與自然對話的即時互動，都離不開機器學習（Machine Learning, ML）與深度學習（Deep Learning, DL）的技術支持。本章將帶你從概念入手，深入探討 AI 的核心演算法、模型訓練流程與性能評估，並結合實際案例說明其在虛擬演員中的應用。 --- ## 2.1 機器學習概念與分類 ### 2.1.1 定義 > **機器學習**：讓電腦在無需明確編程的情況下，透過資料學習模式並進行預測或決策的技術。 ### 2.1.2 類型 | 類型 | 描述 | 典型演算法 | 應用場景 | |------|------|-----------|----------| | **監督式學習** | 標註資料集做為訓練樣本，學習輸入→輸出映射 | 線性回歸、支持向量機（SVM）、決策樹 | 影像分類、聲音辨識 | | **非監督式學習** | 無標註資料，尋找內在結構 | K‑means、主成分分析（PCA） | 風格轉換、資料降維 | | **強化學習** | 透過環境回饋學習最佳策略 | Q‑learning、深度 Q‑網路（DQN） | 遊戲 AI、行為規劃 | | **半監督式/自監督式學習** | 部分標註或自我生成標註 | 自編碼器、BERT | 語言模型、對話系統 | ### 2.1.3 為何選擇 ML？ 1. **可擴充性**：隨著資料量增大，模型性能可逐步提升。 2. **彈性**：可對多種輸入格式（影像、音訊、文本）進行統一處理。 3. **自動化**：降低人工標註成本，快速迭代。 --- ## 2.2 深度學習：深層網路的力量 ### 2.2.1 何謂深度學習？ > **深度學習**：使用多層人工神經網路（ANN）對資料進行層次化抽象的 ML 技術。核心在於「多層非線性變換」能自動學習高階特徵。 ### 2.2.2 重要架構 | 架構 | 主要用途 | 代表模型 | |------|-----------|-----------| | **卷積神經網路（CNN）** | 影像、視頻處理 | AlexNet、ResNet、EfficientNet | | **循環神經網路（RNN）** | 序列資料（時間序列、語音） | LSTM、GRU | | **Transformer** | 大規模文本與多模態 | BERT、GPT、ViT | | **生成對抗網路（GAN）** | 影像合成、風格轉換 | DCGAN、StyleGAN | ### 2.2.3 為什麼 DL 在虛擬演員中不可或缺？ 1. **逼真度提升**：GAN 可生成高解析度的臉部表情與動作。 2. **情緒理解**：Transformer 可處理長文本與對話語境，提升情感同步。 3. **多模態融合**：Vision‑Transformer + Speech‑Transformer 能同時解讀影像與音訊，實現自然互動。 --- ## 2.3 模型訓練流程 以下以**影像到語音的虛擬演員**為例，說明完整訓練流程。 ```mermaid flowchart TD A[資料收集] --> B[資料清洗] B --> C[特徵工程] C --> D[資料分割] D --> E[模型設計] E --> F[訓練] F --> G[驗證] G --> H[測試] H --> I[部署] ``` | 步驟 | 主要任務 | 工具/框架 | |------|----------|-------------| | **資料收集** | 影像、動作捕捉、聲音、對話腳本 | Unity Recorder、OptiTrack、Azure Speech | | **資料清洗** | 去除噪音、標記對齊 | OpenCV、ffmpeg | | **特徵工程** | 提取姿勢、口型、音頻 MFCC | PyTorch, TensorFlow, librosa | | **資料分割** | Train / Val / Test | scikit‑learn | | **模型設計** | CNN + Transformer + GAN | PyTorch Lightning | | **訓練** | 多 GPU / TPU 加速 | NVIDIA DGX, Google TPU | | **驗證** | 精度、失真度評估 | TensorBoard, Weights & Biases | | **測試** | 真實場景評估 | Unreal Engine | | **部署** | 雲端推理 + 端點安全 | AWS SageMaker, Azure ML | ``` ### 2.3.1 超參數優化 | 超參數 | 影響 | 調整方法 | |--------|------|------------| | 學習率 | 收斂速度 | Learning Rate Scheduler (Cosine Annealing) | | 批次大小 | 記憶體使用 | Batch Size Tuning, Mixed Precision | | 層數 | 表示力 | Network Depth Search | | Dropout | 避免過擬合 | Dropout Rate Search | ### 2.3.2 性能評估指標 | 指標 | 定義 | 用途 | |------|------|------| | **MSE** | 均方誤差 | 影像重建 | | **PSNR** | 峰值信噪比 | 影像品質 | | **BLEU** | 文本相似度 | 文字翻譯 | | **WER** | 詞錯誤率 | 語音識別 | | **F1‑score** | 平衡精準度與召回率 | 分類 | | **SNR** | 信噪比 | 聲音品質 | --- ## 2.4 AI 模型在虛擬演員中的典型案例 ### 2.4.1 風格化臉部表情生成 > **StyleGAN2‑ADA** 能在缺乏大量標註臉部表情資料時，自動學習並生成符合目標風格的表情。利用**對抗損失**，模型學會捕捉微妙的皺紋與肌肉動態。 ```python # StyleGAN2‑ADA 生成示例 import torch from stylegan2_pytorch import Generator # 載入預訓練模型 G = Generator(512, 512, 8, channels=3, lr=0.001).to('cuda') # 產生表情 z = torch.randn(1, 512).to('cuda') image = G(z) ``` ### 2.4.2 口型同步（Lip‑Sync） > 利用**音頻到視訊**的 **Vocoder** + **GAN** 結合，可實時同步口型與語音。典型工作流程： 1. 解析語音訊號 → 生成 **Mouth‑Viseme** 序列。 2. 將 Viseme 序列輸入 **Viseme‑GAN** 生成臉部動畫。 3. 透過 **GAN‑Discriminator** 進行即時品質檢驗。 ### 2.4.3 強化學習在行為決策中的應用 | 任務 | 目標 | 主要演算法 | |------|------|-------------| | 遊戲角色互動 | 最大化玩家滿意度 | Proximal Policy Optimization (PPO) | | 影片剪輯自動化 | 剪輯節奏與情緒同步 | A3C + Attention | | 社交對話 | 自然交互 | DDPG + Dialogue State Tracking | --- ## 2.4 AI 技術挑戰與未來方向 1. **資料隱私**：面對敏感臉部資料，需實施 Federated Learning / Differential Privacy。 2. **可解釋性**：在高規模生成任務中，解釋模型決策仍是研究熱點。 3. **跨域適配**：從遊戲引擎到實際電影剪輯，需要解決「域偏移」問題。 4. **多模態協同**：探索 **CLIP‑style** 模型在影像‑文本‑音訊同步中的潛力。 --- ## 2.5 小結 - **機器學習** 為虛擬演員提供可擴充、彈性化的資料驅動框架。 - **深度學習** 在逼真度、情緒理解與多模態融合方面發揮關鍵作用。 - 模型訓練的完整流程與性能評估指標能確保虛擬演員在各個層面都達到高品質、低失真。 - 未來 AI 技術將更加注重隱私保護、可解釋性與跨域適配，進一步推動虛擬演員的實時互動與沉浸體驗。 --- > **閱讀建議**：若想深入瞭解某個特定模型（如 GPT‑4 的對話生成），請參考「第 3 章 資料收集」中的資料標註與「第 5 章 深度學習模型部署」中的實時推理設計。