第3章 生成式 AI 與臉部表情合成

# 第3章 生成式 AI 與臉部表情合成 ## 3.1 生成式 AI 的基本概念 生成式 AI（Generative AI）是一類能從大量數據中學習分佈並產生新樣本的模型。對於虛擬演員而言，表情合成是建立可信度的關鍵——微表情、情緒變化甚至語音同步都需要自然、流暢的面部動作。 | 類型 | 代表模型 | 主要優缺點 | 典型應用 |------|----------|-------------|----------- | GAN（Generative Adversarial Network） | StyleGAN2, FOMM | 高分辨率生成，易出現模式崩潰 | 高品質臉部圖片、表情插值 | VAE（Variational AutoEncoder） | FaceVAE | 可解釋 latent space，生成多樣性較低 | 表情重建、特徵解耦 | Diffusion Model | DALL‑E 2, Stable Diffusion | 收斂緩慢但生成多樣、可控 | 針對特定情緒或場景的表情生成 > **實務提示**：在面部表情領域，GAN 以其高解析度生成而受到青睞；而 VAE 在需要可調節 latent 參數（如情緒強度）時更具優勢。Diffusion 模型則適合在需要極高多樣性或特定風格控制的情境。 ## 3.2 生成式模型的訓練流程 ### 3.2.1 資料集構建 1. **來源多樣化**：結合公開資料集（如 \[[300W-LP](https://ai.vision/300W-LP)\]、\[[FER‑2013](http://mmlab.ie.cuhk.edu.hk/projects/FER2013.html)\]）與自建資料（自動化拍攝、動態捕捉）。 2. **標記**：使用 `OpenFace` 或 `Face++` 進行面部關鍵點與情緒標記。 3. **前處理**：對圖像做尺寸統一（256×256）、對齊與標準化。 4. **增強**：利用隨機翻轉、色彩 jitter、光照變換等手段擴充資料量。 ### 3.2.2 模型選擇 | 任務 | 建議模型 | 主要參數 | 推論速度 | |------|----------|----------|----------| | 表情插值 | StyleGAN2 | 512×512 | 30‑40 FPS (RTX 3090) | | 表情重建 | FaceVAE | 128×128 | 80‑100 FPS (CPU) | | 情緒控制 | Stable Diffusion | 512×512 | 5‑10 FPS (GPU) | > **註**：在實時應用（如直播）中，建議選擇 VAE 或小型 Diffusion（如 `Stable Diffusion Lite`）。 ### 3.2.3 訓練策略 python # 以 StyleGAN2 為例 import torch from torch import nn from stylegan2 import Generator, Discriminator # 1. 資料載入 train_loader = DataLoader(dataset, batch_size=8, shuffle=True) # 2. 建模 G = Generator().cuda() D = Discriminator().cuda() # 3. 優化器 optimizer_G = torch.optim.Adam(G.parameters(), lr=1e-4, betas=(0.5, 0.9)) optimizer_D = torch.optim.Adam(D.parameters(), lr=1e-4, betas=(0.5, 0.9)) # 4. 訓練迴圈 for epoch in range(epochs): for real_imgs, _ in train_loader: real_imgs = real_imgs.cuda() # 生成假圖 z = torch.randn(real_imgs.size(0), 512).cuda() fake_imgs = G(z) # 判別器損失 loss_D = -torch.mean(D(real_imgs)) + torch.mean(D(fake_imgs.detach())) optimizer_D.zero_grad(); loss_D.backward(); optimizer_D.step() # 生成器損失 loss_G = -torch.mean(D(fake_imgs)) optimizer_G.zero_grad(); loss_G.backward(); optimizer_G.step() > **注意**：在大尺寸訓練時，使用 `Mixed Precision`（`torch.cuda.amp`）可顯著提升速度並降低 VRAM。 ## 3.3 表情合成的評估指標 | 指標 | 定義 | 典型範圍 | |------|------|----------| | FID（Fréchet Inception Distance） | 生成圖像與真實圖像分佈差異 | < 20 為較好 | | SSIM | 兩張圖像結構相似度 | 0.85+ | | Emotion Accuracy | 情緒分類正確率 | 90%+ | | Realism Score | 人工評估人類眼睛的真實感 | 4/5+ | > **實務建議**：為了兼顧速度與品質，建議在開發階段使用 SSIM + Emotion Accuracy；在正式版發佈前再以 FID 進行一次最後調整。 ## 3.4 微表情與動態捕捉的結合 1. **微表情提取**：利用 `OpenFace` 或 `DeepFace` 提取 68 點面部關鍵點，計算 `Action Units (AU)`。 2. **時間序列建模**：採用 `Temporal Convolution Network (TCN)` 或 `GRU`，將 AU 序列映射至生成模型的 latent 空間。 3. **動態插值**：在實時渲染時，使用 `Linear Interpolation` 或 `Spline` 在相鄰兩幀之間平滑過渡。 ### 3.4.1 代碼示例 python import numpy as np from torch.nn import GRU # 假設 AU 序列為 (seq_len, batch, feature) au_seq = torch.randn(16, 1, 12).cuda() # 12 AU gru = GRU(input_size=12, hidden_size=64, num_layers=2, batch_first=True).cuda() hidden, _ = gru(au_seq) latent = hidden[:, -1, :] # 最後時間步的隱藏層作為 latent > **提示**：微表情通常需要 30‑60 FPS 的更新頻率，建議將 `GRU` 設為單層且 `hidden_size` ≤ 64，保持推論低延遲。 ## 3.5 控制微調與風格移植 | 技術 | 如何控制 | 典型參數 | |------|-----------|----------| | Latent Code Manipulation | 直接調整 latent 係數 | 0.1–1.0 | | Class‑Conditional Conditioning | 追加情緒向量 | 0‑1 | | Prompt Engineering (Diffusion) | 文字提示 | `"smiling", "sad"` | | Attribute VAE | 先編碼再重構 | 12 AU | > **實務案例**：在 3D 面部動畫中，我們往往將 AU 值直接映射至 `Blendshape` 的權重。通過對 latent 空間做線性插值，可在不同情緒之間得到自然過渡，例如從「愉快」到「驚訝」的表情切換。 ## 3.5 結合多模態訊號提升表情真實感 | 模態 | 整合方式 | 主要效益 | |------|----------|----------| | 文字 | CLIP + Diffusion | 風格一致性 | | 音訊 | `Wav2Lip` + AU | 同步微表情 | | 3D 表面 | `Blendshape` + VAE | 動態貼圖 | > **建議**：在高負荷直播場景，使用 `Wav2Lip` 先預先對音訊做表情預測，再將結果輸入到 VAE，從而保持 30‑50 FPS 的渲染。 ## 3.6 小結 1. **模型選擇**：GAN 以高分辨率為主，VAE 以可控 latent 空間為優勢，Diffusion 則適合高多樣性需求。 2. **資料處理**：多樣化、標記化、增強化是提升表情質量的關鍵。 3. **評估**：SSIM + Emotion Accuracy 能在開發階段快速篩查問題，FID 為最終品質保證。 4. **實時應用**：微表情提取 + 時間序列模型 + 緩衝插值，能在 30‑60 FPS 下實現自然表情。 > **下一步**：本章所述生成式模型將在第4章的「面部動作驅動」中與 3D 骨架動作同步，進一步打造完整的面部表情合成管道。