第四章 動作捕捉與情感表達

# 第四章 動作捕捉與情感表達 本章聚焦於將虛擬偶像的「身體」與「情感」搬上舞台的核心技術——動作捕捉（Mocap）與表情驅動。從硬體選型、資料清洗、骨架 / 表情映射，到與即時渲染管線的整合，我們將提供完整的工作流程、實作範例與最佳實踐，協助讀者在不同規模與預算下，建立自然且具感染力的舞台表演。 --- ## 4.1 動作捕捉概述 | 項目 | 說明 | |------|------| | **定義** | 透過感測裝置即時取得人體或虛擬角色關節、姿態、表情等空間資訊，並以資料流方式輸出至動畫或即時渲染系統。 | | **目的** | - 重建真實動作，使虛擬偶像呈現自然的肢體語言。<br>- 捕捉微表情，增強情感傳達的細膩度。 | | **主要類型** | 1. **光學系統**（Marker‑Based / Marker‑less）<br>2. **慣性系統**（IMU）<br>3. **混合系統**（OptiTrack + IMU） | > **小提醒**：選型時不僅要考慮捕捉精度，亦需衡量佈建成本、工作空間限制與後製工作量。 --- ## 4.2 光學動作捕捉系統 ### 4.2.1 Marker‑Based 光學系統 - **代表品牌**：Vicon, OptiTrack, Qualisys - **核心原理**：多相機同時拍攝貼有反光標記的演員，使用三角測量重建 3D 標記座標。 - **優點** - 極高的空間精度（< 1 mm） - 大規模捕捉（可同時追蹤多位演員） - **缺點** - 需要大量相機與校正工作 - 標記易受光線、服裝遮蔽影響 #### 常見工作流程 mermaid flowchart TD A[相機部署] --> B[校正 (Calibration)] --> C[標記貼附] --> D[實時捕捉] --> E[資料輸出 (MOCAP file)] --> F[清洗與重建] --> G[骨架綁定] ### 4.2.2 Marker‑less 光學系統 - **代表品牌**：Rokoko Studio, Adobe Mixamo, Deep Motion - **核心原理**：利用 AI 影像偵測人體關鍵點，無需實體標記。 - **優點** - 部署速度快，成本較低 - 適合小型工作室與快速原型開發 - **缺點** - 精度較標記式差（約 2‑5 cm） - 在快速動作或多演員場景中易產生遮擋錯誤 > **實務建議**：在預算有限且需求以「表情」與「中速動作」為主時，可先採用 Marker‑less，之後再以混合方式補足高精度需求。 --- ## 4.3 慣性動作捕捉系統（IMU） - **代表品牌**：Xsens, Perception Neuron, Rokoko Smartsuit Pro - **核心原理**：在演員身上佩戴慣性測量單元（加速度計、陀螺儀、磁力計），透過感測器融合演算計算關節角度。 - **優點** - 無需外部相機，適用於戶外或受限空間。 - 較低的硬體成本與快速部署。 - **缺點** - 積累誤差（Drift）需要定期校正。 - 相對較難捕捉細緻的指尖或面部動作。 ### 4.3.1 常見校正技巧 1. **T‑Pose 校正**：在每次錄製前讓演員保持 T‑Pose，以校正全身關節基礎姿態。 2. **磁場校正**：利用軟體提供的磁場校正向導，減少磁干擾帶來的偏差。 3. **Hybrid Fusion**：將 IMU 與光學系統結合，利用光學提供全局參考，IMU 補足局部高速動作。 --- ## 4.4 表情捕捉與情感驅動 ### 4.4.1 主要技術路線 | 方法 | 硬體需求 | 精度 | 常見使用情境 | |------|----------|------|--------------| | **光學臉部標記**（Marker‑Based） | 高速相機 + 面部標記 | 高（<0.5 mm） | 高端電視節目、電影級人物 | | **Marker‑less 臉部追蹤**（Vision‑Based） | 單/雙攝像頭（WebCam） | 中（2‑3 mm） | 直播、手機AR | | **深度感測**（Depth Camera） | RealSense, Azure Kinect | 高（<1 mm） | 虛擬偶像在舞台/VR 中的即時互動 | | **混合式（Hybrid）** | 結合上述任兩種 | 最高 | 大型演唱會、沉浸式秀 | ### 4.4.2 表情驅動模型（Blendshape / Facial Rig） 1. **Blendshape（形狀混合）** - 以 3D 建模軟體（Maya、Blender）製作 50‑70 個基礎表情（眉毛上揚、嘴角上揚等）。 - 每個表情對應一個 **weight**，在實時渲染時透過滑桿或數值輸入混合。 2. **骨骼驅動（Bone‑Based）** - 使用臉部骨骼結構，較適合低多邊形或手機端模型。 3. **Hybrid（Blendshape + Bone）** - 常見於高品質實時角色，骨骼負責大範圍變形，Blendshape 精細調整。 > **實務技巧**：在 Unity 中可使用 **SkinnedMeshRenderer** 的 `SetBlendShapeWeight` 方法；在 Unreal 則透過 **Morph Target** 系統。 --- ## 4.5 動作與表情資料的清洗與後製 ### 4.5.1 常見雜訊來源 - **標記遮擋**：導致瞬間斷點。 - **IMU 漂移**：長時間錄製累積誤差。 - **光學抖動**：相機同步問題。 - **面部追蹤失敗**：光線、髮型遮擋。 ### 4.5.2 清洗流程（示意圖） mermaid flowchart LR A[原始 Mocap Data] --> B{去除斷點} B -->|插值| C[平滑化 (Spline / Kalman Filter)] C --> D[座標系統對齊 (Root Motion)] D --> E[重新取樣 (Retarget to Target Rig)] E --> F[輸出 FBX / BVH] #### 4.5.3 常用工具與腳本 - **MotionBuilder**：專業清洗與重定向工具。 - **Unity Animation Rigging**：開源套件，可在 Unity 內即時做骨架映射與過濾。 - **Python + NumPy**：自訂腳本示例（簡易卡爾曼濾波） python import numpy as np def kalman_filter(data, q=0.01, r=0.1): n = len(data) x_hat = np.zeros(n) p = np.zeros(n) k = np.zeros(n) x_hat[0] = data[0] p[0] = 1.0 for i in range(1, n): # Predict x_pred = x_hat[i-1] p_pred = p[i-1] + q # Update k[i] = p_pred / (p_pred + r) x_hat[i] = x_pred + k[i] * (data[i] - x_pred) p[i] = (1 - k[i]) * p_pred return x_hat --- ## 4.6 骨架映射（Retargeting） ### 4.6.1 為何需要 Retarget? - 捕捉系統與最終虛擬偶像的骨架結構往往不同（例如：Vicon 為 31 骨，Unity 標準 Humanoid 為 27 骨）。 - 正確映射保證動作在不同角色間保持比例與節奏。 ### 4.6.2 常見平台支援 | 引擎 | 支援方式 | |------|----------| | **Unity** | `Avatar` 設定 → **Humanoid** → Auto‑Map / 手動調整。 | **Unreal** | **LiveLink** + **Retarget Manager**，可將來源骨架映射至目標 Skeleton Asset。 | **MotionBuilder** | **Character Definition** → **Retargeting Options**。 ### 4.6.3 實作小技巧 1. **根骨對齊**：將源骨根（Root）和目標骨根對齊，以免出現滑移。 2. **比例校正**：使用 **Scale** 參數將手臂、腿部長度匹配。 3. **關節限制（Joint Limits）**：在目標骨架加入合理的限制，避免不可能的扭曲。 --- ## 4.7 即時動作驅動流程（Live Pipeline） mermaid flowchart TB A[動作捕捉硬體] --> B[Live Link / SDK] --> C[網路傳輸 (OSC / UDP)] --> D[即時轉換 (Mocap → Rig)] --> E[渲染引擎 (Unity/Unreal)] --> F[虛擬偶像表演] ### 4.7.1 關鍵組件說明 - **Live Link (Unreal)** / **Unity Marmoset/OSC**：把捕捉資料以低延遲方式送入引擎。 - **網路協定**：OSC（Open Sound Control）廣泛用於跨平台；UDP 更低延遲但無保證交付。 - **資料轉換**：在 Unity 中可使用 **Animation Rigging** Package 的 “Mocap Constraints”；在 Unreal 則使用 **Live Link Pose** node。 ### 4.7.2 延遲控制 | 項目 | 目標延遲 | 常見瓶頸 | 最佳化方法 | |------|----------|----------|-------------| | 捕捉硬體 | 5‑10 ms | 感測器讀取速率 | 選擇 120 Hz+ 的裝置 | | 資料傳輸 | 10‑15 ms | 網路抖動 | 使用局域網 (LAN) 並固定頻寬 | | 引擎處理 | 10‑20 ms | 骨架映射計算 | 預先建立映射表，僅更新權重 | | 整體 | ≤ 40 ms | 任何單點過高 | 整體測試 → 多執行緒分工 | --- ## 4.8 情感表達的增強技術 ### 4.8.1 AI 驅動表情推理 - **模型**：OpenFace、DeepFaceLive、Faceware AI。利用卷積神經網路從少量影片自動生成 **Blendshape** 權重序列。 - **工作流程**： 1. 收集演員語音或腳本。 2. 使用 **TTS + Emotion Prompt** 產生情感語音。 3. 以 **Audio‑Driven Facial Animation**（如 *RVC‑Facial*）自動產生表情曲線。 ### 4.8.2 身體語言與情感同步 | 情感 | 建議的身體動作 | 參考資源 | |------|----------------|----------| | 喜悅 | 手臂上揚、快速踏步 | 《Animation Principles》 Chap. 7 | | 憂鬱 | 身體前傾、緩慢擺動 | Motion Capture Library – “Sad Walk” | | 憤怒 | 皺眉、胸部前突、拳頭緊握 | UE4 **Emotion Blueprint** 範例 | > **實務技巧**：使用 **Animator** 的 **Parameters**（Bool/Int/Float）作為情感狀態的觸發器，並在 **State Machine** 中切換對應的動畫層。 --- ## 4.9 案例研討：從捕捉到直播的完整流程 ### 4.9.1 案例概述 – 「星瀾」 - **硬體**：OptiTrack（8 台相機）＋ Rokoko Smartsuit（全身 IMU）＋ iPhone 13 Pro（Marker‑less 臉部） - **軟體棧**：MotionBuilder → Unity (URP) → Live Link → OBS + NDI - **流程**： 1. **預備**：T‑Pose 校正 → 相機校正 → 標記貼布 2. **實時捕捉**：Live Link 以 120 Hz 輸出全身姿態；iPhone 以 ARKit 輸出 60 Hz 臉部 Blendshape。 3. **資料合併**：Unity 中的 `MocapProcessor` 跨頻率融合，使用 **Kalman Filter** 平滑。 4. **驅動**：Blendshape 權重直接映射至角色面部，骨架驅動角色全身。 5. **渲染**：URP + Shader Graph，加入實時光照與眼球追蹤效果。 6. **直播**：使用 OBS 捕捉 Unity 輸出，透過 NDI 傳送至 YouTube Live，最終延遲 < 0.5 秒。 ### 4.9.2 成功關鍵 - **混合式捕捉**：光學提供高精度全身，IMU 補足高速手部動作，ARKit 完成表情。 - **自動化管線**：腳本化的校正與映射，讓每次演出只需 5 分鐘的設定時間。 - **效能優化**：在 URP 中使用 **GPU Instancing** 與 **LOD**，在手機觀眾端保持 60 fps。 --- ## 4.10 常見問題與故障排除 | 問題 | 可能原因 | 建議解決方案 | |------|----------|--------------| | **姿態斷斷續續** | 標記遮擋或相機同步失敗 | 檢查相機遮光、使用 **Marker‑less** 補位；重新校正相機時序。 | | **臉部表情卡頓** | ARKit 帧率下降或光線不足 | 改用雙鏡頭模式、提高環境光或升級至 iPhone Pro 系列。 | | **IMU 漂移** | 長時間錄製未校正 | 每 10‑15 分鐘執行一次 **T‑Pose** 重校；使用 **Fusion Filters**（e.g., Madgwick）代替簡單積分。 | | **延遲 > 100 ms** | 網路瓶頸或 Live Link 設定不當 | 使用有線 LAN、調整 **Packet Size**、在引擎端關閉 **Interpolation**，僅保留原始數據。 | --- ## 4.11 小結 - **光學 vs 慣性**：光學提供最高精度，慣性適合移動環境；混合使用可彌補各自缺陷。 - **表情捕捉**：從 Marker‑Based 到 AI‑Driven，根據預算與需求選擇最合適的技術路線。 - **資料清洗**：斷點插值、卡爾曼濾波與 Retargeting 是確保最終動畫自然的關鍵步驟。 - **即時管線**：Live Link + 標準化骨架（Humanoid / UE Skeleton）是直播與線上互動的核心架構。 - **情感同步**：結合身體語言與 AI‑驅動表情，讓虛擬偶像在舞台上不只是「動」起來，更能「感」動觀眾。 掌握上述技術與最佳實踐，讀者即可從「捕捉」到「表演」全流程打造出具備高度沉浸感與情感深度的虛擬偶像，為後續的粉絲經營與商業變現奠定強而有力的基礎。