第 3 章：3D 建模與動作捕捉

# 第 3 章 3D 建模與動作捕捉 本章聚焦於虛擬偶像的 **外觀** 與 **動態表現**。從概念設計、三維建模、材質製作、骨架綁定，到動作捕捉、資料清理與即時渲染，我們將以實務導向的方式說明完整的開發流程，並提供常見工具、最佳實踐與程式範例，協助讀者在短時間內建立可在直播或線上演唱會中即時運算的虛擬角色。 --- ## 3.1 建立高品質虛擬角色的流程概覽 | 階段 | 主要任務 | 常用工具 | 輸出格式 | |------|----------|----------|----------| | **概念設計** | 角色概念圖、色板、風格指南 | Photoshop、Clip Studio Paint、Procreate | PNG / PSD | | **高模雕刻** | 細節雕刻、拓撲規劃 | ZBrush、Mudbox、Blender (Sculpt Mode) | OBJ / FBX | | **低模建模** | 多邊形化、拓撲優化、UV 展開 | Maya、Blender, 3ds Max | FBX / OBJ | | **材質/貼圖** | 基礎色、法線、金屬度、粗糙度、次表面散射 | Substance Painter、Mari、Blender (Texture Paint) | PNG / EXR | | **骨架 (Rig) / 皮膚 (Skinning)** | 骨骼結構、權重塗抹、BlendShape/表情系統 | Maya (Advanced Skeleton)、Blender (Rigify)、MotionBuilder | FBX | | **動畫** | 動作捕捉資料套用、手動關鍵幀、動作混合 | MotionBuilder、Blender, UE Sequencer | FBX / UE .anim | | **即時渲染整合** | 匯入遊戲/渲染引擎、LOD、光照、特效 | Unreal Engine 5、Unity HDRP | UE .uasset / Unity .prefab | > **核心概念**： > - **拓撲 (Topology)** 必須兼顧表面細節與動畫變形，常見做法是 **edge loop** 圍繞關鍵變形區域（眼、嘴、關節）。 > - **UV 展開** 需保持 **1:1** 的像素密度，避免過度拉伸，否則貼圖在近距離觀察時會失真。 > - **LOD (Level of Detail)** 依據觀察距離產生多級模型，降低即時渲染的 GPU 負載。UE5 的 *Nanite* 可自動生成 LOD，對高多邊形模型尤其友好。 --- ## 3.2 主要建模與渲染工具深度比較 | 工具 | 優勢 | 劣勢 | 常見使用情境 | |------|------|------|--------------| | **Autodesk Maya** | 強大的多邊形建模、專業級骨架系統、成熟的插件生態（如 *Advanced Skeleton*） | 授權費用較高、學習曲線陡峭 | 大型製作、電影級角色、需要精細控制的骨架與BlendShape | | **Blender** | 完全開源、內建 Sculpt、Rigify、自動 UV、Python API 完全可客製化 | UI 仍在轉型期、部分業界插件不支援 | 獨立開發者、快速原型、教學與實驗環境 | | **Unreal Engine 5** | *Nanite*（虛擬化幾何）與 *Lumen*（即時全局光照）讓高解析模型即時渲染、強大的藍圖系統 | 需要較高的硬體規格才能發揮全部功能 | 虛擬直播、即時演唱會、AR/VR 互動平台 | | **Unity HDRP** | 輕量級、跨平台部署方便、資源管理較靈活 | 光照與高階渲染仍不如 UE5 *Lumen* | 手機/Web 端交互、輕量級直播插件 | --- ## 3.3 詳細建模工作流程（以 Blender → UE5 為例） mermaid flowchart TD A[概念圖] --> B[高模雕刻 (ZBrush)] B --> C[Retopology (Blender) ] C --> D[UV 展開] D --> E[貼圖繪製 (Substance Painter)] E --> F[Rigging (Rigify)] F --> G[Skinning (Weight Paint)] G --> H[Export FBX] H --> I[Import UE5] I --> J[設定 Nanite / LOD] J --> K[藍圖驅動實時表演] ### 3.3.1 高模雕刻與重拓撲 - **ZBrush**：使用 *Dynamesh* 建立粗糙形狀，之後切換至 *Subdivision* 逐步添加細節（皺紋、皮膚孔洞、飾品）。 - **Retopology**：在 Blender 中利用 *Poly Build* 或 *Retopoflow* 插件手動建立乾淨的四邊形拓撲，確保 **edge flow** 與 **UV seam** 位置合理。 ### 3.3.2 UV 與貼圖 - **UV 展開**：使用 *Smart UV Project* 快速生成初稿，手動調整 **islands** 以避免拉伸。對於臉部與手部使用 **Ptex** 或 **UDIM** 分割多個貼圖通道，提升解析度。 - **貼圖繪製**：Substance Painter 支援 **PBR 工作流程**，一次完成 **Base Color、Metallic、Roughness、Normal、Height、Subsurface** 等貼圖，並可直接輸出 UE5 的 **Material Instance** 參數。 ### 3.3.3 骨架與表情系統 - **Rigify** 預設提供 *humanoid* 骨架，可自行新增 **Facial Rig**（嘴、眉、眼）以及 **Custom Control Shape**（如 *Mouth‑Open*、*Blink*）。 - **BlendShape**：透過 *Shape Keys* 設計 **表情組合**（笑、驚訝、皺眉）及 **唇形同步**，後續可與語音合成的 **Viseme** 直接對接。 ### 3.3.4 匯入 UE5 與即時設定 cpp // UE5 C++ 範例：自動啟用 Nanite 與 LOD UStaticMesh* Mesh = LoadObject<UStaticMesh>(nullptr, TEXT("/Game/Characters/XiLan/XiLanMesh.XiLanMesh")); if (Mesh) { Mesh->SetNaniteEnabled(true); Mesh->SetMinimumLOD(0); Mesh->SetForcedLodModel(0); } - **Material Instance**：將 Substance 輸出的貼圖套用至 *UE5 Material*，使用 *Texture Parameter* 讓藍圖在直播中即時切換光照或色彩風格。 --- ## 3.4 動作捕捉技術全景 ### 3.4.1 捕捉硬體類別 | 類型 | 代表產品 | 優點 | 缺點 | |------|----------|------|------| | **光學 (Optical) – Marker** | Vicon, OptiTrack | 高精度 (≤1mm)、完整 6DoF | 需要大量攝影機、標記遮擋問題 | | **光學 (Optical) – Markerless** | Intel RealSense, Azure Kinect, PoseNet (ML) | 無需標記、部署快速 | 精度較低、易受光照影響 | | **慣性 (Inertial)** | Xsens, Rokoko Smartsuit | 便攜、適合戶外 | 漂移需要校正、相對定位 | | **混合 (Hybrid)** | Vicon + IMU | 兼具精度與容錯 | 成本與系統整合複雜 | ### 3.4.2 捕捉資料管線 1. **Capture** – 以 *Mocap* 套件錄製原始座標（BVH、C3D、FBX）。 2. **預處理** – 移除噪聲、填補缺失幀、平滑曲線（Butterworth filter, Kalman filter）。 3. **Retarget** – 將捕捉骨架映射至虛擬偶像的 **Rig**（使用 *MotionBuilder* 的 *Retarget Manager* 或 UE5 的 *Retarget Manager*）。 4. **Blend & Layer** – 結合 **Motion Capture**、**Procedural Animation**（如 IK 行走）與 **動畫混合**（Blendspace）產出最終動作。 5. **即時流** – 使用 *Live Link* 將實時姿態資料傳送至 UE5，實現 **Live Motion**（直播時的即時雙人舞、互動舞蹈）。 ### 3.4.3 資料清理實務技巧（Python 範例） python import numpy as np import pandas as pd from scipy.signal import butter, filtfilt # 讀取 BVH 關節座標 (frame x joint x 3) pose = pd.read_csv('capture.csv') # Butterworth low‑pass filter (cutoff 6Hz, FS=120fps) def low_pass(data, cutoff=6, fs=120, order=4): nyq = 0.5 * fs normal_cutoff = cutoff / nyq b, a = butter(order, normal_cutoff, btype='low', analog=False) return filtfilt(b, a, data, axis=0) pose_filtered = low_pass(pose.values) # 缺幀插值（線性） pose_df = pd.DataFrame(pose_filtered).interpolate(method='linear', limit_direction='both') pose_df.to_csv('pose_cleaned.csv', index=False) > **提示**：對於手部與臉部等高自由度部位，建議使用 **高通濾波** 保留快速變化的細節，避免過度平滑。 --- ## 3.5 即時渲染與互動流程 ### 3.5.1 UE5 Live Link 工作流程 1. **設定 Live Link Source**：在 UE5 中開啟 *Edit → Plugins → Live Link*，啟用對應的 *Mocap Device*（例如 *Rokoko Studio Live*）。 2. **建立 Live Link Component**：於角色藍圖（*Blueprint*）中加入 *Live Link Component*，指定資料來源與目標骨架。 3. **同步動畫**：使用 *Anim Graph* 中的 *Live Link Pose* 節點，將實時姿態傳入 **AnimInstance**。 4. **混合動作**：結合 *Blendspace* 或 *Layered Blend Per Bone*，把捕捉姿態與 **預製表情**、**嘴型同步**（Viseme）混合。 ### 3.5.2 光照與特效最佳化 - **Nanite** 處理高多邊形模型自動生成 LOD，讓即使有 **10M** 三角形的角色也能在 90fps 以上運行（視硬體而定）。 - **Lumen** 實時全局光照提供 **動態陰影**、**反射**，適合直播場景不需要事前烘培光照圖。 - **MetaHuman**（UE5 內建）可作為快速人類角色範本，內含 **自適應皮膚**、**次表面散射**，與自定義的虛擬偶像模型相容。 --- ## 3.6 實務案例：從概念到直播的全流程示範 | 階段 | 具體動作 | 工具/腳本 | 成果 | |------|----------|----------|------| | 1️⃣ 角色概念與設計 | 手繪海報 → 色板 | Clip Studio Paint | 角色設定檔（PDF） | | 2️⃣ 高模雕刻 | 造型與服裝細節 | ZBrush | 高解析 OBJ（10M+） | | 3️⃣ 重拓撲 & UV | 四邊形拓撲、UV 展開 | Blender + Retopoflow | 低模 FBX（30k tri） | | 4️⃣ 材質製作 | PBR 貼圖（Albedo、Normal、Roughness、SSS） | Substance Painter | 6 張 4K PNG | | 5️⃣ Rig & BlendShape | 骨架、面部形狀鍵 | Maya (Advanced Skeleton) + BlendShape 輸出 | FBX with rigs | | 6️⃣ 動作捕捉 | 舞蹈 & 手勢 | Rokoko Smartsuit + Live Link | Real‑time pose stream | | 7️⃣ UE5 整合 | 匯入模型、設定 Nanite、Lumen、Live Link | UE5 Blueprint & Python | 可即時直播的虛擬偶像 Blueprint | | 8️⃣ 直播測試 | OBS + UE5 預覽 | OBS Studio, NDI Plugin | 60fps 4K 串流至 YouTube / Twitch | ### 3.6.1 重要程式碼片段（UE5 Python） python import unreal # 自動載入 FBX 並啟用 Nanite def import_character(fbx_path, asset_path): task = unreal.AssetImportTask() task.filename = fbx_path task.destination_path = asset_path task.automated = True task.save = True task.options = unreal.FbxImportUI() task.options.import_mesh = True task.options.mesh_type_to_import = unreal.FBXImportType.FBXIT_STATIC_MESH unreal.AssetToolsHelpers.get_asset_tools().import_asset_tasks([task]) static_mesh = unreal.load_asset(asset_path + "/" + unreal.Paths.get_base_filename(fbx_path)) if isinstance(static_mesh, unreal.StaticMesh): static_mesh.set_editor_property('allow_nanite', True) static_mesh.set_editor_property('nanite_enabled', True) static_mesh.post_edit_change() return static_mesh import_character('C:/Tmp/XiLan.fbx', '/Game/Characters') > 此腳本可在 UE5 的 *Python Editor Script Plugin* 中執行，實現批量匯入與自動開啟 Nanite，顯著降低手動設定時間。 --- ## 3.7 常見挑戰與解決方案 | 挑戰 | 可能的根因 | 建議的解決方式 | |------|------------|----------------| | **貼圖失真** | UV seam 位置不佳、展開比例不均 | 使用 *Pack UV Islands* 時設定 **Island Margin ≥ 0.02**，適度縮放比例。 | **骨架不匹配** | 捕捉骨架與角色 Rig 命名或層級差異 | 在 *MotionBuilder* 使用 **Custom Mapping**，或在 UE5 *Retarget Manager* 中手動對應。 | | **動作抖動** | 捕捉硬體噪聲、標記遮擋 | 於捕捉階段使用 **多相機校正**，後處理使用 **Kalman Filter** 平滑。 | **即時延遲 (Latency)** | 網路傳輸、Live Link 設定不當 | 使用 **NDI** 或 **WebRTC** 高效傳輸，將 UE5 設為 **Localhost** 測試最小化延遲。 | **渲染掉幀** | 高多邊形、過多光源 | 啟用 **Nanite**、**Lumen** 的 *Screen Space Global Illumination* 設為 **Low Quality**，或在 *UE5 Scalability Settings* 中調整 *Shadow*、*Post‑Processing*。 --- ## 3.8 小結與實作指引 1. **從概念到模型**：先完成高模雕刻，再以 **Retopology** 生成乾淨的低模、完整的 **UV** 與 **PBR** 材質。 2. **Rig & BlendShape**：確保關鍵變形區域具備 **edge loop**，並使用 **BlendShape** 實現細緻的臉部與唇形同步。 3. **動作捕捉管線**：選擇合適的硬體（光學或慣性），依據 **Live Link** 完成即時姿態傳輸，必要時進行 **filter & interpolation**。 4. **即時渲染**：在 UE5 中啟用 **Nanite**、**Lumen**，以 *Blueprint* + *Live Link* 完成「直播即時」的動畫驅動。 5. **持續優化**：使用 **Profiling**（UE5 *Stat GPU*、*Stat SceneRendering*）找出瓶頸，調整 LOD、光照與特效設定。 > **實作挑戰（讀者練習）**： > - 從頭製作一個 **30k tri** 的虛擬偶像模型，完成 **Rig、BlendShape**，並使用 **Rokoko Smartsuit** 進行 30 秒舞蹈捕捉，將資料即時輸入 UE5，完成一次 60fps 4K 的直播測試。完成後記錄每一步的時間成本與遇到的技術瓶頸，撰寫一篇 1500 字的技術回顧報告。 --- > **本章關鍵詞**：拓撲、UV、PBR、Rig、BlendShape、Live Link、Nanite、Lumen、動作捕捉、即時渲染 下一章，我們將深入探討 **語音合成與自然語言處理**，說明如何讓虛擬偶像具備自然流暢的「聲音」與「對話」能力，為粉絲互動注入 AI 智慧。