第3章 製作流程：從捕捉到渲染

# 第3章 製作流程：從捕捉到渲染 本章將帶領讀者從最初的數據收集，經過資料清洗、模型綁定、渲染到後製合成，完整說明虛擬演員的製作流程。整個流程可分為 **六個核心階段**：需求規劃、動作捕捉、面部捕捉、資料清洗、渲染、後製。每個階段皆包含關鍵技術點、實務工具、最佳實踐與常見陷阱，並在最後提供一個完整案例流程，協助你快速落地。 --- ## 3.1 需求與規劃 | 步驟 | 目的 | 主要輸出 | |------|------|-----------| | 1.劇本拆解 | 把劇本拆成可分配的鏡頭、動作、語音 | 動作清單、語音腳本 | | 2.角色設計 | 確定角色外觀、表情範圍 | 角色卡、參考資料 | | 3.技術可行性 | 確認硬體/軟體可支援度 | 裝置清單、軟體清單 | | 4.時間成本估算 | 量化工期與預算 | 項目計畫書 | > **實務提醒**：在動作與面部捕捉前，先完成「鏡頭參考圖」可降低後期綁定錯誤。 --- ## 3.2 動作捕捉（Motion Capture） ### 3.2.1 傳統光學系統 - **設備**：Vicon, OptiTrack, Qualisys - **優點**：高精度（±0.5 mm），可捕捉細膩的肌肉變形 - **缺點**：昂貴、需安裝多相機、光線限制 ### 3.2.2 無標記（Marker‑less）系統 - **技術**：MediaPipe Pose、OpenPose、Blender's Grease Pencil - **優點**：快速上手、成本低、可在現場快速調整 - **缺點**：精度較低（±5 mm），對光線敏感 ### 3.2.3 混合式系統 結合光學與慣性（IMU）技術，例如 Xsens DOT 或 Rokoko Smartsuit，能在戶外或光線不佳場景仍維持較好精度。 #### 捕捉流程 1. **布景與光線**：確保相機環境光均勻，避免陰影交叉。 2. **套裝準備**：貼上或穿戴傳感器。 3. **參考動作**：先做「基準姿勢」與「測試動作」以確認數據質量。 4. **多角度拍攝**：保留 3–5 個相機角度，方便後期重建。 5. **即時檢測**：使用實時視覺回饋，立即修正缺陷。 #### 案例：**《星際大戰：原力覺醒》** 使用光學與慣性混合系統，捕捉角色雷伊的星際駕駛動作，並利用即時可視化進行動作優化。 --- ## 3.3 面部捕捉（Facial Capture） ### 3.3.1 傳統光學標記系統 - **設備**：Faceware Live, Dynamixyz - **輸出**：高精度表情 blendshape ### 3.3.2 無標記深度相機 - **技術**：FaceRig, iClone Faceware Live - **優點**：可在戶外或光線變化大環境使用 - **缺點**：對複雜表情（如皺眉）分辨率較低 ### 3.3.3 3D 打印模板 + AR 利用 3D 打印面部模板並搭配 AR 預估表情曲線，達到成本與精度之平衡。 #### 捕捉流程 1. **環境設置**：穩定照明，避免反光。 2. **面部標記**：若使用標記系統，貼上標記點並校正。 3. **表情範例**：涵蓋開口、眨眼、皺眉、微笑等 15–20 種基礎表情。 4. **即時回饋**：實時顯示 blendshape 混合度，確保無「跳動」或「失真」。 #### 案例：**《復仇者聯盟：終局之戰》** 使用 Faceware Live 捕捉劇中角色的表情，並結合動作捕捉資料同步處理，確保全身與面部動作同頻。 --- ## 3.4 資料清洗與校正 | 步驟 | 工具 | 重點 | |------|------|------| | 1.去噪 | Python（NumPy, SciPy） | 滿足 2 Hz 以上低通濾波 | | 2.時間同步 | NTP / 內部同步 | 保障數據時戳一致 | | 3.坐標系統統一 | Blender, Maya, Unity | 轉換到統一的左手系統 | | 4.缺失補償 | DMP / Kalman Filter | 針對遮擋的關節補全 | | 5.驗證 | 可視化工具 | 檢查「旋轉角度極值」與「關節限制」 | python import numpy as np from scipy.signal import butter, filtfilt def lowpass(data, fs=120, cutoff=30, order=4): b, a = butter(order, cutoff/(fs/2), btype='low') return filtfilt(b, a, data, axis=0) > **常見錯誤**：未同步時間戳 → 造成動作偏差 3–5°；坐標系統不一致 → 角色顛倒或倒轉。 --- ## 3.5 模型綁定與動畫（Rigging & Animation） ### 3.5.1 Rigging 基礎 - **骨骼結構**：使用 Humanoid Rig（Humanoid）或 Custom Rig。 - **BlendShape**：面部表情以 BlendShape 或 Morph Target 為主。 - **控制器**：使用 FK/IK 控制器，並加入「自動關節限制」模組。 ### 3.5.2 動作綁定流程 1. **導入清洗後的動作資料**：將 Mocap 資料匯入 3D 軟體。 2. **自動映射**：利用 **Mocap Mapper** 或 **Auto-Rig Pro** 進行快速映射。 3. **微調**：手動調整關節、平滑關節角度、校正偏差。 4. **動作層疊**：將多個動作層疊合（如走路 + 拍手），使用 Layered Animation。 ### 3.5.3 表情映射 - **BlendShape 權重映射**：使用 **BlendShape Manager** 將面部 Mocap 資料轉成 BlendShape 權重。 - **自動動態調整**：利用 **Lipsync Toolkit** 或 **Adobe Character Animator** 直接映射語音資料至嘴型。 > **最佳實踐**：在綁定前先進行「動作預覽」與「面部表情同步」的雙重檢查，避免後期大量重做。 --- ## 3.6 渲染（Rendering） ### 3.6.1 渲染引擎選擇 | 引擎 | 特點 | |------|------| | Unreal Engine 5 (Lumen) | 逼真的全球照明、即時渲染 | | Unity HDRP | 高度可定制的 Shader 網路 | | Blender Cycles | 開源、可配置光線追蹤 | ### 3.6.2 渲染設置 | 參數 | 建議值 | 作用 | |------|--------|------| | 燈光 | HDRI + Area Lights | 提供柔和光線與陰影 | | 材質 | PBR + Subsurface Scattering | 真實肌膚、眼睛、光澤 | | 場景設置 | 適當光照、反射、折射 | 提升真實感 | | 輸出格式 | 4K 12 bit 10‑bit | 適用於後期合成 | #### Render Pipeline 範例（Unreal Engine） { "pipeline": [ {"stage": "Import", "tool": "MocapImporter"}, {"stage": "Rig", "tool": "AutoRigPro"}, {"stage": "Animation", "tool": "LayeredAnim"}, {"stage": "Material", "tool": "PBRMaterialEditor"}, {"stage": "Render", "tool": "LumenRender"} ] } > **注意**：渲染時請開啟 **High Quality** 設定，避免「運動模糊」與「光線雜訊」。 --- ## 3.7 後製合成（Compositing） | 步驟 | 工具 | 重點 | |------|------|------| | 1.色彩分級 | DaVinci Resolve, Adobe SpeedGrade | 讓虛擬演員與實景鏡頭色調一致 | | 2.抠像 & 合成 | Nuke, Fusion | 進行鏡頭抠像、遮罩調整 | | 3.粒子與特效 | Houdini, RealFlow | 加入布料、髮絲、火焰、粒子雲 | | 4.最終輸出 | Media Encoder | 720p/1080p/4K 交付 | > **實務小技巧**：在色彩分級時，先將「虛擬演員」輸出為 3‑channel（R, G, B）+ **Alpha**，避免在抠像時「邊緣污染」。 --- ## 3.8 工程流程管理 1. **版本控制**：使用 **Git + Perforce LFS** 管理 3D 資料與腳本。 2. **自動化腳本**：採用 **Python / MEL** 產生「Bake Animation」腳本，降低手動操作。 3. **品質指標**：設定 **KPIs** 如「關節一致率 > 98%」、「表情同步率 > 95%」。 4. **溝通平台**：使用 **Slack + Trello** 或 **Jira**，實時跟進工期與問題。 --- ## 3.9 案例分析：完整流程圖 | 階段 | 時間 | 工具 | 主要輸出 | |------|------|------|-----------| | 需求 | 1 週 | Excel, ShotList | 動作 & 語音清單 | | 動作捕捉 | 2 週 | OptiTrack + Xsens DOT | 120 fps 3D 動作檔 | | 面部捕捉 | 1 週 | Faceware Live | BlendShape 權重 | | 清洗 & 同步 | 3 天 | Python, NTP | 去噪後資料 | | Rigging & 綁定 | 4 天 | Maya + Auto‑Rig Pro | 完整骨骼動畫 | | 渲染 | 3 天 | UE5 Lumen | 4K RAW 影片 | | 後製 | 2 天 | Nuke, Resolve | 交付影像 | > **備註**：實際工期視角色複雜度與特效需求而定，以上為「標準 7‑人團隊」的平均估算。 --- ## 3.10 小結 - **同步** 是關鍵：時間戳、坐標系統必須在所有資料中保持一致。 - **最佳化**：先做「預覽」與「即時回饋」，能大幅減少後期微調成本。 - **工具鏈**：根據項目規模選擇光學/無標記混合系統，並以自動映射工具降低人為錯誤。 - **版本管理**：3D 資料與腳本同步使用 Git/Perforce，可避免「最後一刻修改」造成的失誤。 - **品質門檻**：使用可視化檢測（如 Blender 的 Animation Layers）確保關節限制與 BlendShape 與劇本一致。 > **前瞻**：隨著 AI 生成動作的成熟（如 MetaHuman+Mixamo+Stable Diffusion 的結合），未來動作捕捉流程將更加自動化，僅保留「人工審核」與「高階微調」兩個不可或缺的步驟。 --- > **下一章**：第4章「數字雙胞胎：場景互動與即時渲染」將延伸探討虛擬演員在實時互動與直播中的應用。