第2章 核心技術基礎

## 2.1 3D 建模與即時渲染 ### 2.1.1 什麼是 3D 建模？ 3D 建模是指利用電腦軟體在三維空間中建立「網格 (Mesh)」的過程。模型的構成要素主要包括： - **頂點 (Vertex)**：座標點，決定模型形狀的基本單位。 - **邊 (Edge)**：連接兩個頂點的線段。 - **面 (Face/Polygon)**：由三條或以上的邊圍成的平面，最常見的是三角形 (Tri) 與四邊形 (Quad)。 - **UV 座標**：將 2D 紋理貼圖對應到 3D 表面的坐標系統。 ### 2.1.2 建模流程與最佳實踐 | 階段 | 主要任務 | 常用工具 | 注意要點 | |------|----------|----------|----------| | 概念草圖 | 角色概念、比例、風格確定 | Photoshop / Clip Studio Paint | 先確定「Silhouette」(輪廓) 再細化細節 | | 基礎拓撲 (Low‑poly) | 先構建低面數模型，確保動畫變形友好 | Blender / Maya / 3ds Max | Poly count 建議 ≤ 15k (即時渲染) | | 高階細節 (Normal/Displacement) | 添加法線貼圖、位移貼圖提升細節 | Substance Painter / ZBrush | 盡量使用 PBR 流程 (Metallic‑Roughness) | | UV 展開 | 盡可能減少接縫、保持均勻密度 | RizomUV / Maya UV Editor | 交叉 UV 需避免 180° 旋轉 | | 材質與著色 | 設定基礎材質、光照模型 | Unity Shader Graph / Unreal Engine Material | | 優化 | LOD、法線壓縮、貼圖 Atlas | Simplygon / Meshoptimizer | 低端裝置的 LOD 切換閾值建議每 5k 顆粒度 | ### 2.1.3 即時渲染關鍵技術 1. **PBR (Physically Based Rendering)**：基於物理的渲染，使光照與材質表現更一致。核心貼圖包括 Albedo、Metallic、Roughness、Normal、Ambient Occlusion。 2. **光照模型**： - **Forward Rendering**：適用於少量光源的場景，簡單易調。 - **Deferred Rendering**：支援大量光源，常見於大型虛擬演唱會。 3. **後處理 (Post‑Processing)**：Bloom、Tone‑Mapping、Color‑Grading 為虛擬偶像提供舞台感。 4. **虛擬鏡頭系統**：利用 Unity Cinemachine 或 Unreal Sequencer 產生劇情級別的鏡頭運動。 > **小技巧**：在 Unity 中啟用 **SRP Batcher** 與 **GPU Instancing** 可明顯降低 Draw Call，提升 30%‑40% 的幀率。 --- ## 2.2 動作捕捉 (Mocap) 與表情捕捉 ### 2.2.1 動作捕捉技術分類 | 類型 | 代表產品 | 精度 | 成本 | 使用情境 | |------|----------|------|------|-----------| | 光學式 (Optical) | Vicon, OptiTrack | ≤ 1mm | 高 | 電影級、全身舞蹈、舞台演出 | | 惯性式 (Inertial) | Xsens, Rokoko | 2‑3mm | 中 | 快速外景、行動裝置搭載 | | 结構光/深度 (Depth) | Azure Kinect, Leap Motion | 5‑10mm | 低 | 手部、臉部微表情 | | 表情捕捉 (Facial) | Faceware, Dynamixyz | 0.5mm (點位) | 中‑高 | 口型同步、情感表達 | ### 2.2.2 工作流程 1. **前期規劃**：根據角色骨骼結構決定捕捉設備與點位配置。虛擬偶像常採用 **32‑Bone** 全身骨骼 + **52‑點** 臉部捕捉。 2. **校準與靈敏度調整**：使用校正姿勢 (T‑pose 或 A‑pose) 與基座校準工具，確保座標系統一致。 3. **實時錄製**：透過 **Mocap Studio** 或 **Unity Live Link** 即時預覽，縮短後製迴路。 4. **數據清理**：套用 **Kalman Filter** 去噪，並利用 **IK (Inverse Kinematics) 修正腳步穿插 (foot‑skating)。** 5. **映射 (Retargeting)**：將捕捉資料映射至角色的骨架。常用工具： - Unity **Humanoid Avatar** - Unreal **Live Link Face** - MotionBuilder **Retarget Manager** 6. **細節潤色**：運用 **BlendShape** (形狀鍵) 微調手指、眉毛、嘴形，讓口型與歌詞同步。 ### 2.2.3 實務案例： - **K/DA (League of Legends)** 2022 全息演唱會使用 **Xsens** 捕捉全身舞蹈，配合 **Faceware** 產出 93% 以上同步率的口型。 - **Hololive** 旗下 Vtuber **Gawr Gura** 採用 **Rokoko Smartsuit Pro** 以 30fps 進行實時直播，降低延遲至 150ms 以下。 --- ## 2.3 AI 生成內容 (AIGC) 之原理與工具 ### 2.3.1 AI 生成聲音（Voice Synthesis） | 技術 | 代表模型 | 訓練資料 | 商用授權 | 典型應用 | |------|----------|----------|----------|----------| | 基於 Tacotron 2 + WaveGlow | Google TTS | 40k 小時語音 | GPL / 商業授權 | 角色語音、廣告配音 | | VITS (Variational Inference) | Microsoft / Naver | 100k 小時 | MIT | 多語種即時朗讀 | | 領域特化模型 (e.g., Genshin‑Voice) | 自研 | 5k 小時角色聲線 | 私有授權 | 虛擬偶像專屬歌唱 | **核心流程** 1. **文字前處理**：斷詞、音素標註、情感標籤 (e.g., happy, sad)。 2. **語音編碼**：將語音訊號訊息化為聲碼器 (Mel‑Spectrogram)。 3. **解碼生成**：使用神經聲碼器 (WaveNet、HiFi‑GAN) 還原波形。 > **實作筆記**：在 Unity 中透過 **RVC (Realtime Voice Conversion)** 外掛，可將即時麥克風輸入轉換為角色聲線，延遲低於 80ms。 ### 2.3.2 AI 生成文字與劇本（LLM） - **模型**：OpenAI GPT‑4、Claude、Meta LLaMA‑2。適用情境包括： - **腳本草稿**：提供情境對白、歌詞構思。 - **情感分析**：即時辨識粉絲留言情緒，以調整回應策略。 - **Prompt 範例**： ```text 你是一位虛擬偶像的劇本作家，角色是日系高中生風格的歌手Violet。請寫一段 30 秒的開場對白，語氣清新活潑，包含兩句粉絲互動提問，最後以 "讓我們一起唱出星光吧！" 作結。 ``` - **安全防護**：使用 **OpenAI Moderation API** 或本地 **Perspective API** 過濾不當內容。 ### 2.3.3 AI 生成視覺內容（Image/Video Generation） | 技術 | 代表模型 | 輸出類型 | 主要應用 | |------|----------|----------|----------| | Diffusion (Stable Diffusion, Midjourney) | Stable Diffusion 2.1 | 2D 圖像、概念圖 | 角色概念、海報、貼圖素材 | | Text‑to‑3D (DreamFusion, Magic3D) | Google DreamFusion | 低聚 3D 模型 | 快速原型、背景道具 | | 動畫補帧 (Runway Gen‑2) | Runway AI | 2‑5 秒短片 | 直播特效、過場動畫 | **實務流程** 1. **概念輸入**：使用文字描述或簡圖作為 Prompt。 2. **風格控制**：透過 LoRA、ControlNet 等方法限制色彩與構圖。 3. **後處理**：在 Photoshop/ Substance Painter 中修正細節，將產出轉為 PBR 紋理。 4. **整合至 3D**：使用 **Blender Grease Pencil** 或 **UE5 Niagara** 產生粒子、光效。 > **案例**： - **Kizuna AI** 在 2023 年推出全新服裝系列，全部概念圖由 **Stable Diffusion + ControlNet** 產出，僅 2 天完成 30 套服裝設計，縮短 80% 的概念階段時間。 --- ## 2.4 雲端運算與低延遲串流技術 ### 2.4.1 為什麼需要雲端渲染？ - **硬體限制**：手機與低功耗 VR 裝置的 GPU 計算能力不足以支援高品質即時渲染。 - **跨平台一致性**：雲端渲染保證不同設備觀看相同畫質。 - **彈性擴展**：依需求動態調整算力，免除過度投資本地服務器。 ### 2.4.2 主要雲端渲染架構 | 層級 | 服務 | 典型供應商 | 核心特性 | |------|------|------------|----------| | 基礎算力 | GPU VM | AWS G4dn, Azure NV-series, Google Cloud A2 | 支持 RTX、Tensor Core，適合實時光追 | | 串流協議 | WebRTC / MPEG‑DASH | Ant Media Server, Wowza, NGINX RTMP | 延遲 < 100ms（WebRTC）或 2‑3 秒（DASH） | | 邊緣節點 | CDN + Edge Compute | Cloudflare Workers, Akamai Edge | 靠近使用者，降低 RTT（Round‑Trip Time） | | 管理平台 | Dashboard | Unity Render Streaming, Unreal Pixel Streaming | UI 控制、即時調整分辨率、位元率 | ### 2.4.3 低延遲串流的實作要點 1. **編碼設定**：使用 **H.264/AVC** 或 **H.265/HEVC**，目標位元率 8‑12 Mbps，幀率 30fps，GOP 長度 1‑2 秒。 2. **自適應位元率 (ABR)**：根據網路狀況即時調整，避免卡頓。可使用 **MPEG‑DASH** 的 **Dynamic Streaming** 或 **WebRTC** 的 **Simulcast**。 3. **音視同步**：音頻使用 **Opus**，延遲 ≤ 20ms，並在客戶端進行 AV sync 緩衝。 4. **互動回饋**：透過 **Bidirectional Data Channel**（WebRTC）傳遞 Avatar 控制指令，實現「觀眾彈幕即時控制表情」等功能。 5. **安全與隱私**：使用 **TLS** 加密傳輸，並在雲端實施 **DRM**（Widevine、PlayReady）防止未授權錄製。 ### 2.4.4 成本估算範例（以 1 小時直播為例） | 項目 | 單價（USD） | 使用時長 | 小計 | |------|--------------|----------|------| | GPU VM (NVIDIA T4) | 0.90 / 小時 | 1.5 (預留緩衝) | 1.35 | | 帶寬 (5 Mbps) | 0.12 / GB | 2.25 GB | 0.27 | | CDN 邊緣儲存 | 0.02 / GB‑月 | 0.5 GB | 0.01 | | **合計** | | | **≈ 1.63 USD** | > **提示**：大量觀眾同時觀看時，需將帶寬乘以同時在線人數的 0.6‑0.8 取樣倍率。 --- ## 2.5 小結與實務檢核表 | 檢核項目 | 是否完成 | 備註 | |----------|----------|------| | 3D 模型 Poly count ≤ 15k，UV 無重疊 | ☐ | 請使用 LOD 切換策略 | | 動作捕捉資料已經過 Kalman 濾波與 IK 修正 | ☐ | 確認與角色骨架匹配 | | AI 生成聲線完成商業授權（或自行訓練） | ☐ | 版權文件備案 | | 雲端渲染與低延遲串流測試通過（<120ms） | ☐ | 使用 WebRTC 測試工具 | | 內容安全過濾 (文字、影像) 已部署 | ☐ | 整合 OpenAI Moderation API | | 成本預算 (每小時直播) ≤ 2 USD | ☐ | 監控實際使用量 | --- > **實務建議**：在專案啟動前，先以「MVP (Minimum Viable Product)」方式搭建一條完整的製作‑渲染‑直播管線，測試從 **建模 → 捕捉 → AI 合成 → 雲端渲染 → 觀眾回饋** 的端到端延遲與品質。完成 MVP 後，再根據數據迴路持續優化模型細節、壓縮演算法與雲端資源配置，即可在保證成本的前提下，為粉絲提供媲美實體演唱會的沉浸體驗。