第3章 生成式 AI 核心技術

# 第3章 生成式 AI 核心技術 本章聚焦於將已完成的角色概念、品牌定位與視覺識別系統（VIS）落實到實際可產出的內容。從文字、圖像、語音到動作，我們將逐一拆解生成式 AI 的核心技術、常見模型與工具，並提供完整的工作流程與實務範例，協助讀者將虛擬偶像從概念階段快速推向可執行的創作產線。 --- ## 3.1 文字生成（LLM）與劇本創作 ### 3.1.1 基礎概念 - **LLM（Large Language Model）**：使用巨量語料訓練的深度神經網路，具備語義理解與生成能力。典型代表有 OpenAI GPT‑4、Google PaLM、Meta LLaMA 等。 - **Prompt（提示詞）**：驅動 LLM 產出的指令或上下文，設計得好可以大幅提升輸出品質與一致性。 - **Few‑Shot / Zero‑Shot**：在極少或無示例情況下完成任務的能力，對於劇本、對話、角色設定的快速迭代特別有用。 ### 3.1.2 主流模型與平台比較 | 模型 | 版本 | 參數量 | 授權方式 | 推理成本（$USD/1k tokens） | 特色 | |------|------|--------|----------|--------------------------|------| | **GPT‑4** | 2023‑03 | 1.7T (私有) | 商業 API | 0.03 (輸入) / 0.06 (輸出) | 高度安全、支援多語言、可調整溫度與頻率懲罰 | | **Claude 2** | 2023‑11 | 1.3T (私有) | 商業 API | 0.014 / 0.018 | 以 "安全" 為核心設計，對微調友好 | | **LLaMA‑2 70B** | 2023‑07 | 70B | 開源（商用需申請） | 0.015（自行部署） | 可離線部署，成本可控 | | **Gemini Flash** | 2024‑02 | 300B (估計) | Google Cloud | 0.005 / 0.01 | 超高速、支援即時對話與多模態輸入 | ### 3.1.3 Prompt Engineering 實務技巧 1. **角色框架**：先在 Prompt 中明確指明虛擬偶像的六維人格、語氣與背景。例： ```text 你是一位 19 歲的虛擬偶像，性格活潑、好奇心強，常用口語化、帶點俏皮的語調。請以第一人稱寫出她在星際音樂節的開場串場稿，時長約 150 字，並加入三個與粉絲互動的梗。 ``` 2. **限制條件**：使用 `max_tokens`、`temperature`、`top_p` 控制長度與創意度。 3. **Few‑Shot 示範**：提供 2–3 個高品質範例，讓模型學習格式與語調。 4. **後處理**：利用自訂腳本（Python `re`、`spaCy`）清理語法與字數，確保符合平台字數限制。 ### 3.1.4 工作流程示例 ```mermaid flowchart TD A[輸入角色概念表] --> B{選擇 LLM} B -->|OpenAI| C[呼叫 GPT‑4 API] B -->|本地部署| D[使用 LLaMA‑2 推理] C --> E[生成劇本草稿] D --> E E --> F[人工校稿 & 情感標記] F --> G[輸出最終腳本 (Markdown/HTML)] ``` ### 3.1.5 案例：Live‑Stream 開場稿自動生成 | 步驟 | 內容/工具 | |------|------------| | 1️⃣ 角色設定 | `persona.json`（六維人格、目標受眾） | | 2️⃣ Prompt 模板 | `templates/opening_prompt.txt`（含長度、情感） | | 3️⃣ API 呼叫 | `python generate.py --model gpt-4 --temp 0.7` | | 4️⃣ 後處理 | `scripts/clean_text.py`（去除重複、加標點） | | 5️⃣ 審核 | 內容編輯團隊（2 人） | | 6️⃣ 上線 | 直接貼至直播平台的文字稿欄位 | --- ## 3.2 圖像 / 影像生成（Stable Diffusion、GAN） ### 3.2.1 基礎概念 - **Diffusion Model**：透過噪聲逐步還原生成圖像，代表作為 Stable Diffusion、DALL·E 3。相較於 GAN，生成品質更穩定且易於控制。 - **GAN（Generative Adversarial Network）**：由生成器與辨別器對抗學習，常見於高分辨率人臉或風格化圖像（StyleGAN2/3）。 - **ControlNet / LoRA**：在 Diffusion 基礎上加入條件控制（姿勢、線稿、深度圖）或低參數微調，適合客製化虛擬偶像的外觀與表情。 ### 3.2.2 主要工具與平台 | 類型 | 名稱 | 開源/商用 | 推薦用途 | |------|------|-----------|----------| | Diffusion | **Stable Diffusion 2.1** | 開源 | 基礎概念圖、宣傳海報 | | Diffusion | **Stable Diffusion XL (SDXL)** | 開源 | 高階寫實或半寫實角色渲染 | | Diffusion | **Midjourney** | 商業 API | 快速概念驗證、藝術風格 | | GAN | **StyleGAN3** | 開源 | 產生高品質人臉、角色變體 | | ControlNet | **ControlNet + SDXL** | 開源 | 依據姿勢圖、線稿產出精準動畫帧 | | 雲端服務 | **DreamStudio**、**Replicate** | 商業 | 即時 API 呼叫，省去本地 GPU 成本 | ### 3.2.3 Prompt 與參數設計 ```text # 基本 Prompt（SDXL） "a vibrant virtual idol, 19-year-old, cyber‑punk outfit, neon hair, holding a holographic microphone, ultra‑realistic, 8K, soft lighting, dynamic pose" # 加入負向提示（Negative Prompt） "low‑res, blurry, watermark, text, extra limbs, disfigured" # 參數範例（Python） params = { "prompt": prompt, "negative_prompt": neg_prompt, "width": 1024, "height": 1024, "steps": 50, "cfg_scale": 7.5, "sampler": "Euler a", "seed": 123456789, } ``` ### 3.2.4 工作流程：從概念到角色立繪 ```mermaid flowchart LR A[概念腳本] --> B[抽取關鍵視覺元素] B --> C{選擇生成模型} C -->|Stable Diffusion XL| D[產出 8K 初稿] C -->|ControlNet| E[根據姿勢圖產出指定動作] D --> F[手動挑選 & 進行微調（LoRA）] E --> F F --> G[後製修飾（Photoshop/After Effects）] G --> H[輸出角色立繪 (PNG / PSD)] ``` ### 3.2.5 常見問題與對策 | 問題 | 原因 | 解決方案 | |------|------|----------| | 生成圖像人物面部不對稱 | Diffusion 隨機噪聲或缺乏足夠的面部指導 | 使用 **ControlNet Pose/Depth** 或 **FaceID** 插件加強臉部控制 | | 風格不一致（同一角色不同稿） | Prompt 設定不統一 | 建立 **Style Guide JSON**，將顏色、光線、材質等參數固化 | | GPU 計算成本過高 | 大分辨率、長 steps | 先低分辨率（512×512）快速迭代，最終使用 **Img2Img** 放大至 8K | --- ## 3.3 語音合成與情感語音（TTS、Vocoder） ### 3.3.1 基本概念 - **TTS（Text‑to‑Speech）**：將文字轉換為語音，常見模型有 Tacotron 2、FastSpeech、VITS 等。 - **Vocoder**：將聲譜（Mel‑spectrogram）轉為波形的最後一步，Neural Vocoder（HiFi‑GAN、WaveGlow）可產生高保真音質。 - **情感控制**：透過 **Style Token**、**Emotion Embedding** 或 **Prosody Encoder** 調整音高、語速、情緒色彩。 ### 3.3.2 主流平台與模型比較 | 模型/服務 | 開源/商用 | 支援語言 | 情感控制 | 推理延遲 | 特色 | |-----------|-----------|----------|----------|----------|------| | **Microsoft Azure Speech** | 商業 | 50+ | SSML（語速、音高） | 200 ms | 企業級 SLA | | **Google Cloud Text‑to‑Speech** | 商業 | 30+ | WaveNet, Pitch、Rate | 150 ms | 多樣聲線、波形品質佳 | | **OpenAI VALL‑E‑TTS** | 商業 (Beta) | 英文、中文 | Emotion Prompt | 100 ms | 與 GPT‑4 完美結合 | | **Coqui TTS (VITS)** | 開源 | 中文、日文、英... | 可自行訓練情感向量 | 80 ms | 輕量化、支援自訂聲線 | | **Meta Bark** | 開源 | 30+ | Zero‑Shot 情感 | 120 ms | 小模型即能產出高品質語音 | ### 3.3.3 建立虛擬偶像專屬聲線的步驟 1. **資料收集**：從角色配音演員或 AI 合成聲音取得至少 5 h 的乾淨語音與對應文字稿。 2. **前處理**：使用 `ffmpeg -ar 22050 -ac 1` 統一采樣率，去除噪聲（Ween、RNNoise）。 3. **模型選擇**：若預算有限，採用 **Coqui TTS VITS**；若追求最前沿，使用 **OpenAI VALL‑E‑TTS** + **ChatGPT** 產生情感標記。 4. **微調**： ```bash python train.py \ --config configs/vits.yaml \ --train-data data/train \ --valid-data data/val \ --out-dir checkpoints/angelic_voice \ --epochs 500 \ --lr 2e-4 ``` 5. **情感控制範例**（SSML）: ```xml <speak version="1.0" xml:lang="zh-TW"> <voice name="AngelVoice"> <prosody rate="+10%" pitch="+3st"> 大家好，我是星瀾！今天要跟大家分享最新的 AI 生成技術。 </prosody> </voice> </speak> ``` 6. **部署**：將模型包裝為 RESTful API（FastAPI）或使用 **TensorRT** 加速，在直播間即時呼叫。 ### 3.3.4 效果評估指標 | 指標 | 含義 | 測試方法 | |------|------|----------| | **MOS (Mean Opinion Score)** | 主觀音質評分 (1‑5) | 聽感測試平台（Amazon MTurk） | | **F0 RMSE** | 基頻誤差 | 解析合成音與原音的基頻走勢 | | **Latency** | 從文字到音頻的完整時間 | 計時 API 請求-回應時間 | | **Emotion Accuracy** | 情感標籤與預期匹配度 | 使用情感分類模型（e.g., wav2vec2‑emotion） | --- ## 3.4 動作捕捉與姿態合成（MoCap、NeRF） ### 3.4.1 核心概念 - **MoCap（Motion Capture）**：使用光學或慣性設備捕捉人體關節三維座標，產出 BVH/FBX 動作檔。 - **NeRF（Neural Radiance Fields）**：以神經網路建模 3D 空間的顏色與密度，可透過少量視角產生全光線渲染，適合角色的 **全身重建** 與 **姿態合成**。 - **姿態合成**：利用 **Transformer‑based Pose Generator**（例如 **MoveNet**、**OpenPose**）將文字描述或情感訊號直接映射為關節序列。 ### 3.4.2 常用工具與硬體 | 類別 | 名稱 | 硬體需求 | 特色 | |------|------|----------|------| | 光學 MoCap | **OptiTrack Motive** | 多鏡頭（≥6）+ 標記球 | 高精度 (<1 mm)，適合舞蹈動作 | | 慣性 MoCap | **Xsens MVN** | 穿戴式感測器套件 | 免佈置、戶外可用 | | 姿態估計 (2D/3️⃣) | **OpenPose**, **MediaPipe Pose** | 一般 RGB 相機 | 即時、開源、支援多人體 | | 姿態生成 | **Pose‑Transformer** (GitHub) | GPU (RTX 3090+) | 從文字 → 3D 姿態序列（Zero‑Shot） | | NeRF 重建 | **Instant‑NGP**, **PlenOctree** | 高階 GPU (≥12 GB) | 秒級訓練、可即時渲染 | ### 3.4.3 工作流程：文字 → 姿態 → 3D 動畫 ```mermaid flowchart TD A[劇本文字] --> B[情感/動作標籤抽取] B --> C{姿態生成模型} C -->|Pose‑Transformer| D[3D 關節序列 (BVH)] D --> E[插值與平滑 (IK)] E --> F[匯入 3D 引擎 (Unreal/Unity)] F --> G[結合角色模型 (Skinning)] G --> H[即時渲染 / 動畫輸出] ``` #### 範例："熱情開場跑步" 動作生成（Python） ```python from pose_transformer import PoseGenerator prompt = "一位活潑的虛擬偶像在舞台上以快速跑步的姿勢向觀眾揮手" # 產生 30 FPS、2 秒長度的關節序列 pose_seq = PoseGenerator().generate(prompt, fps=30, duration=2.0) # 保存為 BVH 檔 pose_seq.save_bvh('output/run_wave.bvh') ``` ### 3.4.4 NeRF 與即時姿態混合 1. **資料收集**：使用手機或 360° 相機拍攝角色 20‑30 張不同視角的靜態照片。 2. **Instant‑NGP 訓練**： ```bash ./instant-ngp --scene data/angelic/ --bound 1.0 --device 0 ``` 3. **姿態驅動**：將 Pose‑Transformer 輸出的關節動畫作為 **骨骼控制**，在 NeRF 渲染管線中使用 **骨骼變形（Skinning）**。 4. **即時輸出**：結合 **NVIDIA Omniverse** 或 **Apple RealityKit**，實現 AR/VR 中的即時互動。 ### 3.4.5 注意事項與最佳實踐 | 項目 | 風險 | 建議對策 | |------|------|----------| | **關節漂移** | 多步長姿態序列累積誤差 | 使用 **Inverse Kinematics (IK) 約束** 及 **姿態平滑濾波**（Kalman） | | **NeRF 訓練時間過長** | 大量視角或高解析度 | 採用 **Instant‑NGP** + **混合分辨率** 策略，先低分辨率快速迭代，再提升至最終品質 | | **硬體資源不足** | GPU 記憶體限制 | 使用 **分段渲染** 或 **模型壓縮（Quantization）** | | **同步問題** | 文字、語音、動作三模態時間差 | 建立 **全局時間線（Timeline）**，基於 **MIDI/OSC** 觸發每一模態的開始與結束 | --- ## 小結 本章從四大核心技術層面說明了如何將虛擬偶像的概念落實為可執行的內容： 1. **文字生成** 讓角色的語言與劇本具備高度一致性與創意； 2. **圖像/影像生成** 為角色打造視覺形象，支援多風格與高解析度需求； 3. **語音合成** 為角色賦予聲音身份，並可透過情感控制呈現多樣情緒； 4. **動作捕捉與姿態合成** 讓角色在 3D 空間中活靈活現，支援即時直播與沉浸式體驗。 透過本章提供的概念、工具比較與實務流程，讀者可以自行組建端到端的生成式 AI pipeline，為下一章的 3D 模型與動畫製作奠定堅實的基礎。