第二章 生成式 AI 與角色設計

# 第二章 生成式 AI 與角色設計 本章聚焦於 **生成式人工智慧**（Generative AI）在虛擬偶像角色構思、造型與語音設計上的應用。從文字、大圖像、到聲音模型，我們將說明各類技術的原理、主流工具、實務工作流程以及商業落地的最佳實踐，協助讀者在概念階段即完成高品質的角色藍圖，縮短開發週期、降低人力成本。 --- ## 2.1 生成式 AI 基礎概念與分類 | 類別 | 主要模型 | 輸入 | 輸出 | 典型應用 | 代表平台/框架 | |------|----------|------|------|----------|----------------| | 文本生成 | GPT‑4、Claude、LLaMA | Prompt（文字） | 文字、腳本、設定檔 | 故事大綱、角色背景、對話寫作 | OpenAI API、Anthropic、Meta LLaMA | | 圖像生成 | Stable Diffusion、Midjourney、DALL·E 3 | Prompt + 參數 | 2D 概念圖、貼圖、姿勢稿 | 角色外觀概念、服裝設計、場景概念 | DreamStudio、Runway、Auto1111 GUI | | 聲音合成 | VITS、RVC、Style‑Bert‑VITS、Microsoft Azure Speech | 文本、說話人特徵 | 語音檔 (wav/mp3) | 虛擬偶像配音、歌唱合成、語音助理 | Azure TTS、Google Cloud TTS、Resemble AI | | 多模態 / 文字‑圖像聯合 | CLIP‑Guided Diffusion、DeepFloyd IF | Text + Sketch | 文字描述的圖像或圖像生成文字 | 角色概念圖＋說明文自動對照 | OpenAI DALL·E 3 (text‑to‑image + caption) | > **關鍵概念**：生成式 AI 採用「**條件式生成**」的方式，即根據使用者提供的條件（Prompt）或參考資料，產生符合條件的新內容。此特性在角色設計中可實現「**快速迭代**」與「**跨領域協同**」的工作模式。 --- ## 2.2 文本生成模型在角色概念與劇本設計的應用 ### 2.2.1 角色設定檔（Character Sheet）自動化 1. **Prompt 設計**：先確定角色的核心要素（年齡、性別、職業、性格、世界觀），以「**Key‑Value**」或「**模板**」方式撰寫 Prompt。 2. **模型呼叫**：使用 OpenAI `gpt‑4o` 或 Anthropic `claude‑3` 以 **few‑shot** 方式提供範例，確保輸出格式一致。 3. **後處理**：利用正則表達式或 JSON Schema 解析模型回傳的文字，轉換為結構化資料，便於後續導入 3D 設計或聲音合成流程。 #### 範例 Prompt（中文） ```text 以下是一位虛擬偶像的角色設定範本，請依此格式產出新角色設定，並以 JSON 回傳。 { "姓名": "", "年齡": "", "性別": "", "職業": "", "性格": [""], "外觀特徵": { "髮色": "", "髮型": "", "眼睛顏色": "", "服裝風格": "" }, "背景故事": "", "口頭禪": "" } 請根據以下關鍵詞生成角色： - 未來都市 - 電子音樂 - 熱血少女 - 虛擬駭客 ``` ### 2.2.2 劇本與對話生成 - **情境設定**：先使用文字模型產出「劇情大綱」→「分幕腳本」→「對話」的層層細化。 - **情感標記**：透過 `emotion‑tagging`（如 `[:joy:]`、`[:sad:]`）嵌入對話，方便聲音模型後續做情緒化合成。 - **自動分支**：結合 `ChatML` 格式，生成多條選項分支，支援互動直播或虛擬企劃中的即時決策。 --- ## 2.3 圖像生成模型在角色造型設計的實務流程 ### 2.3.1 從文字 Prompt 到 **概念稿**（Concept Art） 1. **關鍵詞提煉**：從角色設定檔提取「髮型、色調、服飾風格、配件」等關鍵詞，組合成完整 Prompt。 2. **控制參數**：調整 `CFG Scale`、`Steps`、`Sampler`（Euler a、DPM++）以取得所需細節與風格。 3. **多樣化產出**：使用 `batch` 功能一次生成 4‑8 張變體，再以 **自動排序**（CLIP 相似度）挑選最貼合的稿件。 #### 範例 Prompt（Stable Diffusion） ``` A futuristic pop idol, neon blue hair with cyberpunk bows, glowing teal eyes, wearing a holographic stage costume with LED ribbons, dynamic pose, studio lighting, high detail, 8k, illustration, anime style ``` ### 2.3.2 產出 **貼圖與材質**（Texture） - **ControlNet**：使用線稿或輪廓圖作為條件，生成符合設計風格的貼圖（皮膚、服裝、金屬）。 - **深度圖 + 法線貼圖**：透過 `Depth2Img` 與 `NormalMap` 模型，直接從概念圖生成相應的材質資訊，縮短 `Substance Painter` 的手工繪製時間。 | 步驟 | 工具/模型 | 輸入 | 輸出 | |------|-----------|------|------| | 1️⃣ 文字→概念圖 | Stable Diffusion 2.1 | Prompt | 2D 概念圖 | | 2️⃣ 概念圖→線稿 | ControlNet (canny) | 概念圖 + Canny Edge | 線稿 | | 3️⃣ 線稿→貼圖 | ControlNet (depth) + VAE | 線稿 | Diffuse / Normal / Roughness | | 4️⃣ 材質微調 | Adobe Substance 3D Painter | 貼圖 | PBR 材質圖 | ### 2.3.3 **快速迭代與審稿流程** 1. **Prompt 版本管理**：使用 Git 追蹤 Prompt 檔案，確保每次修改都有可回溯紀錄。 2. **自動化渲染腳本**（Python）示例： ```python import diffusers, torch from diffusers import StableDiffusionPipeline pipe = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16).to("cuda") prompt = "..." # 由 CI 產出 image = pipe(prompt, num_inference_steps=30, guidance_scale=7.5).images[0] image.save(f"outputs/{hash(prompt)}.png") ``` 3. **審稿平台**：將產出的 PNG 自動上傳至 Notion / ClickUp，供美術主管打勾「✅」或「❌」並留下意見。 --- ## 2.4 聲音生成模型在配音與歌唱上的應用 ### 2.4.1 語音克隆（Voice Cloning） - **流程概述**： 1. **收集樣本**：至少 30 秒以上的乾淨錄音（可分段），包括不同情緒與語速。 2. **模型微調**：使用 `RVC`（Retrieval‑Based Voice Conversion）或 `VITS` 進行說話人適配。 3. **合成測試**：輸入情感標記的文字腳本，產出多樣化語音，檢驗音質、自然度與情緒對應。 - **實務技巧**： - **Noise‑Reduction**：先用 `RNNoise` 或 `Adobe Audition` 降噪，避免雜訊被模型放大。 - **語速正規化**：將樣本語速統一為 180‑200 wpm，提升模型收斂速度。 ### 2.4.2 歌唱合成（Singing Synthesis） | 平台 | 模型 | 特色 | |------|------|------| | **OpenAI Jukebox** | VQ‑VAE‑2 + Transformer | 支援多種音風格，生成長度可達數分鐘，需大量計算資源 | | **RVC + DiffSinger** | HiFi‑GAN + Diffusion | 高解析度音質、可自行上傳歌手音源作微調 | | **Microsoft Azure Custom Neural Voice** | NTTS | 雲端服務，符合商業授權，支援即時 TTS | - **實作流程**： 1. **音高與節拍標記**：使用 `phonemizer` 搭配 `MIDI` 產出音素+音高序列（如 `CMUdict`）。 2. **模型輸入**：將音高、節拍資訊與文字一起送入 `DiffSinger`，產出歌聲 wav。 3. **後製處理**：透過 `iZotope RX` 去除剩餘噪音，並使用 `Logic Pro X` 加入混響與自動調音。 #### 歌唱合成示例（Python） ```python from diffsv import DiffSinger model = DiffSinger.load("pretrained/diff-singer-large") lyrics = "星光灑在夜空，夢想隨風飛翔" notes = "C4 D4 E4 F4 G4" # 簡易音高標記 wav = model.synthesize(lyrics, notes, tempo=120) wav.save("output/song.wav") ``` ### 2.4.3 多語言與方言支援 - **多語言模型**：如 `Bark`（Google）支援 30+ 種語言，可直接輸入中文、日文、韓文等，產出自然的多語言配音。 - **方言微調**：收集少量在地口音樣本（約 5 分鐘），使用 `AdaSpeech` 進行少量學習（few‑shot），即可產出符合粉絲地域特性的聲音版本。 --- ## 2.5 整合工作流程：從概念到實作的 **端到端管線** ```mermaid flowchart TD A[角色設定 (LLM)] --> B[概念圖 (Stable Diffusion)] B --> C[貼圖 & 材質 (ControlNet + Substance)] C --> D[3D 建模 (Blender / Maya)] A --> E[語音克隆 (RVC / VITS)] E --> F[對白 & 歌聲合成 (DiffSinger)] D --> G[即時渲染 (Unreal Engine)] F --> G G --> H[直播 / 內容發佈] ``` ### 重點說明 1. **資料中心化**：所有文字、圖像與音頻的中間產物均存於同一雲端檔案庫（如 AWS S3），以便版本控制與追蹤。 2. **自動化 CI/CD**：使用 GitHub Actions 觸發 Prompt 變更自動生成概念圖，失敗則回報 Slack。 3. **品質門檻**：每個階段設定 **KPIs**（如圖像 SSIM ≥ 0.85、語音 MOS ≥ 4.2），未達標則迭代回前一步。 --- ## 2.6 實務案例：從零到一的虛擬偶像 "Nebula‑Luna" | 階段 | 使用工具 | 成果 | 時間成本 | |------|-----------|------|----------| | 角色設定 | ChatGPT‑4o + Prompt Engineering | 完整 JSON 角色設定（15 個欄位） | 10 分鐘 | | 概念圖 | Stable Diffusion 2.1 + ControlNet | 8 張不同服裝變體 | 5 分鐘/張 | | 服裝貼圖 | Adobe Substance 3D Designer + Depth2Img | PBR 材質套件（Diffuse、Normal、Metallic） | 30 分鐘 | | 3D 模型 | Blender + AutoRig Pro | 完整綁定網格 + 骨骼 | 3 小時 | | 語音克隆 | RVC + 45 秒樣本錄音 | 虛擬偶像聲線（語速 180 wpm） | 1 小時（微調） | | 歌曲合成 | DiffSinger + MIDI 編曲 | 主題曲《星塵之舞》 | 45 分鐘 | | 即時渲染 | Unreal Engine 5.3 (MetaHuman) | 60 FPS 直播畫面 | 2 小時（測試） | **總結**：整個 MVP（最小可行產品）在 **2 天**內完成，主要得益於生成式 AI 在文本、圖像與聲音三大領域的高度自動化與跨模態協同。 --- ## 2.7 實務建議與常見問題 ### 2.7.1 Prompt 設計技巧 - **具體化**：越具體的形容詞（"neon‑blue holographic dress"）生成的圖像越貼合需求。 - **分段 Prompt**：先生成「姿勢」再生成「服裝」，降低模型混亂風險。 - **Negative Prompt**：明確排除不想要的元素（"no text, no watermark"），提升品質。 ### 2.7.2 資源成本與效能管理 - **GPU 租用**：對於中小型工作室，建議使用 **Paperspace** 或 **Runpod** 按需租用 RTX‑4090，成本約 $0.80/hr。 - **離線批次運算**：將大量圖像生成排入非高峰時段，可大幅降低雲端費用。 ### 2.7.3 法律與倫理注意事項 - **版權**：使用公共授權（如 CreativeML）模型產出仍需檢查生成內容是否包含受保護的風格或人物形象。 - **聲音合成**：若使用真人樣本進行克隆，必須取得 **知情同意** 並保留授權文件，以免侵權。 --- ## 2.8 小結 本章闡述了生成式 AI 從 **文字 → 圖像 → 聲音** 的全鏈路應用，提供了實務的工具、流程與案例，讓讀者能夠在 **概念設計階段即產出具備商業價值的虛擬偶像原形**。未來的章節將在此基礎上，深入探討 3D 建模、即時渲染與動作捕捉的技術細節，完成從 **概念 → 視覺 → 行為** 的完整製作藍圖。