第5章 內容生成與腳本創作

# 第5章 內容生成與腳本創作 本章聚焦於**大型語言模型（LLM）**在虛擬偶像創作流程中的應用，從歌詞、劇本、直播腳本的自動生成，到 Prompt Engineering 的實務技巧，最後延伸至**多模態生成**的整合流程。讀者將學會如何以程式化、可重現的方式，讓 AI 成為內容創作的加速器，而非僅是靈感的補助工具。 --- ## 5.1 利用大型語言模型產出歌詞、劇本與直播腳本 ### 5.1.1 為何選擇 LLM | 項目 | 說明 | |------|------| | **語言理解與生成能力** | 以數十億參數訓練，具備跨領域語意推理能力。 | | **可微調（Fine‑Tuning）** | 可根據品牌語調或角色人格做 domain‑specific 調整。 | | **即時生成** | 在雲端或 Edge 上部署後，回應時間可低於 300 ms。 | | **高度可擴展** | 支援 API、微服務或本地部署，適合不同規模的項目。 | ### 5.1.2 歌詞生成工作流 1. **設定角色語音特徵**：在 Prompt 中明確定義偶像的風格（如「清新日系、80 BPM、使用第三人稱」）。 2. **提供關鍵詞或情緒指示**：例如 `"情緒: 懷舊"、"關鍵詞: 星光、告白"`。 3. **呼叫 LLM API**：以下示範以 OpenAI 的 `gpt-4o-mini` 為例。 ```python import openai prompt = ( "你是虛擬偶像星瀾·曦夢的歌詞創作助理。" "請依以下條件寫一段 32 小節的歌詞，節奏 120 BPM，" "情緒懷舊，使用第三人稱視角，關鍵詞: 星光、告白、夜空。" ) response = openai.ChatCompletion.create( model="gpt-4o-mini", messages=[{"role": "user", "content": prompt}], temperature=0.8, max_tokens=500, ) print(response.choices[0].message.content) ``` 4. **後處理**： - 斷句與韻腳檢查（可使用 `pyphen`、`pronouncing` 套件）。 - 與 **MusicLM** 或 **AudioLM** 結合，產出旋律或完整音頻。 ### 5.1.3 劇本（Storyline）生成 | 步驟 | 目的 | |------|------| | 1️⃣ **角色設定檔** | 定義人物卡（Name、Age、Personality、Voice Tone）。 | | 2️⃣ **情境框架** | 指定場景、時間、衝突點，例如「星瀾在虛擬演唱會上被黑客入侵」。 | | 3️⃣ **情節結構** | 使用 **三幕劇**（Setup‑Confrontation‑Resolution）引導模型。 | | 4️⃣ **對話迭代** | 以 **Chat‑style prompt** 讓模型產生自然對話。 | #### 範例 Prompt（劇本） ```text 你是一位劇本寫手，負責為虛擬偶像星瀾·曦夢撰寫 5 分鐘的直播劇情。 - 角色設定：星瀾（18 歲、活潑、帶點少女感的聲線） - 直播主題：粉絲點歌即興演唱 - 事件觸發：系統偵測到「#星願」關鍵字，觸發歌曲抽籤 - 風格：輕鬆幽默、插入 2 句即興 rap 請先寫出劇本大綱（含 3 個場景），再依大綱展開對話稿，每段對話用「[角色]」標示。 ``` 生成結果可以直接貼入**腳本管理平台**（如 Notion、Coda）做版本控制。 ### 5.1.4 直播腳本自動化 - **結構化模板**：使用 YAML 定義「段落 → 詞彙 → 時間碼」。 - **動態填充**：將 LLM 輸出注入模板，產出最終 `*.json` 或 `*.srt` 檔，供直播系統即時讀取。 ```yaml - id: intro speaker: 星瀾 text: "大家好，我是星瀾·曦夢，今天準備好一起星光閃耀了嗎？" duration: 5 - id: song_request speaker: 系統 text: "收到粉絲 #星願 點歌：<song_name>" duration: 3 ``` --- ## 5.2 Prompt Engineering 實務技巧與案例 ### 5.2.1 Prompt 基礎結構 1. **角色定位**（System Prompt） – 明確告訴模型它是誰、要扮演什麼角色。 2. **任務說明**（User Prompt） – 描述具體需求、限制條件、輸出格式。 3. **示例示範**（Few‑Shot） – 提供 1‑2 個正確範例，以降低模型誤差。 ```text System: 你是一位專業的虛擬偶像內容創作者，擅長寫出符合二次元文化的歌詞。 User: 請寫一段 16 行的 rap，主題是「AI 與未來」，每行結尾必須押「-a」音。 Example: 1. 我在雲端翻閱未來的畫冊 ... ``` ### 5.2.2 常見技巧 | 技巧 | 說明 | 範例 | |------|------|------| | **Chain‑of‑Thought** | 要求模型逐步思考，提升推理正確率。 | `"先列出三個關鍵概念，再寫出歌詞。"` | | **Temperature 控制** | 高溫產生創意、低溫保守。 | `temperature=0.9` 為創意歌詞，`0.2` 為正式稿。 | | **Stop Tokens** | 防止模型跑題或產生過長回覆。 | `stop="\n\n"` 限制段落結束。 | | **Length Penalty** | 調整產出長度，避免過短。 | `max_tokens=300` 與 `presence_penalty=0.6`。 | | **多語言 Prompt** | 結合中文與英文關鍵詞提升專業詞彙準確度。 | `"使用 "kawaii" 風格，請寫..."` | ### 5.2.3 案例：從概念到成品的完整 Prompt 流程 **目標**：為星瀾產出 30 秒的即興歌唱腳本，包含歌詞、情緒標籤、音高走向。 ```text System: 你是一名虛擬偶像內容策展人，熟悉音樂理論與 AI 生成技術。 User: 1. 角色：星瀾·曦夢（甜美、少女聲線） 2. 主題：粉絲的生日祝福 3. 情緒：開心 → 溫柔 → 驚喜 4. 音高走向：C4 → D4 → E4（副歌最高點） 5. 請以 4/4 拍、120 BPM 寫出 8 小節的歌詞，每小節 2 行，最後提供音高序列（以 midi 數值表示）。 6. 輸出格式： - 歌詞： ``` [第1小節] 行1 行2 ``` - 音高序列：`[60, 62, 64, 65, 67, 69, 71, 72]` ``` **執行結果**（簡化示例） ```text [第1小節] 生日快樂的星光閃爍 願望在夜空裡飛舞 [第2小節] 甜蜜笑容像糖果 輕輕吹散了寂寞 ...（略） 音高序列: [60, 62, 64, 65, 67, 69, 71, 72] ``` ### 5.2.4 Prompt 調試工具 - **OpenAI Playground**：即時觀察溫度、頻率等參數的影響。 - **PromptLayer**：管理、版本化與分析 Prompt 效能。 - **LM‑Eval**：自動化測試生成品質（BLEU、ROUGE、HumanEval）。 --- ## 5.3 多模態生成：文字、影像、音頻的整合流程 ### 5.3.1 為何走多模態 虛擬偶像的核心價值在於**視覺 + 聲音 + 故事**的同步呈現。單一模態往往無法滿足粉絲對沉浸感的需求。多模態生成可以在同一次呼叫中完成文字腳本、對應畫面（Stable Diffusion / Midjourney）以及配樂（AudioLM），大幅縮短創作迭代週期。 ### 5.3.2 步驟概覽 ```mermaid flowchart TD A[文字腳本 (LLM)] --> B[關鍵詞抽取] B --> C{影像生成模型} C -->|Prompt| D[圖像 (Stable Diffusion)] B --> E{音頻模型} E -->|Prompt| F[音頻 (AudioLM)] D --> G[後處理 (裁切/上色)] F --> H[聲音混音 & 效果] G --> I[整合至影片編輯工具] H --> I I --> J[最終輸出 (MP4)] ``` ### 5.3.3 文字 → 關鍵詞抽取 (Python 範例) ```python import re from transformers import pipeline # 使用 Zero‑Shot‑Classification 直接抽取概念 classifier = pipeline("zero-shot-classification", model="facebook/bart-large-mnli") script = "星瀾在星空下為粉絲唱生日歌，情緒從驚喜切換到柔和。" labels = ["情緒", "場景", "物件", "動作"] result = classifier(script, candidate_labels=labels) print(result) # 輸出示例：{'labels': ['情緒', '場景', '動作', '物件'], 'scores': [...]} ``` ### 5.3.4 影像生成 Prompt 設計 ```text 描述: "星瀾·曦夢站在閃爍的星空舞台上，背光柔和，手持麥克風，穿著銀白色未來風演出服。" Style: "digital art, high detail, 4k, anime style" Negative Prompt: "blur, lowres, watermark" ``` 在 Stable Diffusion API 中使用上述 Prompt，並加上 **seed** 與 **cfg_scale** 參數確保可重現性。 ```bash curl -X POST https://api.stability.ai/v1/generation/stable-diffusion-xl/text-to-image \ -H "Authorization: Bearer $API_KEY" \ -d '{ "prompt": "星瀾·曦夢站在閃爍的星空舞台上...", "seed": 12345, "cfg_scale": 7.5, "width": 1024, "height": 1024 }' ``` ### 5.3.5 音頻生成 (AudioLM) 示例 ```python from transformers import AutoProcessor, AutoModelForAudioLM processor = AutoProcessor.from_pretrained("google/audiolm-large") model = AutoModelForAudioLM.from_pretrained("google/audiolm-large") text_prompt = "星瀾在星空下用甜美的聲線唱生日快樂歌，情緒開心且稍帶顫音。" inputs = processor(text=text_prompt, return_tensors="pt") outputs = model.generate(**inputs, max_new_tokens=4000) audio = processor.decode(outputs) audio.save("song.wav") ``` ### 5.3.6 整合與後製 | 階段 | 工具 | 重點 | |------|------|------| | **影像編輯** | Adobe After Effects、DaVinci Resolve | 添加動態光效、鏡頭運動，使用 **Expression** 連結音頻峰值。 | | **音頻混音** | Audacity、Reaper、Adobe Audition | 加入混響、立體聲擴張，確保音量正規化（-23 LUFS）。 | | **影片輸出** | FFmpeg（自動化） | `ffmpeg -i video.mp4 -i song.wav -c:v copy -c:a aac -shortest final.mp4` | ### 5.3.7 成本與效能考量 - **模型大小**：Stable Diffusion XL ≈ 2.7 B 參數；AudioLM 大模型需 GPU（至少 16 GB VRAM）。 - **雲端部署**：使用 **RunPod**、**Lambda Labs**，搭配 **Spot Instances** 可降低每小時成本至 $0.25 USD。 - **延遲**：文字 → 圖像約 4‑6 秒；文字 → 音頻約 8‑12 秒（視音長度而定）。 - **快取策略**：針對常用「情境」預先生成圖像與音頻，寫入 CDN，減少即時呼叫次數。 --- ## 5.4 小結與實務建議 - **模型選型**：文字腳本以 GPT‑4o 為首選；影像以 Stable Diffusion XL（或商業版）為主；音頻則根據即時需求選擇 VALL‑E（快速）或 AudioLM（高保真）。 - **Prompt 工程**：建立**角色‑任務‑示例**三段式 Prompt，並透過 **Chain‑of‑Thought** 與 **Few‑Shot** 提升品質。 - **多模態管線**：建議使用 **Event‑Driven Architecture**（Kafka + Lambda）串接文字、影像、音頻服務，使每個模組可獨立擴展。 - **版本管理**：將 Prompt、模型參數、生成結果以 **Git + DVC** 方式追蹤，確保團隊協作與可回溯性。 - **測試與驗證**： - **語義相似度**（cosine similarity）檢查文字生成的符合度。 - **圖像品質指標**（FID、CLIPScore）評估視覺輸出。 - **音頻客觀指標**（PESQ、STOI）驗證聲音品質。 - **部署實踐**： 1. **本地開發**：Docker Compose 包含 `llm`, `sdxl`, `audiolm` 三個服務。 2. **K8s 部署**：使用 **Helm chart** 管理資源，開啟 **Horizontal Pod Autoscaler** 以因應直播高峰。 3. **Edge 加速**：在 CDN 邊緣節點緩存常用圖像與音頻，降低粉絲端感知延遲至 <200 ms。 透過本章所述的 **文字‑影像‑音頻** 多模態生成框架，讀者將能在 **數分鐘** 完成一次完整的虛擬偶像內容產出，從概念到成品的迭代速度提升 10 倍以上，為後續的直播、社群貼文與商業合作奠定高速、可擴展的技術根基。