第 1 章 生成式 AI 概述與基礎概念

# 第 1 章 生成式 AI 概述與基礎概念 --- ## 1.1 什麼是生成式 AI？ 生成式人工智慧（Generative AI）是一類能夠 **自動產生新內容** 的模型，涵蓋文字、圖像、音訊、影片等多媒體形態。與傳統的辨識式 AI（如分類、偵測）不同，生成式 AI 的核心目標是 **從訓練資料的分布中抽樣**，創造前所未有、但仍具合理性的作品。 > **核心特性** > - **創造性**：生成的結果不必與輸入完全對應，可產生全新構想。 > - **條件化**：透過提示（prompt）或條件向量，引導模型產出符合需求的內容。 > - **可微調**：在特定領域或風格上進行微調（Fine‑tuning），提升專屬表現。 ## 1.2 生成式 AI 的三大技術支柱 | 技術類別 | 代表模型 | 工作原理 | 典型應用領域 | |----------|----------|----------|--------------| | **語言模型** | GPT‑4、Claude、LLaMA | 基於 Transformer 的自回歸預測，依序產生文字序列。 | 劇本與歌詞創作、對話機器人、內容策劃 | | **擴散模型** | Stable Diffusion、Midjourney、DALL·E 3 | 先將圖像「加噪」成隨機噪聲，再透過反向擴散逐步去噪恢復圖像，條件化提示決定最終風格。 | 角色概念圖、場景渲染、海報設計 | | **聲音合成** | VALL-E、RVC、Microsoft Azure TTS | 透過神經網路學習語音波形或頻譜的分布，結合說話人特徵向量完成語音生成。 | 虛擬偶像語音、角色配音、情感語音 | 以下分別說明這三大類別的技術細節與在娛樂產業的落地案例。 --- ## 1.3 語言模型（Language Model） ### 1.3.1 基本概念 - **自回歸（Autoregressive）**：模型在產生第 *t* 個 token 時，條件於已生成的前 *t‑1* 個 token。 - **Transformer 架構**：以自注意力（Self‑Attention）機制捕捉長距離依賴，支援大規模平行運算。 - **預訓練 + 微調**：先在海量通用語料上預訓練，再於特定領域資料微調，使模型兼具廣度與深度。 ### 1.3.2 產業演變 | 時期 | 代表模型 | 產業突破點 | |------|----------|------------| | 2018‑2020 | GPT‑2、BERT | 文本自動摘要、聊天機器人原型 | | 2020‑2022 | GPT‑3、ChatGPT | 大規模交互式創作、即時劇本生成 | | 2023‑今 | GPT‑4、Claude 2 | 多模態（文字+圖像）協同創作、情感導向寫作 | ### 1.3.3 實務示例：劇本自動化 ```json { "prompt": "設定：未來城市的虛擬偶像 Liv 在演唱會上與觀眾互動。\n需求：寫一段 300 字的開場白，語氣活潑且帶有鼓勵性。", "max_tokens": 400, "temperature": 0.8 } ``` > **Interpretation**：透過這樣的 Prompt，GPT‑4 能在秒內產出符合角色人格的開場稿，節省編劇 70%‑80% 的草稿時間。 --- ## 1.4 擴散模型（Diffusion Model） ### 1.4.1 基本概念 1. **正向擴散（Forward Diffusion）**：將真實圖像逐步加入高斯噪聲，使其最終變成純噪聲分布。 2. **反向擴散（Reverse Diffusion）**：訓練神經網路學習如何在每一步逆向去除噪聲，最終還原為符合條件的圖像。 3. **條件化（Conditioning）**：利用文字提示、草圖或深度圖等作為額外資訊，引導生成過程。 ### 1.4.2 為何在虛擬偶像領域受青睞？ - **高品質概念圖**：在 1‑2 秒內產出 4K 解析度角色草圖，快速迭代設計。 - **風格一致性**：通過 LoRA（Low‑Rank Adaptation）微調，可將特定畫風（如日系、賽博朋克）固定在模型中。 - **成本效益**：相較於傳統手繪外包，單次產出成本僅為幾美元。 ### 1.4.3 案例分析：角色概念生成流程 | 步驟 | 工作內容 | 使用工具 | |------|----------|----------| | 1️⃣ 定義角色設定 | 年齡、職業、服裝風格、配色 | Google Docs（文字整理） | | 2️⃣ 撰寫 Prompt | "A 20‑year‑old cyber‑punk idol wearing neon‑blue jacket, ultra‑realistic portrait" | 手寫或 Prompt‑Writer 插件 | | 3️⃣ 產生圖像 | 透過 Stable Diffusion WebUI（AUTOMATIC1111） | `python scripts/stable_diffusion.py --prompt "..." --steps 50` | | 4️⃣ 篩選與微調 | 使用 Photoshop 進行細部調整，或回饋 LoRA 重新訓練 | Photoshop、DreamBooth | | 5️⃣ 輸出 3D 參考 | 轉為 3D 角色模型基礎 | Blender + Instant Meshes | --- ## 1.5 聲音合成（Speech Synthesis） ### 1.5.1 核心技術 - **文字轉語音（TTS）**：將文字映射至聲波形或頻譜（Mel-spectrogram），常見模型如 Tacotron、VITS。 - **說話人克隆（Voice Cloning）**：利用少量錄音（5‑30 秒）學習說話人特徵，生成相似音色的語音。代表技術包括 RVC、SV2TTS。 - **情感語音（Emotional TTS）**：在語音合成過程中注入情緒向量（快樂、悲傷、驚訝），提升角色表現力。 ### 1.5.2 娛樂產業的演變 | 時期 | 主要技術 | 產業應用 | 里程碑 | |------|----------|----------|--------| | 2015‑2018 | 基於 HMM 的合成語音 | 簡易廣播、提醒音 | 平滑度有限，缺乏自然度 | | 2019‑2021 | 神經 TTS（Tacotron、FastSpeech） | 虛擬主播、遊戲 NPC | 自然度大幅提升 | | 2022‑今 | 零樣本說話人克隆（RVC、VALL‑E） | 虛擬偶像即時演唱、情緒互動 | 可即時切換角色聲線 | ### 1.5.3 實作範例：快速生成虛擬偶像語音 ```bash # 安裝 RVC (Python 3.10) git clone https://github.com/RVC-Project/RVC.git cd RVC && pip install -r requirements.txt # 以 10 秒樣本「voice_sample.wav」訓練說話人模型 python infer_cli.py --mode train --data_dir ./samples --output_dir ./models --sample_rate 48000 # 產生一句台詞 python infer_cli.py \ --mode infer \ --model_path ./models/voice.pth \ --text "大家好，我是 Liv，歡迎來到未來音樂會！" \ --output ./output/liv_greeting.wav ``` > **技巧**：在 Prompt 中加入情感標籤（如 `[happy]`），配合情感向量，可使語音呈現更活潑的情緒。 --- ## 1.6 生成式 AI 在娛樂產業的全景圖 1. **內容創作加速**：從腳本、概念圖、配音一次到位，縮短製作周期 40%‑60%。 2. **成本結構重塑**：高品質素材的產出成本從每小時數千美元降至每次幾美元，讓中小型創作者也能進入市場。 3. **互動體驗升級**：即時文字↔語音↔影像生成，使虛擬偶像能在直播、社群平台上與粉絲即時對話，提升黏著度。 4. **版權與倫理新挑戰**：模型在訓練階段使用的資料版權、生成內容的歸屬、以及深度偽造（Deepfake）等問題需要制度性治理。 --- ## 1.7 小結與實務建議 | 建議類別 | 核心要點 | |----------|----------| | **技術選型** | 初學者可先從開源模型（GPT‑Neo、Stable Diffusion 1.5、RVC）入手；商業項目則考慮雲服務（OpenAI、Azure OpenAI、Amazon Bedrock）以獲得 SLA 保證。 | | **資料治理** | 建立自有資料庫，確保訓練素材已取得授權；對外部模型使用的版權聲明保持透明。 | | **工作流程** | 1️⃣ 定義角色定位 → 2️⃣ 使用語言模型產出劇本 → 3️⃣ 用擴散模型產生視覺概念 → 4️⃣ 透過聲音合成完成配音 → 5️⃣ 整合至即時互動平台。 | | **持續學習** | 追蹤最新的 ArXiv 論文、模型發布（如 Stable Diffusion XL、GPT‑4o），並透過社群（Discord、Reddit）快速驗證新工具。 | > **Mentor 心態**：在每一次實作過程中，先把「問題」拆解成「可測試的子問題」，再用最簡單的 AI 方案驗證概念，逐步迭代。這樣的循環不僅能降低風險，也能培養創作者的模型思維。 --- ### 本章小測驗 1. 請說明「自回歸」在語言模型中的意義，並舉例說明它如何影響生成文字的連貫性。 2. 「正向擴散」與「反向擴散」的差別是什麼？為何需要兩個過程？ 3. 在聲音合成領域，什麼是「說話人克隆」？列出至少兩個可實作的開源工具。 --- > **下一章預告**：我們將從宏觀的產業角度切入，解析虛擬偶像的生態系、商業模式與主要平台，幫助你定位自己的角色與差異化策略。