第4章 AI 聲音合成與語言互動

# 第4章 AI 聲音合成與語言互動 本章聚焦於 **文字轉語音（TTS）** 與 **情感語音模型**，以及如何將這些技術與聊天機器人結合，打造具備即時回應與情感變化的虛擬偶像聲音人格。 --- ## 4.1 文字轉語音（TTS）概述 ### 4.1.1 基礎概念 | 名稱 | 定義 | 主要技術 | 典型應用 | |------|------|----------|----------| | TTS (Text‑to‑Speech) | 從純文字資料生成自然語音的技術 | 波形模型（WaveNet、WaveRNN）/ 光譜模型（Tacotron、FastSpeech） | 虛擬偶像朗讀、客服語音、導航播報 | | VITS (Variational Inference Text‑to‑Speech) | 同時學習語音特徵與說話風格的端到端模型 | Flow‑based + VAE | 高品質、低延遲的即時播報 | > **重點**：現代 TTS 已從「機械式」升級為「表情豐富」的聲音合成，關鍵在於 **聲學模型 + 語音風格控制**。 ### 4.1.2 主流商業與開源方案 | 類別 | 名稱 | 語言支援 | 授權模式 | 特色 | |------|------|-----------|----------|------| | 商業API | Google Cloud Text‑to‑Speech | 30+ | Pay‑as‑you‑go | WaveNet 高品質、可調音色、SSML 支援 | | | Microsoft Azure Speech Service | 75+ | Pay‑as‑you‑go | 神經語音、情感標籤、即時流式 | | | Amazon Polly | 60+ | Pay‑as‑you‑go | 多樣音色、Lex 結合聊天機器人 | | 開源 | Coqui TTS | 多語系 | MIT | 支持自訂聲音、離線部署 | | | ESPnet‑tts | 多語系 | Apache‑2.0 | 端到端、支援 VITS、FastSpeech | | | OpenAI VALL-E (研究) | 英文 | 受限 | 超高自然度、可階段式微調 | #### 選型指引 1. **快速驗證期**：建議直接調用 Google / Azure / Polly，利用 **SSML** 調整語速、音高與情感標籤。 2. **成本與隱私**：若需要離線、免版稅或大量產出，選擇 **Coqui TTS** 或 **ESPnet‑tts**，自行部署於雲端或本機 GPU。 3. **客製化聲音**：需要專屬聲音人格時，採用 **音色克隆（voice cloning）** 流程，先收集目標聲音樣本，再使用 **VITS / DiffWave** 進行微調。 --- ## 4.2 情感語音模型與聲音人格打造 ### 4.2.1 為何需要情感語音 虛擬偶像的魅力不僅在於外觀，更在於 **聲音的情感投射**。同一句話若以「開心」或「悲傷」的語調呈現，觀眾的情感回饋會截然不同。 ### 4.2.2 情感標記與資料集 | 資料集 | 語言 | 情感類別 | 採樣率 | 授權 | |--------|------|-----------|--------|------| | **EMOVO** | 義大利語 | 喜、怒、哀、驚、恐、噁 | 16kHz | CC‑BY‑NC | **CREMA‑D** | 英文 | 中性、正向、負向 | 44.1kHz | CC‑BY‑SA | **AIVoice** (自建) | 中文 | 喜、怒、哀、樂、驚 | 48kHz | 私有 | > **實務技巧**：若無現成中文情感資料，可自行錄製 **300‑500 秒** 的短句，標記情感屬性，再透過 **多說話人情感微調** 產出模型。 ### 4.2.3 模型架構與微調流程 ```mermaid graph LR A[原始文字] --> B[文字嵌入 (BERT/CTC)] B --> C[情感控制向量] C --> D[Tacotron/VITS Decoder] D --> E[聲碼器 (HiFi‑GAN)] E --> F[最終波形] ``` 1. **文字嵌入**：使用預訓練 BERT 或 FastText 產生語義向量。 2. **情感控制向量**：將情感類別 one‑hot 或情感強度（0‑1）與文字向量相加或 concat。 3. **解碼器**：採用 VITS 或 FastSpeech2，支援 **條件式聲音生成**。 4. **聲碼器**：HiFi‑GAN、MelGAN 等高保真聲碼器將頻譜轉為波形。 #### 微調步驟（以 ESPnet‑tts 為例） ```bash # 1. 下載中文基礎模型 git clone https://github.com/espnet/espnet cd espnet/egs2/tts1 # 2. 準備資料 ./scripts/prepare_aivoice.sh # 轉換自建資料為 Kaldi 格式 # 3. 訓練情感模型 ./run.sh --stage 3 --stop-stage 3 --ngpu 2 --conf conf/train_vits.yaml # 4. 推論測試 ./run.sh --stage 6 --conf conf/decode.yaml --decode-config emotion=happy ``` > **提示**：訓練時將 **emotion_id** 作為額外的輸入標籤，並在 `train.yaml` 中加入 `spk_embed_dim: 128` 以容納情感嵌入。 ### 4.2.4 評估指標 | 指標 | 說明 | 常用工具 | |------|------|----------| | MOS (Mean Opinion Score) | 主觀聽感評分 1‑5 分 | ITU‑P.800 | SMOS (Similarity MOS) | 與目標聲音相似度 | Amazon Polly 評估套件 | CER / WER | 文本還原錯誤率（驗證文字一致性） | Kaldi、ESPnet | Emotion Accuracy | 情感判別正確率 | 預訓練情感分類模型（e.g., wav2vec2‑emotion） | --- ## 4.3 建立聊天機器人與即時互動系統 ### 4.3.1 系統架構概覽 ```mermaid flowchart TD User[使用者] -->|文字/語音| WS[WebSocket] WS -->|文字| NLU[NLU (Rasa/Llama‑2)] NLU -->|意圖+槽位| DM[Dialogue Manager] DM -->|回應文字| NLG[Text‑to‑Speech Service] NLG -->|音訊流| WS DM -->|情感標籤| EmotionCtrl[情感語音控制] EmotionCtrl --> NLG ``` **核心元件** - **NLU**：意圖辨識、槽位抽取（可採 Rasa、spaCy、OpenAI API）。 - **Dialogue Manager**：規則或 LLM 驅動的對話策略。 - **情感控制模組**：根據對話情境決定語調（如「安慰」→悲傷、溫柔）。 - **TTS**：即時產生音訊，要求 **≤150 ms** 延遲以保證流暢互動。 ### 4.3.2 工具選型與實作範例 | 需求 | 推薦方案 | 優缺點 | |------|----------|-------| | 快速雲端原型 | **Rasa + Azure Speech** | Rasa 開源、Azure 高品質 TTS；需額外管理 Azure 帳號 | | 完全離線 | **Coqui TTS + Botpress** | 完全自建、無雲端費用；需要 GPU 供推論 | | 大規模 LLM 驅動 | **ChatGPT API + VITS** | 自然對話、情感控制可直接注入 Prompt；受 API 成本限制 | #### 範例程式（Node.js + Coqui TTS） ```javascript // server.js – 簡易即時聊天機器人 const express = require('express'); const http = require('http'); const { Server } = require('socket.io'); const { spawn } = require('child_process'); const app = express(); const server = http.createServer(app); const io = new Server(server); io.on('connection', (socket) => { console.log('client connected'); socket.on('user_msg', async (msg) => { const reply = await generateReply(msg); // LLM 或規則 const audioPath = await synthesize(reply, msg.emotion); const audio = await fs.promises.readFile(audioPath); socket.emit('bot_audio', audio.toString('base64')); }); }); async function synthesize(text, emotion='neutral') { // 呼叫本機 Coqui TTS，傳入情感參數 return new Promise((resolve) => { const tts = spawn('tts', ['--text', text, '--out_path', 'out.wav', '--emotion', emotion]); tts.on('close', () => resolve('out.wav')); }); } server.listen(3000, () => console.log('WebSocket listening on :3000')); ``` > **說明**：`generateReply` 可以換成 Rasa 端點或 OpenAI ChatCompletion，`emotion` 依對話上下文由 Dialogue Manager 決定。 ### 4.3.3 即時互動的性能最佳化 1. **模型量化**：將 VITS、HiFi‑GAN 量化為 INT8，GPU 推論時間可降至 **30‑50 ms**。 2. **音訊分段緩衝**：先生成前 500 ms 預覽音，邊播邊計算剩餘波形，降低感知延遲。 3. **WebSocket 心跳**：保持連線，避免因 HTTP 握手導致的突發延遲。 4. **多執行緒佇列**：將 NLU、DM、TTS 分別放在獨立工作者 (worker) 中，使用 RabbitMQ 或 Redis Queue 做任務排程。 --- ## 4.4 實務案例：從概念到上線的完整流程 | 階段 | 目標 | 核心工具 | 產出物 | |------|------|----------|--------| | 1️⃣ 需求定義 | 明確聲音人格（年齡、語調、情感範疇） | Google Sheet 需求表 | Persona Spec 文檔 | | 2️⃣ 语料收集 | 300 句樣本（不同情感）錄製 | Audacity、RØDE 麥克風 | wav/metadata JSON | | 3️⃣ 模型訓練 | 微調 VITS 產出情感聲庫 | ESPnet‑tts + NVIDIA A100 | .pth 檔、情感向量表 | | 4️⃣ 對話設計 | 設計情境意圖與情感回應策略 | Rasa + Llama‑2 | domain.yml、stories.md | | 5️⃣ 整合測試 | 端到端延遲 <150 ms、MOS >4.0 | Docker‑Compose、Locust | 測試報告、CI/CD pipeline | | 6️⃣ 上線部署 | 伺服器容器化、CDN 音檔緩存 | Kubernetes、Azure Speech (備援) | 監控儀表板 (Grafana) | ### 4.4.1 成功要素回顧 - **聲音與人格同步**：情感模型的「情緒標籤」必須對應對話管理中的情緒決策。 - **資料迭代**：上線後收集用戶回饋（語音滿意度、情感匹配），每月回訓一次模型，保持聲音新鮮感。 - **跨平台兼容**：使用 **WebSocket + MP3** 作為最小公約數，確保手機、桌面、VR 都能即時播放。 --- ## 4.5 常見問題與最佳實踐 | 問題 | 建議解決方案 | |------|----------------| | 音聲太機械/缺乏情感 | 采集更多情感樣本、使用 **情感控制向量**、對聲碼器進行 **GAN‑style fine‑tune** | | 延遲過高，直播互動卡頓 | 量化模型、分段生成、使用 **Edge GPU**（NVIDIA Jetson）做本地推論 | | 版權／聲音克隆的法律風險 | 確保全部錄音取得 **授權書**，使用 **CC‑BY** 或自行錄製，避免商業音源未授權使用 | | 多語系支援難度大 | 先以 **多說話人多語言模型**（如 MMS‑Speech）為基礎，再針對每種語言微調情感層 | --- ## 4.6 小結 1. **選型先行**：根據預算、隱私與品質需求決定商業 API 或自建開源模型。 2. **情感即是差異化**：透過情感控制向量與微調資料，讓虛擬偶像在同句話中展現多樣情緒，提升粉絲黏著度。 3. **即時互動必備低延遲**：模型量化、分段生成與高效通訊協定是實現流暢對話的關鍵。 4. **迭代閉環**：收集用戶回饋、更新語料、再訓練模型，形成「聲音 → 互動 → 迴饋」的持續優化循環。 > 下一章，我們將深入探討 **內容創作：音樂、影片與直播**，解密 AI 作曲、混音與跨平台直播的全方位實務技巧。