第 4 章 聲音合成與情感傳遞

# 第 4 章 聲音合成與情感傳遞 > **聲音** 是虛擬演員情感與人格的重要載體。從純粹的文字轉語音（TTS）到可感知情緒、語氣的語音模型，技術與藝術的交匯點正日益清晰。本章將帶領讀者從基礎概念、核心演算法，到實務落地與評估指標，全面掌握虛擬演員聲音合成與情感傳遞的關鍵技術。 --- ## 4.1 文本到語音（Text‑to‑Speech, TTS）基礎 | 階段 | 主要任務 | 代表技術 | 典型模型 | |------|----------|----------|----------| | 文本預處理 | 詞彙標註、語法分析、發音規則 | 正則表達式、語言模型 | - | | 文字表徵 | 音素序列、語音特徵 | phoneme, grapheme‑to‑phoneme | Phoneme‑based G2P | | 声学模型 | 生成频谱、声码器 | WaveNet, Tacotron2, FastSpeech | FastSpeech 2 | | 语音合成 | 声码器解码 | WaveNet, LPCNet, HiFi‑GAN | HiFi‑GAN | ### 4.1.1 文字預處理 文字預處理是把人類可讀文本轉化為機器能直接處理的語音表徵。常見工作包括 - **斷詞 / 分詞**：中文常用 `jieba`、`HanLP`；英文可使用 `nltk`。 - **發音規則**：對於特殊符號、數字、縮寫需提供自定義發音表。 - **語調標注**：如句號、感嘆號、問號的語調變化。 > **實作範例**（Python） > python > from typing import List > import jieba > > def preprocess(text: str) -> List[str]: > """簡易中文斷詞，並移除標點符號。""" > words = jieba.lcut(text) > words = [w for w in words if w.strip() and w not in string.punctuation] > return words > ### 4.1.2 文字表徵（Phoneme / Grapheme） 在多語言環境下，**Grapheme‑to‑Phoneme (G2P)** 允許直接從拼寫得到音素。對於漢語，音節可拆分為聲母、韻母與聲調。 > **典型流程**： > 1. 分詞 → 文字序列 > 2. G2P → 音素序列 > 3. 声调标注 → 语音特征（F0, duration） ### 4.1.3 声学模型 | 模型 | 特点 | 适用场景 | |------|------|-----------| | Tacotron2 | 基于 RNN 的 Seq‑2‑Seq，生成 mel‑spectrogram | 适合高质量、可自定义的 TTS | | FastSpeech2 | Transformer‑based，速度快，支持并行生成 | 需要低延迟、实时合成 | | VITS | 一体化端到端模型，兼顾音质与速度 | 端到端、跨域适配 | > **实用技巧**： > - **语速与音高**：可通过 `duration predictor` 与 `pitch predictor` 直接控制。 > - **多说话人**：使用 **speaker embedding** 或 **Style Tokens** 实现说话人风格切换。 ## 4.2 情感語音模型 情感語音模型不只是提升音質，更關注**情緒色彩**、**語氣調整**與**自然度**。核心技術包括: - **情感嵌入**：將情緒類別映射至向量，進行条件生成。 - **声码器優化**：使用 `HiFi‑GAN` 或 `Parallel WaveGAN` 以保持高保真度。 - **多模态学习**：結合視覺、文本情緒訊號，提升語音情感的一致性。 ### 4.2.1 典型框架 | 框架 | 主要貢獻 | 特色 | |------|----------|------| | Emotion‑TTS | 在 FastSpeech2 基础上加入情感嵌入 | 高度可控情感 | | Style‑TTS | 采用声码器级的 style tokens | 细腻语调变化 | | Diffusion‑TTS | 通过扩散模型实现更自然的音色 | 生成多样性高 | ### 4.2.2 训练流程 1. **数据准备**：收集多说话人、情感标签（如 `happy`, `sad`, `angry`）的音频集。 2. **特征提取**：使用 `OpenSMILE` 或 `Praat` 提取 `F0`, `energy`, `spectral` 维度。 3. **情感编码**：将情绪标签通过 `embedding` 或 `one‑hot` 形式加入模型。 4. **对抗学习**：使用 `GAN` 或 `VAE` 结构提升语音多样性。 > **實作範例**（簡化版） > python > # Emotion‑TTS 的核心代码示例 > import torch > from fastspeech2 import FastSpeech2 > from hifigan import HiFiGAN > > # 载入预训练模型 > fs2 = FastSpeech2.load_pretrained('fastspeech2_emotion.pt') > hifigan = HiFiGAN.load_pretrained('hifigan.pt') > > # 输入文本与情感标签 > text = "我今天很高興！" > emotion = torch.tensor([1]) # 1: happy > > # 生成 mel spectrogram > mel = fs2(text, emotion=emotion) > > # 合成音频 > wav = hifigan(mel) > ## 4.3 自然對話生成（Conversational AI） 對話生成是虛擬演員能夠進行實時互動的核心。關鍵技術包括: - **對話管理**：利用 **state‑tracking** 或 **policy network** 控制對話流程。 - **語言生成**：基於 Transformer 或 LSTM 的模型，結合 **retrieval‑augmented generation (RAG)**。 - **情感回饋**：在生成時考慮對話上下文情緒，並生成相應語音。 ### 4.3.1 典型模型 | 模型 | 核心思路 | 優勢 | |------|----------|------| | GPT‑3 / GPT‑4 | 大規模預訓練 Transformer | 生成自由、流暢 | | DialogGPT | 在 GPT‑2 基础上 finetune 对话数据 | 对话连贯 | | BlenderBot | Retrieval‑augmented + 生成 | 记忆性强，适应性好 | | Rasa | 开源、可自定义的 NLU/Dialogue Management | 结构清晰，企业易部署 | ### 4.3.2 聲音回饋流程 [對話上下文] ──> [自然語言生成模型] ──> [文本] ──> [TTS/情感 TTS] ──> [音频] > **重要參數**： > - **響應速度**：需要低延迟，常用 `FastChat` 或 `Bloom` 的量化模型。 > - **上下文維持**：使用 **memory‑augmented neural network (MANN)** 或 **slot‑based memory**。 > > **簡易實作**（RAG + TTS） > python > from transformers import RagTokenizer, RagRetriever, RagSequenceForGeneration > from emotion_tts import EmotionTTS > > tokenizer = RagTokenizer.from_pretrained('facebook/rag-token-nq') > retriever = RagRetriever.from_pretrained('facebook/rag-token-nq', index_name='custom') > model = RagSequenceForGeneration.from_pretrained('facebook/rag-token-nq') > > # 虛擬演員對話回應 > def generate_response(user_msg, dialog_history): > context = dialog_history + " " + user_msg > input_ids = tokenizer(context, return_tensors='pt').input_ids > generated = model.generate(input_ids, retriever=retriever) > text = tokenizer.decode(generated[0]) > return text > > # 合成語音 > def speak(text, emotion): > mel = fs2(text, emotion=emotion) > wav = hifigan(mel) > return wav > ## 4.4 音頻處理與後期製作 ### 4.4.1 低延遲音频輸出 - **緩衝策略**：使用 `AudioBuffer` 控制 `chunk‑size` 與 `overlap‑add`。 - **流式合成**：採用 **Streaming‑WaveNet** 或 **FastSpeech‑2 streaming**。 - **硬件加速**：GPU、TensorRT、ONNX Runtime 等。 ### 4.4.2 噪声抑制與回聲消除 - **Wiener filter**、**Spectral subtraction**：基礎但易实现。 - **Deep Noise Suppression (DNS)**：如 `Neural Denoiser`，可显著提升嘈杂环境下的可懂度。 > **示例：使用 `librosa` 进行噪声抑制** > python > import librosa > import numpy as np > > y, sr = librosa.load('input.wav', sr=None) > # 简易噪声估计 > noise_est = librosa.effects.hpss(y)[1] > y_clean = y - noise_est > librosa.output.write_wav('output_clean.wav', y_clean, sr) > ## 4.5 性能評估指標 | 指标 | 评估方法 | 典型工具 | |------|----------|----------| | 音频质量 | MOS (Mean Opinion Score) | MOS‑net, human 評估 | | 语速 | Average Duration / Speech Rate | 音频特征统计 | | 情感一致性 | Emotion Concordance | 使用 `SpeechEmotionRecognition` | | 延迟 | End‑to‑End Latency | Timer API, RT‑test | | 可扩展性 | 模型大小、推理速度 | FLOPs, TFLOPs | > **评估流程**： > 1. **数据集**：准备对照集（原始音频、合成音频）。 > 2. **人类评估**：邀请 5‑10 名听众，使用 5‑point MOS。 > 3. **自动评估**：使用 `EmoEval`, `VoiceMOS` 等。 > 4. **统计分析**：绘制 `box‑plot`, `t‑test` 检验差异。 ## 4.6 案例分析 | 項目 | 技術組合 | 成果 | |------|----------|------| | **AR 主題導覽** | GPT‑4 + Emotion‑TTS + HiFi‑GAN | 旅遊語音情感自然，吸引觀眾 | | **虛擬客服** | Rasa Dialogue + Emotion‑TTS | 客戶滿意度提升 12% | | **語音導覽機器人** | FastSpeech‑2 + VITS + RAG | 低延迟 30 ms，音质媲美真人 | > **案例詳述**： > 1. **AR 主題導覽** > - 角色：歷史人物導遊 > - 技術：利用 `DialogGPT` 生成對話，`Emotion‑TTS` 生成情感語音，`HiFi‑GAN` 提升音色。 > - 結果：實時互動，觀眾回饋表明情感傳遞自然度達 8.2/10。 > 2. **虛擬客服** > - 角色：多說話人客服代表 > - 技術：採用 `Rasa` 對話管理 + `Emotion‑TTS`；情感由 `SVM` 在文本層面判斷。 > - 結果：客戶滿意度提升 12%，退單率下降 4%。 --- ## 小結 本章介紹了 **文本到語音（TTS）** 的整體流程，深入探討了 **情感語音模型** 與 **自然對話生成** 的關鍵技術。從文字預處理、G2P、声学模型，到情感嵌入、聲碼器優化、以及對話管理，這些組件構成了虛擬演員聲音合成與情感傳遞的完整技術棧。接下來，**第 5 章** 將聚焦於 *圖像生成*，探討如何讓虛擬演員擁有「看」的能力。 --- > **建議閱讀** > - *Deep Learning for Speech Synthesis* (S. Wang, 2023) > - *Emotion‑aware Speech Synthesis: A Survey* (J. Chen, 2022) > - *Large‑Scale Conversational Models* (OpenAI, 2021)