GPT-SoVITS声音克隆实战：训练专属AI漫剧角色声音

输入文本 → GPT模型 → 语义Token → SoVITS模型 → 输出语音
                                    ↑
                              参考音频（声音特征）

# 克隆项目仓库
git clone https://github.com/RVC-Boss/GPT-SoVITS.git
cd GPT-SoVITS

# 安装依赖
pip install -r requirements.txt

# 下载预训练模型
bash install.sh

# 拉取Docker镜像
docker pull breakstring/gpt-sovits:latest

# 启动容器
docker run -d \
  --name gpt-sovits \
  --gpus all \
  -p 9880:9880 \
  -v /path/to/data:/app/data \
  breakstring/gpt-sovits:latest

步骤1：登录阿里云函数计算控制台
步骤2：搜索"GPT-SoVITS"模板
步骤3：选择模板并创建应用
步骤4：等待部署完成（约5-10分钟）
步骤5：通过提供的URL访问Web界面

# 启动API服务
python api.py

# 或启动Web界面
python webui.py

【平静叙述】
今天天气不错，我决定出去走走。街道上人来人往，每个人都在忙碌着自己的事情。

【高兴】
太好了！真的太棒了！我等这一天已经等了好久好久！

【悲伤】
为什么……为什么事情会变成这样？我明明已经那么努力了……

【愤怒】
够了！我不想再听你的借口！你每次都是这样！

【惊讶】
什么？！你说的是真的吗？这怎么可能！

【恐惧】
不……不要过来……求求你，不要过来……

【温柔】
没关系，有我在。不管发生什么，我都会陪在你身边。

【冷酷】
我不关心你的理由。结果才是唯一重要的事情。

音频文件名: recording_001.wav
对应文本: 今天天气不错，我决定出去走走。

音频文件名: recording_002.wav
对应文本: 太好了！真的太棒了！

dataset/
├── your_character_name/
│   ├── audios/
│   │   ├── 001.wav
│   │   ├── 002.wav
│   │   └── ...
│   └── annotations/
│       ├── 001.lab
│       ├── 002.lab
│       └── ...

数据准备 → 音频特征提取 → 语义token提取 → SoVITS模型训练 → GPT模型训练 → 模型融合

# 1. 音频预处理和特征提取
python prepare_datasets/1-asr.py \
  --input_dir ./dataset/your_character_name/audios \
  --output_dir ./dataset/your_character_name/

# 2. 语义token提取
python prepare_datasets/2-semantic.py \
  --input_dir ./dataset/your_character_name/ \
  --output_dir ./dataset/your_character_name/

# 3. 训练SoVITS模型
python s1_train.py \
  --config_path ./configs/s2.json \
  --model_name your_character_name_sovits

# 4. 训练GPT模型
python s2_train.py \
  --config_path ./configs/s1.json \
  --model_name your_character_name_gpt

步骤1：在"推理"选项卡中选择训练好的模型
步骤2：输入需要合成的文本
步骤3：（可选）上传参考音频以控制声音风格
步骤4：调整语速、音调等参数
步骤5：点击"生成"按钮
步骤6：试听生成的语音，满意后下载

import requests
import json

# GPT-SoVITS API配置
API_URL = "http://localhost:9880/tts"

# 请求参数
payload = {
    "text": "你果然来了。三年了，你还是这么倔强。",
    "text_language": "zh",
    "top_k": 15,
    "top_p": 1.0,
    "temperature": 1.0,
    "speed": 1.0,
    "sdp_ratio": 0.2,
    "noise_scale": 0.6,
    "noise_scale_w": 0.8
}

# 发送请求
response = requests.post(API_URL, json=payload)

if response.status_code == 200:
    with open("output.wav", "wb") as f:
        f.write(response.content)
    print("语音合成成功！")
else:
    print(f"合成失败：{response.text}")

# 情感丰富的场景
emotional_params = {
    "temperature": 1.1,
    "top_k": 15,
    "top_p": 0.95,
    "noise_scale": 0.6,
    "noise_scale_w": 0.8
}

# 稳定清晰的旁白
narration_params = {
    "temperature": 0.9,
    "top_k": 10,
    "top_p": 0.9,
    "noise_scale": 0.4,
    "noise_scale_w": 0.6
}

# 快速对话
fast_dialogue_params = {
    "temperature": 1.0,
    "top_k": 12,
    "top_p": 0.95,
    "speed": 1.15,
    "noise_scale": 0.5,
    "noise_scale_w": 0.7
}

# 使用参考音频进行推理
payload = {
    "text": "你果然来了。",
    "text_language": "zh",
    "refer_audio_path": "./references/emotional_scene.wav",
    "refer_text": "参考音频对应的文本内容",
    "prompt_language": "zh"
}

优化前：
你真的要离开吗她轻声问道是的这是我的选择他坚定地回答

优化后：
"你真的要离开吗？"她轻声问道。
"是的，这是我的选择。"他坚定地回答。

<speak>
  <prosody rate="slow" pitch="low">
    三年前的那场大雨，改变了一切。
  </prosody>
  <break time="500ms"/>
  <prosody rate="fast" pitch="high">
    快跑！来不及了！
  </prosody>
</speak>

models/
├── character_linmo/
│   ├── gpt_model.ckpt
│   ├── sovits_model.ckpt
│   └── config.json
├── character_suqing/
│   ├── gpt_model.ckpt
│   ├── sovits_model.ckpt
│   └── config.json
├── narrator/
│   ├── gpt_model.ckpt
│   ├── sovits_model.ckpt
│   └── config.json
└── model_registry.json

{
  "characters": {
    "林默": {
      "model_path": "models/character_linmo",
      "voice_description": "25岁男性，声音低沉有力",
      "default_params": {
        "temperature": 1.0,
        "speed": 0.95
      }
    },
    "苏晴": {
      "model_path": "models/character_suqing",
      "voice_description": "23岁女性，声音温柔清亮",
      "default_params": {
        "temperature": 1.05,
        "speed": 1.0
      }
    }
  }
}

import requests
import json
import os
import time

class GPTSoVITSClient:
    def __init__(self, api_url="http://localhost:9880"):
        self.api_url = api_url

    def synthesize(self, text, model_path, params=None):
        """合成语音"""
        payload = {
            "text": text,
            "text_language": "zh",
            "model_path": model_path,
            **(params or {})
        }
        response = requests.post(f"{self.api_url}/tts", json=payload)
        if response.status_code == 200:
            return response.content
        else:
            raise Exception(f"合成失败: {response.text}")

# 角色配置
characters = {
    "林默": {
        "model_path": "models/character_linmo",
        "params": {"temperature": 1.0, "speed": 0.95}
    },
    "苏晴": {
        "model_path": "models/character_suqing",
        "params": {"temperature": 1.05, "speed": 1.0}
    },
    "旁白": {
        "model_path": "models/narrator",
        "params": {"temperature": 0.9, "speed": 0.9}
    }
}

# 剧本对话
script = [
    {"character": "旁白", "text": "雨夜，废弃的教堂内。"},
    {"character": "林默", "text": "你果然来了。"},
    {"character": "苏晴", "text": "我不得不来。"},
    {"character": "林默", "text": "三年了，你还是这么倔强。"},
    {"character": "苏晴", "text": "你变了，林默。"},
    {"character": "旁白", "text": "沉默在两人之间蔓延。"},
]

# 批量生成
client = GPTSoVITSClient()
output_dir = "output_voiceover"
os.makedirs(output_dir, exist_ok=True)

for i, line in enumerate(script):
    char_name = line["character"]
    char_config = characters[char_name]
    text = line["text"]

    print(f"[{i+1}/{len(script)}] {char_name}: {text}")

    try:
        audio_data = client.synthesize(
            text=text,
            model_path=char_config["model_path"],
            params=char_config["params"]
        )
        filename = f"{i:03d}_{char_name}.wav"
        filepath = os.path.join(output_dir, filename)
        with open(filepath, "wb") as f:
            f.write(audio_data)
        print(f"  → 已保存: {filename}")
    except Exception as e:
        print(f"  → 失败: {e}")

    time.sleep(0.3)

print("\n批量配音完成！")

# 检查CUDA版本
nvidia-smi
nvcc --version

# 安装匹配的PyTorch版本
pip install torch==2.1.0+cu118 --index-url https://download.pytorch.org/whl/cu118

# 建议使用虚拟环境
conda create -n gpt-sovits python=3.10
conda activate gpt-sovits
pip install -r requirements.txt