AI涌现人类情感！希腊「乐之神」Orpheus开源，单卡可跑语音流式推理

新智元报道

编辑：KingHZ

【新智元导读】开源语音模型Orpheus让LLM涌现出人类情感！在A100 40GB显卡上，30亿参数模型的流式推理速度甚至超过了音频播放速度。甚至可以zero-shot克隆声音。

大语言模型（LLM）还能涌现什么能力？

这次开源模型Orpheus，直接让LLM涌现人类情感！

对此，Canopy Labs的开源开发者Elias表示Orpheus就像人类一样，已经拥有共情能力，能从文本中产生潜在的线索，比如叹息、欢笑和嗤笑。

作为开源的文本转语音（Text to Speech，TTS）模型，Orpheus性能超越了包括ElevenLabs和OpenAI在内的所有开源/闭源模型！

Orpheus成功证明了LLM在语音合成领域的涌现能力。

Orpheus表现出了共情能力，情智媲美人类，甚至可以从文字本身中生成叹息、笑声、轻笑等潜在的音调。

一直以来，开源TTS模型都无法与闭源模型竞争，而今天，这一局面开始发生改变，Ophueus颠覆语音界！

新开源的Orpheus有4大特点：

• 拟人化语音：具备自然的语调、情感和节奏，效果优于当前最先进（SOTA）的闭源模型。
• 零样本语音克隆：无需额外微调即可克隆声音。
• 可控情感与语调：使用简单的标签即可调整语音的情感和特征。
• 低延迟：流式推理延迟约200ms，结合输入流式处理可降低至100ms，适用于实时应用。

流式推理可在音频生成过程中逐步输出结果，使延迟极低，适用于实时应用。

在A100 40GB显卡上，30亿参数模型的流式推理速度，甚至快于音频播放速度。

项目地址：https://github.com/canopyai/Orpheus-TTS

模型地址：https://huggingface.co/collections/canopylabs/orpheus-tts-67d9ea3f6c05a941c06ad9d2

4大模型

Orpheus是由多个预训练和微调模型组成的系列，拥有30亿参数。

在未来几天内，开发者将发布更小规模的模型，包括10亿、5亿和1.5亿参数版本。

基于Llama架构，开源开发者还将发布预训练和微调模型，提供四种不同规模：

Medium – 30 亿参数

Small – 10 亿参数

Tiny – 4 亿参数

Nano – 1.5 亿参数

即使在极小的模型规模下，依然能实现极高质量、富有美感的语音生成。

微调模型适用于对话场景，而预训练模型可以用于多种下游任务，例如语音克隆或语音分类。

模型架构和设计

预训练模型采用Llama-3B作为基础架构，并在超过10万小时的英语语音数据和数十亿个文本token上进行了训练。

通过训练文本token，显著提升了模型在TTS任务上的表现，使其具备更强的语言理解能力。

由于采用了LLM架构，模型具备高精度、强表现力和高度可定制性。

新模型支持实时语音输出流式推理，延迟低至约200毫秒，适用于对话类应用。

如果希望进一步降低延迟，可以将文本流式输入到模型的KV缓存中，从而将延迟降低至约25-50毫秒。

在实时语音的设计上，采用了两种突破传统的方法：基于CNN的tokenizer

使用Snac采样不同频率的token，并将其展平

每帧生成7个token，并作为单个展平序列解码，而非使用7个LM头进行解码。

这样，模型需要生成的步数增加，但在A100或H100 GPU上，使用vLLM实现后，模型的token生成速度仍然快于实时播放，因此即使是较长的语音序列，也能保持实时生成。

Orpheus采用了非流式（基于CNN）的tokenizer。

其他使用SNAC作为解码器的语音LLM，在去token化时，会出现帧之间的「弹跳（popping）」现象。

Orpheus通过滑动窗口改进了去token化的实现，使其支持流式推理，同时完全消除popping问题。

使用教程

本次发布包含三款模型。

此外，还提供了数据处理脚本和示例数据集，方便用户轻松进行自定义微调。

目前，共有两款模型：

Finetuned Prod：针对日常TTS应用微调的高质量模型，适用于日常TTS应用的微调模型。

Pretrained：预训练基础模型，基于10万+小时的英语语音数据训练而成，预设为条件生成模式，可扩展至更多任务。

流式推理

1.克隆仓库

git clone https://github.com/canopyai/Orpheus-TTS.git

2.安装依赖

cd Orpheus-TTS && pip install orpheus-speech # uses vllm under the hood for fast inference

pip install vllm==0.7.3

3.运行流式推理示例

from orpheus_tts import OrpheusModel import wave import time model = OrpheusModel(model_name ="canopylabs/orpheus-tts-0.1-finetune-prod") prompt = '''Man, the way social media has, um, completely changed how we interact is just wild, right? Like, we're all connected 24/7 but somehow people feel more alone than ever. And don't even get me started on how it's messing with kids' self-esteem and mental health and whatnot.''' start_time = time.monotonic() syn_tokens = model.generate_speech(    prompt=prompt,    voice="tara",    ) with wave.open("output.wav", "wb") as wf:    wf.setnchannels(1)    wf.setsampwidth(2)    wf.setframerate(24000)    total_frames = 0    chunk_counter = 0    for audio_chunk in syn_tokens: # output streaming       chunk_counter += 1       frame_count = len(audio_chunk) // (wf.getsampwidth() * wf.getnchannels())       total_frames += frame_count       wf.writeframes(audio_chunk)    duration = total_frames / wf.getframerate()    end_time = time.monotonic()    print(f"It took {end_time - start_time} seconds to generate {duration:.2f} seconds of audio")

提示格式

1. 微调模型

主要的文本提示格式为：

{name}: I went to the ...

可选的姓名（按对话自然度排序，主观评估）：「tara」, 「leah」, 「jess」, 「leo」, 「dan」, 「mia」, 「zac」, 「zoe」。

可添加情感标签：