近日，由清华大学计算机系朱军教授课题组发布的基于薛定谔桥的语音合成系统 [1]，凭借其 「数据到数据」的生成范式，在样本质量和采样速度两方面，均击败了扩散模型的 「噪声到数据」范式。 自 2021 年起，扩散模型（diffusion models）开始成为文本到语音 ...

我对语音做了切分和停顿的各种处理，然后用MFA 2.X提取了durations, 我对比了所有处理过后语音的duration和MFA durations总和，误差在1e-3 秒以下(1ms以下). 考虑到hop window用的是12.5ms这应该没有问题，因为MFA的TG文件只到小数点第二三位, log mel提取后frames数和phone durations ...

谈到数据的生成，很多人都会想到利用生成对抗网络（GAN）去实现，这对于图像和视频这种较易于编码表示的数据是合适的。然而在实现音频的生成时，却是困难重重，首先音频具有较高的时间分辨率（通常至少为每秒 16,000 个样本），并且在不同时间尺度上 ...