折腾 DDSP6.3 AI 翻唱记录

我也不知道怎么想的,突然开始玩上 AI 翻唱了。

训练阶段

DDSP6.3 的训练意外的很友好,不怎么吃配置。步数也不需要很多,我拿 3070 16G 跑了一会儿就训练出一个模型了,效果还挺不错。

当时心里还挺美的,觉得这也太简单了吧?

推理翻车

结果到了推理阶段就开始出问题了。

整合包自带的人声分离和和声分离效果不太行,高音部分经常出现哑音,听着非常难受。

于是换成了 BS-RoFormer 做人声和和声分离,效果确实好了一些,但还是不够理想。

后期救场

没办法,AU 卸了还没装回来,就开了 PR 手动处理了一下推理源,总算是得到了效果还行的素材。

不过目前训练出的模型会有一些高频齿音,不太确定换个模型能不能改善这个问题,以后有空再试试吧。


折腾了一圈下来,感觉 AI 翻唱这东西,训练其实是最简单的一步,反而是前期的音频处理和后期修音更花时间。有空再接着玩吧~

数据恢复中...
使用 Hugo 构建
主题 Stack 由 Jimmy 设计