所在位置:首页 > 技术学习 > 音频教育文章

全新世代的 AI 虚拟歌手简评

 

随着虚拟演艺技术及人工智能的,越来越多的、带有AI技术的虚拟艺人、数字人、Vtuber主播等层出不穷,其中为这些新生概念奠基的歌声合成技术也被一家名为Dreamtonics的公司推向了新的高度,借助强劲的AI能力,虚拟歌手也可以同真人歌手一般富有感情。

 

Dreamtonics和Synthesizer V Studio

Synthesizer V 是由 Dreamtonics 推出的歌声合成软件系列,最新的产品Synthesizer V Studio支持传统的采样型声音库和新型AI声音库。通过 Synthesizer V AI 合成的歌声,有如人类歌手般自然流畅,细节饱满,能够在中文、英语、日语间随意切换,采用多种声线演唱各种风格音乐。同时,经过优化的神经网络无需复杂昂贵的硬件即可在大多数设备上流畅运行。

尽管搭载了先进的AI合成技术,但是软件的销售价格依旧维持在同类本地化歌声合成类产品平均水平的价格。那么让我们来看一下,这个价格带来的价格是否是物超所值吧~

 

体积更小,性能更好

传统的计算机虚拟乐器软件大多采用采样器技术,虽然音质在使用采样的情况下得以保证,但是由于需要使用无损采样,部分采样声音库为了追求高品质的合成甚至可以达到100GB以上。

与传统的采样器软件不同,Synthesizer V Studio所使用的AI声音库使用了优化的神经网络引擎,整体声音库包体大幅缩小,每个包体的安装大约在30MB左右,对于动辄几十上百GB的采样乐器库来说,Synthesizer V AI声音库在如此小的容量内解决了合成演唱的问题,真是解放了众多音乐人为数不多的硬盘空间(这省了多少硬盘钱!!!)。
如果说AI声音库的空间占用可称为“短小“,那么AI声音库的合成效果更可谓是”精悍“。光说不练假把式,先来听一段Demo!

 

 

有没有被这个以假乱真的歌声骗到???恰到好处的呼吸声和精致的转音与真人不相上下,什么?担心这个声音是为了做Demo特地做出来的?不不不,以上声音为产品实机效果!!Synthesizer V AI自1.8版本开始支持了全新的高速化扩散概率模型 (Diffusion Probabilistic Models,下称DPM)得益于全新的技术,软件合成出的歌声相比于之前的版本噪音更少,声音更自然还原。

 

钢琴卷帘,可视化的直观操作

钢琴卷帘作为用户的“工作场所”,自然功能不会少,除了普通的编写音符与歌词,Synthesizer V Studio的钢琴卷帘还支持以下功能

  1. 声音波形显示:可以即时直观的观察到调节参数对波形的影响。
  2. 音高显示及编辑功能: Synthesizer V Studio可以在钢琴卷帘内直接编辑音高曲线,也同时提供了手动绘制与锚点调整两种手段,不仅调节时能够更加直观的感受歌曲实时音高的变化,也对于在自由绘制条件下感到困难的用户提供了更方便且易于控制的调整方式。
  3. 参数控制面板:这个区域可以通过包络线调节歌声的各种参数,软件最多可以打开三个参数控制面板,三个面板均可以同时编辑,Synthesizer V Studio也提供了自由绘制和锚点控制两种调整方式,对于锚点控制还增加了控制模式的选择;每个控制面板可以加载显示于背部的对比参数,方便进行对比参考。
 

 

自动音高,解放更多生产力

长久以来,使用虚拟歌手创作歌曲的用户都有一个痛点:只要不对虚拟歌手进行调教,便没有办法输出自然的歌声。 于是便诞生了【调校】这个“职业“,即有专人对虚拟歌手进行发音及音符音高等参数的调整,这个过程通常不是一次便能完成的,通常需要多个人长时间的磨合,才能得出一个尚可使用的结果,很明显这个方式对于乐曲创作是非常不合适的,音乐人的灵感通常来的快也走的快,无法及时的得到演唱结果,可能会让音乐人措施及时调整歌曲的灵感,对于创作时非常遗憾的事情。
Synthesizer V Studio的自动音高模式便是为了解决这一痛点推出的功能。


使用自动音高模式前


使用自动音高模式后

这个功能虽然只有一个按键,但是作用却非常强大。开启后,软件将通过AI学习的模型,让软件以更贴近真人演唱的方式完成歌曲演唱呈现,无需人工干预就可以演唱出自然度较高的歌声,相比于传统的采样歌手需要大批量的调校与修音,使用AI歌手演唱是十分省时的选择,对于Demo试唱或是专为AI声库制作的歌曲,都可以节省时间、提高创作效率,能让用户投入更多的精力在音乐作品的产出上。

 

AI重录,提供可控的自由

通过即时音高模式,Synthesizer V Studio还原了歌手唱歌的过程中咬字的随机性,但是完全的随机是十分不可控的情况,每次随机如无法精准的解决演唱的问题,则可能在用户问题得不到解决的情况下为用户增添麻烦。

 

AI重录功能

 

为了给随机的演唱可能性提供稳定可选择的路径,Synthesizer V Studio向用户提供了AI重录功能。虽然依旧是随机计算演唱,但AI重录功能为用户提供了反复对比音符不同随机方式带来的可能性。如果用户对于首次生成的演唱结果不满意,则可通过选中需要重录的音符,使用AI重录面板,将不满意的音符进行表现力调整后进行再次计算,创建多个细致到音符的演唱重录版本,最终在多个AI重录模块中选择保留最满意的部分即可。

 

音符属性,每个音素都要精致

如果你是一个对发音十分挑剔的人,那么Synthesizer V Studio也提供了可手动调节的入口。音符属性面板对音符发音提供了细致到音素的调节的可能性,可以将音符发音中的每个音素单独调整发音力度,长度,让演唱歌词的节奏更准确。得益于AI的加成,调整结果不仅可以以波形的方式可视化展现,也可以立即进行回放试听。

 

音符及跨语种,混合歌词不再困难

使用了DPM技术的声音库时,软件可在输入歌词的时候支持音符级别的跨语种功能。

 

音符级跨语种

以往演唱混合语中的歌曲时,需要将歌词按照语种分进不同的轨道,并在轨道内设置不同语种的歌手进行合成,这种方式不仅效率低下,并且当歌手不支持相应语言的情况下,就不得不通过音素谐音的方式进行跨语种调校,效率低下且效果不好。使用支持DPM技术的声库后,用户不仅无需担心歌手是否可以演唱相应的语种(前提是软件支持合成),更无需再将不同语种的音符分割为多个轨道分别调制,只需让歌词对应上相应的音符后选定,并在 音符属性 面板中对选中的音符进行演唱语言指定,即可无缝衔接多个语种。

 

节拍器与MIDI录制,效率加倍

Synthesizer V Studio 1.8版本增加了对MIDI设备的支持,用户可以用MIDI设备向软件内输入音符,更贴近音乐人的音符输入方式。

通过开启节拍器和轨道录制功能,键盘上的音符即可被记录在选中的轨道中。与普通的DAW软件不同的是,软件没有,也不需要在轨道上打开专用的录制开关,只需要在录制前选中相应的轨道,然后在控制器中打开录制开关即可直接录制。

 

 

 

AI声音库,来自数据空间的歌手

本次预备测评的其实是青溯和Kevin两款声音库,但是在软件1.8版本更新后,官方向购买了Synthesizer V Studio Pro的用户提供了免费的虚拟歌手Mai,于是便一起做了测评。

华语女声AI声库:青溯

青溯是专门为华语流行风格开发的女声声库,从声库上手程度来看,青溯的无参能力十分强悍,使用不支持DPM的声库进行测试后,青溯是对华语流行音乐风格支持的最为完善,官方提供的Demo也印证了这点,青溯可能不够适合演唱更加抒情的歌曲。(如:用青溯唱茉莉花的话,你可能听到一首十分流行的带有部分类似周杰伦风味的茉莉花)。

青溯支持的声线有:Airy、Chest、Power、Soft、Sweet 共五种,属于温柔抒情类的声库。

 

 

得益于青溯华语流行的唱法,在使用英语跨语种的时候并没有出现太过偏向中国人发音习惯的现象,Chinglish感觉并不严重,在曲风的适应方面,青溯同样可以比较轻松的上手流行曲风的歌曲,在目前的音乐创作中,是比较通用的声音类型了。

更新DPM声库后,青溯的咬字似乎变得更偏向普通国人的咬字方式了,虽然保留有流行歌手的咬字特征,但是演唱抒情歌曲时不再会过分的违和,或许今后可以开发青溯更多的特殊用法也说不定哦~

英语男声AI声库:Kevin

Kevin是兼顾高音域和低音域歌曲的男性AI歌手,同时可以兼顾多种英文曲风,无论是电子还是流行,Kevin都可以使用自然的歌声进行演唱。

Kevin支持的声线有:Belt、Clear、Soft、Solid 共四种,属于硬朗坚实声音风格的声库。

 

 

在DPM声库未更新前,Kevin跨语种的演唱风格类似于中国的Rap歌手,有十分特别的味道,得益于略带西方发音的歌手,不仅能够顺利的演唱中文的流行歌曲,也可以根据曲风进行相应的扩展,可以预料到的是,对发音咬字要求并不高的曲风如:摇滚,电子等风格,通过跨语种功能,Kevin均可驾驭。我很吃惊于这个版本的Kevin如此优秀的跨语种性能,说不定用来唱中文歌会有更多不同的感觉。

DPM声库更新后,Kevin的咬字也变得更加清晰了,不过跨语种咬字似乎比更新之前更像一个外国人。如果你希望用Kevin富有磁性的声音演唱中文歌曲,可能停留在DPM声库更新之前是一个不错的选择。

全新日文女声AI声库-Mai

十分吃惊于Dreamtonics的大度,作为全新发布的虚拟歌手,Dreamtonics没有选择售卖,而选用了直接向购买Synthesizer V Studio Pro的用户赠送的策略,所以,现在只需要全款购买SV Studio Pro就可以直接用于创作了。(当然,之前购入的用户可以直接根据官方的链接指示下载安装使用,不需要激活哦~)

 

 

Mai是以日文为默认语种的虚拟女性歌手。适合J-POP系列的歌曲,在听Demo的时候,以为Mai是比较纯正的“日本偶像”,清亮的高音十分悦耳,由于Mai是日文声音茶农,一度让我先入为主的认为唱中文一定是软肋。但在实际使用中,我发现Mai演唱中文时不仅不存在非常强烈的口音,而且吐字清晰,甚至部分发音比青溯要更加标准,是非常神奇的声库。

青溯默认状态下是元气满满的可爱妹子,与售卖的声库不同的是,Mai仅仅自带两种可切换的声线,分别是Soft(柔软)和Emotional(富有感染力的),都是属于更柔软的音色。

如果你正好拥有Synthesizer V Studio Pro,推荐你下载Mai体验一下,不管是中文歌还是日文歌,Mai都一定会是你非常强力的助手。

 

软件缺陷:

使用中,正式版虽然修复了很多的Bug,但是还是存在一些使用上的不便,如AI声库开启【自动音高模式】演唱接近C6音高的音符时,会出现音高偏移,演唱音符力度很弱,气声很强的情况(如:用AI声库演唱《万象霜天》,则会发现最高音气息减弱、音符走调的情况。)

 

总结:

高质量的AI能够解放更多的人类的生产力用于其他的生产项目,用户可以更注重乐曲本身的编写,调校师也不用再与发音的Bug和演唱风格作战,转向更细致的调声工作。虽然在测评过程中遇到软件的部分问题,但是瑕不掩瑜,Synthesizer V Studio和AI声库仍然是目前优质的歌声合成产品,在继续发展的道路中,希望Dreamtonics能通过AI技术,打磨出更多使用Synthesizer V AI不同风格的声音库产品,也希望创作Synthesizer V 的的团队能在继续发展的路途中不忘初心,让更多重量级的虚拟歌手加入Synthesizer V的大家族。

Synthesizer V Studio 官网:https://dreamtonics.com/zh-CN/synthesizerv/

录音棚设备解决方案 售前咨询:13366394396  src=http___upload.shejihz.com_2020_02_226fb192bb7c53ecea6825

 

打印此页】【返回首页】