AI数字人生成，口播必备-软件下载

内容提要：「眼见为实」在 AI 技术面前已经失效了，换脸、对口型的技术层出不穷，效果越来越逼真。今天要介绍的 Wav2Lip 模型，只需一段原始视频与目标音频，就可将其合二为一。

关键词：唇形同步 语音信号

近几年，好莱坞动画屡屡拿下超过 10 亿美元的票房，《疯狂动物城》、《冰雪奇缘》等等，它们个个品质过硬，单拿口型这一点来说，就非常严谨，动画人物口型与真人口型几乎一致。

而实现这样的效果，其实需要经历非常复杂的过程，需要耗费巨大的人力物力。所以，很多动画制作方为了节省成本，只采用比较简单的口型示意。

现在，AI 正在努力减轻原画师的工作。来自印度海德拉巴大学和英国巴斯大学的团队，今年发表在 ACM MM2020 的一篇论文《A Lip Sync Expert Is All You Need for Speech to Lip Generation In The Wild 》，提出一个叫做 Wav2Lip 的 AI 模型，只需一段人物视频和一段目标语音，就能让其合二为一，配合得天衣无缝。

对口型大法 Wav2Lip，效果如此突出

要说对口型的技术，此前其实已经有很多，甚至在基于深度学习的技术出现之前，就有一些技术使角色的嘴唇形状与实际的语音信号相匹配。

但这个 Wav2Lip 在一众方法中，显示出了绝对优势。现有的其它方法，主要是基于静态图像，来输出与目标语音匹配的唇形同步视频，但对于动态的、在讲话的人物，唇形同步往往效果不佳。

而 Wav2Lip 则可以直接将动态的视频，进行唇形转换，输出与目标语音相匹配的视频结果。

此外，不仅是视频，还能给动图对口型，从此以后表情包又丰富了！

作者选取部分动图匹配口型

人工评估表明，与现有方法相比，Wav2Lip 生成的视频，在 90％ 以上的时间中优于现有方法。

模型实际效果究竟如何？超神经进行了一番测试。以下视频展现了官方 demo 的运行效果，输入素材分别选取了官方提供的测试素材，以及超神经选取的中、英文测试素材。

输入的原视频中人物均未讲话

经过 AI 模型操作，实现了人物口型与输入语音同步

我们看到，官方 demo 的动画视频中，效果堪称完美。在超神经真人测试中，除了嘴唇稍有变形和抖动之外，整体唇形同步效果还是比较准确的。

教程已出，三分钟学会

功能：

AI绘画

文本转语音

图片转数字人视频

视频数字人克隆

sadTalker唇型同步

视频修复

下载链接：

如需协助，付费200元安装，添加QQ

如需数字人素材包500元，添加QQ

876882827

如需上诉服务，可扫码添加微信咨询
微信：tywlkj03