百度新专利可使虚拟数字人深度学习唇部动作

科技有限公司“虚拟对象驱动方法、深度学习网络的训练方法及装置”专利获授权。

专利摘要显示，本专利涉及人工智能领域，尤其涉及深度学习、计算机视觉、虚拟 / 增强现实和图像处理技术领域，可应用于虚拟数字人、元宇宙等场景。具体实现方案包括:响应于获取的语音数据，确定初始语音特征；对初始语音特征进行时序增强处理，得到目标语音特征；基于目标语音特征和目标虚拟对象的基准面部图像，生成唇形图像序列；根据唇形图像序列，对目标虚拟对象进行驱动，使目标虚拟对象执行与语音数据匹配的唇部动作。

IT之家发现，简而言之，这个专利可使虚拟数字人在说话时的唇部动作更加接近真人。值得一提的是，百度此前已经正式对外确认将发布类 ChatGPT 项目“文心一言”，如果再结合这个技术，那么就能打造更加逼真的虚拟数字人了。