简单的说,就是你可以上传一段人物表演视频,来驱动一个角色跟你做一样的面部表情。
第一种是传统动画中,动画师去手K角色的表演。就是在模型上,人物一点点做,做200分钟左右的动画,其中人的部分,大概要7、8个动画师,徒手做半年。
第二种就是动捕。大概录制时间是2~3天,把所有的表演存下来,然后再花大概一个月的时候做优化和细节清理,就可以得到一个很牛逼的效果。
可以看到拔叔带着一整套面部动捕设备,脸上还有很多的黑点,这些黑点就是标记点,记录面部肌肉的运动,面前有摄像机阵列,大概就是通过捕捉标记点的运动和面部肌肉的变化,将这些表情信息转化成3D模型的数据,以驱动动画角色有更细腻的表演。
这里说个有趣的小东西,就是脸部的标记点其实也不一定是黑的,而是有反差就行,比如白人是黑点,黑人就是白点。。。
而且这套动捕设备很贵,动不动就是几十万美金,你信息采集完了还不能直接用,还得绑定、清理等等以后leyucom乐鱼体育,,才算Ok。
如果你被推送到了的话,你就能看到一个巨大的Banner,Act-One。
上面是你要上传的视频,下面是你要上传的角色,Runway为了给大家快速上手玩,也放了一堆默认的角色。
比如有一个很经典的视频,就是那个:“我信你个鬼,你这个糟老头子坏得很”。这个动态幅度还挺大的,我们来试试。
还原除了神韵,脸部的肌肉表情也复刻的很到位,更是看不出来一丁点闪动现象,稳定的不像是AI的视频。
说实话,没有原来视频那种非人类的细节控制力,特别微表情和瞳孔的细节,是但是大部分的节奏和动态,都模仿到位了。在我看来,已经很棒了。
其实表情迁移,Runway不是第一个做的。前有Viggle,后有快手的LivePortrait。但是基本都有个共同点,就是画面不稳。
Viggle比较的点是可以迁移更多的头部和身体动作,但是会有一些闪烁,有些细节会比较糊。这个桐生一马的case应该会比较明显的能看出来跟Runway的差异。
Runway的Act-One只能迁移表情,不支持迁移动作,但是稳定是真的稳定,直接直接加入动画生产工作流中的那种稳定。
在测试过程中,我也遇到了无数次说检测不到人脸的情况,所以还是要适应他们的一些规矩。
比如上传的视频,必须保证面部特征明显,肩膀以上,整个头部都在画面区域中,没有手部运动,效果是最好的,也是能识别的。整体要在30秒以内。
这个片段,Runway死活说识别不到人脸上传不上去,其实就是头部没有完全在画面里,当我用AI视频扩展,把整个视频扩了1.5倍,把他画面外的头发给补出来后。
上传的角色图片,可以是脸部特写,可以是半身,可以稍微侧一点脸leyucom乐鱼体育,,但是眼睛必须注视着摄像机的角度。
其他的就没啥注意事项了,Act-One的风格泛化很好,线D等等角色我测试下来驱动效果都很不错。
而且,他的可能性,在这短短几天,还远远没有被发掘,我再放两个我很喜欢的用Act-One做的例子,让大家看看,当AI跟想象力进行深度的碰撞,能碰出怎么样的火花。
效果非常的惊艳,当他把钱拿起来的那一刻,听到那声音,以及看着钱币中的人开口说话,我鸡皮疙瘩都起来了。
当Act-One+运动追踪+视觉特效,这玩意在艺术家手上,那真的就是完全不一样的火花。
只需要一台手机,一个演员,就能用AI驱动一人分饰多角,演一出很酷的剧情。而且,已经几乎逼近电影质感了。
你可以让历史人物复活讲述他们的故事,可以让艺术作品中的人物走出画作与观众对话,甚至可以让任何静态图像中的角色焕发生机。
以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~谢谢你看我的文章,我们,下次再见。