InfiniteTalk
原理
问题
长时劣化问题
经过反复测试,长视频劣化问题来源于motion_frame过大,测试后发现改为,9、5之后皆没有出现过于严重的劣化了,且没有过大副作用。但是改为3之后,人物微抖动严重。
- 生成帧率:25FPS
- 推理帧数:81
(均衡)motion_frame 5
(问题)motion_frame 25
测试后发现,随着不断推理,话筒位置最为明显,画面逐渐劣化,人脸的特征也逐渐偏移。
(问题)motion_frame 3
motion frame过短的而情况下,看起来衔接不太好,目前不太确定是算法问题还是节点的配置问题,暂时没空继续调查。
经验
- motion_frame设置为5比较好。
- 衔接片段尽量选择人脸特征显露明显的:瞳孔,牙齿等,这样参考生成后续latent能够保持特征。
- 生成片段最好不要超过3500帧(我的机器48G内存、80G swap),不然保存视频的时候内存会爆掉(看起来是batch from images节点的问题),该逻辑后续有空研究研究看怎么优化。