快手联合中科大和复旦大学开发的开源AI项目,它能够将静态肖像图像转化为动态视频,具备精确控制面部表情和动作的能力。适用于个性化视频内容创作,如社交媒体、教育和娱乐领域。
&AI大部分项目需要CUDA和C++桌面开发组件支持,请点击这里按指导安装。对显卡要求也高,非Nvidia独立显卡电脑,不建议涉足AI项目。最后就是AI项目对中文不友好,所以无论文件名,素材名和路径名一律使用英文。
项目介绍:
LivePortrait是由快手科技、中国科学技术大学和复旦大学联合研发的开源项目,它是一个创新的AI驱动的动态肖像视频生成框架。该项目能够将静态肖像图像转化为栩栩如生的动态视频,同时精确控制眼睛注视方向、嘴唇开合动作,甚至可以处理多个人物肖像的无缝拼接。LivePortrait通过扩展训练数据至约6900万高质量帧,并采用混合图像视频训练策略,提升了模型的泛化能力。它利用紧凑的隐式关键点代表混合形状,并设计了缝合和重定向模块,这些模块使用计算开销极小的小型MLP,从而增强了对生成动画的控制能力。此外,LivePortrait还能够在动物数据集上进行微调,实现对动物肖像的精准动画化。
LivePortrait的技术亮点包括:
高质量的训练数据集,包含多种表情和姿态的人像视频。
视频-图像混合训练策略,提升了模型对不同风格人像的泛化能力。
紧凑的隐式关键点和混合形状表示,以及轻量级的MLP网络,提高了动画控制的精确度和计算效率。
支持多人肖像视频的生成和编辑,以及动物肖像的动画化。
使用方法:
把压缩包解压后,双击run_windows.bat文件即可,或者右键点击选择打开。
配置要求:
操作系统:Windows 10/11 64位
显卡:4G或以上显存的英伟达(NVIDIA)显卡