面部替换放进实时引擎以后,问题就不只是把一张脸贴到另一张脸上。角色的脸要知道自己在三维空间里的位置,麦克风、手和头发会怎样挡住它,表演输入能否让结果保持同一个人的节奏,这些都要在小样里验证。
二维替换和引擎内替换不是一回事
公开的 paGAN 2 案例把合成脸放进 Unreal 角色和场景里。它使用已知的数字角色作为训练对象,系统可以利用脸部和三维场景的关系处理遮挡。这个思路与只在摄像头视频上覆盖一张脸的做法不同。
对品牌短片来说,三维空间信息的价值在于能保留镜头、灯光和道具之间的关系。它也带来新的工作量,角色资产要先稳定,训练和表演数据要有授权,最终画面还要接受逐镜修整。
先测遮挡,再谈实时效果
测试片段要刻意加入麦克风、手、头发、眼镜和快速转头。正面口播能通过,不代表侧脸和产品互动也能通过。脸部被物体挡住时,系统是否能保持正确的前后关系,往往比一张漂亮的静帧更能说明问题。
下图来自 ONCE 自有生活方式视频,用来讨论人物、环境和镜头距离的验收对象。它不代表本文项目使用了 AI 面部替换或神经渲染。

品牌项目要把表演和身份分开管理
角色表演可以交给演员和面捕系统,身份与肖像授权必须由品牌和制作方单独留档。声音、脸部训练数据、代言期限、投放地区和撤回机制都要写进项目文件,不能只靠后期人员记住。
小样至少要包含以下内容。
- 正面和侧面口播
- 快速说话、停顿和情绪变化
- 手、道具和头发的遮挡
- 不同焦段、快门和现场光线
- 实时预览与最终渲染的差异
当前 MetaHuman 文档适合说明实时和离线表演数据怎样进入角色动画,研究论文可以补足神经渲染背景。品牌方仍应把授权、人工复核和回退方案放在技术测试同一张表里。若要规划面部内容小样,可以从 ONCE 项目 Brief 入口 开始。
资料核对
- 研究种子 0931 New real-time hybrid AI and CGI face replacement
- Epic Games MetaHuman Animator
- 研究论文 Deep Video Portraits
- 研究论文 Neural Rendering
