面部替换放进实时引擎以后,问题就不只是把一张脸贴到另一张脸上。角色的脸要知道自己在三维空间里的位置,麦克风、手和头发会怎样挡住它,表演输入能否让结果保持同一个人的节奏,这些都要在小样里验证。

二维替换和引擎内替换不是一回事

公开的 paGAN 2 案例把合成脸放进 Unreal 角色和场景里。它使用已知的数字角色作为训练对象,系统可以利用脸部和三维场景的关系处理遮挡。这个思路与只在摄像头视频上覆盖一张脸的做法不同。

对品牌短片来说,三维空间信息的价值在于能保留镜头、灯光和道具之间的关系。它也带来新的工作量,角色资产要先稳定,训练和表演数据要有授权,最终画面还要接受逐镜修整。

先测遮挡,再谈实时效果

测试片段要刻意加入麦克风、手、头发、眼镜和快速转头。正面口播能通过,不代表侧脸和产品互动也能通过。脸部被物体挡住时,系统是否能保持正确的前后关系,往往比一张漂亮的静帧更能说明问题。

下图来自 ONCE 自有生活方式视频,用来讨论人物、环境和镜头距离的验收对象。它不代表本文项目使用了 AI 面部替换或神经渲染。

室内人物内容与环境光结合的案例画面
ONCE 自有生活方式视频截帧,用来观察人物、环境光和镜头距离。该画面不是 AI 面部替换或神经渲染结果。

品牌项目要把表演和身份分开管理

角色表演可以交给演员和面捕系统,身份与肖像授权必须由品牌和制作方单独留档。声音、脸部训练数据、代言期限、投放地区和撤回机制都要写进项目文件,不能只靠后期人员记住。

小样至少要包含以下内容。

  • 正面和侧面口播
  • 快速说话、停顿和情绪变化
  • 手、道具和头发的遮挡
  • 不同焦段、快门和现场光线
  • 实时预览与最终渲染的差异

当前 MetaHuman 文档适合说明实时和离线表演数据怎样进入角色动画,研究论文可以补足神经渲染背景。品牌方仍应把授权、人工复核和回退方案放在技术测试同一张表里。若要规划面部内容小样,可以从 ONCE 项目 Brief 入口 开始。

资料核对