《FFHQ-UV:Normalized Facial UV-Texture Dataset for 3D Face Reconstruction》

Posted on Edited on In

paper: [2211.13874] FFHQ-UV: Normalized Facial UV-Texture Dataset for 3D Face Reconstruction (arxiv.org)

code: csbhr/FFHQ-UV: The official repository of our CVPR2023 paper “FFHQ-UV: Normalized Facial UV-Texture Dataset for 3D Face Reconstruction”. (github.com)

1. 贡献

设计了一个从真实人脸图像生成高质量 UV 纹理图的全自动管道，涉及人脸编辑、UV 纹理的提取、矫正和补全；

基于 FFHQ，创建并开源了一个具有均匀光照、中立表情和干净面部区域的大规模 UV 纹理数据集 FFHQ-UV；

基于 FFHQ-UV，提出了一个 3D 人脸重建算法，在高保真度和高质量上超越现有方法。

2. FFHQ-UV数据集创建管道

image-20230608092241715

分为三步：

1、基于StyleGAN的面部图像编辑

2、面部UV纹理提取

3、UV纹理校正和补全

2.1 基于StyleGAN的面部图像编辑

首先从单视图野外图像中提取出多视图、归一化后的人脸图像，由此产生的图像具有均匀的光照、中性的表情、无遮挡（眼镜头发等等）。

具体来说，首先使用GAN inversion方法e4e获取W+潜在空间中的w参数，后使用人脸编辑方法 StyleFlow 和 InterFaceGAN 自动编辑 StyleGAN2 的 W+ 潜在空间中的图像属性。

GAN inversion可以将一张图像映射到一个GAN生成器的隐空间中，从而利用StyleGAN强大的能力对图片进行编辑。

源码阅读：

run_ffhq_uv_dataset.sh