《A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images》
code: [youngLBW/HRN: CVPR2023] A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images. (github.com)
1、目标
在三个层面上解耦出不同的资产，以达到良好的重建效果
三个层面：3DMM粗网格结构；deformation map；displacement map
可拓展到muti view工况
介绍了阿里自己做的一个数据集（还未公开）
2、介绍
现有的方法要么使用低维的3DMM实现低频细节，要么再考虑displacement map实现高频细节，往往忽略了中频细节。
本方法将人脸几何结构解耦为低中高三频细节，后针对这三者分别建模为face-wise blendshape coefficients、vertex-wise deformation map、pixel-wise displacement map。
贡献
1、分三层建模
2、GT创建流程，以及设计de-reouching模块
3、可拓展至muti-view重建
4、引入FaceHD-100数据集
3、方法
3.1 方法概述
我们首先使用3DMM来预测coarse mesh和albedo map（蓝色区域）。然后，我们开发了一种分层建模策略，以从粗到细的方式处理复杂的面部细节（绿色和紫色区域）。为了便于对层次细节进行准确和忠实的建模，结合3D先验进行对抗和半监督学习。
此外，我们提出了一个de-rectouching module，以实现几何结构和外观的更好解耦，缓解各种皮肤纹理和照明之间的模糊性。此外，我们将我们的框架扩展到多视图方式，并引入了高质量的3D人脸数据集，以促进稀疏视图人脸重建的研究。为了简化，我们在每一节中指定了相关的损失函数和训练策略。
3.2 分层建模
图1解释了模型在不同层次上所体现的细节变化。
低频部分，其提供与输入面大致对准的粗略形状；
中频细节，其描述相对于低频部分的轮廓和局部形状的细节；
高频细节，如褶皱、微凸起等。
具体设计如下
低频部分，选择BFM作为基础模型，并输出低维系数来实现粗略重建；
中频细节，三通道的deformation map，关联position map，在uv空间上可定位到三维结构上的某一顶点，在三通道上表示相对偏移；64x64x3；
高频细节，采用DECA中的displacement map，表示沿法线方向的几何变形，256x256x1；displacement map以像素方式转换为渲染过程中使用的详细法线，以显示所有微小的细节，打破了基础模型顶点密度的限制。因此，我们能够用这些表示来描述任意复杂的面。