《CariMe:Unpaired Caricature Generation with Multiple Exaggerations》
paper: https://ieeexplore.ieee.org/abstract/document/9454341/
任务
漫画生成、图像到图像的翻译、图像扭曲、风格转换
出发点
与一般的image-to-image translation不同，由于各种空间变形的存在，自动绘制漫画是一项更具挑战性的任务。原先的漫画生成方式都是instance-level，本文拓展到distribution-level。
创新点
CariMe可生成具有多重夸张和多种风格的漫画
提出了一种基于变形场（deformation fields）的非成对漫画生成方法，可以有效地学习真实照片到漫画的空间变换分布。还引入了一个辅助内容编码（auxiliary content code），以帮助产生有意义的、特定于照片的夸张。
做法
一个wrapper，一个styler
Multi-exaggeration Warper
分别输入一张漫画脸和真实脸，首先计算所有漫画的平均landmark（代码中的main_cal_wrap_degree.py），
从每个漫画中得到，表达了该张漫画所表示的特定的夸张模式，然后该特征经过encoder获得低维向量Zw（wrap code)，与此同时引入了对应的真实人脸过另一个encoder提取Zp（auxiliary photo-specific content code)，Zp与Zw都是满足标准正态分布的向量，在测试阶段Zw是从正态分布中随机采样获取，以获得不同的变形编码。down scale和up scale操作文中的解释是给变形场去噪。
Warp Reconstruction Loss
L1正则，旨在拉近reconstruction后的变形场与原变形场的差异。
Photo Reconstruction Loss
L1正则，旨在拉近reconstruction后的真实人脸与输入真实人脸的差异，来鼓励Zp保持对原真是人脸的内容和空间信息。
Total Variation Loss
用来给生成的图像去噪。
(54条消息) TV Loss详解_鬼道2022的博客-CSDN博客_tvloss公式
Wrapper Total Loss
Styler
旨在做风格迁移，将图像分界为content representation和style code。
一个style encoder，一个context encoder，一个style decoder（AdaLIN:(54条消息) 【飞桨】论文解读：U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance_目楽 Leo mu的博客-CSDN博客），style输出一个正态分布的style code，context输出feature map。
将context输出的feature map分别进行instance normalization（styler中常用的一种像素normalization）和layer normalization，combine方式需要到代码中查看，送到AdaLIN中，其范式为：
Adversarial Loss
AdaLIN是基于GAN的方法，所以有adversarial loss。
Image Reconstruction Loss
L1正则，旨在拉近reconstruction后的图像与原图像的距离。
Cycle Consistency Loss
对生成后的图像再次进入encoder，输出特征与之前encoder输出做L1正则，这里的cycle是循环，不是cycle loss！
Style Total Loss
