门控卷积与自由形状掩码在图像修复中的应用
在图像修复领域，如何精确地填补缺失区域，一直是研究的热点问题。传统的修复方法往往依赖固定的掩码设计和手工调整，这使得修复效果受限。为此，提出了一种基于门控卷积的新型修复方法，能够实现更加灵活和高效的图像修复。
研究背景
在以往的图像修复技术中，PConv（部分卷积）作为一种重要的修复方法，通过使用规则化的掩码更新方式，将有效区域与无效区域分离开来。这种方法存在一定的局限性，因为它依赖于不可学习的规则更新。为了进一步提升修复效果，研究者提出了一种可学习的版本——门控卷积（Gated Convolution）。这种方法能够动态地调整每个像素的重要性，从而实现更加精细的修复效果。
传统方法通常只依赖掩码图像来进行修复，而本研究则创新性地引入了用户草图作为附加输入条件，探索生成器是否能够分辨并结合草图信息进行修复。这一想法在门控卷积网络中得到了有效实现。
网络架构
本文提出的修复方法基于其前期工作DeepFillv1的改进版本，命名为DeepFillv2。与v1相似，DeepFillv2采用了两阶段的网络架构，分别由两个生成器网络组成。第一个生成器网络负责对损坏区域进行粗略填充，而第二个生成器网络则在此基础上进行细化，以更精确地还原缺失部分。
最重要的改进在于，DeepFillv2采用了门控卷积来替代传统的卷积方式。与标准卷积不同，门控卷积通过在卷积层后添加sigmoid激活函数，将掩码信息融入每个像素的权重计算中。具体来说，门控卷积通过元素级的乘法，将标准卷积的输出与sigmoid激活后的掩码权重结合，进而对输入图像进行加权修复。这一机制不仅提高了修复效果的灵活性，也使得模型能够在训练过程中自动学习如何调整掩码。
损失函数
在训练过程中，模型使用了两个最基础的损失函数：L1损失和GAN损失。L1损失用于衡量生成图像与真实图像之间的像素级差异，而GAN损失则通过判别器来促进生成器生成更逼真的图像。这两种损失在训练时采用了1:1的平衡系数，简单有效，但也能带来显著的视觉改善。
网络架构细节
在DeepFillv2的网络架构中，图像首先经过粗生成器进行初步修复，生成的粗略图像随后被送入细化生成器进行进一步精细处理。在第二阶段的生成器中，采用了DeepFillv1中提出的上下文注意力（Context Attention）层，这一层能够利用图像远处区域的信息来帮助填补缺失部分，从而提升修复的精准度和自然度。
图像修复的核心技术之一是门控卷积，其通过学习每个区域的重要性，使得修复过程更具针对性和灵活性。与传统的基于规则的掩码更新方式不同，门控卷积能够根据训练数据动态调整每个像素的权重，这一优势使得该方法在图像修复中展现了较强的能力。
定性与定量结果
在多个数据集上进行的实验表明，采用门控卷积的DeepFillv2方法在视觉质量上明显优于其他现有的修复方法。在Places2和CelebA-HQ数据集上的定性比较中，DeepFillv2的修复结果颜色一致性更好，细节恢复也更为精准。当输入用户草图作为附加条件时，模型能够进一步提升修复效果，尤其是在处理具有复杂背景和结构的图像时，表现出显著的优势。
实验结果分析
图表中的定量数据表明，DeepFillv2在L1和L2误差方面相较于其他方法有明显的优势，表明其修复结果更加精确。模型在删除目标的任务中也展现出了出色的能力，可以完美去除图像中的不必要元素，同时保持图像的自然性。
图5中的对比结果显示，在用户草图输入的辅助下，修复效果进一步提升，生成的修复图像没有出现明显的颜色不一致现象。图6展示了目标删除实验，DeepFillv2能够更加完美地删除目标，并且修复后的图像视觉质量更高。
消融研究
在消融实验中，研究者比较了使用不同损失函数和生成器配置下的修复效果。尤其是在SN-PatchGAN损失的影响方面，结果表明该方法能够有效提升生成器的图像真实性。在比较中，使用SN-PatchGAN的修复结果明显优于使用标准GAN损失的图像，表明这一设计对于提升生成效果至关重要。
通过引入门控卷积和用户草图输入，本文提出的DeepFillv2模型为自由形状图像修复问题提供了一种创新的解决方案。实验结果验证了这一方法在修复精度、视觉质量以及用户交互中的优势。门控卷积作为这一模型的核心创新，不仅提升了修复的灵活性和效果，也为未来的图像修复技术开辟了新的思路和方向。