观察旧照片,我们可以清楚地看到它们与现代相机拍摄的照片之间的明显差异。模糊或像素化的照片曾经相当普遍。由于照片质量理想与细节、清晰度和锐度相关,因此很容易理解为什么旧照片无法达到这些质量标准。确实,我们注意到旧相机和近期相机产生的图像之间的巨大差异。然而,这样的问题在近期的照片中也经常出现,这取决于相机快门或环境设置。
🚀使用智能工具和模型预测自动标记以节省时间
如果你拥有或曾经拍摄过一些细节不清楚的肖像照片,你是否想知道是否可能以及如何将这些模糊的照片转换成清晰、高清和高细节的照片?
这就需要盲脸修复(Blind face restoration,BFR)。它指的是从受损(例如噪声或模糊)或低质量输入图像中重建一个清晰的人脸图像的任务。由于其在监控、生物特征和社交媒体等实际应用领域的广泛应用,这个具有挑战性的问题在图像处理和计算机视觉领域引起了重视。
🚀使用 Kili 技术构建高质量的训练数据集并解决 NLP 机器学习挑战,以开发强大的 ML 应用程序
近年来,深度学习方法已成为盲脸修复的一种有前途的方法。这些基于人工神经网络的方法在各种基准测试中展示了令人印象深刻的结果,可以在不需要手工设计特征或明确建模退化过程的情况下,从数据中学习复杂的映射。
这些技术关注许多复杂的度量、公式和参数来改善修复质量。常用的L1训练损失用于确保保真度。近期的BFR方法引入对抗损失和感知损失以获得更加逼真的结果。其他一些现有方法还利用面部特定的先验信息,例如面部标志、面部组成部分和生成先验。同时考虑这么多约束使得训练过程变得复杂,通常需要费力的超参数调整来在这些约束之间进行权衡。更糟糕的是,对抗损失的不稳定性使得训练更具挑战性。
为了解决这些问题,研究人员开发了一种名为DifFace的新方法。它可以更优雅地处理未知和复杂的退化情况,而无需复杂的损失设计。其主要关键在于从输入的低质量(LQ)图像到高质量(HQ)图像的后验分布。具体来说,通过利用从LQ图像到预训练扩散模型的中间状态的过渡分布,然后通过递归地应用预训练扩散模型逐渐传输到HQ目标。
下面的图片展示了这种新方法的框架。
推断过程涉及从LQ图像y0获得一个中间扩散变量xN(其中N<T)。这个中间状态是通过所谓的扩散估计器获得的。它代表了一种神经网络架构,用于从输入图像y0估计扩散步骤xN。从这个中间状态,然后推断出所需的x0。这样做有几个优点。首先,与从xT到x0的完整逆扩散过程相比,这种方法更高效,因为可以利用预先训练的扩散模型(从xN到x0)。其次,无需从头开始重新训练扩散模型。此外,这种方法在训练中不需要多个约束,同时能够处理未知和复杂的退化情况。
上图展示了DifFace和其他最先进方法的结果和比较。
从所生成的图像细节来看,显然DifFace能够从低质量、模糊、退化的输入图像中生成高质量、高清晰度和锐利的图片,优于其他最先进的技术。
这是对DifFace的概括,它是一个解决盲目面部修复问题的新型框架。