欢迎大家来到IT世界,在知识的湖畔探索吧!
本篇为大家介绍笔者团队2021年IJCV发表的工作《Benchmarking Low-Light Image Enhancement and Beyond》。
本文系统地评估了单张图像低光照增强方法。首先，提出了一个大规模的低光图像数据集。该数据集包含成对的低光照和正常光照图像以及带有人脸标注的低光照图像。然后，利用该数据集的丰富素材，用多样的质量评价指标对不同方法进行了评估。最后，为了应对联合增强和检测的挑战，进行了初步尝试，并利用图像先验建模和双路径融合架构获得了更好的人脸检测性能。
欢迎大家来到IT世界,在知识的湖畔探索吧!
Project:
https://flyywh.github.io/IJCV2021LowLight_VELOL/
本文对现有的单张图像低光照增强算法进行了系统的回顾和评估。除了常用的面向底层视觉的评价指标，本文还考虑通过人脸检测任务来测量低光照条件下的机器视觉性能，以探索高层和底层视觉增强的联合优化潜力。为了实现这点，首先提出了一个大规模的低光图像数据集，该数据集包含多样化场景内容和真实场景中的复杂降质，同时服务于底/高层次视觉，称为低光条件下的视觉增强数据库(VE-LOL)。除了没有标注的成对低光/正常光图像，数据集还包括低光条件下带有人脸边界框标注的人脸图像。之后，从人眼和机器视觉的角度努力进行基准测试。使用丰富的标准从底层视觉角度进行评估，使用参考、无参考和语义相似度指标进行度量。
此外，还测量了低光照增强算法对低光照条件下人脸检测的影响。评估基于最先进的人脸检测方法。在基准测试的基础上，进一步探索了联合低光增强和人脸检测的新问题，设计了一个增强人脸检测器，联合应用低光增强和人脸检测算法。将增强模块提取的特征送入具有相同分辨率的检测模块，使两阶段特征交织在一起，共同学习跨越增强/检测两阶段的有用信息。基于VE-LOL的实验提供了最先进的低光增强算法的比较，指出了已有方法的局限性以及未来方向。
一、低光照增强任务
在低光照场景下进行拍摄会导致一系列视觉降质，例如：欠曝光、低对比度以及噪声密集等。利用高级的摄影设备或是更专业的摄像技术可以在一定程度上减少低光照带来的降质。然而这些办法也很难解决较弱的信号淹没在相对高强度的系统噪声中这一根本问题。一方面，视觉降质会对人眼视觉感知造成影响；另一方面，会阻碍机器视觉系统的正常应用。因此如何减轻甚至消除这种低光照光场景带来的图像降质，服务于人眼和机器视觉任务，成为了学术界及工业界亟待解决的问题。
二、大规模低光照数据集：VE-LOL
低光照条件下的视觉增强(VE-LOL)数据集是一个新颖的大规模数据集，包括成对的图像和带有标注的低光照非成对图像。数据集提供了丰富的素材公平全面地评估和比较单张图像低光照增强方法的性能。评估中使用了广泛的评价指标，包括无参考、全参考和高层语义特征指标以及任务驱动指标，即人脸检测准确率。
表1. 已有低光照数据集与VE-LOL之间的比较
· 全面综合：VE-LOL支持对底层视觉(VE-LOL-L子集)和高层视觉(VE-LOL-H子集)的全面评估。
· 真实：VE-LOL包含在低光照和正常光照条件下真实拍摄的图像对，以及带有标注的低光人脸图像。
· 多样：VE-LOL-L包括具有多样化背景和各种物体的合成图像。
· 以人为导向：VE-LOL-H包括与人相关的分析理解素材：人脸边界框标注，使得能够从机器视觉的角度评估现有的方法，并开发联合增强与检测方法。
· 大规模：VE-LOL-H包含10,940张图像，其规模与WIDER-FACE相当，后者是在正常光照条件下拍摄的最大数据集，包含32,203张图像。因此，VE-LOL-H是迄今为止最大的高级视觉任务的低光检测数据集。除了像UFDD数据集仅支持测试评估，VE-LOL还支持全监督训练，可能会促进相关领域的新方向或促进新方法的诞生。
三、方法综述
根据方法的工作机制和处理的数据类型，本文将单张图像低光增强分为七类：直方图均衡化、反向去雾、统计模型、Retinex模型、深度学习、复合退化和基于RAW Image。图1中提供了一个时间轴可视化这些方法的发展历程。
图1. 单张图像低光照增强算法里程碑
四、算法基准比较
比较方法：
Multi-Scale Retinex (MSR),
Inverse Dehazing (Dehazing),
Brightness Preserving Dynamic Histogram Equalization (BPDHE),
Naturalness Preserved Enhancement (NPE),
Low-light Image Enhancement (LIME),
Multiple image Fusion (MF),
Simultaneous Reflectance and Illumination Estimation (SRIE),
Bio-Inspired Multi-Exposure Fusion (BIMEF),
Joint Enhancement and Denoising (JED),
LLNet,
RetinexNet,
Contextual and Variational Contrast enhancement (CVC),
DHECI,
Layered Difference Representation (LDR),
Robust Retinex Model (Robust),
Single Image Contrast Enhancer (SICE),
Weighted Approximated Histogram Equalization (WAHE),
Kindling the Darkness (KinD),
Deep Underexposed Photo Enhancement (DeepUPE)
测量指标：
PSNR, SSIM, VIF, Angular Error, LOE, NIQE, BRISQUE, ENIQA, ILNIQE, HOSA, SSEQ, BLIINDS-II, Perceptual_1, Perceptual_4
评估使用的人脸检测方法：
Dual Shot Face Detector (DSFD) (Li et al. 2019),
PyramidBox (Tang et al. 2018),
Single Shot Scale-Invariant Face Detector (S3FD) (Zhang et al. 2017),
Single Stage Headless Face Detector (SSH) (Najibi et al. 2017),
Selective Refinement Network (SRN) (Chi et al. 2018),
and Faster RCNN (Jiang and Learned-Miller 2017).
定量比较
表2. 不同低光照增强方法的全参考、无参考和感知度量评估结果
定性比较
图2. 不同方法对VE-LOL-L-Cap中图像的增强结果
人脸检测性能比较
图3. 不同低光照图像增强方法增强结果的人脸检测性能
五、联合低光照增强与人脸检测
在VE-LOL数据集的基础上，进一步探索低光增强和人脸检测的联合。本文提出了一个增强检测孪生的网络ED-TwinsNet，以提高低光照条件下的人脸检测性能。为了充分利用成对和非成对数据中的图像先验，本文在非成对情况下引入了一个额外的半循环约束，以更好地训练低光增强模块。之后，低光照图像增强模块作为人脸检测的可学习预处理模块。通过连接不同模块在增强和检测阶段的多尺度特征，为低光照条件下的人脸检测学习了鲁棒的和具有判别性的特征。最后建立了一个双路径融合网络，将从原始图像和增强图像中提取的中间特征作为输入，并自适应地融合它们，以最终预测边界框的位置。
图5. 联合低光照增强与人脸检测的增强检测孪生网络
实验结果
表3. 不同方法的mAP分数
图6 不同方法在VE-LOL上的人脸检测性能
六、总结
本文系统地评估了单张图像低光照增强方法。首先，提出了一个大规模的低光图像数据集。该数据集包含成对的低光照和正常光照图像以及带有人脸标注的低光照图像。然后，利用该数据集的丰富素材，用多样的质量评价指标对不同方法进行了评估。最后，为了应对联合增强和检测的挑战，进行了初步尝试，并利用图像先验建模和双路径融合架构获得了更好的人脸检测性能。
1] Jiaying Liu, Dejia Xu, Wenhan Yang, Minhao Fan, and Haofeng Huang. “Benchmarking Low-Light Image Enhancement and Beyond”, International Journal of Computer Vision (IJCV), Vol.129, pp.1153-1184, Jan. 2021.
本文来自：
公众号【
STRUCTatPKU
】
作者：杨文瀚
b
y Olga Filatova fr
om icons8
本周上新！
扫码观看！
关于我“门”
▼
⤵一键送你进入TechBeat快乐星球
免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://itzsg.com/92620.html
