欢迎大家来到IT世界,在知识的湖畔探索吧!

斯新华 刘大洋 张朋 张振东 黄倩文

招商局重庆公路工程检测中心有限公司 林同棪国际工程咨询(中国)有限公司

摘 要：我国现行桥梁钢结构外观缺陷检测主要依靠人工目测，该检测方式效率低，劳动强度大，环境和人为主观因素影响大。提出了一种基于目标检测方法YOLOv4的桥梁钢结构表观病害(锈蚀、涂层剥落等)识别方法，通过建立网络结构模型训练学习，从图像中找到病害所在位置以及类别信息，然后不断优化结构模型，从而准确框出病害区域并识别类型。通过试验验证表明，基于YOLOv4的检测方法能够较为准确地识别出常见的钢结构表观病害。当IoU阈值为0.5时，其检测精度mAP值达到了70.8%,识别准确率可达到82%,能很好地满足病害识别检测实时性的需求。该研究成果也可用于其他行业内的钢结构表观病害自动识别，以全面提升智能化检测水平。

关键词：桥梁工程;表观病害;自动识别方法;YOLOv4;钢结构;

1 研究背景

桥梁是交通运输系统中的重要组成部分，在国民经济运行中起着至关重要的作用。桥梁一旦发生事故，往往导致重大经济损失甚至人员伤亡[1],因此需要对桥梁进行检测与维护，以及早发现桥梁病害，防止出现严重的桥梁坍塌事故[2,3]。近些年来，钢结构桥梁备受青睐，因其具备自重轻、强度高、跨越能力强、抗震性能好、安装快捷、施工期短、投资回收快、易于修复和更换、便于工业化生产的特点。同时，钢还是一种节能环保型、能循环使用的建筑结构材料，符合经济持续保持健康发展的要求。目前，钢结构外观病害检测主要采用人工目测方式，该方式存在受环境和主观因素影响大、检测劳动强度高、效率低等缺点。随着我国钢结构桥梁数量的进一步增长，基于人工目测的桥梁钢结构外观病害检测方法已经无法满足实际工程的需求，因此迫切需要研究更加智能化的外观病害检测方法。

近年来，随着计算机视觉技术和人工智能理论的飞速发展，已经有学者结合计算机视觉技术和人工智能算法来实现桥梁病害检测[4,5,6],王鹏[7]利用Sobel算子对图像进行边缘检测，并通过BP神经网络对桥梁裂缝病害进行了识别；钟新谷[8]等通过提取桥梁病害特征，结合支持向量机实现了桥梁裂缝的识别。然而这些方法都需要通过人工设计特征，而且检测结果严重依赖于设计的特征。深度学习是人工智能领域最新研究成果，由于其网络结构更深，因此能提取到更加丰富和抽象的特征。目前，深度学习已经在桥梁检测方面有所应用。Cha[9]等使用Faster R-CNN算法[10],对混凝土裂缝和不同程度的螺栓、钢板腐蚀等5种损伤类型进行了识别研究，然而Faster R-CNN等方法为双阶段的检测方法，需要先提取候选区域然后再进行目标检测，其计算效率低、不能满足桥梁检测实时性的需求。Ma[11]等使用SSD[12]算法对常见的混凝土病害如裂缝、露筋、蜂窝、渗水等病害进行检测，弥补了双阶段检测算法速度慢的缺点，但是SSD检测时目标框的大小比例是根据经验所得，不能很好地适用于多变尺度的桥梁病害检测。

You Only Look Once[13](以下简称YOLO)系列算法通过使用多尺度的特征融合以及采用自适应的目标候选框，提高了对多变尺度目标检测的精度，可以直接预测位置坐标偏移量，使目标定位更加准确。YOLOv4是YOLO系列的最新成果，它能够提取更加丰富的特征信息，其检测精度和效果更好。因此，本文将采用YOLOv4来进行桥梁常见钢结构外观病害(如锈蚀、涂层剥落等)的识别检测。

2 YOLOv4理论

桥梁的病害识别检测本质上是一个目标检测的问题，即从图像中找到病害所在的位置以及类别信息。YOLOv4通过在图像上生成若干个大小比例不同的目标框，通过网络的训练不断调整目标框的大小以及位置，最终得到目标的位置以及类别信息。YOLOv4主要包括3部分，即特征提取主干网络、特征融合网络和目标识别分类模块，网络结构如图1所示。

图1 YOLOv4的网络结构 下载原图

YOLOv4的损失函数由3个部分组成，包括分类损失、位置损失和置信度损失。其总损失定义如下：

loss(object)=lossCIoU+∑i=0K×K∑j=0MIobjij[Cˆilg(Ci)+(1−Cˆi)lg(1−Ci)]−λnoobj∑i=0K×K∑j=0MInoobjij[Cˆilg(Ci)+(1−Cˆ)lg(1−Ci)]−∑i=0K×KIobjij∑c∈classes[piˆ(c)lg(piˆ(c))+(1−piˆ(c))lg(1−piˆ(c))]         (1)loss(object)=lossCΙoU+∑i=0Κ×Κ∑j=0ΜΙijobj[C^ilg(Ci)+(1-C^i)lg(1-Ci)]-λnoobj∑i=0Κ×Κ∑j=0ΜΙijnoobj[C^ilg(Ci)+(1-C^)lg(1-Ci)]-∑i=0Κ×ΚΙijobj∑c∈classes[pi^(c)lg(pi^(c))+(1-pi^(c))lg(1-pi^(c))]         (1)

YOLOv4在计算位置损失的时候，将预测框与真实框的重叠面积与中心点的距离以及长宽比都考虑在内，使用CIoU[16]作为其位置损失，使得最后预测的位置信息更加准确。其定义如下。

lossCIoU=1−IoU+p2(b,bgt)c2+αυ         (2)lossCΙoU=1-ΙoU+p2(b,bgt)c2+αυ         (2)

式中：b为预测出来的目标框坐标；bgt为真实的目标框坐标；α为平衡参数；υ为长宽比率；p为欧几里德距离；c为预测框与真实框外界矩形的对角线长度。

υ和α的定义公式如下：

υ=4π2(arctanwgthgt−arctanwh)2         (3)α=υ(1−IoU)+υ         (4)υ=4π2(arctanwgthgt-arctanwh)2         (3)α=υ(1-ΙoU)+υ         (4)

3 试验结果及分析

3.1建立病害数据集

首先，提取实际检测过程中拍摄的包含锈蚀、涂层剥落等病害类型的1 078张图片，用于构建桥梁病害数据集；然后，在试验过程中按照Pascal VOC数据集的格式，对病害数据集中的病害类别以及位置进行标注，并用于桥梁病害识别模型的训练和测试；最后，将数据集按照8∶2的比例，将标记好的桥梁病害数据集划分为训练集和测试集。病害数据集的分类情况及数量见表1。

表1 桥梁病害图像数据集分类情况及数量 导出到EXCEL

3.2建立识别模型

为了验证本文所提出的桥梁病害识别检测方法的有效性，在建立的桥梁病害数据集上进行了训练与测试。测试环境为：处理器I7 8700 GPU NVDIA 2080,内存16 G,试验平台Ubuntu 18.04。采用的深度学习框架为Pytorch, 训练方式采用迁移学习的方式。通过加载在ImageNet数据集上训练的权重模型在桥梁病害数据集上进行模型的预训练，在预训练过程中冻结了主干网络的参数，预训练的迭代次数为50次，学习率设置为0.001。在模型预训练完成后，解冻所有网络层的权重参数，并采用桥梁病害训练集对模型进行100次的迭代训练，初始学习率设置为0.001。

在训练完成之后，选取不同病害类型的测试样本进行病害类型识别结果测试，根据测试结果决定是否重新进行训练或增加训练样本。

3.3结果分析

本次试验采用目标检测领域中常用的评价指标Precision-Recall曲线来评估模型性能的优劣，分析模型对目标的查准率P、查全率R以及综合指数F1。

P=TPTP+FP         (5)R=TPTP+FN         (6)F1=2×P×RP+R         (7)Ρ=ΤΡΤΡ+FΡ         (5)R=ΤΡΤΡ+FΝ         (6)F1=2×Ρ×RΡ+R         (7)

式中：TP为正样本识别正确的数量；FP为负样本被识别错误的数量；FN为正样本识别错误的数量。

本次试验中，选取SSD[12]、YOLOv3[17]和YOLOv4这3种单阶段常用的目标检测算法模型，从查准率、查全率、综合指数和速率4个方面对比分析检测结果。平均检测结果对比表见表2。

表2 3种检测方法对钢结构表观病害平均检测结果的对比 导出到EXCEL

从表2的对比结果中可以看出，采用YOLOv4进行桥梁病害识别检测的查准率P、查全率R比采用SSD与YOLOv3分别提高了4.21%、2.91%和16.01%、0.89%,F1综合得分比采用SSD与YOLOv3分别提高了13.6%和0.2%,检测速率提高了近4倍。YOLOv4取得优异识别结果的主要原因有两点。

(1)YOLOv4采用CSPdarknet53作为主干特征提取网络，相比于YOLOv3采用的darknet53和SSD采用的VGG16网络，CSPdarknet53使用MISH激活函数以及不同大小的残差跳跃边际，使得特征提取能力更强。

(2)YOLOv4使用SPP模块和PAN模块进行特征融合，扩大了卷积核的感受野，可以更加充分融合上下文语意信息，使得查准率与查全率都有较大的提升。

为了进一步验证YOLOv4模型在桥梁病害识别上的优越性，本研究进一步计算了不同网络模型得到的检测桥梁病害结果的平均精度mAP(mean Average Precision)值。mAP值为以识别结果的查准率为横坐标、查全率为纵坐标绘制的曲线面积，它能够同时兼顾查准率与查全率，是目标检测算法中最常用的模型综合评估指标。3种目标检测算法得到的IoU阈值在0.5时的mAP值见表3。

表3 3种目标识别检测方法的平均精度 导出到EXCEL

从表3中可以看出，YOLOv4得到的桥梁病害检测的平均精度比SSD和YOLOv3分别高出2.59%和3.3%。这进一步验证了采用YOLOv4来进行桥梁病害识别检测的有效性。

采用本研究提出的基于YOLOv4的桥梁病害检测模型，分别对桥梁常见钢结构表观病害如锈蚀、涂层剥落等进行了检测，识别结果如图2所示。

图2 基于YOLOv4的钢结构表观病害识别结果 下载原图

从图2的检测结果可以看出，基于YOLOv4的桥梁病害识别模型取得了良好的病害检测效果，可以准确地识别出桥梁的病害类别与位置信息，对于病害图像中的一些小目标病害也能够准确地进行识别。

4 结语

本研究提出的基于YOLOv4的桥梁病害识别检测模型，比SSD和YOLOv3等其他单阶段检测法具有更好的识别效果，在实测的桥梁钢结构表观病害数据集上识别检测的mAP值能达到70.8%,识别效率明显优于其他方法，能充分满足工程现场实时识别检测的需求。目前已完成了桥梁病害的识别和定位，常见病害类型的识别准确度已达到82%左右，但还没有实现桥梁病害参数(长、宽、面积等)的自动识别。在下一步工作中，将开展其他病害类型和病害参数自动识别方法的研究。

将基于YOLOv4的桥梁病害识别检测模型应用于桥梁钢结构表观病害的识别检测中，可以极大地提高桥梁病害检测的效率与精度，降低对现场采集人员专业程度和职业素养的依赖，最终实现桥梁检测养护的智能化。同时，也可将该方法用于交通行业其他专业的钢结构表观病害检测中，甚至是其他行业中，以全面提升智能化检测水平。

参考文献

[1] 鲁帅.桥梁质量问题原因分析[J].黑龙江科技信息，2016,(6):239.

[2] AAOSHAT.Bridging the Gap:Restoring and Rebuilding the Nation’s Bridges[R].American Association of State High-way and Transportation Officials,2008.

[3] Adeli H,Jiang X.Intelligent Infrastructure:Neural Networks,Wavelets,and Chaos Theory for Intelligent Transportation Systems and Smart Structures[M].Florida,CRC Press,Taylor & Francis,Boca Raton,2008.

[4] Ellenberg A,Kontsos A,Bartoli I,Pradhan A.Masonry crack detection application of an unmanned aerial vehicle[C]//in Proceedings of the International Conference on Computing in Civil and Building Engineering,2014.

[5] Kim H,Sim S,Cho S.Unmanned aerial vehicle (UAV)-powered concrete crack detection based on digital image processing[C]//in Proceedings of 6 th International Conference on Advances in Experimental Structural Engineering,11 th International Workshop on Advanced Smart Materials and Smart Structures Technology,University of Illinois,US,2015.

[6] Uijlings J R,Van De Sande,Koen EA,Gevers T,Smeulders A W.Selective search for object recognition[J].International Journal of Computer Vision,2013,104(2),154-171.

[7] 王鹏.基于无人机视频的桥梁裂缝识别方法的研究[D].华南理工大学，2018.

[8] 钟新谷，彭雄，沈明燕.基于无人飞机成像的桥梁裂缝宽度识别可行性研究[J].土木工程学报，2019,52(4):52-61.

[9] Young-Jin Cha,Wooram Choi,et al.Deep learning based crack damage detection using convolutional neural networks[J].Computer Aided Civil&Infrastructure Engineering,2017,32:361-378.

[10] REN S Q,HE K M,GIRSHICK R B,et al.Faster R-CNN:towards-real-time object detection with region proposal net works[C]//Advances in Neural Information Processing Systems,2015.

[11] Ma G ,Wu M ,Wu Z ,et al.Single-shot multibox detector- and building information modeling-based quality inspection model for construction projects[J].Journal of Building Engineering,2021,38:102-216.

[12] Liu W ,Anguelov D ,Erhan D ,et al.SSD:Single Shot MultiBox Detector[J].Springer,Cham,2016.

[13] Bochkovskiy A,C Y Wang,H Liao.YOLOv4:Optimal Speed and Accuracy of Object Detection[M].2020.

[14] He K ,Zhang X ,Ren S ,et al.Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2014,37(9):1904-1916.

[15] Yang J ,Fu X ,Hu Y ,et al.PanNet:A Deep Network Architecture for Pan-Sharpening[C]//2017 IEEE International Conference on Computer Vision (ICCV).IEEE,2017.

[16] Z Zheng,P Wang,W Liu,J Li,R Ye,D Ren.Distance-IoU Loss:Faster and better learning for bounding box regression[C]//InProceedings of the AAAI Conference on Artificial Intelligence(AAAI),2020.

[17] Redmon J ,Farhadi A .YOLOv3:An Incremental Improvement[J].arXiv e-prints,2018.

声明：我们尊重原创，也注重分享。有部分内容来自互联网，版权归原作者所有，仅供学习参考之用，禁止用于商业用途，如无意中侵犯了哪个媒体、公司、企业或个人等的知识产权，请联系删除，另本头条号推送内容仅代表作者观点，与头条号运营方无关，内容真伪请读者自行鉴别，本头条号不承担任何责任。