由于交通和自然灾害造成的结构负荷不断增加，如今，越来越多的桥梁随着年龄的增长需要维护。常规的损伤检查，包括在特殊事件发生后的桥梁检查，都是由专家进行的。为了解决人工检测的局限性，目前正在积极开展基于深度学习的桥梁损伤分析。
然而，这类模型在分类多个类别时表现出较差的性能。大多数现有算法不使用原位图像。因此，模型训练的结果不能准确反映实际的损伤情况。基于现有的方法，笔者团队提出了一种新的桥梁构件组合训练模型。并结合两种方法，提出了一种桥梁损伤目标检测深度组合框架(BDODC-F)。
定期细致的监测势在必行
定期检查基础设施，防止结构损坏后发生事故。然而，需要维护的结构数量超过了现有可用的维护人员，导致维护这些设施和系统十分困难。桥梁是交通系统的一个组成部分，因为它们改善了交通不便地区的道路连通性。这些结构在其整个使用寿命期间都承受着沉重的车辆载荷，这可能导致结构过早损坏或彻底失效，并对公众构成安全风险。因此，对桥梁进行定期和细致的监测是必要的。在大多数情况下，包括极端天气和灾害等特殊事件，人员都会定期检查桥梁，及时发现和识别损坏情况。这种类型的人工检查是昂贵的，并且需要专业人员对桥梁的损坏进行投入。损伤检测还受到采集图像数据的设备参数的影响，如摄像机角度、位置等。这些局限性阻碍了检测和识别的精度。
为了解决这些问题，正在使用各种方法进行积极的研究。研究的早期阶段旨在检测桥梁表面的裂缝，因为大多数老化桥梁的损伤类型都是由这些裂缝引起的。因此，一些算法和机器学习技术被用来检测裂缝的边缘。最近，利用无人机和图像处理技术的智能桥梁测试系统和检测技术已经被开发出来。然而，这些技术仍处于起步阶段。在捕获的图像中识别不同形状和分割的技术需要进一步发展。目前，仍然需要专业人员通过视觉检查捕获的图像来手动识别损伤类型。尽管研究已经实现了深度学习算法，但其中许多都是基于实验室规模的精确测量，或者由于数据可用性有限，其结果不具有商业可行性。此外，由于这些研究没有使用现场检测图像，模型训练结果并不能准确反映真实的桥梁损伤情况。
最近，有研究调查了使用深度学习模型评估基础设施结构的技术。据报道，卷积神经网络（CNN）在使用训练图像数据集进行分类和检测物体方面，表现出优异的性能。在韩国，研究人员利用一个基于深度学习的图像分类器（AlexNet）检测混凝土剥落，并利用卷积神经网络（Faster-RCNN）的快速区域分析铁路桥梁的损伤。由于深度学习技术的特性，用于训练的数据量越大，分类精度就越高。就分类性能对特征清晰表示的依赖性而言，对于桥梁损坏类型的分类，分为风化、腐蚀、裂缝、混凝土结垢和剥落等类别，在桥梁上呈现白色的风化和裂缝之间的区分是非常准确的，因为它们看起来是不同的，而结垢、剥落和裂缝之间的分类是不准确的，因为这些是类似的损坏类型。
以前的一项研究提出了一种训练图像的预处理技术。它允许使用收集的数据中的低分辨率桥梁图像进行训练。该方法通过采用超分辨率（SR）进行归一化和数据增强，获得适合学习模型的图像。该技术提高了图像的分辨率，并通过适当的标记，可以检测出小物体，实现了与现有桥梁损伤检测模型相似或更高的性能。
在这项研究中，笔者团队利用该方法，提出了一个新的与桥梁构件相结合的训练模型。随后，通过整合这两种方法，又提出了桥梁受损物体检测深度组合框架（BDODC-F）。所提出的框架在图像质量增强中表现出了更高的准确性，即平均精度（mAP）提高了191.6%，在组合模型中提高了110.6%。
根据所提出的框架的特点，可以构建一个系统，通过移动设备收集图像，实时自动识别原位受损物体。
实时自动检测识别损伤
首先，为了测试所开发的检测模型的性能，实验是在一个内置GPU的系统上进行的。使用Python作为编程语言。使用基于Resnet的模型，骨干深度为101层。检测模型需要对每一种损伤类型进行基于像素的检测，因此必须通过实例分割进行检测。我们研究了基于mask-R CNN的最优模型，这是一种常用的实例分割方法。
其次，为了评估模型的准确性，采用了一般精度和平均精度（AP），这是衡量深度学习检测模型预测准确性的一个代表性指标。通过测量地面真值目标区域和模型预测区域之间的交集和，根据预测和地面真值之间的一致率来确定分类性能。AP50表示，当真实值和预测值达到50%或以上时，分类就被认为是成功的。对于AP75，一致率应达到75%或以上。
图1 实桥图像集
接下来，如图1所示，从现场检查时收集的桥梁图像集中选取5张图像进行SR值测量。这个图像集与其他一般的图像集不同，没有原始的高分辨率图像可供比较。因此，在这种情况下，无法计算结构相似指数。然而，图像质量的评估是基于单独测量的，这是一种无需比较就能测量图像质量的方法。图2显示了图像质量增强的结果。
图2 图像质量增强的结果
然后，为了验证图像质量增强对受损物体识别性能的提高，构建Mask R-CNN模型进行受损物体检测实验。在本实验中，使用经过超分辨率卷积神经网络图像质量增强的低分辨率和高分辨率图像，作为受损物象识别模型的输入。对图像中不同的破损物体进行了荧光物体识别实验。
对比高、低分辨率图像实验结果的准确性，高分辨率图像对特定类型目标的识别性能优于低分辨率图像。在检测风化物的真实图像检测精度方面，使用超分辨率卷积神经网络获得的高分辨率图像，在不需要图像质量增强的情况下，远优于低分辨率图像。超分辨率卷积神经网络输出的图像质量与原始图像相似，其结果是值得肯定的。实验表明，使用超分辨率卷积神经网络输出的图像建立的模型具有较高的检测精度。通过质量改进对图像的大小进行归一化，并通过像素扩展对像素数据进行细化，这似乎提高了模型的检测精度。
因此，实验结果表明，所提出的技术方法提高了目标识别性能。在包含结构复杂的受损物体的图像中，实验结果验证了识别性能，并得到了进一步的提高。
图3 不同的桥梁构件类型
现有的基于深度学习技术的桥梁损伤自动检测研究，在训练图像和目标物体的形状等方面还有局限性。为了解决这些局限性，一种基于深度学习模型的两步法建模框架，即首先使用超分辨率来提高图像质量，从而确保桥梁损坏图像的多样性，并构建一个检测模型，使其能够识别具有复杂结构的损坏物体。其次，深度学习模型不是将检测作为一个单一的综合模型来执行，而是针对每个构件和每种损坏类型进行优化，最后将其汇总。因此，桥梁损伤目标检测深度组合框架包含了所有的过程，即数据输入、数据集构建、模型训练、检测和结果输出。由于每个构件的形状随着损伤类型的不同而有很大的不同，对所有构件使用一个单一的模型来进行训练和检测会限制模型的性能。因此，在这个模型中，为每个构件构建了单独的优化模型。此外，通过这些针对构件的模型，检测每种类型的损伤，并将结果汇总。实验结果表明，检测性能得到了改善，比现有模型的平均精度值增加了110.6%。然而，由于该模型使用的图像数量不足，必须收集更多的图像以减少过度拟合，并提高模型的可推广性。尽管如此，基于特定构件优化的组合模型的性能还是令人满意的。因此，所提出的框架可能成为一种应用于损伤检测领域的智能技术。
如果构件是混凝土结构，该框架的研究对象可以应用于悬索桥和斜拉桥等大型桥梁中。
由于所提出的模型的推理时间约为0.2秒，因此可以实现实时检测。然而，由于每个模型使用约2.5G的GPU内存（VRAM）和300~350W的功率（RTX 3090的情况下），该模型不能部署在移动设备上。但替代的方法之一是使用边缘计算设备（如jetson nano等），可以通过加载模型立即检测和分析从图像传感器输入的图像（需要5~10w功率）。另一种方法是由成像设备（智能手机、无人机等）收集的图像传输到网络，并在深度学习服务器上进行检测。然而，必须考虑网络延迟的问题。
未来的研究可以基于多个模型的集成，研究和开发一个能够提高实例分割性能的模型，以及一个通过对每个构件/模型的参数调整来自动检测桥梁中受损物体的模型。此外，还可以开发一个能够自动估计受损物体大小的量化模型。基于收集到的数据，构建机器学习模型预测桥梁衰老曲线，跟踪桥梁的老化和腐蚀情况，分析老化过程，得出桥梁的损伤变化及未来可能受到的损伤，旨在及时采取安全措施，对大桥进行养护修复。
文章来源：桥梁视界（文章仅用于本网站交流学习，转载请注明出处，如有侵权可联系删帖）
京公网安备 11010802022300号
