Exelon 使用网格基础设施的合成数据生成来自动化无人机检查

欢迎大家来到IT世界,在知识的湖畔探索吧!

大多数无人机检查仍然需要人工手动检查视频中的缺陷。如果没有针对每一个可能的缺陷的大量标记数据库，训练计算机视觉模型来自动化检查是很困难的。

在最近的一个 NVIDIA GTC 会议 ，我们分享了 Exelon 如何在 NVIDIA Omniverse 中使用合成数据生成来自动创建数千个各种网格资产缺陷的标记、照片真实感示例。这篇文章强调了如何使用合成图像来训练实时无人机检查的检查模型，从而实现更好的网格维护，提高可靠性和弹性。

工程概况

Exelon 是美国最大的受监管电力公司，为伊利诺伊州、马里兰州、宾夕法尼亚州、特拉华州、新泽西州和华盛顿特区的 1000 多万客户提供服务。

在其下方清理路径该能源供应商计划到 2030 年减排 50% ，到 2050 年实现净零排放。

我们确定了多种好处，包括减少工作人员的现场危险，减少审查图像的体力劳动，以及加快从图像捕获到缺陷解决的时间线，以提高电网可靠性。

我们的方法识别了感兴趣的网格资产和图像数据中的相关缺陷。然后，我们创建了一个资产图像标记管道，使我们的主题专家（ SME ）能够标记资产和缺陷。接下来，我们必须与 SME 一起构建、测试和验证计算机视觉资产和缺陷检测模型。最后，我们正在努力向业务利益相关者部署解决方案。

存在挑战。我们需要大量标记的真实世界缺陷数据来训练和测试人工智能模型。我们想看看在 NVIDIA Omniverse 中生成的合成数据是否可以应对这一挑战。

我们还想开发一个端到端的可扩展生态系统，这可以帮助我们加快其他输电和配电资产的部署，如高压线、输电塔和变电站。

无人机检查流程

BGE （ Baltimore Gas and Electric ）是一家 Exelon 公司，为马里兰州超过 100 万客户提供服务。作为目标现场无人机检查计划的一部分， BGE 派出一个现场小组，使用大约 8-15 英尺外的无人机，从不同角度拍摄多张照片，包括正面、侧面、顶部和背面。主要目标是在至少一张图像中看到任何缺陷，无论是在电线杆、横担、绝缘体、变压器还是其他资产中。图像捕获的一致性使我们能够使用人工智能和计算机视觉技术进行自动缺陷检测。

图 1 ：使用 NVIDIA Omniverse 模拟人工智能检测模型训练中使用的木杆缺陷。

在这个项目中，我们专注于识别交叉臂中的缺陷，其中 BGE 具有历史图像数据，包括有缺陷和无缺陷。BGE 将减少交叉臂故障确定为提高系统可靠性的主要驱动因素之一。横担最常见的缺陷是分裂，这可能会影响安装的绝缘子的稳定性，并导致客户停电。

我们的团队最初使用手动标记的数据进行模型训练和验证，以准确检测和计数无人机图像中的交叉臂。下一个目标是使用标记的真实世界数据以及合成数据生成进行交叉臂缺陷检测。我们目前正在对真实图像和合成图像上的缺陷检测模型进行培训，并正在与业务利益相关者进行模型验证。

资产检测模型培训与评估

由于问题的性质，以及需要识别用于缺陷检测的对象的精确像素，该团队选择在图像标记中使用分割掩模。

从理论上讲，分割返回肯定的识别，并且可以识别每个图像像素并区分项目。这将在检测线性裂纹、连接、填充和阴影方面返回更好的性能。

我们的数据科学家花了大量时间测试标记图像，并了解不同的注释技术可能会如何影响模型的准确性。

图 2 : 交叉臂缺陷的资产检测模型训练与评估

正如我们在资产检测方面看到的早期成功一样，我们知道，由于缺乏针对每个可能缺陷的大量标记数据库，缺陷检测将更具挑战性。然而，我们之前曾与 NVIDIA 合作，追溯到 Exelon 购买 NVIDIA DGX-1 系统，并被引入 NVIDIA Omniverse 。该平台围绕现场发生的网格资产缺陷的 3D 建模和生成合成数据提供了许多机会。

作为我们与 NVIDIA 合作的一部分，我们举行了多次会议，对我们的架构进行了集思广益。我们使用 NVIDIA Omniverse Replicator 生成交叉臂的不同缺陷，这将产生用于训练检查模型的标记数据。我们使用 Omniverse 根据尺寸、形状和位置创建不同类型的横臂缺陷。

在我们产生足够的变化和缺陷后，输出被添加到整个极点结构中。然后我们根据不同的场景、交叉臂的数量和缺陷的数量生成合成图像。

与第三方合作合成图像

在与 NVIDIA 的头脑风暴会议上，我们意识到 3D 建模是一项具有挑战性的工作，超出了 Exelon 的数据科学核心关注点。我们需要有经验的艺术家和建模师来构建 3D 模型，融入逼真的环境，以及操纵照明和场景条件。NVIDIA 帮助 Exelon 与几家供应商建立了联系，这些供应商正在使用 NVIDIA Omniverse ，并为其他公用事业和公用事业行业以外的其他用例提供图像。

图 3 ：德勤使用 NVIDIA 的合成数据生成 3D 工作流程 Omniverse

对于这个试点，我们选择了德勤来帮助我们开发交叉臂的合成图像。Deloitte 使用 Maya 构建资产和缺陷的 3D 模型，然后使用虚幻引擎进一步开发具有精确照明和场景条件的逼真周围环境，并将其移植到 NVIDIA Omniverse 中。然后，他们的设计者和开发人员一起工作，输出标记的图像，用于缺陷检测模型训练。

未来的重点领域和机遇

我们的最终目标是创建一个端到端可扩展的生态系统。我们可以利用这个生态系统从一种资产转移到另一种资产，从交叉臂开始，并在我们的分销、输电以及石油和天然气资产中扩大规模。

构建分析产品是一项团队运动。我们与 NVIDIA 和 Deloitte 的合作支持合成图像生成，并使我们能够利用外部专家构建 3D 模型、设计背景和标记图像。我们看到了 Omniverse 作为德勤中心的价值，它可以收集所有可用于创建 3D 图像的工具，并提供开发大量交叉臂数据集所需的框架。

通过图像捕获利用智能将继续成为 Exelon 和其他公用事业的重点领域。如果该项目成功，我们将能够扩展到其他输电和配电资产，如电线杆、变压器、绝缘子引脚、横臂支架或输电塔。

有关更多信息，请参阅以下资源：

• Using Synthetic Data Generation of Grid Infrastructure to Automate Drone Inspection（ NVIDIA 点播视频；需要注册）
• NVIDIA Omniverse
• Sustainable Energy Powered with AI
• How to Train a Defect Detection Model Using Synthetic Data with NVIDIA Omniverse Replicator

要深入研究使用合成数据训练缺陷检测模型，请参阅 NVIDIA Omniverse Synthetic Data Generation 论坛

鸣谢

在 Exelon 和 BGE ，我们很幸运拥有杰出的创新者和合作伙伴，他们是各自领域的专家。我们要对参与该项目的多个团队表示感谢，包括 BGE 分析/创新、无人机检查、 BGE 配电标准和 BGE 区域电力运营。

特别感谢 Exelon 基础设施分析团队的现任和前任成员。我们感谢 Vladyslav Anderson 和 Po Chen Chen 对项目的领导和指导，以及 Reddy Mandati 和 Bishwa Sapkota 在执行这个复杂用例时所做的出色工作。

我们感谢领导团队对我们的鼓励，让我们承担像这样具有高影响力的项目。这包括未来理事会的 BGE 效用；Ajit Apte ， BGE 技术服务副总裁，他是我们的主要赞助商；以及 Exelon 的分析领导力，以及运营、分析和商业投资高级副总裁 ISAAC Akridge 。他们的支持、资助和指导对我们的成功是必不可少的。

*本文转载自 NVIDIA英伟达

*与 NVIDIA 产品相关的图片或视频（完整或部分）的版权均归 NVIDIA Corporation 所有。