立体视觉技术的核心，固定翼无人机：确保高精度的着陆

欢迎大家来到IT世界,在知识的湖畔探索吧!

文 |古轩说史

编辑 | 古轩说史

在无人机技术的快速发展下，固定翼无人机的自主着陆一直是一个备受关注的难题，在各种气象条件和地形环境下，无人机的准确着陆对于任务的成功与否至关重要。

而受显著性启发的立体视觉引导方法则以其在视觉注意力分布方面的独特优势，为无人机的着陆操作提供了新的视角。

显着性信息源自于人类的视觉系统，即在视觉场景中引人注目的部分，在无人机的自主着陆中，通过利用显着性信息，可以更精确地识别着陆区域。

分析地形变化，并实现对降落的准确引导，受显著性启发的立体视觉引导方法通过结合多种传感器数据，实现对着陆区域的三维建模，从而使得无人机能够实现高精度、稳定的自主着陆。

01

降落引导系统框架

在典型的无人机降落过程中，可以将其分为接近、下降和滑行三个阶段，通常在无人机发动机关闭后，地面立体视觉系统会主要在下降和滑行阶段发挥作用.

整个引导系统由两个独立的模块组成，它们对称地位于无人机预定降落点的附近，分别位于跑道的两侧，每个模块都搭载了一个摄像头，并置于独立的云台单元上，这两个模块通过各自的连接与计算机相连，通过使用这两个摄像头，双目视觉系统可以类似于人眼一样获取目标的三维信息。

整个双目视觉测量系统主要由图像采集、飞行器检测与跟踪以及飞行器位置计算等模块组成，它们相互协作来实现精准的无人机降落，下面是系统的工作流程：

机载导航系统引导无人机进入立体摄像机的视野，并在适当时机关闭飞机的发动机，这时搭载有两个摄像头的视觉系统能够覆盖广阔的天空视野。

接着，这两个摄像头捕获的图像序列同时发送到数据处理计算机进行进一步处理，检测算法会从连续捕获的图像中提取无人机的图像位置信息，与此同时定位算法利用标定数据、目标图像坐标以及云台反馈角度等信息，来计算无人机在三维空间中的坐标，并进行坐标恢复。

结合当前无人机的空间位置以及之前的位置信息，滤波算法能够提供更精确的轨迹预测结果，从而使得无人机的降落更加准确。

通过将着陆位置和控制信息发送到无人机的制导系统，系统能够实现对无人机的精确引导，而PTU视觉系统则会根据信息更新其旋转角度，并驱动云台电机来跟踪无人机，确保飞行中的无人机图像始终保持在视野中心。

这套系统通过整合多个模块的协同工作，实现了对无人机降落过程中的精确引导和定位，从而保障了安全和准确性。

02

显著性检测方法

一个优秀的显着性算法应该能够有效地突出显示整个显着对象，在对象显着性研究领域，已经提出了多种方法，包括与频域和时域方法有关的技术。

图像中的对象与背景的分离问题被称为图像-背景分离，在人类视觉系统（HVS）感兴趣的自然图像中，通常会包含一些特殊的内容，这些内容是图像的一部分，并且在图像中分布得比较稀疏，图像可以被看作由背景和分布稀疏的显着目标组成的组合。

以灰度图像为例，它可以表示为以下结构：X = F + B，其中F表示前景或图形信号，假设在某种标准空间基础上具有稀疏支持，B表示背景，假设在离散余弦变换（DCT）的基础上具有稀疏支持。

另一方面，研究已经指出，对图像进行逆离散余弦变换（IDCT）会将图像能量集中在空间上稀疏的前景位置，而相对于光谱上稀疏的背景。

为了调整初始输入图像的大小，常常使用最近邻插值算法，图像的尺寸会影响处理时间和最终的检测结果，为了验证这一观点，研究人员选择了具有不同比例因子γ的相同输入图像，并在整个显着性算法中进行相同的处理。

随后，处理后的图像被重新调整回原始尺寸，通过使用不同的γ值，显着性区域也会发生变化，研究的结果表明，图像的大小确实会影响显着性区域的检测结果，这进一步突显了图像尺寸对于显着性算法的重要性。

03

参数选择索引

在观察一个场景时，人眼的焦点会不断地进行调整，同一场景在不同距离处看到的效果是有所不同的。

比例因子γ和参数σ与模拟距离因素之间的关系对于检测结果具有重要意义，为了评估从图像中获取的信息，熵被用于计算，熵可用于区分图像中不同区域的特征和纹理结构差异，通过熵来计算图像的各向异性，通过观察熵值的变化趋势，可以选择适当的参数。

显着性检测算法所得的结果通常包括图像中显著的区域，在引导无人机着陆的过程中，必须精确知道无人机的位置，获取无人机在图像上的精确坐标位置对于无人机的导航过程至关重要。

为了引导无人机实现着陆，必须基于图像坐标计算无人机的空间位置，这个计算算法基于双目视觉测量原理，为了确保无人机保持在视野中，无人机的检测需要通过实时控制云台系统（PTU）来实现，这保证了无人机始终处于视场内。

在这个系统中，世界坐标系被设定在一个特定的坐标原点上，其中光轴L-XL对应于左摄像头，而光轴L-ZL则指向上方，表示左摄像头的方向，系统选择了着陆跑道为Y轴，从而形成了世界坐标系中的Y轴方向，Z轴方向则垂直于地面，向上延伸，左摄像头的光心被标记为OL，右摄像头的光心为OR。

为了定义世界坐标系中的X轴，选择了从OL指向OR的方向，同时将OL设定为坐标原点，基线长度R，表示为d，代表了OL与OR之间的距离。

在假设PTU的滚动角为0°的情况下，系统通过自动更新参数来调整PTU的平移角θ和倾斜角φ，以确保飞行中的飞机始终保持在视野中心。

两个PTU之间的基线距离被表示为d，根据无人机的空间位置投影关系，无人机在地面上的投影被标记为N，这些坐标和参数设置为整个系统中的重要参考，用于实现对无人机位置和视野的准确控制。

04

实验与讨论

为了验证基于双目视觉制导系统在无人机制导中的效果，并且证明显着性检测方法的优越性，研究使用固定翼无人机进行了一系列离线和在线实验。

在这个研究中，采用固定翼飞机作为飞行测试对象，并建立了一套地面制导系统，这个系统集成了IFLY-F1控制器，通过地面无线电台传输控制信号和位置信号至无人机的飞行控制系统。

此外，为了保障飞行的安全性，该无人机还搭载了差分全球定位系统（DGPS）模块，DGPS信号的精确性在产品手册中表明，其定位误差在95%的情况下小于2cm。

记录DGPS信号的频率为10Hz，与视频记录频率相当，实验设置了飞行高度在60-100m之间，与PTU的距离约为400-500m，分别对应飞行进场和下降阶段，以准备进行着陆引导。

整个视觉系统采用了可见光相机，两套PTU系统均采用了高转速（50度/秒）的稳定双轴陀螺仪，并且支持RS232串口发送指令信号，PTU还能实时反馈平移角度θ和倾斜角φ的状态，这些信息通过PTU系统实现了实时监控，这些设备和系统的整合为研究提供了必要的工具和数据来源。

显着性方法被用来以约30m/s的速度获取无人机的显着区域，初始图像的尺寸为640*480像素，为了确定显着性检测算法的参数，研究采集了一组飞行测试的样本数据集。

在这一研究中，选择了一个典型的样本数据源进行分析，这些数据源包括了无人机在不同位置、不同背景下的图像。

三个不同位置的典型图像被用于参数选择过程，以便描述数据处理的结果，之后，将4.4节中的显着性检测算法应用于使用不同比例因子的图像数据集。

在参数选择的实验中，比例因子γ的范围设置为(0, 3]，步长为δγ = 0.1，通过算法处理数据集，发现当Cε在(0, 1]时，Renyi熵值变化较大，当C> 3时，Renyi熵的变化很小，几乎趋于一个常数值，对于C> 3的情况，在这里不详细列出处理结果。

另外，研究记录了每个比例因子下整个程序的运行时间，以及每个显着图的Renyi熵，处理结果表明，随着检测时间的增加，比例因子也在增加，特别是当处理时间t > 10时，对应于C> 3的情况，然而，在无人机的着陆过程中，不能够允许在图像处理上花费过多的时间。

同样地，通过使用不同的σ参数进行高斯卷积，得到了相应的显着图，在实验中，还计算了与显着图相关的熵以及熵的变化。

对于数据集中的所有图像，最佳的尺度比例因子被设置为0.1，参数σ的范围被限定在(0, 0.06]之间，这个范围是基于Renyi熵的值进行选择的。

在p > 0.06的情况下，Renyi熵几乎趋于一个常数值，另一方面，发现使用参数结果p > 0.06会导致比使用参数结果p < 0.06更差的结果，因此，本研究未考虑产生p > 0.06的参数情况。

05

无人机探测实验结果

将显着性检测算法应用于使用特定参数（C = 0.1 和 p = 0.004）的飞行实验中，得到了无人机的显着区域，该区域是根据阈值分割算法得出的。

进一步地，利用无人机图像坐标计算方法，获得了图像的重心坐标，通过目视计算得到的无人机重心几乎位于无人机的航向位置。

也发现了错误的检测结果，显着性算法检测到了与无人机颜色相似的椅子，尽管该算法适用于检测图像中的显着区域，但不正确的检测结果可能会导致无人机空间坐标计算的错误，为了减少基于历史数据记录的错误，需要引入一个过滤器。

在无人机试飞过程中，地面控制站通过天线传输无人机的物理坐标，以引导无人机以30m/s的速度降落，为了验证视觉检测算法的有效性，地面控制站记录了DGPS数据、显着性自动检测结果和基于EKF的估计结果，无人机从距离视觉系统约250米的位置开始着陆。

为了分析着陆精度，研究定义了绝对误差e_x, e_y, e_z为基于EKF计算结果、基于视觉计算结果和DGPS数据之间的差值，随着无人机着陆距离的变化而变化（从 y_w = 250 米到 y_w = 0 米）。

从曲线可以清楚地看出，视觉方法和基于EKF的结果与DGPS的性能基本相当，通过对比结果，可以得出结论，无论在哪个方向上，误差都非常小，特别是在 y_w = 50 米至 y_w = 0 米的范围内，基于EKF的方法提供了更好的计算结果，特别是在Z W方向上。

利用固定翼无人机进行了利用该视觉系统测试着陆的实验，实验结果和对比结果表明，该算法框架简单，目标检测效果有效，能够满足精度要求。

这项研究的缺点是显着区域的选择取决于阈值参数，需要使用历史数据进行预训练，未来的工作将致力于不断改进智能算法，以提高该框架内算法位置计算的精度。