WO2021088311A1 - 基于多无人机协同作业的桥梁自动检测方法及系统 - Google Patents

基于多无人机协同作业的桥梁自动检测方法及系统 Download PDF

Info

Publication number
WO2021088311A1
WO2021088311A1 PCT/CN2020/083863 CN2020083863W WO2021088311A1 WO 2021088311 A1 WO2021088311 A1 WO 2021088311A1 CN 2020083863 W CN2020083863 W CN 2020083863W WO 2021088311 A1 WO2021088311 A1 WO 2021088311A1
Authority
WO
WIPO (PCT)
Prior art keywords
bridge
uav
task
module
sub
Prior art date
Application number
PCT/CN2020/083863
Other languages
English (en)
French (fr)
Inventor
熊刚
杨静
沈震
董西松
季英良
姜宇一
颜军
罗璨
王晓
王飞跃
Original Assignee
中国科学院自动化研究所
东莞中国科学院云计算产业技术创新与育成中心
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国科学院自动化研究所, 东莞中国科学院云计算产业技术创新与育成中心 filed Critical 中国科学院自动化研究所
Publication of WO2021088311A1 publication Critical patent/WO2021088311A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft

Definitions

  • Step S20 Obtain a task grouping optimization function based on the multiple bridge detection subtasks and each UAV performing the task;
  • the task quantity balance index is:
  • the central control unit includes a signal receiving module, a signal processing module, and an instruction transceiving module, which are used to obtain the status of each unit of the multiple bridge detection execution ends and the status of each unit at the ground control station. Transfer data information between units.
  • the ground control station is also provided with an abnormality processing unit
  • the image processing module is used to extract the bridge disease features of the photos taken by the drone in the bridge detection execution terminal in real time through a preset automatic bridge detection image processing algorithm, and combine the preset thresholds to filter the bridge disease features to obtain After effective bridge disease information, a bridge disease report is generated.
  • Step A20 The task allocation unit performs subtask grouping, UAV trajectory planning, and UAV trajectory classification, and returns the results of grouping, trajectory planning, and trajectory classification to the central control unit, and the central control unit returns the results And the work order is transmitted to the flight dispatch unit;
  • Step A70 During the flight of the UAV, the micro-processing module judges whether the UAV is abnormal in real time. If the number of abnormalities exceeds the set threshold, then return to Step A20; otherwise, perform Step A80;
  • Step A80 the micro-processing module obtains the real-time position of other drones, calculates the distance ⁇ L t from other drones, and judges whether there is ⁇ L t ⁇ L 0 and If it exists, then further determine whether the level of the machine is lower, if yes, the machine hovering, and return to step A80; otherwise, perform step A90;
  • Step A100 the micro-processing module judges whether the UAV image acquisition task is completed, if yes, execute step A110; otherwise, return to step A60;
  • the present invention is based on the bridge automatic detection method of multi-UAV collaborative operation, through the cooperation of multiple drones to perform bridge detection, the complete bridge detection task is split into a collection of multiple sub-tasks, Each UAV performs different sub-tasks at the same time, which improves the efficiency of the UAV to perform tasks and shortens the duration of bridge inspection.
  • the present invention is based on the bridge automatic detection method of multi-UAV collaborative operation.
  • the UAV cluster system does not depend on individual individuals, and adopts redundancy fault-tolerant technology to ensure that the UAV will be abnormal after a set number of occurrences. It can still work normally, and when the number of abnormalities exceeds the set number, the system can call other individuals to make up for it, ensuring the continuity and integrity of task execution and reducing the error rate.
  • the bridge automatic detection method based on the multi-UAV collaborative operation of the present invention can adopt corresponding image processing schemes according to the required detection speed and accuracy, and the real-time performance and accuracy can be balanced according to the bridge detection task requirements.
  • Step S10 According to the acquired bridge model to be inspected, analyze the bridge environment information and divide the bridge inspection task into multiple bridge inspection subtasks; the bridge inspection subtask is the hovering shooting point of the drone.
  • the bridge inspection sub-tasks are divided into three situations according to the specific bridge inspection tasks and bridge types:
  • the first is to detect parts of the bridge deck, cone slopes, beams/piers and abutments: take front-view, rear-view, left-view, right-view, and down-view photos within the target range.
  • each UAV performs bridge detection and shooting according to the corresponding UAV trajectory and trajectory level, and transmits the captured photo to the corresponding image processing unit according to the input image processing unit selection information.
  • GPS positioning is only suitable for parts that are not severely blocked by obstacles, such as bridge decks and cone slopes, while SLAM positioning technology can realize positioning at parts with low GPS signal reliability such as the bridge bottom.
  • SLAM positioning technology can choose to use one or more of monocular camera, binocular camera, depth camera, lidar and inertial measurement unit. Use SLAM positioning technology to elaborate on multiple UAV positioning steps:
  • Pre-established communication network its communication method is one or more of Wi-Fi, ZigBee, GPRS.
  • Image processing can be done in two ways:
  • the image processing steps are:
  • the central control unit includes a signal receiving module, a signal processing module, and an instruction transceiving module, which is used to obtain the status of each unit of the multiple bridge detection execution ends and transfer data information between the units of the ground control station.
  • the network management unit is used to establish a UAV communication local area network. In addition, it is also used to monitor and maintain the communication status between the UAVs in the network, between the UAVs and the ground control station, and feedback and deal with unexpected communication problems during operations. It can receive real-time positioning and image data transmitted by the drone, and also transmit scheduling information to the drone.
  • the bridge model storage module is configured to store relational databases (MYSQL, Oracle, etc.) or non-relational databases (CouchDB, MongoDB, etc.) of various types of bridge models.
  • relational databases MYSQL, Oracle, etc.
  • non-relational databases CouchDB, MongoDB, etc.
  • the flight scheduling unit assigns tasks to each UAV according to its own performance and the results of task grouping and trajectory planning, and generates instruction information for controlling the flight of the UAV.
  • the image acquisition module is composed of a variable focal length camera and a pan-tilt, so as to flexibly adjust the angle of the camera and change the shooting accuracy of the camera, expand the shooting distance of the camera, and ensure the stability of the camera shooting.
  • the zoom camera adjusts the focal length according to the needs of the specific environment, and collects bridge image information.
  • the positioning module adopts one or more of GPS positioning, IMU positioning, compass positioning, and altimeter positioning methods.
  • Step B10 During the current drone flight process, obtain the flight positions of other drones in real time, and calculate the distance ⁇ L t between the current drone and other drones in real time;
  • the bridge detection process of an embodiment of the present invention based on the multi-drone cooperative operation bridge automatic detection method includes:

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

一种基于多无人机协同作业的桥梁自动检测方法及系统，基于多无人机协同作业的桥梁自动检测方法包括：分析桥梁环境信息并将桥梁检测任务划分为多个子任务；获取任务分群优化函数，划分子任务群；分别规划子任务群对应的无人机航迹，并将子任务群分配给相应无人机；将无人机拍摄的照片传输至图像处理单元提取桥梁病害特征，生成桥梁病害报告。基于多无人机协同作业的桥梁自动检测方法及系统根据不同的桥梁任务，设计不同的拍摄方案，通过多架无人机相互协作进行桥梁检测，各无人机同时执行不同的子任务，并且采用余度容错技术进行异常补救，效率高、任务连续性和完整性高、精度高、错误率低，可以解决传统桥梁检测操作难度大，而单架无人机耗时长、错误率高的问题。

Description

基于多无人机协同作业的桥梁自动检测方法及系统 技术领域
本发明属于无人机及桥梁检测技术领域，具体涉及了一种基于多无人机协同作业的桥梁自动检测方法及系统。
背景技术
当前阶段，无人机技术已经渗透到农业、电力、交通等多个领域，它的针对性应用已成为当前研究的重要课题之一。在桥梁检测领域，目前桥梁管养部门主要采用人工肉眼检测以及望远镜检测等方式。在传统检测过程中，检测设备的单一性是目前存在的显著问题。在面对悬索桥或者大跨高墩桥梁等特殊结构桥梁时，对于一些范围以外难以触及的地方，例如高塔柱、桥梁底板、塔顶结构、斜拉钢索等，传统桥梁检测方式存在操作难度大、危险性高等局限性。
当前阶段，无人机技术已经渗透到农业、电力、交通等多个领域，它的针对性应用已成为当前研究的重要课题之一。在桥梁检测领域，目前桥梁管养部门主要采用人工肉眼检测以及望远镜检测等方式。在传统检测过程中，检测设备的单一性是目前存在的显著问题。在面对悬索桥或者大跨高墩桥梁等特殊结构桥梁时，对于一些范围以外难以触及的地方，例如高塔柱、桥梁底板、塔顶结构、斜拉钢索等，传统桥梁检测方式存在操作难度大、危险性高等局限性。
由于桥梁检测任务的复杂性和无人机性能的局限性，单架无人机在执行任务的能力上显示出了一定的局限性，具体包括：由于机载的传感器与通信设备的限制，单架无人机对任务环境的感知能力是有限 的，难以对任务环境进行全方位把握；受自身储电设备的限制，无人机续航能力有限，不具备高强度持续作业的能力；单架无人机一旦受到异常故障影响，任务执行效率将大幅下降，甚至导致任务终止，容错能力较差。
总的来说，传统桥梁检测操作难度大、成本高，而单架无人机桥梁检测耗时长、容错性差、获取信息受限导致错误率高、成本高。
发明内容
为了解决现有技术中的上述问题，即传统桥梁检测操作难度大、成本高，而单架无人机桥梁检测耗时长、错误率高、成本高的问题，本发明提供了一种基于多无人机协同作业的桥梁自动检测方法，该桥梁自动检测方法包括：
步骤S10，根据获取的待检测桥梁模型，分析桥梁环境信息并将桥梁检测任务划分为多个桥梁检测子任务；所述桥梁检测子任务为无人机悬停拍摄点；
步骤S20，基于所述多个桥梁检测子任务以及执行任务的各无人机，获取任务分群优化函数；
步骤S30，基于所述任务分群优化函数，将所述桥梁检测子任务分为设定数量的子任务群，并根据预设的各子任务群的重要度获取各子任务群的等级；
步骤S40，基于获取的各无人机参数、各子任务群的等级，分别规划各子任务群对应的无人机航迹以及航迹等级，并将所述各子任务群分配给对应的无人机；
步骤S50，各无人机按照对应的无人机航迹以及航迹等级进行桥梁检测拍摄，并根据输入的图像处理单元选择信息将拍摄的照片传输至相应的图像处理单元；
步骤S60，通过所述图像处理单元预设的桥梁自动检测图像处理算法提取所述无人机拍摄的照片对应的桥梁病害特征，并结合预设的阈值筛选桥梁病害特征，获取有效桥梁病害信息后生成桥梁病害报告。
在一些优选的实施例中，所述任务分群优化函数为：
J A＝ω 2λ+ω 3η-ω 1J
其中，J为任务群分布指标，λ为任务数量均衡指标，η为无人机巡航时间均衡指标，ω 1、ω 2、ω 3分别为任务群分布指标、任务数量均衡指标、无人机巡航时间均衡指标的权重。
在一些优选的实施例中，所述任务群分布指标为：
Figure PCTCN2020083863-appb-000001
其中，A i代表设定数量的子任务群中第i个子任务群，S代表子任务群的数量，
Figure PCTCN2020083863-appb-000002
代表A i的聚类中心，T代表桥梁检测子任务，
Figure PCTCN2020083863-appb-000003
代表桥梁检测子任务T与A i的聚类中心
Figure PCTCN2020083863-appb-000004
的欧式距离。
在一些优选的实施例中，所述任务数量均衡指标为：
Figure PCTCN2020083863-appb-000005
其中，μ Sk代表第S个子任务群的第k个无人机执行子任务的数量，S代表子任务群的数量，M代表子任务的数量。
在一些优选的实施例中，所述无人机巡航时间均衡指标为：
Figure PCTCN2020083863-appb-000006
其中，S代表子任务群的数量，ψ i(i＝1,2,…,S)代表第i个子任务群的无人机最优巡航路径，t(ψ i)代表第i个子任务群的无人机最优巡航路径需要的巡航拍摄时间。
在一些优选的实施例中，步骤S50中“预先建立的通信网络”，其通信方式为Wi-Fi、ZigBee、GPRS中的一种或多种。
在一些优选的实施例中，所述桥梁自动检测方法还设置有无人机异常补救的步骤，其方法为：
通过余度容错技术设置各无人机异常次数阈值，若任意一个无人机异常次数大于所述阈值，则所述无人机降落并发送异常降落信息，其未完成的子任务作为一个子任务群，并重新进行无人机航迹规划后，分配给备用无人机执行。
本发明的另一方面，提出了一种基于多无人机协同作业的桥梁自动检测系统，该桥梁自动检测系统包括地面控制站、多个桥梁检测执行端；
所述地面控制站包括中央控制单元、网络管理单元、图像处理单元、桥梁模型分析单元、任务分配单元、飞行调度单元、信息显示单元，配置为根据获取的待检测桥梁模型，分析桥梁环境信息并将桥梁检测任务划分为多个桥梁检测子任务，并结合执行任务的各无人机进行任务分群、无人机航迹规划、航迹等级划分后将各子任务群分配给各桥梁检测执行端以及接收所述桥梁检测执行端发送的照片，通过预设的桥梁自动检测图像处理算法提取桥梁病害特征，并结合预设的阈值筛选桥梁病害特征，获取有效桥梁病害信息后生成桥梁病害报告；
所述桥梁检测执行端包括微处理模块、飞行动力模块、通信模块、图像采集模块、定位模块、避障模块，配置为根据所述地面控制站分配的子任务群进行桥梁检测拍摄，并根据输入的图像处理单元选择信息将拍摄的照片传输至相应的图像处理单元。
在一些优选的实施例中，所述中央控制单元，包括信号接收模块、信号处理模块、指令收发模块，用于获取所述多个桥梁检测执行端各单元的状态以及在所述地面控制站各单元之间传递数据信息。
在一些优选的实施例中，所述桥梁模型分析单元包括桥梁模型存储模块、桥梁模型分析模块；
所述桥梁模型存储模块，配置为存储有各类别桥梁模型的关系数据库或非关系数据库；
所述桥梁分析模块，配置为根据待检测桥梁模型，分析桥梁环境信息并将桥梁检测任务划分为多个桥梁检测子任务。
在一些优选的实施例中，所述地面控制站还设置有异常处理单元；
所述异常处理单元，配置为接收异常次数大于设定阈值的无人机发送的异常降落信息，并通过所述中央控制单元控制所述任务分配单元和飞行调度单元，分配备用无人机执行桥梁检测任务。
在一些优选的实施例中，所述定位模块采用GPS定位、IMU定位、罗盘仪定位、高度计定位方法中的一种或多种。
在一些优选的实施例中，所述桥梁检测执行端还设置有图像处理模块；
所述图像处理模块，用于通过预设的桥梁自动检测图像处理算法实时提取对应的桥梁检测执行端中无人机拍摄的照片的桥梁病害特征，并结合预设的阈值筛选桥梁病害特征，获取有效桥梁病害信息后生成桥梁病害报告。
在一些优选的实施例中，所述避障模块采用激光雷达避障、双目视觉避障、超声波测距避障、红外测距避障中的一种或多种。
在一些优选的实施例中，所述避障模块设置有无人机飞行防撞控制方法，包括：
步骤B10，当前无人机飞行过程中，实时获取其他各无人机的飞行位置，并实时计算当前无人机与其他各无人机的距离ΔL t；
步骤B20，判断是否存在ΔL t≤L 0且
Figure PCTCN2020083863-appb-000007
若判断结果为是，则跳转步骤B30；否则，继续步骤B20；其中，L 0为设定的安全距离；
步骤B30，比较在发生碰撞边缘的两架无人机对应的航迹等级高低，若当前无人机航迹等级高，则当前无人机按照其航迹继续执行任务；否则，跳转步骤B40；
步骤B40，当前无人机悬停，直至ΔL t＞L 0，当前无人机按照其航迹继续执行任务。
在一些优选的实施例中，桥梁自动检测系统运行方法包括：
步骤A10，桥梁模型分析单元进行桥梁环境信息分析和桥梁任务划分，并将结果传送给中央控制单元，中央控制单元发送工作指令以及桥梁模型分析单元的分析结果至任务分配单元；
步骤A20，任务分配单元进行子任务分群、无人机航迹规划、无人机航迹等级划分，并将分群、航迹规划、航迹等级划分结果返回给中央控制单元，中央控制单元将结果以及工作指令传送给飞行调度单元；
步骤A30，飞行调度单元根据各无人机性能指标，将子任务群分配给各架无人机，生成调度和飞行指令，并传送给中央控制单元；
步骤A40，中央控制单元调度网络管理单元建立通信网络，执行端无人机组加入网络，网络管理单元将飞行拍摄指令传送给对应无人机，并监控网络通信状态；
步骤A50，无人机通过通信模块接收飞行指令并传送至微处理模块；
步骤A60，微处理模块将飞行指令下达给飞行动力模块，使无人机根据规划好的路径进行飞行；微处理模块向图像采集模块下达拍摄指令，图像采集模块进行桥梁图像拍摄；
步骤A70，无人机飞行过程中，微处理模块实时判断无人机是否发生异常，如果发生异常的次数超过设定阈值，则返回步骤A20；否则，执行步骤A80；
步骤A80，微处理模块获取其它无人机的实时位置，计算与其它无人机的距离ΔL t，并判断是否存在ΔL t≤L 0且
Figure PCTCN2020083863-appb-000008
若存在，则进一步判断本机的等级是否更低，是则本机悬停，并返回步骤A80；否则，则执行步骤A90；
步骤A90，无人机每采集一幅图像，地面工作站图像处理单元或无人机上的图像处理模块提取图像桥梁病害特征；
步骤A100，微处理模块判断无人机图像采集任务是否完成，若是，则执行步骤A110；否则，返回步骤A60；
步骤A110，根据桥梁病害特征对病害信息进行筛选，将有效病害信息生成病害报告。
本发明的有益效果：
(1)本发明基于多无人机协同作业的桥梁自动检测方法，通过多架无人机相互协作进行桥梁检测，将完整的桥梁检测任务拆分成多个子任务的集合，无人机群中的各架无人机同时执行不同的子任务，提高了无人机执行任务的效率，缩短了桥梁检测的时长。
(2)本发明基于多无人机协同作业的桥梁自动检测方法，无人机集群系统不依赖于单独的个体，并采用余度容错技术确保无人机在发生设定次数之内的异常后仍能够正常工作，而当异常次数超过设定 次数后，系统可调用其他个体对其进行弥补，保证了任务执行的连续性和完整性，降低错误率。
(3)本发明基于多无人机协同作业的桥梁自动检测方法，可根据要求检测的速度和精度采取相应的图像处理方案，实时性和准确性根据桥梁检测任务要求进行平衡。
(4)本发明基于多无人机协同作业的桥梁自动检测系统，结构简单、体积轻巧，可适用于多种桥梁检测任务以及无人机中，鲁棒性好。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于多无人机协同作业的桥梁自动检测方法的流程示意图；
图2是本发明基于多无人机协同作业的桥梁自动检测方法一种实施例的桥梁检测系统地面控制站框架示意图；
图3是本发明基于多无人机协同作业的桥梁自动检测方法一种实施例的桥梁检测系统桥梁检测执行端框架示意图；
图4是本发明基于多无人机协同作业的桥梁自动检测方法一种实施例的桥梁检测过程示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明的一种基于多无人机协同作业的桥梁自动检测方法，该桥梁自动检测方法包括：
步骤S10，根据获取的待检测桥梁模型，分析桥梁环境信息并将桥梁检测任务划分为多个桥梁检测子任务；所述桥梁检测子任务为无人机悬停拍摄点；
步骤S20，基于所述多个桥梁检测子任务以及执行任务的各无人机，获取任务分群优化函数；
步骤S30，基于所述任务分群优化函数，将所述桥梁检测子任务分为设定数量的子任务群，并根据预设的各子任务群的重要度获取各子任务群的等级；
步骤S40，基于获取的各无人机参数、各子任务群的等级，分别规划各子任务群对应的无人机航迹以及航迹等级，并将所述各子任务群分配给对应的无人机；
步骤S50，各无人机按照对应的无人机航迹以及航迹等级进行桥梁检测拍摄，并根据输入的图像处理单元选择信息将拍摄的照片传输至相应的图像处理单元；
步骤S60，通过所述图像处理单元预设的桥梁自动检测图像处理算法提取所述无人机拍摄的照片对应的桥梁病害特征，并结合预设的阈值筛选桥梁病害特征，获取有效桥梁病害信息后生成桥梁病害报告。
为了更清晰地对本发明基于多无人机协同作业的桥梁自动检测方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。
本发明一种实施例的基于多无人机协同作业的桥梁自动检测方法，包括步骤S10-步骤S60，各步骤详细描述如下：
步骤S10，根据获取的待检测桥梁模型，分析桥梁环境信息并将桥梁检测任务划分为多个桥梁检测子任务；所述桥梁检测子任务为无人机悬停拍摄点。
为确保对桥梁的病害进行全方位多角度拍摄，根据具体的桥梁检测任务和桥梁类型划分桥梁检测子任务，分三种情况：
第一种，对桥面部分、锥坡、梁/墩台外侧等部位检测：分别拍摄目标范围内的前视、后视、左视、右视、下视照片。
第二种，对拱桥、悬索桥、斜拉桥的上部结构进行局部重点检测：围绕局部检测部位环绕飞行，获取多视角照片。
第三种，对桥面以下结构病害进行局部重点检测：运用照明设备进行局部照明，以旋转云台方式拍摄桥梁下部结构的多视角照片。
本发明实施例中，将桥梁检测任务记为T＝{T 1,T 2,…,T M}，T M是无人机拍摄的悬停点，即为子任务，M是子任务数。执行桥梁检测的无人机集合记为V＝{V 1,V 2,…,V N}，N为执行桥梁检测的无人机数。将子任务划分后的集合记为A＝{A 1,A 2,…,A S}，S为子任务群数。无人机集合划分编队记为F＝{F 1,F 2,…,F K}，S为无人机编队数。
步骤S20，基于所述多个桥梁检测子任务以及执行任务的各无人机，获取任务分群优化函数，如式(1)所示：
J A＝ω 2λ+ω 3η-ω 1J           式(1)
其中，J为任务群分布指标，λ为任务数量均衡指标，η为无人机巡航时间均衡指标，ω 1、ω 2、ω 3分别为任务群分布指标、任务数量均衡指标、无人机巡航时间均衡指标的权重。
任务群分布指标如式(2)所示：
Figure PCTCN2020083863-appb-000009
其中，A i代表设定数量的子任务群中第i个子任务群，S代表子任务群的数量，
Figure PCTCN2020083863-appb-000010
代表A i的聚类中心，T代表桥梁检测子任务，
Figure PCTCN2020083863-appb-000011
代表桥梁检测子任务T与A i的聚类中心
Figure PCTCN2020083863-appb-000012
的欧式距离。
Figure PCTCN2020083863-appb-000013
为群内误差平方和，
Figure PCTCN2020083863-appb-000014
为群间误差平方和，J越小代表群内集中、群间分散的程度越高。
任务数量均衡指标如式(3)所示：
Figure PCTCN2020083863-appb-000015
其中，μ Sk代表第S个子任务群的第k个无人机执行子任务的数量，S代表子任务群的数量，M代表子任务的数量。
任务数量均衡指标代表任务数量均衡率，λ越接近于1表示任务数量越均衡。
无人机巡航时间均衡指标如式(4)所示：
Figure PCTCN2020083863-appb-000016
其中，S代表子任务群的数量，ψ i(i＝1,2,…,S)代表第i个子任务群的无人机最优巡航路径，t(ψ i)代表第i个子任务群的无人机最优巡航路径需要的巡航拍摄时间。
η越接近于1表示巡航时间越均衡。
步骤S30，基于所述任务分群优化函数，将所述桥梁检测子任务分为设定数量的子任务群，并根据预设的各子任务群的重要度获取各子任务群的等级。
步骤S40，基于获取的各无人机参数、各子任务群的等级，分别规划各子任务群对应的无人机航迹以及航迹等级，并将所述各子任务群分配给对应的无人机。
将上述任务分群优化函数作为目标函数，运用模拟退火算法改进的K均值聚类算法等目标优化算法寻求全局最优解，实现任务分群和航迹规划。本发明方法的任务分群指标只是给出了一个示例，对于不同任务需根据具体要求确定合理的任务分群指标，本发明在此不再一一详述。航迹规划包括无人机返航轨迹的规划，保证了无人机执行任务和返航总行程的最优。
步骤S50，各无人机按照对应的无人机航迹以及航迹等级进行桥梁检测拍摄，并根据输入的图像处理单元选择信息将拍摄的照片传输至相应的图像处理单元。
无人机协同控制方法根据具体要求可选择集中式或分布式控制结构。集中式控制结构利用全局信息进行分析决策，能够更好地把握全局信息实现合理调度，但对通信带宽的性能以及控制中心的处理速度和可靠性要求较高。分布式控制结构各无人机在群系统中的地位是平等的，通过合作的方式，协同完成任务，同时具有一定的自主控制与决策的能力，能够根据拓扑网络的连通情况与其他无人机进行信息交互，实现无人机集群系统的整体控制。
无人机拍摄过程中需要进行本机定位，可采用GPS定位或SLAM定位技术。GPS定位只适用于桥面、锥坡等不受障碍物严重遮挡的部位，而SLAM定位技术可实现在桥底等GPS信号可靠性低的部位的定位。SLAM定位技术可选择采用单目相机、双目相机、深度相机、激光雷达和惯性测量单元中的一种或多种。以SLAM定位技术对多个无人机定位步骤进行详述：
第一，采集环境信息：可通过多类型传感器集成，融合各类别传感器数据，以弥补各自数据缺陷，提高SLAM的稳健性与精度；
第二，环境特征提取：确定序列传感器信息与真实环境的对应关系；
第三，位姿估计：采用粒子滤波等算法估计校正位姿信息；
第四，地图更新：根据校正位姿信息构建局部环境地图，存储于地图数据库，实现局部地图更新；
第五，局部地图特征提取：确定局部地图与全局环境的对应关系；
第六，地图融合：将具有一定重叠度的局部地图采用预设算法融合成全局地图。
每架无人机的局部地图数据采用无线电波技术相互传输，根据要求可选择不同的传输频段，例如2.4G、5G等。其中，5G传输频段频率高，携带数据多，干扰较低。
“预先建立的通信网络”，其通信方式为Wi-Fi、ZigBee、GPRS中的一种或多种。
步骤S60，通过所述图像处理单元预设的桥梁自动检测图像处理算法提取所述无人机拍摄的照片对应的桥梁病害特征，并结合预设的阈值筛选桥梁病害特征，获取有效桥梁病害信息后生成桥梁病害报告。
图像处理可选择两种方式进行：
方式一，每个无人机将各自采集到的图像和拍摄位置，传送到图像处理单元，通过预设的桥梁自动检测图像处理算法集中处理。此方法对通信性能要求较高，通信负担较重。但图像处理的全局性和精度较高。
方式二，每个无人机通过其自身图像处理模块，分别将其拍摄到的图像进行实时处理，将处理结果传送到图像处理单元。此方法通信负担较轻，但图像处理的精度可能会受到影响，全局性难以把握。
本发明一个实施例中，图像处理步骤为：
第一步，图像获取表现：将模拟图像信号转化为数字形式及数字图像的表现；
第二步，图像增强：改变图像视感质量，突出图像重要特征，包括图像的灰度转换、图像锐化、图像边缘处理、图像的噪音处理、直方图修正等步骤；
第三步，图像分割：将图像特征分割成若干有意义的区域；
第四步，图像分析：可利用深度学习方法，提取对象特征并加以表示。例如可采用链码跟踪方法记录裂缝和坑槽边缘轮廓走向，通过进一步计算，确定病害数据信息。病害信息包括：裂缝的长度和宽度、坑槽的破损面积和深度。
桥梁自动检测方法还设置有无人机异常补救的步骤，其方法为：
通过余度容错技术设置各无人机异常次数阈值，若任意一个无人机异常次数大于所述阈值，则所述无人机降落并发送异常降落信息，其未完成的子任务作为一个子任务群，并重新进行无人机航迹规划后，分配给备用无人机执行。
本发明第二实施例的基于多无人机协同作业的桥梁自动检测系统，该桥梁自动检测系统包括地面控制站、多个桥梁检测执行端；
如图2所示，为本发明基于多无人机协同作业的桥梁自动检测方法一种实施例的桥梁检测系统地面控制站框架示意图，包括中央控制单元、网络管理单元、图像处理单元、桥梁模型分析单元、任务分配单元、飞行调度单元、信息显示单元、异常处理单元。
地面控制站根据获取的待检测桥梁模型，分析桥梁环境信息并将桥梁检测任务划分为多个桥梁检测子任务，并结合执行任务的各无人机进行任务分群、无人机航迹规划、航迹等级划分后将各子任务群分配给各桥梁检测执行端以及接收所述桥梁检测执行端发送的照片，通过预设的桥梁自动检测图像处理算法提取桥梁病害特征，并结合预设的阈值筛选桥梁病害特征，获取有效桥梁病害信息后生成桥梁病害报告。
中央控制单元，包括信号接收模块、信号处理模块、指令收发模块，用于获取所述多个桥梁检测执行端各单元的状态以及在所述地面控制站各单元之间传递数据信息。
中央控制单元在整个地面控制站的系统中处于中心位置，对系统整体运行情况进行监控和控制，监控桥梁检测执行端每架无人机上所有模块(包括飞行控制模块、通信模块、图像采集模块等)的健康状态信息，如电池电量、传感器异常、动力系统异常等，也是系统中各单元之间数据通信的桥梁。
网络管理单元用于建立无人机通信局域网络。另外，还用于监视和维护网内各架无人机之间、无人机与地面控制站之间的通信状态，对作业中突发的通信异常问题进行反馈和处理。可以接收无人机传送的实时定位和图像数据，也将调度信息传送给无人机。
图像处理单元，可将桥梁检测执行端采集传回的桥梁局部图像信息进行图像处理和病害识别，同时，根据传回的检测位置信息生成病害报告并自动写入病害信息数据库。用户可通过查阅数据库来了解病 害详情。该图像处理单元用于回传图像的详细精确处理，对处理精度有严格的要求，对速度无严格要求。
桥梁模型分析单元包括桥梁模型存储模块、桥梁模型分析模块；
桥梁模型存储模块，配置为存储有各类别桥梁模型的关系数据库(MYSQL、Oracle等)或非关系数据库(CouchDB、MongoDB等)。
桥梁分析模块，配置为根据待检测桥梁模型，分析桥梁环境信息并将桥梁检测任务划分为多个桥梁检测子任务，为无人机任务分配做准备。
任务分配单元根据任务分群指标对桥梁检测子任务进行分群，并确定完成各子任务群无人机的飞行航迹。
飞行调度单元根据无人机自身性能以及任务分群和航迹规划的结果，为各架无人机分派任务，产生控制无人机飞行的指令信息。
信息显示单元可选择采用CRT显示屏或LCD显示屏(液晶显示器)，用于显示中央控制单元检测到的各模块健康的实时信息和网络管理模块检测到的网络通信状态。
异常处理单元，配置为接收异常次数大于设定阈值的无人机发送的异常降落信息，并通过所述中央控制单元控制所述任务分配单元和飞行调度单元，分配备用无人机执行桥梁检测任务。
如图3所示，为本发明基于多无人机协同作业的桥梁自动检测方法一种实施例的桥梁检测系统桥梁检测执行端框架示意图，包括微处理模块、飞行动力模块、通信模块、图像采集模块、定位模块、避障模块。对于要求图像实时处理的无人机还需要有图像处理模块。
桥梁检测执行端根据地面控制站分配的子任务群进行桥梁检测拍摄，并根据输入的图像处理单元选择信息将拍摄的照片传输至相应的图像处理单元。
微处理模块，用于接收并执行指令以及与外界存储器和逻辑部件交换信息，对桥梁检测执行端各模块工作进行调度。
飞行动力模块接收微处理模块下达的飞行指令，提供动力并根据指令控制本机进行飞行。
通信模块负责本机与其它无人机、本机与地面控制站之间的通信。该模块接收地面控制站发送的飞行指令，将该飞行指令传送给微处理模块，微处理模块根据接收到的指令，向飞行动力模块下达飞行命令。将定位模块产生的无人机的位置信息以及图像采集模块采集的局部桥梁图像信息传送到地面控制站。
图像采集模块由一个可变焦距的摄像头和云台组成，以便于灵活调整摄像头的角度和改变摄像头的拍摄精度，扩大摄像头的拍摄距离，保证摄像头拍摄的稳定性。变焦摄像头根据具体环境需要调整焦距，采集桥梁图像信息。
定位模块采用GPS定位、IMU定位、罗盘仪定位、高度计定位方法中的一种或多种。
桥梁检测执行端还设置有图像处理模块；
图像处理模块，用于通过预设的桥梁自动检测图像处理算法实时提取对应的桥梁检测执行端中无人机拍摄的照片的桥梁病害特征，并结合预设的阈值筛选桥梁病害特征，获取有效桥梁病害信息后生成桥梁病害报告。
避障模块采用激光雷达避障、双目视觉避障、超声波测距避障、红外测距避障中的一种或多种。
各无人机通过自组网技术使各无人机能够对彼此的位置相互感应，确保各无人机之间不会相撞。
避障模块设置有无人机飞行防撞控制方法，包括：
步骤B10，当前无人机飞行过程中，实时获取其他各无人机的飞行位置，并实时计算当前无人机与其他各无人机的距离ΔL t；
步骤B20，判断是否存在ΔL t≤L 0且
Figure PCTCN2020083863-appb-000017
若判断结果为是，则跳转步骤B30；否则，继续步骤B20；其中，L 0为设定的安全距离；
步骤B30，比较在发生碰撞边缘的两架无人机对应的航迹等级高低，若当前无人机航迹等级高，则当前无人机按照其航迹继续执行任务；否则，跳转步骤B40；
步骤B40，当前无人机悬停，直至ΔL t＞L 0，当前无人机按照其航迹继续执行任务。
基于上述的基于多无人机协同作业的桥梁自动检测系统，如图4所示，本发明基于多无人机协同作业的桥梁自动检测方法一种实施例的桥梁检测过程包括：
步骤A10，桥梁模型分析单元进行桥梁环境信息分析和桥梁任务划分，并将结果传送给中央控制单元，中央控制单元发送工作指令以及桥梁模型分析单元的分析结果至任务分配单元；
步骤A20，任务分配单元进行子任务分群、无人机航迹规划、无人机航迹等级划分，并将分群、航迹规划、航迹等级划分结果返回给中央控制单元，中央控制单元将结果以及工作指令传送给飞行调度单元；
步骤A30，飞行调度单元根据各无人机性能指标，将子任务群分配给各架无人机，生成调度和飞行指令，并传送给中央控制单元；
步骤A40，中央控制单元调度网络管理单元建立通信网络，执行端无人机组加入网络，网络管理单元将飞行拍摄指令传送给对应无人机，并监控网络通信状态；
步骤A50，无人机通过通信模块接收飞行指令并传送至微处理模块；
步骤A60，微处理模块将飞行指令下达给飞行动力模块，使无人机根据规划好的路径进行飞行；微处理模块向图像采集模块下达拍摄指令，图像采集模块进行桥梁图像拍摄；
步骤A70，无人机飞行过程中，微处理模块实时判断无人机是否发生异常，如果发生异常的次数超过设定阈值，则返回步骤A20；否则，执行步骤A80；
步骤A80，微处理模块获取其它无人机的实时位置，计算与其它无人机的距离ΔL t，并判断是否存在ΔL t≤L 0且
Figure PCTCN2020083863-appb-000018
若存在，则进一步判断本机的等级是否更低，是则本机悬停，并返回步骤A80；否则，则执行步骤A90；
步骤A90，无人机每采集一幅图像，地面工作站图像处理单元或无人机上的图像处理模块提取图像桥梁病害特征；
步骤A100，微处理模块判断无人机图像采集任务是否完成，若是，则执行步骤A110；否则，返回步骤A60；
步骤A110，根据桥梁病害特征对病害信息进行筛选，将有效病害信息生成病害报告。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的方法的具体工作过程及有关说明，可以参考前述系统实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于多无人机协同作业的桥梁自动检测系统，仅以上述各模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的模块来完成，即将本发明实施例中的模块再分解或者组合，例如，上述实施例的模块可以合并为一个大模块，也可以进一步拆分成多个小模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (16)

  1. 一种基于多无人机协同作业的桥梁自动检测方法，其特征在于，该桥梁自动检测方法包括：
    步骤S10，根据获取的待检测桥梁模型，分析桥梁环境信息并将桥梁检测任务划分为多个桥梁检测子任务；所述桥梁检测子任务为无人机悬停拍摄点；
    步骤S20，基于所述多个桥梁检测子任务以及执行任务的各无人机，获取任务分群优化函数；
    步骤S30，基于所述任务分群优化函数，将所述桥梁检测子任务分为设定数量的子任务群，并根据预设的各子任务群的重要度获取各子任务群的等级；
    步骤S40，基于获取的各无人机参数、各子任务群的等级，分别规划各子任务群对应的无人机航迹以及航迹等级，并将所述各子任务群分配给对应的无人机；
    步骤S50，各无人机按照对应的无人机航迹以及航迹等级进行桥梁检测拍摄，并根据输入的图像处理单元选择信息将拍摄的照片传输至相应的图像处理单元；
    步骤S60，通过所述图像处理单元预设的桥梁自动检测图像处理算法提取所述无人机拍摄的照片对应的桥梁病害特征，并结合预设的阈值筛选桥梁病害特征，获取有效桥梁病害信息后生成桥梁病害报告。
  2. 根据权利要求1所述的基于多无人机协同作业的桥梁自动检测方法，其特征在于，所述任务分群优化函数为：
    J A＝ω 2λ+ω 3η-ω 1J
    其中，J为任务群分布指标，λ为任务数量均衡指标，η为无人机巡 航时间均衡指标，ω 1、ω 2、ω 3分别为任务群分布指标、任务数量均衡指标、无人机巡航时间均衡指标的权重。
  3. 根据权利要求2所述的基于多无人机协同作业的桥梁自动检测方法，其特征在于，所述任务群分布指标为：
    Figure PCTCN2020083863-appb-100001
    其中，A i代表设定数量的子任务群中第i个子任务群，S代表子任务群的数量，
    Figure PCTCN2020083863-appb-100002
    代表A i的聚类中心，T代表桥梁检测子任务，
    Figure PCTCN2020083863-appb-100003
    代表桥梁检测子任务T与A i的聚类中心
    Figure PCTCN2020083863-appb-100004
    的欧式距离。
  4. 根据权利要求2所述的基于多无人机协同作业的桥梁自动检测方法，其特征在于，所述任务数量均衡指标为：
    Figure PCTCN2020083863-appb-100005
    其中，μ Sk代表第S个子任务群的第k个无人机执行子任务的数量，S代表子任务群的数量，M代表子任务的数量。
  5. 根据权利要求2所述的基于多无人机协同作业的桥梁自动检测方法，其特征在于，所述无人机巡航时间均衡指标为：
    Figure PCTCN2020083863-appb-100006
    其中，S代表子任务群的数量，ψ i(i＝1,2,…,S)代表第i个子任务群的无人机最优巡航路径，t(ψ i)代表第i个子任务群的无人机最优巡航路径需要的巡航拍摄时间。
  6. 根据权利要求1所述的基于多无人机协同作业的桥梁自动检测方法，其特征在于，步骤S50中“预先建立的通信网络”，其通信方式为Wi-Fi、ZigBee、GPRS中的一种或多种。
  7. 根据权利要求1-6任一项所述的基于多无人机协同作业的桥梁自动检测方法，其特征在于，所述桥梁自动检测方法还设置有无人机异常补救的步骤，其方法为：
    通过余度容错技术设置各无人机异常次数阈值，若任意一个无人机异常次数大于所述阈值，则所述无人机降落并发送异常降落信息，其未完成的子任务作为一个子任务群，并重新进行无人机航迹规划后，分配给备用无人机执行。
  8. 一种基于多无人机协同作业的桥梁自动检测系统，其特征在于，该桥梁自动检测系统包括地面控制站、多个桥梁检测执行端；
    所述地面控制站包括中央控制单元、网络管理单元、图像处理单元、桥梁模型分析单元、任务分配单元、飞行调度单元、信息显示单元，配置为根据获取的待检测桥梁模型，分析桥梁环境信息并将桥梁检测任务划分为多个桥梁检测子任务，并结合执行任务的各无人机进行任务分群、无人机航迹规划、航迹等级划分后将各子任务群分配给各桥梁检测执行端以及接收所述桥梁检测执行端发送的照片，通过预设的桥梁自动检测 图像处理算法提取桥梁病害特征，并结合预设的阈值筛选桥梁病害特征，获取有效桥梁病害信息后生成桥梁病害报告；
    所述桥梁检测执行端包括微处理模块、飞行动力模块、通信模块、图像采集模块、定位模块、避障模块，配置为根据所述地面控制站分配的子任务群进行桥梁检测拍摄，并根据输入的图像处理单元选择信息将拍摄的照片传输至相应的图像处理单元。
  9. 根据权利要求8所述的基于多无人机协同作业的桥梁自动检测系统，其特征在于，所述中央控制单元，包括信号接收模块、信号处理模块、指令收发模块，用于获取所述多个桥梁检测执行端各单元的状态以及在所述地面控制站各单元之间传递数据信息。
  10. 根据权利要求8所述的基于多无人机协同作业的桥梁自动检测系统，其特征在于，所述桥梁模型分析单元包括桥梁模型存储模块、桥梁模型分析模块；
    所述桥梁模型存储模块，配置为存储有各类别桥梁模型的关系数据库或非关系数据库；
    所述桥梁分析模块，配置为根据待检测桥梁模型，分析桥梁环境信息并将桥梁检测任务划分为多个桥梁检测子任务。
  11. 根据权利要求8-10任一项所述的基于多无人机协同作业的桥梁自动检测系统，其特征在于，所述地面控制站还设置有异常处理单元；
    所述异常处理单元，配置为接收异常次数大于设定阈值的无人机发送的异常降落信息，并通过所述中央控制单元控制所述任务分配单元和飞行调度单元，分配备用无人机执行桥梁检测任务。
  12. 根据权利要求8所述的基于多无人机协同作业的桥梁自动检测系统，其特征在于，所述定位模块采用GPS定位、IMU定位、罗盘仪定位、高度计定位方法中的一种或多种。
  13. 根据权利要求8所述的基于多无人机协同作业的桥梁自动检测系统，其特征在于，所述桥梁检测执行端还设置有图像处理模块；
    所述图像处理模块，用于通过预设的桥梁自动检测图像处理算法实时提取对应的桥梁检测执行端中无人机拍摄的照片的桥梁病害特征，并结合预设的阈值筛选桥梁病害特征，获取有效桥梁病害信息后生成桥梁病害报告。
  14. 根据权利要求8所述的基于多无人机协同作业的桥梁自动检测系统，其特征在于，所述避障模块采用激光雷达避障、双目视觉避障、超声波测距避障、红外测距避障中的一种或多种。
  15. 根据权利要求14所述的基于多无人机协同作业的桥梁自动检测系统，其特征在于，所述避障模块设置有无人机飞行防撞控制方法，包括：
    步骤B10，当前无人机飞行过程中，实时获取其他各无人机的飞行位置，并实时计算当前无人机与其他各无人机的距离ΔL t；
    步骤B20，判断是否存在ΔL t≤L 0且
    Figure PCTCN2020083863-appb-100007
    若判断结果为是，则跳转步骤B30；否则，继续步骤B20；其中，L 0为设定的安全距离；
    步骤B30，比较在发生碰撞边缘的两架无人机对应的航迹等级高低，若当前无人机航迹等级高，则当前无人机按照其航迹继续执行任务；否则，跳转步骤B40；
    步骤B40，当前无人机悬停，直至ΔL t＞L 0，当前无人机按照其航迹 继续执行任务。
  16. 一种桥梁自动检测系统运行方法，其特征在于，基于权利要求8-15任一项所述的基于多无人机协同作业的桥梁自动检测系统，该桥梁自动检测系统运行方法包括：
    步骤A10，桥梁模型分析单元进行桥梁环境信息分析和桥梁任务划分，并将结果传送给中央控制单元，中央控制单元发送工作指令以及桥梁模型分析单元的分析结果至任务分配单元；
    步骤A20，任务分配单元进行子任务分群、无人机航迹规划、无人机航迹等级划分，并将分群、航迹规划、航迹等级划分结果返回给中央控制单元，中央控制单元将结果以及工作指令传送给飞行调度单元；
    步骤A30，飞行调度单元根据各无人机性能指标，将子任务群分配给各架无人机，生成调度和飞行指令，并传送给中央控制单元；
    步骤A40，中央控制单元调度网络管理单元建立通信网络，执行端无人机组加入网络，网络管理单元将飞行拍摄指令传送给对应无人机，并监控网络通信状态；
    步骤A50，无人机通过通信模块接收飞行指令并传送至微处理模块；
    步骤A60，微处理模块将飞行指令下达给飞行动力模块，使无人机根据规划好的路径进行飞行；微处理模块向图像采集模块下达拍摄指令，图像采集模块进行桥梁图像拍摄；
    步骤A70，无人机飞行过程中，微处理模块实时判断无人机是否发生异常，如果发生异常的次数超过设定阈值，则返回步骤A20；否则，执行步骤A80；
    步骤A80，步骤A80，微处理模块获取其它无人机的实时位置，计算与其它无人机的距离ΔL t，并判断是否存在ΔL t≤L 0且
    Figure PCTCN2020083863-appb-100008
    若存在，则进一步判断本机的等级是否更低，是则本机悬停，并返回步骤A80；否则， 则执行步骤A90；
    步骤A90，无人机每采集一幅图像，地面工作站图像处理单元或无人机上的图像处理模块提取图像桥梁病害特征；
    步骤A100，微处理模块判断无人机图像采集任务是否完成，若是，则执行步骤A110；否则，返回步骤A60；
    步骤A110，根据桥梁病害特征对病害信息进行筛选，将有效病害信息生成病害报告。
PCT/CN2020/083863 2019-11-04 2020-04-09 基于多无人机协同作业的桥梁自动检测方法及系统 WO2021088311A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911065609.6A CN110703802A (zh) 2019-11-04 2019-11-04 基于多无人机协同作业的桥梁自动检测方法及系统
CN201911065609.6 2019-11-04

Publications (1)

Publication Number Publication Date
WO2021088311A1 true WO2021088311A1 (zh) 2021-05-14

Family

ID=69202365

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/083863 WO2021088311A1 (zh) 2019-11-04 2020-04-09 基于多无人机协同作业的桥梁自动检测方法及系统

Country Status (2)

Country Link
CN (1) CN110703802A (zh)
WO (1) WO2021088311A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117590757A (zh) * 2024-01-19 2024-02-23 成都航空职业技术学院 基于高斯分布海鸥优化算法的多无人机协同任务分配方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110703802A (zh) * 2019-11-04 2020-01-17 中国科学院自动化研究所 基于多无人机协同作业的桥梁自动检测方法及系统
CN111390913B (zh) * 2020-04-09 2021-07-20 武汉光谷卓越科技股份有限公司 桥梁底部结构自动化检测方法
CN111765924A (zh) * 2020-07-13 2020-10-13 江苏中科智能制造研究院有限公司 一种基于多无人机的大气环境监测方法与系统
CN112098326B (zh) * 2020-08-20 2022-09-30 东南大学 针对桥梁病害的自动检测方法和系统
CN111964649A (zh) * 2020-08-21 2020-11-20 武汉原点勘测设计工程有限公司 一种基于无人机遥感的地形信息采集方法
CN112362068B (zh) * 2020-12-04 2022-09-23 浙江煤炭测绘院有限公司 一种无人机测绘方法、装置以及系统
CN112580892B (zh) * 2020-12-29 2024-09-06 广州极飞科技股份有限公司 协同作业路线的规划方法、装置、计算机设备和存储介质
CN112598187B (zh) * 2020-12-29 2024-08-02 广州极飞科技股份有限公司 协同作业路线的生成方法、装置、计算机设备和存储介质
CN114091807A (zh) * 2021-10-12 2022-02-25 广西综合交通大数据研究院 多无人机任务分配及调度方法、装置、系统及存储介质
CN114531193B (zh) * 2022-01-04 2023-11-10 无锡市市政设施养护管理有限公司 基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法
CN114510073B (zh) * 2022-01-24 2022-10-25 枣庄易飞航天科技有限公司 一种基于复合翼无人机的智能高速边防巡检系统
CN114550107B (zh) * 2022-04-26 2022-07-26 深圳联和智慧科技有限公司 基于无人机集群的桥梁联动智能巡检方法、系统及云平台
CN115032206B (zh) * 2022-06-15 2024-06-21 招商局重庆交通科研设计院有限公司 一种桥梁机器人智能检测方法
CN115239204B (zh) * 2022-09-19 2023-02-14 中国电子科技集团公司第十四研究所 一种多平台无人机载射频系统的协同任务规划方法
CN115660648A (zh) * 2022-11-05 2023-01-31 一鸣建设集团有限公司 一种建筑外墙维护系统
CN117348424B (zh) * 2023-11-30 2024-03-08 南通大地测绘有限公司 一种基于自适应算法的无人机群协同测绘方法及系统
CN118090742B (zh) * 2024-04-18 2024-07-30 江西赣粤高速公路股份有限公司 一种用于预制桥梁铰缝破损检测的图像获取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140336928A1 (en) * 2013-05-10 2014-11-13 Michael L. Scott System and Method of Automated Civil Infrastructure Metrology for Inspection, Analysis, and Information Modeling
CN105259911A (zh) * 2015-07-22 2016-01-20 北京佰才邦技术有限公司 可移动载体的控制方法、系统及无人机的控制系统
CN105735150A (zh) * 2016-03-04 2016-07-06 浙江大学 一种移动多目视觉桥梁常规检测方法
CN108051450A (zh) * 2017-11-01 2018-05-18 中铁大桥科学研究院有限公司 一种基于无人机的桥梁健康检测系统及方法
CN110703802A (zh) * 2019-11-04 2020-01-17 中国科学院自动化研究所 基于多无人机协同作业的桥梁自动检测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100763851B1 (ko) * 2006-02-03 2007-10-05 한국도로공사 장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량점검용 로봇

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140336928A1 (en) * 2013-05-10 2014-11-13 Michael L. Scott System and Method of Automated Civil Infrastructure Metrology for Inspection, Analysis, and Information Modeling
CN105259911A (zh) * 2015-07-22 2016-01-20 北京佰才邦技术有限公司 可移动载体的控制方法、系统及无人机的控制系统
CN105735150A (zh) * 2016-03-04 2016-07-06 浙江大学 一种移动多目视觉桥梁常规检测方法
CN108051450A (zh) * 2017-11-01 2018-05-18 中铁大桥科学研究院有限公司 一种基于无人机的桥梁健康检测系统及方法
CN110703802A (zh) * 2019-11-04 2020-01-17 中国科学院自动化研究所 基于多无人机协同作业的桥梁自动检测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHAO ZHUOANG, ZHU XIAO-PING, ZHOU ZHOU, BO ZHANG, YAN-XIONG WANG: "Distributed formation keeping control of UAVs in 3-D dynamic environment", CONTROL AND DECISION, vol. 31, no. 6, 1 June 2016 (2016-06-01), pages 1065 - 1072, XP055809882, DOI: 10.13195/j.kzyjc.2015.0462 *
WANG YI, XIE RUIYU, YANG LIBIN, ZHAO JIANJUN: "Research on Multi-UAVs Cooperative Task Classification Scheme", SHIP ELECTRONIC ENGINEERING, vol. 38, no. 10, 1 October 2018 (2018-10-01), pages 18 - 22, XP055809884, DOI: 10.3969/j. issn.1672-9730.2018.10.005 *
YIN GAO-YANG, ZHOU SHAO-LEI, QI YA-HUI: "Cooperative Multi-Task Assignment for Multiple UAVs", ELECTRONICS OPTICS & CONTROL, vol. 24, no. 1, 1 January 2017 (2017-01-01), pages 46 - 75, XP055809880, DOI: 10.3969/j.issn.1671-637X.2017.01.011 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117590757A (zh) * 2024-01-19 2024-02-23 成都航空职业技术学院 基于高斯分布海鸥优化算法的多无人机协同任务分配方法
CN117590757B (zh) * 2024-01-19 2024-05-07 成都航空职业技术学院 基于高斯分布海鸥优化算法的多无人机协同任务分配方法

Also Published As

Publication number Publication date
CN110703802A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
WO2021088311A1 (zh) 基于多无人机协同作业的桥梁自动检测方法及系统
CN111537515B (zh) 基于三维实景模型的铁塔螺栓缺陷展示方法和系统
Luo et al. A survey of intelligent transmission line inspection based on unmanned aerial vehicle
WO2020192000A1 (zh) 一种基于自主导航的畜禽信息感知机器人与地图构建方法
CN106708073B (zh) 一种自主导航电力巡线故障检测的四旋翼飞行器系统
CN111555178B (zh) 一种输电线路天空地协同智能巡检方法及系统
CN105303899A (zh) 无人水面艇与无人飞行器联合的子母式机器人协作系统
US20230286556A1 (en) Autonomous drone for railroad track inspection
US20190361466A1 (en) Real-time system and method for asset management using unmanned aerial systems and edge computing
CN114092537A (zh) 一种变电站电力无人机自动巡检方法及装置
CN109945874A (zh) 一种桥梁巡检航线规划方法
CN109885097A (zh) 一种桥梁外沿面巡检航线规划方法
KR102331410B1 (ko) 재난 사고 현장 대응형 드론 표준 운용 방법 및 그 시스템
CN112364725B (zh) 基于小型无人机群的棉花虫害立体监测方法与系统
CN103810382B (zh) 机载分布式多传感器两级数据融合策略选择方法
CN106326865A (zh) 一种基于无人机的水利工程区域实时监测系统及方法和装置
CN112817331A (zh) 一种基于多机协同的林业信息智能监测系统
CN115657706B (zh) 基于无人机的地貌测量方法及系统
CN109990778A (zh) 一种桥梁底座巡检航线规划方法
CN117519944A (zh) 一种基于算力感知和边缘云计算协同的无人车及其协同方法
Tan et al. An adaptive crack inspection method for building surface based on BIM, UAV and edge computing
CN106320173B (zh) 车载无人机桥梁日常安全检测系统及检测方法
Congress et al. Eye in the sky: condition monitoring of transportation infrastructure using drones
CN118012088A (zh) 无人机回归机巢的降落方法、装置、设备及存储介质
Srivastava et al. Connotation of unconventional drones for agricultural applications with node arrangements using neural networks

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20883720

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20883720

Country of ref document: EP

Kind code of ref document: A1