WO2019084797A1 - 一种障碍信息显示方法、显示装置、无人机及系统 - Google Patents

一种障碍信息显示方法、显示装置、无人机及系统 Download PDF

Info

Publication number
WO2019084797A1
WO2019084797A1 PCT/CN2017/108671 CN2017108671W WO2019084797A1 WO 2019084797 A1 WO2019084797 A1 WO 2019084797A1 CN 2017108671 W CN2017108671 W CN 2017108671W WO 2019084797 A1 WO2019084797 A1 WO 2019084797A1
Authority
WO
WIPO (PCT)
Prior art keywords
obstacle
image
type
drone
data
Prior art date
Application number
PCT/CN2017/108671
Other languages
English (en)
French (fr)
Inventor
周游
刘洁
唐克坦
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN201780006058.9A priority Critical patent/CN108521808B/zh
Priority to PCT/CN2017/108671 priority patent/WO2019084797A1/zh
Publication of WO2019084797A1 publication Critical patent/WO2019084797A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft

Definitions

  • the first aspect of the embodiment of the present invention discloses a method for displaying an obstacle information, which is applied to a display device, and the display device is connected to the drone through a wireless link, and includes:
  • FIG. 2 is a schematic flowchart of a method for displaying obstacle information according to an embodiment of the present invention
  • the camera mounted on the drone is usually used for scene shooting, and its field of view (Field Of View, FOV) is larger than the line of sight of the person, causing the operator to not accurately determine the distance between the objects when viewing the image captured by the camera, and it is not possible to reasonably determine which of the images are Obstacles, therefore, in the case of obstacle avoidance treatment of drones, accidents may occur because the obstacle points are not accurate enough, and obstacle avoidance is more difficult.
  • FOV Field Of View
  • the drone can acquire a depth image, and according to the depth information provided by the depth image, determine a possible obstacle point in the flight direction of the drone. (For example, a point whose depth value is greater than a preset depth threshold), the data of the obstacle point that may collide in the flight direction is the obstacle data.
  • the display device may first perform a segmentation process on the first type of image when the first type of image is received. Since the operator is accustomed to distinguishing individual objects (ie, feature objects in the image) in the image, it is further observed which object the drone may collide with. Therefore, in order to comply with human body operating habits, the display device may divide the first type of image into at least one segmentation region based on image recognition technology and image segmentation technology, and each segmentation region may be used to represent one feature object in the image.
  • the degree of correlation between the plurality of sets of obstacle data and the currently received first type of image may be determined according to a time stamp in the corresponding relationship, and the closer the time stamp is, the higher the degree of correlation.
  • the obstacle information may have a position parameter of the obstacle point in the target obstacle data in the first type of image, and the display device may identify the obstacle point on the first type of image according to the position parameter.
  • the first type image of the drone is received by the display device, and the obstacle information corresponding to the first type image is determined, and the obstacle point is identified and displayed in the first type image, and the operator is assisted. Judging the flight obstacles of the drone, the operator is no longer limited to visually observing the first type of image to determine the distance between the objects and further determining the obstacle points, thereby reducing the avoidance of manually operating the drone to avoid obstacles. Difficulty.
  • the display device can also predict a virtual flight path based on the current flight direction of the drone.
  • the virtual flight path may be a path predicted by the display device if the drone continues to fly in accordance with the current flight direction.
  • the display device may further perform a message prompting for the obstacle point, the message prompting includes a voice prompt and/or a vibration prompt; wherein the vibration prompt comprises: following the obstacle point and the drone The orientation relationship is shaken.
  • the drone can obtain the depth image, and according to the depth information provided by the depth image, determine that the point where the depth value is greater than the preset depth threshold may be a collision in the flight direction of the drone.
  • the obstacle point, the data of the obstacle point that may collide in the flight direction may be the obstacle data.
  • the drone can determine the information of the obstacle point in its flight direction, and identify the obstacle point on the first type of image, and send the first type of image that identifies the obstacle point. Display the display device.
  • the UAV can acquire the first type of image through the photographing device, acquire the obstacle data, and determine the correspondence between the obstacle data and the first type image, and finally the first type image.
  • the obstacle data and the corresponding relationship are sent to the display device, so that the display device can display the first type of image that identifies the obstacle point, and the difficulty of avoiding obstacles when manually operating the drone to avoid obstacles is reduced.
  • the second type of image is acquired by an obstacle detection device other than the camera device on the drone.
  • the processor 602 is further configured to: determine an obstacle avoidance path of the drone according to the obstacle information, and identify the obstacle avoidance path in the first type image, The obstacle avoidance path is used to perform obstacle avoidance on the obstacle point indicated by the obstacle information.
  • the processor 602 is further configured to: predict a virtual flight path according to a current flight direction of the drone.
  • the drone is further configured to: determine a correspondence relationship between the obstacle data and the first type of image; and the barrier data and the first type of image by the communication component 703 A correspondence is sent to the display drone.
  • the processor 702 is configured to: when determining the correspondence between the obstacle data and the first type of image according to the pose relationship, specifically, to: extract feature points of the first type of image And a feature point of the second type of image, and generating a feature description according to the feature point of the first type image and the feature point of the second type image; determining the according to the feature description and the pose relationship Correspondence between the obstacle data and the first type of image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

一种障碍信息显示方法、显示装置、无人机及系统，其中方法包括：显示装置接收所述无人机发送的第一类图像，所述第一类图像是挂载在所述无人机上的拍摄装置拍摄获取到的；确定与所述第一类图像相对应的障碍信息，其中，所述障碍信息包括所述无人机的飞行方向上的障碍点的信息；根据所述障碍信息在所述第一类图像上标识所述障碍点；显示标识了所述障碍点的第一类图像，可以在一定程度上降低避障的难度。

Description

一种障碍信息显示方法、显示装置、无人机及系统 技术领域
本发明涉及图像处理技术领域，尤其涉及一种障碍信息显示方法、显示装置、无人机及系统。
背景技术
无人机，即无人驾驶飞机，相比于有人驾驶飞机，可以执行一些危险、重复性质强的任务，目前被广泛应用于军事、农业、测绘、航拍、植保等领域。
无人机在飞行的过程中，可以自动操控无人机完成障碍物检测，然而，在大部份情况下，人们仍然习惯于通过遥控器、终端等显示装置手动操控无人机进行避障。目前，在手动操控无人机时，操作者可以依赖于无人机带有的摄像装置提供视角，基于自身的操作能力与飞行经验完成避障处理。
然而，无人机的摄像装置大多数情况下是用于拍摄景物的，与人的视野差距较大，这时，依赖肉眼观测摄像装置提供的图像进行避障，避障难度较高。
发明内容
本发明实施例公开了一种障碍信息显示方法、显示装置、无人机及系统，可以在一定程度上降低避障的难度。
本发明实施例第一方面公开了一种障碍信息显示方法，应用于显示装置，所述显示装置通过无线链路与无人机相连接，包括：
接收所述无人机发送的第一类图像，所述第一类图像是挂载在所述无人机上的拍摄装置拍摄获取到的；
确定与所述第一类图像相对应的障碍信息，其中，所述障碍信息包括所述无人机的飞行方向上的障碍点的信息；
根据所述障碍信息在所述第一类图像上标识所述障碍点；
显示标识了所述障碍点的第一类图像。
在一些可行的实施方式中，无人机可以确定自身的飞行方向上的障碍点的信息，并将该障碍点标识在第一类图像上，并将该标识了障碍点的第一类图像 发送给显示装置进行显示。
本发明实施例第二方面公开了一种显示装置，所述显示装置通过无线链路与无人机相连接，包括：存储器和处理器；
所述存储器，用于存储程序指令；
所述处理器，用于执行所述存储器存储的程序指令，当程序指令被执行时，用于：
接收所述无人机发送的第一类图像，所述第一类图像是挂载在所述无人机上的拍摄装置拍摄获取到的；
确定与所述第一类图像相对应的障碍信息，其中，所述障碍信息包括所述无人机的飞行方向上的障碍点的信息；
根据所述障碍信息在所述第一类图像上标识所述障碍点；
显示标识了所述障碍点的第一类图像。
本发明实施例第三方面公开了一种无人机，所述无人机挂载拍摄装置，包括通信元件、存储器和处理器；
所述通信元件，用于与显示装置通信；
所述存储器，用于存储程序指令；
所述处理器，用于执行所述存储器存储的程序指令，当程序指令被执行时，用于：
通过所述拍摄装置获取第一类图像；
获取障碍数据，所述障碍数据包括所述无人机的飞行方向上的障碍点的数据；
通过所述通信元件将所述第一类图像以及所述障碍数据发送给显示装置，以便于所述显示装置根据所述障碍数据确定出与所述第一类图像相对应的障碍信息，并根据所述障碍信息在所述第一类图像上标识出所述障碍点。
本发明实施例第四方面公开了一种系统，所述系统包括：
如上述第二方面所述的显示装置；
如上述第三方面所述的无人机。
本发明实施例中，显示装置可以接收无人机发送的第一类图像，并确定该无人机飞行方向上的障碍信息，根据该障碍信息在该第一类图像上标识出障碍 点，并显示标识了该障碍点的第一类图像，可以将障碍点直接标识并显示在该第一类图像上，相比于操作者通过摄像装置拍摄的图像肉眼观察，可以更准确的对前方障碍物情况进行判断，降低了避障的难度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种用于障碍信息显示的整体架构图；
图2是本发明实施例提供的一种障碍信息显示方法的流程示意图；
图3是本发明实施例提供的另一种障碍信息显示方法的流程示意图；
图4是本发明实施例提供的又一种用于障碍信息显示的流程示意图；
图5是本发明实施例提供的又一种用于障碍信息显示的流程示意图；
图6是本发明实施例提供的一种显示装置的结构示意图；
图7是本发明实施例提供的一种无人机的结构示意图；
图8是本发明实施例提供的一种系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
无人机在自动飞行的同时，可以自动操作飞行器完成障碍物检测以及障碍物绕行。
然而，大部份情况下，操作者仍然习惯于手动操作无人机进行避障处理。在操作者手动操作无人机时，可以通过例如终端、遥控器等带有显示屏的显示装置接收无人机挂载的摄像装置(例如摄像头、航拍相机等)采集的图像(也即第一类图像)进行障碍物观测，并依赖于操作者自身的操作能力与飞行经验，完成对无人机的避障处理。
然而，无人机挂载的摄像装置通常是用于景物拍摄的，其视场角(Field Of  View，FOV)相比于人的视线角较大，导致操作者观看摄像装置采集到的图像时，不能够合理的判断出物体之间的距离，也就不能够合理的判断出图像中哪些是障碍点，因此，在对无人机进行避障处理时，可能会因为障碍点判断不够准确而出现事故，避障的难度较高。
为了解决上述技术问题，本发明提供了一种障碍信息显示方法及显示装置。为了更详细的说明，下面首先介绍本申请的整体架构。
请参阅图1，为本发明实施例提供的一种用于障碍信息显示的整体架构图。图1所示的整体架构中，包括无人机以及显示装置。
需要说明的是，该无人机为无人驾驶飞机，具体可以是飞行器、航拍器、农业无人机、军事无人机等等，本发明实施例对此不作任何限制。
还需要说明的是，该无人机可以挂载摄像装置，该摄像装置可以为摄像头、航拍相机等，并可以用于拍摄场景图像(即第一类图像)并显示在显示装置上。
还需要说明的是，该无人机还可以挂载用于障碍检测的障碍检测装置(图1所示的无人机未示出)，该障碍检测装置可以为双目视觉系统、雷达、红外摄像机、红绿蓝摄像机中的任意一种或多种。
还需要说明的是，该显示装置可以为终端、遥控器等带有显示屏的装置。其中，该终端可以为智能手机、平板电脑、可穿戴设备等；该遥控器可以为用于远程控制无人机飞行的遥控器。应知，上述显示装置只是举例，而非穷举，包含但不限于上述可选的显示装置。
还需要说明的是，显示装置可以通过无线链路与无人机相连接。显示装置可以获取无人机预先规划的飞行路径，该飞行路径包括飞行方向。
在一个实施例中，该无人机可以通过拍摄装置实时采集第一类图像，并可以通过障碍检测装置实时获取障碍数据，将该第一类图像以及获取到的障碍数据通过无线链路发送给显示装置。
在一个实施例中，该障碍检测装置为双目视觉系统，无人机获取的障碍数据为根据深度图像确定出的障碍点的数据。或者，该障碍检测装置为红外摄像头，无人机获取的障碍数据为根据红外图像确定出的障碍点的数据。或者，该障碍检测装置为红绿蓝摄像头，无人机获取到的障碍数据为根据红绿蓝图像确定出的障碍点的数据。或者，该障碍检测装置为雷达，无人机的障碍数据为根 据雷达信号发出与反射之间的时间差得到的障碍点的数据。
举例来说，当该障碍检测装置为双目视觉系统的情况下，无人机可以获取深度图像，并根据该深度图像提供的深度信息，确定出无人机的飞行方向上可能碰撞的障碍点(例如深度值大于预设深度阈值的点)，该飞行方向上可能碰撞的障碍点的数据即为该障碍数据。
在一个实施例中，无人机还可以确定障碍数据与第一类图像的对应关系。举例来说，可以由无人机根据位姿关系确定障碍数据与第一类图像的对应关系。例如，如果根据位姿关系确定出障碍数据对应的深度图像与第一类图像为同一时刻拍摄，那么该障碍数据与第一类图像相对应。在确定了对应关系之后，无人机可以将该对应关系发送给显示装置。
在一个实施例中，无人机可以将该障碍数据以及该第一类图像异步发送给显示装置，也就是说，显示装置在接收到该第一类图像时，可能还没接收到与该第一类图像同时确定出的障碍数据，因此，显示装置可以根据障碍数据与第一类图像的对应关系将当前接收到的第一类图像与之前从无人机接收到的障碍数据进行匹配，确定出与当前接收到的第一类图像相关程度最高的目标障碍数据，并根据该目标障碍数据确定出与当前接收到的第一类图像对应的障碍信息。
在一个实施例中，该显示装置在接收到该第一类图像的情况下，可以首先对第一类图像进行分割处理。由于操作者习惯于先在图像中区分各个物体(即图像中的特征对象)，再进一步观测出无人机可能与哪一个物体发生碰撞。因此，为了符合人体操作习惯，显示装置可以基于图像识别技术与图分割技术，将该第一类图像分割成至少一个分割区域，每一个分割区域可以用于表示图像中的一个特征对象。
在一个实施例中，显示装置可以在对第一类图像进行分割处理之后，可以根据接收到的障碍数据以及接收到的障碍数据与第一类图像的对应关系，确定当前接收到的第一类图像相对应的障碍信息。例如，选择与当前接收到的第一类图像的时间戳最接近的障碍数据为目标障碍数据，然后根据该目标障碍数据确定当前接收到的第一类图像相对应的障碍信息。
进一步的，该显示装置可以根据该障碍信息在当前接收到的第一类图像上 标识该障碍点。具体的，显示装置可以根据该障碍信息将该障碍点标识到该第一类图像对应的分割区域中。其中，如果分割区域A内的障碍点大于预设障碍点阈值，那么显示装置可以高亮显示该分割区域A，并可以同时显示与该分割区域A中的相关的障碍点的信息，以提示操作者分割区域A的碰撞可能性较高。
在一个实施例中，与该分割区域A中的相关的障碍点的信息，可以为无人机距障碍点的距离值、预测碰撞到障碍点的碰撞时间以及障碍点的特征标识中的任意一种所多种；其中，该障碍点的特征标识可以包括障碍点所对应的特征对象名称。
可见，本发明实施例可以通过显示装置将障碍点标识并显示在第一类图像中，辅助了操作者对无人机的飞行障碍情况进行判断，使操作者不再局限于肉眼观察第一类图像来判断物体之间的距离并进一步确定障碍点，降低了手动操作无人机进行避障时的避障难度。
为了更好的说明，下面描述本申请的方法实施例。
请参阅图2，为本发明实施例提供的一种障碍信息显示方法的流程示意图。本实施例中所描述的障碍信息显示方法，包括：
S201、接收所述无人机发送的第一类图像。
需要说明的是，本发明实施例的执行主体可以为显示装置，该显示装置通过无线链路与无人机相连接。该显示装置例如可以是虚拟现实设备、智能终端、遥控器、地面站、带控制APP的手机或平板电脑等，本发明实施例不作任何限制。
其中，所述第一类图像是挂载在所述无人机上的拍摄装置拍摄获取到的。
需要说明的是，该无人机的拍摄装置例如可以是挂载在无人机的主相机，具体的，该主相机可以为航拍相机、数码相机、摄像头等等，本发明实施例对此不作任何限制。
还需要说明的是，该第一类图像可以实时发送至该显示装置进行显示。
S202、确定与所述第一类图像相对应的障碍信息。
其中，所述障碍信息包括所述无人机的飞行方向上的障碍点的信息。
需要说明的是，该无人机的飞行方向上的障碍点的信息，可以包括该无人机飞行方向上的障碍点，以及与该障碍点相关联的信息。
其中，与该障碍点相关联的信息可以包括：该无人机距该障碍点的距离值、预测碰撞到该障碍点的碰撞时间以及该障碍点的特征标识中的任意一种所多种；其中，该障碍点的特征标识包括障碍点所对应的特征对象名称。
需要说明的是，该特征对象名称可以指该第一类图像中的物体的名称。例如，该第一类图像中有树木，障碍点是该树木上的点，那么该障碍点的特征标识可以为该树木的名称。
在一个实施例中，与该第一类图像相对应的障碍信息是根据该无人机的障碍数据确定的。
其中，该障碍数据可以包括该无人机根据雷达信号发出与反射之间的时间差得到的障碍点的数据。
其中，该障碍数据还可以包括该无人机根据第二类图像确定出的障碍点的数据，其中，该第二类图像包括深度图像、红外图像、红绿蓝图像中的任意一种或多种。
在一个实施例中，该第二类图像是由该无人机上除所述拍摄装置以外的障碍检测装置获取的。举例来说，该障碍检测装置可以为双目视觉系统、雷达装置、红外摄像装置、红绿蓝摄像装置等等，本发明实施例对此不作任何限制。
在一个实施例中，确定与该第一类图像相对应的障碍信息，包括：接收该无人机确定出的障碍数据以及该障碍数据与该第一类图像的对应关系；根据该障碍数据以及该对应关系确定出与该第一类图像相对应的障碍信息。
在一些可行的实施方式中，无人机可以连续不断的获取该第一类图像并发送至显示装置显示，也就是说，该第一类图像可以具有多幅。同时，该无人机也可以连续不断的获取障碍数据，也就是说，该障碍数据也可以具有多组。每一组障碍数据可以对应一幅第一类图像，且障碍数据与第一类图像的对应关系可以根据时间戳确定。
举例来说，障碍数据a是无人机根据深度图像得到的，该深度图像是在12:00拍摄的，那么该障碍数据a的时间戳可以为12:00，该障碍数据b是无人机根据深度图像得到的，该深度图像是在12:01拍摄的，那么该障碍数据b的时间 戳可以为12:01，第一类图像A是无人机在12:00拍摄得到的，那么该第一类图像A的时间戳可以为12:00，第一类图像B是无人机在12:01拍摄得到的，那么该第一类图像B的时间戳可以为12:01，那么，障碍数据与第一类图像的对应关系即可以为：障碍数据a对应于第一类图像A，且时间戳为12:00；障碍数据b对应于第一类图像B，且时间戳为12:00。
在一些可行的实施方式中，无人机可以在发送该第一类图像A的同时，也发送与该第一类图像A对应的障碍数据a，也就是说，第一类图像与障碍数据同步发送，这时，该显示装置可以在接收到第一类图像A时，便可同步接收到该障碍数据a以及障碍数据a与该第一类图像A的对应关系，该显示装置可以在确定该障碍数据a为第一类图像对应的障碍数据时，根据该障碍数据a确定出与该第一类图像相对应的障碍信息。
在一些可行的实施方式中，无人机也可以异步发送该第一类图像以及该障碍数据。例如，无人机可以将第一类图像A以及障碍数据a分别封装在不同的数据包中，并将该数据包同时发送给显示装置，将第一类图像B以及障碍数据b分别封装在不同的数据包中，并发送给显示装置，由于网络、时延等因素，显示装置可以先接收到第一类图像A，然后接收到障碍数据a，然后接收到第一类图像B，然后接收到障碍数据b。由于异步发送的原因，第一类图像A与障碍数据a可能不是同时到达显示装置，第一类图像B与障碍数据b也可能不是同时到达显示装置，该显示装置就可以在接收到第一类图像B时，根据之前接收到的障碍数据(例如障碍数据a)以及障碍数据与第一类图像之间的对应关系确定出与第一类图像B相对应的障碍信息。
在一个实施例中，该显示装置可以根据该对应关系确定多组障碍数据与当前接收到的第一类图像的相关程度；从所述多组障碍数据选取所述相关程度最高的目标障碍数据，并根据所述目标障碍数据预测所述当前接收到的第一类图像相对应的障碍信息。
需要说明的是，该多组障碍数据与当前接收到的第一类图像的相关程度可可根据对应关系中的时间戳来确定，时间戳越接近的，相关程度越高。
举例来说，多组障碍数据例如为障碍数据x，障碍数据y，当前接收到的第一类图像为第一类图像Z，障碍数据x的时间戳与第一类图像Z的时间戳较远， 障碍数据y的时间戳与第一类图像Z的时间较近，因此，该显示装置可以选取相关程度最高的障碍数据y为目标障碍数据，并根据该目标障碍数据预测所述当前接收到的第一类图像相对应的障碍信息。
在一个实施例中，根据该目标障碍数据预测该当前接收到的第一类图像相对应的障碍信息，可以包括：根据该目标障碍数据与该当前接收到的第一类图像进行匹配处理，以确定该目标障碍数据在该第一类图像中的位置参数；根据该位置参数以及该目标障碍数据确定出与该当前接收到的第一类图像相对应的障碍信息。
需要说明的是，该匹配处理，可以是指图像识别处理。
还需要说明的是，该位置参数，可以为位置坐标。
在一些可行的实施方式中，显示装置可以将与该目标障碍数据对应的第二类图像与当前接收到的第一类图像进行图像识别，以确定目标障碍数据在第一类图像中的位置参数。
例如，目标障碍数据是根据时刻1下双目视觉系统拍到深度图像1确定的，深度图像1中有障碍物体1，时刻2下拍摄装置拍到第一类图像2，该第一类图像2为显示装置当前接收到的第一类图像，显示装置可以用图像识别的方法在第二类图像2中识别出具有和深度图像1中的障碍物体1相同特征的物体。
在一些可行的实施方式中，显示装置可以根据该位置参数以及该目标障碍数据确定出与该当前接收到的第一类图像相对应的障碍信息，也就是说，与该当前接收到的第一类图像相对应的障碍信息可以包括目标障碍数据中的障碍点在该第一类图像中的位置参数。
S203、根据所述障碍信息在所述第一类图像上标识所述障碍点。
需要说明的是，该障碍信息中可以具有目标障碍数据中的障碍点在该第一类图像中的位置参数，显示装置可以根据该位置参数在该第一类图像上标识该障碍点。
在一个实施例中，将所述障碍信息标识在所述第一类图像上之前，还包括：将所述第一类图像进行分割处理，以将所述第一类图像分割为至少一个分割区域。
其中，该分割区域中的相邻像素值的差值处于预设变化范围内，且所述分 割区域用于标识所述第一类图像中的特征对象。
需要说明的是，该显示装置可以基于图分割技术或者图像识别技术来对第一类图像进行分割处理。例如，显示装置可以基于MST图分割法(minimum spanning tree-based segmentation)对第一类图像进行分割处理。
举例来说，该第一类图像中具有墙壁、人、桌子等特征对象，显示装置可以基于图分割技术或者图像识别技术将第一类图像分为3个分割区域，一个分别区域用于标识墙壁，一个分割区域用于标识人，一个分割区域用于标识桌子。
在一个实施例中，显示装置还可以根据所述位置参数确定出所述障碍点对应的分割区域，并将所述障碍点投影到确定出的分割区域中；若所述确定出的分割区域中的障碍点大于预设数量值，则高亮显示所述确定出的分割区域。
需要说明的是，该预设数量值可以为显示装置预设的任意数值，本发明实施例对此不作任何限制。
举例来说，显示装置可以根据位置参数确定出该障碍点1在第一类图像中的分割区域为分割区域1，那么该显示装置可以将该障碍点1投影到分割区域对应的位置上，如果分割区域1中投影的障碍点个数大于预设数量值，显示装置可以高亮显示该分割区域1，以提示用户该分割区域1的碰撞概率较高。
S204、显示标识了所述障碍点的第一类图像。
在一些可行的实施方式中，该显示装置可以将与该障碍点相关联的信息显示在该第一类图像上。
在一些可行的实施方式中，该显示装置可以高亮显示第一类图像中确定出的分割区域，以及与该分割区域中的障碍点相关联的信息，以及标识出该障碍点。
还需要说明的是，标识该障碍点的方式具体可以是：在该第一类图像中框出该障碍点，或者在障碍点对应的位置显示即将碰撞的指示消息，或者在该第一类图像中将该障碍点用特殊颜色(例如与图像主色彩具有高反差度的颜色)进行标记等等，本发明实施例对此不作任何限制。
在一种可行的实施方式中，显示装置还可以显示障碍点所在的分割区域，并使该障碍点所在的分割区域在该第一类图像中振动。或者，显示装置可以显示障碍点以及该障碍点所在的分割区域，并使该障碍点以及该障碍点所在的分 割区域在该第一类图像中振动。
可见，本发明实施例通过显示装置接收无人机的第一类图像，并确定出与第一类图像相对应的障碍信息，将障碍点标识并显示在第一类图像中，辅助了操作者对无人机的飞行障碍情况进行判断，使操作者不再局限于肉眼观察第一类图像来判断物体之间的距离并进一步确定障碍点，降低了手动操作无人机进行避障时的避障难度。
请参阅图3，为本发明实施例提供的另一种障碍信息显示方法的流程示意图。本实施例中所描述的障碍信息显示方法，包括：
S301、接收所述无人机发送的第一类图像。
需要说明的是，本发明实施例的执行主体可以为显示装置，该显示装置通过无线链路与无人机相连接。该显示装置例如可以是虚拟现实设备、智能终端、遥控器、地面站、带控制APP的手机或平板电脑等，本发明实施例不作任何限制。
其中，所述第一类图像是挂载在所述无人机上的拍摄装置拍摄获取到的。
S302、确定与所述第一类图像相对应的障碍信息。
其中，所述障碍信息包括所述无人机的飞行方向上的障碍点的信息。
S303、根据所述障碍信息在所述第一类图像上标识所述障碍点。
需要说明的是，本发明实施例所示的S301到S303的具体实现过程可参考前述方法实施例中的S201到S203中的具体实现过程，在此不作赘述。
S304、根据所述障碍信息确定所述无人机的避障路径，并在所述第一类图像中标识出所述避障路径。
其中，所述避障路径用于对所述障碍信息所指示的障碍点进行避障。
需要说明的是，该障碍信息可以包括障碍点距无人机的距离、碰撞到该障碍点的时间等等，显示装置可以根据距离、时间、无人机本身的速度以及无人机当前的飞行方向中的任意一个或多个规划出可以避开该障碍点的避障路径。
还需要说明的是，该无人机可以将规划出的避障路径在第一类图像中标识出来。
还需要说明的是，该避障路径可以为一条或者多条，本发明实施例对此不 作任何限制。
S305、控制所述无人机按照所述避障路径飞行，并在显示界面显示避障提示消息。
需要说明的是，该显示装置可以在规划出避障路径之后，控制该无人机改变原始的飞行方向，按照该避障路径飞行，并可以在显示界面显示避障提示消息。
还需要说明的是，该避障提示消息用于提示用户该无人机已进行避障处理。
在一些可行的实施方式中，该显示装置还可以高亮显示该避障路径所避开的障碍点，以及与该障碍点相关联的信息，并同时显示出该避障路径。
在一个实施例中，所述避障路径具有多条，所述根据所述障碍信息确定所述无人机的避障路径，并在所述第一类图像中标识出所述避障路径之后，还包括：在接收到针对所述避障路径的选择指令时，将所述选择指令所指示的避障路径确定为目标避障路径；控制所述无人机按照所述目标避障路径飞行。
举例来说，显示装置可以在该第一类图像上显示该多条避障路径以供用户进行选择，当接收到用户针对其中某一种避障路径的选择指令时，便可以将用户选择出的避障路径确定为目标避障路径，并控制无人机按照目标避障路径飞行。
在一个实施例中，显示装置还可以根据所述无人机当前的飞行方向预测出虚拟飞行路径。
需要说明的是，该虚拟飞行路径可以是显示装置预测的如果无人机继续按照当前的飞行方向飞行会经过的路径。
S306、显示标识了所述障碍点的第一类图像。
在一个实施例中，显示标识了所述障碍点的第一类图像，包括：显示标识了所述障碍点以及所述虚拟飞行路径的第一类图像。
在一个实施例中，显示装置还可以针对所述障碍点进行消息提示，所述消息提示包括语音提示和/或震动提示；其中，所述震动提示包括按照所述障碍点与所述无人机的方位关系进行震动提示。
需要说明的是，显示装置可以在显示了该障碍点以及该虚拟飞行路径的第 一类图像之后，还可以对第一类图像中的障碍点进行消息提示。例如，将与障碍点关联的信息进行语音播报，或者控制显示装置进行震动。
在一些可行的实施方式中，控制该显示装置进行震动可以是按照障碍点与无人机的方位关系进行震动提示。例如，碰撞概率最大的障碍点的世界坐标表示该障碍点在无人机的正右边，那么该显示装置可以控制自身向右震动，以提示用户障碍点在正右方向。
可见，在本发明实施例中，显示装置可以接收无人机发送的第一类图像，并确定与该第一类图像相对应的障碍信息，根据该障碍信息在该第一类图像上标识障碍点，并根据该障碍信息确定无人机的避障路径，并在该第一类图像中标识出该避障路径，然后控制该无人机按照该避障路径飞行，并在显示界面上显示避障提示消息，最后显示标识了该障碍点的第一类图像，无需操作者肉眼观测避开障碍点的路径，降低了手动操作无人机进行避障时的避障难度。
请参阅图4，为本发明实施例提供的又一种障碍信息显示方法的流程示意图。本发明实施例中所描述的障碍信息显示方法可以由无人机执行，该无人机挂载拍摄装置，包括：
S401、通过所述拍摄装置获取第一类图像。
需要说明的是，该拍摄装置可以实时获取该第一类图像，或者该拍摄装置可以按周期获取该第一类图像，本发明实施例对此不作任何限制。
S402、获取障碍数据。
其中，所述障碍数据包括所述无人机的飞行方向上的障碍点的数据。
在一个实施例中，所述无人机挂载障碍检测装置，所述障碍检测装置用于获取该障碍数据，所述障碍数据包括根据第二类图像确定的障碍点的数据，其中，所述第二类图像包括深度图像、红外图像、红绿蓝图像中的任意一种或多种。
在一些可行的实施方式中，该障碍数据还可以包括根据雷达信号发出与反射之间的时间差得到的障碍点的数据。
举例来说，无人机可以获取到该深度图像，并根据该深度图像提供的深度信息，确定出深度值大于预设深度阈值的点为无人机的飞行方向上可能碰撞的 障碍点，该飞行方向上可能碰撞的障碍点的数据可以为该障碍数据。
S403、确定所述障碍数据与所述第一类图像的对应关系。
需要说明的是，无人机可以一边通过拍摄装置获取第一类图像，一边通过障碍检测装置获取障碍数据，因此，无人机可以确定该障碍数据与该第一类图像的对应关系。
在一个实施例中，所述确定所述障碍数据与所述第一类图像的对应关系，包括：根据时间戳确定该障碍数据与该第一类图像的对应关系。
举例来说，障碍数据a的时间戳为12:00，第一类图像A的时间戳为12:00，那么可以确定该障碍数据a对应于第一类图像。
在一个实施例中，所述确定所述障碍数据与所述第一类图像的对应关系，包括：确定所述拍摄装置与所述障碍检测装置的位姿关系，并根据所述位姿关系确定所述障碍数据与所述第一类图像的对应关系。
其中，所述位姿关系包括所述摄像装置与所述障碍检测装置之间的位移关系以及旋转关系。
其中，该位移关系可以通过查询无人机的设计图纸，或者通过无人机的设置信息得到，该无人机可以从自身的设置信息中获取该旋转关系并发送给显示装置。其中，该旋转关系可以通过读取云台角度而得到。
举例来说，障碍数据是根据深度图像得到的，无人机可以通过该位姿关系确定该障碍数据对应的深度图像是与哪一个第一类图像同时拍摄的，如果通过位姿关系得到该深度图像j和第一类图像J是同一时刻拍摄，那么该无人机可以确定由该深度图像j得到的障碍数据与第一类图像J对应。
在一个实施例中，所述根据所述位姿关系确定所述障碍数据与所述第一类图像的对应关系，包括：提取所述第一类图像的特征点以及所述第二类图像的特征点，并根据所述第一类图像的特征点以及所述第二类图像的特征点生成特征描述；根据所述特征描述以及所述位姿关系确定所述障碍数据与所述第一类图像的对应关系。
举例来说，无人机可以采用SIFT特征描述(Scale-invariant feature transform)算法匹配第二类图像以及该第一类图像，以确定该障碍数据与该第一类图像的对应关系。
S404、将所述障碍数据与所述第一类图像的对应关系发送给所述显示装置。
需要说明的是，该无人机可以通过无线链路(例如蓝牙、WiFi、蜂窝数据网等)与该显示装置进行通信，并将障碍数据与第一类图像的对应关系发送给该显示装置。
S405、将所述第一类图像以及所述障碍数据发送给显示装置。
在一些可行的实施方式中，该无人机可以将该第一类图像，该障碍数据，以及该障碍数据与该第一类图像的对应关系发送给显示装置，以便于该显示装置根据该障碍数据确定出与该第一类图像相对应的障碍信息，并根据该障碍信息在该第一类图像上标识出该障碍点。
在一些可行的实施方式中，无人机可以确定自身的飞行方向上的障碍点的信息，并将该障碍点标识在第一类图像上，并将该标识了障碍点的第一类图像发送给显示装置进行显示。
可以看出，本发明实施例中，无人机可以通过拍摄装置获取第一类图像，并获取障碍数据，并确定该障碍数据与该第一类图像的对应关系，最后将该第一类图像、该障碍数据以及对应关系发送给该显示装置，以便于显示装置可以显示标识了障碍点的第一类图像，降低了手动操作无人机进行避障时的避障难度。
本发明实施例还提供一种障碍信息显示方法，应用于显示装置以及无人机，所述显示装置与所述无人机相连接。请参阅图5，为本发明实施例提供的又一种障碍信息显示方法的流程示意图，该方法可以包括：
S501、所述无人机获取第一类图像和障碍数据。
其中，所述第一类图像是挂载在所述无人机上的拍摄装置拍摄获取到的，所述障碍数据包括所述无人机的飞行方向上的障碍点的数据。
在一个实施例中，所述障碍数据包括所述无人机根据第二类图像确定出的障碍点的数据，其中，所述第二类图像包括深度图像、红外图像、红绿蓝图像中的任意一种或多种。
在一个实施例中，所述第二类图像是由所述无人机上除所述拍摄装置以外 的障碍检测装置获取的。
S502、所述无人机将所述第一类图像以及所述障碍数据发送给所述显示装置。
S503、所述显示装置接收所述无人机的第一类图像。
S504、所述显示装置根据所述障碍数据确定与所述第一类图像相对应的障碍信息。
其中，所述障碍信息包括所述无人机的飞行方向上的障碍点的信息。
S505、所述显示装置根据所述障碍信息在所述第一类图像上标识所述障碍点。
在一个实施例中，所述显示装置根据所述障碍信息在所述第一类图像上标识所述障碍点之前，还包括：所述显示装置将所述第一类图像进行分割处理，以将所述第一类图像分割为至少一个分割区域。
在一个实施例中，所述分割区域中的相邻像素值的差值处于预设变化范围内，且所述分割区域用于标识所述第一类图像中的特征对象。
在一个实施例中，所述方法还包括：所述显示装置根据所述位置参数确定出所述障碍点对应的分割区域，并将所述障碍点投影到确定出的分割区域中；若所述确定出的分割区域中的障碍点大于预设数量值，则所述显示装置高亮显示所述确定出的分割区域。
S506、所述显示装置显示标识了所述障碍点的第一类图像。
在一个实施例中，所述方法还包括：所述显示装置根据所述障碍信息确定所述无人机的避障路径，并在所述第一类图像中标识出所述避障路径，所述避障路径用于对所述障碍信息所指示的障碍点进行避障。
在一个实施例中，所述避障路径具有多条，所述显示装置根据所述障碍信息确定所述无人机的避障路径，并在所述第一类图像中标识出所述避障路径之后，还包括：所述显示装置在接收到针对所述避障路径的选择指令时，将所述选择指令所指示的避障路径确定为目标避障路径；所述显示装置控制所述无人机按照所述目标避障路径飞行。
在一个实施例中，所述显示装置根据所述障碍信息确定所述无人机的避障路径之后，还包括：所述显示装置控制所述无人机按照所述避障路径飞行，并 在显示界面显示避障提示消息，所述避障提示消息用于提示用户所述无人机已进行避障处理。
在一个实施例中，所述方法还包括：所述显示装置根据所述无人机当前的飞行方向预测出虚拟飞行路径。
在一个实施例中，所述显示装置显示标识了所述障碍点的第一类图像，包括：所述显示装置显示标识了所述障碍点以及所述虚拟飞行路径的第一类图像。
在一个实施例中，所述方法还包括：所述显示装置针对所述障碍点进行消息提示，所述消息提示包括语音提示和/或震动提示；其中，所述震动提示包括按照所述障碍点与所述无人机的方位关系进行震动提示。
在一个实施例中，所述飞行方向上的障碍点的信息包括：所述无人机距所述障碍点的距离值、预测碰撞到所述障碍点的碰撞时间以及所述障碍点的特征标识中的任意一种所多种；其中，所述障碍点的特征标识包括障碍点所对应的特征对象名称。
在一个实施例中，所述显示装置显示标识了所述障碍点的第一类图像，包括：显示确定出的分割区域以及所述确定出的分割区域中的障碍点，并使所述确定出的分割区域和/或所述确定出的分割区域中的障碍点在所述第一类图像中振动；
或者，所述显示标识了所述障碍点的第一类图像，包括：在所述第一类图像中框出所述障碍点，或者在所述障碍点对应的位置显示即将碰撞的指示消息，或者在所述第一类图像中将所述障碍点使用颜色进行标记。
还需要说明的是，该显示装置的原理和实现方式均与上述实施例类似，可参考前述实施例对显示装置的描述，在此不作赘述。
还需要说明的是，该无人机的原理和实现方式均与上述实施例类似，可参考前述实施例对无人机的描述，在此不作赘述。
本发明实施例提供一种显示装置。请参阅图6，为本发明实施例提供的一种显示装置的结构示意图，本实施例中所描述的显示装置通过无线链路与无人机相连接，包括：
存储器601、处理器602；
所述存储器601，用于存储程序指令；
所述处理器602，用于执行所述存储器存储的程序指令，当程序指令被执行时，用于：
接收所述无人机发送的第一类图像，所述第一类图像是挂载在所述无人机上的拍摄装置拍摄获取到的；
确定与所述第一类图像相对应的障碍信息，其中，所述障碍信息包括所述无人机的飞行方向上的障碍点的信息；
根据所述障碍信息在所述第一类图像上标识所述障碍点；
显示标识了所述障碍点的第一类图像。
在一个实施例中，所述与所述第一类图像相对应的障碍信息是根据所述无人机的障碍数据确定的；所述障碍数据包括所述无人机根据第二类图像确定出的障碍点的数据，其中，所述第二类图像包括深度图像、红外图像、红绿蓝图像中的任意一种或多种。
在一个实施例中，所述第二类图像是由所述无人机上除所述拍摄装置以外的障碍检测装置获取的。
在一个实施例中，所述处理器602用于确定与所述第一类图像相对应的障碍信息时，具体用于：接收所述无人机确定出的障碍数据以及所述障碍数据与所述第一类图像的对应关系；根据所述障碍数据以及所述对应关系确定出与所述第一类图像相对应的障碍信息。
在一个实施例中，所述障碍数据包括所述显示装置所接收到的多组障碍数据；所述处理器602用于根据所述障碍数据以及所述对应关系确定出与所述第一类图像相对应的障碍信息时，具体用于：根据所述对应关系确定所述多组障碍数据与当前接收到的第一类图像的相关程度；从所述多组障碍数据选取所述相关程度最高的目标障碍数据，并根据所述目标障碍数据预测所述当前接收到的第一类图像相对应的障碍信息。
在一个实施例中，所述处理器602用于根据所述目标障碍数据预测所述当前接收到的第一类图像相对应的障碍信息时，具体用于：将所述目标障碍数据与所述当前接收到的第一类图像进行第一重投影处理，以确定所述目标障碍数 据在所述第一类图像中的位置参数；根据所述位置参数以及所述目标障碍数据确定出与所述当前接收到的第一类图像相对应的障碍信息。
在一个实施例中，所述处理器602还用于：将所述第一类图像进行分割处理，以将所述第一类图像分割为至少一个分割区域。
在一个实施例中，所述分割区域中的相邻像素值的差值处于预设变化范围内，且所述分割区域用于标识所述第一类图像中的特征对象。
在一个实施例中，所述处理器602还用于：根据所述位置参数确定出所述障碍点对应的分割区域，并将所述障碍点投影到确定出的分割区域中；若所述确定出的分割区域中的障碍点大于预设数量值，则高亮显示所述确定出的分割区域。
在一个实施例中，所述处理器602还用于：根据所述障碍信息确定所述无人机的避障路径，并在所述第一类图像中标识出所述避障路径，所述避障路径用于对所述障碍信息所指示的障碍点进行避障。
在一个实施例中，所述避障路径具有多条，所述处理器602用于根据所述障碍信息确定所述无人机的避障路径，并在所述第一类图像中标识出所述避障路径之后，还用于：在接收到针对所述避障路径的选择指令时，将所述选择指令所指示的避障路径确定为目标避障路径；控制所述无人机按照所述目标避障路径飞行。
在一个实施例中，所述处理器602用于根据所述障碍信息确定所述无人机的避障路径之后，还用于：控制所述无人机按照所述避障路径飞行，并在显示界面显示避障提示消息，所述避障提示消息用于提示用户所述无人机已进行避障处理。
在一个实施例中，所述处理器602还用于：根据所述无人机当前的飞行方向预测出虚拟飞行路径。
在一个实施例中，所述处理器602用于显示标识了所述障碍点的第一类图像时，具体用于：显示标识了所述障碍点以及所述虚拟飞行路径的第一类图像。
在一个实施例中，所述处理器602还用于：针对所述障碍点进行消息提示，所述消息提示包括语音提示和/或震动提示；其中，所述震动提示包括按照所述障碍点与所述无人机的方位关系进行震动提示。
在一个实施例中，所述飞行方向上的障碍点的信息包括：所述无人机距所述障碍点的距离值、预测碰撞到所述障碍点的碰撞时间以及所述障碍点的特征标识中的任意一种所多种；其中，所述障碍点的特征标识包括障碍点所对应的特征对象名称。
本发明实施例提供一种无人机。请参阅图7，为本发明实施例提供的一种无人机的结构示意图，本实施例中所描述的无人机，包括无人机本体以及挂载于所述无人机本体的拍摄装置，该无人机还包括：
存储器701、处理器702以及通信元件703；
所述通信元件703，用于与显示装置通信；
所述存储器701，用于存储程序指令；
所述处理器702，用于执行所述存储器701存储的程序指令，当程序指令被执行时，用于：
通过所述拍摄装置获取第一类图像；
获取障碍数据，所述障碍数据包括所述无人机的飞行方向上的障碍点的数据；
通过所述通信元件703将所述第一类图像以及所述障碍数据发送给显示装置，以便于所述显示装置根据所述障碍数据确定出与所述第一类图像相对应的障碍信息，并根据所述障碍信息在所述第一类图像上标识出所述障碍点。
在一个实施例中，所述无人机挂载障碍检测装置，所述障碍检测装置用于获取障碍数据，所述障碍数据包括根据第二类图像确定的障碍点的数据，其中，所述第二类图像包括深度图像、红外图像、红绿蓝图像中的任意一种或多种。
在一个实施例中，所述无人机还用于：确定所述障碍数据与所述第一类图像的对应关系；通过所述通信元件703将所述障碍数据与所述第一类图像的对应关系发送给所述显示无人机。
在一个实施例中，所述处理器702用于确定所述障碍数据与所述第一类图像的对应关系时，具体用于：确定所述拍摄无人机与所述障碍检测无人机的位姿关系，并根据所述位姿关系确定所述障碍数据与所述第一类图像的对应关系。
在一个实施例中，所述位姿关系包括所述摄像无人机与所述障碍检测无人机之间的位移关系以及旋转关系。
在一个实施例中，所述处理器702用于根据所述位姿关系确定所述障碍数据与所述第一类图像的对应关系时，具体用于：提取所述第一类图像的特征点以及所述第二类图像的特征点，并根据所述第一类图像的特征点以及所述第二类图像的特征点生成特征描述；根据所述特征描述以及所述位姿关系确定所述障碍数据与所述第一类图像的对应关系。
本发明实施例提供一种系统。图8是本发明实施例提供的一种系统的结构示意图。如图8所示，该系统包括：显示装置801以及无人机802。
其中，显示装置801为上述本发明实施例中公开的显示装置，无人机802为上述本发明实施例中公开的无人机。
具体地，显示装置801与无人机802可通过无线链路相连接，显示装置801可实时接收无人机802发送的第一类图像，并在确定与该第一类图像对应的障碍点之后，显示标识了该障碍点的第一类图像。
在一个实施例中，显示装置801可以作为无人机802的远程控制设备来控制无人机802的飞行，以实现对无人机802的避障处理。
需要说明的是，无人机802可搭载拍摄装置与障碍检测装置(图8中未示出)，该拍摄装置可通过云台或其他搭载设备搭载于无人机802的主体上。拍摄装置用于在无人机802的飞行过程中进行图像或视频拍摄，包括但不限于多光谱成像仪、高光谱成像仪、可见光相机等。该障碍检测装置可以为双目视觉系统、雷达、红外相机、红绿蓝相机等等，用于进行障碍物检测以获取障碍数据，包括但不限于上述可选装置。
在一个实施例中，无人机802可以记录自身的飞行方向，并通过拍摄装置实时采集第一类图像，通过障碍检测装置获取障碍数据，以及该障碍数据与第一类图像的对应关系，该无人机802可以将该第一类图像、障碍数据、以及障碍数据与第一类图像的对应关系实时发送给显示装置，以便于显示装置进行显示。
还需要说明的是，该显示装置801的原理和实现方式均与上述实施例类似， 可参考前述实施例对显示装置的描述，在此不作赘述。
还需要说明的是，该无人机802的原理和实现方式均与上述实施例类似，可参考前述实施例对无人机的描述，在此不作赘述。
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
以上对本发明实施例所提供的一种障碍信息显示方法、显示装置、无人机及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (60)

  1. 一种障碍信息显示方法，其特征在于，应用于显示装置，所述显示装置通过无线链路与无人机相连接，所述方法包括：
    接收所述无人机发送的第一类图像，所述第一类图像是挂载在所述无人机上的拍摄装置拍摄获取到的；
    确定与所述第一类图像相对应的障碍信息，其中，所述障碍信息包括所述无人机的飞行方向上的障碍点的信息；
    根据所述障碍信息在所述第一类图像上标识所述障碍点；
    显示标识了所述障碍点的第一类图像。
  2. 如权利要求1所述的方法，其特征在于，所述与所述第一类图像相对应的障碍信息是根据所述无人机的障碍数据确定的；
    所述障碍数据包括所述无人机根据第二类图像确定出的障碍点的数据，其中，所述第二类图像包括深度图像、红外图像、红绿蓝图像中的任意一种或多种。
  3. 如权利要求2所述的方法，其特征在于，所述第二类图像是由所述无人机上除所述拍摄装置以外的障碍检测装置获取的。
  4. 如权利要求2或3所述的方法，其特征在于，所述确定与所述第一类图像相对应的障碍信息，包括：
    接收所述无人机确定出的障碍数据以及所述障碍数据与所述第一类图像的对应关系；
    根据所述障碍数据以及所述对应关系确定出与所述第一类图像相对应的障碍信息。
  5. 如权利要求4所述的方法，其特征在于，所述障碍数据包括所述显示装置所接收到的多组障碍数据；
    所述根据所述障碍数据以及所述对应关系确定出与所述第一类图像相对应的障碍信息，包括：
    根据所述对应关系确定所述多组障碍数据与当前接收到的第一类图像的相关程度；
    从所述多组障碍数据选取所述相关程度最高的目标障碍数据，并根据所述目标障碍数据预测所述当前接收到的第一类图像相对应的障碍信息。
  6. 如权利要求5所述的方法，其特征在于，所述根据所述目标障碍数据预测所述当前接收到的第一类图像相对应的障碍信息，包括：
    根据所述目标障碍数据与所述当前接收到的第一类图像进行第一匹配处理，以确定所述目标障碍数据在所述第一类图像中的位置参数；
    根据所述位置参数以及所述目标障碍数据确定出与所述当前接收到的第一类图像相对应的障碍信息。
  7. 如权利要求1-6任一项所述的方法，其特征在于，所述根据所述障碍信息在所述第一类图像上标识所述障碍点之前，还包括：
    将所述第一类图像进行分割处理，以将所述第一类图像分割为至少一个分割区域。
  8. 如权利要求7所述的方法，其特征在于，所述分割区域中的相邻像素值的差值处于预设变化范围内，且所述分割区域用于标识所述第一类图像中的特征对象。
  9. 如权利要求7或8所述的方法，其特征在于，所述方法还包括：
    根据所述位置参数确定出所述障碍点对应的分割区域，并将所述障碍点投影到确定出的分割区域中；
    若所述确定出的分割区域中的障碍点大于预设数量值，则高亮显示所述确定出的分割区域。
  10. 如权利要求1所述的方法，其特征在于，所述方法还包括：
    根据所述障碍信息确定所述无人机的避障路径，并在所述第一类图像中标识出所述避障路径，所述避障路径用于对所述障碍信息所指示的障碍点进行避障。
  11. 如权利要求10所述的方法，其特征在于，所述避障路径具有多条，所述根据所述障碍信息确定所述无人机的避障路径，并在所述第一类图像中标识出所述避障路径之后，还包括：
    在接收到针对所述避障路径的选择指令时，将所述选择指令所指示的避障路径确定为目标避障路径；
    控制所述无人机按照所述目标避障路径飞行。
  12. 如权利要求10所述的方法，其特征在于，所述根据所述障碍信息确定所述无人机的避障路径之后，还包括：
    控制所述无人机按照所述避障路径飞行，并在显示界面显示避障提示消息，所述避障提示消息用于提示用户所述无人机已进行避障处理。
  13. 如权利要求1所述的方法，其特征在于，所述方法还包括：
    根据所述无人机当前的飞行方向预测出虚拟飞行路径。
  14. 如权利要求13所述的方法，其特征在于，所述显示标识了所述障碍点的第一类图像，包括：
    显示标识了所述障碍点以及所述虚拟飞行路径的第一类图像。
  15. 如权利要求1所述的方法，其特征在于，所述方法还包括：
    针对所述障碍点进行消息提示，所述消息提示包括语音提示和/或震动提示；
    其中，所述震动提示包括按照所述障碍点与所述无人机的方位关系进行震动提示。
  16. 如权利要求1所述的方法，其特征在于，所述飞行方向上的障碍点的信息包括：所述无人机距所述障碍点的距离值、预测碰撞到所述障碍点的碰撞时间以及所述障碍点的特征标识中的任意一种所多种；
    其中，所述障碍点的特征标识包括障碍点所对应的特征对象名称。
  17. 如权利要求9所述的方法，其特征在于，所述显示标识了所述障碍点的第一类图像，包括：
    显示确定出的分割区域以及所述确定出的分割区域中的障碍点，并使所述确定出的分割区域和/或所述确定出的分割区域中的障碍点在所述第一类图像中振动；
    或者，所述显示标识了所述障碍点的第一类图像，包括：在所述第一类图像中框出所述障碍点，或者在所述障碍点对应的位置显示即将碰撞的指示消息，或者在所述第一类图像中将所述障碍点使用颜色进行标记。
  18. 一种障碍信息显示方法，其特征在于，应用于无人机，所述无人机挂载拍摄装置，所述方法包括：
    通过所述拍摄装置获取第一类图像；
    获取障碍数据，所述障碍数据包括所述无人机的飞行方向上的障碍点的数据；
    将所述第一类图像以及所述障碍数据发送给显示装置，以便于所述显示装置根据所述障碍数据确定出与所述第一类图像相对应的障碍信息，并根据所述障碍信息在所述第一类图像上标识出所述障碍点。
  19. 如权利要求18所述的方法，其特征在于，所述无人机挂载障碍检测装置，所述障碍检测装置用于获取障碍数据，所述障碍数据包括根据第二类图像确定的障碍点的数据，其中，所述第二类图像包括深度图像、红外图像、红绿蓝图像中的任意一种或多种。
  20. 如权利要求19所述的方法，其特征在于，所述方法还包括：
    确定所述障碍数据与所述第一类图像的对应关系；
    将所述障碍数据与所述第一类图像的对应关系发送给所述显示装置。
  21. 如权利要求20所述的方法，其特征在于，所述确定所述障碍数据与所述第一类图像的对应关系，包括：
    确定所述拍摄装置与所述障碍检测装置的位姿关系，并根据所述位姿关系确定所述障碍数据与所述第一类图像的对应关系。
  22. 如权利要求21所述的方法，其特征在于，所述位姿关系包括所述摄像装置与所述障碍检测装置之间的位移关系以及旋转关系。
  23. 如权利要求21或22所述的方法，其特征在于，所述根据所述位姿关系确定所述障碍数据与所述第一类图像的对应关系，包括：
    提取所述第一类图像的特征点以及所述第二类图像的特征点，并根据所述第一类图像的特征点以及所述第二类图像的特征点生成特征描述；
    根据所述特征描述以及所述位姿关系确定所述障碍数据与所述第一类图像的对应关系。
  24. 一种障碍信息显示方法，其特征在于，应用于显示装置以及无人机，所述显示装置与所述无人机相连接，所述方法包括：
    所述无人机获取第一类图像和障碍数据，所述第一类图像是挂载在所述无人机上的拍摄装置拍摄获取到的，所述障碍数据包括所述无人机的飞行方向上的障碍点的数据；
    所述无人机将所述第一类图像以及所述障碍数据发送给所述显示装置；
    所述显示装置接收所述无人机的第一类图像；
    所述显示装置根据所述障碍数据确定与所述第一类图像相对应的障碍信息，其中，所述障碍信息包括所述无人机的飞行方向上的障碍点的信息；
    所述显示装置根据所述障碍信息在所述第一类图像上标识所述障碍点；
    所述显示装置显示标识了所述障碍点的第一类图像。
  25. 如权利要求24所述的方法，其特征在于，
    所述障碍数据包括所述无人机根据第二类图像确定出的障碍点的数据，其中，所述第二类图像包括深度图像、红外图像、红绿蓝图像中的任意一种或多种。
  26. 如权利要求25所述的方法，其特征在于，所述第二类图像是由所述无人机上除所述拍摄装置以外的障碍检测装置获取的。
  27. 如权利要求24-26任一项所述的方法，其特征在于，所述显示装置根据所述障碍信息在所述第一类图像上标识所述障碍点之前，还包括：
    所述显示装置将所述第一类图像进行分割处理，以将所述第一类图像分割为至少一个分割区域。
  28. 如权利要求27所述的方法，其特征在于，所述分割区域中的相邻像素值的差值处于预设变化范围内，且所述分割区域用于标识所述第一类图像中的特征对象。
  29. 如权利要求27或28所述的方法，其特征在于，所述方法还包括：
    所述显示装置根据所述位置参数确定出所述障碍点对应的分割区域，并将所述障碍点投影到确定出的分割区域中；
    若所述确定出的分割区域中的障碍点大于预设数量值，则所述显示装置高亮显示所述确定出的分割区域。
  30. 如权利要求24所述的方法，其特征在于，所述方法还包括：
    所述显示装置根据所述障碍信息确定所述无人机的避障路径，并在所述第一类图像中标识出所述避障路径，所述避障路径用于对所述障碍信息所指示的障碍点进行避障。
  31. 如权利要求30所述的方法，其特征在于，所述避障路径具有多条，所述显示装置根据所述障碍信息确定所述无人机的避障路径，并在所述第一类图像中标识出所述避障路径之后，还包括：
    所述显示装置在接收到针对所述避障路径的选择指令时，将所述选择指令所指示的避障路径确定为目标避障路径；
    所述显示装置控制所述无人机按照所述目标避障路径飞行。
  32. 如权利要求30所述的方法，其特征在于，所述显示装置根据所述障碍信息确定所述无人机的避障路径之后，还包括：
    所述显示装置控制所述无人机按照所述避障路径飞行，并在显示界面显示避障提示消息，所述避障提示消息用于提示用户所述无人机已进行避障处理。
  33. 如权利要求24所述的方法，其特征在于，所述方法还包括：
    所述显示装置根据所述无人机当前的飞行方向预测出虚拟飞行路径。
  34. 如权利要求33所述的方法，其特征在于，所述显示装置显示标识了所述障碍点的第一类图像，包括：
    所述显示装置显示标识了所述障碍点以及所述虚拟飞行路径的第一类图像。
  35. 如权利要求24所述的方法，其特征在于，所述方法还包括：
    所述显示装置针对所述障碍点进行消息提示，所述消息提示包括语音提示和/或震动提示；
    其中，所述震动提示包括按照所述障碍点与所述无人机的方位关系进行震动提示。
  36. 如权利要求24所述的方法，其特征在于，所述飞行方向上的障碍点的信息包括：所述无人机距所述障碍点的距离值、预测碰撞到所述障碍点的碰撞 时间以及所述障碍点的特征标识中的任意一种所多种；
    其中，所述障碍点的特征标识包括障碍点所对应的特征对象名称。
  37. 如权利要求29所述的方法，其特征在于，所述显示装置显示标识了所述障碍点的第一类图像，包括：
    显示确定出的分割区域以及所述确定出的分割区域中的障碍点，并使所述确定出的分割区域和/或所述确定出的分割区域中的障碍点在所述第一类图像中振动；
    或者，所述显示标识了所述障碍点的第一类图像，包括：在所述第一类图像中框出所述障碍点，或者在所述障碍点对应的位置显示即将碰撞的指示消息，或者在所述第一类图像中将所述障碍点使用颜色进行标记。
  38. 一种显示装置，其特征在于，所述显示装置通过无线链路与无人机相连接，包括：存储器和处理器；
    所述存储器，用于存储程序指令；
    所述处理器，用于执行所述存储器存储的程序指令，当程序指令被执行时，用于：
    接收所述无人机发送的第一类图像，所述第一类图像是挂载在所述无人机上的拍摄装置拍摄获取到的；
    确定与所述第一类图像相对应的障碍信息，其中，所述障碍信息包括所述无人机的飞行方向上的障碍点的信息；
    根据所述障碍信息在所述第一类图像上标识所述障碍点；
    显示标识了所述障碍点的第一类图像。
  39. 如权利要求38所述的装置，其特征在于，所述与所述第一类图像相对应的障碍信息是根据所述无人机的障碍数据确定的；
    所述障碍数据包括所述无人机根据第二类图像确定出的障碍点的数据，其中，所述第二类图像包括深度图像、红外图像、红绿蓝图像中的任意一种或多种。
  40. 如权利要求38所述的装置，其特征在于，所述第二类图像是由所述无人机上除所述拍摄装置以外的障碍检测装置获取的。
  41. 如权利要求39或40所述的装置，其特征在于，所述处理器用于确定与所述第一类图像相对应的障碍信息时，具体用于：
    接收所述无人机确定出的障碍数据以及所述障碍数据与所述第一类图像的对应关系；
    根据所述障碍数据以及所述对应关系确定出与所述第一类图像相对应的障碍信息。
  42. 如权利要求40所述的装置，其特征在于，所述障碍数据包括所述显示装置所接收到的多组障碍数据；
    所述处理器用于根据所述障碍数据以及所述对应关系确定出与所述第一类图像相对应的障碍信息时，具体用于：
    根据所述对应关系确定所述多组障碍数据与当前接收到的第一类图像的相关程度；
    从所述多组障碍数据选取所述相关程度最高的目标障碍数据，并根据所述目标障碍数据预测所述当前接收到的第一类图像相对应的障碍信息。
  43. 如权利要求42所述的装置，其特征在于，所述处理器用于根据所述目标障碍数据预测所述当前接收到的第一类图像相对应的障碍信息时，具体用于：
    将所述目标障碍数据与所述当前接收到的第一类图像进行第一重投影处理，以确定所述目标障碍数据在所述第一类图像中的位置参数；
    根据所述位置参数以及所述目标障碍数据确定出与所述当前接收到的第一类图像相对应的障碍信息。
  44. 如权利要求38-43任一项所述的装置，其特征在于，所述处理器还用 于：
    将所述第一类图像进行分割处理，以将所述第一类图像分割为至少一个分割区域。
  45. 如权利要求44所述的装置，其特征在于，所述分割区域中的相邻像素值的差值处于预设变化范围内，且所述分割区域用于标识所述第一类图像中的特征对象。
  46. 如权利要求44或45所述的装置，其特征在于，所述处理器还用于：
    根据所述位置参数确定出所述障碍点对应的分割区域，并将所述障碍点投影到确定出的分割区域中；
    若所述确定出的分割区域中的障碍点大于预设数量值，则高亮显示所述确定出的分割区域。
  47. 如权利要求38所述的装置，其特征在于，所述处理器还用于：
    根据所述障碍信息确定所述无人机的避障路径，并在所述第一类图像中标识出所述避障路径，所述避障路径用于对所述障碍信息所指示的障碍点进行避障。
  48. 如权利要求47所述的装置，其特征在于，所述避障路径具有多条，所述处理器用于根据所述障碍信息确定所述无人机的避障路径，并在所述第一类图像中标识出所述避障路径之后，还用于：
    在接收到针对所述避障路径的选择指令时，将所述选择指令所指示的避障路径确定为目标避障路径；
    控制所述无人机按照所述目标避障路径飞行。
  49. 如权利要求47所述的装置，其特征在于，所述处理器用于根据所述障碍信息确定所述无人机的避障路径之后，还用于：
    控制所述无人机按照所述避障路径飞行，并在显示界面显示避障提示消 息，所述避障提示消息用于提示用户所述无人机已进行避障处理。
  50. 如权利要求38所述的装置，其特征在于，所述处理器还用于：
    根据所述无人机当前的飞行方向预测出虚拟飞行路径。
  51. 如权利要求50所述的装置，其特征在于，所述处理器用于显示标识了所述障碍点的第一类图像时，具体用于：
    显示标识了所述障碍点以及所述虚拟飞行路径的第一类图像。
  52. 如权利要求38所述的装置，其特征在于，所述处理器还用于：
    针对所述障碍点进行消息提示，所述消息提示包括语音提示和/或震动提示；
    其中，所述震动提示包括按照所述障碍点与所述无人机的方位关系进行震动提示。
  53. 如权利要求38所述的装置，其特征在于，所述飞行方向上的障碍点的信息包括：所述无人机距所述障碍点的距离值、预测碰撞到所述障碍点的碰撞时间以及所述障碍点的特征标识中的任意一种所多种；
    其中，所述障碍点的特征标识包括障碍点所对应的特征对象名称。
  54. 一种无人机，其特征在于，所述无人机挂载拍摄装置，包括通信元件、存储器和处理器；
    所述通信元件，用于与显示装置通信；
    所述存储器，用于存储程序指令；
    所述处理器，用于执行所述存储器存储的程序指令，当程序指令被执行时，用于：
    通过所述拍摄装置获取第一类图像；
    获取障碍数据，所述障碍数据包括所述无人机的飞行方向上的障碍点的数据；
    通过所述通信元件将所述第一类图像以及所述障碍数据发送给显示装置，以便于所述显示装置根据所述障碍数据确定出与所述第一类图像相对应的障碍信息，并根据所述障碍信息在所述第一类图像上标识出所述障碍点。
  55. 如权利要求54所述的无人机，其特征在于，所述无人机挂载障碍检测装置，所述障碍检测装置用于获取障碍数据，所述障碍数据包括根据第二类图像确定的障碍点的数据，其中，所述第二类图像包括深度图像、红外图像、红绿蓝图像中的任意一种或多种。
  56. 如权利要求54所述的无人机，其特征在于，所述无人机还用于：
    确定所述障碍数据与所述第一类图像的对应关系；
    通过所述通信元件将所述障碍数据与所述第一类图像的对应关系发送给所述显示无人机。
  57. 如权利要求56所述的无人机，其特征在于，所述处理器用于确定所述障碍数据与所述第一类图像的对应关系时，具体用于：
    确定所述拍摄无人机与所述障碍检测无人机的位姿关系，并根据所述位姿关系确定所述障碍数据与所述第一类图像的对应关系。
  58. 如权利要求57所述的无人机，其特征在于，所述位姿关系包括所述摄像无人机与所述障碍检测无人机之间的位移关系以及旋转关系。
  59. 如权利要求57或58所述的无人机，其特征在于，所述处理器用于根据所述位姿关系确定所述障碍数据与所述第一类图像的对应关系时，具体用于：
    提取所述第一类图像的特征点以及所述第二类图像的特征点，并根据所述第一类图像的特征点以及所述第二类图像的特征点生成特征描述；
    根据所述特征描述以及所述位姿关系确定所述障碍数据与所述第一类图像的对应关系。
  60. 一种系统，其特征在于，包括：
    如权利要求1-17任一项所述的显示装置；
    如权利要求18-23任一项所述的无人机。
PCT/CN2017/108671 2017-10-31 2017-10-31 一种障碍信息显示方法、显示装置、无人机及系统 WO2019084797A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201780006058.9A CN108521808B (zh) 2017-10-31 2017-10-31 一种障碍信息显示方法、显示装置、无人机及系统
PCT/CN2017/108671 WO2019084797A1 (zh) 2017-10-31 2017-10-31 一种障碍信息显示方法、显示装置、无人机及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/108671 WO2019084797A1 (zh) 2017-10-31 2017-10-31 一种障碍信息显示方法、显示装置、无人机及系统

Publications (1)

Publication Number Publication Date
WO2019084797A1 true WO2019084797A1 (zh) 2019-05-09

Family

ID=63434477

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/108671 WO2019084797A1 (zh) 2017-10-31 2017-10-31 一种障碍信息显示方法、显示装置、无人机及系统

Country Status (2)

Country Link
CN (1) CN108521808B (zh)
WO (1) WO2019084797A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111813142A (zh) * 2019-07-18 2020-10-23 中国石油化工股份有限公司 用于原油管线巡检的无人机自主避障控制方法
CN112362077A (zh) * 2020-11-13 2021-02-12 歌尔光学科技有限公司 头戴显示设备及其避障方法、计算机可读存储介质
CN112977441A (zh) * 2021-03-03 2021-06-18 恒大新能源汽车投资控股集团有限公司 一种驾驶决策方法、装置及电子设备
CN114415726A (zh) * 2022-01-18 2022-04-29 江苏锐天智能科技股份有限公司 一种基于图像分析的无人机避障控制系统及方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110892353A (zh) * 2018-09-30 2020-03-17 深圳市大疆创新科技有限公司 控制方法、控制装置、无人飞行器的控制终端
WO2020062356A1 (zh) * 2018-09-30 2020-04-02 深圳市大疆创新科技有限公司 控制方法、控制装置、无人飞行器的控制终端
CN109583384A (zh) * 2018-11-30 2019-04-05 百度在线网络技术（北京）有限公司 用于无人驾驶车的避障方法和装置
CN110244760A (zh) * 2019-06-06 2019-09-17 深圳市道通智能航空技术有限公司 一种避障方法、装置和电子设备
WO2021087782A1 (zh) * 2019-11-05 2021-05-14 深圳市大疆创新科技有限公司 障碍物检测方法、系统、地面端设备及自主移动平台
CN111968376B (zh) * 2020-08-28 2022-06-28 北京市商汤科技开发有限公司 一种路况提示方法、装置、电子设备及存储介质
CN112357100B (zh) * 2020-10-27 2022-06-28 苏州臻迪智能科技有限公司 一种显示障碍物信息的方法、装置和计算机可读存储介质
CN113612920A (zh) * 2021-06-23 2021-11-05 广西电网有限责任公司电力科学研究院 一种无人机拍摄电力设备图像的方法及其装置
WO2023115390A1 (zh) * 2021-12-22 2023-06-29 深圳市大疆创新科技有限公司 图像处理方法、装置、可移动平台、控制终端及系统
WO2023184487A1 (zh) * 2022-04-01 2023-10-05 深圳市大疆创新科技有限公司 无人机避障方法、装置、无人机、遥控设备和存储介质
CN117170411B (zh) * 2023-11-02 2024-02-02 山东环维游乐设备有限公司 基于视觉辅助的竞速无人机辅助避障方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150104071A1 (en) * 2013-10-15 2015-04-16 Ford Global Technologies, Llc Traffic signal prediction
CN106168810A (zh) * 2016-09-18 2016-11-30 中国空气动力研究与发展中心高速空气动力研究所 一种基于rtk的无人机飞行避障系统和方法
CN106292704A (zh) * 2016-09-07 2017-01-04 四川天辰智创科技有限公司 规避障碍物的方法及装置
CN107077145A (zh) * 2016-09-09 2017-08-18 深圳市大疆创新科技有限公司 显示无人飞行器的障碍检测的方法和系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960032262A (ko) * 1995-02-09 1996-09-17 배순훈 차량의 주행 안전 시스템
CN1105954C (zh) * 1999-07-02 2003-04-16 贾敏忠 用于通用航空的路径规划、地形回避及飞航环境警觉系统
US6798423B2 (en) * 2001-10-11 2004-09-28 The Boeing Company Precision perspective flight guidance symbology system
EP1462767B1 (en) * 2003-02-27 2014-09-03 The Boeing Company Aircraft guidance system and method providing perspective flight guidance
JP2011065202A (ja) * 2009-09-15 2011-03-31 Hitachi Ltd 自律移動装置
CN101923789B (zh) * 2010-03-24 2011-11-16 北京航空航天大学 一种基于多传感器信息融合的飞机安全进近方法
CN102259618B (zh) * 2010-05-25 2015-04-22 德尔福(中国)科技研发中心有限公司 一种车辆后向超声波与摄像头融合的告警处理方法
CN103072537B (zh) * 2013-02-05 2014-03-26 湖南大学 一种基于红外图像处理的汽车防撞安全保护方法
US20150106005A1 (en) * 2013-10-14 2015-04-16 Gulfstream Aerospace Corporation Methods and systems for avoiding a collision between an aircraft on a ground surface and an obstacle
US9297668B2 (en) * 2014-01-27 2016-03-29 Honeywell International Inc. System and method for displaying flight path information in rotocraft
WO2016084359A1 (en) * 2014-11-26 2016-06-02 Ricoh Company, Ltd. Imaging device, object detector and mobile device control system
CN104597910B (zh) * 2014-11-27 2017-11-07 中国人民解放军国防科学技术大学 一种基于瞬时碰撞点的无人机非协作式实时避障方法
CN104808682B (zh) * 2015-03-10 2017-12-29 成都优艾维智能科技有限责任公司 小型旋翼无人机自主避障飞行控制方法
CN105511478B (zh) * 2016-02-23 2019-11-26 百度在线网络技术（北京）有限公司 应用于扫地机器人的控制方法、扫地机器人及终端
CN105955298B (zh) * 2016-06-03 2018-09-07 腾讯科技（深圳）有限公司 一种飞行器的自动避障方法及装置
CN106155091A (zh) * 2016-08-31 2016-11-23 众芯汉创（北京）科技有限公司 一种无人机避障方法和装置
WO2018053815A1 (zh) * 2016-09-23 2018-03-29 深圳市大疆创新科技有限公司 应用于遥控器的信息提示方法及遥控器
CN106650708B (zh) * 2017-01-19 2023-08-11 南京航空航天大学 一种自动驾驶障碍物视觉检测方法与系统
CN106843251A (zh) * 2017-02-20 2017-06-13 上海大学 拥挤人群紧急疏导无人机

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150104071A1 (en) * 2013-10-15 2015-04-16 Ford Global Technologies, Llc Traffic signal prediction
CN106292704A (zh) * 2016-09-07 2017-01-04 四川天辰智创科技有限公司 规避障碍物的方法及装置
CN107077145A (zh) * 2016-09-09 2017-08-18 深圳市大疆创新科技有限公司 显示无人飞行器的障碍检测的方法和系统
CN106168810A (zh) * 2016-09-18 2016-11-30 中国空气动力研究与发展中心高速空气动力研究所 一种基于rtk的无人机飞行避障系统和方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111813142A (zh) * 2019-07-18 2020-10-23 中国石油化工股份有限公司 用于原油管线巡检的无人机自主避障控制方法
CN112362077A (zh) * 2020-11-13 2021-02-12 歌尔光学科技有限公司 头戴显示设备及其避障方法、计算机可读存储介质
CN112977441A (zh) * 2021-03-03 2021-06-18 恒大新能源汽车投资控股集团有限公司 一种驾驶决策方法、装置及电子设备
CN114415726A (zh) * 2022-01-18 2022-04-29 江苏锐天智能科技股份有限公司 一种基于图像分析的无人机避障控制系统及方法
CN114415726B (zh) * 2022-01-18 2023-01-03 江苏锐天智能科技股份有限公司 一种基于图像分析的无人机避障控制系统及方法

Also Published As

Publication number Publication date
CN108521808B (zh) 2021-12-07
CN108521808A (zh) 2018-09-11

Similar Documents

Publication Publication Date Title
WO2019084797A1 (zh) 一种障碍信息显示方法、显示装置、无人机及系统
EP3742250B1 (en) Method, apparatus and system for controlling unmanned aerial vehicle
WO2018176376A1 (zh) 一种环境信息采集方法、地面站及飞行器
WO2019041276A1 (zh) 一种图像处理方法、无人机及系统
KR102051032B1 (ko) 객체 탐지 장치 및 제어 방법
US20210112207A1 (en) Method, control apparatus and control system for controlling an image capture of movable device
JP2012048597A5 (ja) 複合現実感表示システム、画像提供サーバ、表示装置及び表示プログラム
KR101634878B1 (ko) 무인 비행체의 군집 비행을 이용한 항공 영상 정합 장치 및 방법
JP2017015704A (ja) ドローンに搭載されて土地をマッピングするように適合されたカメラユニット、およびカメラユニットによる画像撮像管理方法
WO2017166714A1 (zh) 全景图像的拍摄方法、装置及系统
US20190156579A1 (en) Mixed reality video production with detached camera
WO2021037286A1 (zh) 一种图像处理方法、装置、设备及存储介质
US20230342953A1 (en) Information processing apparatus, control method, and program
CN115238018A (zh) 用于管理3d飞行路径的方法和相关系统
JP6677684B2 (ja) 映像配信システム
WO2019127302A1 (zh) 一种无人机、控制终端的控制方法及相关设备
JP7084485B2 (ja) 画像処理方法及び装置、電子機器、並びに記憶媒体
WO2021217403A1 (zh) 可移动平台的控制方法、装置、设备及存储介质
CN113674331A (zh) 图像对齐方法和装置、电子设备和计算机可读存储介质
CN116762354A (zh) 影像拍摄方法、控制装置、可移动平台和计算机存储介质
JP2021103410A (ja) 移動体及び撮像システム
CN111611897A (zh) 一种基于相机网络的无人机侦测系统及方法
US11765454B2 (en) Image control method and device, and mobile platform
WO2023178495A1 (zh) 无人机、控制终端、服务器及其控制方法
CN113572946B (zh) 图像显示方法、装置、系统及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17930886

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17930886

Country of ref document: EP

Kind code of ref document: A1