WO2021128189A1 - 数据处理方法、装置、无人飞行器与飞行控制系统 - Google Patents

数据处理方法、装置、无人飞行器与飞行控制系统 Download PDF

Info

Publication number
WO2021128189A1
WO2021128189A1 PCT/CN2019/128809 CN2019128809W WO2021128189A1 WO 2021128189 A1 WO2021128189 A1 WO 2021128189A1 CN 2019128809 W CN2019128809 W CN 2019128809W WO 2021128189 A1 WO2021128189 A1 WO 2021128189A1
Authority
WO
WIPO (PCT)
Prior art keywords
area information
target
image
unmanned aerial
aerial vehicle
Prior art date
Application number
PCT/CN2019/128809
Other languages
English (en)
French (fr)
Inventor
杨小虎
赵丛
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN201980081054.6A priority Critical patent/CN113474741A/zh
Priority to PCT/CN2019/128809 priority patent/WO2021128189A1/zh
Publication of WO2021128189A1 publication Critical patent/WO2021128189A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions

Definitions

  • the present disclosure relates to the field of computer technology, and in particular, to a data processing method and device that can be used to provide an accurate tracking solution, and an unmanned aerial vehicle and flight control system using the data processing method.
  • drone equipment has been gradually applied to various industries, and the use of drones for automatic tracking and shooting has become an important function of drones.
  • the intelligent follow function can greatly reduce the control requirements for the user. The photographer only needs to set the follow target by himself, and the drone can automatically follow the target to complete the shooting according to the user's further instructions.
  • the visual tracking solution based on the airborne terminal has high requirements for the computing power and integration of the processor on the airborne terminal, and also has high requirements for the power consumption and design of the airborne terminal.
  • the airborne terminal often has its own design requirements for carrying equipment, which is difficult It is equipped with advanced computing equipment with high power consumption, and it is also difficult to design and optimize the vision algorithm.
  • the purpose of the present disclosure is to provide a data processing method and a data processing device, which are used to solve at least to a certain extent the problem of target follow-up consumption of mobile platform computing resources in related technologies.
  • a data processing method the method is applied to a movable platform, the movable platform is equipped with a photographing device, the method includes: collecting an image of the environment where a target object is located by the photographing device Send the image to the terminal device so that the terminal device determines the first area information of the target in the image, and returns the first area information to the movable platform; The first area information determines the position information of the target relative to the movable platform, and the position information is used to control the movable platform to follow the target.
  • a data processing method the method is applied to a terminal device, the terminal device communicates with a movable platform equipped with a camera, and the method includes: receiving a transmission from the movable platform An image of the environment where the target is located, the image is collected by the movable platform; the first area information of the target in the image is determined, and the first area information includes the target in the The location and size of the area in the image; sending the first area information to the movable platform, so that the movable platform determines that the target is relative to the movable platform according to the first area information Position information of the platform, where the position information is used to control the movable platform to follow the target.
  • an unmanned aerial vehicle including: a flying structure; a photographing device; a storage device; a processor for executing codes stored in the storage device to control the flight of the flying structure, the code setting It is: capturing an image of the environment where the target object is located through the shooting device; sending the image to a terminal device so that the terminal device can determine the first area information of the target object in the image, and compare the first area information of the target object in the image.
  • a piece of area information is returned to the UAV, and the first area information includes the area position and area size of the target in the image; according to the first area information, it is determined that the target is relative to the The position information of the unmanned aerial vehicle, where the position information is used to control the flying structure to follow the target.
  • a terminal device including: a storage device for storing code; a processor for executing the code stored in the storage device to communicate with a mobile platform, the code being configured to: receive The image of the environment where the target object is sent by the movable platform, the image is collected by the movable platform; the first area information of the target object in the image is determined; the first area information is sent To the movable platform, so that the movable platform determines the position information of the target relative to the movable platform according to the first area information, and the position information is used to control the movable platform Follow the target.
  • a flight control system including: an unmanned aerial vehicle provided with a photographing device; a flight remote controller, which communicates wirelessly with the unmanned aerial vehicle, and is used to execute the following code:
  • the human aircraft obtains an image of the environment where the target is located; determines the first area information of the target in the image, where the first area information includes the area position and area size of the target in the image;
  • the first area information is synchronized to the unmanned aerial vehicle, so that the unmanned aerial vehicle determines the position information of the target relative to the unmanned aerial vehicle according to the first area information, and the position information is used for control
  • the unmanned aerial vehicle follows the target.
  • the embodiment of the present disclosure uses the computing power of the terminal device to determine the location of the tracked target in the video image, and then provides the mobile platform with the position information for tracking the target, and can reduce the computing power of the terminal device to the mobile platform.
  • the force requirement can make the movable platform have high tracking accuracy and fast response speed when tracking the target.
  • Fig. 1 is a flowchart of a data processing method in an exemplary embodiment of the present disclosure.
  • Fig. 2 is a sub-flow chart of step S13 in an embodiment of the present disclosure.
  • Fig. 3 is a sub-flow chart of step S132 in an embodiment of the present disclosure.
  • Fig. 4 is a flowchart of another data processing method provided by an embodiment of the present disclosure.
  • Fig. 5 is a schematic diagram of interaction between a movable platform and a terminal device in an embodiment of the present disclosure.
  • Fig. 6 is a block diagram of an unmanned aerial vehicle in an exemplary embodiment of the present disclosure.
  • FIG. 7 is a block diagram of a terminal device provided by the present disclosure.
  • FIG. 8 is a block diagram of a flight control system provided by the present disclosure.
  • Fig. 1 is a flowchart of a data processing method in an exemplary embodiment of the present disclosure.
  • a data processing method 100 applied to a movable platform equipped with a camera may include:
  • Step S11 capturing an image of the environment where the target object is located through the shooting device
  • Step S12 sending the image to a terminal device, so that the terminal device determines the first area information of the target in the image, and returns the first area information to the movable platform;
  • Step S13 Determine the position information of the target relative to the movable platform according to the first area information, where the position information is used to control the movable platform to follow the target.
  • the movable platform may be, for example, an unmanned aerial vehicle (drone) or other equipment capable of target tracking
  • the terminal device may be, for example, a remote control or central control platform of an unmanned aerial vehicle or other large computing platforms. The amount of computing equipment supported.
  • the image is, for example, a frame of an image in a captured video, or a captured photo.
  • the first area information is, for example, the position and/or size of the area corresponding to the target in the image frame.
  • the first area information can be determined by six parameters: x, y, w, h, p, f.
  • x and y are the horizontal and vertical coordinates of the center point of the area corresponding to the target in the image frame; w and h are the width and height of the area (usually a rectangle) corresponding to the target; p is the corresponding to the target.
  • f is the frame number of the image, for example, if the image is a video, the frame number of the image in the video obtained by the terminal device Serial number.
  • the mobile platform can either directly use the first area information provided by the terminal device to directly track the target, or it can modify the first area information in combination with its own computing capability to provide a higher-precision target positioning result. And to provide a fast feedback solution to deal with the transmission delay of terminal equipment, to avoid the decrease of tracking accuracy caused by terminal equipment delay.
  • Fig. 2 is a sub-flow chart of step S13 in an embodiment of the present disclosure.
  • step S13 may include:
  • Step S131 Determine the second area information of the target in the image
  • Step S132 generating target area information according to the first area information and the second area information
  • Step S133 Determine the position information of the target relative to the movable platform according to the target area information.
  • the mobile device determines the area corresponding to the target in the image information by itself, and records the information of the area as the second area information.
  • the form of the second area information is the same as that of the first area information, for example, it also includes six parameters x, y, w, h, p, f, so as to facilitate subsequent processing with the first area information in the same calculation process.
  • the method of generating the target area information according to the common calculation result of the first area information and the second area information may be, for example, after determining the first area information and the second area information corresponding to the frame image according to the frame number in the first area information, according to The first area information and the second area information corresponding to the frame image generate target area information.
  • the region information with greater confidence p in the first region information and the second region information corresponding to the same frame can be used as the target region information, and the target region information can be input into the target tracking algorithm as an input parameter to obtain the movable
  • the platform currently captures the second region information of the latest frame of image, and adjusts control parameters according to the second region information of the latest frame of image to control the movable platform to track the target.
  • Fig. 3 is a sub-flow chart of step S132 in an embodiment of the present disclosure.
  • step S132 may include, for example:
  • Step S1321 Determine reference area information according to the first area information and the second area information corresponding to the Nth frame;
  • Step S1322 Determine the target area information according to the reference area information and the second area information in the image after the Nth frame.
  • the frame sequence number N corresponding to the latest first area information returned by the terminal device is smaller than the frame sequence number M of the newly acquired second area information calculated by the mobile device.
  • the frame sequence number 1 to M can be corresponded to In the second area information of the frame number N, find the second area information corresponding to the frame number N, and at the same time determine the reference area information corresponding to the frame number N according to the first area information and the second area information corresponding to the frame number N, the method is, for example, the above
  • the first region information and the second region information corresponding to the frame number N are determined to have a higher confidence as the reference region information corresponding to the frame number N.
  • the movable platform determines a piece of third area information according to the second area information corresponding to the frame numbers N+1 to M, and jointly determines the target area information according to the aforementioned reference area information and the third area information.
  • the third area information may be determined according to the average value of the second area information corresponding to the images after the Nth frame, and the average value may be, for example, a weighted average value of the second area information corresponding to the frame numbers N+1 to M:
  • xc, yc, wc, and hc are the coordinates and width and height parameters in the third area information, respectively, and are the weights of the second area information.
  • it can be preset to be a constant, which does not change with the change of the subscript, that is, xc, yc, wc, and hc are the absolute average values of the corresponding parameters in the second area information.
  • Those skilled in the art can set the weights of each item by themselves according to the actual situation, and the present disclosure does not impose special restrictions on this.
  • the information error caused by the transmission delay can be reduced, and the mobile platform and terminal equipment can be integrated
  • the computing power provides higher precision target positioning.
  • the target area information After the target area information is determined according to the first area information or second area information of the currently obtained M-th frame image and the image before the M-th frame, the target area information can be input into the target tracking algorithm as an input parameter to obtain The second area information of the latest frame of image currently captured by the mobile platform, and the control parameters are adjusted according to the second area information of the latest frame of image, to control the movable platform to track the target, so as to be timely when the first area information has not been received Obtain the latest tracking information to avoid tracking failures due to transmission delays.
  • the data processing method 100 integrates the computing capabilities of the mobile device and the terminal device, which can better balance the accuracy of coordinate calculation and the timeliness of calculation response, and reduce the consumption of computing resources on the mobile platform.
  • the embodiment of the present disclosure also provides a data processing method for terminal equipment.
  • Fig. 4 is a flowchart of another data processing method provided by an embodiment of the present disclosure.
  • the data processing method 400 may include:
  • Step S41 receiving an image of the environment where the target object is located sent by the movable platform, the image being collected by the movable platform;
  • Step S42 Determine first area information of the target in the image, where the first area information includes the position and size of the area of the target in the image;
  • Step S43 Send the first area information to the movable platform, so that the movable platform determines the position information of the target relative to the movable platform according to the first area information.
  • the position information is used to control the movable platform to follow the target.
  • step S43 includes returning the frame number of the image corresponding to the first area information and the first area information to the movable platform, so that the movable platform can execute the method 100 shown in FIGS. 1 to 3 according to the frame number.
  • the method 400 and the method 100 correspond to each other and are a data processing process of a terminal device interacting with a movable platform.
  • the movable platform may be an unmanned aerial vehicle, for example, and the terminal device may be a remote control or a central control platform of the unmanned aerial vehicle, for example.
  • Fig. 5 is a schematic diagram of interaction between a movable platform and a terminal device in an embodiment of the present disclosure.
  • step S51 the movable platform shoots an image and transmits the image and target information to the terminal device;
  • step S52 the terminal device determines the first area information of the target in the image according to the target information and the image;
  • step S53 the movable platform continuously obtains the second area information of the image
  • step S54 the terminal device sends the first area information and the frame serial number of the image to the movable platform;
  • step S55 the movable platform determines the second area information for the frame sequence number according to the frame sequence number corresponding to the first area information
  • step S56 the movable platform determines the reference area information according to the first area information and the second area information corresponding to the same frame;
  • step S57 the movable platform determines the third area information according to the second area information of the image after the frame number
  • step S58 the movable platform determines target area information according to the reference area information and the third area information
  • step S59 the movable platform adjusts the control signal according to the reference area information to track the target.
  • the movable platform continuously shoots images and transmits them to the terminal device, and at the same time continuously obtains the second area information of the captured images, that is, the above calculation process is continuously implemented in parallel as the target tracking progresses.
  • an electronic device capable of implementing the above method is also provided.
  • the electronic equipment may include, for example, unmanned aerial vehicles, terminal equipment, and flight control systems.
  • Fig. 6 is a block diagram of an unmanned aerial vehicle provided by the present disclosure.
  • unmanned aerial vehicle 600 may include:
  • the shooting device 62 is used to collect images of the environment where the target object is located;
  • the storage device 63 is configured to store program code and data, and the program code is used to execute the data processing method 100 as described above;
  • the processor 64 is configured to execute the program code stored in the storage device to control the flight of the flight structure 81, and the code is set to:
  • the image is sent to the terminal device, so that the terminal device determines the first area information of the target in the image, and returns the first area information to the unmanned aerial vehicle.
  • the area information includes the area position and area size of the target in the image;
  • the position information of the target relative to the unmanned aerial vehicle is determined according to the first area information, and the position information is used to control the flying structure to follow the target.
  • the first area information and the second area information respectively include the position and/or size of the area corresponding to the target in the frame of the image.
  • the image is sent to a terminal device, so that the terminal device determines the first area information of the target in the image, and compares the first area information of the target object in the image.
  • Returning an area information to the UAV 600 includes: the terminal device determines the first area information in the picture of the image, and returns the frame number of the picture and the first area information to the place The unmanned aerial vehicle 600; the generating target area information according to the first area information and the second area information includes: according to the received frame sequence number, passing the first area information and all information corresponding to the same frame The second area information generates the target area information.
  • generating the target area information by the first area information and the second area information corresponding to the same frame includes: adding the first area information corresponding to the same frame to the first area information and the second area information.
  • the area information with greater confidence is used as the target area information.
  • the frame sequence number returned by the terminal device currently received is N
  • the frame sequence number of the image currently captured by the shooting device is M
  • M is greater than N
  • the first area information and the second area information generating target area information includes: determining reference area information according to the first area information and the second area information corresponding to the Nth frame; and according to the reference area information and The second area information in the image after the Nth frame determines the target area information.
  • the determining the target area information according to the reference area information and the second area information determined in the image after the Nth frame includes: according to the reference area information The area information and the average value of the second area information in the images after the Nth frame determine the target area information.
  • the method further includes: determining the second area information in the image after the Mth frame according to the target area information.
  • the terminal device is a remote control or a central control platform of the UAV.
  • Fig. 7 is a block diagram of a terminal device provided by the present disclosure.
  • the terminal device 700 may include:
  • the storage device 71 is used to store codes
  • the processor 72 is configured to execute the code stored in the storage device to communicate with the mobile platform, and the code is set to:
  • the first area information is sent to the movable platform, so that the movable platform determines the position information of the target relative to the movable platform according to the first area information, and the position information It is used to control the movable platform to follow the target.
  • the processor 72 is further configured to: return the frame number of the image corresponding to the first area information and the first area information to the movable platform.
  • the movable platform is an unmanned aerial vehicle
  • the terminal device is a remote control or a central control platform of the unmanned aerial vehicle.
  • FIG. 8 is a block diagram of a flight control system provided by the present disclosure.
  • the flight control system 800 may include:
  • Unmanned aerial vehicle 600 equipped with a camera
  • the flight remote controller 81 communicates wirelessly with the unmanned aerial vehicle 800, and is used to execute the following codes:
  • the first area information is synchronized to the UAV 600 so that the UAV 600 determines the position information of the target relative to the UAV 600 according to the first area information, and the position information is used to control the UAV 600 to follow the target.
  • the code is further configured to: send the frame number of the image corresponding to the first area information and the first area information to the unmanned aerial vehicle.
  • modules or units of the device for action execution are mentioned in the above detailed description, this division is not mandatory.
  • the features and functions of two or more modules or units described above may be embodied in one module or unit.
  • the features and functions of a module or unit described above can be further divided into multiple modules or units to be embodied.
  • the example embodiments described here can be implemented by software, or can be implemented by combining software with necessary hardware. Therefore, the technical solution according to the embodiments of the present disclosure can be embodied in the form of a software product, which can be stored in a non-volatile storage medium (which can be a CD-ROM, U disk, mobile hard disk, etc.) or on the network , Including several instructions to make a computing device (which may be a personal computer, a server, a terminal device, or a network device, etc.) execute the method according to the embodiments of the present disclosure.
  • a computing device which may be a personal computer, a server, a terminal device, or a network device, etc.
  • a computer-readable storage medium on which is stored a program product capable of implementing the above-mentioned method of this specification.
  • various aspects of the present invention may also be implemented in the form of a program product, which includes program code.
  • the program product runs on a terminal device, the program code is used to enable the The terminal device executes the steps according to various exemplary embodiments of the present invention described in the above-mentioned "Exemplary Method" section of this specification.
  • the embodiment of the present disclosure uses the computing power of the terminal device to determine the location of the tracked target in the video image, and then provides the mobile platform with the position information for tracking the target, and can reduce the computing power of the terminal device to the mobile platform.
  • the force requirement can make the movable platform have high tracking accuracy and fast response speed when tracking the target.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

一种数据处理方法、装置、无人飞行器与飞行控制系统，该方法应用于可移动平台，可移动平台搭载拍摄装置，方法包括：通过拍摄装置采集目标物所在环境的影像（S11）；将影像发送至终端设备，以使终端设备确定目标物在影像中的第一区域信息，并将第一区域信息返回至可移动平台（S12）；根据第一区域信息，确定目标物相对于可移动平台的方位信息，方位信息用于控制可移动平台跟随目标物（S13），该方法可以节约可移动平台的算力，提供精确而迅速的跟踪方案。

Description

数据处理方法、装置、无人飞行器与飞行控制系统 技术领域
本公开涉及计算机技术领域，具体而言，涉及一种可以用于提供精确的跟踪方案的数据处理方法与装置，以及应用该数据处理方法的无人飞行器与飞行控制系统。
背景技术
目前无人机设备已经逐渐被应用到各行各业中，使用无人机进行自动跟踪拍摄已经成为无人机的一个重要功能。智能跟随功能可以极大降低对用户的操控要求，拍摄者只需自行设定跟随目标，无人机便可根据用户的进一步指示自动跟随目标完成拍摄。
自动跟随需要在画面中识别目标物，并计算目标物的位置，需要耗费大量的算力。基于机载端的视觉跟踪方案对机载端的处理器的计算能力以及集成度要求很高，对机载端的功耗和设计也有较高要求，而机载端往往也有自身承载设备的设计要求，难以搭载功耗较大的高级运算设备，同时对视觉算法设计和优化实现难度也较大。
发明内容
本公开的目的在于提供一种数据处理方法与数据处理装置，用于至少在一定程度上解决相关技术中目标跟随消耗可移动平台运算资源较大的问题。
根据本公开的第一方面，提供一种数据处理方法，所述方法应用于可移动平台，所述可移动平台搭载拍摄装置，所述方法包括：通过所述拍摄装置采集目标物所在环境的影像；将所述影像发送至终端设备，以使所述终端设备确定所述目标物在所述影像中的第一区域信息，并将所述第一区域信息返回至所述可移动平台；根据所述第一区域信息，确定所述目标物相对于所述可移动平台的方位信息，所述方位信息用于控制所述可移动平台跟随所述目标物。
根据本公开的第二方面，提供一种数据处理方法，所述方法应用于终端设备，所述终端设备与搭载有拍摄装置的可移动平台通讯，所述方法包括：接收所述可移动平台发送的目标物所在环境的影像，所述影像由所述可移动平台采集得到；确定所述目标物在所述影像中的第一区域信息，所述第一区域信息包括所述目标物在所述影像中的区域位置和区域大小；将所述第一区域信息发送至给所述可移动平台，以使所述可移动平台根据所述第一区域信息确定所述目标物相对于所述可移动平台的方位信息，所述方位信息用于控制所述可移动平台跟随所述目标物。
根据本公开第三方面，提供一种无人飞行器，包括：飞行结构；拍摄装置；存储装置；处理器，用于执行所述存储装置存储的代码以控制所述飞行结构飞行，所述代码设置为：通过所述拍摄装置采集目标物所在环境的影像；将所述影像发送至终端设备，以使所述终端设备确定所述影像中所述目标物的第一区域信息，并将所述第一区域信息返回至所述无 人飞行器，所述第一区域信息包括所述目标物在所述影像中的区域位置和区域大小；根据所述第一区域信息确定所述目标物相对于所述无人飞行器的方位信息，所述方位信息用于控制所述飞行结构跟随所述目标物。
根据本公开的第四方面，提供一种终端设备，包括：存储装置，用于存储代码；处理器，用于执行所述存储装置存储的代码与可移动平台通讯，所述代码设置为：接收所述可移动平台发送的目标物所在环境的影像，所述影像由所述可移动平台采集得到；确定所述目标物在所述影像中的第一区域信息；将所述第一区域信息发送至给所述可移动平台，以使所述可移动平台根据所述第一区域信息确定所述目标物相对于所述可移动平台的方位信息，所述方位信息用于控制所述可移动平台跟随所述目标物。
根据本公开的第五方面，提供一种飞行控制系统，包括：无人飞行器，设置有拍摄装置；飞行遥控器，与所述无人飞行器进行无线通讯，用于执行以下代码：通过所述无人飞行器获取目标物所在环境的影像；确定所述影像中所述目标物的第一区域信息，所述第一区域信息包括所述目标物在所述影像中的区域位置和区域大小；将所述第一区域信息同步给所述无人飞行器，以使所述无人飞行器根据所述第一区域信息确定所述目标物相对于所述无人飞行器的方位信息，所述方位信息用于控制所述无人飞行器跟随所述目标物。
本公开实施例通过利用终端设备端的算力确定视频图像中被追踪目标的位置，进而为可移动平台提供用于跟踪目标物的方位信息，能够通过终端设备的算力降低对可移动平台端算力的要求，可以使可移动平台在进行目标追踪时追踪精度高、反应速度快。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
图1是本公开示例性实施例中数据处理方法的流程图。
图2是本公开一个实施例中步骤S13的一个子流程图。
图3是本公开一个实施例中步骤S132的一个子流程图。
图4是本公开实施例提供的另一种数据处理方法的流程图。
图5是本公开一个实施例中可移动平台与终端设备的交互示意图。
图6是本公开一个示例性实施例中一种无人飞行器的方框图。
图7是本公开提供一种终端设备的方框图。
图8是本公开提供一种飞行控制系统的方框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许 多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
下面结合附图对本公开示例实施方式进行详细说明。
图1是本公开示例性实施例中数据处理方法的流程图。参考图1，应用于搭载有拍摄装置的可移动平台的数据处理方法100可以包括：
步骤S11，通过所述拍摄装置采集目标物所在环境的影像；
步骤S12，将所述影像发送至终端设备，以使所述终端设备确定所述目标物在所述影像中的第一区域信息，并将所述第一区域信息返回至所述可移动平台；
步骤S13，根据所述第一区域信息，确定所述目标物相对于所述可移动平台的方位信息，所述方位信息用于控制所述可移动平台跟随所述目标物。
本公开实施例中，可移动平台例如可以为无人飞行器(无人机)或者其他能够进行目标追踪的设备，终端设备例如可以为无人飞行器的遥控器或中控平台或者其他能够提供大计算量支持的计算设备。
在步骤S11，影像例如为拍摄的视频中的一帧图像，或者拍摄的照片。
在步骤S12，第一区域信息例如为目标物对应的区域在影像的画面中的位置和/或大小。例如，第一区域信息可以通过六个参数来确定：x、y、w、h、p、f。其中，x和y分别为目标物对应的区域的中心点在影像画面中的横纵坐标；w和h分别为目标物对应的区域(通常为矩形)的宽度和高度；p为目标物对应的区域的置信度，置信度越高代表该区域能精确定位目标物的可能性越大；f为影像的帧序号，例如，如果影像为视频，帧序号该影像在终端设备获取到的视频中的序号。
在步骤S13，可移动平台既可以直接使用终端设备提供的第一区域信息直接对目标物进行追踪，也可以结合自身计算能力对第一区域信息进行修正，以提供更高精度的目标定位结果，并且为应对终端设备传输延迟提供快速反馈方案，避免终端设备延迟造成追踪精度下降。
图2是本公开一个实施例中步骤S13的子流程图。
参考图2，在一个实施例中，步骤S13可以包括：
步骤S131，确定目标物在影像中的第二区域信息；
步骤S132，根据第一区域信息和第二区域信息生成目标区域信息；
步骤S133，根据目标区域信息确定目标物相对于可移动平台的方位信息。
在图2所示实施例中，可移动设备自行在影像信息中确定目标物对应的区域，并将该区域的信息记录为第二区域信息。该第二区域信息的形式与第一区域信息相同，例如也包括x、y、w、h、p、f六个参数，以便于后续与第一区域信息在同一计算过程中进行处理。
根据第一区域信息和第二区域信息的共同计算结果生成目标区域信息的方法例如可以为根据第一区域信息中的帧序号确定该帧图像对应的第一区域信息和第二区域信息后，根据该帧图像对应的第一区域信息和第二区域信息生成目标区域信息。
根据该帧图像对应的第一区域信息和第二区域信息生成目标区域信息的处理过程可以为多种。
例如，可以将对应同一帧画面的第一区域信息和第二区域信息中置信度p较大的区域信息作为目标区域信息，将该目标区域信息作为输入参数输入到目标追踪算法后，获得可移动平台当前拍摄的最新一帧图像的第二区域信息，并根据最新一帧图像的第二区域信息调整控制参数，控制可移动平台追踪目标物。
此外，由于终端设备和可移动平台之间往往具有传输延迟，终端设备返回的帧序号为N时，若帧序号沿时间顺序由小到大排列，拍摄装置已采集到的影像的帧序号很可能已经为数值大于N的M。此时，可以对延迟进行处理。
图3是本公开一个实施例中步骤S132的一个子流程图。
参考图3，在一个实施例中，步骤S132例如可以包括：
步骤S1321，根据第N帧对应的第一区域信息和第二区域信息确定参考区域信息；
步骤S1322，根据参考区域信息和在第N帧之后的影像中的第二区域信息确定目标区域信息。
由于传输延迟，终端设备返回的最新的第一区域信息对应的帧序号N，小于可移动设备计算的最新获取到的第二区域信息的帧序号M，此时，可以在帧序号1～M对应的第二区域信息中，找到帧序号N对应的第二区域信息，并同时根据帧序号N对应的第一区域信息和第二区域信息确定帧序号N对应的参考区域信息，方法例如为上述的将帧序号N对应的第一区域信息和第二区域信息中置信度较高者确定为帧序号N对应的参考区域信息。
然后，可移动平台根据帧序号N+1～M对应的第二区域信息确定一个第三区域信息，并根据上述参考区域信息和该第三区域信息共同确定目标区域信息。
其中，可以根据第N帧之后的影像对应的第二区域信息的均值确定该第三区域信息，该均值例如可以为帧序号N+1～M对应的第二区域信息的加权平均值：
Figure PCTCN2019128809-appb-000001
Figure PCTCN2019128809-appb-000002
Figure PCTCN2019128809-appb-000003
Figure PCTCN2019128809-appb-000004
其中，xc、yc、wc、hc分别是第三区域信息中的坐标和宽高参数，是各第二区域信息的权重。在一个实施例中，可以预设为常数，不随下角标的变化而变化，即xc、yc、wc、hc均为第二区域信息中各对应参数的绝对平均值。在另一个实施例中，也可以设置预设的随下角标数值的增大而增大(例如λ3>λ1)，即越接近第M帧的影像对应的第二区域信息的权重越大，以提供更加精确的计算结果。本领域技术人员可以根据实际情况自行设置各项的权值，本公开对此不作特殊限制。
通过融合第N帧影像的第一区域信息和第二区域信息、第N+1帧～第M帧影像的第二区域信息，可以减少传输延迟带来的信息误差，融合可移动平台和终端设备的算力提供更高精度的目标定位。
根据当前已获得的第M帧影像及第M帧之前的影像的第一区域信息或第二区域信息确定目标区域信息后，可以将该目标区域信息作为输入参数输入到目标追踪算法后，获得可移动平台当前拍摄的最新一帧图像的第二区域信息，并根据该最新一帧图像的第二区域信息调整控制参数，控制可移动平台追踪目标物，以在尚未收到第一区域信息时及时获取最新的追踪信息，避免因为传输延迟导致追踪失败。
综上所述，数据处理方法100通过融合可移动设备和终端设备的计算能力，能够较好地兼顾坐标计算的精确性和计算反应的及时性，减少对可移动平台运算资源的消耗。
对应于应用于可移动平台端的数据处理方法，本公开实施例还提供了一种用于终端设备的数据处理方法。
图4是本公开实施例提供的另一种数据处理方法的流程图。
参考图4，数据处理方法400可以包括：
步骤S41，接收所述可移动平台发送的目标物所在环境的影像，所述影像由所述可移动平台采集得到；
步骤S42，确定所述目标物在所述影像中的第一区域信息，所述第一区域信息包括所述目标物在所述影像中的区域位置和区域大小；
步骤S43，将所述第一区域信息发送至给所述可移动平台，以使所述可移动平台根据所述第一区域信息确定所述目标物相对于所述可移动平台的方位信息，所述方位信息用于控制所述可移动平台跟随所述目标物。
其中，步骤S43包括将第一区域信息对应的影像的帧序号和第一区域信息返回可移动平台，以供可移动平台根据帧号执行如图1～图3所示的方法100。
方法400与方法100相互对应，是与可移动平台交互的终端设备的数据处理过程，可移动平台例如可以为无人飞行器，终端设备例如可以为无人飞行器的遥控器或中控平台。
图5是本公开一个实施例中可移动平台与终端设备的交互示意图。
参考图5，在步骤S51，可移动平台拍摄影像并将影像和目标物信息传输给终端设备；
在步骤S52，终端设备根据目标物信息和影像确定目标物在影像中的第一区域信息；
在步骤S53，可移动平台持续获取影像的第二区域信息；
在步骤S54，终端设备将第一区域信息和影像的帧序号一同发送给可移动平台；
在步骤S55，可移动平台根据第一区域信息对应的帧序号确定给帧序号的第二区域信息；
在步骤S56，可移动平台根据同一帧对应的第一区域信息和第二区域信息确定参考区域信息；
在步骤S57，可移动平台根据上述帧序号之后的影像的第二区域信息确定第三区域信息；
在步骤S58，可移动平台根据参考区域信息和第三区域信息确定目标区域信息；
在步骤S59，可移动平台根据参考区域信息调整控制信号以追踪目标物。
可以理解的是，上述过程中，可移动平台不断拍摄影像并传输给终端设备，同时不断获取拍摄的影像的第二区域信息，即上述计算过程随着目标追踪的进行是不断并行实现的。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。电子设备例如可以包括无人飞行器、终端设备和飞行控制系统。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
图6是本公开提供一种无人飞行器的方框图。
参考图6，无人飞行器600可以包括：
飞行结构61；
拍摄装置62，用于采集目标物所在环境的影像；
存储装置63，用于存储程序代码和数据，所述程序代码用于执行如上所述的数据处理方法100；
处理器64，用于执行所述存储装置存储的程序代码以控制所述飞行结构81飞行，所述代码设置为：
通过所述拍摄装置采集目标物所在环境的影像；
将所述影像发送至终端设备，以使所述终端设备确定所述影像中所述目标物的第一区域信息，并将所述第一区域信息返回至所述无人飞行器，所述第一区域信息包括所述目标物在所述影像中的区域位置和区域大小；
根据所述第一区域信息确定所述目标物相对于所述无人飞行器的方位信息，所述方位信息用于控制所述飞行结构跟随所述目标物。
其中，在本公开的一种示例性实施例中，所述第一区域信息和所述第二区域信息分别包括所述目标物对应的区域在所述影像的画面中的位置和/或大小。
在本公开的一种示例性实施例中，所述将所述影像发送至终端设备，以使所述终端设备确定所述目标物在所述影像中的第一区域信息，并将所述第一区域信息返回至所述无人飞行器600，包括：所述终端设备在所述影像的画面中确定所述第一区域信息，并将所述画面的帧序号和所述第一区域信息返回所述无人飞行器600；所述根据所述第一区域信息和所述第二区域信息生成目标区域信息，包括：根据接受的所述帧序号，通过对应同一帧的所述第一区域信息和所述第二区域信息生成所述目标区域信息。
在本公开的一种示例性实施例中，所述对应同一帧的所述第一区域信息和所述第二区域信息生成所述目标区域信息，包括：将对应同一帧画面的所述第一区域信息和所述第二区域信息中，置信度较大的区域信息，作为所述目标区域信息。
在本公开的一种示例性实施例中，当前接收到所述终端设备返回的帧序号为N，当前所述拍摄装置已采集到的影像的帧序号为M，M大于N；所述根据所述第一区域信息和所述第二区域信息生成目标区域信息，包括：根据第N帧对应的所述第一区域信息和所述第二区域信息确定参考区域信息；根据所述参考区域信息和在第N帧之后的影像中的所述第二区域信息确定所述目标区域信息。
在本公开的一种示例性实施例中，所述根据所述参考区域信息和在第N帧之后的影像中确定的所述第二区域信息确定所述目标区域信息，包括：根据所述参考区域信息，和在第N帧之后的影像中所述第二区域信息的均值确定所述目标区域信息。
在本公开的一种示例性实施例中，所述方法还包括：根据所述目标区域信息，在第M帧以后的影像中确定所述第二区域信息。
在本公开的一种示例性实施例中，所述终端设备为所述无人飞行器的遥控器或中控平台。
图7是本公开提供的一种终端设备的方框图。
参考图7，终端设备700可以包括：
存储装置71，用于存储代码；
处理器72，用于执行所述存储装置存储的代码与可移动平台通讯，所述代码设置为：
接收所述可移动平台发送的目标物所在环境的影像，所述影像由所述可移动平台采集得到；
确定所述目标物在所述影像中的第一区域信息；
将所述第一区域信息发送至给所述可移动平台，以使所述可移动平台根据所述第一区域信息确定所述目标物相对于所述可移动平台的方位信息，所述方位信息用于控制所述可移动平台跟随所述目标物。
在本公开的一个示例性实施例中，处理器72还设置为：将所述第一区域信息对应的影像的帧序号和所述第一区域信息返回所述可移动平台。
在本公开的一个示例性实施例中，所述可移动平台为无人飞行器，所述终端设备为所述无人飞行器的遥控器或中控平台。
图8是本公开提供一种飞行控制系统的方框图。
参考图8，飞行控制系统800可以包括：
无人飞行器600，设置有拍摄装置；
飞行遥控器81，与无人飞行器800进行无线通讯，用于执行以下代码：
通过无人飞行器600获取目标物所在环境的影像；
确定影像中目标物的第一区域信息，第一区域信息包括目标物在影像中的区域位置和区域大小；
将第一区域信息同步给无人飞行器600，以使无人飞行器600根据第一区域信息确定目标物相对于无人飞行器600的方位信息，方位信息用于控制无人飞行器600跟随目标物。
在本公开的一个示例性实施例中，所述代码还设置为：将所述第一区域信息对应的影像的帧序号和所述第一区域信息发送给所述无人飞行器。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另 外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和构思由权利要求指出。
工业实用性
本公开实施例通过利用终端设备端的算力确定视频图像中被追踪目标的位置，进而为可移动平台提供用于跟踪目标物的方位信息，能够通过终端设备的算力降低对可移动平台端算力的要求，可以使可移动平台在进行目标追踪时追踪精度高、反应速度快。

Claims (26)

  1. 一种数据处理方法，其特征在于，所述方法应用于可移动平台，所述可移动平台搭载拍摄装置，所述方法包括：
    通过所述拍摄装置采集目标物所在环境的影像；
    将所述影像发送至终端设备，以使所述终端设备确定所述目标物在所述影像中的第一区域信息，并将所述第一区域信息返回至所述可移动平台；
    根据所述第一区域信息，确定所述目标物相对于所述可移动平台的方位信息，所述方位信息用于控制所述可移动平台跟随所述目标物。
  2. 如权利要求1所述的数据处理方法，其特征在于，所述根据所述第一区域信息确定所述目标物相对于所述可移动平台的方位信息，包括：
    确定所述目标物在所述影像中的第二区域信息；
    根据所述第一区域信息和所述第二区域信息生成目标区域信息；
    根据所述目标区域信息确定所述目标物相对于所述可移动平台的方位信息。
  3. 如权利要求2所述的数据处理方法，其特征在于，所述第一区域信息和所述第二区域信息分别包括所述目标物对应的区域在所述影像的画面中的位置和/或大小。
  4. 如权利要求2所述的数据处理方法，其特征在于，所述第一区域信息包括帧序号，所述根据所述第一区域信息和所述第二区域信息生成目标区域信息包括：
    根据所述第一区域信息中的所述帧序号，通过对应同一帧的所述第一区域信息和所述第二区域信息生成所述目标区域信息。
  5. 如权利要4所述的数据处理方法，其特征在于，所述对应同一帧的所述第一区域信息和所述第二区域信息生成所述目标区域信息，包括：
    将对应同一帧画面的所述第一区域信息和所述第二区域信息中，置信度较大的区域信息，作为所述目标区域信息。
  6. 如权利要4所述的数据处理方法，其特征在于，当前接收到所述终端设备返回的帧序号为N，当前所述拍摄装置已采集到的影像的帧序号为M，M大于N；所述根据所述第一区域信息和所述第二区域信息生成目标区域信息，包括：
    根据第N帧对应的所述第一区域信息和所述第二区域信息确定参考区域信息；
    根据所述参考区域信息和在第N帧之后的影像中的所述第二区域信息确定所述目标区域信息。
  7. 如权利要求6所述的数据处理方法，其特征在于，所述根据所述参考区域信息和在第N帧之后的影像中确定的所述第二区域信息确定所述目标区域信息，包括：
    根据所述参考区域信息，和在第N帧之后的影像中所述第二区域信息的均值确定所述目标区域信息。
  8. 如权利要求6所述的数据处理方法，其特征在于，所述方法还包括：
    根据所述目标区域信息，在第M帧以后的影像中确定所述第二区域信息。
  9. 如权利要求1所述的数据处理方法，其特征在于，所述可移动平台为无人飞行器，所述终端设备为所述无人飞行器的遥控器或中控平台。
  10. 一种数据处理方法，其特征在于，所述方法应用于终端设备，所述终端设备与搭载有拍摄装置的可移动平台通讯，所述方法包括：
    接收所述可移动平台发送的目标物所在环境的影像，所述影像由所述可移动平台采集得到；
    确定所述目标物在所述影像中的第一区域信息，所述第一区域信息包括所述目标物在所述影像中的区域位置和区域大小；
    将所述第一区域信息发送至给所述可移动平台，以使所述可移动平台根据所述第一区域信息确定所述目标物相对于所述可移动平台的方位信息，所述方位信息用于控制所述可移动平台跟随所述目标物。
  11. 如权利要求10所述的数据处理方法，其特征在于，还包括：
    将所述第一区域信息对应的影像的帧序号和所述第一区域信息发送给所述可移动平台。
  12. 如权利要求10或11所述的数据处理方法，其特征在于，所述可移动平台为无人飞行器，所述终端设备为所述无人飞行器的遥控器或中控平台。
  13. 一种无人飞行器，其特征在于，包括：
    飞行结构；
    拍摄装置；
    存储装置；
    处理器，用于执行所述存储装置存储的代码以控制所述飞行结构飞行，所述代码设置为：
    通过所述拍摄装置采集目标物所在环境的影像；
    将所述影像发送至终端设备，以使所述终端设备确定所述影像中所述目标物的第一区域信息，并将所述第一区域信息返回至所述无人飞行器，所述第一区域信息包括所述目标物在所述影像中的区域位置和区域大小；
    根据所述第一区域信息确定所述目标物相对于所述无人飞行器的方位信息，所述方位信息用于控制所述飞行结构跟随所述目标物。
  14. 如权利要求13所述的无人飞行器，其特征在于，所述根据所述第一区域信息确定所述目标物相对于所述无人飞行器的方位信息，包括：
    确定所述目标物在所述影像中的第二区域信息；
    根据所述第一区域信息和所述第二区域信息生成目标区域信息；
    根据所述目标区域信息确定所述目标物相对于所述无人飞行器的方位信息。
  15. 如权利要求14所述的无人飞行器，其特征在于，所述第一区域信息和所述第二区域信息分别包括所述目标物对应的区域在所述影像的画面中的位置和/或大小。
  16. 如权利要求14所述的无人飞行器，其特征在于，所述第一区域信息包括帧序号，所述根据所述第一区域信息和所述第二区域信息生成目标区域信息包括：
    根据所述第一区域信息中的所述帧序号，通过对应同一帧的所述第一区域信息和所述第二区域信息生成所述目标区域信息。
  17. 如权利要16所述的无人飞行器，其特征在于，所述对应同一帧的所述第一区域信息和所述第二区域信息生成所述目标区域信息，包括：
    将对应同一帧画面的所述第一区域信息和所述第二区域信息中，置信度较大的区域信息，作为所述目标区域信息。
  18. 如权利要16所述的无人飞行器，其特征在于，当前接收到所述终端设备返回的帧序号为N，当前所述拍摄装置已采集到的影像的帧序号为M，M大于N；所述根据所述第一区域信息和所述第二区域信息生成目标区域信息，包括：
    根据第N帧对应的所述第一区域信息和所述第二区域信息确定参考区域信息；
    根据所述参考区域信息和在第N帧之后的影像中的所述第二区域信息确定所述目标区域信息。
  19. 如权利要求18所述的无人飞行器，其特征在于，所述根据所述参考区域信息和在第N帧之后的影像中确定的所述第二区域信息确定所述目标区域信息，包括：
    根据所述参考区域信息，和在第N帧之后的影像中所述第二区域信息的均值确定所述目标区域信息。
  20. 如权利要求18所述的无人飞行器，其特征在于，所述代码还设置为：
    根据所述目标区域信息，在第M帧以后的影像中确定所述第二区域信息。
  21. 如权利要求13所述的无人飞行器，其特征在于，所述终端设备为所述无人飞行器的遥控器或中控平台。
  22. 一种终端设备，其特征在于，包括：
    存储装置，用于存储代码；
    处理器，用于执行所述存储装置存储的代码与可移动平台通讯，所述代码设置为：
    接收所述可移动平台发送的目标物所在环境的影像，所述影像由所述可移动平台采集得到；
    确定所述目标物在所述影像中的第一区域信息；
    将所述第一区域信息发送至给所述可移动平台，以使所述可移动平台根据所述第一区域信息确定所述目标物相对于所述可移动平台的方位信息，所述方位信息用于控制所述可移动平台跟随所述目标物。
  23. 如权利要求22所述的终端设备，其特征在于，所述代码还设置为：将所述第一区域信息对应的影像的帧序号和所述第一区域信息发送给所述可移动平台。
  24. 如权利要求22或23所述的终端设备，其特征在于，所述可移动平台为无人飞行器，所述终端设备为所述无人飞行器的遥控器或中控平台。
  25. 一种飞行控制系统，其特征在于，包括：
    无人飞行器，设置有拍摄装置；
    飞行遥控器，与所述无人飞行器进行无线通讯，用于执行以下代码：
    通过所述无人飞行器获取目标物所在环境的影像；
    确定所述影像中所述目标物的第一区域信息，所述第一区域信息包括所述目标物在所述影像中的区域位置和区域大小；
    将所述第一区域信息同步给所述无人飞行器，以使所述无人飞行器根据所述第一区域信息确定所述目标物相对于所述无人飞行器的方位信息，所述方位信息用于控制所述无人飞行器跟随所述目标物。
  26. 如权利要求25所述的飞行控制系统，其特征在于，所述代码还设置为：将所述第一区域信息对应的影像的帧序号和所述第一区域信息发送给所述无人飞行器。
PCT/CN2019/128809 2019-12-26 2019-12-26 数据处理方法、装置、无人飞行器与飞行控制系统 WO2021128189A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980081054.6A CN113474741A (zh) 2019-12-26 2019-12-26 数据处理方法、装置、无人飞行器与飞行控制系统
PCT/CN2019/128809 WO2021128189A1 (zh) 2019-12-26 2019-12-26 数据处理方法、装置、无人飞行器与飞行控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/128809 WO2021128189A1 (zh) 2019-12-26 2019-12-26 数据处理方法、装置、无人飞行器与飞行控制系统

Publications (1)

Publication Number Publication Date
WO2021128189A1 true WO2021128189A1 (zh) 2021-07-01

Family

ID=76572927

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/128809 WO2021128189A1 (zh) 2019-12-26 2019-12-26 数据处理方法、装置、无人飞行器与飞行控制系统

Country Status (2)

Country Link
CN (1) CN113474741A (zh)
WO (1) WO2021128189A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10049589B1 (en) * 2016-09-08 2018-08-14 Amazon Technologies, Inc. Obstacle awareness based guidance to clear landing space
CN108476289A (zh) * 2017-07-31 2018-08-31 深圳市大疆创新科技有限公司 一种视频处理方法、设备、飞行器及系统
CN109270945A (zh) * 2018-09-21 2019-01-25 北京大翔航空科技有限公司 一种用于捷联制导无人机的控制系统
CN109407697A (zh) * 2018-09-20 2019-03-01 北京机械设备研究所 一种基于双目视觉测距的无人机跟踪运动目标系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105120146B (zh) * 2015-08-05 2018-06-26 普宙飞行器科技（深圳）有限公司 一种利用无人机进行运动物体自动锁定拍摄装置及拍摄方法
CN106292721A (zh) * 2016-09-29 2017-01-04 腾讯科技（深圳）有限公司 一种控制飞行器跟踪目标对象的方法、设备及系统
CN106682592B (zh) * 2016-12-08 2023-10-27 北京泛化智能科技有限公司 一种基于神经网络方法的图像自动识别系统及方法
CN107426289B (zh) * 2017-05-26 2018-06-01 中国人民解放军火箭军工程大学 一种巡飞无人机跟踪目标选取同步方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10049589B1 (en) * 2016-09-08 2018-08-14 Amazon Technologies, Inc. Obstacle awareness based guidance to clear landing space
CN108476289A (zh) * 2017-07-31 2018-08-31 深圳市大疆创新科技有限公司 一种视频处理方法、设备、飞行器及系统
CN109407697A (zh) * 2018-09-20 2019-03-01 北京机械设备研究所 一种基于双目视觉测距的无人机跟踪运动目标系统及方法
CN109270945A (zh) * 2018-09-21 2019-01-25 北京大翔航空科技有限公司 一种用于捷联制导无人机的控制系统

Also Published As

Publication number Publication date
CN113474741A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
US11073389B2 (en) Hover control
CN110246182B (zh) 基于视觉的全局地图定位方法、装置、存储介质和设备
US10571546B2 (en) Vision and radio fusion based precise indoor localization
CN106657779B (zh) 环绕拍摄方法、装置及无人机
US9811732B2 (en) Systems and methods for object tracking
US10679072B2 (en) Moving-object position estimating system, information processing apparatus and moving-object position estimating method
WO2018098824A1 (zh) 一种拍摄控制方法、装置以及控制设备
WO2017045315A1 (zh) 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统
WO2020107372A1 (zh) 拍摄设备的控制方法、装置、设备及存储介质
WO2018217260A3 (en) SYSTEMS AND METHODS FOR TRACKING AND CONTROLLING A MOBILE CAMERA FOR FORMING IMAGES OF OBJECTS OF INTEREST
KR101634878B1 (ko) 무인 비행체의 군집 비행을 이용한 항공 영상 정합 장치 및 방법
TW201328344A (zh) 控制無人飛行載具進行影像採集的系統及方法
WO2018228413A1 (zh) 一种目标对象抓拍方法、装置及视频监控设备
WO2020078217A1 (zh) 基于无人机的追踪方法、系统、无人机及终端
WO2020014987A1 (zh) 移动机器人的控制方法、装置、设备及存储介质
US20230342953A1 (en) Information processing apparatus, control method, and program
WO2020237478A1 (zh) 一种飞行规划方法及相关设备
CN114549578A (zh) 目标跟踪方法、装置及存储介质
WO2021128189A1 (zh) 数据处理方法、装置、无人飞行器与飞行控制系统
WO2021217403A1 (zh) 可移动平台的控制方法、装置、设备及存储介质
WO2022000211A1 (zh) 拍摄系统的控制方法、设备、及可移动平台、存储介质
WO2020154937A1 (zh) 一种负载的控制方法、装置及控制设备
WO2020103495A1 (zh) 曝光时长调整方法、装置、电子设备及存储介质
WO2020172878A1 (zh) 可移动平台的射击瞄准控制方法、设备及可读存储介质
CN112672044B (zh) 一种调整拍摄角度的方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19957969

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19957969

Country of ref document: EP

Kind code of ref document: A1