WO2020181719A1 - 无人机控制方法、无人机及系统 - Google Patents

无人机控制方法、无人机及系统 Download PDF

Info

Publication number
WO2020181719A1
WO2020181719A1 PCT/CN2019/100505 CN2019100505W WO2020181719A1 WO 2020181719 A1 WO2020181719 A1 WO 2020181719A1 CN 2019100505 W CN2019100505 W CN 2019100505W WO 2020181719 A1 WO2020181719 A1 WO 2020181719A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile platform
drone
flight
relative position
time
Prior art date
Application number
PCT/CN2019/100505
Other languages
English (en)
French (fr)
Inventor
王学强
王萌萌
白璐
张向东
Original Assignee
歌尔股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 歌尔股份有限公司 filed Critical 歌尔股份有限公司
Priority to US16/633,315 priority Critical patent/US11573576B2/en
Publication of WO2020181719A1 publication Critical patent/WO2020181719A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/06—Rate of change of altitude or depth
    • G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
    • G05D1/0684—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing on a moving platform, e.g. aircraft carrier
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements
    • B64U70/90—Launching from or landing on platforms
    • B64U70/92—Portable platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements
    • B64U70/90—Launching from or landing on platforms
    • B64U70/95—Means for guiding the landing UAV towards the platform, e.g. lighting means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Definitions

  • This application relates to the field of drone technology, in particular to a drone control method, drone and system.
  • Unmanned aircraft is abbreviated as unmanned aerial vehicle, which is an unmanned aircraft operated by radio remote control equipment and self-provided program control device.
  • unmanned aerial vehicle which is an unmanned aircraft operated by radio remote control equipment and self-provided program control device.
  • drone technology drones are performing a large number of operations in plant protection, logistics, and power line inspection.
  • the embodiments of the present application provide an unmanned aerial vehicle control method, an unmanned aerial vehicle control device, an unmanned aerial vehicle, and a system that solve or partially solve the above-mentioned problems.
  • a drone control method includes:
  • the UAV is controlled to perform landing actions.
  • a drone control device in another embodiment, includes: a memory and a processor, wherein,
  • Memory used to store programs
  • the processor coupled with the memory, is used to execute the program stored in the memory for:
  • the UAV is controlled to perform landing actions.
  • a drone in another embodiment of the present application, includes:
  • Image acquisition device for acquiring visual field images
  • the control device includes a memory and a processor, among which,
  • Memory used to store programs
  • the processor coupled with the memory, is used to execute the program stored in the memory for:
  • the UAV is controlled to perform landing actions.
  • an unmanned aerial vehicle system includes: a mobile platform and the UAV provided in the above embodiments.
  • the technical solution provided by the embodiment of the application determines the operating parameters of the mobile platform based on the field of view images of the mobile platform and the flight parameters of the drone collected at any two different times, and then calculates the tracking of the mobile platform over time based on the operating parameters Location, instead of relying on real-time acquisition of field of view images, can effectively reduce the energy consumption caused by real-time image acquisition of drones, and also reduce the amount of calculations for image recognition, with less dependence on equipment performance and high versatility;
  • the control operation frequency of the drone is higher than the visual recognition operation frequency.
  • the technical solution provided by the embodiment of this application can effectively avoid many problems caused by the low visual recognition operation frequency, and help improve the drone. The accuracy of landing.
  • FIG. 1 is a schematic flowchart of a drone control method provided by an embodiment of this application
  • FIG. 2 is a schematic diagram of a positioning identifier provided by an embodiment of this application.
  • Figure 3 is a schematic structural diagram of a drone control device provided by an embodiment of the application.
  • Fig. 4 is a schematic diagram of a drone provided by an embodiment of the application.
  • FIG. 1 shows a schematic flowchart of a drone control method provided by an embodiment of the present application. As shown in Figure 1, the method includes:
  • the field of view image can be collected by a camera (such as a monocular camera, a binocular camera, or an RGB-D camera) on the drone.
  • the camera can collect the field of view image after receiving the collection command. For example, after the drone receives a landing instruction, the camera adjusts to a vertical downward state and points to the ground. At this time, the drone remains hovering; the camera can collect ground images at any two different moments.
  • the landing instruction can be triggered by the user through a remote control device (such as a remote control, smart phone, etc.), or automatically triggered when low battery power is detected, or triggered by a mobile platform, etc. This embodiment does not specifically limit this.
  • the purpose of collecting visual field images is to detect the position of the mobile platform relative to the drone based on visual inspection technology.
  • the mobile platform either has a specific shape and structure, or has a specific positioning mark (as shown in Figure 2).
  • the vision detection module of the drone can determine the position of the mobile platform relative to the drone by identifying the positioning mark in the field of view image and detecting the position coordinates of the center of the positioning mark in the image.
  • the ground image collected by the drone while hovering may not include the mobile platform, that is, the mobile platform has not yet entered the drone's field of view. At this time, the hovering state can continue to be maintained until the mobile platform enters the field of view of the drone, and then enter the method provided in this embodiment.
  • the flight parameters of the UAV can be collected by a variety of sensors (such as GPS, acceleration sensor, ranging sensor, etc.) on the UAV.
  • the flight parameters may include, but are not limited to: positioning position, flight speed, flight direction, flight attitude, flight altitude, and so on. Because the height of the mobile platform is fixed, the vertical distance between the mobile platform and the drone can be known according to the flying height of the drone.
  • the aforementioned operating parameters of the mobile platform may include, but are not limited to: the moving speed of the mobile platform, and the actual position of the mobile platform at a time.
  • the aforementioned motion parameters may include: the actual position of the mobile platform at the first moment, or the mobile platform at the second moment The actual position of the mobile platform at any time between the first time and the second time, or the actual position of the mobile platform at any time before the first time, or the mobile platform after the second time The actual position at any moment in time, etc., which is not specifically limited in this embodiment.
  • the first time, the second time, any time before the first time, and any time after the second time should be within a preset calculation cycle.
  • the calculation period can be set manually or automatically by the control device of the drone, which is not specifically limited in the embodiment of the present application.
  • step 102 When the operating parameters include: the moving speed V T of the mobile platform and the actual position P T of the mobile platform at a time t 1 , in an achievable technical solution, the process of step 102 can be characterized as the following expression:
  • P′ T is the tracking position of the mobile platform over time
  • V T is the moving speed of the mobile platform
  • P T is the actual position of the mobile platform at time t 1
  • ⁇ t 1 is the time difference between current time t 2 and time t 1
  • f 1 (P T , V T , ⁇ t 1 ) may be an empirical function, which may be obtained based on the prior art, which is not specifically limited in this embodiment.
  • the relative position of the mobile platform and the drone can be obtained by comparing the tracking position of the mobile platform at the same time and the positioning position recorded in the flight parameters of the drone in real time.
  • the tracking position of the mobile platform is calculated through the foregoing steps. owned. For example, using the aforementioned steps to calculate the tracking position P′ T of the mobile platform at the current time t 2 during the tracking process, and obtain the positioning position U P T recorded in the flight parameters of the drone at the current time t 2 ; compare P′ T and U P T , you can get the relative position of the mobile platform and the drone.
  • the relative position of the mobile platform and the UAV can be obtained based on the visual images of the mobile platform and the flight parameters of the UAV collected during the tracking process. For example, by recognizing visual images, and calculating the relative position of the mobile platform and the drone based on the recognition results and the flight parameters of the drone. What needs to be explained here is: The above-mentioned process of "calculating the relative position of the mobile platform and the drone based on the visual images of the mobile platform collected during the tracking process and the flight parameters of the drone" will be elaborated in the following content .
  • the technical solution provided in this embodiment determines the operating parameters of the mobile platform based on the field of view images of the mobile platform collected at any two different times and the flight parameters of the drone, and then calculates the tracking position of the mobile platform over time based on the operating parameters.
  • it can effectively reduce the energy consumption caused by the real-time image acquisition of drones, and also reduce the amount of calculation for image recognition. It has less dependence on equipment performance and high versatility; in addition, In general, the control operation frequency of the drone is higher than the visual recognition operation frequency.
  • the technical solution provided in this embodiment can effectively avoid many problems caused by the low visual recognition operation frequency, and help to improve the landing performance of the drone. Accuracy.
  • any two different moments are: the first moment and the second moment, the first moment is earlier than the second moment; and the “according to any two different moments collected including mobile
  • the field of view image of the platform and the flight parameters of the drone, and the determination of the operating parameters of the mobile platform” may include the following steps:
  • the following calculation formula can be used to obtain the speed U V T of the mobile platform relative to the UAV:
  • U V T is the speed of the mobile platform relative to the UAV
  • Is the second position Is the first position
  • ⁇ t 2 is the time difference between the first moment and the second moment, For the second moment, For the first moment.
  • V T V U + U V T
  • V T is the moving speed of the mobile platform
  • V U is the flight speed
  • U V T is the speed of the mobile platform relative to the UAV.
  • P T is the actual position of the mobile platform at the second moment
  • P U is the positioning position, For the second position.
  • the mobile platform is provided with a positioning mark for the drone to collect images.
  • step 1011 "according to the first field of view image of the mobile platform collected at the first moment and the flight height recorded in the first flight parameters of the drone at the first moment, the mobile platform is calculated relative to the unmanned aircraft at the first moment.
  • the first position of the man-machine can be realized by the following steps:
  • the position coordinates include: X coordinate value ⁇ and Y coordinate value ⁇ on the horizontal plane.
  • the foregoing step S12 may include:
  • S122 Use the vertical distance as an input parameter of the preset conversion function, and calculate the conversion function to obtain the conversion coefficient.
  • K is the conversion coefficient
  • f 2 () is the conversion function
  • U h T is the vertical distance. Since the height of the mobile platform is a certain value, the vertical distance can be obtained by subtracting the height of the mobile platform from the flying height of the drone. It should be noted here that the specific implementation of the conversion function f 2 () is not limited in this embodiment, and the conversion function f 2 () can be derived based on the prior art.
  • S123 Determine the first coordinate of the mobile platform relative to the UAV in the X direction of the horizontal plane according to the X coordinate value ⁇ and the conversion coefficient.
  • the product of the X coordinate value ⁇ and the conversion coefficient (ie K calculated in the above steps) is used to obtain the first value as the first coordinate X T of the mobile platform in the X direction of the horizontal plane relative to the drone.
  • the conversion coefficient ie K calculated in the above steps
  • S124 Determine the second coordinate of the mobile platform relative to the drone in the Y direction of the horizontal plane according to the Y coordinate value ⁇ and the conversion coefficient.
  • the product of the Y coordinate value ⁇ and the conversion coefficient (ie, K calculated in the above steps) is used to obtain the second value as the second coordinate Y T of the mobile platform in the Y direction of the horizontal plane relative to the drone.
  • the conversion coefficient ie, K calculated in the above steps
  • S125 Obtain a first position according to the first coordinate, the second coordinate, and the vertical distance.
  • the first position can be represented by the following expression:
  • the embodiments of the present application provide a positioning mark, which includes a central pattern and a geometric pattern surrounding the periphery of the central pattern, and the geometric pattern and the central pattern constitute a complete pattern.
  • Figure 2 shows an example of the positioning mark.
  • the complete pattern is composed of a square on the periphery and a circle in the square, or it is composed of a square on the periphery, a circle in the square, and a cross pattern in the circle; the center pattern is composed of a square
  • the inner circle is composed of either the crisscross pattern in the circle or the circle combined with the crisscross pattern.
  • the use of a complete pattern detection algorithm can be simply understood as: the complete pattern is recognized, and the relative position of the mobile platform and the drone is determined based on the recognized complete pattern;
  • the use of the center pattern detection algorithm can be simply understood as: only the center pattern Perform recognition and determine the relative position of the mobile platform and the UAV based on the recognized center pattern. That is, the method provided in the embodiment of the present application may further include the following steps:
  • the relative position of the mobile platform and the drone in the vertical direction is the vertical distance between the mobile platform and the drone. Since the height of the mobile platform is a fixed value, the vertical distance between the mobile platform and the UAV can be obtained based on the flying height and the height of the mobile platform recorded in the third flight parameter.
  • the complete pattern detection algorithm is used to detect the complete pattern in the field of view image collected during the tracking process, and the mobile platform and the The relative position of the man-machine in the horizontal direction.
  • the specific implementation process is the same as the above steps S11 and S12 is similar, namely
  • the center pattern detection algorithm is used to detect the center pattern in the field of view image collected during the tracking process to obtain the mobile platform and the drone The relative position in the horizontal direction.
  • step 104 control the drone to perform a landing action according to the relative position of the mobile platform and the drone during the tracking process.
  • control the drone When the relative position of the mobile platform and the drone in the vertical direction and the relative position of the mobile platform and the drone in the horizontal direction do not meet the limited landing conditions, control the drone to maintain the flight height and continue to track the mobile platform ;
  • the limiting landing conditions may include: a first limiting condition for the relative position of the mobile platform and the drone in the vertical direction, and a second limiting condition for the relative position of the mobile platform and the drone in the horizontal direction.
  • the first limited condition and the second limited condition can be obtained based on experience or determined based on historical control parameters, which are not specifically limited in this embodiment.
  • the technical solution provided by this embodiment estimates the tracking position of the mobile platform over time based on the field of view images collected at any two moments and the flight parameters of the drone, and then according to the forecast The estimated tracking position controls the UAV to track the mobile platform.
  • the technical solution provided by this embodiment improves the positioning mark on the mobile platform, so that when the UAV and the mobile platform cannot collect the complete positioning mark when the distance between the drone and the mobile platform is short, only the center pattern in the positioning mark is recognized, thereby realizing no
  • the landing control of man-machine and mobile platform under close-range conditions helps to improve the accuracy of landing.
  • the technical solution provided by this embodiment has good versatility and is less dependent on the performance of the UAV; because only the field of view images including the mobile platform and the UAV flight parameters collected at any two different times are required to calculate The tracking position of the mobile platform changes over time, and the amount of image recognition calculations is small.
  • Fig. 3 shows a schematic structural diagram of a drone control device provided by an embodiment of the present application.
  • the drone control device includes a memory 11 and a processor 12.
  • the memory 11 can be configured to store various other data to support operations on the drone control device. Examples of such data include instructions for any application or method operating on the drone control device.
  • the memory 11 can be implemented by any type of volatile or nonvolatile storage device or a combination thereof, such as static random access memory (SRAM), electrically erasable programmable read-only memory (EEPROM), erasable Programmable Read Only Memory (EPROM), Programmable Read Only Memory (PROM), Read Only Memory (ROM), Magnetic Memory, Flash Memory, Magnetic Disk or Optical Disk.
  • SRAM static random access memory
  • EEPROM electrically erasable programmable read-only memory
  • EPROM erasable Programmable Read Only Memory
  • PROM Programmable Read Only Memory
  • ROM Read Only Memory
  • Magnetic Memory Flash Memory
  • Magnetic Disk Magnetic Disk or Optical Disk.
  • the processor 12 is coupled with the memory 11, and is configured to execute a program stored in the memory 11 for:
  • the UAV is controlled to perform landing actions.
  • any two different moments are: the first moment and the second moment, the first moment is earlier than the second moment, the processor executes the program stored in the memory, and the program executes the following processing:
  • the actual position of the mobile platform at the second moment is determined.
  • the mobile platform is provided with a positioning mark for the drone to collect images.
  • the positioning mark includes a central pattern and a geometric pattern surrounding the central pattern.
  • the geometric pattern and the central pattern constitute a complete pattern processor, which is stored in the execution memory.
  • the program performs the following processing:
  • the complete pattern detection algorithm is used to detect the complete pattern in the field of view image collected during the tracking process, and the mobile platform and the unmanned The relative position of the machine in the horizontal direction;
  • the center pattern detection algorithm is used to detect the center pattern in the field of view image collected during the tracking process, and the mobile platform and the drone are The relative position in the horizontal direction.
  • the processor executes a program stored in the memory, and the program executes the following processing:
  • control the drone When the relative position of the mobile platform and the drone in the vertical direction and the relative position of the mobile platform and the drone in the horizontal direction do not meet the limited landing conditions, control the drone to maintain the flight height and continue to track the mobile platform ;
  • the technical solution provided in this embodiment determines the operating parameters of the mobile platform based on the field of view images of the mobile platform collected at any two different times and the flight parameters of the drone, and then calculates the tracking position of the mobile platform over time based on the operating parameters.
  • it can effectively reduce the energy consumption caused by the real-time image acquisition of drones, and also reduce the amount of calculation for image recognition. It has less dependence on equipment performance and high versatility; in addition, In general, the control operation frequency of the drone is higher than the visual recognition operation frequency.
  • the technical solution provided in this embodiment can effectively avoid many problems caused by the low visual recognition operation frequency, and help to improve the landing performance of the drone. Accuracy.
  • processor 12 executes the program in the memory 11, in addition to the above functions, it may also implement other functions. For details, please refer to the description of the foregoing embodiments.
  • the drone control device further includes: a display 14, a communication component 13, a power supply component 15, an audio component 16, and other components. Only some components are schematically shown in FIG. 3, which does not mean that the computing device only includes the components shown in FIG. 3.
  • the embodiments of the present application also provide a computer-readable storage medium storing a computer program, which can realize the steps or functions of the drone control method provided by the foregoing embodiments when the computer program is executed by the computer.
  • Fig. 4 shows a schematic structural diagram of a drone provided by an embodiment of the present application.
  • the drone includes: an image acquisition device 21, a monitoring device 22, and a control device 23.
  • the image acquisition device 21 is used to acquire a visual field image.
  • the image acquisition device 21 may include, but is not limited to: a monocular camera, a binocular camera, or an RGB-D camera.
  • the monitoring device 22 is used to monitor the flight parameters of the drone.
  • the flight parameters may include: flight height (or vertical distance from the mobile platform), flight speed, flight attitude, positioning position, etc., which are not specifically limited in this embodiment.
  • the monitoring device 22 may include, but is not limited to: acceleration sensors, GPS, distance measurement sensors, and so on.
  • the control device 23 can be directly implemented by using the detection device provided in the above embodiment, and the specific implementation scheme can be referred to the corresponding content above, which will not be repeated this time.
  • the technical solution provided in this embodiment determines the operating parameters of the mobile platform based on the field of view images of the mobile platform collected at any two different times and the flight parameters of the drone, and then calculates the tracking position of the mobile platform over time based on the operating parameters.
  • it can effectively reduce the energy consumption caused by the real-time image acquisition of drones, and also reduce the amount of calculation for image recognition. It has less dependence on equipment performance and high versatility; in addition, In general, the control operation frequency of the drone is higher than the visual recognition operation frequency.
  • the technical solution provided in this embodiment can effectively avoid many problems caused by the low visual recognition operation frequency, and help to improve the landing performance of the drone. Accuracy.
  • the UAV system includes the UAV and the mobile platform shown in Figure 4 above.
  • the mobile platform is used to park drones and can also provide charging services for drones.
  • the mobile platform is provided with a positioning mark for the drone to collect images.
  • the positioning mark includes a center pattern and a geometric pattern surrounding the center pattern.
  • the geometric pattern and the center pattern constitute a complete pattern. As shown in the example shown in Figure 2, the complete pattern is composed of the outer square and the circle in the square, or it is composed of the outer square, the circle in the square and the cross pattern in the circle; the center pattern is composed of the cross pattern .
  • the device embodiments described above are merely illustrative.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, they may be located in one place. , Or it can be distributed to multiple network units. Some or all of the modules may be selected according to actual needs to achieve the objectives of the solutions of the embodiments. Those of ordinary skill in the art can understand and implement it without creative work.
  • each implementation manner can be implemented by software plus a necessary general hardware platform, and of course, it can also be implemented by hardware.
  • the above technical solutions can be embodied in the form of software products, which can be stored in computer-readable storage media, such as ROM/RAM, magnetic A disc, an optical disc, etc., include a number of instructions to make a computer device (which may be a personal computer, a server, or a network device, etc.) execute the various embodiments or the methods of some parts of the embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

一种无人机控制方法、无人机及系统。其中，无人机控制方法包括如下的步骤：根据任意两个不同时刻采集的包含移动平台的视野图像以及无人机的飞行参数，确定移动平台的运行参数（101）；基于运行参数，计算移动平台随时间变化的跟踪位置（102）；根据移动平台随时间变化的跟踪位置，控制无人机跟踪移动平台（103）；根据跟踪过程中移动平台与无人机的相对位置，控制无人机执行降落动作（104）。具有较高的降落准确度，且对设备性能的依赖较小，通用性高。

Description

无人机控制方法、无人机及系统 技术领域
本申请涉及无人机技术领域，尤其涉及一种无人机控制方法、无人机及系统。
发明背景
无人驾驶飞机简称无人机，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞行器。随着无人机技术的发展，无人机在植保、物流、电力巡线等方便都执行着大量的作业。
现有技术中，大多数无人机起降平台固定在某个位置。无人机从无人机起降平台所在位置起飞后，若想返航，还需返回至起飞地点才能完成降落。采用移动平台可有效地提升多旋翼无人机在作业时的机动性，节省作业时间。由于移动平台处于运动状态，如何引导多旋翼无人机跟踪并接近移动平台，在降落过程中如何引导无人机精准地降落到平台上是目前需要解决的问题。
发明内容
本申请实施例提供一种解决或部分解决上述问题的无人机控制方法、无人机控制装置、无人机及系统。
在本申请的一个实施例中，提供了一种无人机控制方法。该方法包括：
根据任意两个不同时刻采集的包含移动平台的视野图像以及无人机的飞行参数，确定移动平台的运行参数；
基于运行参数，计算移动平台随时间变化的跟踪位置；
根据移动平台随时间变化的跟踪位置，控制无人机跟踪移动平台；
根据跟踪过程中移动平台与无人机的相对位置，控制无人机执行降落动作。
在本申请的另一个实施例中，提供了一种无人机控制装置。该控制装置包括：存储器及处理器，其中，
存储器，用于存储程序；
处理器，与存储器耦合，用于执行存储器中存储的程序，以用于：
根据任意两个不同时刻采集的包含移动平台的视野图像以及无人机的飞行参数，确定移动平台的运行参数；
基于运行参数，计算移动平台随时间变化的跟踪位置；
根据移动平台随时间变化的跟踪位置，控制无人机跟踪移动平台；
根据跟踪过程中移动平台与无人机的相对位置，控制无人机执行降落动作。
在本申请的又一个实施例中，提供了一种无人机。该无人机包括：
图像采集装置，用于采集视野图像；
监测装置，用于监测无人机的飞行参数；以及
控制装置，包括存储器及处理器，其中，
存储器，用于存储程序；
处理器，与存储器耦合，用于执行存储器中存储的程序，以用于：
根据任意两个不同时刻采集的包含移动平台的视野图像以及无人机的飞行参数，确定移动平台的运行参数；
基于运行参数，计算移动平台随时间变化的跟踪位置；
根据移动平台随时间变化的跟踪位置，控制无人机跟踪移动平台；
根据跟踪过程中移动平台与无人机的相对位置，控制无人机执行降落动作。
在本申请的又一个实施例中，提供了一种无人机系统。该无人机系统包括：移动平台及上述实施例中提供的无人机。
本申请实施例提供的技术方案，根据任意两个不同时刻采集的包含移动平台的视野图像以及无人机的飞行参数，确定移动平台的运行参数进而基于运行参数计算出移动平台随时间变化的跟踪位置，而不用依赖于实时采集的视野图像，可有效降低无人机实时图像采集所带来的能耗，还能降低图像识别的计算量，对设备性能的依赖较小，通用性高；另外，一般情况下无人机的控制运算频率要高于视觉识别运算频率，本申请实施例提供的技术方案可有效避免因视觉识别运算频率低所带来的诸多问题，有助于提高无人机降落的准确度。
附图简要说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的无人机控制方法的流程示意图；
图2为本申请一实施例提供的定位标识的示意图；
图3为本申请一实施例提供的无人机控制装置的结构示意图；
图4为本申请一实施例提供的无人机的原理性示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
在本申请的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并而这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。另外，下述各实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1示出了本申请一实施例提供的无人机控制方法的流程示意图。如图1所示，该方法包括：
101、根据任意两个不同时刻采集的包含移动平台的视野图像以及无人机的飞行参数，确定移动平台的运行参数。
102、基于运行参数，计算移动平台随时间变化的跟踪位置。
103、根据移动平台随时间变化的跟踪位置，控制无人机跟踪移动平台。
104、根据跟踪过程中移动平台与无人机的相对位置，控制无人机执行降落动作。
上述101中，视野图像可通过无人机上的相机(如单目摄像头、双目摄像头或RGB-D相机)等采集得到。相机可在接收到采集指令后再采集视野图像。例如，无人机在接收到降落指令后，相机调整至垂直向下状态，指向地面。此时，无人机保持悬停状态；相机即可在任意两个不同时刻采集地面图像。其中，降落指令可由用户通过遥控设备(如遥控器、智能手机等)触发，或在检测到电池电量低时自动触发，或由移动平台触发等等，本实施例对此不作具体限定。采集视野图像的目的是为了基于视觉检测技术检测到移动平台相对无人机的位置。通常来说，为了增加辨识度，移动平台要么具有特定的形状结构，要么就具有特定的定位标识(如图2所示)。以移动平台上设有定位标识为例，无人机的视觉检测模块通过识别视野图像中定位标识，并检测定位标识的中心在图像 中的位置坐标即可确定出移动平台相对无人机的位置。这里需要说明的是：无人机在悬停时采集到地面图像中可能不包含移动平台，即移动平台还未进入无人机视野中。此时，可继续维持悬停状态，直至移动平台进入无人机视野后，再进入本实施例提供的方法。
无人机的飞行参数可通过无人机上的多种传感器(如GPS、加速度传感器、测距传感器等等)采集得到。具体的，飞行参数可包括但不限于：定位位置、飞行速度、飞行方向、飞行姿态以及飞行高度等等。因为移动平台的高度是固定的，所以根据无人机的飞行高度，即可获知移动平台与无人机之间的垂直距离。
上述移动平台的运行参数可包括但不限于：移动平台的移动速度、移动平台在一时刻时的实际位置。例如，任意两个不同时刻分别为第一时刻和第二时刻，第一时刻早于第二时刻；上述运动参数可包括：移动平台在第一时刻时的实际位置，或移动平台在第二时刻时的实际位置，或移动平台在第一时刻和第二时刻间任一时刻时的实际位置，或移动平台在第一时刻前的任一时刻时的实际位置，或移动平台在第二时刻后的任一时刻时的实际位置，等等，本实施例对此不作具体限定。这里需要说明的是：第一时刻、第二时刻、第一时刻前的任一时刻，及第二时刻后的任一时刻，应在一个预设运算周期内。运算周期可人为设置或由无人机的控制装置自动设置，本申请实施例对此不作具体限定。
当运行参数包括：移动平台的移动速度V T及移动平台在一时刻t 1时的实际位置P T时，在一种可实现的技术方案中，上述步骤102的过程可表征为如下表达式：
P′ T＝f 1(P T，V T，Δt 1)
其中，P′ T为移动平台随时间变化的跟踪位置，V T为移动平台的移动速度，P T为移动平台在时刻t 1的实际位置，Δt 1为当前时间t 2与时刻t 1的时间差。f 1(P T，V T，Δt 1)可以是一个经验函数，可基于现有技术得到，本实施例对此不作具体限定。
在以移动平台匀速行驶为假设前提进行动态位置计算的一具体实现实例中，上述表达式可具体表征为：
P′ T＝f 1(P T，V T，Δt 1)＝P T+V TΔt 1
上述104中，移动平台与无人机相对位置可通过实时比对同一时刻移动平台的跟踪位置及无人机的飞行参数中记录的定位位置得到，其中，移动平台的跟踪位置是通过前述步骤计算得到的。例如，采用前述步骤计算跟踪过程中移动平台在当前时刻t 2时的跟踪位置P′ T，获取无人机在当前时刻t 2时飞行参数中记录的定位位置 UP T；比对P′ T及 UP T，即可得到移动平台与无人机相对位置。
又或者，移动平台与无人机相对位置可基于跟踪过程中采集到的包含移动平台的视觉图像及无人机的飞行参数得到。例如，通过识别视觉图像，并根据识别结果及无人机的飞行参数，计算得到移动平台与无人机的相对位置。这里需要说明的是：有关上述“基于跟踪过程中采集到的包含移动平台的视觉图像及无人机的飞行参数，计算移动平台与无人机相对位置”的过程，将在下述内容中详细阐述。
本实施例提供的技术方案，根据任意两个不同时刻采集的包含移动平台的视野图像以及无人机的飞行参数，确定移动平台的运行参数进而基于运行参数计算出移动平台随时间变化的跟踪位置，而不用依赖于实时采集的视野图像，可有效降低无人机实时图像采集所带来的能耗，还能降低图像识别的计算量，对设备性能的依赖较小，通用性高；另外，一般情况下无人机的控制运算频率要高于视觉识别运算频率，本实施例提供的技术方案可有效避免因视觉识别运算频率低所带来的诸多问题，有助于提高无人机降落的准确度。
在一种可实现的技术方案中，任意两个不同时刻分别为：第一时刻和第二时刻，第一时刻早于第二时刻；以及上述101中“根据任意两个不同时刻采集的包含移动平台的视野图像以及无人机的飞行参数，确定移动平台的运行参数”，可包括如下步骤：
1011、根据第一时刻采集的包含移动平台的第一视野图像及第一时刻时无人机的第一飞行参数中记录的飞行高度，计算第一时刻时移动平台相对于无人机的第一位置。
1012、根据第二时刻采集的包含移动平台的第二视野图像及第二时刻时无人机的第二飞行参数中记录的飞行高度，计算第二时刻时移动平台相对于无人机的第二位置。
1023、根据第一位置、第二位置、第一时刻与第二时刻的时差，确定移动平台相对于无人机的速度。
具体实施时，可采用如下计算公式得到移动平台相对于无人机的速度 UV T：
Figure PCTCN2019100505-appb-000001
其中， UV T为移动平台相对无人机的速度，
Figure PCTCN2019100505-appb-000002
为第二位置，
Figure PCTCN2019100505-appb-000003
为第一位置，Δt 2为第一时刻与第二时刻的时差，
Figure PCTCN2019100505-appb-000004
为第二时刻，
Figure PCTCN2019100505-appb-000005
为第一时刻。
1024、根据移动平台相对于无人机的速度及第二飞行参数中记录的飞行速度，确定移动平台的移动速度。
具体的，可采用如下计算式得到移动平台的移动速度：
V T＝V U+ UV T
其中，V T为移动平台的移动速度，V U为飞行速度， UV T为移动平台相对无人机的速度。
1025、根据第二位置及第二飞行参数中记录的定位位置，确定移动平台在第二时刻时的实际位置。
具体的，可采用如下计算式得到移动平台在第二时刻时的实际位置：
Figure PCTCN2019100505-appb-000006
其中，P T为移动平台在第二时刻时的实际位置，P U为定位位置，
Figure PCTCN2019100505-appb-000007
为第二位置。
在一种可实现的技术方案中，移动平台上设置有供无人机采集图像用的定位标识。相应的，上述步骤1011“根据第一时刻采集的包含移动平台的第一视野图像及第一时刻时无人机的第一飞行参数中记录的飞行高度，计算第一时刻时移动平台相对于无人机的第一位置”，可具体采用如下步骤实现：
S11、对第一视野图像进行定位标识识别，得到定位标识的中心点在第一视野图像中的位置坐标；
S12、根据位置坐标及第一飞行参数中记录的飞行高度，计算第一位置。
具体的，位置坐标包括：水平面上X向坐标值α及Y向坐标值β。相应的，上述步骤S12可包括：
S121、根据飞行高度，得到移动平台与无人机间的垂直距离。
S122、将垂直距离作为预设转换函数的输入参数，计算转换函数得到转换系数。
上述转换函数可表征为如下公式：
Figure PCTCN2019100505-appb-000008
其中，K为转换系数，f 2()为转换函数， Uh T为垂直距离。由于移动平台的高度是一定值，将无人机的飞行高度减去移动平台的高度即可得到垂直距离。这里需要说明的是，转换函数f 2()的具体实现本实施例不作限定，该转换函数f 2()可基于现有技术推导得到。
S123、根据X向坐标值α及转换系数，确定移动平台在水平面的X向上相对于无人机的第一坐标。
例如，将X向坐标值α及转换系数(即上述步骤计算得到的K)的乘积，得到第一数值作为移动平台在水平面的X向上相对于无人机的第一坐标X T。具体可表征为如下的表达式：
Figure PCTCN2019100505-appb-000009
S124、根据Y向坐标值β及转换系数，确定移动平台在水平面的Y向上相对于无人机的第二坐标。
例如，将Y向坐标值β及转换系数(即上述步骤计算得到的K)的乘积，得到第二数值作为移动平台在水平面的Y向上相对于无人机的第二坐标Y T。具体可表征为如下的表达式：
Figure PCTCN2019100505-appb-000010
S125、根据第一坐标、第二坐标及垂直距离，得到第一位置。
具体的，第一位置可表征为如下的表达式：
Figure PCTCN2019100505-appb-000011
其中，
Figure PCTCN2019100505-appb-000012
为第一位置。
这里需要说明的是：上述步骤1012的实现过程同上述步骤1011，具体可参见上述内容。
当无人机和移动平台间的垂直距离较远时，相机视野内的定位标识完整，可识别出定位标识。当无人机和移动平台间的垂直距离较近时，相机视野内的定位标识可不完整。针对这类情况，本申请实施例提供一种定位标识，该定位标识包括：中心图案以及围绕在中心图案外围的几何图案，几何图案与中心图案构成完整图案。图2示出的定位标识的示例，完整图案由外围的方形和方形内的圆形组成，或者，由外围的方形、方形内的圆形及圆形内的十字交叉图形组成；中心图案由方形内的圆形组成或者由圆形内的十字交叉图形组成或者由上述圆形结合十字交叉图形组成。这样，当无人机和移动平台间的垂直距离较远时，可采用完整图形检测算法计算无人机与移动平台间的相对位置。在无人机和移动平台间的垂直距离较近时，可采用中心图案检测算法计算无人机与移动平台间的相对位置。其中，采用完整图形检测算法可简单理解为：对完整图案进行识别，并基于识别出的完整图案确定移动平台与无人机的相对位置；采用中心图案检测算法可简单理解为：仅对中心图案进行识别，并基于识别出的中心图案确定移动平台与无人机的相对位置。即，本申请实施例提供的方法还可包括如下步骤：
105、获取追踪过程中无人机的第三飞行参数。
106、根据第三飞行参数中记录的飞行高度，得到移动平台与无人机在竖直方向上的相对位置。
其中，移动平台与无人机在竖直方向上的相对位置即移动平台与无人机间的垂直距离。因移动平台的高度是定值，所以基于第三飞行参数中记录的飞行高度及移动平台的高度，即可得到移动平台与无人机间的垂直距离。
107、移动平台与无人机在竖直方向上的相对位置大于或等于预设阈值时，采用完整图案检测算法对追踪过程中采集到的视野图像中的完整图案进行检测，得到移动平台与无人机在水平方向上的相对位置。
其中，上述“采用完整图案检测算法对追踪过程中采集到的视野图像中的完整图案进行检测，得到移动平台与无人机在水平方向上的相对位置”，的具体实现过程同上述步骤S11和S12相似，即
对追踪过程中采集到的视野图像进行完整图案识别，得到完整图案的中心点在该追踪过程中采集到的视野图像中的位置坐标；然后根据该位置坐标及第三飞行参数中记录的飞行高度，计算得到移动平台与无人机在水平方向上的相对位置。该过程的具体实现原理可参见上文中的相应内容，此处不再赘述。
108、移动平台与无人机在竖直方向上的相对位置小于预设阈值时，采用中心图案检测算法对追踪过程中采集到的视野图像中的中心图案进行检测，得到移动平台与无人机在水平方向上的相对位置。
同样的，上述“采用中心图案检测算法对追踪过程中采集到的视野图像中的中心图案进行检测，得到移动平台与无人机在水平方向上的相对位置”的具体实现过程同上述步骤S11和S12相似，即
对追踪过程中采集到的视野图像进行中心图案识别，得到中心图案的中心点在该追踪过程中采集到的视野图像中的位置坐标；然后根据该位置坐标及第三飞行参数中记录的飞行高度，计算得到移动平台与无人机在水平方向上的相对位置。该过程的具体实现原理可参见上文中的相应内容，此处不再赘述。
进一步的，本实施例中步骤104“根据跟踪过程中移动平台与无人机的相对位置，控制无人机执行降落动作”，可具体包括：
移动平台与无人机在竖直方向上的相对位置不满足限定降落条件、移动平台与无人机在水平方向上的相对位置满足限定降落条件时，控制无人机降低飞行高度；
移动平台与无人机在竖直方向上的相对位置及移动平台与无人机在水平方向上的相对位置均不满足限定降落条件时，控制无人机维持飞行高度不变并继续跟踪移动平台；
移动平台与无人机在竖直方向上的相对位置及移动平台与无人机在水平方向上的相对位置均满足限定降落条件时，控制无人机关闭电机完成降落动作；
移动平台与无人机在竖直方向上的相对位置满足限定降落条件、移动平台与无人机在水平方向上的相对位置不满足限定降落条件时，控制无人机提升飞行高度至设定高度以重新启动自主降落流程。
其中，限定降落条件可包括：针对移动平台与无人机在竖直方向上的相对位置的第一限定条件，以及针对移动平台与无人机在水平方向上的相对位置的第二限定条件。第一限定条件和第二限定条件可基于经验得到或基于历史控制参数确定，本实施例对此不作具体限定。
由于移动平台是运动的，容易脱离相机视野，本实施例提供的技术方案通过任意两个时刻采集的视野图像及无人机的飞行参数预估移动平台的随时间变化的跟踪位置，然后根据预估的跟踪位置控制无人机跟踪移动平台。另外，本实施例提供的技术方案通过改进移动平台上的定位标识，使得在无人机与移动平台距离较近时不能采集到完整定位标识时，仅识别定位标识中的中心图案，从而实现无人机与移动平台在近距离条件下的降落控制，有助于提高降落的准确度。此外，本实施例提供的技术方案具有较好的通用性，对无人机的性能依赖性小；因仅需任意两个不同时刻采集的包含移动平台的视野图像以及无人机飞行参数来计算移动平台随时间变化的跟踪位置，图像识别运算量小。
图3示出了本申请一实施例提供的无人机控制装置的结构示意图。如图3所示，无人机控制装置包括存储器11及处理器12。其中，存储器11可被配置为存储其它各种数据以支持在无人机控制装置上的操作。这些数据的示例包括用于在无人机控制装置上操作的任何应用程序或方法的指令。存储器11可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
处理器12，与存储器11耦合，用于执行存储器11中存储的程序，以用于：
根据任意两个不同时刻采集的包含移动平台的视野图像以及无人机的飞行参数，确定移动平台的运行参数；
基于运行参数，计算移动平台随时间变化的跟踪位置；
根据移动平台随时间变化的跟踪位置，控制无人机跟踪移动平台；
根据跟踪过程中移动平台与无人机的相对位置，控制无人机执行降落动作。
进一步的，任意两个不同时刻分别为：第一时刻和第二时刻，第一时刻早于第二时刻，处理器，执行存储器中存储的程序，该程序执行如下处理：
根据第一时刻采集的包含移动平台的第一视野图像及第一时刻时无人机的第一飞行参数中记录的飞行高度，计算第一时刻时移动平台相对于无人机的第一位置；
根据第二时刻采集的包含移动平台的第二视野图像及第二时刻时无人机的第二飞行参数中记录的飞行高度，计算第二时刻时移动平台相对于无人机的第二位置；
根据第一位置、第二位置、第一时刻与第二时刻的时差，确定移动平台相对于无人机的速度；
根据移动平台相对于无人机的速度及第二飞行参数中记录的飞行速度，确定移动平台的移动速度；
根据第二位置及第二飞行参数中记录的定位位置，确定移动平台在第二时刻时的实际位置。
进一步的，移动平台上设置有供无人机采集图像用的定位标识，定位标识包括：中心图案以及围绕在中心图案外围的几何图案，几何图案与中心图案构成完整图案处理器，执行存储器中存储的程序，该程序执行如下处理：
获取追踪过程中无人机的第三飞行参数；
根据第三飞行参数中记录的飞行高度，得到移动平台与无人机在竖直方向上的相对位置；
在移动平台与无人机在竖直方向上的相对位置大于或等于预设阈值时，采用完整图案检测算法对追踪过程中采集到的视野图像中的完整图案进行检测，得到移动平台与无人机在水平方向上的相对位置；
在移动平台与无人机在竖直方向上的相对位置小于预设阈值时，采用中心图案检测算法对追踪过程中采集到的视野图像中的中心图案进行检测，得到移动平台与无人机在水平方向上的相对位置。
进一步的，处理器，执行存储器中存储的程序，该程序执行如下处理：
移动平台与无人机在竖直方向上的相对位置不满足限定降落条件、移动平台与无人机在水平方向上的相对位置满足限定降落条件时，控制无人机降低飞 行高度；
移动平台与无人机在竖直方向上的相对位置及移动平台与无人机在水平方向上的相对位置均不满足限定降落条件时，控制无人机维持飞行高度不变并继续跟踪移动平台；
移动平台与无人机在竖直方向上的相对位置及移动平台与无人机在水平方向上的相对位置均满足限定降落条件时，控制无人机关闭电机完成降落动作；
移动平台与无人机在竖直方向上的相对位置满足限定降落条件、移动平台与无人机在水平方向上的相对位置不满足限定降落条件时，控制无人机提升飞行高度至设定高度以重新启动自主降落流程。
本实施例提供的技术方案，根据任意两个不同时刻采集的包含移动平台的视野图像以及无人机的飞行参数，确定移动平台的运行参数进而基于运行参数计算出移动平台随时间变化的跟踪位置，而不用依赖于实时采集的视野图像，可有效降低无人机实时图像采集所带来的能耗，还能降低图像识别的计算量，对设备性能的依赖较小，通用性高；另外，一般情况下无人机的控制运算频率要高于视觉识别运算频率，本实施例提供的技术方案可有效避免因视觉识别运算频率低所带来的诸多问题，有助于提高无人机降落的准确度。
其中，处理器12在执行存储器11中的程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。
进一步的，如图3所示，无人机控制装置还包括：显示器14、通信组件13、电源组件15、音频组件16等其它组件。图3中仅示意性给出部分组件，并不意味着计算设备只包括图3所示组件。
相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被计算机执行时能够实现上述各实施例提供的无人机控制方法的步骤或功能。
图4示出了本申请一实施例提供的无人机的结构示意图。如图4所示，无人机包括：图像采集装置21、监测装置22及控制装置23。其中，图像采集装置21用于采集视野图像。图像采集装置21可包括但不限于：单目摄像头、双目摄像头或RGB-D相机等。监测装置22用于监测无人机的飞行参数。其中，飞行参数可包括：飞行高度(或与移动平台的垂直距离)、飞行速度、飞行姿态、定位位置等等，本实施例对此不作具体限定。监测装置22可包括但不限于：加 速度传感器、GPS、测距传感器等。控制装置23可直接选用上述实施例提供的检测装置实现，具体实现方案可参见上文中的相应内容，此次不再赘述。
本实施例提供的技术方案，根据任意两个不同时刻采集的包含移动平台的视野图像以及无人机的飞行参数，确定移动平台的运行参数进而基于运行参数计算出移动平台随时间变化的跟踪位置，而不用依赖于实时采集的视野图像，可有效降低无人机实时图像采集所带来的能耗，还能降低图像识别的计算量，对设备性能的依赖较小，通用性高；另外，一般情况下无人机的控制运算频率要高于视觉识别运算频率，本实施例提供的技术方案可有效避免因视觉识别运算频率低所带来的诸多问题，有助于提高无人机降落的准确度。
本申请的又一个实施例提供一种无人机系统。该无人机系统包括上述图4所示的无人机及移动平台。该移动平台用于停放无人机，还可为无人机提供充电服务等。具体实施时，移动平台上设置有供无人机采集图像用的定位标识，定位标识包括：中心图案以及围绕在中心图案外围的几何图案，几何图案与中心图案构成完整图案。如图2所示实例，完整图案由外围的方形和方形内的圆形组成，或者，由外围的方形、方形内的圆形及圆形内的十字交叉图形组成；中心图案由十字交叉图形组成。
通过在移动平台上设置上述结构的定位标识，可在无人机与移动平台距离较近时不能采集到完整图案时，仅识别定位标识中的中心图案，从而实现无人机与移动平台在近距离条件下的降落控制，有助于提高降落的准确度。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。

Claims (17)

  1. 一种无人机控制方法，其特征在于，包括：
    根据任意两个不同时刻采集的包含移动平台的视野图像以及无人机的飞行参数，确定所述移动平台的运行参数；
    基于所述运行参数，计算所述移动平台随时间变化的跟踪位置；
    根据所述移动平台随时间变化的跟踪位置，控制所述无人机跟踪所述移动平台；
    根据跟踪过程中所述移动平台与所述无人机的相对位置，控制所述无人机执行降落动作。
  2. 根据权利要求1所述的方法，其特征在于，所述运行参数包括：所述移动平台的移动速度及所述移动平台在一时刻时的实际位置。
  3. 根据权利要求1所述的方法，其特征在于，所述飞行参数包括定位位置、飞行速度、飞行方向、飞行姿态以及飞行高度中的一种或多种。
  4. 根据权利要求1所述的方法，其特征在于，还包括通过如下至少一种方式获取移动平台与所述无人机的相对位置：
    在移动平台上设置定位标识，识别一时刻下视野图像中定位标识，并检测定位标识的中心在图像中的位置坐标从而确定出该时刻移动平台相对无人机的位置；或者，
    通过实时比对同一时刻移动平台的跟踪位置及无人机的飞行参数中记录的定位位置得到移动平台与无人机相对位置；或者，
    基于跟踪过程中采集到的包含移动平台的视觉图像及无人机的飞行参数得到移动平台与无人机相对位置。
  5. 根据权利要求2所述的方法，其特征在于，所述任意两个不同时刻分别为：第一时刻和第二时刻，所述第一时刻早于所述第二时刻；以及
    根据任意两个不同时刻采集的包含移动平台的视野图像以及无人机的飞行参数，确定所述移动平台的运行参数，包括：
    根据所述第一时刻采集的包含所述移动平台的第一视野图像及所述第一时刻时所述无人机的第一飞行参数中记录的飞行高度，计算所述第一时刻时所述移动平台相对于所述无人机的第一位置；
    根据所述第二时刻采集的包含所述移动平台的第二视野图像及所述第二时刻时所述无人机的第二飞行参数中记录的飞行高度，计算所述第二时刻时所述 移动平台相对于所述无人机的第二位置；
    根据所述第一位置、所述第二位置、所述第一时刻与所述第二时刻的时差，确定所述移动平台相对于所述无人机的速度；
    根据所述移动平台相对于所述无人机的速度及所述第二飞行参数中记录的飞行速度，确定所述移动平台的所述移动速度；
    根据所述第二位置及所述第二飞行参数中记录的定位位置，确定所述移动平台在所述第二时刻时的实际位置。
  6. 根据权利要求5所述的方法，其特征在于，所述移动平台上设置有供所述无人机采集图像用的定位标识；以及
    根据所述第一时刻采集的包含所述移动平台的第一视野图像及所述第一时刻时所述无人机的第一飞行参数中记录的飞行高度，计算所述第一时刻时所述移动平台相对于所述无人机的第一位置，包括：
    对所述第一视野图像进行定位标识识别，得到所述定位标识的中心点在所述第一视野图像中的位置坐标；
    根据所述位置坐标及所述第一飞行参数中记录的飞行高度，计算所述第一位置。
  7. 根据权利要求6所述的方法，其特征在于，所述位置坐标包括：水平面上X向坐标值α及Y向坐标值β；以及
    根据所述位置坐标及所述第一飞行参数中记录的飞行高度，计算所述第一位置，包括：
    根据所述飞行高度，得到所述移动平台与所述无人机间的垂直距离；
    将所述垂直距离作为预设转换函数的输入参数，计算所述转换函数得到转换系数；
    根据所述X向坐标值α及所述转换系数，确定所述移动平台在水平面的X向上相对于所述无人机的第一坐标；
    根据所述Y向坐标值β及所述转换系数，确定所述移动平台在水平面的Y向上相对于所述无人机的第二坐标；
    根据所述第一坐标、所述第二坐标及所述垂直距离，得到所述第一位置。
  8. 根据权利要求1至7中任一项所述的方法，其特征在于，所述移动平台上设置有供所述无人机采集图像用的定位标识，所述定位标识包括：中心图案以及围绕在所述中心图案外围的几何图案，所述几何图案与所述中心图案构成完整图案；以及
    所述方法，还包括：
    获取追踪过程中所述无人机的第三飞行参数；
    根据所述第三飞行参数中记录的飞行高度，得到所述移动平台与所述无人机在竖直方向上的相对位置；
    在所述移动平台与所述无人机在竖直方向上的相对位置大于或等于预设阈值时，采用完整图案检测算法对所述追踪过程中采集到的视野图像中的完整图案进行检测，得到所述移动平台与所述无人机在水平方向上的相对位置；
    在所述移动平台与所述无人机在竖直方向上的相对位置小于所述预设阈值时，采用中心图案检测算法对所述追踪过程中采集到的视野图像中的中心图案进行检测，得到所述移动平台与所述无人机在水平方向上的相对位置。
  9. 根据权利要求1所述的方法，其特征在于，根据跟踪过程中所述移动平台与所述无人机的相对位置，控制所述无人机执行降落动作，包括：
    所述移动平台与所述无人机在竖直方向上的相对位置不满足限定降落条件、所述移动平台与所述无人机在水平方向上的相对位置满足限定降落条件时，控制所述无人机降低飞行高度；
    所述移动平台与所述无人机在竖直方向上的相对位置及所述移动平台与所述无人机在水平方向上的相对位置均不满足限定降落条件时，控制所述无人机维持飞行高度不变并继续跟踪所述移动平台；
    所述移动平台与所述无人机在竖直方向上的相对位置及所述移动平台与所述无人机在水平方向上的相对位置均满足限定降落条件时，控制所述无人机关闭电机完成降落动作；
    所述移动平台与所述无人机在竖直方向上的相对位置满足限定降落条件、所述移动平台与所述无人机在水平方向上的相对位置不满足限定降落条件时，控制所述无人机提升飞行高度至设定高度以重新启动自主降落流程。
  10. 根据权利要求5所述的方法，其特征在于，
    采用如下计算公式得到移动平台相对于无人机的速度 UV T：
    Figure PCTCN2019100505-appb-100001
    其中， UV T为移动平台相对无人机的速度，
    Figure PCTCN2019100505-appb-100002
    为第二位置，
    Figure PCTCN2019100505-appb-100003
    为第一位置，Δt 2为第一时刻与第二时刻的时差，
    Figure PCTCN2019100505-appb-100004
    为第二时刻，
    Figure PCTCN2019100505-appb-100005
    为第一时刻。
  11. 根据权利要求5所述的方法，其特征在于，
    采用如下计算式得到移动平台的移动速度：
    V T＝V U+ UV T
    其中，V T为移动平台的移动速度，V U为飞行速度， UV T为移动平台相对无人机的速度。
  12. 一种无人机，其特征在于，包括：
    图像采集装置，用于采集视野图像；
    监测装置，用于监测无人机的飞行参数；以及
    无人机控制装置，该无人机控制装置包括：存储器及处理器，其中，
    所述存储器，用于存储程序；
    所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于实现下述的无人机控制方法：
    根据任意两个不同时刻采集的包含移动平台的视野图像以及无人机的飞行参数，确定所述移动平台的运行参数；
    基于所述运行参数，计算所述移动平台随时间变化的跟踪位置；
    根据所述移动平台随时间变化的跟踪位置，控制所述无人机跟踪所述移动平台；
    根据跟踪过程中所述移动平台与所述无人机的相对位置，控制所述无人机执行降落动作。
  13. 根据权利要求12所述的无人机，其特征在于，所述任意两个不同时刻分别为：第一时刻和第二时刻，所述第一时刻早于所述第二时刻，所述处理器，执行所述存储器中存储的所述程序，该程序执行如下处理：
    根据所述第一时刻采集的包含所述移动平台的第一视野图像及所述第一时刻时所述无人机的第一飞行参数中记录的飞行高度，计算所述第一时刻时所述移动平台相对于所述无人机的第一位置；
    根据所述第二时刻采集的包含所述移动平台的第二视野图像及所述第二时刻时所述无人机的第二飞行参数中记录的飞行高度，计算所述第二时刻时所述移动平台相对于所述无人机的第二位置；
    根据所述第一位置、所述第二位置、所述第一时刻与所述第二时刻的时差，确定所述移动平台相对于所述无人机的速度；
    根据所述移动平台相对于所述无人机的速度及所述第二飞行参数中记录的飞行速度，确定所述移动平台的所述移动速度；
    根据所述第二位置及所述第二飞行参数中记录的定位位置，确定所述移动平台在所述第二时刻时的实际位置。
  14. 根据权利要求12所述的无人机，其特征在于，所述移动平台上设置有供所述无人机采集图像用的定位标识，所述定位标识包括：中心图案以及围绕在所述中心图案外围的几何图案，所述几何图案与所述中心图案构成完整图案所述处理器，执行所述存储器中存储的所述程序，该程序执行如下处理：
    获取追踪过程中所述无人机的第三飞行参数；
    根据所述第三飞行参数中记录的飞行高度，得到所述移动平台与所述无人机在竖直方向上的相对位置；
    在所述移动平台与所述无人机在竖直方向上的相对位置大于或等于预设阈值时，采用完整图案检测算法对所述追踪过程中采集到的视野图像中的完整图案进行检测，得到所述移动平台与所述无人机在水平方向上的相对位置；
    在所述移动平台与所述无人机在竖直方向上的相对位置小于所述预设阈值时，采用中心图案检测算法对所述追踪过程中采集到的视野图像中的中心图案进行检测，得到所述移动平台与所述无人机在水平方向上的相对位置。
  15. 根据权利要求12所述的无人机，其特征在于，所述处理器，执行所述存储器中存储的所述程序，该程序执行如下处理：
    所述移动平台与所述无人机在竖直方向上的相对位置不满足限定降落条件、所述移动平台与所述无人机在水平方向上的相对位置满足限定降落条件时，控制所述无人机降低飞行高度；
    所述移动平台与所述无人机在竖直方向上的相对位置及所述移动平台与所述无人机在水平方向上的相对位置均不满足限定降落条件时，控制所述无人机维持飞行高度不变并继续跟踪所述移动平台；
    所述移动平台与所述无人机在竖直方向上的相对位置及所述移动平台与所述无人机在水平方向上的相对位置均满足限定降落条件时，控制所述无人机关闭电机完成降落动作；
    所述移动平台与所述无人机在竖直方向上的相对位置满足限定降落条件、所述移动平台与所述无人机在水平方向上的相对位置不满足限定降落条件时，控制所述无人机提升飞行高度至设定高度以重新启动自主降落流程。
  16. 一种无人机系统，其特征在于，包括：移动平台及上述权利要求12所 述无人机。
  17. 根据权利要求16所述的无人机系统，其特征在于，所述移动平台上设置有供所述无人机采集图像用的定位标识，所述定位标识包括：中心图案以及围绕在所述中心图案外围的几何图案，所述几何图案与所述中心图案构成完整图案。
PCT/CN2019/100505 2019-03-13 2019-08-14 无人机控制方法、无人机及系统 WO2020181719A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/633,315 US11573576B2 (en) 2019-03-13 2019-08-14 Method for controlling a drone, drone and system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910188474.6A CN109947128B (zh) 2019-03-13 2019-03-13 无人机控制方法、无人机控制装置、无人机及系统
CN201910188474.6 2019-03-13

Publications (1)

Publication Number Publication Date
WO2020181719A1 true WO2020181719A1 (zh) 2020-09-17

Family

ID=67009726

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/100505 WO2020181719A1 (zh) 2019-03-13 2019-08-14 无人机控制方法、无人机及系统

Country Status (3)

Country Link
US (1) US11573576B2 (zh)
CN (1) CN109947128B (zh)
WO (1) WO2020181719A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220350349A1 (en) * 2020-01-09 2022-11-03 Autel Robotics Co,. Ltd. Unmanned aerial vehicle severe low-power protection method and unmanned aerial vehicle

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109947128B (zh) * 2019-03-13 2020-05-15 歌尔股份有限公司 无人机控制方法、无人机控制装置、无人机及系统
US11745870B1 (en) * 2019-03-15 2023-09-05 Alarm.Com Incorporated Surveillance with security camera drone
JP6929915B2 (ja) * 2019-10-11 2021-09-01 三菱重工業株式会社 航空機の位置制御システム、航空機および航空機の位置制御方法
CN111399542B (zh) * 2020-04-02 2024-01-30 重庆市亿飞智联科技有限公司 无人机降落方法、装置、存储介质、自动驾驶仪及无人机
CN111813148B (zh) * 2020-07-22 2024-01-26 广东工业大学 一种无人机降落方法、系统、设备和存储介质
CN112198884A (zh) * 2020-07-27 2021-01-08 北京理工大学 基于视觉引导的无人机移动平台降落方法
CN112269399A (zh) * 2020-11-06 2021-01-26 北京理工大学 应用于无人机的主动回收控制方法及装置
CN113657256B (zh) * 2021-08-16 2023-09-26 大连海事大学 一种无人艇载无人机海空协同视觉跟踪与自主回收方法
CN113776540B (zh) * 2021-11-09 2022-03-22 北京艾克利特光电科技有限公司 基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法
CN115033023B (zh) * 2022-06-30 2024-12-20 安徽工程大学 一种无人机精准着艇的控制方法及系统
WO2024054310A2 (en) * 2022-07-25 2024-03-14 Uavpatent Corp. Multi-drone systems and methods to improve inertial navigation
CN115793676A (zh) * 2022-10-27 2023-03-14 南京理工大学 一种面向移动平台的旋翼无人机视觉引导降落方法
CN116466741A (zh) * 2023-03-29 2023-07-21 江苏科技大学 一种基于单目测距的无人机停机坪自动降落方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100228408A1 (en) * 2005-09-14 2010-09-09 Tom Ford Helicopter ship board landing system
CN107240063A (zh) * 2017-07-04 2017-10-10 武汉大学 一种面向移动平台的旋翼无人机自主起降方法
CN107943073A (zh) * 2017-11-14 2018-04-20 歌尔股份有限公司 无人机起降方法、设备、系统及无人机
CN107943077A (zh) * 2017-11-24 2018-04-20 歌尔股份有限公司 一种无人机降落目标的追踪方法、装置和无人机
CN207408598U (zh) * 2017-09-09 2018-05-25 厦门大壮深飞科技有限公司 基于多模导航的无人机着陆引导系统
CN108459618A (zh) * 2018-03-15 2018-08-28 河南大学 一种无人机自动对移动平台投放的飞行控制系统及方法
CN108873930A (zh) * 2018-05-31 2018-11-23 苏州市启献智能科技有限公司 基于移动平台的无人机起降方法及系统
JP2018190362A (ja) * 2017-05-11 2018-11-29 大平電子株式会社 ドローンの着陸装置
CN109947128A (zh) * 2019-03-13 2019-06-28 歌尔股份有限公司 无人机控制方法、无人机控制装置、无人机及系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI277912B (en) * 2005-01-11 2007-04-01 Huper Lab Co Ltd Method for calculating a transform coordinate on a second video of an object having an object coordinate on a first video and related operation process and video surveillance system
CN102298389A (zh) * 2011-06-10 2011-12-28 清华大学 无人机起飞降落阶段的地面站全权接管控制系统
JP6062079B2 (ja) * 2014-05-30 2017-01-18 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 無人型航空輸送機（ｕａｖ）の動作を制御するための制御器および方法ならびに乗り物
CN107209521A (zh) * 2015-04-30 2017-09-26 深圳市大疆创新科技有限公司 通过磁场降落移动平台的系统和方法
CN105021184B (zh) * 2015-07-08 2017-10-24 西安电子科技大学 一种用于移动平台下视觉着舰导航的位姿估计系统及方法
US10061328B2 (en) * 2015-08-12 2018-08-28 Qualcomm Incorporated Autonomous landing and control
US9454154B1 (en) * 2016-03-07 2016-09-27 Amazon Technologies, Inc. Incident light sensor on autonomous vehicle
US10423167B2 (en) * 2016-04-25 2019-09-24 Uvionix Aerospace Corporation System and method for automated landing of an unmanned aerial vehicle
WO2017201697A1 (en) 2016-05-25 2017-11-30 SZ DJI Technology Co., Ltd. Techniques for image recognition-based aerial vehicle navigation
WO2018015959A1 (en) * 2016-07-21 2018-01-25 Vision Cortex Ltd. Systems and methods for automated landing of a drone
CN106225787B (zh) * 2016-07-29 2019-03-29 北方工业大学 一种无人机视觉定位方法
CN106527481A (zh) * 2016-12-06 2017-03-22 重庆零度智控智能科技有限公司 无人机飞行控制方法、装置及无人机
US11086337B2 (en) * 2017-06-20 2021-08-10 Planck Aerosystems Inc. Systems and methods for charging unmanned aerial vehicles on a moving platform
CN109383799A (zh) * 2017-08-07 2019-02-26 菜鸟智能物流控股有限公司 一种飞行器充电方法及相关装置
CN108657455B (zh) * 2018-04-27 2021-10-01 内蒙古工业大学 一种高压输电线路巡检的无人机自动收放装置
CN108873917A (zh) * 2018-07-05 2018-11-23 太原理工大学 一种面向移动平台的无人机自主着陆控制系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100228408A1 (en) * 2005-09-14 2010-09-09 Tom Ford Helicopter ship board landing system
JP2018190362A (ja) * 2017-05-11 2018-11-29 大平電子株式会社 ドローンの着陸装置
CN107240063A (zh) * 2017-07-04 2017-10-10 武汉大学 一种面向移动平台的旋翼无人机自主起降方法
CN207408598U (zh) * 2017-09-09 2018-05-25 厦门大壮深飞科技有限公司 基于多模导航的无人机着陆引导系统
CN107943073A (zh) * 2017-11-14 2018-04-20 歌尔股份有限公司 无人机起降方法、设备、系统及无人机
CN107943077A (zh) * 2017-11-24 2018-04-20 歌尔股份有限公司 一种无人机降落目标的追踪方法、装置和无人机
CN108459618A (zh) * 2018-03-15 2018-08-28 河南大学 一种无人机自动对移动平台投放的飞行控制系统及方法
CN108873930A (zh) * 2018-05-31 2018-11-23 苏州市启献智能科技有限公司 基于移动平台的无人机起降方法及系统
CN109947128A (zh) * 2019-03-13 2019-06-28 歌尔股份有限公司 无人机控制方法、无人机控制装置、无人机及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220350349A1 (en) * 2020-01-09 2022-11-03 Autel Robotics Co,. Ltd. Unmanned aerial vehicle severe low-power protection method and unmanned aerial vehicle
US11947366B2 (en) * 2020-01-09 2024-04-02 Autel Robotics Co., Ltd. Unmanned aerial vehicle severe low-power protection method and unmanned aerial vehicle

Also Published As

Publication number Publication date
US20210041896A1 (en) 2021-02-11
US11573576B2 (en) 2023-02-07
CN109947128A (zh) 2019-06-28
CN109947128B (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
WO2020181719A1 (zh) 无人机控制方法、无人机及系统
US11914370B2 (en) System and method for providing easy-to-use release and auto-positioning for drone applications
CN110262568B (zh) 一种基于目标跟踪的无人机避障方法、装置及无人机
WO2022094854A1 (zh) 农作物的生长监测方法、设备及存储介质
CN109443366B (zh) 一种基于改进q学习算法的无人机群路径规划方法
CN111615677B (zh) 一种无人机的安全降落方法、装置、无人机及介质
US10156854B2 (en) UAV and UAV landing control device and method
CN111178148B (zh) 一种基于无人机视觉系统的地面目标地理坐标定位方法
CN111932588A (zh) 一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法
CN108508916B (zh) 一种无人机编队的控制方法、装置、设备及存储介质
WO2021081774A1 (zh) 一种参数优化方法、装置及控制设备、飞行器
CN107544550A (zh) 一种基于视觉引导的无人机自动着陆方法
CN105182992A (zh) 无人机的控制方法、装置
CN108303995A (zh) 一种变电站巡检无人机飞行安全系统
CN114296483A (zh) 一种风力发电机不停机状态下的智能巡检方法及电子设备
WO2023272633A1 (zh) 无人机的控制方法、无人机、飞行系统及存储介质
CN113568427B (zh) 无人机自主着陆移动平台的方法及系统
CN114419095A (zh) 车机协同目标丢失跟踪方法、装置、设备及其存储介质
CN116343532B (zh) 一种基于数据分析的智能化组合式无人机管控系统
CN112639881A (zh) 距离测量方法、可移动平台、设备和存储介质
CN110968112A (zh) 一种基于单目视觉的无人机自主降落系统及方法
EP3728043B1 (en) Water surface detection method, unmanned aerial vehicle landing method and unmanned aerial vehicle
CN113221729B (zh) 一种基于手势人机交互的无人机集群控制方法及系统
Bhandary et al. Predictive precision of enhanced drone landings
WO2023173330A1 (zh) 无人机的飞行控制方法、装置、无人机以及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19918763

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19918763

Country of ref document: EP

Kind code of ref document: A1