WO2017045315A1 - 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统 - Google Patents

确定跟踪目标的位置信息的方法及装置、跟踪装置及系统 Download PDF

Info

Publication number
WO2017045315A1
WO2017045315A1 PCT/CN2015/100257 CN2015100257W WO2017045315A1 WO 2017045315 A1 WO2017045315 A1 WO 2017045315A1 CN 2015100257 W CN2015100257 W CN 2015100257W WO 2017045315 A1 WO2017045315 A1 WO 2017045315A1
Authority
WO
WIPO (PCT)
Prior art keywords
tracking target
determining
location information
data
vertical height
Prior art date
Application number
PCT/CN2015/100257
Other languages
English (en)
French (fr)
Inventor
周游
严嘉琪
张宏辉
赵丛
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN201580060689.XA priority Critical patent/CN107148639B/zh
Publication of WO2017045315A1 publication Critical patent/WO2017045315A1/zh
Priority to US15/922,023 priority patent/US10928838B2/en

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/785Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864T.V. type tracking systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12Target-seeking control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/12Bounding box
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Definitions

  • the present invention relates to the field of tracking technologies, and in particular, to a method and apparatus for determining location information of a tracking target, a tracking device, a drone, a tracking system, and a storage medium.
  • the vision-based follow-up scheme is generally controlled based on image information.
  • the attitude of the aerial camera is inconsistent with the attitude of the drone due to the use of the damping platform.
  • the drone is generally controlled by speed, position latitude and longitude or attitude angle data, and the target position based on the image information is a pixel point in the camera frame, and there is no direct correspondence between the two. Therefore, the use of images for follow-up, although to ensure that the target appears in the shooting picture, but often can not control the drone to keep up with the target.
  • the object of the present invention is to provide a method and device for determining location information of a tracking target, a tracking device, a drone, a tracking system and a storage medium, aiming at solving a large error of the existing tracking target method, resulting in poor tracking effect. problem.
  • the present invention provides a method for determining location information of a tracking target, including:
  • Determining the said data based on the vector data and current vertical height data of the imaging system Track distance information for the target.
  • the measurement point is a top measurement point and a bottom measurement point of a bounding box of the tracking target.
  • the measurement point is an aliquot that equally divides the vertical height of the tracking target.
  • the measurement point is an image feature point on the tracking target.
  • the parameter data includes a focus parameter, a calibration parameter, and an attitude parameter of the imaging system.
  • the imaging location information includes location information of the image plane projected by the measurement point to the imaging system.
  • the distance information includes real-time distance information of the tracking target and the imaging system.
  • the acquiring the vector data of the at least two direction vectors includes:
  • direction vector group includes a plurality of sets of vector sets of any two direction vectors
  • Determining the distance information of the tracking target according to the vector data and the current vertical height data of the imaging system includes:
  • the measurement point is a measurement point that bisects a vertical height of the tracking target, and the direction vector group includes a plurality of sets of vectors from the imaging system to the measurement point.
  • the performing weighted averaging on the set of distance information, and determining distance information of the tracking target includes:
  • the performing weighted averaging on the set of distance information, and determining distance information of the tracking target includes:
  • the magnitude of the weight is inversely proportional to the magnitude of the cosine of the included angle.
  • the performing weighted averaging on the set of distance information, and determining distance information of the tracking target includes:
  • the weight of the corresponding distance information is determined according to the angle between the measurement point and the horizontal direction, and the magnitude of the weight is inversely proportional to the magnitude of the square of the cosine of the included angle.
  • the acquiring the vector data of the at least two direction vectors includes:
  • the vector data of the direction vector is obtained, and the vector data is normalized.
  • it also includes:
  • the vertical height preset data is a vertical height of the tracking target obtained by pre-measurement.
  • the obtained vertical height of the tracking target is determined by the measurement point, the corresponding vector data, and the current vertical height data of the imaging system.
  • the method further includes:
  • the step of performing measurement is performed by redetermining at least two measurement points on the tracking target.
  • the method further includes:
  • the method further includes:
  • the current measurement result is corrected by using the vertical height preset data.
  • the correcting the current measurement result by using the vertical height preset data includes:
  • the bounding box of the tracking target is corrected by the top and/or bottom position coordinate data.
  • the first measurement point is a top measurement point or a bottom measurement point of a bounding box of the tracking target.
  • it also includes:
  • the flight parameters of the drone are controlled by the distance information.
  • the present invention also provides an apparatus for determining location information of a tracking target, comprising:
  • a measurement point determining module configured to determine at least two measurement points on the tracking target
  • a direction vector obtaining module configured to acquire vector data of at least two direction vectors by the imaging position information of the tracking target in the imaging system and the parameter data of the imaging system, where the direction vector is from the imaging system to the a vector of measurement points;
  • the distance information determining module is configured to determine distance information of the tracking target according to the vector data and current vertical height data of the imaging system.
  • the measurement point is a top measurement point and a bottom measurement point of a bounding box of the tracking target.
  • the measurement point is an aliquot that equally divides the vertical height of the tracking target.
  • the measurement point is an image feature point on the tracking target.
  • the parameter data includes a focus parameter, a calibration parameter, and an attitude parameter of the imaging system.
  • the imaging location information includes location information of the image plane projected by the measurement point to the imaging system.
  • the distance information includes real-time distance information of the tracking target and the imaging system.
  • the direction vector obtaining module is specifically configured to:
  • direction vector group includes a plurality of sets of vector sets of any two direction vectors
  • the distance information determining module includes:
  • a calculating unit configured to calculate distance information of the corresponding tracking target by using each set of the direction vectors to obtain a distance information set
  • the first determining unit is configured to perform weighted averaging on the set of distance information to determine distance information of the tracking target.
  • the measurement point is a measurement point that bisects a vertical height of the tracking target, and the direction vector group includes a plurality of sets of vectors from the imaging system to the measurement point.
  • the first determining unit is specifically configured to:
  • the first determining unit is specifically configured to:
  • the weight of the corresponding distance information is determined according to the angle between the measurement point and the horizontal direction, and the magnitude of the weight is inversely proportional to the magnitude of the cosine of the included angle.
  • the first determining unit is specifically configured to:
  • the weight of the corresponding distance information is determined according to the angle between the measurement point and the horizontal direction, and the magnitude of the weight is inversely proportional to the magnitude of the square of the cosine of the included angle.
  • the direction vector obtaining module is specifically configured to:
  • the vector data of the direction vector is obtained, and the vector data is normalized.
  • it also includes:
  • a comparison module configured to determine vertical height real-time measurement data of the tracking target according to the vector data and current vertical height data of the imaging system; compare the vertical height real-time measurement data with vertical height preset data, When the difference between the vertical height real-time measurement data and the vertical height preset data exceeds a preset threshold, it is determined that the current measurement result is inaccurate.
  • the vertical height preset data is a vertical height of the tracking target obtained by pre-measurement.
  • the obtained vertical height of the tracking target is determined by the measurement point, the corresponding vector data, and the current vertical height data of the imaging system.
  • it also includes:
  • the first re-measurement module is configured to: after determining that the current measurement result is inaccurate, re-determine at least two measurement points on the tracking target, and perform a measurement step.
  • it also includes:
  • the second retest module is configured to: after determining that the current measurement result is inaccurate, jump out of the current detection image to detect the next image.
  • it also includes:
  • a correction module configured to correct the current measurement result by using the vertical height preset data after determining that the current measurement result is inaccurate.
  • the calibration module includes:
  • An acquiring unit configured to acquire first vector data of a direction vector of the first measurement point
  • a second determining unit configured to determine top and/or bottom position coordinate data of the tracking target according to the vertical height preset data and the first vector data
  • a correcting unit configured to correct a bounding box of the tracking target by using the top and/or bottom position coordinate data.
  • the first measurement point is a top measurement point or a bottom measurement point of a bounding box of the tracking target.
  • the present invention also provides a tracking device comprising a camera, a carrier, a communication device, and any of the above-described devices for determining location information of a tracking target.
  • aerial vehicles e.g., robots or mobile devices.
  • the present invention also provides a drone, comprising any of the above-described means for determining location information of a tracking target.
  • the present invention also provides a tracking system comprising a control unit for performing the steps of any of the above methods for determining location information of a tracking target.
  • the present invention also provides a storage medium for storing instructions for performing the steps of any of the above methods for determining location information of a tracking target.
  • the method and device for determining position information of a tracking target provided by the present invention, determining at least two measurement points on the tracking target; acquiring at least two direction vectors by tracking imaging position information of the imaging system in the imaging system and parameter data of the imaging system Vector data; determining distance information of the tracking target based on the vector data and the current vertical height data of the imaging system.
  • the invention utilizes computer vision to calculate the position information of the target in real time through the image information captured by the imaging system, and further can detect the minimum circumscribed rectangle (Boundingbox) including the tracking target in the tracking process.
  • the error deviation gives better position information when the tracking algorithm has a certain deviation, which enhances the robustness and stability of the system and improves the effect of automatic tracking.
  • the present invention also provides a tracking device, a drone, a tracking system, and a storage medium.
  • FIG. 1 is a flowchart of a specific implementation manner of a method for determining location information of a tracking target according to the present invention
  • FIG. 2 is a schematic diagram of a calculation process in a specific implementation manner of a method for determining location information of a tracking target according to the present invention
  • FIG. 3 is a schematic diagram of another specific implementation manner of a method for determining location information of a tracking target according to the present invention.
  • FIG. 4 is a structural block diagram of a specific implementation manner of an apparatus for determining location information of a tracking target according to the present invention.
  • the core of the invention is to provide a method and device for determining location information of a tracking target, a tracking device, a drone, a tracking system and a storage medium.
  • FIG. 1 A specific implementation manner of a method for determining location information of a tracking target provided by the present invention
  • the flow chart is shown in Figure 1. The method includes:
  • Step S101 determining at least two measurement points on the tracking target
  • the measurement point may specifically be a top measurement point of the boundary frame of the tracking target and a bottom measurement point, such as a top center measurement point and a bottom center measurement point.
  • the bounding box specifically represents the minimum circumscribed rectangle (Boundingbox) containing the tracking target, and the number of measuring points in this embodiment is two.
  • the measuring point can also be specifically divided into equal points of the vertical height of the tracking target by n (n ⁇ 2), and the number of measuring points in this embodiment is n+1.
  • the measurement point may also be an image feature point on the tracking target.
  • the number of measurement points may be two or more than two.
  • Step S102 Acquire, by the imaging position information of the tracking target in the imaging system and parameter data of the imaging system, vector data of at least two direction vectors, where the direction vector is from the imaging system to the measurement point vector;
  • the parameter data in the above steps may include: a focus parameter of the imaging system, a calibration parameter, and a posture parameter.
  • the imaging position information may specifically be position information of a measurement point projected onto an image plane of the imaging system.
  • the direction vector may specifically be a vector from the optical center of the imaging system to the measurement point.
  • Step S103 Determine distance information of the tracking target according to the vector data and current vertical height data of the imaging system.
  • the distance information may specifically be real-time distance information of the tracking target and the imaging system.
  • the method of the present invention can be specifically used in an unmanned aerial vehicle system.
  • the imaging system is placed inside the drone to capture the tracking target in real time.
  • the current vertical height of the imaging system is the current vertical height of the drone.
  • the specific value can be obtained by inertial sensor or GPS on the drone.
  • the imaging system can also be located on other carriers for tracking the target, and the vertical height data can also be obtained by using a corresponding measuring device, and is not limited to this manner.
  • the distance information of the tracking target can be calculated through the coordinate system transformation and the triangular relationship.
  • the obtained distance information of the tracking target can be used for tracking control of the imaging system.
  • the flight of the drone can be controlled to keep the position of the tracking target and the current drone within the preset tracking range.
  • the current moving speed of the tracking target can be calculated, thereby adjusting the speed of the imaging system.
  • the flight parameters such as the yaw angle of the drone can be controlled according to the amount of change of the tracking target on the x-axis and the y-axis.
  • the method for determining position information of a tracking target determines at least two measurement points on the tracking target; and acquires vector data of at least two direction vectors by tracking imaging position information of the imaging system in the imaging system and parameter data of the imaging system Determining the distance information of the tracking target based on the vector data and the current vertical height data of the imaging system.
  • the invention utilizes computer vision to calculate the position information of the target in real time through the image information captured by the imaging system, and further can detect the error deviation of the minimum circumscribed rectangle (Boundingbox) including the tracking target in the tracking process, and the tracking algorithm has a certain deviation. In the case of giving better position information, the system's robustness and stability are enhanced, and the effect of automatic tracking is improved.
  • FIG. 2 a schematic diagram of the calculation process.
  • C denotes the optical center of the imaging system
  • CA denotes the optical axis of the imaging system
  • TB denotes the tracking target.
  • the O-point is used as the origin to establish the XYZ first coordinate system.
  • the coordinate value of point B is expressed as (x b , y b , z b ), and the coordinate value of point T is expressed as (x t , y t , z t ).
  • IP represents the image plane of the imaging system, and the UV second coordinate system is established in the image plane.
  • T'B' denotes imaging information of the tracking target TB projected onto the image plane, wherein the B' point coordinate value is expressed as (u b , v b ), and the T' point coordinate value is expressed as (u t , v t ).
  • the direction vector of the measurement point T from the optical center C of the imaging system to the top of the tracking target It can be expressed as:
  • K represents the intrinsic matrix of the imaging system and R represents the rotation matrix.
  • the horizontal distance between the tracking target and the imaging system is:
  • the real-time measurement data of the vertical height of the tracking target is:
  • the current vertical height data of the imaging system the focal length parameter, the calibration parameter and the attitude parameter of the imaging system, and the obtained direction vector
  • the horizontal distance between the tracking target and the imaging system and the vertical height real-time measurement data of the tracking target can be calculated.
  • the relative positional relationship between the target and itself is determined, thereby controlling the aircraft to perform tracking.
  • this method of position measurement relies too much on the detection accuracy of the tracking algorithm. If there is a deviation in the minimum circumscribed rectangle (Boundingbox) containing the tracking target due to various reasons during the tracking process, such as reflection, insufficient or excessive exposure of the image, occlusion of the target, etc., the measured position will be caused. The information error is large, which leads to the deterioration of the tracking effect of the aircraft on the target.
  • the above calculation method can similarly calculate the vertical between any two measurement points. distance. Then, by measuring the relationship between the measuring point and the vertical height of the tracking target, the vertical height real-time measurement data of the tracking target can be calculated. If the measurement point is a measurement point that bisects the tracking target, calculate the vertical distance between the measurement points, and directly multiply by 2 to obtain the vertical height real-time measurement data of the tracking target.
  • the measurement points of the tracking target can be determined by tracking the points on the target, the image feature points, and the like, instead of merely tracking the top point and the bottom point on the target bounding box. In this way, when there is occlusion at the top or bottom of the tracking target, you can still get The distance information is obtained to achieve continuous tracking of the target, which further improves the tracking effect.
  • the corresponding direction vector may be a combination of direction vectors of two or two combinations. The specific embodiments thereof are described in further detail below.
  • a plurality of measurement points are taken on the unit height vector of the tracking target, and are connected to the optical center in the imaging system to form a plurality of direction vectors, and a vector set composed of any two direction vectors is used as a method vector group.
  • the distance information of the corresponding tracking target can be separately calculated by each set of direction vectors to obtain a distance information set
  • the distance information set is weighted averaged to determine the distance information of the tracking target.
  • the measurement point may be an equal division point of the vertical height of the target tracking target.
  • the measurement point may be an equal division point of the vertical height of the target tracking target.
  • the process of weighting the distance information set may be: determining a weight of the corresponding distance information according to an angle between the measurement point and the horizontal direction, and when the first angle is greater than the second angle, the first angle corresponds to The first weight is smaller than the second weight corresponding to the second angle. That is, the larger the angle between the measurement point and the horizontal direction, the smaller the weight of the corresponding distance information.
  • the process of determining the weight may determine the weight of the corresponding distance information according to the angle between the measurement point and the horizontal direction, and the magnitude of the weight is inversely proportional to the magnitude of the cosine of the angle, or the magnitude of the weight. It is inversely proportional to the magnitude of the square of the cosine of the included angle.
  • Other embodiments may be used, and are not limited to the two mentioned, as long as the angle between the measurement point and the horizontal direction is larger, and the weight of the corresponding distance information is smaller.
  • the method further includes: performing the vector data Normalized processing.
  • the method for determining the location information of the tracking target provided by the present invention may further include: after obtaining the vertical height real-time measurement data:
  • the vertical height real-time measurement data is compared with the vertical height preset data. When the difference between the vertical height real-time measurement data and the vertical height preset data exceeds a preset threshold, it is determined that the current measurement result is inaccurate.
  • the vertical height preset data may be a vertical height data of a more accurate tracking target determined by the method of the present invention at the time of initialization. Since the measurement result is accurate at the time of initialization, and the tracking target is on the ground and near the ground, the vertical height data can be used as the vertical height preset data of the tracking target. Or the vertical height preset data of the tracking target is obtained in advance, and the vertical height preset data of the tracking target can also be obtained by other real-time measurement methods.
  • the vertical height of the tracking target is a fixed value and does not change with time. Therefore, if the difference between the currently measured vertical height real-time measurement data and the vertical height preset data exceeds a preset threshold, it is determined that the measurement result is inaccurate.
  • the embodiment of the present invention may further re-measure the tracking target. Specifically, any one of the above measurement methods may be performed by redetermining at least two measurement points on the tracking target in the current image. It is also possible to jump out of the current detected image and detect the next image to determine the position information of the tracking target.
  • the embodiment of the present invention may further include a process of correcting the current measurement result by using the vertical height preset data.
  • a specific implementation of the process can be:
  • the first measurement point may be a top measurement point or a bottom measurement point of a boundary frame of the tracking target.
  • the theoretical value of the direction of the top of the tracking target at this time can be calculated according to the vertical height preset data and the top measurement point of the current time tracking target. Then, the target top direction quantity measured by the tracking algorithm is compared, and the measurement result can be corrected.
  • the tracking deviation can be effectively monitored to obtain more accurate position information.
  • the method provided by the present invention can be applied to aircrafts, robots, and other movable devices with camera functions and intelligent systems. .
  • the method proposed by the invention can be used as an algorithm to run on a smart device capable of acquiring control and image of an aerial vehicle, such as a smart remote controller, a mobile phone, a tablet, a PC, etc., or can be integrated into a module device to be placed on an aerial vehicle.
  • a smart device capable of acquiring control and image of an aerial vehicle, such as a smart remote controller, a mobile phone, a tablet, a PC, etc., or can be integrated into a module device to be placed on an aerial vehicle.
  • the apparatus for determining the location information of the tracking target provided by the embodiment of the present invention is described below.
  • the apparatus for determining the location information of the tracking target described below and the method for determining the location information of the tracking target described above may refer to each other.
  • the apparatus for determining location information of a tracking target according to FIG. 4 may include:
  • a measurement point determining module 100 configured to determine at least two measurement points on the tracking target
  • a direction vector obtaining module 200 configured to acquire vector data of at least two direction vectors by using the imaging position information of the tracking target in the imaging system and the parameter data of the imaging system, where the direction vector is from the imaging system to a vector of the measurement points;
  • the distance information determining module 300 is configured to determine distance information of the tracking target according to the vector data and current vertical height data of the imaging system.
  • the measurement point is a top measurement point and a bottom measurement point of a bounding box of the tracking target.
  • the measurement point is an equal division point that bisects the vertical height of the tracking target.
  • the measurement point is an image feature point on the tracking target.
  • the parameter data includes a focal length parameter, a calibration parameter, and a posture parameter of the imaging system.
  • the imaging location information includes location information of the image plane projected by the measurement point to the imaging system.
  • the distance information includes real-time distance information of the tracking target and the imaging system.
  • the direction vector obtaining module 200 is specifically configured to:
  • direction vector group includes a plurality of sets of vector sets of any two direction vectors
  • the distance information determining module 300 includes:
  • a calculating unit configured to calculate distance information of the corresponding tracking target by using each set of the direction vectors to obtain a distance information set
  • the first determining unit is configured to perform weighted averaging on the set of distance information to determine distance information of the tracking target.
  • the measurement point is a measurement point that bisects a vertical height of the tracking target, and the direction vector group includes multiple groups by the imaging system. A vector to the measurement point.
  • the first determining unit is specifically configured to:
  • the first determining unit is specifically configured to:
  • the weight of the corresponding distance information is determined according to the angle between the measurement point and the horizontal direction, and the magnitude of the weight is inversely proportional to the magnitude of the cosine of the included angle.
  • the first determining unit is specifically configured to:
  • the weight of the corresponding distance information is determined according to the angle between the measurement point and the horizontal direction, and the magnitude of the weight is inversely proportional to the magnitude of the square of the cosine of the included angle.
  • the direction vector obtaining module 200 is specifically configured to:
  • the vector data of the direction vector is obtained, and the vector data is normalized.
  • the apparatus for determining the location information of the tracking target provided by the present invention further includes:
  • a comparison module configured to determine vertical height real-time measurement data of the tracking target according to the vector data and current vertical height data of the imaging system; compare the vertical height real-time measurement data with vertical height preset data, When the difference between the vertical height real-time measurement data and the vertical height preset data exceeds a preset threshold, it is determined that the current measurement result is inaccurate.
  • the vertical height preset data is a vertical height of the tracking target obtained by pre-measurement.
  • the vertical height preset data is initialized, and the measurement point, corresponding vector data, and current vertical height data of the imaging system are adopted. And determining the obtained vertical height of the tracking target.
  • the apparatus for determining the location information of the tracking target provided by the present invention further includes:
  • the first re-measurement module is configured to: after determining that the current measurement result is inaccurate, re-determine at least two measurement points on the tracking target, and perform a measurement step.
  • the apparatus for determining the location information of the tracking target provided by the present invention further includes:
  • the second retest module is configured to: after determining that the current measurement result is inaccurate, jump out of the current detection image to detect the next image.
  • the apparatus for determining the location information of the tracking target provided by the present invention further includes:
  • a correction module configured to correct the current measurement result by using the vertical height preset data after determining that the current measurement result is inaccurate.
  • the calibration module includes:
  • An acquiring unit configured to acquire first vector data of a direction vector of the first measurement point
  • a second determining unit configured to determine top and/or bottom position coordinate data of the tracking target according to the vertical height preset data and the first vector data
  • a correcting unit configured to correct a bounding box of the tracking target by using the top and/or bottom position coordinate data.
  • the first measurement point is a top measurement point or a bottom measurement point of a bounding box of the tracking target.
  • the apparatus for determining position information of a tracking target determines at least two measurement points on the tracking target; and acquires vector data of at least two direction vectors by tracking imaging position information of the imaging system in the imaging system and parameter data of the imaging system Determining the distance information of the tracking target based on the vector data and the current vertical height data of the imaging system.
  • the invention utilizes computer vision to calculate the position information of the target in real time through the image information captured by the imaging system, and further can detect the error deviation of the minimum circumscribed rectangle (Boundingbox) including the tracking target in the tracking process, and the tracking algorithm has a certain deviation. In the case of giving better position information, the system's robustness and stability are enhanced, and the effect of automatic tracking is improved.
  • the present invention also provides a tracking device comprising a camera, a carrier, a communication device, and any of the above-described devices for determining location information of a tracking target.
  • the tracking device can be used in particular for aerial vehicles, robots or mobile devices.
  • the tracking system provides a small delay position information feedback for the drone's tracking control of the target.
  • the present invention also provides a drone, comprising any of the above-described means for determining location information of a tracking target.
  • the present invention also provides a tracking system comprising a control unit for performing the steps of the method for determining location information of a tracking target provided by the present invention.
  • the present invention also provides a storage medium for storing instructions for performing the steps of the method for determining location information of a tracking target provided by the present invention.
  • the steps of a method or algorithm described in connection with the embodiments disclosed herein can be implemented directly in hardware, a software module executed by a processor, or a combination of both.
  • the software module can be placed in random access memory (RAM), memory, read only memory (ROM), electrically programmable ROM, electrically erasable programmable ROM, registers, hard disk, removable disk, CD-ROM, or technical field. Any other form of storage medium known.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Selective Calling Equipment (AREA)

Abstract

一种确定跟踪目标的位置信息的方法及装置、跟踪装置、无人机、跟踪系统及存储介质。所述确定跟踪目标的位置信息的方法包括:确定所述跟踪目标上至少两个测量点(S101);通过所述跟踪目标在成像系统的成像位置信息以及所述成像系统的参数数据,获取至少两个方向向量的向量数据,所述方向向量为由所述成像系统至所述测量点的向量(S102);根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的距离信息(S103)。通过成像系统拍摄的图像信息,实时计算目标的位置信息,进一步还可以检测跟踪过程中包含跟踪目标的最小外切矩形的误偏差,在跟踪算法有一定偏差的情况下给出较好的位置信息,增强了系统的鲁棒性、稳定性,提升了自动跟拍的效果。

Description

确定跟踪目标的位置信息的方法及装置、跟踪装置及系统
本申请要求于2015年9月15日提交、国际申请号为PCT/CN2015/089594、发明名称为“SYSTEM AND METHOD FOR SUPPORTING SMOOTH TARGET FOLLOWING”的国际专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本发明涉及跟踪技术领域,特别是涉及一种确定跟踪目标的位置信息的方法及装置、跟踪装置、无人机、跟踪系统及存储介质。
背景技术
目前基于视觉的跟拍方案,一般是基于图像信息来控制的。而在实际应用中,由于使用了减震平台,航拍相机的姿态与无人机的姿态并不一致。且无人机一般采用速度、位置经纬度或者姿态角度数据来进行控制,而基于图像信息得出的目标位置为相机画幅中的像素点,二者并无直接的对应关系。故使用图像进行跟拍,虽然保障了目标在拍摄画面中出现,但常常不能控制无人机跟上目标。
发明内容
本发明的目的是提供一种确定跟踪目标的位置信息的方法及装置、跟踪装置、无人机、跟踪系统及存储介质,目的在于解决现有跟踪目标的方法误差较大,导致跟踪效果差的问题。
为解决上述技术问题,本发明提供一种确定跟踪目标的位置信息的方法,包括:
确定所述跟踪目标上至少两个测量点;
通过所述跟踪目标在成像系统的成像位置信息以及所述成像系统的参数数据,获取至少两个方向向量的向量数据,所述方向向量为由所述成像系统至所述测量点的向量;
根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述 跟踪目标的距离信息。
可选地,所述测量点为所述跟踪目标的边界框的顶部测量点以及底部测量点。
可选地,所述测量点为等分所述跟踪目标的垂直高度的等分点。
可选地,所述测量点为所述跟踪目标上的图像特征点。
可选地,所述参数数据包括所述成像系统的焦距参数、标定参数以及姿态参数。
可选地,所述成像位置信息包括所述测量点投影到所述成像系统的像平面的位置信息。
可选地,所述距离信息包括所述跟踪目标与所述成像系统的实时距离信息。
可选地,所述获取至少两个方向向量的向量数据包括:
获取方向向量组,所述方向向量组包括多组任意两个方向向量所组成的向量集合;
所述根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的距离信息包括:
通过每组所述方向向量分别计算对应的跟踪目标的距离信息,得到距离信息集合;
对所述距离信息集合进行加权平均,确定所述跟踪目标的距离信息。
可选地,所述测量点为等分所述跟踪目标的垂直高度的测量点,所述方向向量组包括多组由所述成像系统至所述测量点的向量。
可选地,所述对所述距离信息集合进行加权平均,确定所述跟踪目标的距离信息包括:
根据所述测量点与水平方向的夹角确定对应的距离信息的权值,当第一夹角大于第二夹角时,所述第一夹角对应的第一权值小于所述第二夹角对应的第二权值。
可选地,所述对所述距离信息集合进行加权平均,确定所述跟踪目标的距离信息包括:
根据所述测量点与水平方向的夹角确定对应的距离信息的权值,所述 权值的大小与所述夹角的余弦值的大小呈反比。
可选地,所述对所述距离信息集合进行加权平均,确定所述跟踪目标的距离信息包括:
根据所述测量点与水平方向的夹角确定对应的距离信息的权值,所述权值的大小与所述夹角的余弦的平方值的大小呈反比。
可选地,所述获取至少两个方向向量的向量数据包括:
获取所述方向向量的向量数据,对所述向量数据进行归一化处理。
可选地,还包括:
根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的垂直高度实时测量数据;
将所述垂直高度实时测量数据与垂直高度预设数据进行比较,当所述垂直高度实时测量数据与所述垂直高度预设数据的差值超过预设阈值时,确定当前测量结果不准确。
可选地,所述垂直高度预设数据为预先测量获取得到的所述跟踪目标的垂直高度。
可选地,所述垂直高度预设数据为初始化时,通过所述测量点、对应的向量数据以及所述成像系统的当前垂直高度数据,确定得到的所述跟踪目标的垂直高度。
可选地,在所述确定当前测量结果不准确之后还包括:
重新确定所述跟踪目标上至少两个测量点,执行测量的步骤。
可选地,在所述确定当前测量结果不准确之后还包括:
跳出当前检测图像,对下一幅图像进行检测。
可选地,在所述确定当前测量结果不准确之后还包括:
采用所述垂直高度预设数据对当前测量结果进行校正。
可选地,所述采用所述垂直高度预设数据对当前测量结果进行校正包括:
获取第一测量点的方向向量的第一向量数据;
根据所述垂直高度预设数据以及所述第一向量数据,确定所述跟踪目标的顶部和/或底部位置坐标数据;
通过所述顶部和/或底部位置坐标数据,对所述跟踪目标的边界框进行校正。
可选地,所述第一测量点为所述跟踪目标的边界框的顶部测量点或底部测量点。
可选地,还包括:
通过所述距离信息对无人机的飞行参数进行控制。
本发明还提供了一种确定跟踪目标的位置信息的装置,包括:
测量点确定模块,用于确定所述跟踪目标上至少两个测量点;
方向向量获取模块,用于通过所述跟踪目标在成像系统的成像位置信息以及所述成像系统的参数数据,获取至少两个方向向量的向量数据,所述方向向量为由所述成像系统至所述测量点的向量;
距离信息确定模块,用于根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的距离信息。
可选地,所述测量点为所述跟踪目标的边界框的顶部测量点以及底部测量点。
可选地,所述测量点为等分所述跟踪目标的垂直高度的等分点。
可选地,所述测量点为所述跟踪目标上的图像特征点。
可选地,所述参数数据包括所述成像系统的焦距参数、标定参数以及姿态参数。
可选地,所述成像位置信息包括所述测量点投影到所述成像系统的像平面的位置信息。
可选地,所述距离信息包括所述跟踪目标与所述成像系统的实时距离信息。
可选地,所述方向向量获取模块具体用于:
获取方向向量组,所述方向向量组包括多组任意两个方向向量所组成的向量集合;
所述距离信息确定模块包括:
计算单元,用于通过每组所述方向向量分别计算对应的跟踪目标的距离信息,得到距离信息集合;
第一确定单元,用于对所述距离信息集合进行加权平均,确定所述跟踪目标的距离信息。
可选地,所述测量点为等分所述跟踪目标的垂直高度的测量点,所述方向向量组包括多组由所述成像系统至所述测量点的向量。
可选地,所述第一确定单元具体用于:
根据所述测量点与水平方向的夹角确定对应的距离信息的权值,当第一夹角大于第二夹角时,所述第一夹角对应的第一权值小于所述第二夹角对应的第二权值。
可选地,所述第一确定单元具体用于:
根据所述测量点与水平方向的夹角确定对应的距离信息的权值,所述权值的大小与所述夹角的余弦值的大小呈反比。
可选地,所述第一确定单元具体用于:
根据所述测量点与水平方向的夹角确定对应的距离信息的权值,所述权值的大小与所述夹角的余弦的平方值的大小呈反比。
可选地,所述方向向量获取模块具体用于:
获取所述方向向量的向量数据,对所述向量数据进行归一化处理。
可选地,还包括:
比较模块,用于根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的垂直高度实时测量数据;将所述垂直高度实时测量数据与垂直高度预设数据进行比较,当所述垂直高度实时测量数据与所述垂直高度预设数据的差值超过预设阈值时,确定当前测量结果不准确。
可选地,所述垂直高度预设数据为预先测量获取得到的所述跟踪目标的垂直高度。
可选地,所述垂直高度预设数据为初始化时,通过所述测量点、对应的向量数据以及所述成像系统的当前垂直高度数据,确定得到的所述跟踪目标的垂直高度。
可选地,还包括:
第一重测模块,用于在确定当前测量结果不准确之后,重新确定所述跟踪目标上至少两个测量点,执行测量的步骤。
可选地,还包括:
第二重测模块,用于在确定当前测量结果不准确之后,跳出当前检测图像,对下一幅图像进行检测。
可选地,还包括:
校正模块,用于在确定当前测量结果不准确之后,采用所述垂直高度预设数据对当前测量结果进行校正。
可选地,所述校正模块包括:
获取单元,用于获取第一测量点的方向向量的第一向量数据;
第二确定单元,用于根据所述垂直高度预设数据以及所述第一向量数据,确定所述跟踪目标的顶部和/或底部位置坐标数据;
校正单元,用于通过所述顶部和/或底部位置坐标数据,对所述跟踪目标的边界框进行校正。
可选地,所述第一测量点为所述跟踪目标的边界框的顶部测量点或底部测量点。
本发明还提供了一种跟踪装置,包括照相机、载体、通信装置以及上述任一种确定跟踪目标的位置信息的装置。
可选地,具体用于航拍飞行器、机器人或可移动设备。
本发明还提供了一种无人机,包括上述任一种确定跟踪目标的位置信息的装置。
本发明还提供了一种跟踪系统,包括控制单元,用于执行上述任一种确定跟踪目标的位置信息的方法的步骤。
本发明还提供了一种存储介质,用于存储指令,所述指令用于执行上述任一种确定跟踪目标的位置信息的方法的步骤。
本发明所提供的确定跟踪目标的位置信息的方法及装置,确定跟踪目标上至少两个测量点;通过跟踪目标在成像系统的成像位置信息以及成像系统的参数数据,获取至少两个方向向量的向量数据;根据向量数据以及成像系统的当前垂直高度数据,确定跟踪目标的距离信息。本发明利用计算机视觉,通过成像系统拍摄的图像信息,实时计算目标的位置信息,进一步还可以检测跟踪过程中包含跟踪目标的最小外切矩形(Boundingbox) 的误偏差,在跟踪算法有一定偏差的情况下给出较好的位置信息,增强了系统的鲁棒性、稳定性,提升了自动跟拍的效果。此外,本发明还提供了一种跟踪装置、无人机、跟踪系统及存储介质。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所提供的确定跟踪目标的位置信息的方法的一种具体实施方式的流程图;
图2为本发明所提供的确定跟踪目标的位置信息的方法的一种具体实施方式中计算过程示意图;
图3为本发明所提供的确定跟踪目标的位置信息的方法的另一种具体实施方式的示意图;
图4为本发明所提供的确定跟踪目标的位置信息的装置的一种具体实施方式的结构框图。
具体实施方式
为了能控制无人机实现对目标的自动跟踪,需要能够解算出目标的相对位置信息。本发明的核心是提供一种确定跟踪目标的位置信息的方法及装置、跟踪装置、无人机、跟踪系统及存储介质。
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明所提供的确定跟踪目标的位置信息的方法的一种具体实施方式 的流程图如图1所示,该方法包括:
步骤S101:确定所述跟踪目标上至少两个测量点;
作为一种具体实施方式,测量点具体可以为跟踪目标的边界框的顶部测量点以及底部测量点,例如顶部中心测量点以及底部中心测量点。需要指出的是,边界框具体表示包含跟踪目标的最小外切矩形(Boundingbox),该实施方式中测量点的数量为两个。
测量点还可以具体为n(n≥2)等分跟踪目标的垂直高度的等分点,该实施方式中测量点的数量为n+1个。
此外,测量点还可以为跟踪目标上的图像特征点,该实施方式中测量点的数量可以为两个或多于两个。
步骤S102:通过所述跟踪目标在成像系统的成像位置信息以及所述成像系统的参数数据,获取至少两个方向向量的向量数据,所述方向向量为由所述成像系统至所述测量点的向量;
上述步骤中参数数据可以包括:成像系统的焦距参数、标定参数以及姿态参数。成像位置信息具体可以为测量点投影到成像系统的像平面的位置信息。方向向量具体可以为由成像系统的光心到测量点的向量。
步骤S103:根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的距离信息。
距离信息具体可以为跟踪目标与成像系统的实时距离信息。
需要指出的是,本发明方法可具体用于无人机系统中。成像系统置于无人机内部,对跟踪目标进行实时拍摄。
在此实施方式中,成像系统的当前垂直高度即为无人机的当前垂直高度。其具体数值可以通过无人机上的惯性传感器或GPS获取得到。当然成像系统也可以位于其他载体上,用于对目标进行跟踪,其垂直高度数据也可以采用对应的测量装置得到,并不限于此种方式。
通过成像系统的当前垂直高度数据,成像系统的焦距参数、标定参数以及姿态参数,以及获取到的方向向量,通过坐标系变换以及三角关系,便可以计算出跟踪目标的距离信息。
通过得到的跟踪目标的距离信息,可用于成像系统进行跟踪控制。当 成像系统位于无人机系统时,可对无人机的飞行进行控制,以使跟踪目标与当前无人机的位置保持在预设跟踪范围之内。
通过获取一段时间内的跟踪目标的距离信息值,可以计算得到跟踪目标的当期移动速度,从而对成像系统的速度进行调整。
此外,进一步地,还可以根据跟踪目标在x轴、y轴的变化量,来控制无人机的偏航角等飞行参数。
本发明所提供的确定跟踪目标的位置信息的方法,确定跟踪目标上至少两个测量点;通过跟踪目标在成像系统的成像位置信息以及成像系统的参数数据,获取至少两个方向向量的向量数据;根据向量数据以及成像系统的当前垂直高度数据,确定跟踪目标的距离信息。本发明利用计算机视觉,通过成像系统拍摄的图像信息,实时计算目标的位置信息,进一步还可以检测跟踪过程中包含跟踪目标的最小外切矩形(Boundingbox)的误偏差,在跟踪算法有一定偏差的情况下给出较好的位置信息,增强了系统的鲁棒性、稳定性,提升了自动跟拍的效果。
下面对测量点为跟踪目标的边界框的顶部测量点以及底部测量点时,本发明所提供的确定跟踪目标的位置信息的方法的具体实施过程进行进一步详细阐述。请参照图2计算过程示意图所示,图中C表示成像系统的光心,CA表示成像系统的光轴,TB表示跟踪目标。以O点为原点,建立XYZ第一坐标系。B点坐标值表示为(xb,yb,zb),T点坐标值表示为(xt,yt,zt)。IP表示成像系统的像平面,在像平面建立UV第二坐标系。T’B’表示跟踪目标TB投影到像平面的成像信息,其中,B’点坐标值表示为(ub,vb),T’点坐标值表示为(ut,vt)。
根据上述描述,由成像系统的光心C至跟踪目标的顶部测量点T的方向向量
Figure PCTCN2015100257-appb-000001
可以表示为:
Figure PCTCN2015100257-appb-000002
由成像系统的光心C至跟踪目标的顶部测量点B的方向向量
Figure PCTCN2015100257-appb-000003
可以表示为:
Figure PCTCN2015100257-appb-000004
其中,K表示成像系统的固有矩阵,R表示旋转矩阵。
跟踪目标与成像系统的水平距离为:
Figure PCTCN2015100257-appb-000005
跟踪目标的垂直高度实时测量数据为:
Figure PCTCN2015100257-appb-000006
其中,
Figure PCTCN2015100257-appb-000007
可见,通过成像系统的当前垂直高度数据,成像系统的焦距参数、标定参数以及姿态参数,以及获取到的方向向量
Figure PCTCN2015100257-appb-000008
通过坐标系变换以及三角关系,便可以计算出跟踪目标与成像系统的水平距离以及跟踪目标的垂直高度实时测量数据。
本实施例根据跟踪算法产生的包含跟踪目标的最小外切矩形(Boundingbox)的大小尺寸,以及位置来判定目标与自身的相对位置关系,从而控制飞行器进行跟踪。但这种位置测量的方法过于依赖跟踪算法的检测精度。若跟踪过程中由于各种各样的原因导致包含跟踪目标的最小外切矩形(Boundingbox)出现偏差,例如反光、图像的曝光不足或过度、目标被遮挡等等原因,将会导致测量出的位置信息误差较大,从而导致飞行器对目标的跟踪效果变差。
鉴于此,在上述实施例的基础上,当测量点为等分跟踪目标的垂直高度的等分点或图像特征点时,通过上述计算方法同理可以计算出任意两个测量点之间的垂直距离。再通过测量点与跟踪目标的垂直高度之间的关系,即可计算得到跟踪目标的垂直高度实时测量数据。如测量点为将跟踪目标二等分的测量点,计算到测量点之间的垂直距离后,直接乘以2即可得到跟踪目标的垂直高度实时测量数据。
本实施例中可以通过跟踪目标上的等分点、图像特征点等测量点,而不仅仅必须通过跟踪目标边界框上的顶部点以及底部点,来确定跟踪目标的距离信息。这样,当跟踪目标的顶部或者底部出现遮挡时,仍然能够得 到其距离信息,从而实现对目标的连续跟踪,进一步提升了跟踪的效果。
当测量点的数量多于两个时,对应的方向向量可以为两两组合的方向向量组。下面对其具体实施方式进行进一步详细描述。
在跟踪目标的单位高度向量上取多个测量点,与成像系统中的光心连接成为多个方向向量,任意两个方向向量所组成的向量集合作为方法向量组。
这样,通过每组方向向量可以分别计算对应的跟踪目标的距离信息,得到距离信息集合;
对距离信息集合进行加权平均,确定跟踪目标的距离信息。
如图3本发明所提供的确定跟踪目标的位置信息的方法的另一种具体实施方式的示意图所示,在本实施例中测量点可以为等分跟踪目标的垂直高度的等分点。当然也可以为跟踪目标的图像特征点,对应的方向向量可以两两组合为方向向量组。
进一步地,对距离信息集合进行加权的过程可以为:根据测量点与水平方向的夹角确定对应的距离信息的权值,当第一夹角大于第二夹角时,第一夹角对应的第一权值小于第二夹角对应的第二权值。即,测量点与水平方向的夹角越大,对应的距离信息的权值越小。
具体地,上述确定权值的过程可以根据所述测量点与水平方向的夹角确定对应的距离信息的权值,权值的大小与夹角的余弦值的大小呈反比,或者权值的大小与夹角的余弦的平方值的大小呈反比。其他实施方式均可,并不限于提到的这两种,只要满足测量点与水平方向的夹角越大,对应的距离信息的权值越小的关系即可。
进一步地,在通过测量点与水平方向的夹角的余弦值的平方值确定权值的大小时,由于所有点的余弦平方值相加并不等于1,因此需进行归一化,即将结果除以所有夹角的余弦平方和的值。
通过权值的设置,能够得到更为稳定、可靠的目标位置信息,进一步减少了计算的误差。
在获取方向向量的向量数据之后还可以进一步包括:对向量数据进行 归一化处理。
进一步地,本发明所提供的确定跟踪目标的位置信息的方法在得到垂直高度实时测量数据后还可以进一步包括:
根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的垂直高度实时测量数据;
将垂直高度实时测量数据与垂直高度预设数据进行比较,当垂直高度实时测量数据与垂直高度预设数据的差值超过预设阈值时,确定当前测量结果不准确。
其中,垂直高度预设数据可以为在初始化时,通过本发明方法确定的较为准确的跟踪目标的垂直高度数据。由于初始化时测量结果较为准确,且跟踪目标处于地面及近地面,该垂直高度数据可以作为跟踪目标的垂直高度预设数据。或者预先获取跟踪目标的垂直高度预设数据,还可以通过其他实时测量方法得到跟踪目标的垂直高度预设数据。
在此,假定跟踪目标的垂直高度为一个固定值,不随着时间发生变化。因此,若当前测量得到的垂直高度实时测量数据与垂直高度预设数据的差值超过预设阈值时,确定该测量结果不准确。
当确定测量结果不准确之后,本发明实施例还可以进一步重新对跟踪目标进行测算。具体可以为在当前图像中重新确定跟踪目标上的至少两个测量点,执行上述任一种测量方法。还可以跳出当前检测图像,对下一幅图像进行检测,以确定跟踪目标的位置信息。
当确定测量结果不准确之后,本发明实施例还可以进一步包括采用垂直高度预设数据对当前测量结果进行校正的过程。
该过程的一种具体实施方式可以为:
获取第一测量点的方向向量的第一向量数据;
根据垂直高度预设数据以及第一向量数据,确定跟踪目标的顶部和/或底部位置坐标数据;
通过所述顶部和/或底部位置坐标数据,对所述跟踪目标的边界框进行 校正。
作为一种具体实施方式,上述第一测量点可以为跟踪目标的边界框的顶部测量点或底部测量点。例如,可根据垂直高度预设数据以及当前时刻跟踪目标的顶部测量点,即可计算得到此时跟踪目标的顶部的方向量理论值。再与跟踪算法测算出的目标顶部方向量进行比对,即可对其测量结果进行校正。
通过将实时测到的数据与理论值进行比较,对实时测到的数据进行校正,能够有效监测跟踪的偏差,以得到较为准确的位置信息。
需要指出的是,本发明所提供的方法可适用于飞行器、机器人,其他带有摄像功能和智能系统的可移动设备也同样适用。。
本发明提出的方法,可作为算法,在可以获取航拍飞行器控制权与图像的智能设备上运行,如智能遥控器、手机、平板、PC等设备,也可集成为模块装置置于航拍飞行器上。
下面对本发明实施例提供的确定跟踪目标的位置信息的装置进行介绍,下文描述的确定跟踪目标的位置信息的装置与上文描述的确定跟踪目标的位置信息的方法可相互对应参照。
图4为本发明实施例提供的确定跟踪目标的位置信息的装置的结构框图,参照图4确定跟踪目标的位置信息的装置可以包括:
测量点确定模块100,用于确定所述跟踪目标上至少两个测量点;
方向向量获取模块200,用于通过所述跟踪目标在成像系统的成像位置信息以及所述成像系统的参数数据,获取至少两个方向向量的向量数据,所述方向向量为由所述成像系统至所述测量点的向量;
距离信息确定模块300,用于根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的距离信息。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述测量点为所述跟踪目标的边界框的顶部测量点以及底部测量点。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述测量点为等分所述跟踪目标的垂直高度的等分点。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述测量点为所述跟踪目标上的图像特征点。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述参数数据包括所述成像系统的焦距参数、标定参数以及姿态参数。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述成像位置信息包括所述测量点投影到所述成像系统的像平面的位置信息。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述距离信息包括所述跟踪目标与所述成像系统的实时距离信息。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述方向向量获取模块200具体用于:
获取方向向量组,所述方向向量组包括多组任意两个方向向量所组成的向量集合;
所述距离信息确定模块300包括:
计算单元,用于通过每组所述方向向量分别计算对应的跟踪目标的距离信息,得到距离信息集合;
第一确定单元,用于对所述距离信息集合进行加权平均,确定所述跟踪目标的距离信息。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述测量点为等分所述跟踪目标的垂直高度的测量点,所述方向向量组包括多组由所述成像系统至所述测量点的向量。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述第一确定单元具体用于:
根据所述测量点与水平方向的夹角确定对应的距离信息的权值,当第一夹角大于第二夹角时,所述第一夹角对应的第一权值小于所述第二夹角对应的第二权值。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述第一确定单元具体用于:
根据所述测量点与水平方向的夹角确定对应的距离信息的权值,所述权值的大小与所述夹角的余弦值的大小呈反比。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述第一确定单元具体用于:
根据所述测量点与水平方向的夹角确定对应的距离信息的权值,所述权值的大小与所述夹角的余弦的平方值的大小呈反比。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述方向向量获取模块200具体用于:
获取所述方向向量的向量数据,对所述向量数据进行归一化处理。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,还包括:
比较模块,用于根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的垂直高度实时测量数据;将所述垂直高度实时测量数据与垂直高度预设数据进行比较,当所述垂直高度实时测量数据与所述垂直高度预设数据的差值超过预设阈值时,确定当前测量结果不准确。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述垂直高度预设数据为预先测量获取得到的所述跟踪目标的垂直高度。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述垂直高度预设数据为初始化时,通过所述测量点、对应的向量数据以及所述成像系统的当前垂直高度数据,确定得到的所述跟踪目标的垂直高度。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,还包括:
第一重测模块,用于在确定当前测量结果不准确之后,重新确定所述跟踪目标上至少两个测量点,执行测量的步骤。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,还包括:
第二重测模块,用于在确定当前测量结果不准确之后,跳出当前检测图像,对下一幅图像进行检测。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,还包括:
校正模块,用于在确定当前测量结果不准确之后,采用所述垂直高度预设数据对当前测量结果进行校正。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述校正模块包括:
获取单元,用于获取第一测量点的方向向量的第一向量数据;
第二确定单元,用于根据所述垂直高度预设数据以及所述第一向量数据,确定所述跟踪目标的顶部和/或底部位置坐标数据;
校正单元,用于通过所述顶部和/或底部位置坐标数据,对所述跟踪目标的边界框进行校正。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述第一测量点为所述跟踪目标的边界框的顶部测量点或底部测量点。
本发明所提供的确定跟踪目标的位置信息的装置,确定跟踪目标上至少两个测量点;通过跟踪目标在成像系统的成像位置信息以及成像系统的参数数据,获取至少两个方向向量的向量数据;根据向量数据以及成像系统的当前垂直高度数据,确定跟踪目标的距离信息。本发明利用计算机视觉,通过成像系统拍摄的图像信息,实时计算目标的位置信息,进一步还可以检测跟踪过程中包含跟踪目标的最小外切矩形(Boundingbox)的误偏差,在跟踪算法有一定偏差的情况下给出较好的位置信息,增强了系统的鲁棒性、稳定性,提升了自动跟拍的效果。
此外,本发明还提供了一种跟踪装置,包括照相机、载体、通信装置以及上述任一种确定跟踪目标的位置信息的装置。
该跟踪装置可以具体用于航拍飞行器、机器人或可移动设备。
当用于航拍飞行器时,依靠飞行高度、相机姿态以及参数数据,就能够通过拍摄到的图像信息计算出较为稳定的目标位置信息,计算简单快速,适用于对实时性要求较高的无人机跟拍系统,为无人机对目标的跟踪控制提供了微小延迟的位置信息反馈。
本发明还提供了一种无人机,包括上述任一种确定跟踪目标的位置信息的装置。
本发明还提供了一种跟踪系统,包括控制单元,用于执行本发明所提供的确定跟踪目标的位置信息的方法的步骤。
本发明还提供了一种存储介质,用于存储指令,其指令用于执行本发明所提供的确定跟踪目标的位置信息的方法的步骤。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的确定跟踪目标的位置信息的方法及装置、跟踪装置、无人机、跟踪系统及存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (48)

  1. 一种确定跟踪目标的位置信息的方法,其特征在于,包括:
    确定所述跟踪目标上至少两个测量点;
    通过所述跟踪目标在成像系统的成像位置信息以及所述成像系统的参数数据,获取至少两个方向向量的向量数据,所述方向向量为由所述成像系统至所述测量点的向量;
    根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的距离信息。
  2. 如权利要求1所述的确定跟踪目标的位置信息的方法,其特征在于,所述测量点为所述跟踪目标的边界框的顶部测量点以及底部测量点。
  3. 如权利要求1所述的确定跟踪目标的位置信息的方法,其特征在于,所述测量点为等分所述跟踪目标的垂直高度的等分点。
  4. 如权利要求1所述的确定跟踪目标的位置信息的方法,其特征在于,所述测量点为所述跟踪目标上的图像特征点。
  5. 如权利要求1所述的确定跟踪目标的位置信息的方法,其特征在于,所述参数数据包括所述成像系统的焦距参数、标定参数以及姿态参数。
  6. 如权利要求1所述的确定跟踪目标的位置信息的方法,其特征在于,所述成像位置信息包括所述测量点投影到所述成像系统的像平面的位置信息。
  7. 如权利要求1所述的确定跟踪目标的位置信息的方法,其特征在于,所述距离信息包括所述跟踪目标与所述成像系统的实时距离信息。
  8. 如权利要求1所述的确定跟踪目标的位置信息的方法,其特征在于,所述获取至少两个方向向量的向量数据包括:
    获取方向向量组,所述方向向量组包括多组任意两个方向向量所组成的向量集合;
    所述根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的距离信息包括:
    通过每组所述方向向量分别计算对应的跟踪目标的距离信息,得到距离信息集合;
    对所述距离信息集合进行加权平均,确定所述跟踪目标的距离信息。
  9. 如权利要求8所述的确定跟踪目标的位置信息的方法,其特征在于,所述测量点为等分所述跟踪目标的垂直高度的测量点,所述方向向量组包括多组由所述成像系统至所述测量点的向量。
  10. 如权利要求8所述的确定跟踪目标的位置信息的方法,其特征在于,所述对所述距离信息集合进行加权平均,确定所述跟踪目标的距离信息包括:
    根据所述测量点与水平方向的夹角确定对应的距离信息的权值,当第一夹角大于第二夹角时,所述第一夹角对应的第一权值小于所述第二夹角对应的第二权值。
  11. 如权利要求10所述的确定跟踪目标的位置信息的方法,其特征在于,所述对所述距离信息集合进行加权平均,确定所述跟踪目标的距离信息包括:
    根据所述测量点与水平方向的夹角确定对应的距离信息的权值,所述权值的大小与所述夹角的余弦值的大小呈反比。
  12. 如权利要求10所述的确定跟踪目标的位置信息的方法,其特征在于,所述对所述距离信息集合进行加权平均,确定所述跟踪目标的距离信息包括:
    根据所述测量点与水平方向的夹角确定对应的距离信息的权值,所述权值的大小与所述夹角的余弦的平方值的大小呈反比。
  13. 如权利要求1所述的确定跟踪目标的位置信息的方法,其特征在于,所述获取至少两个方向向量的向量数据包括:
    获取所述方向向量的向量数据,对所述向量数据进行归一化处理。
  14. 如权利要求7所述的确定跟踪目标的位置信息的方法,其特征在于,还包括:
    根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的垂直高度实时测量数据;
    将所述垂直高度实时测量数据与垂直高度预设数据进行比较,当所述垂直高度实时测量数据与所述垂直高度预设数据的差值超过预设阈值时, 确定当前测量结果不准确。
  15. 如权利要求14所述的确定跟踪目标的位置信息的方法,其特征在于,所述垂直高度预设数据为预先测量获取得到的所述跟踪目标的垂直高度。
  16. 如权利要求14所述的确定跟踪目标的位置信息的方法,其特征在于,所述垂直高度预设数据为初始化时,通过所述测量点、对应的向量数据以及所述成像系统的当前垂直高度数据,确定得到的所述跟踪目标的垂直高度。
  17. 如权利要求14所述的确定跟踪目标的位置信息的方法,其特征在于,在所述确定当前测量结果不准确之后还包括:
    重新确定所述跟踪目标上至少两个测量点,执行测量的步骤。
  18. 如权利要求14所述的确定跟踪目标的位置信息的方法,其特征在于,在所述确定当前测量结果不准确之后还包括:
    跳出当前检测图像,对下一幅图像进行检测。
  19. 如权利要求14所述的确定跟踪目标的位置信息的方法,其特征在于,在所述确定当前测量结果不准确之后还包括:
    采用所述垂直高度预设数据对当前测量结果进行校正。
  20. 如权利要求19所述的确定跟踪目标的位置信息的方法,其特征在于,所述采用所述垂直高度预设数据对当前测量结果进行校正包括:
    获取第一测量点的方向向量的第一向量数据;
    根据所述垂直高度预设数据以及所述第一向量数据,确定所述跟踪目标的顶部和/或底部位置坐标数据;
    通过所述顶部和/或底部位置坐标数据,对所述跟踪目标的边界框进行校正。
  21. 如权利要求20所述的确定跟踪目标的位置信息的方法,其特征在于,所述第一测量点为所述跟踪目标的边界框的顶部测量点或底部测量点。
  22. 如权利要求1至21任一项所述的确定跟踪目标的位置信息的方法,其特征在于,还包括:
    通过所述距离信息对无人机的飞行参数进行控制。
  23. 一种确定跟踪目标的位置信息的装置,其特征在于,包括:
    测量点确定模块,用于确定所述跟踪目标上至少两个测量点;
    方向向量获取模块,用于通过所述跟踪目标在成像系统的成像位置信息以及所述成像系统的参数数据,获取至少两个方向向量的向量数据,所述方向向量为由所述成像系统至所述测量点的向量;
    距离信息确定模块,用于根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的距离信息。
  24. 如权利要求23所述的确定跟踪目标的位置信息的装置,其特征在于,所述测量点为所述跟踪目标的边界框的顶部测量点以及底部测量点。
  25. 如权利要求23所述的确定跟踪目标的位置信息的装置,其特征在于,所述测量点为等分所述跟踪目标的垂直高度的等分点。
  26. 如权利要求23所述的确定跟踪目标的位置信息的装置,其特征在于,所述测量点为所述跟踪目标上的图像特征点。
  27. 如权利要求23所述的确定跟踪目标的位置信息的装置,其特征在于,所述参数数据包括所述成像系统的焦距参数、标定参数以及姿态参数。
  28. 如权利要求23所述的确定跟踪目标的位置信息的装置,其特征在于,所述成像位置信息包括所述测量点投影到所述成像系统的像平面的位置信息。
  29. 如权利要求23所述的确定跟踪目标的位置信息的装置,其特征在于,所述距离信息包括所述跟踪目标与所述成像系统的实时距离信息。
  30. 如权利要求23所述的确定跟踪目标的位置信息的装置,其特征在于,所述方向向量获取模块具体用于:
    获取方向向量组,所述方向向量组包括多组任意两个方向向量所组成的向量集合;
    所述距离信息确定模块包括:
    计算单元,用于通过每组所述方向向量分别计算对应的跟踪目标的距离信息,得到距离信息集合;
    第一确定单元,用于对所述距离信息集合进行加权平均,确定所述跟踪目标的距离信息。
  31. 如权利要求30所述的确定跟踪目标的位置信息的装置,其特征在于,所述测量点为等分所述跟踪目标的垂直高度的测量点,所述方向向量组包括多组由所述成像系统至所述测量点的向量。
  32. 如权利要求30所述的确定跟踪目标的位置信息的装置,其特征在于,所述第一确定单元具体用于:
    根据所述测量点与水平方向的夹角确定对应的距离信息的权值,当第一夹角大于第二夹角时,所述第一夹角对应的第一权值小于所述第二夹角对应的第二权值。
  33. 如权利要求32所述的确定跟踪目标的位置信息的装置,其特征在于,所述第一确定单元具体用于:
    根据所述测量点与水平方向的夹角确定对应的距离信息的权值,所述权值的大小与所述夹角的余弦值的大小呈反比。
  34. 如权利要求32所述的确定跟踪目标的位置信息的装置,其特征在于,所述第一确定单元具体用于:
    根据所述测量点与水平方向的夹角确定对应的距离信息的权值,所述权值的大小与所述夹角的余弦的平方值的大小呈反比。
  35. 如权利要求23所述的确定跟踪目标的位置信息的装置,其特征在于,所述方向向量获取模块具体用于:
    获取所述方向向量的向量数据,对所述向量数据进行归一化处理。
  36. 如权利要求29所述的确定跟踪目标的位置信息的装置,其特征在于,还包括:
    比较模块,用于根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的垂直高度实时测量数据;将所述垂直高度实时测量数据与垂直高度预设数据进行比较,当所述垂直高度实时测量数据与所述垂直高度预设数据的差值超过预设阈值时,确定当前测量结果不准确。
  37. 如权利要求36所述的确定跟踪目标的位置信息的装置,其特征在于,所述垂直高度预设数据为预先测量获取得到的所述跟踪目标的垂直高度。
  38. 如权利要求36所述的确定跟踪目标的位置信息的装置,其特征在 于,所述垂直高度预设数据为初始化时,通过所述测量点、对应的向量数据以及所述成像系统的当前垂直高度数据,确定得到的所述跟踪目标的垂直高度。
  39. 如权利要求36所述的确定跟踪目标的位置信息的装置,其特征在于,还包括:
    第一重测模块,用于在确定当前测量结果不准确之后,重新确定所述跟踪目标上至少两个测量点,执行测量的步骤。
  40. 如权利要求36所述的确定跟踪目标的位置信息的装置,其特征在于,还包括:
    第二重测模块,用于在确定当前测量结果不准确之后,跳出当前检测图像,对下一幅图像进行检测。
  41. 如权利要求36所述的确定跟踪目标的位置信息的装置,其特征在于,还包括:
    校正模块,用于在确定当前测量结果不准确之后,采用所述垂直高度预设数据对当前测量结果进行校正。
  42. 如权利要求41所述的确定跟踪目标的位置信息的装置,其特征在于,所述校正模块包括:
    获取单元,用于获取第一测量点的方向向量的第一向量数据;
    第二确定单元,用于根据所述垂直高度预设数据以及所述第一向量数据,确定所述跟踪目标的顶部和/或底部位置坐标数据;
    校正单元,用于通过所述顶部和/或底部位置坐标数据,对所述跟踪目标的边界框进行校正。
  43. 如权利要求42所述的确定跟踪目标的位置信息的装置,其特征在于,所述第一测量点为所述跟踪目标的边界框的顶部测量点或底部测量点。
  44. 一种跟踪装置,其特征在于,包括照相机、载体、通信装置以及如权利要求23至43任一项所述的确定跟踪目标的位置信息的装置。
  45. 如权利要求44所述的跟踪装置,其特征在于,具体用于航拍飞行器、机器人或可移动设备。
  46. 一种无人机,其特征在于,包括如权利要求23至43任一项所述 的确定跟踪目标的位置信息的装置。
  47. 一种跟踪系统,其特征在于,包括控制单元,用于执行如权利要求1至22任一项所述的确定跟踪目标的位置信息的方法的步骤。
  48. 一种存储介质,其特征在于,用于存储指令,所述指令用于执行如权利要求1至22任一项所述的确定跟踪目标的位置信息的方法的步骤。
PCT/CN2015/100257 2015-09-15 2015-12-31 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统 WO2017045315A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201580060689.XA CN107148639B (zh) 2015-09-15 2015-12-31 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统
US15/922,023 US10928838B2 (en) 2015-09-15 2018-03-15 Method and device of determining position of target, tracking device and tracking system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/CN2015/089594 WO2017045116A1 (en) 2015-09-15 2015-09-15 System and method for supporting smooth target following
CNPCT/CN2015/089594 2015-09-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/922,023 Continuation US10928838B2 (en) 2015-09-15 2018-03-15 Method and device of determining position of target, tracking device and tracking system

Publications (1)

Publication Number Publication Date
WO2017045315A1 true WO2017045315A1 (zh) 2017-03-23

Family

ID=58288098

Family Applications (3)

Application Number Title Priority Date Filing Date
PCT/CN2015/089594 WO2017045116A1 (en) 2015-09-15 2015-09-15 System and method for supporting smooth target following
PCT/CN2015/093459 WO2017045251A1 (en) 2015-09-15 2015-10-30 Systems and methods for uav interactive instructions and control
PCT/CN2015/100257 WO2017045315A1 (zh) 2015-09-15 2015-12-31 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统

Family Applications Before (2)

Application Number Title Priority Date Filing Date
PCT/CN2015/089594 WO2017045116A1 (en) 2015-09-15 2015-09-15 System and method for supporting smooth target following
PCT/CN2015/093459 WO2017045251A1 (en) 2015-09-15 2015-10-30 Systems and methods for uav interactive instructions and control

Country Status (5)

Country Link
US (6) US20190011921A1 (zh)
EP (2) EP3353706A4 (zh)
JP (1) JP6735821B2 (zh)
CN (7) CN107209854A (zh)
WO (3) WO2017045116A1 (zh)

Families Citing this family (249)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10257729B2 (en) 2013-03-15 2019-04-09 DGS Global Systems, Inc. Systems, methods, and devices having databases for electronic spectrum management
US10231206B2 (en) 2013-03-15 2019-03-12 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management for identifying signal-emitting devices
US10257728B2 (en) 2013-03-15 2019-04-09 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management
US10219163B2 (en) 2013-03-15 2019-02-26 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management
US8750156B1 (en) 2013-03-15 2014-06-10 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management for identifying open space
US10237770B2 (en) 2013-03-15 2019-03-19 DGS Global Systems, Inc. Systems, methods, and devices having databases and automated reports for electronic spectrum management
US10299149B2 (en) 2013-03-15 2019-05-21 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management
US11646918B2 (en) 2013-03-15 2023-05-09 Digital Global Systems, Inc. Systems, methods, and devices for electronic spectrum management for identifying open space
US10244504B2 (en) 2013-03-15 2019-03-26 DGS Global Systems, Inc. Systems, methods, and devices for geolocation with deployable large scale arrays
US10257727B2 (en) 2013-03-15 2019-04-09 DGS Global Systems, Inc. Systems methods, and devices having databases and automated reports for electronic spectrum management
US9078162B2 (en) 2013-03-15 2015-07-07 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management
US10271233B2 (en) 2013-03-15 2019-04-23 DGS Global Systems, Inc. Systems, methods, and devices for automatic signal detection with temporal feature extraction within a spectrum
US12007763B2 (en) 2014-06-19 2024-06-11 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US9678506B2 (en) 2014-06-19 2017-06-13 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US9798322B2 (en) 2014-06-19 2017-10-24 Skydio, Inc. Virtual camera interface and other user interaction paradigms for a flying digital assistant
JP6408832B2 (ja) * 2014-08-27 2018-10-17 ルネサスエレクトロニクス株式会社 制御システム、中継装置、及び制御方法
KR101740312B1 (ko) * 2015-01-09 2017-06-09 주식회사 대한항공 무인 항공기의 카메라 조종정보를 이용한 무인 항공기 유도제어 방법
US10370118B1 (en) 2015-10-31 2019-08-06 Simon Saito Nielsen Lighting apparatus for remote controlled device
CN108351653B (zh) * 2015-12-09 2022-08-09 深圳市大疆创新科技有限公司 用于uav飞行控制的系统和方法
US10845188B2 (en) * 2016-01-05 2020-11-24 Microsoft Technology Licensing, Llc Motion capture from a mobile self-tracking device
US10665115B2 (en) * 2016-01-05 2020-05-26 California Institute Of Technology Controlling unmanned aerial vehicles to avoid obstacle collision
US11461912B2 (en) 2016-01-05 2022-10-04 California Institute Of Technology Gaussian mixture models for temporal depth fusion
US9758246B1 (en) * 2016-01-06 2017-09-12 Gopro, Inc. Systems and methods for adjusting flight control of an unmanned aerial vehicle
WO2017153355A1 (de) * 2016-03-07 2017-09-14 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Verfahren und vorrichtung zum durchführen einer blickabbildung
US11009894B2 (en) * 2016-03-28 2021-05-18 Nec Corporation Unmanned flying device control system, unmanned flying device control method, and inspection device
US9658619B1 (en) * 2016-03-31 2017-05-23 Unmanned Innovation, Inc. Unmanned aerial vehicle modular command priority determination and filtering system
CN105867361A (zh) * 2016-04-18 2016-08-17 深圳市道通智能航空技术有限公司 一种飞行方向控制方法、装置及其无人机
KR20170123907A (ko) * 2016-04-29 2017-11-09 엘지전자 주식회사 이동단말기 및 그 제어방법
WO2017202461A1 (de) * 2016-05-25 2017-11-30 Siemens Aktiengesellschaft Verfahren, vorrichtung und anordnung zur spurverfolgung von sich bewegenden objekten
TWI598143B (zh) * 2016-06-03 2017-09-11 博泰科技有限公司 飛行器的跟隨遙控方法
US20170359561A1 (en) * 2016-06-08 2017-12-14 Uber Technologies, Inc. Disparity mapping for an autonomous vehicle
US10768639B1 (en) 2016-06-30 2020-09-08 Snap Inc. Motion and image-based control system
CN113938663B (zh) * 2016-07-08 2024-02-20 深圳市大疆创新科技有限公司 用于组合和编辑uav操作数据和视频数据的方法和系统
WO2018023736A1 (en) * 2016-08-05 2018-02-08 SZ DJI Technology Co., Ltd. System and method for positioning a movable object
US10520943B2 (en) 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
US10538326B1 (en) * 2016-08-31 2020-01-21 Amazon Technologies, Inc. Flare detection and avoidance in stereo vision systems
US20190004524A1 (en) * 2016-08-31 2019-01-03 Faraday&Future Inc. System and method for planning a vehicle path
CN106504270B (zh) * 2016-11-08 2019-12-20 浙江大华技术股份有限公司 一种视频中目标物体的展示方法及装置
GB2557175A (en) * 2016-11-17 2018-06-20 Nokia Technologies Oy Method for multi-camera device
CN106444848B (zh) * 2016-11-28 2018-11-30 广州极飞科技有限公司 控制无人机飞行的方法及装置
US11295458B2 (en) * 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
KR102680675B1 (ko) * 2016-12-05 2024-07-03 삼성전자주식회사 비행 제어 방법 및 이를 지원하는 전자 장치
US10700794B2 (en) 2017-01-23 2020-06-30 Digital Global Systems, Inc. Systems, methods, and devices for automatic signal detection based on power distribution by frequency over time within an electromagnetic spectrum
US10498951B2 (en) 2017-01-23 2019-12-03 Digital Global Systems, Inc. Systems, methods, and devices for unmanned vehicle detection
US10529241B2 (en) 2017-01-23 2020-01-07 Digital Global Systems, Inc. Unmanned vehicle recognition and threat management
US10459020B2 (en) 2017-01-23 2019-10-29 DGS Global Systems, Inc. Systems, methods, and devices for automatic signal detection based on power distribution by frequency over time within a spectrum
KR102275452B1 (ko) * 2017-03-16 2021-07-12 한국전자통신연구원 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치
CN106909170B (zh) * 2017-04-26 2020-04-07 北京小米移动软件有限公司 控制飞行器的方法和装置
WO2018195979A1 (zh) * 2017-04-28 2018-11-01 深圳市大疆创新科技有限公司 一种跟踪控制方法、装置及飞行器
AU2018278323A1 (en) 2017-05-31 2019-12-05 Geomni, Inc. System and method for mission planning and flight automation for unmanned aircraft
JP2020522002A (ja) * 2017-06-02 2020-07-27 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 移動ターゲットを認識、追跡、および合焦するための方法及びシステム
CN107273937A (zh) * 2017-07-10 2017-10-20 北京工业大学 一种视频及图像中目标任意角度标记方法
CN110891862B (zh) * 2017-08-10 2023-07-11 深圳零零无限科技有限公司 飞行系统中用于避障的系统和方法
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
JP7057637B2 (ja) * 2017-08-23 2022-04-20 キヤノン株式会社 制御装置、制御システム、制御方法、プログラム、及び記憶媒体
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
CN107505951B (zh) * 2017-08-29 2020-08-21 深圳市道通智能航空技术有限公司 一种目标跟踪方法、无人机和计算机可读存储介质
US10719087B2 (en) 2017-08-29 2020-07-21 Autel Robotics Co., Ltd. Target tracking method, unmanned aerial vehicle, and computer readable storage medium
CN107590450A (zh) * 2017-09-01 2018-01-16 歌尔科技有限公司 一种运动目标的标记方法、装置和无人机
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US11348265B1 (en) 2017-09-15 2022-05-31 Snap Inc. Computing a point cloud from stitched images
US10491824B2 (en) 2017-09-26 2019-11-26 Gopro, Inc. Combined mechanical and electronic image stabilization
CN108206941A (zh) * 2017-09-27 2018-06-26 深圳市商汤科技有限公司 目标跟踪方法、系统、终端设备及存储介质
JP6412998B1 (ja) * 2017-09-29 2018-10-24 株式会社Qoncept 動体追跡装置、動体追跡方法、動体追跡プログラム
US11753142B1 (en) 2017-09-29 2023-09-12 Snap Inc. Noise modulation for unmanned aerial vehicles
US11531357B1 (en) 2017-10-05 2022-12-20 Snap Inc. Spatial vector-based drone control
WO2019069626A1 (ja) * 2017-10-06 2019-04-11 株式会社豊田自動織機 移動車両
FR3074950B1 (fr) * 2017-10-19 2019-12-27 Valeo Comfort And Driving Assistance Procede de traitement de donnees et systeme embarque associe
US10962650B2 (en) 2017-10-31 2021-03-30 United States Of America As Represented By The Administrator Of Nasa Polyhedral geofences
CN109753076B (zh) * 2017-11-03 2022-01-11 南京奇蛙智能科技有限公司 一种无人机视觉追踪实现方法
US10921825B2 (en) * 2017-11-04 2021-02-16 Automodality, Inc. System and method for perceptive navigation of automated vehicles
US10967862B2 (en) 2017-11-07 2021-04-06 Uatc, Llc Road anomaly detection for autonomous vehicle
AU2018364811A1 (en) * 2017-11-13 2020-05-28 Geomni, Inc. System and method for mission planning, flight automation, and capturing of high-resolution images by unmanned aircraft
CN109814588A (zh) * 2017-11-20 2019-05-28 深圳富泰宏精密工业有限公司 飞行器以及应用于飞行器的目标物追踪系统和方法
US10867398B2 (en) * 2017-11-21 2020-12-15 Reliance Core Consulting LLC Methods, systems, apparatuses and devices for facilitating motion analysis in an environment
EP3487175A1 (en) * 2017-11-21 2019-05-22 Reliance Core Consulting LLC Methods and systems for detecting motion corresponding to a field of interest
CN109839945B (zh) * 2017-11-27 2022-04-26 北京京东乾石科技有限公司 无人机降落方法、无人机降落装置及计算机可读存储介质
CN109154815B (zh) * 2017-11-30 2022-06-21 深圳市大疆创新科技有限公司 最高温度点跟踪方法、装置和无人机
US11496684B2 (en) 2017-12-11 2022-11-08 Gopro, Inc. Combined mechanical and electronic image stabilization
CN108052901B (zh) * 2017-12-13 2021-05-25 中国科学院沈阳自动化研究所 一种基于双目的手势识别智能无人机远程操控方法
EP3531375B1 (en) * 2017-12-25 2021-08-18 Autel Robotics Co., Ltd. Method and apparatus for measuring distance, and unmanned aerial vehicle
US10827123B1 (en) 2018-01-05 2020-11-03 Gopro, Inc. Modular image capture systems
EP3737595B1 (en) 2018-01-09 2023-12-27 TuSimple, Inc. Real-time remote control of vehicles with high redundancy
CN111989716B (zh) 2018-01-11 2022-11-15 图森有限公司 用于自主车辆操作的监视系统
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
CN110197097B (zh) * 2018-02-24 2024-04-19 北京图森智途科技有限公司 一种港区监控方法及系统、中控系统
US10685244B2 (en) * 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
US11822346B1 (en) 2018-03-06 2023-11-21 Snap Inc. Systems and methods for estimating user intent to launch autonomous aerial vehicle
US20210011495A1 (en) * 2018-03-13 2021-01-14 Nec Corporation Moving body guidance apparatus, moving body guidance method, and computer-readable recording medium
CN110309933A (zh) * 2018-03-23 2019-10-08 广州极飞科技有限公司 植株种植数据测量方法、作业路线规划方法及装置、系统
US10964106B2 (en) 2018-03-30 2021-03-30 Cae Inc. Dynamically modifying visual rendering of a visual element comprising pre-defined characteristics
US11380054B2 (en) 2018-03-30 2022-07-05 Cae Inc. Dynamically affecting tailored visual rendering of a visual element
WO2019195270A1 (en) * 2018-04-03 2019-10-10 Kaarta, Inc. Methods and systems for real or near real-time point cloud map data confidence evaluation
WO2019191940A1 (en) * 2018-04-04 2019-10-10 SZ DJI Technology Co., Ltd. Methods and system for composing and capturing images
CN108537837B (zh) * 2018-04-04 2023-05-05 腾讯科技(深圳)有限公司 一种深度信息确定的方法及相关装置
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
CN108646787B (zh) * 2018-04-12 2021-03-02 广州杰赛科技股份有限公司 目标追踪方法、装置以及无人机
EP3782114A4 (en) * 2018-04-17 2022-01-05 HRL Laboratories, LLC MATERIAL AND ENGLOBING RECTANGLE GENERATION SYSTEM FOR IMAGE PROCESSING PIPELINE
CN110291363A (zh) * 2018-04-26 2019-09-27 深圳市大疆创新科技有限公司 可移动平台的导航传感器检测的方法及相关设备
CN108596116B (zh) * 2018-04-27 2021-11-05 深圳市商汤科技有限公司 测距方法、智能控制方法及装置、电子设备和存储介质
CN110458854B (zh) 2018-05-02 2022-11-15 北京图森未来科技有限公司 一种道路边缘检测方法和装置
US20190346842A1 (en) * 2018-05-11 2019-11-14 Honeywell International Inc. Transferring annotations to images captured by remote vehicles between displays
JP6997303B2 (ja) * 2018-05-14 2022-01-17 富士フイルム株式会社 移動型機器及び撮影システム
US10839492B2 (en) * 2018-05-23 2020-11-17 International Business Machines Corporation Selectively redacting unrelated objects from images of a group captured within a coverage area
CN110291775B (zh) * 2018-05-29 2021-07-06 深圳市大疆创新科技有限公司 一种跟踪拍摄方法、设备及存储介质
CN108564787A (zh) * 2018-05-31 2018-09-21 北京理工大学 基于浮动车法的交通观测方法、系统及设备
CN108803655A (zh) * 2018-06-08 2018-11-13 哈尔滨工程大学 一种无人机飞行控制平台及目标跟踪方法
JP2021144260A (ja) * 2018-06-15 2021-09-24 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
CN109285179B (zh) * 2018-07-26 2021-05-14 昆明理工大学 一种基于多特征融合的运动目标跟踪方法
US11801937B2 (en) * 2018-07-26 2023-10-31 California Institute Of Technology Systems and methods for avian flock flight path modification using UAVs
CN108958297A (zh) * 2018-08-03 2018-12-07 南京航空航天大学 一种多无人机协同目标跟踪地面站
CN109292099B (zh) * 2018-08-10 2020-09-25 顺丰科技有限公司 一种无人机着陆判断方法、装置、设备及存储介质
CN109164825A (zh) * 2018-08-13 2019-01-08 上海机电工程研究所 一种用于多旋翼无人机的自主导航避障方法及装置
CN112567201B (zh) * 2018-08-21 2024-04-16 深圳市大疆创新科技有限公司 距离测量方法以及设备
US10943461B2 (en) 2018-08-24 2021-03-09 Digital Global Systems, Inc. Systems, methods, and devices for automatic signal detection based on power distribution by frequency over time
CN109376587A (zh) * 2018-09-05 2019-02-22 福州日兆信息科技有限公司 基于物联网的检测查勘通信铁塔智能巡检系统和方法
US11282225B2 (en) 2018-09-10 2022-03-22 Mapbox, Inc. Calibration for vision in navigation systems
CN112689586B (zh) 2018-09-13 2024-04-16 图森有限公司 远程安全驾驶方法和系统
CN109358497B (zh) * 2018-09-14 2020-04-21 北京航空航天大学 一种基于b样条函数的卫星路径规划和预测控制的跟踪方法
US20200090501A1 (en) * 2018-09-19 2020-03-19 International Business Machines Corporation Accident avoidance system for pedestrians
US11036216B2 (en) * 2018-09-26 2021-06-15 International Business Machines Corporation Voice-controllable unmanned aerial vehicle for object retrieval and delivery
CN109240320A (zh) * 2018-09-27 2019-01-18 易瓦特科技股份公司 无人机控制方法及装置
CN109240346A (zh) * 2018-09-27 2019-01-18 易瓦特科技股份公司 用于跟踪目标对象的方法及装置
CN110892353A (zh) * 2018-09-30 2020-03-17 深圳市大疆创新科技有限公司 控制方法、控制装置、无人飞行器的控制终端
CN109447326B (zh) * 2018-09-30 2021-11-30 深圳眸瞳科技有限公司 无人机迁移轨迹生成方法、装置、电子设备和存储介质
CN109101041A (zh) * 2018-10-22 2018-12-28 深圳市智璟科技有限公司 一种无人飞机的动态跟随及动态返航方法
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
US10926416B2 (en) * 2018-11-21 2021-02-23 Ford Global Technologies, Llc Robotic manipulation using an independently actuated vision system, an adversarial control scheme, and a multi-tasking deep learning architecture
CN109656319B (zh) * 2018-11-22 2021-06-15 亮风台(上海)信息科技有限公司 一种用于呈现地面行动辅助信息方法与设备
EP3884351A1 (en) * 2018-11-22 2021-09-29 Lorenz Technology ApS A method for inducing an autonomous behavior into an unmanned vehicle, and a communication unit for use in such a method
CN109618131B (zh) * 2018-11-22 2021-08-24 亮风台(上海)信息科技有限公司 一种用于呈现决策辅助信息的方法与设备
CN109561282B (zh) * 2018-11-22 2021-08-06 亮风台(上海)信息科技有限公司 一种用于呈现地面行动辅助信息的方法与设备
CN109633661A (zh) * 2018-11-28 2019-04-16 杭州凌像科技有限公司 一种基于rgb-d传感器与超声波传感器融合的玻璃检测系统和方法
CN111386508A (zh) * 2018-11-30 2020-07-07 深圳市大疆创新科技有限公司 喷洒无人机的避障控制方法、装置、设备及存储介质
US10902634B2 (en) * 2018-12-04 2021-01-26 Here Global B.V. Method and apparatus for providing feature triangulation
CN116184417A (zh) 2018-12-10 2023-05-30 北京图森智途科技有限公司 一种挂车夹角的测量方法、装置及车辆
CN111319629B (zh) 2018-12-14 2021-07-16 北京图森智途科技有限公司 一种自动驾驶车队的组队方法、装置及系统
EP3667696A1 (en) * 2018-12-14 2020-06-17 ASML Netherlands B.V. Stage apparatus suitable for electron beam inspection apparatus
TR201819906A2 (zh) * 2018-12-20 2019-03-21 Havelsan Hava Elektronik Sanayi Ve Ticaret Anonim Sirketi
KR102166326B1 (ko) * 2018-12-21 2020-10-15 충북대학교 산학협력단 드론의 3차원 경로 설정 시스템
CN109754420B (zh) 2018-12-24 2021-11-12 深圳市道通智能航空技术股份有限公司 一种目标距离估计方法、装置及无人机
JP7219609B2 (ja) * 2018-12-27 2023-02-08 株式会社Subaru 最適経路生成システム
CN109828488A (zh) * 2018-12-27 2019-05-31 北京航天福道高技术股份有限公司 采集传输一体化双光探测跟踪系统
CN111376239B (zh) * 2018-12-29 2023-06-27 希姆通信息技术(上海)有限公司 机器人的抓取方法及系统
US11001991B2 (en) * 2019-01-11 2021-05-11 Caterpillar Inc. Optimizing loading of a payload carrier of a machine
CN111435259A (zh) * 2019-01-14 2020-07-21 北京京东尚科信息技术有限公司 一种智能跟随车移动控制装置和智能跟随车
US10950104B2 (en) * 2019-01-16 2021-03-16 PANASONIC l-PRO SENSING SOLUTIONS CO., LTD. Monitoring camera and detection method
CN111476827B (zh) * 2019-01-24 2024-02-02 曜科智能科技(上海)有限公司 目标跟踪方法、系统、电子装置及存储介质
CN109934870B (zh) * 2019-01-30 2021-11-30 西安天伟电子系统工程有限公司 目标检测方法、装置、设备、计算机设备和存储介质
WO2020170534A1 (ja) * 2019-02-18 2020-08-27 ソニー株式会社 飛行体、情報処理方法及びプログラム
CN109947123B (zh) * 2019-02-27 2021-06-22 南京航空航天大学 一种基于视线导引律的无人机路径跟踪与自主避障方法
WO2020190832A1 (en) * 2019-03-20 2020-09-24 Covidien Lp Robotic surgical collision detection systems
US11314254B2 (en) * 2019-03-26 2022-04-26 Intel Corporation Methods and apparatus for dynamically routing robots based on exploratory on-board mapping
US12071228B1 (en) * 2019-03-28 2024-08-27 Snap Inc. Drone with propeller guard configured as an airfoil
US11455742B2 (en) * 2019-04-19 2022-09-27 Thermoteknix Systems Ltd. Imaging systems including real-time target-acquisition and triangulation features and human-machine interfaces therefor
CN110876275A (zh) * 2019-04-30 2020-03-10 深圳市大疆创新科技有限公司 一种瞄准控制方法、移动机器人及计算机可读存储介质
CN110162102A (zh) * 2019-05-17 2019-08-23 广东技术师范大学 基于云平台和机器视觉的无人机自动识别跟踪方法及系统
WO2020237609A1 (zh) * 2019-05-31 2020-12-03 深圳市大疆创新科技有限公司 可移动平台的控制方法、控制终端及可移动平台
US11565807B1 (en) 2019-06-05 2023-01-31 Gal Zuckerman Systems and methods facilitating street-level interactions between flying drones and on-road vehicles
CN110147122A (zh) * 2019-06-14 2019-08-20 深圳市道通智能航空技术有限公司 一种移动目标的追踪方法、装置及无人机
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
WO2020258066A1 (zh) * 2019-06-26 2020-12-30 深圳市大疆创新科技有限公司 无人机的控制方法、设备、无人机及存储介质
CN112119427A (zh) * 2019-06-28 2020-12-22 深圳市大疆创新科技有限公司 目标跟随的方法、系统、可读存储介质和可移动平台
US20210405646A1 (en) * 2019-07-03 2021-12-30 Lg Electronics Inc. Marker, method of moving in marker following mode, and cart-robot implementing method
EP3998578A4 (en) * 2019-07-16 2022-07-20 SZ DJI Technology Co., Ltd. METHOD, DEVICE, AND SYSTEM FOR PHOTOGRAPHY, AND COMPUTER READABLE INFORMATION MEDIA
CN110262568B (zh) * 2019-07-19 2021-10-22 深圳市道通智能航空技术股份有限公司 一种基于目标跟踪的无人机避障方法、装置及无人机
WO2021012081A1 (zh) * 2019-07-19 2021-01-28 深圳市大疆创新科技有限公司 云台控制方法、设备和计算机可读存储介质
CN110618700A (zh) * 2019-08-23 2019-12-27 西南交通大学 用于社区配送的三维地理信息系统及无人机航迹路径规划应用方法
CN111752295B (zh) * 2019-08-27 2021-09-10 广州极飞科技股份有限公司 无人机飞行轨迹规划方法及相关装置
DE102019214139B4 (de) * 2019-09-17 2021-07-29 Atlas Elektronik Gmbh Optische Minendetektion in geringer Wassertiefe
CN110758381B (zh) * 2019-09-18 2021-05-04 北京汽车集团有限公司 生成转向轨迹的方法、装置、存储介质及电子设备
US11958183B2 (en) 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
CN110928432B (zh) * 2019-10-24 2023-06-23 中国人民解放军军事科学院国防科技创新研究院 指环鼠标、鼠标控制装置及鼠标控制系统
DE102019129182A1 (de) * 2019-10-29 2021-04-29 Krones Aktiengesellschaft Verfahren zur Überwachung eines Behälterstroms in einer Abfüllanlage, Überwachungssystem und Platzhalter für einen Behälter oder eine Umverpackung
US20220383541A1 (en) * 2019-11-13 2022-12-01 Battelle Energy Alliance, Llc Unmanned vehicle navigation, and associated methods, systems, and computer-readable medium
CN110865650B (zh) * 2019-11-19 2022-12-20 武汉工程大学 基于主动视觉的无人机位姿自适应估计方法
JP7192748B2 (ja) * 2019-11-25 2022-12-20 トヨタ自動車株式会社 搬送システム、学習済みモデル生成方法、学習済みモデル、制御方法およびプログラム
CN113031511B (zh) * 2019-12-24 2022-03-22 沈阳智能机器人创新中心有限公司 一种基于高阶b样条的多轴系统实时引导轨迹规划方法
CN111161323B (zh) * 2019-12-31 2023-11-28 北京理工大学重庆创新中心 一种基于相关滤波的复杂场景目标跟踪方法及系统
US20210206491A1 (en) * 2020-01-03 2021-07-08 Tencent America LLC Unmanned aerial system communication
US10846880B1 (en) * 2020-01-03 2020-11-24 Altec Industries, Inc. Camera embedded joystick
CN111212456B (zh) * 2020-01-16 2022-07-08 中国电建集团成都勘测设计研究院有限公司 基于地理位置面向低功耗远距离物联网的多径路由方法
CN111260689B (zh) * 2020-01-16 2022-10-11 东华大学 一种基于置信度增强的相关滤波视觉跟踪方法
US20210247196A1 (en) * 2020-02-10 2021-08-12 Uber Technologies, Inc. Object Detection for Light Electric Vehicles
US11748838B2 (en) 2020-02-18 2023-09-05 Cognex Corporation System and method for three-dimensional scan of moving objects longer than the field of view
CN112650235A (zh) * 2020-03-11 2021-04-13 南京奥拓电子科技有限公司 一种机器人避障控制方法、系统及机器人
CN111240342A (zh) * 2020-03-12 2020-06-05 南京奥拓电子科技有限公司 一种机器人避障控制方法与装置、机器人及机器人系统
CN112639874A (zh) * 2020-03-20 2021-04-09 深圳市大疆创新科技有限公司 目标跟随方法、目标跟随装置、可移动设备和存储介质
CN113515111B (zh) * 2020-03-25 2023-08-25 宇通客车股份有限公司 一种车辆避障路径规划方法及装置
CN111474953B (zh) * 2020-03-30 2021-09-17 清华大学 多动态视角协同的空中目标识别方法及系统
WO2021195944A1 (zh) * 2020-03-31 2021-10-07 深圳市大疆创新科技有限公司 可移动平台的控制方法、装置、可移动平台及存储介质
CN111455900B (zh) * 2020-04-01 2021-11-12 无锡格物智能科技有限公司 路障布设方法、终端、计算机设备和存储介质
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
CN111600644A (zh) * 2020-04-09 2020-08-28 西安理工大学 一种紫外光协助无人机编队最优刚性拓扑生成方法
CN113552868A (zh) * 2020-04-22 2021-10-26 西门子股份公司 消防机器人的导航方法及其导航装置
CN112753001A (zh) * 2020-04-24 2021-05-04 深圳市大疆创新科技有限公司 飞行指引方法、装置、系统、控制终端及可读存储介质
US11415990B2 (en) 2020-05-04 2022-08-16 Honeywell International Inc. Optical object tracking on focal plane with dynamic focal length
WO2021223171A1 (zh) * 2020-05-07 2021-11-11 深圳市大疆创新科技有限公司 目标跟踪方法和装置、可移动平台以及成像平台
CN113688463B (zh) * 2020-05-18 2024-01-23 中国航发商用航空发动机有限责任公司 导线碰撞角度范围筛选方法和装置、计算机可读存储介质
CN111665490B (zh) * 2020-06-02 2023-07-14 浙江大华技术股份有限公司 目标跟踪方法和装置、存储介质及电子装置
CN111596692B (zh) * 2020-06-09 2021-06-01 北京航空航天大学 一种平流层飞艇的环绕跟踪移动目标控制方法及系统
EP3926432A1 (en) * 2020-06-16 2021-12-22 Hexagon Geosystems Services AG Touch control of unmanned aerial vehicles
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
CN111862154B (zh) * 2020-07-13 2024-03-01 中移(杭州)信息技术有限公司 机器人视觉跟踪方法、装置、机器人及存储介质
JP2023117420A (ja) * 2020-07-16 2023-08-24 ソニーグループ株式会社 情報処理方法、プログラム、及びシステム
CN112050813B (zh) * 2020-08-08 2022-08-02 浙江科聪控制技术有限公司 一种用于防暴一区移动机器人的激光导航系统
DE102020210618B4 (de) * 2020-08-20 2022-03-17 Top Seven Gmbh & Co. Kg Verfahren und system zur objekterfassung
RU200639U1 (ru) * 2020-09-02 2020-11-03 Илья Игоревич Бычков Автоматизированное устройство управления беспилотным летательным аппаратом при полете над движущимся наземным объектом
CN114245000A (zh) * 2020-09-09 2022-03-25 北京小米移动软件有限公司 拍摄方法和装置、电子设备、存储介质
CN112180860B (zh) * 2020-09-24 2022-05-31 深圳市海柔创新科技有限公司 任务处理方法、控制终端、机器人、仓储系统及存储介质
CN112162570B (zh) * 2020-10-10 2022-12-06 中国人民解放军海军航空大学 一种四旋翼直升飞机小范围动态跟踪的方法
WO2022104489A1 (es) * 2020-11-20 2022-05-27 Drovid Technologies Método para transmitir y rastrear parámetros detectados por drones mediante (paas) con (ia).
WO2022126436A1 (zh) * 2020-12-16 2022-06-23 深圳市大疆创新科技有限公司 延时检测方法、装置、系统、可移动平台和存储介质
CN114556425A (zh) * 2020-12-17 2022-05-27 深圳市大疆创新科技有限公司 定位的方法、设备、无人机和存储介质
FR3118222B1 (fr) * 2020-12-22 2023-05-05 Naval Group Systeme de planification d'une trajectoire optimisee d'un vehicule maritime
GB2598010B (en) * 2021-01-18 2022-08-17 Hybrid Drones Ltd Vision system and method for unmanned aerial vehicles
EP4305594A2 (en) * 2021-03-08 2024-01-17 Ridecell, Inc. A framework for 3d object detection and depth prediction from 2d images
CN112896551B (zh) * 2021-05-08 2021-09-07 成都飞机工业(集团)有限责任公司 一种飞机航电设备安装的校准辅助方法
US20220390940A1 (en) * 2021-06-02 2022-12-08 Skydio, Inc. Interfaces And Control Of Aerial Vehicle For Automated Multidimensional Volume Scanning
US20220390965A1 (en) * 2021-06-02 2022-12-08 FLIR Unmanned Aerial Systems AS Mobile platform vision sensor systems and methods
IL284872B2 (en) * 2021-07-13 2023-03-01 Allen Richter Devices, systems and methods for mobile platform navigation
CN113418522B (zh) * 2021-08-25 2021-12-14 季华实验室 Agv路径规划方法、跟随方法、装置、设备及存储介质
TWI769915B (zh) 2021-08-26 2022-07-01 財團法人工業技術研究院 投射系統及應用其之投射校準方法
TWI769924B (zh) * 2021-09-15 2022-07-01 東元電機股份有限公司 人體跟隨系統
US11922606B2 (en) 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss
CN113848869B (zh) * 2021-10-20 2023-03-07 北京三快在线科技有限公司 一种无人设备控制方法、装置、存储介质及电子设备
CN113961016B (zh) * 2021-10-25 2023-11-10 华东计算技术研究所(中国电子科技集团公司第三十二研究所) 基于a*算法的无人机动态目标航迹规划方法及系统
US11791049B2 (en) * 2021-11-03 2023-10-17 A Little Cold Gel, Llc Methods and systems for detecting intravascular device failure
CN114167900B (zh) * 2021-11-19 2023-06-30 北京环境特性研究所 一种基于无人机和差分gps的光电跟踪系统标校方法及装置
CN114119651B (zh) * 2021-11-30 2022-10-25 重庆紫光华山智安科技有限公司 目标跟踪方法、系统、设备及存储介质
KR20230105162A (ko) * 2022-01-03 2023-07-11 한화에어로스페이스 주식회사 무인전투차량 및 이의 표적 검출 방법
US11417106B1 (en) 2022-02-04 2022-08-16 King Abdulaziz University Crowd evacuation system based on real time perception, simulation, and warning
CN114625170B (zh) * 2022-03-24 2023-05-12 中国民用航空飞行学院 一种山区火灾直升机救援飞行路径动态规划方法
CN114584928B (zh) * 2022-05-05 2022-08-05 深圳源中瑞科技有限公司 基于电子围栏的路径推测方法、装置、计算机设备和介质
US20230367463A1 (en) * 2022-05-11 2023-11-16 Supercell Oy Randomized movement control
TWI817594B (zh) * 2022-07-04 2023-10-01 鴻海精密工業股份有限公司 圖像深度識別方法、電腦設備及儲存介質
US11972521B2 (en) 2022-08-31 2024-04-30 Snap Inc. Multisensorial presentation of volumetric content
CN115599092B (zh) * 2022-09-07 2024-09-24 格力电器(武汉)有限公司 一种工件搬运控制方法、装置、设备及存储介质
CN115451919B (zh) * 2022-09-28 2023-06-30 安徽理工大学 一种智能型无人测绘装置及方法
TWI843251B (zh) * 2022-10-25 2024-05-21 財團法人工業技術研究院 目標追蹤系統及應用其之目標追蹤方法
WO2024089890A1 (ja) * 2022-10-28 2024-05-02 三菱電機株式会社 遠隔操作システムおよび遠隔操作方法
CN117021117B (zh) * 2023-10-08 2023-12-15 电子科技大学 一种基于混合现实的移动机器人人机交互与定位方法
CN117649426B (zh) * 2024-01-29 2024-04-09 中国科学院长春光学精密机械与物理研究所 抗无人机起落架遮挡的运动目标跟踪方法
CN117893933B (zh) * 2024-03-14 2024-05-24 国网上海市电力公司 一种用于输变电设备的无人巡检故障检测方法和系统
CN118590612A (zh) * 2024-05-23 2024-09-03 北京艾普智城网络科技有限公司 一种基于ai视觉识别的物体移动监测系统、方法及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10105712A (ja) * 1996-09-30 1998-04-24 Mitsubishi Heavy Ind Ltd 移動体追跡装置
US20090080701A1 (en) * 2007-09-20 2009-03-26 Mirko Meuter Method for object tracking
CN102902282A (zh) * 2012-09-25 2013-01-30 中国兵器工业第二0五研究所 基于光轴与惯性轴重合的地理跟踪方法
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN103871075A (zh) * 2013-12-30 2014-06-18 华中科技大学 一种大椭圆遥感卫星地球背景相对运动估计方法

Family Cites Families (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5155683A (en) 1991-04-11 1992-10-13 Wadiatur Rahim Vehicle remote guidance with path control
JPH10141891A (ja) * 1996-11-07 1998-05-29 Mitsubishi Heavy Ind Ltd 飛しょう経路の設定方法
SE515655C2 (sv) 1999-12-22 2001-09-17 Saab Ab "System och metod för kollisionsundvikning mellan farkoster
JP2001306144A (ja) * 2000-04-21 2001-11-02 Yamaha Motor Co Ltd 無人ヘリコプタの飛行制御システム
US7173650B2 (en) 2001-03-28 2007-02-06 Koninklijke Philips Electronics N.V. Method for assisting an automated video tracking system in reaquiring a target
JP2003177120A (ja) 2001-08-30 2003-06-27 Toppan Printing Co Ltd アウトイオンの分析方法、パーティクルまたは溶出物の測定方法、ならびにクリーンフィルムとその積層体
JP4301861B2 (ja) * 2002-05-20 2009-07-22 川崎重工業株式会社 移動体の操縦方法及び装置
JP3861781B2 (ja) * 2002-09-17 2006-12-20 日産自動車株式会社 前方車両追跡システムおよび前方車両追跡方法
JP4213518B2 (ja) * 2003-05-27 2009-01-21 川崎重工業株式会社 移動体の制御方法及び制御装置
US7343232B2 (en) * 2003-06-20 2008-03-11 Geneva Aerospace Vehicle control system including related methods and components
JP3994950B2 (ja) * 2003-09-19 2007-10-24 ソニー株式会社 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
US8448858B1 (en) * 2004-06-21 2013-05-28 Stoplift, Inc. Method and apparatus for detecting suspicious activity using video analysis from alternative camera viewpoint
US7884849B2 (en) * 2005-09-26 2011-02-08 Objectvideo, Inc. Video surveillance system with omni-directional camera
WO2007047953A2 (en) * 2005-10-20 2007-04-26 Prioria, Inc. System and method for onboard vision processing
US7602480B2 (en) 2005-10-26 2009-10-13 Alcatel-Lucent Usa Inc. Method and system for tracking a moving station or target in free space communications
US7835542B2 (en) 2005-12-29 2010-11-16 Industrial Technology Research Institute Object tracking systems and methods utilizing compressed-domain motion-based segmentation
US8902233B1 (en) 2006-06-09 2014-12-02 Pixar Driving systems extension
JP4709101B2 (ja) * 2006-09-01 2011-06-22 キヤノン株式会社 自動追尾カメラ装置
US7411167B2 (en) * 2006-09-05 2008-08-12 Honeywell International Inc. Tracking a moving object from a camera on a moving platform
IL183006A0 (en) * 2007-05-06 2007-12-03 Wave Group Ltd A bilateral robotic omni-directional situational awarness system having a smart throw able transportaion case
US8244469B2 (en) 2008-03-16 2012-08-14 Irobot Corporation Collaborative engagement for target identification and tracking
CN101252687B (zh) * 2008-03-20 2010-06-02 上海交通大学 实现多通道联合的感兴趣区域视频编码及传输的方法
JP4497236B2 (ja) 2008-08-11 2010-07-07 オムロン株式会社 検出用情報登録装置、電子機器、検出用情報登録装置の制御方法、電子機器の制御方法、検出用情報登録装置制御プログラム、電子機器の制御プログラム
US8855819B2 (en) * 2008-10-09 2014-10-07 Samsung Electronics Co., Ltd. Method and apparatus for simultaneous localization and mapping of robot
ATE545924T1 (de) 2008-11-04 2012-03-15 Saab Ab Vermeidungsmanöver-generator für ein flugzeug
CN101489147B (zh) * 2009-01-16 2010-12-01 西安电子科技大学 基于感兴趣区域的幅型比变换方法
US20100228406A1 (en) * 2009-03-03 2010-09-09 Honeywell International Inc. UAV Flight Control Method And System
CN101614816B (zh) * 2009-07-24 2011-08-31 东北大学 一种室内移动机器人位姿检测装置及控制方法
JP5382122B2 (ja) * 2009-07-31 2014-01-08 富士通株式会社 移動体位置検出装置および移動体位置検出方法
US8515596B2 (en) 2009-08-18 2013-08-20 Honeywell International Inc. Incremental position-based guidance for a UAV
US20110279682A1 (en) * 2009-11-12 2011-11-17 Le Li Methods for Target Tracking, Classification and Identification by Using Foveal Sensors
CN101769754B (zh) * 2010-01-19 2012-04-25 湖南大学 一种基于类三维地图的移动机器人全局路径规划方法
KR20110119118A (ko) * 2010-04-26 2011-11-02 엘지전자 주식회사 로봇 청소기, 및 이를 이용한 원격 감시 시스템
CN101860732B (zh) * 2010-06-04 2014-08-27 天津市亚安科技股份有限公司 一种控制云台摄像机自动跟踪目标的方法
US9681065B2 (en) * 2010-06-15 2017-06-13 Flir Systems, Inc. Gimbal positioning with target velocity compensation
TWI420906B (zh) * 2010-10-13 2013-12-21 Ind Tech Res Inst 興趣區域之追蹤系統與方法及電腦程式產品
IL208910A0 (en) 2010-10-24 2011-02-28 Rafael Advanced Defense Sys Tracking and identification of a moving object from a moving sensor using a 3d model
CN102087530B (zh) * 2010-12-07 2012-06-13 东南大学 基于手绘地图和路径的移动机器人视觉导航方法
US8494766B2 (en) * 2011-01-07 2013-07-23 Ge Aviation Systems, Llc Flight management system with integrated tactical commands for use with an aircraft and method of operating same
TW201235808A (en) * 2011-02-23 2012-09-01 Hon Hai Prec Ind Co Ltd System and method for controlling UAV to flight in predefined area
JP5848507B2 (ja) 2011-03-08 2016-01-27 キヤノン株式会社 追尾機能付き撮影装置及び方法
EP2511659A1 (de) * 2011-04-14 2012-10-17 Hexagon Technology Center GmbH Geodätisches Markierungssystem zur Markierung von Zielpunkten
JP5719230B2 (ja) * 2011-05-10 2015-05-13 キヤノン株式会社 物体認識装置、物体認識装置の制御方法、およびプログラム
US20120316680A1 (en) * 2011-06-13 2012-12-13 Microsoft Corporation Tracking and following of moving objects by a mobile robot
WO2013051046A1 (ja) * 2011-10-03 2013-04-11 古野電気株式会社 タッチパネルを有する装置、レーダ装置、プロッタ装置、舶用ネットワークシステム、情報表示方法及び情報表示プログラム
US8934672B2 (en) * 2011-10-19 2015-01-13 Crown Equipment Corporation Evaluating features in an image possibly corresponding to an intersection of a pallet stringer and a pallet board
KR101887055B1 (ko) * 2011-11-14 2018-09-11 삼성전자주식회사 로봇 청소기 및 그 제어 방법
US20130226373A1 (en) * 2012-02-27 2013-08-29 Ge Aviation Systems Llc Methods for in-flight adjusting of a flight plan
CN102629385B (zh) * 2012-02-28 2014-09-24 中山大学 一种基于多摄像机信息融合的目标匹配与跟踪系统及方法
NO334183B1 (no) * 2012-03-22 2014-01-13 Prox Dynamics As Metode og anordning for å kontrollere og overvåke det omliggende område til et ubemannet luftfartøy
US9841761B2 (en) 2012-05-04 2017-12-12 Aeryon Labs Inc. System and method for controlling unmanned aerial vehicles
CN202758243U (zh) * 2012-09-06 2013-02-27 北京工业大学 一种无人机飞行操控系统
JP2014063411A (ja) * 2012-09-24 2014-04-10 Casio Comput Co Ltd 遠隔制御システム、制御方法、及び、プログラム
CN102955478B (zh) * 2012-10-24 2016-01-20 深圳一电科技有限公司 无人机飞行控制方法及系统
CN102967305B (zh) * 2012-10-26 2015-07-01 南京信息工程大学 基于大小回字标志物的多旋翼无人机位姿获取方法
CN103914068A (zh) * 2013-01-07 2014-07-09 中国人民解放军第二炮兵工程大学 一种基于栅格地图的服务机器人自主导航方法
GB201301748D0 (en) * 2013-01-31 2013-03-20 Reiter Johannes Aircraft for Vertical Take-off and Landing with a Wing Arrangement comprising an extendible lift increasing system
US9367067B2 (en) * 2013-03-15 2016-06-14 Ashley A Gilmore Digital tethering for tracking with autonomous aerial robot
JP2014212479A (ja) * 2013-04-19 2014-11-13 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
US9253410B2 (en) 2013-04-25 2016-02-02 Canon Kabushiki Kaisha Object detection apparatus, control method therefor, image capturing apparatus, and storage medium
JP6250952B2 (ja) * 2013-04-26 2017-12-20 古野電気株式会社 情報表示装置及び針路設定方法
CN104217417B (zh) * 2013-05-31 2017-07-07 张伟伟 一种视频多目标跟踪的方法及装置
WO2015006224A1 (en) 2013-07-08 2015-01-15 Vangogh Imaging, Inc. Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis
JP6296801B2 (ja) 2013-07-24 2018-03-20 キヤノン株式会社 撮像装置、撮像装置の制御方法、および撮像装置の制御プログラム
US9237318B2 (en) 2013-07-26 2016-01-12 SkyBell Technologies, Inc. Doorbell communication systems and methods
CN103455797B (zh) * 2013-09-07 2017-01-11 西安电子科技大学 航拍视频中运动小目标的检测与跟踪方法
CN103530894B (zh) * 2013-10-25 2016-04-20 合肥工业大学 一种基于多尺度块稀疏表示的视频目标追踪方法及其系统
US10248886B2 (en) * 2013-10-30 2019-04-02 Pgs Geophysical As System and method for underwater distance measurement
CN103576692A (zh) * 2013-11-07 2014-02-12 哈尔滨工程大学 一种多无人机协同飞行方法
CN103611324B (zh) * 2013-11-14 2016-08-17 南京航空航天大学 一种无人直升机飞行控制系统及其控制方法
EP3074832A4 (en) * 2013-11-27 2017-08-30 The Trustees Of The University Of Pennsylvania Multi-sensor fusion for robust autonomous flight in indoor and outdoor environments with a rotorcraft micro-aerial vehicle (mav)
JP6429454B2 (ja) 2013-11-28 2018-11-28 キヤノン株式会社 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
CN103822615B (zh) * 2014-02-25 2016-01-20 北京航空航天大学 一种多控制点自动提取与聚合的无人机地面目标实时定位方法
US10666862B2 (en) 2014-02-26 2020-05-26 Searidge Technologies Inc. Image stitching and automatic-color correction
WO2015134391A1 (en) 2014-03-03 2015-09-11 University Of Washington Haptic virtual fixture tools
US9165361B1 (en) 2014-03-13 2015-10-20 Raytheon Company Video tracking with jitter, slewing, or zoom
US9414153B2 (en) 2014-05-08 2016-08-09 Panasonic Intellectual Property Management Co., Ltd. Directivity control apparatus, directivity control method, storage medium and directivity control system
CN104035446B (zh) * 2014-05-30 2017-08-25 深圳市大疆创新科技有限公司 无人机的航向生成方法和系统
US9798324B2 (en) * 2014-07-18 2017-10-24 Helico Aerospace Industries Sia Autonomous vehicle operation
EP3060966B1 (en) * 2014-07-30 2021-05-05 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
US10139819B2 (en) 2014-08-22 2018-11-27 Innovative Signal Analysis, Inc. Video enabled inspection using unmanned aerial vehicles
CN104197928B (zh) * 2014-08-29 2017-01-18 西北工业大学 多摄像机协同的无人机检测、定位及跟踪方法
CN106796721B (zh) * 2014-09-11 2021-05-04 赛博光学公司 三维轮廓测量中根据多个相机和源的点云合并
CN104299244B (zh) * 2014-09-26 2017-07-25 东软集团股份有限公司 基于单目相机的障碍物检测方法及装置
US9355320B2 (en) * 2014-10-30 2016-05-31 Toyota Motor Engineering & Manufacturing North America, Inc. Blur object tracker using group lasso method and apparatus
US10334158B2 (en) 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
CN104781781B (zh) 2014-11-14 2018-06-05 深圳市大疆创新科技有限公司 一种移动物体的控制方法、装置及移动设备
CN104361770B (zh) * 2014-11-18 2017-01-04 武汉理工大学 用于交通信息采集无人机的精确降落自动控制方法
US9896202B2 (en) * 2014-12-03 2018-02-20 X Development Llc Systems and methods for reliable relative navigation and autonomous following between unmanned aerial vehicle and a target object
EP4180898B1 (en) 2014-12-31 2024-10-09 SZ DJI Technology Co., Ltd. Vehicle altitude restrictions and control
CN204360218U (zh) 2014-12-31 2015-05-27 深圳市大疆创新科技有限公司 移动物体
CN104537898B (zh) * 2015-01-08 2017-11-28 西北工业大学 一种空地协同的无人机感知规避系统及其规避方法
US9373036B1 (en) 2015-01-16 2016-06-21 Toyota Motor Engineering & Manufacturing North America, Inc. Collaborative distance metric learning for method and apparatus visual tracking
CN104656665B (zh) * 2015-03-06 2017-07-28 云南电网有限责任公司电力科学研究院 一种新型无人机通用避障模块及步骤
CN104714556B (zh) * 2015-03-26 2017-08-11 清华大学 无人机智能航向控制方法
CN104786226A (zh) * 2015-03-26 2015-07-22 华南理工大学 抓取在线工件的机器人位姿及运动轨迹定位系统与方法
CN104820428B (zh) * 2015-04-20 2017-11-07 余江 一种无人机的记忆型航迹再现方法及其装置
CN104796611A (zh) 2015-04-20 2015-07-22 零度智控(北京)智能科技有限公司 移动终端遥控无人机实现智能飞行拍摄的方法及系统
CN106155092A (zh) * 2015-04-21 2016-11-23 高域(北京)智能科技研究院有限公司 一种智能多模式飞行拍摄设备及其飞行控制方法
CN104834307A (zh) * 2015-04-23 2015-08-12 杨珊珊 无人飞行器的控制方法及控制装置
CN104899554A (zh) * 2015-05-07 2015-09-09 东北大学 一种基于单目视觉的车辆测距方法
CN111762136A (zh) 2015-05-12 2020-10-13 深圳市大疆创新科技有限公司 识别或检测障碍物的设备和方法
CN104853104B (zh) * 2015-06-01 2018-08-28 深圳市微队信息技术有限公司 一种自动跟踪拍摄运动目标的方法以及系统
CN104850134B (zh) * 2015-06-12 2019-01-11 北京中飞艾维航空科技有限公司 一种无人机高精度自主避障飞行方法
JP6551525B2 (ja) 2015-06-19 2019-07-31 日産自動車株式会社 駐車支援装置及び駐車支援方法
CN105371818A (zh) * 2015-11-30 2016-03-02 湖北易瓦特科技股份有限公司 测距避障仪和无人机测距避障的方法
US10012982B2 (en) 2015-12-11 2018-07-03 Fuji Xerox Co., Ltd. System and method for focus and context views for telepresence and robotic teleoperation
US10514711B2 (en) * 2016-10-09 2019-12-24 Airspace Systems, Inc. Flight control using computer vision
KR20180051996A (ko) * 2016-11-09 2018-05-17 삼성전자주식회사 무인 비행 장치 및 이를 이용한 피사체 촬영 방법
CN107636550A (zh) * 2016-11-10 2018-01-26 深圳市大疆创新科技有限公司 飞行控制方法、装置及飞行器
CN107690605B (zh) * 2016-11-28 2020-12-08 深圳市大疆创新科技有限公司 一种航线编辑方法、装置及控制设备
JP6844235B2 (ja) * 2016-12-08 2021-03-17 富士通株式会社 距離測定装置および距離測定方法
US10409276B2 (en) * 2016-12-21 2019-09-10 Hangzhou Zero Zero Technology Co., Ltd. System and method for controller-free user drone interaction
CN107102647A (zh) * 2017-03-30 2017-08-29 中国人民解放军海军航空工程学院青岛校区 基于图像的无人机目标跟踪控制方法
WO2019100011A1 (en) * 2017-11-17 2019-05-23 Divine Logic, Inc. Systems and methods for tracking items
US10429487B1 (en) * 2018-05-18 2019-10-01 Here Global B.V. Drone localization

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10105712A (ja) * 1996-09-30 1998-04-24 Mitsubishi Heavy Ind Ltd 移動体追跡装置
US20090080701A1 (en) * 2007-09-20 2009-03-26 Mirko Meuter Method for object tracking
CN102902282A (zh) * 2012-09-25 2013-01-30 中国兵器工业第二0五研究所 基于光轴与惯性轴重合的地理跟踪方法
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN103871075A (zh) * 2013-12-30 2014-06-18 华中科技大学 一种大椭圆遥感卫星地球背景相对运动估计方法

Also Published As

Publication number Publication date
JP6735821B2 (ja) 2020-08-05
CN110276786A (zh) 2019-09-24
CN108351649A (zh) 2018-07-31
US11635775B2 (en) 2023-04-25
US10129478B2 (en) 2018-11-13
EP3353706A4 (en) 2019-05-08
JP2018535487A (ja) 2018-11-29
CN110276786B (zh) 2021-08-20
EP3374836A4 (en) 2018-12-05
WO2017045116A1 (en) 2017-03-23
US10976753B2 (en) 2021-04-13
CN114815906A (zh) 2022-07-29
EP3374836A1 (en) 2018-09-19
EP3353706A1 (en) 2018-08-01
CN108139759A (zh) 2018-06-08
US20210116943A1 (en) 2021-04-22
CN108351649B (zh) 2022-03-18
CN107209854A (zh) 2017-09-26
CN107148639A (zh) 2017-09-08
US10928838B2 (en) 2021-02-23
US20210223795A1 (en) 2021-07-22
US20190082088A1 (en) 2019-03-14
WO2017045251A1 (en) 2017-03-23
CN107148639B (zh) 2019-07-16
CN114594792A (zh) 2022-06-07
CN108139759B (zh) 2022-04-15
US20170134631A1 (en) 2017-05-11
US20190011921A1 (en) 2019-01-10
US20180203467A1 (en) 2018-07-19

Similar Documents

Publication Publication Date Title
WO2017045315A1 (zh) 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统
US10942529B2 (en) Aircraft information acquisition method, apparatus and device
WO2018076572A1 (zh) 一种目标跟踪方法及目标跟踪装置、存储介质
EP3454008B1 (en) Survey data processing device, survey data processing method, and survey data processing program
WO2017020150A1 (zh) 一种图像处理方法、装置及摄像机
US20190018428A1 (en) Hover control
US10481680B2 (en) Systems and methods to provide a shared augmented reality experience
CN108932732B (zh) 一种获取监测对象数据信息的方法及装置
CN110337668B (zh) 图像增稳方法和装置
CN114581480B (zh) 多无人机协同目标状态估计控制方法及其应用
WO2020052207A1 (zh) 测量天线工程参数的方法和装置
US20210097696A1 (en) Motion estimation methods and mobile devices
CN111510704A (zh) 校正摄像头错排的方法及利用其的装置
EP3550263B1 (en) Locating method and apparatus
CN110749311B (zh) 定位方法、装置以及存储介质
EP3718302B1 (en) Method and system for handling 360 degree image content
KR20200076628A (ko) 모바일 디바이스의 위치 측정 방법, 위치 측정 장치 및 전자 디바이스
WO2020062024A1 (zh) 基于无人机的测距方法、装置及无人机
WO2020019175A1 (zh) 图像处理方法和设备、摄像装置以及无人机
CN116817929B (zh) 一种无人机对地平面多目标同时定位方法及系统
KR101821992B1 (ko) 무인비행체를 이용한 목표물의 3차원 위치 산출 방법 및 장치
CN117241142A (zh) 云台相机的俯仰角动态矫正方法和装置、设备及存储介质
WO2020215296A1 (zh) 可移动平台的巡线控制方法、设备、可移动平台及系统
CN113421300B (zh) 确定鱼眼相机图像中物体实际位置的方法及装置
CN113654528A (zh) 通过无人机位置和云台角度估测目标坐标的方法和系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15904002

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15904002

Country of ref document: EP

Kind code of ref document: A1