WO2022021028A1 - 目标检测方法、装置、无人机及计算机可读存储介质 - Google Patents

目标检测方法、装置、无人机及计算机可读存储介质 Download PDF

Info

Publication number
WO2022021028A1
WO2022021028A1 PCT/CN2020/104972 CN2020104972W WO2022021028A1 WO 2022021028 A1 WO2022021028 A1 WO 2022021028A1 CN 2020104972 W CN2020104972 W CN 2020104972W WO 2022021028 A1 WO2022021028 A1 WO 2022021028A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
tracked
information
objects
similarity
Prior art date
Application number
PCT/CN2020/104972
Other languages
English (en)
French (fr)
Inventor
丁旭
郭亚娜
张李亮
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN202080006556.5A priority Critical patent/CN113168532A/zh
Priority to PCT/CN2020/104972 priority patent/WO2022021028A1/zh
Publication of WO2022021028A1 publication Critical patent/WO2022021028A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present application relates to the technical field of target detection, and in particular, to a target detection method, a device, an unmanned aerial vehicle, and a computer-readable storage medium.
  • UAVs can achieve tracking and shooting of targets, and the targets need to be detected when tracking and shooting the targets.
  • UAVs mainly use 2D target detection algorithm to detect the target, but the 2D target detection algorithm can only provide the position of the target in the 2D picture and the confidence of the corresponding category.
  • UAV cannot accurately track the target only by the position of the target in the two-dimensional picture and the confidence of the corresponding category. For this, more information about the target needs to be identified through the image, such as the size of the target, the relative the angle of the drone, etc. Therefore, how to accurately and comprehensively detect the target is an urgent problem to be solved.
  • the embodiments of the present application provide a target detection method, device, unmanned aerial vehicle, and computer-readable storage medium, which aim to accurately and comprehensively detect the target.
  • an embodiment of the present application provides a target detection method, which is applied to an unmanned aerial vehicle, where the unmanned aerial vehicle includes a photographing device, and the method includes:
  • the 3D target detection model is a pre-trained neural network model
  • the 3D target detection information includes first size information of the target to be tracked in the world coordinate system and relative to the target to be tracked Human-machine angle information.
  • an embodiment of the present application further provides a target detection device applied to a drone, where the drone includes a photographing device, and the target detection device includes a memory and a processor;
  • the memory for storing computer programs
  • the processor is configured to execute the computer program, and when executing the computer program, implement the steps of the target detection method as described above.
  • an embodiment of the present application further provides an unmanned aerial vehicle, where the unmanned aerial vehicle includes a photographing device, a memory, and a processor;
  • the memory for storing computer programs
  • the processor is configured to execute the computer program, and when executing the computer program, implement the steps of the target detection method as described above.
  • an embodiment of the present application further provides a computer-readable storage medium, where the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the processor implements the above-mentioned The steps of the object detection method.
  • the embodiments of the present application provide a target detection method, a device, an unmanned aerial vehicle, and a computer-readable storage medium.
  • the model is processed to obtain 3D target detection information including the first size information of the target to be tracked in the world coordinate system and the angle information of the target to be tracked relative to the UAV.
  • the 3D target detection model can accurately and comprehensively detect the target.
  • the 3D target detection information is obtained, which is convenient for the UAV to track the target to be tracked based on the 3D target detection information, which greatly improves the user experience.
  • FIG. 1 is a schematic diagram of a scene for implementing the target detection method provided by the embodiment of the present application
  • FIG. 2 is a schematic flowchart of steps of a target detection method provided by an embodiment of the present application.
  • FIG. 3 is a schematic flowchart of steps of another target detection method provided by an embodiment of the present application.
  • FIG. 4 is a schematic diagram of a target tracking scenario provided by an embodiment of the present application.
  • FIG. 5 is a schematic diagram of a scene including multiple target objects in a captured image provided by an embodiment of the present application
  • Fig. 6 is the sub-step schematic flow chart of the target detection method in Fig. 3;
  • FIG. 7 is a schematic flowchart of steps of another target detection method provided by an embodiment of the present application.
  • FIG. 8 is a schematic block diagram of the structure of a target detection apparatus provided by an embodiment of the present application.
  • FIG. 9 is a schematic block diagram of the structure of an unmanned aerial vehicle provided by an embodiment of the present application.
  • UAVs can achieve tracking and shooting of targets, and the targets need to be detected when tracking and shooting the targets.
  • UAVs mainly use 2D target detection algorithm to detect the target, but the 2D target detection algorithm can only provide the position of the target in the 2D picture and the confidence of the corresponding category.
  • UAV cannot accurately track the target only by the position of the target in the two-dimensional picture and the confidence of the corresponding category. For this, more information about the target needs to be identified through the image, such as the size of the target, the relative the angle of the drone, etc. Therefore, how to accurately and comprehensively detect the target is an urgent problem to be solved.
  • FIG. 1 is a schematic diagram of a scene for implementing the target detection method provided by the embodiment of the present application.
  • the scene includes a control terminal 100 and an unmanned aerial vehicle 200 .
  • the control terminal 100 is connected to the unmanned aerial vehicle 200 in communication to control the flight of the unmanned aerial vehicle 200 , and the unmanned aerial vehicle 200 is used to target the target to be tracked.
  • Detect and obtain the 3D target detection information of the target to be tracked so that the UAV 200 can follow up and shoot the target to be tracked based on the 3D target detection information of the target to be tracked, and send the tracked and captured image to the control terminal using the wireless image transmission technology 100 is displayed.
  • the control terminal 100 includes a display device 101, and the display device 101 is used to display the image captured by the drone.
  • the display device 101 includes a display screen disposed on the control terminal 100 or a display independent of the control terminal 100, and the display independent of the control terminal 100 may include a mobile phone, a tablet computer, a personal computer, etc. Other electronic equipment with a display screen.
  • the display screen includes an LED display screen, an OLED display screen, an LCD display screen, and the like.
  • the drone 200 includes a photographing device 201, which is used for photographing a target to be tracked to obtain a current photographed image, and sends the current photographed image to the drone, and the drone detects the to-be-tracked target according to the current photographed image.
  • the photographing device 201 may include one camera, that is, a monocular photographing scheme; and may also include two cameras, that is, a binocular photographing scheme.
  • the drone 200 may be a rotorcraft.
  • drone 200 may be a multi-rotor aircraft that may include multiple rotors.
  • a plurality of rotors can be rotated to generate lift for the drone 200 .
  • the rotors may be propulsion units that allow the drone 200 to move freely in the air.
  • the rotors may rotate at the same rate and/or may generate the same amount of lift or thrust.
  • the rotors may freely rotate at different rates, producing different amounts of lift or thrust and/or allowing the drone 200 to rotate.
  • one, two, three, four, five, six, seven, eight, nine, ten or more rotors may be provided on the drone 200 .
  • the rotors may be arranged with their axes of rotation parallel to each other. In some cases, the axes of rotation of the rotors can be at any angle relative to each other, which can affect the motion of the drone 200 .
  • the drone 200 may include multiple rotors.
  • the rotors may be connected to the body of the drone 200, which may contain a control unit, inertial measurement unit (IMU), processor, battery, power supply, and/or other sensors.
  • the rotor may be connected to the body by one or more arms or extensions branching off from the central portion of the body.
  • one or more arms may extend radially from the central body of the drone 200 and may have rotors at or near the ends of the arms.
  • the UAV 200 may be, for example, a quad-rotor UAV, a hexa-rotor UAV, or an octa-rotor UAV.
  • it can also be a fixed-wing UAV, or a combination of a rotary-wing type and a fixed-wing UAV, which is not limited here.
  • the target detection method provided by the embodiments of the present application will be described in detail with reference to the scene in FIG. 1 .
  • the scene in FIG. 1 is only used to explain the target detection method provided by the embodiment of the present application, but does not constitute a limitation on the application scene of the target detection method provided by the embodiment of the present application.
  • FIG. 2 is a schematic flowchart of steps of a target detection method provided by an embodiment of the present application.
  • the target detection method is applied to UAVs for accurate and comprehensive target detection.
  • the target detection method includes steps S101 to S102.
  • the image of the spatial region where the target to be tracked is captured by the camera, obtain the current captured image including the target to be tracked, and use the current captured image.
  • the image is input into the preset 3D target detection model for processing, and the 3D target detection information of the target to be tracked is obtained.
  • the preset 3D target detection model is a pre-trained neural network model, and the 3D target detection information includes the first size information of the target to be tracked in the world coordinate system and the angle information of the target to be tracked relative to the UAV.
  • the 3D target detection information further includes position information of the target to be tracked in the camera coordinate system, second size information of the target to be tracked in the current captured image, and position information of the target to be tracked in the camera coordinate system
  • the angle information of the target to be tracked relative to the UAV includes the yaw angle, pitch angle and roll angle of the target to be tracked relative to the UAV
  • the first size information includes the length information, width information and /or height information
  • the second size information includes length information, width information and/or height information of the target to be tracked in the currently captured image.
  • the method of training the neural network model to obtain the 3D target detection model may be: acquiring training sample data, wherein the training sample data includes a plurality of sample images and the 3D target of the target to be tracked in each sample image. Detection information; iteratively train the neural network model according to the training sample data, until the neural network model after the iterative training converges, and a 3D target detection model is obtained.
  • the neural network models include but are not limited to convolutional neural network models CNN, RCNN, Fast RCNN and Faster RCNN.
  • 3D target detection by including the yaw angle, pitch angle and roll angle of the target to be tracked relative to the UAV, the position information of the target to be tracked in the camera coordinate system, and the first size information of the target to be tracked in the world coordinate system, etc.
  • Training the neural network model with information and corresponding images can solve the problem that the existing 3D target detection algorithm cannot be reused on the UAV, so that the UAV can detect the target to be tracked based on the 3D target detection model, which is convenient for follow-up.
  • the drone tracks and shoots the target to be tracked, which greatly improves the user experience.
  • the current captured image obtained by capturing the target to be tracked by the camera is obtained, and the current captured image is input into a preset 3D target detection model for processing, so as to obtain the target image including the target to be tracked in the world coordinate system.
  • the 3D target detection information of the first size information and the angle information of the target to be tracked relative to the UAV can accurately and comprehensively detect the target through the 3D target detection model, and obtain the 3D target detection information, which is convenient for the UAV to base on the 3D target.
  • the detection information tracks the target to be tracked, which greatly improves the user experience.
  • FIG. 3 is a schematic flowchart of steps of another target detection method provided by an embodiment of the present application.
  • the target detection method includes steps S201 to S203.
  • S203 Track and photograph the target to be tracked according to the 3D target detection information.
  • the target to be tracked can be tracked and captured according to the image features of the target to be tracked in the current captured image based on the target tracking algorithm.
  • the target tracking algorithm includes any one of a mean shift algorithm, a Kalman filter algorithm, a particle filter algorithm, and a moving target modeling algorithm. In some other embodiments, other target tracking algorithms may also be used, which are not limited herein.
  • the drone 200 uses the photographing device 201 to photograph the target to be tracked (vehicle A) to obtain a current photographed image including the vehicle A.
  • the drone 200 acquires the current photographed image that includes the vehicle A, and tracks and photographes the vehicle A according to the current photographed image, and sends the current photographed image of the tracking photograph to the control terminal 100 for display, and the target to be tracked at the location.
  • a tracking mark is displayed on the upper panel, such as the positioning frame of the vehicle displayed by the display device 101 of the control terminal 100 in FIG. 4 .
  • the current captured image obtained by the shooting device shooting the target to be tracked is obtained; the current captured image is input into a preset 3D target detection model for processing, and the 3D target detection information of the target to be tracked is obtained; The 3D target detection information of the target to be tracked is used for tracking and shooting of the target to be tracked.
  • the 3D target detection information includes the angle information of the target to be tracked relative to the UAV, that is, the angle information of different target objects relative to the UAV is likely to be different, so in the process of tracking the target to be tracked, when there are many When there are two target objects, the angle information of the target object relative to the UAV in the 3D target detection information can be used to determine the target to be tracked, which can overcome the problems of wrong tracking and tracking caused by tracking only based on image information, and greatly improve the target tracking accuracy.
  • step S203 specifically includes: sub-steps S2031 to S2032.
  • S2031. Predict the target position coordinates of the target to be tracked in the world coordinate system according to the 3D target detection information.
  • the target position coordinates of the target to be tracked at the next moment in the world coordinate system can be predicted.
  • the preset target tracking algorithm includes any one of a mean shift algorithm, a Kalman filter algorithm, a particle filter algorithm, and a moving target modeling algorithm. In some other embodiments, other target tracking algorithms may also be used, which are not limited herein.
  • the method of predicting the target position coordinates of the target to be tracked in the world coordinate system may be: Set a target tracking algorithm to predict the first candidate position coordinates of the target to be tracked in the world coordinate system; according to the second target detection information in the 3D target detection information and the preset target tracking algorithm, predict the target to be tracked in the world coordinate system.
  • the second candidate position coordinates; the target position coordinates of the target to be tracked in the world coordinate system are determined according to the first candidate position coordinates and the second candidate position coordinates.
  • the first target detection information includes the first size information of the target to be tracked in the world coordinate system and the angle information of the target to be tracked relative to the UAV
  • the second target detection information includes the position of the target to be tracked in the current captured image information and second size information.
  • the method of determining the target position coordinates of the target to be tracked in the world coordinate system may be: obtaining the first preset coefficient and the second preset coefficient; Calculate the product of the first preset coefficient and the first candidate position coordinate to obtain the first weighted position coordinate, and calculate the product of the second preset coefficient and the second candidate position coordinate to obtain the second weighted position coordinate; The coordinates are added to the second weight position coordinates to obtain the target position coordinates of the target to be tracked in the world coordinate system.
  • the sum of the first preset coefficient and the second preset coefficient is 1, and the first preset coefficient and the second preset coefficient may be set based on the actual situation, which is not specifically limited in this embodiment of the present application.
  • the first preset coefficient is 0.65
  • the second preset coefficient is 0.35.
  • control the UAV After predicting the target position coordinates of the target to be tracked in the world coordinate system, control the UAV to track and shoot the target to be tracked based on the target position coordinates, so that the target to be tracked is always located at the center of the shooting screen of the shooting device, and no one is there.
  • the drone is stationary relative to the target to be tracked and/or the distance between the drone and the target to be tracked is always a fixed distance.
  • the 3D target detection information of the target to be tracked includes the position information of the target to be tracked in the camera coordinate system
  • the method of controlling the drone to track and shoot the target to be tracked according to the target position coordinates may be: The position information in the camera coordinate system is converted into the first position information of the target to be tracked in the world coordinate system; the second position information of the UAV is obtained, and the target to be tracked is determined according to the first position information and the second position information
  • the target distance between the drone and the drone according to the target position coordinates and the target distance, the drone is controlled to track and shoot the target to be tracked, so that the distance between the drone and the target to be tracked is always the target distance.
  • the second position information of the drone can be based on the position information collected by the positioning device of the drone at the current moment, and the positioning device includes a global positioning system (Global Positioning System, GPS) positioning device and a real-time kinematic (Real-time kinematic) positioning device. , RTK) any of the positioning devices.
  • GPS Global Positioning System
  • RTK real-time kinematic
  • the method of controlling the drone to track and photograph the target to be tracked may be: according to the target position coordinates of the target to be tracked in the world coordinate system and the second position of the drone information, determine the distance prediction value between the UAV and the target to be tracked when the position of the target to be tracked is at the position corresponding to the target position coordinates; determine the difference between the target distance and the distance prediction value, and based on the target distance and the distance
  • the difference between the predicted value and the second position information of the UAV determines the target position of the UAV; control the UAV to fly from the current position to the target position, and track and shoot the target to be tracked at the target position, so that no one When the drone reaches the target position, the distance between the drone and the target to be tracked is the target distance.
  • the method of controlling the drone to track and shoot the target to be tracked may be: according to the 3D target detection information of the target to be tracked, determine the movement speed of the target to be tracked; The moving speed of the target, control the UAV to track and shoot the target to be tracked, so that the UAV is stationary relative to the target to be tracked, that is, control the UAV to fly at the same flight speed as the moving speed, so that the UAV is relative to the target to be tracked. still.
  • the process of tracking and photographing the target to be tracked by the drone it is ensured that the drone is stationary relative to the target to be tracked, so that the drone can shoot the target to be tracked through the photographing device, thereby improving user experience.
  • the method of controlling the drone to track and shoot the target to be tracked may be: according to the 3D target detection information of the target to be tracked, determine the movement speed of the target to be tracked; The target position coordinates, movement speed and target distance of the target control the UAV to track and shoot the target to be tracked, so that the UAV is stationary relative to the target to be tracked, and the distance between the UAV and the target to be tracked is always the target distance.
  • the process of tracking and shooting the target to be tracked by the drone it is ensured that the drone is stationary relative to the target to be tracked, and the distance between the drone and the target to be tracked is always the target distance, so that the drone can shoot the target by the shooting device. Track goals and improve user experience.
  • the method of determining the movement speed of the target to be tracked may be: obtaining the position coordinates of the target to be tracked in the camera coordinate system in the 3D target detection information of the target to be tracked. , and convert the position coordinates of the target to be tracked in the camera coordinate system to the current position coordinates of the target to be tracked in the world coordinate system; obtain the historical position coordinates of the target to be tracked in the world coordinate system The current position coordinates and historical position coordinates in the coordinate system determine the moving distance of the target to be tracked; according to the first collection moment of the current position coordinates of the target to be tracked in the world coordinate system and the second collection moment of the historical position coordinates, determine the target to be tracked.
  • the movement duration of the tracking target; the movement speed of the target to be tracked is determined according to the movement distance and movement duration of the target to be tracked.
  • the historical position coordinates of the target to be tracked in the world coordinate system are the position coordinates of the target to be tracked in the world coordinate system determined at the last moment.
  • the method of controlling the drone to track and photograph the target to be tracked according to the target position coordinates may be: according to the target position coordinates, determine the target attitude of the shooting device on the drone; control the drone to treat the target according to the target attitude.
  • the tracking target is tracked and photographed, so that the target to be tracked is always located at the center of the photographing screen of the photographing device.
  • the process of tracking and shooting the target to be tracked by the drone it is ensured that the target to be tracked is always located in the center of the shooting screen of the shooting device, which is convenient for the user to watch and control the shooting device of the drone to shoot the target to be tracked, which greatly improves the user experience.
  • the method of determining the target posture of the photographing device on the UAV may be: converting the target position coordinates into the first pixel coordinates in the image coordinate system, and obtaining the center of the photographing screen.
  • the second pixel coordinates of the position ; according to the first pixel coordinates and the second pixel coordinates, determine the orientation information of the target to be tracked relative to the central position of the shooting screen, and determine the position information of the target to be tracked relative to the central position of the shooting screen according to the position information.
  • the target posture of the photographing device on the drone is such that when the posture of the photographing device of the drone is the target posture, the target to be tracked is located in the center of the photographing screen.
  • the method of controlling the drone to track and photograph the target to be tracked according to the target posture may be: adjusting the posture of the photographing device on the drone to the target posture, so that the target to be tracked is always located on the photographing screen of the photographing device. central location.
  • the posture of the photographing device can be changed by adjusting the gimbal equipped with the photographing device, the posture of the photographing device can also be changed by adjusting the flying attitude of the drone, or the gimbal and the drone can be adjusted simultaneously. the flight attitude to change the attitude of the camera.
  • the target to be tracked when the target to be tracked is tracked, the current captured image obtained by the photographing device shooting the target to be tracked is obtained; the current captured image is input into a preset 3D target detection model for processing, and the target to be tracked is obtained.
  • the 3D target detection information of the target to be tracked the tracking and shooting of the target to be tracked can overcome the problems of wrong tracking and tracking caused by tracking only based on the image information, and can improve the accuracy of target tracking.
  • FIG. 7 is a schematic flowchart of steps of another target detection method provided by an embodiment of the present application.
  • the target detection method includes steps S301 to S304.
  • S304 Track and photograph the target to be tracked according to the 3D target detection information of the target to be tracked.
  • the image features of these target objects are relatively similar, so they are treated according to image features. It may be indistinguishable if the tracking target is tracked.
  • the 3D target detection information corresponding to different target objects is likely to be different. Therefore, in the process of tracking the target to be tracked, the current captured image obtained by the camera shooting the target to be tracked is obtained, and the current captured image is input into the preset 3D image.
  • the target detection model is processed to obtain the 3D target detection information of the target to be tracked, and then when it is determined that the current captured image includes multiple target objects, the target to be tracked is determined from the multiple target objects according to the 3D target detection information of the multiple target objects, Finally, the target to be tracked is tracked and photographed according to the 3D target detection information of the target to be tracked. It can overcome the problems of wrong tracking and loss caused by tracking only based on image information, and greatly improve the accuracy of target tracking.
  • the method of determining the target to be tracked from the plurality of target objects according to the 3D target detection information of the plurality of target objects may be: determining the motion information of the plurality of target objects according to the 3D target detection information of the plurality of target objects. ; Determine the motion information of the target to be tracked according to the 3D target detection information of the target to be tracked; Calculate the similarity between the target to be tracked and the plurality of target objects according to the motion information of the target to be tracked and the motion information of multiple target objects; The similarity between the target and the plurality of target objects determines the target to be tracked from the plurality of target objects.
  • the motion information includes speed information and/or position information
  • the speed information is the speed and/or direction of the target object or the target to be tracked
  • the position information is the coordinates of the target to be tracked or the target to be tracked, which can be specifically Coordinates in the world coordinate system.
  • the motion information includes position information and/or velocity information.
  • the target to be tracked is determined from multiple target objects, and the target object corresponding to the maximum sum value can be determined as the target to be tracked according to the sum of the position similarity and the speed similarity. .
  • the method of determining the target to be tracked from the plurality of target objects according to the similarity between the target to be tracked and the plurality of target objects may be: obtaining a first preset weight corresponding to the position similarity and a second preset weight corresponding to the speed similarity ; Determine the target to be tracked from a plurality of target objects according to the position similarity, the speed similarity, the first preset weight and the second preset weight.
  • the first preset weight and the second preset weight may be set based on actual conditions, which are not specifically limited in this embodiment of the present application.
  • the method of determining the target to be tracked from the multiple target objects may be: calculating the position similarity and the first preset weight.
  • the product of a preset weight, and the product of the calculated speed similarity and the second preset weight then calculate the sum of the two products, and use the sum of the two products as the final similarity between the target to be tracked and the target object, and the largest
  • the target object corresponding to the final similarity is determined as the target to be tracked.
  • the first preset weight corresponding to the position similarity is smaller than the second preset weight corresponding to the speed similarity. Since the position information has a small change in the captured images before and after frames, while the speed information is basically unchanged in the captured images of the previous and subsequent frames, by setting different weight ratios to increase the ratio of speed similarity, it is possible to improve the accuracy of tracking target determination. accuracy, thereby improving the accuracy of target tracking.
  • the image features of the target to be tracked are determined according to the current captured image; according to the similarity between the target to be tracked and multiple target objects and the image features of the targets to be tracked, the target to be tracked is determined from the multiple target objects, that is, From a plurality of target objects, find the target object with the highest similarity to the target to be tracked and the closest image feature as the target to be tracked.
  • a target object similar to the target to be tracked is determined from a plurality of target objects according to the image features of the target to be tracked; In the object, determine the target to be tracked. First, the target objects similar to the target to be tracked are determined from the image features of the target to be tracked, and then the target objects similar to the target to be tracked are determined according to the similarity between the target to be tracked and the multiple target objects.
  • the target to be tracked can be quickly and accurately determined.
  • the image features include one or more of color features, distribution position features, texture features, and contour features corresponding to the target in the captured image.
  • the method of determining the target to be tracked from the plurality of target objects according to the similarity between the target to be tracked and the plurality of target objects may be: according to the similarity between the target to be tracked and the plurality of target objects and the The Reid feature of the target determines the target to be tracked from a plurality of target objects; wherein, the Reid feature is the feature of the target to be tracked identified from the current captured image using the pedestrian re-identification technology.
  • the target to be tracked is determined from the multiple target objects, which can make up for the visual limitation of the UAV's photographing device and improve the accuracy of the target to be tracked. accuracy, thereby improving the accuracy of target tracking.
  • the target to be tracked is determined from the plurality of target objects according to the 3D target detection information of the plurality of target objects
  • the target to be tracked is obtained according to the current captured image.
  • the image features of the target to be tracked and the image features of the multiple target objects determine whether there are target objects similar to the target to be tracked in the multiple target objects;
  • the target to be tracked is determined from the plurality of target objects according to the 3D target detection information of the plurality of target objects.
  • the target to be tracked can be re-tracked from the perspective of image feature recognition. If there are at least two target objects similar to the target to be tracked in the multiple target objects, the target tracking may be lost due to occlusion or intersection. Therefore, it is necessary to use the 3D target detection information for further determination, which can improve the performance of the target object to be tracked. The accuracy of the tracking of the tracking target.
  • the target detection method in the process of tracking the target to be tracked, the current captured image obtained by capturing the target to be tracked by the camera is obtained, and the current captured image is input into the preset 3D target detection model for processing, so as to obtain the target detection method.
  • the 3D target detection information of the target to be tracked then when it is determined that the current captured image includes multiple target objects, the target to be tracked is determined from the plurality of target objects according to the 3D target detection information of the multiple target objects, and finally the target to be tracked is determined according to the 3D target object.
  • the target detection information is used to track and shoot the target to be tracked. It can overcome the problems of wrong tracking and loss caused by tracking only based on image information, and greatly improve the accuracy of target tracking.
  • FIG. 8 is a schematic structural block diagram of a target detection apparatus provided by an embodiment of the present application.
  • the target detection device applies a drone, and the drone includes a photographing device.
  • the target detection device 400 includes a processor 401 and a memory 402.
  • the processor 401 and the memory 402 are connected through a bus 403.
  • the bus 403 For example, I2C (Inter-integrated Circuit) bus.
  • the processor 401 may be a micro-controller unit (Micro-controller Unit, MCU), a central processing unit (Central Processing Unit, CPU), or a digital signal processor (Digital Signal Processor, DSP) or the like.
  • MCU Micro-controller Unit
  • CPU Central Processing Unit
  • DSP Digital Signal Processor
  • the memory 402 may be a Flash chip, a read-only memory (ROM, Read-Only Memory) magnetic disk, an optical disk, a U disk, or a removable hard disk, or the like.
  • ROM Read-Only Memory
  • the memory 402 may be a Flash chip, a read-only memory (ROM, Read-Only Memory) magnetic disk, an optical disk, a U disk, or a removable hard disk, or the like.
  • the processor 401 is used for running the computer program stored in the memory 402, and implements the following steps when executing the computer program:
  • the 3D target detection model is a pre-trained neural network model
  • the 3D target detection information includes first size information of the target to be tracked in the world coordinate system and relative to the target to be tracked Human-machine angle information.
  • the angle information of the target to be tracked relative to the UAV includes a yaw angle, a pitch angle and a roll angle of the target to be tracked relative to the UAV.
  • the 3D target detection information further includes position information of the target to be tracked in the camera coordinate system and second size information of the target to be tracked in the currently captured image.
  • the first size information includes length information, width information and/or height information of the target to be tracked in the world coordinate system.
  • the second size information includes length information, width information and/or height information of the target to be tracked in the currently captured image.
  • the processor is further configured to implement the following steps:
  • training sample data includes a plurality of sample images and 3D target detection information of the target to be tracked in each of the sample images;
  • the neural network model is iteratively trained according to the training sample data, until the neural network model after the iterative training converges, and the 3D target detection model is obtained.
  • the neural network model includes convolutional neural network models CNN, RCNN, Fast RCNN and Faster RCNN.
  • the processor is further configured to implement the following steps:
  • the target to be tracked is tracked and photographed according to the 3D target detection information.
  • the tracking and shooting of the target to be tracked according to the 3D target detection information includes:
  • the 3D target detection information predict the target position coordinates of the target to be tracked in the world coordinate system
  • the UAV is controlled to track and photograph the target to be tracked according to the target position coordinates.
  • predicting the target position coordinates of the target to be tracked in the world coordinate system according to the 3D target detection information includes:
  • the target position coordinates of the target to be tracked in the world coordinate system are predicted.
  • the 3D target detection information includes position information of the target to be tracked in a camera coordinate system, and the drone is controlled to track and photograph the target to be tracked according to the target position coordinates.
  • the drone is controlled to track and photograph the target to be tracked, so that the distance between the drone and the target to be tracked is always the target distance.
  • controlling the drone to track and photograph the target to be tracked according to the target position coordinates and target distance includes:
  • the drone According to the target position coordinates, movement speed and target distance of the target to be tracked, the drone is controlled to track and photograph the target to be tracked, so that the drone is stationary relative to the target to be tracked, and the The distance between the drone and the target to be tracked is always the target distance.
  • controlling the drone to track and photograph the target to be tracked according to the target position coordinates includes:
  • the UAV is controlled to track and photograph the target to be tracked according to the target posture, so that the target to be tracked is always located at the center of the photographed image of the photographing device.
  • the tracking and shooting of the target to be tracked according to the 3D target detection information includes:
  • the target to be tracked is determined from the multiple target objects according to the 3D target detection information of the multiple target objects;
  • the target to be tracked is tracked and photographed according to the 3D target detection information of the target to be tracked.
  • the determining the target to be tracked from a plurality of the target objects according to the 3D target detection information of the plurality of target objects includes:
  • the target to be tracked is determined from the plurality of target objects according to the similarity.
  • the motion information includes position information and/or velocity information; and the similarity includes position similarity and/or velocity similarity.
  • the determining the target to be tracked from the plurality of target objects according to the similarity includes:
  • the target to be tracked is determined from the plurality of target objects according to the position similarity and/or the speed similarity.
  • the determining the target to be tracked from the plurality of target objects according to the similarity includes:
  • the target to be tracked is determined from the plurality of target objects according to the position similarity, the speed similarity, the first preset weight and the second preset weight.
  • the determining the target to be tracked from the plurality of target objects according to the similarity includes:
  • the to-be-tracked target is determined from a plurality of the target objects according to the similarity and the image feature of the to-be-tracked target.
  • the determining the target to be tracked from a plurality of the target objects according to the similarity and the image feature of the target to be tracked includes:
  • the target to be tracked is determined from target objects similar to the target to be tracked according to the similarity.
  • the determining the target to be tracked from the plurality of target objects according to the similarity includes:
  • the target to be tracked is determined from a plurality of the target objects
  • the Reid feature is the feature of the target to be tracked identified from the currently captured image using the pedestrian re-identification technology.
  • the method before the determining the target to be tracked from the plurality of target objects according to the 3D target detection information of the plurality of target objects, the method further includes:
  • the currently captured image includes multiple target objects
  • the image features of the target to be tracked and the image features of a plurality of the target objects determine whether there is a target object similar to the target to be tracked in the plurality of target objects;
  • the to-be-tracked object is determined from the plurality of target objects according to the 3D target detection information of the plurality of target objects Target.
  • FIG. 9 is a schematic structural block diagram of an unmanned aerial vehicle provided by an embodiment of the present application.
  • the drone 500 includes a processor 501, a memory 502, and a photographing device 503.
  • the processor 501, the memory 502, and the photographing device 503 are connected through a bus 504, and the bus 504 is, for example, I2C (Inter-integrated Circuit). bus.
  • the UAV can be a rotary-wing UAV, such as a quad-rotor UAV, a hexa-rotor UAV, an octa-rotor UAV, or a fixed-wing UAV, or a rotary-wing and fixed-wing unmanned aerial vehicle.
  • the combination of man and machine is not limited here.
  • the processor 501 may be a micro-controller unit (Micro-controller Unit, MCU), a central processing unit (Central Processing Unit, CPU), or a digital signal processor (Digital Signal Processor, DSP) or the like.
  • MCU Micro-controller Unit
  • CPU Central Processing Unit
  • DSP Digital Signal Processor
  • the memory 502 may be a Flash chip, a read-only memory (ROM, Read-Only Memory) magnetic disk, an optical disk, a U disk, or a mobile hard disk, and the like.
  • ROM Read-Only Memory
  • the memory 502 may be a Flash chip, a read-only memory (ROM, Read-Only Memory) magnetic disk, an optical disk, a U disk, or a mobile hard disk, and the like.
  • the processor 501 is used for running the computer program stored in the memory 502, and implements the following steps when executing the computer program:
  • the 3D target detection model is a pre-trained neural network model
  • the 3D target detection information includes first size information of the target to be tracked in the world coordinate system and relative to the target to be tracked Human-machine angle information.
  • the angle information of the target to be tracked relative to the UAV includes a yaw angle, a pitch angle and a roll angle of the target to be tracked relative to the UAV.
  • the 3D target detection information further includes position information of the target to be tracked in the camera coordinate system and second size information of the target to be tracked in the currently captured image.
  • the first size information includes length information, width information and/or height information of the target to be tracked in the world coordinate system.
  • the second size information includes length information, width information and/or height information of the target to be tracked in the currently captured image.
  • the processor is further configured to implement the following steps:
  • training sample data includes a plurality of sample images and 3D target detection information of the target to be tracked in each of the sample images;
  • the neural network model is iteratively trained according to the training sample data, until the iteratively trained neural network model converges, and the 3D target detection model is obtained.
  • the neural network model includes convolutional neural network models CNN, RCNN, Fast RCNN and Faster RCNN.
  • the processor is further configured to implement the following steps:
  • the target to be tracked is tracked and photographed according to the 3D target detection information.
  • the tracking and shooting of the target to be tracked according to the 3D target detection information includes:
  • the 3D target detection information predict the target position coordinates of the target to be tracked in the world coordinate system
  • the UAV is controlled to track and photograph the target to be tracked according to the target position coordinates.
  • predicting the target position coordinates of the target to be tracked in the world coordinate system according to the 3D target detection information includes:
  • the target position coordinates of the target to be tracked in the world coordinate system are predicted.
  • the 3D target detection information includes position information of the target to be tracked in a camera coordinate system, and the drone is controlled to track and photograph the target to be tracked according to the target position coordinates.
  • the drone is controlled to track and photograph the target to be tracked, so that the distance between the drone and the target to be tracked is always the target distance.
  • controlling the drone to track and photograph the target to be tracked according to the target position coordinates and target distance includes:
  • the drone According to the target position coordinates, movement speed and target distance of the target to be tracked, the drone is controlled to track and photograph the target to be tracked, so that the drone is stationary relative to the target to be tracked, and the The distance between the drone and the target to be tracked is always the target distance.
  • controlling the UAV to track and photograph the target to be tracked according to the target position coordinates includes:
  • the UAV is controlled to track and photograph the target to be tracked according to the target posture, so that the target to be tracked is always located at the center of the photographed image of the photographing device.
  • the tracking and shooting of the target to be tracked according to the 3D target detection information includes:
  • the target to be tracked is determined from the plurality of target objects according to the 3D target detection information of the plurality of target objects;
  • the target to be tracked is tracked and photographed according to the 3D target detection information of the target to be tracked.
  • the determining the target to be tracked from a plurality of the target objects according to the 3D target detection information of the plurality of target objects includes:
  • the target to be tracked is determined from the plurality of target objects according to the similarity.
  • the motion information includes position information and/or velocity information; and the similarity includes position similarity and/or velocity similarity.
  • the determining the target to be tracked from the plurality of target objects according to the similarity includes:
  • the target to be tracked is determined from the plurality of target objects according to the position similarity and/or the speed similarity.
  • the determining the target to be tracked from the plurality of target objects according to the similarity includes:
  • the target to be tracked is determined from the plurality of target objects according to the position similarity, the speed similarity, the first preset weight and the second preset weight.
  • the determining the target to be tracked from the plurality of target objects according to the similarity includes:
  • the to-be-tracked target is determined from a plurality of the target objects according to the similarity and the image feature of the to-be-tracked target.
  • the determining the target to be tracked from a plurality of the target objects according to the similarity and the image feature of the target to be tracked includes:
  • the target to be tracked is determined from target objects similar to the target to be tracked according to the similarity.
  • the determining the target to be tracked from the plurality of target objects according to the similarity includes:
  • the target to be tracked is determined from a plurality of the target objects
  • the Reid feature is the feature of the target to be tracked identified from the currently captured image using the pedestrian re-identification technology.
  • the method before the determining the target to be tracked from the plurality of target objects according to the 3D target detection information of the plurality of target objects, the method further includes:
  • the currently captured image includes multiple target objects
  • the image features of the target to be tracked and the image features of a plurality of the target objects determine whether there is a target object similar to the target to be tracked in the plurality of target objects;
  • the to-be-tracked object is determined from the plurality of target objects according to the 3D target detection information of the plurality of target objects Target.
  • Embodiments of the present application further provide a computer-readable storage medium, where a computer program is stored in the computer-readable storage medium, and the computer program includes program instructions, and the processor executes the program instructions to realize the provision of the above embodiments.
  • the steps of the object detection method are described in detail below.
  • the computer-readable storage medium may be an internal storage unit of the UAV described in any of the foregoing embodiments, such as a hard disk or a memory of the UAV.
  • the computer-readable storage medium can also be an external storage device of the drone, such as a plug-in hard disk equipped on the drone, a smart memory card (Smart Media Card, SMC), a secure digital (Secure Digital, SD) card, flash memory card (Flash Card), etc.

Abstract

一种目标检测方法、装置（400）、无人机（200）及计算机可读存储介质，其中方法包括：获取拍摄装置（201）拍摄待跟踪目标得到的当前拍摄图像（S101）；将当前拍摄图像输入预设的3D目标检测模型进行处理，得到待跟踪目标的3D目标检测信息（S102），能够准确且全面地对目标进行检测。

Description

目标检测方法、装置、无人机及计算机可读存储介质 技术领域
本申请涉及目标检测技术领域，尤其涉及一种目标检测方法、装置、无人机及计算机可读存储介质。
背景技术
目前，无人机可以实现对目标进行跟踪拍摄，在对目标进行跟踪拍摄时需要对目标进行检测。目前，无人机主要采用2D目标检测算法对目标进行检测，但2D目标检测算法仅能提供目标在二维图片中的位置和对应类别的置信度，在一些情况下，由于遮挡和交错等情况的出现，仅通过目标在二维图片中的位置和对应类别的置信度是无人机无法准确的跟踪目标的，对此需要通过图像识别目标的更多信息，例如，目标的大小、目标相对于无人机的角度等。因此，如何准确且全面地对目标进行检测是目前亟待解决的问题。
发明内容
基于此，本申请实施例提供了一种目标检测方法、装置、无人机及计算机可读存储介质，旨在准确且全面地对目标进行检测。
第一方面，本申请实施例提供了一种目标检测方法，应用于无人机，所述无人机包括拍摄装置，所述方法包括：
获取所述拍摄装置拍摄待跟踪目标得到的当前拍摄图像；
将所述当前拍摄图像输入预设的3D目标检测模型进行处理，得到所述待跟踪目标的3D目标检测信息；
其中，所述3D目标检测模型是预先训练好的神经网络模型，所述3D目标检测信息包括所述待跟踪目标在世界坐标系下的第一尺寸信息和所述待跟踪目标相对于所述无人机的角度信息。
第二方面，本申请实施例还提供了一种目标检测装置应用无人机，所述无人机包括拍摄装置，所述目标检测装置包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如上所述的目标检测方法的步骤。
第三方面，本申请实施例还提供了一种无人机，所述无人机包括拍摄装置、存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如上所述的目标检测方法的步骤。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上所述的目标检测方法的步骤。
本申请实施例提供了一种目标检测方法、装置、无人机及计算机可读存储介质，通过获取拍摄装置拍摄待跟踪目标得到的当前拍摄图像，并将当前拍摄图像输入预设的3D目标检测模型进行处理，得到包括待跟踪目标在世界坐标系下的第一尺寸信息和待跟踪目标相对于无人机的角度信息的3D目标检测信息，通过3D目标检测模型能够准确且全面地对目标进行检测，得到3D目标检测信息，便于无人机基于3D目标检测信息对待跟踪目标进行跟踪，极大地提高了用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是实施本申请实施例提供的目标检测方法的一场景示意图；
图2是本申请实施例提供的一种目标检测方法的步骤示意流程图；
图3是本申请实施例提供的另一种目标检测方法的步骤示意流程图；
图4是本申请的实施例提供的目标跟踪的场景示意图；
图5是本申请的实施例提供的拍摄图像中包括多个目标对象的场景示意图；
图6是图3中的目标检测方法的子步骤示意流程图；
图7是本申请实施例提供的又一种目标检测方法的步骤示意流程图；
图8是本申请实施例提供的一种目标检测装置的结构示意性框图；
图9是本申请实施例提供的一种无人机的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
目前，无人机可以实现对目标进行跟踪拍摄，在对目标进行跟踪拍摄时需要对目标进行检测。目前，无人机主要采用2D目标检测算法对目标进行检测，但2D目标检测算法仅能提供目标在二维图片中的位置和对应类别的置信度，在一些情况下，由于遮挡和交错等情况的出现，仅通过目标在二维图片中的位置和对应类别的置信度是无人机无法准确的跟踪目标的，对此需要通过图像识别目标的更多信息，例如，目标的大小、目标相对于无人机的角度等。因此，如何准确且全面地对目标进行检测是目前亟待解决的问题。
基于上述问题，本申请实施例提供一种目标检测方法、装置、无人机及计算机可读存储介质，该目标检测方法可以应用于目标检测装置，也可以应用于无人机。请参阅图1，图1是实施本申请实施例提供的目标检测方法的一场景示意图。如图1所示，该场景包括控制终端100和无人机200，控制终端100与无人机200通信连接，用于控制无人机200的飞行，无人机200用于对待跟踪目标进行目标检测，得到待跟踪目标的3D目标检测信息，以便无人机200后续基于待跟踪目标的3D目标检测信息对待跟踪目标进行跟踪拍摄，并将跟踪拍摄的图像，利用无线图传技术发送至控制终端100进行显示。
具体地，控制终端100包括显示装置101，显示装置101用于显示无人机拍摄的图像。需要说明的是，显示装置101包括设置在控制终端100上的显示屏或者独立于控制终端100的显示器，独立于控制终端100的显示器可以包括手机、平板电脑或者个人电脑等，或者也可以是带有显示屏的其他电子设备。其中，该显示屏包括LED显示屏、OLED显示屏、LCD显示屏等等。
无人机200包括拍摄装置201，拍摄装置201用于对待跟踪目标进行拍摄， 得到当前拍摄图像，并将当前拍摄图像发给无人机，由无人机根据当前拍摄图像对待跟踪目标进行检测。拍摄装置201具体可以包括一个摄像头，即单目拍摄方案；也可以包括两个摄像头，即双目拍摄方案。
无人机200可以是旋翼飞机。在某些情形下，无人机200可以是可包括多个旋翼的多旋翼飞行器。多个旋翼可旋转而为无人机200产生提升力。旋翼可以是推进单元，可使得无人机200在空中自由移动。旋翼可按相同速率旋转和/或可产生相同量的提升力或推力。旋翼可按不同的速率随意地旋转，产生不同量的提升力或推力和/或允许无人机200旋转。在某些情形下，在无人机200上可提供一个、两个、三个、四个、五个、六个、七个、八个、九个、十个或更多个旋翼。这些旋翼可布置成其旋转轴彼此平行。在某些情形下，旋翼的旋转轴可相对于彼此呈任意角度，从而可影响无人机200的运动。
无人机200可包括多个旋翼。旋翼可连接至无人机200的本体，无人机200的本体可包含控制单元、惯性测量单元(inertial measuring unit，IMU)、处理器、电池、电源和/或其他传感器。旋翼可通过从本体中心部分分支出来的一个或多个臂或延伸而连接至本体。例如，一个或多个臂可从无人机200的中心本体放射状延伸出来，而且在臂末端或靠近末端处可具有旋翼。示例性的，无人机200可例如为四旋翼无人机、六旋翼无人机、八旋翼无人机。当然，也可以是固定翼无人机，还可以是旋翼型与固定翼无人机的组合，在此不作限定。
以下，将结合图1中的场景对本申请的实施例提供的目标检测方法进行详细介绍。需知，图1中的场景仅用于解释本申请实施例提供的目标检测方法，但并不构成对本申请实施例提供的目标检测方法应用场景的限定。
请参阅图2，图2是本申请实施例提供的一种目标检测方法的步骤示意流程图。该目标检测方法应用于无人机，用于准确且全面地对目标进行检测。
如图2所示，该目标检测方法包括步骤S101至步骤S102。
S101、获取所述拍摄装置拍摄待跟踪目标得到的当前拍摄图像。
S102、将所述当前拍摄图像输入预设的3D目标检测模型进行处理，得到所述待跟踪目标的3D目标检测信息。
在对待跟踪目标进行目标检测时，需要获取包含待跟踪目标的当前拍摄图像，具体可以通过拍摄装置拍摄待跟踪目标所在空间区域的图像，得到包含待跟踪目标得到的当前拍摄图像，并将当前拍摄图像输入预设的3D目标检测模型进行处理，得到待跟踪目标的3D目标检测信息。其中，预设的3D目标检测模型是预先训练好的神经网络模型，3D目标检测信息包括待跟踪目标在世界坐 标系下的第一尺寸信息和待跟踪目标相对于无人机的角度信息。
在一实施例中，3D目标检测信息还包括待跟踪目标在相机坐标系下的位置信息和待跟踪目标在当前拍摄图像内的第二尺寸信息和待跟踪目标在相机坐标系下的位置信息，待跟踪目标相对于无人机的角度信息包括待跟踪目标相对于无人机的yaw角、pitch角和roll角，第一尺寸信息包括待跟踪目标在世界坐标系下的长度信息、宽度信息和/或高度信息，第二尺寸信息包括待跟踪目标在当前拍摄图像内的长度信息、宽度信息和/或高度信息。
在一实施例中，对神经网络模型进行训练得到3D目标检测模型的方式可以为：获取训练样本数据，其中，训练样本数据包括多个样本图像以及每个样本图像中的待跟踪目标的3D目标检测信息；根据训练样本数据对神经网络模型进行迭代训练，直到迭代训练后的神经网络模型收敛，得到3D目标检测模型。其中，神经网络模型包括但不限于卷积神经网络模型CNN、RCNN、Fast RCNN和Faster RCNN。通过包括待跟踪目标相对于无人机的yaw角、pitch角和roll角、待跟踪目标在相机坐标系下的位置信息和待跟踪目标在世界坐标系下的第一尺寸信息等的3D目标检测信息和对应的图像对神经网络模型进行训练，能够解决现有的3D目标检测算法无法在无人机上复用的问题，使得无人机能够基于3D目标检测模型对待跟踪目标进行目标检测，便于后续无人机对待跟踪目标进行跟踪拍摄，极大地提高了用户体验。
上述实施例提供的目标检测方法，通过获取拍摄装置拍摄待跟踪目标得到的当前拍摄图像，并将当前拍摄图像输入预设的3D目标检测模型进行处理，得到包括待跟踪目标在世界坐标系下的第一尺寸信息和待跟踪目标相对于无人机的角度信息的3D目标检测信息，通过3D目标检测模型能够准确且全面地对目标进行检测，得到3D目标检测信息，便于无人机基于3D目标检测信息对待跟踪目标进行跟踪，极大地提高了用户体验。
请参阅图3，图3是本申请实施例提供的另一种目标检测方法的步骤示意流程图。
具体地，如图3所示，该目标检测方法包括步骤S201至S203。
S201、获取所述拍摄装置拍摄待跟踪目标得到的当前拍摄图像；
S202、将所述当前拍摄图像输入预设的3D目标检测模型进行处理，得到所述待跟踪目标的3D目标检测信息；
S203、根据所述3D目标检测信息对所述待跟踪目标进行跟踪拍摄。
一般情况下，在获取包含待跟踪目标的当前拍摄图像之后，即可以基于目 标跟踪算法，根据当前拍摄图像中的待跟踪目标的图像特征对待跟踪目标进行跟踪拍摄。然而由于在实际跟踪过程中，常常会出现与该跟踪目标类似的目标对象的影响，并且还可能会有遮挡和交错等情况的出现，因此会导致待跟踪目标的跟踪丢失。其中，目标跟踪算法包括均值漂移算法、Kalman滤波算法、粒子滤波算法、对运动目标建模算法中任意一种。在其他一些实施例中，还可以使用其他目标跟踪算法，在此不做限定。
示例性的，如图4所示，无人机200通过拍摄装置201对待跟踪目标(车辆A)进行拍摄，得到包括该车辆A的当前拍摄图像。无人机200获取该包含该车辆A的当前拍摄图像，并根据当前拍摄图像对车辆A进行跟踪拍摄，并将跟踪拍摄的当前拍摄图像发送给控制终端100进行显示，以及在定位的待跟踪目标上显示跟踪标识，如图4中控制终端100的显示装置101显示的车辆的定位框。
示例性的，如图5所示，如果在对车辆A进行跟踪的过程中，若当前拍摄图像中出现多个车辆，比如为车辆1、车辆2、车辆3和车辆4，其中，车辆3和车辆4又是相同类型的车辆。假设车辆3和车辆4中有一辆车是待跟踪目标(车辆A)，由于车辆A所在的当前拍摄图像中出现多辆车辆，还包括与车辆A完全相同的车辆，由此若此时出现遮挡或交错等原因，可能会导致待跟踪目标跟踪丢失的情况出现。其中，待跟踪目标跟踪丢失的情况包括：无法区别哪一个车辆为待跟踪目标或者跟踪到错误的目标对象。
为此，在对待跟踪目标进行跟踪时，获取拍摄装置拍摄待跟踪目标得到的当前拍摄图像；将当前拍摄图像输入预设的3D目标检测模型进行处理，得到待跟踪目标的3D目标检测信息；根据待跟踪目标的3D目标检测信息对待跟踪目标进行跟踪拍摄。由于3D目标检测信息包括待跟踪目标相对于无人机的角度信息，也即不同的目标对象相对于无人机的角度信息大概率存在不同，因此在跟踪待跟踪目标的过程中，当出现多个目标对象时，使用3D目标检测信息中的目标对象相对于无人机的角度信息可以确定待跟踪目标，能够克服仅根据图像信息进行跟踪导致的错跟和跟丢的问题，极大地提高目标跟踪的准确率。
在一实施例中，如图6所示，步骤S203具体包括：子步骤S2031至S2032。
S2031、根据所述3D目标检测信息，预测所述待跟踪目标在世界坐标系下的目标位置坐标。
在一实施例中，根据3D目标检测信息和预设目标跟踪算法，能够预测得到待跟踪目标在世界坐标系下的下一时刻的目标位置坐标。其中，预设目标跟 踪算法包括均值漂移算法、Kalman滤波算法、粒子滤波算法、对运动目标建模算法中任意一种。在其他一些实施例中，还可以使用其他目标跟踪算法，在此不做限定。
在一实施例中，根据3D目标检测信息和预设目标跟踪算法，预测待跟踪目标在世界坐标系下的目标位置坐标的方式可以为：根据3D目标检测信息中的第一目标检测信息和预设目标跟踪算法，预测待跟踪目标在世界坐标系下的第一候选位置坐标；根据3D目标检测信息中的第二目标检测信息和预设目标跟踪算法，预测待跟踪目标在世界坐标系下的第二候选位置坐标；根据第一候选位置坐标和第二候选位置坐标，确定待跟踪目标在世界坐标系下的目标位置坐标。其中，第一目标检测信息包括待跟踪目标在世界坐标系下的第一尺寸信息和待跟踪目标相对于无人机的角度信息，第二目标检测信息包括待跟踪目标在当前拍摄图像内的位置信息和第二尺寸信息。通过融合待跟踪目标在世界坐标系下的信息和待跟踪目标当前拍摄图像内的信息，能够准确地预测待跟踪目标在世界坐标系下的目标位置坐标，便于对待跟踪目标进行跟踪，能够克服仅根据图像信息进行跟踪导致的错跟和跟丢的问题。
在一实施例中，根据第一候选位置坐标和第二候选位置坐标，确定待跟踪目标在世界坐标系下的目标位置坐标的方式可以为：获取第一预设系数和第二预设系数；计算第一预设系数与第一候选位置坐标的乘积，得到第一权重位置坐标，并计算第二预设系数与第二候选位置坐标的乘积，得到第二权重位置坐标；将第一权重位置坐标与第二权重位置坐标相加，得到待跟踪目标在世界坐标系下的目标位置坐标。其中，第一预设系数与第二预设系数之和为1，第一预设系数和第二预设系数可基于实际情况进行设置，本申请实施例对此不做具体限定，例如，第一预设系数为0.65，第二预设系数为0.35。
S2032、根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄。
在预测到待跟踪目标在世界坐标系下的目标位置坐标后，基于该目标位置坐标控制无人机对待跟踪目标进行跟踪拍摄，使得待跟踪目标始终位于拍摄装置的拍摄画面的中央位置、无人机相对待跟踪目标静止和/或无人机与待跟踪目标之间的距离始终为固定距离。
在一实施例中，待跟踪目标的3D目标检测信息包括待跟踪目标在相机坐标系下的位置信息，根据目标位置坐标控制无人机对待跟踪目标进行跟踪拍摄的方式可以为：将待跟踪目标在相机坐标系下的位置信息转换为待跟踪目标在 世界坐标系下的第一位置信息；获取无人机的第二位置信息，并根据第一位置信息和第二位置信息，确定待跟踪目标与无人机之间的目标距离；根据目标位置坐标和目标距离，控制无人机对待跟踪目标进行跟踪拍摄，使得无人机与待跟踪目标之间的距离始终为目标距离。其中，无人机的第二位置信息可以根据无人机的定位装置在当前时刻采集到的位置信息，定位装置包括全球定位系统(Global Positioning System，GPS)定位装置和实时动态(Real-time kinematic，RTK)定位装置中的任一项。通过目标位置坐标和目标距离，控制无人机对待跟踪目标进行跟踪拍摄能够保证无人机与待跟踪目标之间的距离始终为目标距离，提高用户体验。
在一实施例中，根据目标位置坐标和目标距离，控制无人机对待跟踪目标进行跟踪拍摄的方式可以为：根据待跟踪目标在世界坐标系下的目标位置坐标和无人机的第二位置信息，确定待跟踪目标的位置处于目标位置坐标对应的位置时无人机与待跟踪目标之间的距离预测值；确定该目标距离与该距离预测值的差值，并基于目标距离与该距离预测值的差值和无人机的第二位置信息，确定无人机的目标位置；控制无人机由当前位置飞行至目标位置，并在该目标位置对待跟踪目标进行跟踪拍摄，使得无人机达到目标位置时无人机与待跟踪目标之间的距离为该目标距离。
在一实施例中，根据目标位置坐标和目标距离，控制无人机对待跟踪目标进行跟踪拍摄的方式可以为：根据待跟踪目标的3D目标检测信息，确定待跟踪目标的运动速度；根据待跟踪目标的运动速度，控制无人机对待跟踪目标进行跟踪拍摄，使得无人机相对待跟踪目标静止，即控制无人机按照与该运动速度相同的飞行速度飞行，使得无人机相对待跟踪目标静止。通过在无人机跟踪拍摄待跟踪目标的过程中，保证无人机相对待跟踪目标静止，便于无人机通过拍摄装置拍摄待跟踪目标，提高用户体验。
在一实施例中，根据目标位置坐标和目标距离，控制无人机对待跟踪目标进行跟踪拍摄的方式可以为：根据待跟踪目标的3D目标检测信息，确定待跟踪目标的运动速度；根据待跟踪目标的目标位置坐标、运动速度和目标距离，控制无人机对待跟踪目标进行跟踪拍摄，使得无人机相对待跟踪目标静止，且无人机与待跟踪目标之间的距离始终为目标距离。通过在无人机跟踪拍摄待跟踪目标的过程中，保证无人机相对待跟踪目标静止，且无人机与待跟踪目标之间的距离始终为目标距离，便于无人机通过拍摄装置拍摄待跟踪目标，提高用户体验。
在一实施例中，根据待跟踪目标的3D目标检测信息，确定待跟踪目标的运动速度的方式可以为：获取待跟踪目标的3D目标检测信息中的待跟踪目标在相机坐标系下的位置坐标，并将待跟踪目标在相机坐标系下的位置坐标转换为待跟踪目标在世界坐标系下的当前位置坐标；获取待跟踪目标在世界坐标系下的历史位置坐标，并基于待跟踪目标在世界坐标系下的当前位置坐标和历史位置坐标，确定待跟踪目标的运动距离；根据待跟踪目标在世界坐标系下的当前位置坐标的第一采集时刻和历史位置坐标的第二采集时刻，确定待跟踪目标的运动时长；根据待跟踪目标的运动距离和运动时长，确定待跟踪目标的运动速度。其中，待跟踪目标在世界坐标系下的历史位置坐标为在上一个时刻确定的待跟踪目标在世界坐标系下的位置坐标。
在一实施例中，根据目标位置坐标控制无人机对待跟踪目标进行跟踪拍摄的方式可以为：根据该目标位置坐标，确定无人机上的拍摄装置的目标姿态；根据目标姿态控制无人机对待跟踪目标进行跟踪拍摄，使得待跟踪目标始终位于拍摄装置的拍摄画面的中央位置。通过在无人机跟踪拍摄待跟踪目标的过程中，保证待跟踪目标始终位于拍摄装置的拍摄画面的中央位置，便于用户观看和控制无人机的拍摄装置对待跟踪目标进行拍摄，极大地提高了用户体验。
在一实施例中，根据该目标位置坐标，确定无人机上的拍摄装置的目标姿态的方式可以为：将该目标位置坐标转换为图像坐标系下的第一像素坐标，并获取拍摄画面的中央位置的第二像素坐标；根据第一像素坐标和第二像素坐标，确定待跟踪目标相对于拍摄画面的中央位置的方位信息，并根据待跟踪目标相对于拍摄画面的中央位置的方位信息，确定无人机上的拍摄装置的目标姿态，使得当无人机的拍摄装置的姿态为该目标姿态时待跟踪目标位于拍摄画面的中央位置。
在一实施例中，根据目标姿态控制无人机对待跟踪目标进行跟踪拍摄的方式可以为：将无人机上的拍摄装置的姿态调整为该目标姿态，使得待跟踪目标始终位于拍摄装置的拍摄画面的中央位置。其中，可以通过调整搭载拍摄装置的云台来改变拍摄装置的姿态，也可以通过调整无人机的飞行姿态来改变拍摄装置的姿态，还可以通过同时调整搭载拍摄装置的云台和无人机的飞行姿态来改变拍摄装置的姿态。
上述实施例提供的目标检测方法，通过在对待跟踪目标进行跟踪时，获取拍摄装置拍摄待跟踪目标得到的当前拍摄图像；将当前拍摄图像输入预设的3D目标检测模型进行处理，得到待跟踪目标的3D目标检测信息；根据待跟踪目 标的3D目标检测信息对待跟踪目标进行跟踪拍摄，能够克服仅根据图像信息进行跟踪导致的错跟和跟丢的问题，可以提高目标跟踪的准确率。
请参阅图7，图7是本申请实施例提供的又一种目标检测方法的步骤示意流程图。
如图7所示，该目标检测方法包括步骤S301至步骤S304。
S301、获取所述拍摄装置拍摄待跟踪目标得到的当前拍摄图像；
S302、将所述当前拍摄图像输入预设的3D目标检测模型进行处理，得到所述待跟踪目标的3D目标检测信息；
S303、当确定所述当前拍摄图像包括多个目标对象时，根据多个所述目标对象的3D目标检测信息从多个所述目标对象中确定所述待跟踪目标；
S304、根据所述待跟踪目标的3D目标检测信息对所述待跟踪目标进行跟踪拍摄。
由于不同的目标对象有可能类型比较类似或者完全相同，比如差不多身高和胖瘦的行人，或者类似车型的车辆，或者完全相同的车辆，导致这些目标对象的图像特征比较相近，因此根据图像特征对待跟踪目标进行跟踪的话，可能无法区分。但是不同的目标对象对应的3D目标检测信息大概率存在不同，因此在对待跟踪目标进行跟踪的过程中，获取拍摄装置拍摄待跟踪目标得到的当前拍摄图像，并将当前拍摄图像输入预设的3D目标检测模型进行处理，得到待跟踪目标的3D目标检测信息，然后当确定当前拍摄图像包括多个目标对象时，根据多个目标对象的3D目标检测信息从多个目标对象中确定待跟踪目标，最后根据待跟踪目标的3D目标检测信息对待跟踪目标进行跟踪拍摄。能够克服仅根据图像信息进行跟踪导致的错跟和跟丢的问题，极大地提高目标跟踪的准确率。
在一实施例中，根据多个目标对象的3D目标检测信息从多个目标对象中确定待跟踪目标的方式可以为：根据多个目标对象的3D目标检测信息，确定多个目标对象的运动信息；根据待跟踪目标的3D目标检测信息确定待跟踪目标的运动信息；根据待跟踪目标的运动信息和多个目标对象的运动信息，计算待跟踪目标与多个目标对象的相似度；根据待跟踪目标与多个目标对象的相似度从多个目标对象中确定待跟踪目标。其中，该运动信息包括速度信息和/或位置信息，该速度信息为目标对象或待跟踪目标的速度大小和/或方向，该位置信息为待跟踪目标或待跟踪目标的坐标，具体可以为在世界坐标系下的坐标。通过待跟踪目标与多个目标对象的相似度可以准确地从多个目标对象中确定待跟 踪目标，便于后续对待跟踪目标进行跟踪，克服仅根据图像信息进行跟踪导致的错跟和跟丢的问题，极大地提高目标跟踪的准确率。
在一实施例中，由于运动信息包括位置信息和/或速度信息。相应地，待跟踪目标与目标对象的相似度包括位置相似度和/或速度相似度。由此，根据待跟踪目标与多个目标对象的相似度从多个目标对象中确定待跟踪目标的方式可以为：根据待跟踪目标与多个目标对象的位置相似度，从多个目标对象中确定待跟踪目标；或者，根据待跟踪目标与多个目标对象的速度相似度，从多个目标对象中确定待跟踪目标；再或者，根据待跟踪目标与多个目标对象的位置相似度和速度相似度，从多个目标对象中确定待跟踪目标。需要说明的是，根据位置相似度和速度相似度，从多个目标对象中确定待跟踪目标，可以根据位置相似度和速度相似度之和，确定最大的和值对应的目标对象为待跟踪目标。
在一实施例中，为了提高待跟踪目标确定的准确率。根据待跟踪目标与多个目标对象的相似度从多个目标对象中确定待跟踪目标的方式可以为：获取位置相似度对应的第一预设权重，以及速度相似度对应的第二预设权重；根据位置相似度、速度相似度、第一预设权重和第二预设权重，从多个目标对象中确定所述待跟踪目标。其中，第一预设权重和第二预设权重可基于实际情况进行设置，本申请实施例对此不做具体限定。
在一实施例中，根据位置相似度、速度相似度、第一预设权重和第二预设权重，从多个目标对象中确定所述待跟踪目标的方式可以为：计算位置相似度与第一预设权重的乘积，以及计算速度相似度与第二预设权重的乘积；再计算两个乘积之和，将两个乘积之和作为待跟踪目标与目标对象的最终相似度，将最大的最终相似度对应的目标对象确定为待跟踪目标。利用预设权重可以调整位置信息和速度信息之间的影响大小，因此能够更为准确地确定待跟踪目标，进而提高目标跟踪的准确率。
在一实施例中，位置相似度对应的第一预设权重小于速度相似度对应的第二预设权重。由于位置信息在前后帧拍摄图像中有较小的变化，而速度信息在前后帧拍摄图像中则基本不变，因此通过设置不同权重比例，提高速度相似度的占比，可以提高跟踪目标确定的准确率，进而提高目标跟踪的准确率。
在一实施例中，根据当前拍摄图像确定待跟踪目标的图像特征；根据待跟踪目标与多个目标对象的相似度和待跟踪目标的图像特征，从多个目标对象中确定待跟踪目标，即从多个目标对象中，找出与该待跟踪目标相似度最高以及图像特征最近的目标对象作为待跟踪目标。通过结合待跟踪目标的图像特征和 待跟踪目标与多个目标对象的相似度，能够进一步地准确地确定待跟踪目标，进而提高目标跟踪的准确率。
在一实施例中，根据待跟踪目标的图像特征从多个目标对象中，确定与待跟踪目标相似的目标对象；根据待跟踪目标与多个目标对象的相似度从与待跟踪目标相似的目标对象中，确定待跟踪目标。先通过待跟踪目标的图像特征从多个目标对象中，确定与待跟踪目标相似的目标对象，再根据待跟踪目标与多个目标对象的相似度从与待跟踪目标相似的目标对象中，确定待跟踪目标，能够了快速以及准确地确定待跟踪目标。其中，该图像特征包括目标在拍摄图像中对应的颜色特征、分布位置特征、纹理特征、轮廓特征中一种或多种。
在一实施例中，根据待跟踪目标与多个目标对象的相似度从多个目标对象中确定所述待跟踪目标的方式可以为：根据待跟踪目标与多个目标对象的相似度和待跟踪目标的Reid特征，从多个目标对象中确定待跟踪目标；其中，该Reid特征为采用行人重识别技术从当前拍摄图像识别出的待跟踪目标的特征。通过待跟踪目标与多个目标对象的相似度和待跟踪目标的Reid特征，从多个目标对象中确定待跟踪目标，可以弥补无人机的拍摄装置的视觉局限，以及提高待跟踪目标确定的准确率，进而提高目标跟踪的准确率。
在一实施例中，在根据多个目标对象的3D目标检测信息从多个目标对象中确定待跟踪目标之前，当确定当前拍摄图像包括多个目标对象时，根据当前拍摄图像，获取待跟踪目标的图像特征和多个目标对象的图像特征；根据待跟踪目标的图像特征和多个目标对象的图像特征，确定多个目标对象中是否存在与待跟踪目标相似的目标对象；当确定多个目标对象中存在至少两个与待跟踪目标相似的目标对象时，根据多个目标对象的3D目标检测信息从多个目标对象中确定待跟踪目标。若多个目标对象中只存在一个与待跟踪目标相似的目标对象，即使出现目标跟踪丢失的情况，也可以从图像特征识别的角度重新对该待跟踪目标进行跟踪。若多个目标对象中存在至少两个与待跟踪目标相似的目标对象，才有可能因为遮挡或交叉等原因造成目标跟踪丢失，因此需要使用3D目标检测信息进行进一步地确定，由此可以提高待跟踪目标的跟踪的准确率。
上述实施例提供的目标检测方法，通过在对待跟踪目标进行跟踪的过程中，获取拍摄装置拍摄待跟踪目标得到的当前拍摄图像，并将当前拍摄图像输入预设的3D目标检测模型进行处理，得到待跟踪目标的3D目标检测信息，然后当确定当前拍摄图像包括多个目标对象时，根据多个目标对象的3D目标检测信息从多个目标对象中确定待跟踪目标，最后根据待跟踪目标的3D目标检测信 息对待跟踪目标进行跟踪拍摄。能够克服仅根据图像信息进行跟踪导致的错跟和跟丢的问题，极大地提高目标跟踪的准确率。
请参阅图8，图8是本申请实施例提供的一种目标检测装置的结构示意性框图。
该目标检测装置应用无人机，该无人机包括拍摄装置，如图8所示，目标检测装置400包括包括处理器401和存储器402，处理器401和存储器402通过总线403连接，该总线403比如为I2C(Inter-integrated Circuit)总线。
具体地，处理器401可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器402可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中，所述处理器401用于运行存储在存储器402中的计算机程序，并在执行所述计算机程序时实现如下步骤：
获取所述拍摄装置拍摄待跟踪目标得到的当前拍摄图像；
将所述当前拍摄图像输入预设的3D目标检测模型进行处理，得到所述待跟踪目标的3D目标检测信息；
其中，所述3D目标检测模型是预先训练好的神经网络模型，所述3D目标检测信息包括所述待跟踪目标在世界坐标系下的第一尺寸信息和所述待跟踪目标相对于所述无人机的角度信息。
在一实施例中，所述待跟踪目标相对于所述无人机的角度信息包括所述待跟踪目标相对于所述无人机的yaw角、pitch角和roll角。
在一实施例中，所述3D目标检测信息还包括所述待跟踪目标在相机坐标系下的位置信息和所述待跟踪目标在所述当前拍摄图像内的第二尺寸信息。
在一实施例中，所述第一尺寸信息包括所述待跟踪目标在世界坐标系下的长度信息、宽度信息和/或高度信息。
在一实施例中，所述第二尺寸信息包括所述待跟踪目标在所述当前拍摄图像内的长度信息、宽度信息和/或高度信息。
在一实施例中，所述处理器还用于实现以下步骤：
获取训练样本数据，其中，所述训练样本数据包括多个样本图像以及每个所述样本图像中的待跟踪目标的3D目标检测信息；
根据所述训练样本数据对神经网络模型进行迭代训练，直到迭代训练后的 神经网络模型收敛，得到所述3D目标检测模型。
在一实施例中，所述神经网络模型包括卷积神经网络模型CNN、RCNN、Fast RCNN和Faster RCNN。
在一实施例中，所述处理器还用于实现以下步骤：
根据所述3D目标检测信息对所述待跟踪目标进行跟踪拍摄。
在一实施例中，所述根据所述3D目标检测信息对所述待跟踪目标进行跟踪拍摄，包括：
根据所述3D目标检测信息，预测所述待跟踪目标在世界坐标系下的目标位置坐标；
根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄。
在一实施例中，所述根据所述3D目标检测信息，预测所述待跟踪目标在世界坐标系下的目标位置坐标，包括：
根据所述3D目标检测信息和预设目标跟踪算法，预测所述待跟踪目标在世界坐标系下的目标位置坐标。
在一实施例中，所述3D目标检测信息包括所述待跟踪目标在相机坐标系下的位置信息，所述根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄，包括：
将所述待跟踪目标在相机坐标系下的位置信息转换为所述待跟踪目标在世界坐标系下的第一位置信息；
获取所述无人机的第二位置信息，并根据所述第一位置信息和第二位置信息，确定所述待跟踪目标与所述无人机之间的目标距离；
根据所述目标位置坐标和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述无人机与待跟踪目标之间的距离始终为所述目标距离。
在一实施例中，所述根据所述目标位置坐标和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，包括：
根据所述3D目标检测信息，确定所述待跟踪目标的运动速度；
根据所述待跟踪目标的目标位置坐标、运动速度和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述无人机相对所述待跟踪目标静止，且所述无人机与待跟踪目标之间的距离始终为所述目标距离。
在一实施例中，所述根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄，包括：
根据所述目标位置坐标，确定所述无人机上的拍摄装置的目标姿态；
根据所述目标姿态控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述待跟踪目标始终位于所述拍摄装置的拍摄画面的中央位置。
在一实施例中，所述根据所述3D目标检测信息对所述待跟踪目标进行跟踪拍摄，包括：
当确定所述当前拍摄图像包括多个目标对象时，根据多个所述目标对象的3D目标检测信息从多个所述目标对象中确定所述待跟踪目标；
根据所述待跟踪目标的3D目标检测信息对所述待跟踪目标进行跟踪拍摄。
在一实施例中，所述根据多个所述目标对象的3D目标检测信息从多个所述目标对象中确定所述待跟踪目标，包括：
根据多个所述目标对象的3D目标检测信息，确定多个所述目标对象的运动信息；
根据所述待跟踪目标的3D目标检测信息确定所述待跟踪目标的运动信息；
根据所述待跟踪目标的运动信息和多个所述目标对象的运动信息，计算所述待跟踪目标与多个所述目标对象的相似度；
根据所述相似度从多个所述目标对象中确定所述待跟踪目标。
在一实施例中，所述运动信息包括位置信息和/或速度信息；所述相似度包括位置相似度和/或速度相似度。
在一实施例中，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述位置相似度和/或速度相似度，从多个所述目标对象中确定所述待跟踪目标。
在一实施例中，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
获取所述位置相似度对应的第一预设权重，以及所述速度相似度对应的第二预设权重；
根据所述位置相似度、速度相似度、第一预设权重和第二预设权重，从多个所述目标对象中确定所述待跟踪目标。
在一实施例中，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述当前拍摄图像确定所述待跟踪目标的图像特征；
根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标。
在一实施例中，所述根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述待跟踪目标的图像特征从多个所述目标对象中，确定与所述待跟踪目标相似的目标对象；
根据所述相似度从与所述待跟踪目标相似的目标对象中，确定所述待跟踪目标。
在一实施例中，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述相似度和所述待跟踪目标的Reid特征，从多个所述目标对象中确定所述待跟踪目标；
其中，所述Reid特征为采用行人重识别技术从所述当前拍摄图像识别出的所述待跟踪目标的特征。
在一实施例中，所述根据多个所述目标对象的3D目标检测信息从多个所述目标对象中确定所述待跟踪目标之前，还包括：
当确定所述当前拍摄图像包括多个目标对象时，根据所述当前拍摄图像，获取所述待跟踪目标的图像特征和多个所述目标对象的图像特征；
根据所述待跟踪目标的图像特征和多个所述目标对象的图像特征，确定多个所述目标对象中是否存在与所述待跟踪目标相似的目标对象；
当确定多个所述目标对象中存在至少两个与所述待跟踪目标相似的目标对象时，根据多个所述目标对象的3D目标检测信息从多个所述目标对象中确定所述待跟踪目标。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的目标检测装置的具体工作过程，可以参考前述目标检测方法实施例中的对应过程，在此不再赘述。
请参阅图9，图9是本申请实施例提供的一种无人机的结构示意性框图。
如图9所示，该无人机500包括处理器501、存储器502和拍摄装置503，处理器501、存储器502和拍摄装置503通过总线504连接，该总线504比如为I2C(Inter-integrated Circuit)总线。其中，无人机可以为旋翼型无人机，例如四旋翼无人机、六旋翼无人机、八旋翼无人机，也可以是固定翼无人机，还可以是旋翼型与固定翼无人机的组合，在此不作限定。
具体地，处理器501可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal  Processor，DSP)等。
具体地，存储器502可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中，所述处理器501用于运行存储在存储器502中的计算机程序，并在执行所述计算机程序时实现如下步骤：
获取所述拍摄装置拍摄待跟踪目标得到的当前拍摄图像；
将所述当前拍摄图像输入预设的3D目标检测模型进行处理，得到所述待跟踪目标的3D目标检测信息；
其中，所述3D目标检测模型是预先训练好的神经网络模型，所述3D目标检测信息包括所述待跟踪目标在世界坐标系下的第一尺寸信息和所述待跟踪目标相对于所述无人机的角度信息。
在一实施例中，所述待跟踪目标相对于所述无人机的角度信息包括所述待跟踪目标相对于所述无人机的yaw角、pitch角和roll角。
在一实施例中，所述3D目标检测信息还包括所述待跟踪目标在相机坐标系下的位置信息和所述待跟踪目标在所述当前拍摄图像内的第二尺寸信息。
在一实施例中，所述第一尺寸信息包括所述待跟踪目标在世界坐标系下的长度信息、宽度信息和/或高度信息。
在一实施例中，所述第二尺寸信息包括所述待跟踪目标在所述当前拍摄图像内的长度信息、宽度信息和/或高度信息。
在一实施例中，所述处理器还用于实现以下步骤：
获取训练样本数据，其中，所述训练样本数据包括多个样本图像以及每个所述样本图像中的待跟踪目标的3D目标检测信息；
根据所述训练样本数据对神经网络模型进行迭代训练，直到迭代训练后的神经网络模型收敛，得到所述3D目标检测模型。
在一实施例中，所述神经网络模型包括卷积神经网络模型CNN、RCNN、Fast RCNN和Faster RCNN。
在一实施例中，所述处理器还用于实现以下步骤：
根据所述3D目标检测信息对所述待跟踪目标进行跟踪拍摄。
在一实施例中，所述根据所述3D目标检测信息对所述待跟踪目标进行跟踪拍摄，包括：
根据所述3D目标检测信息，预测所述待跟踪目标在世界坐标系下的目标位置坐标；
根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄。
在一实施例中，所述根据所述3D目标检测信息，预测所述待跟踪目标在世界坐标系下的目标位置坐标，包括：
根据所述3D目标检测信息和预设目标跟踪算法，预测所述待跟踪目标在世界坐标系下的目标位置坐标。
在一实施例中，所述3D目标检测信息包括所述待跟踪目标在相机坐标系下的位置信息，所述根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄，包括：
将所述待跟踪目标在相机坐标系下的位置信息转换为所述待跟踪目标在世界坐标系下的第一位置信息；
获取所述无人机的第二位置信息，并根据所述第一位置信息和第二位置信息，确定所述待跟踪目标与所述无人机之间的目标距离；
根据所述目标位置坐标和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述无人机与待跟踪目标之间的距离始终为所述目标距离。
在一实施例中，所述根据所述目标位置坐标和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，包括：
根据所述3D目标检测信息，确定所述待跟踪目标的运动速度；
根据所述待跟踪目标的目标位置坐标、运动速度和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述无人机相对所述待跟踪目标静止，且所述无人机与待跟踪目标之间的距离始终为所述目标距离。
在一实施例中，所述根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄，包括：
根据所述目标位置坐标，确定所述无人机上的拍摄装置的目标姿态；
根据所述目标姿态控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述待跟踪目标始终位于所述拍摄装置的拍摄画面的中央位置。
在一实施例中，所述根据所述3D目标检测信息对所述待跟踪目标进行跟踪拍摄，包括：
当确定所述当前拍摄图像包括多个目标对象时，根据多个所述目标对象的3D目标检测信息从多个所述目标对象中确定所述待跟踪目标；
根据所述待跟踪目标的3D目标检测信息对所述待跟踪目标进行跟踪拍摄。
在一实施例中，所述根据多个所述目标对象的3D目标检测信息从多个所述目标对象中确定所述待跟踪目标，包括：
根据多个所述目标对象的3D目标检测信息，确定多个所述目标对象的运动信息；
根据所述待跟踪目标的3D目标检测信息确定所述待跟踪目标的运动信息；
根据所述待跟踪目标的运动信息和多个所述目标对象的运动信息，计算所述待跟踪目标与多个所述目标对象的相似度；
根据所述相似度从多个所述目标对象中确定所述待跟踪目标。
在一实施例中，所述运动信息包括位置信息和/或速度信息；所述相似度包括位置相似度和/或速度相似度。
在一实施例中，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述位置相似度和/或速度相似度，从多个所述目标对象中确定所述待跟踪目标。
在一实施例中，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
获取所述位置相似度对应的第一预设权重，以及所述速度相似度对应的第二预设权重；
根据所述位置相似度、速度相似度、第一预设权重和第二预设权重，从多个所述目标对象中确定所述待跟踪目标。
在一实施例中，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述当前拍摄图像确定所述待跟踪目标的图像特征；
根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标。
在一实施例中，所述根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述待跟踪目标的图像特征从多个所述目标对象中，确定与所述待跟踪目标相似的目标对象；
根据所述相似度从与所述待跟踪目标相似的目标对象中，确定所述待跟踪目标。
在一实施例中，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述相似度和所述待跟踪目标的Reid特征，从多个所述目标对象中确 定所述待跟踪目标；
其中，所述Reid特征为采用行人重识别技术从所述当前拍摄图像识别出的所述待跟踪目标的特征。
在一实施例中，所述根据多个所述目标对象的3D目标检测信息从多个所述目标对象中确定所述待跟踪目标之前，还包括：
当确定所述当前拍摄图像包括多个目标对象时，根据所述当前拍摄图像，获取所述待跟踪目标的图像特征和多个所述目标对象的图像特征；
根据所述待跟踪目标的图像特征和多个所述目标对象的图像特征，确定多个所述目标对象中是否存在与所述待跟踪目标相似的目标对象；
当确定多个所述目标对象中存在至少两个与所述待跟踪目标相似的目标对象时，根据多个所述目标对象的3D目标检测信息从多个所述目标对象中确定所述待跟踪目标。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的无人机的具体工作过程，可以参考前述目标检测方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现上述实施例提供的目标检测方法的步骤。
其中，所述计算机可读存储介质可以是前述任一实施例所述的无人机的内部存储单元，例如所述无人机的硬盘或内存。所述计算机可读存储介质也可以是所述无人机的外部存储设备，例如所述无人机上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到 各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (67)

  1. 一种目标检测方法，其特征在于，应用于无人机，所述无人机包括拍摄装置，所述方法包括：
    获取所述拍摄装置拍摄待跟踪目标得到的当前拍摄图像；
    将所述当前拍摄图像输入预设的3D目标检测模型进行处理，得到所述待跟踪目标的3D目标检测信息；
    其中，所述3D目标检测模型是预先训练好的神经网络模型，所述3D目标检测信息包括所述待跟踪目标在世界坐标系下的第一尺寸信息和所述待跟踪目标相对于所述无人机的角度信息。
  2. 根据权利要求1所述的目标检测方法，其特征在于，所述待跟踪目标相对于所述无人机的角度信息包括所述待跟踪目标相对于所述无人机的yaw角、pitch角和roll角。
  3. 根据权利要求1所述的目标检测方法，其特征在于，所述3D目标检测信息还包括所述待跟踪目标在相机坐标系下的位置信息和所述待跟踪目标在所述当前拍摄图像内的第二尺寸信息。
  4. 根据权利要求1所述的目标检测方法，其特征在于，所述第一尺寸信息包括所述待跟踪目标在世界坐标系下的长度信息、宽度信息和/或高度信息。
  5. 根据权利要求3所述的目标检测方法，其特征在于，所述第二尺寸信息包括所述待跟踪目标在所述当前拍摄图像内的长度信息、宽度信息和/或高度信息。
  6. 根据权利要求1所述的目标检测方法，其特征在于，所述方法还包括：
    获取训练样本数据，其中，所述训练样本数据包括多个样本图像以及每个所述样本图像中的待跟踪目标的3D目标检测信息；
    根据所述训练样本数据对神经网络模型进行迭代训练，直到迭代训练后的神经网络模型收敛，得到所述3D目标检测模型。
  7. 根据权利要求1所述的目标检测方法，其特征在于，所述神经网络模型包括卷积神经网络模型CNN、RCNN、Fast RCNN和Faster RCNN。
  8. 根据权利要求1至7中任一项所述的目标检测方法，其特征在于，所述方法还包括：
    根据所述3D目标检测信息对所述待跟踪目标进行跟踪拍摄。
  9. 根据权利要求8所述的目标检测方法，其特征在于，所述根据所述3D目标检测信息对所述待跟踪目标进行跟踪拍摄，包括：
    根据所述3D目标检测信息，预测所述待跟踪目标在世界坐标系下的目标位置坐标；
    根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄。
  10. 根据权利要求9所述的目标检测方法，其特征在于，所述根据所述3D目标检测信息，预测所述待跟踪目标在世界坐标系下的目标位置坐标，包括：
    根据所述3D目标检测信息和预设目标跟踪算法，预测所述待跟踪目标在世界坐标系下的目标位置坐标。
  11. 根据权利要求9所述的目标检测方法，其特征在于，所述3D目标检测信息包括所述待跟踪目标在相机坐标系下的位置信息，所述根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄，包括：
    将所述待跟踪目标在相机坐标系下的位置信息转换为所述待跟踪目标在世界坐标系下的第一位置信息；
    获取所述无人机的第二位置信息，并根据所述第一位置信息和第二位置信息，确定所述待跟踪目标与所述无人机之间的目标距离；
    根据所述目标位置坐标和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述无人机与待跟踪目标之间的距离始终为所述目标距离。
  12. 根据权利要求11所述的目标检测方法，其特征在于，所述根据所述目标位置坐标和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，包括：
    根据所述3D目标检测信息，确定所述待跟踪目标的运动速度；
    根据所述待跟踪目标的目标位置坐标、运动速度和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述无人机相对所述待跟踪目标静止，且所述无人机与待跟踪目标之间的距离始终为所述目标距离。
  13. 根据权利要求9所述的目标检测方法，其特征在于，所述根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄，包括：
    根据所述目标位置坐标，确定所述无人机上的拍摄装置的目标姿态；
    根据所述目标姿态控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述待跟踪目标始终位于所述拍摄装置的拍摄画面的中央位置。
  14. 根据权利要求8所述的目标检测方法，其特征在于，所述根据所述3D目标检测信息对所述待跟踪目标进行跟踪拍摄，包括：
    当确定所述当前拍摄图像包括多个目标对象时，根据多个所述目标对象的3D目标检测信息从多个所述目标对象中确定所述待跟踪目标；
    根据所述待跟踪目标的3D目标检测信息对所述待跟踪目标进行跟踪拍摄。
  15. 根据权利要求14所述的目标检测方法，其特征在于，所述根据多个所述目标对象的3D目标检测信息从多个所述目标对象中确定所述待跟踪目标，包括：
    根据多个所述目标对象的3D目标检测信息，确定多个所述目标对象的运动信息；
    根据所述待跟踪目标的3D目标检测信息确定所述待跟踪目标的运动信息；
    根据所述待跟踪目标的运动信息和多个所述目标对象的运动信息，计算所述待跟踪目标与多个所述目标对象的相似度；
    根据所述相似度从多个所述目标对象中确定所述待跟踪目标。
  16. 根据权利要求15所述的目标检测方法，其特征在于，所述运动信息包括位置信息和/或速度信息；所述相似度包括位置相似度和/或速度相似度。
  17. 根据权利要求16所述的目标检测方法，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
    根据所述位置相似度和/或速度相似度，从多个所述目标对象中确定所述待跟踪目标。
  18. 根据权利要求16所述的目标检测方法，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
    获取所述位置相似度对应的第一预设权重，以及所述速度相似度对应的第二预设权重；
    根据所述位置相似度、速度相似度、第一预设权重和第二预设权重，从多个所述目标对象中确定所述待跟踪目标。
  19. 根据权利要求15所述的目标检测方法，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
    根据所述当前拍摄图像确定所述待跟踪目标的图像特征；
    根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标。
  20. 根据权利要求19所述的目标检测方法，其特征在于，所述根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标，包括：
    根据所述待跟踪目标的图像特征从多个所述目标对象中，确定与所述待跟踪目标相似的目标对象；
    根据所述相似度从与所述待跟踪目标相似的目标对象中，确定所述待跟踪目标。
  21. 根据权利要求15所述的目标检测方法，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
    根据所述相似度和所述待跟踪目标的Reid特征，从多个所述目标对象中确定所述待跟踪目标；
    其中，所述Reid特征为采用行人重识别技术从所述当前拍摄图像识别出的所述待跟踪目标的特征。
  22. 根据权利要求14所述的目标检测方法，其特征在于，所述根据多个所述目标对象的3D目标检测信息从多个所述目标对象中确定所述待跟踪目标之前，还包括：
    当确定所述当前拍摄图像包括多个目标对象时，根据所述当前拍摄图像，获取所述待跟踪目标的图像特征和多个所述目标对象的图像特征；
    根据所述待跟踪目标的图像特征和多个所述目标对象的图像特征，确定多个所述目标对象中是否存在与所述待跟踪目标相似的目标对象；
    当确定多个所述目标对象中存在至少两个与所述待跟踪目标相似的目标对象时，根据多个所述目标对象的3D目标检测信息从多个所述目标对象中确定所述待跟踪目标。
  23. 一种目标检测装置，其特征在于，应用无人机，所述无人机包括拍摄装置，所述目标检测装置包括存储器和处理器；
    所述存储器，用于存储计算机程序；
    所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
    获取所述拍摄装置拍摄待跟踪目标得到的当前拍摄图像；
    将所述当前拍摄图像输入预设的3D目标检测模型进行处理，得到所述待跟踪目标的3D目标检测信息；
    其中，所述3D目标检测模型是预先训练好的神经网络模型，所述3D目标检测信息包括所述待跟踪目标在世界坐标系下的第一尺寸信息和所述待跟踪目标相对于所述无人机的角度信息。
  24. 根据权利要求23所述的目标检测装置，其特征在于，所述待跟踪目标 相对于所述无人机的角度信息包括所述待跟踪目标相对于所述无人机的yaw角、pitch角和roll角。
  25. 根据权利要求23所述的目标检测装置，其特征在于，所述3D目标检测信息还包括所述待跟踪目标在相机坐标系下的位置信息和所述待跟踪目标在所述当前拍摄图像内的第二尺寸信息。
  26. 根据权利要求23所述的目标检测装置，其特征在于，所述第一尺寸信息包括所述待跟踪目标在世界坐标系下的长度信息、宽度信息和/或高度信息。
  27. 根据权利要求25所述的目标检测装置，其特征在于，所述第二尺寸信息包括所述待跟踪目标在所述当前拍摄图像内的长度信息、宽度信息和/或高度信息。
  28. 根据权利要求23所述的目标检测装置，其特征在于，所述处理器还用于实现以下步骤：
    获取训练样本数据，其中，所述训练样本数据包括多个样本图像以及每个所述样本图像中的待跟踪目标的3D目标检测信息；
    根据所述训练样本数据对神经网络模型进行迭代训练，直到迭代训练后的神经网络模型收敛，得到所述3D目标检测模型。
  29. 根据权利要求23所述的目标检测装置，其特征在于，所述神经网络模型包括卷积神经网络模型CNN、RCNN、Fast RCNN和Faster RCNN。
  30. 根据权利要求23至29中任一项所述的目标检测装置，其特征在于，所述处理器还用于实现以下步骤：
    根据所述3D目标检测信息对所述待跟踪目标进行跟踪拍摄。
  31. 根据权利要求30所述的目标检测装置，其特征在于，所述根据所述3D目标检测信息对所述待跟踪目标进行跟踪拍摄，包括：
    根据所述3D目标检测信息，预测所述待跟踪目标在世界坐标系下的目标位置坐标；
    根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄。
  32. 根据权利要求31所述的目标检测装置，其特征在于，所述根据所述3D目标检测信息，预测所述待跟踪目标在世界坐标系下的目标位置坐标，包括：
    根据所述3D目标检测信息和预设目标跟踪算法，预测所述待跟踪目标在世界坐标系下的目标位置坐标。
  33. 根据权利要求31所述的目标检测装置，其特征在于，所述3D目标检测信息包括所述待跟踪目标在相机坐标系下的位置信息，所述根据所述目标位 置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄，包括：
    将所述待跟踪目标在相机坐标系下的位置信息转换为所述待跟踪目标在世界坐标系下的第一位置信息；
    获取所述无人机的第二位置信息，并根据所述第一位置信息和第二位置信息，确定所述待跟踪目标与所述无人机之间的目标距离；
    根据所述目标位置坐标和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述无人机与待跟踪目标之间的距离始终为所述目标距离。
  34. 根据权利要求33所述的目标检测装置，其特征在于，所述根据所述目标位置坐标和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，包括：
    根据所述3D目标检测信息，确定所述待跟踪目标的运动速度；
    根据所述待跟踪目标的目标位置坐标、运动速度和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述无人机相对所述待跟踪目标静止，且所述无人机与待跟踪目标之间的距离始终为所述目标距离。
  35. 根据权利要求31所述的目标检测装置，其特征在于，所述根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄，包括：
    根据所述目标位置坐标，确定所述无人机上的拍摄装置的目标姿态；
    根据所述目标姿态控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述待跟踪目标始终位于所述拍摄装置的拍摄画面的中央位置。
  36. 根据权利要求30所述的目标检测装置，其特征在于，所述根据所述3D目标检测信息对所述待跟踪目标进行跟踪拍摄，包括：
    当确定所述当前拍摄图像包括多个目标对象时，根据多个所述目标对象的3D目标检测信息从多个所述目标对象中确定所述待跟踪目标；
    根据所述待跟踪目标的3D目标检测信息对所述待跟踪目标进行跟踪拍摄。
  37. 根据权利要求36所述的目标检测装置，其特征在于，所述根据多个所述目标对象的3D目标检测信息从多个所述目标对象中确定所述待跟踪目标，包括：
    根据多个所述目标对象的3D目标检测信息，确定多个所述目标对象的运动信息；
    根据所述待跟踪目标的3D目标检测信息确定所述待跟踪目标的运动信息；
    根据所述待跟踪目标的运动信息和多个所述目标对象的运动信息，计算所述待跟踪目标与多个所述目标对象的相似度；
    根据所述相似度从多个所述目标对象中确定所述待跟踪目标。
  38. 根据权利要求37所述的目标检测装置，其特征在于，所述运动信息包括位置信息和/或速度信息；所述相似度包括位置相似度和/或速度相似度。
  39. 根据权利要求38所述的目标检测装置，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
    根据所述位置相似度和/或速度相似度，从多个所述目标对象中确定所述待跟踪目标。
  40. 根据权利要求38所述的目标检测装置，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
    获取所述位置相似度对应的第一预设权重，以及所述速度相似度对应的第二预设权重；
    根据所述位置相似度、速度相似度、第一预设权重和第二预设权重，从多个所述目标对象中确定所述待跟踪目标。
  41. 根据权利要求37所述的目标检测装置，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
    根据所述当前拍摄图像确定所述待跟踪目标的图像特征；
    根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标。
  42. 根据权利要求41所述的目标检测装置，其特征在于，所述根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标，包括：
    根据所述待跟踪目标的图像特征从多个所述目标对象中，确定与所述待跟踪目标相似的目标对象；
    根据所述相似度从与所述待跟踪目标相似的目标对象中，确定所述待跟踪目标。
  43. 根据权利要求37所述的目标检测装置，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
    根据所述相似度和所述待跟踪目标的Reid特征，从多个所述目标对象中确定所述待跟踪目标；
    其中，所述Reid特征为采用行人重识别技术从所述当前拍摄图像识别出的所述待跟踪目标的特征。
  44. 根据权利要求36所述的目标检测装置，其特征在于，所述根据多个所 述目标对象的3D目标检测信息从多个所述目标对象中确定所述待跟踪目标之前，还包括：
    当确定所述当前拍摄图像包括多个目标对象时，根据所述当前拍摄图像，获取所述待跟踪目标的图像特征和多个所述目标对象的图像特征；
    根据所述待跟踪目标的图像特征和多个所述目标对象的图像特征，确定多个所述目标对象中是否存在与所述待跟踪目标相似的目标对象；
    当确定多个所述目标对象中存在至少两个与所述待跟踪目标相似的目标对象时，根据多个所述目标对象的3D目标检测信息从多个所述目标对象中确定所述待跟踪目标。
  45. 一种无人机，其特征在于，所述无人机包括拍摄装置、存储器和处理器；
    所述存储器，用于存储计算机程序；
    所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
    获取所述拍摄装置拍摄待跟踪目标得到的当前拍摄图像；
    将所述当前拍摄图像输入预设的3D目标检测模型进行处理，得到所述待跟踪目标的3D目标检测信息；
    其中，所述3D目标检测模型是预先训练好的神经网络模型，所述3D目标检测信息包括所述待跟踪目标在世界坐标系下的第一尺寸信息和所述待跟踪目标相对于所述无人机的角度信息。
  46. 根据权利要求45所述的无人机，其特征在于，所述待跟踪目标相对于所述无人机的角度信息包括所述待跟踪目标相对于所述无人机的yaw角、pitch角和roll角。
  47. 根据权利要求45所述的无人机，其特征在于，所述3D目标检测信息还包括所述待跟踪目标在相机坐标系下的位置信息和所述待跟踪目标在所述当前拍摄图像内的第二尺寸信息。
  48. 根据权利要求45所述的无人机，其特征在于，所述第一尺寸信息包括所述待跟踪目标在世界坐标系下的长度信息、宽度信息和/或高度信息。
  49. 根据权利要求47所述的无人机，其特征在于，所述第二尺寸信息包括所述待跟踪目标在所述当前拍摄图像内的长度信息、宽度信息和/或高度信息。
  50. 根据权利要求45所述的无人机，其特征在于，所述处理器还用于实现以下步骤：
    获取训练样本数据，其中，所述训练样本数据包括多个样本图像以及每个所述样本图像中的待跟踪目标的3D目标检测信息；
    根据所述训练样本数据对神经网络模型进行迭代训练，直到迭代训练后的神经网络模型收敛，得到所述3D目标检测模型。
  51. 根据权利要求45所述的无人机，其特征在于，所述神经网络模型包括卷积神经网络模型CNN、RCNN、Fast RCNN和Faster RCNN。
  52. 根据权利要求45至51中任一项所述的无人机，其特征在于，所述处理器还用于实现以下步骤：
    根据所述3D目标检测信息对所述待跟踪目标进行跟踪拍摄。
  53. 根据权利要求52所述的无人机，其特征在于，所述根据所述3D目标检测信息对所述待跟踪目标进行跟踪拍摄，包括：
    根据所述3D目标检测信息，预测所述待跟踪目标在世界坐标系下的目标位置坐标；
    根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄。
  54. 根据权利要求53所述的无人机，其特征在于，所述根据所述3D目标检测信息，预测所述待跟踪目标在世界坐标系下的目标位置坐标，包括：
    根据所述3D目标检测信息和预设目标跟踪算法，预测所述待跟踪目标在世界坐标系下的目标位置坐标。
  55. 根据权利要求53所述的无人机，其特征在于，所述3D目标检测信息包括所述待跟踪目标在相机坐标系下的位置信息，所述根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄，包括：
    将所述待跟踪目标在相机坐标系下的位置信息转换为所述待跟踪目标在世界坐标系下的第一位置信息；
    获取所述无人机的第二位置信息，并根据所述第一位置信息和第二位置信息，确定所述待跟踪目标与所述无人机之间的目标距离；
    根据所述目标位置坐标和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述无人机与待跟踪目标之间的距离始终为所述目标距离。
  56. 根据权利要求55所述的无人机，其特征在于，所述根据所述目标位置坐标和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，包括：
    根据所述3D目标检测信息，确定所述待跟踪目标的运动速度；
    根据所述待跟踪目标的目标位置坐标、运动速度和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述无人机相对所述待跟踪目标静 止，且所述无人机与待跟踪目标之间的距离始终为所述目标距离。
  57. 根据权利要求53所述的无人机，其特征在于，所述根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄，包括：
    根据所述目标位置坐标，确定所述无人机上的拍摄装置的目标姿态；
    根据所述目标姿态控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述待跟踪目标始终位于所述拍摄装置的拍摄画面的中央位置。
  58. 根据权利要求52所述的无人机，其特征在于，所述根据所述3D目标检测信息对所述待跟踪目标进行跟踪拍摄，包括：
    当确定所述当前拍摄图像包括多个目标对象时，根据多个所述目标对象的3D目标检测信息从多个所述目标对象中确定所述待跟踪目标；
    根据所述待跟踪目标的3D目标检测信息对所述待跟踪目标进行跟踪拍摄。
  59. 根据权利要求58所述的无人机，其特征在于，所述根据多个所述目标对象的3D目标检测信息从多个所述目标对象中确定所述待跟踪目标，包括：
    根据多个所述目标对象的3D目标检测信息，确定多个所述目标对象的运动信息；
    根据所述待跟踪目标的3D目标检测信息确定所述待跟踪目标的运动信息；
    根据所述待跟踪目标的运动信息和多个所述目标对象的运动信息，计算所述待跟踪目标与多个所述目标对象的相似度；
    根据所述相似度从多个所述目标对象中确定所述待跟踪目标。
  60. 根据权利要求59所述的无人机，其特征在于，所述运动信息包括位置信息和/或速度信息；所述相似度包括位置相似度和/或速度相似度。
  61. 根据权利要求60所述的无人机，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
    根据所述位置相似度和/或速度相似度，从多个所述目标对象中确定所述待跟踪目标。
  62. 根据权利要求60所述的无人机，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
    获取所述位置相似度对应的第一预设权重，以及所述速度相似度对应的第二预设权重；
    根据所述位置相似度、速度相似度、第一预设权重和第二预设权重，从多个所述目标对象中确定所述待跟踪目标。
  63. 根据权利要求59所述的无人机，其特征在于，所述根据所述相似度从 多个所述目标对象中确定所述待跟踪目标，包括：
    根据所述当前拍摄图像确定所述待跟踪目标的图像特征；
    根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标。
  64. 根据权利要求63所述的无人机，其特征在于，所述根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标，包括：
    根据所述待跟踪目标的图像特征从多个所述目标对象中，确定与所述待跟踪目标相似的目标对象；
    根据所述相似度从与所述待跟踪目标相似的目标对象中，确定所述待跟踪目标。
  65. 根据权利要求59所述的无人机，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
    根据所述相似度和所述待跟踪目标的Reid特征，从多个所述目标对象中确定所述待跟踪目标；
    其中，所述Reid特征为采用行人重识别技术从所述当前拍摄图像识别出的所述待跟踪目标的特征。
  66. 根据权利要求58所述的无人机，其特征在于，所述根据多个所述目标对象的3D目标检测信息从多个所述目标对象中确定所述待跟踪目标之前，还包括：
    当确定所述当前拍摄图像包括多个目标对象时，根据所述当前拍摄图像，获取所述待跟踪目标的图像特征和多个所述目标对象的图像特征；
    根据所述待跟踪目标的图像特征和多个所述目标对象的图像特征，确定多个所述目标对象中是否存在与所述待跟踪目标相似的目标对象；
    当确定多个所述目标对象中存在至少两个与所述待跟踪目标相似的目标对象时，根据多个所述目标对象的3D目标检测信息从多个所述目标对象中确定所述待跟踪目标。
  67. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1-22中任一项所述的目标检测方法的步骤。
PCT/CN2020/104972 2020-07-27 2020-07-27 目标检测方法、装置、无人机及计算机可读存储介质 WO2022021028A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080006556.5A CN113168532A (zh) 2020-07-27 2020-07-27 目标检测方法、装置、无人机及计算机可读存储介质
PCT/CN2020/104972 WO2022021028A1 (zh) 2020-07-27 2020-07-27 目标检测方法、装置、无人机及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/104972 WO2022021028A1 (zh) 2020-07-27 2020-07-27 目标检测方法、装置、无人机及计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2022021028A1 true WO2022021028A1 (zh) 2022-02-03

Family

ID=76879311

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/104972 WO2022021028A1 (zh) 2020-07-27 2020-07-27 目标检测方法、装置、无人机及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN113168532A (zh)
WO (1) WO2022021028A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114281096A (zh) * 2021-11-09 2022-04-05 中时讯通信建设有限公司 基于目标检测算法的无人机追踪控制方法、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9442485B1 (en) * 2014-08-13 2016-09-13 Trace Live Network Inc. Pixel based image tracking system for unmanned aerial vehicle (UAV) action camera system
CN107128492A (zh) * 2017-05-05 2017-09-05 成都通甲优博科技有限责任公司 一种基于人头检测的无人机跟踪方法、装置及无人机
CN108898628A (zh) * 2018-06-21 2018-11-27 北京纵目安驰智能科技有限公司 基于单目的车辆三维目标姿态估计方法、系统、终端和存储介质
CN109255843A (zh) * 2018-09-26 2019-01-22 联想(北京)有限公司 三维重建方法、装置及增强现实ar设备
CN109446942A (zh) * 2018-10-12 2019-03-08 北京旷视科技有限公司 目标跟踪方法、装置和系统
CN111402191A (zh) * 2018-12-28 2020-07-10 阿里巴巴集团控股有限公司 一种目标检测方法、装置、计算设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9442485B1 (en) * 2014-08-13 2016-09-13 Trace Live Network Inc. Pixel based image tracking system for unmanned aerial vehicle (UAV) action camera system
CN107128492A (zh) * 2017-05-05 2017-09-05 成都通甲优博科技有限责任公司 一种基于人头检测的无人机跟踪方法、装置及无人机
CN108898628A (zh) * 2018-06-21 2018-11-27 北京纵目安驰智能科技有限公司 基于单目的车辆三维目标姿态估计方法、系统、终端和存储介质
CN109255843A (zh) * 2018-09-26 2019-01-22 联想(北京)有限公司 三维重建方法、装置及增强现实ar设备
CN109446942A (zh) * 2018-10-12 2019-03-08 北京旷视科技有限公司 目标跟踪方法、装置和系统
CN111402191A (zh) * 2018-12-28 2020-07-10 阿里巴巴集团控股有限公司 一种目标检测方法、装置、计算设备及介质

Also Published As

Publication number Publication date
CN113168532A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
US11749124B2 (en) User interaction with an autonomous unmanned aerial vehicle
US11644832B2 (en) User interaction paradigms for a flying digital assistant
US11861892B2 (en) Object tracking by an unmanned aerial vehicle using visual sensors
CN112567201B (zh) 距离测量方法以及设备
WO2022021027A1 (zh) 目标跟踪方法、装置、无人机、系统及可读存储介质
US10599161B2 (en) Image space motion planning of an autonomous vehicle
US20200346753A1 (en) Uav control method, device and uav
WO2018214078A1 (zh) 拍摄控制方法及装置
US20210133996A1 (en) Techniques for motion-based automatic image capture
JP2018526641A (ja) レーザ深度マップサンプリングのためのシステム及び方法
WO2019104571A1 (zh) 图像处理方法和设备
WO2020113423A1 (zh) 目标场景三维重建方法、系统及无人机
CN106973221B (zh) 基于美学评价的无人机摄像方法和系统
WO2020014987A1 (zh) 移动机器人的控制方法、装置、设备及存储介质
CN110187720A (zh) 无人机导引方法、装置、系统、介质及电子设备
WO2021217450A1 (zh) 目标跟踪方法、设备及存储介质
WO2022021028A1 (zh) 目标检测方法、装置、无人机及计算机可读存储介质
WO2020019175A1 (zh) 图像处理方法和设备、摄像装置以及无人机
WO2021016875A1 (zh) 飞行器的降落方法、无人飞行器及计算机可读存储介质
WO2022246608A1 (zh) 生成全景视频的方法、装置和可移动平台
US20210256732A1 (en) Image processing method and unmanned aerial vehicle
WO2021035746A1 (zh) 图像处理方法、装置和可移动平台
US20240037759A1 (en) Target tracking method, device, movable platform and computer-readable storage medium
WO2022094808A1 (zh) 拍摄控制方法、装置、无人机、设备及可读存储介质
CN109754412A (zh) 目标跟踪方法、目标跟踪装置及计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20946605

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20946605

Country of ref document: EP

Kind code of ref document: A1