WO2020173463A1 - 目标跟踪方法、装置和无人机 - Google Patents

目标跟踪方法、装置和无人机 Download PDF

Info

Publication number
WO2020173463A1
WO2020173463A1 PCT/CN2020/076796 CN2020076796W WO2020173463A1 WO 2020173463 A1 WO2020173463 A1 WO 2020173463A1 CN 2020076796 W CN2020076796 W CN 2020076796W WO 2020173463 A1 WO2020173463 A1 WO 2020173463A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
tracking
visible light
infrared
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2020/076796
Other languages
English (en)
French (fr)
Inventor
雷小刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Autel Robotics Co Ltd
Original Assignee
Autel Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Autel Robotics Co Ltd filed Critical Autel Robotics Co Ltd
Priority to US17/310,717 priority Critical patent/US11924538B2/en
Publication of WO2020173463A1 publication Critical patent/WO2020173463A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems

Definitions

  • Target tracking method device and drone
  • This application relates to the technical field of unmanned aerial vehicles, and in particular to a target tracking method, device and drone. Background technique
  • Unmanned aircraft referred to as Unmanned Aerial Vehicle (UAV)
  • UAV Unmanned Aerial Vehicle Due to its flexibility, rapid response and unmanned
  • the advantages of human driving and low operation requirements have been widely used in many fields such as aerial photography, plant protection, power inspection, and disaster relief.
  • UAVs can be used to identify and track a given target.
  • the UAV usually uses the visible light camera mounted on it to visually track the target.
  • the target is sparse, small or occluded, it is easy to lose the target, resulting in Tracking failed.
  • Embodiments of the present invention provide a target tracking method, device, and unmanned aerial vehicle, aiming to solve the problem that when the target is sparse, small or occluded, it is easy to lose the target, which causes tracking failure.
  • the embodiments of the present invention provide the following technical solutions:
  • an embodiment of the present invention provides a target tracking method, which is applied to a drone, and the drone includes a visible light camera and an infrared camera, and the method includes:
  • controlling the visible light camera to visually track the target and recording the first tracking information of the target in real time includes:
  • controlling the infrared camera to perform infrared tracking of the target object and recording the second tracking information of the target object in real time includes:
  • the method further includes:
  • the method further includes:
  • the visible light image collected by the visible light camera is sent to the remote control device of the drone, so that the remote control device displays the visible light image in real time.
  • the method further includes: sending the infrared image collected by the infrared camera to the remote control device, so that the remote control device displays the infrared image Or display the visible light image and the infrared image at the same time.
  • the method further includes:
  • the third tracking information and the fourth tracking information are for adjusting the index according to the target The tracking information of the new target that is re-locked.
  • an embodiment of the present invention provides a target tracking device.
  • the drone includes a visible light camera and an infrared camera, and is characterized in that the device includes:
  • a visual tracking unit configured to control the visible light camera to visually track a target object, and record first tracking information of the target object in real time, where the first tracking information includes first position information of the target object;
  • An infrared tracking unit configured to control the infrared camera to perform infrared tracking of the target, and record second tracking information of the target in real time, wherein the second tracking information includes the second position of the target Information
  • the second adjustment unit is configured to, when it is determined that the infrared camera loses the target, control the infrared camera to re-lock the target according to the first tracking information and continue infrared tracking.
  • the visual tracking unit is specifically configured to:
  • the infrared tracking unit is specifically configured to:
  • the device further includes a third adjustment unit, and the third adjustment unit is specifically configured to: when the first position information and the second position information are inconsistent, determine that the visible light camera and the infrared camera Whether the camera is disturbed;
  • the device further includes:
  • the first sending unit is configured to send the visible light image collected by the visible light camera to the remote control device of the drone, so that the remote control device displays the visible light image in real time.
  • the device further includes:
  • the second sending unit is configured to send the infrared image collected by the infrared camera to the remote control device when the visible light camera loses the target, so that the remote control device displays the infrared image or simultaneously displays The visible light image and the infrared image.
  • the device further includes a fourth adjustment unit, and the fourth adjustment unit is specifically configured to: receive a target adjustment instruction sent by the remote control device;
  • the third tracking information and the fourth tracking information are tracking information for the new target that is re-locked according to the target adjustment instruction.
  • an embodiment of the present invention provides a drone, including:
  • An arm connected with the fuselage
  • the visible light camera is arranged on the body;
  • An infrared camera arranged on the body;
  • the processor is provided in the body, and the processor is respectively communicatively connected with the visible light camera and the infrared camera; and,
  • a memory in communication connection with the processor
  • the memory stores an instruction executable by the at least one processor, and the instruction is executed by the at least one processor, so that the at least one processor can execute the target tracking method as described above.
  • an embodiment of the present invention also provides a non-transitory computer-readable storage medium, where the non-transitory computer-readable storage medium stores computer-executable instructions, and the computer-executable instructions are used to enable unmanned The machine executes the target tracking method as described above.
  • an embodiment of the present invention also provides a computer program product.
  • the computer program product includes a computer program stored on a non-transitory computer-readable storage medium, and the computer program includes program instructions. When the instruction is executed by the drone, the drone is caused to execute the target tracking method as described above.
  • the target tracking method, device and drone provided by the embodiments of the present invention perform visual tracking of the target by controlling the visible light camera and the infrared camera on the drone. And infrared tracking, and record the first tracking information and second tracking information of the target in real time, and, when the visible light camera loses the target, control the visible light camera to record the second tracking information according to the infrared camera Tracking information to re-lock the target and continue visual tracking, or, when the infrared camera loses the target, control the infrared camera to re-lock the target according to the first tracking information recorded by the visible light camera And continue to carry out infrared tracking, can use the mutual cooperation between the two types of cameras to improve the The target tracking performance of man-machine expands the scope of application. Description of the drawings
  • Fig. 1 is a schematic diagram of one of the application environments of the target tracking method provided by an embodiment of the present invention
  • Fig. 2 is a schematic flowchart of a target tracking method provided by an embodiment of the present invention
  • Fig. 3 is a schematic flowchart of a method for controlling a visible light camera to visually track a target according to an embodiment of the present invention
  • FIG. 4 is a schematic flowchart of a method for controlling an infrared camera to perform infrared tracking on a target according to an embodiment of the present invention
  • FIG. 5 is a schematic structural diagram of a target tracking device provided by an embodiment of the present invention. detailed description
  • FIG. 1 is a schematic diagram of one of the application environments of the target tracking method provided by an embodiment of the present invention.
  • the application environment includes a drone 10, a remote control device 20, and a target 30.
  • the unmanned aerial vehicle 10 and the remote control device 20 can be wirelessly connected in any manner, for example: wireless fidelity technology (Wi re l ess F i de li ty, Wi-Fi) can be used, Bluetooth (Bluetooth) technology or mobile communication technologies such as the 3rd generation (3rd generation, 3G), the fourth generation (4th generation (4G), or the fifth generation (5th generation, 5G), To achieve wireless connection, it is not limited here.
  • wireless fidelity technology Wi re l ess F i de li ty, Wi-Fi
  • Bluetooth Bluetooth
  • mobile communication technologies such as the 3rd generation (3rd generation, 3G), the fourth generation (4th generation (4G), or the fifth generation (5th generation, 5G)
  • 3rd generation 3rd generation
  • 4G
  • the UAV 10 may be any type of unmanned aerial vehicle, which may include, but is not limited to: a single-rotor UAV, a quadrotor UAV, a hexarotor UAV, a tilt-rotor UAV, etc. Wait.
  • the drone 10 includes a fuselage 101 and an arm 102 connected to the fuselage 101.
  • the body 101 is equipped with a visible light camera 11, an infrared camera 12, a processor 13, and a memory 14.
  • the visible light camera 11 refers to a device that uses the principle of optical imaging to form an image and uses a film to record the image. It can be any optical equipment used for photography, and the image collected is a visible light image;
  • the infrared camera 12 refers to A device that detects infrared energy (or heat) in a non-contact manner and converts it into electrical signals to form infrared image data. Specifically, it may be an infrared tracker.
  • the visible light camera 11 and the infrared camera 12 are both communicatively connected to the processor 13, and can perform corresponding tasks based on instructions of the processor 13 and give corresponding feedback to the processor 13, such as collecting images, Perform target tracking, record target tracking information, and so on.
  • the processor 13 may be any image processing center or central control center capable of executing certain instructions/tasks, and it may specifically be an MCU. In addition to instructing the visible light camera 11 and/or the infrared camera 12 to perform corresponding tasks, the processor 13 is also used to communicate with the remote control device 20, and executes instructions based on the remote control device 20 The corresponding task. Therefore, in this embodiment, the processor 13 may execute the target tracking method provided in the embodiment of the present invention.
  • the memory 14 is in communication connection with the processor 13, and can be a non-transitory computer-readable storage medium, which can be used to store non-transitory software programs, non-transitory computer-executable programs and modules, as implemented in the present invention
  • the processor 13 can implement the target tracking method in any of the following method embodiments by running non-transitory software programs, instructions and modules stored in the memory 14.
  • the memory 14 may include a high-speed random access memory, and may also include a non-transitory memory, such as at least one magnetic disk storage device, a flash memory device, or other non-transitory solid-state storage devices.
  • the memory 14 may further include a memory remotely provided with respect to the processor 13, and these remote memories may be connected to the processor 13 via a network.
  • networks include, but are not limited to, the Internet, corporate intranets, local area networks, mobile communication networks, and combinations thereof.
  • the remote control device 20 may be any device capable of controlling the drone 10, for example, a remote control, a smart phone, a tablet computer, and the like.
  • the remote control device 20 can control the drone 10 to adjust the flight attitude or perform corresponding tasks by sending control instructions to the drone 10, and can also receive signals or image data from the drone 10.
  • the remote control device 20 may also be equipped with a display screen for displaying images according to image data.
  • the target 30 may be any given tracking target, for example, it may specifically be a bicycle, a car, a person, an animal, other flying objects, and so on.
  • the user/pilot can send a target tracking instruction to the processor 13 of the drone 10 through the remote control device 20.
  • the processor 13 can use the target tracking method provided in the embodiment of the present invention to control the visible light camera 11 and the infrared camera 12 to track the target 30. Specifically, it is: controlling the visible light camera 11 to visually track the target 30, and record the first tracking information of the target 30 in real time, where the first tracking information includes the first position of the target Information; control the infrared camera 12 to the target 30 Perform infrared tracking, and record the second tracking information of the target 30 in real time, where the second tracking information includes the second location information of the target.
  • the processor 13 may control the visible light camera 11 to re-lock the target 30 according to the second tracking information. And continue to perform visual tracking; or, when it is determined that the infrared camera 12 has lost the target, the processor 13 may control the infrared camera 12 to re-lock the target according to the first tracking information 30 and continue infrared tracking. Therefore, through the mutual cooperation between the visible light camera 11 and the infrared camera 12, continuous tracking of the target 30 can be realized, the target tracking performance of the UAV 10 can be improved, and its application can be expanded. range.
  • the above application environment is only for illustrative purposes.
  • the target tracking method and related devices provided by the embodiments of the present invention can be further extended to other suitable application environments.
  • the visible light camera 11 and the infrared camera 12 may also correspond to different image processing centers, and the two different image processing centers can independently perform corresponding tracking tasks.
  • information is exchanged between the two. When one of the cameras loses the target 30, the image processing center corresponding to the camera obtains the tracking information of the target from the image processing center corresponding to the other camera, and then based on the obtained The tracking information is re-locked to the target 30 and continues to track.
  • Fig. 2 is a schematic flowchart of a target tracking method provided by an embodiment of the present invention. This method can be executed by the aforementioned UAV 10.
  • the method may include but is not limited to the following steps:
  • Step 110 Control the visible light camera to visually track the target, and record the first tracking information of the target in real time.
  • the “target” refers to the target that needs to be tracked, which can be obtained by autonomous recognition by the drone based on some given features (for example, dynamic features, appearance features, etc.), or can be obtained by the user through a remote control device Feedback to the drone after selection.
  • the “visual tracking” refers to tracking the target based on a sequence of visible light images.
  • the “first tracking information” refers to the information obtained and recorded by the visible light camera during visual tracking of the target, which is used to facilitate the infrared camera of the drone to lock the target.
  • the “first tracking information” may include first position information of the target (for example, the position in the visible light image, the angle relative to the drone, the Distance etc.).
  • the drone can quickly locate the current location of the target, and adjust the shooting angle of the infrared camera in time, thereby improving the efficiency of the infrared camera to lock the target.
  • the first tracking information may further include information identifying characteristics of the target, such as shape and size.
  • the drone determines the target
  • the visible light camera is controlled in different ways to visually track the target.
  • the target is automatically recognized by the drone, indicating that the visible light camera has locked the target, so that the visible light camera can be directly based on the locked target Image features are visually tracked.
  • the target may also be designated by the user through a remote control device.
  • the method shown in FIG. 3 may be used to control the visible light camera to visually track the target.
  • the method may include but is not limited to the following steps:
  • Step 1 1 1 Control the visible light camera to collect the initial visible light image including the target.
  • the "initial visible light image” refers to the image collected by the visible light camera when the user selects the target.
  • the initial visible light image contains the target to be selected.
  • the image collected by the visible light camera can be fed back to the remote control device for display, so that the user can select a target in the displayed image. Therefore, the user can adjust the shooting angle of the visible light camera based on the displayed image, and when the user no longer adjusts the shooting angle of the visible light camera, it means that the user has found the target in the currently displayed image, then,
  • the visible light image collected by the visible light camera at the current shooting angle is the "initial visible light image".
  • Step 11 Determine the image feature and initial position of the target based on the initial visible light image.
  • the target When the user identifies the target on the remote control device, the target can be locked through the position identified by the user in the initial visible light image, and the image characteristics and initial position of the target can be determined.
  • the initial position is used to facilitate the infrared camera to lock the target, which may specifically be the position of the target in the visible light image, and the angle of the target relative to the drone Or one or more of the distances between the target and the drone.
  • Step 1 13 Control the visible light camera to visually track the target based on the image feature.
  • the visible light camera can be controlled to perform the Visual tracking of the target.
  • the first tracking information of the target is also recorded in real time, so that when the infrared camera loses the target, it can re-lock the target according to the first tracking information.
  • Step 120 Control the infrared camera to perform infrared tracking on the target, and record the second tracking information of the target in real time.
  • the "infrared tracking” refers to tracking the target based on an infrared image sequence.
  • the “infrared tracking” and the “visual tracking” are performed synchronously.
  • the “second tracking information” refers to the information obtained and recorded by the infrared camera during infrared tracking of the target, which is used to facilitate the visible light camera to lock the target.
  • the “second tracking information” may also include the The second position information of the target object (for example, the position in the infrared image, the angle relative to the drone, the distance relative to the drone, etc.), and, to further ensure the accuracy of target locking
  • the second tracking information may also include information identifying characteristics of the target object, such as shape and size.
  • different ways can also be used to control the infrared camera to perform infrared tracking on the target.
  • the target object can be independently identified by the infrared camera based on some given features (for example, thermal energy features, contour features, etc.), then the infrared camera can be directly based on these given features.
  • the features are tracked by infrared.
  • the target can also be designated by the user through a remote control device.
  • the method shown in FIG. 4 can be used to control the station.
  • the infrared camera performs infrared tracking on the target.
  • the method may include but is not limited to the following steps:
  • Step 1 21 Control the infrared camera to collect the initial infrared image including the target.
  • the "initial infrared image” refers to the image collected by the infrared camera when the user selects the target. It corresponds to the same shooting scene as the "initial visible light image", and it also contains the image to be selected. Set targets.
  • the shooting direction of the infrared camera may be adjusted in advance to be consistent with the shooting direction of the visible light camera, so that the shooting objects/scene of the infrared camera and the visible light camera are consistent. Therefore, when the visible light camera collects the "initial visible light image", the infrared camera collects the "initial infrared image”.
  • Step 122 According to the initial position, extract the thermal characteristics of the target from the initial infrared image.
  • the initial position of the target object may be firstly displayed in the initial infrared image The target is located, and then the thermal characteristics of the target are extracted from the initial infrared image.
  • Step 123 Control the infrared camera to perform infrared tracking of the target based on the thermal energy characteristics.
  • infrared tracking is mostly performed based on the thermal characteristics of the target. Therefore, in this embodiment, after the thermal characteristics of the target are acquired, the infrared camera can be controlled to perform Targets are tracked by infrared.
  • the second tracking information of the target is also recorded in real time, so that when the visible light camera loses the target, it can re-lock the target according to the second tracking information. .
  • the image collected by the visible light camera is fed back to the remote control device for display, so that the user can select a target in the initial visible light image to obtain the initial position of the target, Furthermore, based on the initial position, the target is locked in the initial infrared image; mainly because, in general, the visual effect of the visible light image is different from the visual effect of the naked eye. The results are similar and the clarity is high.
  • the user can clearly identify the target to be tracked in the visible light image, while the infrared image is a picture composed by collecting thermal energy. The user cannot see various things clearly, but can only see To the outline of heat.
  • the image collected by the infrared camera may also be fed back to the remote control device for auxiliary display at the same time, so that the user can simultaneously select the target in the initial infrared image.
  • step 130 when it is determined that the visible light camera loses the target, for example, when the target is blocked or the target is outside the field of view of the visible light camera, Perform the following step 130.
  • the infrared camera has lost the target for example, when the infrared camera cannot detect the thermal characteristics of the target, the following step 140 is performed.
  • Step 130 Control the visible light camera to re-lock the target according to the second tracking information and continue visual tracking.
  • the second tracking information recorded by the infrared camera at the current moment may be fed back to the visible light camera, so that the visible light camera is based on the first tracking information. Second, the tracking information re-locks the target and continues visual tracking.
  • the second tracking information includes second position information of the target, so that the visible light camera can re-lock the target according to the second tracking information. : Judging whether the target is within the field of view range of the visible light camera according to the current second position information of the target; if it is, it means that the target may be blocked. In this case, you can The infrared camera is mainly used to perform infrared tracking of the target, and the visible light camera continues to use the current location of the target as the shooting center based on the second position information fed back by the infrared camera until all After the target leaves the occlusion, the target is re-locked; if not, it means that the target is located in the blind zone of the visible light camera.
  • the visible light camera can be adjusted according to the second position information of the target
  • the shooting angle is so that the target object falls within the field of view of the visible light camera, and then the target object is re-locked in combination with the image feature of the target object and the second position information.
  • Step 140 Control the infrared camera to re-lock the target according to the first tracking information and continue infrared tracking.
  • the first tracking information recorded by the visible light camera at the current moment may be fed back to the infrared camera, so that the infrared camera is One tracking information re-locks the target and continues infrared tracking.
  • the first tracking information includes first position information of the target, so that the infrared camera can quickly locate the current position of the target according to the first position information , And extract the thermal energy feature at the location, if the extracted thermal energy feature matches the thermal energy feature of the target, re-lock the target and continue infrared tracking; if it does not match, request the remote control device Manual intervention.
  • the target tracking method controls the visible light camera and the infrared camera on the drone to perform visual tracking and infrared tracking of the target, and record all the objects in real time
  • the first tracking information and the second Tracking information and, when the visible light camera loses the target, control the visible light camera to re-lock the target according to the second tracking information recorded by the infrared camera and continue visual tracking, or when the When the infrared camera loses the target, controlling the infrared camera to re-lock the target according to the first tracking information recorded by the visible light camera and continue infrared tracking.
  • the mutual cooperation between the two types of cameras can be used, Improve the target tracking performance of UAVs and expand the scope of application.
  • the embodiment of the present invention provides another target tracking method.
  • the method further includes: when the first position information and the second position information are inconsistent, determining that the visible light camera and the infrared Whether the camera is disturbed. If the visible light camera is not disturbed, control the infrared camera to re-lock the target according to the first position information and continue infrared tracking; if the visible light camera is disturbed, but the infrared camera is not disturbed , Control the visible light camera to re-lock the target according to the second position information and continue to perform visual tracking; if both the visible light camera and the infrared camera are interfered, send a message to the remote control device of the drone Send a manual control request to exit the automatic tracking mode.
  • the target tracking method provided by the embodiments of the present invention controls the visible light camera and/or the infrared camera when the first position information and the second position information are inconsistent Making corresponding adjustments can further improve the reliability of target tracking.
  • the fourth embodiment of the present invention provides another target tracking method.
  • the method further includes: sending the visible light image collected by the visible light camera to the remote control device of the drone, So that the remote control device displays the visible light image in real time. It is convenient for the user to clearly understand the movement state of the target.
  • the infrared image collected by the infrared camera may also be sent to the remote control device, so that the remote control device displays the infrared The image or simultaneously displays the visible light image and the infrared image. Therefore, even if the visible light camera loses the target, the infrared image collected by the infrared camera can present the movement state of the target to the user.
  • the target tracking method may further include: receiving a target adjustment instruction sent by the remote control device; controlling the visible light camera to re-lock a new target according to the target adjustment instruction and perform visual tracking, and , Record the third tracking information of the relocked new target in real time; control the infrared camera to perform infrared tracking on the relocked new target according to the third tracking information, and record the relocked new target in real time The fourth tracking information of the object.
  • the third tracking information and the fourth tracking information are respectively similar to the first tracking information and the second tracking information, and the difference is only: the first tracking information and the second tracking information
  • the tracking information is tracking information for the initially locked target
  • the third tracking information and the fourth tracking information are tracking information for the new target that is re-locked according to the target adjustment instruction sent by the user.
  • the target tracking method provided by the embodiments of the present invention sends the visible light image collected by the visible light camera to the remote control device of the drone, so that the The remote control device displays the visible light image in real time, which can facilitate the user to watch the tracking screen of the target object in real time, and facilitate the user to adjust the target to be tracked in time.
  • the target tracking method provided by the embodiments of the present invention sends the visible light image collected by the visible light camera to the remote control device of the drone, so that the The remote control device displays the visible light image in real time, which can facilitate the user to watch the tracking screen of the target object in real time, and facilitate the user to adjust the target to be tracked in time.
  • Fig. 5 is a schematic structural diagram of a target tracking device provided by an embodiment of the present invention.
  • the target tracking device can run on the UAV 10 shown in Fig. 1.
  • the UAV includes a visible light camera and an infrared camera.
  • the device 500 includes: a visual tracking unit 51 1, an infrared tracking unit 51 2, a first adjustment unit 520, and a second adjustment unit 530. among them:
  • the tracking unit 51 1 is used to control the visible light camera to visually track the target, and record first tracking information of the target in real time, where the first tracking information includes the first position of the target Information
  • the infrared tracking unit 51 2 is used to control the infrared camera to perform infrared tracking of the target, and record the second tracking information of the target in real time, wherein the second tracking information includes the target Second location information;
  • the first adjustment unit 520 is configured to, when it is determined that the visible light camera loses the target, control the visible light camera to relock the target according to the second tracking information and continue visual tracking;
  • the second adjustment unit 530 is used to control the infrared camera to re-lock the target according to the first tracking information and continue infrared tracking when it is determined that the infrared camera has lost the target.
  • the visual tracking unit 51 1 may first control the visible light camera to visually track the target, and record the first tracking information of the target in real time
  • the infrared tracking unit 51 2 may control the The infrared camera performs infrared tracking on the target, and records the second tracking information of the target in real time; in the tracking process, when it is determined that the visible light camera loses the target, the first adjustment unit 520 Control the visible light camera according to the second The tracking information re-locks the target and continues visual tracking; when it is determined that the infrared camera loses the target, the second adjustment unit 530 controls the infrared camera to re-lock the target according to the first tracking information Object and continue infrared tracking.
  • the visual tracking unit 51 1 is specifically configured to: control the visible light camera to collect an initial visible light image including a target; and based on the initial visible light image, determine the image characteristics of the target and Initial position; controlling the visible light camera to visually track the target based on the image characteristics, and record the first tracking information of the target in real time.
  • the infrared tracking unit 512 is specifically configured to: control the infrared camera to collect an initial infrared image of the target; and extract the thermal energy of the target from the initial infrared image according to the initial position of the target Characteristics; controlling the infrared camera to perform infrared tracking of the target based on the thermal energy characteristics, and record the second tracking information of the target in real time.
  • the device 500 further includes a third adjustment unit 540.
  • the third adjustment unit 540 is specifically configured to: when the first position information and the second position information are inconsistent, determine whether the visible light camera and the infrared camera are disturbed; if the visible light camera is not disturbed , Control the infrared camera to re-lock the target according to the first position information and continue infrared tracking; if the visible light camera is disturbed but the infrared camera is not disturbed, control the visible light camera according to The second position information re-locks the target and continues visual tracking; if both the visible light camera and the infrared camera are interfered, a manual control request is sent to the remote control device of the drone to exit automatic Tracking mode.
  • the device 500 further includes: a first sending unit 550, configured to send the visible light image collected by the visible light camera to the remote control device of the drone, so that the remote control device displays in real time The visible light image.
  • a first sending unit 550 configured to send the visible light image collected by the visible light camera to the remote control device of the drone, so that the remote control device displays in real time The visible light image.
  • the device 500 further includes: a second sending unit 560, configured to send the infrared image collected by the infrared camera to the remote control device when the visible light camera loses the target, So that the remote control device displays the infrared image or simultaneously displays the visible light image and the infrared image.
  • a second sending unit 560 configured to send the infrared image collected by the infrared camera to the remote control device when the visible light camera loses the target, So that the remote control device displays the infrared image or simultaneously displays the visible light image and the infrared image.
  • the device 500 further includes: a fourth adjustment unit 570.
  • the fourth adjustment unit 570 is specifically configured to: receive a target adjustment instruction sent by the remote control device; control the visible light camera to re-lock a new target according to the target adjustment instruction and perform visual tracking, and record the re-locking in real time
  • the third tracking information of the new target controlling the infrared camera to perform infrared tracking on the relocked new target according to the third tracking information, and record the fourth tracking information of the relocked new target in real time .
  • the third tracking information and the fourth tracking information are tracking information for the new target that is relocked according to the target adjustment instruction.
  • the target tracking device uses the visual tracking unit 51 11 and the infrared tracking unit 512 to control the visible light camera and the infrared camera on the drone to target the target.
  • the object performs visual tracking and infrared tracking, and records the first tracking information and second tracking information of the target in real time, and when it is determined that the visible light camera loses the target, the first adjustment unit 520 controls the The visible light camera re-locks the target according to the second tracking information recorded by the infrared camera and continues visual tracking, or, when it is determined that the infrared camera loses the target, the second adjustment unit 530 controls the The infrared camera re-locks the target according to the first tracking information recorded by the visible light camera and continues infrared tracking.
  • the mutual cooperation between the two types of cameras can be used to improve the target tracking performance of the UAV and expand the application range.
  • the embodiment of the present invention also provides a non-transitory computer-readable storage medium, the non-transitory computer-readable storage medium stores computer-executable instructions, and the computer-executable instructions are executed by one or more processors, for example , Being executed by a processor 13 in FIG. 1, can cause the foregoing one or more processors to execute the target tracking method in any of the foregoing method embodiments, for example, executing the method steps 1 10-120, 1 in FIG. 2 described above. 130 or 140, the method steps 1 1 1 to 1 13 in FIG. 3, and the method steps 121 to 123 in FIG. 4.
  • each implementation manner can be implemented by means of software plus a general hardware platform, and of course, it can also be implemented by hardware.
  • the computer program can be stored in a non-transitory computer.
  • the computer program includes program instructions, and when the program instructions are executed by the drone, the drone can execute the procedures of the embodiments of the above methods.
  • the storage medium may be a magnetic disk, an optical disc, a read-only memory (Read-Only Memory, ROM), or a random access memory (Random Access Memory, RAM), etc.
  • the above products can execute the target tracking method provided by the embodiment of the present invention, and have the corresponding functional modules and beneficial effects for executing the target tracking method.
  • the target tracking method provided in the embodiment of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种目标跟踪方法、装置及无人机，该方法应用于包括可见光摄像机和红外摄像机的无人机，包括：控制可见光摄像机对目标物进行视觉跟踪，并实时记录目标物的第一跟踪信息(110)，以及，控制红外摄像机对目标物进行红外跟踪，并实时记录目标物的第二跟踪信息(120)；确定可见光摄像机丢失目标物，则控制可见光摄像机根据第二跟踪信息重新锁定目标物并继续进行视觉跟踪(130)；或者，确定红外摄像机丢失目标物，则控制红外摄像机根据第一跟踪信息重新锁定目标物并继续进行红外跟踪(140)。通过该技术方案能够提高无人机的目标跟踪性能，扩大应用范围。

Description

目标跟踪方法、 装置和无人机
本申请要求于 2019 年 2 月 28 日提交中国专利局、 申请号为 201910149496. 1、 申请名称为“一种目标跟踪方法、 装置和无人机” 的中国专 利申请的优先权， 其全部内容通过引用结合在本申请中。 技术领域
本申请涉及涉及无人机技术领域， 尤其涉及一种目标跟踪方法、 装置和无 人机。 背景技术
无人驾驶飞机， 简称无人机 ( Unmanned Aer i a l Veh i c l e， UAV) , 是一种 通过无线电遥控设备和内置的程序来控制飞行姿态的不载人飞机，由于其具有 机动灵活、 反应快速、 无人驾驶、 操作要求低等优点， 现已广泛应用于航拍、 植保、 电力巡检、 救灾等众多领域。
当前， 可以利用无人机对给定的目标物进行识别和跟踪。 然而， 在现有的 目标跟踪方式中，无人机通常是利用其上搭载的可见光摄像机对目标物进行视 觉跟踪， 当目标物特征稀少、 体积小或者被遮挡时， 容易丢失目标物， 从而导 致跟踪失败。
因此， 现有的目标跟踪技术还有待于改进和发展。 发明内容
本发明实施例提供一种目标跟踪方法、 装置和无人机， 旨在于解决当目标 物特征稀少、 体积小或者被遮挡时， 容易丢失目标物， 从而导致跟踪失败的问 题。
为解决上述技术问题， 本发明实施例提供了如下技术方案：
第一方面， 本发明实施例提供一种目标跟踪方法， 应用于无人机， 所述无 人机包括可见光摄像机和红外摄像机， 所述方法包括：
控制所述可见光摄像机对目标物进行视觉跟踪，并实时记录所述目标物的 第一跟踪信息， 其中， 所述第一跟踪信息包括所述目标物的第一位置信息； 控制所述红外摄像机对所述目标物进行红外跟踪，并实时记录所述目标物 的第二跟踪信息， 其中， 所述第二跟踪信息包括所述目标物的第二位置信息； 确定所述可见光摄像机丢失所述目标物， 贝 |J :
控制所述可见光摄像机根据所述第二跟踪信息重新锁定所述目标物并继 续进行视觉跟踪； 或者，
确定所述红外摄像机丢失所述目标物， 贝 |J : 控制所述红外摄像机根据所述第一跟踪信息重新锁定所述目标物并继续 进行红外跟踪。
可选地， 所述控制所述可见光摄像机对目标物进行视觉跟踪， 并实时记录 所述目标物的第一跟踪信息， 包括：
控制所述可见光摄像机采集包括目标物的初始可见光图像；
基于所述初始可见光图像， 确定所述目标物的图像特征和初始位置； 控制所述可见光摄像机基于所述图像特征对所述目标物进行视觉跟踪，并 实时记录所述目标物的所述第一跟踪信息。
可选地， 所述控制所述红外摄像机对所述目标物进行红外跟踪， 并实时记 录所述目标物的第二跟踪信息， 包括：
控制所述红外摄像机采集所述目标物的初始红外图像；
根据所述目标物的所述初始位置，从所述初始红外图像中提取所述目标物 的热能特征；
控制所述红外摄像机基于所述热能特征对所述目标物进行红外跟踪，并实 时记录所述目标物的所述第二跟踪信息。
可选地， 所述方法还包括：
当所述第一位置信息和所述第二位置信息不一致时，判断所述可见光摄像 机和所述红外摄像机是否受到干扰；
如果所述可见光摄像机没有受到干扰，则控制所述红外摄像机根据所述第 一位置信息重新锁定所述目标物并继续进行红外跟踪；
如果所述可见光摄像机受到干扰， 但所述红外摄像机没有受到干扰， 则控 制所述可见光摄像机根据所述第二位置信息重新锁定所述目标物并继续进行 视觉跟踪；
如果所述可见光摄像机和所述红外摄像机均受到干扰，则向所述无人机的 遥控设备发送手动控制请求， 以退出自动跟踪模式。
可选地， 所述方法还包括：
将所述可见光摄像机采集到的可见光图像发送至所述无人机的遥控设备， 以使所述遥控设备实时显示所述可见光图像。
可选地， 当所述可见光摄像机丢失所述目标物时， 所述方法还包括： 将所述红外摄像机采集到的红外图像发送至所述遥控设备，以使所述遥控 设备显示所述红外图像或者同时显示所述可见光图像和所述红外图像。
可选地， 所述方法还包括：
接收所述遥控设备发送的目标调整指令；
控制所述可见光摄像机根据所述目标调整指令重新锁定新目标物并进行 视觉跟踪， 以及， 实时记录重新锁定的新目标物的第三跟踪信息；
控制所述红外摄像机根据所述第三跟踪信息对所述重新锁定的新目标物 进行红外跟踪， 并实时记录所述重新锁定的新目标物的第四跟踪信息；
其中，所述第三跟踪信息和所述第四跟踪信息为针对根据所述目标调整指 令重新锁定的所述新目标物的跟踪信息。
第二方面， 本发明实施例提供一种目标跟踪装置， 所述无人机包括可见光 摄像机和红外摄像机， 其特征在于， 所述装置包括：
视觉跟踪单元， 用于控制所述可见光摄像机对目标物进行视觉跟踪， 并实 时记录所述目标物的第一跟踪信息， 其中， 所述第一跟踪信息包括所述目标物 的第一位置信息；
红外跟踪单元， 用于控制所述红外摄像机对所述目标物进行红外跟踪， 并 实时记录所述目标物的第二跟踪信息， 其中， 所述第二跟踪信息包括所述目标 物的第二位置信息；
第一调整单元， 用于在确定所述可见光摄像机丢失所述目标物时， 控制所 述可见光摄像机根据所述第二跟踪信息重新锁定所述目标物并继续进行视觉 跟踪；
第二调整单元， 用于在确定所述红外摄像机丢失所述目标物时， 控制所述 红外摄像机根据所述第一跟踪信息重新锁定所述目标物并继续进行红外跟踪。
可选地， 所述视觉跟踪单元具体用于：
控制所述可见光摄像机采集包括目标物的初始可见光图像；
基于所述初始可见光图像， 确定所述目标物的图像特征和初始位置； 控制所述可见光摄像机基于所述图像特征对所述目标物进行视觉跟踪，并 实时记录所述目标物的第一跟踪信息。
可选地， 所述红外跟踪单元具体用于：
控制所述红外摄像机采集所述目标物的初始红外图像；
根据所述目标物的所述初始位置，从所述初始红外图像中提取所述目标物 的热能特征；
控制所述红外摄像机基于所述热能特征对所述目标物进行红外跟踪，并实 时记录所述目标物的所述第二跟踪信息。
可选地， 所述装置还包括第三调整单元， 所述第三调整单元具体用于： 当所述第一位置信息和所述第二位置信息不一致时，判断所述可见光摄像 机和所述红外摄像机是否受到干扰；
如果所述可见光摄像机没有受到干扰，则控制所述红外摄像机根据所述第 一位置信息重新锁定所述目标物并继续进行红外跟踪；
如果所述可见光摄像机受到干扰， 但所述红外摄像机没有受到干扰， 则控 制所述可见光摄像机根据所述第二位置信息重新锁定所述目标物并继续进行 视觉跟踪；
如果所述可见光摄像机和所述红外摄像机均受到干扰，则向所述无人机的 遥控设备发送手动控制请求， 以退出自动跟踪模式。
可选地， 所述装置还包括：
第一发送单元，用于将所述可见光摄像机采集到的可见光图像发送至所述 无人机的遥控设备， 以使所述遥控设备实时显示所述可见光图像。 可选地， 所述装置还包括：
第二发送单元， 用于当所述可见光摄像机丢失所述目标物时， 将所述红外 摄像机采集到的红外图像发送至所述遥控设备，以使所述遥控设备显示所述红 外图像或者同时显示所述可见光图像和所述红外图像。
可选地， 所述装置还包括第四调整单元， 所述第四调整单元具体用于： 接收所述遥控设备发送的目标调整指令；
控制所述可见光摄像机根据所述目标调整指令重新锁定新目标物并进行 视觉跟踪， 以及， 实时记录重新锁定的新目标物的第三跟踪信息；
控制所述红外摄像机根据所述第三跟踪信息对所述重新锁定的新目标物 进行红外跟踪， 并实时记录所述重新锁定的新目标物的第四跟踪信息；
其中，所述第三跟踪信息和所述第四跟踪信息为针对根据所述目标调整指 令重新锁定的所述新目标物的跟踪信息。
第三方面， 本发明实施例提供一种无人机， 包括：
机身；
机臂， 与所述机身相连；
可见光摄像机， 设于所述机身；
红外摄像机， 设于所述机身；
处理器， 设于所述机身， 所述处理器分别与所述可见光摄像机和所述红外 摄像机通信连接； 以及，
存储器， 与所述处理器通信连接；
其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令 被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的目 标跟踪方法。
第四方面， 本发明实施例还提供了一种非暂态计算机可读存储介质， 所述 非暂态计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令 用于使无人机执行如上所述的目标跟踪方法。
第五方面， 本发明实施例还提供了一种计算机程序产品， 所述计算机程序 产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序 包括程序指令， 当所述程序指令被无人机执行时， 使所述无人机执行如上所述 的目标跟踪方法。
本发明实施例的有益效果是： 区别于现有技术的情况， 本发明实施例提供 的目标跟踪方法、装置和无人机通过控制无人机上的可见光摄像机和红外摄像 机分别对目标物进行视觉跟踪和红外跟踪，并实时记录所述目标物的第一跟踪 信息和第二跟踪信息， 并且， 当所述可见光摄像机丢失所述目标物时， 控制所 述可见光摄像机根据所述红外摄像机记录的第二跟踪信息重新锁定所述目标 物并继续进行视觉跟踪， 或者， 当所述红外摄像机丢失所述目标物时， 控制所 述红外摄像机根据所述可见光摄像机记录的第一跟踪信息重新锁定所述目标 物并继续进行红外跟踪， 能够利用两种类型的摄像机之间的相互协作， 提高无 人机的目标跟踪性能， 扩大应用范围。 附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所 需要使用的附图作简单地介绍。 显而易见地， 下面所描述的附图仅仅是本发明 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。
图 1 是本发明实施例提供的目标跟踪方法的其中一种应用环境的示意图； 图 2是本发明实施例提供的一种目标跟踪方法的流程示意图；
图 3 是本发明实施例提供的一种控制可见光摄像机对目标物进行视觉跟 踪的方法的流程示意图；
图 4 是本发明实施例提供的一种控制红外摄像机对目标物进行红外跟踪 的方法的流程示意图；
图 5是本发明实施例提供的一种目标跟踪装置的结构示意图。 具体实施方式
为了使本发明的目的、 技术方案及优点更加清楚明白， 以下结合附图及实 施例， 对本发明进行进一步详细说明。 应当理解， 此处所描述的具体实施例仅 用以解释本发明， 并不用于限定本发明。
需要说明的是， 如果不冲突， 本发明各个实施例或者一实施例中的各个特 征可以相互结合， 均在本发明的保护范围之内。 另外， 虽然在装置示意图中进 行了功能模块划分， 在流程图中示出了逻辑顺序， 但是在某些情况下， 可以以 不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。再者， 本发明所采用的 “第一”“第二” 等字样并不对数据和执行次序进行限定， 仅 是对功能和作用基本相同的相同项或相似项进行区分。 实施例一
图 1 是本发明实施例提供的目标跟踪方法的其中一种应用环境的示意图， 请参阅图 1， 该应用环境包括： 无人机 10、 遥控设备 20以及目标物 30。 所述 无人机 10与所述遥控设备 20之间可以通过任意方式进行无线通信连接，比如： 可以利用无线保真技术 (W i re l ess F i de l i ty， W i -F i ) , 蓝牙 (B l uetooth) 技 术或者诸如第 3代 (3rd Generat i on， 3G)、 第四代 (4th Generat i on， 4G)、 或第五代 (5th Generat i on, 5G) 等移动通信技术， 来实现无线连接， 在此不 予限定。
其中， 所述无人机 10可以是任意类型的无人驾驶飞行器， 其可以包括但 不限于： 单旋翼无人机、 四旋翼无人机、 六旋翼无人机、倾转旋翼无人机等等。
具体地，所述无人机 10包括机身 101 以及与所述机身 101相连的机臂 102。 所述机身 101 上搭载有可见光摄像机 11、 红外摄像机 12、 处理器 13以及存储 器 14。
其中， 所述可见光摄像机 11 是指利用光学成像原理形成影像并使用底片 记录影像的设备， 其可以为任意用于摄影的光学器材， 所采集到的图像为可见 光图像； 所述红外摄像机 12是指通过非接触探测红外能量 （或者说， 热量）， 并将其转换为电信号， 进而形成红外图像数据的设备， 其具体可以是一个红外 跟踪仪。 所述可见光摄像机 11 和所述红外摄像机 12均与所述处理器 13通信 连接， 能够基于所述处理器 13 的指令执行相应的任务并给予所述处理器 13 相应的反馈， 比如， 采集图像、 进行目标跟踪、 记录目标物的跟踪信息等等。
所述处理器 13 可以是任意能够执行一定指令 /任务的图像处理中心或者 中央调控中心， 其具体可以是一个 MCU。 所述处理器 13除了用于指示所述可 见光摄像机 11 和 /或所述红外摄像机 12执行相应的任务之外， 还用于与所述 遥控设备 20进行通信， 基于所述遥控设备 20的指令执行相应的任务。 从而， 在本实施例中，可以由所述处理器 13执行本发明实施例提供的目标跟踪方法。
所述存储器 14与所述处理器 13通信连接，可以是一种非暂态计算机可读 存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块， 如本发明实施例中的目标跟踪方法对应的程序指令 /模块。所述处理器 13通过 运行存储在存储器 14中的非暂态软件程序、 指令以及模块， 可以实现下述任 一方法实施例中的目标跟踪方法。 具体地， 所述存储器 14可以包括高速随机 存取存储器， 还可以包括非暂态存储器， 例如至少一个磁盘存储器件、 闪存器 件、 或其他非暂态固态存储器件。 在一些实施例中， 存储器 14还可以包括相 对于处理器 13远程设置的存储器， 这些远程存储器可以通过网络连接至处理 器 13。 上述网络的实例包括但不限于互联网、 企业内部网、 局域网、 移动通 信网及其组合。
所述遥控设备 20可以是任意能够操控所述无人机 10的设备， 比如， 遥控 器、 智能手机、 平板电脑等。 所述遥控设备 20可以通过向所述无人机 10发送 控制指令来控制所述无人机 10调整飞行姿态或者执行相应的任务， 也可以接 收来自所述无人机 10的信号或图像数据。所述遥控设备 20还可以配置有显示 屏， 用于根据图像数据来显示图像。
所述目标物 30可以是任意给定的跟踪目标， 比如， 其具体可以为自行车、 汽车、 人、 动物、 其他飞行物体等等。
在实际应用中， 当需要利用所述无人机 10对目标物 30进行跟踪时， 用户 /飞手可以通过所述遥控设备 20向所述无人机 10的处理器 13发送目标跟踪指 令。 所述处理器 13接收到该目标跟踪指令后， 可采用本发明实施例提供的目 标跟踪方法， 控制所述可见光摄像机 11 和所述红外摄像机 12 对所述目标物 30进行跟踪。 具体为： 控制所述可见光摄像机 11 对所述目标物 30进行视觉 跟踪， 并实时记录所述目标物 30的第一跟踪信息， 其中， 所述第一跟踪信息 包括所述目标物的第一位置信息； 控制所述红外摄像机 12 对所述目标物 30 进行红外跟踪， 并实时记录所述目标物 30的第二跟踪信息， 其中， 所述第二 跟踪信息包括所述目标物的第二位置信息。在跟踪的过程中， 当确定所述可见 光摄像机 1 1 丢失所述目标物 30时， 所述处理器 1 3可控制所述可见光摄像机 1 1根据所述第二跟踪信息重新锁定所述目标物 30并继续进行视觉跟踪；或者， 当确定所述红外摄像机 1 2丢失所述目标物时，所述处理器 1 3可以控制所述红 外摄像机 1 2根据所述第一跟踪信息重新锁定所述目标物 30并继续进行红外跟 踪。 从而， 通过所述可见光摄像机 1 1和所述红外摄像机 1 2之间的相互协作， 可以实现对所述目标物 30的持续跟踪， 提高所述无人机 1 0的目标跟踪性能， 扩大其应用范围。
其中， 需要说明的是， 上述应用环境仅是为了进行示例性说明， 在实际应 用中，本发明实施例提供的目标跟踪方法和相关装置还可以进一步的拓展到其 他合适的应用环境中， 而不限于图 1 中所示的应用环境。 比如， 在其他的一些 实施例中，所述可见光摄像机 1 1和所述红外摄像机 1 2也可以各自对应不同的 图像处理中心， 这两个不同的图像处理中心均能独立执行相应的跟踪任务， 并 且两者之间互通信息， 当其中一个摄像机丢失所述目标物 30时， 由该摄像机 对应的图像处理中心从另一个摄像机对应的图像处理中心获取所述目标物的 跟踪信息， 进而基于获取到的跟踪信息重新锁定所述目标物 30并继续进行跟 踪。 实施例二
图 2是本发明实施例提供的一种目标跟踪方法的流程示意图。该方法可以 由上述无人机 1 0执行。
具体地， 请参阅图 2， 该方法可以包括但不限于如下步骤：
步骤 1 1 0 : 控制可见光摄像机对目标物进行视觉跟踪， 并实时记录所述目 标物的第一跟踪信息。
在本实施例中， 所述“目标物”即需要跟踪的目标， 其可以由无人机基于 一些给定特征 （比如， 动态特征、 外形特征等） 自主识别得到， 也可以由用户 通过遥控设备选定后反馈至所述无人机。 所述“视觉跟踪”是指基于可见光图 像序列对所述目标物进行跟踪。 所述“第一跟踪信息”是指所述可见光摄像机 在对所述目标物进行视觉跟踪时得到并记录下来的信息，用于方便所述无人机 的红外摄像机锁定所述目标物。 具体地， 所述“第一跟踪信息”可以包括所述 目标物的第一位置信息 （比如， 在可见光图像中的位置、 相对于所述无人机的 角度、 相对于所述无人机的距离等）。 通过所述第一位置信息， 可以方便所述 无人机快速定位所述目标物当前所在的位置，及时调整所述红外摄像机的拍摄 角度， 从而提升所述红外摄像机锁定所述目标物的效率。 此外， 在其他的一些 实施例中， 为了进一步保障目标物锁定的准确度， 所述第一跟踪信息还可以包 括形状、 大小等标识所述目标物的特征的信息。
在具体实施时， 根据所述无人机确定所述目标物的方式的不同， 可以采用 不同的方式控制所述可见光摄像机对所述目标物进行视觉跟踪。
比如， 在一些实施例中， 所述目标物由所述无人机自主识别得到， 说明， 所述可见光摄像机已经锁定了所述目标物， 从而， 所述可见光摄像机可以直接 基于锁定的目标物的图像特征进行视觉跟踪。
又如， 在另一些实施例中， 所述目标物也可以由用户通过遥控设备指定， 此时，可以采用如图 3所示的方法控制所述可见光摄像机对所述目标物进行视 觉跟踪。
具体地， 请参阅图 3， 该方法可以包括但不限于如下步骤：
步骤 1 1 1 : 控制可见光摄像机采集包括目标物的初始可见光图像。
在该实施例中， 所述“初始可见光图像”是指用户选定目标物时， 所述可 见光摄像机采集到的图像。 所述初始可见光图像中包含有将要选定的目标物。
在实际应用时，可将所述可见光摄像机采集到的图像反馈至遥控设备进行 显示， 以便用户在所显示的图像中选定目标物。 从而， 用户可以基于所显示的 图像调整所述可见光摄像机的拍摄角度，而当用户不再调整所述可见光摄像机 的拍摄角度时， 说明用户在当前显示的图像中找到了所述目标物， 那么， 所述 可见光摄像机在当前拍摄角度采集到的可见光图像即所述“初始可见光图像”。
步骤 1 1 2 : 基于所述初始可见光图像， 确定所述目标物的图像特征和初始 位置。
当用户在所述遥控设备上标识出所述目标物时，可通过用户在所述初始可 见光图像中标识的位置对所述目标物进行锁定，并确定所述目标物的图像特征 和初始位置。其中， 所述初始位置用于方便所述红外摄像机对所述目标物进行 锁定， 其具体可以为所述目标物在所述可见光图像中的位置、 所述目标物相对 所述无人机的角度或所述目标物相对所述无人机的距离中的一种或者多种。
步骤 1 1 3 : 控制所述可见光摄像机基于所述图像特征对所述目标物进行视 觉跟踪。
一般地， 视觉跟踪大多是根据目标物的图像特征进行， 因此， 在该实施例 中， 在获取到所述目标物的图像特征之后， 即可控制所述可见光摄像机基于所 述图像特征对所述目标物进行视觉跟踪。
此外， 在进行视觉跟踪的过程中， 还实时记录所述目标物的所述第一跟踪 信息， 以便红外摄像机在丢失所述目标物时， 根据所述第一跟踪信息重新锁定 所述目标物。
步骤 1 20 : 控制红外摄像机对所述目标物进行红外跟踪， 并实时记录所述 目标物的第二跟踪信息。
其中， 所述“红外跟踪” 是指基于红外图像序列对所述目标物进行跟踪。 所述“红外跟踪” 与所述“视觉跟踪” 同步进行。 所述“第二跟踪信息”是指 所述红外摄像机在对所述目标物进行红外跟踪时得到并记录下来的信息，用于 方便所述可见光摄像机锁定所述目标物。
与所述“第一跟踪信息”相似地， 所述“第二跟踪信息”也可以包括所述 目标物的第二位置信息 （比如， 在红外图像中的位置、 相对于所述无人机的角 度、 相对于所述无人机的距离等）， 以及， 为了进一步保障目标物锁定的准确 度，所述第二跟踪信息还可以包括形状、大小等标识所述目标物的特征的信息。
在具体实施时， 根据所述无人机确定所述目标物的方式的不同， 也可以采 用不同的方式控制所述红外摄像机对所述目标物进行红外跟踪。 比如， 在一些 实施例中， 所述目标物可以由所述红外摄像机基于一些给定的特征 （比如， 热 能特征、 轮廓特征等） 自主识别得到， 则， 所述红外摄像机可以直接基于这些 给定的特征进行红外跟踪。
或者， 在另一些实施例中， 所述目标物也可以由用户通过遥控设备指定， 此时， 可以在上述步骤 1 1 1 至 1 1 3的基础上， 采用如图 4所示的方法控制所述 红外摄像机对所述目标物进行红外跟踪。
具体地， 请参阅图 4， 该方法可以包括但不限于如下步骤：
步骤 1 21 : 控制红外摄像机采集包括目标物的初始红外图像。
在本实施例中， 所述“初始红外图像”是指用户选定目标物时， 红外摄像 机采集到的图像， 其与所述“初始可见光图像”对应相同的拍摄场景， 其内也 包含将要选定的目标物。
在实际应用中，可以预先将所述红外摄像机机的拍摄方向调整到与所述可 见光摄像机的拍摄方向一致，以使所述红外摄像机和所述可见光摄像机的拍摄 对象 /场景一致。 从而， 当所述可见光摄像机采集到所述“初始可见光图像” 时， 所述红外摄像机即采集到所述“初始红外图像”。
步骤 1 22 : 根据所述初始位置， 从所述初始红外图像中提取出所述目标物 的热能特征。
由于所述初始红外图像和所述初始可见光图像是针对同一拍摄场景的两 种不同呈现方式， 因此，在该实施例中， 可以首先根据目标物的所述初始位置， 在所述初始红外图像中定位到所述目标物，进而从所述初始红外图像中提取出 所述目标物的热能特征。
步骤 1 23： 控制所述红外摄像机基于所述热能特征对所述目标物进行红外 跟踪。
一般地， 红外跟踪大多是根据目标物的热能特征进行， 因此， 在该实施例 中， 在获取到所述目标物的热能特征之后， 即可控制所述红外摄像机基于所述 热能特征对所述目标物进行红外跟踪。
同样地， 在进行红外跟踪的过程中， 还实时记录所述目标物的所述第二跟 踪信息， 以便可见光摄像机在丢失所述目标物时， 根据所述第二跟踪信息重新 锁定所述目标物。
其中， 应当理解的是， 在上述实施例中， 将可见光摄像机采集到的图像反 馈至遥控设备进行显示， 以便用户在所述初始可见光图像中选定目标物， 得到 所述目标物的初始位置， 进而基于所述初始位置， 在所述初始红外图像中锁定 所述目标物； 主要是因为在一般情况下， 可见光图像的视觉效果与肉眼观看效 果相近， 清晰度较高， 用户可以在可见光图像中清楚地识别出想要跟踪的目标 物，而红外图像则为通过采集热能组成的画面，用户无法具体地看清各种事物， 只能看到热能的轮廓。在其他的一些实施例中， 也可以同时将红外摄像机采集 到的图像反馈至遥控设备进行辅助显示，以便用户同时在所述初始红外图像中 选定目标物。
再者，在进行跟踪的过程中，当确定所述可见光摄像机丢失所述目标物时， 比如， 当所述目标物被遮挡或者所述目标物处于所述可见光摄像机的视场角之 外时， 执行下述步骤 130。 当确定所述红外摄像机丢失所述目标物时， 比如， 当所述红外摄像机探测不到所述目标物的热能特征时， 执行下述步骤 140。
步骤 130 : 控制所述可见光摄像机根据所述第二跟踪信息重新锁定所述目 标物并继续进行视觉跟踪。
在本实施例中， 当所述可见光摄像机丢失所述目标物时， 可以将所述红外 摄像机在当前时刻记录的第二跟踪信息反馈至所述可见光摄像机，以使所述可 见光摄像机根据所述第二跟踪信息重新锁定所述目标物并继续进行视觉跟踪。
其中， 在一些实施例中， 所述第二跟踪信息包括所述目标物的第二位置信 息， 从而， 所述可见光摄像机根据所述第二跟踪信息重新锁定所述目标物的具 体实施方式可以是： 根据所述目标物当前的第二位置信息， 判断所述目标物是 否在所述可见光摄像机的视场角范围之内； 如果在， 则说明所述目标物可能被 遮挡了， 此时， 可以以所述红外摄像机为主， 对所述目标物进行红外跟踪， 而 所述可见光摄像机则持续基于所述红外摄像机反馈的第二位置信息，将所述目 标物当前所在位置作为拍摄中心， 直至所述目标物离开遮挡后， 重新锁定所述 目标物； 如果不在， 则说明所述目标物位于所述可见光摄像机的盲区， 此时， 可以根据所述目标物的第二位置信息调整所述可见光摄像机的拍摄角度，以使 所述目标物落入所述可见光摄像机的视场角范围之内，进而结合所述目标物的 图像特征和第二位置信息重新锁定所述目标物。
步骤 140 : 控制所述红外摄像机根据所述第一跟踪信息重新锁定所述目标 物并继续进行红外跟踪。
在本实施例中， 当所述红外摄像机丢失所述目标物时， 可以将所述可见光 摄像机在当前时刻记录的第一跟踪信息反馈至所述红外摄像机，以使所述红外 摄像机根据所述第一跟踪信息重新锁定所述目标物并继续进行红外跟踪。
其中， 在一些实施例中， 所述第一跟踪信息包括所述目标物的第一位置信 息， 从而， 所述红外摄像机可以根据所述第一位置信息快速定位到所述目标物 当前所在的位置， 并提取该位置处的热能特征， 如果提取到的热能特征与所述 目标物的热能特征匹配， 则重新锁定所述目标物并继续进行红外跟踪； 如果不 匹配， 则向所述遥控设备请求人工介入。
通过上述技术方案可知， 本发明实施例的有益效果在于： 本发明实施例提 供的目标跟踪方法通过控制无人机上的可见光摄像机和红外摄像机分别对目 标物进行视觉跟踪和红外跟踪，并实时记录所述目标物的第一跟踪信息和第二 跟踪信息， 并且， 当所述可见光摄像机丢失所述目标物时， 控制所述可见光摄 像机根据所述红外摄像机记录的第二跟踪信息重新锁定所述目标物并继续进 行视觉跟踪， 或者， 当所述红外摄像机丢失所述目标物时， 控制所述红外摄像 机根据所述可见光摄像机记录的第一跟踪信息重新锁定所述目标物并继续进 行红外跟踪， 能够利用两种类型的摄像机之间的相互协作， 提高无人机的目标 跟踪性能， 扩大应用范围。 实施例三
进一步地，考虑到所述可见光摄像机和所述红外摄像机在进行目标跟踪的 过程中有可能会因为受到环境因素的干扰而无法正确锁定目标物，本发明实施 例提供了另一种目标跟踪方法。
该方法与上述实施例二提供的目标跟踪方法的不同之处在于，所述方法还 包括： 当所述第一位置信息和所述第二位置信息不一致时， 判断所述可见光摄 像机和所述红外摄像机是否受到干扰。 如果所述可见光摄像机没有受到干扰， 则控制所述红外摄像机根据所述第一位置信息重新锁定所述目标物并继续进 行红外跟踪； 如果所述可见光摄像机受到干扰， 但所述红外摄像机没有受到干 扰，则控制所述可见光摄像机根据所述第二位置信息重新锁定所述目标物并继 续进行视觉跟踪； 如果所述可见光摄像机和所述红外摄像机均受到干扰， 则向 所述无人机的遥控设备发送手动控制请求， 以退出自动跟踪模式。
通过上述技术方案可知， 本发明实施例的有益效果在于： 本发明实施例提 供的目标跟踪方法通过当所述第一位置信息和第二位置信息不一致时，控制所 述可见光摄像机和 /或红外摄像机作出相应的调整， 能够进一步提升目标跟踪 的可靠性。 实施例四
为了方便用户实时观看所述目标物的跟踪画面， 以及， 便于用户及时调整 需要跟踪的目标， 本发明实施例四提供了又一种目标跟踪方法。
该方法与上述实施例二和实施例三的不同之处在于， 在本实施例中， 所述 方法还包括：将所述可见光摄像机采集到的可见光图像发送至所述无人机的遥 控设备， 以使所述遥控设备实时显示所述可见光图像。便于用户清楚地了解所 述目标物的运动状态。
进一步地， 在一些实施例中， 当所述可见光摄像机丢失所述目标物时， 还 可以将所述红外摄像机采集到的红外图像发送至所述遥控设备，以使所述遥控 设备显示所述红外图像或者同时显示所述可见光图像和所述红外图像。 从而， 即便所述可见光摄像机丢失了所述目标物，也可以通过所述红外摄像机采集到 的红外图像向用户呈现所述目标物的运动状态。
再者， 在另一些实施例中， 当用户发现所述可见光摄像机跟踪的目标有误 或者想要变更目标物时，还可以通过所述遥控设备向所述无人机发送目标调整 指令， 该目标调整指令可携带有新目标的位置信息或者图像特征。 对应地， 在 该实施例中， 该目标跟踪方法还可以包括： 接收所述遥控设备发送的目标调整 指令；控制所述可见光摄像机根据所述目标调整指令重新锁定新目标物并进行 视觉跟踪， 以及， 实时记录重新锁定的新目标物的第三跟踪信息； 控制所述红 外摄像机根据所述第三跟踪信息对所述重新锁定的新目标物进行红外跟踪，并 实时记录所述重新锁定的新目标物的第四跟踪信息。其中， 所述第三跟踪信息 和所述第四跟踪信息分别与所述第一跟踪信息和所述第二跟踪信息类似，其不 同之处仅在于：所述第一跟踪信息和所述第二跟踪信息是针对最开始锁定的目 标物的跟踪信息，而所述第三跟踪信息和所述第四跟踪信息则是针对根据用户 发送的目标调整指令重新锁定的新目标物的跟踪信息。
通过上述技术方案可知， 本发明实施例的有益效果在于： 本发明实施例提 供的目标跟踪方法通过将所述可见光摄像机采集到的可见光图像发送至所述 无人机的遥控设备， 以使所述遥控设备实时显示所述可见光图像， 能够方便用 户实时观看所述目标物的跟踪画面，以及，便于用户及时调整需要跟踪的目标。 实施例五
图 5是本发明实施例提供的一种目标跟踪装置的结构示意图，该目标跟踪 装置可以运行于如图 1 所示的无人机 1 0， 所述无人机包括可见光摄像机和红 外摄像机。
具体地， 请参阅图 5， 该装置 500包括： 视觉跟踪单元 51 1、 红外跟踪单 元 51 2、 第一调整单元 520以及第二调整单元 530。 其中：
所述跟踪单元 51 1 用于控制所述可见光摄像机对目标物进行视觉跟踪，并 实时记录所述目标物的第一跟踪信息， 其中， 所述第一跟踪信息包括所述目标 物的第一位置信息；
所述红外跟踪单元 51 2 用于控制所述红外摄像机对所述目标物进行红外 跟踪， 并实时记录所述目标物的第二跟踪信息， 其中， 所述第二跟踪信息包括 所述目标物的第二位置信息；
所述第一调整单元 520用于在确定所述可见光摄像机丢失所述目标物时， 控制所述可见光摄像机根据所述第二跟踪信息重新锁定所述目标物并继续进 行视觉跟踪；
所述第二调整单元 530用于在确定所述红外摄像机丢失所述目标物时，控 制所述红外摄像机根据所述第一跟踪信息重新锁定所述目标物并继续进行红 外跟踪。
在本实施例中，可以首先通过视觉跟踪单元 51 1控制所述可见光摄像机对 目标物进行视觉跟踪， 并实时记录所述目标物的第一跟踪信息， 以及， 通过红 外跟踪单元 51 2控制所述红外摄像机对所述目标物进行红外跟踪，并实时记录 所述目标物的第二跟踪信息； 在进行跟踪的过程中， 当确定所述可见光摄像机 丢失所述目标物时，由第一调整单元 520控制所述可见光摄像机根据所述第二 跟踪信息重新锁定所述目标物并继续进行视觉跟踪；当确定所述红外摄像机丢 失所述目标物时，由第二调整单元 530控制所述红外摄像机根据所述第一跟踪 信息重新锁定所述目标物并继续进行红外跟踪。
具体地， 在一些实施例中， 所述视觉跟踪单元 51 1 具体用于： 控制所述可 见光摄像机采集包括目标物的初始可见光图像； 基于所述初始可见光图像， 确 定所述目标物的图像特征和初始位置；控制所述可见光摄像机基于所述图像特 征对所述目标物进行视觉跟踪， 并实时记录所述目标物的第一跟踪信息。所述 红外跟踪单元 512具体用于：控制所述红外摄像机采集所述目标物的初始红外 图像； 根据所述目标物的所述初始位置， 从所述初始红外图像中提取所述目标 物的热能特征；控制所述红外摄像机基于所述热能特征对所述目标物进行红外 跟踪， 并实时记录所述目标物的所述第二跟踪信息。
进一步地， 在一些实施例中， 所述装置 500还包括第三调整单元 540。 所述第三调整单元 540具体用于：当所述第一位置信息和所述第二位置信 息不一致时， 判断所述可见光摄像机和所述红外摄像机是否受到干扰； 如果所 述可见光摄像机没有受到干扰，则控制所述红外摄像机根据所述第一位置信息 重新锁定所述目标物并继续进行红外跟踪； 如果所述可见光摄像机受到干扰， 但所述红外摄像机没有受到干扰，则控制所述可见光摄像机根据所述第二位置 信息重新锁定所述目标物并继续进行视觉跟踪；如果所述可见光摄像机和所述 红外摄像机均受到干扰， 则向所述无人机的遥控设备发送手动控制请求， 以退 出自动跟踪模式。
在一些实施例中， 所述装置 500还包括： 第一发送单元 550， 用于将所述 可见光摄像机采集到的可见光图像发送至所述无人机的遥控设备，以使所述遥 控设备实时显示所述可见光图像。
在一些实施例中， 所述装置 500还包括： 第二发送单元 560， 用于当所述 可见光摄像机丢失所述目标物时，将所述红外摄像机采集到的红外图像发送至 所述遥控设备，以使所述遥控设备显示所述红外图像或者同时显示所述可见光 图像和所述红外图像。
在一些实施例中， 所述装置 500还包括： 第四调整单元 570。 所述第四调 整单元 570具体用于： 接收所述遥控设备发送的目标调整指令； 控制所述可见 光摄像机根据所述目标调整指令重新锁定新目标物并进行视觉跟踪， 以及， 实 时记录重新锁定的新目标物的第三跟踪信息；控制所述红外摄像机根据所述第 三跟踪信息对所述重新锁定的新目标物进行红外跟踪，并实时记录所述重新锁 定的新目标物的第四跟踪信息。其中， 所述第三跟踪信息和所述第四跟踪信息 为针对根据所述目标调整指令重新锁定的所述新目标物的跟踪信息。 需要说明的是，由于所述目标跟踪装置与上述方法实施例中的目标跟踪方 法基于相同的发明构思， 因此， 上述方法实施例的相应内容同样适用于装置实 施例， 此处不再详述。 通过上述技术方案可知， 本发明实施例的有益效果在于： 本发明实施例提 供的目标跟踪装置通过利用视觉跟踪单元 51 1和红外跟踪单元 512分别控制无 人机上的可见光摄像机和红外摄像机分别对目标物进行视觉跟踪和红外跟踪， 并实时记录所述目标物的第一跟踪信息和第二跟踪信息， 并且， 当确定所述可 见光摄像机丢失所述目标物时，由第一调整单元 520控制所述可见光摄像机根 据所述红外摄像机记录的第二跟踪信息重新锁定所述目标物并继续进行视觉 跟踪， 或者， 当确定所述红外摄像机丢失所述目标物时， 由所述第二调整单元 530 控制所述红外摄像机根据所述可见光摄像机记录的第一跟踪信息重新锁 定所述目标物并继续进行红外跟踪，能够利用两种类型的摄像机之间的相互协 作， 提高无人机的目标跟踪性能， 扩大应用范围。
应理解的是， 以上所描述的装置实施例仅仅是示意性的， 其中所述作为分 离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件 可以是或者也可以不是物理单元， 即可以位于一个地方， 或者也可以分布到多 个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实 施例方案的目的。 实施例六
本发明实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算 机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个 处理器执行， 例如， 被图 1 中的一个处理器 13执行， 可使得上述一个或多个 处理器执行上述任意方法实施例中的目标跟踪方法， 例如， 执行以上描述的图 2中的方法步骤 1 10-120、 130或 140， 图 3中的方法步骤 1 1 1 至 1 13， 图 4中 的方法步骤 121 至 123。 通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实 施方式可借助软件加通用硬件平台的方式来实现， 当然也可以通过硬件。 本领 域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通 过计算机程序产品中的计算机程序来指令相关的硬件来完成，所述的计算机程 序可存储于一非暂态计算机可读取存储介质中， 该计算机程序包括程序指令， 当所述程序指令被无人机执行时，可使所述无人机执行上述各方法的实施例的 流程。 其中， 所述的存储介质可为磁碟、 光盘、 只读存储记忆体 (Read-On l y Memory, ROM)或随机存储记忆体 (Random Access Memory, RAM)等。
上述产品可执行本发明实施例所提供的目标跟踪方法，具备执行目标跟踪 方法相应的功能模块和有益效果。 未在本实施例中详尽描述的技术细节， 可参 见本发明实施例所提供的目标跟踪方法。
最后应说明的是： 以上实施例仅用以说明本发明的技术方案， 而非对其限 制； 在本发明的思路下， 以上实施例或者不同实施例中的技术特征之间也可以 进行组合， 步骤可以以任意顺序实现， 并存在如上所述的本发明的不同方面的 许多其它变化， 为了简明， 它们没有在细节中提供； 尽管参照前述实施例对本 发明进行了详细的说明， 本领域的普通技术人员应当理解：其依然可以对前述 各实施例所记载的技术方案进行修改， 或者对其中部分技术特征进行等同替 换； 而这些修改或者替换， 并不使相应技术方案的本质脱离本发明各实施例技 术方案的范围。

Claims

权 利 要 求 书
1、 一种目标跟踪方法， 应用于无人机， 所述无人机包括可见光摄像机和 红外摄像机， 其特征在于， 所述方法包括：
控制所述可见光摄像机对目标物进行视觉跟踪，并实时记录所述目标物的 第一跟踪信息， 其中， 所述第一跟踪信息包括所述目标物的第一位置信息； 控制所述红外摄像机对所述目标物进行红外跟踪，并实时记录所述目标物 的第二跟踪信息， 其中， 所述第二跟踪信息包括所述目标物的第二位置信息； 确定所述可见光摄像机丢失所述目标物， 贝 ij :
控制所述可见光摄像机根据所述第二跟踪信息重新锁定所述目标物并继 续进行视觉跟踪； 或者，
确定所述红外摄像机丢失所述目标物， 贝 ij :
控制所述红外摄像机根据所述第一跟踪信息重新锁定所述目标物并继续 进行红外跟踪。
2、 根据权利要求 1 所述的方法， 其特征在于， 所述控制所述可见光摄像 机对目标物进行视觉跟踪， 并实时记录所述目标物的第一跟踪信息， 包括： 控制所述可见光摄像机采集所述目标物的初始可见光图像；
基于所述初始可见光图像， 确定所述目标物的图像特征和初始位置； 控制所述可见光摄像机基于所述图像特征对所述目标物进行视觉跟踪，并 实时记录所述目标物的所述第一跟踪信息。
3、 根据权利要求 2所述的方法， 其特征在于， 所述控制所述红外摄像机 对所述目标物进行红外跟踪， 并实时记录所述目标物的第二跟踪信息， 包括： 控制所述红外摄像机采集所述目标物的初始红外图像；
根据所述目标物的所述初始位置，从所述初始红外图像中提取所述目标物 的热能特征；
控制所述红外摄像机基于所述热能特征对所述目标物进行红外跟踪，并实 时记录所述目标物的所述第二跟踪信息。
4、 根据权利要求 1 -3任一项所述的方法， 其特征在于， 所述方法还包括: 当所述第一位置信息和所述第二位置信息不一致时，判断所述可见光摄像 机和所述红外摄像机是否受到干扰；
如果所述可见光摄像机没有受到干扰，则控制所述红外摄像机根据所述第 一位置信息重新锁定所述目标物并继续进行红外跟踪；
如果所述可见光摄像机受到干扰， 但所述红外摄像机没有受到干扰， 则控 制所述可见光摄像机根据所述第二位置信息重新锁定所述目标物并继续进行 视觉跟踪；
如果所述可见光摄像机和所述红外摄像机均受到干扰，则向所述无人机的 遥控设备发送手动控制请求， 以退出自动跟踪模式。
5、 根据权利要求 1 -4任一项所述的方法， 其特征在于， 所述方法还包括: 将所述可见光摄像机采集到的可见光图像发送至所述无人机的遥控设备， 以使所述遥控设备实时显示所述可见光图像。
6、 根据权利要求 5所述的方法， 其特征在于， 当所述可见光摄像机丢失 所述目标物时， 所述方法还包括：
将所述红外摄像机采集到的红外图像发送至所述遥控设备，以使所述遥控 设备显示所述红外图像或者同时显示所述可见光图像和所述红外图像。
7、 根据权利要求 5或 6所述的方法， 其特征在于， 所述方法还包括： 接收所述遥控设备发送的目标调整指令；
控制所述可见光摄像机根据所述目标调整指令重新锁定新目标物并进行 视觉跟踪， 以及， 实时记录重新锁定的新目标物的第三跟踪信息；
控制所述红外摄像机根据所述第三跟踪信息对所述重新锁定的新目标物 进行红外跟踪， 并实时记录所述重新锁定的新目标物的第四跟踪信息；
其中，所述第三跟踪信息和所述第四跟踪信息为针对根据所述目标调整指 令重新锁定的所述新目标物的跟踪信息。
8、 一种目标跟踪装置， 应用于无人机， 所述无人机包括可见光摄像机和 红外摄像机， 其特征在于， 所述装置包括：
视觉跟踪单元， 用于控制所述可见光摄像机对目标物进行视觉跟踪， 并实 时记录所述目标物的第一跟踪信息， 其中， 所述第一跟踪信息包括所述目标物 的第一位置信息；
红外跟踪单元， 用于控制所述红外摄像机对所述目标物进行红外跟踪， 并 实时记录所述目标物的第二跟踪信息， 其中， 所述第二跟踪信息包括所述目标 物的第二位置信息；
第一调整单元， 用于在确定所述可见光摄像机丢失所述目标物时， 控制所 述可见光摄像机根据所述第二跟踪信息重新锁定所述目标物并继续进行视觉 跟踪；
第二调整单元， 用于在确定所述红外摄像机丢失所述目标物时， 控制所述 红外摄像机根据所述第一跟踪信息重新锁定所述目标物并继续进行红外跟踪。
9、 根据权利要求 8所述的装置， 其特征在于， 所述视觉跟踪单元具体用 于：
控制所述可见光摄像机采集包括目标物的初始可见光图像；
基于所述初始可见光图像， 确定所述目标物的图像特征和初始位置； 控制所述可见光摄像机基于所述图像特征对所述目标物进行视觉跟踪，并 实时记录所述目标物的第一跟踪信息。
1 0、 根据权利要求 9所述的装置， 其特征在于， 所述红外跟踪单元具体用 于：
控制所述红外摄像机采集所述目标物的初始红外图像；
根据所述目标物的所述初始位置，从所述初始红外图像中提取所述目标物 的热能特征； 控制所述红外摄像机基于所述热能特征对所述目标物进行红外跟踪，并实 时记录所述目标物的所述第二跟踪信息。
1 1、 根据权利要求 8-1 0任一项所述的装置， 其特征在于， 所述装置还包 括第三调整单元， 所述第三调整单元具体用于：
当所述第一位置信息和所述第二位置信息不一致时，判断所述可见光摄像 机和所述红外摄像机是否受到干扰；
如果所述可见光摄像机没有受到干扰，则控制所述红外摄像机根据所述第 一位置信息重新锁定所述目标物并继续进行红外跟踪；
如果所述可见光摄像机受到干扰， 但所述红外摄像机没有受到干扰， 则控 制所述可见光摄像机根据所述第二位置信息重新锁定所述目标物并继续进行 视觉跟踪；
如果所述可见光摄像机和所述红外摄像机均受到干扰，则向所述无人机的 遥控设备发送手动控制请求， 以退出自动跟踪模式。
1 2、 根据权利要求 8-1 1 任一项所述的装置， 其特征在于， 所述装置还包 括：
第一发送单元，用于将所述可见光摄像机采集到的可见光图像发送至所述 无人机的遥控设备， 以使所述遥控设备实时显示所述可见光图像。
1 3、 根据权利要求 1 2所述的装置， 其特征在于， 所述装置还包括： 第二发送单元， 用于当所述可见光摄像机丢失所述目标物时， 将所述红外 摄像机采集到的红外图像发送至所述遥控设备，以使所述遥控设备显示所述红 外图像或者同时显示所述可见光图像和所述红外图像。
1 4、 根据权利要求 1 2或 1 3所述的装置， 其特征在于， 所述装置还包括第 四调整单元， 所述第四调整单元具体用于：
接收所述遥控设备发送的目标调整指令；
控制所述可见光摄像机根据所述目标调整指令重新锁定新目标物并进行 视觉跟踪， 以及， 实时记录重新锁定的新目标物的第三跟踪信息；
控制所述红外摄像机根据所述第三跟踪信息对所述重新锁定的新目标物 进行红外跟踪， 并实时记录所述重新锁定的新目标物的第四跟踪信息；
其中，所述第三跟踪信息和所述第四跟踪信息为针对根据所述目标调整指 令重新锁定的所述新目标物的跟踪信息。
1 5、 一种无人机， 其特征在于， 包括：
机身；
机臂， 与所述机身相连；
可见光摄像机， 设于所述机身；
红外摄像机， 设于所述机身；
处理器， 设于所述机身， 所述处理器分别与所述可见光摄像机和所述红外 摄像机通信连接； 以及，
存储器， 与所述处理器通信连接； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令 被所述至少一个处理器执行， 以使所述至少一个处理器能够执行如权利要求 1 -7任一项所述的方法。
1 6、 一种非暂态计算机可读存储介质， 所述非暂态计算机可读存储介质存 储有计算机可执行指令，所述计算机可执行指令用于使无人机执行如权利要求 1 -7任一项所述的方法。
PCT/CN2020/076796 2019-02-28 2020-02-26 目标跟踪方法、装置和无人机 Ceased WO2020173463A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/310,717 US11924538B2 (en) 2019-02-28 2020-02-26 Target tracking method and apparatus and unmanned aerial vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910149496.1 2019-02-28
CN201910149496.1A CN109828596A (zh) 2019-02-28 2019-02-28 一种目标跟踪方法、装置和无人机

Publications (1)

Publication Number Publication Date
WO2020173463A1 true WO2020173463A1 (zh) 2020-09-03

Family

ID=66864818

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/076796 Ceased WO2020173463A1 (zh) 2019-02-28 2020-02-26 目标跟踪方法、装置和无人机

Country Status (3)

Country Link
US (1) US11924538B2 (zh)
CN (1) CN109828596A (zh)
WO (1) WO2020173463A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12330646B2 (en) 2018-10-18 2025-06-17 Autobrains Technologies Ltd Off road assistance
US10748038B1 (en) 2019-03-31 2020-08-18 Cortica Ltd. Efficient calculation of a robust signature of a media unit
CN109828596A (zh) 2019-02-28 2019-05-31 深圳市道通智能航空技术有限公司 一种目标跟踪方法、装置和无人机
CN110147122A (zh) * 2019-06-14 2019-08-20 深圳市道通智能航空技术有限公司 一种移动目标的追踪方法、装置及无人机
CN111694305B (zh) * 2020-06-12 2021-11-09 西安微电子技术研究所 一种异构多核无人机控制计算机
CN112034892B (zh) * 2020-09-09 2024-04-12 南京森林警察学院 麻醉式打击类警用智能化旋翼无人机及其控制方法及系统
US12049116B2 (en) 2020-09-30 2024-07-30 Autobrains Technologies Ltd Configuring an active suspension
US12142005B2 (en) 2020-10-13 2024-11-12 Autobrains Technologies Ltd Camera based distance measurements
US11906361B2 (en) * 2020-10-28 2024-02-20 Datalogic Ip Tech S.R.L. Portable device combining indicia scan and contactless temperature functions
US11877052B2 (en) * 2020-12-08 2024-01-16 Cortica Ltd. Filming an event by an autonomous robotic system
US12257949B2 (en) 2021-01-25 2025-03-25 Autobrains Technologies Ltd Alerting on driving affecting signal
US12511873B2 (en) 2021-06-07 2025-12-30 Cortica, Ltd. Isolating unique and representative patterns of a concept structure
US12139166B2 (en) 2021-06-07 2024-11-12 Autobrains Technologies Ltd Cabin preferences setting that is based on identification of one or more persons in the cabin
US12423994B2 (en) 2021-07-01 2025-09-23 Autobrains Technologies Ltd Lane boundary detection
EP4194300B1 (en) 2021-08-05 2026-01-28 Autobrains Technologies LTD. Providing a prediction of a radius of a motorcycle turn
US12293560B2 (en) 2021-10-26 2025-05-06 Autobrains Technologies Ltd Context based separation of on-/off-vehicle points of interest in videos
US12573197B2 (en) * 2022-05-16 2026-03-10 James P Janniello Intelligent environmental and video production drone
CN116758117B (zh) * 2023-06-28 2024-02-09 云南大学 可见光与红外图像下的目标跟踪方法及系统
US12114093B1 (en) * 2023-09-05 2024-10-08 Grundium Oy Continuous image stitching during imaging
CN119148542B (zh) * 2024-11-19 2025-02-14 福建迈威信息工程有限公司 多终端自适应数据处理方法、系统、设备及存储介质
CN120198465B (zh) * 2025-05-22 2025-08-12 深圳市浩瀚卓越科技有限公司 基于视觉传感器的无人机目标跟踪方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504363A (zh) * 2016-10-19 2017-03-15 广东容祺智能科技有限公司 一种智能机载双光巡检系统稳定平台自动跟踪方法
CN106683123A (zh) * 2016-10-31 2017-05-17 纳恩博（北京）科技有限公司 一种目标跟踪方法及目标跟踪装置
CN107255468A (zh) * 2017-05-24 2017-10-17 纳恩博（北京）科技有限公司 目标跟踪方法、目标跟踪设备及计算机存储介质
US20180164820A1 (en) * 2016-03-17 2018-06-14 Northrop Grumman Systems Corporation Machine vision enabled swarm guidance technology
CN108364003A (zh) * 2018-04-28 2018-08-03 国网河南省电力公司郑州供电公司 基于无人机可见光及红外图像融合的电力巡检方法及装置
CN109218598A (zh) * 2017-06-30 2019-01-15 北京臻迪科技股份有限公司 一种相机切换方法、装置及无人机
CN109828596A (zh) * 2019-02-28 2019-05-31 深圳市道通智能航空技术有限公司 一种目标跟踪方法、装置和无人机

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757422B1 (en) * 1998-11-12 2004-06-29 Canon Kabushiki Kaisha Viewpoint position detection apparatus and method, and stereoscopic image display system
US20050128291A1 (en) * 2002-04-17 2005-06-16 Yoshishige Murakami Video surveillance system
CN101294823A (zh) * 2007-04-28 2008-10-29 长春奥普光电技术股份有限公司 实现多载荷光电跟踪设备自身自动调整两光轴平行的方法
KR100927096B1 (ko) * 2008-02-27 2009-11-13 아주대학교산학협력단 기준 좌표상의 시각적 이미지를 이용한 객체 위치 측정방법
US8244469B2 (en) * 2008-03-16 2012-08-14 Irobot Corporation Collaborative engagement for target identification and tracking
CN101252687B (zh) * 2008-03-20 2010-06-02 上海交通大学 实现多通道联合的感兴趣区域视频编码及传输的方法
FR2944629B1 (fr) * 2009-04-17 2017-01-20 Univ De Tech De Troyes Systeme et procede de localisation de cible par un reseau de cameras
US9435520B2 (en) * 2012-08-16 2016-09-06 Ascendant Engineering Solutions Gimbal systems providing high-precision imaging capabilities in a compact form-factor
US20140226024A1 (en) * 2013-02-08 2014-08-14 Kutta Technologies, Inc. Camera control in presence of latency
US9245196B2 (en) * 2014-05-09 2016-01-26 Mitsubishi Electric Research Laboratories, Inc. Method and system for tracking people in indoor environments using a visible light camera and a low-frame-rate infrared sensor
CN106485245A (zh) * 2015-08-24 2017-03-08 南京理工大学 一种基于可见光和红外图像的全天候目标实时跟踪方法
CN109963465A (zh) * 2016-09-08 2019-07-02 沃尔玛阿波罗有限责任公司 用于经由无人交通工具标识包含农作物的区域中的有害生物的系统和方法
EP3339803B1 (de) * 2016-12-22 2021-05-12 Leica Geosystems AG Koordinatenmessgerät mit automatischer zielobjekterkennung
CN206537523U (zh) * 2016-12-30 2017-10-03 昊翔电能运动科技(昆山)有限公司 用于无人机的云台减震装置
WO2019028761A1 (en) * 2017-08-10 2019-02-14 Beijing Airlango Technology, Co., Ltd. TRACKING OBJECT USING DEPTH INFORMATION
CN107566078A (zh) * 2017-09-14 2018-01-09 成都安则科技有限公司 一种无人机低空防御系统
WO2019084919A1 (en) * 2017-11-03 2019-05-09 SZ DJI Technology Co., Ltd. Methods and system for infrared tracking
US11205073B2 (en) * 2018-03-30 2021-12-21 Greensight Agronomics, Inc. System to automatically detect and report changes over time in a large imaging data set
US20210208673A1 (en) * 2020-01-03 2021-07-08 Facebook Technologies, Llc Joint infrared and visible light visual-inertial object tracking

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180164820A1 (en) * 2016-03-17 2018-06-14 Northrop Grumman Systems Corporation Machine vision enabled swarm guidance technology
CN106504363A (zh) * 2016-10-19 2017-03-15 广东容祺智能科技有限公司 一种智能机载双光巡检系统稳定平台自动跟踪方法
CN106683123A (zh) * 2016-10-31 2017-05-17 纳恩博（北京）科技有限公司 一种目标跟踪方法及目标跟踪装置
CN107255468A (zh) * 2017-05-24 2017-10-17 纳恩博（北京）科技有限公司 目标跟踪方法、目标跟踪设备及计算机存储介质
CN109218598A (zh) * 2017-06-30 2019-01-15 北京臻迪科技股份有限公司 一种相机切换方法、装置及无人机
CN108364003A (zh) * 2018-04-28 2018-08-03 国网河南省电力公司郑州供电公司 基于无人机可见光及红外图像融合的电力巡检方法及装置
CN109828596A (zh) * 2019-02-28 2019-05-31 深圳市道通智能航空技术有限公司 一种目标跟踪方法、装置和无人机

Also Published As

Publication number Publication date
CN109828596A (zh) 2019-05-31
US20220191389A1 (en) 2022-06-16
US11924538B2 (en) 2024-03-05

Similar Documents

Publication Publication Date Title
WO2020173463A1 (zh) 目标跟踪方法、装置和无人机
CN109074101B (zh) 使用多个无人机的成像
US20190369613A1 (en) Electronic device and method for controlling multiple drones
WO2019113727A1 (zh) 无人飞行器返航方法、装置、存储介质和无人飞行器
CN105245846A (zh) 一种多无人机协同跟踪的拍摄系统及拍摄方法
KR101896654B1 (ko) 드론을 이용한 3d 영상 처리 시스템 및 방법
CN204527663U (zh) 一种无人驾驶飞行器
CN106444843A (zh) 无人机相对方位控制方法及装置
WO2019061159A1 (zh) 定位故障光伏板的方法、设备及无人机
CN110139038B (zh) 一种自主环绕拍摄方法、装置以及无人机
WO2017166725A1 (zh) 拍摄控制方法、设备及系统
WO2020173461A1 (zh) 障碍物检测方法、装置及无人机
CN109688323A (zh) 无人机视觉跟踪系统及其控制方法
WO2019140686A1 (zh) 跟随控制方法、控制终端及无人机
WO2021078003A1 (zh) 无人载具的避障方法、避障装置及无人载具
WO2021098453A1 (zh) 目标跟踪方法及无人飞行器
WO2019128275A1 (zh) 一种拍摄控制方法、装置及飞行器
WO2018090807A1 (zh) 飞行拍摄控制系统和方法、智能移动通信终端、飞行器
CN111131721B (zh) 图像曝光方法及装置、无人机
JP2023157917A (ja) 撮影方法
WO2019127341A1 (zh) 云台控制方法、设备及计算机可读存储介质
CN113452925B (zh) 高动态范围图像自动曝光方法及无人飞行器
WO2018223378A1 (zh) 无人飞行器的控制方法、设备及无人飞行器
WO2020154937A1 (zh) 一种负载的控制方法、装置及控制设备
CN116009575A (zh) 基于视觉的无人机控制方法、无人机及无人机编队

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20762102

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20762102

Country of ref document: EP

Kind code of ref document: A1