WO2021168809A1 - 跟随方法、可移动平台、设备和存储介质 - Google Patents

跟随方法、可移动平台、设备和存储介质 Download PDF

Info

Publication number
WO2021168809A1
WO2021168809A1 PCT/CN2020/077229 CN2020077229W WO2021168809A1 WO 2021168809 A1 WO2021168809 A1 WO 2021168809A1 CN 2020077229 W CN2020077229 W CN 2020077229W WO 2021168809 A1 WO2021168809 A1 WO 2021168809A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
target
target object
processor
follow
Prior art date
Application number
PCT/CN2020/077229
Other languages
English (en)
French (fr)
Inventor
程正喜
杨龙超
封旭阳
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2020/077229 priority Critical patent/WO2021168809A1/zh
Priority to CN202080004200.8A priority patent/CN112640419B/zh
Publication of WO2021168809A1 publication Critical patent/WO2021168809A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the present invention relates to the field of image processing technology, in particular to a following method, a movable platform, equipment and storage medium.
  • Smart follow is a technology that takes the sensor data collected by the sensor equipped with the smart device as input, and automatically and continuously locks and follows an object in the sensor field of view after designating it.
  • This kind of follow-up technology is often used in the field of video shooting, and the above-mentioned sensor data is the image captured by the camera.
  • the shooting screen can present a more unique angle, on the other hand, it can also free the user's hands and make shooting easier.
  • the smart device may specifically be a movable platform, such as a drone, an unmanned vehicle, a handheld stabilizer, and so on.
  • the invention provides a following method, a movable platform, equipment and a storage medium for realizing the following of a target.
  • the first aspect of the present invention is to provide a following method, which includes:
  • the second aspect of the present invention is to provide a movable platform, which at least includes: a body, a power system, an image acquisition device, and a control device;
  • the power system is arranged on the body and used to provide power for the movable platform
  • the image acquisition device is arranged on the body and is used to acquire images
  • the control device includes a memory and a processor
  • the memory is used to store a computer program
  • the processor is configured to run a computer program stored in the memory to realize:
  • the third aspect of the present invention is to provide a follower device, which includes:
  • Memory used to store computer programs
  • the processor is configured to run a computer program stored in the memory to realize:
  • the fourth aspect of the present invention is to provide a computer-readable storage medium, the storage medium is a computer-readable storage medium, the computer-readable storage medium stores program instructions, and the program instructions are used in the first aspect. The following method described.
  • a plurality of image acquisition devices are configured on a movable platform, and each device has a different field of view. Based on this, the movable platform can acquire the first image and the second image with different field angles collected by different image acquisition devices. If the movable platform determines that the first image contains the target, indicating that the first image has successfully followed the target, it will mark the position of the target in the first image, and then map the marking result to the second image. To determine the position of the target in the second image, so as to realize the following of the target.
  • the above method is suitable for a movable platform with multiple image acquisition devices.
  • the above method also realizes following the target from different perspectives, so that the effect of target following is better and richer.
  • the position of the target in the second image is mapped based on the position of the target in the first image, so that the process of tracking the target in the second image is simpler and faster, and the follow-up is ensured Effect.
  • FIG. 1 is a schematic flowchart of a following method provided by an embodiment of the present invention
  • Figure 2a is the following result displayed by the movable platform when the field angle corresponding to the first image is smaller than the field angle corresponding to the second image;
  • Figure 2b is the following result displayed by the movable platform when the field angle corresponding to the first image is greater than the field angle corresponding to the second image;
  • Figure 2c shows the fusion follow-up result displayed by the movable platform when the field angle corresponding to the first image is smaller than the field angle corresponding to the second image;
  • FIG. 3 is a schematic flowchart of another following method provided by an embodiment of the present invention.
  • FIG. 4 is a schematic flowchart of another follow method provided by an embodiment of the present invention.
  • 5a is a schematic flowchart of a method for determining whether a third image successfully follows a target object according to an embodiment of the present invention
  • 5b is a schematic flowchart of another method for determining whether the third image successfully follows the target object according to an embodiment of the present invention
  • FIG. 6 is a schematic flowchart of a method for determining the position of a target in a second image according to an embodiment of the present invention
  • FIG. 7 is a schematic structural diagram of a follower device provided by an embodiment of the present invention.
  • FIG. 8 is a schematic structural diagram of a movable platform provided by an embodiment of the present invention.
  • Fig. 9 is a schematic structural diagram of a follow-up device provided by an embodiment of the present invention.
  • the above-mentioned movable platform may be an unmanned aerial vehicle, an unmanned vehicle, an unmanned ship, a stabilizer, and so on. Take drones as an example for illustration:
  • UAVs have been used in many fields, such as entertainment, surveillance, security and other fields. And in these fields, there is often a need to follow a target in a sports environment. For example, when a user exercises in an environment, he can hopefully record his entire exercise process. At this time, the drone can follow the user himself to capture the entire movement process of the user. For another example, during the driving of the vehicle, there may be a need for real-time monitoring of the driving state of the vehicle. At this time, the UAV can take pictures of the vehicle in the air at a certain height from the vehicle to obtain its driving trajectory.
  • the existing method is to fly the UAV at a certain flying height and use a single camera of its own configuration to capture images, and realize the following of the vehicle by analyzing the captured images.
  • the vehicle In practical applications, on the one hand, there may be situations in which detailed information of the vehicle, such as the specific license plate number, and the overall trajectory of the vehicle need to be obtained at the same time. At this time, only a single image cannot obtain vehicle details and overall information at the same time.
  • due to the complexity of the vehicle driving environment it is very likely that the following failure will occur. In other words, in the process of using a single camera to follow the vehicle, the UAV cannot guarantee that it will always follow the vehicle successfully.
  • FIG. 1 is a schematic flowchart of a following method provided by an embodiment of the present invention.
  • the execution subject of the following method is the following device. It is understandable that the follower device can be implemented as software or a combination of software and hardware.
  • the following device can implement the following method to follow the target.
  • the following devices in this embodiment and the following embodiments may specifically be unmanned aerial vehicles, unmanned vehicles, unmanned ships, and so on.
  • the method provided in this implementation and the following embodiments can be described by taking a drone as an example. Specifically, the method may include:
  • the image acquisition device may be a camera.
  • the drone can project the video streams collected by the device on different display screens, or on one screen, so that the screen can display two video streams at the same time .
  • the drone is equipped with a first image acquisition device, which is used to collect the first video stream, and any frame of the image is the first video stream.
  • An image the drone is also equipped with a second image acquisition device for collecting a second video stream to obtain a second image.
  • the first image and the second image need to correspond to the same acquisition time.
  • the two image acquisition devices have different viewing angles, that is, the first image and the second image also correspond to different viewing angles.
  • the UAV can detect whether the first image contains the target object according to the target detection algorithm configured by itself. If the image includes a target, it indicates that the first image has successfully followed the target, and the position of the target in the first image will be marked. From the user's point of view, the target in the first image will be marked in the first follow frame.
  • the above-mentioned target detection algorithm may be a deep learning detection algorithm based on the twin network structure, and of course, it may also be any other detection algorithm.
  • S103 Mark the position of the target in the second image according to the position of the target in the first image, so as to successfully follow the target.
  • the position of the target in the second image can also be determined according to the correspondence between the pixel coordinates of the respective pixels of the first image and the second image. It is considered that the second image succeeds in following the target.
  • the above process can be understood as implementing the mapping of the first follow frame to the second image through the correspondence between the pixel coordinates, so as to obtain the second follow frame.
  • the target will be marked in the second image with a second follower frame.
  • the two image capture devices may be fixed on the same bearing device, such as a pan/tilt, or may not be fixed on their respective bearing devices, but in this case, the two bearing devices usually have the same shooting posture, such as shooting angle.
  • the content contained in the first image captured is part of the content in the second image.
  • the content contained in the second image is part of the content in the first image. It is precisely because of the inclusion of the content that there is a correspondence between the pixel coordinates of the pixels in the image.
  • mapping method can make the target recognition process have a smaller amount of calculation and reduce the processing resources of the UAV. Waste.
  • the user can see the first image including the first follower frame and the second image including the second follower frame on the screen at the same time.
  • the first image has a smaller field of view angle than the second image.
  • the user can learn the detailed information of the target object through the first image, and learn the target object in the entire motion environment through the second image
  • the position in the middle that is, the information of both the whole and the details of the target is obtained at the same time, and the follow-up of the target is realized from multiple angles.
  • the content that the user sees can be as shown in Figure 2a.
  • the content that the user sees may be as shown in FIG. 2b.
  • the movable platform can acquire the first image and the second image with different field angles collected by different image acquisition devices. If it is recognized that the first image contains the target, it indicates that the first image has successfully followed the target. At this time, the movable platform will mark the position of the target in the first image, and then map the marking result to the second In the image, the position of the target object in the second image is determined. Since the field of view angles of the first image and the second image are different, the above method also realizes the following of the target from different angles, so that the effect of the target following is better and richer. In addition, the position of the target in the second image is determined based on the position of the target in the first image, which makes the process of following the target in the second image easier and faster, and ensures the following effect.
  • the first follower frame and the second follower frame obtained in the above-mentioned follow-up process can also be merged, so as to mark the merged follower frame in the first image and the second image to achieve The successful follow-up of the target.
  • first follower frame and the second follower frame can be combined according to their various attribute parameters.
  • the attribute parameters of the following frame may include: the pixel coordinates corresponding to the pixel where the center point of the following frame is located, the width and height of the following frame, the confidence of the following frame, and so on.
  • (x1, y1) is the center point of the first following frame, w1 and h1 are the width and height respectively; (x2, y2) is the center point of the second following frame, w2, h2 are the width and height respectively high.
  • the angle of view corresponding to the first image is smaller than the angle of view corresponding to the second image
  • the content shown in FIG. 2b can be seen from the user's perspective.
  • the foregoing embodiment has been able to implement target tracking under different viewing angles, it does not limit the size relationship between the respective field angles of the first image and the second image. In practical applications, there may be cases where the field angle corresponding to the first image is smaller than the field angle corresponding to the second image.
  • FIG. 3 is a schematic flowchart of another following method provided by an embodiment of the present invention. As shown in FIG. 3, after step 103, the following method may further include the following steps:
  • the target has been marked in the first follow frame of the first image.
  • the position of the target in the first image is not located in the preset area in the first image, that is, If the first follow frame is not completely contained in the preset area or the overlap ratio of the first follow frame and the preset area is lower than the preset threshold, it indicates that the target is at the edge position in the entire screen at this time, indicating that the first image was collected
  • the shooting parameter may be the shooting angle of the device.
  • the lens of the image capture device is generally not rotatable
  • the image capture device can be placed on a carrier device that can rotate.
  • the positional relationship between the position in an image and the preset area is used to adjust the posture of the bearing device, thereby indirectly realizing the shooting angle of the image acquisition device.
  • the above-mentioned carrying equipment is the pan/tilt.
  • the pan/tilt is controlled to move to the right so that the shooting angle of the image capture device is deflected to the right, and vice versa.
  • the pan-tilt is controlled to move downward so that the shooting angle of the image acquisition device is deflected to the right, and vice versa.
  • the size of the target in the image can be represented by the size of the first following frame. At this time, if the size of the target in the first image does not meet the preset size, that is, the size of the first following frame is too large or If it is too small, it indicates that the tracking effect of the target object is not good, and the shooting parameter of the first image acquisition device can be adjusted. At this time, the shooting parameter may be the focal length of the image acquisition device.
  • the preset target focal length corresponding to the preset size can be obtained first, and then the focal length of the image acquisition device can be adjusted to this target focal length.
  • the above two steps are to complete the adjustment of the shooting parameters of the first image acquisition device from two aspects.
  • the position of the target object in the image can be adjusted. And the size meets the requirements of the best follow-up effect.
  • step 201 if the position of the target in the second image is not located in the preset area in the second image, that is, the second follower frame is not all contained in the preset area or the second follower frame
  • the overlap ratio with the preset area is lower than the preset threshold, which indicates that the target is at the edge position in the entire screen. At this time, the shooting angle of the second image acquisition device needs to be adjusted.
  • the posture of the carrier device on which the second image capture device is placed can be adjusted, so as to indirectly realize the shooting angle of the image capture device.
  • the specific adjustment method of the PTZ posture please refer to the related description in step 201, which will not be repeated here.
  • the above steps also complete the adjustment of the shooting parameters of the second image acquisition device, so that during the subsequent follow-up process of the second image acquisition device, the position and size of the target in the image meet the requirements of the best follow-up effect.
  • the above steps 201 to 203 are all the process of adjusting the shooting parameters of the image acquisition device. In practical applications, the above steps can be selected and executed according to the situation. At the same time, the above is only a schematic execution method, the present invention does not limit the execution sequence, and the execution sequence of the three can be arranged at will.
  • the first image acquisition device in the drone may be a zoom lens with a smaller field angle.
  • the second image capture device may be a wide-angle lens without zoom capability. Therefore, there is no step of adjusting the focal length of the second image capturing device.
  • the shooting parameters of the image acquisition device can also be adjusted.
  • the specific adjustment method is similar to the related description in the embodiment shown in FIG. 3, and will not be repeated here.
  • FIG. 4 is a schematic flowchart of another following method provided by an embodiment of the present invention. As shown in FIG. 4, the following method It can also include the following steps:
  • S301 Acquire a first image and a second image respectively collected by different image collection devices, where the first image and the second image correspond to different field angles.
  • step 301 The execution process of the foregoing step 301 is similar to the corresponding steps of the foregoing embodiment, and reference may be made to the related description in the embodiment shown in FIG. 1, which will not be repeated here.
  • the UAV does not detect the existence of the target object in the first image according to its own target detection algorithm, it indicates that the first image has failed to follow the target, indicating that the target has moved out of the shooting field of view of the first image acquisition device, and no one The opportunity to obtain the position of the target in the historical image.
  • this historical image is an image that successfully followed the target object and was also collected by the first image acquisition device.
  • the shooting time of the historical image should be as close to the shooting time of the first image as possible.
  • S303 Mark the position of the target object in the second image according to the position of the target object in the historical image.
  • the target object Since the second image was taken by the wide-angle image acquisition device, it can be considered that the target object is always included in the second image.
  • the target can also be marked in the second image by performing the above steps. It will also have an effect on the success of the target. At this time, the user can still obtain the overall information of the target object from the wide-angle second image.
  • the other device can continue to perform auxiliary follow, to ensure that the user can view the target under any circumstances. Sports situation.
  • the shooting parameters can also be adjusted to make the target return to its shooting field of view, so that the drone can collect the first image again
  • the image captured by the device can follow the target. Therefore, after step 303, the following steps can be performed:
  • S304 Adjust shooting parameters of the first image acquisition device that collects the first image according to the position of the target in the second image.
  • the shooting parameters of the first image acquisition device may be adjusted according to the position of the target object in the second image, specifically, the shooting angle of the image acquisition device may be adjusted.
  • the adjustment of the angle can be achieved by adjusting the shooting posture of the pan-tilt, which is the supporting device on which the first image acquisition device is placed.
  • the pan/tilt is controlled to move to the right, so that the shooting angle of the image acquisition device is deflected to the right, and vice versa.
  • the pan-tilt is controlled to move upward, so that the shooting angle of the image acquisition device is deflected upward, and vice versa.
  • the posture of the pan-tilt carrying the first image acquisition device can be adjusted according to the position of the target in the historical image, so as to achieve the effect of adjusting the shooting angle of the first image acquisition device.
  • the pan/tilt is controlled to move to the right, so that the shooting angle of the image acquisition device is deflected to the right, and vice versa.
  • the pan-tilt is controlled to move upward, so that the shooting angle of the image acquisition device is deflected upward, and vice versa.
  • the shooting parameters of the first image acquisition device can also be adjusted in combination with the above two aspects.
  • the shooting parameters of the first image acquisition device can also be adjusted so that the target object can return to the shooting field of view of the image acquisition device, so that the image acquisition device The images acquired subsequently can successfully follow the target again.
  • the shooting parameters of the first image acquisition device have been adjusted.
  • the image captured by the first image acquisition device after the adjustment of the shooting parameters may be referred to as the third image.
  • the drone will further determine whether the third image contains the target, that is, whether the target is successfully returned to the shooting field of view, that is, whether the third image successfully follows the target.
  • An optional determination method as shown in Figure 5a, may include the following steps:
  • S401 If the first image fails to follow the target object, determine the target area in the third image according to the preset detection algorithm, the third image and the first image are collected by the same image acquisition device, and the shooting time is later than that of the first image filming time.
  • S402 Extract the first feature of the target area and the second feature of the area where the target object is located in the historical image that follows the success.
  • S403 Calculate the similarity between the first feature and the second feature.
  • the drone can determine a target area in the third image according to the preset detection algorithm configured by itself, and this target area can be considered as the inclusion identified by the detection algorithm.
  • the area of the target can be also perform the following confirmation process:
  • the first feature of the target area is extracted first, and the second feature of the area where the target object is located in the historical image that has successfully followed the target object is extracted.
  • the area where the target object in the historical image is located is also the area where the following frame is located, and the shooting time of the historical image corresponding to the second feature should be as close as the shooting time of the third image as possible.
  • the similarity calculates the similarity between the first feature and the second feature. If the similarity meets the preset threshold, it can be considered that the target area and the objects contained in the area where the target object in the historical image are located are the same, and they are both the target objects. Then it is determined that the third image has successfully followed the target object, that is, the target object returns to the first Within the shooting field of view of the image capture device.
  • Another optional determination method may include the following steps:
  • S405 If the first image fails to follow the target object, the target area in the third image is determined according to the position of the target object in the historical image of successful following, and the third image and the historical image are collected by the same image acquisition device.
  • the UAV first obtains the position of the target in the historical image of the successful follow-up, and then obtains an area in the third image by means of mapping.
  • mapping For the specific mapping process, refer to the related description in step 103 of the embodiment shown in FIG. 1, which will not be repeated here.
  • the area obtained after the mapping may be directly determined as the target area, or the area obtained after the mapping may be appropriately enlarged by a preset multiple, and the enlarged area may be determined as the target area.
  • the UAV can identify whether there is a target in the target area according to a preset detection algorithm. If there is a target, it is determined that the third image successfully follows the target.
  • the above two embodiments provide different ways to determine whether the third image successfully follows the target, and one can be used according to actual needs.
  • the method shown in FIG. 5a is generally applicable to the case where the target object is a person, and the method shown in FIG. 5a is generally applicable to the case where the target object is an ordinary object.
  • an optional implementation may be:
  • S501 Acquire a marked first image including a first follow frame, and the target object is marked in the first follow frame.
  • the first pixel coordinates corresponding to each pixel in the image area where the first following frame is located in the first image can be obtained. Then, optionally, the respective parameter matrices of the first image acquisition device and the second image acquisition device are acquired, and the first pixel coordinates are converted into the second pixel coordinates according to the parameter matrix.
  • the first pixel coordinates corresponding to the first image can be expressed as:
  • the second pixel coordinates can be expressed as:
  • P1 and P2 are the parameter matrices of the first image acquisition device and the second image acquisition device respectively
  • z1 and z2 are the distances from the first image acquisition device and the second image acquisition device to the target object respectively.
  • the first pixel coordinates corresponding to the first image can be expressed as:
  • the second pixel coordinates can be expressed as:
  • S504 Annotate pixels having second pixel coordinates in the second image to obtain an annotated second image that includes a second following frame, and the target object is marked in the second following frame.
  • the converted second pixel coordinate is also the pixel coordinate corresponding to the second follow frame in the second image, so the effect of marking the target object in the second image is also achieved.
  • This embodiment provides a way of mapping the first follower frame to the second image to obtain the second follower frame, so that the target object can be followed in images of different viewing angles, which makes the follower effect more abundant.
  • FIG. 7 is a schematic structural diagram of a following device provided by an embodiment of the present invention. referring to FIG. 7, this embodiment provides a following device, which can execute the above-mentioned following method; specifically, the following device includes :
  • the acquiring module 11 is configured to acquire a first image and a second image respectively acquired by different image acquisition devices, where the first image and the second image correspond to different field angles.
  • the first marking module 12 is configured to mark the position of the target in the first image if the first image successfully follows the target.
  • the second marking module 13 is configured to mark the position of the target in the second image according to the position of the target in the first image, so as to successfully follow the target.
  • the device shown in FIG. 8 can also execute the methods of the embodiments shown in FIGS. 1 to 6.
  • FIGS. 1 to 6 For parts that are not described in detail in this embodiment, reference may be made to the related descriptions of the embodiments shown in FIGS. 1 to 6.
  • the implementation process and technical effects of this technical solution please refer to the description in the embodiment shown in FIG. 1 to FIG. 6, which will not be repeated here.
  • FIG. 8 is a schematic structural diagram of a movable platform provided by an embodiment of the present invention.
  • an embodiment of the present invention provides a movable platform, which is the following unmanned aerial vehicle and unmanned aerial vehicle Ships, unmanned vehicles, etc.
  • the movable platform includes: a body 21, an image acquisition device 22, a power system 23, and a control device 24.
  • the image collection device 22 is arranged on the body 21 and is used to collect images.
  • the power system 23 is arranged on the body of the machine 21 and used to provide power for the movable platform.
  • the control device 24 includes a memory 241 and a processor 242.
  • the memory is used to store a computer program
  • the processor is configured to run a computer program stored in the memory to realize:
  • the field angle corresponding to the first image is smaller than the field angle corresponding to the second image; the processor 242 is further configured to: if the position of the target object in the first image is not located in the Within the preset area in the first image, the shooting parameters of the first image capture device that captures the first image are adjusted.
  • the processor 242 is further configured to: according to the position relationship between the position of the target in the first image and the preset area, adjust the posture of the bearing device corresponding to the first image acquisition device .
  • the processor 242 is further configured to: if the size of the target object in the first image does not meet a preset size, adjust the shooting parameters of the first image acquisition device.
  • the processor 242 is further configured to: obtain a target focal length corresponding to the preset size; and adjust the focal length of the first image acquisition device to the target focal length.
  • the processor 242 is further configured to: if the position of the target object in the second image is not located in the preset area in the second image, adjust the second image acquisition of the second image. The shooting parameters of the device.
  • the field angle corresponding to the first image is smaller than the field angle corresponding to the second image; further, the processor 242 is further configured to: if the first image fails to follow the target, then Acquiring the position of the target in the historical image of the successful follow-up, and the historical image and the first image are acquired by the same image acquisition device;
  • the processor 242 is further configured to adjust the shooting parameters of the first image acquisition device that collects the first image according to the position of the target in the second image.
  • the processor 242 is further configured to: adjust the carrying capacity of the first image acquisition device according to the position of the target in the second image and/or the position of the target in the historical image. The attitude of the device.
  • the field angle corresponding to the first image is smaller than the field angle corresponding to the second image; the processor 242 is further configured to: if the first image fails to follow the target object, perform according to a preset The detection algorithm determines the target area in the third image, the third image and the first image are collected by the same image acquisition device, and the shooting time is later than the shooting time of the first image;
  • the field of view corresponding to the first image is smaller than the field of view corresponding to the second image; the processor 242 is further configured to: if the first image fails to follow the target object, perform according to the The position of the target in the historical image that follows the success determines the target area in the third image, where the third image and the historical image are collected by the same image acquisition device;
  • the target object is contained in the target area, it is determined that the third image successfully follows the target object.
  • the processor 242 is further configured to: obtain a marked first image including a first follow frame, and the target object is marked in the first follow frame;
  • the processor 242 is further configured to: convert the first pixel coordinates into second pixel coordinates according to the respective parameter matrices of the different image acquisition devices.
  • the processor 242 is further configured to: merge the first follow frame and the second follow frame; and display the fusion result to successfully follow the target.
  • the processor 242 is further configured to: obtain respective attribute parameters of the first follower frame and the second follower frame; and fuse the first follower frame and the second follower frame according to the attribute parameter.
  • the movable platform shown in FIG. 8 can execute the methods of the embodiments shown in FIGS. 1 to 6.
  • parts that are not described in detail in this embodiment please refer to the related descriptions of the embodiments shown in FIGS. 1 to 6.
  • the implementation process and technical effects of this technical solution please refer to the description in the embodiment shown in FIG. 1 to FIG. 6, which will not be repeated here.
  • the structure of the follower device shown in FIG. 9 can be implemented as an electronic device, which can be an unmanned aerial vehicle, an unmanned vehicle, an unmanned ship, and so on.
  • the electronic device may include: one or more processors 31 and one or more memories 32.
  • the memory 32 is used to store a program that supports the electronic device to execute the following method provided in the embodiments shown in FIGS. 1 to 6 above.
  • the processor 31 is configured to execute a program stored in the memory 32.
  • the program includes one or more computer instructions, and the following steps can be implemented when one or more computer instructions are executed by the processor 31:
  • the structure of the follower device may also include a communication interface 33 for the electronic device to communicate with other devices or a communication network.
  • the field angle corresponding to the first image is smaller than the field angle corresponding to the second image; the processor 31 may be configured to execute: if the position of the target object in the first image is not located at all Within the preset area in the first image, the shooting parameters of the first image capture device that captures the first image are adjusted.
  • the processor 31 may be configured to execute: according to the positional relationship between the position of the target in the first image and the preset area, adjust the load-bearing device corresponding to the first image acquisition device attitude.
  • the processor 31 may be configured to execute: if the size of the target object in the first image does not meet a preset size, adjust the shooting parameters of the first image acquisition device.
  • the processor 31 may be configured to perform: obtaining a target focal length corresponding to the preset size; and adjusting the focal length of the first image acquisition device to the target focal length.
  • the processor 31 is further configured to execute: if the position of the target object in the second image is not located in the preset area in the second image, adjust the second image of the second image. Capture the shooting parameters of the device.
  • the field angle corresponding to the first image is smaller than the field angle corresponding to the second image; the processor 31 is further configured to execute: if the first image fails to follow the target object, obtain all The position of the target object in the historical image of the follow-up success, and the historical image and the first image are acquired by the same image acquisition device;
  • the processor 31 is further configured to execute: adjust the shooting parameters of the first image acquisition device that collects the first image according to the position of the target in the second image.
  • the processor 31 is further configured to execute: adjust the position of the first image acquisition device according to the position of the target in the second image and/or the position of the target in the historical image. The posture of the carrying device.
  • the field angle corresponding to the first image is smaller than the field angle corresponding to the second image; the processor 31 is further configured to execute: if the first image fails to follow the target object, perform according to the prediction It is assumed that the detection algorithm determines the target area in the third image, the third image and the first image are collected by the same image collection device, and the shooting time is later than the shooting time of the first image;
  • the field angle corresponding to the first image is smaller than the field angle corresponding to the second image; the processor 31 is further configured to execute: if the first image fails to follow the target object, perform The position of the target object in the historical image following the success determines the target area in the third image, and the third image and the historical image are collected by the same image acquisition device;
  • the target object is contained in the target area, it is determined that the third image successfully follows the target object.
  • the processor 31 is further configured to execute: acquiring a first image after an annotation including a first following frame, and the target object is marked in the first following frame;
  • the processor 31 is further configured to execute: transform the first pixel coordinates into second pixel coordinates according to the respective parameter matrices of the different image acquisition devices.
  • the processor 31 is further configured to perform: fusion of the first follower frame and the second follower frame; and display the fusion result to successfully follow the target.
  • the processor 31 is further configured to execute: obtain respective attribute parameters of the first follower frame and the second follower frame; and fuse the first follower frame and the second follower frame according to the attribute parameters .
  • the device shown in FIG. 9 can execute the methods of the embodiments shown in FIGS. 1 to 6.
  • parts that are not described in detail in this embodiment reference may be made to the related descriptions of the embodiments shown in FIGS. 1 to 6.
  • the implementation process and technical effects of this technical solution please refer to the description in the embodiment shown in FIG. 1 to FIG. 6, which will not be repeated here.
  • an embodiment of the present invention provides a computer-readable storage medium.
  • the storage medium is a computer-readable storage medium.
  • the computer-readable storage medium stores program instructions. method.
  • the related detection device for example: IMU
  • the embodiments of the remote control device described above are merely illustrative.
  • the division of the modules or units is only a logical function division. In actual implementation, there may be other division methods, such as multiple units or components. It can be combined or integrated into another system, or some features can be ignored or not implemented.
  • the displayed or discussed mutual coupling or direct coupling or communication connection may be indirect coupling or communication connection through some interfaces, remote control devices or units, and may be in electrical, mechanical or other forms.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, they may be located in one place, or they may be distributed on multiple network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the solutions of the embodiments.
  • the functional units in the various embodiments of the present invention may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the above-mentioned integrated unit can be implemented in the form of hardware or software functional unit.
  • the integrated unit is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a computer readable storage medium.
  • the technical solution of the present invention essentially or the part that contributes to the existing technology or all or part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a storage medium.
  • the aforementioned storage media include: U disk, mobile hard disk, Read-Only Memory (ROM), Random Access Memory (RAM, Random Access Memory), magnetic disks or optical disks and other media that can store program codes.

Abstract

一种跟随方法、可移动平台、设备和存储介质，可移动平台可以获取不同图像采集设备采集到的不同视场角的第一图像和第二图像。若识别出第一图像中包含目标物，则表明第一图像对目标物跟随成功，此时，可移动平台会对目标物对第一图像中的位置进行标注，再将标注结果映射到第二图像中，以确定目标物在第二图像中的位置。由于第一图像和第二图像的视场角不同，因此，上述方法也即是实现了从不同角度对目标物的跟随，使得目标跟随的效果更佳丰富。另外，目标物在第二图像中的位置是以目标物在第一图像中的位置为依据确定的，使得目标物在第二图像中实现跟随的过程更为简便、快速，保证了跟随效果。

Description

跟随方法、可移动平台、设备和存储介质 技术领域
本发明涉及图像处理技术领域，尤其涉及一种跟随方法、可移动平台、设备和存储介质。
背景技术
智能跟随是一种以智能设备配置有的传感器采集到的传感数据作为输入，在对传感视野中的某个物体进行指定后，自动持续对其进行锁定跟随的技术。这种跟随技术经常应用于视频拍摄领域，则上述的传感数据即为摄像头拍得的图像。通过具有跟随功能的智能设备的使用，一方面能够让拍摄画面呈现出更独特的角度，另一方面也能解放用户的双手，让拍摄更加轻松自如。其中，智能设备具体来说可以是可移动平台，比如无人机、无人车、手持稳定器等等。
现有技术中，目标物的跟随通常都是由智能设备上配置的单摄像头实现的。对于一些配置有双摄像头的智能设备，如何使用此双摄像头实现目标物跟随就成为一个亟待解决的问题。
发明内容
本发明提供了一种跟随方法、可移动平台、设备和存储介质，用于实现目标物的跟随。
本发明的第一方面是为了提供一种跟随方法，所述方法包括：
获取不同图像采集设备各自采集的第一图像和第二图像，所述第一图像与所述第二图像对应于不同的视场角；
若所述第一图像对目标物跟随成功，则标注所述目标物在所述第一图像中的位置；
根据所述目标物在所述第一图像中的位置标注所述目标物在所述第二图像中的位置，以成功跟随所述目标物。
本发明的第二方面是为了提供一种可移动平台，所述移动平台至少包括：机体、动力系统、图像采集装置以及控制装置；
所述动力系统，设置于所述机体上，用于为所述可移动平台提供动力；
所述图像采集装置，设置于所述机体上，用于采集图像；
所述控制装置包含存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于运行所述存储器中存储的计算机程序以实现：
获取不同图像采集设备各自采集的第一图像和第二图像，所述第一图像与所述第二图像对应于不同的视场角；
若所述第一图像对目标物跟随成功，则标注所述目标物在所述第一图像中的位置；
根据所述目标物在所述第一图像中的位置标注所述目标物在所述第二图像中的位置，以成功跟随所述目标物。
本发明的第三方面是为了提供一种跟随设备，所述设备包括：
存储器，用于存储计算机程序；
处理器，用于运行所述存储器中存储的计算机程序以实现：
获取不同图像采集设备各自采集的第一图像和第二图像，所述第一图像与所述第二图像对应于不同的视场角；
若所述第一图像对目标物跟随成功，则标注所述目标物在所述第一图像中的位置；
根据所述目标物在所述第一图像中的位置标注所述目标物在所述第二图像中的位置，以成功跟随所述目标物。
本发明的第四方面是为了提供一种计算机可读存储介质，所述存储介质为计算机可读存储介质，该计算机可读存储介质中存储有程序指令，所述程序指令用于第一方面所述的跟随方法。
本发明提供的跟随方法，可移动平台上配置有多个图像采集设备，每个设备具有不同的视场角。基于此，可移动平台可以获取不同图像采集设备采集到的具有不同视场角的第一图像和第二图像。若可移动平台确定第一图像中包含目标物，表明第一图像对目标物跟随成功，则会对目标物对第一图像中的位置进行标注，再将此标注结果映射到第二图像中，以确定目标物在第二图像中的位置，从而实现目标物的跟随。
可见，上述方法适用于具有多个图像采集设备的可移动平台。并且由于第一图像和第二图像具有不同的视场角，因此，上述方法也即是实现了从不同视角对目标物的跟随，使得目标跟随的效果更佳丰富。另外，目标物在第二图像中的位置是以目标物在第一图像中的位置为依据映射得到的，从而使得目标物在第二图像中实现跟随的过程更为简洁、快速，保障了跟随效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例提供的一种跟随方法的流程示意图；
图2a为当第一图像对应的视场角小于第二图像对应的视场角时，可移动平台展示的跟随结果；
图2b为当第一图像对应的视场角大于第二图像对应的视场角时，可移动平台展示的跟随结果；
图2c为当第一图像对应的视场角小于第二图像对应的视场角时，可移动平台展示的融合后跟随结果；
图3为本发明实施例提供的另一种跟随方法的流程示意图；
图4为本发明实施例提供的又一种跟随方法的流程示意图；
图5a为本发明实施例提供的一种确定第三图像对目标物是否跟随成功的方式的流程示意图；
图5b为本发明实施例提供的另一种确定第三图像对目标物是否跟随成功的方式的流程示意图；
图6为本发明实施例提供的一种确定目标物在第二图像中的位置的方式的流程示意图；
图7为本发明实施例提供的一种跟随装置的结构示意图；
图8为本发明实施例提供的一种可移动平台的结构示意图；
图9为本发明实施例提供的一种跟随设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发 明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
在对本发明实施例提供的跟随方法进行详细介绍之前，先对可移动平台对目标物的跟随进行简单介绍。其中，上述的可移动平台可以是无人机、无人车、无人船、稳定器等等。在此以无人机为例进行说明：
无人机已经应用于众多领域中，比如娱乐、监控、安防等领域。并且在这些领域中，往往都具有跟随运动环境中一目标物的需求，比如用户在一环境中运动时，可以有希望记录自己整个运动过程的需求。此时，无人机可以对用户自身进行跟随，以拍摄到用户整个的运动过程。再比如，车辆的行驶过程中，可以有对此车辆的行驶状态进行实时监控的需求。此时，无人机可以在距离车辆一定高度的空中拍摄此车辆，以得到其的行驶轨迹。
对于车辆的跟随，现有的方式是无人机在一定飞行高度上飞行并使用自身配置的单一摄像头拍得图像，通过对拍得图像的分析来实现车辆的跟随。而在实际应用中，一方面，可以有同时需要得到车辆的细节信息比如具体的车牌号等，以及车辆整体行驶轨迹的情况。此时，仅使用单一图像不能同时得到车辆细节和整体的信息。另一方面，由于车辆行驶环境的复杂性很有可能出现跟随失败的情况。也就是说，在使用单一摄像头拍得的图像进行车辆跟随的过程中，无人机不能保证自身对车辆总是跟随成功。
则在出现上述情况时，便可以使用本发明提供的下述实施例的跟随方法以克服上述缺陷，保证跟随效果。
下面结合附图，对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
图1为本发明实施例提供的一种跟随方法的流程示意图。该跟随方法的执行主体是跟随装置。可以理解的是，该跟随装置可以实现为软件、或者软件 和硬件的组合。跟随装置执行该跟随方法则可以实现对目标物的跟随。本实施例以及下述各实施例中的跟随装置具体来说可以是无人机、无人车、无人船等等。可以以无人机为例对本实施以及下述各实施例提供的方法进行说明。具体的，该方法可以包括：
S101，获取不同图像采集设备各自采集的第一图像和第二图像，第一图像与第二图像对应于不同的视场角。
无人机在空中飞行时，其自身配置的多个图像采集设备可以分别采集视频流，可选地，图像采集设备可以是摄像头。可选地，与图像采集设备的数量有关的，无人机可以将设备采集到的视频流分别投影到不同的显示屏幕上，也可以投影于一个屏幕上，由此屏幕同时显示两路视频流。
为了保证后续描述的清晰，可以对图像采集设备和采集到的图像进行以下规定：无人机上配置有第一图像采集设备，其用于采集第一视频流，其中的任一帧图像即为第一图像；无人机上还配置由第二图像采集设备，用于此采集第二视频流，以得到的第二图像，当然第一图像和第二图像需要对应于相同的采集时间。并且，两图像采集设备具有不同的视场角，也即是第一图像和第二图像也对应于不同的视场角。
S102，若第一图像对目标物跟随成功，则标注目标物在第一图像中的位置。
然后，无人机可以根据自身配置的目标检测算法检测第一图像中是否包含目标物。若图像中包括目标物，表明第一图像对此目标物跟随成功，则目标物在第一图像中的位置会被标注出来。从用户角度来看，在第一图像中的目标物会被标注于第一跟随框中。可选地，上述目标检测算法可以是基于孪生网络结构的深度学习检测算法，当然也可以是其他任意一种检测算法。
S103，根据目标物在第一图像中的位置标注目标物在第二图像中的位置，以成功跟随目标物。
在确定出目标物在第一图像中的位置的基础上，还可以根据第一图像和第二图像各自像素点的像素坐标之间的对应关系确定目标物在第二图像中的位置，此时认为第二图像对目标物跟随成功。上述过程可以理解成是通过像素坐标之间的对应关系，实现将第一跟随框映射到第二图像中，以得到第二跟随框。同样的，从用户角度来看，目标物会用第二跟随框标注于第二图像中。
其中，上述提及的像素坐标之间存在对应关系的原因可以进行以下说明：
在实际应用中，可选地，两图像采集设备可以固定于同一承载设备比如云台上，也可不分别固定于各自的承载设备上，但此时两承载设备通常具有相同的拍摄姿态，比如拍摄角度。无论是上述哪种情况，假设第一图像采集设备的视场角大于第二图像采集设备，此时，拍得的第一图像中包含的内容是第二图像中的部分内容。反之，第二图像中包含的内容是第一图像中的部分内容。正是由于内容的包含关系，才会使图像中像素点的像素坐标之间存在对应关系。
需要说明的有，相比于使用检测算法确定目标物在图像中的位置，使用上述这种映射的方式，可以使得目标物的识别过程有更小的计算量，减小无人机处理资源的浪费。
最终，用户能在屏幕上同时看到包含第一跟随框的第一图像以及包含第二跟随框的第二图像。
举例来说，第一图像具有的视场角小于第二图像具有的视场角，此时，用户可以通过第一图像了解到目标物的细节信息，通过第二图像了解目标物在整个运动环境中的位置，也即是同时得到了目标物整体和细节两方面的信息，实现了对目标物多角度的跟随。此时，用户看到的内容可以如图2a所示。
当然，当第一图像的视场角大于第二图像的视场角时，用户看到的内容可以如图2b所示。
本实施例中，可移动平台可以获取不同图像采集设备采集到的不同视场角的第一图像和第二图像。若识别出第一图像中包含目标物，则表明第一图像对目标物跟随成功，此时，可移动平台会对目标物在第一图像中的位置进行标注，再将标注结果映射到第二图像中，以确定目标物在第二图像中的位置。由于第一图像和第二图像的视场角不同，因此，上述方法也即是实现了从不同角度对目标物的跟随，使得目标跟随的效果更佳丰富。另外，目标物在第二图像中的位置是以目标物在第一图像中的位置为依据确定的，使得目标物在第二图像中实现跟随的过程更为简便、快速，保证了跟随效果。
在实际应用中，可选地，还可以对上述跟随过程中得到的第一跟随框和第二跟随框进行融合，以将融合后的跟随框标注于第一图像以及第二图像中，以实现目标物的成功跟随。
具体来说，可以根据第一跟随框和第二跟随框各种的属性参数来对二者进行融合。具体融合的方法很多，可以根据场景选择不同的融合方式。一种可选地方式：可以先根据跟随框的属性参数确定跟随框各自的权重系数，在以权重系数为比例系数将两个跟随框各自对应属性参数线性相加。其中，跟随框的属性参数可以包括：跟随框的中心点所在像素点对应的像素坐标,跟随框的宽和高，跟随框的置信度等等。
具体来说，第一跟随框可以表示为box1＝(x1,y1,w1,h1)；第二跟随框可以表示为：box2＝(x2,y2,w2,h2)。则融合后的跟随框可以表示为：box3＝k1*box1+k2*box2。
其中，(x1,y1)为第一跟随框的中心点，w1、h1分别为其的宽和高；(x2,y2)为第二跟随框的中心点，w2、h2分别为其的宽和高。k1＝score1/(score1+score2)为第一跟随框的权重系数，k2＝1-k1为第二跟随框的权重系数，score1为第一跟随框的置信度，score2为第二跟随框的置信度。
举例来说，当第一图像对应的视场角小于第二图像对应的视场角时，采用上述融合方式进行融合后，从用户角度可以看到如图2b所示的内容。
虽然上述实施例已经能够实现在不同的视角下进行目标物跟随，但其并没有限定第一图像和第二图像各自对应的视场角之间的大小关系。在实际应用中，可以存在第一图像对应的视场角小于第二图像对应的视场角的情况。
在这种情况下，为了给用户提供最佳的跟随体验，容易理解的，目标物在画面中的位置、大小通常需要满足一定的条件，以使用户能够清晰、全面地看到目标物。因此，图3为本发明实施例提供的另一种跟随方法的流程示意图，如图3所示，在步骤103之后，该跟随方法还可以包括以下步骤：
S201，若目标物在第一图像中的位置不位于第一图像中的预设区域内，则调整采集第一图像的第一图像采集设备的拍摄参数。
在经过步骤103后，已经将目标物标注于第一图像的第一跟随框内了，此时，若目标物在第一图像中的位置不位于第一图像中的预设区域，也即是第一跟随框未全部包含于预设区域内或者第一跟随框与预设区域的重合比例低于预设阈值，则表明目标物此时处于整个画面中的边缘位置，说明采集第一图像的第一图像采集设备当前的拍摄参数存在问题，其中，拍摄参数可以是设备的拍摄角度。
具体地，在实际应用中，虽然图像采集设备的镜头通常是不能转动的，但图像采集设备可以放置于能够转动的承载设备上，此时，则可以根据包含目标物的第一跟随框在第一图像中的位置与预设区域之间的位置关系，来调整承载设备的姿态，从而间接实现图像采集设备的拍摄拍摄角度。对于无人机来说，上述的承载设备即为云台。
举例来说，当第一跟随框相比于预设区域偏左，则控制云台向右运动以使得图像采集设备的拍摄角度向右偏转，反之向左偏转。当包含目标物的第一跟随框相比于预设区域偏上，则控制云台向下运动以使得图像采集设备的拍摄角度向右偏转，反之向上偏转。
S202，若目标物在第一图像中的尺寸不满足预设尺寸，则调整第一图像采集设备的拍摄参数。
目标物在图像中的尺寸可以用第一跟随框的尺寸来表示，此时，若目标物在第一图像中的尺寸不满足预设尺寸，也即是即第一跟随框的尺寸过大或过小，表明目标物的跟随效果欠佳，则可以对第一图像采集设备的拍摄参数进行调整，此时的拍摄参数可以是图像采集设备的焦距。
具体来说，可以先获取预先设置的与预设尺寸对应的目标焦距，再将图像采集设备的焦距调整为此目标焦距即可。
上述两步骤也即是分别从两方面完成了对第一图像采集设备的拍摄参数的调整，在后续根据第一图像采集设备采集的图像进行跟随的过程中，可以使目标物在图像中的位置和尺寸都符合最佳跟随效果的要求。
S203，若目标物在第二图像中的位置不位于第二图像中的预设区域，则调整采集第二图像的第二图像采集设备的拍摄参数。
与步骤201中的描述类似的，若目标物在第二图像中的位置不位于第二图像中的预设区域，也即是第二跟随框未全部包含于预设区域内或者第二跟随框与预设区域的重合比例低于预设阈值，则表明目标物处于整个画面中的边缘位置，此时，需要对第二图像采集设备的拍摄角度进行调整。
同样地，可以对放置有第二图像采集设备的承载设备的姿态进行调整，从而间接实现图像采集设备的拍摄拍摄角度。而云台姿态的具体调整方式可以参见步骤201中的相关描述，在此不再赘述。
上述步骤也即是完成了对第二图像采集设备的拍摄参数的调整，以使得第二图像采集设备在后续跟随过程中，目标物在图像中的位置和尺寸都符合 最佳跟随效果的要求。
需要说明的有，对于上述步骤201～步骤203均是调整图像采集设备的拍摄参数的过程。实际应用中，上述步骤可以根据情况选择执行。同时上述也只是一种示意的执行方式，本发明并不限定执行的先后顺序，三者的执行顺序可以随意排列。
需要说明的还有，在本实施例这种第一图像视场角小于第二图像视场角的情况下，无人机中的第一图像采集设备可以是视场角较小的变焦镜头，第二图像采集设备可以是不具有变焦能力的广角镜头。因此，也就不存在对调整第二图像采集设备的焦距的步骤。
本实施例中，通过对两个图像采集设备的拍摄参数进行调整，从而保证在其后续拍得的图像中，目标物在图像中的位置和尺寸较为适中，能够使得跟随效果更佳。
需要说明的还有，当处于第一图像对应的视场角大于第二图像对应的视场角的情况时，若目标物在第一图像或第二图像中的位置和/或尺寸不满足预设条件，则也可以对图像采集设备的拍摄参数进行调整，具体地调整方式与图3所示实施例中的相关描述类似，在此不再赘述。
上述各实施例都是目标物跟随成功的情况，而上述描述中也提到了在实际应用中，由于目标物运动的随机性以及无人机飞行的不稳定，还有可能出现目标物跟随失败的情况。则在第一图像对应的视场角小于第二图像对应的视场角的情况下，图4为本发明实施例提供的又一种跟随方法的流程示意图，如图4所示，该跟随方法还可以包括以下步骤：
S301，获取不同图像采集设备各自采集的第一图像和第二图像，第一图像与第二图像对应于不同的视场角。
上述步骤301的执行过程与前述实施例的相应步骤相似，可以参见如图1所示实施例中的相关描述，在此再不赘述。
S302，若第一图像对目标物跟随失败，则获取目标物在跟随成功的历史图像中的位置，历史图像和第一图像由同一图像采集设备采集。
若无人机根据自身的目标检测算法未检测到第一图像中存在目标物体，表明第一图像对目标物跟随失败，表明目标物已经运动至第一图像采集设备的拍摄视野外，则无人机会获得获取目标物在历史图像中的位置。其中，此 历史图像是对目标物体跟随成功的图像，并且也是由第一图像采集设备采集的。同时，考虑到目标物运动的随机性，可选地，历史图像的拍摄时间应该与第一图像的拍摄时间越接近越好。
S303，根据目标物在历史图像中的位置标注目标物在第二图像中的位置。
然后，根据目标物在历史图像中的位置来将目标物标注于跟随框内。此过程与图1所示实施例中将第一跟随框映射到第二图像中得到第二跟随框的过程相似，具体过程在此不再赘述。
由于第二图像是广角图像采集设备拍摄的，因此，可以认为第二图像中是始终包含目标物的。而当出现步骤302中跟随失败的情况时，通过执行上述步骤，目标物也能够被标注于第二图像中，也即是实现了在第一图像对目标物跟随失败的情况下，第二图像也会对目标物的成功跟随的效果。此时，用户还是可以从广角的第二图像中得到目标物的整体信息。
本实施例中，通过两个图像采集设备的结合使用，当其中一设备无法实现目标跟随时，另一设备还可以继续进行辅助跟随，以保证用户在何种情况下都可以观看到目标物的运动情况。
对于当前已经不能实现目标物跟随的第一图像采集设备，还可以通过对其的拍摄参数进行调整，以使目标物重新回到其的拍摄视野内，使无人机可以重新根据第一图像采集设备拍摄的图像实现目标物跟随。因此，在步骤303之后，还可执行以下步骤：
S304，根据目标物在第二图像中的位置调整采集第一图像的第一图像采集设备的拍摄参数。
可选地，可以根据目标物在第二图像中的位置调整第一图像采集设备的拍摄参数，具体来说就是调整图像采集设备的拍摄角度。而角度的调整又可以通过调整放置第一图像采集设备的承载设备即云台的拍摄姿态的来实现。
举例来说，当目标物在整个第二图像的偏右位置，则控制云台向右运动，以使图像采集设备的拍摄角度向右偏转，反之向左偏转。当目标物在整个第二图像的偏上位置，则控制云台向上运动，以使图像采集设备的拍摄角度向上偏转，反之向下偏转。
可选地，还可以根据目标物在历史图像中的位置调整承载第一图像采集设备的云台的姿态，从而实现调整第一图像采集设备的拍摄角度的效果。
与上述举例类似的，当目标物在整个历史图像的偏右位置，则控制云台向右运动，以使图像采集设备的拍摄角度向右偏转，反之向左偏转。当目标物在整个历史图像的偏上位置，则控制云台向上运动，以使图像采集设备的拍摄角度向上偏转，反之向下偏转。
当然也可以结合上述两方面对第一图像采集设备的拍摄参数进行调整。
本实施例中，当第一图像对目标物跟随失败时，还可以对第一图像采集设备的拍摄参数进行调整，以使目标物能够重新回到图像采集设备的拍摄视野中，使图像采集设备后续采集到的图像能够重新成功跟随上目标物。
经过上述步骤304之后，第一图像采集设备的拍摄参数已经被调整，为了保证描述的清晰，可以将拍摄参数调整后第一图像采集设备拍摄的图像称为第三图像。此时，无人机会进一步判断此第三图像中是否包含目标物，也即是确定目标物是否成功回到拍摄视野内，即第三图像对目标物是否跟随成功。一种可选地确定方式，如图5a所示，可以包括以下步骤：
S401，若第一图像对目标物跟随失败，则根据预设检测算法确定第三图像中的目标区域，第三图像与第一图像由同一图像采集设备采集，且拍摄时间晚于第一图像的拍摄时间。
S402，提取目标区域的第一特征以及跟随成功的历史图像中目标物所在区域的第二特征。
S403，计算第一特征与第二特征之间的相似度。
S404，若相似度满足预设阈值，则确定所述第三图像对所述目标物跟随成功。
具体来说，对于第一图像采集设备拍摄的第三图像，无人机可以根据自身配置的预设检测算法在第三图像中确定一个目标区域，此目标区域可以认为是检测算法识别出的包含目标物的区域。但为了更准确地确定出第三图像是否真正对目标物跟随成功，无人机还可以进行以下确认过程：
先提取目标区域的第一特征，提取对目标物跟随成功的历史图像中目标物所在区域的第二特征。其中，历史图像中目标物所在区域也即为跟随框所在的区域，并且第二特征对应的历史图像的拍摄时间也应该与第三图像的拍摄时间越接近越好。
再计算第一特征和第二特征之间的相似度。若相似度满足预设阈值，可 以认为目标区域以及历史图像中目标物所在区域中包含的物体相同，都是目标物，则确定第三图像对目标物跟随成功，即目标物重新回归到第一图像采集设备的拍摄视野内。
另一种可选地确定方式，如图5b所示，可以包括以下步骤：
S405，若第一图像对目标物跟随失败，则根据目标物在跟随成功的历史图像中的位置确定第三图像中的目标区域，第三图像与历史图像由同一图像采集设备采集。
无人机先得到目标物在跟随成功的历史图像中的位置，然后通过映射的方式在第三图像中得到一个区域。具体的映射过程可以参见如图1所示实施例步骤103中的相关描述，在此不再赘述。可选地，可以将映射后得到的区域直接确定为目标区域，也可以将映射后得到的区域适当放大预设倍数，并将放大后的区域确定为目标区域。
S406，若目标区域内包含目标物，则确定第三图像对目标物跟随成功。
之后，无人机可以根据预设检测算法在此目标区域中识别是否存在目标物。若存在目标物，则确定第三图像对目标物跟随成功。
上述两实施例提供不同的确定第三图像是否对目标物跟随成功的方式，可以根据实际需求择一使用。并且需要说明的有，图5a所示方式通常适用于目标物为人物的情况，图5a所示方式通常适用于目标物为普通物体的情况。
在上述各实施例中，都存在根据目标物在第一图像中的位置确定目标物在第二图像中的位置的步骤，如图6所示，一种可选地实现方式可以为：
S501，获取包含第一跟随框的标注后第一图像，目标物被标注于第一跟随框内。
S502，在标注后第一图像中，确定第一跟随框所在图像区域对应的第一像素坐标。
S503，将第一像素坐标转换为第二像素坐标。
目标物在第一图像中被标注于第一跟随框内后，便可以得到此第一跟随框在第一图像中所在的图像区域内各像素点对应的第一像素坐标。然后，可选地，再获取第一图像采集设备和第二图像采集设备各自的参数矩阵，并根据参数矩阵将第一像素坐标转换为第二像素坐标。
假设，第一图像对应的视场角小于第二图像对应的视场角，此时，第一图像对应的第一像素坐标可以表示为：
Figure PCTCN2020077229-appb-000001
则第二像素坐标可以表示为：
Figure PCTCN2020077229-appb-000002
其中，P1、P2分别为第一图像采集设备和第二图像采集设备的参数矩阵，z1、z2为第一图像采集设备和第二图像采集设备分别到目标物的距离，实际应用中，由于两采集设备是十分紧密的配置于无人机上的，因此可以认为z1＝z2。
相反，假设第一图像对应的视场角大于第二图像对应的视场角，则第一图像对应的第一像素坐标可以表示为：
Figure PCTCN2020077229-appb-000003
则第二像素坐标可以表为:
Figure PCTCN2020077229-appb-000004
S504，对第二图像中具有第二像素坐标的像素点进行标注，以得到包含第二跟随框的标注后第二图像，目标物被标注于第二跟随框。
最后，转换后的第二像素坐标也即是第二图像中第二跟随框所对应的像素坐标，因此也就实现了将目标物标注于第二图像中的效果。
本实施例提供了一种将第一跟随框映射到第二图像，以得到第二跟随框的方式，从而在不同视角的图像都实现了目标物的跟随，使得跟随效果更加丰富。
图7为本发明实施例提供的一种跟随装置的结构示意图；参考附图7所示，本实施例提供了一种跟随装置，该跟随装置可以执行上述的跟随方法；具体的，跟随装置包括：
获取模块11，用于获取不同图像采集设备各自采集的第一图像和第二图像，所述第一图像与所述第二图像对应于不同的视场角。
第一标注模块12，用于若所述第一图像对目标物跟随成功，则标注所述目标物在所述第一图像中的位置。
第二标注模块13，用于根据所述目标物在所述第一图像中的位置标注所 述目标物在所述第二图像中的位置，以成功跟随所述目标物。
图8所示装置还可以执行图1～图6所示实施例的方法，本实施例未详细描述的部分，可参考对图1～图6所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1～图6所示实施例中的描述，在此不再赘述。
图8为本发明实施例提供的一种可移动平台的结构示意图；参考附图8所示，本发明实施例的提供了一种可移动平台，该可移动平台为以下无人机、无人船、无人车等等。具体的，该可移动平台包括：机体21、图像采集装置22、动力系统23以及控制装置24。
所述图像采集装置22，设置于所述机体21上，用于采集图像。
所述动力系统23，设置于所述机21体上，用于为所述可移动平台提供动力。
所述控制装置24包括存储器241和处理器242。
所述存储器，用于存储计算机程序；
所述处理器，用于运行所述存储器中存储的计算机程序以实现：
获取雷达探测到的第一点云数据，所述雷达设于所述可移动平台上；
获取不同图像采集设备各自采集的第一图像和第二图像，所述第一图像与所述第二图像对应于不同的视场角；
若所述第一图像对目标物跟随成功，则标注所述目标物在所述第一图像中的位置；
根据所述目标物在所述第一图像中的位置标注所述目标物在所述第二图像中的位置，以成功跟随所述目标物。
进一步的，所述第一图像对应的视场角小于所述第二图像对应的视场角；处理器242还用于：若所述目标物在所述第一图像中的位置不位于所述第一图像中的预设区域内，则调整采集所述第一图像的第一图像采集设备的拍摄参数。
进一步的，处理器242还用于：根据所述目标物在所述第一图像中的位置与所述预设区域之间的位置关系，调整所述第一图像采集设备对应的承载设备的姿态。
进一步的，处理器242还用于：若所述目标物在所述第一图像中的尺寸不满足预设尺寸，则调整所述第一图像采集设备的拍摄参数。
进一步的，处理器242还用于：获取与所述预设尺寸对应的目标焦距；以及将所述第一图像采集设备的焦距调整为所述目标焦距。
进一步的，处理器242还用于：若所述目标物在所述第二图像中的位置不位于所述第二图像中的预设区域，则调整采集所述第二图像的第二图像采集设备的拍摄参数。
进一步的，所述第一图像对应的视场角小于所述第二图像对应的视场角；进一步的，处理器242还用于：若所述第一图像对所述目标物跟随失败，则获取所述目标物在跟随成功的历史图像中的位置，所述历史图像和所述第一图像由同一图像采集设备采集；
根据所述目标物在所述历史图像中的位置标注所述目标物在所述第二图像中的位置。
进一步的，处理器242还用于：根据所述目标物在所述第二图像中的位置调整采集所述第一图像的第一图像采集设备的拍摄参数。
进一步的，处理器242还用于：根据所述目标物在所述第二图像中的位置和/或所述目标物在所述历史图像中的位置，调整所述第一图像采集设备的承载设备的姿态。
进一步的，所述第一图像对应的视场角小于所述第二图像对应的视场角；处理器242还用于：若所述第一图像对所述目标物跟随失败，则根据预设检测算法确定第三图像中的目标区域，所述第三图像与所述第一图像由同一图像采集设备采集，且拍摄时间晚于所述第一图像的拍摄时间；
提取所述目标区域的第一特征以及跟随成功的历史图像中所述目标物所在区域的第二特征；
计算所述第一特征与所述第二特征之间的相似度；
若所述相似度满足预设阈值，则确定所述第三图像对所述目标物跟随成功。
进一步的，所述第一图像对应的视场角小于所述第二图像对应的视场角；处理器242还用于：若所述第一图像对所述目标物跟随失败，则根据所述目标物在跟随成功的历史图像中的位置确定第三图像中的目标区域，所述第三图像与所述历史图像由同一图像采集设备采集；
若所述目标区域内包含所述目标物，则确定所述第三图像对所述目标物跟随成功。
进一步的，处理器242还用于：获取包含第一跟随框的标注后第一图像，所述目标物被标注于所述第一跟随框内；
在所述标注后第一图像中，确定所述第一跟随框所在图像区域对应的第一像素坐标；
将所述第一像素坐标转换为第二像素坐标；
对所述第二图像中具有所述第二像素坐标的像素点进行标注，以得到包含第二跟随框的标注后第二图像，所述目标物被标注于所述第二跟随框。
进一步的，处理器242还用于：根据所述不同图像采集设备各自的参数矩阵，将所述第一像素坐标转换为第二像素坐标。
进一步的，处理器242还用于：对所述第一跟随框和所述第二跟随框进行融合；以及显示融合结果，以成功跟随所述目标物。
进一步的，处理器242还用于：获取所述第一跟随框和所述第二跟随框各自的属性参数；以及根据所述属性参数融合所述第一跟随框和所述第二跟随框。
图8所示的可移动平台可以执行图1～图6所示实施例的方法，本实施例未详细描述的部分，可参考对图1～图6所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1～图6所示实施例中的描述，在此不再赘述。
在一个可能的设计中，图9所示跟随设备的结构可实现为一电子设备，该电子设备可以是无人机、无人车、无人船等等。如图9所示，该电子设备可以包括：一个或多个处理器31和一个或多个存储器32。其中，存储器32用于存储支持电子设备执行上述图1～图6所示实施例中提供的跟随方法的程序。处理器31被配置为用于执行存储器32中存储的程序。
具体的，程序包括一条或多条计算机指令，其中，一条或多条计算机指令被处理器31执行时能够实现如下步骤：
获取不同图像采集设备各自采集的第一图像和第二图像，所述第一图像与所述第二图像对应于不同的视场角；
若所述第一图像对目标物跟随成功，则标注所述目标物在所述第一图像中的位置；
根据所述目标物在所述第一图像中的位置标注所述目标物在所述第二图像中的位置，以成功跟随所述目标物。
其中，该跟随设备的结构中还可以包括通信接口33，用于电子设备与其他设备或通信网络通信。
进一步的，所述第一图像对应的视场角小于所述第二图像对应的视场角；处理器31可以用于执行：若所述目标物在所述第一图像中的位置不位于所述第一图像中的预设区域内，则调整采集所述第一图像的第一图像采集设备的拍摄参数。
进一步的，处理器31可以用于执行：根据所述目标物在所述第一图像中的位置与所述预设区域之间的位置关系，调整所述第一图像采集设备对应的承载设备的姿态。
进一步的，处理器31可以用于执行：若所述目标物在所述第一图像中的尺寸不满足预设尺寸，则调整所述第一图像采集设备的拍摄参数。
进一步的，处理器31可以用于执行：获取与所述预设尺寸对应的目标焦距；以及将所述第一图像采集设备的焦距调整为所述目标焦距。
进一步的，处理器31还用于执行：若所述目标物在所述第二图像中的位置不位于所述第二图像中的预设区域，则调整采集所述第二图像的第二图像采集设备的拍摄参数。
进一步的，所述第一图像对应的视场角小于所述第二图像对应的视场角；处理器31还用于执行：若所述第一图像对所述目标物跟随失败，则获取所述目标物在跟随成功的历史图像中的位置，所述历史图像和所述第一图像由同一图像采集设备采集；
根据所述目标物在所述历史图像中的位置标注所述目标物在所述第二图像中的位置。
进一步的，处理器31还用于执行：根据所述目标物在所述第二图像中的位置调整采集所述第一图像的第一图像采集设备的拍摄参数。
进一步的，处理器31还用于执行：根据所述目标物在所述第二图像中的位置和/或所述目标物在所述历史图像中的位置，调整所述第一图像采集设备的承载设备的姿态。
进一步的，所述第一图像对应的视场角小于所述第二图像对应的视场角；处理器31还用于执行：若所述第一图像对所述目标物跟随失败，则根据预设检测算法确定第三图像中的目标区域，所述第三图像与所述第一图像由同一图像采集设备采集，且拍摄时间晚于所述第一图像的拍摄时间；
提取所述目标区域的第一特征以及跟随成功的历史图像中所述目标物所在区域的第二特征；
计算所述第一特征与所述第二特征之间的相似度；
若所述相似度满足预设阈值，则确定所述第三图像对所述目标物跟随成功。
进一步的，所述第一图像对应的视场角小于所述第二图像对应的视场角；处理器31还用于执行：若所述第一图像对所述目标物跟随失败，则根据所述目标物在跟随成功的历史图像中的位置确定第三图像中的目标区域，所述第三图像与所述历史图像由同一图像采集设备采集；
若所述目标区域内包含所述目标物，则确定所述第三图像对所述目标物跟随成功。
进一步的，处理器31还用于执行：获取包含第一跟随框的标注后第一图像，所述目标物被标注于所述第一跟随框内；
在所述标注后第一图像中，确定所述第一跟随框所在图像区域对应的第一像素坐标；
将所述第一像素坐标转换为第二像素坐标；
对所述第二图像中具有所述第二像素坐标的像素点进行标注，以得到包含第二跟随框的标注后第二图像，所述目标物被标注于所述第二跟随框。
进一步的，处理器31还用于执行：根据所述不同图像采集设备各自的参数矩阵，将所述第一像素坐标转换为第二像素坐标。
进一步的，处理器31还用于执行：对所述第一跟随框和所述第二跟随框进行融合；以及显示融合结果，以成功跟随所述目标物。
进一步的，处理器31还用于执行：获取所述第一跟随框和所述第二跟随框各自的属性参数；以及根据所述属性参数融合所述第一跟随框和所述第二跟随框。
图9所示装置可以执行图1～图6所示实施例的方法，本实施例未详细描述的部分，可参考对图1～图6所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1～图6所示实施例中的描述，在此不再赘述。
另外，本发明实施例提供了一种计算机可读存储介质，存储介质为计算机可读存储介质，该计算机可读存储介质中存储有程序指令，程序指令用于实现上述图1～图6的跟随方法。
以上各个实施例中的技术方案、技术特征在与本相冲突的情况下均可以单独，或者进行组合，只要未超出本领域技术人员的认知范围，均属于本申请保护范围内的等同实施例。
在本发明所提供的几个实施例中，应该理解到，所揭露的相关检测装置(例如：IMU)和方法，可以通过其它的方式实现。例如，以上所描述的遥控装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，遥控装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得计算机处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通 技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (46)

  1. 一种跟随方法，其特征在于，所述方法包括：
    获取不同图像采集设备各自采集的第一图像和第二图像，所述第一图像与所述第二图像对应于不同的视场角；
    若所述第一图像对目标物跟随成功，则标注所述目标物在所述第一图像中的位置；
    根据所述目标物在所述第一图像中的位置标注所述目标物在所述第二图像中的位置，以成功跟随所述目标物。
  2. 根据权利要求1所述的方法，其特征在于，所述第一图像对应的视场角小于所述第二图像对应的视场角；所述方法还包括：
    若所述目标物在所述第一图像中的位置不位于所述第一图像中的预设区域内，则调整采集所述第一图像的第一图像采集设备的拍摄参数。
  3. 根据权利要求2所述的方法，其特征在于，所述调整采集所述第一图像的第一图像采集设备的拍摄参数，包括：
    根据所述目标物在所述第一图像中的位置与所述预设区域之间的位置关系，调整所述第一图像采集设备对应的承载设备的姿态。
  4. 根据权利要求2所述的方法，其特征在于，所述方法还包括：
    若所述目标物在所述第一图像中的尺寸不满足预设尺寸，则调整所述第一图像采集设备的拍摄参数。
  5. 根据权利要求4所述的方法，其特征在于，所述调整所述第一图像采集设备的拍摄参数，包括：
    获取与所述预设尺寸对应的目标焦距；
    将所述第一图像采集设备的焦距调整为所述目标焦距。
  6. 根据权利要求2所述的方法，其特征在于，所述方法还包括：
    若所述目标物在所述第二图像中的位置不位于所述第二图像中的预设区域，则调整采集所述第二图像的第二图像采集设备的拍摄参数。
  7. 根据权利要求1所述的方法，其特征在于，所述第一图像对应的视场角小于所述第二图像对应的视场角；所述方法还包括：
    若所述第一图像对所述目标物跟随失败，则获取所述目标物在跟随成功的历史图像中的位置，所述历史图像和所述第一图像由同一图像采集设备采集；
    根据所述目标物在所述历史图像中的位置标注所述目标物在所述第二图像中的位置。
  8. 根据权利要求7所述的方法，其特征在于，所述方法还包括：
    根据所述目标物在所述第二图像中的位置调整采集所述第一图像的第一图像采集设备的拍摄参数。
  9. 根据权利要求8所述的方法，其特征在于，所述根据所述目标物在所述第二图像中的位置调整采集所述第一图像的设备的拍摄参数，包括：
    根据所述目标物在所述第二图像中的位置和/或所述目标物在所述历史图像中的位置，调整所述第一图像采集设备的承载设备的姿态。
  10. 根据权利要求1所述的方法，其特征在于，所述第一图像对应的视场角小于所述第二图像对应的视场角；所述方法还包括：
    若所述第一图像对所述目标物跟随失败，则根据预设检测算法确定第三图像中的目标区域，所述第三图像与所述第一图像由同一图像采集设备采集，且拍摄时间晚于所述第一图像的拍摄时间；
    提取所述目标区域的第一特征以及跟随成功的历史图像中所述目标物所在区域的第二特征；
    计算所述第一特征与所述第二特征之间的相似度；
    若所述相似度满足预设阈值，则确定所述第三图像对所述目标物跟随成功。
  11. 根据权利要求1所述的方法，其特征在于，所述第一图像对应的视场角小于所述第二图像对应的视场角；所述方法还包括：
    若所述第一图像对所述目标物跟随失败，则根据所述目标物在跟随成功的历史图像中的位置确定第三图像中的目标区域，所述第三图像与所述历史图像由同一图像采集设备采集；
    若所述目标区域内包含所述目标物，则确定所述第三图像对所述目标物跟随成功。
  12. 根据权利要求1所述的方法，其特征在于，所述根据所述目标物在所述第一图像中的位置标注所述目标物在所述第二图像中的位置，包括：
    获取包含第一跟随框的标注后第一图像，所述目标物被标注于所述第一跟随框内；
    在所述标注后第一图像中，确定所述第一跟随框所在图像区域对应的第 一像素坐标；
    将所述第一像素坐标转换为第二像素坐标；
    对所述第二图像中具有所述第二像素坐标的像素点进行标注，以得到包含第二跟随框的标注后第二图像，所述目标物被标注于所述第二跟随框。
  13. 根据权利要求12所述的方法，其特征在于，所述将所述第一像素坐标转换为第二像素坐标，包括：
    根据所述不同图像采集设备各自的参数矩阵，将所述第一像素坐标转换为第二像素坐标。
  14. 根据权利要求12所述的方法，其特征在于，所述方法还包括：
    对所述第一跟随框和所述第二跟随框进行融合；
    显示融合结果，以成功跟随所述目标物。
  15. 根据权利要求14述的方法，其特征在于，所述对所述第一跟随框和所述第二跟随框进行融合，包括：
    获取所述第一跟随框和所述第二跟随框各自的属性参数；
    根据所述属性参数融合所述第一跟随框和所述第二跟随框。
  16. 一种可移动平台，其特征在于，所述平台包括：机体、动力系统、图像采集装置以及控制装置；
    所述动力系统，设置于所述机体上，用于为所述可移动平台提供动力；
    所述图像采集装置，设置于所述机体上，用于采集图像；
    所述控制装置包括存储器和处理器；
    所述存储器，用于存储计算机程序；
    处理器，用于运行所述存储器中存储的计算机程序以实现：
    获取不同图像采集设备各自采集的第一图像和第二图像，所述第一图像与所述第二图像对应于不同的视场角；
    若所述第一图像对目标物跟随成功，则标注所述目标物在所述第一图像中的位置；
    根据所述目标物在所述第一图像中的位置标注所述目标物在所述第二图像中的位置，以成功跟随所述目标物。
  17. 根据权利要求16所述的可移动平台，其特征在于，所述第一图像对应的视场角小于所述第二图像对应的视场角；
    所述处理器还用于：若所述目标物在所述第一图像中的位置不位于所述 第一图像中的预设区域内，则调整采集所述第一图像的第一图像采集设备的拍摄参数。
  18. 根据权利要求17所述的可移动平台，其特征在于，所述处理器还用于：根据所述目标物在所述第一图像中的位置与所述预设区域之间的位置关系，调整所述第一图像采集设备对应的承载设备的姿态。
  19. 根据权利要求17所述的可移动平台，其特征在于，所述处理器还用于：若所述目标物在所述第一图像中的尺寸不满足预设尺寸，则调整所述第一图像采集设备的拍摄参数。
  20. 根据权利要求19所述的可移动平台，其特征在于，所述处理器还用于：获取与所述预设尺寸对应的目标焦距；以及将所述第一图像采集设备的焦距调整为所述目标焦距。
  21. 根据权利要求17所述的可移动平台，其特征在于，所述处理器还用于：若所述目标物在所述第二图像中的位置不位于所述第二图像中的预设区域，则调整采集所述第二图像的第二图像采集设备的拍摄参数。
  22. 根据权利要求16所述的可移动平台，其特征在于，所述第一图像对应的视场角小于所述第二图像对应的视场角；
    所述处理器还用于：若所述第一图像对所述目标物跟随失败，则获取所述目标物在跟随成功的历史图像中的位置，所述历史图像和所述第一图像由同一图像采集设备采集；
    根据所述目标物在所述历史图像中的位置标注所述目标物在所述第二图像中的位置。
  23. 根据权利要求22所述的可移动平台，其特征在于，所述处理器还用于：根据所述目标物在所述第二图像中的位置调整采集所述第一图像的第一图像采集设备的拍摄参数。
  24. 根据权利要求23所述的可移动平台，其特征在于，所述处理器还用于：根据所述目标物在所述第二图像中的位置和/或所述目标物在所述历史图像中的位置，调整所述第一图像采集设备的承载设备的姿态。
  25. 根据权利要求16所述的可移动平台，其特征在于，所述第一图像对应的视场角小于所述第二图像对应的视场角；
    所述处理器还用于：若所述第一图像对所述目标物跟随失败，则根据预设检测算法确定第三图像中的目标区域，所述第三图像与所述第一图像由同 一图像采集设备采集，且拍摄时间晚于所述第一图像的拍摄时间；
    提取所述目标区域的第一特征以及跟随成功的历史图像中所述目标物所在区域的第二特征；
    计算所述第一特征与所述第二特征之间的相似度；
    若所述相似度满足预设阈值，则确定所述第三图像对所述目标物跟随成功。
  26. 根据权利要求16所述的可移动平台，其特征在于，所述第一图像对应的视场角小于所述第二图像对应的视场角；
    所述处理器还用于：若所述第一图像对所述目标物跟随失败，则根据所述目标物在跟随成功的历史图像中的位置确定第三图像中的目标区域，所述第三图像与所述历史图像由同一图像采集设备采集；
    若所述目标区域内包含所述目标物，则确定所述第三图像对所述目标物跟随成功。
  27. 根据权利要求16所述的可移动平台，其特征在于，所述处理器还用于：获取包含第一跟随框的标注后第一图像，所述目标物被标注于所述第一跟随框内；
    在所述标注后第一图像中，确定所述第一跟随框所在图像区域对应的第一像素坐标；
    将所述第一像素坐标转换为第二像素坐标；
    对所述第二图像中具有所述第二像素坐标的像素点进行标注，以得到包含第二跟随框的标注后第二图像，所述目标物被标注于所述第二跟随框。
  28. 根据权利要求27所述的可移动平台，其特征在于，所述处理器还用于：根据所述不同图像采集设备各自的参数矩阵，将所述第一像素坐标转换为第二像素坐标。
  29. 根据权利要求27所述的可移动平台，其特征在于，所述处理器还用于：对所述第一跟随框和所述第二跟随框进行融合；以及显示融合结果，以成功跟随所述目标物。
  30. 根据权利要求29所述的可移动平台，其特征在于，所述处理器还用于：获取所述第一跟随框和所述第二跟随框各自的属性参数；以及根据所述属性参数融合所述第一跟随框和所述第二跟随框。
  31. 一种跟随设备，其特征在于，所述控制设备包括：
    存储器，用于存储计算机程序；
    处理器，用于运行所述存储器中存储的计算机程序以实现：
    获取不同图像采集设备各自采集的第一图像和第二图像，所述第一图像与所述第二图像对应于不同的视场角；
    若所述第一图像对目标物跟随成功，则标注所述目标物在所述第一图像中的位置；
    根据所述目标物在所述第一图像中的位置标注所述目标物在所述第二图像中的位置，以成功跟随所述目标物。
  32. 根据权利要求31所述的设备，其特征在于，所述第一图像对应的视场角小于所述第二图像对应的视场角；
    所述处理器还用于：若所述目标物在所述第一图像中的位置不位于所述第一图像中的预设区域内，则调整采集所述第一图像的第一图像采集设备的拍摄参数。
  33. 根据权利要求32所述的设备，其特征在于，所述处理器还用于：根据所述目标物在所述第一图像中的位置与所述预设区域之间的位置关系，调整所述第一图像采集设备对应的承载设备的姿态。
  34. 根据权利要求32所述的设备，其特征在于，所述处理器还用于：若所述目标物在所述第一图像中的尺寸不满足预设尺寸，则调整所述第一图像采集设备的拍摄参数。
  35. 根据权利要求34所述的设备，其特征在于，所述处理器还用于：获取与所述预设尺寸对应的目标焦距；以及将所述第一图像采集设备的焦距调整为所述目标焦距。
  36. 根据权利要求32所述的设备，其特征在于，所述处理器还用于：若所述目标物在所述第二图像中的位置不位于所述第二图像中的预设区域，则调整采集所述第二图像的第二图像采集设备的拍摄参数。
  37. 根据权利要求31所述的设备，其特征在于，所述第一图像对应的视场角小于所述第二图像对应的视场角；
    所述处理器还用于：若所述第一图像对所述目标物跟随失败，则获取所述目标物在跟随成功的历史图像中的位置，所述历史图像和所述第一图像由同一图像采集设备采集；
    根据所述目标物在所述历史图像中的位置标注所述目标物在所述第二图 像中的位置。
  38. 根据权利要求37所述的设备，其特征在于，所述处理器还用于：根据所述目标物在所述第二图像中的位置调整采集所述第一图像的第一图像采集设备的拍摄参数。
  39. 根据权利要求38所述的设备，其特征在于，所述处理器还用于：根据所述目标物在所述第二图像中的位置和/或所述目标物在所述历史图像中的位置，调整所述第一图像采集设备的承载设备的姿态。
  40. 根据权利要求31所述的设备，其特征在于，所述第一图像对应的视场角小于所述第二图像对应的视场角；
    所述处理器还用于：若所述第一图像对所述目标物跟随失败，则根据预设检测算法确定第三图像中的目标区域，所述第三图像与所述第一图像由同一图像采集设备采集，且拍摄时间晚于所述第一图像的拍摄时间；
    提取所述目标区域的第一特征以及跟随成功的历史图像中所述目标物所在区域的第二特征；
    计算所述第一特征与所述第二特征之间的相似度；
    若所述相似度满足预设阈值，则确定所述第三图像对所述目标物跟随成功。
  41. 根据权利要求31所述的设备，其特征在于，所述第一图像对应的视场角小于所述第二图像对应的视场角；
    所述处理器还用于：若所述第一图像对所述目标物跟随失败，则根据所述目标物在跟随成功的历史图像中的位置确定第三图像中的目标区域，所述第三图像与所述历史图像由同一图像采集设备采集；
    若所述目标区域内包含所述目标物，则确定所述第三图像对所述目标物跟随成功。
  42. 根据权利要求31所述的设备，其特征在于，所述处理器还用于：获取包含第一跟随框的标注后第一图像，所述目标物被标注于所述第一跟随框内；
    在所述标注后第一图像中，确定所述第一跟随框所在图像区域对应的第一像素坐标；
    将所述第一像素坐标转换为第二像素坐标；
    对所述第二图像中具有所述第二像素坐标的像素点进行标注，以得到包 含第二跟随框的标注后第二图像，所述目标物被标注于所述第二跟随框。
  43. 根据权利要求42所述的设备，其特征在于，所述处理器还用于：根据所述不同图像采集设备各自的参数矩阵，将所述第一像素坐标转换为第二像素坐标。
  44. 根据权利要求42所述的设备，其特征在于，所述处理器还用于：对所述第一跟随框和所述第二跟随框进行融合；以及显示融合结果，以成功跟随所述目标物。
  45. 根据权利要求44所述的设备，其特征在于，所述处理器还用于：获取所述第一跟随框和所述第二跟随框各自的属性参数；以及根据所述属性参数融合所述第一跟随框和所述第二跟随框。
  46. 一种计算机可读存储介质，其特征在于，所述存储介质为计算机可读存储介质，该计算机可读存储介质中存储有程序指令，所述程序指令用于实现权利要求1至15中任一项所述的跟随方法。
PCT/CN2020/077229 2020-02-28 2020-02-28 跟随方法、可移动平台、设备和存储介质 WO2021168809A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2020/077229 WO2021168809A1 (zh) 2020-02-28 2020-02-28 跟随方法、可移动平台、设备和存储介质
CN202080004200.8A CN112640419B (zh) 2020-02-28 2020-02-28 跟随方法、可移动平台、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/077229 WO2021168809A1 (zh) 2020-02-28 2020-02-28 跟随方法、可移动平台、设备和存储介质

Publications (1)

Publication Number Publication Date
WO2021168809A1 true WO2021168809A1 (zh) 2021-09-02

Family

ID=75291191

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/077229 WO2021168809A1 (zh) 2020-02-28 2020-02-28 跟随方法、可移动平台、设备和存储介质

Country Status (2)

Country Link
CN (1) CN112640419B (zh)
WO (1) WO2021168809A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332779A (zh) * 2022-03-15 2022-04-12 云丁网络技术(北京)有限公司 一种对目标物进行监控的方法及相关设备
CN117896626B (zh) * 2024-03-15 2024-05-14 深圳市瀚晖威视科技有限公司 多摄像头检测运动轨迹的方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115037877A (zh) * 2022-06-08 2022-09-09 湖南大学重庆研究院 自动跟随方法、装置以及安全监测方法、装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102612636A (zh) * 2009-09-23 2012-07-25 近地图控股有限公司 包括级联照相机和/或校准特征的详细捕获大区域图像的系统和方法
CN102779347A (zh) * 2012-06-14 2012-11-14 清华大学 一种用于飞行器的目标跟踪与定位方法和装置
CN108200339A (zh) * 2017-12-29 2018-06-22 北京臻迪科技股份有限公司 目标追踪定位方法、系统及摄像装置
CN109828610A (zh) * 2019-01-30 2019-05-31 华通科技有限公司 基于长短焦摄像头组的远距离目标跟踪系统及方法
CN109981972A (zh) * 2017-12-27 2019-07-05 深圳市优必选科技有限公司 一种机器人的目标跟踪方法、机器人及存储介质
CN110446014A (zh) * 2019-08-26 2019-11-12 深圳前海达闼云端智能科技有限公司 一种监控方法、监控设备及计算机可读存储介质
US10538326B1 (en) * 2016-08-31 2020-01-21 Amazon Technologies, Inc. Flare detection and avoidance in stereo vision systems

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777185B (zh) * 2009-12-09 2012-04-25 中国科学院自动化研究所 融合描述式和判别式建模的目标跟踪方法
CN105264436B (zh) * 2013-04-05 2019-03-08 安德拉运动技术股份有限公司 用于控制与图像捕捉有关的设备的系统和方法
CN105374050B (zh) * 2015-10-12 2019-10-18 浙江宇视科技有限公司 运动目标跟踪恢复方法及装置
CN109117721A (zh) * 2018-07-06 2019-01-01 江西洪都航空工业集团有限责任公司 一种行人徘徊检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102612636A (zh) * 2009-09-23 2012-07-25 近地图控股有限公司 包括级联照相机和/或校准特征的详细捕获大区域图像的系统和方法
CN102779347A (zh) * 2012-06-14 2012-11-14 清华大学 一种用于飞行器的目标跟踪与定位方法和装置
US10538326B1 (en) * 2016-08-31 2020-01-21 Amazon Technologies, Inc. Flare detection and avoidance in stereo vision systems
CN109981972A (zh) * 2017-12-27 2019-07-05 深圳市优必选科技有限公司 一种机器人的目标跟踪方法、机器人及存储介质
CN108200339A (zh) * 2017-12-29 2018-06-22 北京臻迪科技股份有限公司 目标追踪定位方法、系统及摄像装置
CN109828610A (zh) * 2019-01-30 2019-05-31 华通科技有限公司 基于长短焦摄像头组的远距离目标跟踪系统及方法
CN110446014A (zh) * 2019-08-26 2019-11-12 深圳前海达闼云端智能科技有限公司 一种监控方法、监控设备及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332779A (zh) * 2022-03-15 2022-04-12 云丁网络技术(北京)有限公司 一种对目标物进行监控的方法及相关设备
CN117896626B (zh) * 2024-03-15 2024-05-14 深圳市瀚晖威视科技有限公司 多摄像头检测运动轨迹的方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112640419B (zh) 2022-07-05
CN112640419A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
WO2021227359A1 (zh) 一种无人机投影方法、装置、设备及存储介质
WO2019242262A1 (zh) 基于增强现实的远程指导方法、装置、终端和存储介质
WO2018023492A1 (zh) 一种云台控制方法及系统
CN107169924B (zh) 三维全景图像的建立方法和系统
US20120293613A1 (en) System and method for capturing and editing panoramic images
WO2018133589A1 (zh) 航拍方法、装置和无人机
WO2019161814A2 (zh) 一种全景成像系统及方法
US20210127059A1 (en) Camera having vertically biased field of view
US20190335166A1 (en) Deriving 3d volumetric level of interest data for 3d scenes from viewer consumption data
WO2021168809A1 (zh) 跟随方法、可移动平台、设备和存储介质
CN111355884B (zh) 监控方法、装置、系统、电子设备及存储介质
WO2019104641A1 (zh) 无人机、其控制方法以及记录介质
US20210112194A1 (en) Method and device for taking group photo
US10616483B1 (en) Apparatus and method of generating electronic three-dimensional walkthrough environment
WO2021134178A1 (zh) 一种视频流处理方法、装置、设备及介质
CN112207821B (zh) 视觉机器人的目标搜寻方法及机器人
CN109828596A (zh) 一种目标跟踪方法、装置和无人机
CN112419233A (zh) 一种数据标注方法、装置、设备以及计算机可读存储介质
WO2023083256A1 (zh) 位姿显示方法、装置及系统、服务器以及存储介质
KR20200067979A (ko) 입체적 멀티미디어 정보를 결정하기 위한 방법 및 장치
JP6192107B2 (ja) 撮影動画像に指示画像を重畳することができる映像指示方法、システム、端末及びプログラム
Pu et al. Aerial face recognition and absolute distance estimation using drone and deep learning
CN108419052B (zh) 一种多台无人机全景成像方法
EP2232331A2 (en) Device for helping the capture of images
CN112001224A (zh) 基于卷积神经网络的视频采集方法和视频采集系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20922213

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20922213

Country of ref document: EP

Kind code of ref document: A1