WO2019205087A1 - 图像增稳方法和装置 - Google Patents

图像增稳方法和装置 Download PDF

Info

Publication number
WO2019205087A1
WO2019205087A1 PCT/CN2018/084812 CN2018084812W WO2019205087A1 WO 2019205087 A1 WO2019205087 A1 WO 2019205087A1 CN 2018084812 W CN2018084812 W CN 2018084812W WO 2019205087 A1 WO2019205087 A1 WO 2019205087A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature information
target image
target
information
Prior art date
Application number
PCT/CN2018/084812
Other languages
English (en)
French (fr)
Inventor
徐彬
周游
熊策
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN201880012006.7A priority Critical patent/CN110337668B/zh
Priority to PCT/CN2018/084812 priority patent/WO2019205087A1/zh
Publication of WO2019205087A1 publication Critical patent/WO2019205087A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Definitions

  • the present invention relates to the field of image processing, and in particular, to an image stabilization method and apparatus.
  • the existing aerial vehicle is generally equipped with a pan/tilt (the mechanical stabilization module of the camera), and the pan/tilt can obtain a better stabilization effect for short-term (within a few seconds or within several tens of milliseconds), but for a long time Shooting, such as time-lapse photography (taking an image at a time, and finally synthesizing the video, such as the common flower opening process), so that the pan/tilt will inevitably have some offset during a period of time, resulting in a very good picture. Align, some vibration occurs after synthesizing the delayed video. For long-time shooting, the gimbal does not achieve a good stability effect. For this reason, the conventional method is to import the image taken by the PTZ camera into the PC, and use the PC to process the video stabilization method, but the implementation of this method is troublesome.
  • the invention provides an image stabilization method and device.
  • an image stabilization method for use in a mobile device, the method comprising:
  • an image stabilization apparatus for use in a mobile device, the apparatus comprising:
  • the storage device is configured to store program instructions
  • the processor the program instruction is invoked, when the program instruction is executed, for:
  • the present invention acquires the motion trajectory of each image feature information based on the visual algorithm, and then corrects the position of the pixel of the corresponding image according to the motion trajectory of each image feature information, thereby completing the stabilization of the image. deal with. Moreover, the image stabilization process of the present invention is completed online, and does not need to be processed by other devices in the later stage, and the image stabilization is more convenient and quick.
  • FIG. 1 is a schematic flow chart of an image stabilization method according to an embodiment of the present invention.
  • FIG 2 is an application scenario diagram of an image stabilization method according to an embodiment of the present invention.
  • FIG. 3 is a schematic flow chart of an image stabilization method according to another embodiment of the present invention.
  • FIG. 4 is a schematic flow chart of an image stabilization method according to still another embodiment of the present invention.
  • FIG. 5 is a schematic flow chart of an image stabilization method according to still another embodiment of the present invention.
  • FIG. 6 is a schematic flow chart of an image stabilization method according to still another embodiment of the present invention.
  • FIG. 7 is a structural block diagram of an image stabilization apparatus according to an embodiment of the present invention.
  • FIG. 1 is a schematic flowchart of an image stabilization method according to an embodiment of the present invention.
  • the execution body of the image stabilization method of the embodiment is a mobile device.
  • the execution body of the image stabilization method is a processor of the mobile device.
  • the image stabilization method can be applied to a mobile device in a hovering state, and can be applied to a mobile device in a flight state.
  • the movable device operates at a speed less than or equal to a preset speed threshold.
  • the preset speed threshold is not specifically limited in the embodiment of the present invention, and the preset speed threshold may be set as needed.
  • the mobile device may be a drone or other devices equipped with a PTZ camera, such as an unmanned vehicle, an unmanned boat, VR/AR glasses, and the like.
  • the mobile device is a drone.
  • the drone includes a flight controller 100, a pan/tilt head 200, and a pan-tilt camera 300, wherein the pan-tilt camera 300 is mounted on the body of the drone through the pan/tilt head 200.
  • the execution body of the image stabilization method of the embodiment may be an image processing unit provided on the drone, the image processing unit and the controller of the flight controller 100 and/or the pan/tilt 200 and/or Or the controller of the pan-tilt camera 300 is electrically connected.
  • the pan/tilt head 200 may be a one-axis or two-axis pan/tilt head, or a three-axis pan/tilt head or a four-axis pan/tilt head.
  • the pan/tilt camera 300 of the present embodiment is not limited to a camera in a conventional sense.
  • the pan-tilt camera 300 may be an image capturing device or an imaging device (such as a camera, a camcorder, an infrared camera device, an ultraviolet camera device, or A similar device), an audio capture device (eg, a parabolic reflector microphone), an infrared camera device, etc.
  • the pan-tilt camera 300 can provide static sensing data (such as pictures) or dynamic sensing data (such as video).
  • the pan/tilt head 200 is communicatively coupled to the flight controller 100, for example, based on a CAN bus (Controller Area Network) or other means of communication.
  • the rotation of the pan-tilt head 200 can be controlled by the flight controller 100, thereby controlling the rotation of the pan-tilt camera 300 mounted on the pan-tilt head 200.
  • the pan-tilt camera 300 is communicatively coupled to the flight controller 100, for example, the pan-tilt camera 300 is in direct communication connection with the flight controller 100, or the pan/tilt head
  • the camera 300 is communicatively coupled to the flight controller 100 via the pan/tilt 200.
  • the operation of the pan-tilt camera 300 can be controlled by the flight controller 100, a photographing screen can be acquired from the pan-tilt camera 300, and the like.
  • the drone may include a power mechanism 400.
  • the power mechanism 400 may include one or more rotating bodies, propellers, blades, motors, electronic governors, and the like.
  • the rotating body of the power mechanism 400 may be a self-tightening rotating body, a rotating body assembly, or other rotating body power unit.
  • the drone can have one or more power mechanisms 400. All of the power mechanisms 400 can be of the same type. Alternatively, the one or more power mechanisms 400 can be of different types.
  • the power mechanism 400 can be mounted to the drone by suitable means, such as by a support member (such as a drive shaft).
  • the power mechanism 400 can be mounted at any suitable location on the drone, such as the top end, the lower end, the front end, the rear end, the sides, or any combination thereof.
  • the flight of the drone is controlled by controlling one or more power mechanisms 400.
  • the drone can be communicatively coupled to the terminal 500 (eg, the flight controller 100 is in communication with the terminal 500), and the terminal 500 can be in the drone, pan/tilt 200, and pan/tilt camera 300.
  • One or more providing control data and receiving information from one or more of the drone, pan/tilt and load pan camera 300 eg, the location of the drone, pan/tilt 200 or pan/tilt camera 300 and/or Motion information, image data captured by the pan/tilt camera 300.
  • the obtained stabilization image can be transmitted to the terminal 500.
  • the image stabilization method will be described in detail in the following embodiments. As shown in FIG. 1, the image stabilization method may include the following steps:
  • Step S101 Acquire images acquired by the pan/tilt camera 300 of the mobile device at different times for the same target.
  • the mobile device is in a hovering state. After determining the shooting interval, the mobile device controls the pan/tilt camera 300 thereon to acquire the target image in accordance with the shooting interval.
  • the device can be in a flight state. After determining the flight path, running speed, and shooting interval, the mobile device will fly according to the determined flight path and running speed, for example, bypassing a building, and then the mobile device controls the pan/tilt camera 300 on the mobile device. The target image is acquired at the shooting interval.
  • the flight path and the running speed may be preset by the user, or may be the default flight path and running speed.
  • the shooting interval can be set as needed.
  • the shooting interval is 2 s
  • the pan-tilt camera 300 captures an image of the target every 2 s.
  • the movable device records the shooting times t1, t2, t3, . . . of each image, wherein t1, t2, t3, . . . are arranged in the order of the shooting time of each image.
  • the step S101 of the mobile device may be performed simultaneously with the PTZ camera 300 acquiring images at different times for the same target, or may be collected at different times for the PTZ camera 300 for the same target. After the image is executed.
  • Step S102 Extract image feature information from each acquired image.
  • the mobile device of the present embodiment extracts image feature information from each acquired image. Specifically, image feature information is extracted from each acquired image based on a sparse algorithm.
  • the image feature information is Corner detection information
  • the sparse algorithm is a corner detection algorithm.
  • the corner detection algorithm may be FAST (features from accelerated segment test), SUSAN (Small univalue segment assimilating nucleus), Harris (Harris Corner detection algorithms), or other angle detection algorithms.
  • FAST features from accelerated segment test
  • SUSAN Small univalue segment assimilating nucleus
  • Harris Harris
  • the corner point detection algorithm is used as an example to illustrate the extraction process of corner information.
  • the definition matrix A is the construction tensor, and the calculation formula of A is as follows:
  • w(u,v) is the window function
  • u is the width of the window function
  • v is the height of the window function
  • I x and I y are the gradients of a point (x, y) on the X and Y axes, respectively. information.
  • det(A) is the determinant of matrix A
  • trace(A) is the trace of matrix A
  • k is the tunable sensitivity parameter.
  • the threshold M th is set , and when M c >M th , this point is considered to be a corner point. Among them, M th can be set according to actual needs.
  • the image feature information may also be other information that can characterize the image, such as edge information.
  • Step S103 determining, for each image feature information, a first target image and a second target image associated with the image feature information from all acquired images, wherein the first target image and the second target image are both The image feature information is included, and the acquisition time of the first target image is before the acquisition time of the second target image.
  • the acquisition time is the shooting time of the pan-tilt camera 300.
  • a series of motion trajectories of image feature information can be obtained, for example, for the image feature information A, from the first image (ie, the image taken by the pan-tilt camera 300 at time t1) to the mth (m) It is a positive integer) positional information of the image; for the image feature information B, positional information from the fifth image to the nth (n is a positive integer) image (ie, the last image) and the like.
  • the first target image is an image in which the image feature information first appears
  • the second target image is an image including the image feature information other than the first appearing image, thereby The appearing image serves as a reference for performing stabilization processing on the image including the image feature information other than the first appearing image.
  • the first target image may also be any image between the image in which the image feature information first appears and the image in which the image feature information appears last time, and the second target image is collected. An image containing the image feature information at a time after the first target image.
  • the first target image is an image that includes the image feature information that is first selected in all acquired images according to a preset rule, and the second target image is in all acquired images. An image other than the first selected image containing the image feature information, including the image feature information, and the acquisition time is located after the first target image.
  • step S103 specifically includes: determining, for each image feature information, a first target image and a second target image associated with the image feature information from all acquired images based on a feature point tracking algorithm.
  • the image feature information between the images at different times is tracked by the feature point tracking algorithm to calculate the image feature light flow (moving condition) of each image feature information.
  • the image feature information of this embodiment is corner point information
  • the feature point tracking algorithm is a corner point tracking algorithm.
  • the corner tracking algorithm is KLT (Kanade-Lucas-Tomasi feature tracker), but is not limited thereto.
  • Step S401 Estimating the image feature optical flow of each image feature information in all images for the motion information of the movable device at each moment;
  • Step S402 Determine a first target image and a second target image associated with each image feature information according to an image feature optical flow and a feature point tracking algorithm in each image of each image feature information.
  • the mobile device of this embodiment records the shooting times t1, t2, t3, . . . of each image, and also records the motion information of the movable device corresponding to each of t1, t2, and t3.
  • the motion information is detected by an inertial navigation system on the movable device.
  • the motion information of the movable device may be pose information of the aircraft.
  • the pose information can be jointly calculated by the IMU inertial measurement unit, the VO visual odometer and the GPS global positioning system on the aircraft.
  • the motion information is a coordinate transformation relationship matrix between two images acquired by the pan-tilt camera 300 at two adjacent moments.
  • the process of estimating the image feature optical flow of each image feature information in all images according to the motion information of the movable device at each moment is as follows:
  • the projection transformation formula of image feature information is:
  • the (x, y, z) pixel has three-dimensional point coordinates in the world coordinate system (including the X-axis, the Y-axis, and the Z-axis), and (u, v) is (x, y, z) in depth.
  • the projection coordinate of the direction ie, the Z-axis direction
  • K is the internal parameter matrix of the PTZ camera 300, which is generally calibrated when the camera is shipped from the factory.
  • ⁇ x fm x
  • ⁇ y fm y
  • f is the focal length of the pan-tilt camera 300
  • m x , m y are the number of pixels per unit distance in the X-axis and Y-axis directions, respectively
  • ⁇ is between the X-axis and the Y-axis Distortion parameters (for example, when the pan-tilt camera 300 is a CCD camera, the pixels are non-square)
  • ⁇ 0 and v 0 are optical center positions
  • R is two images acquired by the pan-tilt camera 300 at two adjacent moments.
  • the coordinate transformation relationship matrix between the two; d is the depth information of the current image feature information, and t is the displacement between the two images acquired by the adjacent time.
  • the displacement between the two images is negligible compared to the scene (for example, for the aerial scene, the target and the pan-tilt camera 300 are generally far away, so the distance between the two images can be shifted compared to the scene.
  • formula (3) is abbreviated as:
  • K is an internal parameter matrix of the pan-tilt camera 300, which is calibrated by the pan-tilt camera 300 when it is shipped from the factory, and R is detected by the inertial navigation system of the movable device, so that the position of the image feature information in the current image can be obtained.
  • p estimates the approximate position p' in the next image, where the current image and the next image are images acquired by the PTZ camera 300 at two adjacent moments, and then the feature point tracking algorithm is used to accurately search in the next image. , you can speed up the match.
  • the image stabilization method may further include: determining, for each second target image that is determined, the position of the image feature information in the current second target image according to the feature point tracking algorithm a displacement between the position in the second target image at the last moment adjacent to the current second target image or the first target image (displacement between two images); according to the offset And determining whether the position information of the image feature information associated with the current second target image in the current second target image is accurate, that is, whether the motion track of each image feature information is accurate.
  • determining, according to the offset, whether the location information of the image feature information associated with the current target image in the current second target image is accurate includes: for each second target image that is determined, according to a marker tracking algorithm, determining a first offset between the image feature information from a second target image at a last moment or a position in the first target image to a position in a current second target image; And each second target image is determined according to the locating point tracking algorithm, and the image feature information is moved from a position in the current second target image to a second target image in the previous time or a position in the first target image a second offset; determining, according to the first offset and the second offset, whether location information of the image feature information in the current target image is accurate.
  • the offset h of each image feature information in the previous two images can be obtained by iterating by the following formula (6):
  • h 0 is the offset of the image in which the image information first appears (ie, the first target image)
  • h k+1 is the image feature information included in the kth second target image.
  • the offset of the k second target image and the k-1th second target image, w(x) is a window function, and x is image feature information.
  • the latter image is F(x)
  • the previous image is G(x)
  • the position of one image feature information in the next image is calculated relative to the position in the previous image.
  • Step S104 correcting the second target image according to the position information of the image feature information in the first target image and the position information of the image feature information in the second target image for each of the determined second target images. The location of the pixel points.
  • the first target image is an image in which the image feature information first appears
  • the second target image is further described as an example of an image including the image feature information other than the first appearing image.
  • step S104 may specifically include the following steps:
  • Step S501 determining, according to the position information of the image feature information in the first target image and the bit information of the image feature information in each second target image, the image feature information in each second target image. a position, a transformation matrix relative to a position of the image feature information in the first target image;
  • Step S502 Perform smoothing processing on the transformation matrix.
  • Step S503 Correct the position of the pixel point in the second target image according to the smoothed transformation matrix.
  • the Homography algorithm is used to determine the image feature information in each of the first a transformation matrix in a position in the second target image relative to a position of the image feature information in the first target image.
  • the transformation matrix may be smoothed by means of mean filtering, Gaussian filtering, Kalman filtering or other existing filtering methods to achieve smoothing of the transformation matrix of each second target image.
  • mean filtering Gaussian filtering, Kalman filtering or other existing filtering methods.
  • the process of smoothing the transformation matrix of each second target image is further explained by mean filtering.
  • smoothing the transform matrix by using mean filtering includes the following steps:
  • Step S601 determining a size of a sliding window based on a running speed of the movable device
  • Step S602 acquiring, according to the size of the sliding window, a transformation matrix of a specific number of sheets before the target image and a specific number of target images after the target image;
  • Step S603 performing mean filtering on the transformation matrix of the target image and the transformation matrix of the specific number of sheets before the target image and the specific number of target images after the target image.
  • the size of the sliding window is inversely proportional to the running speed of the movable device, so that the faster the running speed of the mobile device is, the larger the shaking of the pan/tilt is, so the smaller the sliding window is, which makes the smoothing The better the effect is; when the moving speed of the mobile device is slow, the jitter of the pan/tilt is small, so the size of the sliding window is larger to reduce the amount of calculation.
  • Hn is smoothed in time domain to obtain a smoothed matrix.
  • the process is as follows:
  • the size S of the sliding window can be calculated by the following formula (7), but is not limited thereto:
  • v is the operating speed of the mobile device, which can be obtained by the IMU module of the mobile device; K 1 is an empirical value. Further, in the present embodiment, in order to prevent S from being excessively large, the maximum limit S max is given. Among them, S max can be set according to actual needs.
  • H n-1 H n+1 H n-2 H n+2 ... H nS/2 H n of S/2 images are taken forward and backward. +S/2 and do the smoothing according to formula (8):
  • N is the total number of images of the acquired image (ie, H n for a certain second target image, and according to S, the number of sheets of S/2 images taken forward and backward is +1)
  • i is a certain second target image in the acquired image.
  • p i is the theoretical position of each image feature information.
  • the motion trajectory track n,i of the present embodiment (the motion trajectory of the image feature information i obtained in step S103) and the smoothed motion trajectory All are for the image feature information extracted in step S102, and need to be extended to each second target image, that is, other feature information in each second target image (except for the pixel feature information extracted in step S102) ) Smooth correction is also required, and the process is described using the following mathematical formula (10):
  • W n is a window function of each second target image
  • track n is a motion trajectory of a pixel point of each second target image
  • a smooth motion trajectory for the pixel points of each second target image So far, all the pixels of each second target image are smoothed, thereby obtaining a smooth video stream.
  • the image stabilization method may further include: according to the location information of the image feature information in each second target image, for each The transformation matrix of the two target images is subjected to nonlinear optimization processing. That is, using H n and p i , the error between the theoretical point p i of the H n projection and the position information of the image feature information extracted using the feature point tracking algorithm is minimized for each second target image, using the following Mathematical formula (11) describes this process:
  • T n,i is the motion trajectory of the image feature information i obtained in step S103.
  • the embodiment of the invention acquires the motion trajectory of each image feature information based on the visual algorithm, and then corrects the position of the pixel point of the corresponding image according to the motion trajectory of each image feature information, thereby completing the image stabilization process. Moreover, the image stabilization process of the present invention is completed online, and does not need to be processed by other devices in the later stage, and the image stabilization is more convenient and quick.
  • FIG. 7 is a structural block diagram of an image stabilization apparatus according to an embodiment of the present invention.
  • the image stabilization device includes a processor and a storage device.
  • the storage device may include a volatile memory such as a random-access memory (RAM); the storage device may also include a non-volatile memory such as a flash memory. (flash memory), hard disk drive (HDD) or solid-state drive (SSD); the storage device may further include a combination of the above types of memories.
  • RAM random-access memory
  • non-volatile memory such as a flash memory.
  • flash memory flash memory
  • HDD hard disk drive
  • SSD solid-state drive
  • the storage device may further include a combination of the above types of memories.
  • the processor may be a central processing unit (CPU).
  • the processor may further include a hardware chip.
  • the hardware chip may be an application-specific integrated circuit (ASIC), a programmable logic device (PLD), or a combination thereof.
  • the PLD may be a complex programmable logic device (CPLD), a field-programmable gate array (FPGA), a general array logic (GAL), or any combination thereof.
  • the memory is further configured to store program instructions.
  • the processor can invoke the program instructions to implement a corresponding method as shown in the embodiments of Figures 1, 3 and 6 of the present invention.
  • the processor invoking a program instruction stored in the storage device, when the program instruction is executed, for:
  • the processor is configured to extract image feature information from each acquired image based on a sparse algorithm.
  • the image feature information is corner point information
  • the sparse algorithm is a corner point detection algorithm
  • the corner detection algorithm is FAST, SUSAN or Harris.
  • the processor is configured to determine, for each image feature information, a first target image and a second target image associated with the image feature information from all acquired images based on a feature point tracking algorithm.
  • the processor is configured to predict, according to motion information of the movable device at each moment, image feature optical flow of each image feature information in all images; according to each image feature information
  • the image feature optical flow and feature point tracking algorithms in all images determine a first target image and a second target image associated with each image feature information.
  • the motion information is obtained by an inertial navigation system on the mobile device.
  • the motion information is a coordinate transformation relationship matrix between two images acquired by the pan-tilt camera 300 at two adjacent moments.
  • the image feature information is corner point information
  • the feature point tracking algorithm is a corner point tracking algorithm
  • the corner tracking algorithm is KLT.
  • the processor is further configured to determine the determined Determining, according to the feature point tracking algorithm, a position of the image feature information in the current second target image and a second target image of the image feature information at a previous moment adjacent to the current second target image. a position between the position or the first target image; determining, according to the offset, whether the position information of the current second target image associated with the image feature information in the current second target image is accurate.
  • the processor is configured to determine, according to the locating point tracking algorithm, the second target image or the first target of the image feature information from a previous moment for each determined second target image. Moving the position in the image to a first offset between the positions in the current second target image; for each of the determined second target images, determining the image feature information from the current second target according to the sign tracking algorithm Moving the position in the image to a second target image of the last moment or a second offset of the position in the first target image; determining the image according to the first offset and the second offset Whether the location information of the feature information in the current target image is accurate.
  • the first target image is an image in which the image feature information first appears
  • the second target image is an image including the image feature information other than the first appearing image
  • the processor is configured to determine the image feature according to location information of the image feature information in the first target image and bit information of the image feature information in the second target image. a transformation matrix of information in each of the second target images, relative to a position of the image feature information in the first target image; smoothing the transformation matrix; and transforming according to the smoothing process The matrix corrects the position of the pixel points in the second target image.
  • the processor is configured to determine, according to location information of the image feature information in the first target image and bit information of the image feature information in the second target image, by using a Homography algorithm. a transformation matrix of the position of the image feature information in each of the second target images relative to the position of the image feature information in the first target image.
  • the processor is configured to perform smoothing on the transform matrix by using mean filtering, Gaussian filtering, or Kalman filtering.
  • the processor is configured to determine a size of the sliding window based on a running speed of the movable device, and acquire a specific number of sheets before the target image and the target image according to the size of the sliding window. Then, a transformation matrix of the specific number of target images; and a transformation matrix of the target image, and a transformation matrix of a specific number of sheets before the target image and a specific number of target images after the target image are subjected to mean filtering.
  • the size of the sliding window is inversely proportional to the operating speed of the movable device.
  • the processor before performing the smoothing process on the transformation matrix, the processor is further configured to: according to the location information of the image feature information in each second target image, for each second target image
  • the transformation matrix performs nonlinear optimization processing.
  • the image stabilization device is disposed on a movable device that is in a hovering state or whose running speed is less than or equal to a preset speed threshold.
  • the storage medium may be a magnetic disk, an optical disk, a read-only memory (ROM), or a random access memory (RAM).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像增稳方法和装置，应用于可移动设备，所述方法包括：获取可移动设备的云台相机针对同一目标在不同时刻采集的图像；从获取的每一图像中提取图像特征信息；针对每一图像特征信息，从获取的所有图像中确定该图像特征信息相关联的第一目标图像和第二目标图像，第一目标图像的采集时刻在第二目标图像的采集时刻之前；针对确定出的每一第二目标图像，依据该图像特征信息在第一目标图像中的位置信息、以及该图像特征信息在第二目标图像中的位置信息矫正该第二目标图像中的像素点的位置。基于视觉算法获取各图像特征信息的运动轨迹，再根据各图像特征信息的运动轨迹矫正对应图像像素点的位置，完成图像的增稳处理。

Description

图像增稳方法和装置 技术领域
本发明涉及图像处理领域，尤其涉及一种图像增稳方法和装置。
背景技术
现有航拍飞行器一般配有云台(相机的机械增稳模块)，云台对于短时间内(几秒内或者几十毫秒内)的抖动，能够获得比较好的增稳效果，但对于长时间拍摄，例如延时摄影(隔一段时间拍摄一张图像，最后合成视频，比如常见的花朵开放过程)，这样一段时间内，云台难免会发生一些偏移，造成拍摄的图片并不能非常好的对齐，合成延时视频后出现一些振动。对于长时间拍摄，云台并不能很好的实现增稳的效果。对于此，常规做法是将云台相机拍摄的图像导入PC，使用PC处理视频增稳的方式，但这种方式的实现较为麻烦。
发明内容
本发明提供一种图像增稳方法和装置。
具体地，本发明是通过如下技术方案实现的：
根据本发明的第一方面，提供一种图像增稳方法，应用于可移动设备，所述方法包括：
获取所述可移动设备的云台相机针对同一目标在不同时刻采集的图像；
从获取的每一图像中提取图像特征信息；
针对每一图像特征信息，从获取的所有图像中确定该图像特征信息相关联的第一目标图像和第二目标图像，其中所述第一目标图像的采集时刻在所述第二目标图像的采集时刻之前；
针对确定出的每一第二目标图像，依据该图像特征信息在第一目标图像中的位置信息、以及该图像特征信息在第二目标图像中的位置信息矫正该第二目标图像中的像素点的位置。
根据本发明的第二方面，提供一种图像增稳装置，应用于可移动设备，所述装置包括：
存储装置和处理器；
所述存储装置，用于存储程序指令；
所述处理器，调用所述程序指令，当所述程序指令被执行时，用于：
获取所述可移动设备的云台相机针对同一目标在不同时刻采集的图像；
从获取的每一图像中提取图像特征信息；
针对每一图像特征信息，从获取的所有图像中确定该图像特征信息相关联的第一目标图像和第二目标图像，其中所述第一目标图像的采集时刻在所述第二目标图像的采集时刻之前；
针对确定出的每一第二目标图像，依据该图像特征信息在第一目标图像中的位置信息、以及该图像特征信息在第二目标图像中的位置信息矫正该第二目标图像中的像素点的位置。
由以上本发明实施例提供的技术方案可见，本发明基于视觉算法获取各图像特征信息的运动轨迹，再根据各图像特征信息的运动轨迹矫正对应图像的像素点的位置，从而完成图像的增稳处理。并且，本发明的图像增稳过程是在线完成的，无需后期通过其他设备处理，图像增稳实现更加方便快捷。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中的一种图像增稳方法的流程示意图；
图2是本发明一实施例中的一种图像增稳方法的应用场景图；
图3是本发明另一实施例中的一种图像增稳方法的流程示意图；
图4是本发明又一实施例中的一种图像增稳方法的流程示意图；
图5是本发明还一实施例中的一种图像增稳方法的流程示意图；
图6是本发明还一实施例中的一种图像增稳方法的流程示意图；
图7是本发明一实施例中的一种图像增稳装置的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，对本发明的图像增稳方法和装置进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
图1为本发明实施例提供的一种图像增稳方法的流程示意图。本实施例的图像增稳方法的执行主体为可移动设备，可选地，所述图像增稳方法的执行主体为所述可移动设备的处理器。
本实施例中，所述图像增稳方法可应用于处于悬停状态的可移动设备，可以应用于处于飞行状态的可移动设备。当所述图像增稳方法应用于处于飞行状态的可移动设备上时，优选地，所述可移动设备的运行速度小于等于预设速度阈值。本发明实施例对该预设速度阈值不作具体限定，可根据需要设定所述预设速度阈值。
进一步地，所述可移动设备可以为无人机，也可以为其他搭载有云台相机的设备，例如无人车、无人船、VR/AR眼镜等。例如，在一实施例中，参见图2，所述可移动设备为无人机。所述无人机包括飞行控制器100、云台200和云台相机300，其中，云台相机300通过云台200搭载在无人机的机身上。本实施例的图像增稳方法的执行主体可以为设于所述无人机上的图像处理单元，所述图像处理单元与所述飞行控制器100和/或所述云台200的控制器和/或所述云台相机300的控制器电连接。
所述云台200可以为一轴或两轴云台，也可以为三轴云台或四轴云台。本实施例的云台相机300不限于传统意义上的相机，具体而言，所述云台相机300可以为影像捕获设备或者摄像设备(如相机、摄录机、红外线摄像设备、紫外线摄像设备或者类似的设备)，音频捕获装置(例如，抛物面反射传声器)，红外线摄像设备等，所述云台相机300可以提供静态感应数据(如图片)或者动态感应数据(如视频)。
所述云台200与所述飞行控制器100通信连接，例如，基于CAN总线(Controller Area Network，控制器局域网络)或者其他方式通信连接。可通过飞行控制器100控制云台200的转动，从而控制挂载在云台200上的云台相机300的转动。此外，在某些实施例中，所述云台相机300与所述飞行控制器100通信连接，例如，所述云台相 机300与所述飞行控制器100直接通信连接，或者，所述云台相机300通过所述云台200与所述飞行控制器100通信连接。可通过飞行控制器100控制云台相机300的工作、从所述云台相机300获取拍摄画面等。
本实施例中，无人机可以包括动力机构400。其中，动力机构400可以包括一个或者多个旋转体、螺旋桨、桨叶、电机、电子调速器等。例如，所述动力机构400的旋转体可以是自紧固(self-tightening)旋转体、旋转体组件、或者其它的旋转体动力单元。无人机可以有一个或多个动力机构400。所有的动力机构400可以是相同的类型。可选的，一个或者多个动力机构400可以是不同的类型。动力机构400可以通过合适的手段安装在无人机上，如通过支撑元件(如驱动轴)。动力机构400可以安装在无人机任何合适的位置，如顶端、下端、前端、后端、侧面或者其中的任意结合。通过控制一个或多个动力机构400，以控制无人机的飞行。
在某些实施例中，所述无人机可与终端500通信连接(例如，飞行控制器100与终端500通信连接)，终端500可以向无人机、云台200及云台相机300中的一个或者多个提供控制数据，并且从无人机、云台及负载云台相机300中的一个或者多个中接收信息(如无人机、云台200或者云台相机300的位置及/或运动信息，云台相机300捕获的影像数据)。在本实施例中，图像处理单元在执行本实施例的图像增稳方法之后，可将所获得的增稳图像发送至所述终端500。
以下实施例将对图像增稳方法进行详细描述。如图1所示，所述图像增稳方法可以包括以下步骤：
步骤S101：获取所述可移动设备的云台相机300针对同一目标在不同时刻采集的图像。
在一实施例中，所述可移动设备处于悬停状态。在确定拍摄间隔后，可移动设备会控制其上的云台相机300按照所述拍摄间隔采集目标图像。在另一实施例中，所述可以设备处于飞行状态。在确定飞行路径、运行速度和拍摄间隔后，可移动设备会根据所确定的飞行路径和运行速度飞行，比如，绕行一栋建筑，接着，可移动设备控制其上的云台相机300按照所述拍摄间隔采集目标图像。本实施例中，飞行路径和运行速度可由用户预先设定，也可以为默认的飞行路径和运行速度。
上述实施例中，拍摄间隔可根据需要设定，例如，拍摄间隔为2s，云台相机300每隔2s拍摄拍摄一张所述目标的图像。
本实施例中，可移动设备会记录每一张图像的拍摄时刻t1、t2、t3….，其中，t1、t2、t3….是按照每一张图像的拍摄时刻的先后顺序排列的。
需要说明的是，本实施例中，所述可移动设备执行步骤S101可以与云台相机300针对同一目标在不同时刻采集图像的同时进行，也可以在云台相机300针对同一目标在不同时刻采集图像执行完毕后进行。
步骤S102：从获取的每一图像中提取图像特征信息。
为减少计算量，本实施例的可移动设备会从获取的每一图像中提取图像特征信息。具体地，基于稀疏算法从获取的每一图像中提取图像特征信息。
在一实施例中，所述图像特征信息为角点(Corner detection)信息，所述稀疏算法为角点检测算法。本实施例中，角点检测算法可以为FAST(features from accelerated segment test)、SUSAN(Small univalue segment assimilating nucleus)、Harris(Harris Corner detection algorithms)或者其他角度检测算法。以角点检测算法为Harris为例来说明角点信息的提取过程。
定义矩阵A为构造张量，A的计算公式如下：
Figure PCTCN2018084812-appb-000001
其中，w(u,v)为窗函数，u为窗函数的宽度，v为窗函数的高度，I x和I y分别为图像上某一点(x，y)在X轴和Y轴的梯度信息。
定义角点响应函数Mc为：
M c＝λ 1λ 2-k(λ 1+λ 2) 2＝det(A)-ktrace 2(A)   (2)
公式(2)中，det(A)为矩阵A的行列式，trace(A)为矩阵A的迹，k为调节灵敏度的参数(tunable sensitivity parameter)。设定阈值M th，当M c>M th时，认为此点为角点。其中，M th可根据实际需求设定。
在其他实施例中，所述图像特征信息也可以为其他可以表征图像特征的信息，比如，边缘信息。
步骤S103：针对每一图像特征信息，从获取的所有图像中确定该图像特征信息相关联的第一目标图像和第二目标图像，其中，所述第一目标图像和所述第二目标 图像均包含该图像特征信息，并且，所述第一目标图像的采集时刻在所述第二目标图像的采集时刻之前。
本实施例中，采集时刻即云台相机300的拍摄时刻。
执行完该步骤后，即可以获得一系列图像特征信息的运动轨迹，例如，对于图像特征信息A，从第一张图像(即云台相机300在t1时刻所拍摄的图像)至第m(m为正整数)张图像的位置信息；对于图像特征信息B，从第5张图像至第n(n为正整数)张图像(即最后一张图像)的位置信息等等。
在一些例子中，所述第一目标图像为该图像特征信息首次出现的图像，所述第二目标图像为除所述首次出现的图像之外的其他包含该图像特征信息的图像，从而以首次出现的图像作为参照，对除所述首次出现的图像之外的其他包含该图像特征信息的图像进行增稳处理。而在另一些例子中，所述第一目标图像也可以为首次出现该图像特征信息的图像和最后一次出现该图像特征信息的图像之间的任意一张图像，所述第二目标图像为采集时刻位于所述第一目标图像之后的包含该图像特征信息的图像。而在其他一些例子中，所述第一目标图像为根据预设规则在所获取的所有图像中首次选定的包含该图像特征信息的图像，所述第二目标图像为所获取的所有图像中除所述首次选定的包含该图像特征信息的图像之外的其他包含该图像特征信息的、并且采集时刻位于所述第一目标图像之后的图像。
参见图3，步骤S103具体包括：针对每一图像特征信息，基于特征点跟踪算法从获取的所有图像中确定该图像特征信息相关联的第一目标图像和第二目标图像。通过特征点跟踪算法跟踪不同时刻的图像之间的图像特征信息，以便计算各图像特征信息的图像特征光流(移动情况)。本实施例的图像特征信息为角点信息，所述特征点跟踪算法为角点跟踪算法。具体地，所述角点跟踪算法为KLT(Kanade–Lucas–Tomasi feature tracker)，但不限于此。
进一步地，为加快各图像特征信息的匹配速度，即加快各图像特征信息的图像特征光流计算，参见图4，所述针对每一图像特征信息，基于特征点跟踪算法从获取的所有图像中确定该图像特征信息相关联的第一目标图像和第二目标图像包括以下步骤：
步骤S401：针对所述可移动设备在每一时刻的运动信息，预估每一图像特征信息在所有图像中的图像特征光流；
步骤S402：根据每一图像特征信息在所有图像中的图像特征光流和特征点跟踪算法，确定与每一图像特征信息相关联的第一目标图像和第二目标图像。
本实施例的可移动设备会记录每一张图像的拍摄时刻t1、t2、t3….，还会记录各个t1、t2、t3所对应的可移动设备的运动信息。在本实施例中，所述运动信息由所述可移动设备上的惯性导航系统检测获得。例如，当所述可移动设备为飞行器时，所述可移动设备的运动信息可以为飞行器的位姿信息。所述位姿信息可由所述飞行器上的IMU惯性测量单元、VO视觉里程计和GPS全球定位系统三者共同计算获得。
本实施例中，所述运动信息为所述云台相机300在两个相邻时刻所采集的两张图像之间的坐标变换关系矩阵。
在一具体实施例中，根据可移动设备在每一时刻的运动信息预估每一图像特征信息在所有图像中的图像特征光流的过程如下：
图像特征信息的投影变换公式为：
Figure PCTCN2018084812-appb-000002
公式(3)中，(x，y，z)像素在世界坐标系(包括X轴、Y轴和Z轴)中的三维点坐标，(u，v)为(x，y，z)在深度方向(即Z轴方向)的投影坐标；K为云台相机300内部参数矩阵，一般在相机出厂时标定完毕，其中
Figure PCTCN2018084812-appb-000003
α x＝fm x，α y＝fm y，f为云台相机300的焦距，m x、m y分别为X轴和Y轴方向上单位距离的像素数，γ为X轴和Y轴之间的畸变参数(例如，当云台相机300为CCD相机时，像素非正方形)，μ 0、v 0为光心位置；R为云台相机300在两个相邻时刻所采集的两张图像之间的坐标变换关系矩阵；d为当前图像特征信息的深度信息，t为量个相邻时刻所采集的两张图像之间的位移。
本实施例中，两张图像之间位移相比景物的距离可以忽略不计(例如，对于航拍场景，目标和云台相机300一般都比较远，所以两张图像之间位移相比景物的距离可以忽略不计)，即只考虑R而不考虑t，那么公式(3)简写成：
Figure PCTCN2018084812-appb-000004
本实施例中，d对最后结果无影响，所以公式(4)简写成：
Figure PCTCN2018084812-appb-000005
本实施例中，K为云台相机300内部参数矩阵，由云台相机300出厂时标定，R由可移动设备的惯性导航系统检测获得，这样就能根据此图像特征信息在当前图像中的位置p估计下一张图像中的大致位置p’，其中当前图像和下一张图像为云台相机300在相邻两个时刻采集的图像，再使用特征点跟踪算法在下一张图像中进行精确查找，即可加快匹配速度。
另外，在步骤S103之后，所述图像增稳方法还可以包括：针对确定出的每一第二目标图像，根据特征点跟踪算法，确定该图像特征信息在当前第二目标图像中的位置与该图像特征信息在与当前第二目标图像相邻的上一时刻的第二目标图像中的位置或所述第一目标图像之间的偏移量(displacement between two images)；根据所述偏移量，确定当前第二目标图像相关联的图像特征信息在当前第二目标图像中的位置信息是否准确，即可确定每一图像特征信息的运动轨迹是否准确。具体地，所述根据所述偏移量，确定所述当前目标图像相关联的图像特征信息在当前第二目标图像中的位置信息是否准确包括：针对确定出的每一第二目标图像，根据征点跟踪算法，确定该图像特征信息从上一时刻的第二目标图像或所述第一目标图像中的位置移动至当前第二目标图像中的位置之间的第一偏移量；针对确定出的每一第二目标图像，根据征点跟踪算法，确定该图像特征信息从当前第二目标图像中的位置移动至上一时刻的第二目标图像或所述第一目标图像中的位置的第二偏移量；根据所述第一偏移量和所述第二偏移量，确定该图像特征信息在当前目标图像中的位置信息是否准确。
在一具体实施例中，设定h作为前后两张图像(两张第二目标图像或者第一目标图像和第二图像)的偏移量，两张图像分别为F(x)和G(x)＝F(x+h)，其中，F(x)为当前张图像，G(x)为下一张图像，F(x)和G(x)的采集时刻相邻并且F(x)的采集时刻在G(x)的采集时刻之前。针对F(x)所包含的每个图像特征信息，通过下述公式(6)迭代可以得到每一图像特征信息在前后两张图像的偏移量h：
Figure PCTCN2018084812-appb-000006
公式(6)中，h 0为每一图像特征信息首次出现的图像(即第一目标图像)的偏移量，h k+1为第k张第二目标图像所包含的图像特征信息在第k张第二目标图像和第k-1张第二目标图像的偏移量，w(x)为窗函数，x为图像特征信息。
本实施例中，先令后一张图像为F(x)，前一张图像为G(x)，算出某一个图像特征信息在后一张图像中的位置相对于前一张图像中的位置的第一偏移量h，再反过来，计算该图像特征信息在前一张图像的位置相对于后一张图像中的位置的第二偏移h’，理论上h＝-h’，满足此条件，则说明该图像特征信息在当前目标图像中的位置信息正确。实际上，本实施例中，|h-h’|在允许的误差范围内时，均认为该图像特征信息在当前目标图像中的位置信息准确；若|h-h’|在允许的误差范围外时，则认为该图像特征信息在当前目标图像中的位置信息不准确，需要重新追踪以确定该图像特征信息在当前图像中的准确位置信息。
步骤S104：针对确定出的每一第二目标图像，依据该图像特征信息在第一目标图像中的位置信息、以及该图像特征信息在第二目标图像中的位置信息矫正该第二目标图像中的像素点的位置。
本实施例以所述第一目标图像为该图像特征信息首次出现的图像，所述第二目标图像为除所述首次出现的图像之外的其他包含该图像特征信息的图像为例进一步说明。
参见图5，步骤S104具体可包括如下步骤：
步骤S501：根据该图像特征信息在所述第一目标图像中的位置信息以及该图像特征信息在每一第二目标图像中的位信息，确定该图像特征信息在每一第二目标图像中的位置、相对该图像特征信息在所述第一目标图像中的位置的变换矩阵；
步骤S502：对所述变换矩阵进行平滑处理；
步骤S503：根据平滑处理后的变换矩阵矫正该第二目标图像中的像素点的位置。
本实施例根据该图像特征信息在所述第一目标图像中的位置信息以及该图像特征信息在每一第二目标图像中的位信息，采用Homography算法确定该图像特征信 息在每一所述第二目标图像中的位置、相对该图像特征信息在所述第一目标图像中的位置的变换矩阵。具体地，每一张第二目标图像相对第一目标图像，均存在一个Homography矩阵记为H n(即变换矩阵)，每一图像特征信息都有一个理论位置p i＝[u i,v i](即使用Hn，将此图像特征信息从首次出现该图像特征信息的图像投影到第某一张图片n上得到的像素坐标)。
进一步，本实施例可采用均值滤波、高斯滤波、卡尔曼滤波或者其他现有滤波方式对所述变换矩阵进行平滑处理，实现每一第二目标图像的变换矩阵的平滑。以均值滤波进一步说明对每一第二目标图像的变换矩阵进行平滑处理的过程。
具体地，参见图6，采用均值滤波对所述变换矩阵进行平滑处理包括如下步骤：
步骤S601：基于所述可移动设备的运行速度，确定滑动窗口(Sliding Window)的大小；
步骤S602：根据所述滑动窗口的大小，获取该目标图像之前特定张数、和该目标图像之后特定张数目标图像的变换矩阵；
步骤S603：对该目标图像的变换矩阵、以及该目标图像之前特定张数、和该目标图像之后特定张数目标图像的变换矩阵进行均值滤波。
本实施例中，所述滑动窗口的大小与所述可移动设备的运行速度成反比，即可移动设备的运行速度越快，云台的抖动越大，故滑动窗口的大小越小，使得平滑效果越好；可移动设备的运行速度较慢时，云台的抖动较小，故滑动窗口的大小越大，以减少计算量。
在一具体实施例中，对H n进行时域上的平滑以获得平滑后的矩阵
Figure PCTCN2018084812-appb-000007
过程如下：
首先，滑动窗口的大小S可以采用下式(7)计算，但不限于此：
Figure PCTCN2018084812-appb-000008
公式(7)中，v为可移动设备的运行速度，可通过所述可移动设备的IMU模块获取；K 1为经验值。并且，本实施例中，为了防止S过大，给出了最大限制S max。其中，S max可根据实际需求设定。
针对某一张第二目标图像的H n，根据S，向前向后各取S/2张图像的 H n-1H n+1H n-2H n+2…H n-S/2H n+S/2，并做按照公式(8)进行平滑处理：
Figure PCTCN2018084812-appb-000009
公式(8)中，N为所获取的图像的总张数(即针对某一张第二目标图像的H n，根据S，向前向后各取S/2张图像的张数+1)，i为所获取的图像中的某一张第二目标图像。
使用平滑后的
Figure PCTCN2018084812-appb-000010
计算得到每一第二目标图像的平滑运动轨迹
Figure PCTCN2018084812-appb-000011
的公式如下：
Figure PCTCN2018084812-appb-000012
公式(9)中，p i为各图像特征信息的理论位置。
本实施例的运动轨迹track n,i(步骤S103获得的图像特征信息i的运动轨迹)以及平滑后的运动轨迹的
Figure PCTCN2018084812-appb-000013
均是针对步骤S102中提取的图像特征信息的，需要扩展到每一第二目标图像，即对每一第二目标图像中的其他特征信息(除步骤S102提取的图像特征信息之外的像素点)也要进行平滑矫正，采用下述数学公式(10)描述此过程：
Figure PCTCN2018084812-appb-000014
公式(10)中，W n为每一第二目标图像的窗函数，track n为每一第二目标图像的像素点的运动轨迹，
Figure PCTCN2018084812-appb-000015
为每一第二目标图像的像素点的平滑运动轨迹。至此，对每一第二目标图像的所有像素点均进行了平滑处理，从而获得流畅的视频流。
进一步地，在本实施例中，对所述变换矩阵进行平滑处理之前，所述图像增稳方法还可以包括：根据该图像特征信息在每一第二目标图像中的位置信息，对每一第二目标图像的变换矩阵进行非线性最优化处理。即使用H n与p i，针对每一第二目标图像，使用H n投影的理论点p i，与实际使用特征点跟踪算法提取的图像特征信息的位置信息之间误差最小化，采用下述数学公式(11)描述此过程：
Figure PCTCN2018084812-appb-000016
公式(11)中，T n,i为步骤S103获得的图像特征信息i的运动轨迹。
本发明实施例基于视觉算法获取各图像特征信息的运动轨迹，再根据各图像特征信息的运动轨迹矫正对应图像的像素点的位置，从而完成图像的增稳处理。并且，本发明的图像增稳过程是在线完成的，无需后期通过其他设备处理，图像增稳实现更加方便快捷。
图7是本发明实施例的一种图像增稳装置的结构框图。参见图7，该图像增稳装置包括：处理器以及存储装置。
所述存储装置可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储装置也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；存储装置还可以包括上述种类的存储器的组合。
所述处理器可以是中央处理器(central processing unit，CPU)。所述处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。
可选地，所述存储器还用于存储程序指令。所述处理器可以调用所述程序指令，实现如本发明图1、图3至图6实施例中所示的相应方法。
所述处理器，调用所述存储装置中存储的程序指令，当所述程序指令被执行时，用于：
获取所述可移动设备的云台相机300针对同一目标在不同时刻采集的图像；
从获取的每一图像中提取图像特征信息；
针对每一图像特征信息，从获取的所有图像中确定该图像特征信息相关联的第一目标图像和第二目标图像；
针对确定出的每一第二目标图像，依据该图像特征信息在第一目标图像中的位置信息、以及该图像特征信息在第二目标图像中的位置信息矫正该第二目标图像中的 像素点的位置。
在一实施例中，所述处理器，用于基于稀疏算法从获取的每一图像中提取图像特征信息。
在一实施例中，所述图像特征信息为角点信息，所述稀疏算法为角点检测算法。
在一实施例中，所述角点检测算法为FAST、SUSAN或Harris。
在一实施例中，所述处理器，用于针对每一图像特征信息，基于特征点跟踪算法从获取的所有图像中确定该图像特征信息相关联的第一目标图像和第二目标图像。
在一实施例中，所述处理器，用于针对所述可移动设备在每一时刻的运动信息，预估每一图像特征信息在所有图像中的图像特征光流；根据每一图像特征信息在所有图像中的图像特征光流和特征点跟踪算法，确定与每一图像特征信息相关联的第一目标图像和第二目标图像。
在一实施例中，所述运动信息由所述可移动设备上的惯性导航系统检测获得。
在一实施例中，所述运动信息为所述云台相机300在两个相邻时刻所采集的两张图像之间的坐标变换关系矩阵。
在一实施例中，所述图像特征信息为角点信息，所述特征点跟踪算法为角点跟踪算法。
在一实施例中，所述角点跟踪算法为KLT。
在一实施例中，所述处理器在针对每一图像特征信息，从采集的所有图像中确定该图像特征信息相关联的第一目标图像和第二目标图像之后，还用于针对确定出的每一第二目标图像，根据特征点跟踪算法，确定该图像特征信息在当前第二目标图像中的位置与该图像特征信息在与当前第二目标图像相邻的上一时刻的第二目标图像中的位置或所述第一目标图像之间的偏移量；根据所述偏移量，确定当前第二目标图像相关联的图像特征信息在当前第二目标图像中的位置信息是否准确。
在一实施例中，所述处理器，用于针对确定出的每一第二目标图像，根据征点跟踪算法，确定该图像特征信息从上一时刻的第二目标图像或所述第一目标图像中的位置移动至当前第二目标图像中的位置之间的第一偏移量；针对确定出的每一第二目标图像，根据征点跟踪算法，确定该图像特征信息从当前第二目标图像中的位置移动至上一时刻的第二目标图像或所述第一目标图像中的位置的第二偏移量；根据所述第 一偏移量和所述第二偏移量，确定该图像特征信息在当前目标图像中的位置信息是否准确。
在一实施例中，所述第一目标图像为该图像特征信息首次出现的图像，所述第二目标图像为除所述首次出现的图像之外的其他包含该图像特征信息的图像。
在一实施例中，所述处理器，用于根据该图像特征信息在所述第一目标图像中的位置信息以及该图像特征信息在所述第二目标图像中的位信息，确定该图像特征信息在每一所述第二目标图像中的位置、相对该图像特征信息在所述第一目标图像中的位置之间的变换矩阵；对所述变换矩阵进行平滑处理；根据平滑处理后的变换矩阵矫正该第二目标图像中的像素点的位置。
在一实施例中，所述处理器，用于根据该图像特征信息在所述第一目标图像中的位置信息以及该图像特征信息在所述第二目标图像中的位信息，采用Homography算法确定该图像特征信息在每一所述第二目标图像中的位置、相对该图像特征信息在所述第一目标图像中的位置之间的变换矩阵。
在一实施例中，所述处理器，用于采用均值滤波、高斯滤波或卡尔曼滤波对所述变换矩阵进行平滑处理。
在一实施例中，所述处理器，用于基于所述可移动设备的运行速度，确定滑动窗口的大小；根据所述滑动窗口的大小，获取该目标图像之前特定张数、和该目标图像之后特定张数目标图像的变换矩阵；对该目标图像的变换矩阵、以及该目标图像之前特定张数、和该目标图像之后特定张数目标图像的变换矩阵进行均值滤波。
在一实施例中，所述滑动窗口的大小与所述可移动设备的运行速度成反比。
在一实施例中，所述处理器在对所述变换矩阵进行平滑处理之前，还用于：根据该图像特征信息在每一第二目标图像中的位置信息，对每一第二目标图像的变换矩阵进行非线性最优化处理。
在一实施例中，所述图像增稳装置设于处于悬停状态或者运行速度小于等于预设速度阈值的可移动设备上。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记 忆体(Random Access Memory，RAM)等。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (40)

  1. 一种图像增稳方法，其特征在于，应用于可移动设备，所述方法包括：
    获取所述可移动设备的云台相机针对同一目标在不同时刻采集的图像；
    从获取的每一图像中提取图像特征信息；
    针对每一图像特征信息，从获取的所有图像中确定该图像特征信息相关联的第一目标图像和第二目标图像，其中所述第一目标图像的采集时刻在所述第二目标图像的采集时刻之前；
    针对确定出的每一第二目标图像，依据该图像特征信息在第一目标图像中的位置信息、以及该图像特征信息在第二目标图像中的位置信息矫正该第二目标图像中的像素点的位置。
  2. 根据权利要求1所述的方法，其特征在于，所述从获取的每一图像中提取图像特征信息，包括：
    基于稀疏算法从获取的每一图像中提取图像特征信息。
  3. 根据权利要求2所述的方法，其特征在于，所述图像特征信息为角点信息，所述稀疏算法为角点检测算法。
  4. 根据权利要求3所述的方法，其特征在于，所述角点检测算法为FAST、SUSAN或Harris。
  5. 根据权利要求1至4任一项所述的方法，其特征在于，所述针对每一图像特征信息，从获取的所有图像中确定该图像特征信息相关联的第一目标图像和第二目标图像，包括：
    针对每一图像特征信息，基于特征点跟踪算法从获取的所有图像中确定该图像特征信息相关联的第一目标图像和第二目标图像。
  6. 根据权利要求5所述的方法，其特征在于，所述针对每一图像特征信息，基于特征点跟踪算法从获取的所有图像中确定该图像特征信息相关联的第一目标图像和第二目标图像，包括：
    针对所述可移动设备在每一时刻的运动信息，预估每一图像特征信息在所有图像中的图像特征光流；
    根据每一图像特征信息在所有图像中的图像特征光流和特征点跟踪算法，确定与每一图像特征信息相关联的第一目标图像和第二目标图像。
  7. 根据权利要求6所述的方法，其特征在于，所述运动信息由所述可移动设备上的惯性导航系统检测获得。
  8. 根据权利要求6所述的方法，其特征在于，所述运动信息为所述云台相机在两个相邻时刻所采集的两张图像之间的坐标变换关系矩阵。
  9. 根据权利要求5所述的方法，其特征在于，所述图像特征信息为角点信息，所述特征点跟踪算法为角点跟踪算法。
  10. 根据权利要求9所述的方法，其特征在于，所述角点跟踪算法为KLT。
  11. 根据权利要求1至4任一项所述的方法，其特征在于，所述针对每一图像特征信息，从采集的所有图像中确定该图像特征信息相关联的第一目标图像和第二目标图像之后，还包括：
    针对确定出的每一第二目标图像，根据特征点跟踪算法，确定该图像特征信息在当前第二目标图像中的位置与该图像特征信息在与当前第二目标图像相邻的上一时刻的第二目标图像中的位置或所述第一目标图像之间的偏移量；
    根据所述偏移量，确定当前第二目标图像相关联的图像特征信息在当前第二目标图像中的位置信息是否准确。
  12. 根据权利要求11所述的方法，其特征在于，所述根据所述偏移量，确定所述当前目标图像相关联的图像特征信息在当前第二目标图像中的位置信息是否准确，包括：
    针对确定出的每一第二目标图像，根据征点跟踪算法，确定该图像特征信息从上一时刻的第二目标图像或所述第一目标图像中的位置移动至当前第二目标图像中的位置之间的第一偏移量；
    针对确定出的每一第二目标图像，根据征点跟踪算法，确定该图像特征信息从当前第二目标图像中的位置移动至上一时刻的第二目标图像或所述第一目标图像中的位置的第二偏移量；
    根据所述第一偏移量和所述第二偏移量，确定该图像特征信息在当前目标图像中的位置信息是否准确。
  13. 根据权利要求1所述的方法，其特征在于，所述第一目标图像为该图像特征信息首次出现的图像，所述第二目标图像为除所述首次出现的图像之外的其他包含该图像特征信息的图像。
  14. 根据权利要求13所述的方法，其特征在于，所述针对确定出的每一第二目标图像，依据该图像特征信息在第一目标图像中的位置信息、以及该图像特征信息在第一目标图像中的位置信息矫正该第二目标图像中的像素点的位置，包括：
    根据该图像特征信息在所述第一目标图像中的位置信息以及该图像特征信息在每一第二目标图像中的位信息，确定该图像特征信息在每一第二目标图像中的位置、相对该图像特征信息在所述第一目标图像中的位置的变换矩阵；
    对所述变换矩阵进行平滑处理；
    根据平滑处理后的变换矩阵矫正该第二目标图像中的像素点的位置。
  15. 根据权利要求14所述的方法，其特征在于，所述根据该图像特征信息在所述第一目标图像中的位置信息以及该图像特征信息在每一第二目标图像中的位信息，确定该图像特征信息在每一所述第二目标图像中的位置、相对该图像特征信息在所述第一目标图像中的位置的变换矩阵，包括：
    根据该图像特征信息在所述第一目标图像中的位置信息以及该图像特征信息在每一第二目标图像中的位信息，采用Homography算法确定该图像特征信息在每一所述 第二目标图像中的位置、相对该图像特征信息在所述第一目标图像中的位置的变换矩阵。
  16. 根据权利要求14所述的方法，其特征在于，所述对所述变换矩阵进行平滑处理包括：
    采用均值滤波、高斯滤波或卡尔曼滤波对所述变换矩阵进行平滑处理。
  17. 根据权利要求16所述的方法，其特征在于，所述采用均值滤波对所述变换矩阵进行平滑处理包括：
    基于所述可移动设备的运行速度，确定滑动窗口的大小；
    根据所述滑动窗口的大小，获取该目标图像之前特定张数、和该目标图像之后特定张数目标图像的变换矩阵；
    对该目标图像的变换矩阵、以及该目标图像之前特定张数、和该目标图像之后特定张数目标图像的变换矩阵进行均值滤波。
  18. 根据权利要求17所述的方法，其特征在于，所述滑动窗口的大小与所述可移动设备的运行速度成反比。
  19. 根据权利要求14所述的方法，其特征在于，所述对所述变换矩阵进行平滑处理之前，还包括：
    根据该图像特征信息在每一第二目标图像中的位置信息，对每一第二目标图像的变换矩阵进行非线性最优化处理。
  20. 根据权利要求1所述的方法，其特征在于，所述方法应用于处于悬停状态或者运行速度小于等于预设速度阈值的可移动设备。
  21. 一种图像增稳装置，其特征在于，应用于可移动设备，所述装置包括：
    存储装置和处理器；
    所述存储装置，用于存储程序指令；
    所述处理器，调用所述程序指令，当所述程序指令被执行时，用于：
    获取所述可移动设备的云台相机针对同一目标在不同时刻采集的图像；
    从获取的每一图像中提取图像特征信息；
    针对每一图像特征信息，从获取的所有图像中确定该图像特征信息相关联的第一目标图像和第二目标图像；
    针对确定出的每一第二目标图像，依据该图像特征信息在第一目标图像中的位置信息、以及该图像特征信息在第二目标图像中的位置信息矫正该第二目标图像中的像素点的位置。
  22. 根据权利要求21所述的装置，其特征在于，所述处理器，用于：
    基于稀疏算法从获取的每一图像中提取图像特征信息。
  23. 根据权利要求22所述的装置，其特征在于，所述图像特征信息为角点信息，所述稀疏算法为角点检测算法。
  24. 根据权利要求23所述的装置，其特征在于，所述角点检测算法为FAST、SUSAN 或Harris。
  25. 根据权利要求21至24任一项所述的装置，其特征在于，所述处理器，用于：
    针对每一图像特征信息，基于特征点跟踪算法从获取的所有图像中确定该图像特征信息相关联的第一目标图像和第二目标图像。
  26. 根据权利要求25所述的装置，其特征在于，所述处理器，用于：
    针对所述可移动设备在每一时刻的运动信息，预估每一图像特征信息在所有图像中的图像特征光流；
    根据每一图像特征信息在所有图像中的图像特征光流和特征点跟踪算法，确定与每一图像特征信息相关联的第一目标图像和第二目标图像。
  27. 根据权利要求26所述的装置，其特征在于，所述运动信息由所述可移动设备上的惯性导航系统检测获得。
  28. 根据权利要求26所述的装置，其特征在于，所述运动信息为所述云台相机在两个相邻时刻所采集的两张图像之间的坐标变换关系矩阵。
  29. 根据权利要求25所述的装置，其特征在于，所述图像特征信息为角点信息，所述特征点跟踪算法为角点跟踪算法。
  30. 根据权利要求29所述的装置，其特征在于，所述角点跟踪算法为KLT。
  31. 根据权利要求21至24任一项所述的装置，其特征在于，所述处理器在针对每一图像特征信息，从采集的所有图像中确定该图像特征信息相关联的第一目标图像和第二目标图像之后，还用于：
    针对确定出的每一第二目标图像，根据特征点跟踪算法，确定该图像特征信息在当前第二目标图像中的位置与该图像特征信息在与当前第二目标图像相邻的上一时刻的第二目标图像中的位置或所述第一目标图像之间的偏移量；
    根据所述偏移量，确定当前第二目标图像相关联的图像特征信息在当前第二目标图像中的位置信息是否准确。
  32. 根据权利要求31所述的装置，其特征在于，所述处理器，用于：
    针对确定出的每一第二目标图像，根据征点跟踪算法，确定该图像特征信息从上一时刻的第二目标图像或所述第一目标图像中的位置移动至当前第二目标图像中的位置之间的第一偏移量；
    针对确定出的每一第二目标图像，根据征点跟踪算法，确定该图像特征信息从当前第二目标图像中的位置移动至上一时刻的第二目标图像或所述第一目标图像中的位置的第二偏移量；
    根据所述第一偏移量和所述第二偏移量，确定该图像特征信息在当前目标图像中的位置信息是否准确。
  33. 根据权利要求21所述的装置，其特征在于，所述第一目标图像为该图像特征信息首次出现的图像，所述第二目标图像为除所述首次出现的图像之外的其他包含该图像特征信息的图像。
  34. 根据权利要求33所述的装置，其特征在于，所述处理器，用于：
    根据该图像特征信息在所述第一目标图像中的位置信息以及该图像特征信息在所述第二目标图像中的位信息，确定该图像特征信息在每一所述第二目标图像中的位置、相对该图像特征信息在所述第一目标图像中的位置之间的变换矩阵；
    对所述变换矩阵进行平滑处理；
    根据平滑处理后的变换矩阵矫正该第二目标图像中的像素点的位置。
  35. 根据权利要求34所述的装置，其特征在于，所述处理器，用于：
    根据该图像特征信息在所述第一目标图像中的位置信息以及该图像特征信息在所述第二目标图像中的位信息，采用Homography算法确定该图像特征信息在每一所述第二目标图像中的位置、相对该图像特征信息在所述第一目标图像中的位置之间的变换矩阵。
  36. 根据权利要求34所述的装置，其特征在于，所述处理器，用于：
    采用均值滤波、高斯滤波或卡尔曼滤波对所述变换矩阵进行平滑处理。
  37. 根据权利要求36所述的装置，其特征在于，所述处理器，用于：
    基于所述可移动设备的运行速度，确定滑动窗口的大小；
    根据所述滑动窗口的大小，获取该目标图像之前特定张数、和该目标图像之后特定张数目标图像的变换矩阵；
    对该目标图像的变换矩阵、以及该目标图像之前特定张数、和该目标图像之后特定张数目标图像的变换矩阵进行均值滤波。
  38. 根据权利要求37所述的装置，其特征在于，所述滑动窗口的大小与所述可移动设备的运行速度成反比。
  39. 根据权利要求34所述的装置，其特征在于，所述处理器在对所述变换矩阵进行平滑处理之前，还用于：
    根据该图像特征信息在每一第二目标图像中的位置信息，对每一第二目标图像的变换矩阵进行非线性最优化处理。
  40. 根据权利要求21所述的装置，其特征在于，所述装置设于处于悬停状态或者运行速度小于等于预设速度阈值的可移动设备上。
PCT/CN2018/084812 2018-04-27 2018-04-27 图像增稳方法和装置 WO2019205087A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201880012006.7A CN110337668B (zh) 2018-04-27 2018-04-27 图像增稳方法和装置
PCT/CN2018/084812 WO2019205087A1 (zh) 2018-04-27 2018-04-27 图像增稳方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/084812 WO2019205087A1 (zh) 2018-04-27 2018-04-27 图像增稳方法和装置

Publications (1)

Publication Number Publication Date
WO2019205087A1 true WO2019205087A1 (zh) 2019-10-31

Family

ID=68139445

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/084812 WO2019205087A1 (zh) 2018-04-27 2018-04-27 图像增稳方法和装置

Country Status (2)

Country Link
CN (1) CN110337668B (zh)
WO (1) WO2019205087A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112514363A (zh) * 2019-12-17 2021-03-16 深圳市大疆创新科技有限公司 图像传输系统及方法、控制装置、可移动平台
CN111246100B (zh) * 2020-01-20 2022-03-18 Oppo广东移动通信有限公司 防抖参数的标定方法、装置和电子设备
CN117642571A (zh) * 2021-10-20 2024-03-01 深圳市大疆创新科技有限公司 云台控制方法、竖向增稳设备的控制方法、装置及云台
CN115047890B (zh) * 2022-08-17 2022-11-01 北京大学 无人船控制方法、设备及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060285724A1 (en) * 2005-06-20 2006-12-21 Ying-Li Tian Salient motion detection system, method and program product therefor
CN101383899A (zh) * 2008-09-28 2009-03-11 北京航空航天大学 一种空基平台悬停视频稳像方法
CN102708571A (zh) * 2011-06-24 2012-10-03 杭州海康威视软件有限公司 视频中剧烈运动的检测方法及其装置
CN103914065A (zh) * 2014-03-24 2014-07-09 深圳市大疆创新科技有限公司 飞行器状态实时修正的方法和装置
CN106529538A (zh) * 2016-11-24 2017-03-22 腾讯科技（深圳）有限公司 一种飞行器的定位方法和装置
CN106550174A (zh) * 2016-10-28 2017-03-29 大连理工大学 一种基于单应性矩阵的实时视频稳像方法
CN106713702A (zh) * 2017-01-19 2017-05-24 博康智能信息技术有限公司 一种视频图像抖动和摄像装置抖动判断方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060285724A1 (en) * 2005-06-20 2006-12-21 Ying-Li Tian Salient motion detection system, method and program product therefor
CN101383899A (zh) * 2008-09-28 2009-03-11 北京航空航天大学 一种空基平台悬停视频稳像方法
CN102708571A (zh) * 2011-06-24 2012-10-03 杭州海康威视软件有限公司 视频中剧烈运动的检测方法及其装置
CN103914065A (zh) * 2014-03-24 2014-07-09 深圳市大疆创新科技有限公司 飞行器状态实时修正的方法和装置
CN106550174A (zh) * 2016-10-28 2017-03-29 大连理工大学 一种基于单应性矩阵的实时视频稳像方法
CN106529538A (zh) * 2016-11-24 2017-03-22 腾讯科技（深圳）有限公司 一种飞行器的定位方法和装置
CN106713702A (zh) * 2017-01-19 2017-05-24 博康智能信息技术有限公司 一种视频图像抖动和摄像装置抖动判断方法及装置

Also Published As

Publication number Publication date
CN110337668A (zh) 2019-10-15
CN110337668B (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
WO2020014909A1 (zh) 拍摄方法、装置和无人机
US10871258B2 (en) Method and system for controlling gimbal
WO2019205087A1 (zh) 图像增稳方法和装置
WO2019119328A1 (zh) 一种基于视觉的定位方法及飞行器
WO2019113966A1 (zh) 一种避障方法、装置和无人机
CN110022444B (zh) 无人飞行机的全景拍照方法与使用其的无人飞行机
US20190018428A1 (en) Hover control
US11057604B2 (en) Image processing method and device
WO2021081707A1 (zh) 数据处理方法、装置、可移动平台及计算机可读存储介质
WO2018120350A1 (zh) 对无人机进行定位的方法及装置
US8391542B2 (en) Method for estimating the pose of a PTZ camera
CN108235815B (zh) 摄像控制装置、摄像装置、摄像系统、移动体、摄像控制方法及介质
JP2015535980A (ja) 特に装置に係る視覚ベースの位置決めに使用される画像処理方法
WO2021184302A1 (zh) 图像处理方法、装置、成像设备、可移动载体及存储介质
WO2022077296A1 (zh) 三维重建方法、云台负载、可移动平台以及计算机可读存储介质
WO2020198963A1 (zh) 关于拍摄设备的数据处理方法、装置及图像处理设备
US20210097696A1 (en) Motion estimation methods and mobile devices
Greatwood et al. Perspective correcting visual odometry for agile mavs using a pixel processor array
WO2020237478A1 (zh) 一种飞行规划方法及相关设备
CN113436267B (zh) 视觉惯导标定方法、装置、计算机设备和存储介质
TWI726536B (zh) 影像擷取方法及影像擷取設備
JP2016223934A (ja) 位置補正システム、位置補正方法、および位置補正プログラム
EP3718302B1 (en) Method and system for handling 360 degree image content
WO2021056411A1 (zh) 航线调整方法、地面端设备、无人机、系统和存储介质
US10721419B2 (en) Ortho-selfie distortion correction using multiple image sensors to synthesize a virtual image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18916172

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18916172

Country of ref document: EP

Kind code of ref document: A1