WO2017166081A1 - 终端的图像配准方法、装置和终端 - Google Patents

终端的图像配准方法、装置和终端 Download PDF

Info

Publication number
WO2017166081A1
WO2017166081A1 PCT/CN2016/077782 CN2016077782W WO2017166081A1 WO 2017166081 A1 WO2017166081 A1 WO 2017166081A1 CN 2016077782 W CN2016077782 W CN 2016077782W WO 2017166081 A1 WO2017166081 A1 WO 2017166081A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
motion vector
registration
time
video sequence
Prior art date
Application number
PCT/CN2016/077782
Other languages
English (en)
French (fr)
Inventor
陈刚
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to US16/090,451 priority Critical patent/US10832425B2/en
Priority to PCT/CN2016/077782 priority patent/WO2017166081A1/zh
Priority to EP16895862.7A priority patent/EP3429186B1/en
Priority to CN201680025604.9A priority patent/CN107534736B/zh
Publication of WO2017166081A1 publication Critical patent/WO2017166081A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Definitions

  • the present invention relates to image processing technologies, and in particular, to an image registration method, apparatus, and terminal for a terminal.
  • the high-end camera is equipped with a larger sensor, the captured image has a higher quality.
  • the high-end camera sensor is usually faced with a large size, which leads to a thicker mobile phone body, which affects the user's carrying and using feel.
  • image 3D display wide-angle shooting, night noise reduction, increased depth of field, and so on.
  • image registration is usually required, that is, two or more images of the same scene taken at the same time.
  • the alignment is performed because the two cameras are usually arranged side by side, and thus the two frames of the captured image have parallax. After aligning two frames of images, two frames of images can be combined according to the characteristics of different cameras to obtain higher quality images or other functions.
  • an optical flow algorithm or a block matching algorithm is usually used to align two frames of images.
  • these two algorithms have higher complexity and slower processing speed.
  • the shooting speed is much larger than the registration speed of the two algorithms, and the captured image cannot be displayed to the user in real time. .
  • the embodiment of the invention provides a method, a device and a terminal for image registration of a terminal, so as to overcome the problem that the processing speed of the existing image registration method is slow, and the image processing result cannot be displayed to the user in real time and applied to video shooting.
  • an embodiment of the present invention provides an image registration method for a terminal, where the terminal includes the first The camera and the second camera, the first camera and the second camera are arranged side by side and work simultaneously, the method comprising:
  • the second time is the time before the first time; the image registration processing is performed on the first image and the third image to obtain the second motion vector U of the first image relative to the third image; and the fourth image is obtained relative to the second image a third motion vector W; obtaining a registration result according to the first motion vector V, the second motion vector U, and the third motion vector W,
  • the above method obtains the registration result of the current image of two frames according to the first motion vector V, the second motion vector U, and the third motion vector W.
  • the first motion vector V is the motion vector that has been acquired, and does not occupy the processing time
  • the second motion vector U and the third motion vector W are image registrations respectively for images with two time frames that have no time difference shooting time. Therefore, the acquisition speed is faster, so that the real-time registration of the two frames of images can be realized in the process of the video capture by the camera, which provides a reference for the further processing of the subsequent image.
  • the image registration method provided by the embodiment of the present application can be applied. In video capture of a terminal including at least two cameras, the processed image is displayed to the user in real time.
  • the process of acquiring the third motion vector W specifically includes:
  • the third motion vector can be quickly obtained, thereby improving the image registration speed; or the third motion vector can be obtained by using the global image registration algorithm, and the accuracy can be quickly obtained. Image registration results.
  • the process of obtaining the registration result specifically includes:
  • determining the available first motion Before the vector V it also includes:
  • the process of obtaining the second motion vector U specifically includes:
  • the first image and the third image are subjected to image registration processing by using a global image registration algorithm to obtain a second motion vector U of the first image relative to the third image.
  • the process of acquiring the first motion vector V includes:
  • the third image and the fourth image acquired at the end of the process of image registration processing are adopted.
  • An optical flow algorithm or a block matching algorithm performs image registration processing to obtain a first motion vector V of the third image relative to the fourth image; wherein the fifth image is an image captured at the third moment in the first video sequence, The six images are images captured at the third time in the second video sequence, and the third time is the time before the second time.
  • the new first motion vector generation process is started according to the new two-frame image acquired at the generation time, so that each time the currently available first motion vector is obtained is the closest first.
  • the motion vector ensures the accuracy of image registration.
  • the third image is spaced from the first image
  • the N frame image is separated by an N frame image between the fourth image and the second image, where N is a positive integer.
  • the value of N is proportional to the shooting frame rate of the camera of the terminal.
  • the following is a description of an image registration device for a terminal according to an embodiment of the present invention.
  • the device has a one-to-one correspondence with the method, and is used to implement the image registration method of the terminal in the foregoing embodiment, and has the same technical features and technical effects.
  • the embodiments of the invention will not be described again.
  • an embodiment of the present invention provides an image registration device for a terminal.
  • the terminal includes a first camera and a second camera.
  • the first camera and the second camera are arranged side by side and work simultaneously.
  • the device includes:
  • a video sequence acquisition module configured to acquire a first video sequence captured by the first camera and a second video sequence captured by the second camera, where the first video sequence and the second video sequence record the same scene;
  • a currently available motion vector acquisition module for determining a first motion available at a first moment for a first image captured at a first time in the first video sequence and a second image captured at a first time in the second video sequence a vector V and a third image and a fourth image corresponding to the first motion vector V, wherein the first motion vector V is a motion vector of the third image relative to the fourth image, and the third image is the second in the first video sequence An image captured at a time, the fourth image is an image captured at a second time in the second video sequence, and the second time is a time before the first time;
  • a second motion vector generating module configured to perform image registration processing on the first image and the third image to obtain a second motion vector U of the first image relative to the third image;
  • a third motion vector generation module configured to acquire a third motion vector W of the fourth image relative to the second image
  • a registration module configured to obtain a registration result according to the first motion vector V, the second motion vector U, and the third motion vector W, where the registration result includes each pixel in the first image and each of the second image The correspondence of pixels.
  • the third motion vector acquiring module is configured to perform image registration processing on the fourth image and the second image by using a global image registration algorithm.
  • the third image is inversely processed with respect to the third motion vector W of the second image; or according to the moving direction included by the second motion vector U, to obtain the third motion vector W.
  • the registration module is specifically configured to: according to the first motion vector V and the second motion vector U And the third motion vector W, the first position of each pixel of the first image is Row displacement processing to obtain a second position; according to the second position, a registration result is obtained, wherein a pixel point located at the first position in the first image has a correspondence relationship with a pixel point located at the second position in the second image .
  • the apparatus further includes:
  • a first motion vector generating module configured to perform image registration processing on the third image and the fourth image by using a partial image registration algorithm to obtain a first motion vector V of the third image relative to the fourth image;
  • the second motion vector generation module is specifically configured to perform image registration processing on the first image and the third image by using a global image registration algorithm to obtain a second motion vector U of the first image relative to the third image.
  • the first motion vector generating module is specifically configured to determine, by using an optical flow algorithm or a block matching algorithm, After the image registration process is completed, the image processing is performed by using an optical flow algorithm or a block matching algorithm on the third image and the fourth image acquired at the end of the image registration process.
  • the obtained image, the third time is the time before the second time.
  • the third image is separated from the first image by The N frame image is separated by an N frame image between the fourth image and the second image, where N is a positive integer.
  • the value of N is proportional to the shooting frame rate of the camera of the terminal.
  • the following describes the terminal provided by the embodiment of the present invention, which has a one-to-one correspondence with the method, and is used to implement the image registration method of the terminal in the foregoing embodiment, which has the same technical features and technical effects. No longer.
  • an embodiment of the present invention provides a terminal, where the terminal includes a first camera, a second camera, and an image register.
  • the first camera and the second camera are arranged side by side and work at the same time, and the image register is specifically used for Obtaining a first video sequence captured by the first camera and a second video sequence captured by the second camera, where the first video sequence and the second video sequence record the same scene; a first image captured at a first time in the first video sequence and a second image captured at the first time in the second video sequence, determining a first motion vector V and a first motion vector V available at the first time a third image and a fourth image, wherein the first motion vector V is a motion vector of the third image relative to the fourth image, and the third image is an image captured at the second time in the first video sequence, the fourth image is An image captured at a second time in the second video sequence, the second time is a time before the first time; image registration processing is performed on the first image and the third image to obtain a second motion of
  • the image register is specifically configured to perform image registration processing on the fourth image and the second image by using a global image registration algorithm to obtain a fourth image
  • the third motion vector W of the image with respect to the second image or inverse processing according to the moving direction included by the second motion vector U, to obtain a third motion vector W.
  • the image register is specifically configured to: according to the first motion vector V, the second motion vector U, and a third motion vector W, performing displacement processing on the first position where each pixel point of the first image is located to obtain a second position; according to the second position, obtaining a registration result, wherein the first image is located The pixel point at the first location has a corresponding relationship with the pixel point at the second location in the second image.
  • the image register is further used Performing image registration processing on the third image and the fourth image by using a partial image registration algorithm to obtain a first motion vector V of the third image relative to the fourth image;
  • the image register is specifically configured to perform image registration processing on the first image and the third image by using a global image registration algorithm to obtain a second motion vector U of the first image relative to the third image.
  • the image register is specifically configured to determine, by using an optical flow algorithm or a block matching algorithm, the fifth image and After the process of image registration processing is performed on the sixth image, the third image and the fourth image acquired at the end of the process of the image registration process are performed by using an optical flow algorithm or a block matching algorithm.
  • Image registration processing obtaining a first motion vector V of the third image relative to the fourth image; wherein the fifth image is an image captured at a third time in the first video sequence, and the sixth image is in the second video sequence The image obtained at the third time is captured, and the third time is the time before the second time.
  • the third image is separated from the first image by The N frame image is separated by an N frame image between the fourth image and the second image, where N is a positive integer.
  • the value of N is proportional to the shooting frame rate of the camera of the terminal.
  • the following is a storage medium provided by an embodiment of the present invention, where the storage medium is used to implement the image registration method in any one of the first aspect to the sixth aspect of the first aspect, The same technical features and technical effects are provided, and the present invention will not be described again.
  • an embodiment of the present invention provides a storage medium, which is a computer readable storage medium, and stores one or more programs, where one or more programs include instructions, when the instruction includes a camera and multiple applications.
  • the portable electronic device is executed, the portable electronic device is configured to perform the image registration method in the implementation of any of the first to sixth aspects of the first aspect, the first aspect, wherein the camera includes the first Camera and second camera.
  • FIG. 1 is a schematic structural diagram of an embodiment of a terminal according to an embodiment of the present disclosure
  • Embodiment 1 of an image registration method of a terminal according to an embodiment of the present disclosure
  • FIG. 3 is a schematic diagram of an application scenario of Embodiment 1 of an image registration method of a terminal according to an embodiment of the present disclosure
  • FIG. 4 is a schematic diagram of an application scenario of Embodiment 2 of an image registration method of a terminal according to an embodiment of the present disclosure
  • FIG. 5 is a schematic diagram of an application scenario of a method for image registration of a terminal according to an embodiment of the present invention. intention
  • FIG. 6 is a schematic structural diagram of Embodiment 1 of an image registration device of a terminal according to an embodiment of the present disclosure.
  • the embodiment of the invention provides an image registration method for a terminal, which considers that the image with short time interval has less content change, and uses the registration result of the previous image to provide reference for registration of subsequent images to improve the image.
  • the speed of the registration allows the dual camera to be simultaneously shot for use in video capture to display the captured image to the user in real time.
  • the terminal may be a camera, or may be a mobile phone, a tablet, or the like.
  • the terminal of the embodiment of the present invention includes at least a first camera and a second camera.
  • the first camera and the second camera are arranged side by side and work at the same time, and the current scene is captured at the same time, and two frames of images are obtained and transmitted to the image register, and the image registration is performed.
  • the device processes two frames of images in real time and outputs the registration result, and then the image processor processes and displays the image according to the registration result.
  • the first camera and the second camera may be identical or may be cameras having different characteristics, such as a color camera and a black and white camera.
  • FIG. 1 is a schematic structural diagram of an embodiment of a terminal according to an embodiment of the present invention.
  • the first camera and the second camera are independent of each other, and the optical axes are parallel, and the images are acquired synchronously, so that the terminal can capture two video sequences of the same scene, and send the image to the image register to obtain two images.
  • the registration result of the video sequence In actual use, the first camera and the second camera of the terminal can be set to work at the same time, and then the image registration method of the terminal provided by the invention is applied to obtain the registration result; the first camera or the second camera can also be set to work alone, directly Store or output video captured by a single camera.
  • the image registration method of the terminal in the embodiment of the present invention will be described in detail below with reference to specific embodiments.
  • FIG. 2 is a schematic flowchart diagram of Embodiment 1 of an image registration method of a terminal according to the present invention.
  • the implementation of the method The line body is an image registration device, which may be implemented by software and/or hardware, exemplarily may be the image register of FIG. 1, the image registration device being disposed in the terminal or with a processor of an existing terminal Integrated together.
  • the method includes:
  • Step 201 Acquire a first video sequence captured by the first camera and a second video sequence captured by the second camera, where the first video sequence and the second video sequence record the same scene;
  • Step 202 Determine, for a first image captured at a first moment in the first video sequence, and a second image captured at the first moment in the second video sequence, a first motion vector V and a first motion available at the first moment. a third image and a fourth image corresponding to the vector V;
  • the first motion vector V is a motion vector of the third image relative to the fourth image
  • the third image is an image captured at a second time in the first video sequence
  • the fourth image is a second time in the second video sequence.
  • the captured image, the second moment is the moment before the first moment;
  • Step 203 performing image registration processing on the first image and the third image to obtain a second motion vector U of the first image relative to the third image;
  • Step 204 Acquire a third motion vector W of the fourth image relative to the second image
  • Step 205 Obtain a registration result according to the first motion vector V, the second motion vector U, and the third motion vector W, where the registration result includes each pixel point in the first image and each pixel point in the second image. Correspondence relationship.
  • step 201 when the terminal provided with at least two cameras performs the shooting at the same time by the first camera and the second camera at the same time, a pair of images can be obtained, and the continuous shooting can be obtained.
  • Two video sequences Exemplarily, the video sequence captured by the first camera is recorded as a first video sequence, and the video sequence captured by the second camera is recorded as a second video sequence, and the first video sequence and the second video sequence record the same scene.
  • step 202 for the first image captured at the first time in the first video sequence, and the second image captured at the first time in the second video sequence, determining that the first time is available at the first time
  • the first motion vector V, and the third image and the fourth image corresponding to the first motion vector V indicates a registration result obtained by image registration between the third image and the fourth image, and the registration result includes a one-to-one correspondence between each pixel point in the third image and each pixel point in the fourth image.
  • the motion vector can be obtained according to the coordinates of the two pixel points having the corresponding relationship in the image.
  • FIG. 3 is a schematic diagram of an application scenario of Embodiment 1 of an image registration method of a terminal according to an embodiment of the present invention.
  • the first motion vector V is a motion vector of the third image relative to the fourth image
  • third The image and the fourth image are images obtained by the first camera and the second camera simultaneously capturing the same scene at a second moment before the first moment.
  • an N-frame image is interposed between the third image and the first image
  • an N-frame image is interposed between the fourth image and the second image, where N is a positive integer.
  • the first motion vector V includes motion vectors of m ⁇ n pixels
  • the motion vector of each pixel includes a displacement size and a displacement direction.
  • the moving direction corresponding to the first motion vector V is inversely processed to obtain the first inverse vector V -1 .
  • m, n, x, y, p, q are positive integers, and 0 ⁇ x ⁇ m, 0 ⁇ y ⁇ n, 0 ⁇ p ⁇ m, 0 ⁇ q ⁇ n.
  • the two frames of images have parallax, and therefore, preferably, the accuracy of the two-frame image registration work more suitable for processing the parallax may be adopted.
  • the image registration algorithm with higher degree but slower speed can calculate the first motion vector V when the first moment arrives.
  • the third image and the fourth image may be subjected to image registration processing by using a partial image registration algorithm to obtain a first motion vector V of the third image relative to the fourth image.
  • the local image registration algorithm may be an optical flow algorithm or a block matching algorithm with higher accuracy and slower processing speed.
  • step 203 image registration processing is performed on the first third image and the subsequent first image in the first video sequence captured by the first camera to obtain a first image relative to the third image.
  • the frame rate of the video is high when the frame rate of the two frames captured by the same camera is short and there is no parallax, the contents of the two frames can be approximated to be identical.
  • An image is very similar to the third image.
  • the image registration process will be faster and shorter, which ensures that when the camera captures the video, it receives the newly captured current image. The registration process of the current image with the previous image of one frame.
  • the image of the first image and the third image can be performed by using a global image registration algorithm algorithm.
  • the registration process obtains a second motion vector U of the first image relative to the third image; wherein the processing speed of the global image registration algorithm algorithm is greater than the processing speed of the local image registration algorithm, which can reduce the calculation in the image registration process Amount that increases the speed of the image registration process.
  • the first image and the third image may be subjected to image registration processing by using a global image registration algorithm with faster processing speed and higher accuracy to obtain a second motion vector U of the first image relative to the third image.
  • a homography matrix method based on feature point matching For example, a homography matrix method based on feature point matching, a registration method based on histogram matching, and the like. If the global image registration algorithm is directly applied to the image registration of the third image and the fourth image in which parallax exists, since there are parallaxes in the two frames of images, although the registration speed is improved, there is a problem of poor accuracy. It is impossible to directly obtain the image registration results of the third image and the fourth image by using the global image registration algorithm.
  • step 204 the third motion vector W of the previous fourth image in the second video sequence captured by the second camera relative to the subsequent second image is acquired.
  • the pixel at any position in the fourth image moves according to the motion vector of the pixel at any of the third motion vectors W, the second image is obtained.
  • Image registration processing is performed on the fourth image and the second image to obtain a third motion vector W of the fourth image relative to the second image.
  • the two frames of images obtained by the same camera are short in interval time and there is no parallax, the contents of the two frames of images It can be considered that the second image is exactly the same as the fourth image.
  • the image registration process will be faster and shorter, which will ensure that the camera captures the video. Receiving the newly captured current image, completing the registration process of the current image and the previous image.
  • the fourth image and the second image may be subjected to image registration processing by using a global image registration algorithm to obtain a third motion vector W of the fourth image relative to the second image; wherein, the global image registration algorithm algorithm
  • the processing speed is greater than the processing speed of the local image registration algorithm.
  • the second image and the fourth image may be subjected to image registration processing by using a global image registration algorithm with faster processing speed and higher accuracy to obtain a third motion vector W of the fourth image relative to the second image.
  • a homography matrix method based on feature point matching a registration method based on histogram matching, and the like.
  • step 203 and step 204 can be performed simultaneously, and there is no sequential relationship of execution time.
  • the moving direction included in the second motion vector U is inversely processed to obtain a third motion vector W.
  • the first camera and the second camera are arranged in a flush position and the same scene is taken at the same time, it can be considered that the movement rules of the image content in the two video sequences captured by the first camera and the second camera are the same, that is,
  • the first image is changed according to the second motion vector U to obtain a third image.
  • the second image is changed according to the second motion vector U to obtain a fourth image. Therefore, the third image is moved relative to the second image.
  • the vector W can be regarded as the inverse vector U -1 of the second motion vector U.
  • the acquisition method of the inverse vector U -1 can be the same as the acquisition method of the first inverse vector V -1 , and will not be described again.
  • the second motion vector U and the third motion vector W respectively include motion vectors of m ⁇ n pixels, wherein the motion vector of each pixel is in the image registration process using the global image registration algorithm. Both are obtained according to a 3 ⁇ 3 size homography matrix and the coordinates of the pixel in the respective images.
  • the first position where each pixel point of the first image is located is subjected to displacement processing to obtain a second position
  • a registration result is obtained, wherein the image at the first position in the first image
  • the prime point has a corresponding relationship with a pixel point located at the second position in the second image.
  • the coordinates of the pixel point at the first position are the first coordinates, and the first coordinate is based on the first coordinate of the first motion vector V.
  • the motion vector of the pixel at the third coordinate in the vector W moves to obtain a fourth coordinate
  • the position of the four coordinate in the second image is recorded as the second position; according to the second position, the registration result is obtained. That is, the pixel points located at the first position (ie, the first coordinates) in the first image have a corresponding relationship with the pixel points located at the second position (ie, the fourth coordinates) in the second image.
  • the image registration method of the terminal obtains the registration result of the current image of two frames according to the first motion vector V, the second motion vector U, and the third motion vector W, wherein the first motion with higher accuracy is obtained.
  • the vector V is the motion vector that has been acquired, and does not occupy the processing time
  • the second motion vector U and the third motion vector W are respectively obtained by image registration for two images that are extremely similar, so the acquisition speed is faster
  • the embodiment of the present invention improves the image registration speed, and may Realizing the real-time registration of two frames of images under the condition of reducing the accuracy of image registration, providing reference for further processing of subsequent images, so that the shooting of the terminal including at least two cameras can be applied in video shooting to be photographed
  • the resulting image is displayed to the user in real time.
  • the first motion vector V is updated to improve image registration accuracy.
  • the embodiment of the present invention further includes:
  • the third image and the fourth image acquired at the end of the process of image registration processing are adopted.
  • the optical flow algorithm or the block matching algorithm performs image registration processing to obtain a first motion vector V of the third image relative to the fourth image.
  • the fifth image is an image captured at a third time in the first video sequence
  • the sixth image is an image captured at a third time in the second video sequence
  • the third time is a time before the second time.
  • FIG. 4 is a schematic diagram of an application scenario of Embodiment 2 of an image registration method of a terminal according to an embodiment of the present invention.
  • the first camera captures the fifth image, the third image and the first image in time series; the second camera captures the sixth image, the fourth image and the second image in time series, the same camera There are other images between the captured images.
  • the image registration processing is performed on the fifth image and the sixth image by using an optical flow algorithm or a block matching algorithm.
  • the motion vector of the fifth image relative to the sixth image is obtained as the first motion vector V 5-6
  • the first camera is The two frames of the image captured by the second camera are subjected to image registration processing by using an optical flow algorithm or a block matching algorithm, and the end time is exactly the second time in the above embodiment, for example, the acquired third image and the fourth image are obtained.
  • the image is processed by an optical flow algorithm or a block matching algorithm.
  • image registration can also be performed on the basis of the first motion vector V 5-6 using the method in the above embodiment.
  • two images may be selected for output.
  • the first motion vector V of the third image relative to the fourth image is obtained, and at the end of the registration process of the third image and the fourth image
  • performing image registration processing on the two frames of the image captured by the first camera and the second camera by using an optical flow algorithm or a block matching algorithm, where the end time is exactly the first moment in the above embodiment, for example,
  • the image registration process is performed by an optical flow algorithm or a block matching algorithm for an image and a second image.
  • image registration can be performed on the basis of the first motion vector V by using the method in the above embodiment.
  • FIG. 5 is a schematic diagram of an application scenario of Embodiment 3 of an image registration method of a terminal according to an embodiment of the present invention.
  • the first camera captures a first video sequence T
  • the first video sequence T includes images ⁇ T 1 , T 2 ... T iN ... T i-1 , T i , T i in chronological order. +1 , ... T i+N « ⁇
  • the second camera captures a second video sequence S
  • the second video sequence S includes images ⁇ S 1 , S 2 ... S iN ... S i- in chronological order 1 , S i , S i+1 , ... S i+N « ⁇ .
  • T i and S i are captured at the same time
  • i and N are positive integers
  • the currently available motion vector is the first motion vector.
  • V iN as shown by solid line arrows between the 5 V iN T i and the image image S i, and determines the first two frames T iN corresponding to the motion vector V iN (i.e., an image of the third embodiment And S iN (ie the fourth image in the above embodiment).
  • the second motion vector U i of the image T i and the image T iN is obtained.
  • the specific acquisition method may be the same as in the above embodiment, and details are not described herein.
  • Each pixel in the image T i is moved with reference to the second motion vector U i , and an image T iN can be obtained.
  • the third motion vector W i of the image S i and the image S iN is obtained, and the specific acquisition method may be the same as in the above embodiment, and details are not described herein again.
  • Each pixel in the image S iN is moved with reference to the third motion vector W i , and an image S iN can be obtained.
  • each pixel point in the image T i is sequentially according to the second motion vector U i , the first motion vector V iN , and the first three movement motion vector W i, S i to obtain an image, and therefore the registration results obtained for each pixel of the image T i of each pixel, and an image S i in FIG. 5, the image T i and the images S i The arrow between the dotted lines is shown.
  • the image T i+1 and the image S i+1 captured at the i+1th time after the i-th time are image-matched.
  • the same first motion vector V iN and the image T iN corresponding to the first motion vector V iN are used.
  • the image S iN is used for the image registration of the two frames of images captured at the i+1th to the i+th time.
  • the currently available first motion vector V iN has been updated at the i+N+1 time.
  • the first motion vector V i as shown by the solid arrow V i between the image T i+N+1 and the image S i+N+1 in FIG. 5 , and the two corresponding to the first motion vector V i may be determined.
  • the frame images are image T i and image S i , respectively .
  • the algorithm since the first motion vector uses an optical flow algorithm or a block matching algorithm for image registration processing, the algorithm has a large amount of calculation, and the registration result has high accuracy but a slow generation speed. Therefore, each time the first motion vector is updated, the middle is There will be multiple frames of images at intervals.
  • the new two-frame image obtained by the current shooting is automatically used for image registration.
  • the first motion vector is automatically updated, and the next motion vector is started. The calculation of the first motion vector is performed once, so the number of images per interval may be the same or different.
  • the first motion vector may be calculated once after each fixed number of frames is taken. That is, there are N frames of images between the fifth image and the third image, and the third image and the first image, and there are N frames of images between the sixth image and the fourth image, and the fourth image and the second image.
  • the value of N is proportional to the shooting frame rate of the camera of the terminal.
  • FIG. 6 is a schematic structural diagram of Embodiment 1 of an image registration device of a terminal according to an embodiment of the present disclosure. As shown in Figure 6, the device includes:
  • the video sequence obtaining module 601 is configured to acquire a first video sequence captured by the first camera and a second video sequence captured by the second camera, the first video sequence and the second video sequence record The same scene;
  • the currently available motion vector acquisition module 602 is configured to determine, for the first image captured at the first time in the first video sequence, and the second image captured at the first time in the second video sequence, determine the first available moment at the first moment a motion vector V and a third image and a fourth image corresponding to the first motion vector V, wherein the first motion vector V is a motion vector of the third image relative to the fourth image, and the third image is in the first video sequence
  • the image captured at the second time, the fourth image is the image captured at the second time in the second video sequence, and the second time is the time before the first time;
  • the second motion vector generation module 603 is configured to perform image registration processing on the first image and the third image to obtain a second motion vector U of the first image relative to the third image;
  • a third motion vector generation module 604 configured to acquire a third motion vector W of the fourth image relative to the second image
  • the registration module 605 is configured to obtain a registration result according to the first motion vector V, the second motion vector U, and the third motion vector W, where the registration result includes each pixel in the first image and the second image. Correspondence of each pixel.
  • the image registration device of the terminal provided by the embodiment of the present invention, the registration module obtains the registration result of the current image of the two frames according to the first motion vector V, the second motion vector U, and the third motion vector W, wherein the accuracy is high.
  • the first motion vector V is the motion vector that has been acquired, and does not occupy the processing time
  • the second motion vector U and the third motion vector W are respectively obtained by image registration for two images that are extremely similar, so the acquisition speed is faster.
  • the second motion vector U and the third motion vector W of the current two frames of images are acquired synchronously with the update of the current two frames of images; therefore, the embodiment of the present invention improves the image registration speed.
  • Real-time registration of two frames of images can be realized without reducing the accuracy of image registration, which provides a reference for further processing of subsequent images, so that the shooting of the terminal including at least two cameras can be applied in video shooting.
  • the shooting of the terminal including at least two cameras can be applied in video shooting.
  • the third motion vector obtaining module 604 is specifically configured to perform image registration processing on the fourth image and the second image by using a global image registration algorithm to obtain a third motion vector W of the fourth image relative to the second image. Or performing inverse processing according to the moving direction included in the second motion vector U to obtain a third motion vector W.
  • the registration module 605 is configured to perform, according to the first motion vector V, the second motion vector U, and the third motion vector W, a first position where each pixel of the first image is located.
  • the processing is performed to obtain a second position.
  • a registration result is obtained, wherein the pixel point located at the first position in the first image has a corresponding relationship with the pixel point located at the second position in the second image.
  • the device further includes: a first motion vector generation module 600, configured to perform image registration processing on the third image and the fourth image by using a partial image registration algorithm to obtain a third image relative to the fourth image a motion vector V;
  • a first motion vector generation module 600 configured to perform image registration processing on the third image and the fourth image by using a partial image registration algorithm to obtain a third image relative to the fourth image a motion vector V;
  • the second motion vector generation module 603 is specifically configured to perform image registration processing on the first image and the third image by using a global image registration algorithm to obtain a second motion vector U of the first image relative to the third image.
  • the first motion vector generation module 600 is specifically configured to: after determining that the image registration processing is performed on the fifth image and the sixth image by using the optical flow algorithm or the block matching algorithm, the image registration processing is performed.
  • the third image and the fourth image acquired at the end of the process are subjected to image registration processing using an optical flow algorithm or a block matching algorithm to obtain a first motion vector V of the third image relative to the fourth image;
  • the fifth image is an image captured at a third time in the first video sequence
  • the sixth image is an image captured at a third time in the second video sequence
  • the third time is a time before the second time.
  • N there is an N frame image between the third image and the first image, and an N frame image is separated between the fourth image and the second image, where N is a positive integer.
  • the value of N is proportional to the shooting frame rate of the camera of the terminal.
  • Another aspect of the embodiment of the present invention further provides a terminal, including a first camera, a second camera, and an image register, wherein the first camera and the second camera are arranged side by side and work simultaneously.
  • the terminal is used to perform the image registration method in the foregoing method embodiment, and the implementation principle and the technical effect are similar, and details are not described herein again.
  • the image register of the terminal is specifically used to:
  • the third image is the image captured at the second time in the first video sequence
  • the fourth image is the image captured at the second time in the second video sequence
  • the second time is before the first time
  • the registration result includes a correspondence relationship between each pixel point in the first image and each pixel point in the second image.
  • the image register is specifically configured to perform image registration processing on the fourth image and the second image by using a global image registration algorithm to obtain a third motion vector W of the fourth image relative to the second image; or
  • the moving direction included in the second motion vector U is inversely processed to obtain a third motion vector W.
  • the image register is specifically configured to perform displacement processing on the first position of each pixel of the first image according to the first motion vector V, the second motion vector U, and the third motion vector W. Obtaining a second position; according to the second position, obtaining a registration result, wherein the pixel point located at the first position in the first image has a corresponding relationship with the pixel point located at the second position in the second image.
  • the image register is further configured to perform image registration processing on the third image and the fourth image by using a partial image registration algorithm to obtain a first motion vector V of the third image relative to the fourth image;
  • the image register is specifically configured to perform image registration processing on the first image and the third image by using a global image registration algorithm to obtain a second motion vector U of the first image relative to the third image.
  • the image register is specifically configured to: after determining the process of performing image registration processing on the fifth image and the sixth image by using the optical flow algorithm or the block matching algorithm, ending the process of image registration processing
  • the third image and the fourth image acquired at a time, using an optical flow algorithm or a block matching algorithm for image registration processing, to obtain a first motion vector V of the third image relative to the fourth image;
  • the fifth image is an image captured at a third time in the first video sequence
  • the sixth image is an image captured at a third time in the second video sequence
  • the third time is a time before the second time.
  • N there is an N frame image between the third image and the first image, and an N frame image is separated between the fourth image and the second image, where N is a positive integer.
  • the value of N is proportional to the shooting frame rate of the camera of the terminal.
  • a storage medium which is a computer readable storage medium, stores one or more programs, and one or more programs include instructions, when included in a camera and a plurality of applications.
  • the portable electronic device is executed, the portable electronic device is caused to perform the image registration method in any of the above method embodiments; wherein the camera comprises a first camera and a second camera.
  • the disclosed systems, devices, and methods may be implemented in other manners.
  • the device embodiments described above are merely illustrative.
  • the division of the unit is only a logical function division.
  • there may be another division manner for example, multiple units or components may be combined or Can be integrated into another system, or some features can be ignored or not executed.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, and may be in an electrical, mechanical or other form.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution of the embodiment.
  • each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the functions may be stored in a computer readable storage medium if implemented in the form of a software functional unit and sold or used as a standalone product.
  • the technical solution of the present invention which is essential or contributes to the prior art, or a part of the technical solution, may be embodied in the form of a software product, which is stored in a storage medium, including
  • the instructions are used to cause a computer device (which may be a personal computer, server, or network device, etc.) to perform all or part of the steps of the methods described in various embodiments of the present invention.
  • the foregoing storage medium includes: a U disk, a mobile hard disk, a read-only memory (ROM), a random access memory (RAM), a magnetic disk, or an optical disk, and the like, and the program code can be stored. Medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种终端的图像配准方法、装置和终端，该方法包括：获取第一摄像头拍摄得到的第一视频序列和第二摄像头拍摄得到的第二视频序列；对于第一视频序列中在第一时刻拍摄的第一图像，和第二视频序列中在第一时刻拍摄的第二图像，确定可用的第一运动矢量V以及第一运动矢量V对应的第三图像和第四图像；获取第一图像相对于第三图像的第二运动矢量U；获取第四图像相对于所述第二图像的第三运动矢量W；根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，得到第一图像中的各像素点与第二图像中的各像素点的对应关系。本发明实施例提高了图像配准速度，可实现两帧图像的实时配准，进而可应用于视频拍摄中。

Description

终端的图像配准方法、装置和终端 技术领域
本发明涉及图像处理技术，尤其涉及一种终端的图像配准方法、装置和终端。
背景技术
随着显示技术水平提升，用户对作为显示源的图像的质量也提出了更高的要求。高端摄像头由于设置有更大的传感器，因此拍摄得到的图像具有较高的质量。但是将高端摄像头设置在手机上以提高图像质量时，通常面临高端摄像头传感器较大，进而导致手机机身较厚的问题，影响了用户的携带和使用手感。为避免上述问题，越来越多的厂家开始使用两个普通摄像头代替一个高端摄像头的方式，来提高图像质量，并实现更多的功能。如图像3D显示、广角拍摄、夜间降噪、增加景深等。
当设置有双摄像头的手机针对同一场景拍摄得到两帧图像后，在根据两帧图像进行图像处理的过程中，通常需要进行图像配准，即将同一时刻拍摄的同一场景的两张或者多张图像进行对齐，这是由于两个摄像头通常并排设置，因而拍摄得到的两帧图像存在视差。在将两帧图像对齐后，可根据不同摄像头的特性将两帧图像进行结合，以得到更高质量的图像或实现其他功能。
现有的图像配准过程中，通常采用光流算法或者块匹配算法为两帧图像进行对齐。但是这两种算法复杂度较高，处理速度较慢，当用户采用双摄像头摄像机或手机拍摄视频时，拍摄速度远大于这两种算法的配准速度，导致拍摄出的图像无法实时显示给用户。
发明内容
本发明实施例提供一种终端的图像配准方法、装置和终端，以克服现有图像配准方法处理速度较慢，无法将图像处理结果实时显示给用户，应用到视频拍摄中的问题。
第一方面，本发明实施例提供一种终端的图像配准方法，终端包括第一 摄像头和第二摄像头，第一摄像头和第二摄像头并排设置且同时工作，该方法包括：
获取第一摄像头拍摄得到的第一视频序列和第二摄像头拍摄得到的第二视频序列，第一视频序列和第二视频序列记录同一场景；对于第一视频序列中在第一时刻拍摄的第一图像，和第二视频序列中在第一时刻拍摄的第二图像，确定第一时刻可用的第一运动矢量V以及第一运动矢量V对应的第三图像和第四图像，其中，第一运动矢量V为第三图像相对于第四图像的运动矢量，第三图像为第一视频序列中在第二时刻拍摄的图像，第四图像为第二视频序列中在第二时刻拍摄的图像，第二时刻为第一时刻之前的时刻；对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U；获取第四图像相对于第二图像的第三运动矢量W；根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，得到配准结果，配准结果包括第一图像中的各像素点与第二图像中的各像素点的对应关系。
上述方法根据第一运动矢量V、第二运动矢量U和第三运动矢量W得到两帧当前图像的配准结果。其中，第一运动矢量V为已经获取的运动矢量，并不占用处理时间，且第二运动矢量U和第三运动矢量W分别为对两帧没有时差拍摄时间极其接近的图像进行图像配准获得，因此获取速度较快，故可实现在摄像头进行视频拍摄的过程中，实现两帧图像的实时配准，为后续的图像的进一步处理提供参考，本申请实施例提供的图像配准方法可应用在包含有至少两个摄像头的终端的视频拍摄中，并将处理后的图像实时显示给用户。
结合第一方面，在第一方面的第一种可能的实现方式中，获取第三运动矢量W的过程具体包括：
采用全局图像配准算法对第四图像和第二图像进行图像配准处理，得到第四图像相对于第二图像的第三运动矢量W；或者根据第二运动矢量U包括的移动方向进行反向处理，得到第三运动矢量W。
通过对现有的第二运动矢量进行反向处理，可快速得到第三运动矢量，进而提高图像配准速度；或者通过采用全局图像配准算法获取第三运动矢量，也可快速得到准确度高的图像配准结果。
结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二 种可能的实现方式中，获取配准结果的过程具体包括：
根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，对第一图像的每个像素点所处的第一位置进行位移处理，得到第二位置；根据第二位置，得到配准结果，其中，第一图像中位于第一位置处的像素点与第二图像中位于第二位置处的像素点的具有对应关系。
结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，在确定可用的第一运动矢量V之前，还包括：
采用局部图像配准算法对第三图像和第四图像进行图像配准处理，得到第三图像相对于第四图像的第一运动矢量V；
获取第二运动矢量U的过程具体包括：
采用全局图像配准算法对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U。
通过在第一图像和第二图像的获取时刻之前，采用准确度较高的局部图像配准算法获取第一运动矢量V，确保了图像配准结果的准确度。
结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，获取第一运动矢量V的过程具体包括：
在确定采用光流算法或块匹配算法对第五图像和第六图像进行图像配准处理的过程结束后，对在图像配准处理的过程的结束时刻获取的第三图像以及第四图像，采用光流算法或块匹配算法进行图像配准处理，得到第三图像相对于第四图像的第一运动矢量V；其中，第五图像为第一视频序列中在第三时刻拍摄得到的图像，第六图像为第二视频序列中在第三时刻拍摄得到的图像，第三时刻为第二时刻之前的时刻。
通过在每次生成第一运动矢量后，根据生成时刻获取的新的两帧图像开始新的第一运动矢量的生成过程，使得每次获取当前可用的第一运动矢量均为最接近的第一运动矢量，从而确保了图像配准的准确度。
结合第一方面、第一方面的第一种至第三种中任一种可行的实现方式，在第一方面的第五种可能的实现方式中，第三图像与第一图像之间间隔有N帧图像，第四图像与第二图像之间间隔有N帧图像，其中，N为正整数。
结合第一方面的第五种可能的实现方式，在第一方面的第六种可能的实 现方式中，N的值与终端的摄像头的拍摄帧率成正比。
下面介绍本发明实施例提供的一种终端的图像配准装置，该装置与方法一一对应，用以实现上述实施例中的终端的图像配准方法，具有相同的技术特征和技术效果，本发明实施例对此不再赘述。
第二方面，本发明实施例提供一种终端的图像配准装置，终端包括第一摄像头和第二摄像头，第一摄像头和第二摄像头并排设置且同时工作，该装置包括：
视频序列获取模块，用于获取第一摄像头拍摄得到的第一视频序列和第二摄像头拍摄得到的第二视频序列，第一视频序列和第二视频序列记录同一场景；
当前可用运动矢量获取模块，用于对于第一视频序列中在第一时刻拍摄的第一图像，和第二视频序列中在第一时刻拍摄的第二图像，确定第一时刻可用的第一运动矢量V以及第一运动矢量V对应的第三图像和第四图像，其中，第一运动矢量V为第三图像相对于第四图像的运动矢量，第三图像为第一视频序列中在第二时刻拍摄的图像，第四图像为第二视频序列中在第二时刻拍摄的图像，第二时刻为第一时刻之前的时刻；
第二运动矢量生成模块，用于对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U；
第三运动矢量生成模块，用于获取第四图像相对于第二图像的第三运动矢量W；
配准模块，用于根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，得到配准结果，配准结果包括第一图像中的各像素点与第二图像中的各像素点的对应关系。
结合第二方面，在第二方面的第一种可能的实现方式中，第三运动矢量获取模块具体用于，采用全局图像配准算法对第四图像和第二图像进行图像配准处理，得到第四图像相对于第二图像的第三运动矢量W；或者根据第二运动矢量U包括的移动方向进行反向处理，得到第三运动矢量W。
结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，配准模块具体用于，根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，对第一图像的每个像素点所处的第一位置进 行位移处理，得到第二位置；根据第二位置，得到配准结果，其中，第一图像中位于第一位置处的像素点与第二图像中位于第二位置处的像素点的具有对应关系。
结合第二方面或第二方面的第一种可能的实现方式或第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，该装置还包括：
第一运动矢量生成模块，用于采用局部图像配准算法对第三图像和第四图像进行图像配准处理，得到第三图像相对于第四图像的第一运动矢量V；
第二运动矢量生成模块具体用于，采用全局图像配准算法对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U。
结合第二方面的第三种可能的实现方式，在第二方面的第四种可能的实现方式中，第一运动矢量生成模块具体用于，在确定采用光流算法或块匹配算法对第五图像和第六图像进行图像配准处理的过程结束后，对在图像配准处理的过程的结束时刻获取的第三图像以及第四图像，采用光流算法或块匹配算法进行图像配准处理，得到第三图像相对于第四图像的第一运动矢量V；其中，第五图像为第一视频序列中在第三时刻拍摄得到的图像，第六图像为第二视频序列中在第三时刻拍摄得到的图像，第三时刻为第二时刻之前的时刻。
结合第二方面、第二方面的第一种至第三种中任一种可行的实现方式，在第二方面的第五种可能的实现方式中，第三图像与第一图像之间间隔有N帧图像，第四图像与第二图像之间间隔有N帧图像，其中，N为正整数。
结合第二方面的第五种可能的实现方式，在第二方面的第六种可能的实现方式中，N的值与终端的摄像头的拍摄帧率成正比。
下面介绍本发明实施例提供的一种终端，该终端与方法一一对应，用以实现上述实施例中的终端的图像配准方法，具有相同的技术特征和技术效果，本发明实施例对此不再赘述。
第三方面，本发明实施例提供一种终端，该终端包括第一摄像头、第二摄像头和图像配准器，第一摄像头和第二摄像头并排设置且同时工作，图像配准器具体用于，获取第一摄像头拍摄得到的第一视频序列和第二摄像头拍摄得到的第二视频序列，第一视频序列和第二视频序列记录同一场景；对于 第一视频序列中在第一时刻拍摄的第一图像，和第二视频序列中在第一时刻拍摄的第二图像，确定第一时刻可用的第一运动矢量V以及第一运动矢量V对应的第三图像和第四图像，其中，第一运动矢量V为第三图像相对于第四图像的运动矢量，第三图像为第一视频序列中在第二时刻拍摄的图像，第四图像为第二视频序列中在第二时刻拍摄的图像，第二时刻为第一时刻之前的时刻；对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U；获取第四图像相对于第二图像的第三运动矢量W；根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，得到配准结果，配准结果包括第一图像中的各像素点与第二图像中的各像素点的对应关系。
结合第三方面，在第三方面的第一种可能的实现方式中，图像配准器具体用于，采用全局图像配准算法对第四图像和第二图像进行图像配准处理，得到第四图像相对于第二图像的第三运动矢量W；或者根据第二运动矢量U包括的移动方向进行反向处理，得到第三运动矢量W。
结合第三方面或第三方面的第一种可能的实现方式，在第三方面的第二种可能的实现方式中，图像配准器具体用于，根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，对第一图像的每个像素点所处的第一位置进行位移处理，得到第二位置；根据第二位置，得到配准结果，其中，第一图像中位于第一位置处的像素点与第二图像中位于第二位置处的像素点的具有对应关系。
结合第三方面或第三方面的第一种可能的实现方式或第三方面的第二种可能的实现方式，在第三方面的第三种可能的实现方式中，图像配准器还用于，采用局部图像配准算法对第三图像和第四图像进行图像配准处理，得到第三图像相对于第四图像的第一运动矢量V；
图像配准器具体用于，采用全局图像配准算法对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U。
结合第三方面的第三种可能的实现方式，在第三方面的第四种可能的实现方式中，图像配准器具体用于，在确定采用光流算法或块匹配算法对第五图像和第六图像进行图像配准处理的过程结束后，对在图像配准处理的过程的结束时刻获取的第三图像以及第四图像，采用光流算法或块匹配算法进行 图像配准处理，得到第三图像相对于第四图像的第一运动矢量V；其中，第五图像为第一视频序列中在第三时刻拍摄得到的图像，第六图像为第二视频序列中在第三时刻拍摄得到的图像，第三时刻为第二时刻之前的时刻。
结合第三方面、第三方面的第一种至第三种中任一种可行的实现方式，在第三方面的第五种可能的实现方式中，第三图像与第一图像之间间隔有N帧图像，第四图像与第二图像之间间隔有N帧图像，其中，N为正整数。
结合第三方面的第五种可能的实现方式，在第三方面的第六种可能的实现方式中，N的值与终端的摄像头的拍摄帧率成正比。
下面介绍本发明实施例提供的一种存储介质，该存储介质用以实现上述第一方面、第一方面的第一种至第六种中任一种可行的实现方式中的图像配准方法，具有相同的技术特征和技术效果，本发明对此不再赘述。
第四方面，本发明实施例提供一种存储介质，存储介质为计算机可读存储介质，存储有一个或多个程序，一个或多个程序包括指令，该指令当被包括摄像头和多个应用程序的便携式电子设备执行时，使便携式电子设备执行如上述第一方面、第一方面的第一种至第六种中任一种可行的实现方式中的图像配准方法；其中，摄像头包括第一摄像头和第二摄像头。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的终端实施例的结构示意图；
图2为本发明实施例提供的终端的图像配准方法实施例一的流程示意图；
图3为本发明实施例提供的终端的图像配准方法实施例一的应用场景示意图；
图4为本发明实施例提供的终端的图像配准方法实施例二的应用场景示意图；
图5为本发明实施例提供的终端的图像配准方法实施例三的应用场景示 意图；
图6为本发明实施例提供的终端的图像配准设备实施例一的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种终端的图像配准方法，考虑到时间间隔短的图像其内容变化较少，利用在先的图像的配准结果来为后续的图像的配准提供参考，以提高图像配准的速度，从而使得双摄像头同时拍摄可应用在视频拍摄中，以将拍摄出的图像实时显示给用户。
在本发明实施例中，终端可以为摄像机，也可以为手机、平板等，对于该终端的具体实现形式，本发明实施例不做特别限制。本实发明施例的终端至少包括第一摄像头和第二摄像头，第一摄像头和第二摄像头并排设置且同时工作，同时拍摄当前场景，得到两帧图像并传输给图像配准器，图像配准器实时处理两帧图像并将配准结果输出，再由后续的图像处理器根据配准结果进行图像处理并显示。第一摄像头和第二摄像头可以完全相同，也可为具有不同特性的摄像头，例如一个彩色摄像头和一个黑白摄像头。图像配准器与图像处理器也可集成为同一装置。图1为本发明实施例提供的终端实施例的结构示意图。具体地，如图1所示，第一摄像头和第二摄像头相互独立，光轴平行，同步采集图像，使得该终端可以拍摄得到同一场景的两视频序列，发送给图像配准器后，获取两视频序列的配准结果。在实际使用时，可设置终端的第一摄像头和第二摄像头同时工作，然后应用本发明提供的终端的图像配准方法得到配准结果；也可设置第一摄像头或第二摄像头单独工作，直接将单个摄像头拍摄得到的视频存储或输出。下面采用具体的实施例，对本发明实施例的终端的图像配准方法进行详细说明。
图2为本发明终端的图像配准方法实施例一的流程示意图。该方法的执 行主体为图像配准装置，该装置可以由软件和/或硬件实现，示例性的可以为图1中的图像配准器，该图像配准装置设置在终端内或与现有终端的处理器集成在一起。如图2所示，该方法包括：
步骤201、获取第一摄像头拍摄得到的第一视频序列和第二摄像头拍摄得到的第二视频序列，第一视频序列和第二视频序列记录同一场景；
步骤202、对于第一视频序列中在第一时刻拍摄的第一图像，和第二视频序列中在第一时刻拍摄的第二图像，确定第一时刻可用的第一运动矢量V以及第一运动矢量V对应的第三图像和第四图像；
其中，第一运动矢量V为第三图像相对于第四图像的运动矢量，第三图像为第一视频序列中在第二时刻拍摄的图像，第四图像为第二视频序列中在第二时刻拍摄的图像，第二时刻为第一时刻之前的时刻；
步骤203、对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U；
步骤204、获取第四图像相对于第二图像的第三运动矢量W；
步骤205、根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，得到配准结果，配准结果包括第一图像中的各像素点与第二图像中的各像素点的对应关系。
具体的，在步骤201中，设置有至少两个摄像头的终端在进行拍摄时，通过第一摄像头和第二摄像头在每一时刻同时进行拍摄，可获得一对图像，通过连续拍摄，即可获得两个视频序列。示例性的，第一摄像头拍摄得到的视频序列记为第一视频序列，第二摄像头拍摄得到的视频序列记为第二视频序列，第一视频序列和第二视频序列记录同一场景。
具体的，在步骤202中，对于第一视频序列中在第一时刻拍摄的第一图像，和第二视频序列中同样在第一时刻拍摄的第二图像，确定在该第一时刻，可用的第一运动矢量V，以及与第一运动矢量V相对应的第三图像和第四图像。第一运动矢量V指示了第三图像与第四图像经过图像配准得到的配准结果，配准结果包括第三图像中的各像素点与第四图像中的各像素点的一一对应关系，根据具有对应关系的两个像素点在图像中的坐标，即可得到运动矢量。图3为本发明实施例终端的图像配准方法实施例一的应用场景示意图。如图3所示，第一运动矢量V为第三图像相对于第四图像的运动矢量，第三 图像和第四图像分别为第一摄像头和第二摄像头在第一时刻之前的第二时刻同时拍摄同一场景得到的图像。示例性的，第三图像与第一图像之间间隔有N帧图像，第四图像与第二图像之间间隔有N帧图像，其中，N为正整数。
具体的，当所有图像大小相同，均包含m×n个像素点时，第一运动矢量V中包含有m×n个像素点的运动矢量，各像素点的运动矢量包括位移大小和位移方向。当第三图像中的位于任一位置处的像素点按照第一运动矢量V中该任一位置处的像素点的运动矢量移动时，即可得到第四图像，该对应关系可记为T4＝V(T3)。显而易见的，第四图像中的各像素点参照第一运动矢量V的逆矢量第一逆矢量V-1移动，即可得到第三图像，即T3＝V-1(T4)。
具体的，在获取逆矢量时，对第一运动矢量V对应的移动方向进行反向处理，即可得到第一逆矢量V-1。示例性的，根据第一运动矢量V中的任一第一位置(x,y)处的像素点的运动矢量(u,v)，将该第一位置按照像素点的运动矢量移动，可得到一个第二位置(p,q)，其中p＝x+u,q＝y+v，则第一逆矢量V-1中的第二位置(p,q)处的像素点的运动矢量即为(-u,-v)，其中u，v为整数，其数值表示了位移大小，u，v的正负表示了位移方向。其中，m、n、x、y、p、q为正整数，且0<x<m、0<y<n、0<p<m、0<q<n。
由于第一运动矢量V是根据第一时刻之前的第三图像和第四图像获得，两帧图像存在视差，因此，优选的，可采用更适宜于处理存在视差的两帧图像配准工作的准确度较高但速度较慢的图像配准算法，在第一时刻到来时，算出第一运动矢量V即可。示例性的，可采用局部图像配准算法对第三图像和第四图像进行图像配准处理，得到第三图像相对于第四图像的第一运动矢量V。可选的，局部图像配准算法可以为准确度较高而处理速度较慢的光流算法或块匹配算法。
具体的，在步骤203中，对由第一摄像头拍摄得到的第一视频序列中的在先的第三图像和在后的第一图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U。当第一图像中的位于任一位置处的像素点按照第二运动矢量U中该任一位置处的像素点的运动矢量移动时，即可得到第三图像，该对应关系可记为T3＝U(T1)，显而易见的，T4＝V(U(T1))。
由于视频拍摄时的帧率较高，同一摄像头拍摄得到的两帧图像在间隔时间较短且不存在视差时，两帧图像的内容可近似认为完全相同，即可认为第 一图像与第三图像极其相似，当两图像越相似，图像配准过程会越快、耗时越短，进而可保证在摄像头拍摄视频的过程中，边接收新拍摄得到的当前图像，边完成当前图像与在先的一帧图像的配准过程。
示例性的，由于第一图像和第三图像由同一摄像头拍摄得到，只有短暂的时间间隔，可近似认为不存在视差，故可采用全局图像配准算法算法对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U；其中，全局图像配准算法算法的处理速度大于局部图像配准算法的处理速度，可减少图像配准过程中的计算量，提高图像配准过程的速度。示例性的，可采用处理速度较快且准确度较高的全局图像配准算法对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U，如基于特征点匹配的单应性矩阵方法、基于直方图匹配的配准方法等。若将全局图像配准算法直接应用于存在视差的第三图像与第四图像的图像配准，由于两帧图像存在视差，因此尽管提高了配准速度但是会存在准确度较差的问题，故无法通过采用全局图像配准算法直接获取准确的第三图像与第四图像的图像配准结果。
具体的，在步骤204中，获取由第二摄像头拍摄得到的第二视频序列中的在先的第四图像相对于在后的第二图像的第三运动矢量W。当第四图像中的位于任一位置处的像素点按照第三运动矢量W中该任一位置处的像素点的运动矢量移动时，即可得到第二图像。该对应关系可记为T2＝W(T4)，显而易见的，T2＝W(V(U(T1)))。
可选的，在获取第三运动矢量W时，包括如下可行的实现方式：
一种可行的实现方式：
对第四图像和第二图像进行图像配准处理，得到第四图像相对于第二图像的第三运动矢量W。
示例性的，与第一图像和第三图像的情况相同，由于视频拍摄时的帧率较高，同一摄像头拍摄得到的两帧图像在间隔时间较短且不存在视差时，两帧图像的内容可近似认为完全相同，即可认为第二图像与第四图像极其相似，当两图像越相似，图像配准过程会越快、耗时越短，进而可保证在摄像头拍摄视频的过程中，边接收新拍摄得到的当前图像，边完成当前图像与在先的一帧图像的配准过程。
示例性的，还可采用全局图像配准算法对第四图像和第二图像进行图像配准处理，得到第四图像相对于第二图像的第三运动矢量W；其中，全局图像配准算法算法的处理速度大于局部图像配准算法的处理速度。示例性的，可采用处理速度较快且准确度较高的全局图像配准算法对第二图像和第四图像进行图像配准处理，得到第四图像相对于第二图像的第三运动矢量W，如基于特征点匹配的单应性矩阵方法、基于直方图匹配的配准方法等。
当采用这种实现方式时，步骤203与步骤204可同时执行，不存在执行时间的先后关系。
另一种可行的实现方式：
对第二运动矢量U包括的移动方向进行反向处理，得到第三运动矢量W。
示例性的，由于第一摄像头和第二摄像头设置位置平齐，在同一时刻拍摄同一场景，可认为第一摄像头和第二摄像头拍摄得到的两个视频序列中的图像内容的移动规律相同，即第一图像按照第二运动矢量U变化可得到第三图像，相应的，第二图像按照第二运动矢量U变化便可得到第四图像，因此，第四图像相对于第二图像的第三运动矢量W可认为是第二运动矢量U的逆矢量U-1，具体的，逆矢量U-1的获取方法可与第一逆矢量V-1的获取方法相同，不再赘述。
示例性的，上述第二运动矢量U和第三运动矢量W均包含m×n个像素点的运动矢量，其中每个像素点的运动矢量在采用全局图像配准算法的图像配准过程中，均是根据3×3大小的单应性矩阵与该像素点在各自图像中的坐标获得。
具体的，在步骤205中，根据上述公式T2＝W(V(U(T1)))可知，根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，即可得到第一图像与第二图像的配准结果，配准结果中包括第一图像中的各像素点与第二图像中的各像素点的对应关系。
示例性的，根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，对第一图像的每个像素点所处的第一位置进行位移处理，得到第二位置；
根据第二位置，得到配准结果，其中，第一图像中位于第一位置处的像 素点与第二图像中位于第二位置处的像素点的具有对应关系。
具体地，以第一图像中的位于第一位置处的像素点为例，第一位置处的像素点的坐标为第一坐标，将第一坐标根据第一运动矢量V中的第一坐标处的像素点的运动矢量移动，得到第二坐标；将第二坐标根据第二运动矢量U中的第二坐标处的像素点的运动矢量移动，得到第三坐标；将第三坐标根据第三运动矢量W中的第三坐标处的像素点的运动矢量移动，得到第四坐标，将该四坐标在第二图像中的位置记为第二位置；根据第二位置，即可得到配准结果，即，第一图像中位于第一位置(即第一坐标)处的像素点与第二图像中位于第二位置(即第四坐标)处的像素点的具有对应关系。
本发明实施例提供的终端的图像配准方法，根据第一运动矢量V、第二运动矢量U和第三运动矢量W得到两帧当前图像的配准结果，其中准确度较高的第一运动矢量V为已经获取的运动矢量，并不占用处理时间，且第二运动矢量U和第三运动矢量W分别为对两帧极其相似的图像进行图像配准获得，因此获取速度较快，可在摄像头进行视频拍摄的过程中，随着当前两帧图像的更新同步获取当前两帧图像的第二运动矢量U和第三运动矢量W；因此本发明实施例提高了图像配准速度，可在不降低图像配准准确度的条件下，实现两帧图像的实时配准，为后续的图像的进一步处理提供参考，从而使得包括至少两个摄像头的终端的拍摄可应用在视频拍摄中，以将拍摄出的图像实时显示给用户。
进一步地，在上述实施例的基础上，通过对第一运动矢量V进行更新，以提高图像配准准确度。具体的，在步骤202之前，本发明实施例还包括：
在确定采用光流算法或块匹配算法对第五图像和第六图像进行图像配准处理的过程结束后，对在图像配准处理的过程的结束时刻获取的第三图像以及第四图像，采用光流算法或块匹配算法进行图像配准处理，得到第三图像相对于第四图像的第一运动矢量V。
其中，第五图像为第一视频序列中在第三时刻拍摄得到的图像，第六图像为第二视频序列中在第三时刻拍摄得到的图像，第三时刻为第二时刻之前的时刻。
示例性的，图4为本发明实施例终端的图像配准方法实施例二的应用场 景示意图。其中，如图4所示，第一摄像头按时间先后拍摄得到第五图像，第三图像和第一图像；第二摄像头按时间先后拍摄得到第六图像，第四图像和第二图像，同一摄像头拍摄得到的各图像间还间隔有其他图像。当第五图像和第六图像为第一摄像头和第二摄像头拍摄得到第一帧图像时，立即采用光流算法或块匹配算法对第五图像和第六图像进行图像配准处理，在配准处理结束时，得到第五图像相对于第六图像的运动矢量，记为第一运动矢量V5-6，同时在第五图像与第六图像的配准处理过程的结束时刻，对第一摄像头和第二摄像头拍摄得到的两帧图像采用光流算法或块匹配算法进行图像配准处理，以该结束时刻恰好为上述实施例中的第二时刻为例，对获取的第三图像和第四图像采用光流算法或块匹配算法进行图像配准处理。对于第二时刻之后获得的图像，也可在第一运动矢量V5-6的基础上，采用上述实施例中的方法进行图像配准。对于第一摄像头和第二摄像头在得到第一运动矢量V5-6之前拍摄的图像，可采用两幅图像择一输出。同样的，在第三图像和第四图像配准处理结束时，得到第三图像相对于第四图像的第一运动矢量V，并在第三图像与第四图像的配准处理过程的结束时刻，对第一摄像头和第二摄像头拍摄得到的两帧图像采用光流算法或块匹配算法进行图像配准处理，以该结束时刻恰好为上述实施例中的第一时刻为例，对获取的第一图像和第二图像采用光流算法或块匹配算法进行图像配准处理。对于第一时刻之后获取的图像，可在第一运动矢量V的基础上，采用上述实施例中的方法进行图像配准。
下面结合图5，以第一摄像头和第二摄像头拍摄得到的两个视频序列，第一视频序列T和第二视频序列S为例，对本发明终端的图像配准方法中的第一运动矢量V的更新过程进行详细说明。图5为本发明实施例终端的图像配准方法实施例三的应用场景示意图。
如图5所示，第一摄像头拍摄得到第一视频序列T，第一视频序列T按照时间先后顺序包括图像{T1，T2……Ti-N……Ti-1,Ti,Ti+1,……Ti+N……}，第二摄像头拍摄得到第二视频序列S，第二视频序列S按照时间先后顺序包括图像{S1，S2……Si-N……Si-1,Si,Si+1,……Si+N……}。其中Ti与Si同一时刻拍摄得到，i、N为正整数，且i-N>1。
首先，对于第i时刻拍摄得到的图像Ti(即上述实施例中的第一图像) 和图像Si(即上述实施例中的第二图像)，确定当前可用的运动矢量为第一运动矢量Vi-N，如图5中图像Ti和图像Si之间的实线箭头Vi-N所示，并确定第一运动矢量Vi-N对应的两帧图像Ti-N(即上述实施例中的第三图像)和Si-N(即上述实施例中的第四图像)。图像Ti-N中的各像素点参照第一运动矢量Vi-N移动，可得到图像Si-N，该对应关系可记为Si-N＝Vi-N(Ti-N)。
其次，获取图像Ti和图像Ti-N的第二运动矢量Ui，具体获取方法可与上述实施例中相同，不再赘述。图像Ti中的各像素点参照第二运动矢量Ui移动，可得到图像Ti-N，该对应关系可记为Ti-N＝Ui(Ti)，并可推出Si-N＝Vi-N(Ui(Ti))。
再次，获取图像Si和图像Si-N的第三运动矢量Wi，具体获取方法可与上述实施例中相同，不再赘述。图像Si-N中的各像素点参照第三运动矢量Wi移动，可得到图像Si-N，该对应关系可记为Si＝Wi(Si-N)，并可推出Si＝Wi(Vi-N(Ui(Ti)))。
最后，根据对应关系Si＝Wi(Vi-N(Ui(Ti)))，可知将图像Ti中的各像素点依次根据第二运动矢量Ui、第一运动矢量Vi-N、第三运动矢量Wi移动，即可得到图像Si，故而可得到图像Ti中的各像素点和图像Si中的各像素点的配准结果，如图5中图像Ti和图像Si之间的虚线箭头所示。
当获得第i时刻拍摄得到的图像Ti和图像Si的配准结果后，对于第i时刻之后的第i+1时刻拍摄得到的图像Ti+1和图像Si+1，进行图像配准。
同样的，首先获取当前可用的运动矢量，仍为第一运动矢量Vi-N，则可确定第一运动矢量Vi-N对应的两帧图像仍为Ti-N和图像Si-N，然后再次以图像Ti-N和图像Si-N为参考，获取图像Ti+1和图像Ti-N的第二运动矢量Ui+1，以及图像Si+1和图像Si-N的第三运动矢量Wi+1，最后将图像Ti+1中的各像素点依次根据第二运动矢量Ui+1、第一运动矢量Vi-N、第三运动矢量Wi+1移动，即可得到图像Si+1，进而可得到图像Ti+1中的各像素点和图像Si+1中的各像素点的配准结果，如图5中图像Ti+1和图像Si+1之间的虚线箭头所示。
同样的，对于第i+1时刻至第i+N时刻拍摄得到的两帧图像进行图像配准，均采用上述相同的第一运动矢量Vi-N，以及第一运动矢量Vi-N对应的图像Ti-N和图像Si-N。
但是，对于第i+N+1时刻拍摄得到的图像Ti+N+1和图像Si+N+1，在第 i+N+1时刻，当前可用的第一运动矢量Vi-N，已更新为第一运动矢量Vi，如图5中图像Ti+N+1和图像Si+N+1之间的实线箭头Vi所示，并可确定第一运动矢量Vi对应的两帧图像分别为图像Ti和图像Si。然后以图像Ti和图像Si为参考，获取图像Ti+N+1和图像Ti的第二运动矢量Ui+N+1，以及图像Si+N+1和图像Si的第三运动矢量Wi+N+1，最后根据第二运动矢量Ui+N+1、第一运动矢量Vi、第三运动矢量Wi+N+1即可得到图像Ti+N+1和图像Si+N+1的配准结果。
具体的，由于第一运动矢量采用光流算法或块匹配算法进行图像配准处理，算法计算量大，配准结果准确度高但是生成速度慢，因此，第一运动矢量每次更新时，中间会间隔有多帧图像。可选的，可如上所述设置为一个第一运动矢量生成后，自动采用当前拍摄得到的新的两帧图像进行图像配准，待配准完成后，自动更新第一运动矢量，并开始下一次第一运动矢量的计算，因此每次间隔图像数量可以相同，也可以不同。
可选的，也可设置为每拍摄固定帧数的图像后，计算一次第一运动矢量。即第五图像与第三图像、第三图像与第一图像之间间隔有N帧图像，第六图像与第四图像、第四图像与第二图像之间间隔有N帧图像。当N越小时，所采用的第一运动矢量更新越快，配准结果越准确，当N越大，配准结果越不准确。因此，可将采用光流算法或者块匹配算法生成第一运动矢量所必须间隔的帧数设置为N的取值。
可选的，N的值与终端的摄像头的拍摄帧率成正比。
示例性的，当摄像头拍摄帧率越高，摄像头每秒钟能够拍摄得到的图像越多，而第一运动矢量的更新时间一定，这就导致当拍摄帧率越高时，越多的图像必须采用同一个第一运动矢量，即第一图像与第三图像之间间隔的图像数量N越大。在实际使用过程中，优选的，N的值为10。
本发明实施例另一方面提供一种终端的图像配准装置，终端包括第一摄像头和第二摄像头，第一摄像头和第二摄像头并排设置且同时工作，该装置可以执行上述任一实施例中的图像配准方法，其实现原理和技术效果类似，在此不再赘述。图6为本发明实施例提供的终端的图像配准设备实施例一的结构示意图。如图6所示，该装置包括：
视频序列获取模块601，用于获取第一摄像头拍摄得到的第一视频序列和第二摄像头拍摄得到的第二视频序列，第一视频序列和第二视频序列记录 同一场景；
当前可用运动矢量获取模块602，用于对于第一视频序列中在第一时刻拍摄的第一图像，和第二视频序列中在第一时刻拍摄的第二图像，确定第一时刻可用的第一运动矢量V以及第一运动矢量V对应的第三图像和第四图像，其中，第一运动矢量V为第三图像相对于第四图像的运动矢量，第三图像为第一视频序列中在第二时刻拍摄的图像，第四图像为第二视频序列中在第二时刻拍摄的图像，第二时刻为第一时刻之前的时刻；
第二运动矢量生成模块603，用于对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U；
第三运动矢量生成模块604，用于获取第四图像相对于第二图像的第三运动矢量W；
配准模块605，用于根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，得到配准结果，配准结果包括第一图像中的各像素点与第二图像中的各像素点的对应关系。
本发明实施例提供的终端的图像配准装置，配准模块根据第一运动矢量V、第二运动矢量U和第三运动矢量W得到两帧当前图像的配准结果，其中准确度较高的第一运动矢量V为已经获取的运动矢量，并不占用处理时间，且第二运动矢量U和第三运动矢量W分别为对两帧极其相似的图像进行图像配准获得，因此获取速度较快，可在摄像头进行视频拍摄的过程中，随着当前两帧图像的更新同步获取当前两帧图像的第二运动矢量U和第三运动矢量W；因此本发明实施例提高了图像配准速度，可在不降低图像配准准确度的条件下，实现两帧图像的实时配准，为后续的图像的进一步处理提供参考，从而使得包括至少两个摄像头的终端的拍摄可应用在视频拍摄中，以将拍摄出的图像实时显示给用户。
可选的，第三运动矢量获取模块604具体用于，采用全局图像配准算法对第四图像和第二图像进行图像配准处理，得到第四图像相对于第二图像的第三运动矢量W；或者根据第二运动矢量U包括的移动方向进行反向处理，得到第三运动矢量W。
可选的，配准模块605具体用于，根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，对第一图像的每个像素点所处的第一位置进行位 移处理，得到第二位置；根据第二位置，得到配准结果，其中，第一图像中位于第一位置处的像素点与第二图像中位于第二位置处的像素点的具有对应关系。
可选的，该装置还包括：第一运动矢量生成模块600，用于采用局部图像配准算法对第三图像和第四图像进行图像配准处理，得到第三图像相对于第四图像的第一运动矢量V；
进一步地，第二运动矢量生成模块603具体用于，采用全局图像配准算法对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U。
可选的，第一运动矢量生成模块600具体用于，在确定采用光流算法或块匹配算法对第五图像和第六图像进行图像配准处理的过程结束后，对在图像配准处理的过程的结束时刻获取的第三图像以及第四图像，采用光流算法或块匹配算法进行图像配准处理，得到第三图像相对于第四图像的第一运动矢量V；
其中，第五图像为第一视频序列中在第三时刻拍摄得到的图像，第六图像为第二视频序列中在第三时刻拍摄得到的图像，第三时刻为第二时刻之前的时刻。
可选的，第三图像与第一图像之间间隔有N帧图像，第四图像与第二图像之间间隔有N帧图像，其中，N为正整数。
可选的，N的值与终端的摄像头的拍摄帧率成正比。
本发明实施例另一方面还提供一种终端，包括第一摄像头、第二摄像头和图像配准器，第一摄像头和第二摄像头并排设置且同时工作。该终端用于执行上述方法实施例中的图像配准方法，其实现原理和技术效果类似，在此不再赘述。
终端的图像配准器具体用于：
获取第一摄像头拍摄得到的第一视频序列和第二摄像头拍摄得到的第二视频序列，第一视频序列和第二视频序列记录同一场景；
对于第一视频序列中在第一时刻拍摄的第一图像，和第二视频序列中在第一时刻拍摄的第二图像，确定第一时刻可用的第一运动矢量V以及第一运动矢量V对应的第三图像和第四图像，其中，第一运动矢量V为第三图像相 对于第四图像的运动矢量，第三图像为第一视频序列中在第二时刻拍摄的图像，第四图像为第二视频序列中在第二时刻拍摄的图像，第二时刻为第一时刻之前的时刻；
对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U；
获取第四图像相对于第二图像的第三运动矢量W；
根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，得到配准结果，配准结果包括第一图像中的各像素点与第二图像中的各像素点的对应关系。
可选的，图像配准器具体用于，采用全局图像配准算法对第四图像和第二图像进行图像配准处理，得到第四图像相对于第二图像的第三运动矢量W；或者根据第二运动矢量U包括的移动方向进行反向处理，得到第三运动矢量W。
可选的，图像配准器具体用于，根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，对第一图像的每个像素点所处的第一位置进行位移处理，得到第二位置；根据第二位置，得到配准结果，其中，第一图像中位于第一位置处的像素点与第二图像中位于第二位置处的像素点的具有对应关系。
可选的，图像配准器还用于，采用局部图像配准算法对第三图像和第四图像进行图像配准处理，得到第三图像相对于第四图像的第一运动矢量V；
进一步地，图像配准器具体用于，采用全局图像配准算法对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U。
可选的，图像配准器具体用于，在确定采用光流算法或块匹配算法对第五图像和第六图像进行图像配准处理的过程结束后，对在图像配准处理的过程的结束时刻获取的第三图像以及第四图像，采用光流算法或块匹配算法进行图像配准处理，得到第三图像相对于第四图像的第一运动矢量V；
其中，第五图像为第一视频序列中在第三时刻拍摄得到的图像，第六图像为第二视频序列中在第三时刻拍摄得到的图像，第三时刻为第二时刻之前的时刻。
可选的，第三图像与第一图像之间间隔有N帧图像，第四图像与第二图像之间间隔有N帧图像，其中，N为正整数。
可选的，N的值与终端的摄像头的拍摄帧率成正比。
本发明实施例另一方面提供一种存储介质，该存储介质为计算机可读存储介质，存储有一个或多个程序，一个或多个程序包括指令，指令当被包括摄像头和多个应用程序的便携式电子设备执行时，使便携式电子设备执行上述任一方法实施例中的图像配准方法；其中，摄像头包括第一摄像头和第二摄像头。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品 或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (16)

  1. 一种终端的图像配准方法，其特征在于，所述终端包括第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头并排设置且同时工作，所述方法包括：
    获取所述第一摄像头拍摄得到的第一视频序列和所述第二摄像头拍摄得到的第二视频序列，所述第一视频序列和所述第二视频序列记录同一场景；
    对于所述第一视频序列中在第一时刻拍摄的第一图像，和所述第二视频序列中在所述第一时刻拍摄的第二图像，确定所述第一时刻可用的第一运动矢量V以及所述第一运动矢量V对应的第三图像和第四图像，其中，所述第一运动矢量V为所述第三图像相对于所述第四图像的运动矢量，所述第三图像为所述第一视频序列中在第二时刻拍摄的图像，所述第四图像为所述第二视频序列中在第二时刻拍摄的图像，所述第二时刻为所述第一时刻之前的时刻；
    对所述第一图像和所述第三图像进行图像配准处理，得到所述第一图像相对于所述第三图像的第二运动矢量U；
    获取所述第四图像相对于所述第二图像的第三运动矢量W；
    根据所述第一运动矢量V、所述第二运动矢量U、以及所述第三运动矢量W，得到配准结果，所述配准结果包括所述第一图像中的各像素点与所述第二图像中的各像素点的对应关系。
  2. 根据权利要求1所述的方法，其特征在于，所述获取第四图像相对于第二图像的第三运动矢量W，包括：
    采用全局图像配准算法对所述第四图像和所述第二图像进行图像配准处理，得到所述第四图像相对于所述第二图像的第三运动矢量W；或者
    根据所述第二运动矢量U包括的移动方向进行反向处理，得到第三运动矢量W。
  3. 根据权利要求1或2所述的方法，其特征在于，所述根据所述第一运动矢量V、所述第二运动矢量U、以及所述第三运动矢量W，得到配准结果，包括：
    根据所述第一运动矢量V、所述第二运动矢量U、以及所述第三运动矢量W，对所述第一图像的每个像素点所处的第一位置进行位移处理，得到第 二位置；
    根据所述第二位置，得到配准结果，其中，所述第一图像中位于所述第一位置处的像素点与所述第二图像中位于所述第二位置处的像素点的具有对应关系。
  4. 根据权利要求1至3任一项所述的方法，其特征在于，所述确定所述第一时刻可用的第一运动矢量V以及所述第一运动矢量V对应的第三图像和第四图像之前，还包括：
    采用局部图像配准算法对所述第三图像和所述第四图像进行图像配准处理，得到所述第三图像相对于所述第四图像的第一运动矢量V；
    所述对所述第一图像和所述第三图像进行图像配准处理，得到所述第一图像相对于所述第三图像的第二运动矢量U，包括：
    采用全局图像配准算法对所述第一图像和所述第三图像进行图像配准处理，得到所述第一图像相对于所述第三图像的第二运动矢量U。
  5. 根据权利要求4所述的方法，其特征在于，所述采用局部图像配准算法对所述第三图像和所述第四图像进行图像配准处理，得到所述第三图像相对于所述第四图像的第一运动矢量V，包括：
    在确定采用光流算法或块匹配算法对第五图像和第六图像进行图像配准处理的过程结束后，对在所述图像配准处理的过程的结束时刻获取的第三图像以及第四图像，采用所述光流算法或块匹配算法进行图像配准处理，得到所述第三图像相对于所述第四图像的第一运动矢量V；
    其中，所述第五图像为所述第一视频序列中在第三时刻拍摄得到的图像，所述第六图像为所述第二视频序列中在所述第三时刻拍摄得到的图像，所述第三时刻为所述第二时刻之前的时刻。
  6. 一种终端的图像配准装置，其特征在于，所述终端包括第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头并排设置且同时工作，所述装置包括：
    视频序列获取模块，用于获取所述第一摄像头拍摄得到的第一视频序列和所述第二摄像头拍摄得到的第二视频序列，所述第一视频序列和所述第二视频序列记录同一场景；
    当前可用运动矢量获取模块，用于对于所述第一视频序列中在第一时刻 拍摄的第一图像，和所述第二视频序列中在所述第一时刻拍摄的第二图像，确定所述第一时刻可用的第一运动矢量V以及所述第一运动矢量V对应的第三图像和第四图像，其中，所述第一运动矢量V为所述第三图像相对于所述第四图像的运动矢量，所述第三图像为所述第一视频序列中在第二时刻拍摄的图像，所述第四图像为所述第二视频序列中在第二时刻拍摄的图像，所述第二时刻为所述第一时刻之前的时刻；
    第二运动矢量生成模块，用于对所述第一图像和所述第三图像进行图像配准处理，得到所述第一图像相对于所述第三图像的第二运动矢量U；
    第三运动矢量生成模块，用于获取所述第四图像相对于所述第二图像的第三运动矢量W；
    配准模块，用于根据所述第一运动矢量V、所述第二运动矢量U、以及所述第三运动矢量W，得到配准结果，所述配准结果包括所述第一图像中的各像素点与第二图像中的各像素点的对应关系。
  7. 根据权利要求6所述的装置，其特征在于，所述第三运动矢量获取模块具体用于，采用全局图像配准算法对所述第四图像和第二图像进行图像配准处理，得到所述第四图像相对于所述第二图像的第三运动矢量W；或者根据所述第二运动矢量U包括的移动方向进行反向处理，得到第三运动矢量W。
  8. 根据权利要求6或7所述的装置，其特征在于，所述配准模块具体用于，根据所述第一运动矢量V、所述第二运动矢量U、以及所述第三运动矢量W，对所述第一图像的每个像素点所处的第一位置进行位移处理，得到第二位置；根据所述第二位置，得到配准结果，其中，所述第一图像中位于所述第一位置处的像素点与所述第二图像中位于所述第二位置处的像素点的具有对应关系。
  9. 根据权利要求6至8任一项所述的装置，其特征在于，所述装置还包括：
    第一运动矢量生成模块，用于采用局部图像配准算法对所述第三图像和所述第四图像进行图像配准处理，得到所述第三图像相对于所述第四图像的第一运动矢量V；
    所述第二运动矢量生成模块具体用于，采用全局图像配准算法对所述第 一图像和所述第三图像进行图像配准处理，得到所述第一图像相对于所述第三图像的第二运动矢量U。
  10. 根据权利要求9所述的装置，其特征在于，所述第一运动矢量生成模块具体用于，在确定采用光流算法或块匹配算法对第五图像和第六图像进行图像配准处理的过程结束后，对在所述图像配准处理的过程的结束时刻获取的第三图像以及第四图像，采用所述光流算法或块匹配算法进行图像配准处理，得到所述第三图像相对于所述第四图像的第一运动矢量V；
    其中，所述第五图像为所述第一视频序列中在第三时刻拍摄得到的图像，所述第六图像为所述第二视频序列中在所述第三时刻拍摄得到的图像，所述第三时刻为所述第二时刻之前的时刻。
  11. 一种终端，其特征在于，所述终端包括第一摄像头、第二摄像头和图像配准器，所述第一摄像头和所述第二摄像头并排设置且同时工作，所述图像配准器具体用于，
    获取所述第一摄像头拍摄得到的第一视频序列和所述第二摄像头拍摄得到的第二视频序列，所述第一视频序列和所述第二视频序列记录同一场景；
    对于所述第一视频序列中在第一时刻拍摄的第一图像，和所述第二视频序列中在所述第一时刻拍摄的第二图像，确定所述第一时刻可用的第一运动矢量V以及所述第一运动矢量V对应的第三图像和第四图像，其中，所述第一运动矢量V为所述第三图像相对于所述第四图像的运动矢量，所述第三图像为所述第一视频序列中在第二时刻拍摄的图像，所述第四图像为所述第二视频序列中在第二时刻拍摄的图像，所述第二时刻为所述第一时刻之前的时刻；
    对所述第一图像和所述第三图像进行图像配准处理，得到所述第一图像相对于所述第三图像的第二运动矢量U；
    获取所述第四图像相对于所述第二图像的第三运动矢量W；
    根据所述第一运动矢量V、所述第二运动矢量U、以及所述第三运动矢量W，得到配准结果，所述配准结果包括所述第一图像中的各像素点与第二图像中的各像素点的对应关系。
  12. 根据权利要求11所述的终端，其特征在于，所述图像配准器具体用于，采用全局图像配准算法对所述第四图像和第二图像进行图像配准处 理，得到所述第四图像相对于所述第二图像的第三运动矢量W；或者根据所述第二运动矢量U包括的移动方向进行反向处理，得到第三运动矢量W。
  13. 根据权利要求11或12所述的终端，其特征在于，所述图像配准器具体用于，根据所述第一运动矢量V、所述第二运动矢量U、以及所述第三运动矢量W，对所述第一图像的每个像素点所处的第一位置进行位移处理，得到第二位置；
    根据所述第二位置，得到配准结果，其中，所述第一图像中位于所述第一位置处的像素点与所述第二图像中位于所述第二位置处的像素点的具有对应关系。
  14. 根据权利要求11至13任一项所述的终端，其特征在于，所述图像配准器还用于，采用局部图像配准算法对所述第三图像和所述第四图像进行图像配准处理，得到所述第三图像相对于所述第四图像的第一运动矢量V；
    所述图像配准器具体用于，采用全局图像配准算法对所述第一图像和所述第三图像进行图像配准处理，得到所述第一图像相对于所述第三图像的第二运动矢量U。
  15. 根据权利要求14所述的终端，其特征在于，所述图像配准器具体用于，在确定采用光流算法或块匹配算法对第五图像和第六图像进行图像配准处理的过程结束后，对在所述图像配准处理的过程的结束时刻获取的第三图像以及第四图像，采用所述光流算法或块匹配算法进行图像配准处理，得到所述第三图像相对于所述第四图像的第一运动矢量V；
    其中，所述第五图像为所述第一视频序列中在第三时刻拍摄得到的图像，所述第六图像为所述第二视频序列中在所述第三时刻拍摄得到的图像，所述第三时刻为所述第二时刻之前的时刻。
  16. 一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，存储有一个或多个程序，所述一个或多个程序包括指令，所述指令当被包括摄像头和多个应用程序的便携式电子设备执行时，使所述便携式电子设备执行权利要求1至5中任一项所述方法；其中，所述摄像头包括第一摄像头和第二摄像头。
PCT/CN2016/077782 2016-03-30 2016-03-30 终端的图像配准方法、装置和终端 WO2017166081A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/090,451 US10832425B2 (en) 2016-03-30 2016-03-30 Image registration method and apparatus for terminal, and terminal
PCT/CN2016/077782 WO2017166081A1 (zh) 2016-03-30 2016-03-30 终端的图像配准方法、装置和终端
EP16895862.7A EP3429186B1 (en) 2016-03-30 2016-03-30 Image registration method and device for terminal
CN201680025604.9A CN107534736B (zh) 2016-03-30 2016-03-30 终端的图像配准方法、装置和终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/077782 WO2017166081A1 (zh) 2016-03-30 2016-03-30 终端的图像配准方法、装置和终端

Publications (1)

Publication Number Publication Date
WO2017166081A1 true WO2017166081A1 (zh) 2017-10-05

Family

ID=59962449

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/077782 WO2017166081A1 (zh) 2016-03-30 2016-03-30 终端的图像配准方法、装置和终端

Country Status (4)

Country Link
US (1) US10832425B2 (zh)
EP (1) EP3429186B1 (zh)
CN (1) CN107534736B (zh)
WO (1) WO2017166081A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6826010B2 (ja) * 2017-08-09 2021-02-03 株式会社東芝 カメラ運動推定装置、カメラ運動推定方法及びプログラム
CN113364911B (zh) * 2021-06-11 2023-03-07 上海兴容信息技术有限公司 一种预设终端的检测方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010021224A1 (en) * 1999-12-14 2001-09-13 Larkin Kieran Gerard Method and apparatus for uniform lineal motion blur estimation using multiple exposures
CN103685951A (zh) * 2013-12-06 2014-03-26 华为终端有限公司 一种图像处理方法、装置及终端
CN103780840A (zh) * 2014-01-21 2014-05-07 上海果壳电子有限公司 一种高品质成像的双摄像成像装置及其方法
CN103888672A (zh) * 2014-03-31 2014-06-25 宇龙计算机通信科技(深圳)有限公司 一种终端及终端拍摄方法
CN103986875A (zh) * 2014-05-29 2014-08-13 宇龙计算机通信科技(深圳)有限公司 一种图像获取装置、方法、终端及视频获取方法
CN104427211A (zh) * 2013-08-20 2015-03-18 三星泰科威株式会社 图像对齐设备和使用该设备的图像对齐方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6507661B1 (en) 1999-04-20 2003-01-14 Nec Research Institute, Inc. Method for estimating optical flow
KR100556848B1 (ko) * 2003-05-13 2006-03-10 엘지전자 주식회사 디지털 워터마킹을 이용한 동영상 부호화/복호화 장치 및방법
US7672378B2 (en) * 2005-01-21 2010-03-02 Stmicroelectronics, Inc. Spatio-temporal graph-segmentation encoding for multiple video streams
SE529157C2 (sv) * 2005-07-01 2007-05-15 Daniel Forsgren Bildförbättring vid registrering av sporthändelser
US8111300B2 (en) * 2009-04-22 2012-02-07 Qualcomm Incorporated System and method to selectively combine video frame image data
US8890937B2 (en) * 2009-06-01 2014-11-18 The Curators Of The University Of Missouri Anonymized video analysis methods and systems
JP5258722B2 (ja) * 2009-09-24 2013-08-07 富士フイルム株式会社 複眼カメラ及びその制御方法
US8923639B2 (en) * 2010-04-15 2014-12-30 Konica Minolta Holdings, Inc. Image processing system, image processing method, and program
JP5643563B2 (ja) 2010-07-22 2014-12-17 キヤノン株式会社 画像処理装置及びその制御方法
US9939253B2 (en) * 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
CN103996200B (zh) 2014-06-11 2017-12-12 四川华雁信息产业股份有限公司 一种基于图像子块参数的快速图像配准方法
KR101822892B1 (ko) * 2014-12-10 2018-01-29 엘지전자 주식회사 차량 운전 보조 장치 및 차량 운전 보조 장치의 동작 방법
US10447926B1 (en) * 2015-06-19 2019-10-15 Amazon Technologies, Inc. Motion estimation based video compression and encoding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010021224A1 (en) * 1999-12-14 2001-09-13 Larkin Kieran Gerard Method and apparatus for uniform lineal motion blur estimation using multiple exposures
CN104427211A (zh) * 2013-08-20 2015-03-18 三星泰科威株式会社 图像对齐设备和使用该设备的图像对齐方法
CN103685951A (zh) * 2013-12-06 2014-03-26 华为终端有限公司 一种图像处理方法、装置及终端
CN103780840A (zh) * 2014-01-21 2014-05-07 上海果壳电子有限公司 一种高品质成像的双摄像成像装置及其方法
CN103888672A (zh) * 2014-03-31 2014-06-25 宇龙计算机通信科技(深圳)有限公司 一种终端及终端拍摄方法
CN103986875A (zh) * 2014-05-29 2014-08-13 宇龙计算机通信科技(深圳)有限公司 一种图像获取装置、方法、终端及视频获取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3429186A4 *

Also Published As

Publication number Publication date
CN107534736A (zh) 2018-01-02
US20190114793A1 (en) 2019-04-18
US10832425B2 (en) 2020-11-10
EP3429186A1 (en) 2019-01-16
CN107534736B (zh) 2020-04-28
EP3429186B1 (en) 2022-08-24
EP3429186A4 (en) 2019-03-27

Similar Documents

Publication Publication Date Title
EP3067746B1 (en) Photographing method for dual-camera device and dual-camera device
CN106981078B (zh) 视线校正方法、装置、智能会议终端及存储介质
CN113973190A (zh) 视频虚拟背景图像处理方法、装置及计算机设备
WO2010028559A1 (zh) 图像拼接方法及装置
KR20150050172A (ko) 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
CN110636276B (zh) 视频拍摄方法、装置、存储介质及电子设备
CN106997579B (zh) 图像拼接的方法和装置
US10349040B2 (en) Storing data retrieved from different sensors for generating a 3-D image
US9584806B2 (en) Using depth information to assist motion compensation-based video coding
US20190073825A1 (en) Enhancing depth sensor-based 3d geometry reconstruction with photogrammetry
US10602077B2 (en) Image processing method and system for eye-gaze correction
WO2023169281A1 (zh) 图像配准方法、装置、存储介质及电子设备
CN106713740A (zh) 定位跟踪摄像方法与系统
JP2013085223A (ja) 立体パノラマ映像を生成する装置及び方法
CN103500471A (zh) 实现高分辨率增强现实系统的方法
WO2017166081A1 (zh) 终端的图像配准方法、装置和终端
CN114520906A (zh) 基于单目相机的三维人像补全方法和补全系统
WO2024104439A1 (zh) 图像插帧方法、装置、设备及计算机可读存储介质
KR102238794B1 (ko) 영상 촬영 장치의 촬영 속도 증가 방법
CN111385481A (zh) 图像处理方法及装置、电子设备及存储介质
US20220405882A1 (en) Convolutional neural network super-resolution system and method
JP4578653B2 (ja) 奥行き画像生成装置、奥行き画像生成方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
CN116208851A (zh) 图像处理方法及相关装置
CN115914834A (zh) 视频处理方法及装置
JP2012173858A (ja) 全方位画像生成方法、画像生成装置およびプログラム

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016895862

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016895862

Country of ref document: EP

Effective date: 20181009

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16895862

Country of ref document: EP

Kind code of ref document: A1