WO2023272524A1 - 双目拍摄装置及确定其观测深度的方法、装置、可移动平台 - Google Patents

双目拍摄装置及确定其观测深度的方法、装置、可移动平台 Download PDF

Info

Publication number
WO2023272524A1
WO2023272524A1 PCT/CN2021/103269 CN2021103269W WO2023272524A1 WO 2023272524 A1 WO2023272524 A1 WO 2023272524A1 CN 2021103269 W CN2021103269 W CN 2021103269W WO 2023272524 A1 WO2023272524 A1 WO 2023272524A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
motion
binocular
pixels
determining
Prior art date
Application number
PCT/CN2021/103269
Other languages
English (en)
French (fr)
Inventor
戴玉超
樊斌
王珂
周游
刘洁
叶长春
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2021/103269 priority Critical patent/WO2023272524A1/zh
Publication of WO2023272524A1 publication Critical patent/WO2023272524A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present application relates to the technical field of depth estimation, and in particular to a binocular photographing device, a method, a device, and a movable platform for determining its observation depth.
  • binocular vision system is a very important research direction in the field of computer vision.
  • the binocular vision system can obtain richer scene information and three-dimensional perception information, and plays an important role in robot navigation, three-dimensional reconstruction and automatic driving.
  • binocular depth estimation technology is the core work of binocular vision technology research.
  • many more classic solutions have been proposed, such as SGM, SPS-Stereo, etc. They are mainly used for global shutter binocular cameras. Even if there is a small calibration error between the left and right cameras, the global shutter binocular image that satisfies the characteristic of "polar line level" can be obtained through binocular correction (rectify) in advance.
  • the present application provides a binocular shooting device, a method for determining its observation depth, a device, and a movable platform, which can better realize a binocular vision system based on a rolling shutter camera.
  • the embodiment of the present application provides a method for determining the observation depth of a binocular camera device, including:
  • the first image and the second image determine the initial depth of observation of the binocular imaging device
  • the observation depth of the binocular photographing device is determined according to the first image after de-distortion processing and the second image after de-distortion processing.
  • the embodiment of the present application provides a binocular photographing device, including a first photographing device and a second photographing device, and the sensing units in the image sensors of the first photographing device and the second photographing device are progressive exposed;
  • the binocular imaging device also includes one or more processors, working individually or jointly, for performing the following steps:
  • the observation depth of the binocular photographing device is determined according to the first image after de-distortion processing and the second image after de-distortion processing.
  • the embodiment of the present application provides a device for determining the depth of observation, including one or more processors working individually or jointly for performing the steps of the aforementioned method for determining the depth of observation of a binocular camera device.
  • the embodiment of the present application provides a movable platform equipped with a first photographing device and a second photographing device, the sensing units in the image sensors of the first photographing device and the second photographing device are progressively exposed of;
  • the movable platform further includes one or more processors, working individually or jointly, for executing the steps of the aforementioned method for determining the observation depth of the binocular camera device.
  • the embodiment of the present application provides a computer-readable storage medium, the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the processor implements the steps of the above method .
  • the embodiment of the present application provides a binocular photographing device and a method, device, and movable platform for determining its observation depth.
  • the method includes: acquiring the first image and the second image captured by the rolling shutter binocular camera, and the second image, determine the initial observation depth of the binocular imaging device; determine the first movement of the binocular imaging device in the exposure process according to the initial observation depth; The second image is de-distorted; according to the de-distorted first image and the de-distorted second image, the observation depth of the binocular shooting device is determined, which can realize and improve the depth perception based on the rolling shutter binocular camera.
  • FIG. 1 is a schematic flowchart of a method for determining the depth of observation of a binocular imaging device provided by an embodiment of the present application
  • Fig. 2 is a schematic diagram of an implementation scenario of the method in Fig. 1;
  • Fig. 3 is a schematic diagram of rolling shutter camera exposure
  • Fig. 4 is a schematic diagram of the principle of the triangulation measurement method
  • Fig. 5 is a schematic diagram of the motion relationship between the first photographing device and the second photographing device
  • Fig. 6 is a schematic block diagram of a binocular imaging device provided by an embodiment of the present application.
  • Fig. 7 is a schematic block diagram of an observation depth determination device provided by an embodiment of the present application.
  • Fig. 8 is a schematic block diagram of a mobile platform provided by an embodiment of the present application.
  • the traditional binocular depth estimation algorithm aims to obtain accurate matching pixels in the binocular image on the basis of optimizing the matching cost value, and then obtain accurate disparity and depth values.
  • the calculation steps of the binocular disparity value can be summarized as: matching cost calculation, cost aggregation, disparity calculation and disparity optimization. They mostly focus on matching cost calculation and parallax optimization. Generally, each pixel is assigned a parallax value in a local or global manner, and a well-designed matching cost function represents the similarity between pixels.
  • traditional algorithms often fail to obtain better disparity estimation results for areas with low texture or even no texture. And in the traditional algorithm, the choice of empirical parameters has a greater impact on the matching results.
  • the depth estimation algorithm based on deep learning can extract the local information features of the image through convolution, pooling and other operations, and extract the multi-layer features of the image for cost calculation, and then extract the global features and After completing steps such as cost aggregation, accurate binocular depth estimation results are obtained.
  • these binocular depth estimation algorithms are all based on the corrected global shutter binocular images, that is, the left and right images satisfy the characteristic of "epipolar level". At present, rolling shutter cameras cannot realize the binocular vision system well.
  • FIG. 1 is a schematic flowchart of a method for determining an observation depth of a binocular imaging device provided by an embodiment of the present application.
  • the method can be applied in a binocular vision system.
  • the binocular vision system is equipped with a first shooting device and a second shooting device and a processor.
  • the processor is used to execute the steps of the method.
  • the images taken determine the depth of observation.
  • the method can also be applied to equipment that does not include a shooting device, such as an observation depth determination device.
  • the device can communicate with a binocular shooting device, acquire images taken by the binocular shooting device, and determine whether to shoot according to the acquired image. The viewing depth of the device.
  • the binocular vision system includes a binocular camera equipped with a first camera and a second camera or a movable platform equipped with a first camera and a second camera.
  • the apparatus for determining the observation depth may include a terminal device or a server.
  • the terminal equipment may include at least one of mobile phones, tablet computers, notebook computers, desktop computers, personal digital assistants, wearable devices, remote controls, etc.;
  • the mobile platform may include unmanned aerial vehicles, gimbals, unmanned vehicles, etc. at least one of .
  • the unmanned aerial vehicle may be a rotor-type drone, such as a quad-rotor drone, a hexacopter drone, an octo-rotor drone, or a fixed-wing drone.
  • the method for determining the depth of observation of a binocular camera device can be applied to equipment such as drones, intelligent robots, unmanned vehicles, or panoramic depth cameras, so as to realize the perception and recognition of the three-dimensional shape of the scene around the equipment. Measurement of location distance.
  • the movable platform 10 is equipped with two photographing devices 11 arranged adjacently, and the movable platform 10 can communicate with the terminal device 20 to transmit the images acquired by the photographing device 11 to the terminal device. 20.
  • the terminal device 20 may determine the observation depth of the photographing device 11 according to the received image.
  • the terminal device 20 may, for example, perform visualization processing on the observation depth.
  • the movable platform 10 is equipped with two adjacently arranged photographing devices 11, the movable platform 10 can determine the observation depth of the photographing device 11 according to the images acquired by the photographing devices 11, and the determined The observation depth is transmitted to the terminal device 20 , which can, for example, visualize the observation depth.
  • the method for determining the observation depth of a binocular camera device includes steps S110 to S150.
  • the first shooting device among the binocular shooting devices can be called a left-eye camera, and the second shooting device can be called a right-eye camera.
  • the first shooting device can be called a right-eye camera
  • the second photographing device may be called a left-eye camera. It can be understood that the first photographing device and the second photographing device capture images of the same scene, for example, two photographing devices installed at a fixed position simultaneously capture digital images of the same scene from different angles.
  • the first shooting device and the second shooting device may include rolling shutter cameras, and the binocular shooting device may be called a rolling shutter binocular camera.
  • the inventors of the present application improved the method for determining the observation depth of a binocular camera device, so as to enhance the depth perception capability of a rolling shutter binocular camera system.
  • S120 Determine an initial observation depth of the binocular camera according to the first image and the second image.
  • the initial observation depth of the binocular camera device may be determined based on a triangulation method and according to the first image and the second image.
  • G represents the origin under the world coordinate system (or called the earth coordinate system, Ground)
  • C0, C1, and C2 are three different camera poses
  • the same position P is shot from different angles and poses Bees, you can see that the points on the image where the bees sting are different, they are P0, P1, and P2.
  • R represents the rotation transformation between the two poses
  • T represents the displacement transformation between the two poses; in the case that several camera poses have been determined, the real three-dimensional position of the bee P can be solved, and the bee P and The distance between the camera's wide letters, or called depth information.
  • the determining the initial observation depth of the binocular camera device according to the first image and the second image includes: determining that the first image and the second image match ( stereo match); according to the position of the matched pixel on the first image and the position on the second image, determine the optical flow between the matched pixels; according to the matched pixel The optical flow between them determines the initial observation depth of the binocular camera.
  • the rolling shutter image has visual distortion, such as tilting, shaking, etc., it does not affect the estimation of optical flow. Ignoring the influence of rolling shutter, it can be estimated directly based on the internal and external parameters of the binocular camera calibrated in advance using triangulation technology. Get the initial rolling shutter binocular depth map (rough depth map).
  • a second pixel matching the first pixel is determined on the second image, and the first pixel and the matching second pixel can correspond to the same position in the shooting scene.
  • the determining the initial observation depth of the binocular camera device according to the first image and the second image includes: triangulating the optical flow between the matched pixels , to obtain the depth value corresponding to the matched pixel.
  • the observation depth of the binocular camera can be determined according to the pre-calibrated internal and external parameters of the rolling shutter binocular camera, and the optical flow between the matched pixels, since the images captured by the rolling shutter camera There are visual distortions, such as tilting, shaking, etc., and the determined observation depth of the binocular camera device is not precise enough, which may be called an initial observation depth.
  • the external parameters include, for example, a rotation transformation R and a displacement transformation T between the poses of the first camera and the second camera
  • the internal parameters include, for example, a camera matrix (calibration matrix), which may also be called a camera Internal reference matrix (camera instrinsic).
  • the determining the matching pixels on the first image and the second image includes: determining on the second image a pixel matching each pixel on the first image.
  • determining on the second image a pixel matching each pixel on the first image By performing dense optical flow matching on the first image and the second image, it is possible to determine the pixel on the second image that matches each pixel on the first image, and determine the optical flow of each pixel flow, the initial observation depth with higher resolution can be obtained.
  • each pixel has a depth value.
  • the first image with a resolution of 640 ⁇ 480 can determine 640 ⁇ 480 depth values.
  • dense optical flow matching may be performed on the first image and the second image by using a machine learning model, such as a deep neural network PWC-Net, but of course it is not limited thereto.
  • a machine learning model such as a deep neural network PWC-Net, but of course it is not limited thereto.
  • the determining the initial observation depth of the binocular camera device according to the first image and the second image includes: inputting the first image and the second image into a preset The optical flow estimation network model of the first image and the optical flow between the matched pixels on the second image are obtained; according to the optical flow between the matched pixels, the initial state of the binocular camera is determined observation depth.
  • the optical flow between the matched pixels on the first image and the second image may be determined through an optical flow estimation model based on a convolutional neural network.
  • the optical flow estimation model may include a FlowNet network model, but of course it is not limited thereto.
  • the first movement of the binocular camera during the exposure process includes the first movement of the first camera and the first movement of the second camera.
  • the rotation transformation R (Rotation Matrix) and the displacement transformation T (Translation Matrix) between the poses of the device can determine the first motion of the second shooting device according to the first motion of the first shooting device.
  • the motion model of the first motion may include a uniform velocity (Uniform) motion model, of course it is not limited thereto, for example, may also include an acceleration motion model.
  • the motion parameters of the uniform motion model include linear velocity and/or angular velocity
  • the motion parameters of the accelerated motion model may include linear acceleration and/or angular acceleration.
  • the motion duration of the first motion is determined according to the exposure duration of the first photographing device and/or the exposure duration of the second photographing device, for example, the motion duration corresponding to the uniform motion model is determined according to The exposure duration of the first photographing device and/or the exposure duration of the second photographing device are determined.
  • the movement duration of the first movement is the time elapsed from the first camera exposure (that is, the moment when the first row starts to expose) to the last row of pixel exposure, for example, the time of the sensing unit pixels in the image sensor of the first camera. The product of the total number of rows and the exposure time for each row.
  • the determining the first motion of the binocular camera device during the exposure process according to the initial observation depth includes: initializing motion parameters of the first motion; adjusting the motion parameters of the first motion and optimizing the initial observation depth to obtain optimized motion parameters of the first motion.
  • the motion parameters of the first motion and the initial observation depth are optimized.
  • the optimal solution method for the self-motion of the rolling shutter binocular camera is realized, and the self-motion of the rolling shutter binocular camera can be estimated more accurately.
  • the initialization value of the first motion can be a zero vector, for example, the linear velocity, angular velocity and Both the linear velocity and the angular velocity of the first movement of the second photographing device are zero. Of course it is not limited to this.
  • the acquiring the initialization value of the first motion includes: according to the first image of the adjacent frame, determining the second motion of the binocular camera device within the time period of the adjacent frame; An initialization value for the first motion is determined based on the second motion.
  • the initial motion estimation that is, the initialization value of the motion parameter of the first motion, is obtained according to the frame match (frame match) between the left-eye images at the preceding and subsequent moments. It can improve the optimization efficiency and speed up the optimization speed.
  • the goal of optimizing the motion parameters of the first motion and the initial observation depth is: determined according to the optimized motion parameters of the first motion and the optimized initial observation depth
  • the reprojection error converges or is smaller than a preset error threshold.
  • the optimization of the initialization value of the first motion and the initial observation depth to obtain the optimized motion parameters of the first motion includes: based on a preset rolling shutter binocular
  • the reprojection error model of the camera optimizes the initialization value of the first motion and the initial observation depth to obtain optimized motion parameters of the first motion.
  • the initialization value of the first movement and the initial observation depth are input into the reprojection error model of the rolling shutter binocular camera, and the reprojection error corresponding to the first image is determined; according to the reprojection
  • the projection error adjusts the motion parameters of the first motion and the initial observation depth, and input the adjusted motion parameters of the first motion and the initial observation depth into the reprojection error model of the rolling shutter binocular camera again,
  • the optimized motion parameters of the first motion and the optimized motion parameters of the first motion can be obtained. Describe the initial observation depth.
  • the reprojection error model of the rolling shutter binocular camera is determined according to the projection equation of the binocular camera and the motion model of the first motion, which can better indicate the rolling shutter binocular image matching Geometric constraints between points.
  • the projection equation of the binocular camera includes a pinhole camera projection model of the first shooting device and the second shooting device.
  • the projection equation of the binocular camera is used to indicate the position of the first pixel on the first image, the observation depth corresponding to the first pixel, the spatial position X corresponding to the first pixel, the first The relationship between the internal reference and the external reference of the photographing device, and used to indicate the position of the second pixel on the second image, the observation depth corresponding to the second pixel, the spatial position X corresponding to the second pixel, the Describe the relationship between the internal parameters and external parameters of the second camera, the rotation transformation R and the displacement transformation T between the poses of the first camera and the second camera.
  • the external parameters of the first photographing device such as the rotation transformation R1 and the displacement transformation T1 between the camera coordinate system and the world coordinate system of the first photographing device
  • the motion model of the first movement for example, according to the first photographing device
  • the linear velocity, angular velocity and motion duration are determined
  • the external parameters of the second shooting device such as the rotation transformation Rr and displacement transformation Tr between the camera coordinate system of the second shooting device and the world coordinate system, can be determined according to the motion model of the first motion , for example determined according to the linear velocity, angular velocity and motion duration of the second camera.
  • the determined reprojection error optimizes the motion parameters of the first motion and the initial observation depth to obtain optimized motion parameters of the first motion.
  • optimizing the initialization value of the first motion and the initial observation depth to obtain the optimized motion parameters of the first motion includes: projection based on a rolling shutter binocular camera Equation, according to the motion parameters of the first motion and the initial observation depth, determine the pixel on the first image on the second image (the normalized plane of the camera pose corresponding to the second image) reprojection; determine a reprojection error according to the reprojected position on the second image and the corresponding pixel position on the second image; initialize the first motion and the reprojection error according to the reprojection error The above initial observation depth is optimized.
  • the projection equation of the rolling shutter binocular camera is determined according to the projection equation of the binocular camera and the motion model of the first motion.
  • the second pixel matched with the first pixel is determined on the second image, since the first pixel and the matched second pixel correspond to the same position in the shooting scene (common 3D point), such as X, can be re-projected on the second image according to the motion parameters of the first motion, the initial observation depth and the position of the first pixel to determine the same position X in the shooting scene
  • the reprojection error is determined according to the reprojected position of position X on the second image and the actual position of the second pixel on the second image.
  • the reprojection error corresponding to the first image is determined according to the sum of reprojection errors corresponding to each first pixel.
  • the optimized motion parameters of the first motion and the optimized initial observation can be obtained depth.
  • the determining the reprojection of pixels on the first image on the second image includes: determining feature points on the first image, the number of feature points is less than that of the first image The number of pixels on an image; determine the reprojection of the feature points on the first image on the second image; according to the reprojection of the feature points on the first image on the second image, by Interpolation determines reprojections of pixels on the first image other than the feature points on the second image.
  • the feature points may include Harris corner points, and of course are not limited thereto, for example, include one or more of SIFT feature points, SURF feature points, and ORB feature points.
  • more distinguishing feature points are extracted on the first image, and then the matching points of these feature points on the second image are obtained according to the dense optical flow, and then the reprojection of the remaining pixels is determined through interpolation.
  • the calculation amount can be reduced and the sparse calculation can be realized.
  • the first image is used as the reference image, and the feature points of the first image are extracted according to the first images at the front and rear moments, for example, feature point matching is carried out by KLT feature tracking and matching algorithm (Kanade–Lucas–Tomasi feature tracker), etc., to obtain The matching points of these feature points on the second image.
  • KLT feature tracking and matching algorithm Kanade–Lucas–Tomasi feature tracker
  • S140 Perform de-distortion processing on the first image and the second image according to the determined first motion of the binocular imaging device.
  • the motion of the rolling shutter camera can be compensated more efficiently, and the rolling shutter distortion caused by the motion of the binocular camera can be compensated, thereby estimating a more accurate observation depth (depth map).
  • each row of pixels in the first image may be corrected according to the determined first motion of the binocular camera device and the row number of each row of pixels in the first image; and according to the determined The first movement of the binocular imaging device and the row number of each row of pixels in the second image correct each row of pixels in the second image; wherein the correction includes rotation and/or translation.
  • the rolling shutter camera exposes
  • the row exposed later has more offset than the first row.
  • the motion parameters of the first motion include angular velocity and/or linear velocity
  • the angular velocity is used to instruct each row of pixels in the first image and/or the second image to rotate
  • the linear velocity It is used to instruct each row of pixels in the first image and/or the second image to be shifted.
  • S150 Determine the observation depth of the binocular imaging device according to the first image after de-distortion processing and the second image after de-distortion processing.
  • the observation depth of the binocular camera device can be determined based on the de-distorted first image and the second image based on the triangulation method. The principle and process of determining the initial observation depth of the binocular photography device based on the second image.
  • the determining the observation depth of the binocular camera device according to the de-distorted first image and the de-distorted second image includes: combining the de-distorted first image and the de-distorted After processing, the second image is input into the preset optical flow estimation network model to obtain the optical flow between the matched pixels on the first image after de-distortion processing and the second image after de-distortion processing; The optical flow determines the observation depth of the binocular camera device.
  • the method for determining the depth of observation of a binocular imaging device includes: acquiring a first image and a second image captured by a rolling shutter binocular camera, and determining a binocular imaging device according to the first image and the second image The initial observation depth; determine the first movement of the binocular photography device in the exposure process according to the initial observation depth; according to the determined first movement of the binocular photography device, perform de-distortion processing on the first image and the second image; according to the de-distortion The processed first image and the de-distorted second image determine the observation depth of the binocular camera, which can realize and improve the depth perception based on the rolling shutter binocular camera.
  • FIG. 6 is a schematic block diagram of a binocular imaging device 600 provided by an embodiment of the present application.
  • the binocular photographing device 600 may include a binocular camera, for example, an integrated binocular camera, or of course, may include two separable cameras.
  • the binocular camera device 600 includes a first camera device 610 and a second camera device 620 , and the sensing units in the image sensors of the first camera device 610 and the second camera device 620 are exposed row by row.
  • the first shooting device and the second shooting device may include rolling shutter cameras, and the binocular shooting device may be called a rolling shutter binocular camera.
  • the binocular imaging device 600 includes one or more processors 601 , and the one or more processors 601 work individually or jointly to execute the steps of the aforementioned method for determining the observation depth of the binocular imaging device.
  • the binocular camera device 600 further includes a memory 602 .
  • processor 601 and the memory 602 are connected through a bus 603, such as an I2C (Inter-integrated Circuit) bus.
  • bus 603 such as an I2C (Inter-integrated Circuit) bus.
  • the processor 601 may be a micro-controller unit (Micro-controller Unit, MCU), a central processing unit (Central Processing Unit, CPU), or a digital signal processor (Digital Signal Processor, DSP), etc.
  • MCU Micro-controller Unit
  • CPU Central Processing Unit
  • DSP Digital Signal Processor
  • the memory 602 may be a Flash chip, a read-only memory (ROM, Read-Only Memory) disk, an optical disk, a U disk, or a mobile hard disk.
  • the processor 601 is configured to run the computer program stored in the memory 602, and realize the steps of the aforementioned method for determining the observation depth of the binocular imaging device when executing the computer program.
  • the processor 601 is configured to run a computer program stored in the memory 602, and implement the following steps when executing the computer program:
  • the observation depth of the binocular photographing device is determined according to the first image after de-distortion processing and the second image after de-distortion processing.
  • FIG. 7 is a schematic block diagram of an observation depth determining device 700 provided by an embodiment of the present application.
  • the observation depth determining device 700 includes one or more processors 701 , and the one or more processors 701 work individually or jointly to execute the steps of the aforementioned method for determining the observation depth of a binocular imaging device.
  • the apparatus 700 for determining the observation depth further includes a memory 702 .
  • processor 701 and the memory 702 are connected through a bus 703, such as an I2C (Inter-integrated Circuit) bus.
  • bus 703 such as an I2C (Inter-integrated Circuit) bus.
  • the processor 701 may be a micro-controller unit (Micro-controller Unit, MCU), a central processing unit (Central Processing Unit, CPU), or a digital signal processor (Digital Signal Processor, DSP), etc.
  • MCU Micro-controller Unit
  • CPU Central Processing Unit
  • DSP Digital Signal Processor
  • the memory 702 may be a Flash chip, a read-only memory (ROM, Read-Only Memory) disk, an optical disk, a U disk, or a mobile hard disk.
  • the processor 701 is configured to run the computer program stored in the memory 702, and realize the steps of the aforementioned method for determining the observation depth of the binocular imaging device when executing the computer program.
  • the processor 701 is configured to run a computer program stored in the memory 702, and implement the following steps when executing the computer program:
  • the observation depth of the binocular photographing device is determined according to the first image after de-distortion processing and the second image after de-distortion processing.
  • observation depth determination device The specific principle and implementation of the observation depth determination device provided in the embodiment of the present application are similar to the method for determining the observation depth of the binocular camera device in the foregoing embodiments, and will not be repeated here.
  • FIG. 8 is a schematic block diagram of a mobile platform 800 provided by an embodiment of the present application.
  • the movable platform may include at least one of an unmanned aerial vehicle, a cloud platform, an unmanned vehicle, and the like.
  • the unmanned aerial vehicle may be a rotor-type drone, such as a quad-rotor drone, a hexacopter drone, an octo-rotor drone, or a fixed-wing drone.
  • the movable platform 800 includes one or more processors 801, and the one or more processors 801 work individually or jointly to execute the steps of the aforementioned method for determining the depth of observation of the binocular camera device.
  • the mobile platform 800 further includes a memory 802 .
  • processor 801 and the memory 802 are connected through a bus 803, such as an I2C (Inter-integrated Circuit) bus.
  • bus 803 such as an I2C (Inter-integrated Circuit) bus.
  • the processor 801 may be a micro-controller unit (Micro-controller Unit, MCU), a central processing unit (Central Processing Unit, CPU), or a digital signal processor (Digital Signal Processor, DSP), etc.
  • MCU Micro-controller Unit
  • CPU Central Processing Unit
  • DSP Digital Signal Processor
  • the memory 802 may be a Flash chip, a read-only memory (ROM, Read-Only Memory) disk, an optical disk, a U disk, or a mobile hard disk.
  • the processor 801 is configured to run the computer program stored in the memory 802, and realize the steps of the aforementioned method for determining the observation depth of the binocular imaging device when executing the computer program.
  • the processor 801 is configured to run a computer program stored in the memory 802, and implement the following steps when executing the computer program:
  • the observation depth of the binocular photographing device is determined according to the first image after de-distortion processing and the second image after de-distortion processing.
  • the embodiment of the present application also provides a computer-readable storage medium, the computer-readable storage medium stores a computer program, the computer program includes program instructions, and when the computer program is executed by a processor, the processor implements The steps of the method for determining the observation depth of the binocular imaging device provided in the above embodiments.
  • the computer-readable storage medium may be the binocular camera device, the observation depth determination device or the internal storage unit of the movable platform described in any of the above embodiments, such as the hard disk or memory of the movable platform.
  • the computer-readable storage medium may also be an external storage device of the binocular photography device, the observation depth determination device, or a removable platform, such as a plug-in hard disk equipped on the removable platform, a smart memory card (Smart Memory Card) Media Card, SMC), Secure Digital (Secure Digital, SD) card, Flash Card (Flash Card), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种确定双目拍摄装置的观测深度的方法，包括：获取双目拍摄装置中的第一拍摄装置拍摄的第一图像和第二拍摄装置拍摄的第二图像，其中，第一拍摄装置和第二拍摄装置的图像传感器中的感测单元是逐行曝光的(S110)；根据第一图像和第二图像，确定双目拍摄装置的初始观测深度(S120)；根据初始观测深度确定曝光过程中双目拍摄装置的第一运动(S130)；根据确定的双目拍摄装置的第一运动，对第一图像和第二图像进行去畸变处理(S140)；根据去畸变处理后的第一图像和去畸变处理后的第二图像，确定双目拍摄装置的观测深度(S150)。本申请能够基于卷帘快门相机较好的实现双目视觉系统。还提供了双目拍摄装置、确定装置、可移动平台和存储介质。

Description

双目拍摄装置及确定其观测深度的方法、装置、可移动平台 技术领域
本申请涉及深度估计技术领域，尤其涉及一种双目拍摄装置及确定其观测深度的方法、装置、可移动平台。
背景技术
双目视觉系统作为计算机视觉的一个分支，是计算机视觉领域十分重要的研究方向。双目视觉系统能获得更丰富的场景信息和三维感知信息，在机器人导航、三维重建和自动驾驶中扮演着重要角色。而双目深度估计技术作为双目视觉系统的基础，是双目视觉技术研究的核心工作，近年来也有许多比较经典的方案被提出，比如SGM、SPS-Stereo等。他们主要效力于全局快门双目相机，即使左右相机之间存在小的标定误差，也可以事先通过双目校正(rect i fy)得到满足“极线水平”这一特性的全局快门双目图像。
目前卷帘快门相机不能较好的实现双目视觉系统。
发明内容
本申请提供了一种双目拍摄装置及确定其观测深度的方法、装置、可移动平台，能够基于卷帘快门相机较好的实现双目视觉系统。
第一方面，本申请实施例提供了一种确定双目拍摄装置的观测深度的方法，包括：
获取双目拍摄装置中的第一拍摄装置拍摄的第一图像和第二拍摄装置拍摄的第二图像，其中，所述第一拍摄装置和第二拍摄装置的图像传感器中的感测单元是逐行曝光的；
根据所述第一图像和所述第二图像，确定所述双目拍摄装置的初始观测深 度；
根据所述初始观测深度确定曝光过程中所述双目拍摄装置的第一运动；
根据确定的所述双目拍摄装置的第一运动，对所述第一图像和所述第二图像进行去畸变处理；
根据去畸变处理后的第一图像和去畸变处理后的第二图像，确定所述双目拍摄装置的观测深度。
第二方面，本申请实施例提供了一种双目拍摄装置，包括第一拍摄装置和第二拍摄装置，所述第一拍摄装置和第二拍摄装置的图像传感器中的感测单元是逐行曝光的；
所述双目拍摄装置还包括一个或多个处理器，单独地或共同地工作，用于执行如下步骤：
获取所述第一拍摄装置拍摄的第一图像和所述第二拍摄装置拍摄的第二图像，其中，所述第一拍摄装置和第二拍摄装置的图像传感器中的感测单元是逐行曝光的；
根据所述第一图像和所述第二图像，确定所述双目拍摄装置的初始观测深度；
根据所述初始观测深度确定曝光过程中所述双目拍摄装置的第一运动；
根据确定的所述双目拍摄装置的第一运动，对所述第一图像和所述第二图像进行去畸变处理；
根据去畸变处理后的第一图像和去畸变处理后的第二图像，确定所述双目拍摄装置的观测深度。
第三方面，本申请实施例提供了一种观测深度确定装置，包括一个或多个处理器，单独地或共同地工作，用于执行前述的确定双目拍摄装置的观测深度的方法的步骤。
第四方面，本申请实施例提供了一种可移动平台，搭载第一拍摄装置和第二拍摄装置，所述第一拍摄装置和第二拍摄装置的图像传感器中的感测单元是逐行曝光的；
所述可移动平台还包括一个或多个处理器，单独地或共同地工作，用于执行前述的确定双目拍摄装置的观测深度的方法的步骤。
第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现上述的方法的步骤。
本申请实施例提供了一种双目拍摄装置及确定其观测深度的方法、装置、可移动平台，方法包括：获取卷帘快门双目相机拍摄的第一图像和第二图像，根据第一图像和第二图像，确定双目拍摄装置的初始观测深度；根据初始观测深度确定曝光过程中双目拍摄装置的第一运动；根据确定的双目拍摄装置的第一运动，对第一图像和第二图像进行去畸变处理；根据去畸变处理后的第一图像和去畸变处理后的第二图像，确定双目拍摄装置的观测深度，可以实现和提升基于卷帘快门双目相机的深度感知。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请实施例的公开内容。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的确定双目拍摄装置的观测深度的方法的流程示意图；
图2是图1中方法的一种实施场景的示意图；
图3是卷帘快门相机曝光的示意图；
图4是三角化测量法的原理示意图；
图5是第一拍摄装置和第二拍摄装置运动关系的示意图；
图6是本申请实施例提供的一种双目拍摄装置的示意性框图；
图7是本申请实施例提供的一种观测深度确定装置的示意性框图；
图8是本申请实施例提供的一种可移动平台的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
传统的双目深度估计算法旨在最优化匹配代价值的基础上获得双目图像中精确的匹配像素点，进而得到准确的视差值和深度值。双目视差值的计算步骤可以概括为：匹配代价计算、代价聚合、视差计算与视差优化。他们多围绕匹配代价计算和视差优化等进行展开，一般使用局部或者全局的方式为每个像素分配视差值，并且设计良好的匹配代价函数表示像素之间的相似度。但是传统算法往往无法对低纹理甚至无纹理的区域得到比较好的视差估计结果。并且在传统算法中，经验参数的选择对匹配结果的影响较大。近年来，基于深度学习的深度估计算法可以通过卷积、池化等操作提取到图像的局部信息特征，并且提取图像的多层特征用于代价计算，然后通过上采样操作提取图像的全局特征和完成代价聚合等步骤，得到了准确的双目深度估计结果。但是，这些双目深度估计算法都是基于校正后的全局快门双目图像，即左、右目图像满足“极线水平”的特性。目前卷帘快门相机不能较好的实现双目视觉系统。
请参阅图1，图1是本申请实施例提供的一种确定双目拍摄装置的观测深度的方法的流程示意图。所述方法可以应用在双目视觉系统中，双目视觉系统搭载第一拍摄装置和第二拍摄装置以及处理器，处理器用于执行所述方法的步骤，根据第一拍摄装置和第二拍摄装置拍摄的图像确定观测深度。所述方法也可以应用在不包括拍摄装置的设备，如观测深度确定装置中，该设备可以与双目的拍摄装置通信连接，获取双目的拍摄装置拍摄的图像，以及根据获取的图像确定拍摄装置的观测深度。举例而言，双目视觉系统包括搭载第一拍摄装置和第二拍摄装置的双目拍摄装置或者搭载第一拍摄装置和第二拍摄装置的可移 动平台。举例而言，观测深度确定装置可以包括终端设备或服务器。其中终端设备可以包括手机、平板电脑、笔记本电脑、台式电脑、个人数字助理、穿戴式设备、遥控器等中的至少一项；可移动平台可以包括无人飞行器、云台、无人车等中的至少一种。进一步而言，无人飞行器可以为旋翼型无人机，例如四旋翼无人机、六旋翼无人机、八旋翼无人机，也可以是固定翼无人机。
在一些实施方式中，确定双目拍摄装置的观测深度的方法可以应用于无人机、智能机器人、无人驾驶汽车或者全景深度相机等设备中，以便实现对设备周围场景的三维形状的感知和位置距离的测量。
在一些实施方式中，请参阅图2，可移动平台10搭载两个相邻设置的拍摄装置11，可移动平台10能够与终端设备20进行通信，以将拍摄装置11获取的图像传输给终端设备20，终端设备20可以根据接收的图像确定拍摄装置11的观测深度。示例性的，终端设备20例如可以对所述观测深度进行可视化处理。
在一些实施方式中，请参阅图2，可移动平台10搭载两个相邻设置的拍摄装置11，可移动平台10能够根据拍摄装置11获取的图像确定拍摄装置11的观测深度，以及将确定的观测深度传输给终端设备20，终端设备20例如可以对观测深度进行可视化处理。
如图1所示，本申请实施例的确定双目拍摄装置的观测深度的方法包括步骤S110至步骤S150。
S110、获取双目拍摄装置中的第一拍摄装置拍摄的第一图像和第二拍摄装置拍摄的第二图像，其中，所述第一拍摄装置和第二拍摄装置的图像传感器中的感测单元是逐行曝光的。
在一些实施方式中，获取双目拍摄装置中的第一拍摄装置可以称为左目相机、第二拍摄装置可以称为右目相机，当然也不限于此，例如第一拍摄装置可以称为右目相机、第二拍摄装置可以称为左目相机。可以理解的，第一拍摄装置和第二拍摄装置采集相同场景的图像，例如，安装在固定位置的两个拍摄装置从不同角度同时采集同一场景的数字图像。
在一些实施方式中，第一拍摄装置和第二拍摄装置可以包括卷帘快门(rolling shutter)相机，双目拍摄装置可以称为卷帘快门双目相机。
如图3所示，由于卷帘快门相机的逐行曝光机制会导致卷帘快门相机获取 的图像存在严重的几何畸变，会损害匹配代价的计算，且当左右相机之间存在小的标定误差时获取的卷帘快门双目图像无法简单地通过双目校正实现“极线水平”，请参阅图3，卷帘快门相机获取的图像每行对应的相机位姿都各不相同，这导致了双目校正方法无法直接应用于卷帘快门双目图像校正，即无法真正地实现卷帘快门左右目图像之间的“极线水平”。因此目前用于全局快门的双目深度估计方法直接用于卷帘快门双目相机时难以得到令人满意的结果，难以获得卷帘快门双目相机的深度的准确估计。本申请的发明人对确定双目拍摄装置的观测深度的方法进行改进，以提升卷帘快门双目相机系统的深度感知能力。
S120、根据所述第一图像和所述第二图像，确定所述双目拍摄装置的初始观测深度。
示例性的，可以基于三角化测量法，根据所述第一图像和所述第二图像，确定所述双目拍摄装置的初始观测深度。请参阅图4，G代表世界坐标系(或者称为大地坐标系，Ground)下的原点，C0、C1、C2是三个不同的相机位姿，从不同角度位姿来拍摄位置P的同一个蜜蜂，可以看到对于蜜蜂蛰在图像上的点不一样，分别是P0、P1、P2。R表示两个位姿之间的旋转变换,T表示两个位姿之间的位移变换；在已经确定几个相机位姿的情况下，可以求解得到蜜蜂P的真实三维位置，得到蜜蜂P与相机的广信之间的距离，或者称为深度信息。
在一些实施方式中，所述根据所述第一图像和所述第二图像，确定所述双目拍摄装置的初始观测深度，包括：确定所述第一图像和所述第二图像上匹配(stereo match)的像素；根据所述匹配的像素在所述第一图像上的位置和在所述第二图像上的位置，确定所述匹配的像素之间的光流；根据所述匹配的像素之间的光流，确定所述双目拍摄装置的初始观测深度。
虽然卷帘快门图像存在视觉失真，比如倾斜、摇晃等，但是不太影响光流的估计，忽略卷帘快门的影响，可以直接基于事先标定的双目相机的内参、外参利用三角化技术估计出初始的卷帘快门双目深度图(粗略的深度图)。
示例性的，对于第一图像上的第一像素，在第二图像上确定所述第一像素匹配的第二像素，第一像素和匹配的第二像素能够对应拍摄场景中的同一位置。根据第一像素在所述第一图像上的位置和第二像素在所述第二图像上的位置的 偏移量确定第一像素和第二像素之间的光流，或者称为视差。
在一些实施方式中，所述根据所述第一图像和所述第二图像，确定所述双目拍摄装置的初始观测深度，包括：对所述匹配的像素之间的光流进行三角化处理，得到所述匹配的像素对应的深度值。
示例性的，可以根据预先标定的卷帘快门双目相机的内参和外参，以及匹配的像素之间的光流，确定所述双目拍摄装置的观测深度，由于卷帘快门相机拍摄的图像存在视觉失真，比如倾斜、摇晃等，所述确定的双目拍摄装置的观测深度不够精确，可以称为初始观测深度。示例性的，所述外参例如包括第一拍摄装置和第二拍摄装置的位姿之间的旋转变换R和位移变换T，所述内参例如包括相机矩阵(calibration matrix)，也可称为相机内参矩阵(camera instrinsic)。
示例性的，所述确定所述第一图像和所述第二图像上匹配的像素，包括：在所述第二图像上确定与所述第一图像上每个像素匹配的像素。通过对所述第一图像和所述第二图像进行稠密光流匹配，可以确定在所述第二图像上确定与所述第一图像上每个像素匹配的像素，以及确定每个像素的光流，可以得到分辨率更高的初始观测深度。例如每个像素都有一个深度值，例如分辨率640×480的第一图像可以确定640×480个深度值。
示例性的，可以通过机器学习模型，如深度神经网络PWC-Net对所述第一图像和所述第二图像进行稠密光流匹配，当然也不限于此。
在一些实施方式中，所述根据所述第一图像和所述第二图像，确定所述双目拍摄装置的初始观测深度，包括：将所述第一图像和所述第二图像输入预设的光流估计网络模型，得到所述第一图像和所述第二图像上匹配的像素之间的光流；根据所述匹配的像素之间的光流，确定所述双目拍摄装置的初始观测深度。
示例性的，可以通过基于卷积神经网络的光流估计模型，确定所述第一图像和所述第二图像上匹配的像素之间的光流。举例而言，可以所述光流估计模型可以包括FlowNet网络模型，当然也不限于此。
S130、根据所述初始观测深度确定曝光过程中所述双目拍摄装置的第一运动。
请参阅图5，曝光过程中所述双目拍摄装置的第一运动包括第一拍摄装置的第一运动和第二拍摄装置的第一运动，示例性的，基于第一拍摄装置和第二拍摄装置的位姿之间的旋转变换R(Rotation Matrix)和位移变换T(Translation Matrix)，可以根据第一拍摄装置的第一运动确定第二拍摄装置的第一运动。
在一些实施方式中，所述第一运动的运动模型可以包括匀速(Uniform)运动模型，当然也不限于此，例如还可以包括加速运动模型。示例性的，所述匀速运动模型的运动参数包括线速度和/或角速度，所述加速运动模型的运动参数可以包括线加速度和/或角加速度。
示例性的，所述第一运动的运动时长是根据所述第一拍摄装置的曝光时长和/或所述第二拍摄装置的曝光时长确定的，例如所述匀速运动模型对应的运动时长是根据所述第一拍摄装置的曝光时长和/或所述第二拍摄装置的曝光时长确定的。例如，第一运动的运动时长为第一拍摄装置从开始曝光(即第一行开始曝光时刻)到最后一行像素曝光所经过的时间，例如为第一拍摄装置图像传感器中的感测单元像素的总行数与每行曝光时间的乘积。
在一些实施方式中，所述根据所述初始观测深度确定曝光过程中所述双目拍摄装置的第一运动，包括：初始化所述第一运动的运动参数；对所述第一运动的运动参数以及所述初始观测深度进行优化，得到优化后的所述第一运动的运动参数。
示例性的，基于所述第一图像和所述第二图像中包含的信息，对所述第一运动的运动参数以及所述初始观测深度进行优化。实现了卷帘快门双目相机自运动的优化求解方法，能够更准确地估计卷帘快门双目相机的自运动。
示例性的，由于极短的曝光时间内双目相机的自运动通常较小，所述第一运动的初始化值可以为零向量，例如初始化第一拍摄装置的第一运动的线速度、角速度和第二拍摄装置的第一运动的线速度、角速度均为零。当然也不限于此。
示例性的，所述获取所述第一运动的初始化值，包括：根据相邻帧的所述第一图像，确定所述相邻帧的时间段内所述双目拍摄装置的第二运动；根据所述第二运动确定所述第一运动的初始化值。示例性的，根据前后时刻左目图像之间的帧匹配(frame match)得到初始的运动估计，即第一运动的运动参数的 初始化值。可以提高优化效率，加快优化速度。
根据初始观测深度和初始化的第一运动的运动参数进行优化，可以得到更加精准的运动状态，即所述双目拍摄装置的第一运动。
在一些实施方式中，对所述第一运动的运动参数以及所述初始观测深度进行优化的目标为：根据优化后的所述第一运动的运动参数以及优化后的所述初始观测深度确定的重投影误差收敛或者小于预设的误差阈值。
在一些实施方式中，所述对所述第一运动的初始化值以及所述初始观测深度进行优化，得到优化后的所述第一运动的运动参数，包括：基于预设的卷帘快门双目相机的重投影误差模型，对所述第一运动的初始化值以及所述初始观测深度进行优化，得到优化后的所述第一运动的运动参数。
示例性的，将所述第一运动的初始化值以及所述初始观测深度输入所述卷帘快门双目相机的重投影误差模型，确定所述第一图像对应的重投影误差；根据所述重投影误差调整所述第一运动的运动参数和所述初始观测深度，将调整后的第一运动的运动参数和所述初始观测深度再次输入所述卷帘快门双目相机的重投影误差模型，确定调整后的重投影误差，经过多次迭代调整，第一图像对应的重投影误差收敛或者小于预设的误差阈值时，可以得到优化后的所述第一运动的运动参数以及优化后的所述初始观测深度。
示例性的，所述卷帘快门双目相机的重投影误差模型根据是根据双目相机的投影方程和所述第一运动的运动模型确定的，能更好地指示卷帘快门双目图像匹配点之间的几何约束。
示例性的，双目相机的投影方程包括第一拍摄装置和第二拍摄装置的针孔相机投影模型。
示例性的，双目相机的投影方程用于指示所述第一图像上第一像素的位置、所述第一像素对应的观测深度、所述第一像素对应的空间位置X、所述第一拍摄装置的内参、外参之间的关系，以及用于指示所述第二图像上第二像素的位置、所述第二像素对应的观测深度、所述第二像素对应的空间位置X、所述第二拍摄装置的内参、外参、所述第一拍摄装置和第二拍摄装置的位姿之间的旋转变换R、位移变换T之间的关系。其中，第一拍摄装置的外参，如第一拍摄装置的相机坐标系与世界坐标系之间的旋转变换Rl与位移变换T l可以根据第 一运动的运动模型确定，例如根据第一拍摄装置的线速度、角速度和运动时长确定；第二拍摄装置的外参，如第二拍摄装置的相机坐标系与世界坐标系之间的旋转变换Rr与位移变换Tr可以根据第一运动的运动模型确定，例如根据第二拍摄装置的线速度、角速度和运动时长确定。
示例性的，将所述第一运动的初始化值、所述初始观测深度以及所述第一图像和所述第二图像上匹配的像素的位置输入所述重投影误差模型，根据重投影误差模型确定的重投影误差对所述第一运动的运动参数以及所述初始观测深度进行优化，得到优化后的所述第一运动的运动参数。
在一些实施方式中，所述对所述第一运动的初始化值以及所述初始观测深度进行优化，得到优化后的所述第一运动的运动参数，包括：基于卷帘快门双目相机的投影方程，根据所述第一运动的运动参数以及所述初始观测深度，确定所述第一图像上的像素在所述第二图像(第二图像对应的相机位姿的归一化平面)上的重投影；根据所述第二图像上的重投影的位置和所述第二图像上对应的像素的位置，确定重投影误差；根据所述重投影误差对所述第一运动的初始化值以及所述初始观测深度进行优化。
示例性的，所述卷帘快门双目相机的投影方程是根据双目相机的投影方程和所述第一运动的运动模型确定的。
示例性的，对于第一图像上的第一像素，在第二图像上确定所述第一像素匹配的第二像素，由于第一像素和匹配的第二像素对应拍摄场景中的同一位置(公共3D点)，如X，可以根据所述第一运动的运动参数、所述初始观测深度以及所述第一像素的位置确定所述拍摄场景中的同一位置X重投影在所述第二图像上的位置，根据位置X重投影在所述第二图像上的位置以及所述第二像素在所述第二图像上的实际位置确定重投影误差。示例性的，根据每个第一像素对应的重投影误差之和确定所述第一图像对应的重投影误差。根据所述第一图像对应的重投影误差调整所述第一运动的运动参数和调整后的初始观测深度，以及根据调整后的第一运动的运动参数和调整后的初始观测深度确定确定调整后的重投影误差，经过多次迭代调整，第一图像对应的重投影误差收敛或者小于预设的误差阈值时，可以得到优化后的所述第一运动的运动参数以及优化后的所述初始观测深度。
示例性的，所述确定所述第一图像上的像素在所述第二图像上的重投影，包括：确定所述第一图像上的特征点，所述特征点的数目少于所述第一图像上像素的数目；确定所述第一图像上的特征点在所述第二图像上的重投影；根据所述第一图像上的特征点在所述第二图像上的重投影，通过插值确定所述第一图像上除所述特征点之外的像素在所述第二图像上的重投影。
举例而言，所述特征点可以包括Harris角点，当然也不限于此，例如包括SIFT特征点、SURF特征点、ORB特征点中的一种或多种。
示例性的，通过在第一图像上提取更具区分性的特征点，然后根据稠密光流得到这些特征点在第二图像上的匹配点，然后通过插值确定其余像素的重投影。通过根据特征点确定重投影，可以减少计算量，实现稀疏化计算。
示例性的，以第一图像为基准图像，根据前后时刻的第一图像提取第一图像的特征点，例如通过KLT特征跟踪匹配算法(Kanade–Lucas–Tomasi feature tracker)等进行特征点匹配，得到这些特征点在第二图像上的匹配点。
S140、根据确定的所述双目拍摄装置的第一运动，对所述第一图像和所述第二图像进行去畸变处理。
根据双目拍摄装置的第一运动，可以更高效地补偿卷帘快门相机的运动，补偿双目拍摄装置运动引起的卷帘快门失真，从而估计更准确的观测深度(深度图)。
在一些实施方式中，可以根据确定的所述双目拍摄装置的第一运动以及所述第一图像中各行像素的行号，对所述第一图像中的各行像素进行校正；以及根据确定的所述双目拍摄装置的第一运动以及所述第二图像中各行像素的行号，对所述第二图像中的各行像素进行校正；其中所述校正包括旋转和/或平移。
示例性的，请参阅图3，卷帘快门相机曝光时，越晚曝光的行相较于第一行的偏移越多。以第一行像素为基准时，行号越大的像素所需的校正幅度也越大。示例性的，所述第一运动的运动参数包括角速度和/或线速度，所述角速度用于指示所述第一图像和/或所述第二图像中的各行像素进行旋转，所述线速度用于指示所述第一图像和/或所述第二图像中的各行像素进行平移。通过对图像中的各行像素进行旋转和/或平移等校正，实现对第一图像和所述第二图像进行去畸变处理。
S150、根据去畸变处理后的第一图像和去畸变处理后的第二图像，确定所述双目拍摄装置的观测深度。
基于去畸变处理后的第一图像和第二图像，可以确定更准确的观测深度。示例性的，可以基于三角化测量法，根据去畸变处理后的第一图像和第二图像，确定所述双目拍摄装置的观测深度，具体可以参照步骤S120中根据所述第一图像和所述第二图像，确定所述双目拍摄装置的初始观测深度的原理和流程。
示例性的，所述根据去畸变处理后的第一图像和去畸变处理后的第二图像，确定所述双目拍摄装置的观测深度，包括：将去畸变处理后的第一图像和去畸变处理后第二图像输入预设的光流估计网络模型，得到去畸变处理后第一图像和去畸变处理后第二图像上匹配的像素之间的光流；根据所述匹配的像素之间的光流，确定所述双目拍摄装置的观测深度。
本申请实施例提供的确定双目拍摄装置的观测深度的方法，包括：获取卷帘快门双目相机拍摄的第一图像和第二图像，根据第一图像和第二图像，确定双目拍摄装置的初始观测深度；根据初始观测深度确定曝光过程中双目拍摄装置的第一运动；根据确定的双目拍摄装置的第一运动，对第一图像和第二图像进行去畸变处理；根据去畸变处理后的第一图像和去畸变处理后的第二图像，确定双目拍摄装置的观测深度，可以实现和提升基于卷帘快门双目相机的深度感知。
请结合上述实施例参阅图6，图6是本申请实施例提供的双目拍摄装置600的示意性框图。
举例而言，双目拍摄装置600可以包括双目相机，例如包括一体式的双目相机，当然也可以是包括两个能够分离的相机。
如图6所示，该双目拍摄装置600包括第一拍摄装置610和第二拍摄装置620，第一拍摄装置610和第二拍摄装置620的图像传感器中的感测单元是逐行曝光的。在一些实施方式中，第一拍摄装置和第二拍摄装置可以包括卷帘快门(rolling shutter)相机，双目拍摄装置可以称为卷帘快门双目相机。
该双目拍摄装置600包括一个或多个处理器601，一个或多个处理器601单独地或共同地工作，用于执行前述的确定双目拍摄装置的观测深度的方法的步骤。
示例性的，双目拍摄装置600还包括存储器602。
示例性的，处理器601和存储器602通过总线603连接，该总线603比如为I2C(Inter-integrated Circuit)总线。
具体地，处理器601可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器602可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中，所述处理器601用于运行存储在存储器602中的计算机程序，并在执行所述计算机程序时实现前述的确定双目拍摄装置的观测深度的方法的步骤。
示例性的，所述处理器601用于运行存储在存储器602中的计算机程序，并在执行所述计算机程序时实现如下步骤：
获取所述第一拍摄装置拍摄的第一图像和所述第二拍摄装置拍摄的第二图像，其中，所述第一拍摄装置和第二拍摄装置的图像传感器中的感测单元是逐行曝光的；
根据所述第一图像和所述第二图像，确定所述双目拍摄装置的初始观测深度；
根据所述初始观测深度确定曝光过程中所述双目拍摄装置的第一运动；
根据确定的所述双目拍摄装置的第一运动，对所述第一图像和所述第二图像进行去畸变处理；
根据去畸变处理后的第一图像和去畸变处理后的第二图像，确定所述双目拍摄装置的观测深度。
本申请实施例提供的双目拍摄装置的具体原理和实现方式均与前述实施例的确定双目拍摄装置的观测深度的方法类似，此处不再赘述。
请结合前述实施例参阅图7，图7是本申请实施例提供的观测深度确定装置700的示意性框图。
该观测深度确定装置700包括一个或多个处理器701，一个或多个处理器701单独地或共同地工作，用于执行前述的确定双目拍摄装置的观测深度的方法的步骤。
示例性的，观测深度确定装置700还包括存储器702。
示例性的，处理器701和存储器702通过总线703连接，该总线703比如为I2C(Inter-integrated Circuit)总线。
具体地，处理器701可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器702可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中，所述处理器701用于运行存储在存储器702中的计算机程序，并在执行所述计算机程序时实现前述的确定双目拍摄装置的观测深度的方法的步骤。
示例性的，所述处理器701用于运行存储在存储器702中的计算机程序，并在执行所述计算机程序时实现如下步骤：
获取所述第一拍摄装置拍摄的第一图像和所述第二拍摄装置拍摄的第二图像，其中，所述第一拍摄装置和第二拍摄装置的图像传感器中的感测单元是逐行曝光的；
根据所述第一图像和所述第二图像，确定所述双目拍摄装置的初始观测深度；
根据所述初始观测深度确定曝光过程中所述双目拍摄装置的第一运动；
根据确定的所述双目拍摄装置的第一运动，对所述第一图像和所述第二图像进行去畸变处理；
根据去畸变处理后的第一图像和去畸变处理后的第二图像，确定所述双目拍摄装置的观测深度。
本申请实施例提供的观测深度确定装置的具体原理和实现方式均与前述实施例的确定双目拍摄装置的观测深度的方法类似，此处不再赘述。
请结合前述实施例参阅图8，图8是本申请实施例提供的可移动平台800的示意性框图。示例性的，所述可移动平台可以包括无人飞行器、云台、无人车等中的至少一种。进一步而言，无人飞行器可以为旋翼型无人机，例如四旋翼无人机、六旋翼无人机、八旋翼无人机，也可以是固定翼无人机。
该可移动平台800包括一个或多个处理器801，一个或多个处理器801单 独地或共同地工作，用于执行前述的确定双目拍摄装置的观测深度的方法的步骤。
示例性的，可移动平台800还包括存储器802。
示例性的，处理器801和存储器802通过总线803连接，该总线803比如为I2C(Inter-integrated Circuit)总线。
具体地，处理器801可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器802可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中，所述处理器801用于运行存储在存储器802中的计算机程序，并在执行所述计算机程序时实现前述的确定双目拍摄装置的观测深度的方法的步骤。
示例性的，所述处理器801用于运行存储在存储器802中的计算机程序，并在执行所述计算机程序时实现如下步骤：
获取所述第一拍摄装置拍摄的第一图像和所述第二拍摄装置拍摄的第二图像，其中，所述第一拍摄装置和第二拍摄装置的图像传感器中的感测单元是逐行曝光的；
根据所述第一图像和所述第二图像，确定所述双目拍摄装置的初始观测深度；
根据所述初始观测深度确定曝光过程中所述双目拍摄装置的第一运动；
根据确定的所述双目拍摄装置的第一运动，对所述第一图像和所述第二图像进行去畸变处理；
根据去畸变处理后的第一图像和去畸变处理后的第二图像，确定所述双目拍摄装置的观测深度。
本申请实施例提供的可移动平台的具体原理和实现方式均与前述实施例的确定双目拍摄装置的观测深度的方法类似，此处不再赘述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述计算机程序被处理器执行时使所述处理器实现上述实施例提供的确定双目拍摄装置的观测深度的 方法的步骤。
其中，所述计算机可读存储介质可以是前述任一实施例所述的双目拍摄装置、观测深度确定装置或可移动平台的内部存储单元，例如是所述可移动平台的硬盘或内存。所述计算机可读存储介质也可以是所述双目拍摄装置、观测深度确定装置或可移动平台的外部存储设备，例如是所述可移动平台上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
应当理解，在此本申请中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。
还应当理解，在本申请和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (43)

  1. 一种确定双目拍摄装置的观测深度的方法，其特征在于，包括：
    获取双目拍摄装置中的第一拍摄装置拍摄的第一图像和第二拍摄装置拍摄的第二图像，其中，所述第一拍摄装置和第二拍摄装置的图像传感器中的感测单元是逐行曝光的；
    根据所述第一图像和所述第二图像，确定所述双目拍摄装置的初始观测深度；
    根据所述初始观测深度确定曝光过程中所述双目拍摄装置的第一运动；
    根据确定的所述双目拍摄装置的第一运动，对所述第一图像和所述第二图像进行去畸变处理；
    根据去畸变处理后的第一图像和去畸变处理后的第二图像，确定所述双目拍摄装置的观测深度。
  2. 根据权利要求1所述的方法，其特征在于，所述根据所述第一图像和所述第二图像，确定所述双目拍摄装置的初始观测深度，包括：
    确定所述第一图像和所述第二图像上匹配的像素；
    根据所述匹配的像素在所述第一图像上的位置和在所述第二图像上的位置，确定所述匹配的像素之间的光流；
    根据所述匹配的像素之间的光流，确定所述双目拍摄装置的初始观测深度。
  3. 根据权利要求2所述的方法，其特征在于，所述确定所述第一图像和所述第二图像上匹配的像素，包括：
    在所述第二图像上确定与所述第一图像上每个像素匹配的像素。
  4. 根据权利要求1所述的方法，其特征在于，所述根据所述第一图像和所述第二图像，确定所述双目拍摄装置的初始观测深度，包括：
    将所述第一图像和所述第二图像输入预设的光流估计网络模型，得到所述第一图像和所述第二图像上匹配的像素之间的光流；
    根据所述匹配的像素之间的光流，确定所述双目拍摄装置的初始观测深度。
  5. 根据权利要求2-4中任一项所述的方法，其特征在于，所述根据所述匹配的像素之间的光流，确定所述双目拍摄装置的初始观测深度，包括：
    对所述匹配的像素之间的光流进行三角化处理，得到所述匹配的像素对应的深度值。
  6. 根据权利要求1所述的方法，其特征在于，所述根据所述初始观测深度确定曝光过程中所述双目拍摄装置的第一运动，包括：
    初始化所述第一运动的运动参数；
    对所述第一运动的运动参数以及所述初始观测深度进行优化，得到优化后的所述第一运动的运动参数。
  7. 根据权利要求6所述的方法，其特征在于，所述对所述第一运动的初始化值以及所述初始观测深度进行优化，得到优化后的所述第一运动的运动参数，包括：
    基于预设的卷帘快门双目相机的重投影误差模型，对所述第一运动的初始化值以及所述初始观测深度进行优化，得到优化后的所述第一运动的运动参数。
  8. 根据权利要求7所述的方法，其特征在于，所述基于预设的卷帘快门双目相机的重投影误差模型，对所述第一运动的初始化值以及所述初始观测深度进行优化，得到优化后的所述第一运动的运动参数，包括：
    将所述第一运动的初始化值、所述初始观测深度以及所述第一图像和所述第二图像上匹配的像素的位置输入所述重投影误差模型，得到优化后的所述第一运动的运动参数。
  9. 根据权利要求7所述的方法，其特征在于，所述卷帘快门双目相机的重投影误差模型根据是根据双目相机的投影方程和所述第一运动的运动模型确定的。
  10. 根据权利要求6所述的方法，其特征在于，所述对所述第一运动的初始化值以及所述初始观测深度进行优化，得到优化后的所述第一运动的运动参数，包括：
    基于卷帘快门双目相机的投影方程，根据所述第一运动的运动参数以及所述初始观测深度，确定所述第一图像上的像素在所述第二图像上的重投影；
    根据所述第二图像上的重投影的位置和所述第二图像上对应的像素的位置，确定重投影误差；
    根据所述重投影误差对所述第一运动的初始化值以及所述初始观测深度进 行优化。
  11. 根据权利要求10所述的方法，其特征在于，所述卷帘快门双目相机的投影方程是根据双目相机的投影方程和所述第一运动的运动模型确定的。
  12. 根据权利要求10所述的方法，其特征在于，所述确定所述第一图像上的像素在所述第二图像上的重投影，包括：
    确定所述第一图像上的特征点，所述特征点的数目少于所述第一图像上像素的数目；
    确定所述第一图像上的特征点在所述第二图像上的重投影；
    根据所述第一图像上的特征点在所述第二图像上的重投影，通过插值确定所述第一图像上除所述特征点之外的像素在所述第二图像上的重投影。
  13. 根据权利要求9或11所述的方法，其特征在于，所述第一运动的运动模型包括匀速运动模型，所述匀速运动模型的运动参数包括线速度和/或角速度。
  14. 根据权利要求13所述的方法，其特征在于，所述匀速运动模型对应的运动时长是根据所述第一拍摄装置的曝光时长和/或所述第二拍摄装置的曝光时长确定的。
  15. 根据权利要求6-14中任一项所述的方法，其特征在于，对所述第一运动的运动参数以及所述初始观测深度进行优化的目标为：
    根据优化后的所述第一运动的运动参数以及优化后的所述初始观测深度确定的重投影误差收敛或者小于预设的误差阈值。
  16. 根据权利要求6-14中任一项所述的方法，其特征在于，所述第一运动的初始化值为零向量。
  17. 根据权利要求6-14中任一项所述的方法，其特征在于，所述获取所述第一运动的初始化值，包括：
    根据相邻帧的所述第一图像，确定所述相邻帧的时间段内所述双目拍摄装置的第二运动；
    根据所述第二运动确定所述第一运动的初始化值。
  18. 根据权利要求1所述的方法，其特征在于，所述根据确定的所述双目拍摄装置的第一运动，对所述第一图像和所述第二图像进行去畸变处理，包括：
    根据确定的所述双目拍摄装置的第一运动以及所述第一图像中各行像素的 行号，对所述第一图像中的各行像素进行校正；以及
    根据确定的所述双目拍摄装置的第一运动以及所述第二图像中各行像素的行号，对所述第二图像中的各行像素进行校正；
    其中所述校正包括旋转和/或平移。
  19. 根据权利要求18所述的方法，其特征在于，所述第一运动的运动参数包括角速度和/或线速度，所述角速度用于指示所述第一图像和/或所述第二图像中的各行像素进行旋转，所述线速度用于指示所述第一图像和/或所述第二图像中的各行像素进行平移。
  20. 根据权利要求1所述的方法，其特征在于，所述根据去畸变处理后的第一图像和去畸变处理后的第二图像，确定所述双目拍摄装置的观测深度，包括：
    将去畸变处理后的第一图像和去畸变处理后第二图像输入预设的光流估计网络模型，得到去畸变处理后第一图像和去畸变处理后第二图像上匹配的像素之间的光流；
    根据所述匹配的像素之间的光流，确定所述双目拍摄装置的观测深度。
  21. 一种双目拍摄装置，其特征在于，包括第一拍摄装置和第二拍摄装置，所述第一拍摄装置和第二拍摄装置的图像传感器中的感测单元是逐行曝光的；
    所述双目拍摄装置还包括一个或多个处理器，单独地或共同地工作，用于执行如下步骤：
    获取所述第一拍摄装置拍摄的第一图像和所述第二拍摄装置拍摄的第二图像，其中，所述第一拍摄装置和第二拍摄装置的图像传感器中的感测单元是逐行曝光的；
    根据所述第一图像和所述第二图像，确定所述双目拍摄装置的初始观测深度；
    根据所述初始观测深度确定曝光过程中所述双目拍摄装置的第一运动；
    根据确定的所述双目拍摄装置的第一运动，对所述第一图像和所述第二图像进行去畸变处理；
    根据去畸变处理后的第一图像和去畸变处理后的第二图像，确定所述双目拍摄装置的观测深度。
  22. 根据权利要求21所述的双目拍摄装置，其特征在于，所述处理器执行 所述根据所述第一图像和所述第二图像，确定所述双目拍摄装置的初始观测深度时，用于执行：
    确定所述第一图像和所述第二图像上匹配的像素；
    根据所述匹配的像素在所述第一图像上的位置和在所述第二图像上的位置，确定所述匹配的像素之间的光流；
    根据所述匹配的像素之间的光流，确定所述双目拍摄装置的初始观测深度。
  23. 根据权利要求22所述的双目拍摄装置，其特征在于，所述处理器执行所述确定所述第一图像和所述第二图像上匹配的像素时，用于执行：
    在所述第二图像上确定与所述第一图像上每个像素匹配的像素。
  24. 根据权利要求21所述的双目拍摄装置，其特征在于，所述处理器执行所述根据所述第一图像和所述第二图像，确定所述双目拍摄装置的初始观测深度时，用于执行：
    将所述第一图像和所述第二图像输入预设的光流估计网络模型，得到所述第一图像和所述第二图像上匹配的像素之间的光流；
    根据所述匹配的像素之间的光流，确定所述双目拍摄装置的初始观测深度。
  25. 根据权利要求22-24中任一项所述的双目拍摄装置，其特征在于，所述处理器执行所述根据所述匹配的像素之间的光流，确定所述双目拍摄装置的初始观测深度时，用于执行：
    对所述匹配的像素之间的光流进行三角化处理，得到所述匹配的像素对应的深度值。
  26. 根据权利要求21所述的双目拍摄装置，其特征在于，所述处理器执行所述根据所述初始观测深度确定曝光过程中所述双目拍摄装置的第一运动时，用于执行：
    初始化所述第一运动的运动参数；
    对所述第一运动的运动参数以及所述初始观测深度进行优化，得到优化后的所述第一运动的运动参数。
  27. 根据权利要求26所述的双目拍摄装置，其特征在于，所述处理器执行所述对所述第一运动的初始化值以及所述初始观测深度进行优化，得到优化后的所述第一运动的运动参数时，用于执行：
    基于预设的卷帘快门双目相机的重投影误差模型，对所述第一运动的初始化值以及所述初始观测深度进行优化，得到优化后的所述第一运动的运动参数。
  28. 根据权利要求27所述的双目拍摄装置，其特征在于，所述处理器执行所述基于预设的卷帘快门双目相机的重投影误差模型，对所述第一运动的初始化值以及所述初始观测深度进行优化，得到优化后的所述第一运动的运动参数时，用于执行：
    将所述第一运动的初始化值、所述初始观测深度以及所述第一图像和所述第二图像上匹配的像素的位置输入所述重投影误差模型，得到优化后的所述第一运动的运动参数。
  29. 根据权利要求27所述的双目拍摄装置，其特征在于，所述卷帘快门双目相机的重投影误差模型根据是根据双目相机的投影方程和所述第一运动的运动模型确定的。
  30. 根据权利要求26所述的双目拍摄装置，其特征在于，所述处理器执行所述对所述第一运动的初始化值以及所述初始观测深度进行优化，得到优化后的所述第一运动的运动参数时，用于执行：
    基于卷帘快门双目相机的投影方程，根据所述第一运动的运动参数以及所述初始观测深度，确定所述第一图像上的像素在所述第二图像上的重投影；
    根据所述第二图像上的重投影的位置和所述第二图像上对应的像素的位置，确定重投影误差；
    根据所述重投影误差对所述第一运动的初始化值以及所述初始观测深度进行优化。
  31. 根据权利要求30所述的双目拍摄装置，其特征在于，所述卷帘快门双目相机的投影方程是根据双目相机的投影方程和所述第一运动的运动模型确定的。
  32. 根据权利要求30所述的双目拍摄装置，其特征在于，所述处理器执行所述确定所述第一图像上的像素在所述第二图像上的重投影时，用于执行：
    确定所述第一图像上的特征点，所述特征点的数目少于所述第一图像上像素的数目；
    确定所述第一图像上的特征点在所述第二图像上的重投影；
    根据所述第一图像上的特征点在所述第二图像上的重投影，通过插值确定所述第一图像上除所述特征点之外的像素在所述第二图像上的重投影。
  33. 根据权利要求29或31所述的双目拍摄装置，其特征在于，所述第一运动的运动模型包括匀速运动模型，所述匀速运动模型的运动参数包括线速度和/或角速度。
  34. 根据权利要求33所述的双目拍摄装置，其特征在于，所述匀速运动模型对应的运动时长是根据所述第一拍摄装置的曝光时长和/或所述第二拍摄装置的曝光时长确定的。
  35. 根据权利要求26-34中任一项所述的双目拍摄装置，其特征在于，对所述第一运动的运动参数以及所述初始观测深度进行优化的目标为：
    根据优化后的所述第一运动的运动参数以及优化后的所述初始观测深度确定的重投影误差收敛或者小于预设的误差阈值。
  36. 根据权利要求26-34中任一项所述的双目拍摄装置，其特征在于，所述第一运动的初始化值为零向量。
  37. 根据权利要求26-34中任一项所述的双目拍摄装置，其特征在于，所述处理器执行所述获取所述第一运动的初始化值时，用于执行：
    根据相邻帧的所述第一图像，确定所述相邻帧的时间段内所述双目拍摄装置的第二运动；
    根据所述第二运动确定所述第一运动的初始化值。
  38. 根据权利要求21所述的双目拍摄装置，其特征在于，所述处理器执行所述根据确定的所述双目拍摄装置的第一运动，对所述第一图像和所述第二图像进行去畸变处理时，用于执行：
    根据确定的所述双目拍摄装置的第一运动以及所述第一图像中各行像素的行号，对所述第一图像中的各行像素进行校正；以及
    根据确定的所述双目拍摄装置的第一运动以及所述第二图像中各行像素的行号，对所述第二图像中的各行像素进行校正；
    其中所述校正包括旋转和/或平移。
  39. 根据权利要求38所述的双目拍摄装置，其特征在于，所述第一运动的运动参数包括角速度和/或线速度，所述角速度用于指示所述第一图像和/或所 述第二图像中的各行像素进行旋转，所述线速度用于指示所述第一图像和/或所述第二图像中的各行像素进行平移。
  40. 根据权利要求21所述的双目拍摄装置，其特征在于，所述处理器执行所述根据去畸变处理后的第一图像和去畸变处理后的第二图像，确定所述双目拍摄装置的观测深度时，用于执行：
    将去畸变处理后的第一图像和去畸变处理后第二图像输入预设的光流估计网络模型，得到去畸变处理后第一图像和去畸变处理后第二图像上匹配的像素之间的光流；
    根据所述匹配的像素之间的光流，确定所述双目拍摄装置的观测深度。
  41. 一种观测深度确定装置，其特征在于，包括一个或多个处理器，单独地或共同地工作，用于执行如权利要求1-20中任一项所述的确定双目拍摄装置的观测深度的方法的步骤。
  42. 一种可移动平台，其特征在于，搭载第一拍摄装置和第二拍摄装置，所述第一拍摄装置和第二拍摄装置的图像传感器中的感测单元是逐行曝光的；
    所述可移动平台还包括一个或多个处理器，单独地或共同地工作，用于执行如权利要求1-20中任一项所述的确定双目拍摄装置的观测深度的方法的步骤。
  43. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1-20中任一项所述的确定双目拍摄装置的观测深度的方法的步骤。
PCT/CN2021/103269 2021-06-29 2021-06-29 双目拍摄装置及确定其观测深度的方法、装置、可移动平台 WO2023272524A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/103269 WO2023272524A1 (zh) 2021-06-29 2021-06-29 双目拍摄装置及确定其观测深度的方法、装置、可移动平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/103269 WO2023272524A1 (zh) 2021-06-29 2021-06-29 双目拍摄装置及确定其观测深度的方法、装置、可移动平台

Publications (1)

Publication Number Publication Date
WO2023272524A1 true WO2023272524A1 (zh) 2023-01-05

Family

ID=84689841

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/103269 WO2023272524A1 (zh) 2021-06-29 2021-06-29 双目拍摄装置及确定其观测深度的方法、装置、可移动平台

Country Status (1)

Country Link
WO (1) WO2023272524A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120148097A1 (en) * 2010-12-14 2012-06-14 Electronics And Telecommunications Research Institute 3d motion recognition method and apparatus
CN108090877A (zh) * 2017-11-29 2018-05-29 深圳慎始科技有限公司 一种基于图像序列的rgb-d相机深度图像修复方法
CN108615244A (zh) * 2018-03-27 2018-10-02 中国地质大学（武汉） 一种基于cnn和深度滤波器的图像深度估计方法及系统
CN108780577A (zh) * 2017-11-30 2018-11-09 深圳市大疆创新科技有限公司 图像处理方法和设备
CN110751685A (zh) * 2019-10-21 2020-02-04 广州小鹏汽车科技有限公司 深度信息确定方法、确定装置、电子装置和车辆
CN111316325A (zh) * 2019-03-08 2020-06-19 深圳市大疆创新科技有限公司 拍摄装置参数标定方法、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120148097A1 (en) * 2010-12-14 2012-06-14 Electronics And Telecommunications Research Institute 3d motion recognition method and apparatus
CN108090877A (zh) * 2017-11-29 2018-05-29 深圳慎始科技有限公司 一种基于图像序列的rgb-d相机深度图像修复方法
CN108780577A (zh) * 2017-11-30 2018-11-09 深圳市大疆创新科技有限公司 图像处理方法和设备
CN108615244A (zh) * 2018-03-27 2018-10-02 中国地质大学（武汉） 一种基于cnn和深度滤波器的图像深度估计方法及系统
CN111316325A (zh) * 2019-03-08 2020-06-19 深圳市大疆创新科技有限公司 拍摄装置参数标定方法、设备及存储介质
CN110751685A (zh) * 2019-10-21 2020-02-04 广州小鹏汽车科技有限公司 深度信息确定方法、确定装置、电子装置和车辆

Similar Documents

Publication Publication Date Title
CN106529495B (zh) 一种飞行器的障碍物检测方法和装置
CN110728715B (zh) 一种智能巡检机器人摄像机角度自适应调整方法
CN108564617B (zh) 多目相机的三维重建方法、装置、vr相机和全景相机
WO2020014909A1 (zh) 拍摄方法、装置和无人机
CN106875451B (zh) 相机标定方法、装置及电子设备
US20170127045A1 (en) Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
CN106960454B (zh) 景深避障方法、设备及无人飞行器
WO2019119328A1 (zh) 一种基于视觉的定位方法及飞行器
CN107843251B (zh) 移动机器人的位姿估计方法
CN106570899B (zh) 一种目标物体检测方法及装置
WO2019164498A1 (en) Methods, devices and computer program products for global bundle adjustment of 3d images
CN103971378A (zh) 一种混合视觉系统中全景图像的三维重建方法
CN111768449B (zh) 一种双目视觉结合深度学习的物体抓取方法
CN112150518B (zh) 一种基于注意力机制的图像立体匹配方法及双目设备
CN113240749B (zh) 一种面向海上舰船平台无人机回收的远距离双目标定与测距方法
WO2020114433A1 (zh) 一种深度感知方法，装置和深度感知设备
CN109902675B (zh) 物体的位姿获取方法、场景重构的方法和装置
CN110675436A (zh) 基于3d特征点的激光雷达与立体视觉配准方法
CN110119189B (zh) Slam系统的初始化、ar控制方法、装置和系统
CN111047636B (zh) 基于主动红外双目视觉的避障系统和避障方法
CN105335959B (zh) 成像装置快速对焦方法及其设备
CN111160233A (zh) 基于三维成像辅助的人脸活体检测方法、介质及系统
CN111105467A (zh) 一种图像标定方法、装置及电子设备
CN113724335A (zh) 一种基于单目相机的三维目标定位方法及系统
CN117115271A (zh) 无人机飞行过程中的双目相机外参数自标定方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21947480

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21947480

Country of ref document: EP

Kind code of ref document: A1