WO2019058760A1 - ステレオ画像処理装置 - Google Patents

ステレオ画像処理装置 Download PDF

Info

Publication number
WO2019058760A1
WO2019058760A1 PCT/JP2018/028188 JP2018028188W WO2019058760A1 WO 2019058760 A1 WO2019058760 A1 WO 2019058760A1 JP 2018028188 W JP2018028188 W JP 2018028188W WO 2019058760 A1 WO2019058760 A1 WO 2019058760A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
parallax
stereo
imaging
image
Prior art date
Application number
PCT/JP2018/028188
Other languages
English (en)
French (fr)
Inventor
英彰 城戸
永崎　健
青木　利幸
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to US16/645,865 priority Critical patent/US11259001B2/en
Publication of WO2019058760A1 publication Critical patent/WO2019058760A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Definitions

  • the present invention relates to a stereo image processing apparatus.
  • a stereo camera device that performs object detection by arranging two cameras on the left and right simultaneously measures visual information from images and distance information to an object simultaneously, so various objects (cars, cars (3D objects, road surface, road surface sign, signboard sign etc.) can be grasped in detail, which is considered to contribute to the improvement of safety at the time of driving support.
  • imaging needs to be acquired in a state where time synchronization of the camera is performed. If the camera is out of sync, that is, if it is acquired in a state in which a time delay occurs at one side, for example, an object moving in the lateral direction will have an erroneous parallax. As a result, the distance to the object is incorrectly estimated. This tendency is particularly noticeable in the method of imaging with a rolling shutter. Since the rolling shutter performs imaging sequentially for each line of the image, a time delay also occurs between the lines.
  • Patent Document 1 In order to avoid the time shift, there is an example having a time synchronization function at the time of imaging of a camera as in Patent Document 1. Synchronize the imaging time by sending synchronization signals to both cameras. Further, Patent Document 2 discloses a method of synchronizing cameras using different angles of view using a rolling shutter.
  • Patent Document 1 and Patent Document 2 both describe the synchronization mechanism required for imaging with a stereo camera, it also describes erroneous measurement of parallax that occurs when lens distortion of the camera (especially rolling shutter system) is large. Absent.
  • the erroneous measurement of parallax at the time of rolling shutter is a problem caused by lens distortion in the left and right cameras. If the lines capturing the same object are different for the left and right cameras, and if the shift amount of the line is different for the distance to the subject, the imaging time is different for the same object on the left and right, so the parallax is erroneously estimated It is.
  • a stereo image pick-up part which picturizes a plurality of pictures from which a viewpoint differs
  • a synchronizer which synchronizes image pick-up time when picturizing a plurality of the above-mentioned pictures
  • An image correction unit that collimates and outputs the image
  • a parallax measurement unit that detects parallax based on the image output by the image correction unit, and an object is detected based on the parallax measured by the parallax measurement unit
  • a delay amount holding unit for holding a delay time from the imaging time synchronized by the synchronization unit for each pixel, and the delay amount holding unit.
  • an object parallax correction unit that corrects the parallax of the object detected by the object detection unit based on the delay time.
  • Diagram for explaining the configuration of in-vehicle stereo camera A diagram for explaining the configuration of a stereo camera that corrects parallax based on three-dimensional object detection
  • a diagram for explaining an image captured by a stereo camera A diagram for explaining a configuration for correcting parallax based on three-dimensional object detection
  • a diagram for explaining the configuration of a stereo camera that corrects a parallax image based on vehicle information A diagram for explaining a configuration for correcting a parallax image based on vehicle information
  • FIG. 1 A vehicle control system using a stereo camera is shown in FIG.
  • the stereo camera (stereo imaging unit) 101 is mounted on the vehicle 102, and measures, for example, the distance to the object 103 ahead and the relative speed, and transmits the measured result to the vehicle control unit 104.
  • the vehicle control unit 104 determines the control of the brake and the accelerator from the distance to the object and the relative speed to control the vehicle.
  • the stereo camera 201 includes imaging units on the left and right, and the left image acquisition unit 202 and the right image acquisition unit 203 acquire a pair of images.
  • the image processing apparatus further includes a left image correction unit (image correction unit) 204 and a right image correction unit (image correction unit) 205 that perform distortion correction and parallelization of each image.
  • a parallax image acquisition unit (parallax measurement unit that specifies the position at which the same object appears in the parallelized left and right images, calculates the difference between the left and right images as parallax, for each image coordinate, and calculates as parallax images ) 206.
  • an erroneous parallax may be measured, particularly when the host vehicle is turning, when imaging an object having a relative lateral velocity.
  • the object detection unit 207 detects a three-dimensional object or the like from the acquired parallax image.
  • the object parallax correction unit 210 estimates the parallax shift amount from the information of the delay time obtained from the left image delay time holding unit (delay amount holding unit) 208 and the right image delay time holding unit (delay amount holding unit) 209 Correction function.
  • the distance calculation unit 211 calculates the distance and relative speed of the external object from the information corrected in this manner, and transmits the calculated value to the outside of the stereo image processing apparatus.
  • the synchronization signal generation unit (synchronization unit) 212 has a function of matching the acquisition timing of the left and right images and the imaging timing, so that imaging of the left image and the right image can be started at the same timing.
  • the image data acquired by the left image acquisition unit 201 and the right image acquisition unit 202 is imaged with lens distortion particularly in a wide-angle lens.
  • An example is shown in FIG.
  • the grid-patterned plate 301 is imaged by the stereo camera 302.
  • the acquired image has barrel distortion as in the uncorrected left image 303 and the uncorrected right image 304.
  • Such lens distortion is corrected by the left image correction unit 204 and the right image correction unit 205 that correct the parallax image, and the distortion is eliminated from the lattice pattern as in the corrected left image 305 and the corrected right image 306. Be done.
  • the same object is captured in different lines, particularly in the end region where distortion is large.
  • the point 308 on the plate 301 is imaged as points 309 and 310 in the uncorrected left image and the uncorrected right image respectively, but as the broken line width 311 indicates, in the uncorrected image, the same object is imaged on different lines on the left and right It is done.
  • the star point 312 on the plate 301 is also imaged as points 313 and 314 in the uncorrected left image and the uncorrected right image, respectively, and this point is also imaged with different left and right lines as the broken line width 315 shows.
  • the fact that the imaging lines are different means that the imaging time is different in the rolling shutter type camera. This time shift amount differs depending on the position of the object as can be seen from the different widths indicated by the different broken line widths 311 and 315, and also varies depending on the distance to the object.
  • the parallax between the left and right images is (B) even when the object has the same depth distance when (A) relative movement does not move relative to (B) lateral movement.
  • the error is included in If the disparity includes an error, an incorrect distance is calculated in Equation 1.
  • the images corrected as the image 305 and the image 306 by the left image correction unit 204 and the right image correction unit 205 are converted to parallax images by the parallax image acquisition unit 206. Since the left and right images are captured at different timings on the left and right, it is measured with an error for an object in which the lateral velocity is relatively generated.
  • This parallax error can be described as follows, assuming that the host vehicle does not move in the lateral direction, and the lateral velocity of the object in the real world is vx and the acquisition time difference between the left and right images is dly: . fB / c * vx * dly (Equation 1)
  • the lateral velocity on the image is denoted by vi here. vi * dly ...
  • Equation 2 Rewrite it as. dly is a relative time shift amount between the left and right images, which depends on the position of the pixel, and therefore, can be written as follows using the acquisition time shift of the right image and the acquisition time shift of the left image.
  • dly sR (x, y) -sL (x + d (x, y), y) (Equation 3)
  • sR indicates an acquisition time shift from the reference time of the right image when the image coordinates after parallelization are x and y
  • sL indicates an acquisition time shift from the reference time of the left image in x and y
  • d (x, y) indicates the displacement of the lateral position of the left and right images at the point at which the same object is imaged, that is, the observed parallax itself. Therefore, the original parallax D (x, y) can be written as follows when the above equations are put together.
  • the left image delay time holding unit 208 and the right image delay time holding unit 209 hold the time when the coordinates x and y are imaged from a certain synchronized time. This time can be determined, for example, as follows.
  • the left and right images before correction acquired from the imaging means are respectively set as L '(x1, y1) and R' (x2, y2). These are image coordinates before the parallelization process is performed.
  • the imaging start timing of the pre-correction image acquired from the imaging means is T0, and then the imaging timing at the position x1, y1 of the pre-correction image is TL (x1, y1).
  • TL (x1, y1) T0 + ⁇ * y1 + ⁇ * x1 (6)
  • ⁇ and ⁇ are appropriate coefficients
  • ⁇ is the time taken to image one line of the image before correction
  • ⁇ is the time taken to image one pixel.
  • a value common to the uncorrected right image and the uncorrected left image is the imaging start timing T0, which is equal to the synchronization of the left and right imaging timings.
  • a reference table in which the pixels of the input image and the pixels of the output image are associated one by one can be considered.
  • one coordinate point of the input image is associated with one image coordinate point of the output image. In this case, even very complex lens distortion can be expressed.
  • this reference table it is possible to calculate the delay amount to be used by the delay amount holding means through the conversion equation as in (Expression 7). The calculation of the delay amount may be calculated every time from the calculation table, or only the calculation result may be recorded.
  • the reference table method requires a one-to-one correspondence for each pixel, basically the input needs to record the position for all output pixels, and a large memory capacity is required, but the model formula In this case, the memory capacity can be small because it is sufficient to store the parameters expressed by the model.
  • the object detection unit 207 extracts an object. Extraction of an object is possible by collecting pixels having similar parallax, and the means is not limited. One object is usually composed of several pixels to several tens of thousands of pixels. Assuming that one object has the same lateral velocity (vi) and parallax (D), it is possible to construct a plurality of equations with sample points for two unknown variables of (Equation 4). Therefore, it becomes an overdetermined system, and the lateral velocity vi and the parallax D of the object can be obtained by solving the optimization problem such as the least squares method from the information of each sample point.
  • the optimization problem such as the least squares method from the information of each sample point.
  • the sample points used in the least squares method may be selected from highly reliable points.
  • the in-object parallax point group acquiring unit 401 acquires a (sample) point group 403 of parallax belonging to the object detected by the object detecting unit 207, and the object parallax estimating unit 402 solves the above problem.
  • the parallax D of the object is obtained and output.
  • the parallax image is directly corrected using vehicle information.
  • vehicle information may be information such as a steering angle, a yaw rate, a speed sensor or the like mounted on the host vehicle.
  • the vehicle information may be acquired by the motion information acquisition unit (not shown) of the stereo camera 101 or the vehicle on which the stereo camera 101 is mounted.
  • vehicle information 504 such as steering angle, vehicle speed, and yaw rate is used in combination with the left image delay time holding unit 208 and the right image delay time holding unit 209 for the image acquired by the parallax image acquisition unit 206. It has a parallax image correction unit 501 that corrects parallax images.
  • the object detection unit 502 detects an object such as a three-dimensional object using the corrected parallax image, and the distance calculation unit 503 outputs each distance.
  • parallax image correction unit 501 Details of the parallax image correction unit 501 will be described below.
  • parallax is acquired from parallax images (parallax acquisition 601).
  • motion information of a stationary object is estimated based on vehicle information 504 such as a steering angle, yaw rate, speed sensor (background motion estimation unit 602), and parallax correction 603 is performed. It is assumed that the angular velocity of the vehicle in the yaw direction is estimated to be ⁇ by the stationary object motion information estimation unit.
  • the parallax image correction unit 501 can correct the parallax.
  • FIG. 2 A method of correcting parallax by combining the configurations of FIG. 2 and FIG. 5 is also conceivable.
  • the configuration at this time is shown in FIG.
  • the image acquired by the parallax image acquisition unit 207 is corrected by the parallax image correction unit 701 using the information of the vehicle information 504.
  • object detection (703) is performed based on that, and the object parallax correction unit 703 corrects the parallax of the object and outputs a distance (704).
  • the lateral velocity assumed in the parallax image correction unit 701 and the object parallax correction unit 703 is the velocity associated with the movement of the host vehicle and the velocity associated with the movement of the other, respectively.
  • the vehicle information 504 may be acquired by the motion information acquisition unit (not shown) of the stereo camera 101 or the vehicle on which the stereo camera 101 is mounted.
  • a stereo imaging unit 101 for capturing a plurality of images from different viewpoints a synchronization unit 212 for synchronizing imaging times when capturing a plurality of images, and parallelizing and outputting a plurality of images captured by the stereo imaging unit 101
  • Image correction units 204 and 205 a parallax measurement unit 206 that detects parallax based on images output from the image correction units 204 and 205, and object detection that detects an object based on the parallax measured by the parallax measurement unit 206
  • Delay amount holding units 208 and 209 each holding the delay time from the imaging time synchronized by the synchronization unit 212, and the delay time held by the delay amount holding units 208 and 209.
  • an object parallax correction unit 210 that corrects the parallax of the object detected by the object detection unit 207.
  • the stereo imaging unit is a rolling shutter system
  • the object parallax correction unit corrects a parallax measurement error associated with the lateral velocity of the object detected by the object detection unit.
  • the object parallax correction unit considers that the point group of the parallax detected by the object detection unit has the same lateral velocity.
  • the delay amount holding unit is calculated based on the output of the image correction unit.
  • a stereo imaging unit that captures a plurality of images from different viewpoints
  • a synchronization unit that synchronizes an imaging time when capturing a plurality of the images
  • a plurality of the images captured by the stereo imaging unit are parallelized.
  • a stereo image processing apparatus comprising: an image correction unit to output; and a parallax measurement unit to detect parallax based on the image output from the image correction unit, wherein the imaging time synchronized by the synchronization unit is used
  • a delay amount holding unit that holds the delay time of each of the pixels, a motion information acquisition unit that acquires motion information of the stereo imaging unit or a vehicle equipped with the stereo imaging unit, and the delay amount holding unit holds the
  • a parallax image correction unit that corrects the parallax measured by the parallax measurement unit based on the delay time and the movement information acquired by the movement information acquisition unit.
  • the stereo imaging unit is a rolling shutter system
  • the object parallax correction unit corrects an error of the parallax according to a lateral velocity of the stereo imaging unit.
  • the parallax is corrected when the lateral velocity of the stereo imaging unit is larger than a predetermined value.
  • a stereo imaging unit that captures a plurality of images from different viewpoints
  • a synchronization unit that synchronizes an imaging time when capturing a plurality of the images
  • a plurality of the images captured by the stereo imaging unit are parallelized.
  • a stereo image processing apparatus comprising: an image correction unit to output; and a parallax measurement unit to detect parallax based on the image output from the image correction unit, a delay from the imaging time synchronized by the synchronization unit A delay amount holding unit that holds time for each pixel, a motion information acquisition unit that acquires motion information of the stereo imaging unit or a vehicle equipped with the stereo imaging unit, and the delay time held by the delay amount holding unit A parallax image correction unit that corrects the parallax measured by the parallax measurement unit based on the movement information acquired by the movement information acquisition unit; An object detection unit that detects a three-dimensional object using the image corrected by the unit; and an object parallax correction unit that corrects the parallax of the three-dimensional object output from the object detection unit from the delay amount holding unit .
  • the parallax caused by the distortion of the lens is accurately implemented, and it is accurate also for the case where the camera moves laterally or the object whose partner moves horizontally.
  • a stereo camera capable of outputting a distance can be provided.
  • stereo camera stereo imaging unit
  • Synchronization signal generator synchronizer
  • Left image correction unit image correction unit
  • Right image correction unit image correction unit
  • Parallax image acquisition unit parallax measurement unit
  • Object Detection Unit Left Image Delay Time Holding Unit (Delay Amount Holding Unit)
  • Right image delay time holding unit delay amount holding unit
  • Object parallax correction unit Object parallax correction unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

視差精度を向上し、正確な距離を出力する。　視点の異なる複数の画像を撮像するステレオ撮像部１０１と、複数の画像を撮像する際に撮像時刻を同期させる同期部２１２と、ステレオ撮像部１０１により撮像された複数の画像を平行化して出力する画像補正部２０４，２０５と、画像補正部２０４，２０５で出力される画像に基づいて視差を検出する視差計測部２０６と、視差計測部２０６で計測された視差に基づいて物体を検出する物体検出部２０７と、を備え、同期部２１２によって同期された撮像時刻からの遅延時間を画素ごとに保持する遅延量保持部２０８，２０９と、遅延量保持部２０８，２０９が保持する遅延時間に基づいて物体検出部２０７によって検出された物体の視差を補正する物体視差補正部２１０と、を備える。

Description

ステレオ画像処理装置
　本発明は、ステレオ画像処理装置に関する。
　近年、撮像した画像に基づいて対象物を認識する画像認識装置である車載カメラ装置の普及により、安全運転や自動運転に向けた各種認識機能への要求が高まってきている。なかでも、左右に２つカメラを並べて物体検出を行うステレオカメラ装置は、画像による視覚的な情報と、対象物への距離情報を同時に計測するため、自動車周辺の様々な対象物（人、車、立体物、路面、路面標識、看板標識など）を詳細に把握でき、運転支援時の安全性の向上にも寄与するとされている。
　ステレオカメラは、左右のカメラで撮像される同一物体の位置の差分から距離を算出する。この差分を視差という。距離が遠ければ遠いほどこの視差は小さくなり、距離が近ければ近いほど視差は大きくなる。視差をｄ、距離をＺとすると、その関係は反比例の関係にあり以下のように示される。
  Ｚ=α／ｄ
  但しαはカメラ固有の値であり、レンズの焦点距離（ｆ）、画素の物理サイズ（ｃ）、カメラ間の距離の基線長（Ｂ）からα＝ｆＢ／ｃで計算される。
　ステレオカメラにおいて、撮像はカメラの時刻同期がなされた状態で取得する必要がある。もしカメラの同期がずれた状態、すなわち片方に時間遅れが発生している状態で取得した場合、例えば横方向に移動する物体は誤った視差が観測されてしまう。結果としてその物体までの距離を誤って推定することになる。特にローリングシャッターで撮像する方式においては、その傾向が顕著になる。ローリングシャッターは画像のラインごとに逐次的に撮像を実施するため、ライン間でも時刻の遅延が発生するためである。
　時刻ずれを回避するためには、特許文献１のように、カメラの撮像時に時刻同期機能を有する例がある。両方のカメラに対して同期信号を送付することで撮像時刻の同期を取る。また特許文献２では、ローリングシャッターを用いてかつ異なる画角のカメラの同期を取る手法が開示されている。
特開２００２－１４５０７２号公報 特表２０１６－５１４２４６号公報
　特許文献１、特許文献２ともにステレオカメラの撮像に必要な同期の機構について述べられているが、カメラ（特にローリングシャッター方式）のレンズゆがみが大きい場合に発生する視差の誤計測については述べられていない。
　ローリングシャッター時の視差の誤計測とは、左右のカメラにおけるレンズゆがみに起因する問題である。同じ物体を撮像しているラインが左右のカメラで異なり、かつ被写体までの距離にそのラインのずれ量が異なると、同じ物体に対して左右で撮像時刻が異なるため、視差を誤推定するという問題である。
　上記課題を解決するために、視点の異なる複数の画像を撮像するステレオ撮像部と、複数の前記画像を撮像する際に撮像時刻を同期させる同期部と、前記ステレオ撮像部により撮像された複数の前記画像を平行化して出力する画像補正部と、前記画像補正部で出力される前記画像に基づいて視差を検出する視差計測部と、前記視差計測部で計測された視差に基づいて物体を検出する物体検出部と、を備えるステレオ画像処理装置であって、前記同期部によって同期された前記撮像時刻からの遅延時間を画素ごとに保持する遅延量保持部と、前記遅延量保持部が保持する前記遅延時間に基づいて前記物体検出部によって検出された前記物体の前記視差を補正する物体視差補正部と、を備える。
　本発明によれば、視差精度を向上し、正確な距離を出力できる。
車載ステレオカメラの構成を説明する図 視差を立体物検出に基づいて補正するステレオカメラの構成を説明する図 ステレオカメラで撮像される画像を説明する図 立体物検出に基づいて視差を補正する構成を説明する図 車両情報に基づいて視差画像を補正するステレオカメラの構成を説明する図 車両情報に基づいて視差画像を補正する構成を説明する図 車両情報と立体物検出に基づいて視差を補正するステレオカメラの構成を説明する図
　ステレオカメラを用いた車両制御システムを図１に示す。ステレオカメラ（ステレオ撮像部）１０１は車両１０２に搭載され、例えば前方の物体１０３までの距離や相対速度を計測して車両制御部１０４に送信する。車両制御部１０４は、物体までの距離や相対速度からブレーキやアクセルの制御を決定し車両を制御する。
　ステレオ画像処理装置の第一の形態を図２に示す。ステレオカメラ２０１は、左右に撮像部を備え、左画像取得部２０２と右画像取得部２０３で一対の画像を取得する。
　また、各画像のゆがみ補正や平行化を実施する左画像補正部（画像補正部）２０４、右画像補正部（画像補正部）２０５を有する。
　また、平行化された左右の画像で同じ物体が映る位置を特定し、その左右画像間の位置の差分を視差として、画像座標ごとに求めて視差画像として算出する視差画像取得部（視差計測部）２０６を備える。ここで得られた視差画像は、相対的に横速度が発生している物体を撮像したとき、特に自車両が旋回している時などに誤った視差を計測することがある。
　物体検出部２０７では、取得した視差画像から立体物などを検出する。
　物体視差補正部２１０は、左画像遅延時間保持部（遅延量保持部）２０８と右画像遅延時間保持部（遅延量保持部）２０９から得られた遅延時間の情報から、視差のずれ量を推定して補正する機能を有する。距離算出部２１１では、このようにして補正された情報から外界の物体の距離や相対速度を算出してステレオ画像処理装置の外に送信する。なお、同期信号発生部（同期部）２１２は左右画像の取得タイミング、撮像タイミングを合わせる機能を持ち、これにより左画像と右画像は同じタイミングで撮像を開始できる。
　次に、具体的に画像取得から流れを追って説明する。
　左画像取得部２０１と右画像取得部２０２で取得された画像データは、特に広角レンズにおいてレンズゆがみを持って撮像される。その例を図３に示す。格子模様の板３０１をステレオカメラ３０２で撮像する。取得された画像は補正前左画像３０３、補正前右画像３０４の様に樽型ゆがみを持つ。このようなレンズ歪みは、視差画像を補正する左画像補正部２０４、右画像補正部２０５によって補正され、補正後左画像３０５、補正後右画像３０６の様に格子模様から歪みが無くなるように補正される。
　ここで、特にゆがみが大きい端の領域において、左右の画像を比較すると異なるラインに同一の物体が撮像される。板３０１上の点３０８は、補正前左画像、補正前右画像にそれぞれ点３０９、３１０として撮像されるが、破線幅３１１が示す通り、補正前画像においては左右で異なるラインに同じ物体が撮像されている。
　同様に、板３０１上の星点３１２も、補正前左画像、補正前右画像にそれぞれ点３１３、３１４として撮像され、この点も破線幅３１５が示す通り左右で異なるラインで撮像される。
　撮像ラインが異なるということは、ローリングシャッター方式のカメラにおいては撮像時刻が異なるということである。この時刻ずれ量は異なる破線幅３１１、３１５の示す幅が異なることから見て取れるように物体の位置によって異なり、対象物までの距離によっても異なる。撮像時刻が異なる場合、対象物が（Ａ）相対的に横移動しない場合と（Ｂ）横移動する場合を比べると、同じ奥行距離を持つ場合であっても、左右画像間の視差は（Ｂ）において誤差を含む。視差が誤差を含むと式１において誤った距離を算出する。
　左画像補正部２０４、右画像補正部２０５で画像３０５、画像３０６の様に補正された画像は、視差画像取得部２０６において視差画像に変換される。左右画像は左右で異なったタイミングで撮像されているため、相対的に横速度が発生している物体に対しては、誤差をもって計測される。
　この視差の誤差は、自車両は横方向の移動が無いと仮定して、対象物の実世界上での横速度をｖｘ、左右画像間の取得時刻ずれをｄｌｙとすると以下の様に記載できる。
  ｆＢ／ｃ＊ｖｘ＊ｄｌｙ・・・（式１）
  ここで画像上での横速度をｖｉと表記して、
  ｖｉ＊ｄｌｙ・・・（式２）
  と表記しなおす。ｄｌｙは左右画像間の相対的な時刻ずれ量であり、それは画素の位置に依存するため、右画像の取得時刻ずれと左画像の取得時刻ずれを用いて以下の様に書き下すことができる。
  ｄｌｙ＝ｓＲ（ｘ，ｙ）－ｓＬ（ｘ＋ｄ（ｘ、ｙ），ｙ）・・・（式３）
  但し、ｓＲは平行化後の画像座標をｘ、ｙとしたときの右画像の規準時刻からの取得時刻ずれ、ｓＬはｘ、ｙにおける左画像の規準時刻からの取得時刻ずれを示す。ｄ（ｘ、ｙ）は同じ物体が撮像されている点における左右画像の横位置の変位、つまりは観測された視差そのものを示す。よって、本来の視差Ｄ（ｘ，ｙ）は上記の式をまとめると以下のように書くことができる。
  Ｄ（ｘ，ｙ）＝ｄ（ｘ、ｙ）－ｖｉ＊（ｓＲ（ｘ，ｙ）－ｓＬ（ｘ＋ｄ（ｘ、ｙ），ｙ））・・・（式４）
　（式４）と図２の対応において、左画像遅延時間保持部２０８はｓＬ（ｘ、ｙ）を保持し、右画像遅延時間保持部２０９はｓＲ（ｘ，ｙ）を保持する。
　次に、この遅延時間保持部の実現手段について示す。
　左画像遅延時間保持部２０８、右画像遅延時間保持部２０９は、ある同期された時刻から座標ｘ、ｙが撮像されたときの時間を保持する。この時間は例えば以下のように求めることができる。
　撮像手段から取得された補正前左右画像をそれぞれＬ´（ｘ１、ｙ１）、Ｒ´（ｘ２、ｙ２）と置く。これらは平行化処理がなされる前の画像座標である。この補正前左画像Ｌ´から補正後左画像Ｌへの変換は通常なんらかの数式や、入力座標と出力座標が対応付けられたテーブルによって表現される。例えば、この写像もしくは変換式を、
  ｘ＝ｆＬ＿ｘ（ｘ１，ｙ１）、ｙ＝ｆＬ＿ｙ（ｘ１，ｙ１）・・・（式５）
  で表せるとする。
　撮像手段から取得された補正前画像の撮像開始タイミングをＴ０とし、次に補正前画像の位置ｘ１、ｙ１における撮像タイミングをＴＬ（ｘ１，ｙ１）と置く。このタイミングはラインごとにリニアに撮像される場合は、
  ＴＬ（ｘ１，ｙ１）＝Ｔ０＋α＊ｙ１＋β＊ｘ１・・・（式６）
  で表される。つまりＴ０からの遅れ時間ΔＬ（ｘ１、ｙ１）は、
  ΔＬ（ｘ１、ｙ１）＝α＊ｙ１＋β＊ｘ１・・・（式７）
  ここで、α、βは適当な係数であり、αは補正前画像の一つのラインを撮像するのにかかる時間、βは１ピクセルを撮像するのにかかる時間である。
　（式５）、（式６）より、補正後の画像座標（ｘ、ｙ）が定まれば補正前画像座標（ｘ１、ｙ１）の位置が一意に定まるから、Ｔ０からの各座標における遅れ時間が推定できる。
　以上の説明は補正前左画像と補正後左画像の関係と、遅延時間の取得手段であったが、同様のことが右画像にも適用できる。補正前右画像と補正前左画像で共通な値は撮像開始タイミングＴ０であり、これは左右の撮像タイミングを同期させたことと等しい。
　（式５）に示したｆＬ＿ｘ、ｆＬ＿ｙの実現方法には、まず入力画像の画素と出力画像の画素を一対一に対応付けた参照テーブルが考えられる。一般には出力画像の画像座標１点に対して入力画像のある座標一点が対応付けられる。この場合、非常に複雑なレンズ歪みでも表現できる。この参照テーブルを用いることで（式７）の様な変換式を介せば、遅延量保持手段で用いる遅延量を算出することができる。遅延量の算出は算出テーブルから毎回演算して求めてもよいし、演算結果のみを記録してもよい。
　次に、一般に知られるモデル式を用いる方法も考えられる。例えば、歪みの大きいレンズでは、正射影、等距離射影、等立体角射影、立体射影等が射影モデルとして考えられる。そのため、それぞれの射影方式に応じたモデル式を使用することが考えられる。歪みの少ないレンズでは、例えば以下のような式が一般的に用いられる。
  ｘ＝（１＋ｋ１＊ｒ２＋ｋ２＊ｒ４）ｘ１
  ｙ＝（１＋ｋ１＊ｒ２＋ｋ２＊ｒ４）ｙ１
  但し、ｒ２＝ｘ１＊ｘ１＋ｙ１＊ｙ１、ｋ１、ｋ２は歪みの度合いを決める変数である。
　参照テーブル方式は、画素ごとに一対一の対応付けが必要なため、基本的にはすべての出力画素に対して入力がその位置を記録する必要があり、大きなメモリ容量を必要とするがモデル式であればモデルで表現されるパラメータを記憶すればよいのでメモリ容量は小さくて済む。
　なお、シャッター速度など撮像手段の設定に遅延時間が依存する場合、シャッター時間ごとに（式７）を持つことにより、その依存性を解消できる。外界を撮像するカメラにおいて、シャッター速度を外界環境に合わせて変更することは自然である。そのため、カメラが現在使用しているシャッター速度に応じて、（式７）に現れる係数を変更することにより、正しい補正を得ることができる。
　次に、視差補正手段の方法について述べる。
  （式４）における補正式によると、ｄは観測値、ｓＲ、ｓＬは固定値であるから既知の変数であるが、Ｄとｖｉは未知の変数であるため、一つの式から直接Ｄを導出することはできない。
　Ｄを求めるためには、例えば図４の様な補正手段が考えられる。図４では、まず物体検出部２０７にて物体を抽出する。物体の抽出は、同じような視差を持つピクセルを集合することで可能であり、その手段は問わない。一つの物体は通常数ピクセル～数万ピクセルの塊で構成される。一つの物体は同じ横速度（ｖｉ）と視差（Ｄ）を持つと仮定すると、（式４）の２つの未知変数に対してサンプル点による複数の式を構築することができる。そのため、優決定系（Overdetermined system）となり、各サンプル点の情報から最小二乗法などの最適化問題を解くことで、横速度ｖｉ及び物体の視差Ｄを求めることができる。この最小二乗法で使われるサンプル点は、信頼度の高い点などから選択して良い。図４において物体内視差点群取得部４０１では、物体検出部２０７で検出された物体に属する視差の（サンプル）点群４０３を取得し、物体視差推定部４０２で上記のような問題を解いて物体の視差Ｄを求めて出力する。
　なお、図１の様な物体検出による補正のほかに、視差画像を直接補正することも考えられる。この場合、外界にある物体を全て静止物と仮定するか、自車両による画像上の横方向の動きが、物体の動きよりも非常に大きいと仮定できれば、車両情報を用いて視差画像を直接補正することができる。ここで、車両情報とは自車両に搭載された舵角・ヨーレート・速度センサ等の情報が考えられる。車両情報は、ステレオカメラ１０１又はステレオカメラ１０１が搭載された車両の動き情報取得部（図示せず）で取得する構成であってもよい。
　（第二の形態）
  次に、ステレオ画像処理装置の第二の形態を図５に示す。この構成において撮像から視差画像の作成までは図２と同じである。本実施例は、視差画像取得部２０６で取得された画像に対し、左画像遅延時間保持部２０８、右画像遅延時間保持部２０９とあわせて舵角・車速・ヨーレートなどの車両情報５０４を用い、視差画像を補正する視差画像補正部５０１を有する。この補正された視差画像を用いて、物体検出部５０２では立体物などの物体を検出し、距離算出部５０３では、それぞれの距離を出力する。
　視差画像補正部５０１の詳細を以下に示す。静止物と仮定する場合、物体の画像上の動きに影響を与えるのは自車両の動きだけである。この実現方法を図６に示す。まず、視差画像から視差を取得する（視差取得６０１）。次に舵角・ヨーレート・速度センサなどの車両情報５０４に基づいて静止物の動き情報を推定し（背景動き推定部６０２）、視差補正６０３を実施する。静止物動き情報推定部で車両のヨー方向の角速度がθと推定されたとする。この時、外界にある物体の画像上での動きは、
  ｖｉ＝ｆＢθ／（ｃＤ（ｘ、ｙ））・・・（式８）
  で近似できる。これを（式４）に代入すると、以下のようにＤについての２次方程式になる。
  Ｄ２－ｄＤ＋ｆＢθ／ｃ＊（ｓＲ（ｘ、ｙ）－ｓＬ（ｘ＋ｄ，ｙ））＝０・・（式９）
  但し、Ｄ、ｄ、にかかる座標（ｘ、ｙ）は表記を省略した。
　ここから、Ｄ＞０の条件のもとで上記２次方程式を解くことで、点（ｘ、ｙ）における視差を算出することが可能である。このように補正された視差を新たな視差情報として出力する。このように視差画像補正部５０１は視差を補正することができる。
　ただし、車両の動きが小さい場合に以上のような補正を実施すると、誤補正を起こす可能性がある。そのため、車両の動きが大きい場合にのみ、以上の処理を実施することが考えられる。
　図２と図５の構成を組み合わせて視差を補正する方式も考えられる。このときの構成を図７に示す。
　視差画像取得部２０７で取得された画像を車両情報５０４の情報を用いて視差画像補正部７０１で補正する。次にそれに基づいて物体検出（７０３）を実施し、物体視差補正部７０３において物体の視差を補正して距離を出力する（７０４）。ただし視差画像補正部７０１と物体視差補正部７０３で仮定される横速度はそれぞれ前者が自車両の運動に伴う速度、後者が相手の動きに伴う速度であり別の量を扱う。車両情報５０４は、ステレオカメラ１０１又はステレオカメラ１０１が搭載された車両の動き情報取得部（図示せず）で取得する構成であってもよい。
　以上の各実施例に基づき、下記のように表現することができる。
　視点の異なる複数の画像を撮像するステレオ撮像部１０１と、複数の画像を撮像する際に撮像時刻を同期させる同期部２１２と、ステレオ撮像部１０１により撮像された複数の画像を平行化して出力する画像補正部２０４，２０５と、画像補正部２０４，２０５で出力される画像に基づいて視差を検出する視差計測部２０６と、視差計測部２０６で計測された視差に基づいて物体を検出する物体検出部２０７と、を備え、同期部２１２によって同期された撮像時刻からの遅延時間を画素ごとに保持する遅延量保持部２０８，２０９と、遅延量保持部２０８，２０９が保持する遅延時間に基づいて物体検出部２０７によって検出された物体の視差を補正する物体視差補正部２１０と、を備える。
　また、前記ステレオ撮像部は、ローリングシャッター方式であって、前記物体視差補正部は、前記物体検出部で検出された前記物体の横速度に伴う視差計測誤差を補正する。
　また、前記物体視差補正部は、前記物体検出部で検出された前記視差の点群が同一の横速度を有するとみなす。
　また、前記遅延量保持部は、前記画像補正部の出力に基づいて算出される。
　また、視点の異なる複数の画像を撮像するステレオ撮像部と、複数の前記画像を撮像する際に撮像時刻を同期させる同期部と、前記ステレオ撮像部により撮像された複数の前記画像を平行化して出力する画像補正部と、前記画像補正部で出力される前記画像に基づいて視差を検出する視差計測部と、を備えるステレオ画像処理装置であって、前記同期部によって同期された前記撮像時刻からの遅延時間を画素ごとに保持する遅延量保持部と、前記ステレオ撮像部又は前記ステレオ撮像部が搭載された車両の動き情報を取得する動き情報取得部と、前記遅延量保持部の保持する前記遅延時間と、前記動き情報取得部の取得する動き情報とに基づいて、前記視差計測部によって計測された前記視差を補正する視差画像補正部と、を備える。
　また、前記ステレオ撮像部は、ローリングシャッター方式であって、前記物体視差補正部は、前記ステレオ撮像部の横速度に伴う前記視差の誤差を補正する。
　また、前記ステレオ撮像部の前記横速度が所定より大きい時に前記視差の補正をする。
　また、視点の異なる複数の画像を撮像するステレオ撮像部と、複数の前記画像を撮像する際に撮像時刻を同期させる同期部と、前記ステレオ撮像部により撮像された複数の前記画像を平行化して出力する画像補正部と、前記画像補正部で出力される前記画像に基づいて視差を検出する視差計測部と、を備えるステレオ画像処理装置において、前記同期部によって同期された前記撮像時刻からの遅延時間を画素ごとに保持する遅延量保持部と、前記ステレオ撮像部又は前記ステレオ撮像部が搭載された車両の動き情報を取得する動き情報取得部と、前記遅延量保持部の保持する前記遅延時間と、前記動き情報取得部の取得する動き情報とに基づいて、前記視差計測部によって計測された前記視差を補正する視差画像補正部と、前記視差画像補正部によって補正された前記画像を用いて立体物を検出する物体検出部と、前記物体検出部で出力される前記立体物の視差を前記遅延量保持部から補正する物体視差補正部と、を備える。
　上記実施例によれば、ローリングシャッター方式で撮像した際に、レンズのゆがみに起因する視差を正確に実施し、カメラが横移動する場合や相手が横方向に移動する物体に対しても正確な距離を出力できるステレオカメラを提供することができる。
１０１　ステレオカメラ（ステレオ撮像部）
２１２　同期信号発生部（同期部）
２０４　左画像補正部（画像補正部）
２０５　右画像補正部（画像補正部）
２０６　視差画像取得部（視差計測部）
２０７　物体検出部
２０８　左画像遅延時間保持部（遅延量保持部）
２０９　右画像遅延時間保持部（遅延量保持部）
２１０　物体視差補正部

Claims (8)

  1. 　視点の異なる複数の画像を撮像するステレオ撮像部と、
    　複数の前記画像を撮像する際に撮像時刻を同期させる同期部と、
    　前記ステレオ撮像部により撮像された複数の前記画像を平行化して出力する画像補正部と、
    　前記画像補正部で出力される前記画像に基づいて視差を検出する視差計測部と、
    　前記視差計測部で計測された視差に基づいて物体を検出する物体検出部と、
    を備えるステレオ画像処理装置であって、
    　前記同期部によって同期された前記撮像時刻からの遅延時間を画素ごとに保持する遅延量保持部と、
    　前記遅延量保持部が保持する前記遅延時間に基づいて前記物体検出部によって検出された前記物体の前記視差を補正する物体視差補正部と、
    を備えることを特徴とするステレオ画像処理装置。
  2. 　請求項１に記載のステレオ画像処理装置において、
    　前記ステレオ撮像部は、ローリングシャッター方式であって、
    　前記物体視差補正部は、前記物体検出部で検出された前記物体の横速度に伴う視差計測誤差を補正する
    ことを特徴とするステレオ画像処理装置。
  3. 　請求項１又は２に記載のステレオ画像処理装置において、
    　前記物体視差補正部は、前記物体検出部で検出された前記視差の点群が同一の横速度を有するとみなす
    ことを特徴とするステレオ画像処理装置。
  4. 　請求項１に記載のステレオ画像処理装置において、
    　前記遅延量保持部は、前記画像補正部の出力に基づいて算出されることを特徴としたステレオ画像処理装置。
  5. 　視点の異なる複数の画像を撮像するステレオ撮像部と、
    　複数の前記画像を撮像する際に撮像時刻を同期させる同期部と、
    　前記ステレオ撮像部により撮像された複数の前記画像を平行化して出力する画像補正部と、
    　前記画像補正部で出力される前記画像に基づいて視差を検出する視差計測部と、
    　を備えるステレオ画像処理装置であって、
    　前記同期部によって同期された前記撮像時刻からの遅延時間を画素ごとに保持する遅延量保持部と、
    　前記ステレオ撮像部又は前記ステレオ撮像部が搭載された車両の動き情報を取得する動き情報取得部と、
    　前記遅延量保持部の保持する前記遅延時間と、前記動き情報取得部の取得する動き情報とに基づいて、前記視差計測部によって計測された前記視差を補正する視差画像補正部と、
    を備えることを特徴とするステレオ画像処理装置。
  6. 　請求項５に記載のステレオ画像処理装置において、
    　前記ステレオ撮像部は、ローリングシャッター方式であって、
    　前記物体視差補正部は、前記ステレオ撮像部の横速度に伴う前記視差の誤差を補正することを特徴とするステレオ画像処理装置。
  7. 　請求項６に記載のステレオ画像処理装置において、前記ステレオ撮像部の前記横速度が所定より大きい時に前記視差の補正をする
    ことを特徴とするステレオ画像処理装置。
  8. 　視点の異なる複数の画像を撮像するステレオ撮像部と、
    　複数の前記画像を撮像する際に撮像時刻を同期させる同期部と、
    　前記ステレオ撮像部により撮像された複数の前記画像を平行化して出力する画像補正部と、
    　前記画像補正部で出力される前記画像に基づいて視差を検出する視差計測部と、
    を備えるステレオ画像処理装置において、
    　前記同期部によって同期された前記撮像時刻からの遅延時間を画素ごとに保持する遅延量保持部と、
    　前記ステレオ撮像部又は前記ステレオ撮像部が搭載された車両の動き情報を取得する動き情報取得部と、
    　前記遅延量保持部の保持する前記遅延時間と、前記動き情報取得部の取得する動き情報とに基づいて、前記視差計測部によって計測された前記視差を補正する視差画像補正部と、
    　前記視差画像補正部によって補正された前記画像を用いて立体物を検出する物体検出部と、
    　前記物体検出部で出力される前記立体物の視差を前記遅延量保持部から補正する物体視差補正部と、
    を備えることを特徴とするステレオ画像処理装置。
PCT/JP2018/028188 2017-09-25 2018-07-27 ステレオ画像処理装置 WO2019058760A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/645,865 US11259001B2 (en) 2017-09-25 2018-07-27 Stereo image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017183160A JP6887356B2 (ja) 2017-09-25 2017-09-25 ステレオ画像処理装置
JP2017-183160 2017-09-25

Publications (1)

Publication Number Publication Date
WO2019058760A1 true WO2019058760A1 (ja) 2019-03-28

Family

ID=65811509

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/028188 WO2019058760A1 (ja) 2017-09-25 2018-07-27 ステレオ画像処理装置

Country Status (3)

Country Link
US (1) US11259001B2 (ja)
JP (1) JP6887356B2 (ja)
WO (1) WO2019058760A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020159333A (ja) 2019-03-28 2020-10-01 株式会社デンソー 流体噴射装置及び流体噴射システム
JP7490483B2 (ja) 2020-07-22 2024-05-27 キヤノン株式会社 システム、情報処理方法、物品の製造方法、プログラム及び記録媒体
DE102021005335B4 (de) * 2021-10-26 2023-11-09 Mercedes-Benz Group AG Verfahren zur Kompensation von Messfehlern

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004032244A (ja) * 2002-06-25 2004-01-29 Fuji Heavy Ind Ltd ステレオ画像処理装置およびステレオ画像処理方法
JP2012198075A (ja) * 2011-03-18 2012-10-18 Ricoh Co Ltd ステレオカメラ装置、画像補整方法
JP2016514246A (ja) * 2013-01-15 2016-05-19 モービルアイ ビジョン テクノロジーズ リミテッド ローリングシャッターを伴うステレオ支援

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4025007B2 (ja) 2000-11-10 2007-12-19 東日本旅客鉄道株式会社 踏切障害物検知装置
EP2912843A1 (en) * 2012-10-29 2015-09-02 Telefonaktiebolaget LM Ericsson (PUBL) 3d video warning module

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004032244A (ja) * 2002-06-25 2004-01-29 Fuji Heavy Ind Ltd ステレオ画像処理装置およびステレオ画像処理方法
JP2012198075A (ja) * 2011-03-18 2012-10-18 Ricoh Co Ltd ステレオカメラ装置、画像補整方法
JP2016514246A (ja) * 2013-01-15 2016-05-19 モービルアイ ビジョン テクノロジーズ リミテッド ローリングシャッターを伴うステレオ支援

Also Published As

Publication number Publication date
JP6887356B2 (ja) 2021-06-16
JP2019062255A (ja) 2019-04-18
US11259001B2 (en) 2022-02-22
US20200267366A1 (en) 2020-08-20

Similar Documents

Publication Publication Date Title
US20220272313A1 (en) Methods for automatic registration of 3d image data
US10764517B2 (en) Stereo assist with rolling shutters
US20190089888A1 (en) Image distortion correction of a camera with a rolling shutter
KR102166691B1 (ko) 객체의 3차원 형상을 산출하는 장치 및 방법
JP6167525B2 (ja) 距離計測装置及び車両
JP2018179911A (ja) 測距装置及び距離情報取得方法
WO2019025035A1 (en) METHOD, APPARATUS AND COMPUTER PROGRAM FOR VEHICLE
US11259001B2 (en) Stereo image processing device
JP6044868B2 (ja) ステレオカメラキャリブレーション装置及び方法、並びに距離測定装置
KR102538592B1 (ko) 탑-뷰 영상 생성 장치 및 그 방법
WO2001004837A3 (en) Method and apparatus for detecting independent motion in three-dimensional scenes
JP2014503408A (ja) ステレオセンサシステムにおける、画像検出に適した２つのセンサの画像情報の処理方法および装置
US11509813B2 (en) Image processing device
WO2015178577A1 (ko) 3차원 영상 획득 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
CN115222919A (zh) 一种用于移动机械彩色点云地图构建的感知系统及方法
CN108260360B (zh) 场景深度计算方法、装置及终端
JP2004032244A (ja) ステレオ画像処理装置およびステレオ画像処理方法
US9538161B2 (en) System and method for stereoscopic photography
JP2015068641A (ja) ステレオ画像処理装置
KR102543027B1 (ko) 3차원 이미지를 획득하기 위한 방법 및 장치
US12015840B2 (en) Synchronized camera system having two different cameras
KR101207462B1 (ko) 영상 정보와 거리-각도 정보를 이용한 센서 보정 시스템
JPH0981790A (ja) 三次元形状復元装置および方法
KR102371634B1 (ko) 스테레오 카메라의 거리 추출 방법
KR102479253B1 (ko) 차량용 카메라 영상 기반 공차 보정 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18857449

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18857449

Country of ref document: EP

Kind code of ref document: A1