WO2015198930A1 - 測距装置および補正パラメータを用いた測距補正装置 - Google Patents

測距装置および補正パラメータを用いた測距補正装置 Download PDF

Info

Publication number
WO2015198930A1
WO2015198930A1 PCT/JP2015/067408 JP2015067408W WO2015198930A1 WO 2015198930 A1 WO2015198930 A1 WO 2015198930A1 JP 2015067408 W JP2015067408 W JP 2015067408W WO 2015198930 A1 WO2015198930 A1 WO 2015198930A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
stereo
stereo images
image
distribution
Prior art date
Application number
PCT/JP2015/067408
Other languages
English (en)
French (fr)
Inventor
チャン ロン
誠一 三田
和寿 石丸
ニキネジャド ホセイン テヘラニ
Original Assignee
株式会社デンソー
学校法人トヨタ学園
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー, 学校法人トヨタ学園 filed Critical 株式会社デンソー
Priority to US15/320,986 priority Critical patent/US20170201736A1/en
Publication of WO2015198930A1 publication Critical patent/WO2015198930A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • This disclosure relates to ranging technology. More specifically, the present invention relates to a technique for acquiring distance information from stereo images captured by a plurality of cameras, and more particularly, to a technique for correcting a vertical shift between stereo images.
  • a technology for acquiring distance information from a stereo image captured using a plurality of cameras using a three-dimensional measurement technique such as a stereo method is known.
  • the stereo method performs so-called stereo matching in which a corresponding region is searched between stereo images captured by a plurality of cameras. Then, the distance is calculated based on the parallax between images obtained by stereo matching.
  • the stereo image is displaced in the horizontal direction and the vertical direction due to the displacement of the mounting position of the stereo camera and the shape of the camera lens.
  • the image obtained from the stereo camera is also affected by refraction by the windshield. Therefore, conventionally, stereo camera posture and image distortion have been calibrated by software / hardware techniques to improve the accuracy of distance measurement. However, this calibration may shift over time due to the influence of vibration or the like.
  • the present disclosure provides a technique for correcting a vertical shift between stereo images without using a recognition result of a specific target or a known calibration object.
  • the distance measurement correction device of the present disclosure includes an image acquisition unit, a parallelization unit, a parallax calculation unit, and an update unit.
  • the image acquisition unit acquires a stereo image including a plurality of captured images obtained by simultaneously capturing a common area from different positions by a plurality of cameras.
  • the parallelizing unit parallelizes the stereo images acquired by the image acquiring unit using correction parameters for correcting a vertical shift between stereo images.
  • the parallax calculation unit calculates a horizontal parallax distribution between the stereo images by stereo matching from the stereo images parallelized by the parallelizing unit.
  • the update unit calculates a vertical shift distribution between the stereo images based on the stereo image and the horizontal parallax distribution calculated by the parallax calculation unit, and based on the calculated vertical shift distribution Update correction parameters.
  • the vertical shift between the stereo images can be corrected by parallelizing the stereo images using the correction parameters for correcting the vertical shift between the stereo images. Then, by calculating the horizontal parallax between stereo images, the accuracy of distance measurement by the stereo method can be improved. Furthermore, based on the newly acquired stereo image and the horizontal parallax calculated from the stereo image, it is possible to update the obtained correction parameter by calculating the distribution of the vertical shift between the stereo images. it can. In this way, the correction parameter can be updated as needed according to the latest situation, so that a decrease in distance measurement accuracy over time can be prevented, and distance measurement accuracy can be maintained and improved.
  • the distance measuring device 1 includes a stereo camera 10 and a control device 11 as shown in FIG.
  • the distance measuring device 1 is mounted on a vehicle (automobile or the like), for example, and is embodied as a driving support system that supports driving of the vehicle based on distance information with an object in front of the vehicle.
  • vehicle autonomous or the like
  • the embodiments of the present disclosure are not limited to those mounted on a vehicle.
  • the stereo camera 10 includes a pair of imaging devices including a left camera 10L and a right camera 10R, similarly to a known stereo camera.
  • the left camera 10 ⁇ / b> L and the right camera 10 ⁇ / b> R are disposed substantially parallel (within a predetermined mounting accuracy range) at a parallel isometric position (in parallel with each other and at the same height) in the traveling direction of the host vehicle.
  • the left camera 10 ⁇ / b> L and the right camera 10 ⁇ / b> R capture a common area (front area of the host vehicle) at the same timing, and input image data representing a stereo image including a pair of left and right images to the control device 11.
  • the control device 11 is mainly composed of a microcomputer having a CPU, ROM, RAM, etc. (not shown), and controls the distance measuring device 1 in an integrated manner.
  • the control device 11 implements various functions by executing a program recorded in a ROM or the like by the CPU.
  • the control device 11 includes, as functional configurations, an image parallelization processing unit 12, a correction parameter storage unit 13, a parallax calculation unit 14, a distance calculation unit 15, a correction parameter calculation unit 16, an object detection unit 17, a stability determination unit 18, And the reliability determination part 19 is provided.
  • the image parallelization processing unit 12 corrects the vertical shift between the stereo images input from the stereo camera 10 using the correction parameters stored in the correction parameter storage unit 13, and makes the stereo images parallel to each other. . Specifically, the vertical coordinates of the entire pixels are converted according to the correction parameters so that the heights of the image areas (for example, pixels) that correspond to each other between the stereo images match in the horizontal direction, and between the stereo images Correct the vertical displacement of the.
  • the image areas for example, pixels
  • the correction parameters used for the parallelization of the stereo image are parameters for converting the coordinates in the vertical direction for the entire pixels of the stereo image, and the correction parameter storage unit 13 as a table representing the correction amount for each pixel or a formulated function. Is saved.
  • the parallax calculation unit 14 calculates the horizontal parallax between stereo images for each image block obtained by dividing the entire image into predetermined small sections based on the stereo images parallelized by the image parallelization processing unit 12. Subsequently, a parallax map in which the calculated horizontal parallax is associated with the coordinates on the image is created.
  • a technique such as stereo matching can be used. Since stereo matching is a known technique, detailed description thereof is omitted here.
  • the distance calculation unit 15 calculates the distance to the object shown in the stereo image based on the parallax map created by the parallax calculation unit 14, creates distance information representing the calculated distance, and outputs it.
  • the distance to an object shown in a stereo image is expressed as a value that is inversely proportional to the horizontal parallax between the stereo images.
  • the correction parameter calculation unit 16 determines the vertical shift between the stereo images (hereinafter, "Vertical deviation" is calculated, and the existing correction parameter is updated based on the calculation result.
  • the correction parameter calculation unit 16 calculates a vertical shift between stereo images using an algorithm that optimally obtains an optical flow between stereo images and a calculation result of horizontal parallax between stereo images.
  • the processing for obtaining the optical flow of an image is performed on temporally continuous images.
  • a process for obtaining an optical flow is applied to left and right images forming a stereo image. Since the left and right images that make up the stereo image are observed at the same moment, if the horizontal parallax of each other is known, the vertical shift between the stereo images is determined by the procedure for obtaining the optical flow around the corresponding pixels. Can be estimated. A detailed procedure for obtaining an optical flow between stereo images will be described later.
  • the object detection unit 17 Based on the stereo image input from the stereo camera 10 and the horizontal parallax calculated by the parallax calculation unit 14 based on the stereo image, the object detection unit 17 detects a detection target (for example, on a road) in the image. White line, etc.) is detected using a known image recognition technique.
  • the stability determination unit 18 determines the stability of the detection state by the object detection unit 17. Specifically, the stability determination unit 18 determines whether unstable detection such as a hunting phenomenon in which detection and non-detection are repeated occurs.
  • the reliability determination unit 19 is calculated by the correction parameter calculation unit 16 based on the state of the stereo image, the calculation status of the horizontal parallax by the parallax calculation unit 14, and the determination result of the object detection stability by the stability determination unit 18. To determine the reliability of vertical deviation between stereo images. Then, the calculation of the vertical shift between the stereo images by the correction parameter calculation unit 16 is limited in whole or in part according to the reliability determination result.
  • the control device 11 acquires image data representing a left image captured by the left camera 10L and image data representing a right image captured by the right camera 10R.
  • the control device 11 corrects the vertical shift between the stereo images composed of the left and right images acquired in S1, using the existing correction parameters stored in the correction parameter storage unit 13, and The stereo images are made parallel to each other. Note that the process of S2 is realized as a function of the image parallelization processing unit 12 of the control device 11.
  • control device 11 calculates the horizontal parallax between the stereo images parallelized in S2, and creates a parallax map in which the calculated horizontal parallax is associated with the coordinates on the image. Note that the process of S3 is realized as a function of the parallax calculation unit 14 of the control device 11.
  • control device 11 calculates the vertical shift between the stereo images based on the stereo image acquired in S1 and the parallax map created in S3 based on the stereo image.
  • the vertical shift between the stereo images is calculated by a process for optimally obtaining the optical flow between the stereo images.
  • the luminance values of pixels corresponding to one reference image of the stereo images and the other comparison image are (almost) the same value. Then, by searching for a region where the similarity of the luminance value of the pixel is high between the reference image and the comparative image, a coordinate shift between the corresponding pixels is calculated.
  • the vector excluding the horizontal parallax component represented by the parallax map is defined as the vertical deviation between the stereo images at the pixel position.
  • the control device 11 calculates the vertical shift for each pixel for the entire image, and creates a vertical shift map in which the calculated vertical shift is associated with the coordinates on the image.
  • the coordinates (x, y) of the image on the left of the stereo image represents the luminance value at I 0 (x, y) and the luminance value in the right image coordinates (x, y), I 1 (x, y).
  • x is the horizontal coordinate of the image
  • y is the vertical coordinate of the image.
  • u is a horizontal parallax value (number of pixels) represented by a parallax map.
  • the vertical shift v for each pixel is calculated based on the optical flow relational expression.
  • the correspondence between the luminance value and the coordinates is replaced as in the following equation (3), and the horizontal parallax u between the left and right images is canceled, and then expressed by the following equation (4).
  • the vertical deviation v is obtained by the relational expression of the optical flow.
  • the above equation (4) is the difference between the luminance value of the pixel shifted by v pixels in the vertical direction from the corresponding point (x, y) of the right image and the luminance value of the pixel of the corresponding point (x, y) of the left image. This is a relational expression for obtaining the parameter v that minimizes the error function obtained by the sum of squares (Lucas-Kanade method).
  • the above equation (4) is a convex optimization problem, and it is known that “if there is a minimum value, it is a global minimum value”.
  • v initial value v 0 of assumed to be set to all zeros. Then, use a previous value of v estimated in the past from the following calculation to v 0.
  • the vertical flow v can be robustly estimated by applying the optical flow calculation in S4 to a plurality of sets of stereo images with different shooting timings and averaging the calculation results.
  • the control device 11 stores a plurality of vertical deviation maps calculated from a plurality of sets of stereo images in S4.
  • the control device 11 performs statistical processing such as averaging on the accumulated plurality of vertical deviation maps.
  • the control device 11 creates a correction parameter based on the vertical deviation map statistically processed in S5, records the correction parameter in the correction parameter storage unit 13, and updates the existing correction parameter. Note that the processing of S4 to S6 is realized as a function of the correction parameter calculation unit 16 of the control device 11.
  • the processes S1 to S3 need to be completed within a predetermined time in order to reflect the horizontal parallax calculation result in the distance calculation and object detection in real time.
  • S4 to S6 are non-real-time processing portions where real-time performance is not required because vertical deviation maps relating to a plurality of sets of stereo images are accumulated and statistically processed to create correction parameters.
  • FIG. 3A is an image representing a vertical shift distribution between stereo images obtained by statistically processing a vertical shift map calculated from 300 frames of stereo images.
  • the magnitude of the vertical shift is expressed by the shade of the image color, and the darker the color, the greater the amount of vertical shift.
  • the vertical shift is large in the upper right portion and the lower left portion of the image, and is particularly noticeable in the upper right portion of the image.
  • FIG. 3B shows a distance image 32 obtained by calculating the distance without correcting the vertical shift and the vertical shift of the distance measurement target image 31 captured using the stereo camera 10 having the vertical shift shown in FIG. 3A. It is the figure which illustrated distance image 33 which calculated distance after doing it.
  • the reliability determination unit 19 determines a specific condition in which a decrease in the vertical deviation calculation accuracy is expected, and under that condition, the correction parameter calculation unit 16 restricts the vertical deviation calculation, thereby correcting the accuracy of the correction parameter. ⁇ Reliability can be improved.
  • the target for limiting the calculation of the vertical deviation may be any pixel that meets a specific condition, a peripheral region of the pixel, or the entire image. Specifically, by limiting the calculation of the vertical deviation under the following conditions (1) to (5), high reliability and high accuracy of the correction parameter can be realized.
  • the reliability determination unit 19 determines that the reliability of the vertical shift obtained from the image of the portion is low. In this case, it is conceivable to exclude pixels corresponding to overexposure and underexposure and surrounding areas from the target for calculating the vertical deviation.
  • the reliability determination unit 19 determines that the reliability of the vertical shift obtained from the image of the part is low. To do. In this case, it is conceivable to exclude the corresponding pixel itself and the peripheral area from the target for calculating the vertical deviation.
  • the reliability determination unit 19 When a wiper (not shown) provided in the windshield of the vehicle interposed in the field of view of the stereo camera 10 is operating, the reliability determination unit 19 has a reliability of vertical deviation obtained from the stereo image. Judge as low.
  • the reliability judgment unit 19 obtains the vertical shift obtained from the stereo image. Is determined to be low in reliability.
  • the reliability determination unit 19 determines that the stereo It is determined that the reliability of the vertical shift obtained from the image is low.
  • the distance measuring device 1 has the following effects.
  • the image parallelization processing unit 12 can correct the vertical deviation between the stereo images by parallelizing the stereo images using the correction parameters.
  • the parallax calculation unit 14 calculates the horizontal parallax between the stereo images, so that the accuracy of distance measurement by the distance calculation unit 15 can be improved.
  • the correction parameter calculation unit 16 can calculate the vertical deviation between the stereo images based on the newly acquired stereo image and the horizontal parallax calculated from the stereo image, and can update the already obtained correction parameter. In this way, the correction parameter can be updated as needed according to the latest situation, so that a decrease in distance measurement accuracy over time can be prevented, and distance measurement accuracy can be maintained and improved.
  • SYMBOLS 1 Distance measuring device, 10 ... Stereo camera, 10L ... Imaging device (left camera), 10R ... Imaging device (right camera), 11 ... Control device, 12 ... Image parallelization process part, 13 ... Correction parameter memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

　測距補正装置は、画像取得部と、平行化部と、視差算出部と、更新部とを備える。画像取得部は、同時に撮像した複数の撮像画像からなるステレオ画像を取得する。平行化部は、ステレオ画像間の垂直方向のずれを補正するための補正パラメータを用いて、画像取得部により取得されたステレオ画像を相互に平行化する。視差算出部は、平行化部により平行化されたステレオ画像から、水平視差の分布を算出する。更新部は、ステレオ画像と、視差算出部により算出された水平視差の分布とに基づいて、ステレオ画像間の垂直方向のずれの分布を算出し、その算出した垂直方向のずれの分布に基づいて補正パラメータを更新する。

Description

測距装置および補正パラメータを用いた測距補正装置
　本開示は、測距技術に関する。より詳細には、複数のカメラにより撮像されたステレオ画像から距離情報を取得する技術に関するものであり、特に、ステレオ画像間の垂直方向のずれを補正するための技術に関する。
　従来、複数のカメラを用いて撮像されたステレオ画像から、ステレオ法等の三次元計測技術を用いて距離情報を取得する技術が知られている。ステレオ法は、複数のカメラにより撮像されたステレオ画像間で対応する領域を探索する、いわゆるステレオマッチングを行う。そして、ステレオマッチングで得られた画像間の視差に基づいて距離を算出する方法である。
　ステレオ法による測距を精度よく実現するためには、ステレオ画像に視差以外の位置的なずれが存在しないことが望ましい。しかしながら、実際には、ステレオ画像には、ステレオカメラの取付位置のずれやカメラレンズの形状に起因する、水平方向及び垂直方向のずれが生じる。また、車両の室内に搭載されたステレオカメラにより車両のウインドシールド越しに外界を撮像する場合、そのステレオカメラから得られる画像は、ウインドシールドによる屈折の影響も受ける。このため、従来、ステレオカメラの姿勢や画像の歪みをソフトウェア的／ハードウェア的な手法で校正し、測距の精度を高めることが行われてきた。しかしながら、振動等の影響でこの校正が経時的にずれてくるおそれがある。
　特開２００３－８３７４２号公報では、撮像画像平面において検出された道路上の基準対象物に基づいて算出された空間的に平行な近似線から得られる消失点に基づいて、ステレオカメラの水平ずれに起因した誤差を含む視差を補正する技術が記載されている。
特開２００３－８３７４２号公報
　上記特許文献に記載の技術では、ステレオ画像間の垂直方向のずれを補正することについては考慮されていない。ステレオ画像間の垂直方向のずれは、ステレオマッチングの精度の低下を招き、それに基づいて算出される距離の誤差が大きくなるおそれがある。また、上記特許文献に記載の技術では、ステレオ画像間のずれを補正する為には、道路上の白線等の特定物標の認識結果や、既知の校正用物体を利用する必要がある。
　本開示は、特定物標の認識結果や既知の校正用物体を用いずに、ステレオ画像間の垂直方向のずれを補正するための技術を提供する。
　本開示の測距補正装置は、画像取得部と、平行化部と、視差算出部と、更新部とを備える。画像取得部は、複数のカメラにより共通の領域を異なる位置から同時に撮像した複数の撮像画像からなるステレオ画像を取得する。平行化部は、ステレオ画像間の垂直方向のずれを補正するための補正パラメータを用いて、画像取得部により取得されたステレオ画像を相互に平行化する。視差算出部は、平行化部により平行化されたステレオ画像から、ステレオマッチングによりステレオ画像間の水平視差の分布を算出する。更新部は、ステレオ画像と、視差算出部により算出された水平視差の分布とに基づいて、ステレオ画像間の垂直方向のずれの分布を算出し、その算出した垂直方向のずれの分布に基づいて補正パラメータを更新する。
　本開示によれば、ステレオ画像間の垂直方向のずれを補正するための補正パラメータを用いてステレオ画像を相互に平行化することで、ステレオ画像間の垂直方向のずれを補正できる。その上でステレオ画像間の水平視差を算出することで、ステレオ法による測距の精度を高めることができる。さらに、新たに取得されたステレオ画像と、そのステレオ画像から算出された水平視差とに基づいて、ステレオ画像間の垂直方向のずれの分布を算出することで、既得の補正パラメータを更新することができる。このようにすることで、補正パラメータを最新の状況に応じて随時更新することができるため、測距精度の経時的な低下を防ぎ、測距精度を維持・向上できる。
添付図面において：
測距装置の構成を表すブロック図。 補正パラメータ算出処理の手順を表すフローチャート。 垂直ずれの推定結果の一例を表す図。 垂直ずれの補正の有無による測距結果の比較を表す図。
　以下、本開示の実施形態を図面に基づいて説明する。なお、本開示は下記の実施形態に限定されるものではなく様々な態様にて実施することが可能である。
　［測距装置の構成の説明］
　本実施形態の測距装置１は、図１に示すとおり、ステレオカメラ１０と、制御装置１１とを備える。この測距装置１は、例えば、車両（自動車等）に搭載され、車両前方の物体との距離情報に基づいて車両の運転を支援する運転支援システムとして具現化される。ただし、本開示の実施形態は、車両に搭載されるものに限られない。
　ステレオカメラ１０は、公知のステレオカメラと同様、左カメラ１０Ｌ及び右カメラ１０Ｒからなる１対の撮像装置を備える。左カメラ１０Ｌ及び右カメラ１０Ｒは、自車両の進行方向に向けて概ね（所定の取付精度の範囲で）平行等位(互いに平行で等しい高さ)の位置に配置されている。これらの左カメラ１０Ｌ及び右カメラ１０Ｒは、互いに共通する領域（自車両の前方領域）を同一タイミングで撮像し、左右一対の画像からなるステレオ画像を表す画像データを制御装置１１に入力する。
　制御装置１１は、図示しないＣＰＵ，ＲＯＭ，ＲＡＭ等を備えるマイクロコンピュータを中心に構成され、測距装置１を統括制御する。制御装置１１は、ＲＯＭ等に記録されたプログラムをＣＰＵにて実行することにより、各種機能を実現する。
　制御装置１１は、機能的構成として、画像平行化処理部１２、補正パラメータ記憶部１３、視差算出部１４、距離算出部１５、補正パラメータ算出部１６、物体検出部１７、安定性判定部１８、及び、信頼性判定部１９を備える。
　画像平行化処理部１２は、補正パラメータ記憶部１３に記憶されている補正パラメータを用いて、ステレオカメラ１０から入力されたステレオ画像間の垂直方向のずれを補正し、ステレオ画像を互いに平行化する。具体的には、ステレオ画像間で互いに対応関係にある画像領域（例えば、画素）の高さが水平方向で一致するように、補正パラメータに従って画素全体の垂直方向の座標を変換し、ステレオ画像間の垂直方向のずれを補正する。
　ステレオ画像の平行化に用いられる補正パラメータは、ステレオ画像の画素全体について垂直方向の座標を変換するパラメータであり、画素ごとの補正量を表すテーブル、あるいは定式化された関数として補正パラメータ記憶部１３に保存されている。
　視差算出部１４は、画像平行化処理部１２によって互いに平行化されたステレオ画像に基づいて、画像全体を所定の小区画に分割した画像ブロックごとにステレオ画像間の水平視差を算出する。続いて、算出した水平視差を画像上の座標に対応付けた視差マップを作成する。水平視差の算出には、ステレオマッチング等の技法を用いることができる。なお、ステレオマッチングについては公知の技法であるので、ここでの詳しい説明は省略する。
　距離算出部１５は、視差算出部１４により作成された視差マップに基づいて、ステレオ画像に写る物体までの距離を算出し、算出した距離を表す距離情報を作成し、出力する。周知のとおり、ステレオ画像に写る物体までの距離は、ステレオ画像間の水平視差に反比例する値として表される。
　補正パラメータ算出部１６は、ステレオカメラ１０から入力されたステレオ画像と、そのステレオ画像に基づいて視差算出部１４により算出された水平視差とに基づいて、ステレオ画像間の垂直方向のずれ（以降、「垂直ずれ」と表記）を算出し、その算出結果に基づいて既存の補正パラメータを更新する。
　具体的には、補正パラメータ算出部１６は、ステレオ画像間のオプティカルフローを最適に求めるアルゴリズムと、ステレオ画像間の水平視差の算出結果とを用いて、ステレオ画像間の垂直ずれを算出する。一般的に、画像のオプティカルフローを求める処理は、時間的に連続する画像に対して行うものである。この点、本開示の特徴として、ステレオ画像を成す左右の画像に対してオプティカルフローを求める処理を適用する。ステレオ画像を成す左右の画像は、同一の瞬間を観測したものであるから、互いの水平視差が既知であれば、互いに対応関係にある画素周辺のオプティカルフローを求める手順によってステレオ画像間の垂直ずれを推定できる。なお、ステレオ画像間のオプティカルフローを求める詳細な手順については、後述する。
　物体検出部１７は、ステレオカメラ１０から入力されたステレオ画像と、そのステレオ画像に基づいて視差算出部１４により算出された水平視差とに基づいて、画像内に写る検出対象物（例えば、道路上の白線等）を、周知の画像認識手法を用いて検出する。安定性判定部１８は、物体検出部１７による検出状態の安定性を判定する。具体的には、安定性判定部１８は、検出と非検出とを繰返すハンチング現象等の不安定な検出が起きているかを判定する。
　信頼性判定部１９は、ステレオ画像の状態や、視差算出部１４による水平視差の算出状況、安定性判定部１８による物体検出の安定性の判定結果に基づいて、補正パラメータ算出部１６において算出されるステレオ画像間の垂直ずれに関する信頼性を判定する。そして、信頼性の判定結果に応じて、補正パラメータ算出部１６によるステレオ画像間の垂直ずれの算出を、画像全体あるいは部分的に制限する。
　［補正パラメータ算出処理の説明］
　制御装置１１が実行する補正パラメータ算出処理の手順について、図２のフローチャートを参照しながら説明する。
　まず、Ｓ１では、制御装置１１は、左カメラ１０Ｌにより撮像された左画像を表す画像データと、右カメラ１０Ｒにより撮像された右画像を表す画像データとを取得する。次のＳ２では、制御装置１１は、補正パラメータ記憶部１３に記憶されている既存の補正パラメータを用いて、Ｓ１において取得された左右の画像からなるステレオ画像間の垂直方向のずれを補正し、そのステレオ画像を互いに平行化する。なお、Ｓ２の処理は、制御装置１１の画像平行化処理部１２の機能として実現される。
　次のＳ３では、制御装置１１は、Ｓ２において平行化されたステレオ画像間の水平視差を算出し、算出した水平視差を画像上の座標に対応付けた視差マップを作成する。なお、Ｓ３の処理は、制御装置１１の視差算出部１４の機能として実現される。
　そして、Ｓ４では、制御装置１１は、Ｓ１で取得されたステレオ画像と、そのステレオ画像に基づいてＳ３において作成された視差マップとに基づいて、ステレオ画像間の垂直ずれを算出する。ここでは、ステレオ画像間のオプティカルフローを最適に求める処理によって、ステレオ画像間の垂直ずれを算出する。
　オプティカルフローの推定では、ステレオ画像のうちの一方の基準画像と、他方の比較画像とで対応関係にある画素の輝度値が（ほぼ）同じ値になっていると想定する。そして、基準画像と比較画像との間で画素の輝度値の類似性が高い領域を探索することにより、対応する画素同士の座標のずれを算出する。ここで、対応する画素同士の座標のずれで表されるベクトルのうち、視差マップで表される水平視差の成分を除いたものを、その画素位置におけるステレオ画像間の垂直ずれとする。制御装置１１は、画素ごとの垂直ずれを画像全体について算出し、算出した垂直ずれを画像上の座標に対応付けた垂直ずれマップを作成する。
　以下、ステレオ画像間の垂直ずれを算出する方法について、具体的に説明する。ここでは、ステレオ画像のうちの左画像の座標(x,y)における輝度値をI0(x,y)と表し、右画像の座標(x,y)における輝度値を、I1(x,y)と表す。ただし、ｘは画像の水平方向の座標であり、yは画像の垂直方向の座標である。
　仮に、ステレオ画像間の垂直ずれが完全にない状態を想定した場合、左右の画像の輝度値について下記式（１）のような関係が成立する。
Figure JPOXMLDOC01-appb-M000001
 　なお、上記式（１）において、uは、視差マップで表される水平視差の値（ピクセル数）である。
　実際には、左右の画像における対応する画素の間には、水平視差の他にステレオカメラ１０の歪み等に起因する垂直ずれが存在する。そこで、左画像の座標(x,y)の画素と対応関係にある右画像の画素との間の垂直ずれの値（ピクセル数）をｖとすると、左右の画像の輝度値は下記式（２）のように表される。
Figure JPOXMLDOC01-appb-M000002
 　そこで、画素ごとの垂直ずれｖを、オプティカルフローの関係式に基づいて算出する。まず、右画像の各画素について、輝度値と座標との対応を下記式（３）のように置き換えて、左右の画像間の水平視差ｕを相殺した上で、下記式（４）で表されるオプティカルフローの関係式によって垂直ずれｖを求める。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
 　上記式（４）は、右画像の対応点(x,y)から垂直方向にｖピクセルずれた画素の輝度値と、左画像の対応点(x,y)の画素の輝度値との差分の２乗の総和で求められる誤差関数が最少となるパラメータｖを求める関係式である（Lucas-Kanade法）。上記式（４）は、凸最適化問題であり、“極小値が存在すれば大域的最小値である”ことが知られている。上記式（４）をテーラー展開すると、下記式（５）が得られる。
Figure JPOXMLDOC01-appb-M000005
 　また、上記式（５）を変形すると、下記式（６）のように表される。
Figure JPOXMLDOC01-appb-M000006
 　さらに、上記式（６）を行列の形式に変換すると、下記式（７）のように表される。
Figure JPOXMLDOC01-appb-M000007
 　上記式（７）の最小化は、ｖの偏微分が０になることであり、下記式（８）のように解くことで、垂直ずれｖを求めることができる。
Figure JPOXMLDOC01-appb-M000008
 　上記式（８）は最小二乗法によって解けるが、そのためには、複数回の反復計算が必要である。なお、最初の計算時において、ｖの初期値ｖ０は全て０に設定されているものとする。そして、その次の計算から過去に推定したｖの前回値をｖ０に使用する。Ｓ４におけるオプティカルフローの計算を、撮影タイミングが異なる複数組のステレオ画像に適用し、それぞれの計算結果を平均化することで、垂直ずれｖをロバストに推定できる。
　図２のフローチャートの説明に戻る。制御装置１１は、Ｓ４において複数組のステレオ画像からそれぞれ計算された垂直ずれマップを複数保存する。そして、Ｓ５では、制御装置１１は、蓄積された複数の垂直ずれマップについて、平均化等の統計処理を施す。Ｓ６では、制御装置１１は、Ｓ５において統計処理された垂直ずれマップに基づいて補正パラメータを作成し、その補正パラメータを補正パラメータ記憶部１３に記録して、既存の補正パラメータを更新する。なお、Ｓ４～Ｓ６の処理は、制御装置１１の補正パラメータ算出部１６の機能として実現される。
　上述のＳ１～Ｓ６の一連の処理のうち、Ｓ１～Ｓ３の処理は、水平視差の算出結果を距離の算出や物体検出にリアルタイムに反映するために、所定時間内に処理を完了する必要のあるリアルタイム処理部分である。一方、Ｓ４～Ｓ６は、複数組のステレオ画像に関する垂直ずれマップを蓄積し、それを統計処理して補正パラメータを作成するため、リアルタイム性が要求されない非リアルタイム処理部分である。
　［計算事例］
　図３Ａは、３００フレーム分のステレオ画像から計算された垂直ずれマップを統計処理することで得られた、ステレオ画像間の垂直ずれの分布を表す画像である。この画像は、垂直ずれの大きさを画像の色の濃淡で表現したものであり、色が濃いほど垂直ずれの量が大きいことを表している。図３Ａの事例では、画像の右上部分及び左下部分において、垂直ずれが大きくなっており、特に、画像の右上部分において顕著である。
　図３Ｂは、図３Ａで表される垂直ずれを有するステレオカメラ１０を用いて撮像された測距対象の画像３１について、垂直ずれを補正しないで距離を算出した距離画像３２と、垂直ずれを補正した上で距離を算出した距離画像３３とを例示した図である。
　図３Ｂに例示されるとおり、垂直ずれの補正を行っていない距離画像３２においては、画像の右上における楕円で囲んだ部分に、測距対象の画像３１には写っていない不自然な近距離物体が表れている。これに対し、垂直ずれの計算結果に基づいて補正を行った距離画像３３においては、前述のような不自然な近距離物体は表れず、測距対象の画像３１に写る風景と概ね一致する測距結果が得られている。
　［補正パラメータの高信頼化・高精度化のための更なる工夫］
　信頼性判定部１９により、垂直ずれの計算精度の低下が予想される特定の条件を判定し、その条件下において、補正パラメータ算出部１６が垂直ずれの算出を制限することで、補正パラメータの精度・信頼性を高めることができる。その場合、垂直ずれの算出を制限する対象は、特定の条件に該当する画素、その画素の周辺領域、あるいは画像全体の何れであってもよい。具体的には、以下の（１）～（５）の条件下において、垂直ずれの算出を制限することで、補正パラメータの高信頼化・高精度化を実現できる。
　（１）ステレオカメラ１０から入力されたステレオ画像において、白飛び（明るい部分の階調が失われ領域全体が白くなっている状態）や、黒つぶれ（暗い部分の階調が失われ領域全体が黒くなっている状態）が生じている場合、信頼性判定部１９は、その部分の画像から得られる垂直ずれの信頼性が低いと判定する。この場合、白飛び及び黒つぶれに該当する画素自体や周辺領域を、垂直ずれを算出する対象から除外することが考えられる。
　（２）視差算出部１４によるステレオマッチングにおいて、左右の画像間のマッチングコスト（相違度）が高い場合、信頼性判定部１９は、その部分の画像から得られる垂直ずれの信頼性が低いと判定する。この場合、該当する画素自体や周辺領域を、垂直ずれを算出する対象から除外することが考えられる。
　（３）ステレオカメラ１０の視界に介在する車両のウインドシールドに設けられたワイパ（図示なし）が作動している場合、信頼性判定部１９は、そのステレオ画像から得られる垂直ずれの信頼性が低いと判定する。
　（４）幾何変換により同位置に変換した左右の画像において、一方の画像にハレーション等が起きていて両画像が互いに似ていない場合、信頼性判定部１９は、そのステレオ画像から得られる垂直ずれの信頼性が低いと判定する。
　（５）物体検出部１７による検出状態の安定性を判定する安定性判定部１８において、検出と未検出とを繰り返す現象（ハンチング）等が検知された場合、信頼性判定部１９は、そのステレオ画像から得られる垂直ずれの信頼性が低いと判定する。
　［効果］
　実施形態の測距装置１によれば、以下の効果を奏する。
　画像平行化処理部１２が、補正パラメータを用いてステレオ画像を相互に平行化することで、ステレオ画像間の垂直ずれを補正できる。その上で、視差算出部１４が、ステレオ画像間の水平視差を算出することで、距離算出部１５による測距の精度を高めることができる。さらに、補正パラメータ算出部１６が、新たに取得されたステレオ画像と、そのステレオ画像から算出された水平視差と基づいて、ステレオ画像間の垂直ずれを算出し、既得の補正パラメータを更新できる。このようにすることで、補正パラメータを最新の状況に応じて随時更新することができるため、測距精度の経時的な低下を防ぎ、測距精度を維持・向上できる。
　１…測距装置、１０…ステレオカメラ、１０Ｌ…撮像装置（左カメラ）、１０Ｒ…撮像装置（右カメラ）、１１…制御装置、１２…画像平行化処理部、１３…補正パラメータ記憶部、１４…視差算出部、１５…距離算出部、１６…補正パラメータ算出部、１７…物体検出部、１８…安定性判定部、１９…信頼性判定部。

Claims (8)

  1. 　複数のカメラにより共通の領域を異なる位置から同時に撮像した複数の撮像画像からなるステレオ画像を取得する画像取得部（１１，Ｓ１）と、
    　ステレオ画像間の垂直方向のずれを補正するための補正パラメータを用いて、前記画像取得部により取得されたステレオ画像を相互に平行化する平行化部（１２，Ｓ２）と、
    　前記平行化部により平行化されたステレオ画像から、ステレオマッチングにより前記ステレオ画像間の水平視差の分布を算出する視差算出部（１４，Ｓ３）と、
    　前記ステレオ画像と、前記視差算出部により算出された水平視差の分布とに基づいて、前記ステレオ画像間の垂直方向のずれの分布を算出し、その算出した垂直方向のずれの分布に基づいて前記補正パラメータを更新する更新部（１６，Ｓ４～Ｓ６）と、
    　を備えることを特徴とする測距補正装置。
  2. 　請求項１に記載の測距補正装置において、
    　前記更新部は、前記ステレオ画像と、前記視差算出部により算出された水平視差の分布とに基づいて、前記ステレオ画像間のオプティカルフローの垂直成分を算出することにより、前記ステレオ画像間の垂直方向のずれの分布を作成すること、
    　を特徴とする測距補正装置。
  3. 　請求項１又は請求項２に記載の測距補正装置において、
    　前記更新部は、異なる時期に撮像された複数回分の前記ステレオ画像それぞれについて、前記ステレオ画像間の垂直方向のずれの分布を複数算出し、その複数回分の算出結果に対して統計処理を施した結果に基づいて、前記補正パラメータを更新すること、
    　を特徴とする測距補正装置。
  4. 　請求項１ないし請求項３の何れか１項に記載の測距補正装置において、
    　前記画像取得部により取得されたステレオ画像の状況、前記視差算出部による前記ステレオ画像間の水平視差の算出状況、又は、前記カメラの視界に影響を及ぼす特定の機器の作動状況の少なくとも何れかに基づいて、前記更新部による算出結果に関する信頼性を判定する信頼性判定部（１９）を備え、
    　前記更新部は、前記信頼性判定部による判定結果に応じて、前記ステレオ画像間の垂直方向のずれの分布の算出を制限すること、
    　を特徴とする測距補正装置。
  5. 　複数のカメラにより共通の領域を異なる位置から同時に撮像した複数の撮像画像からなり、物体が写るステレオ画像を取得する画像取得部（１１，Ｓ１）と、
    　ステレオ画像間の垂直方向のずれを補正するための補正パラメータを用いて、前記画像取得部により取得されたステレオ画像を相互に平行化する平行化部（１２，Ｓ２）と、
    　前記平行化部により平行化されたステレオ画像から、ステレオマッチングにより前記ステレオ画像間の水平視差の分布を算出する視差算出部（１４，Ｓ３）と、
    　前記ステレオ画像と、前記視差算出部により算出された水平視差の分布とに基づいて、前記ステレオ画像間の垂直方向のずれの分布を算出し、その算出した垂直方向のずれの分布に基づいて前記補正パラメータを更新する更新部（１６，Ｓ４～Ｓ６）と、
    　上記視差算出部で算出した前記水平視差の分布に基づき、
    　前記物体までの距離を算出し、算出した距離を表す距離情報を作成し、出力する距離算出部を
    　を備えることを特徴とする測距装置。
  6. 　請求項５に記載の測距装置において、
    　前記更新部は、前記ステレオ画像と、前記視差算出部により算出された水平視差の分布とに基づいて、前記ステレオ画像間のオプティカルフローの垂直成分を算出することにより、前記ステレオ画像間の垂直方向のずれの分布を作成すること、
    　を特徴とする測距装置。
  7. 　請求項５又は請求項６に記載の測距装置において、
    　前記更新部は、異なる時期に撮像された複数回分の前記ステレオ画像それぞれについて、前記ステレオ画像間の垂直方向のずれの分布を複数算出し、その複数回分の算出結果に対して統計処理を施した結果に基づいて、前記補正パラメータを更新すること、
    　を特徴とする測距装置。
  8. 　請求項５ないし請求項７の何れか１項に記載の測距装置において、
    　前記画像取得部により取得されたステレオ画像の状況、前記視差算出部による前記ステレオ画像間の水平視差の算出状況、又は、前記カメラの視界に影響を及ぼす特定の機器の作動状況の少なくとも何れかに基づいて、前記更新部による算出結果に関する信頼性を判定する信頼性判定部（１９）を備え、
    　前記更新部は、前記信頼性判定部による判定結果に応じて、前記ステレオ画像間の垂直方向のずれの分布の算出を制限すること、
    　を特徴とする測距装置。
PCT/JP2015/067408 2014-06-23 2015-06-17 測距装置および補正パラメータを用いた測距補正装置 WO2015198930A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/320,986 US20170201736A1 (en) 2014-06-23 2015-06-17 Range finder and range correction device correction parameters

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014128321A JP6353289B2 (ja) 2014-06-23 2014-06-23 測距補正装置
JP2014-128321 2014-06-23

Publications (1)

Publication Number Publication Date
WO2015198930A1 true WO2015198930A1 (ja) 2015-12-30

Family

ID=54938017

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/067408 WO2015198930A1 (ja) 2014-06-23 2015-06-17 測距装置および補正パラメータを用いた測距補正装置

Country Status (3)

Country Link
US (1) US20170201736A1 (ja)
JP (1) JP6353289B2 (ja)
WO (1) WO2015198930A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3349443A1 (en) * 2017-01-13 2018-07-18 Kabushiki Kaisha Toshiba Stereoscopic image processing apparatus and stereoscopic image processing method
WO2020121757A1 (ja) * 2018-12-14 2020-06-18 日立オートモティブシステムズ株式会社 画像処理装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6881450B2 (ja) * 2016-06-15 2021-06-02 ソニーグループ株式会社 画像生成装置および画像生成方法
JP6747176B2 (ja) * 2016-08-25 2020-08-26 株式会社リコー 画像処理装置、撮影装置、プログラム、機器制御システム及び機器
EP3300023A1 (en) * 2016-09-21 2018-03-28 Autoliv Development AB Vision system and method for a motor vehicle
KR102371594B1 (ko) * 2016-12-13 2022-03-07 현대자동차주식회사 스테레오 카메라 영상 실시간 자동 캘리브레이션 장치, 그를 포함한 시스템 및 그 방법
JP6707022B2 (ja) 2016-12-26 2020-06-10 日立オートモティブシステムズ株式会社 ステレオカメラ
TWI658720B (zh) * 2016-12-30 2019-05-01 創研光電股份有限公司 運用變焦影像資訊以改善原視差影像匹配錯誤之方法
EP3410705B1 (en) * 2017-06-02 2021-11-03 Veoneer Sweden AB 3d vision system for a motor vehicle and method of controlling a 3d vision system
EP3647716A4 (en) * 2017-06-26 2021-03-03 Hitachi Automotive Systems, Ltd. IMAGING DEVICE
JP7152884B2 (ja) 2018-06-15 2022-10-13 日立Astemo株式会社 車両用物体検知装置
JP6956051B2 (ja) 2018-09-03 2021-10-27 株式会社東芝 画像処理装置、運転支援システム、画像処理方法及びプログラム
US10964034B1 (en) * 2019-10-30 2021-03-30 Nvidia Corporation Vertical disparity detection in stereoscopic images from optical flow data
JP7341033B2 (ja) * 2019-11-11 2023-09-08 キヤノン株式会社 視差検出装置、撮像装置、視差検出方法、及びプログラム
WO2022039404A1 (ko) * 2020-08-20 2022-02-24 (주)아고스비전 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법
KR102310958B1 (ko) * 2020-08-20 2021-10-12 (주)아고스비전 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법
US11178382B1 (en) * 2020-10-27 2021-11-16 Shoppertrak Rct Corporation Auto-calibration of stereoscopic imaging device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0884352A (ja) * 1994-09-13 1996-03-26 Canon Inc 立体画像撮影装置
JP2001082955A (ja) * 1999-09-16 2001-03-30 Fuji Heavy Ind Ltd ステレオ画像の位置ずれ調整装置
JP2009524349A (ja) * 2006-01-18 2009-06-25 イーストマン コダック カンパニー 立体表示システムの調整方法
US20120274627A1 (en) * 2011-04-27 2012-11-01 Aptina Imaging Corporation Self calibrating stereo camera

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8235931B2 (en) * 2003-01-15 2012-08-07 Nxstage Medical, Inc. Waste balancing for extracorporeal blood treatment systems
CN103386735B (zh) * 2012-05-08 2016-11-23 贝尔罗斯(广州)电子部件有限公司 一种形成一体组件的方法及所形成的一体组件

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0884352A (ja) * 1994-09-13 1996-03-26 Canon Inc 立体画像撮影装置
JP2001082955A (ja) * 1999-09-16 2001-03-30 Fuji Heavy Ind Ltd ステレオ画像の位置ずれ調整装置
JP2009524349A (ja) * 2006-01-18 2009-06-25 イーストマン コダック カンパニー 立体表示システムの調整方法
US20120274627A1 (en) * 2011-04-27 2012-11-01 Aptina Imaging Corporation Self calibrating stereo camera

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3349443A1 (en) * 2017-01-13 2018-07-18 Kabushiki Kaisha Toshiba Stereoscopic image processing apparatus and stereoscopic image processing method
US10510163B2 (en) 2017-01-13 2019-12-17 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
WO2020121757A1 (ja) * 2018-12-14 2020-06-18 日立オートモティブシステムズ株式会社 画像処理装置
JP2020095646A (ja) * 2018-12-14 2020-06-18 日立オートモティブシステムズ株式会社 画像処理装置
JP7146608B2 (ja) 2018-12-14 2022-10-04 日立Astemo株式会社 画像処理装置

Also Published As

Publication number Publication date
JP6353289B2 (ja) 2018-07-04
JP2016008847A (ja) 2016-01-18
US20170201736A1 (en) 2017-07-13

Similar Documents

Publication Publication Date Title
JP6353289B2 (ja) 測距補正装置
KR101787304B1 (ko) 교정 방법, 교정 장치 및 컴퓨터 프로그램 제품
CN110567469B (zh) 视觉定位方法、装置、电子设备及系统
JP4814669B2 (ja) ３次元座標取得装置
WO2017080102A1 (zh) 飞行装置、飞行控制系统及方法
US20130135474A1 (en) Automotive Camera System and Its Calibration Method and Calibration Program
WO2015125298A1 (ja) 自己位置算出装置及び自己位置算出方法
KR20140027468A (ko) 깊이 측정치 품질 향상
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP2015203652A (ja) 情報処理装置および情報処理方法
WO2015125300A1 (ja) 自己位置算出装置及び自己位置算出方法
JPWO2013133129A1 (ja) 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法
US10205928B2 (en) Image processing apparatus that estimates distance information, method of controlling the same, and storage medium
TW201403553A (zh) 自動校正鳥瞰影像方法
JP2014074632A (ja) 車載ステレオカメラの校正装置及び校正方法
WO2015125299A1 (ja) 自己位置算出装置及び自己位置算出方法
CN110876053A (zh) 图像处理装置、驾驶支援系统及记录介质
JP6536529B2 (ja) 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法
JP5267100B2 (ja) 運動推定装置及びプログラム
KR20140029794A (ko) 곡선 차선 모델을 이용한 영상 안정화 방법 및 시스템
CN111260538B (zh) 基于长基线双目鱼眼相机的定位及车载终端
KR101634283B1 (ko) 단일영상에서의 3차원 카메라교정을 통한 3차원 공간모델링 형성제어장치 및 방법
JP6184447B2 (ja) 推定装置及び推定プログラム
JP2021193340A (ja) 自己位置推定装置
US10726528B2 (en) Image processing apparatus and image processing method for image picked up by two cameras

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15812347

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15320986

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15812347

Country of ref document: EP

Kind code of ref document: A1