WO2018173908A1 - ステレオ画像処理装置 - Google Patents

ステレオ画像処理装置 Download PDF

Info

Publication number
WO2018173908A1
WO2018173908A1 PCT/JP2018/010154 JP2018010154W WO2018173908A1 WO 2018173908 A1 WO2018173908 A1 WO 2018173908A1 JP 2018010154 W JP2018010154 W JP 2018010154W WO 2018173908 A1 WO2018173908 A1 WO 2018173908A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
image
unit
image processing
processing apparatus
Prior art date
Application number
PCT/JP2018/010154
Other languages
English (en)
French (fr)
Inventor
英彰 城戸
琢馬 大里
永崎　健
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to EP18771059.5A priority Critical patent/EP3605015A4/en
Publication of WO2018173908A1 publication Critical patent/WO2018173908A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves

Definitions

  • the present invention relates to a stereo image processing apparatus.
  • the stereo arithmetic circuit 6 calculates the parallax by stereo matching based on the pair of captured images obtained from the stereo camera.
  • the recognition unit 10 performs the parallax and the vanishing point parallax.
  • the correction calculation unit 13 calculates, on one captured image plane, a plurality of approximate straight lines that are spatially parallel to each other and extend in the distance direction, and an intersection of the approximate lines.
  • a first vanishing point calculates a plurality of approximate straight lines parallel to each other extending in the distance direction on the other captured image plane, calculate a second vanishing point from the intersection of the approximate lines, "The vanishing point parallax is corrected based on the amount of deviation between the first vanishing point and the second vanishing point.”
  • the stereo image processing apparatus 1 captures a plurality of images with different viewpoints, and the parallax of the subject based on the plurality of captured images captured by the stereo imaging unit 2.
  • a parallax detection means 7 for detecting dp
  • an object detection means 11 for detecting an object based on the parallax dp and the parallax offset value DP detected by the parallax detection means 7, and an actual object among the objects detected by the object detection means 11
  • a parallax offset value correcting unit 12 that corrects the parallax offset value DP based on a parallax dp corresponding to an object whose size in space does not change with time and a change in the apparent size b of the object.
  • Patent Document 1 The technique described in Patent Document 1 must be used in an environment where there is a linear subject serving as a reference for vanishing point calculation, such as a lane that extends linearly in front of the camera or a linear boundary between a wall and a floor. There is a problem that correction cannot be performed.
  • Patent Document 2 it is necessary to stably detect the distance or area between two specific points of the target object imaged in front of the camera for each frame to be calculated in time series, There is a problem that it is difficult depending on the environment and the object. As an example, there are cases where it is difficult to detect when the lighting environment changes over time or the posture of the object changes, and there is room for improvement. If the number of scenes that can be estimated is small, there is a high possibility of losing the opportunity to correct the distance measurement and outputting an incorrect distance.
  • an object of the present invention is to provide a highly reliable stereo image processing apparatus with reduced distance error and relative speed error.
  • the present invention provides a parallax image that obtains a parallax image by calculating parallax of a subject based on an image obtained by an imaging unit, a pair of image acquisition units, and the pair of image acquisition units.
  • a storage unit that stores an image area of the object detected by a unit, an image collation unit that collates images of the object captured at different times, a parallax offset estimation unit that calculates a parallax offset, and the parallax
  • a distance output unit that corrects the distance of the object based on the parallax estimated by the offset estimation unit, and the image matching unit is an image region in which the same object is reflected in the current frame and the past frame, Square image area and the geometric deformation of the obtained image with the other image similarity by comparing the increases geometric deformation after deformation.
  • in-vehicle camera devices that are image recognition devices that recognize objects based on captured images
  • demands for various recognition functions for safe driving and automatic driving have increased.
  • a stereo camera device that detects an object with two cameras arranged on the left and right simultaneously measures visual information close to the image and distance information to the object.
  • Cars, three-dimensional objects, road surfaces, road surface signs, signboard signs, etc. can be grasped in detail, which is said to contribute to the improvement of safety during driving assistance.
  • d 0 at an infinitely long distance, but in reality, it is known that d ⁇ 0 due to secular change such as impact or thermal deformation when the camera is attached to the vehicle.
  • this deviation amount is a parallax offset ( ⁇ d)
  • ⁇ d changes over time and with time, and a deviation occurs in the measured distance and relative speed. Since this may lead to erroneous control of the vehicle in some cases, it is necessary to correct the measured distance Z ′ to Z by estimating this value ⁇ d during traveling and correcting it from the observed parallax.
  • FIG. 1 a vehicle control system using a stereo camera is shown in FIG.
  • the stereo camera 101 is mounted on the vehicle 102 and, for example, measures the distance to the object 103 ahead and the relative speed and transmits the measured distance to the vehicle control unit 104.
  • the vehicle control unit determines the control of the brake and the accelerator from the distance to the object and the relative speed, and operates the vehicle.
  • the stereo camera 201 includes imaging units on the left and right sides, and a left image acquisition unit 202 and a right image acquisition unit 203 acquire a pair of images.
  • the left image acquisition unit 202 and the right image acquisition unit 203 are collectively referred to as a pair of image acquisition units 202 and 203.
  • it includes a parallax image acquisition unit 204 that specifies a position where the same object appears in the left and right images, calculates a parallax image for each image coordinate using the difference in position between the left and right images as parallax.
  • It has an object detection unit 205 that identifies a region on the object image from the parallax image, the left image, and the right image thus obtained, and an object parallax estimation unit 206 that calculates the parallax of the object.
  • the parallax and the image area of these objects are stored in the storage area (storage unit) 207 and can be referred to in the processing after the next imaging frame.
  • the image collating unit 208 estimates the geometric deformation parameter between the past and current image areas by collating the image area of the current object with the image area of the past object in which the same object is reflected.
  • the parallax offset estimation unit 209 estimates the value of the parallax offset by using the geometric deformation parameter and the parallax of the current and past frames.
  • the distance output unit 210 corrects and outputs the distance based on the calculated parallax offset.
  • the geometric deformation between images is limited to the enlargement rate (or reduction rate) between images.
  • the target object used for estimating the parallax offset is preferably an object having the same distance as possible in the image area.
  • a signboard facing the back of the preceding vehicle or the own vehicle can be used.
  • the enlargement ratio of the image area in which the target object is shown in one frame and the image area in which the same object is moved in the other frame is to enlarge (reduce) the image area of one frame and to the other image. It can be calculated by adopting the enlargement ratio when it is most similar to the area.
  • the similarity between image regions can be calculated using, for example, the following equation.
  • M 1 / ⁇ (J (s * x + x ′, s * y + y ′) ⁇ I (x, y)) 2 (Equation 3)
  • x and y represent image coordinates
  • s represents an enlargement ratio
  • x ′ and y ′ represent moving components
  • I and J represent image gray values at given coordinates.
  • J indicates a past image
  • I indicates a current image
  • ⁇ is a summation symbol
  • all pairs (x, y) existing in the image region to be compared are the summation targets. It is considered that the larger the value M, the more similar the two images, and the smaller the value, the more different the two images.
  • each coordinate of the above formula may be weighted, or a scale such as normalized cross-correlation, sum of absolute differences, or mutual information may be used. .
  • FIG. One image 301 is 0.8 times (image 302), 0.9 times (image 303), 1.0 times (image 304), 1.1 times (image 305), and 1.2 times (image 306).
  • a value having the highest similarity with the other image 307 is adopted as the enlargement ratio between two frames.
  • the calculation of the similarity is applied only to the rear surface of the vehicle in the example of FIG.
  • the condition necessary for the estimation of the parallax offset using the enlargement ratio is that the target image areas have the same distance as much as possible. Therefore, for example, it is not desirable that the side mirror is included in the image area. However, it is not necessary to clearly specify the rear surface of the vehicle, and an approximate position on the rear surface of the vehicle may be used.
  • the calculation method of the enlargement ratio may be to obtain the closest enlargement ratio when the enlargement ratio is sampled as shown in FIG. 3, or a method based on a convergence operation represented by the Lucas Kanade method, or a Particle Filter. Or a method based on random sampling such as RANSAC may be used, and the method is not limited.
  • FIG. 4 is the simplest example.
  • the parallax offset is estimated by comparing two frames, the previous frame stored in the storage area and the current frame.
  • a target object is detected by the object detection unit, and the image area is set to I (step 401).
  • the parallax d of the object is calculated by the object parallax estimation unit (step 402).
  • Step 403 whether or not the detected object is stored in the storage area, that is, whether or not there is a detection result of the previous frame.
  • the image area is temporarily stored as J and the parallax d is stored as d 'in the storage area (step 404) (step 405), and the process proceeds to the next imaging frame processing. .
  • the image area J of the past frame and the image area I of the current frame are collated to calculate the enlargement ratio s (step 406).
  • ⁇ d (ds ⁇ d * d) / (1 ⁇ s) (Formula 4)
  • the derivation of (Equation 4) is performed as follows.
  • a representative value of the parallax offset is determined by taking, for example, an average, a median value, or a mode value of ⁇ d obtained in each frame (step 409), and the distance is calculated using the obtained parallax offset.
  • criteria for correcting (step 410) and determining whether to calculate (step 407) include the following. First, one index is whether s is as close to 1 as possible. As shown in (Expression 4), if s is as close as possible to 1, ⁇ d becomes infinite and is not suitable as an estimated value. Therefore, whether or not the difference between 1 and s is more than 0 can be one of determination criteria.
  • the measurement error of s, d, d ′ when the measurement error of s, d, d ′ can be estimated, it may be judged from the magnitude of the error.
  • s cannot be calculated, for example, when the verification fails and the measurement fails.
  • the image is enlarged or reduced, and there is a relative speed between the target object and the own vehicle. May be used when the relative speed is equal to or higher than a certain level.
  • whether or not the images for which the enlargement ratio is to be calculated includes equal distances can also be a determination criterion.
  • the target object used for the estimation of the parallax offset should be an object with the same distance as possible in the image area, so it is judged that it cannot be calculated when the variance of the parallax distribution in the image area is large.
  • FIG. 5 shows a method for calculating the enlargement ratio between images of an arbitrary frame.
  • the advantage of comparing between arbitrary frames is that, for an object having a relative speed, the fluctuation of the image becomes large, and the enlargement ratio s departs from 1. Therefore, in determining whether or not the parallax offset can be calculated (step 407 in FIG. 4). , And the probability that it becomes possible increases.
  • step 501 The method for detecting the object and obtaining the current frame information for calculating the parallax of the object is the same as in FIG. After acquiring the information of the current frame, it is confirmed whether there is a detection result of the past frame (step 501). The difference from step 403 is that step 403 confirms whether there is a detection result of the latest frame, whereas step 501 only needs to have a detection result in any of the past frames.
  • a past frame with a detection result may be a single frame or a plurality of frames.
  • the image area I and the parallax d are stored in the storage area (step 503) as Jt and dt to which the information of the acquired frame t is added (step 502). History information of image areas detected in the past is stored in the storage area.
  • an image area of an arbitrary frame registered in the storage area is selected (step 504).
  • the frame selected here may be one frame or a plurality of frames.
  • T ⁇ 1, ⁇ 2, ⁇ 3... ⁇
  • the enlargement ratio (s ⁇ ) is calculated by using the image J ⁇ (where ⁇ T) and I (step 505).
  • the determination of whether or not the parallax offset can be calculated is performed (step 506), and the parallax offset is calculated by using the enlargement ratio s ⁇ and the parallax d ⁇ (step 507).
  • step 601 when the current frame is detected and it is determined that the detection result of the previous frame is present (step 601), the enlargement ratio s is calculated from the images of the current frame and the previous frame (step 602). After the calculation, the enlargement ratio is stored as st in the storage area (step 604) (step 603).
  • the two images stored in the storage area may be the current target object image and the previous frame target object image.
  • the parallax dt and the enlargement ratio st are required for the history of the past frame.
  • a frame for calculating a parallax offset is selected (step 606).
  • the enlargement rates of all the frames from the current frame to ⁇ can be accumulated to be set as the accumulated enlargement rate s ⁇ .
  • s ⁇ ⁇ sk (Formula 6)
  • ⁇ is a multiplication symbol
  • k is multiplied in time-series order from the current frame to the enlargement ratio recorded in the ⁇ frame.
  • the parallax offset is calculated as follows (step 607).
  • FIG. 6 shows a state in which the vehicle (step 701) whose back is visible in one frame is tilted (step 702) in the next frame.
  • Steps 703 and 704 are transformations in which the rectangle is replaced with a rectangle, and the transformation is from rectangular to trapezoidal.
  • Steps 705 and 706 are parallax distributions corresponding to the respective image regions, and numerical values inside the squares indicate parallax values.
  • the deformation between the two frames can be performed, for example, by obtaining W that minimizes the following expression.
  • the parameters for projective transformation can be calculated if the distance at each point can be obtained. Since the distance can be calculated from the parallax, the projective transformation A ′ can be obtained from the difference in the parallax distribution. However, since the projection transformation A ′ obtained here includes a parallax offset, the parallax offset can be estimated from the relationship between A and A ′.
  • the imaging means the pair of image acquisition units, the parallax image acquisition unit that obtains the parallax image by calculating the parallax of the subject based on the images obtained by the pair of image acquisition units,
  • An object detection unit that detects an object based on the image and the parallax image, an object parallax estimation unit that estimates the parallax of the object, and the parallax obtained by the object parallax estimation unit and the object detection unit
  • a storage unit that stores the image region of the object, an image collation unit that collates images of the object captured at different times, a parallax offset estimation unit that calculates a parallax offset, and the parallax offset estimation unit
  • a distance output unit that corrects the distance of the object based on the estimated parallax, and the image collating unit is an image region in which the same object appears in the current frame and the past frame, and one image region
  • geometric deformation obtaining an image similarity by comparing the other image is higher geometric deformation after de
  • the image matching unit calculates a geometric deformation between two images of an arbitrary frame held in a storage area
  • the parallax offset estimation unit calculates the time corresponding to the frame used for the calculation by the previous image matching unit.
  • a parallax offset is estimated using the stored parallax.
  • the parallax offset estimation unit determines whether estimation is possible based on at least one of geometric deformation and parallax as a result of the image matching unit used when calculating the parallax offset.
  • the geometric deformation obtained by the image matching unit is an enlargement ratio between images.
  • the geometric deformation obtained by the image collating unit is a trapezoidal deformation between images.
  • the object used for the image collation unit is a plane.
  • the storage unit stores the geometric deformation obtained by the image matching unit, and the parallax offset estimation unit calculates the total geometric deformation calculated from the past to the current time in the time zone to be estimated.
  • the parallax offset is estimated from the product and the parallax at the past and current time.
  • Stereo camera imaging means
  • 102 vehicle vehicle
  • 104 vehicle control unit 202 left image acquisition unit, 203 right image acquisition unit, 204 parallax image acquisition unit, 205 object detection unit, 206 object parallax estimation unit, 207 storage area (Storage unit), 208 Image collation unit, 209 Parallax offset estimation unit, 210 Distance output unit.

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、ステレオカメラにおいて視差オフセットを推定する。画像取得部２０２，２０３で得られた画像に基づいて視差画像を得る視差画像取得部２０４と、画像と視差画像とに基づいて物体を検出する物体検出部２０５と、物体の視差を推定する物体視差推定部２０６と、視差と物体検出部２０５によって検出された物体の画像領域を保存する記憶部２０７と、異なる時刻に撮像された前記物体の画像同士の照合を行う画像照合部２０８と、視差オフセットを算出する視差オフセット推定部２０９と、視差オフセット推定部２０９の推定した視差に基づいて前記物体の距離を補正する距離出力部２１０と、を備え、画像照合部２０８は、現フレームと過去フレームで同一物体が映っている画像領域で、一方の画像領域を幾何変形して、変形後の画像ともう一方の画像を比較して類似度が高くなる幾何変形を求める。

Description

ステレオ画像処理装置
　本発明は、ステレオ画像処理装置に関する。
　特許文献１の要約欄には、「ステレオ演算回路６は、ステレオカメラより得られた一対の撮像画像に基づいて、ステレオマッチングにより視差を算出する。認識部１０は、視差と消失点視差とに基づいて、対象物までの距離を算出する。補正演算部１３は、一方の撮像画像平面において、距離方向に延在する互いに空間的に平行な複数の近似直線を算出し、この近似直線の交点から第１の消失点を算出するとともに、他方の撮像画像平面において、距離方向に延在する互いに平行な複数の近似直線を算出し、この近似直線の交点から第２の消失点を算出し、第１の消失点と第２の消失点とのずれ量に基づいて、消失点視差を補正する。」と記載されている。
　特許文献２の要約欄には、「ステレオ画像処理装置１は、視点の異なる複数の画像を撮像するステレオ撮像手段２と、ステレオ撮像手段２により撮像された複数の撮像画像に基づいて被写体の視差ｄｐを検出する視差検出手段７と、視差検出手段７により検出された視差ｄｐおよび視差オフセット値ＤＰに基づいて物体を検出する物体検出手段１１と、物体検出手段１１により検出された物体のうち実空間における大きさが時間的に変化しない物体に対応する視差ｄｐおよび物体の見掛けの大きさｂの変化に基づいて視差オフセット値ＤＰを補正する視差オフセット値補正手段１２と、を備える。」と記載されている。
特開２００３－８３７４２号公報 特開２００９－００８５３９号公報
　特許文献１に記載の手法では、カメラの前方に直線状に延在する車線や壁と床との直線状の境界部分など、消失点算出の基準となる直線状の被写体が存在する環境でなければ補正を行うことができない、という問題点がある。
　特許文献２に記載の手法では、カメラの前方に撮像される対象物体の特定の２点間の距離や面積を時系列で算出対象となるフレーム毎に安定的に検出することが必要であり、環境や対象物によっては難しいという問題がある。例として、時系列上で照明環境が変わったり、対象物の姿勢が変動したりする場合には検出が難しい場合が挙げられ改善の余地がある。推定可能なシーンが少ないと、距離測定を補正する機会を失い、誤った距離を出力する可能性が高い。
　そこで本発明は、距離誤差や相対速度誤差を少なくして、信頼性の高いステレオ画像処理装置を提供することを目的とする。
　上記目的を解決するために、本発明は、撮像手段と、一対の画像取得部と、前記一対の画像取得部で得られた画像に基づいて被写体の視差を算出して視差画像を得る視差画像取得部と、前記画像と前記視差画像とに基づいて物体を検出する物体検出部と、前記物体の視差を推定する物体視差推定部と、前記物体視差推定部によって得られた視差と前記物体検出部によって検出された前記物体の画像領域を保存する記憶部と、異なる時刻に撮像された前記物体の画像同士の照合を行う画像照合部と、視差オフセットを算出する視差オフセット推定部と、前記視差オフセット推定部の推定した視差に基づいて前記物体の距離を補正する距離出力部と、を備え、前記画像照合部は、現フレームと過去フレームで同一物体が映っている画像領域で、一方の画像領域を幾何変形して、変形後の画像ともう一方の画像を比較して類似度が高くなる幾何変形を求める。
　本発明によれば、距離誤差や相対速度誤差を少なくして、信頼性の高いステレオ画像処理装置を提供することができる。
車載ステレオカメラの構成を説明する図 ステレオカメラで視差オフセットを推定する図 拡大率の算出方法を説明する図 各フレームにおける視差オフセットの算出方法を説明する図 任意のフレームの視差オフセットの算出方法を説明する図 累積値を用いた視差オフセットの算出方法を説明する図 幾何変換と視差分布を説明する図
　近年、撮像した画像に基づいて対象物を認識する画像認識装置である車載カメラ装置の普及により、安全運転や自動運転に向けた各種認識機能への要求が高まってきている。なかでも、左右に並べた２つカメラで物体検出を行うステレオカメラ装置は、画像に寄る視覚的な情報と、対象物への距離情報を同時に計測するため、自動車周辺の様々な対象物（人、車、立体物、路面、路面標識、看板標識など）を詳細に把握でき、運転支援時の安全性の向上にも寄与するとされている。
　ステレオカメラは同一の物体が左右のカメラで撮像される位置の差分から距離を算出する。この差分を視差という。距離が遠ければ遠いほどこの視差は小さくなり、距離が近ければ近いほど視差は大きくなる。視差をｄ、距離をＺとすると、その関係は反比例の関係にあり以下のように示される。
 
 Ｚ=α／ｄ・・・（式１）
 
   但し、αはステレオカメラ固有の値であり、レンズの焦点距離（ｆ）、画素の物理サイズ（ｃ）、カメラ間の距離の基線長（Ｂ）からα＝ｆＢ／ｃで計算される。
　理想的には限りなく遠い距離においてはｄ＝０であるが、実際にはカメラを車両に取り付ける際の衝撃や熱変形など経年変化によって、ｄ≠０となることが知られている。このずれ量を視差オフセット（εｄ）とすると、観測される距離Ｚ´は、
 
 Ｚ´＝α／（ｄ＋εｄ）・・・（式２）
 
 で記載できる。このεｄは、前述の通り経年・経時変化し、測定した距離や相対速度にずれが発生する。場合によっては車両の誤制御につながるため、走行中にこの値εｄを推定し、観測された視差から補正することで測定された距離Ｚ´をＺに補正することが必要である。
　これを踏まえて、以下、本実施例について図面を参照して説明する。なお、本発明は以下の実施例に限定する趣旨ではなく、発明の目的及び効果を実質的に逸脱しない範囲で、種々の構成を置換、変更、削除が可能である。
　まず、ステレオカメラを用いた車両制御システムを図１に示す。ステレオカメラ１０１は車両１０２に搭載され、例えば前方の物体１０３までの距離や相対速度を計測して車両制御部１０４に送信する。車両制御部はその物体までの距離や相対速度からブレーキやアクセルの制御を決定し車両を動作する。
　本実施例のステレオ画像処理装置の形態を図２に示す。ステレオカメラ２０１は左右に撮像部を備え、左画像取得部２０２と右画像取得部２０３で一対の画像を取得する。なお、左画像取得部２０２と右画像取得部２０３を合わせて、一対の画像取得部２０２，２０３と称する。
次に左右の画像で同じ物体が映る位置を特定し、その左右画像間の位置の差分を視差として、画像座標ごとに求めて視差画像として算出する視差画像取得部２０４を備える。そのようにして得られた視差画像や左画像、右画像から物体の画像上の領域を特定する物体検出部２０５と、その物体の視差を算出する物体視差推定部２０６を持つ。これらの物体の視差と画像領域は記憶領域（記憶部）２０７に保持され、次の撮像フレーム以降の処理で参照できる状態になる。画像照合部２０８では、現在の物体の画像領域と、それと同一物体の映る過去の物体の画像領域を照合することで過去と現在の画像領域間の幾何変形のパラメータを推定する。視差オフセット推定部２０９では、幾何変形のパラメータと現在と過去のフレームの視差を用いることで視差オフセットの値を推定する。距離出力部２１０では算出された視差オフセットに基づいて距離を補正して出力する。
　まず、上記において画像間の幾何変形を画像間の拡大率（あるいは縮小率）に限定して説明する。
　その場合、視差オフセットの推定に用いる目標の物体は画像領域中にできるだけ等しい距離を持った物体が良い。例えば先行車両の背面や自車に正対する看板などが挙げられる。
　ここで、あるフレームで目標の物体が写った画像領域と、もう一方のフレームで同一の物体が移った画像領域の拡大率は、一方のフレームの画像領域を拡大（縮小）しもう一方の画像領域と最も類似した際の拡大率を採用することで算出できる。画像領域同士の類似性は例えば以下の式を用いて算出できる。
 
 Ｍ＝１／Σ（Ｊ（ｓ＊ｘ＋ｘ´，ｓ＊ｙ＋ｙ´）―Ｉ（ｘ，ｙ））２・・・（式３）
 
 ここで、ｘ、ｙは画像の座標を示し、ｓは拡大率、ｘ´，ｙ´は移動成分、Ｉ，Ｊは与えられた座標における画像の濃淡値を示す。Ｊは過去の画像，Ｉは現在の画像を示す。Σは総和記号であり、比較する対象となる画像領域に存在する（ｘ，ｙ）のすべての組が総和の対象である。この値Ｍが大きいほど、２つの画像は類似しており、値が小さいほど２つの画像は相違があると考えられる。
　なお類似性の計算はこの式に限らず、例えば上式の各座標に重みを設けても良いし、正規化相互相関や差分絶対値和、相互情報量の様な尺度を利用しても良い。
　拡大率の算出方式の例を図３に示す。一方の画像３０１を０．８倍（画像３０２）、０．９倍（画像３０３）、１．０倍（画像３０４）、１．１倍（画像３０５）、１．２倍（画像３０６）と変化させ、もう一方の画像３０７と最も類似度の高い値を２フレーム間の拡大率として採用する。ただし、類似度の計算は図３の例では車両の背面のみに適用する。拡大率を用いた視差オフセットの推定に必要な条件は、対象となる画像領域ができるだけ等しい距離を持つ場合であったから、例えばサイドミラーが画像領域に含まれるのは望ましくない。但し、明確に車両背面を特定する必要は無く車両背面のおおよその位置で良い。
　例えば、ここでは１．１倍が最も類似性の高い時の拡大率として採用される。なお、拡大率の算出方法は、図３のように拡大率をサンプリングした際の総当たりで最も近い拡大率を求めても良いし、Ｌｕｃａｓ　Ｋａｎａｄｅ法に代表される収束演算に基づく手法やＰａｒｔｉｃｌｅ　ＦｉｌｔｅｒやＲＡＮＳＡＣなどによるランダムサンプリングに基づく手法を用いても良く、その手法は問わない。
　上記のように求まる拡大率を用いて視差オフセットを推定する処理手順の例を、特に物体検出部２０５、物体視差推定部２０６、記憶領域２０７、画像照合部２０８、視差オフセット推定部２０９、距離出力部２１０に焦点をあて、図４、図５、図６を用いて説明する。
　例のうち、図４は最も単純な例である。１つ前に記憶領域に保存されたフレームと現在のフレームの２つを比較して視差オフセットを推定する方法である。まず目標となる物体を物体検出部で検出し、その画像領域をＩとする（ステップ４０１）。次にその物体の視差ｄを物体視差推定部で算出する（ステップ４０２）、次に検出された物体が記憶領域の中に保存された否か、すなわち前のフレームの検出結果があるか否かを判定し（ステップ４０３）、検出していなければ一旦、画像領域をＪとして、視差ｄをｄ´として記憶領域（ステップ４０４）に保存し（ステップ４０５）、次の撮像フレームの処理に移行する。もし検出されていれば過去のフレームの画像領域Ｊと現在のフレームの画像領域Ｉを照合し拡大率ｓを算出する（ステップ４０６）。次に拡大率ｓと現在のフレームの視差ｄ，過去のフレームの視差ｄ´を視差オフセットの算出に用いて良いか否かを判断し（ステップ４０７）、もし可能と判断されれば以下の式で視差オフセットεｄを算出する（ステップ４０８）。
 
 εｄ＝（ｄ―ｓ＊ｄ´）／（１－ｓ）・・・（式４）
 
 なお、（式４）の導出は以下のように行われる。
　画像の拡大率は、距離Ｚの比率で表されるので、現在のフレームの距離をＺ，過去のフレームの距離をＺ´とするとｓ＝Ｚ´／Ｚである。（式１）からＺ＝α／ｄであったのでｓ＝ｄ／ｄ´とも記載できる。このとき、計測したｄにオフセット（εｄ）が乗っているとｓ＝（ｄ―εｄ）／（ｄ´―εｄ）であり、εｄについて整理すると（式４）が現れる。
  この推定処理を繰り返し、各フレームで求まったεｄの例えば平均や中央値や最頻値を取るなどして視差オフセットの代表値を決定し（ステップ４０９）、求められた視差オフセットを用いて距離を補正する（ステップ４１０）、算出するか否かを判断する（ステップ４０７）基準としては例えば以下が挙げられる。まずｓが限りなく１に近いか否かが一つの指標として挙げられる。（式４）に示すとおり、もしｓが１に限りなく近ければεｄは無限大になり、推定値としてふさわしくない。そのため、１とｓの差分が０よりも離れているか否かは判定基準のひとつとなりうる。次に、ｓやｄ，ｄ´の計測誤差が推定できる際はその誤差の大小から判断しても良い。もちろん、ｓが照合がうまくいかず測定に失敗している時などは算出できないと考える。また、ｓがある程度大きいということは画像が拡大もしくは縮小しているということであり、目標となる物体と自車の間に相対速度が存在しているということであるから、物体と自車との相対速度が求まる場合には相対速度が一定以上の場合に用いても良い。他に拡大率の算出対象とした画像が等しい距離を含んでいたか否かも判断基準になりうる。冒頭に示したように視差オフセットの推定に用いる目標の物体は画像領域中にできるだけ等しい距離を持った物体が良いから、画像領域内の視差の分布の分散が大きい場合などは算出できないと判断される。
　次に図５に任意のフレームの画像間の拡大率を算出する方式を示す。任意のフレーム間を比較するメリットは、相対速度がある物体などに対しては画像の変動が大きくなり、拡大率ｓが１から離れるため、視差オフセット算出の可否判断（図４のステップ４０７）において、可となる確率が高くなることなどが挙げられる。
　物体を検出し、物体の視差を算出する現在のフレームの情報を取得する方法は図４と変わらない。現在のフレームの情報を取得後、過去のフレームの検出結果があるか否かを確認する（ステップ５０１）。ステップ４０３との差異は、ステップ４０３が直近のフレームの検出結果があるか否かを確認するのに対して、ステップ５０１では、過去のフレームのいずれかで検出結果があればよいとする。検出結果がある過去のフレームは単フレームである可能性もあるし、複数フレームである可能性もある。
　もし、過去のフレームの情報がない場合は、画像領域Ｉと視差ｄを取得フレームｔの情報を加えたＪｔ、及びｄｔとして記憶領域（ステップ５０３）に保存する（ステップ５０２）。記憶領域には過去に検出された画像領域の履歴情報が保存される。現在のフレームの画像領域と過去のフレームの画像領域が存在したとき、記憶領域に登録された任意のフレームの画像領域の選ぶ（ステップ５０４）。ここで選ばれるフレームは１フレームであっても複数フレームであってもよい。ここで選ばれたフレームの集合をＴ＝｛τ１，τ２，τ３…｝と置くと、画像Ｊτ（ただしτ∈Ｔ）とＩを用いることで拡大率（ｓτ）を算出する（ステップ５０５）。次に（図４）と同様に、視差オフセットの算出可否判断を実施（ステップ５０６）し、拡大率ｓτと視差ｄτを用いることで視差オフセットを算出する（ステップ５０７）。このとき視差オフセットεｄは、
 
 εｄ＝（ｄ―ｓτ＊ｄτ）／（１－ｓτ）・・・（式５）
 
  で算出できる。このようにして求められた視差オフセット値から代表値を求め、距離の補正出力をおこなう。
　図５に示した手法は任意の時系列における画像同士を比較するため、すべての組み合わせを見ようとすれば原理的にすべての過去のフレームの画像を記憶領域に保存する必要がある。そのため必要となる記憶領域が大きくなり、記憶領域の小さいシステムなどで問題となる。そのためには記憶する時系列を短くするなどの方法が考えられるが、他にも図６の方式を使用することができる。
　図６では、現フレームで検出があり，前フレームの検出結果が有を判断した（ステップ６０１）場合に、現フレームと前フレームの画像同士から拡大率ｓを算出する（ステップ６０２）。算出後、その拡大率をｓｔとして、記憶領域（ステップ６０４）に保存する（ステップ６０３）。
　記憶領域に保存される画像は現在の目標物体の画像と、前のフレームの目標物体の画像の２つでよい。但し、視差ｄｔと、拡大率ｓｔは過去フレームの履歴分必要である。
　拡大率ｓｔの保存後、視差オフセットの算出フレームを選択する（ステップ６０６）。ここで選択されたフレームの集合をＫ＝｛κ１，κ２，κ３・・・｝とする。次にあるκ∈Ｋに対して着目したとき、ステップ６０６では、現在のフレームからκに至るまでの全てのフレームの拡大率を累積して累積拡大率ｓκと置くことができる。数式で表現すると以下のようになる。
 
 ｓκ＝Πｓｋ・・・（式６）
 
  但し、Πは総乗記号であり、ｋを現在のフレームからκのフレームで記録された拡大率までを全て時系列順に乗算するものである。このｓκを用いると、視差オフセットは以下の様に計算される（ステップ６０７）。
 
 εｄ＝（ｄ―ｓκ＊ｄκ´））／（１－ｓκ）・・・（式７）
 
  但し、ｄκ´はｄκのひとつ前に登録された視差である。すなわちκ´＝κ―１である。これらの計算を繰り返して、最終的な視差オフセットを求める。図６に示した手法によれば、毎フレームの画像を記憶領域に保存する代わりに、２フレーム間の拡大率のみを毎フレーム保存することで、使用する記憶領域を小さくすることが挙げられる。
　次に目標となる物体が傾いた場合の幾何変換について述べる。例を図７に示す。図６はあるフレームでは背面が見えていた車両（ステップ７０１）が次のフレームでは背面が傾いた（ステップ７０２）様子を示す。ステップ７０３、ステップ７０４はそれを四角形に置き換えた変換であり、長方形から台形の変換になる。ステップ７０５、ステップ７０６は、各画像領域に対応する視差の分布であり、四角の内部の数値が視差値を示す。この二つのフレーム間の変形は例えば以下の式を最小化するＷを求めることで可能となる。
 
 Ｅ＝Σ（Ｊ（Ｗ（ｘ，ｙ））―Ｉ（ｘ，ｙ））２
 
  但し、Ｗはｘ、ｙを射影変換する記号であり、座標（ｘ、ｙ）を入力として以下の操作を行い（ｘ´，ｙ´）を出力する。
 
（ｘ´，ｙ´，１）Ｔ＝Ａ（ｘ，ｙ，１）Ｔ
 
  但し、ここでＴは行列の転置を示しＡは３×３の行列を示す。射影変換はこの行列Ａで示される。この射影変換のパラメータは画像照合部で求めることが可能である。前述した拡大率もこの射影変換の式で表すことができ，以下の式になる。
 
 Ａ＝（ｓ　０　０；０　ｓ　０；０　０　１）
 
  但し、；は行と行の区切り記号を表す。
　一方、射影変換のパラメータは各点における距離を求めることができれば算出可能である。距離は視差から算出可能であるから、視差分布の差異から射影変換Ａ´を求めることも可能である。しかしここで求まった射影変換Ａ´は視差オフセットを含むことから、ＡとＡ´の関係から視差オフセットを推定することができる。
　この方式は図４～図６を流用することができ、視差（ｄ）の代わりに記憶領域に保存するものが視差の２次元分布に置き換わる。（式６）に関してはスカラー積の代わりに行列積を用いる。
　以上の実施例によれば、撮像手段と、一対の画像取得部と、前記一対の画像取得部で得られた画像に基づいて被写体の視差を算出して視差画像を得る視差画像取得部と、前記画像と前記視差画像とに基づいて物体を検出する物体検出部と、前記物体の視差を推定する物体視差推定部と、前記物体視差推定部によって得られた視差と前記物体検出部によって検出された前記物体の画像領域を保存する記憶部と、異なる時刻に撮像された前記物体の画像同士の照合を行う画像照合部と、視差オフセットを算出する視差オフセット推定部と、前記視差オフセット推定部の推定した視差に基づいて前記物体の距離を補正する距離出力部と、を備え、前記画像照合部は、現フレームと過去フレームで同一物体が映っている画像領域で、一方の画像領域を幾何変形して、変形後の画像ともう一方の画像を比較して類似度が高くなる幾何変形を求める。
　また、前記画像照合部は、記憶領域に保持された任意のフレームの二画像間の幾何変形を算出し、前記視差オフセット推定部は、前期画像照合部が算出に用いたフレームに対応する時刻に保存された視差を用いて視差オフセットを推定する。
　また、前記視差オフセット推定部は、視差オフセット算出時に使用する前記画像照合部の結果である幾何変形及び視差の少なくともいずれかの値に基づいて推定の可否を判断する。
　また、前記画像照合部で求める幾何変形は画像同士の拡大率である。
　また、前記画像照合部で求める幾何変形は画像同士の台形変形である。
　また、前記画像照合部に用いる対象物は平面である。
　また、前記記憶部は、前記画像照合部で求められた幾何変形を保存して、前記視差オフセット推定部は、推定対象となる時間帯における過去から現在の時刻までに算出された幾何変形の総積と、過去と現在の時刻における視差から視差オフセットを推定する。
　以上の実施例によれば、物体の特定の２点間の距離や面積の測定が困難な場合においても、２フレーム間の画像同士を直接照合することにより視差オフセットを推定可能とし、距離誤差や相対速度誤差の少なく信頼性の高い外界センサーを提供することができる。
１０１，２０１　ステレオカメラ（撮像手段）、１０２　車両、１０４　車両制御部、２０２　左画像取得部、２０３　右画像取得部、２０４　視差画像取得部、２０５　物体検出部、２０６　物体視差推定部、２０７　記憶領域（記憶部）、２０８　画像照合部、２０９　視差オフセット推定部、２１０　距離出力部。

Claims (7)

  1. 　撮像手段と、
    　一対の画像取得部と、
    　前記一対の画像取得部で得られた画像に基づいて被写体の視差を算出して視差画像を得る視差画像取得部と、
    　前記画像と前記視差画像とに基づいて物体を検出する物体検出部と、
    　前記物体の視差を推定する物体視差推定部と、
    　前記物体視差推定部によって得られた視差と前記物体検出部によって検出された前記物体の画像領域を保存する記憶部と、
    　異なる時刻に撮像された前記物体の画像同士の照合を行う画像照合部と、
    　視差オフセットを算出する視差オフセット推定部と、
    　前記視差オフセット推定部の推定した視差に基づいて前記物体の距離を補正する距離出力部と、を備え、
    　前記画像照合部は、現フレームと過去フレームで同一物体が映っている画像領域で、一方の画像領域を幾何変形して、変形後の画像ともう一方の画像を比較して類似度が高くなる幾何変形を求めることを特徴とする、ステレオ画像処理装置。
  2. 　請求項１に記載のステレオ画像処理装置において、
    　前記画像照合部は、記憶領域に保持された任意のフレームの二画像間の幾何変形を算出し、
    　前記視差オフセット推定部は、前期画像照合部が算出に用いたフレームに対応する時刻に保存された視差を用いて視差オフセットを推定することを特徴とするステレオ画像処理装置
  3. 　請求項１に記載のステレオ画像処理装置において、
    　前記視差オフセット推定部は、視差オフセット算出時に使用する前記画像照合部の結果である幾何変形及び視差の少なくともいずれかの値に基づいて推定の可否を判断することを特徴としたステレオ画像処理装置。
  4. 　請求項１に記載のステレオ画像処理装置において、
    　前記画像照合部で求める幾何変形は画像同士の拡大率であることを特徴としたステレオ画像処理装置。
  5. 　請求項１に記載のステレオ画像処理装置において、
    　前記画像照合部で求める幾何変形は画像同士の台形変形であることを特徴としたステレオ画像処理装置。
  6. 　請求項３に記載のステレオ画像処理装置において、
    　前記画像照合部に用いる対象物は平面であることを特徴としたステレオ画像処理装置。
  7. 　請求項１に記載のステレオ画像処理装置において、
    　前記記憶部は、前記画像照合部で求められた幾何変形を保存して、
    　前記視差オフセット推定部は、推定対象となる時間帯における過去から現在の時刻までに算出された幾何変形の総積と、過去と現在の時刻における視差から視差オフセットを推定することを特徴としたステレオ画像処理装置。
PCT/JP2018/010154 2017-03-24 2018-03-15 ステレオ画像処理装置 WO2018173908A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP18771059.5A EP3605015A4 (en) 2017-03-24 2018-03-15 STEREO IMAGE PROCESSING DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-058390 2017-03-24
JP2017058390A JP6932015B2 (ja) 2017-03-24 2017-03-24 ステレオ画像処理装置

Publications (1)

Publication Number Publication Date
WO2018173908A1 true WO2018173908A1 (ja) 2018-09-27

Family

ID=63584323

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/010154 WO2018173908A1 (ja) 2017-03-24 2018-03-15 ステレオ画像処理装置

Country Status (3)

Country Link
EP (1) EP3605015A4 (ja)
JP (1) JP6932015B2 (ja)
WO (1) WO2018173908A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6808111B1 (ja) * 2020-05-07 2021-01-06 三菱電機株式会社 自己位置推定装置、航行制御装置、画像生成装置、人工衛星システム及び自己位置推定方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021008712A1 (en) * 2019-07-18 2021-01-21 Toyota Motor Europe Method for calculating information relative to a relative speed between an object and a camera

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5383013A (en) * 1992-09-18 1995-01-17 Nec Research Institute, Inc. Stereoscopic computer vision system
JP2003083742A (ja) 2001-09-13 2003-03-19 Fuji Heavy Ind Ltd 監視システムの距離補正装置および距離補正方法
JP2009008539A (ja) 2007-06-28 2009-01-15 Fuji Heavy Ind Ltd ステレオ画像処理装置
JP2014085120A (ja) * 2012-10-19 2014-05-12 Hitachi Automotive Systems Ltd ステレオ画像処理装置及びステレオ画像処理方法
JP2017049146A (ja) * 2015-09-02 2017-03-09 富士重工業株式会社 画像処理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3384278B2 (ja) * 1997-03-24 2003-03-10 日産自動車株式会社 距離計測装置
DE10149115A1 (de) * 2001-10-05 2003-04-17 Bosch Gmbh Robert Objekterfassungsvorrichtung

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5383013A (en) * 1992-09-18 1995-01-17 Nec Research Institute, Inc. Stereoscopic computer vision system
JP2003083742A (ja) 2001-09-13 2003-03-19 Fuji Heavy Ind Ltd 監視システムの距離補正装置および距離補正方法
JP2009008539A (ja) 2007-06-28 2009-01-15 Fuji Heavy Ind Ltd ステレオ画像処理装置
JP2014085120A (ja) * 2012-10-19 2014-05-12 Hitachi Automotive Systems Ltd ステレオ画像処理装置及びステレオ画像処理方法
JP2017049146A (ja) * 2015-09-02 2017-03-09 富士重工業株式会社 画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3605015A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6808111B1 (ja) * 2020-05-07 2021-01-06 三菱電機株式会社 自己位置推定装置、航行制御装置、画像生成装置、人工衛星システム及び自己位置推定方法
WO2021224955A1 (ja) * 2020-05-07 2021-11-11 三菱電機株式会社 自己位置推定装置、航行制御装置、画像生成装置、人工衛星システム及び自己位置推定方法

Also Published As

Publication number Publication date
JP2018159683A (ja) 2018-10-11
EP3605015A1 (en) 2020-02-05
JP6932015B2 (ja) 2021-09-08
EP3605015A4 (en) 2021-03-24

Similar Documents

Publication Publication Date Title
CN110567469B (zh) 视觉定位方法、装置、电子设备及系统
US9824586B2 (en) Moving object recognition systems, moving object recognition programs, and moving object recognition methods
JP4480083B2 (ja) 物体認識装置
JP6317456B2 (ja) 車両用のステレオ／ビデオシステム内の相対的なヨー角の変化を検知するための方法および制御装置
EP3070675B1 (en) Image processor for correcting deviation of a coordinate in a photographed image at appropriate timing
JP2007263669A (ja) ３次元座標取得装置
KR102538592B1 (ko) 탑-뷰 영상 생성 장치 및 그 방법
JP6708730B2 (ja) 移動体
US10110822B2 (en) Method for tracking at least one object and method for replacing at least one object by a virtual object in a moving image signal recorded by a camera
KR20160077684A (ko) 객체 추적 장치 및 방법
JP2007037011A (ja) 画像処理装置
CN110751685A (zh) 深度信息确定方法、确定装置、电子装置和车辆
WO2018173908A1 (ja) ステレオ画像処理装置
JP6543935B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP5445069B2 (ja) ３次元位置計測装置および３次元位置計測方法
JP2009139324A (ja) 車両用走行路面検出装置
CN104471436B (zh) 用于计算对象的成像比例的变化的方法和设备
JP6799325B2 (ja) 画像補正装置、画像補正方法、注目点認識装置、注目点認識方法及び異常検知システム
CN110800020B (zh) 一种图像信息获取方法、图像处理设备及计算机存储介质
US10019635B2 (en) Vehicle-mounted recognition device
US10783350B2 (en) Method and device for controlling a driver assistance system by using a stereo camera system including a first and a second camera
JP5655038B2 (ja) 移動体認識システム、移動体認識プログラム、及び移動体認識方法
KR101837269B1 (ko) 다중 마커 기반의 정합 가이드 방법 및 시스템
KR102479253B1 (ko) 차량용 카메라 영상 기반 공차 보정 방법
EP3789961B1 (en) Sensor device for calculating a motion of a camera in a vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18771059

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018771059

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018771059

Country of ref document: EP

Effective date: 20191024