JP4156780B2

JP4156780B2 - Obstacle detection device

Info

Publication number: JP4156780B2
Application number: JP2000159177A
Authority: JP
Inventors: 寛服部
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2000-03-31
Filing date: 2000-03-31
Publication date: 2008-09-24
Anticipated expiration: 2020-03-31
Also published as: JP2001283204A

Description

【０００１】
【発明の属する技術分野】
本発明は、障害物検出装置に係り、特に自車両の周囲の先行車、駐車車両、または歩行者等の道路上に存在する障害物を検出する障害物検出装置に関する。
【０００２】
【従来の技術】
自動車の安全運転の支援や自動走行を実現するために、自車両の周囲に存在する障害物を検知することは重要である。
【０００３】
従来、障害物を検知するための技術には、レーザや超音波等を利用するものと、テレビカメラを利用するものがあった。レーザを利用するものは装置が高価となり、超音波を利用するものは超音波の解像度が低いため、障害物の検出精度に問題が生じる可能性があり実用性は低かった。また、レーザや超音波等を用いる能動センサ単独では走行レーンを認識することができなかった。
【０００４】
これに対し、テレビカメラは比較的安価であり、解像度や計測精度、計測範囲の面からも障害物検出に適する。また、走行レーンの認識も可能である。テレビカメラを用いる場合には、１台のカメラを使用する方法と複数台のカメラ（ステレオカメラ）を使用する方法がある。
【０００５】
１台のカメラを使用する方法は、そのカメラで撮像した１枚の画像から、輝度や色、あるいはテクスチャ等の情報を手がかりにして道路領域と障害物領域とを分離する。
【０００６】
例えば、撮像された画像中で彩度の低い中程度の輝度領域、つまり灰色の領域を抽出して道路領域とすることや、テクスチャの少ない領域を求めて、この領域を道路領域として抽出し、それ以外の領域を障害物領域とする場合もある。しかしながら、道路と似た輝度、色、あるいはテクスチャを持った障害物も数多く存在するため、この方法では障害物領域と道路領域とを切り分けるのは困難であった。
【０００７】
これに対し、複数台のカメラを用いる方法は３次元情報を手がかりにして障害物を検出する。この方法は一般にステレオ視と呼ばれており、例えば２つのカメラを左右に配置し、３次元空間中で同一点である点を左右画像間で対応づけ、三角測量の要領で、その点の３次元位置を求めるものである。各カメラの道路平面に対する位置や姿勢等をあらかじめ求めておくと、ステレオ視により画像中の任意の点の道路平面からの高さを得ることができる。
【０００８】
このようなステレオ視の技術によって、高さの有無を求め障害物領域と道路領域とを分離することができる。
しかし、通常のステレオ視には、カメラキャリブレーションと対応点探索という２つの問題がある。ステレオ視とは、一般的には画像上の任意の点のステレオカメラに固定した座標系（以下ではステレオカメラ座標系と呼ぶ）に対する３次元位置を求める技術であり、このためには、あらかじめ各カメラのステレオカメラ座標系に対する位置や姿勢等に関するパラメータを求める必要がある。これらを求める作業をカメラキャリブレーションと呼ぶ。カメラキャリブレーションは、ステレオカメラ座標系に対する３次元位置が既知な多数のサンプル点を用意し、各サンプル点の投影位置を求め、これらのデータからステレオカメラ座標系に対するカメラの位置や姿勢、カメラレンズの焦点距離等を未知パラメータとする連立方程式を立て、最小自乗法等によって解くという手順で行なわれる。
しかしながら、この作業は多大な計算時間と労力とを必要とする。
一方、対応点探索とは、空間中で同一である点を左右の画像間で対応づける際に必要な探索計算を意味する。対応点探索は計算量が多いという問題がある。この様にカメラキャリブレーションと対応点探索は、ステレオ視の実用化を妨げる要因となっている。
【０００９】
しかし、画像上で道路領域と障害物領域とを分離すればよいのであれば、対応点探索は必要でなく、道路平面からの高さの有無は、例えば以下のようにして判別できる。
【００１０】
道路平面上の点の左右画像への投影点を各々（ｕ,ｖ）,（ｕ',ｖ'）とすれば、
【数１】

という関係式が成り立つ。
【外１】

点Ｐが道路平面上に存在すれば、点ＰとＰ'が正しい対応点の組となるので、２点の輝度は一致する。したがって、点ＰとＰ'の輝度が異なる場合には、点Ｐは障害物領域に属すると判定することができる。この方式は、式（１）のみから直接的に画像上の任意の点の道路面からの高さの有無を判定可能であり、式（１）の係数は道路上の４点以上の特徴点の左右画像への投影点だけから求めることができ、左右画像間の対応点探索と、３次元位置が既知であるサンプル点を用いるカメラキャリブレーションが不要である。
【外２】

しかしながら、車両が屋外を走行する場合には、車両自身の振動や道路の傾斜の変化等のため、道路平面と各カメラの相対的な位置や姿勢との関係は時々刻々変化する。
【外３】

パラメータに含まれる誤差の影響で道路上の模様などが障害物として誤検出され、検出精度が著しく低下するという問題があった。
ここで、差異検出部の動作の一例について図１乃至図５を参照して説明する。
【００１１】
まず、図１の動作を説明するための斜視図に示す通り、受光部１０a１、１０ｂ１を所定距離をおいて離間させた２台のカメラ１０a、１０ｂが搭載された車両を傾きのない平坦な道路面上に配置する。道路面上には車両の進行方向に互いに平行に引かれている白線があり、この白線をｌ、ｌ'とする。
【００１２】
これら２台のカメラ１０a、１０ｂの互いの位置や姿勢の関係は障害物検出装置にとっては未知であり、エピポーラ拘束のみが既知であるとし、車両の走行中ではカメラ１０a、１０ｂの位置、姿勢、エピポーラ拘束は変化しないものとする。
【００１３】
尚、このエピポーラ拘束とは、一般的なステレオ画像に対して成り立つ拘束であり、図２のエピポーラ拘束の説明図に示す通り、カメラ１０aにて撮像された画像（左画像）上の任意の点Ｐは、カメラ１０ｂにより撮像された画像（右画像）上の対応点Ｐ'を含む所定の直線上に存在するよう拘束される状態をいう。この直線をエピポーララインと呼ぶ。
【００１４】
例えば、各カメラの光軸を互いに平行になるよう配置した場合には、左画像の任意の点Ｐの対応点は、右画面上では同一走査線上に存在するため、エピポーララインと走査線とは一致することになる。エピポーラ拘束は、ステレオカメラ間の相対的な位置、姿勢の関係と、各カメラの内部パラメータ、すなわちカメラレンズの焦点距離、画像原点に依存するため、エピポーラ拘束が変更せず不変であることはステレオカメラの相対的な位置関係や、内部パラメータが車両の走行中に変化しないことを意味している。
【００１５】
このエピポーラ拘束は、以下に示す式（２）のとおり定式化される。
【数２】

【外４】

Ｆは３×３の行列であり、基礎行列と呼ばれる。式（２）を展開して整理すると以下に示す（３）のように表せる。
【数３】

【外５】

行列Ｆは９つの要素からなるが各要素は独立ではなく、理論的には７つ以上の対応点の組から各要素を求めることができる。各対応点の組の３次元位置は不要であるので、行列Ｆ、つまりエピポーラ拘束の算出は比較的容易である。
【００１６】
各画像におけるｌ,ｌ'は３次元空間中では互いに平行であるが、左右のカメラが撮像した画像上では、図３の各カメラが撮像した白線領域に示すとおり、各画像のｌ,ｌ'は画面上では消失点と呼ばれる無限遠方の点で交差する。
【００１７】
次に、道路面上の対応点同士の間に成り立つ関係式を求めていく。図４の対応点を説明する図に示す通り、左画像において直線ｌ上の任意の２点をＡ、Ｃとし、直線ｌ'上の任意の２点をＢ、Ｄとする。
【００１８】
これら４点の右画像上の対応点を、Ａ'、Ｂ'、Ｃ'、Ｄ'は予め求め得ていたエピポーラ拘束を用いることで容易に算出することができる。すなわち、点Ａの対応点Ａ'は、右画像上において直線ｌと点ＡのエピポーララインＬＡとの交点に一致する。同様に、点Ｂ'、Ｃ'、Ｄ'についても、各点Ｂ、Ｃ、Ｄと各エピポーララインＬＢ、ＬＣ、ＬＤとの交点として求めることができる。
【外６】

【数４】

【外７】

【数５】

このようにして求めた変換は、例えば図５の変換画像例に示す通り、ステレオ画像では、左カメラ画像（ａ）を右カメラ視点に変換した場合、（ｃ）に示されるような画像となる。つまり、道路面上の画素、同図中では車両のタイヤと道路路面との接地点では正しく対応点に変換されることができるのに対し、空間的に高さを持った物体は画像中で倒れ込むような歪みを伴って変換される。
【外８】

【数６】

（ただし、｜｜は絶対値を示す。）
として、Ｄ≠０、あるいは左右のカメラの特性の違い等の誤差を考慮して、閾値Ｔｈｒを設定し、Ｄ＞Ｔｈｒとなる点Ｐを障害物領域に属すると判定することが可能である。
【００１９】
しかしながら実際には、車両の移動に伴うカメラの振動や道路面の傾きなど様々な変化が発生し、上述した式（６）によって障害物を判別することは困難である。例えば、ランドマーク（「止」や速度制限表示、白線等）と道路面との輝度差が大きいため、仮定している道路面とカメラとの幾何学的関係（前述の画像変換パラメータを求めた時のカメラと路面の関係）と実際の道路面とカメラとの幾何学的関係のずれによって、障害物ではないにもかかわらず式（６）はランドマーク周辺（＝エッジ周辺）で大きな値を持つからである。
【００２０】
【発明が解決しようとする課題】
上述にように従来のテレビカメラを利用する障害物検出装置では、使用環境が限定されていたり、多大な時間と労力とを必要とするキャリブレーションや計算費用（量）が高い対応探索が必要であったり、車両の走行中の振動や道路の傾斜に対処できないため、屋外環境では検出性能が著しく悪くなるという問題があった。
そこで、本発明は上記従来の問題点に鑑みてなされたもので、エピポーラ拘束のみ既知とする複数のテレビカメラを用いて撮影した画像から、道路両端の２本の白線の投影像を抽出し、その２本の白線が交差する消失点を用いて、検出した障害物の相対的な高さを計算し、その相対的な高さの大小によって真の障害物か否かを判別することによって、カメラキャリブレーションを不要とし、走行中に自車両に振動が発生した場合や走行している道路自身に傾斜がある場合においても、道路平面上に存在する障害物を安定して検出することができる障害物検出装置の提供を目的とする。
【００２１】
【課題を解決するための手段】
上記目的を達成するために、本発明の障害物検出装置は、互いに実質的に離間し自車両に搭載された受光部からこの車両の走行空間を画像として同時に撮像する複数の撮像部と、前記撮像手段により撮像された画像を記憶する画像蓄積部と、前記画像蓄積部に記憶された第１の撮像手段によって撮像された第１の画像および第２の撮像手段によって撮像された第２の画像中から前記自車両が走行可能な面上に互いに略平行に設けられる物体に対応する領域を抽出してこの抽出された領域が前記第１および第２の画像中で交差する交差点を求める特徴抽出部と、抽出された前記領域と前記第１及び第２の画像間に成立するエピポーラ拘束とから前記第１の画像中の任意の領域に対応する第２の画像中の対応領域を前記任意の領域が前記面に起因するとして求めて前記任意の領域と前記対応領域との輝度を比較し実質的に異なる輝度を有する領域を障害物領域として抽出しこの抽出された結果から障害物領域画像を得る差異検出部と、前記障害物領域画像中の基準値以上の輝度からなる多角形領域を抽出してこの多角形領域の前記障害物領域画像中の上下方向の大きさと前記多角形領域の下端から前記交差点を含む前記障害物領域画像中の走査線までの大きさとから求められた比のうち閾値以上のみの前記多角形領域を真の障害物領域として検出する高さ計算部とから構成される。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態の構成を図面を参照して説明する。
図６乃至図９は本発明の障害物検出装置を示す図である。
図６は本発明の障害物検出装置の実施の形態のブロック構成図であり、障害物検出装置は、使用者が乗車する自車両に設けられており、受光部１０a１、１０ｂ１が所定距離おいて離間され配置される２台のステレオカメラからなる画像入力部１、１（撮像部）と、画像入力部１、１により撮像された画像を記憶する画像蓄積部２と、画像蓄積部２に記憶された複数の画像から白線部分を抽出する特徴抽出部３と、障害物領域であるか否かを検出する差異検出部４と、差異検出部４の検出結果から障害物の高さを計算し真の障害物領域を検出する高さ計算部５と、から構成される。
尚、障害物の検出は、自車両が走行する際に発生するであろう振動や道路面に傾斜変化などが存在する条件のもとで、歩行者、先行車両、または道路面上に存在しえる障害物を検出する状況を想定している。また、左側に配置された画像入力部１によって撮像された画像を第１の画像なる左カメラ画像とし、右側に配置された画像入力部１によって撮像された画像を第２の画像なる右カメラ画像とする。
このような構成からなる障害物検出装置の動作について説明する。
まず、２台のテレビカメラを用いて、自車両の進行方向の領域を２枚の画像として同時に撮像する。
【００２４】
次に、画像蓄積部２は、画像入力部１により入力された２枚の画像を画像メモリに蓄積する。
【００２５】
次に、特徴抽出部３は、画像蓄積部に記憶された第１の画像および第２の画像中の、自車両の進行方向の領域では互いに略平行に道路上に設けられる物体例えば白線などの２本の直線ｌ,ｌ'をエッジ抽出処理とＨｏｕｇｈ変換などにより抽出する。また、抽出された直線ｌ,ｌ'は画面中で交差する交差点を消失点として求める。この消失点は、直線ｌ,ｌ'が第１の画像および第２の画像中の無限遠方の点で交差する点である。
【００２６】
次に、差異検出部４は、画像蓄積部２に記憶された第１の画像なる左カメラ画像を読み出してエピポーラ拘束と道路面上の２本の線から、前述したような方法で変換パラメータを求め、一方の画像入力部１（例えば左側のステレオカメラ）で撮像された左カメラ画像中の任意の領域（例えば１画素）に対する他方の右カメラ画像中の対応領域（１画素）を求める。このとき左カメラ画像中の点は全て道路面上に存在するものとする。具体的には、ステレオ画像に成立つエピポーラ拘束と特徴抽出部３により各画像において抽出した２本の線を用いて対応関係を求める。
【００２７】
そして、この任意の領域と、この任意の領域に対応する対応領域との輝度を比較する。比較した結果互いの領域の輝度が異なっており、かつ使用者が設定する基準値以上の輝度差があれば、その任意の領域を障害物領域であるとして、計算された輝度差の結果から障害物領域画像を得る。なお、この障害物領域画像は、道路面から高さを有する領域（画素）が検出されたものでもある。
【００２８】
次に、高さ計算部５は、差異検出部４により検出された障害物領域画像から各領域（画素）の道路面からの高さを推定し、この推定された高さによって障害物領域が真の障害物であるか否かを判別する。
【００２９】
詳しくは、図７の高さ計算部５の動作の説明図を参照して説明する。
【００３０】
例えば、障害物領域画像中の使用者が設定した基準値以上の輝度差を有する障害物領域があったとする。ここで、この障害物領域の下辺中の点をＵｂとし、上辺中の点をＵｔとし、ＵｂとＵｔとの距離（図中上下方向の大きさ）をｄｖとする。また、直線ｌ,ｌ'とが交差する消失点をＵ∞とし、Ｕｂから道路面の消失線(道路平面の無限遠方の投影像)までの距離（図中上下方向の大きさ）をＶとする。尚、抽出される障害物領域は、障害物領域画像を上下左右方向に分割した正方形な１画素を最小単位として、複数の１画素から構成されたものである。
ここで、画像入力部１のロール角が小さい場合には、道路平面の消失線は、２直線ｌ,ｌ'の消失点Ｕ∞を通る走査線とほぼ一致する。自車両走行に伴う画像入力部１の振動や、道路の傾斜変化によって、厳密には道路平面の消失線は画像中を上下するが、画像入力部１の横揺れは縦揺れに比べて非常に小さく、また、道路の傾斜も横方向の傾斜は前後方向の傾斜に比べればはるかに小さいので、自車両走行時にも道路平面の消失線は、２直線ｌ,ｌ'の消失点Ｕ∞を通る走査線に近似可能である。
また、図８の差異検出部４の動作の説明図に示すとおり、実空間における地面から画像入力部１が設置されている場所までの距離（画像入力部１の地面からの高さ）をＨとし、障害物の高さ（障害物の地面からの高さ）をｈとすれば、
ｈ／Ｈ≒ｄｖ／Ｖ…(７)
なる近似式が成り立つ。
ここで、式（７）の左辺は、画像入力部１の地面からの高さに対する障害物の地面からの高さの比、つまり、相対的な高さである。
この比をγとすれば、
γ＝ｄｖ／Ｖ…(８)
と表すことができる。
したがって、相対的な高さγは、障害物の縦方向の大きさｄｖと、下辺点Ｕｂと道路平面の消失線の垂直方向の距離Ｖから求めることができる。
画像上で検出された各障害物の道路平面からの高さを式（８）を用いて計算し、あらかじめ設定した高さ、つまり閾値γ_ｍｉｎよりも小さい場合には、この抽出された多角形領域は真の障害物領域ではなくノイズであるとして障害物検出から除去する。
ここで、閾値γ_ｍｉｎは、画像入力部１が取り付けられた位置と、検出すべき障害物の高さの最小値によって設定される値であり、例えば、画像入力部１の地面からの高さＨを１．５ｍとし、高さｈ＝１ｍ以上の障害物を検出したい場合には、
γ＝ｈ／Ｈ＝１［ｍ］／１．５［ｍ］≒０．６７…(９)
と設定する。
次に、出力部６では、検出された真の障害物の位置などの情報を使用者に、音声、光（画像）、振動などにより提示したり、自律走行を行う場合にはこれらの情報を制御系などに伝達する。
【００３１】
以上述べたような第１の実施の形態では、走行中に自車両に振動が発生したり、走行している道路自身に傾斜がある場合において、自車両が走行する道路面に描かれる模様などを障害物であると誤検出するようなことをなくして、撮像領域の明るさの変動や影の影響を防止し、道路面の真の障害物を安定して検出することができる。
【００３２】
次に本発明の障害物検出装置の第２の実施の形態の構成について図９〜図１２を参照して説明する。
【００３３】
尚、以下の各実施の形態において、第１の実施の形態と同一構成要素は同一符号を付し重複する説明は省略する。
【００３４】
第２の実施の形態の特徴は、差異検出部が画像変換部４−１と差異計算部４−２とから構成され、左カメラ画像を右カメラ視点の画像に変換したのち、この変換された画像の任意の領域と、この任意の領域に対応する右カメラ画像の対応領域とを比較して障害物検出を行うことである。
【００３５】
図９は第２の実施の形態のブロック構成図であり、差異検出部４は、特徴検出部３からの信号が入力される画像変換部４−１と、高さ計算部５へ信号を出力する差異計算部４−２とから構成される。尚、画像入力部１、画像蓄積部２、特徴抽出部３、高さ計算部５および出力部６の構成、動作は第１の実施の形態と同様である。
【００３６】
このような構成からなる第２の実施の形態の動作について図１０〜図１２を参照して説明する。
【００３７】
尚、以下では、右カメラ画像から変換画像を求める場合について説明するが、左カメラ画像から変換画像を得る場合も同様である。
【外９】

例えば、図１１の第２の実施の形態の動作の説明図に示す通り、右カメラ画像を上述した式を用いて画像変換すれば、同図右側に示す変換画像を得ることができる。
【００３８】
また、図１２の第２の実施の形態の動作の説明図に示す通り、道路平面上に存在する点の投影点は、左カメラ画像と変換画像とで同一となるのに対し、道路平面上にない点、すなわち、障害物（この場合は先行車両）上の点は、道路からの高さに応じて異なる位置に投影される。
したがって、この左カメラ画像と変換画像との対応する画素ごとの画素値の差分を取ることにより、道路平面上の障害物を検出する。
【外１０】

また、第１の実施の形態の差異検出部４は、各画像中の対応する画素間の画素値の差分をとることによって２枚の画像の差異を検出したが、差異計算部４−２では、各点に対して（２ｗ＋１）×（２ｗ＋１）（ただし、ｗは自然数とする）のウィンドウを設定し、ウィンドウ内の輝度値の正規化相互相関Ｃを計算して各画像の差異を検出することもできる。
２枚の画像
【外１１】

【数７】

【外１２】

検出された障害物領域は、障害物領域画像として高さ計算部５に送られる。
【００３９】
以上述べたような第２の実施の形態では、２台のカメラ間の特性の違いを吸収し、道路面の真の障害物を安定して検出することができる。
【００４０】
次に本発明の障害物検出装置の第３の実施の形態について説明する。
【００４１】
第３の実施の形態の特徴は、特徴抽出部を不要としたことである。
【００４２】
２台のテレビカメラは自車両以外の空間に固定されている。自車両などの移動体に固定されていないため、テレビカメラと道路面との幾何学的関係が変わらず、道路面上の点のステレオ画像間の変換パラメータおよび道路面の消失線の位置を不変とすることができる。使用者が例えばテレビカメラを設置しその後一度変換パラメータと道路面の消失線を予め設定しておけばよい。
【００４３】
このようにステレオカメラと道路面の木が書く関係が不変である場合には、第１、２の実施の形態にある特徴抽出部を不要とすることができる。
【００４４】
尚、本発明は上記実施の形態には限定されず、その主旨を逸脱しない範囲で種々変形して実施できることは言うまでもない。例えば、画像入力部は左右に並べた２台のテレビカメラを用いているが、互いの受光部が離間して自車両の周囲を画像として同時に撮像できれば、例えば自車両後部などのどのような位置に配置されても、また３台以上配置することもできる。
【００４５】
また、特徴抽出部では、任意の４点の対応関係を求めて変換パラメータを設定しているが、５組以上の対応関係を用いることも可能であり、その場合には１０式以上の連立方程式を最小自乗法などを用いて解けばよい。
【００４６】
また、特徴抽出部にて抽出する領域は、自車線を示す２本の白線を想定して説明しているが、道路が曲がっている場合には白線が曲線となり、この場合には白線を曲線として抽出することで、直線の白線となんら変わりなく障害物検出の動作をさせることができる。
また、道路面は平面を仮定しているが、地表に対して垂直方向に曲面を有している場合でも、平面と同様に障害物を検出することが可能である。
また、自車両は自動車、バイクなどを想定しているが、航空機、ヘリコプターなどの離着陸するような機体にも搭載し、離着陸する場所に存在する障害物の検出を行うこともできる。
【００４７】
また、上記２台のカメラを離して設置した例を示したが、複数の受光部を光学的に離間しカメラを一箇所に集中させたものを含むことは言うまでもない。
【００４８】
【発明の効果】
以上述べたような本発明によれば、走行中に自車両に振動が発生した場合や、走行している道路自身に傾斜がある場合において、自車両が走行する道路面に描かれる模様などを障害物であると誤検出するようなことをなくして、道路面の真の障害物を安定して検出することができる。
【図面の簡単な説明】
【図１】道路面とステレオカメラの位置関係の説明図。
【図２】本発明の障害物検出装置のエピポーラ拘束の説明図。
【図３】特徴抽出部の動作の説明図。
【図４】差異検出部の動作の説明図。
【図５】差異検出部の動作の別の説明図。
【図６】本発明の障害物検出装置の第１の実施の形態のブロック図。
【図７】本発明の障害物検出装置の第１の実施の形態の高さ検出部の動作の説明図。
【図８】本発明の障害物検出装置の第１の実施の形態の高さ検出部の動作の別の説明図。
【図９】本発明の障害物検出装置の第２の実施の形態のブロック構成図。
【図１０】本発明の障害物検出装置の第２の実施の形態の差異検出部の動作の説明図。
【図１１】本発明の障害物検出装置の第２の実施の形態の差異検出部の説明図。
【図１２】本発明の障害物検出装置の第２の実施の形態の差異検出部の説明図。
【符号の説明】
１画像入力部
２画像蓄積部
３特徴抽出部
４差異検出部
５高さ計算部
６出力部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an obstacle detection device, and more particularly to an obstacle detection device that detects an obstacle present on a road such as a preceding vehicle, a parked vehicle, or a pedestrian around the host vehicle.
[0002]
[Prior art]
In order to realize safe driving assistance and automatic driving of an automobile, it is important to detect obstacles around the host vehicle.
[0003]
Conventionally, technologies for detecting obstacles include those using lasers, ultrasonic waves, etc., and those using television cameras. A device using a laser is expensive, and a device using an ultrasonic wave has a low resolution of the ultrasonic wave. Therefore, there is a possibility that a problem may occur in the detection accuracy of an obstacle, and the practicality is low. Further, the active lane alone using a laser, an ultrasonic wave or the like cannot recognize the traveling lane.
[0004]
On the other hand, a television camera is relatively inexpensive, and is suitable for obstacle detection in terms of resolution, measurement accuracy, and measurement range. It is also possible to recognize the travel lane. When using a television camera, there are a method using one camera and a method using a plurality of cameras (stereo cameras).
[0005]
In the method using one camera, a road area and an obstacle area are separated from a single image captured by the camera using information such as luminance, color, or texture.
[0006]
For example, in a captured image, a medium luminance area with low saturation, that is, a gray area is extracted as a road area, or an area with less texture is obtained, and this area is extracted as a road area. Other areas may be used as obstacle areas. However, since there are many obstacles having brightness, color, or texture similar to roads, it is difficult to separate the obstacle area and the road area by this method.
[0007]
On the other hand, the method using a plurality of cameras detects an obstacle using the three-dimensional information as a clue. This method is generally referred to as stereo vision. For example, two cameras are arranged on the left and right sides, and a point that is the same point in a three-dimensional space is associated between the left and right images. The dimension position is obtained. If the position, posture, and the like of each camera with respect to the road plane are obtained in advance, the height of any point in the image from the road plane can be obtained by stereo viewing.
[0008]
By such a stereo vision technique, it is possible to obtain the presence or absence of a height and separate an obstacle area and a road area.
However, normal stereo vision has two problems: camera calibration and corresponding point search. Stereo vision is generally a technique for obtaining a three-dimensional position with respect to a coordinate system (hereinafter referred to as a stereo camera coordinate system) fixed to a stereo camera at an arbitrary point on an image. It is necessary to obtain parameters relating to the position and orientation of the camera with respect to the stereo camera coordinate system. The operation for obtaining these is called camera calibration. In camera calibration, a large number of sample points with known three-dimensional positions with respect to the stereo camera coordinate system are prepared, the projection positions of the respective sample points are obtained, and the position and orientation of the camera with respect to the stereo camera coordinate system, the camera lens are obtained from these data. A simultaneous equation with the focal length and the like as an unknown parameter is established and solved by the method of least squares or the like.
However, this operation requires a lot of calculation time and labor.
On the other hand, the corresponding point search means a search calculation necessary for associating the same point in the space between the left and right images. Corresponding point search has a problem that the calculation amount is large. Thus, camera calibration and corresponding point search are factors that hinder the practical application of stereo vision.
[0009]
However, if the road area and the obstacle area need only be separated on the image, the corresponding point search is not necessary, and the presence or absence of the height from the road plane can be determined, for example, as follows.
[0010]
If the points projected on the left and right images of the points on the road plane are (u, v) and (u ′, v ′), respectively,
[Expression 1]

The following relational expression holds.
[Outside 1]

If the point P exists on the road plane, the points P and P ′ form a correct pair of corresponding points, and the two points have the same brightness. Therefore, when the brightness of the points P and P ′ is different, it can be determined that the point P belongs to the obstacle region. In this method, it is possible to determine whether or not an arbitrary point on the image has a height from the road surface directly from only the equation (1), and the coefficient of the equation (1) is a feature point of four or more points on the road. Therefore, it is not necessary to search for corresponding points between the left and right images and to perform camera calibration using sample points whose three-dimensional positions are known.
[Outside 2]

However, when the vehicle travels outdoors, the relationship between the road plane and the relative position and posture of each camera changes from moment to moment due to vibrations of the vehicle itself, changes in road inclination, and the like.
[Outside 3]

Like pattern on the road under the influence of error contained in the parameter is erroneously detected as an obstacle, there is a problem that the detection accuracy decreases considerably.
Here, an example of the operation of the difference detection unit will be described with reference to FIGS.
[0011]
First, as shown in a perspective view for explaining the operation of FIG. 1, a flat road without tilting a vehicle on which two

cameras

10a and 10b having light receiving portions 10a1 and 10b1 separated by a predetermined distance are mounted. Place on the surface. On the road surface, there are white lines drawn in parallel with each other in the traveling direction of the vehicle. These white lines are denoted by l and l ′.
[0012]
The relationship between the positions and postures of the two

cameras

10a and 10b is unknown to the obstacle detection device, and only epipolar restraint is known. Epipolar constraints shall not change.
[0013]
The epipolar constraint is a constraint that holds for a general stereo image. As shown in the explanatory diagram of the epipolar constraint in FIG. 2, any point on the image (left image) captured by the camera 10a. P is a state in which the object P is constrained to exist on a predetermined straight line including the corresponding point P ′ on the image (right image) captured by the camera 10b. This straight line is called an epipolar line.
[0014]
For example, when the optical axes of the respective cameras are arranged so as to be parallel to each other, the corresponding point of an arbitrary point P in the left image exists on the same scanning line on the right screen, so the epipolar line and the scanning line are Will match. Epipolar constraints depend on the relationship between the relative positions and postures of stereo cameras and the internal parameters of each camera, that is, the focal length of the camera lens and the image origin. This means that the relative positional relationship of the cameras and internal parameters do not change while the vehicle is running.
[0015]
This epipolar constraint is formulated as shown in Equation (2) below.
[Expression 2]

[Outside 4]

F is a 3 × 3 matrix and is called a basic matrix. Expression (2) can be expanded and arranged as shown in (3) below.
[Equation 3]

[Outside 5]

The matrix F consists of nine elements, but each element is not independent, and theoretically, each element can be obtained from a set of seven or more corresponding points. Since the three-dimensional position of each pair of corresponding points is not necessary, the calculation of the matrix F, that is, the epipolar constraint, is relatively easy.
[0016]
Although l and l ′ in each image are parallel to each other in the three-dimensional space, on the image captured by the left and right cameras, as shown in the white line region captured by each camera in FIG. On the screen intersect at an infinitely far point called the vanishing point.
[0017]
Next, a relational expression established between corresponding points on the road surface is obtained. As shown in the diagram illustrating the corresponding points in FIG. 4, arbitrary two points on the straight line l in the left image are A and C, and arbitrary two points on the straight line l ′ are B and D.
[0018]
A ', B', C ', and D' corresponding points on the four right images can be easily calculated by using the epipolar constraint obtained in advance. That is, the corresponding point A ′ of the point A coincides with the intersection of the straight line 1 and the epipolar line LA of the point A on the right image. Similarly, the points B ′, C ′, and D ′ can be obtained as intersections between the points B, C, and D and the epipolar lines LB, LC, and LD.
[Outside 6]

[Expression 4]

[Outside 7]

[Equation 5]

For example, as shown in the converted image example of FIG. 5, the conversion obtained in this way is an image as shown in (c) when the left camera image (a) is converted into the right camera viewpoint in a stereo image. . In other words, pixels on the road surface, in the figure, can be correctly converted into corresponding points at the contact point between the vehicle tire and the road surface, whereas spatially high objects are displayed in the image. It is converted with distortion that falls down.
[Outside 8]

[Formula 6]

(However, || indicates an absolute value.)
As described above, it is possible to determine that a point P where D> Thr belongs to the obstacle region by setting a threshold Thr in consideration of errors such as D ≠ 0 or a difference in characteristics between the left and right cameras.
[0019]
However, in reality, various changes such as camera vibration and road surface inclination accompanying the movement of the vehicle occur, and it is difficult to discriminate an obstacle by the above-described equation (6). For example, the difference in brightness between a landmark (“stop”, speed limit display, white line, etc.) and the road surface is large, so the geometric relationship between the assumed road surface and the camera (the image conversion parameters described above were obtained). The relationship between the camera and the road surface at the time) and the geometrical relationship between the actual road surface and the camera, the equation (6) has a large value around the landmark (= around the edge) even though it is not an obstacle. Because it has.
[0020]
[Problems to be solved by the invention]
As described above, the obstacle detection device using the conventional TV camera has a limited use environment, requires calibration that requires a great amount of time and labor, and requires a correspondence search with a high calculation cost (quantity). In addition, there is a problem that the detection performance is significantly deteriorated in an outdoor environment because it cannot cope with vibrations and road inclinations during traveling of the vehicle.
Accordingly, the present invention has been made in view of the above-described conventional problems, and extracts projected images of two white lines at both ends of a road from images taken using a plurality of television cameras that are known only for epipolar constraints, By using the vanishing point where the two white lines intersect, calculate the relative height of the detected obstacle, and determine whether it is a true obstacle based on the relative height of the obstacle, Camera calibration is not required, and it is possible to stably detect obstacles on the road plane even when the vehicle is vibrating during driving or when the driving road itself is inclined. An object is to provide an obstacle detection device.
[0021]
[Means for Solving the Problems]
In order to achieve the above object, the obstacle detection device of the present invention includes a plurality of imaging units that simultaneously image a traveling space of the vehicle as images from a light receiving unit that is substantially separated from each other and mounted on the host vehicle. An image storage unit that stores an image captured by the imaging unit, a first image captured by the first imaging unit stored in the image storage unit, and a second image captured by the second imaging unit Feature extraction for extracting an area corresponding to an object provided substantially parallel to each other on a surface on which the host vehicle can travel and obtaining an intersection where the extracted area intersects in the first and second images A corresponding region in a second image corresponding to an arbitrary region in the first image from the extracted portion and the epipolar constraint established between the extracted region and the first and second images. The region is due to the surface A difference detection unit that compares the luminance of the arbitrary region with the corresponding region and obtains an obstacle region image from the extracted result by extracting a region having a substantially different luminance as an obstacle region; A polygonal region having a luminance equal to or higher than a reference value in the obstacle region image is extracted, and includes the intersection from the vertical size of the polygonal region in the obstacle region image and the lower end of the polygonal region. A height calculation unit that detects the polygonal area that is only a threshold value or more out of the ratio obtained from the size up to the scanning line in the obstacle area image as a true obstacle area.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
The configuration of the embodiment of the present invention will be described below with reference to the drawings.
6 to 9 are diagrams showing the obstacle detection apparatus of the present invention.
FIG. 6 is a block diagram of an embodiment of the obstacle detection device according to the present invention. The obstacle detection device is provided in a host vehicle on which a user gets, and the light receiving units 10a1 and 10b1 are placed at a predetermined distance. An image input unit 1, 1 (imaging unit) composed of two stereo cameras that are spaced apart from each other, an image storage unit 2 that stores images captured by the image input units 1, 1, and a storage in the image storage unit 2 The feature extraction unit 3 that extracts white line portions from the plurality of images obtained, the difference detection unit 4 that detects whether or not the region is an obstacle region, and the height of the obstacle are calculated from the detection results of the difference detection unit 4. And a height calculator 5 for detecting a true obstacle region.
Obstacles are detected on pedestrians, preceding vehicles, or road surfaces under conditions where vibrations that may occur when the host vehicle is traveling or changes in the inclination of the road surface exist. A situation where an obstacle is detected is assumed. Further, an image captured by the image input unit 1 disposed on the left side is set as a left camera image as a first image, and an image captured by the image input unit 1 disposed on the right side is a right camera image as a second image. And
The operation of the obstacle detection apparatus having such a configuration will be described.
First, using two television cameras, an area in the traveling direction of the host vehicle is simultaneously captured as two images.
[0024]
Next, the image storage unit 2 stores the two images input by the image input unit 1 in the image memory.
[0025]
Next, the feature extraction unit 3 includes objects provided on the road substantially parallel to each other in the area in the traveling direction of the host vehicle in the first image and the second image stored in the image storage unit, such as white lines. Two straight lines l and l ′ are extracted by edge extraction processing and Hough transformation. Further, the extracted straight lines l and l ′ are obtained as intersections that intersect in the screen as vanishing points. This vanishing point is a point where the straight lines l and l ′ intersect at a point at infinity in the first image and the second image.
[0026]
Next, the difference detection unit 4 reads the left camera image, which is the first image stored in the image storage unit 2, and converts the conversion parameter from the epipolar constraint and the two lines on the road surface by the method described above. A corresponding region (one pixel) in the other right camera image with respect to an arbitrary region (for example, one pixel) in the left camera image captured by one image input unit 1 (for example, the left stereo camera) is obtained. At this time, all the points in the left camera image are assumed to be on the road surface. Specifically, the correspondence is obtained using epipolar constraints established in the stereo image and the two lines extracted in each image by the feature extraction unit 3.
[0027]
And the brightness | luminance of this arbitrary area | region and the corresponding area | region corresponding to this arbitrary area | region is compared. As a result of the comparison, if the brightness of each area is different and there is a brightness difference that is greater than the reference value set by the user, it is determined that the arbitrary area is an obstacle area, and the obstacle is determined based on the calculated brightness difference result. An object area image is obtained. In addition, this obstacle area | region image is also what the area | region (pixel) which has height from a road surface was detected.
[0028]
Next, the height calculation unit 5 estimates the height from the road surface of each region (pixel) from the obstacle region image detected by the difference detection unit 4, and the obstacle region is determined based on the estimated height. Determine if it is a true obstacle.
[0029]
In detail, it demonstrates with reference to explanatory drawing of operation | movement of the height calculation part 5 of FIG.
[0030]
For example, it is assumed that there is an obstacle area having a luminance difference equal to or greater than a reference value set by the user in the obstacle area image. Here, a point in the lower side of the obstacle area is set as Ub, a point in the upper side is set as Ut, and a distance between Ub and Ut (a size in the vertical direction in the figure) is set as dv. The vanishing point where the straight lines l and l ′ intersect is U∞, and the distance from Ub to the vanishing line on the road surface (projected image at infinity of the road plane) (the vertical size in the figure) is V. To do. The extracted obstacle area is composed of a plurality of one pixel with one square pixel obtained by dividing the obstacle area image vertically and horizontally as a minimum unit.
Here, when the roll angle of the image input unit 1 is small, the vanishing line on the road plane substantially coincides with the scanning line passing through the vanishing point U∞ of the two straight lines l and l ′. Strictly speaking, the disappearance line of the road plane moves up and down in the image due to the vibration of the image input unit 1 accompanying the traveling of the host vehicle and the change in the inclination of the road. Since the road slope is also small and the lateral slope is much smaller than the longitudinal slope, the vanishing line on the road plane passes through the vanishing point U∞ of the two straight lines l and l ′ even when the vehicle is traveling. Approximate to scan line.
Further, as shown in the explanatory diagram of the operation of the difference detection unit 4 in FIG. 8, the distance from the ground in the real space to the place where the image input unit 1 is installed (the height of the image input unit 1 from the ground) is represented by H. And if the height of the obstacle (height of the obstacle from the ground) is h,
h / H≈dv / V (7)
The following approximate expression holds.
Here, the left side of Expression (7) is the ratio of the height of the obstacle from the ground to the height of the image input unit 1 from the ground, that is, the relative height.
If this ratio is γ,
γ = dv / V (8)
It can be expressed as.
Accordingly, the relative height γ can be obtained from the vertical size dv of the obstacle and the vertical distance V between the lower side point Ub and the vanishing line of the road plane.
The height of each obstacle detected on the image from the road plane is calculated using the equation (8). If the height is smaller than a preset height, that is, a threshold value γ _min , the extracted polygon is The region is removed from the obstacle detection as being a noise rather than a true obstacle region.
Here, the threshold value γ _min is a value set by the position where the image input unit 1 is attached and the minimum height of the obstacle to be detected. For example, the height of the image input unit 1 from the ground is set. When H is 1.5 m and you want to detect an obstacle with a height of h = 1 m or more,
γ = h / H = 1 [m] /1.5 [m] ≈0.67 (9)
And set.
Next, the output unit 6 presents information such as the position of the detected true obstacle to the user by voice, light (image), vibration, or the like, or performs such information when performing autonomous traveling. Communicate to the control system.
[0031]
In the first embodiment as described above, when the own vehicle vibrates during traveling, or when the traveling road itself is inclined, the pattern drawn on the road surface on which the own vehicle is traveling, etc. Can be prevented from being erroneously detected as an obstacle, the influence of brightness fluctuations and shadows in the imaging region can be prevented, and a true obstacle on the road surface can be stably detected.
[0032]
Next, the configuration of the second embodiment of the obstacle detection apparatus of the present invention will be described with reference to FIGS.
[0033]
In the following embodiments, the same components as those of the first embodiment are denoted by the same reference numerals, and redundant description is omitted.
[0034]
The feature of the second embodiment is that the difference detection unit is composed of an image conversion unit 4-1 and a difference calculation unit 4-2, and after the left camera image is converted into an image of the right camera viewpoint, this conversion is performed. Obstacle detection is performed by comparing an arbitrary area of the image with a corresponding area of the right camera image corresponding to the arbitrary area.
[0035]
FIG. 9 is a block diagram of the second embodiment. The difference detection unit 4 outputs a signal to the image conversion unit 4-1 to which the signal from the feature detection unit 3 is input and the height calculation unit 5. And a difference calculation unit 4-2. The configurations and operations of the image input unit 1, image storage unit 2, feature extraction unit 3, height calculation unit 5 and output unit 6 are the same as those in the first embodiment.
[0036]
The operation of the second embodiment having such a configuration will be described with reference to FIGS.
[0037]
In the following, the case of obtaining the converted image from the right camera image will be described, but the same applies to the case of obtaining the converted image from the left camera image.
[Outside 9]

For example, as shown in the explanatory diagram of the operation of the second embodiment in FIG. 11, if the right camera image is image-converted using the above-described formula, the converted image shown on the right side of the figure can be obtained.
[0038]
In addition, as shown in the explanatory diagram of the operation of the second embodiment in FIG. 12, the projected point of the point existing on the road plane is the same in the left camera image and the converted image, but on the road plane. In other words, points on the obstacle (in this case, the preceding vehicle) are projected at different positions depending on the height from the road.
Therefore, an obstacle on the road plane is detected by taking a difference between pixel values of corresponding pixels of the left camera image and the converted image.
[Outside 10]

In addition, the difference detection unit 4 according to the first embodiment detects a difference between two images by taking a difference in pixel values between corresponding pixels in each image, but the difference calculation unit 4-2 A window of (2w + 1) × (2w + 1) (where w is a natural number) is set for each point, and a normalized cross-correlation C of luminance values in the window is calculated to detect a difference between the images. You can also
2 images [Outside 11]

[Expression 7]

[Outside 12]

The detected obstacle area is sent to the height calculator 5 as an obstacle area image.
[0039]
In the second embodiment as described above, the difference in characteristics between the two cameras can be absorbed, and a true obstacle on the road surface can be detected stably.
[0040]
Next, a third embodiment of the obstacle detection apparatus of the present invention will be described.
[0041]
A feature of the third embodiment is that a feature extraction unit is not required.
[0042]
The two television cameras are fixed in a space other than the own vehicle. Since it is not fixed to a moving body such as the host vehicle, the geometric relationship between the TV camera and the road surface does not change, and the conversion parameters between the stereo images of points on the road surface and the position of the vanishing line on the road surface remain unchanged. It can be. For example, the user may set a conversion parameter and a vanishing line on the road surface in advance after installing a TV camera, for example.
[0043]
In this way, when the relationship between the stereo camera and the road surface tree is invariant, the feature extraction unit in the first and second embodiments can be dispensed with.
[0044]
Needless to say, the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention. For example, the image input unit uses two television cameras arranged side by side, but if the light receiving units are separated from each other and can simultaneously capture the surroundings of the host vehicle as an image, for example, any position such as the rear of the host vehicle It is also possible to arrange three or more units.
[0045]
Further, in the feature extraction unit, conversion parameters are set by obtaining correspondences between arbitrary four points, but it is also possible to use five or more sets of correspondences, in which case 10 or more simultaneous equations are used. Can be solved using the method of least squares.
[0046]
The region extracted by the feature extraction unit is explained assuming two white lines indicating the own lane. However, when the road is curved, the white line becomes a curve. In this case, the white line is a curved line. As a result, the obstacle detection operation can be performed without any difference from the straight white line.
Further, although the road surface is assumed to be a plane, even when the road surface has a curved surface in a direction perpendicular to the ground surface, an obstacle can be detected in the same manner as the plane.
In addition, although the host vehicle is assumed to be an automobile, a motorcycle, etc., it can be mounted on an aircraft such as an aircraft or a helicopter and take off and landing to detect an obstacle present at the place to take off and landing.
[0047]
Moreover, although the example which installed the said 2 camera apart was shown, it cannot be overemphasized that the thing which optically spaced apart the some light-receiving part and concentrated the camera in one place is included.
[0048]
【The invention's effect】
According to the present invention as described above, when vibration is generated in the own vehicle during traveling, or when the traveling road itself is inclined, the pattern drawn on the road surface on which the own vehicle is traveling, etc. It is possible to stably detect a true obstacle on the road surface without erroneously detecting it as an obstacle.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram of a positional relationship between a road surface and a stereo camera.
FIG. 2 is an explanatory diagram of epipolar restraint of the obstacle detection device of the present invention.
FIG. 3 is an explanatory diagram of an operation of a feature extraction unit.
FIG. 4 is an explanatory diagram of an operation of a difference detection unit.
FIG. 5 is another explanatory diagram of the operation of the difference detection unit.
FIG. 6 is a block diagram of the first embodiment of the obstacle detection apparatus of the present invention.
FIG. 7 is an explanatory diagram of the operation of the height detection unit according to the first embodiment of the obstacle detection apparatus of the present invention.
FIG. 8 is another explanatory diagram of the operation of the height detection unit according to the first embodiment of the obstacle detection apparatus of the present invention.
FIG. 9 is a block configuration diagram of an obstacle detection apparatus according to a second embodiment of the present invention.
FIG. 10 is an explanatory diagram of the operation of the difference detection unit of the second embodiment of the obstacle detection device of the present invention.
FIG. 11 is an explanatory diagram of a difference detection unit according to a second embodiment of the obstacle detection device of the present invention.
FIG. 12 is an explanatory diagram of a difference detection unit according to the second embodiment of the obstacle detection apparatus of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Image input part 2 Image storage part 3 Feature extraction part 4 Difference detection part 5 Height calculation part 6 Output part

Claims

A plurality of imaging units for simultaneously imaging, as an image, a region in a direction in which the light receiving units provided in the own vehicle are substantially spaced apart from each other;
An image storage unit for storing an image captured by the imaging unit;
The host vehicle in a region imaged by the imaging unit from among the first image captured by the first imaging unit and the second image captured by the second imaging unit stored in the image storage unit. A feature extraction unit for extracting a region corresponding to parallel bodies provided substantially parallel to each other on a travelable surface and obtaining an intersection where the extracted regions intersect in the first and second images;
The arbitrary region is a corresponding region in the second image corresponding to the arbitrary region in the first image from the extracted region and the epipolar constraint established between the first and second images. Difference detection that obtains an obstacle region image from the extracted result by comparing the luminance of the arbitrary region with the corresponding region as a result of a surface, extracting a region having a substantially different luminance as an obstacle region And
A polygonal region having a luminance equal to or higher than a reference value in the obstacle region image is extracted, and includes the intersection from the vertical size of the polygonal region in the obstacle region image and the lower end of the polygonal region. An obstacle comprising: a height calculation unit for detecting, as a true obstacle area, the polygonal area that is not less than a threshold value out of a ratio obtained from a size up to a scanning line in an obstacle area image; Object detection device.