JP3540005B2

JP3540005B2 - 障害物検出装置

Info

Publication number: JP3540005B2
Application number: JP08470094A
Authority: JP
Inventors: 倫也奥野; 孝直井; 勝之今西
Original assignee: Denso Corp; Nippon Soken Inc
Current assignee: Denso Corp; Soken Inc
Priority date: 1994-04-22
Filing date: 1994-04-22
Publication date: 2004-07-07
Anticipated expiration: 2019-07-07
Also published as: JPH07294251A

Description

【０００１】
【産業上の利用分野】
本発明は、車両の周囲に存在する障害物への衝突防止を行う障害物警報装置に関し、特に本発明は自車両の走行進路上の危険を発見をするための画像認識の計算量を少なくする技術に関する。
【０００２】
【従来の技術】
上記障害物検出装置には自車両と障害物との間の距離を計測する装置を用いるものがある。この距離を計測する装置には立体視法が利用される。この立体視法は、画像を利用して距離を計算する方法である。立体視法では二つの異なる視点からの輝度情報を用いて、二つの輝度情報群について距離を計測する対象物間の位置ずれ（視差）を求め、予め計測しておいた二視点間の距離、画角、画角中の輝度情報数、視点の角度より距離を求めるものである。以下にこの詳細を説明する。
【０００３】
図８は従来の一般的な立体視法に基づく距離計測装置の構成を示す図である。本図（ａ）に示す物体１１は計測される対象物である。距離計測装置には二つの視点を形成するために対象物１１に対向して二つのレンズ１２及び１３が設けられる。この二つのレンズ１２及び１３の後にそれらの光軸１６、１７がそれぞれ一致する撮像素子１４及び１５が設けられる。撮像素子１４及び１５は、例えば、ＣＣＤ（Charge Coupled Device)で構成されている。ここに、図中の「ｄ」はレンズ１２及び１３と対象物１１との距離であり、「ｆ」はレンズ１２及び１３の焦点距離であり、「ａ」、「ｂ」はそれぞれ対象物１１の同一点が、撮像素子１４、１５に投影された位置の光軸からの距離であり、「ｍ」は光軸間の距離（基線長）である。本図（ｂ）は本図（ａ）の右側の撮像装置を基線長「ｍ」だけ移動させ、左側の撮像装置に重ねた状態にしたものである。本図（ｂ）に示されるように、三角形ＡＢＣと三角形ＡＤＥは互いに相似である。そこで（ａ＋ｂ）とｍとの比はｆとｄとの比と同じになる。式にすると、
（ａ＋ｂ）：ｍ＝ｆ：ｄ
となり、これを変形すると下記式のようになる。
【０００４】
ｄ＝ｆ・ｍ／（ａ＋ｂ） …（１）
ｍとｆとを予め計測しておき、（ａ＋ｂ）の距離を計測できれば距離ｄは式（１）から導ける。これを立体視法という。
図８での（ａ＋ｂ）を求める方法は、左右の画像中の対象物の輝度値を少しずつずらしながら比較し、最も一致するずらし量を求める。このずらし量が（ａ＋ｂ）に相当し、このずらし量（ａ＋ｂ）を視差ｐという。
【０００５】
前記の最も一致するずらし量を求める方法として、一致度を調べる方法に相関計算を使う。以下に相関計算の方法について、画像認識の書籍などにも紹介されている標準的な方法を説明する。その他の方法としてこの標準的な方法を拡張したものがある。説明を簡素にするために、まず一次元の輝度値列で説明する。
図９は図８の撮像素子１４及び１５に形成される画像の例を示す図である。本図（ａ）は撮像素子１４による左画像（「左目画像」という）、撮像素子１５による右画像（「右目画像」という）を示す。
【０００６】
図１０は図９のそれぞれ参照符号２２及び２３の１行の輝度値を取り出した例を示すグラフである。本図に示す参照符号２４及び２５はそれぞれ左目画像、右目画像の輝度値のグラフである。この左目画像のグラフを右目画像のグラフに重なるまでずらしたずらし量が視差である。
図１１は図１０から図９の対象物２１の部分を取り出した例を示すグラフである。本図の参照符号４１の左目画像の輝度値の並びを数列として扱いｂn とし、参照符号４２の右目画像の輝度値も同様にａn とし、下記式の相関関数を計算する。
【０００７】

ここに、ｎは画像の画素番号、ｉは画素番号のずらし量であり、０からＳまで整数でずらし量を１ずつ増加させて、上記Ｖ（ｉ）が計算される。Ｓは、計測装置に予め検出範囲として設定される最も近い距離に関する視差に依存する。ｗは相関計算を行う幅で、目的によって値が設定される。例えば、図１１に示されるように、参照符号４２において対象物２１は画素番号１から１２に対応しているので、ｗを１０とすると最も良い視差が得られる。しかし、実際にこの方法を応用する場合には、画像上の対象物の位置と大きさが未知であることが多い。そこで、一般的にはｗの値には経験的に最も良いとされる値が採用される。
【０００８】
図１２はＶ（ｉ）の結果の例を示す図である。本図に示すように、参照符号５１は相関値が最も小さくなり、この時のｉが視差である。また、精度をより必要とする場合には、参照符号５２のように補間計算によって算出した点を視差とすることも多い（補間方法は多々ある）。
以上の説明は一次元撮像装置を用いた場合若しくは１行毎に相関計算を行う場合であったが、二次元撮像装置を用いた場合には、一般的には１行毎に行うのではなく、複数行をまとめた領域で相関計算を行う方法がある。
【０００９】
図１３は二次元撮像装置の相関計算方法を説明する図である。本図（ａ）に示すように、その方法の第１に、縦の１列毎に和を求め（射影）、１行相当の情報にし、前述の計算を行う方法（射影方式）がある。本図（ｂ）に示すように、第２に、上記式（２）をそのまま二次元で行う方法（エリア方式）がある。射影方式については、先に説明した一次元の計算をそのままでよいが、エリア方式については、横方向の１行についてそれぞれＶ（ｉ）が計算され、同じｉの所の和が求められ評価される。また、射影方式は横方向の情報を圧縮するため、左右画面の縦方向のずれに強く、計算時間も短い。
【００１０】
【発明が解決しようとする課題】
ところで、上記障害物検出装置では一組の二次元撮像素子により取得した画像を用いて障害物の検出を行う場合、これまでは画像全体について処理が行われていた。しかしながら、これでは計算量が多いため、緊急の場合には処理が間に合わなくなり支障をきたすことがあるという問題がある。
【００１１】
したがって、本発明は、上記問題点に鑑み、効率的に障害物を検出することができる障害物検出装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、前記問題点を解決するために、次の構成を有する障害物検出装置を提供する。自車両の前方視界を撮像素子により取得し、その前方視界の画像から立体物を抽出し障害物を検出する障害物検出装置には、前記自車両の位置を中心から周辺にかつ視界下部から上部に自車両の進行方向に向かって、前記自車両からの距離の近い立体物から順に検出されるように前記前方視界を複数の危険領域に区切り、前記自車両の位置を中心として外側に向かって前記複数の危険領域を移動してこの移動領域で立体物を検出する検出領域移動手段が設けられる。検出停止手段は前記複数の危険領域で最初に立体物が検出された場合にはこの立体物を障害物として認め前記検出領域移動手段による立体物の検出を停止させる。
【００１３】
【作用】
本発明の障害物検出装置によれば、前記自車両の位置を中心から周辺にかつ視界下部から上部に自車両の進行方向に向かって、前記自車両からの距離の近い立体物から順に検出されるように前記前方視界が複数の危険領域に区切られ、前記自車両の位置を中心として外側に向かって前記複数の危険領域が移動してこの移動領域で立体物が検出される。これにより危険な立体物から順に検出されるとともに、前記複数の危険領域で最初に立体物が検出された場合にはこの立体物を障害物として認め前記検出領域移動手段による立体物の検出が停止されることにより、画像全体について処理を行わずに、最も認識したい立体物の検出ができ、計算量が低減でき、効率的に障害物の検出が可能になる。
【００１４】
【実施例】
以下本発明の実施例について図面を参照して説明する。
図１は本発明の実施例に係る障害物検出装置の構成を示す図である。本図に示すように、障害物検出装置には撮像装置１１１、１１２が設けられる。各撮像装置１１１、１１２は、図８で説明したレンズ、撮像素子を有し画像信号を出力する。各撮像装置１１１、１１２にそれぞれ接続されるＡ／Ｄ変換器１１３、１１４（Analog to Digital Converter)は入力して得られた画像信号を、例えば、２５６階調の輝度値に変換する。Ａ／Ｄ変換器１１３、１１４に接続される障害物検出用計算機１１５は変換された輝度値を入力し、入力輝度値を用いて立体物を抽出する立体物抽出手段１１６と、立体物抽出データを基に障害物を検出する障害物検出手段１１７と、障害物との距離を視差から計算する視差計算手段１１８とを具備する。距離計算機１１５には、得られた障害物に対する警告、距離等を表示する警告又は距離表示器１１９が接続される。
【００１５】
次に、効率的に障害物の検出を行うことを可能にする障害物検出用計算機１１５について、以下に詳細に説明する。車両の前方視界中に存在する障害物において、距離が近くかつ自分の進路上に存在するものが、最も危険な障害物であり、最も認識したい対象物である。したがって、障害物検出用計算機１１５はこの最も認識したい対象物を優先的に検出するために以下のように構成される。
【００１６】
まず、障害物検出用計算機１１５は道路上の情報から区別して障害物である立体物のみを抽出する立体物抽出手段１１６を具備する。ここに、立体物は、道路の平面に垂直に立つものと定義され、以下により詳細に説明する。
図２は地面からある高さに、進行方向を向いた撮像手段を置いて取り込んだ平面もしくはほとんど平面に近い二次元平面と仮定できる道路の画像を示す図である。本図に示すように、自車両が走行する道路の車線の前方に他の車両である対象物１が存在し、隣の車線には他の車両である対象物２が存在し、左側の歩道には道路標識である対象物３が存在し、さらに電信柱である対象物４が存在する。これらの対象物１、２、３及び４が道路の平面に垂直な立体物である。以下にこの立体物の抽出について説明する。
【００１７】
図３は二つの撮像装置より得られた画像の差分画像を形成して立体物を抽出する例を説明する図である。本図（ａ）に示すように、車両の前方の映像は左右の撮像装置１１１、１１２で取り込まれると、立体物抽出手段１１６により重ねられる。実線が右画像であり、破線が左画像である。ここで、道路の平面を平坦とみなすときは、道路面の視差は画面の垂直方向に変化するが、立体物の視差は変化せず一定である。そこで、片方の画像を、画像の垂直位置毎に路面視差分を打ち消すように、平行移動させた後に両画像の差分画像を作成すると、路面の標識等を含む道路の平面の情報は消去される。一方、本図（ｂ）に示すように、立体物の立体視差は、路面視差と異なり斜線のように残り、このため立体物が存在する領域が残る。なお、平行移動させる距離は装置の設置条件を基に予め設定されるようにしてもよい。このようにして、道路の平面の情報を除去して障害物の候補である立体物が容易に抽出される。
【００１８】
次に、障害物検出用計算機１１５は、立体物抽出手段１１６で抽出された立体物から障害物を検出する障害物検出手段１１７を具備する。該障害物検出手段１１７は視界を複数の危険領域に区切り、最も認識したい領域から立体物の検出領域を移動していく検出領域移動手段２００と、検出領域内で最初に発見された立体物を障害物として認識し検出を停止する検出停止手段２０１とを具備する。まず、検出領域移動手段２００について説明する。
【００１９】
図４は複数の立体物から障害物を検出する例を説明するための図である。本図に示すように、視界中心下部より視界周辺に向かって、自車からの距離が大きくなる。すなわち、視界中心下部は自車に近い立体物であり、視界中心上部は自車ら遠い立体物である。道路面上に存在する立体物は空中に浮かんでいないため、視界下部より上部に向かって立体物を検出していけば、距離の近い立体物から、すなわち、危険な立体物から順に検出されることになる。さらに、自分の進行方向は中心線上を下から上に向かっており、同じ距離にある立体物であっても自分の進路上にある立体物、すなわち、中心線に近い立体物の方が危険である。
【００２０】
図５は、視界を複数の領域に区切り、最も危険な領域に存在する立体物を障害物として検出する例を示す図であり、図６は図５の障害物の検出の変形を示す図である。図５、６に示すように、検出領域移動手段２００では、自車前方の視界に対して、危険の程度を示すために自車の位置からの距離、自車の進行する中心線をパラメータとして、例えば、視界を複数の危険領域Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５に区切る。このような、複数の危険領域の内から外に向かって、すなわち、危険領域Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５の順に移動して立体物の存在が検出される。このため、危険度の高い立体物、すなわち、認識したい立体物から順に検出されていくことになる。
【００２１】
次に、検出領域移動手段２００により立体物の検出が一定の順序で行われるが、検出停止手段２０１は、検出領域移動手段２００による最初に障害物の検出の有無を判断し、検出されたとの判断で、検出領域移動手段２００の検出処理を停止させかつこの結果を警報又は距離表示器１１９に表示させる。本発明は、車両の走行進路上の危険を効率的に発見することが目的であるから、進行方向上にある最も危険な位置に存在する立体物を障害物として検出すれば、目的は果たされる。すなわち、計算量を少なくでき、効率化が図れる。
【００２２】
図７は本発明の実施例の一連の動作を説明する図である。
ステップＳ１において、立体物抽出手段１１６は各撮像装置１１１、１１２からの画像を取り込む。
ステップＳ２において、各撮像装置１１１、１１２からの右画像及び左画像を平行移動して両画像の差分画像を形成し道路の平面の像を消去し、立体物の像だけを抽出する。
【００２３】
ステップＳ３において、検出領移動手段２００において、危険領域Ｒ＝１に設定して、立体物の検出を開始する。
ステップＳ４において、検出停止手段２０１において、危険領域Ｒ＝１に立体物すなわち立体物が存在するかを判断する。
ステップＳ５において、上記判断が「ＹＥＳ」で、立体物が有るならばこれを障害物として判断し、検出領域移動手段２００の検出を停止させる。
【００２４】
ステップＳ６において、「障害物有り」の警告を警報又は距離表示器１１９により行う。
ステップＳ７において、前述の式（１）により障害物までの距離を計算する。ステップＳ８において、上記距離を警報又は距離表示器１１９により表示して、処理を終了する。
【００２５】
ステップＳ９において、ステップＳ４での判断が「ＮＯ」なら、立体物無しとの判断なら、危険領域Ｒ＝Ｒmax の成否を判断する。この判断が「ＹＥＳ」なら、自車前方の視界のどの危険領域にも障害物がないので処理を終了する。
ステップＳ１０において、上記判断が「ＮＯ」の場合には、Ｒをカウントアップして、検出領域移動手段２００により、次の危険領域で、障害物の有無の検索を続行するため、ステップＳ４に戻り、上記処理を繰り返る。
【００２６】
【発明の効果】
以上説明したように本発明によれば、自車両の位置を中心から周辺にかつ視界下部から上部に自車両の進行方向に向かって、自車両からの距離の近い立体物から順に検出されるように前記前方視界が複数の危険領域に区切られ、自車両の位置を中心として外側に向かって複数の危険領域が移動してこの移動領域で危険な立体物から順に検出され、複数の危険領域で最初に立体物が検出された場合にはこの立体物を障害物として認め立体物の検出が停止されるので、画像全体について処理を行わずに、最も認識したい立体物の検出ができ、計算量が低減でき、効率的に障害物の検出が可能になる。
【図面の簡単な説明】
【図１】本発明の実施例に係る障害物検出装置の構成を示す図である。
【図２】地面からある高さに、進行方向を向いた撮像手段を置いて取り込んだ平面もしくはほとんど平面に近い二次元面と仮定できる道路の画像を示す図である。
【図３】二つの撮像装置より得られた画像の差分画像を形成して立体物を抽出する例を説明する図である。
【図４】複数の立体物から障害物を検出する例を説明するための図である。
【図５】視界を複数の領域に区切り、最も危険な領域に存在する立体物を障害物として検出する例を示す図である。
【図６】図５の障害物の検出の変形を示す図である。
【図７】本発明の実施例に一連の動作を説明する図である。
【図８】従来の一般的な立体視に基づく距離計測装置の構成を示す図である。
【図９】図８の撮像素子１４及び１５に形成される画像の例を示す図である。
【図１０】図９のそれぞれ参照符号２２及び２３の１行の輝度値を取り出した例を示すグラフである。
【図１１】図１０から図９の対象物２１の部分を取り出した例を示す図である。
【図１２】Ｖ（ｉ）の結果の例を示す図である。
【図１３】二次元撮像装置の相関計算方法を説明する図である。
【符号の説明】
１１１、１１２…撮像装置
１１５…障害物検出用計算機
１１６…立体物抽出手段
１１７…障害物検出手段
１１８…視差計算手段
１１９…警報又は距離表示器
２００…検出領域移動手段
２０１…検出停止手段

Claims

自車両の前方視界を撮像素子により取得し、その前方視界の画像から立体物を抽出し障害物を検出する障害物検出装置において、
前記自車両の位置を中心から周辺にかつ視界下部から上部に自車両の進行方向に向かって、前記自車両からの距離の近い立体物から順に検出されるように前記前方視界を複数の危険領域に区切り、前記自車両の位置を中心として外側に向かって前記複数の危険領域を移動してこの移動領域で立体物を検出する検出領域移動手段と、
前記複数の危険領域で最初に立体物が検出された場合にはこの立体物を障害物として認め前記検出領域移動手段による立体物の検出を停止させる検出停止手段とを備えることを特徴とする障害物検出装置。
前記障害物の検出の結果を警告することを特徴とする、請求項１に記載の障害物検出装置。
検出された前記障害物との距離を、視差を基に、算出することを特徴とする、請求項１に記載の障害物検出装置。
前記複数の危険領域は、前記自車両の前方の視界に対して危険の程度を示すために自車の位置からの距離、自車の進行する中心線をパラメータとして視界を区切られていることを特徴とする請求項１に記載の障害物検出装置。