JP5182589B2 - 障害物検出装置 - Google Patents

Description

本発明は、障害物検出装置に関し、詳しくは、車載カメラによって撮影された車両周辺の画像を、上方視点から見下ろした画像に射影変換する技術に関連するものである。

上記のように構成された障害物検出装置と関連する技術として特許文献１には、異なる位置で撮影された車両周囲の画像を路面に投影変換することで路面投影像を作成し、また、路面以外の物体の領域を抽出し、路面投影画像に重ね合わせ、差を求めることにより、路面外物体の領域を抽出する処理形態が記載されている。更に、この特許文献１では、路面外の物体の領域の輪郭を物体に由来するものと、投影の歪みによるものとに分類し、投影像から変換された画像に、その領域の輪郭を付加することで車両の周囲の状況を分かり易くする点が記載されている。

この特許文献１では、車両や人物のように高さ成分を有する立体物では、高さが高いほど、その物体を投影した画像の歪みが大きくなる不都合があり、鳥瞰画像とした場合には、実在の物体との対応が困難になることから、立体物を見やすく表示している。

また、関連する技術として非特許文献１には、移動前後の画像を用い、移動前の画像から移動後の画像を予測して比較するが、路面模様の点であれば予測した画像と移動後の画像とが一致する。立体物上の点であれば一致せず視差が生じるために、その点に関する距離と高さとを計算できることが開示されている。

特開２００１‐１１４０４７号公報 （段落番号〔００１５〕〜〔００１８〕、〔００３２〕〜〔００５０〕、図１〜図９）

瀧波栄作・石川繁樹・宮内ミナミ・小沢慎治 共著「無人搬送車の視覚誘導のための障害物検出の一手法」 電子情報通信学会論文誌 D Vol.J68-D No.10 pp.1789-1791 発行日：1985/10/20

車載カメラで車両の周囲を撮影しモニタに表示する際の表示形態として、特許文献１に記載されるもののように車載カメラで撮影された画像を路面に投影した投影像を生成し、この投影像をモニタに表示することも考えられる。このように表示される画像は、鳥瞰画像やトップビューとして説明されることも多く、その画像が車両の上方の視点から撮影されたものとなることから、車両の周囲の状況を把握しやすくすると云う良好な面もある。

このように車載カメラの画像を変換することで鳥瞰画像を生成するものでは、立体物も路面上に存在する表示形態となることから、特許文献１に記載されるように立体物を抽出して表示することにより、立体物の位置を把握できるようにしている。

車載カメラで撮影した撮影画像に基づいて立体物の位置を計測するには、複数の車載カメラを用いることで視差を生じている２つの撮影画像の差分から実現できる。また、立体物の位置を検出する精度を高めるには、車載カメラを３つ以上備えることで実現するものであるが、例えば、３つ以上の車載カメラを用いた場合には、カメラを備えるためコストが上昇するばかりではなく、３つの撮影画像を取得し、夫々の撮影画像の差分を取る処理を行うことから処理に時間が掛かる点において好ましくない。

特に、障害物が路面から浮き上がっているもの（路面に接していない部分があるもの）では、その浮き上がり状態を高精度で検出したい要望があるものの、ハードウエアのコストの上昇や、処理時間の長時間化は避けたい面もある。

また、非特許文献１のように、単純な積み木の世界を想定したシーンにおいてはエッジの対応付けが必要ない場合もあり得るが、現実のリアルワールドにおいては適用できない場合が多い。現実の世界では路面上に多様な模様があり、立体物上にも多様な模様があり、このようなシーンにおいては、開示された方法では物体上の点であることを判別できないので、画像上に現れた全ての点について、予測画像と移動後画像との間で対応付けを行い距離と高さとを演算する必要があり、計算量が増大すると云う問題がある。

本発明の目的は、立体物の抽出を精度高く行い得る障害物検出装置を合理的に構成する点にある。

本発明の特徴は、車両周辺を撮影するカメラと、
車両の位置座標と、車両の姿勢とを検出する自車位置検出手段と、
車両が所定位置にあるタイミング、及び、この所定位置から移動した移動位置にあるタイミングにおいて、前記カメラで撮影領域が一部共有される第１撮影画像と第２撮影画像と撮影する撮影制御手段と、
前記第１撮影画像を、路面上に設定した仮想平面及び路面と平行する姿勢で路面との高さが異なる複数の仮想射影面のうち、少なくとも２つの仮想平面に対し上方視点から見下ろした変換画像に射影変換する第１射影変換部と、
前記第２撮影画像を、路面上に設定した仮想平面及び路面と平行する姿勢で路面との高さが異なる複数の仮想射影面のうち、少なくとも２つの仮想平面に対し上方視点から見下ろした変換画像に射影変換する第２射影変換部と、
前記第１射影変換部で前記第１撮影画像から生成された複数の変換画像を重ねた状態において重複する領域に存在する画像領域を抽出する第１立体物候補領域抽出手段と、
前記第２射影変換部で前記第２撮影画像から生成された複数の変換画像を重ねた状態において重複する領域に存在する画像領域を抽出する第２立体物候補領域抽出手段と、
前記第１立体物候補領域抽出手段で抽出された画像領域の複数の特徴点と前記第１撮影画像の光学中心とを通過する複数の第１方位直線を設定し、この複数の第１方位直線を含む垂直姿勢の仮想垂直面において、第１撮影画像の光学中心から前記画像領域の下端を通過する第１勾配直線を生成する第１勾配直線生成手段と、
前記第２立体物候補領域抽出手段で抽出された画像領域の複数の特徴点と前記第２撮影画像の光学中心とを通過する複数の第２方位直線を設定し、この複数の第２方位直線を含む垂直姿勢の仮想垂直面において、第２撮影画像の光学中心から前記画像領域の下端を通過する第２勾配直線を生成する第２勾配直線生成手段と、
前記第１勾配直線と前記第２勾配直線を路面上に設定した基準座標に座標変換を行った状態で、複数の第１勾配直線と複数の第２勾配直線とが交差する複数の交点、又は、複数の第１勾配直線に比例する勾配の第１仮想直線と、複数の第２勾配直線に比例する勾配の第２仮想直線とが交差する交点のうち、前記画像領域の下端を通過する直線同士の交点の位置を前記画像領域の手前端として検出する手前端検出手段と、
前記手前端検出手段で検出された画像領域の手前端から立体物が存在する領域を特定する立体物領域特定手段とを備えている点にある。

この構成によると、第１撮影画像から第１射影変換部が２つの変換画像を生成する。これと同様に、第２射影変換部が少なくとも２つの変換画像を生成する。第１立体物候補領域抽出手段は対応する複数の変換画面から第１立体物候補領域を抽出し、第２立体物領域抽出手段は対応する複数の変換画面から第２立体物候補領域を抽出する。これらの処理により、第１撮影画像と、際２撮影画像とにおいて立体物が存在していると予想される領域として、立体物候補領域を設定できる。次に、第１勾配直線生成手段により、第１立体物候補領域抽出手段で抽出された画像領域の複数の特徴点と第１撮影画像の光学中心とを通過する複数の第１方位直線を含む垂直姿勢の仮想垂直面において光学中心から立体画像の下端を通過する第１勾配直線が生成される。これと同様の処理を第２勾配直線生成手段が行うことにより、第２立体物候補領域抽出手段で抽出された画像領域について第２勾配直線が生成される。そして、手前端検出手段が第１勾配直線と第２勾配直線とのいずれかを、第１撮影画像、あるいは、第２撮影画像の撮影位置のいずれかを基準とする座標変換の後に、複数の第１勾配直線と複数の第２勾配直線とが交差する複数の交点、又は、第１仮想直線と第２仮想直線とが交差する交点のうち、前記画像領域の下端を通過する直線同士の交点の位置を画像領域の手前端として検出する。そして、この手前端情報に基づいて立体物領域特定手段が立体物領域を特定する。
その結果、立体物の抽出を精度高く行い得る障害物検出装置が構成された。

本発明の特徴は、車両周辺を撮影領域が共有する状態で撮影する２つのカメラと、
２つのカメラの一方で撮影された第１撮影画像と、他方で撮影された第２撮影画像との撮影位置関係を保存する撮影位置情報保存手段と、
前記第１撮影画像を、路面上に設定した仮想平面及び路面と平行する姿勢で路面と高さが異なる複数の仮想射影面のうち、少なくとも２つの仮想平面に対し上方視点から見下ろした変換画像に射影変換する第１射影変換部と、
前記第２撮影画像を、路面上に設定した仮想平面及び路面と平行する姿勢で路面と高さが異なる複数の仮想射影面のうち、少なくとも２つの仮想平面に対し上方視点から見下ろした変換画像に射影変換する第２射影変換部と、
前記第１射影変換部で前記第１撮影画像から生成された複数の変換画像を重ねた状態において重複する領域に存在する画像領域を抽出する第１立体物候補領域抽出手段と、
前記第２射影変換部で前記第２撮影画像から生成された複数の変換画像を重ねた状態において重複する領域に存在する画像領域を抽出する第２立体物候補領域抽出手段と、
前記第１立体物候補領域抽出手段で抽出された画像領域の複数の特徴点と前記第１撮影画像の光学中心とを通過する複数の第１方位直線を設定し、この複数の第１方位直線を含む垂直姿勢の仮想垂直面において、第１撮影画像の光学中心から前記画像領域の下端を通過する第１勾配直線を生成する第１勾配直線生成手段と、
前記第２立体物候補領域抽出手段で抽出された画像領域の複数の特徴点と前記第２撮影画像の光学中心とを通過する複数の第２方位直線を設定し、この複数の第２方位直線を含む垂直姿勢の仮想垂直面において、第２撮影画像の光学中心から前記画像領域の下端を通過する第２勾配直線を生成する第２勾配直線生成手段と、
前記第１勾配直線と前記第２勾配直線を路面上に設定した基準座標に座標変換を行った状態で、複数の第１勾配直線と複数の第２勾配直線とが交差する複数の交点、又は、複数の第１勾配直線に比例する勾配の第１仮想直線と、複数の第２勾配直線に比例する勾配の第２仮想直線とが交差する交点のうち、前記画像領域の下端を通過する直線同士の交点の位置を前記画像領域の手前端として検出する手前端検出手段と、
前記手前端検出手段で検出された画像領域の手前端から立体物が存在する領域を特定する立体物領域特定手段とを備えている点にある。

この構成によると、第１撮影画像から第１射影変換部が２つの変換画像を生成する。これと同様に、第２射影変換部と少なくとも２つの変換画像を生成する。第１立体物候補領域抽出手段は対応する複数の変換画面から第１立体物候補領域を抽出し、第２立体物領域抽出手段は対応する複数の変換画面から第２立体物候補領域を抽出する。これらの処理により、第１撮影画像と、際２撮影画像とにおいて立体物が存在していると予想される領域として、立体物候補領域を設定できる。次に、第１勾配直線生成手段により、第１立体物候補領域抽出手段で抽出された画像領域の複数の特徴点と第１撮影画像の光学中心とを通過する複数の第１方位直線を含む垂直姿勢の仮想垂直面において光学中心から立体画像の下端を通過する第１勾配直線が生成される。これと同様の処理を第２勾配直線生成手段が行うことにより、第２立体物候補領域抽出手段で抽出された画像領域について第２勾配直線が生成される。そして、手前端検出手段が第１勾配直線と第２勾配直線とのいずれかを、第１撮影画像、あるいは、第２撮影画像の撮影位置のいずれかを基準とする座標変換の後に、複数の第１勾配直線と複数の第２勾配直線とが交差する複数の交点、又は、第１仮想直線と第２仮想直線とが交差する交点のうち、前記画像領域の下端を通過する直線同士の交点の位置を画像領域の手前端として検出する。そして、この手前端情報に基づいて立体物領域特定手段が立体物領域を特定する。
その結果、立体物の抽出を精度高く行い得る障害物検出装置が構成された。

本発明は、前記第１立体物候補領域抽出手段と前記第２立体物候補領域抽出手段とは、処理対象とする２つの前記変換画像から輪郭抽出フィルタでの輪郭抽出により画像領域を抽出する画像領域抽出処理の後に、２つの射影画像を重ね合わせて画像領域の累積を取ることで重複する領域に存在する画像領域を特定する処理により画像領域を抽出しても良い。

これによると、複数の射影画像において抽出された輪郭で取り囲まれる画像領域を画像領域抽出処理が抽出し、複数の変換画像を重ね合わせた状態で重複する画像領域を立体物候補領域として立体物候補領域抽出手段が抽出する。

第１実施形態の車両の運転座席近傍を示す図である。 第１実施形態の車両構成を模式的に示す平面図である。 視点変換の一例を示す説明図である。 カメラによって撮影された画像を示す図である。 略垂直方向からの視点の画像へ変換された画像を示す図である。 第１実施形態の制御構成を示すブロック回路図である。 第１実施形態の制御の概要を示すフローチャートである。 立体物と光学中心と２つ仮想平面との関係を示す斜視図である。 立体物と光学中心と２つ仮想平面との関係を示す側面図である。 立体物と光学中心と複数の仮想平面との関係を示す側面図である。 第１仮想平面と第２仮想平面とに生成された変換画像を示す図である。 ２値化後の２つの変換画像を示す図である。 立体物領域が特定された画像を示す図である。 方位直線を設定する原理の説明図である。 方位直線と仮想垂直面と勾配直線との説明図である。 ２つの光学中心を通る勾配直線の説明図である。 下端が路面に接する立体物に形成される勾配直線と累積直線との説明図である。 下端が路面から離間した立体物に形成される勾配直線と累積直線との説明図である。 第１累積直線と第２累積直線との交点から立体物の下端を特定する説明図である。 第２実施形態の車両構成を模式的に示す平面図である。 第２実施形態の制御構成を示すブロック回路図である。 第２実施形態の制御の概要を示すフローチャートである。

以下、本発明の第１実施の形態を図面に基づいて説明する。
〔第１実施形態・全体構成〕
本発明の障害物検出装置は、例えば、駐車支援装置や運転支援装置などに利用されるものである。図１及び図２は、障害物検出装置が搭載される車両３０の基本構成を示したものである。運転席に備えられたステアリングホイール２４は、パワーステアリングユニット３３と連動し、回転操作力を前輪２８ｆに伝えて車両３０の操舵を行う。車両前部にはエンジン３２と、このエンジン３２からの動力を変速して前輪２８ｆや後輪２８ｒに伝えるトルクコンバータやＣＶＴ等を有する変速機構３４とが配置されている。車両３０の駆動方式（前輪駆動、後輪駆動、四輪駆動）に応じて、前輪２８ｆ及び後輪２８ｒの双方もしくは何れかに動力が伝達される。運転席の近傍には走行速度を制御するアクセル操作手段としてのアクセルペダル２６と、前輪２８ｆ及び後輪２８ｒのブレーキ装置３１を介して前輪２８ｆ及び後輪２８ｒに制動力を作用させるブレーキペダル２７とが並列配置されている。

運転席の近傍のコンソールの上部位置には、モニタ２０（表示装置）が備えられている。モニタ２０は、バックライトを備えた液晶式のものである。モニタ２０の表示面には、感圧式や静電式によるタッチパネルが形成され、指などの接触位置をロケーションデータとして出力することによって、利用者による指示入力を受け付ける。タッチパネルは、例えば、駐車支援開始の指示入力手段として用いられる。また、モニタ２０には、スピーカも備えられており、種々の案内メッセージや効果音を発することができる。車両３０にナビゲーションシステムが搭載される場合、モニタ２０はナビゲーションシステムの表示装置として用いるものを兼用すると好適である。尚、モニタ２０は、プラズマ表示型のものやＣＲＴ型のものであっても良く、スピーカはドアの内側など他の場所に備えられても良い。

ステアリングホイール２４の操作系にはステアリングセンサ１４が備えられ、ステアリング操作方向と操作量とが計測される。シフトレバー２５の操作系にはシフト位置センサ１５が備えられ、シフト位置が判別される。アクセルペダル２６の操作系にはアクセルセンサ１６が備えられ、操作量が計測される。ブレーキペダル２７の操作系にはブレーキセンサ１７が備えられ、操作の有無などが検出される。

また、移動距離センサとして、前輪２８ｆ及び後輪２８ｒの少なくとも一方の回転量を計測する車輪回転センサ１８が備えられる。本実施形態では、後輪２８ｒに車輪回転センサ１８が備えられた場合を例示している。尚、移動距離については、変速機構３４において、駆動系の回転量から車両３０の移動量を計測するようにしてもよい。また、車両３０には本発明の障害物検出装置として機能するＥＣＵ（electronic control unit）１０が配置されている。

車両３０の後部には、車両３０の後方を撮影するカメラＣａｍが備えられている。カメラＣａｍは、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を内蔵し、当該撮像素子に撮像された情報を動画情報としてリアルタイムに出力するデジタルカメラである。カメラＣａｍは、広角レンズを備えており、例えば左右約１４０度程度の画角を有している。カメラＣａｍは、略水平方向の視点を有して、車両３０の後方の情景を撮影可能に設置されている。カメラＣａｍは、車両３０の後方に向けて例えば３０度程度の俯角を有して設置され、概ね後方８ｍ程度までの領域を撮影する。撮影された画像は、障害物検出装置として機能するＥＣＵ１０に入力される。

〔ＥＣＵの制御構成〕
ＥＣＵ１０は、マイクロプロセッサを有し、プログラムを実行することにより必要とする処理を実現する。このＥＣＵ１０では、図６に示すように、ステアリングセンサ１４、シフト位置センサ１５、アクセルセンサ１６、ブレーキセンサ１７、車輪回転センサ１８夫々からの信号を取得する自車位置演算手段１と、この自車位置演算手段１からの情報に基づいてカメラＣａｍを制御する撮影制御手段２と、この撮影制御手段２を介してカメラＣａｍで先に撮影した第１撮影画像を保存する第１フレームメモリＭ１と、この後にカメラＣａｍで撮影した第２撮影画像を保存する第２フレームメモリＭ２とを備えている。

撮影制御手段２は、自車位置演算手段１からの情報に基づいて先に撮影した第１撮影画像と、この後に撮影された第２撮影画像との撮影領域が一部共有するように撮影タイミングを設定すると共に、自車位置演算手段１からの情報に基づき夫々の撮影タイミングにおける車両３０の相対位置と、車両３０の相対姿勢とを取得する。

このＥＣＵ１０は、第１フレームメモリＭ１からの１フレーム（１コマ）の撮影画像から上方視点のから見下ろした２種の変換画像を生成する第１射影変換部Ｎ１を備えている。この第１射影変換部Ｎ１からの変換画像に基づいて立体物領域を抽出する第１立体物領域抽出手段Ｕ１を備えている。また、このＥＣＵ１０には第１立体物領域抽出手段Ｕ１で生成された立体物領域に基づいて第１勾配直線１を生成する第１勾配直線生成手段Ｖ１を備えている。この第１勾配直線生成手段Ｖ１は、例えば、図１４（ａ）に示すように、立体物領域の下端の４つの特徴点Ｘ，Ｙ、Ｚ、Ｔに対応して第１方位直線ＤＸ１、ＤＹ１、ＤＺ１、ＤＴ１を設定する。これらの第１方位直線ＤＸ１、ＤＹ１、ＤＺ１、ＤＴ１は第１方位直線Ｄ１の一例である。

第１方位直線ＤＸ１に対応した第１勾配直線Ｅ１を生成する処理の具体例として、図１５に示すように特徴点Ｘに対応した第１方位直線ＤＸ１を含む垂直姿勢の仮想垂直面Ｗにおいて第１撮影画像の光学中心Ｃ１から画像領域の下端の特徴点Ｘを通過する第１勾配直線ＥＸ１（第１勾配直線Ｅ１の一例）を生成する。この特徴点Ｘは立体物の下端の手前側（光学中心Ｃ１に近い側）に位置するものであり、これを手前端と称している。図面には示していなが、第１勾配直線生成手段Ｖ１は第１方位直線ＤＹ１、ＤＺ１、ＤＴ１についても第１勾配直線を生成する。そして、第２フレームメモリＭ２からの１フレーム（１コマ）の撮影画像についても、同様の処理を並列的に行うように、第１射影変換手段Ｔ１及び第２射影変換手段Ｔ２を有する第２射影変換部Ｎ２と、第２勾配直線生成手段Ｖ２とを備えている。

第１立体物領域抽出手段Ｕ１と、第２立体物領域抽出手段Ｕ２とは、後述する画像抽出処理と、立体物候補領域抽出処理と、立体物領域抽出処理とを行う。特に、立体物候補領域抽出処理で抽出される立体物候補領域と、立体物領域抽出処理で抽出される立体物領域とが、本発明の画像領域の概念に含まれるものであり、立体物候補領域と立体物領域との何れも第１、第２勾配直線生成手段Ｖ１、Ｖ２における処理対象にすることができる。これと同様に、立体物候補領域と立体物領域との何れも立体物領域特定手段５での処理対象とすることができる。

第１射影変換部Ｎ１と、第２射影変換部Ｎ２とは、第１射影変換手段Ｔ１と第２射影変換手段Ｔ２とを備えている。この第１射影変換手段Ｔ１は路面レベルの第１仮想平面Ｓ１（図８、図９を参照）に対して射影変換による変換画像を形成し、第２射影変換手段Ｔ２は路面レベルより高いレベルとなる第２仮想平面Ｓ２に対して変換画像を生成する。第１勾配直線生成手段Ｖ１は、前述したように、第１方位直線Ｄ１を設定し、第１勾配直線Ｅ１を生成する。第２勾配直線生成手段Ｖ２は、第２方位直線Ｄ２を設定し、第２勾配直線Ｅ２を生成する。これらの制御形態の詳細は後述する。

更に、このＥＣＵ１０は、複数の第１勾配直線Ｅ１と複数の第２勾配直線Ｅ２とが交差する複数の交点、又は、複数の第１勾配直線Ｅ１に比例する勾配の第１累積直線Ｆ１（第１仮想直線の一例）と、複数の第２勾配直線Ｅ２に比例する勾配の第２累積直線Ｆ２（第２仮想直線の一例）とが交差する交点のうち、前記画像領域の下端を（同じ特徴点を）通過する直線同士の交点ｄの位置を手前端位置として検出する手前端検出手段３を備えている。この手前端検出手段３で検出される手前端とは、路面から上方に伸びる立体物の場合には、路面と接する下端のうち光学中心Ｃ１、Ｃ２に近い側を指すものとなり、路面から上方に離間したオーバーハングする立体物の場合においては路面から離間する立体物の下端のうち光学中心Ｃ１、Ｃ２に近い側を指すことになる。この手前端を具体的に説明すると、図１２〜図１４に示すトップビュー画像で観察したとき、路面に接地した位置からそのまま上方に伸びる立体物の場合には、路面と接する下端位置はカメラの位置から見て最も手前に映り、手前端検出手段３はこの位置を手前端として検出する。また、路面から上方に離間したオーバハングする立体物の場合においては路面から離間する立体物の下端位置は実際の位置より遠方側にずれて映るが、前記画像領域の下端を通過する直線同士の交点の位置を検出するように手前端検出手段３を構成したので、路面から上方に離間したオーバハングする立体物においても実際の位置、すなわち、オーバハングする立体物の手前側の特徴点の直下の路面位置を手前端として検出することができる。
撮影制御手段２から取得した相対位置情報と相対姿勢情報とに基づいて画像位置補正情報を生成する画像位置補正情報生成手段４を備えている。また、手前端検出手段３で検出された手前端の情報と、第１、第２立体物領域抽出手段Ｕ１、Ｕ２で抽出された立体物領域の情報と、画像位置補正情報生成手段４からの情報と、第１射影変換部Ｎ１の第１射影変換手段Ｔ１で生成された変換画像とに基づいて変換画像中の立体物領域を特定する立体物領域特定手段５を備えている。そして、この立体物領域特定手段５で特定される立体物の画像の歪みを補正してモニタ２０に出力する射影歪補正部６と、立体物領域特定手段５で特定される立体物の画像に特定情報を重畳してモニタ２０に出力する重畳部７とを備えている。

自車位置演算手段１と、撮影制御手段２と、第１、第２射影変換部Ｎ１、Ｎ２と、第１、第２立体物領域抽出手段Ｕ１、Ｕ２と、第１、第２勾配直線生成手段Ｖ１、Ｖ２と、手前端検出手段３と、画像位置補正情報生成手段４と、立体物領域特定手段５と、射影歪補正部６と、重畳部７とは何れもプログラム（ソフトウエア）で構成されるものである。しかしながら、これらは個別にハードウエアで構成するもので良く、個々の一部をハードウエアで構成しプログラムとの組み合わせによって処理を実現するものや、個々をハードウエアで構成するものであっても良い。

また、第１、第２射影変換部Ｎ１、Ｎ２を１つのモジュール等で構成し、先に取得した第１撮影画像と、後に取得した第２撮影画像との処理を１つのモジュールで行うように兼用化しても良い。これと同様に、第１、第２立体物領域抽出手段Ｕ１、Ｕ２を兼用化するように１つのモジュール等で構成し、第１、第２勾配直線生成手段Ｖ１、Ｖ２を兼用化するように１つのモジュール等で構成しても良い。

このＥＣＵ１０では、車両３０の移動時にカメラＣａｍで撮影領域が一部共有されるタイミングで２フレーム（２コマ）撮影を行い、取得した２フレームの撮影画像から立体画像を抽出し、その立体画像の位置の特定を可能にする。

〔射影変換部による処理の概要〕
第１、第２射影変換部Ｎ１、Ｎ２を構成する第１射影変換手段Ｔ１と、第２射影変換手段Ｔ２とは、路面上に設定した第１仮想平面Ｓ１と、路面と平行する姿勢で路面より高いレベルの第２仮想平面Ｓ２とに対して、１フレームの撮影画像を上方視点から見下ろした変換画像を射影変換によって生成する。尚、この第１、第２射影変換部Ｎ１、Ｎ２は何れも、３つ以上の仮想平面に対して変換画像を生成するものであっても良い。

この第１、第２射影変換部Ｎ１、Ｎ２による処理がホモグラフィーと称されることもあり、この第１、第２射影変換部Ｎ１、Ｎ２は、仮想平面Ｓ（複数の仮想平面の総称）に対して鳥瞰画像の一種としてのＧＰＴ（ground plane transformation ）画像を生成する。処理の概要としては、カメラＣａｍによって所定角度で路面を撮影した１フレームの撮影画像を取得し、この撮影画像が存在する画像平面と仮想平面Ｓとの固有の射影変換関係に基づいて生成される変換式に従って撮影画像を仮想平面に射影変換し、必要な校正処理が行われる。尚、処理の具体例として、特開２００６−１４８７４５号公報に示されるように、ホモグラフィーを用い、工場等において（ユーザが使用前に）カメラを校正することで画像面と路面との変換関係を求めておくと好適である。

例えば、図３に示すようにカメラＣａｍによって撮影領域ａを撮影した場合には撮影画像は図４に示す通りである。これに対して、第１、第２射影変換部Ｎ１、Ｎ２によって射影変換された後の変換画像は、この撮影領域ａを略垂直方向から見下ろす視点を有する仮想カメラＣａｍＡによって撮影された画像と近似し、図５に示す通り、変換された画像は、いわゆる鳥瞰画像となり、左下、右下には、画像データが存在しないことによる空白域が生じている。広角レンズによる歪曲補正処理を施す必要があることは明白なことであるので、詳細説明は省略する。

第１、第２射影変換部Ｎ１、Ｎ２における変換画像の具体例として、第１仮想平面Ｓ１に生成される変換画像として図１１（ａ）に示すものを挙げることが可能である。また、これより高いレベルにある第２仮想平面Ｓ２に形成される変換画像として図１１（ｂ）に示すものを挙げることが可能である。これらの図においてＣ（Ｃ１、Ｃ２の上位概念）で示される点は光学中心である。

図８及び図９に示すように、下端が路面に接する状態の直方体状の立体物４０を撮影した撮影画像を、第１仮想平面Ｓ１に射影変換を形成した場合、変換画像中に存在する立体物４０の下端位置Ｐと上端位置Ｑを結ぶ辺（縦向きの線）は、この第１仮想平面Ｓ１において点Ｐ１から点Ｑ１に亘る長さの直線状に形成される。また、この撮影画像を、第２仮想平面Ｓ２に射影変換を形成した場合、変換画像中に存在する立体物４０の下端位置Ｐと上端位置Ｑを結ぶ辺は、この第２仮想平面Ｓ２において点Ｐ２から点Ｑ２に亘る長さの直線状に形成される。

この場合、下端位置Ｐと光学中心Ｃとを結ぶ下端側仮想ラインＬｐを想定し、上端位置Ｑと光学中心Ｃとを結ぶ上端側仮想ラインＬｑを想定すると、下端側仮想ラインＬｐと第２仮想平面Ｓ２とが交差する位置が点Ｐ２となり、上端側仮想ラインＬｑと第２仮想平面Ｓ２とが交差する位置が点Ｑ２となる。

更に、図１０に示すように、射影変換部Ｎ（第１、第２射影変換部Ｎ１、Ｎ２の上位概念）において第１仮想平面Ｓ１〜第４仮想平面Ｓ４の４つの仮想平面Ｓ（複数の仮想平面の上位概念）に対して変換画像を形成するものでは、立体物４０の下端位置Ｐが第１仮想平面Ｓ１〜第４仮想平面Ｓ４に対応して点Ｐ１〜点Ｐ４として表れ、高いレベルの仮想平面Ｓほど、立体物４０の下端位置Ｐに対応する画像が光学中心Ｃに接近する方向に変位する。尚、同図においては立体物４０の上端位置Ｑが第１仮想平面Ｓ１〜第４仮想平面Ｓ４に対応して点Ｑ１〜点Ｑ４として表れ、高いレベルの仮想平面Ｓほど、上端位置Ｑに対応する画像が光学中心Ｃの方向に変位することになるが、この上端位置Ｑは撮影画像に含まれないことも多く、処理の対象としていない。

また、路面から垂直に上方に向かう姿勢の立体物は、仮想平面Ｓに対して射影変換された場合に、光学中心Ｃの方向に向かう姿勢の画像となる。

〔手前端検出手段による処理の概要〕
図１３において領域Ｒで取り囲まれた領域を第１立体物領域抽出手段Ｕ１及び第２立体物領域抽出手段Ｕ２で抽出された立体物領域である場合、例えば、図１４に示すように、第１立体物領域抽出手段Ｕ１における光学中心Ｃ１と立体物領域の特徴点とを通過する第１方位直線Ｄ１（同図におけエッジラインＥＬと同様の放射状の直線）を想定する。そして、図１５に示すようにこの第１方位直線Ｄ１を含む垂直姿勢の仮想垂直面Ｗにおいて光学中心Ｃ１と立体物領域の手前端（特徴点Ｘ）とを通過する第１勾配直線Ｅ１を得ることができる。

これと同様の処理を第２立体物領域抽出手段Ｕ２で抽出された立体物領域について行うことにより、複数の第２勾配直線Ｅ２を得ることができる。第１立体物領域抽出手段Ｕ１と第２立体物領域抽出手段Ｕ２とで抽出される立体物領域は同じ対象であるので特徴点は略一致するため、第１勾配直線Ｅ１と第２勾配直線Ｅ２とは同数であると考えられる。

また、第１、第２勾配直線Ｅ１、Ｅ２を生成する場合に、立体物領域（立体物４０）が路面に接触する位置に存在する場合には、図１７に示すように、多数の仮想平面（Ｓ１〜Ｓ８）に変換画像が形成されたものにおいても第１、第２勾配直線Ｅ１、Ｅ２が路面において交差する。これに対して立体物領域（立体物４０）の下端が路面から上方に離間してオーバーハングしているものでは、図１８に示すように、多数の仮想平面（Ｓ１〜Ｓ８）に変換画像が形成されたものにおいても第１勾配直線と第２勾配直線とは立体物領域（立体物４０）の下端位置で交差するものの、路面との交差位置は互いに離間したものとなる。

このような原理に基づいて第１立体物領域抽出手段Ｕ１に基づいて生成した複数の第１勾配直線Ｅ１と第２立体物領域抽出手段Ｕ２に基づいて生成した複数の第２勾配直線Ｅ２との交点の位置を立体物領域の下端位置を捉え、結果として、光学中心Ｃと下端位置（手前端）までの距離を精度高く検出して、その位置を特定できるものにする。

本発明では、勾配直線Ｅを求める計算方法として図１５を参照して説明したもの以外に複数の仮想平面Ｓに形成された変換画像から求めることも可能である。つまり、図１７及び図１８のように多数の仮想平面（Ｓ１〜Ｓ８）に形成された変換画像の下端位置をカメラ側端点に設定し、このカメラ側端点を通過する直線を勾配直線として取得するのである。具体的には、第１立体物領域抽出手段Ｕ１における光学中心Ｃ１を基準にして、多数の仮想平面（Ｓ１〜Ｓ８）に形成されるカメラ側端点をＪ１〜Ｊ８として示しており、これらのカメラ側端点（Ｊ１〜Ｊ８）のうち少なくとも２つを通過する直線を第１勾配直線Ｅ１として取得できる。これと同様に、第２立体物領域抽出手段Ｕ２における光学中心Ｃ２を基準にして、仮想平面（Ｓ１〜Ｓ８）に形成されるカメラ側端点をＫ１〜Ｋ８として示しており、これらのカメラ側端点（Ｋ１〜Ｋ８）のうち少なくとも２つを通過する直線を第２勾配直線Ｅ２として取得できる。

これらの図のうち最上層の仮想平面Ｓ８について、光学中心Ｃ１を基準にしたものでは領域ＪＡに変換画像が形成され、光学中心Ｃ２を基準にしたものでは領域ＫＡに変換画像が形成される。この領域ＪＡ、ＫＡは他の仮想平面Ｓ１〜Ｓ７についても同様に説明できる。従って、このように形成される領域ＪＡ、ＫＡのうち光学中心に近い端部がカメラ側端点として捉えられるのである。

前述した図１７及び図１８には、多数の仮想平面Ｓ（Ｓ１〜Ｓ８）を想定し、平面視において第１勾配直線Ｅ１及び第２勾配直線Ｅ２の上に存在する仮想平面Ｓ上に存在した領域ＪＡ、ＫＡの数を累積値として表した第１累積直線Ｆ１（第１仮想直線の一例）と第２累積直線Ｆ２（第２仮想直線の一例）とを示している。つまり、第１勾配直線Ｅ１が最上部の仮想平面Ｓ（Ｓ８）の１つ下層に存在する領域では、この領域の上に１つの仮想平面Ｓが存在するため、第１累積直線Ｆ１において対応する領域の値は１を示す。これと同様に第１勾配直線Ｅ１が最上部から２つ目の仮想平面Ｓ（Ｓ７）の１つ下層に存在する領域では、この領域の上に２つの仮想平面Ｓが存在するため、第１累積直線Ｆ１において対応する領域の値は２を示す。尚、このような数値に対応して階段状のグラフＧ１、Ｇ２として表すことが可能である。

また、第１累積直線Ｆ１は第１勾配直線Ｅ１の勾配に比例する勾配を有し、第２累積直線Ｆ２は第２勾配直線Ｅ２の勾配に比例する勾配を有する。図面に示すように、第１累積直線Ｆ１と第２累積直線Ｆ２とは立体物領域の下端位置で交差することから、立体物領域の下端を検出するために、この第１累積直線Ｆ１と第２累積直線Ｆ２使用しても良く、図１９には第１累積直線Ｆ１と第２累積直線Ｆ２に基づいて立体物領域の手前端（下端）を検出する具体的な処理形態を示している。

つまり、第１立体物領域抽出手段Ｕ１で抽出した立体物領域の複数の特徴点に対して光学中心Ｃ１から複数の方位直線を想定し、この複数の方位直線を含む仮想垂直面において光学中心Ｃ１と立体物領域の手前端（下端）とを通過する第１勾配直線Ｅ１を生成する。このように生成した複数の第１勾配直線Ｅ１に対応した累積直線Ｆ１を識別するために、所定の順序でＦＸ１、ＦＹ１、ＦＺ１、ＦＴ１の符号を付している。

これと同様に、第２立体物領域抽出手段Ｕ２で抽出した立体物領域の複数の特徴点に対して光学中心Ｃ２から複数の方位直線を想定し、この複数の方位直線を含む仮想垂直面において光学中心Ｃ２と立体物領域の手前端（下端）とを通過する第２勾配直線Ｅ２を生成する。このように生成した複数の第２勾配直線Ｅ２に対応した累積直線Ｆ２を識別するために、所定の順序でＦＸ２、ＦＹ２、ＦＺ２、ＦＴ２の符号を付している。このように第１立体物領域抽出手段Ｕ１で抽出した立体物領域の複数の特徴点と光学中心Ｃ１とを通過する方位直線の数と、第２立体物領域抽出手段Ｕ２で抽出した立体物領域の複数の特徴点と光学中心Ｃ２とを通過する方位直線の数は一致する。従って、第１累積直線Ｆ１と第２累積直線Ｆ２との数も一致する。

このように生成された第１累積直線ＦＸ１、ＦＹ１、ＦＺ１、ＦＴ１と、第２累積直線ＦＸ２、ＦＹ２、ＦＺ２、ＦＴ２とは光学中心Ｃが異なるため、同じワールド座標系に合わせるように第１撮影画像と第２撮影画像を路面上に設定した基準座標に座標変換を行うことにより、図１９示す如く、第１累積直線ＦＸ１、ＦＹ１、ＦＺ１、ＦＴ１と、第２累積直線ＦＸ２、ＦＹ２、ＦＺ２、ＦＴ２とが交差する複数の交点を得る。このように交差する交点のうち、同じ特徴点に基づいて生成されている直線同士の交点ｄを求め、これを結ぶラインが立体物領域の手前端（下端）として検出することが可能となる。

特に、第１累積直線ＦＸ１、ＦＹ１、ＦＺ１、ＦＴ１と、第２累積直線ＦＸ２、ＦＹ２、ＦＺ２、ＦＴ２とは設定された同じ順序で特徴点を指定することによって生成されているので、生成された第１累積直線Ｆ１と第２累積直線Ｆ２とのうち生成された順番が同じもの同士が交差する交点ｄの座標を求める処理が行われる。具体的な処理形態として、第１、第２勾配直線生成手段Ｖ１、Ｖ２では、特徴点を選択する順序が予め設定され、この順序に従って複数の方位直線を設定し、夫々の方位直線には選択した順序を示す数値を与えている。この順序を示す数値は勾配直線にも引き継がれるため、第１累積直線ＦＸ１、ＦＹ１、ＦＺ１、ＦＴ１と第２累積直線ＦＸ２、ＦＹ２、ＦＺ２、ＦＴ２とが交差する交点を求める場合には、設定された順序に従って第１累積直線Ｆ１と第２累積直線Ｆ２との比較が行われる。このように予め設定された直線同士が交差する交点群の座標値を計算するので、例えば、全ての直線が交差する交点群の座標値を求め、この座標値から目的とする下端（手前端）を特定する処理を行うものと比較すると、無駄な計算を抑制して計算量の低減が可能となり、処理の高速化が可能となる。

また、この立体物領域の手前端（下端）を検出するに、複数の第１勾配直線Ｅ１と複数の第２勾配直線Ｅ２とが交差する交点を求めても良い。この処理においても、予め設定された直線同士が交差する交点群の座標値を計算することが可能となるので、例えば、全ての直線が交差する交点群の座標値を求め、この座標値から目的とする手前端（下端）を特定する処理を行うものと比較すると、計算量の低減が可能となり、処理の高速化が可能となる。

このような原理から手前端検出手段３では、第１累積直線ＦＸ１、ＦＹ１、ＦＺ１、ＦＴ１と第２累積直線ＦＸ２、ＦＹ２、ＦＺ２、ＦＴ２とが交差する交点を求める処理が行われる。尚、この手前端検出手段３はノイズ等が原因により、第１累積直線Ｆ１の数と、第２累積直線Ｆ２の数とが一致しない場合には、全ての累積直線が交差する交点を求め、統計的な手法によって手前端を特定することになる。

このように、手前端検出手段３では、移動後の画像において交点が最も累積する位置を物体の手前端として設定する。特徴点が多い場合には、真の手前端に交点が集中し、この後端に位置がガウス分布することも期待できる。また、立体物に模様が少ない場合には多くの特徴点を設定することができず、交点数の少なくなることも予想される。何れの場合でも、確からしい交点集中位置をロバスト推定手法で推定することが考えられ、推定した位置を物体の手前端を代表する位置として特定することが可能である。

〔障害物検出装置の処理形態〕
本発明の障害物検出装置において、カメラＣａｍでの撮影から、先に説明した射影変換部による処理と、手前端検出手段３による処理とを含み、立体物の位置が特定された画像がモニタ２０に表示されるまでの処理の概要を図７のフローチャートに示しており、図６に示すＥＣＵ１０の制御構成における情報の流れと併せて説明する。

自車位置演算手段１からの情報に基づき、車両３０が設定距離だけ移動した場合には、撮影制御手段２がカメラＣａｍから撮影画像を取得し、先に撮影された１フレーム（１コマ）の第１撮影画像が第１フレームメモリＭ１に保存され、次に撮影された１フレーム（１コマ）の第２撮影画像が第２フレームメモリＭ２保存される。また、この撮影時には第１撮影画像を取得したタイミングと、第２撮影画像を撮影したタイミングとにおける相対的な車両３０の位置情報と、車両３０の姿勢情報とが撮影制御手段２で取得される（＃１０１ステップ）。

第１射影変換部Ｎ１では、第１撮影画像から第１射影変換手段Ｔ１が第１仮想平面Ｓ１に変換画像を生成し、第２射影変換手段Ｔ２が第１仮想平面Ｓ１より高いレベルの第２仮想平面Ｓ２に変換画像を生成する。これと同様に、第２射影変換部Ｎ２では、第２撮影画像から第１仮想平面Ｓ１に変換画像を生成し、第２仮想平面Ｓ２に変換画像を生成する（＃１０２ステップ）。

第１射影変換手段Ｔ１で生成される変換画像を図１１（ａ）に示し、第２射影変換手段Ｔ２で生成される変換画像を図１１（ｂ）に示している。同図に示す如く、２種の変換画像の中央の柱状物Ｖ（立体物４０の一例）の画像に注目すると、夫々の柱状物Ｖの画像の下端位置（Ｐ１で示す）は、第２射影変換手段Ｔ２で生成されたものが第１射影変換手段Ｔ１で生成されたものの下端位置（Ｐ２で示す）より光学中心Ｃに接近しており、夫々の下端位置が互いにオフセットしていることが理解できる。

第１立体物領域抽出手段Ｕ１及び第２立体物領域抽出手段Ｕ２は、射影変換手段Ｔから第１射影変換手段Ｔ１と第２射影変換手段Ｔ２との変換画像を取得し、この２種の変換画像に基づき画像領域抽出処理と、立体物候補領域抽出処理と、立体物領域抽出処理とを、この順序で行う(＃１０３ステップ)。

画像領域抽出処理では、夫々の変換画像について輪郭を強調する微分フィルタを適用することでエッジ強調により輪郭を抽出し、２値化処理と所定の閾値を超えるものを抽出する処理によりノイズが除去された明瞭な画像を抽出する。この画像領域抽出処理を行うことにより、図１２（ａ）と図１２（ｂ）とに示す立体物領域（画像領域）が生成される。

立体物候補領域抽出処理では、画像領域抽出処理後の２つの変換画像を重ね合わせ、論理積を取る処理が行われる。この処理により重複する画像領域が立体物候補領域として抽出される。尚、本発明の立体物候補領域抽出処理では、重複する画像領域を抽出する処理として論理積（ＡＮＤ）を取る処理以外の処理として、算術加算（ＡＤＤ）や算術積（ＭＵＬ）等の算術論理演算処理を行っても良い。

立体物領域抽出処理では、立体物の垂直な輪郭線が射影変換部により変換された画像上では光学中心Ｃから放射状に変換される特性に基づいて、立体物候補画像領域が光学中心Ｃから放射状に形成される領域に存在するか否かの判別を行う。具体的には、図１３に示すように、立体物候補画像領域のエッジラインＥＬを抽出して延長したものが光学中心Ｃに向かうか否かの判別を行い、エッジラインＥＬが光学中心Ｃに向かうものを立体物画像が存在する立体物領域として抽出される（同図では、領域Ｒで囲まれるもの）。尚、立体物領域とは、立体物画像の輪郭と一致する領域として捉えることが可能である。

この抽出を行う場合、エッジラインＥＬは光学中心Ｃと必ずしも交差する必要は無く、光学中心Ｃの近傍に達するものでも良い。また、この立体物領域抽出処理として、光学中心Ｃから放射状に多数の仮想ラインを生成し、立体物候補画像領域の縦のラインの姿勢が仮想ラインに近似するものを立体物領域として抽出するように処理形態を設定しても良い。

これらの処理を行うことにより、立体物候補領域抽出処理によって路面の模様が立体物候補領域として抽出されている場合でも、この路面の模様が例えば、単純な幾何学模様が連続する形態であっても、この幾何学模様が光学中心Ｃから放射状に形成される領域に含まれないため、この路面の模様を立体物領域として抽出することはない。

立体物領域抽出処理によって立体物領域が抽出されると、第１勾配直線生成手段Ｖ１は、立体物領域に含まれる画像の特徴点を設定順序で指定することで、光学中心Ｃ１から特徴点を通る複数の方位直線を生成し、更に、夫々の方位直線が含まれる仮想垂直面を生成し、この仮想垂直面において光学中心Ｃ１と立体物領域の手前端とを通る第１勾配直線Ｅ１を生成する。

この第１勾配直線Ｅ１を生成する際の具体的な計算手法として、図１６に示す如く、その下端が路面から上方に離間した立体物領域（立体物４０）を例に挙げると、例えば、第１立体物領域抽出手段Ｕ１で抽出した立体物領域（立体物４０）の下端（手前端）の特徴点Ｘと光学中心Ｃ１とを通過する第１方位直線ＤＸ１を設定した場合には、この第１方位直線ＤＸ１を含む仮想垂直面Ｗ（仮想平面Ｓと直交する姿勢）に特徴点Ｘと光学中心Ｃ１とを通過する第１勾配直線Ｅ１を描くことが可能となる。この第１勾配直線Ｅ１は第１仮想平面Ｓ１において立体物領域の下端が現れる点ＳＸ１と、第２仮想平面Ｓ２において立体物領域の下端が現れる点ＳＸ２と、光学中心Ｃ１とを結ぶ直線であることから、これらの点から直線の式として取得することが可能である。尚、この勾配直線を生成する処として、前述したように複数の仮想平面Ｓを生成し、夫々の仮想平面Ｓに形成されている変換画像のカメラ側端点を結ぶ直線により勾配直線を生成しても良い。

第２勾配直線生成手段Ｖ２において第２勾配直線Ｅ２を生成する際にも同様の計算手法が用いられ、特徴点Ｘと光学中心Ｃ１とを通過する第２方位直線ＤＸ２を含む仮想垂直面において第２勾配直線Ｅ２が描かれ、この第２勾配直線Ｅ２の式が取得される。その下端が路面から上方に離間した立体物領域を対象としているため、図１９に示すように第１勾配直線Ｅ１と第２勾配直線Ｅ２とが公差する交点がその下端（手前端）が立体物領域の下端と一致するものとなる。そして、手前端検出手段３が交点の位置を求めることにより、光学中心Ｃから立体物領域（立体物４０）までの距離を決定する（＃１０４ステップ）。

特に、手前端検出手段３によって交点の位置を求める際には、第１勾配直線生成手段Ｖ１で生成された第１勾配直線Ｅ１と、第２勾配直線生成手段Ｖ２で生成された第２勾配直線Ｅ２との一方の座標変換を行い、光学中心Ｃ１を光学中心Ｃ２に一致させた状態で交点の位置を求める処理が行われる。

具体的な処理形態としては、図１４に示すように立体物領域（立体物４０）の下端（手前端）の複数の特徴点Ｘ、Ｙ、Ｚ、Ｔ夫々と、光学中心Ｃ１とを通過する第１方位直線ＤＸ１、ＤＹ１、ＤＺ１、ＤＴ１を設定することができる。また、第１方位直線ＤＸ１を含む垂直姿勢の仮想垂直面Ｗにおいて、立体物領域（立体物４０）と光学中心Ｃ１とを通る第１勾配直線ＥＸ１（Ｅ１の一例）を計算により生成することが可能である。これ以外の第１方位直線ＤＹ１、ＤＺ１、ＤＴ１についても同様の処理から第１勾配直線ＥＹ１、ＥＺ１、ＥＴ１を生成できる。

このような処理により光学中心Ｃ２とを通過する第２方位直線ＤＸ２、ＤＹ２、ＤＺ２、ＤＴ２を設定することができ、第２勾配直線ＥＸ２、ＥＹ２、ＥＺ２、ＥＴ２を生成できる。図１９には、複数の第１勾配直線Ｅ１（ＤＸ１、ＤＹ１、ＤＺ１、ＤＴ１）に対応した第１累積直線Ｆ１（ＦＸ１、ＦＹ１、ＦＺ１、ＦＴ１）と、第２勾配直線Ｅ２（ＥＸ２、ＥＹ２、ＥＺ２、ＥＴ２）に対応した第２累積直線Ｆ２（ＦＸ２、ＦＹ２、ＦＺ２、ＦＴ２）との一方の座標変換を行うことにより２つの光学中心Ｃ１、Ｃ２を一致させた図を示している。同図に示されるように、同じ特徴点を通る直線の交点ｄから立体物領域（立体物）の手前端を検出する処理の説明が可能である。

この立体物領域の手前端を検出する処理として前述したように、複数の第１勾配直線Ｅ１（ＥＸ１、ＥＹ１、ＥＺ１、ＥＴ１）と複数の第２勾配直線Ｅ２（Ｘ２、ＥＹ２、ＥＺ２、ＥＴ２）とが交差する交点を求めても良く、このように交点を求めることで前述した処理と同様の検出結果を得る。

これらの処理を行うことにより、その立体物が路面から浮き上がったものであっても（オーバーハングしていても）、この手前端は平面視における下端位置と一致するものであり、この手前端と車両位置との間の距離が、立体物と車両３０との距離として取得できる。複数の第１累積直線Ｆ１と複数の第２累積直線Ｆ２との交点の座標を求める処理では、同じ特徴点に対応する第１累積直線Ｆ１と第２累積直線Ｆ２とが交差する交点を求めるので、無駄な計算を抑制して計算量の低減が可能となり、処理の高速化を実現している。

この手前端を検出する処理では、第１、第２立体物領域抽出手段Ｕ１、Ｕ２で複数の立体物領域が抽出されている場合には、抽出されている立体物領域の全てについて行われるが、例えば、車両３０に近い位置の立体物領域にだけ行っても良い。

次に、画像位置補正情報生成手段４では、第１撮影画像と第２撮影画像との撮影時における相対的な車両位置と車両姿勢情報とから変換画像の重ね合わせの補正情報を設定する。そして、立体物領域特定手段５では、第１、第２立体物領域抽出手段Ｕ１、Ｕ２で抽出された立体物領域の情報と、手前端検出手段３で検出された手前端の情報と、画像位置補正情報とに基づいて立体物領域の位置を確定する。そして、立体物領域の形状や大きさに対応して立体物を特定し得る画像として図１３において領域Ｒとして示した枠状画像等や、立体物を覆うメッシュ等の特定画像と、この特定画像を表示すべきロケート情報とを生成する（＃１０５ステップ）。

そして、第１射影変換手段Ｔ１で生成された射影変換画像を射影歪補正部６で補正してモニタ２０に表示すると共に、前述した特定画像をロケート情報に基づいて図１４に示すように重畳部７が介してモニタ２０に表示する（＃１０６ステップ）。図１４においては、立体物を特定する特定画像として枠状の領域Ｒを示しているが、枠状でなく、立体物の領域の色相を変換させることや、近傍にマーキングを表示すること等、図面に示す形態でなくても良い。

射影変換により生成した変換画像における柱状の立体物は上端側が極めて伸びる形態に変換されることから、この伸びを圧縮するように射影歪補正部６が補正を行う。また、重畳部７は立体物領域特定手段５で生成された特定画像を第１射影変換手段Ｔ１で生成された射影変換画像に対してロケート情報に基づき重畳して表示する処理を行う。

これによりモニタ２０にはカメラで撮影された撮影画像に基づいて、上方の視点から見下ろす画像に射影変換された変換画像が表示され、この変換画像のうち立体物に対応する領域（立体物領域）には、立体物であることを明示する枠状画像等が重畳して表示されることからモニタ２０において立体物を認識できる。

〔第２実施形態・全体構成〕
この第２の実施形態の障害物検出装置では、図２０に示すように、第１カメラＣａｍ１と第２カメラＣａｍ２とを撮影領域を共有する位置関係で備えた点を除き、車両３０の構成は第１実施形態と共通している。また、ＥＣＵ１０では、第１カメラＣａｍ１と第２カメラＣａｍ２とから取得した撮影画像の処理を行うものであるが、制御形態は第１実施形態と基本的に共通するものである。このような理由から、この第２実施形態で参照される図面において、第１実施形態と同じ構成については第１実施形態と共通する番号・符号を付している。

〔ＥＣＵの制御構成〕
ＥＣＵ１０は、マイクロプロセッサを有し、プログラムを実行することにより必要とする処理を実現する。また、このＥＣＵ１０は、図２１に示すように、撮影制御手段２に対して第１カメラＣａｍ１で撮影された第１撮影画像が入力すると共に、第２カメラＣａｍ２で撮影された第２撮影画像が入力する点が第１実施形態と異なるものの、他の構成は第１実施形態の構成と共通する。

撮影制御手段２は、第１カメラＣａｍ１と第２カメラＣａｍ２とで同時に撮影を実行し、第１カメラＣａｍ１から第１撮影画像を取得し、第２カメラＣａｍ２から第２撮影画像を取得する。この撮影制御手段２は第１カメラＣａｍ１と第２カメラＣａｍ２とで撮影される第１撮影画像と第２撮影画像との相対的位置関係を示す情報を保持している。

ＥＣＵ１０には、第１、第２フレームメモリＭ１、Ｍ２と、第１、第２射影変換部Ｎ１、Ｎ２と、第１、第２立体物領域抽出手段Ｕ１、Ｕ２と、第１、第２勾配直線生成手段Ｖ１、Ｖ２と、手前端検出手段３と、画像位置補正情報生成手段４と、立体物領域特定手段５と、射影歪補正部６と、重畳部７とを備えており、これらは第１実施形態と共通の機能を有する。

このＥＣＵ１０では、車両３０が所定距離移動する毎に第１カメラＣａｍ１と第２カメラＣａｍ２とで撮影を行い、同じタイミングで取得した２フレームの撮影画像から立体画像を抽出し、その立体画像の位置の特定を可能にする。

この第２実施形態では、射影変換部による処理の概要、及び、手前端特定手段３による処理の概要も第１実施形態と共通しているため説明は省略する。

〔障害物検出装置の処理形態〕
本発明の障害物検出装置では、第１カメラＣａｍ１と第２カメラＣａｍ２とでの撮影を行い、先に説明した射影変換部による処理と、手前端特定手段３による処理とを行い、更に、立体物の位置が特定された画像がモニタ２０に表示されるまでの処理を行う。これらの処理の概要を図２２のフローチャートに示しており、ＥＣＵ１０の制御構成における情報の流れを図２１に示している。

車両３０が設定位置に達すると撮影制御手段２が第１カメラＣａｍ１から第１撮影画像を取得すると共に第２カメラＣａｍ２が第２撮影画像を取得する。１フレーム（１コマ）の第１撮影画像が第１フレームメモリＭ１に保存され、１フレーム（１コマ）の第２撮影画像が第２フレームメモリＭ２保存される（＃２０１ステップ）。尚、撮影制御手段２は、前述したように第１カメラＣａｍ１と第２カメラＣａｍ２との相対的位置関係を示す情報を保存する撮影位置情報保存手段として機能する。

フローチャートでは、＃２０１ステップの処理のみが第１実施形態の＃１０１ステップと異なり、＃２０２〜＃２０６ステップは第１実施形態の＃１０２〜＃１０７ステップと共通しているため、＃２０２ステップ以降の処理については省略する。

これによりモニタ２０にはカメラで撮影された撮影画像に基づいて、上方の視点から見下ろす画像に射影変換された変換画像が表示され、この変換画像のうち立体物に対応する領域（立体物領域）には、立体物であることを明示する枠状画像等が重畳して表示されることからモニタ２０において立体物を認識できる。

第１実施形態と第２実施形態とで説明したように本発明では、異なるタイミングで撮影された第１撮影画像と第２撮影画像、若しくは、２つのカメラで同時に撮影された第１撮影画像と第２撮影画像を取得する。次に、第１撮影画像と第２撮影画像とから個別に第１仮想平面Ｓ１と第２仮想平面Ｓ２とに変換画像を生成し、これらに微分処理等を行い立体物等の輪郭を抽出し、２値化処理によってノイズを除去し、２値化処理後の第１、第２仮想平面との変換画像を重ね合わせて論理積を取ることで立体物等が存在する範囲を明確にして第１立体物候補領域と第２立体物候補領域を抽出する。

立体物が異なるレベルの仮想平面Ｓに射影変換された場合には、変換画像に含まれる立体物領域の下端位置が異なる（オフセットする）ものとなり、しかも、この立体画像が、光学中心Ｃを中心として形成される放射状の領域に沿って形成される特性を有している。このような特性から、この第１立体物候補領域と第２立体物候補領域のうち光学中心Ｃを中心として形成される放射状領域に沿って形成されたものを立体物領域として特定できる。

第１撮影画像から特定された立体物領域（画像領域）について第１方位直線Ｄ１を設定し、第１勾配直線Ｅ１を生成し、第２撮影画像から特定された立体物領域（画像領域）について第２方位直線Ｄ２を設定し、第２勾配直線Ｅ２を生成し、これらの直線のうち同じ特徴点を通る直線同士の交点ｄを求めることで立体物の下端（手前端）を特定している。この処理を行う場合に、比較的高い精度で立体物領域が抽出され、しかも、複数の第１累積直線Ｆ１と複数の第２累積直線Ｆ２との交点の座標を求める処理では、同じ特徴点に対応する第１累積直線Ｆ１と第２累積直線Ｆ２とが交差する交点を求めるので、無駄な計算を抑制して計算量の低減が可能となり、処理の高速化を実現している。

そして、立体物領域が明瞭化し、しかも、路面に対してオーバーハングしている状態の立体物に対応する立体物領域であっても、下端位置が明瞭化することにより、立体物領域特定手段５で特定される立体物領域の位置の精度が高くなり、モニタ２０に対して、領域Ｒにより明示される立体物領域（立体物の画像）と車両３０との距離の精度が高くなる。従って、モニタ２０に表示される立体物領域に基づいて、その立体物領域に存在する立体物と車両３０との接触を回避することや、立体物の状況を良好に視認することも可能となる。

〔別実施の形態〕
本発明は、上記した実施の形態以外に以下のように構成しても良い。

（ａ）射影変換部Ｎが、３つ以上の仮想平面Ｓに対して変換画像を形成するように構成する。３つ以上の仮想平面Ｓに対して変換画像を形成した場合にも、第１、第２立体物領域抽出手段Ｕ１、Ｕ２においては画像領域抽出処理と立体物候補抽出処理とを複数の変換画像に対して行うことになる。そして、立体物候補領域が抽出された変換画像の全てを重ね合わせて論理積を取っても良い。このように３つ以上の変換画像の論理積を取ることにより検出精度を一層高くできる。

（ｂ）第１立体物領域抽出手段Ｕ１と第２立体物領域抽出手段Ｕ２とは、立体物領域抽出処理を行わずに、立体物候補領域抽出処理で抽出された立体物候補領域（画像領域の一例）を立体物領域特定手段５に与えるように制御形態を設定しても良い。
このような処理を行うことで第１立体物領域抽出手段Ｕ１と第２立体物領域抽出手段Ｕ２との処理の負担を軽減して処理速度の向上を図れる。

（ｃ）抽出された立体物４０は路面上に存在する障害物と捉え得ることから、車両３０から障害物（立体物４０）までの距離を画像処理によって取得し、取得した距離が設定値より小さい値に達した場合に、ブザーを作動させる処理や、合成された人の言葉で障害物に接近している情報をスピーカから出力する処理を行うように構成する。

本発明は、車両に備えた複数のカメラで取得した１フレームの撮影画像に基づいて車両周辺のトップビューを表示する画像表示系に利用することができる。

１ 自車位置検出手段
２ 撮影制御手段・撮影位置情報保存手段
３ 手前端検出手段
５ 立体物領域特定手段
Ｃａｍ カメラ
Ｃａｍ１・Ｃａｍ２ カメラ
Ｓ１・Ｓ２ 仮想平面（第１仮想平面・第２仮想平面）
Ｅ１ 第１方位直線
Ｅ２ 第２方位直線
Ｆ１ 第１仮想直線（第１累積直線）
Ｆ２ 第２仮想直線（第２累積直線）
Ｔ１ 第１射影変換手段
Ｔ２ 第２射影変換手段
Ｎ１ 第１射影変換部
Ｎ２ 第２射影変換部
Ｕ１ 第１立体物候補領域抽出手段
Ｕ２ 第２立体物候補領域抽出手段
Ｖ１ 第１勾配直線生成手段
Ｖ２ 第２勾配直線生成手段
Ｗ 仮想垂直面

Claims (3)

1. 車両周辺を撮影するカメラと、
   車両の位置座標と、車両の姿勢とを検出する自車位置検出手段と、
   車両が所定位置にあるタイミング、及び、この所定位置から移動した移動位置にあるタイミングにおいて、前記カメラで撮影領域が一部共有される第１撮影画像と第２撮影画像と撮影する撮影制御手段と、
   前記第１撮影画像を、路面上に設定した仮想平面及び路面と平行する姿勢で路面との高さが異なる複数の仮想射影面のうち、少なくとも２つの仮想平面に対し上方視点から見下ろした変換画像に射影変換する第１射影変換部と、
   前記第２撮影画像を、路面上に設定した仮想平面及び路面と平行する姿勢で路面との高さが異なる複数の仮想射影面のうち、少なくとも２つの仮想平面に対し上方視点から見下ろした変換画像に射影変換する第２射影変換部と、
   前記第１射影変換部で前記第１撮影画像から生成された複数の変換画像を重ねた状態において重複する領域に存在する画像領域を抽出する第１立体物候補領域抽出手段と、
   前記第２射影変換部で前記第２撮影画像から生成された複数の変換画像を重ねた状態において重複する領域に存在する画像領域を抽出する第２立体物候補領域抽出手段と、
   前記第１立体物候補領域抽出手段で抽出された画像領域の複数の特徴点と前記第１撮影画像の光学中心とを通過する複数の第１方位直線を設定し、この複数の第１方位直線を含む垂直姿勢の仮想垂直面において、第１撮影画像の光学中心から前記画像領域の下端を通過する第１勾配直線を生成する第１勾配直線生成手段と、
   前記第２立体物候補領域抽出手段で抽出された画像領域の複数の特徴点と前記第２撮影画像の光学中心とを通過する複数の第２方位直線を設定し、この複数の第２方位直線を含む垂直姿勢の仮想垂直面において、第２撮影画像の光学中心から前記画像領域の下端を通過する第２勾配直線を生成する第２勾配直線生成手段と、
   前記第１勾配直線と前記第２勾配直線を路面上に設定した基準座標に座標変換を行った状態で、複数の第１勾配直線と複数の第２勾配直線とが交差する複数の交点、又は、複数の第１勾配直線に比例する勾配の第１仮想直線と、複数の第２勾配直線に比例する勾配の第２仮想直線とが交差する交点のうち、前記画像領域の下端を通過する直線同士の交点の位置を前記画像領域の手前端として検出する手前端検出手段と、
   前記手前端検出手段で検出された画像領域の手前端から立体物が存在する領域を特定する立体物領域特定手段とを備えている障害物検出装置。
2. 車両周辺を撮影領域が共有する状態で撮影する２つのカメラと、
   ２つのカメラの一方で撮影された第１撮影画像と、他方で撮影された第２撮影画像との撮影位置関係を保存する撮影位置情報保存手段と、
   前記第１撮影画像を、路面上に設定した仮想平面及び路面と平行する姿勢で路面と高さが異なる複数の仮想射影面のうち、少なくとも２つの仮想平面に対し上方視点から見下ろした変換画像に射影変換する第１射影変換部と、
   前記第２撮影画像を、路面上に設定した仮想平面及び路面と平行する姿勢で路面と高さが異なる複数の仮想射影面のうち、少なくとも２つの仮想平面に対し上方視点から見下ろした変換画像に射影変換する第２射影変換部と、
   前記第１射影変換部で前記第１撮影画像から生成された複数の変換画像を重ねた状態において重複する領域に存在する画像領域を抽出する第１立体物候補領域抽出手段と、
   前記第２射影変換部で前記第２撮影画像から生成された複数の変換画像を重ねた状態において重複する領域に存在する画像領域を抽出する第２立体物候補領域抽出手段と、
   前記第１立体物候補領域抽出手段で抽出された画像領域の複数の特徴点と前記第１撮影画像の光学中心とを通過する複数の第１方位直線を設定し、この複数の第１方位直線を含む垂直姿勢の仮想垂直面において、第１撮影画像の光学中心から前記画像領域の下端を通過する第１勾配直線を生成する第１勾配直線生成手段と、
   前記第２立体物候補領域抽出手段で抽出された画像領域の複数の特徴点と前記第２撮影画像の光学中心とを通過する複数の第２方位直線を設定し、この複数の第２方位直線を含む垂直姿勢の仮想垂直面において、第２撮影画像の光学中心から前記画像領域の下端を通過する第２勾配直線を生成する第２勾配直線生成手段と、
   前記第１勾配直線と前記第２勾配直線を路面上に設定した基準座標に座標変換を行った状態で、複数の第１勾配直線と複数の第２勾配直線とが交差する複数の交点、又は、複数の第１勾配直線に比例する勾配の第１仮想直線と、複数の第２勾配直線に比例する勾配の第２仮想直線とが交差する交点のうち、前記画像領域の下端を通過する直線同士の交点の位置を前記画像領域の手前端として検出する手前端検出手段と、
   前記手前端検出手段で検出された画像領域の手前端から立体物が存在する領域を特定する立体物領域特定手段とを備えている障害物検出装置。
3. 前記第１立体物候補領域抽出手段と前記第２立体物候補領域抽出手段とは、処理対象とする２つの前記変換画像から輪郭抽出フィルタでの輪郭抽出により画像領域を抽出する画像領域抽出処理の後に、２つの射影画像を重ね合わせて画像領域の累積を取ることで重複する領域に存在する画像領域を特定する処理により画像領域を抽出する請求項１又は２記載の障害物検出装置。

Images