JP5190712B2

JP5190712B2 - 障害物検出装置

Info

Publication number: JP5190712B2
Application number: JP2009071790A
Authority: JP
Inventors: 俊明柿並
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 2009-03-24
Filing date: 2009-03-24
Publication date: 2013-04-24
Anticipated expiration: 2029-03-24
Also published as: EP2233358A1; JP2010226449A; US20100245578A1; EP2233358B1

Description

本発明は、障害物検出装置に関し、詳しくは、車載カメラによって撮影された車両周辺の画像を、上方視点から見下ろした画像に射影変換する技術に関連するものである。

上記のように構成された障害物検出装置と関連する技術として、特許文献１には、異なる位置で撮影された車両周囲の画像を路面に投影変換することで路面投影像を作成し、また、路面以外の物体の領域を抽出し、路面投影画像に重ね合わせ、差を求めることにより、路面外物体の領域を抽出する処理形態が記載されている。更に、この特許文献１では、路面外の物体の領域の輪郭を物体に由来するものと、投影の歪みによるものとに分類し、投影像から変換された画像に、その領域の輪郭を付加することで車両の周囲の状況を分かり易くする点が記載されている。

この特許文献１では、車両や人物のように高さ成分を有する立体物では、高さが高いほど、その物体を投影した画像の歪みが大きくなる不都合があり、鳥瞰画像とした場合には、実在の物体との対応が困難になることから、立体物を見やすく表示している。

特開２００１‐１１４０４７号公報（段落番号〔００１５〕〜〔００１８〕、〔００３２〕〜〔００５０〕、図１〜図９）

車載カメラで車両の周囲を撮影し、モニタに表示する際の表示形態として、特許文献１に記載されるもののように車載カメラで撮影された画像から路面に投影した投影像を生成し、この投影像をモニタに表示することも考えられる。このように表示される画像は、鳥瞰画像やトップビューとして説明されることも多く、その画像が車両の上方の視点から撮影されたもとなることから、車両の周囲の状況を把握しやすくすると云う良好な面もある。

このように車載カメラの画像を変換することで鳥瞰画像を生成するものでは、立体物も路面上に存在する表示形態となることから、特許文献１に記載されるように立体物を抽出して表示することにより、立体物の位置を把握できるようにしている。

鳥瞰画像を生成する処理を考えた場合、複数の車載カメラを用いるものより１つの車載カメラを用いるものの方がコスト面で安価となる。また、１つの車載カメラを用い、車両の移動に伴い車載カメラで複数回撮影を行い、複数の画像のうちの２つの画像から生成した変換画像（鳥瞰画像）において視差による差分を取ることで立体物を抽出する処理も考えられる。

つまり、２つの画像に基づいて路面に射影した像となる射影変換画像を生成し、先に撮影された画像に対応した射影変換画像に基づいて次の画像が撮影されたタイミングにおける射影変換画像を予測して作り出す。この予測によって作り出した射影変換画像と、後に撮影された画像から生成した射影変換画像との差分を取ることにより、２つの撮影位置で撮影した画像における視差に対応する形態で立体物の領域を抽出することも考えられるのである。

１つのカメラを用いるものでは、複数のカメラを備えるものと比較してコストの低減が可能になるものの、車両が移動した後に立体像の領域が抽出されることからタイムラグを生ずる面で改善の余地があった。

本発明の目的は、１つのカメラを用いタイムラグを生ずることなく立体物の抽出が可能な障害物検出装置を合理的に構成する点にある。

本発明の特徴は、車両周辺を撮影するカメラと、
前記カメラで撮影された１フレームの撮影画像を、路面上に設定した仮想平面及び路面と平行する姿勢で路面との高さが異なる複数の仮想平面のうち、少なくとも２つの仮想平面に対して上方視点から見下ろした変換画像に射影変換する射影変換手段と、
前記射影変換手段で生成された複数の変換画像から輪郭を抽出し、この輪郭が抽出された複数の変換画像を重ねた状態において重複する画像領域で、かつ、光学中心から放射状に形成される領域に沿って存在する前記画像領域から立体物画像が存在する立体物領域を抽出する立体物領域抽出手段とを備えている点にある。

撮影画像に含まれる立体物画像が異なるレベルの仮想平面に射影変換された場合には、変換画像に含まれる立体物画像の下端位置が異なる。また、立体物画像が、光学中心を中心として形成される放射状の領域に沿って形成される特性がある。従って、単一の撮影画像から生成した複数の変換画像において立体物画像が存在する領域を抽出し、これらの領域を重ね合わせた状態において重複する領域で、光学中心から放射状に形成された領域に含まれるものを立体物画像として抽出できる。
その結果、１つのカメラを用いタイムラグを生ずることなく立体物の抽出が可能な障害物検出装置が構成された。

本発明は、前記立体物領域抽出手段で抽出された立体物領域の位置を特定するための特定情報を生成する立体物領域特定手段が備えられると共に、
この立体物領域特定手段は、前記撮影画像から射影変換手段によって生成された変換画像上、又は、前記カメラで撮影された撮影画像上に前記特定情報を表示するための位置情報を生成するものであっても良い。

これによると、射影変換手段で生成された変換画像に含まれる立体物画像、又は、カメラで撮影されたままの撮影画像に含まれる立体物画像を特定する位置に特定情報を表示することにより、モニタに表示される画像中から立体物の位置を特定することが可能となる。

本発明は、前記立体物領域抽出手段が、複数の前記変換画像から輪郭抽出フィルタでの輪郭を抽出する画像領域抽出処理と、前記複数の射影画像を重ね合わせて前記画像領域の累積を取ることで重複する前記画像領域を立体物候補領域として抽出する立体物候補領域抽出処理と、前記立体物候補領域のうち前記光学中心から放射状に形成される領域に沿って形成されたものを立体物領域として抽出する立体物画像抽出処理とを行っても良い。

これによると、複数の射影画像において抽出された輪郭で取り囲まれる画像領域を画像領域抽出処理によって抽出する。複数の変換画像を重ね合わせた状態で重複する画像領域を立体物候補領域として立体物候補領域抽出処理が抽出する。そして、抽出された立体物候補領域のうち、光学中心から放射状に形成された領域に含まれるものを立体物画像として立体物画像抽出処理が抽出する。

本発明は、前記射影変換手段が、１フレームの撮影画像を、路面上に設定した仮想平面又は路面と平行する姿勢の第１仮想平面に対して射影変換を行う第１射影変換手段と、前記１フレームの撮影画像を、前記第１仮想平面と平行姿勢で、これより高い高さとなる第２仮想平面に対して射影変換を行う第２射影変換手段とで構成され、
前記立体物領域抽出手段が、前記第１射影変換手段で生成された変換画像と、前記第２射影変換手段で生成された変換画像とから前記画像領域を抽出し、これらを重ねた状態において重複する前記画像領域で、かつ、光学中心から放射状に形成される領域に沿って存在する前記画像領域を立体物領域として抽出する処理を行っても良い。

これによると、射影変換手段としての第１射影変換手段と第２射影変換手段とで異なる仮想平面に対して変換画像を形成し、立体物領域抽出手段が２つの変換画像から立体物領域の抽出を行え、この立体物領域に含まれる立体物画像を特定することも可能となる。つまり、立体物画像の抽出を行うに必要な最低限の数の仮想平面を用いて処理を行えるのである。

車両の運転座席近傍を示す図である。車両構成を模式的に示す平面図である。視点変換の一例を示す説明図である。カメラによって撮影された画像を示す図である。略垂直方向からの視点の画像へ変換された画像を示す図である。制御構成を示すブロック回路図である。制御の概要を示すフローチャートである。立体物と光学中心と２つ仮想平面との関係を示す斜視図である。立体物と光学中心と２つ仮想平面との関係を示す側面図である。立体物と光学中心と複数の仮想平面との関係を示す側面図である。第１仮想平面と第２仮想平面とに生成された変換画像を示す図である。２値化後の２つの変換画像を示す図である。抽出された立体物画像を示す図である。モニタに表示された立体物領域特定処理後の画像を示す図である。

以下、本発明の実施の形態を図面に基づいて説明する。
〔全体構成〕
本発明の障害物検出装置は、例えば、駐車支援装置や運転支援装置などに利用される。図１及び図２は、障害物検出装置が搭載される車両３０の基本構成を示したものである。運転席に備えられたステアリングホイール２４は、パワーステアリングユニット３３と連動し、回転操作力を前輪２８ｆに伝えて車両３０の操舵を行う。前輪２８ｆは本発明の操舵輪に相当する。車体前部にはエンジン３２と、このエンジン３２からの動力を変速して前輪２８ｆや後輪２８ｒに伝えるトルクコンバータやＣＶＴ等を有する変速機構３４とが配置されている。車両３０の駆動方式（前輪駆動、後輪駆動、四輪駆動）に応じて、前輪２８ｆ及び後輪２８ｒの双方もしくは何れかに動力が伝達される。運転席の近傍には走行速度を制御するアクセル操作手段としてのアクセルペダル２６と、前輪２８ｆ及び後輪２８ｒのブレーキ装置３１を介して前輪２８ｆ及び後輪２８ｒに制動力を作用させるブレーキペダル２７とが並列配置されている。

運転席の近傍のコンソールの上部位置には、モニタ２０（表示装置）が備えられている。モニタ２０は、バックライトを備えた液晶式のものである。モニタ２０の表示面には、感圧式や静電式によるタッチパネルが形成され、指などの接触位置をロケーションデータとして出力することによって、利用者による指示入力を受け付ける。タッチパネルは、例えば、駐車支援開始の指示入力手段として用いられる。また、モニタ２０には、スピーカも備えられており、種々の案内メッセージや効果音を発することができる。車両３０にナビゲーションシステムが搭載される場合、モニタ２０はナビゲーションシステムの表示装置として用いるものを兼用すると好適である。尚、モニタ２０は、プラズマ表示型のものやＣＲＴ型のものであっても良く、スピーカはドアの内側など他の場所に備えられても良い。

ステアリングホイール２４の操作系にはステアリングセンサ１４が備えられ、ステアリング操作方向と操作量とが計測される。シフトレバー２５の操作系にはシフト位置センサ１５が備えられ、シフト位置が判別される。アクセルペダル２６の操作系にはアクセルセンサ１６が備えられ、操作量が計測される。ブレーキペダル２７の操作系にはブレーキセンサ１７が備えられ、操作の有無などが検出される。

また、移動距離センサとして、前輪２８ｆ及び後輪２８ｒの少なくとも一方の回転量を計測する回転センサ１８が備えられる。本実施形態では、後輪２８ｒに回転センサ１８が備えられた場合を例示している。尚、移動距離については、変速機構３４において、駆動系の回転量から車両３０の移動量を計測するようにしてもよい。また、車両３０には本発明の障害物検出装置として機能するＥＣＵ（electronic control unit）１０が配置されている。

車両３０の後部には、車両３０の後方を撮影するカメラ１２が備えられている。カメラ１２は、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を内蔵し、当該撮像素子に撮像された情報を動画情報としてリアルタイムに出力するデジタルカメラである。カメラ１２は、広角レンズを備えており、例えば左右約１４０度程度の画角を有している。カメラ１２は、略水平方向の視点を有して、車両３０の後方の情景を撮影可能に設置されている。カメラ１２は、車両３０の後方に向けて例えば３０度程度の俯角を有して設置され、概ね後方８ｍ程度までの領域を撮影する。撮影された画像は、障害物検出装置として機能するＥＣＵ１０に入力される。

〔ＥＣＵの制御構成〕
ＥＣＵ１０は、マイクロプロセッサを有しプログラムを実行することにより必要とする処理を実現する。また、このＥＣＵは、図６に示すように、ステアリングセンサ１４、シフト位置センサ１５、アクセルセンサ１６、ブレーキセンサ１７、回転センサ１８夫々からの信号を取得する自車位置演算部１と、この自車位置演算部１からの情報に基づいてカメラ１２を制御する画像制御部２と、この画像制御部を介してカメラ１２から取得した撮影画像を保存するフレームメモリＭとを備えている。更に、このＥＣＵ１０は、フレームメモリＭからの１フレーム（１コマ）の撮影画像から上方視点のから見下ろした２種の変換画像を生成する射影変換手段Ｔと、射影変換手段Ｔを構成する第１射影変換手段Ｔ１及び第２射影変換手段Ｔ２から立体物領域を抽出する立体物領域抽出手段４と、立体物領域抽出手段４からの情報に基づいて立体物が存在する領域を特定する立体物領域特定手段５と、立体物領域特定手段５で特定される立体物の画像の歪みを補正してモニタ２０に出力する射影歪補正部６と、立体物領域特定手段４で特定される立体物領域に含まれる立体物を重畳してモニタ２０に出力する重畳部７とを備えている。

尚、自車位置演算部１と、画像制御部２と、射影変換手段Ｔと、立体物領域抽出手段４と、立体物領域特定手段５と、射影歪補正部６と、重畳部７とは何れもプログラム（ソフトウエア）で構成されるものであるが、夫々の一部をハードウエアで構成しプログラムとの組み合わせによって処理を実現するものや、夫々をハードウエアで構成するものであっても良い。

射影変換手段Ｔを構成する第１射影変換手段Ｔ１と、第２射影変換手段Ｔ２とは、路面上に設定した第１仮想平面Ｓ１と、路面と平行する姿勢で路面より高いレベルの第２仮想平面Ｓ２とに対して、１フレームの撮影画像を情報視点から見下ろした変換画像を生成するように射影変換を行う。尚、この射影変換手段Ｔは、３つ以上の仮想平面に対して変換画像を生成するものでも良い。

この射影変換手段Ｔによる処理がホモグラフィーと称されることもあり、この射影変換手段Ｔは、仮想平面Ｓ（複数の仮想平面の総称）に対して鳥瞰画像の一種としてのＧＰＴ（ground plane transformation ）画像を生成する。処理の概要としては、カメラ１２によって所定角度で路面を撮影した１フレームの撮影画像を取得し、この撮影画像が存在する画像平面と仮想平面Ｓとの固有の射影変換関係に基づいて生成される変換式に従って撮影画像を仮想平面に射影変換し、必要な校正処理が行われる。尚、処理の具体例として、特開２００６−１４８７４５号公報に示されるように、ホモグラフィーを用い、工場等において（ユーザが使用前に）カメラを校正することで画像面と路面との変換関係を求めておくと好適である。

例えば、図３に示すようにカメラ１２によって撮影領域ａを撮影した場合には撮影画像は図４に示す通りである。これに対して、射影変換手段Ｔによって射影変換された後の変換画像は、この撮影領域ａを略垂直方向から見下ろす視点を有する仮想カメラ１２Ａによって撮影された画像と近似し、図５に示す通り、変換された画像は、いわゆる鳥瞰画像となり、左下、右下には、画像データが存在しないことによる空白域が生じている。

変換画像の具体例として第１仮想平面Ｓ１に生成される変換画像として図１１（ａ）に示すものを挙げることができ、また、これより高いレベルにある第２仮想平面Ｓ２に形成される変換画像として図１１（ｂ）に示すものを挙げることができる。これらの図においてＣで示される点は光学中心である。

図８及び図９に示すように、下端が路面に接する状態の直方体状の立体物４０を撮影した撮影画像を、第１仮想平面Ｓ１に射影変換を形成した場合、変換画像中に存在する立体物４０の下端位置Ｐと上端位置Ｑを結ぶ辺（縦向きの線）は、この第１仮想平面Ｓ１において点Ｐ１から点Ｑ１に亘る長さの直線状に形成される。また、この撮影画像を、第２仮想平面Ｓ２に射影変換を形成した場合、変換画像中に存在する立体物４０の下端位置Ｐと上端位置Ｑを結ぶ辺は、この第２仮想平面Ｓ２において点Ｐ２から点Ｑ２に亘る長さの直線状に形成される。

この場合、下端位置Ｐと光学中心Ｃとを結ぶ下端側仮想ラインＬｐを想定し、上端位置Ｑと光学中心Ｃとを結ぶ上端側仮想ラインＬｑを想定すると、下端側仮想ラインＬｐと第２仮想平面Ｓ２とが交差する位置が点Ｐ２となり、上端側仮想ラインＬｑと第２仮想平面Ｓ２とが交差する位置が点Ｑ２となる。

更に、図１０に示すように、射影変換手段Ｔにおいて第１仮想平面Ｓ１〜第４仮想平面Ｓ４の４つの仮想平面Ｓに対して変換画像を形成するものでは、立体物４０の下端位置Ｐが第１仮想平面Ｓ１〜第４仮想平面Ｓ４に対応して点Ｐ１〜点Ｐ４として表れ、高いレベルの仮想平面Ｓほど、立体物４０の下端位置Ｐに対応する画像が光学中心Ｃに接近する方向に変位する。尚、同図においては立体物４０の上端位置Ｑが第１仮想平面Ｓ１〜第４仮想平面Ｓ４に対応して点Ｑ１〜点Ｑ４として表れ、高いレベルの仮想平面Ｓほど、上端位置Ｑに対応する画像が光学中心Ｃの方向に変位することになるが、この上端位置Ｑは撮影画像に含まれないことも多く、処理の対象としていない。

また、路面から垂直に上方に向かう姿勢の立体物は、仮想平面Ｓに対して射影変換された場合に、光学中心Ｃの方向に向かう姿勢の画像となる。

〔障害物検出装置の処理形態〕
この障害物検出装置での処理の概要を図７のフローチャートに示しており、図６に示すＥＣＵ１０の制御構成における情報の流れと併せて説明する。

自車位置演算部１からの情報に基づき、車両３０が設定距離だけ後進する毎に画像制御部２がカメラ１２からの１フレーム（１コマ）の撮影画像を取得し、フレームメモリＭに保存する（＃０１ステップ）。

フレームメモリＭに保存された１フレームの撮影画像は、射影変換手段Ｔの第１射影変換手段Ｔ１と第２射影変換手段Ｔ２とに与えられ、第１射影変換手段Ｔ１は撮影画像から射影変換により変換画像を第１仮想平面Ｓ１に生成し、これと同様に第２射影変換手段Ｔ２は撮影画像を第２仮想平面Ｓ２に生成する（＃０２、＃０３ステップ）。

第１射影変換手段Ｔ１で生成される変換画像を図１１（ａ）に示し、第２射影変換手段Ｔ２で生成される変換画像を図１１（ｂ）に示している。同図に示す如く、２種の変換画像の中央の柱状物Ｖ（立体物４０の一例）の画像に注目すると、夫々の柱状物Ｖの画像の下端位置（Ｐ１で示す）は、第２射影変換手段Ｔ２で生成されたものが第１射影変換手段Ｔ１で生成されたものの下端位置（Ｐ２で示す）より光学中心Ｃに接近しており、夫々の下端位置が互いにオフセットしていることが理解できる。

立体物領域抽出手段４は、射影変換手段Ｔから第１射影変換手段Ｔ１と第２射影変換手段Ｔ２との変換画像を取得し、この２種の変換画像に基づき画像領域抽出処理と、立体物候補領域抽出処理と、立体物画像抽出処理とをこの順序で行う(＃０４ステップ)。

画像領域抽出処理では、夫々の変換画像について輪郭を強調する水平方向微分フィルタを適用することでエッジ強調により輪郭を抽出し、２値化処理と所定の閾値を超えるものを抽出する処理によりノイズが除去された明瞭な画像を抽出する。この画像領域抽出処理を行うことにより、図１２（ａ）と図１２（ｂ）とに示す画像が生成される。

立体物候補領域抽出処理では、画像領域抽出処理後の２つの変換画像を重ね合わせ、論理積を取る処理が行われる。この処理により、重複する画像領域が立体物候補領域として抽出される。尚、本発明の立体物候補領域抽出処理では、重複する画像領域を抽出する処理として論理積（ＡＮＤ）を取る処理以外の処理として、算術加算（ＡＤＤ）の処理を行っても良い。

立体物画像抽出処理では、立体物候補画像領域が光学中心Ｃから放射状に形成される領域に存在するか否かの判別を行う。具体的には、図１３に示すように、立体物候補画像領域の縦方向のエッジラインＥＬを抽出して延長したものが光学中心Ｃに向かうか否かの判別を行い、エッジラインＥＬが光学中心Ｃに向かうものを立体物画像が存在する立体物領域として抽出する（同図では、領域Ｒで囲まれるもの）。尚、立体物領域とは、立体物画像の輪郭と一致する領域として捉えることが可能である。

この抽出を行う場合、エッジラインＥＬは光学中心Ｃと必ずしも交差する必要は無く、光学中心Ｃの近傍に達するものでも良い。また、この立体物画像抽出処理として、光学中心Ｃから放射状に多数の仮想ラインを生成し、立体物候補画像領域の縦のラインの姿勢が仮想ラインに近似するものを立体物として抽出するように処理形態を設定しても良い。

これらの処理を行うことにより、画像領域抽出処理によって路面の模様が立体物候補画像領域として抽出されている場合でも、この路面の模様が例えば、単純な幾何学模様が連続する形態であっても、この幾何学模様が光学中心Ｃから放射状に形成される領域に含まれないため、この路面の模様を立体物画像として抽出することはない。

このように立体物領域抽出手段４で抽出した立体物領域の位置を示す情報と、第１射影変換手段Ｔ１で生成した変換画像とを立体物領域特定手段５に与えることにより、この立体物領域特定手段５が立体物領域の形状や大きさに対応して立体物を特定し得る画像として図１３において領域Ｒとして示した枠状画像等や、立体物を覆うメッシュ等の特定画像と、この特定画像を表示すべきロケート情報とを生成する（＃０５ステップ）。

そして、第１射影変換手段Ｔ１で生成された射影変換画像を射影歪補正部６で補正してモニタ２０に表示すると共に、前述した特定画像をロケート情報に基づいて図１４に示すように重畳部７がモニタ２０に表示する（＃０６ステップ）。図１４においては、立体物を特定する特定画像として枠状の領域Ｒを示しているが、枠状でなく、立体物の領域の色相を変換させることや、近傍にマーキングを表示すること等、図面に示す形態でなくても良い。

射影変換により生成した変換画像における柱状の立体物は上端側が極めて伸びる形態に変換されることから、この伸びを圧縮するように射影歪補正部６が補正を行う。また、重畳部７は立体物領域特定手段５で生成された特定画像を第１射影変換手段Ｔ１で生成された射影変換画像に対してロケート情報に基づき重畳して表示する処理を行う。

これによりモニタ２０にはカメラで撮影された撮影画像に基づいて、上方の視点から見下ろす画像に射影変換された変換画像が表示され、この変換画像のうち立体物に対応する領域（立体物領域）には、立体物であることを明示する枠状画像等が重畳して表示されることからモニタ２０において立体物を認識できる。

このように本発明では、カメラ１２で撮影された１フレームの撮影画像に基づいてレベルが異なる第１仮想平面Ｓ１と第２仮想平面Ｓ２とに対して変換画像を射影変換によって生成する。立体物が異なるレベルの仮想平面Ｓに射影変換された場合には、変換画像に含まれる立体物画像の下端位置が異なるものとなり、しかも、この立体画像が、光学中心Ｃを中心として形成される放射状の領域に沿って形成される特性を有している。

このような理由から、第１仮想平面Ｓ１と第２仮想平面Ｓ２との変換画像に対して微分処理等を行うことで立体物等の輪郭を抽出し、２値化処理によってノイズを除去すると同時に立体物等が存在する範囲を明確にする。そして、２値化処理後の２つの変換画像を重ね合わせ、論理積を取る処理を行うことで路面の模様等を排除して立体物候補領域を抽出している。更に、この立体物候補領域のうち光学中心Ｃを中心として形成される放射状領域に沿って形成されたものを立体物領域として特定することで、立体物の位置や車両３０から立体物までの距離の特定が可能となる。

従って、カメラ１２で撮影された１フレーム（１コマ）の撮影画像から立体物が存在する領域（立体物領域）を特定することが可能となり、例えば、複数のカメラ１２を用いるもののようにハードウエアのコストの上昇を招くことが無い。また、車両３０の移動時にカメラ１２で異なるタイミングで撮影を行い、視差を利用して立体物の位置を特定するもののように撮影のためのタイムラグに起因する処理時間の増大を招くものでもなく、シンプルなハードウエアでありながら、短時間のうちに立体物の位置を特定できるものとなる。

〔別実施の形態〕
本発明は、上記した実施の形態以外に以下のように構成しても良い。

（ａ）射影変換手段Ｔが、３つ以上の仮想平面Ｓに対して変換画像を形成するように構成する。このように３つ以上の仮想平面Ｓに対して変換画像を形成した場合にも、立体物領域抽出手段４においては画像領域抽出処理と立体物候補抽出処理とを複数の変換画像に対して行うことになる。そして、立体物候補が抽出された変換画像の全てを重ね合わせて論理積を取っても良い。このように３つ以上の変換画像の論理積を取ることにより検出精度を一層高くできる。

（ｂ）カメラ１２からの撮影画像をモニタ２０に表示すると共に、この撮影画像に含まれる立体物の位置を特定するように、立体物領域抽出手段４で生成された特定情報を、モニタ２０に表示された撮影画像に重畳して表示するように処理形態を設定する。

（ｃ）抽出された立体物４０は路面上に存在する障害物と捉え得ることから、車両３０から障害物（立体物４０）までの距離を画像処理によって取得し、取得した距離が設定値より小さい値に達した場合に、ブザーを作動させる処理や、合成された人の言葉で障害物に接近している情報をスピーカから出力する処理を行うように構成する。

本発明は、車両に備えた複数のカメラで取得した１フレームの撮影画像に基づいて車両周辺のトップビューを表示する画像表示系に利用することができる。

４立体物領域抽出手段
５立体物領域特定手段
１２カメラ
Ｃ光学中心
Ｓ仮想平面
Ｓ１第１仮想平面
Ｓ２第２仮想平面
Ｔ射影変換手段
Ｔ１第１射影変換手段
Ｔ２第２射影変換手段

Claims

車両周辺を撮影するカメラと、
前記カメラで撮影された１フレームの撮影画像を、路面上に設定した仮想平面及び路面と平行する姿勢で路面との高さが異なる複数の仮想平面のうち、少なくとも２つの仮想平面に対して上方視点から見下ろした変換画像に射影変換する射影変換手段と、
前記射影変換手段で生成された複数の変換画像から輪郭を抽出し、この輪郭が抽出された複数の変換画像を重ねた状態において重複する画像領域で、かつ、光学中心から放射状に形成される領域に沿って存在する前記画像領域から立体物画像が存在する立体物領域を抽出する立体物領域抽出手段とを備えている障害物検出装置。
前記立体物領域抽出手段で抽出された立体物領域の位置を特定するための特定情報を生成する立体物領域特定手段が備えられると共に、
この立体物領域特定手段は、前記撮影画像から射影変換手段によって生成された変換画像上、又は、前記カメラで撮影された撮影画像上に前記特定情報を表示するための位置情報を生成する請求項１記載の障害物検出装置。
前記立体物領域抽出手段が、複数の前記変換画像から輪郭抽出フィルタでの輪郭を抽出する画像領域抽出処理と、前記複数の射影画像を重ね合わせて前記画像領域の累積を取ることで重複する前記画像領域を立体物候補領域として抽出する立体物候補領域抽出処理と、前記立体物候補領域のうち前記光学中心から放射状に形成される領域に沿って形成されたものを立体物領域として抽出する立体物画像抽出処理とを行う請求項１又は２記載の障害物検出装置。
前記射影変換手段が、１フレームの撮影画像を、路面上に設定した仮想平面又は路面と平行する姿勢の第１仮想平面に対して射影変換を行う第１射影変換手段と、前記１フレームの撮影画像を、前記第１仮想平面と平行姿勢で、これより高い高さとなる第２仮想平面に対して射影変換を行う第２射影変換手段とで構成され、
前記立体物領域抽出手段が、前記第１射影変換手段で生成された変換画像と、前記第２射影変換手段で生成された変換画像とから前記画像領域を抽出し、これらを重ねた状態において重複する前記画像領域で、かつ、光学中心から放射状に形成される領域に沿って存在する前記画像領域を立体物領域として抽出する処理を行う請求項１〜３のいずれか一項に記載の障害物検出装置。