JP5580062B2 - 障害物検知警報装置 - Google Patents

Description

本発明は、障害物検知警報装置に関し、詳細には、車載カメラによる撮像画像に基づいて車両周辺に存在する障害物を検知し警報する障害物検知警報装置に関する発明である。

従来、車両周辺に存在する障害物から車両までの距離を計測する目的で、２台のカメラ（ステレオカメラ）を用いて車外の風景を撮像し、異なる位置から撮像された１対の撮像画像の相関を求め、三角測量の原理により、撮像画像中の任意の画素に対応する被写体の部分から車両までの距離（ステレオカメラを原点とした３次元位置）を計測する技術が知られている（例えば、特許文献１）。

また、計測された３次元位置に基づいて、撮像画像中の任意の画素に対応する被写体の部分が、路面であるのか、あるいは、障害物であるのかを識別する障害物検出装置が知られている。

すなわち、各カメラの道路平面に対する位置や姿勢等を固定した状態で、３次元位置が既知の点（被写体の部分）を多数点用意し、それらの点の撮像画像への投影位置を予め求める事前校正を行う。そして、三角測量の原理により得られた各点の３次元位置と、予め求められた３次元位置とを比較することにより、路面であるのか、あるいは、障害物であるのかを識別する。

特開２０００−２８３７５３号公報

しかしながら、車両とカメラとの相対的な位置関係や車両と路面との位置関係などは、車種による差異のほか、個体差もあるため、これらの差を解消させるための事前校正には多大な時間と労力が必要であるという問題があった。

また、たとえ事前校正を厳密に行ったとしても、経年による変化が生じることもあり、定期的な校正が必要となり、その都度、上記のような労力をかけなければならない。

本発明は上記事情に鑑みなされたものであり、事前校正を必要とせずに路面と障害物とを識別することができる障害物検知警報装置を提供することを目的とするものである。

本発明に係る第１の障害物検知警報装置は、車載カメラによる撮像画像に基づいて、撮像画像に写った被写体の部分のうち路面に相当する平面を特定し、この特定された平面を用いて障害物の有無を検知するため、従来のような事前校正を必要とせずに路面と障害物とを識別するものである。

すなわち、本発明に係る第１の障害物検知警報装置は、車載カメラと、前記車載カメラにより撮像された撮像画像に基づいて、前記撮像画像の各画素に、２次元座標と前記各画素に対応する被写体の部分から前記車載カメラまでの距離とを対応付け、前記２次元座標と前記距離とからなる距離マップを作成する距離マップ作成手段と、前記距離マップに基づいて、前記被写体の各部分の３次元座標を算出する３次元座標算出部と前記被写体の各部分の３次元座標を用いた平面近似により路面に相当する平面を特定して、特定された前記平面から所定値以上の距離にある被写体の部分の有無を検知し、前記所定値以上の距離にある被写体の部分が存在する場合には、前記所定値以上の距離にある前記被写体の部分が存在しなくなるまで、前記所定値以上の距離にある前記被写体の部分を削除したうえで、前記平面近似を繰り返し、最終的に得られた平面を前記被写体の部分のうち路面に相当する平面として特定する特定部とを有する路面特定手段と、前記路面特定手段により特定された前記平面から前記被写体の各部分までの高さを算出する高さ算出手段と、前記車載カメラの位置および前記被写体の各部分の位置を前記平面に射影する射影手段と、前記路面に相当する平面を複数の領域に分割し、分割して得られた各領域に含まれる前記被写体の部分のうち前記平面からの高さが所定値以上である被写体の部分の数を計数し、前記平面に射影された前記車載カメラの位置から前記平面に射影された前記被写体の各部分の位置までの前記平面に沿った各距離および前記平面から前記被写体の各部分までの各高さに加えて、前記平面からの高さが所定値以上である被写体の部分の数が所定の閾値以上であるか否かに基づいて、前記領域毎の障害物の有無を検知し、前記検知の結果と前記領域から前記車載カメラまでの距離とに応じて警報の態様を変化させる警報手段と、を有することを特徴とする。

このように構成された本発明に係る第１の障害物検知警報装置によれば、距離マップ作成手段が撮像画像に基づいて距離マップを作成し、路面特定手段が距離マップに基づいて路面に相当する平面を特定するので、路面に相当する平面は、従来のように予め用意された３次元位置が既知の多数点から特定されるわけではなく、撮像画像に基づいて特定される。このため、従来のような事前校正を必要とせずに路面と障害物とを識別することができる。

また、本発明に係る第２の障害物検知警報装置は、撮像画像に基づいて得られた路面に相当する平面の平面情報を記憶し、この記憶された平面情報を用いて障害物の有無を検知するため、従来のような事前校正を必要とせずに路面と障害物とを識別するものである。

すなわち、本発明に係る第２の障害物検知警報装置は、路面が撮像されるように設置された車載カメラと、前記車載カメラにより撮像された撮像画像に基づいて、前記撮像画像の各画素に、２次元座標と前記各画素に対応する被写体の部分から前記車載カメラまでの距離とを対応付け、前記２次元座標と前記距離とからなる距離マップを作成する距離マップ作成手段と、前記距離マップに基づいて得られた路面に相当する平面に関する平面情報を予め記憶する記憶手段と、前記記憶手段に予め記憶された前記平面情報に基づいて前記平面から前記被写体の各部分までの高さを算出する高さ算出手段と、前記車載カメラの位
置および前記被写体の各部分の位置を前記平面に射影する射影手段と、前記路面に相当する平面を複数の領域に分割し、分割して得られた各領域に含まれる前記被写体の部分のうち前記平面からの高さが所定値以上である被写体の部分の数を計数し、前記平面に射影された前記車載カメラの位置から前記平面に射影された前記被写体の各部分の位置までの前記平面に沿った各距離および前記平面から前記被写体の各部分までの各高さに加えて、前記平面からの高さが所定値以上である被写体の部分の数が所定の閾値以上であるか否かに基づいて、前記領域毎の障害物の有無を検知し、前記検知の結果と前記領域から前記車載カメラまでの距離とに応じて警報の態様を変化させる警報手段と、を有することを特徴とする。

このように構成された本発明に係る第２の障害物検知警報装置によれば、距離マップ作成手段が撮像画像に基づいて距離マップを作成し、記憶手段が距離マップに基づいて得られた路面に相当する平面の平面情報を記憶し、高さ算出手段が平面情報に基づく平面から被写体の各部分までの高さを算出し、射影手段が車載カメラの位置および被写体の各部分の位置を平面情報に基づく平面に射影するので、撮像画像に基づいて得られた平面の平面情報を用いて障害物の有無が検知される。このため、従来のような事前校正を必要とせずに路面と障害物とを識別することができる。

本発明に係る障害物検知警報装置によれば、事前校正を必要とせずに路面と障害物とを識別することができる。

実施例１の障害物検知警報装置の全体の概略構成を示す模式図である。 図１に示した障害物検知警報装置の構成を示すブロック図である。 図１に示した障害物検知警報装置の障害物検知警報処理全体の流れを説明するフローチャートである。 （ａ）は、図１に示した左カメラによる車両後方の撮像画像であり、（ｂ）は、図１に示した右カメラによる車両後方の撮像画像である。 （ａ）は、図４（ａ）の撮像画像に対して内部校正処理を行った後の画像であり、（ｂ）は、図４（ｂ）の撮像画像に対して内部校正処理を行った後の画像である。 図３に示した３次元処理の流れを具体的に説明するフローチャートである。 図２に示した距離マップ作成手段により作成された距離マップを示す模式図である。 図６に示した路面特定処理の流れを説明するフローチャートである。 図６に示した射影処理が行われた平面を示す模式図である。 図９に示す平面を複数領域に分割した状態を示す図である。 実施例２の障害物検知警報装置の構成を示すブロック図である。 （ａ）は図１１に示した障害物検知警報装置の校正処理の流れを説明するフローチャートであり、（ｂ）は（ａ）に示した平面情報記憶処理の流れを説明するフローチャートであり、（ｃ）は図１１に示した障害物検知警報装置の障害物検知警報処理の流れを説明するフローチャートである。

以下、図１から図１１に基づいて本発明の実施形態としての実施例１の障害物検知警報装置１００について説明する。

図１は、実施例１の障害物検知警報装置１００の全体の概略構成を示す模式図であり、図２は、図１に示した障害物検知警報装置１００の構成を示すブロック図である。

実施例１の障害物検知警報装置１００は、図１に示すように、車載カメラ１と、情報処理装置２と、画像表示装置３と、警報音発生装置４と、を備えている。

車載カメラ１は、設置位置が互いに異なるように左右に２つ設けられた左カメラ１ａおよび右カメラ１ｂを有するステレオカメラであり、例えば、車両の後方に設置されている。

情報処理装置２は、車載カメラ１による撮像画像に対して各種情報処理を行うものであって、図２に示すように、内部校正手段５と、距離マップ作成手段６と、路面特定手段７と、高さ算出手段８と、射影手段９と、警報手段１０と、ビデオ出力手段１１と、ＲＯＭ１２と、音合成手段１３と、を有している。

また、路面特定手段７は３次元座標算出部７ａおよび特定部７ｂを有している。

画像表示装置３は、車内に設けられ、情報処理装置２のビデオ出力手段１１が出力する信号に基づき、撮像画像上に警報メッセージや障害物を示すシンボル表示画像を重ねた画像等を表示する。

警報音発生装置４は、車内に設けられ、情報処理装置２の音合成手段１３が出力する信号に基づき、危険度（距離）に応じた警報音や音声を発生する。

次に、障害物検知警報装置１００の障害物検知警報処理の流れを、［内部校正処理］と、［ステレオ視差計測処理］と、［３次元処理（距離マップ作成処理）、（路面特定処理）、（高さ算出処理）、（射影処理）］と、［警報処理］と、に分けて説明する。

図３は、図１に示した障害物検知警報装置１００の障害物検知警報処理全体の流れを説明するフローチャートである。

障害物検知警報処理が開始すると、車載カメラ１の左カメラ１ａおよび右カメラ１ｂは、各々の車載カメラ１が撮像した撮像画像のデータ（同時に撮像されたもの）を情報処理装置２に出力する。

そして、図３に示すように、情報処理装置２の内部校正手段５が、各撮像画像に対する歪み補正等をする「内部校正処理」を行う（ステップＳ１）。

続いて、内部校正手段５は補正等が行われたデータを距離マップ作成手段６に出力し、距離マップ作成手段６が、撮像画像間でのステレオ視差を計測する「ステレオ視差計測処理」を行う（ステップＳ２）。

ここで、「撮像画像間でのステレオ視差」とは、同一の被写体の部分に対応する画素が複数の撮像画像間で何画素ずれているのかという画素数のずれ量をいう。

さらに、距離マップ作成手段６はステレオ視差に基づいて距離マップを作成し（「距離マップ作成処理」）、この得られた距離マップを路面特定手段７、高さ算出手段８および射影手段９に出力する。

そして、これら路面特定手段７、高さ算出手段８および射影手段９が距離マップに基づいて被写体の各部分について「路面特定処理」、「高さ算出処理」および「射影処理」を行う（これら「距離マップ作成処理」、「路面特定処理」、「高さ算出処理」および「射影処理」を合わせて「３次元処理」という）（ステップＳ３）。

その後、警報手段１０、ビデオ出力手段１１、音合成手段１３、画像表示装置３および警報音発生装置４が、障害物を検知し、障害物に関する情報を運転者に伝える「警報処理」を行う（ステップＳ４）。

［内部校正処理］
図４（ａ）は、左カメラ１ａによる車両後方の撮像画像であり、図４（ｂ）は、右カメラ１ｂによる車両後方の撮像画像であり、図５（ａ）は、図４（ａ）の撮像画像に対して内部校正処理を行った後の画像であり、図５（ｂ）は、図４（ｂ）の撮像画像に対して内部校正処理を行った後の画像である。

ステップＳ１では、内部校正手段５が、左カメラ１ａによる撮像画像（図４（ａ））および右カメラ１ｂによる撮像画像（図４（ｂ））のデータに対して、車載カメラ１のレン
ズ歪みやカメラ光軸のズレなどを解消する映像的変形補正を行う。

この補正量は、車載カメラ１の製造過程において計測・決定され、予めＲＯＭ１２に保存されている。

また、図４（ａ）、（ｂ）に示す車両後方の撮像画像は、運転者がバックミラーを見たときと同じ状況である左右反転した画像となっているが、実際の左右方向に合わせるように、内部校正手段５が左右反転処理を行う。

これにより、内部校正手段５が、図５（ａ）、（ｂ）に示す、左カメラ１ａおよび右カメラ１ｂによる各撮像画像に対して歪み等の補正が行われた後の画像を取得し、距離マップ作成手段６に出力する。

［ステレオ視差計測処理］
ステップＳ２では、距離マップ作成手段６が、内部校正処理が行われた左カメラ１ａによる撮像画像と右カメラ１ｂによる撮像画像（図５（ａ）、（ｂ））間でテンプレートマッチングと呼ばれる画像の類似度比較を行う。

例えば、図５（ａ）に示す破線で囲われた部分Ａと、図５（ｂ）に示す破線で囲われた部分Ｂとは、類似度が高い部分であると判断され、これらは同一の被写体の部分であると特定される。

そして、距離マップ作成手段６は、同一の被写体の部分に対応する画素が複数の撮像画像間でのステレオ視差を計測する。

すなわち、図５（ａ）に示す破線で囲われた部分Ａは撮像画像の略中央に位置するのに対し、図５（ｂ）に示す破線で囲われた部分Ｂは撮像画像の中央よりもやや左側に位置するため、これらの左右方向の画素数のずれ量（ステレオ視差）を計測する。

距離マップ作成手段６は、このようなステレオ視差の計測を撮像画像全体に対して行う。

［３次元処理］
図６は、図３に示した３次元処理の流れを具体的に説明するフローチャートである。

ステップ３で行われる３次元処理は、距離マップ作成処理（ステップＳ３１）、路面特定処理（ステップＳ３２）、高さ算出処理（ステップＳ３３）および射影処理（ステップＳ３４）からなる。

（距離マップ作成処理）
図７は、距離マップ作成手段６により作成された距離マップを示す模式図である。

ステップＳ３１では、距離マップ作成手段６が、ステップＳ２で計測されたステレオ視差（画素数のずれ量）、予めＲＯＭ１２に記録された画素間のピッチ、左カメラ１ａと右カメラ１ｂ間の距離（光軸間の距離）、および左カメラ１ａと右カメラ１ｂの各々の焦点距離を用いて、三角測量の原理により、被写体の各部分と車載カメラ１との間の距離を算出する。

そして、撮像画像の各画素に２次元座標と距離とを対応付け、２次元座標と距離とからなる距離マップを作成する。ここで、２次元座標とは、例えば、撮像画像の中心を原点とする各画素の撮像画像中での２次元座標を意味する。

このようにして、距離マップ作成手段６は、例えば、図７に示すような距離マップを取得し、路面特定手段７に出力する。

この図７に示す距離マップは、理解を容易にするために各画素の距離に応じて色分けされている（距離が近いほど明度が高くなっている）。また、撮像画像中で影や空が写っている部分については、類似度比較を行うことができないため、ステレオ視差を計測できず、図７に示す距離マップでは黒く塗りつぶされている。

なお、距離マップは必ずしも図示される必要はなく、撮像画像の各画素に２次元座標と距離とが対応付けられていればよい。

（路面特定処理）
図８は、図６に示した路面特定処理の流れを説明するフローチャートである。

ステップＳ３２では、路面特定手段７が、ステップＳ３１で作成された距離マップに基づいて撮像画像の被写体の部分のうち、路面に相当する平面の特定を行う。

具体的には、図８に示すように、路面特定手段７の３次元座標算出部７ａが、距離マップを構成する２次元座標および距離に基づいて被写体の各部分の３次元座標を算出する（ステップＳ３２１）。

さらに、特定部７ｂが、車載カメラ１からの距離が警報範囲外となるような所定値以上の距離にある被写体の部分を削除して（ステップＳ３２２）、残りの被写体の各部分の３次元座標を用いた平面近似を行う（ステップＳ３２３）。

また、被写体の各部分のうち、平面近似により特定された平面から所定値以上の距離（高さ）にある被写体の部分の有無を検知する（ステップＳ３２４）。

所定値以上の距離（高さ）にある被写体の部分が存在する場合には、その所定値以上の距離（高さ）にある部分を削除し（ステップＳ３２５）、残りの被写体の各部分の３次元座標を用いて再び平面近似を行う（ステップＳ３２３）。

一方、被写体の各部分のうち、平面近似により特定された平面から所定値以上の距離（高さ）にある被写体の部分が存在しない場合には、ステップＳ３２６に移行する。

さらに、特定部７ｂは、平面近似により特定された平面が路面に相当するものであるか否かを判断する（ステップＳ３２６）。この判断は、ステップＳ３２５で削除された後に残っている被写体の部分の数（画素の数）が一定数以下であるか否かにより行う。

残った画素数が一定数より大きい場合には、最終的に得られた平面を路面に相当する平面Ｇとして特定する（ステップＳ３２７）。

一方、残った画素数が一定数以下である場合には、撮像画像中には路面が映っていないと判断し、一定距離（例えば、警報距離）内の全点について平面近似を行い、この平面に対する全点の高さの分布（振幅分布）から例えばガウス分布を仮定して標準偏差を求め、撮像画像全体について、被写体の部分の高さの粗量を計測する（ステップＳ３２８）。

（高さ算出処理）
ステップＳ３３では、高さ算出手段８が、路面特定手段７により特定された平面Ｇから被写体の各部分までの高さを算出する。

（射影処理）
図９は、図６に示した射影処理が行われた平面Ｇを示す模式図であり、図１０は、図９に示す平面Ｇを複数領域に分割した状態を示す図である。

ステップＳ３４では、射影手段９が、車載カメラ１の位置および被写体の各部分の位置を平面Ｇに射影する。

［警報処理］
ステップＳ４では、図１０に示すように、警報手段１０は、射影手段９により射影処理が行われた平面Ｇを例えば９つの領域に分割する。

さらに、警報手段１０は、分割した領域毎に、高さ算出手段８が算出した平面Ｇから被写体の各部分までの高さが所定高さ以上である被写体の部分の数を計数する。ここで、所定高さとは、例えば、２０ｃｍ程度であって、これにより、２０ｃｍよりも高さの低い車輪止め等を障害物であるという警報の対象から排除する。

そして、警報手段１０は、計数された被写体の部分の数が所定の閾値以上であるか否かに基づいて、領域毎の障害物の有無を検知する。ここで、所定の閾値を、例えば「２」とすることにより、図１０に示すように、左の近距離の領域には障害物は無いと判断し、右の中距離の領域には警報すべき障害物が有ると判断する。

また、この閾値は、領域から車載カメラ１までの距離に応じて異なるように設定してもよく、例えば、撮像画像中での解像度が近距離の領域と比較して高くなる遠距離の領域では、閾値を大きく設定することができる。

このようにして警報すべき障害物が有ると判断した場合には、警報手段１０は警報信号をビデオ出力手段１１および音合成手段１３に出力する。

なお、ステップＳ３２８において撮像画像中に路面が映っていないと判断した場合には、被写体の部分の高さの粗量に関する情報を警報信号としてもよい。

さらに、ビデオ出力手段１１は、警報手段１０が出力する警報信号に基づいて、画像表示装置３に表示させるための警報メッセージやシンボル表示に関する信号を出力する。また、音合成手段１３は、警報手段１０が出力する警報信号に基づいて、警報音発生装置４に発生させるための警報音や音声等に関する信号を出力する。

そして、画像表示装置３が表示する警報メッセージや障害物を示すシンボル表示画像、警報音発生装置４が発生する危険度（距離）に応じた警報音や音声等により、運転者は障害物に関する情報を取得することができる。

このように構成された実施例１に係る障害物検知警報装置１００によれば、距離マップ作成手段６が、撮像画像に基づいて２次元座標と距離とからなる距離マップを作成し、路面特定手段７が、距離マップに基づいて被写体の部分のうち路面に相当する平面Ｇを特定することにより、路面に相当する平面Ｇは、予め用意された３次元位置が既知の多数点から特定されるわけではなく、撮像画像に基づいて特定されるため、従来のような事前校正を必要とせずに路面と障害物とを識別することができる。

すなわち、ユーザー自身が事前校正を行う必要がないため、車載カメラ１の取付位置の選択の自由度を高めることができる。

また、上述のように、車載カメラ１による撮像画像に基づいて路面に相当する平面Ｇが特定されるため、車両が実際に走行している走行環境に応じた平面の特定をすることができる。

さらに、警報手段１０は、平面Ｇに沿った各距離（車載カメラ１から被写体の各部分までの各距離）を障害物の有無の判断基準としており、これらの平面に沿った各距離は車両の走行方向に沿った距離であるため、運転者は障害物の検知結果を容易に把握することができる。

また、路面特定手段７の特定部７ｂは、被写体の各部分のうち、平面近似により特定された平面から所定値以上の距離にある被写体の部分の有無を検知し、所定値以上の距離にある被写体の部分が存在する場合には、所定値以上の距離にある被写体の部分が存在しなくなるまで、所定値以上の距離にある被写体の部分を削除したうえで、平面近似を繰り返し、最終的に得られた平面を路面に相当する平面Ｇとして特定するため、平面の特定を精度よく行うことができる。

そして、警報手段１０は、路面に相当する平面Ｇを複数の領域に分割し、分割して得られた各領域に含まれる被写体の部分のうち平面Ｇからの高さが所定値以上である被写体の部分の数を計数し、距離および高さに加えて、平面Ｇからの高さが所定値以上である被写体の部分の数が所定の閾値以上であるか否かに基づいて、領域毎の障害物の有無を検知し、検知の結果と領域から車載カメラ１までの距離とに応じて警報の態様を変化させるため、障害物の誤検知を防ぐことができる。

また、閾値は、領域から車載カメラ１までの距離に応じて異なるように設定できるため、撮像画像中で解像度が高くなる遠距離であっても誤検知が生じるのを防ぐことができる。

さらに、距離マップ作成手段６は、左カメラ１ａ、右カメラ１ｂにより同時に撮像された２つ以上の撮像画像間での類似度比較を行なうことで、同一の被写体の部分を特定し、同一の被写体の部分に対応する画素に基づいて、距離マップを作成するため、比較的短い時間で距離マップを作成することができる。

さらに、距離マップ作成手段６は、２つ以上の撮像画像間での同一の被写体の部分の対応する画素数のずれ量を計測し、計測されたずれ量と、画素間のピッチ数と、各カメラ（左カメラ１ａ、右カメラ１ｂ）の焦点距離と、撮像画像を撮像するときの各カメラの位置と、に基づいて三角測量の原理により被写体の各部分から車載カメラ１までの距離を算出しており、これらのパラメータのうち、ずれ量以外は既定値であるため、比較的少ない計算量で被写体の各部分から車載カメラまでの距離を算出することができる。

次に、本発明の実施形態としての実施例２の障害物検知警報装置２００について説明する。この障害物検知警報装置２００は、撮像画像に基づいて得られた路面に相当する平面の平面情報を記憶し、この平面情報を用いて障害物の有無を検知するものである。

図１１は、実施例２の障害物検知警報装置２００の構成を示すブロック図である。図１１に示すように、障害物検知警報装置２００の構成は、実施例１の障害物検知警報装置１００の構成に加えて、路面に相当する平面Ｇに関する平面情報を記憶する記憶手段２０を有している。また、車載カメラ１は、路面が撮像されるように設置されている。

なお、障害物検知警報装置２００の他の構成は、実施例１の障害物検知警報装置１００の構成と同様であるため、ここでの説明は省略する。

次に、障害物検知警報装置２００の校正処理および障害物検知警報処理の流れを説明する。

図１２（ａ）は、障害物検知警報装置２００の校正処理の流れを説明するフローチャートであり、図１２（ｂ）は、図１２（ａ）に示した平面情報記憶処理の流れを説明するフローチャートであり、図１２（ｃ）は、障害物検知警報処理の流れを説明するフローチャートである。

［校正処理］
ユーザーが車載カメラ１の撮像画像に路面が入るように事前に角度等の調整を行ない、車載カメラ１による撮像画像のデータが情報処理装置２に出力されると、図１２（ａ）に示すように、レンズ歪み補正等の内部校正処理（ステップＳ２１）およびステレオ視差計測処理（ステップＳ２２）が行われる。これらは、実施例１のステップＳ１およびステップＳ２と同様の処理であるため、ここでの説明は省略する。

その後、平面情報記憶処理（ステップＳ２３）が行われる。この平面情報記憶処理は、図１２（ｂ）に示すように、まず、距離マップ作成処理（ステップＳ２３１）が行われ、距離マップ作成手段６が距離マップを作成する。

また、路面特定処理（ステップＳ２３２）が行われ、路面特定手段７が被写体の部分のうち路面に相当する平面Ｇを特定する。これらの距離マップ作成処理（ステップＳ２３１）および路面特定処理（ステップＳ２３２）は、実施例１のステップＳ３１およびステップＳ３２と同様の処理である。

そして、射影手段９は車載カメラ１の位置のみを平面Ｇに射影する（ステップＳ２３３）。さらに、記憶手段２０は、車載カメラ１の位置が射影された平面Ｇに関する平面情報を記憶する（ステップＳ２３４）。

［障害物検知警報処理］
障害物検知警報処理が開始されると、図１２（ｃ）に示すように、記憶手段２０から平面情報が読みだされ（ステップＳ２４）、高さ算出手段８は、この平面情報に基づいて、平面Ｇから各被写体の部分までの高さを算出する高さ算出処理を行う（ステップＳ２５）。

また、射影手段９は、読みだされた平面情報に基づいて、平面Ｇに各被写体の部分の位置を射影する射影処理を行う（ステップＳ２６）。

さらに、警報手段１０、ビデオ出力手段１１、音合成手段１３、画像表示装置３および警報音発生装置４が、実施例１のステップＳ４と同様に、障害物を検知し、障害物に関する情報を運転者に伝える警報処理を行う（ステップＳ２７）。

また、車載カメラ１による新たな撮像画像が情報処理装置２に出力されると、記憶手段２０が記憶した平面Ｇに関する平面情報を用いてステップＳ２４〜ステップＳ２７の障害物検知処理のみを繰り返す。

なお、車両自身の振動や路面の傾斜の変化等がある場合には、再び路面が撮像されるように車載カメラ１の設置を行うことで、ステップＳ２１〜ステップＳ２３の校正処理を通して記憶手段２０が新たな平面情報を記憶し、この新たな平面情報に基づいて障害物検知処理を行うことができる。

このように構成された実施例２に係る障害物検知警報装置２００によれば、記憶手段２０が路面に相当する平面Ｇに関する平面情報を予め記憶し、高さ算出手段８が記憶手段２０に予め記憶された平面情報に基づいて平面Ｇから被写体の各部分までの高さを算出し、射影手段９は、記憶手段２０に予め記憶された平面情報に基づいて平面Ｇに各被写体の部分の位置を射影するため、実施例１の障害物検知警報装置１００による効果に加えて、撮像画像が得られる度に平面の特定を行う必要がなく、障害物検知のための計算負荷を低減させることができる。
（変形例１）
実施例１および実施例２では、距離マップ作成手段６がステレオ視差（画素数のずれ量）を計測し、ステレオ視差、画素間のピッチ、左カメラ１ａと右カメラ１ｂ間の距離、焦点距離を用いて、三角測量の原理により、被写体の各部分から車載カメラ１までの距離を算出する場合について説明した。

しかし、本発明の障害物検知警報装置は、このような形態に限定されるものではなく、被写体の各部分から車載カメラ１までの距離を算出することできるものであればよい。

例えば、本発明の障害物検知警報装置は、距離マップ作成手段６は、同一の被写体の部分の対応する画素について、各車載カメラ（左カメラ１ａおよび右カメラ１ｂ）の光軸となす視線角度を計測し、計測された視線角度と、各車載カメラの焦点距離と、撮像画像を撮像するときの車載カメラ１の位置と、に基づいて三角測量の原理により被写体の各部分から車載カメラ１までの距離を算出することにより、距離マップを作成する構成としてもよい。

このように構成された障害物検知警報装置によれば、距離マップ作成手段６は、視線角度と、焦点距離と、車載カメラ１の位置と、に基づいて距離の算出を行うため、撮像画像の画素間のピッチ数が記憶されていない場合であっても被写体の各部分から車載カメラ１までの距離を算出することができる。

（変形例２）
また、実施例１および実施例２では、車載カメラ１が左カメラ１ａおよび右カメラ１ｂを有するステレオカメラである場合について説明したが、本発明の障害物検知警報装置は、このような形態に限定されるものではなく、複数の撮像画像が得られるものであればよい。

例えば、本発明の障害物検知警報装置は、車載カメラ１は時系列に相前後して少なくとも２つの撮像画像を撮像する単一のカメラであって、距離マップ作成手段６は、車載カメラ１が搭載された車両が走行するのに伴って撮像するときの車載カメラ１の位置が異なった２つ以上の撮像画像間での類似度比較を行なうことで、同一の被写体の部分を特定し、同一の被写体の部分に対応する画素に基づいて、距離マップを作成する構成としてもよい。

このように構成された障害物検知警報装置によれば、車両が走行するのに伴って撮像位置が異なった２つ以上の撮像画像を得ることができる、いわゆる「モーションステレオ」を利用したものであるため、車載カメラ１が単一のカメラであっても、距離マップ作成手段６は複数の撮像画像に基づき距離マップを作成することができる。

（変形例３）
また、車載カメラ１が単一のカメラである場合の他の例として、本発明の障害物検知警報装置は、レーザーを照射方向を可変に投光する投光器（図示せず）を有し、距離マップ作成手段６は、撮像画像において投光器により照射された被写体の部分に対応する画素について、車載カメラ１の光軸となす視線角度を計測し、計測された視線角度と、投光器の照射角度と、車載カメラの焦点距離と、車載カメラ１と投光器との間の距離と、に基づき三角測量の原理により各被写体から車載カメラ１までの距離を算出する構成としてもよい。

このように構成された障害物検知警報装置によれば、車載カメラ１が単一のカメラであっても、距離マップ作成手段６は、投光器により照射された被写体の部分に対応する画素について、投光器の照射角度を用いて距離の算出を行うことにより距離マップを作成することができる。

なお、距離マップ作成手段６は、情報処理装置２に設けられている場合に限らず、車載カメラ１に設けられていたり、あるいは、情報処理装置２や車載カメラ１から独立して設けられていてもよい。

１ 車載カメラ
２ 情報処理装置
３ 画像表示装置
４ 警報音発生装置
５ 内部校正手段
６ 距離マップ作成手段
７ 路面特定手段
８ 高さ算出手段
９ 射影手段
１０ 警報手段

Claims (8)

1. 車載カメラと、
   前記車載カメラにより撮像された撮像画像に基づいて、前記撮像画像の各画素に、２次元座標と前記各画素に対応する被写体の部分から前記車載カメラまでの距離とを対応付け、前記２次元座標と前記距離とからなる距離マップを作成する距離マップ作成手段と、
   前記距離マップに基づいて、前記被写体の各部分の３次元座標を算出する３次元座標算出部と前記被写体の各部分の３次元座標を用いた平面近似により路面に相当する平面を特定して、特定された前記平面から所定値以上の距離にある被写体の部分の有無を検知し、前記所定値以上の距離にある被写体の部分が存在する場合には、前記所定値以上の距離にある前記被写体の部分が存在しなくなるまで、前記所定値以上の距離にある前記被写体の部分を削除したうえで、前記平面近似を繰り返し、最終的に得られた平面を前記被写体の部分のうち路面に相当する平面として特定する特定部とを有する路面特定手段と、
   前記路面特定手段により特定された前記平面から前記被写体の各部分までの高さを算出する高さ算出手段と、
   前記車載カメラの位置および前記被写体の各部分の位置を前記平面に射影する射影手段と、
   前記路面に相当する平面を複数の領域に分割し、分割して得られた各領域に含まれる前記被写体の部分のうち前記平面からの高さが所定値以上である被写体の部分の数を計数し、前記平面に射影された前記車載カメラの位置から前記平面に射影された前記被写体の各部分の位置までの前記平面に沿った各距離および前記平面から前記被写体の各部分までの各高さに加えて、前記平面からの高さが所定値以上である被写体の部分の数が所定の閾値以上であるか否かに基づいて、前記領域毎の障害物の有無を検知し、前記検知の結果と前記領域から前記車載カメラまでの距離とに応じて警報の態様を変化させる警報手段と、を有することを特徴とする障害物検知警報装置。
2. 路面が撮像されるように設置された車載カメラと、
   前記車載カメラにより撮像された撮像画像に基づいて、前記撮像画像の各画素に、２次元座標と前記各画素に対応する被写体の部分から前記車載カメラまでの距離とを対応付け、前記２次元座標と前記距離とからなる距離マップを作成する距離マップ作成手段と、
   前記距離マップに基づいて得られた路面に相当する平面に関する平面情報を予め記憶する記憶手段と、
   前記記憶手段に予め記憶された前記平面情報に基づいて前記平面から前記被写体の各部分までの高さを算出する高さ算出手段と、
   前記車載カメラの位置および前記被写体の各部分の位置を前記平面に射影する射影手段と、
   前記路面に相当する平面を複数の領域に分割し、分割して得られた各領域に含まれる前記被写体の部分のうち前記平面からの高さが所定値以上である被写体の部分の数を計数し、前記平面に射影された前記車載カメラの位置から前記平面に射影された前記被写体の各部分の位置までの前記平面に沿った各距離および前記平面から前記被写体の各部分までの各高さに加えて、前記平面からの高さが所定値以上である被写体の部分の数が所定の閾値以上であるか否かに基づいて、前記領域毎の障害物の有無を検知し、前記検知の結果と前記領域から前記車載カメラまでの距離とに応じて警報の態様を変化させる警報手段と、を有することを特徴とする障害物検知警報装置。
3. 前記閾値は、前記領域から前記車載カメラまでの距離に応じて異なることを特徴とする請求項１または請求項２に記載の障害物検知警報装置。
4. 前記車載カメラは設置位置が互いに異なるように複数個設けられており、
   前記距離マップ作成手段は、各車載カメラにより撮像された２つ以上の撮像画像間での類似度比較を行なうことで、同一の被写体の部分を特定し、前記同一の被写体の部分に対応する画素に基づいて、前記距離マップを作成することを特徴とする請求項１から請求項３のいずれか１項に記載の障害物検知警報装置。
5. 前記車載カメラは時系列に相前後して少なくとも２つの撮像画像を撮像する単一のカメラであって、
   前記距離マップ作成手段は、前記車載カメラが搭載された車両が走行するのに伴って撮像するときの前記車載カメラの位置が異なった２つ以上の前記撮像画像間での類似度比較を行なうことで、同一の被写体の部分を特定し、前記同一の被写体の部分に対応する画素に基づいて、前記距離マップを作成することを特徴とする請求項１から請求項３のいずれか１項に記載の障害物検知警報装置。
6. 前記距離マップ作成手段は、２つ以上の前記撮像画像間での前記同一の被写体の部分の対応する画素数のずれ量を計測し、
   計測された前記ずれ量と、前記画素間のピッチ数と、前記各車載カメラの焦点距離と、前記撮像画像を撮像するときの前記車載カメラの位置と、に基づいて三角測量の原理により前記被写体の各部分から前記車載カメラまでの距離を算出することにより、前記距離マップを作成することを特徴とする請求項４又は請求項５に記載の障害物検知警報装置。
7. 前記距離マップ作成手段は、前記同一の被写体の部分の対応する画素について、前記各車載カメラの光軸となす視線角度を計測し、
   計測された前記視線角度と、前記各車載カメラの焦点距離と、前記撮像画像を撮像するときの前記車載カメラの位置と、に基づいて三角測量の原理により前記被写体の各部分から前記車載カメラまでの距離を算出することにより、前記距離マップを作成することを特徴とする請求項４又は請求項５に記載の障害物検知警報装置。
8. レーザーを照射方向を可変に投光する投光器を有し、
   前記距離マップ作成手段は、前記撮像画像において前記投光器により照射された被写体の部分に対応する画素について、前記車載カメラの光軸となす視線角度を計測し、
   計測された前記視線角度と、前記投光器の照射角度と、前記車載カメラの焦点距離と、前記車載カメラと前記投光器との間の距離と、に基づき三角測量の原理により前記各被写体から前記車載カメラまでの距離を算出することを特徴とする請求項１から請求項３のいずれか１項に記載の障害物検知警報装置。