以下、本発明の実施の形態について図面を参照して説明する。
[第1実施形態]
本発明は、例えば図1及び図2に示すように構成された車両周辺画像処理装置に適用される。
[車両周辺画像処理装置の構成]
この車両周辺画像処理装置は、車両周辺の画像を運転者に提供するものである。これによって、車両周辺画像処理装置は、例えば駐車場面において運転者の運転操作を支援する。
この車両周辺画像処理装置は、図1に機能的に示すように、車両周辺を撮影する撮影部1と、俯瞰画像を作成する画像変換部2と、車両周辺の立体物の状態を識別する立体物識別部3と、車両から立体物までの距離を計算する距離計算部4と、立体物を提示するように俯瞰画像を加工する表示加工部5と、俯瞰画像を表示する表示部6とを備えている。このような機能的な各部は、具体的には、図2に示すように構成される。
なお、図1及び図2においては、車両周辺画像処理装置における画像変換部2,立体物識別部3,距離計算部4,表示加工部5はCPU、ROM、RAMなどを備えたコンピュータによるハードウエアで構成されているが、図1においては便宜的に機能ブロック毎に分けて、説明を行っている。
撮影部1は、複数台のCCDカメラやCMOSカメラからなる。この撮影部1は、図2に示すように、例えば、それぞれが異なる方向を撮影する4台のカメラモジュール12a,12b,12c,12d(以下、総称する場合には単に「カメラモジュール12」ともいう。)からなる。これらカメラモジュール12a,12b,12c,12dによって得られた画像データは、画像処理部11に送信される構成となっている。
この画像処理部11は、バス状の通信ライン20に、カメラモジュール12a,12b,12c,12dのそれぞれに対応した入力バッファ21a,21b,21c,21d(以下、総称する場合には単に「入力バッファ21」と呼ぶ。)と、CPU22と、演算部23と、テーブル記憶部24と、出力バッファ25とが接続されて構成されている。
入力バッファ21は、カメラモジュール12からの画像データを入力して記憶しておくものである。入力バッファ21は、カメラモジュール12の個数に対応して設けられている。入力バッファ21aはカメラモジュール12aと接続され、入力バッファ21bはカメラモジュール12bと接続され、入力バッファ21cはカメラモジュール12cと接続され、入力バッファ21dはカメラモジュール12dと接続される。入力バッファ21は、画像データを一旦格納し、CPU22の制御に従って、演算部23による画像変換タイミングで画像データが読み出される。
出力バッファ25は、後述する演算部23によって座標変換された表示用の俯瞰画像を記憶するものである。この出力バッファ25は、記憶した俯瞰画像の情報を、表示部6に相当するモニタ14に出力する。
モニタ14は、出力バッファ25から出力された俯瞰画像を表示する。また、モニタ14は、後述するように演算部23によって立体物が識別されている場合には、当該立体物を示すように加工された俯瞰画像を表示する。
スピーカ13は、後述の演算部23によって車両周辺に立体物が存在すると判断された場合、その立体物の存在を所定の音声にて運転者に知らせる構成となっている。具体的には、スピーカ7は、「ピッ、ピッ、ピッ」といったピープ音や、「左側方に障害物があります」などの会話音で立体物の存在を運転者に知らせる。
CPU22は、画像処理部11の全体を制御するものである。CPU22は、主として、入力バッファ21a,21b,21c,21dから画像データを取り出すタイミング、演算部23の画像処理タイミング、出力バッファ25から俯瞰画像をモニタ14に送信するタイミングを制御する。CPU22は、例えばASIC(Application Specific Integrated Circuit)や、LSI(Large Scale Integrated Circuit)や、FPGA(Field Programmable Gate Array)や、DSP(Digital Signal Processor)等のデバイスから構成されている。
テーブル記憶部24は、カメラモジュール12により撮影された車両周辺の画像データを座標変換するアドレス変換テーブルを記憶したものである。テーブル記憶部24は、アドレス変換テーブルとして、地面を基準面として画像データの座標変換をするためのアドレス変換テーブル24aを記憶している。
演算部23は、画像データを用いて座標変換を行って俯瞰画像を作成する画像変換部23aと、座標変換された俯瞰画像を用いて立体物の状態を識別する立体物識別部23bと、立体物までの距離を計算する距離計算部23cと、立体物を提示するように俯瞰画像を加工する表示加工部23dとを備える。なお、立体物識別部23bは図1における立体物識別部3に相当し、距離計算部23cは図1における距離計算部4に相当し、表示加工部23dは図1における表示加工部23dに相当する。
画像変換部23aは、カメラモジュール12a,12b,12c,12dにより撮影された車両周辺の画像それぞれを座標変換した画像を生成するものである。また、生成した座標変換画像を合成して自車両を上空から眺めたような俯瞰画像を生成する。
画像変換部23aは、テーブル記憶部24に記憶されたアドレス変換テーブル24aを参照して、画像データを座標変換する。この画像変換部23aは、入力バッファ21から得た画像データを用い、地面を基準面として座標変換をして、表示用の俯瞰画像データを作成する。この俯瞰画像データは、自車両を上空から眺めたような俯瞰画像であり、演算部23によって出力バッファ25に格納された後に、モニタ14に出力される。
立体物識別部23bは、画像変換部23aにより作成された俯瞰画像に含まれる座標変換画像の境界線を跨いだ物体画像の状態に基づいて、車両周辺に存在する立体物の状態を識別する。立体物識別部23bは、立体物の状態として、車両周辺に存在する立体物が地面に接した立体物か地面から離間した立体物かを識別する。具体的には、地面に設けられた縁石やポールといった立体物と、ガードレールのガード部分といった空中に存在する立体物とを識別する。なお、詳細は後述するが、立体物識別部23bは、画像変換部23aによって作成された俯瞰画像に含まれる境界線を変更させて、当該境界線を変更させた時における物体画像の状態に基づいて立体物の識別も行う。
距離計算部23cは、立体物識別部23bにより識別された立体物の状態に基づいて、当該車両から立体物までの距離を演算する。距離計算部23cは、画像変換部23aによって作成された俯瞰画像内における物体画像の位置から、当該物体画像の立体物から車両までの距離を計算する。距離計算部23cは、立体物識別部23bによって俯瞰画像における境界線の位置が変更されて立体物の識別が行われた場合、当該変更された境界線の位置ごとの立体物の状態に基づいて車両から立体物までの距離を演算する。
表示加工部23dは、距離計算部23cによって計算された車両から立体物までの距離に基づいて、車両が移動可能な領域を、画像変換部23aにより作成された俯瞰画像に重畳させて表示する表示データを作成する。この表示データは、出力バッファ25に供給されて、モニタ14によって表示される。また、表示加工部23dは、距離計算部23cにより距離が演算された立体物から、車両に対して離間する方向に含まれる領域を車両が移動できない領域として俯瞰画像に重畳させる表示データを作成しても良い。
このような演算部23において、画像変換部23aが俯瞰画像データを作成する処理を図3を参照して説明する。なお、この画像変換部23aの処理は、自車両の周囲に立体物が存在しない場合である。ここで、カメラモジュール12a,12b,12c,12dは車両前方、両側方および後方にそれぞれ1つずつ設けられて4方向を撮影可能となっているものとする。
画像変換部23aによって俯瞰画像101を作成する座標変換処理は、カメラモジュール12aによって撮影された車両前方の車両周辺画像102aと、カメラモジュール12bによって撮影された車両後方の車両周辺画像102bと、カメラモジュール12cによって撮影された車両左側方の車両周辺画像102cと、カメラモジュール12dによって撮影された車両右側方の車両周辺画像102dとを用いる。図3に示す車両周辺画像102a〜102d、および後述する部分画像104a〜104dには、車両周辺の地面上に引かれた白線103が表示されている。
画像変換部23aは、各車両周辺画像102a〜102dを、アドレス変換テーブル24aを参照してそれぞれ座標変換する。すなわち、画像変換部23aは、車両前方の車両周辺画像102aを座標変換して自車両前方を上空から眺めた部分画像104aを生成し、車両後方の車両周辺画像102bを座標変換して自車両後方を上空から眺めた部分画像104bを生成し、車両左側方の車両周辺画像102cを座標変換して車両左側方を上空から眺めた部分画像104cを生成し、車両右側方の車両周辺画像102dを座標変換して車両右側方を上空から眺めた部分画像104dを生成する。そして、画像変換部23aは、座標変換して得た部分画像104a〜104dを合成して、自車両周辺を上空から眺めた表示用の俯瞰画像101を生成する。なお、画像変換部23aは、車両周囲と自車両との位置関係を運転者に提示するために、俯瞰画像101の中央部に自車両を示すマーク105を配置(インポーズ)する。
このように、画像変換部23aは、カメラモジュール12によって撮影された車両周辺画像に座標変換をして俯瞰画像101を生成し、当該俯瞰画像101を出力バッファ25に出力する。
このように作成された俯瞰画像を用いて、立体物識別部23bは、当該俯瞰画像内に含まれている物体画像から立体物の識別を行う。立体物識別部23bは、エッジ検出機能によって、画像変換部23aにより生成された俯瞰画像101に対してエッジ検出を行う。このエッジ検出機能は、俯瞰画像101上の各画素の色情報又は明るさ情報からエッジ検出を行う。
例えば図4に示すように、俯瞰画像101のうちの車両前方側画像201には、物体画像として壁201aとポール201bと縁石201cとが含まれている。これらの物体画像のうち縁石201cについては、縁石203bとして右側方画像203にも含まれている。
また、後方側画像202には、白線202aとガードレール202bと他車両202cとが物体画像として含まれている。これらの物体画像うち、ガードレール202bについては右側方画像203にもガードレール203aとして含まれており、更に、後方側画像202のうちの白線202aと他車両202cについては、左側方画像204にも白線204b、他車両204aとして含まれている。
このような俯瞰画像101に対してエッジ検出を行うことによって、立体物識別部23bは、俯瞰画像101に含まれる物体画像を検出することができる。そして、立体物識別部23bは、各画像201の境界線に跨って位置している物体画像の間にずれがあることを検出する。立体物識別部23bは、物体を表す直線上のエッジ群のうち、俯瞰画像101に含まれる境界線a,b,c,dを跨いで段階的にずれているエッジ群を検出する。
具体的には、立体物識別部23bは、車両前方側画像201と右側方画像203との境界線bに跨って位置している縁石を表す縁石201cと縁石203bとの間にずれがあることを検出する。また、立体物識別部23bは、右側方画像203と後方側画像202との境界線dに跨って位置しているガードレールを表すガードレール203aとガードレール202bとの間にずれがあることを検出する。更に立体物識別部23bは、左側方画像204と後方側画像202との境界線cに跨って位置している他車両を表す他車両204cと他車両202cとの間にずれがあることを検出する。なお、立体物識別部23bは、地面に描かれている白線については、境界線d、境界線bを跨っているものの、例えば白線204bと白線202aといったようにずれは検出できない。
立体物識別部23bは、このような処理によって検出した物体画像から、境界線に跨ってエッジのずれが検出された物体については立体物であることを識別する。また、立体物識別部23bは、境界線に跨ってずれが検出された立体物のうち、車両に近い側のエッジが境界線においてずれが検出されたか否かによって、当該立体物が地面上の立体物か否かを識別する。
具体的には、図5に示すように立体物が地面上に存在するか、図6に示すように立体物が地面から離間して存在するかによって、境界線を跨いだ物体画像のずれ状態が変わる。ここで、図5及び図6に示すように、車両に設置された複数のカメラモジュール12は、それぞれ高さが異なっている。これは、車両の形状などによってカメラモジュール12の設置場所に制約を受けることなどに起因する。図5及び図6に示す場合には、第1カメラモジュール301が第2カメラモジュール302よりも上方に設置されているとする。
このような車両周辺画像処理装置において、地面に接して存在する縁石といった地上立体物303は、各第1カメラモジュール301,第2カメラモジュール302から見た相対位置が異なる。したがって、第1カメラモジュール301によって地上立体物303を撮影した画像と、第2カメラモジュール302によって地上立体物303を撮影した画像とは、異なるものとなる。
第1カメラモジュール301,第2カメラモジュール302は、地上立体物303の下端位置を地点P3として認識できる画像を撮影する。この画像内の物体位置と、車両から物体までの距離とは、一意に決定できる。
第1カメラモジュール301は、当該第1カメラモジュール301の設置位置と地上立体物303の上端位置とを結ぶラインが地面と接触する地点P2に、地上立体物303の上端位置が存在すると認識する。すなわち、画像内において、第1カメラモジュール301によって撮像された地上立体物303の上端位置は、地点P2に接して存在する物体位置と同位となる。
一方、第2カメラモジュール302は、当該第2カメラモジュール302の設置位置と地上立体物303の上端位置とを結ぶラインが地面と接触する地点P1に、地上立体物303の上端位置が存在すると認識する。すなわち、画像内において、第2カメラモジュール302によって撮像された地上立体物303の上端位置は、地点P1に接して存在する物体位置と同位となる。
このように、第1カメラモジュール301で地上立体物303を撮像した画像よりも、第2カメラモジュール302で地上立体物303を撮像した画像の方が、遠くに地上立体物303が存在するように見える画像となる。すなわち、図5に示したように、一方の座標変換画像では地上立体物303が地点P3から地点P2までの距離X2(以下、変換誤差距離X2という)の物体として表現され、他方の座標変換画像では地上立体物303が地点P3から地点P1までの距離X1(>X2、以下、変換誤差距離X1という)の物体として表現されてしまう。
そして、第1カメラモジュール301によって撮像した画像と、第2カメラモジュール302によって撮像した画像とをそれぞれ画像変換部23aによって座標変換して合成すると、当該双方の座標変換画像の境界線にて、物体のずれが発生する。なお、地上立体物303の下端位置は地面に接しているため、当該双方の座標変換画像の境界線においてズレは生じない。
また、車両周辺画像処理装置において、図6に示すように、例えばガードレールといった地面から離間して存在する空中立体物304についても、各第1カメラモジュール301,第2カメラモジュール302から見た相対位置が異なる。したがって、第1カメラモジュール301によって空中立体物304を撮影した画像と、第2カメラモジュール302によって空中立体物304を撮影した画像とは、異なるものとなる。
第1カメラモジュール301は、当該第1カメラモジュール301の設置位置と空中立体物304の上端位置とを結ぶラインが地面と接触する地点P2に、空中立体物304の上端位置が存在すると認識する。すなわち、画像内において、第1カメラモジュール301によって撮像された空中立体物304の上端位置は、地点P2に接して存在する物体位置と同位となる。また、第1カメラモジュール301は、当該第1カメラモジュール301の設置位置と空中立体物304の下端位置とを結ぶラインが地面と接触する地点P4に、空中立体物304の下端位置が存在すると認識する。すなわち、画像内において、第1カメラモジュール301によって撮像された空中立体物304の下端位置は、地点P4に接して存在する物体位置と同位となる。
一方、第2カメラモジュール302は、当該第2カメラモジュール302の設置位置と空中立体物304の上端位置とを結ぶラインが地面と接触する地点P1に、空中立体物304の上端位置が存在すると認識する。すなわち、画像内において、第2カメラモジュール302によって撮像された地上立体物303の上端位置は、地点P1に接して存在する物体位置と同位となる。また、第2カメラモジュール302は、当該第2カメラモジュール302の設置位置と地上立体物303の下端位置とを結ぶラインが地面と接触する地点P5に、地上立体物303の下端位置が存在すると認識する。すなわち、画像内において、第2カメラモジュール302によって撮像された空中立体物304の下端位置は、地点P5に接して存在する物体位置と同位となる。
このように、第1カメラモジュール301で空中立体物304を撮像した画像よりも、第2カメラモジュール302で空中立体物304を撮像した画像の方が、遠くに空中立体物304が存在するように見える画像となる。すなわち、図6に示したように、一方の座標変換画像では空中立体物304が地点P4から地点P2までの変換誤差距離X2の物体として表現され、他方の座標変換画像では空中立体物304が地点P5から地点P1までの変換誤差距離X1(>変換誤差距離X2)の物体として表現されてしまう。
そして、第1カメラモジュール301によって撮像した画像と、第2カメラモジュール302によって撮像した画像とをそれぞれ画像変換部23aによって座標変換して合成すると、当該双方の座標変換画像の境界線にて、物体のずれが発生する。
立体物識別部23bは、以上ように説明した座標変換画像である車両前方側画像201、後方側画像202、右側方画像203、左側方画像204間の境界線を跨ぐ物体のズレを識別して、当該物体が立体物であるか否かを判断する。さらに、立体物識別部23bは、物体が立体物のものであると判断した場合には、車両から近い方に存在する物体のエッジがずれているか否かを判断する。これによって、立体物識別部23bは、当該立体物が地面から存在する立体物であるか、地面よりも高い位置にある立体物であるかを判断できる。
このように立体物識別部23bによって立体物の識別が行われた後、演算部23は、距離計算部23cによって、俯瞰画像101に含まれる立体物ごとに、立体物識別部23bで判断された立体物の種別に従って、カメラモジュール12から立体物までの実際の距離を計算する。ここで、カメラモジュール12の位置は、俯瞰画像101内における位置である。具体的には、図4において、右側方のカメラモジュール12と縁石(201c,203b)との距離は、自車両を示すマーク105におけるドアミラー相当部分からの距離となる。
図5に示すように立体物識別部23bによって地面から存在する地上立体物303と判断された場合、距離計算部23cは、俯瞰画像101においてカメラモジュール12が設置されている位置と地上立体物303の下端位置との間の距離を実際の距離とする。また、図6に示すように地面よりも高い位置にある空中立体物304と判断された場合、距離計算部23cは、俯瞰画像101の境界線近傍の物体の映り方の差異から、カメラモジュール12と空中立体物304との実際の距離を計算する。なお、この空中立体物304とカメラモジュール12との距離を計算する処理については後述する。
表示加工部23dは、画像変換部23aによって作成された俯瞰画像101に、距離計算部23cによって計算されたカメラモジュール12と立体物との距離情報を重畳する画像加工処理を行う。表示加工部23dによって加工された画像データは、出力バッファ25に一旦格納された後にモニタ14に出力される。
これによって、車両周辺画像処理装置は、車両周辺に存在する物体が地上立体物であるか空中立体物であるかによって計算された距離情報を含む俯瞰画像101を運転者に提示することができる。
また、この車両周辺画像処理装置は、車両周辺に立体物があることが判断された場合、報知手段としてのスピーカ13によって、その存在を所定の音声にて運転者に知らせる構成となっている。具体的には、「ピッ、ピッ、ピッ」といったピープ音や、「左前方に立体物があります」、「表示画面で立体物の位置を確認してください」などの会話音でその存在及び距離を運転者に知らせる。
[車両周辺画像処理装置の動作]
つぎに、上述したように構成された車両周辺画像処理装置の動作について、図7のフローチャート等を参照して説明する。
車両周辺画像処理装置は、カメラモジュール12a,12b,12c,12dのそれぞれによって撮影された画像データが入力バッファ21a,21b,21c,21dに格納されると、CPU22の制御に従って、それぞれの画像データを演算部23によって読み込む。そして、演算部23の画像変換部23aは、それぞれの画像データを座標変換して座標変換画像を作成し、テーブル記憶部24に格納されたアドレス変換テーブル24aに従って座標変換画像を合成する。
なお、以下の説明では、画像変換部23aによって、図4に示した俯瞰画像101が作成された場合について説明する。ここで、図4に示した俯瞰画像101を構成する車両前方側画像201、後方側画像202、右側方画像203、左側方画像204及び境界線a〜dのパターンは、アドレス変換テーブル24aによって設定されている。
俯瞰画像101の作成が行われると、演算部23は、ステップS1において、立体物識別部23bによって、ある境界線a〜dのパターンの俯瞰画像101に対してエッジ検出処理を行う。
次のステップS2においては、立体物識別部23bによって、ステップS1にて検出された直線上に連続するエッジのうち、エッジ処理後の俯瞰画像101内の境界線a〜dを跨いで連続しないエッジ、すなわち境界線a〜dを跨いでズレが生じているエッジを抽出する。これにより、立体物識別部23bは、俯瞰画像101に含まれる立体物を検出する。
例えば図8に示すように、ステップS2のエッジの抽出処理によって、縁石(201c、203b)、ガードレール(203a、202b)及び他車両(202c、204c)から検出されたエッジが検出される。ここで、図4に示す俯瞰画像101と比較すると明らかなように、壁201a、及びポール201bは、境界線a〜dを跨いで存在していないため、ステップS2の処理では抽出されない。また、図4の俯瞰画像101に含まれている白線(204b、202a)、白線203cは、境界線c,dを跨いでいる。しかし、境界線c,d間においてエッジにズレが生じていないため、ステップS2において抽出されないこととなる。
次のステップS3においては、立体物識別部23bによって、ステップS2にて抽出されたエッジ及び境界線で囲まれる検出領域を検出し、当該境界線を介して隣接した検出領域同士の輝度又は色情報を比較する。具体的には、立体物識別部23bは、車両前方側画像201に含まれている縁石201cのエッジと境界線bとで囲まれている検出領域と、右側方画像203に含まれている縁石203bのエッジと境界線bとで囲まれている検出領域とが、当該境界線bを介して隣接することを検出する。次に立体物識別部23bは、縁石201cのエッジと境界線bとで囲まれている検出領域の輝度又は色情報と、縁石203bのエッジと境界線bとで囲まれている検出領域の輝度又は色情報との差異が、同一物体と見なせるほど近似しているか否かを判定する。これによって、立体物識別部23bは、輝度又は色情報との差異が、同一物体と見なせるほど近似している場合には、境界線を介して同一の物体が存在すると判定してステップS4に処理を進め、そうではない場合にはステップS7に処理を進める。これにより、異なる立体物のエッジが偶然に境界線a〜dを跨ぐように俯瞰画像101に含まれていても、異なる立体物を同一物体と判定してしまうことを防止することとなる。
次のステップS4においては、立体物識別部23bによって、ステップS3にて同一物体と判定された立体物から得られたエッジのうち、車両に近い側のエッジのみが、境界線を跨いで連続しているか否かを判定する。車両に近い側のエッジのみが境界線を跨いで連続していると判定した場合には、ステップS5にて、図5に示した地上立体物303であると判定する。図8においては、縁石(201c、203b)が地上立体物303であることが判定される。一方、車両から離れたエッジのみならず車両に近い側のエッジが境界線を跨いで連続していないと判定した場合には、ステップS6にて、図6に示した空中立体物304であると判定する。図8においては、ガードレール(203a、202b)、他車両(202c、204c)の車体部分が空中立体物304であることが判定される。
次のステップS7においては、立体物識別部23bによって、俯瞰画像101に含まれる境界線a〜dの全てについてステップS1〜ステップS6の処理を行ったか否かを判定し、境界線a〜dの全てについてステップS1〜ステップS6の処理を行っていない場合にはステップS1からの処理を繰り返し、そうである場合にはステップS8に処理を進める。具体的には、図8に示す各座標変換画像201〜204を跨ぐ縁石(201c、203b)、ガードレール(203a、202b)及び他車両(202c、204c)について、ステップS1〜ステップS6の処理を行って、ステップS7からステップS8に処理を進める。
また、立体物識別部23bは、ステップS7において、図9に示すように、境界線a〜dを90度の角度範囲で移動させて、全ての境界線パターンにてステップS1〜ステップS6の処理を行っても良い。具体的には、図9に示すように、境界線aをa1〜a2の範囲で移動させ、境界線bをb1〜b2の範囲で移動させ、境界線cをc1〜c2の範囲で移動させ、境界線dをd1〜d2の範囲で移動させる。ここで、カメラモジュール12a,12b,12c,12dといった車両周辺の4方向を撮影するカメラモジュール12の水平画角を約180度とした場合である。
このように境界線a〜dのパターンを変えた俯瞰画像101を画像変換部23aによって作成させて、立体物識別部23bは、ステップS1〜S6の処理を行う。これにより、立体物識別部23bは、各カメラモジュール12a,12b,12c,12dが重畳して撮影する領域301a〜301dに存在する立体物を検出し、当該立体物が地上立体物303か空中立体物304かを識別できる。なお、俯瞰画像101の境界線の位置を変えることは立体物を検出するためのだけのものであり、運転者に表示する俯瞰画像101を変更する必要はない。
次に、距離計算部23cによって、車両と立体物との距離を計算する処理に移行する。
ステップS8においては、距離計算部23cによって、地上立体物303が車両周辺に存在するか否かを判定し、存在する場合にはステップS9に処理を進め、存在しない場合にはステップS10に処理を進める。
ステップS9においては、距離計算部23cによって、カメラモジュール12の設置位置から地上立体物303までの距離を、俯瞰画像101上の位置関係から計算する。このステップS9においては、車両周辺に存在する立体物が地上立体物303であるので、当該地上立体物303を表すエッジのうちで車両に近い側のエッジとの距離を求めることによって、カメラモジュール12と地上立体物303との実際の距離を求める。
例えば、俯瞰画像101のうちの車両前方側画像201に地上立体物303が含まれている場合、車両前方側画像201内における地上立体物303のうちの車両に近い側のエッジ位置に基づいて、当該地上立体物303と、車両前方を撮像方向とするカメラモジュール12との距離を計算する。ここで、俯瞰画像101内の位置と、車両から地上立体物303までの距離とは、一意に決定されているものとする。
次のステップS10においては、距離計算部23cによって、空中立体物304が車両周辺に存在するか否かを判定し、存在する場合にはステップS11に処理を進め、存在しない場合にはステップS13に処理を進める。
ステップS11においては、距離計算部23cによって、カメラモジュール12から空中立体物304までの距離を、俯瞰画像101における境界線近傍における空中立体物304の映り方から計算する。
ここで、図10に示すように、俯瞰画像101内の自車両を示すマーク105に対し、前方を撮像方向とするカメラモジュール12a、右側方を撮像方向とするカメラモジュール12bが設けられており、車両の右斜め前に空中立体物304が存在している場面を考える。また、カメラモジュール12aの取付高さよりも、カメラモジュール12bの取付高さの方が高いものとする。
この場合、俯瞰画像101においては、カメラモジュール12aによって撮像して座標変換された車両前方側画像201と、カメラモジュール12bによって撮像して座標変換された右側方画像203との境界線bを跨いで、空中立体物304a及び空中立体物304bとして空中立体物304が描画されることとなる。また、俯瞰画像101において、カメラモジュール12bと右側方画像203に含まれる空中立体物304aの車両側エッジとの距離はD1であり、カメラモジュール12aと車両前方側画像201に含まれる空中立体物304bの車両側エッジとの距離はD2である。ここで、D1,D2は、俯瞰画像101内の距離から推定される実際距離であり、以下では画像内推定距離と呼ぶ。
ここで、空中立体物304aの車両側エッジまでの画像内推定距離D1と空中立体物304bの車両側エッジまでの画像内推定距離D2との差であるエッジズレ量Aは、カメラモジュール12aの取付高さと、カメラモジュール12bの取付高さとの差に起因する。
具体的には、図11に示すように、カメラモジュール12bの取付高さはH1であり、カメラモジュール12aの取付高さはH2であり、H1>H2なる関係である。また、空中立体物304は、地面から高さhに下端位置が存在するようになっている。このような位置関係である場合、カメラモジュール12bによって撮像された右側方画像203には、空中立体物304の下端位置が実際の空中立体物304の存在位置から変換誤差距離X1だけ遠くに描画され、カメラモジュール12aによって撮像された車両前方側画像201には、空中立体物304の下端位置が実際の空中立体物304の存在位置から変換誤差距離X2だけ遠くに描画される。換言すれば、図10に示す俯瞰画像101においては、カメラモジュール12bから空中立体物304は画像内推定距離D1となっているが実際には変換誤差距離X1だけ手前に空中立体物304が存在することとなり、カメラモジュール12aから空中立体物304は画像内推定距離D2となっているが実際には変換誤差距離X2だけ手前に空中立体物304が存在することとなる。
ここで、図11における変換誤差距離X2と変換誤差距離X1の差を、図10のエッジズレ量Aとして近似することで以下の計算を行う。
右側方を撮像方向とするカメラモジュール12bと境界線b上に存在する空中立体物304の実際の距離を求める。図11より、カメラモジュール12bと空中立体物304との実際距離は画像内推定距離D1−変換誤差距離X1となる。この画像内推定距離D1は、図10に示す俯瞰画像101のうちのカメラモジュール12bによって撮像されて座標変換された座標変換画像から求めることができる。このため、変換誤差距離X1がわかれば、カメラモジュール12bから空中立体物304までの画像内推定距離D1−変換誤差距離X1を求めることができる。
また、カメラモジュール12bの取付高さH1>カメラモジュール12aの取付高さH2のため、カメラモジュール12bの変換誤差距離X1<カメラモジュール12aの変換誤差距離X2となり、以下の計算を行う。
図11より、三角形の相似から、
X1:h=D1:H1 (式1)
X2:h=D2:H2 (式2)
となる。この式1、式2より、hを消去すると
X1・H1/D1=X2・L2/D2
となり、カメラモジュール12bの変換誤差距離X1は、
X1=(D1・H2/D2・H1)・X2 (式3)
と表現される。ここで、カメラモジュール12aの変換誤差距離X2=変換誤差距離X1+エッジズレ量Aと近似すると、式3は、以下のように変形できる。
X1={D1・H2/(D2・H1−D1・H2)}・A (式4)
以上より、俯瞰画像101上での画像内推定距離D1から式4で求めた変換誤差距離X1を引くことで、右側方を撮像方向とするカメラモジュール12bと境界線b上に存在する空中立体物304の実際の距離である画像内推定距離D1−変換誤差距離X1を求めることができる。
また、距離計算部23cは、同様に、車両前方を撮像方向とするカメラモジュール12aと境界線b上における空中立体物304との距離を求めても良い。更に、カメラモジュール12bを基準とした実際の距離である画像内推定距離D1−変換誤差距離X1とカメラモジュール12aを基準とした実際の距離である画像内推定距離D2−変換誤差距離X2の線分が、俯瞰画像101上で交わる点を空中立体物304の実際の位置としてもよい。
次に、演算部23は、ステップS12に処理を進め、全ての境界線パターンで立体物までの距離計算を行ったか否かを判定する。このとき、距離計算部23cは、図9で示したように、境界線a〜dを90度の角度範囲で移動させて、全ての境界線パターンにてステップS11の距離計算処理を行ったか否かを判定する。全ての境界線パターンにてステップS11の距離計算処理を行っていない場合には境界線パターンを変更してステップS11の距離計算処理を繰り返し、全ての境界線パターンにてステップS11の距離計算処理を行ったと判定した場合にはステップS13に処理を進める。
次のステップS13においては、表示加工部23dによって、ステップS9又はステップS11にて計算された立体物までの距離に従って俯瞰画像101を加工する。具体的には、表示加工部23dは、図12に示すように、俯瞰画像101に対して、立体物までの実際の距離を加味した移動可能範囲401を重畳する加工処理をする。この移動可能範囲401は、俯瞰画像101においては格子模様で表しているが、その他の形態であっても良い。移動可能範囲401は、縁石、ガードレールや他車両といった立体物などの走行の障害になる物体がなく、車両が移動可能である領域を示している。
この俯瞰画像101において、自車両左前方には立体物が存在しない。このため、前方を撮像方向とするカメラモジュール12と左側方を撮像方向とするカメラモジュール12との双方が重畳して撮影する地面の全体が移動可能範囲401aとなっている。
また、この俯瞰画像101において、自車両右前方には縁石がある。このため、前方を撮像方向とするカメラモジュール12と右側方を撮像方向とするカメラモジュール12との双方が重畳して撮影する地面のうち、縁石(201c、203b)のうち自車両を示すマーク105に近いエッジ部分までが移動可能範囲401bとなっている。
更に、この俯瞰画像101において、自車両左後側方には、空中立体物304である他車両(202c、204c)がある。このため、後方を撮像方向とするカメラモジュール12と左側方を撮像方向とするカメラモジュール12との双方が重畳して撮影する地面のうち、他車両(202c、204c)のエッジよりも車両側にシフトした位置が移動可能範囲401cの境界となっている。すなわち、距離計算部23cによって、実際の車両と他車両との距離が、俯瞰画像101に描画されている他車両(202c、204c)の位置よりも近く計算されているため、当該計算結果としての距離を移動可能範囲401cによって表現することとなる。
更に、この俯瞰画像101において、自車両右後側方には、空中立体物304であるガードレール(203a、202b)がある。このため、後方を撮像方向とするカメラモジュール12と右側方を撮像方向とするカメラモジュール12との双方が重畳して撮影する地面のうち、ガードレール(203a、202b)のエッジよりも車両側にシフトした位置が移動可能範囲401dの境界となっている。すなわち、距離計算部23cによって、実際の車両とガードレールとの距離が、俯瞰画像101に描画されているガードレール(203a、202b)の位置よりも近く計算されているため、当該計算結果としての距離を移動可能範囲401dによって表現することとなる。なお、移動可能範囲401を運転者に提示する他の加工処理としては、立体物の実際位置を強調表示する線分を俯瞰画像101に重畳して表示しても良く、立体物が存在する部分のみを塗りつぶして表示してもよい。
このような俯瞰画像101において、縁石(201c、203b)、及びガードレール(203a、202b)のカメラモジュール12から離間する方向の領域401b’、401d’は、表示加工部23dによって移動不能領域として認識されることとなる。表示加工部23dは、このような移動不能領域401b’、401d’については加工処理を施さないこととする。
そして、演算部23は、表示加工部23dによって加工された俯瞰画像101を出力バッファ25を介してモニタ14に表示させることとなる。
[第1実施形態の効果]
以上詳細に説明したように、本発明を適用した第1実施形態に係る車両周辺画像処理装置によれば、俯瞰画像101に含まれる座標変換画像の境界線を跨いだ立体物の画像状態に基づいて、車両周辺に存在する立体物の状態を識別して車両から立体物までの距離を提示することができる。これにより、車両周辺画像処理装置によれば、俯瞰画像101によって車両周辺を提示する場合であっても、車両周辺に存在する立体物の状態を識別して当該立体物までの正確な距離を提示することができる。
具体的には、車両周辺画像処理装置は、立体物識別部23bによって、立体物の状態として、車両周辺に存在する立体物が地面に接した地上立体物303か地面から離間した空中立体物304かを識別し、空中立体物304であっても俯瞰画像101上にて正確な車両との距離を提示することができる。したがって、空中立体物304のように地面に接していなく俯瞰画像101上における近い側が、俯瞰画像101上の距離よりも実際距離よりも遠くなっていても、接触する可能性を低減することができる。
また、この車両周辺画像処理装置によれば、立体物識別部23bによって立体物識別を行う時に、俯瞰画像101に含まれる座標変換画像の境界線の位置を変更して、当該変更した境界線を跨ぐ物体画像の状態に基づいて状態を識別して、距離計算部23cによって立体物までの距離を求める。したがって、この車両周辺画像処理装置によれば、各カメラモジュール12が重畳して撮影する領域を、立体物を識別する領域とすると共に立体物に応じて距離を計算する領域とすることができる。また、異なる物体(白線等)のエッジが偶然に境界線を跨ぐように俯瞰画像101に含まれていても、それらを立体物と判定してしまう可能性を低減させることができる。更に、異なる立体物のエッジが偶然に境界線をまたぐように俯瞰画像で表現されていたとしても、それらを同一物体と判定して種別を判断してしまう可能性を低減させることができる。
更に、この車両周辺画像処理装置によれば、距離計算部23cにより演算された車両から立体物までの距離に基づく車両が移動可能な領域を、俯瞰画像101に重畳させて表示する。また、この車両周辺画像処理装置によれば、距離計算部23cにより距離が演算された立体物から、車両に対して離間する方向に含まれる領域を車両が移動できない領域としている。これにより、この車両周辺画像処理装置によれば、運転者に対して立体物の正確な位置を俯瞰画像101によって提示することができる。
更にまた、この車両周辺画像処理装置によれば、識別された立体物の存在を音声により通知するので、運転者に対して車両と接触する可能性の高い立体物の存在を聴覚的に通知することができる。
[第2実施形態]
つぎに、本発明を適用した第2実施形態について説明する。なお、上述した第1実施形態と同様の部分については同一符号を付することによってその詳細な説明を省略する。
この車両周辺画像処理装置は、車両の走行状態として車両が走行しているか否かを取得する。そして、車両周辺画像処理装置は、車両が走行したことが取得された場合に、車両の移動前における移動可能範囲401と、車両の移動後における移動可能な領域とを、俯瞰画像101に重畳させて表示する。また、この車両周辺画像処理装置は、車両が走行したことが取得された場合に、新たに俯瞰画像101に含まれることとなった立体物の状態を識別する。そして、車両周辺画像処理装置は、新たに俯瞰画像101に含まれることとなった立体物の状態に基づいて当該車両から立体物までの距離を演算し、車両の移動前における移動可能範囲401と、車両の移動後における移動可能な領域とを、俯瞰画像101に重畳させて表示する。
具体的には、第2実施形態に係る車両周辺画像処理装置は、例えば図12に示すような状況から、車両が前進走行した場合に、図13に示すように、図12の時点での移動可能範囲401に加えて、新たな移動可能領域501を表示するものである。
このような車両周辺画像処理装置は、図14に示すように、画像処理部11に車速センサ15と、操舵角センサ16及びシフト位置センサ17が接続されている点で、上述した車両周辺画像処理装置とは異なる。
車速センサ15は、自車両の車速を検出するものである。この車速センサ15によって検出された車速信号は、画像処理部11に供給される。操舵角センサ16は、自車両の操舵角を検出するものである。この操舵角センサ16によって検出された操舵角信号は、画像処理部11に供給される。シフト位置センサ17は、自車両のシフト位置(ギヤポジションの位置)を検出するものである。このシフト位置センサ17によって検出されたシフト位置信号は、画像処理部11に供給される。
そして、車速信号、操舵角信号及びシフト位置信号は、画像処理部11の演算部23に供給される。画像処理部11は、車速信号、操舵角信号及びシフト位置信号に基づいて、自車両の移動方向及び移動量を検出する。そして、演算部23は、新たにカメラモジュール12によって撮像されて俯瞰画像101に含まれることとなった領域における立体物の識別処理、当該立体物までの距離計算処理を行う。これにより、演算部23は、移動可能範囲401に加えて、新たな移動可能領域501を求めることができる。
具体的には、演算部23は、車両の移動方向及び移動量に従って、移動前の移動可能範囲401aと移動後の移動可能領域501a、移動前の移動可能範囲401bと移動後の移動可能領域501b、移動前の移動可能範囲401cと移動後の移動可能領域501cを俯瞰画像101に重畳して、運転者に提示することができる。
これにより、車両周辺画像処理装置は、車両の走行状態として車両が走行しているか否かを取得し、車両が走行したことが取得された場合に、車両の移動前における移動可能範囲401と、車両の移動後における移動可能領域501とを俯瞰画像101に重畳させて表示する。また、この車両周辺画像処理装置は、車両が走行したことが取得された場合に、新たに俯瞰画像101に含まれることとなった立体物の状態を識別し、距離計算部23cによって、新たに俯瞰画像101に含まれることとなった立体物の状態に基づいて当該車両から立体物までの距離を演算して、移動前における移動可能範囲401と、車両の移動後における移動可能領域501とを俯瞰画像101に重畳させて表示する。これにより、車両周辺画像処理装置は、第1実施形態の車両周辺画像処理装置と比較して広い移動可能領域を運転者に提示することができる。
また、この車両周辺画像処理装置は、車両の移動に伴って、過去の移動可能範囲401と比較して新たに加わった移動可能領域501のみについて、立体物の識別及び立体物までの距離計算を行うこととすることが望ましい。具体的には、過去の移動可能範囲401に新たに加わった移動可能範囲501を加えて俯瞰画像上に表示する。これにより、車両周辺画像処理装置によれば、結果として少ない計算量で運転者により広い移動可能領域401を表示できる。
このような車両周辺画像処理装置によれば、車両が走行した時に、車両の移動前における移動可能範囲401と、車両の移動後における移動可能領域501とを俯瞰画像101に重畳させて表示するので、運転者に対して、より広い移動可能範囲を表示することができる。
また、この車両周辺画像処理装置によれば、車両が走行した時に、新たに俯瞰画像に含まれることとなった立体物の状態を識別して立体物までの距離を演算し、車両の移動前における移動可能範囲401と車両の移動後における移動可能領域501とを俯瞰画像101に重畳させて表示するので、少ない計算量で運転者に対して、より広い移動可能領域を表示できる。
[第3実施形態]
つぎに、本発明を適用した第3実施形態について説明する。なお、上述した実施形態と同様の部分については同一符号を付することによってその詳細な説明を省略する。
第3実施形態に係る車両周辺画像処理装置は、車両の走行状態として走行速度を取得する。車両周辺画像処理装置は、車速センサ15によって取得された車両の速度が所定速度よりも低い場合には車両近傍を立体物の検出対象領域とし、車両の速度が所定速度よりも高い場合には車両近傍の立体物の検出対象領域よりも車両から離れた領域を立体物の検出対象領域とする。
一般的な運転行動において、運転者は、駐車等車両を低速で走らせる場合には車両近傍を注視し、ある任意の速度よりも車速が速い場合には、車両近傍よりも離れた領域を注視している。そこで、立体物識別部23bは、図10に示すように、車速センサ15より取得した車速を検出し、現在の車速が所定速度よりも遅いときは俯瞰画像101中における車両近傍領域601a、601b、601c、601dを検出対象とし、車速が任意の速度よりも速いときは俯瞰画像101中において車両から離れた領域602a、602b、602c、602dを検出対象とする。車両近傍領域601a、601b、601c、601d、領域601a、602b、602c、602dは、車両から所定距離の範囲内といった固定範囲である必要はなく車速に応じて変化させても良い。
また、車両周辺画像処理装置は、車両の進行方向を立体物の検出領域として設定しても良い。すなわち、運転行動において、運転者は、車両が通過する箇所に立体物等の障害物があるか否かを注視すべきであるので、当該注視すべき領域を立体物の検出対象領域とする。
具体的には、車両周辺画像処理装置は、車両の走行状態として車両が前進又は後退するかを示すシフト情報をシフト位置センサ17によって取得すると共に操舵角情報を操舵角センサ16によって取得することもできる。そして、車両周辺画像処理装置は、立体物識別部23bによって、シフト情報及び操舵角情報に基づく車両の進行方向を立体物の検出対象領域とする。これにより、車両周辺画像処理装置の立体物識別部23bは、図16に示すように、俯瞰画像101中の車両の進行方向及び車体が通過するであろう検出対象領域701を検出対象とする。なお、検出対象領域701は、車両から所定距離の範囲内といった固定範囲である必要はなく車速に応じて変化させても良い。例えば、現在の車速が低いほど検出対象領域701を狭くし、現在の車速が高い場合ほど検出領域701を広くする。
このような車両周辺画像処理装置によれば、車両の速度が所定速度よりも低い場合には車両近傍を立体物の検出対象領域とし、前記走行状態取得手段によって取得された車両の速度が所定速度よりも高い場合には車両近傍の立体物の検出対象領域よりも車両から離れた領域を立体物の検出対象領域とすることができる。また、この車両周辺画像処理装置によれば、車両の進行方向を立体物の検出対象領域とすることができる。これにより、少ない計算量で運転者に対して車両を運転する上で問題のある立体物の存在を通知することができる。
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。