JP4876862B2

JP4876862B2 - 画像処理装置

Info

Publication number: JP4876862B2
Application number: JP2006307119A
Authority: JP
Inventors: 映夫深町; 修尾崎; 祥一早坂; 守古田
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2006-11-13
Filing date: 2006-11-13
Publication date: 2012-02-15
Anticipated expiration: 2026-11-13
Also published as: JP2008123293A

Description

本発明は、画像処理装置に係り、特に、異なる位置から少なくとも一部が共通する領域を撮像した複数の画像から、共通する領域における障害物を検出する画像処理装置に関する。

たとえば、車両の周囲を撮像手段で撮像して得られる画像に基づいて車両の周囲の障害物を検出するものとして、特開２００２−３５９８３８号公報（特許文献１）に開示された運転支援装置がある。この運転支援装置では、移動体に設置された複数の撮像手段で撮像された画像を上方の仮想視点からの画像に変換して、車両周囲の障害物を検出するというものである。
特開２００２−３５９８３８号公報

しかし、上記特許文献１に開示された発明では、撮像手段で撮像された画像を上方の仮想視点からの画像（俯瞰画像）に変換する際、撮像手段で撮像された画像における障害物の死角となる位置では、障害物が存在しない場合でも死角を形成する障害物が写り込んでしまう。このため、障害物が存在する領域を特定することができず、実際には障害物が存在しない領域も障害物が存在する領域として検出してしまうという問題があった。

そこで、本発明の課題は、撮像手段で撮像された画像を俯瞰画像に変換するにあたり、障害物の死角となる位置についてもその状況を検出することができ、もって障害物が存在する領域を精度よく検出することができる画像処理装置を提供することにある。

上記課題を解決した本発明に係る画像処理装置は、異なる位置から少なくとも一部が共通する共通領域を複数の撮像手段でそれぞれ撮像した複数の画像における画素情報を比較して、共通領域における障害物を抽出する画像処理装置において、共通領域における複数の画像を合成して俯瞰図を作成する俯瞰図作成手段と、俯瞰図中における複数の撮像手段により得られる複数の画素情報を比較することで、俯瞰図において障害物が存在する位置の候補である障害物候補領域を抽出する障害物候補領域抽出手段と、障害物候補領域における複数の撮像手段の中点から最も近い位置である最近立体物候補位置と撮像手段の位置とを通過する障害物投影方向を、複数の撮像手段について各々導出する投影方向導出手段と、障害物候補領域において障害物投影方向と交差する方向の幅である障害物候補領域幅を、複数の障害物投影方向について各々導出する障害物候補領域幅導出手段と、障害物候補領域と障害物候補領域幅とに基づいて、障害物が存在する領域である障害物領域の撮像位置側の端部を複数の障害物候補領域幅について各々抽出する障害物領域端部検出手段と、障害物候補領域において、障害物領域端部検出手段で得られた複数の障害物候補領域の撮像位置側の端部をそれぞれ障害物投影方向に移動させて得られる複数の領域のうち、重複する領域を障害物領域として抽出し、障害物候補領域において、撮像手段側の縦エッジ部に隣接する領域であって障害物領域以外の領域を撮像手段の死角となる位置として複数の撮像手段について各々抽出する障害物領域抽出手段と、複数の撮像手段の死角となる各位置について、死角とならない側の他の撮像手段から得られる画素情報に基づいて画素情報を各々補間する補間手段と、を備えることを特徴とする。

本発明に係る画像処理装置においては、障害物投影方向の各画像における障害物投影方向と各画像の障害物候補領域とに基づいて、合成画像（俯瞰画像）上における障害物が存在する領域である障害物領域を抽出している。このように、障害物投影方向を参照することにより、障害物候補領域の中から、障害物の死角となる領域を除いた障害物領域を抽出することができる。したがって、撮像手段で撮像された画像を俯瞰画像に変換するにあたり、障害物の死角となる位置についてもその状況を検出することができ、もって障害物が存在する領域を精度よく検出することができる。

また、複数の撮像手段で撮像された画像を高解像度の画像へと変換する解像度変換手段を備える態様とすることができる。

このように、複数の撮像手段で撮像された画像を高解像度の画像へと変換する解像度変換手段を備えることにより、障害物領域をさらに細密に抽出することができる。

本発明に係る画像処理装置によれば、撮像手段で撮像された画像を俯瞰画像に変換するにあたり、障害物の死角となる位置についてもその状況を検出することができ、もって障害物が存在する領域を精度よく検出することができる。

以下、図面を参照して、本発明の好適な実施形態について説明する。図１は、本発明の実施形態に係る画像処理装置のブロック構成図である。

図１に示すように、本実施形態における画像処理装置１は、センサ情報取込部１１、前左カメラ処理部１２、前右カメラ処理部１３、後左カメラ処理部１４、後右カメラ処理部１５、および俯瞰図作成部１６を備えている。さらに、画像処理装置１には、カメラ２Ｆ，２Ｒ，２Ｌ，２Ｂおよび情報出力部３が接続されており、カメラ２Ｆ，２Ｒ，２Ｌ，２Ｂから出力された画像に基づいて、カメラ２Ｆ，２Ｒ，２Ｌ，２Ｂの周囲における障害物を検出する。カメラ２Ｆ，２Ｒ，２Ｌ，２Ｂは、本発明の撮像手段を構成する。

前方カメラ２Ｆは、図２に示すように、車両Ｍの前方中央のフロントグリル部分に取り付けられており、車両Ｍの前方を撮像している。また、右方カメラ２Ｒは、車両Ｍの右ドア位置、左方カメラ２Ｌは車両Ｍの左ドア、後方カメラ２Ｂは車両Ｍのリアトランクカバーにそれぞれ取り付けられて、車両Ｍの右方、左方、および後方をそれぞれ撮像している。カメラ２Ｆ，２Ｒ，２Ｌ，２Ｂは、それぞれいわゆる魚眼カメラなどの広視野カメラからなり、それぞれのカメラ２Ｆ，２Ｒ，２Ｌ，２Ｂで撮像領域ＥＦ，ＥＲ，ＥＬ，ＥＢを撮像可能とされている。カメラ２Ｆ，２Ｒ，２Ｌ，２Ｂは、それぞれ撮像して得られた画像を画像処理装置１におけるセンサ情報取込部１１に出力する。

画像処理装置１におけるセンサ情報取込部１１では、カメラ２Ｆ，２Ｒ，２Ｌ，２Ｂから出力された画像を取り込む。このうちの前方カメラ２Ｆおよび左方カメラ２Ｌから出力された前方画像および左方画像を前左カメラ処理部１２に出力する。また、前方カメラ２Ｆおよび右方カメラ２Ｒから出力された前方画像および右方画像を前右カメラ処理部１３に出力する。さらに、後方カメラ２Ｂおよび左方カメラ２Ｌから出力された後方画像および左方画像を後左カメラ処理部１４に出力する。そして、後方カメラ２Ｂおよび右方カメラ２Ｒから出力された前方画像および左方画像を後右カメラ処理部１５に出力する。

前左カメラ処理部１２は、図３に示すように、正像化・エッジ検出部２１、俯瞰図マッピング部２２、前方カメラ画像補間部２３、左方カメラ画像補間部２４、補間値比較部２５、立体物領域導出部２６、および補間情報採用・格納部２７を備えている。正像化・エッジ検出部２１は、前方カメラ２Ｆおよび左方カメラ２Ｌから出力された前方画像および左方画像を正像化するとともに、両画像から横エッジおよび縦エッジを検出する。正像化・エッジ検出部２１は、横エッジおよび縦エッジを検出した前方画像および左方画像を俯瞰図マッピング部２２に出力する。

俯瞰図マッピング部２２は、正像化・エッジ検出部２１から出力された前方画像および左方画像における各画素の輝度情報を俯瞰図にマッピングし、輝度情報をマッピングして得られる合成画像としての俯瞰図を前方カメラ画像補間部２３に出力する。また、車両Ｍに取り付けられた前方カメラ２Ｆおよび左方カメラ２Ｌの位置に基づく俯瞰図上の両カメラ２Ｆ，２Ｌの位置が、予め俯瞰図にマッピングされている。前方カメラ画像補間部２３では、出力された俯瞰図から前方カメラ２Ｆで撮像された画像の補間計算を行い、補間計算の結果を俯瞰図とともに左方カメラ画像補間部２４に出力する。左方カメラ画像補間部２４は、出力された俯瞰図から左方カメラ２Ｌで撮像された画像の補間計算を行い、前方カメラ２Ｆの補間計算の結果とともに補間値比較部２５に出力する。前方カメラ画像補間部２３および左方カメラ画像補間部２４は、本発明の補間手段を構成する。また、この補間計算を行うことにより、カメラ２Ｆ，２Ｌで撮像された画像を高解像度画像へと変換する。前方カメラ画像補間部２３および左方カメラ画像補間部２４は、本発明の解像度変換手段を構成する。

補間値比較部２５では、前方カメラ２Ｆで撮像された画像の補間結果および左方カメラ２Ｌで撮像された画像の補間結果を比較し、俯瞰図上における障害物候補領域である立体物候補領域を抽出する。補間値比較部２５は、抽出した立体物候補領域を立体物領域導出部２６に出力する。立体物領域導出部２６は、立体物候補領域に基づいて両カメラ２Ｆ，２Ｌのそれぞれの投影方向を検出するとともに、俯瞰図上における立体物候補領域から障害物領域である立体物領域を導出する。立体物領域導出部２６は、導出した立体物領域を補間情報採用・格納部２７に出力する。補間情報採用・格納部２７では、出力された立体物領域を格納するとともに、図１に示す俯瞰図作成部１６に出力する。補間値比較部２５は、本発明の障害物候補領域抽出手段を構成し、立体物領域導出部２６は、本発明の障害物領域抽出手段を構成する。また、立体物領域導出部２６は、本発明の投影手段、障害物端部検出手段、および障害物候補領域幅導出手段を構成する。

また、前右カメラ処理部１３、後左カメラ処理部１４、および後右カメラ処理部１５は、前左カメラ処理部１２と同様の構成を有しており、それぞれ前方カメラ２Ｆおよび右方カメラ２Ｒ、後方カメラ２Ｂおよび左方カメラ２Ｌ、後方カメラ２Ｂおよび右方カメラ２Ｒから出力された画像から立体物領域を導出する。前右カメラ処理部１３、後左カメラ処理部１４、および後右カメラ処理部１５は、導出した立体物領域を俯瞰図作成部１６に出力する。

俯瞰図作成部１６では、各カメラ処理部１２〜１５から出力された立体物領域に基づいて、車両Ｍの四周全域にわたって立体物領域が導出された合成画像としての俯瞰図画像を作成する。俯瞰図作成部１６は、作成した俯瞰図画像を情報出力部３に出力する。情報出力部３では、俯瞰図作成部１６から出力された俯瞰図画像に基づく情報を出力する。具体的には、ディスプレイに俯瞰図画像として車両の周囲の立体物を表示したり、進行方向に立体物がある場合に警報を発したりする。

本実施形態に係る画像処理装置１では、図２に示すカメラ２Ｆ，２Ｒ，２Ｌ，２Ｂで撮像した撮像領域ＦＥ，ＥＲ，ＥＬ，ＥＢにおける各画素の輝度情報を俯瞰図にマッピングする。このとき、たとえば前方カメラ２Ｆの撮像領域ＥＦと左方カメラ２Ｌの撮像領域ＥＬの重複領域では、図４（ａ）に示すように、三角印で示す前方カメラ２Ｆの画素のマッピング位置ＭＦと、丸印で示す左方カメラ２Ｌの画素のマッピング位置ＭＬとが同じエリアで混在する状態となる。また、図４（ｂ）に示すように、マッピング位置ＭＦ，ＭＬのいずれの画素ともならない位置である補間対象位置ＨＰについては、補間対象位置ＨＰを囲む前方画像における４つの画素ＭＦ１〜ＭＦ４および左方画像における４つの画素ＭＬ１〜ＭＬ４の輝度に基づいて、補間対象位置ＨＰの輝度およびエッジに関する補間情報を求める。

さらに、たとえば前方カメラ２Ｆにおける死角となる位置における画素については、図５に示すように、立体または立体の死角となるマッピング位置ＭＦ１〜ＭＦ４における各画素の輝度は小さく、所定のしきい値以下となる。このように、輝度が所定のしきい値以下となるマッピング位置を立体または立体の死角と判断して、立体物候補領域とする。ここで、図６（ａ）、（ｂ）にそれぞれ示すように、左方カメラ２Ｌの画像２ＬＧと前方カメラ２Ｆの画像２ＦＧとでは重複する領域があり、この重複領域に障害物となる立体Ｘが写りこむことがある。この場合には、重複部分の俯瞰図を作成すると、図６（ｃ）に示すような俯瞰図ＦＧとなる。この俯瞰図ＦＧから、一方のカメラで撮像した際の死角となる際に、他方のカメラでの撮影結果によってその死角となる位置の状況を把握することができる。

次に、本実施形態に係る画像処理装置の処理手順について説明する。図７は、本実施形態に係る画像処理装置の処理手順を示すフローチャートである。

図７に示すように、本実施形態に係る画像処理装置１においては、センサ情報取込部１１において、各カメラ２Ｆ，２Ｒ，２Ｌ，２Ｂから出力された画像を取得する（Ｓ１）。次に、前左カメラ処理部１２において、前方カメラ２Ｆおよび左方カメラ２Ｌから出力された前方画像および左方画像に基づいて、前左画像処理を行う（Ｓ２）。前左画像処理は、図８および図９に示すフローチャートの手順に沿って行われる。

図８に示すように、前左画像処理においては、センサ情報取込部１１から出力された前方画像および左方画像は魚眼画像であるので、その魚眼画像を正像化・エッジ検出部２１においてそれぞれ正像化し、正像化した画像から縦エッジおよび横エッジを検出する（Ｓ１１）。ここで、図１０（ａ）に示すように、前方カメラ２Ｆで撮像した魚眼画像から、前左４５度視線方向画像Ｉ_ＦＬ、前０度視線方向画像Ｉ_Ｆ、前右４５度視線方向画像Ｉ_ＦＲが得られる。また、図１１（ａ）に示すように、左方カメラ２Ｌで撮像した魚眼画像から、左前４５度視線方向画像Ｉ_ＬＦ、左０度視線方向画像Ｉ_Ｌ、左後４５度視線方向画像Ｉ_ＬＢが得られる。これらの画像のうち、互いに重複する図１０に示す前左４５度視線方向画像Ｉ_ＦＬと図１１に示す左前４５度視線方向画像Ｉ_ＬＦとを正像化する。また、他の視線方向画像も同様に正像化する。

続いて、前方画像を正像化して得られた図１０（ｂ）に示す前左４５度視線方向画像Ｉ_ＦＬおよび画像を正像化して得られた図１１（ｂ）に示す左前４５度視線方向画像Ｉ_ＬＦから横エッジを検出する。横エッジの検出は横Ｓｏｂｅｌフィルタや縦方向差分などの手法を用いることができる。横エッジを検出するに当たり、図１２（ａ）に示す前左４５度視線方向画像Ｉ_ＦＬにおいて、その高さ方向Ｈに沿って移動した際に変化する輝度が大きい部分を横エッジとして判断する。たとえは、図１２（ｂ）に示す輝度変化があった場合、この輝度変化を示すグラフを微分して図１２（ｃ）に示すグラフとし、さらにその絶対値をとって図１２（ｄ）に示すグラフとする。そして、横エッジ部については、２画素幅として抽出する。また、左方画像を正像化して得られた他の視線方向画像についても同様に横エッジを検出する。さらに、前方画像を正像化して得られた各視線方向画像についても同様の手法によって横エッジを検出する。

横エッジを検出した後、縦エッジを検出する。縦エッジを検出する際には、図１２（ａ）に示す前左４５度視線方向画像Ｉ_ＦＬにおいて、その幅方向Ｗに沿って移動した際に変化する輝度が大きい部分を縦エッジとして判断する。縦エッジを抽出するにあたり、横エッジが２画素幅として抽出しているのに対して、縦エッジは１画素幅として抽出する。また、前方画像を正像化して得られた他の視線方向画像についても同様に縦エッジを検出する。さらに、左方画像を正像化して得られた各視線方向画像についても同様の手法によって縦エッジを検出する。

こうして横エッジおよび縦エッジを検出したら前方画像から抽出された各視線方向画像と左方画像から抽出された各視線方向画像とで視野が重複する領域であるか否かを判定する（Ｓ１２）。ここで、前方画像から抽出された前左４５度視線方向画像Ｉ_ＦＬと左方画像から抽出された左前４５度視線方向画像Ｉ_ＬＦとで視野重複領域があると判定されることから、俯瞰図マッピング部２２において、これらの画像における各画素情報を格納する俯瞰図を構成する俯瞰情報格納図へマッピングする（Ｓ１３）。図１３に示す俯瞰情報格納図の各マス目には、輝度情報やエッジ情報が格納される。

俯瞰図へのマッピングでは、前方画像および左方画像の歪み補正パラメータと設定位置・姿勢パラメータを考慮し、図１４に示すように、仮想カメラ２Ｉから水平面ＬＦを撮像した位置に相当する前方画像および左方画像の各画素を水平面ＬＦに投影した時の座標値を導出し、その位置に輝度を格納する。このとき、ステップＳ１２で抽出した横エッジと縦エッジを構成する画素については、エッジ画像も同時に格納する。前方画像および左方画像の画素を水平面へマッピングした結果の一部範囲の例を図１５に示す。図１５では、前方画像の画素マッピング位置を三角印で表示し、左方画像の画素マッピング位置を丸印で表示している。

また、視野が重複する領域がないその他の視線方向画像については、俯瞰図へのマッピングをした後、輝度情報を補間する対象領域を特定し、当該対象領域に対して、視野に入っているカメラ画像のみから各画素間の補間計算を行う（Ｓ１４）。この補間計算は、後に説明するステップＳ１５、Ｓ１６と同様の手順で行う。また、各対象領域における補間計算は、俯瞰図における各マス目ごとに行われる。補間計算が済んだら、ステップＳ３１に進む。

さらに、ステップＳ１３において俯瞰図へのマッピングが済んだら、前方カメラ画像補間部２３において前方画像における前方カメラの近傍画素から、輝度情報を補間する対象領域に対して輝度補間計算を行う（Ｓ１５）。ここでは、前方カメラ２Ｆで撮像された前左４５度視線方向画像Ｉ_ＦＬにおける画素間の点の輝度を輝度補間値（輝度補間情報）として求めるとともに、画素間の点が縦横エッジ部に含まれているか否かの判定を行う。

図１５に示す画素マッピングを行った後の俯瞰図では、空白部分が多数存在することから、この空白部分の輝度を補間して俯瞰図を完成させる。空白部分における輝度の補間にあたり、まず前方画像の画素に基づいて輝度補間値の導出を行う。

輝度補間値の導出の例として、対象領域として図１５に示す補間対象位置ＨＰにおける輝度補間値の導出について説明する。図１５に示す画素のうち、前方画像による画素を取り出して表示した状態を図１６（ａ）に示す。補間対象位置ＨＰの輝度補間値Ｐ_ｆｓを導出するにあたり、図１６（ｂ）に示すように、補間対象位置ＨＰを囲む画素群（たとえば４点の画素ＭＦ１〜ＭＦ４）の輝度Ｐ_ｆ１〜Ｐ_ｆ４を用いる。補間対象位置ＨＰの輝度補間値Ｐ_ｆｓは、図１７に示すように、４点の画素ＭＦ１〜ＭＦ４の輝度Ｐ_ｆ１〜Ｐ_ｆ４および画素ＭＦ１〜ＭＦ４と補間対象位置ＨＰとの距離Ｌ_ｆ１〜Ｌ_ｆ４を用いて下記（１）によって求めることができる。

さらに、補間対象位置ＨＰにおけるエッジに関するエッジ補間情報を求める。エッジ補間情報としては、横エッジ補間情報および縦エッジ補間情報を求める。そこで、まず横エッジに関する横エッジ補間情報を求める。横エッジ補間情報を求めるにあたり、補間対象位置ＨＰが横エッジ部の中にあるか否かを判定する。その結果、横エッジ部の中にあると判定した際には、立体の死角に位置する可能性が高いことから、エッジ補間情報として横エッジ挟部フラグを記録する。横エッジ部の中に含まれるか否かの判定は、次のようにして行われる。

まず、補間対象位置ＨＰを囲む４点の画素ＭＦ１〜ＭＦ４が横エッジ部を構成しているか否かを判定する。その結果、図１８（ａ）に示すように、補間対象位置ＨＰを囲む４点の画素ＭＦ１〜ＭＦ４がいずれも横エッジを構成する画素である場合には、補間対象位置ＨＰのエッジ補間情報として、横エッジ狭部フラグを記録する。また、図１８（ｂ）〜（ｅ）に示すように、画素ＭＦ１〜ＭＦ４のうちの３点の画素ＭＦ１，ＭＦ２，ＭＦ４または３点の画素ＭＦ１〜ＭＦ３等の３点の画素が横エッジ部を構成していると判定した際には横エッジを構成する３点の画素を繋いで三角形を形成し、この三角形の内側に補間対象位置ＨＰが位置しているか否かを判定する。

その結果、図１８（ｂ）、（ｃ）に示すように、補間対象位置ＨＰが三角形の内側に位置していると判定した際には、補間対象位置ＨＰに横エッジ狭部フラグを記録する。一方、図１８（ｄ）、（ｅ）に示すように、補間対象位置ＨＰが三角形の外側に位置していると判定した際には、補間対象位置ＨＰに横エッジ狭部フラグを記録しない。

また、エッジ補間情報を求めるにあたり、４点の画素ＭＦ１〜ＭＦ４のうちの３点の画素がエッジを構成する際には、たとえば図１９に示すように、エッジを構成する点とエッジを構成しない点を結ぶ線の中点ＭＦ１２とエッジを構成する画素ＭＦ２を結んで三角形の一辺を形成することもできる。横エッジを構成する画素が２つである場合には、その二つの画素を結んだ線上に補間対象位置ＨＰがあるか否かを判定し、線上にある場合には横エッジ狭部フラグを記録し、線上にない場合には横エッジ狭部フラグを記録しない。こうして、横エッジ補間情報を求める。

続いて縦エッジ補間情報を求める。縦エッジに関しては、横エッジと異なり１画素幅で抽出しているので、図２０に示すように、縦エッジを構成する２点の画素ＭＦ２，ＭＦ４の間に補間対象位置ＨＰが位置するか否かを判定する。その結果、線上にある場合には縦エッジ狭部フラグを記録し、線上にない場合には縦エッジ狭部フラグを記録しない。こうして、縦エッジ補間情報を求める。

こうして、前方カメラ近傍の輝度補間計算が済んだら、左方カメラ画像補間部２４において左方画像における左方カメラの近傍画素から輝度補間計算を行う（Ｓ１６）。ここでは、左方カメラ２Ｌで撮像された左方画像における画素間の点の輝度を輝度補間値として求めるとともに、画素間の点が縦横エッジ部に含まれているか否かの判定を行う。

左方画像における輝度補間値の導出は、前方画像における輝度補間値の導出と同様にして行われる。その例として、図１５に示す補間対象位置ＨＰにおける輝度補間値の導出について説明する。図１５に示す画素情報のうち、左方画像による画素情報を取り出して表示した状態を図２１（ａ）に示す。補間対象位置ＨＰの輝度補間値Ｐ_ｌｓを導出するにあたり、図２１（ｂ）に示すように、補間対象位置ＨＰを囲む画素群（たとえば４点の画素ＭＬ１〜ＭＬ４）の輝度Ｐ_ｌ１〜Ｐ_ｌ４を用いる。補間対象位置ＨＰの輝度補間値Ｐ_ｌｓは、図２２に示すように、４点の画素ＭＬ１〜ＭＬ４の輝度Ｐ_ｌ１〜Ｐ_ｌ４および画素ＭＬ１〜ＭＬ４と補間対象位置ＨＰとの距離Ｌ_ｌ１〜Ｌ_ｌ４を用いて下記（２）によって求めることができる。

その後、前方画像から補間対象位置ＨＰにおけるエッジに関するエッジ補間情報を求めた場合と同様にして、左方画像から補間対象位置ＨＰにおけるエッジに関するエッジ補間情報を求める。そして、補間対象位置が横エッジ部の中に含まれる場合には、横エッジ狭部フラグを記録し、補間対象位置が横エッジ部の中に含まれない場合には、横エッジ狭部フラグを記録しない。また、補間対象位置が縦エッジ部の中に含まれる場合には、縦エッジ狭部フラグを記録し、補間対象位置が縦エッジ部の中に含まれない場合には、縦エッジ狭部フラグを記録しない。

こうして、前方カメラおよび左方カメラ近傍の輝度補間計算を行ったら、補間値比較部２５において、各補間対象位置におけるステップＳ１５、Ｓ１６で導出された補間値の比較を行う（Ｓ１７）。補間値の比較では、前方画像および左方画像での各補間値を比較し、その比較結果から立体物候補を抽出して立体物候補フラグを記録する。図２３（ａ）は、前方画像における補間結果を示す図であり、（ｂ）は左方画像における補間結果を示す図である。両補間結果を合わせると、図２３（ｃ）に示す図となる。

補間値の比較を行うにあたり、たとえば上記の補間対象位置ＨＰについて説明すると、ステップＳ１５で求めた輝度補間値Ｐ_ｆｓとステップＳ１６で求めた輝度補間値Ｐ_ｌｓとを比較してその差分を求める。この差分が所定のしきい値よりも大きい場合に、その部分を立体物候補として立体物候補フラグ記録する。したがって、立体物候補フラグが記録された領域が、立体物が存在する位置の候補である立体物候補領域となる。

補間値の比較を行った結果、立体物候補フラグが記録された俯瞰図は、図２４に示すようになる。図２４に示す例では、立体物候補フラグが記録された位置が集められた障害物候補領域である立体物候補領域ＳＥが略Ｖ字状に形成されている。

こうして、補間値の比較および立体物候補フラグの記録を行ったら、対象となる部分が補間部であるか否かを判断する（Ｓ１８）。このステップでは、対象となる部分がマッピングを行った部分である場合には、補間部ではないと判断され、マッピングを行った部分でない場合、換言すればステップＳ１５〜Ｓ１７で輝度補間計算〜輝度補間値の記録が行われた部分であれば補間部であると判断する。

その結果、補間部でないと判断された場合には、ステップＳ２１に進む。また、補間部であると判断された場合には、その補間部が、前俯瞰図の補間部と左俯瞰図の補間部との両者において横エッジ部の中にあり、横エッジ部に挟まれた部分である挟まれ部であるか否かを判断する（Ｓ１９）。その結果、両者の補間部ともが挟まれ部であると判断された場合には、いずれのカメラ２Ｆ，２Ｌからも死角となって見ることができない領域であると判断できることから、死角フラグを記録し（Ｓ２０）、ステップＳ２６に進む。また、その一方または両方が挟まれ部であると判断された場合には、どちらかの俯瞰図の補間部において、挟まれ部となっているか否かを判断する（Ｓ２１）。

また、ステップＳ１９の判断の結果、どちらか一方の俯瞰図の補間部において挟まれ部となっていると判断した場合には、エッジ挟部フラグを記憶するとともに、他方のカメラ（死角となっていないカメラ）近傍の輝度に基づいて輝度補間計算を行う（Ｓ２２）。たとえば、前俯瞰図の補間部において挟まれ部となっていると判断した場合には、前俯瞰図に対するエッジ挟部フラグを記録するとともに、左俯瞰図における近傍画素に基づいて輝度補間計算を行う。

さらに、ステップＳ２１の判断の結果、どちらか一方の俯瞰図において挟まれ部となっていないと判断した場合には、対象となる部分が立体物候補以外であるか否かを判断する（Ｓ２３）。その結果、立体物候補フラグが記録されており、立体物候補以外でない（立体物候補である）と判断した場合には、保留フラグを記録する（Ｓ２４）。また、立体物候補フラグが記録されておらず、立体物候補以外であると判断した場合には、前方カメラ２Ｆ、左方カメラ２Ｌの両方より得られた前俯瞰図および左俯瞰図における近傍画素に基づいて、輝度補間計算を行う（Ｓ２５）。

ここでの輝度補間計算では、図２５に示す各位置関係に基づいて、下記（３）式を用いて輝度補間値Ｐ_ｆｌｓを求めることができる。こうして求めた輝度補間値Ｐ_ｆｌｓを最終的な輝度補間値として採用する。

こうして、各処理を行ったら、算出された補間値および記録されたフラグ等を格納する（Ｓ２６）。それから、すべての対象領域を網羅したか否かを判断する（Ｓ２７）。その結果、網羅していない対象領領域がある場合には、網羅していない対象領域を特定して（Ｓ２８）、ステップＳ１８に戻って処理を繰り返す。

一方、すべての対象領域を網羅したと判断した場合には、保留フラグが記録されている領域があるか否かを判断する（Ｓ２９）。その結果、保留フラグが記録されている領域があると判断した場合には、保留フラグが記録されている対象領域における死角判定・輝度計算を行う（Ｓ３０）。保留フラグが記録されている領域における死角判定・輝度計算は次の手順で行われる。

死角判定・輝度計算では、まず、保留フラグが記録されている対象領域における前俯瞰図および左俯瞰図の輝度補間値を比較する。その結果、輝度補間値が小さい方の俯瞰図に対応するカメラが死角となっていると判断する。

死角となっているカメラを判断したら、死角となっていない側のカメラの近傍画素から輝度補間計算を行う。ここでの輝度補間計算について図２６〜図３１を参照して説明する。図２６に示すように、保留フラグは、俯瞰図上における立体物候補領域ＳＥに記録されており、図中において立体物候補領域を濃色で示している。この保留フラグが記録された立体物候補領域のうち、前方カメラ２Ｆと左方カメラ２Ｌとの中点２Ｍからもっとも近い位置である最近立体物候補位置ＭＮＰを検出する。最近立体物候補位置ＭＮＰを検出したら、図２７に示すように、両カメラ２Ｆ，２Ｌのそれぞれと最近立体物候補位置ＭＮＰとを通過する視線方向ベクトルＦＤＶ，ＬＤＶを導出する。これらの視線方向ベクトルＦＤＶ，ＬＤＶが本発明の投影方向となる。

視線方向ベクトルＦＤＶ，ＬＤＶを導出したら、前方視線方向および左方視線方向に対する立体物候補最小幅Ｗｆ，Ｗｌを検出する。前方視線方向に対する立体物候補最小幅Ｗｆを検出する際には、前方カメラ２Ｆと最近立体物候補位置ＭＮＰとを通過する前方視線方向ベクトルＦＤＶと平行なベクトルのうち、立体物候補領域ＳＥと重なる長さがもっとも短い前方視線方向最小重複長さベクトルの長さを導出する。この前方視線方向最小重複長さベクトルの長さが前方視線方向に対する立体物候補最小幅Ｗｆとなる。同様に、左方視線方向に対する立体物候補最小幅Ｗｌを検出する際には、左方カメラ２Ｌと立体物候補領域ＳＥとを通過する左方視線方向ベクトルＬＤＶと平行なベクトルのうち、立体物候補領域ＳＥと重なる長さがもっとも短い左方視線方向最小重複長さベクトルの長さを導出する。この左方視線方向最小重複長さベクトルの長さが左方視線方向に対する立体物候補最小幅Ｗｌとなる。これらの立体物候補最小幅Ｗｆ，Ｗｌが本発明の障害物候補領域幅となる。

立体物候補最小幅Ｗｆ，Ｗｌを導出したら、図２８に示すように、前方視線方向に対する立体物候補最小幅Ｗｆを左方視線方向ベクトルＬＤＶへ投影して前方立体物候補投影幅Ｗｆｔを導出する。同様に、左方視線方向に対する立体物候補最小幅Ｗｌを前方視線方向ベクトルＦＤＶへ投影して左方立体物候補投影幅Ｗｌｔを導出する。そして、最近立体物候補位置ＭＮＰから前方立体物候補投影幅Ｗｆｔ分だけ移動する領域内の位置および最近立体物候補位置ＭＮＰから左方立体物候補投影幅Ｗｌｔ分だけ移動する領域内の位置を立体物の前面と判断して立体物フラグを記録する。ここで得られる左方立体物候補投影幅Ｗｌｔおよび前方立体物候補投影幅Ｗｆｔを測定される位置が、本発明の障害物領域の撮像位置側の端部となる。立体物フラグが記録された立体物記録位置については、輝度補間値を求めることなく、立体物フラグのみを記録する。

立体物フラグを記録したら、図２９に示すように、複数の左方視線方向ベクトルＬＤＶ１，ＬＤＶ２，ＬＤＶＮ…に沿って前方画像の縦エッジ部（縦エッジ狭部フラグ記録部）ＨＥＦに隣接し、かつ左方カメラ２Ｌから見て前方画像の縦エッジ部ＨＥより遠い立体物候補領域を抽出する。この領域は、左方カメラ２Ｌでは見えるが前方カメラ２Ｆでは死角であると判断し、この死角であると判断された領域を前方カメラ死角領域ＦＤＲとして導出する。

同様に、複数の前方視線方向ベクトルＦＤＶ１，ＦＤＶ２，ＦＤＶＮ…に沿って左方画像の縦エッジ部（縦エッジ狭部フラグ記録部）ＨＥＬに隣接し、かつ前方カメラ２Ｆから見て左方画像の縦エッジ部より遠い立体物候補領域を抽出する。この領域は、前方カメラ２Ｆでは見えるが左方カメラ２Ｌでは死角であると判断し、この死角であると判断された領域を左方カメラ死角領域ＬＤＲとして導出する。

こうして、両カメラの死角領域を導出したら、図３０に示すように、前方カメラ死角領域ＦＤＲに含まれる位置については、左方画像のみの輝度値から輝度補間値を計算し、ここで算出された輝度値を最終的な輝度補間値として採用する。また、左方カメラ死角領域ＬＤＲに含まれる位置については、前方画像のみの輝度値から輝度補間値を計算し、ここで算出された輝度値を最終的な輝度補間値として採用する。

その後、立体物候補領域のうち、その他の領域についての処理を行う。その他の領域は、図２８を用いて説明した最近立体物候補位置ＭＮＰから前方立体物候補投影幅Ｗｆｔ分だけ移動する領域内の位置および最近立体物候補位置ＭＮＰから左方立体物候補投影幅Ｗｌｔ分だけ移動する領域内の位置となる。この位置には、立体物フラグが記録されて立体部物領域となる。図３１に示すように、立体物フラグが記録された位置から左方視線方向および前方視線方向にそれぞれ伸ばした領域が重複する領域が立体物領域ＳＦＲとなる。この立体物領域ＳＦＲについて輝度計算を行うことなく立体物フラグを記録し、立体物候補領域の処理を終了する。こうして、図３２に示すように、立体物候補領域ＳＥのすべてについて、前方カメラ死角領域ＦＤＲ、左方カメラ死角領域ＬＤＲ、および立体物領域ＳＦＲと区分けされるとともに、前方カメラ死角領域ＦＤＲ、左方カメラ死角領域ＬＤＲについて、死角とならない側のカメラから得られる画像に基づいて輝度補間値を求めて、死角判定および輝度計算を完了する。

図９に示すフローに戻り、死角判定・輝度計算が済んだら、各位置における補間値や立体物判定結果等を格納し（Ｓ３１）、前左画像処理を終了する。さらに、図７に示すフローに戻り、前左画像処理が済んだら、同様の手順によって前右カメラ処理部１３において左前右画像処理（処理Ｂ）、後左カメラ処理部１４において後左画像処理（処理Ｃ）、後右カメラ処理部１５において後右画像処理（処理Ｄ）をそれぞれ行う（Ｓ３〜Ｓ５）。その後、俯瞰図作成部１６において処理Ａ〜処理Ｄの結果を統合する処理を行い（Ｓ６）、最終的な俯瞰図を作成する。そして、作成した俯瞰図を情報出力部３に出力し、画像処理を終了する。

このように、本実施形態に係る画像処理装置においては、立体物投影方向を参照することにより、立体物候補領域ＳＥの中から、立体物の死角となる領域を除いた立体物領域ＳＦＲを抽出することができる。したがって、カメラ２で撮像された画像を俯瞰画像に変換するにあたり、立体物の死角となる位置についてもその状況を検出することができ、もって立体物が存在する領域を精度よく検出することができる。

また、立体物候補領域ＳＥの撮像位置側の端部および立体物候補領域ＳＥの幅に基づいて、立体物領域ＳＦＲを抽出することにより、立体物領域ＳＦＲを容易に検出することができる。さらに、左方カメラ２Ｌでは死角となるが、前方カメラ２Ｆでは死角とならない位置などについては、死角とならないカメラで撮像した画像に基づいて輝度などを算出している。このため複数のカメラで撮像された画像を俯瞰画像に変換するにあたり、障害物の死角となる位置についてもその状況を検出することができ、もって障害物が存在する領域を精度よく検出することができる。

本発明の実施形態に係る画像処理装置のブロック構成図である。車両におけるカメラの設置位置およびカメラからの撮像範囲を平面視する模式図である。前左カメラ処理部のブロック構成図である。（ａ）は補間対象位置を説明するための説明図、（ｂ）は（ａ）の拡大図である。マッピング位置の関係を示す説明図である。（ａ）は左方カメラで撮像された画像を示す図、（ｂ）は前方カメラで撮像された画像を示す図、（ｃ）は（ａ）、（ｂ）の両画像から得られる俯瞰図である。本実施形態に係る画像処理装置の処理手順を示すフローチャートである。前左画像処理の処理手順を示すフローチャートである。図８に続く処理手順を示すフローチャートである。（ａ）は前方カメラと画像との関係を示す模式図、（ｂ）はその前左４５度視線方向画像を示す図である。（ａ）は左方カメラと画像との関係を示す模式図、（ｂ）はその左前４５度視線方向画像を示す図である。（ａ）は前左４５度視線方向画像に横エッジ処理を施した画像を示す図、（ｂ）はその画像の幅方向の輝度変化を示すグラフ、（ｂ）のグラグを微分したグラフ、（ｄ）は（ｃ）の絶対値を示すグラフである。俯瞰情報格納図を示す図である。仮想カメラの設定位置を説明する模式図である。画素マッピングを行った後の俯瞰図を示す図である。（ａ）は前方画像の画素の配置を示す図、（ｂ）は（ａ）の部分拡大図である。前方画像の４点の画素と補間対象位置との位置関係を示す図である。（ａ）〜（ｅ）は、４点の画素と補間対象位置の位置関係における種々の例を示す図である。４点の画素と補間対象位置の位置関係における他の例を示す図である。縦エッジを求める際の４点の画素と補間対象位置の位置関係を示す図である。（ａ）は左方画像の画素の配置を示す図、（ｂ）は（ａ）の部分拡大図である。左方画像の４点の画素と補間対象位置との位置関係を示す図である。（ａ）は前方画像の画素の配置を示す図、（ｂ）は左方画像の画素の配置を示す図、（ｃ）は（ａ）と（ｂ）とを重ね合わせた画素の配置を示す図である。画素の配置と俯瞰図との関係を示す図である。前方画像の画素と左方画像の画素に基づいて補間対象位置の補間を行う際の数値関係を説明する説明図である。俯瞰図に設定された立体物候補領域を示す図である。立体物候補領域から立体物領域を求める工程の説明図である。障害物領域の撮像位置側の端部を求める工程の説明図である。俯瞰図における視線方向を説明する説明図である。俯瞰図における前方カメラ死角領域および左方カメラ死角領域を説明する図である。俯瞰図における立体物領域を求める工程の説明図である。俯瞰図における立体物領域、前方カメラ死角領域、および左方カメラ死角領域を説明する図である。

符号の説明

１…画像処理装置、２Ｒ…右方カメラ、２Ｂ…後方カメラ、２Ｌ…左方カメラ、２Ｆ…前方カメラ、３…情報出力部、１１…センサ情報取込部、１２…前左カメラ処理部、１３…前右カメラ処理部、１４…後左カメラ処理部、１５…後右カメラ処理部、１６…俯瞰図作成部、２１…正像化・エッジ検出部、２２…俯瞰図マッピング部、２３…前方カメラ画像補間部、２４…左方カメラ画像補間部、２５…補間値比較部、２６…立体物領域導出部、２７…補間情報採用・格納部。

Claims

異なる位置から少なくとも一部が共通する共通領域を複数の撮像手段でそれぞれ撮像した複数の画像における画素情報を比較して、前記共通領域における障害物を抽出する画像処理装置において、
前記共通領域における前記複数の画像を合成して俯瞰図を作成する俯瞰図作成手段と、
前記俯瞰図中における前記複数の撮像手段により得られる複数の画素情報を比較することで、前記俯瞰図において障害物が存在する位置の候補である障害物候補領域を抽出する障害物候補領域抽出手段と、
前記障害物候補領域における前記複数の撮像手段の中点から最も近い位置である最近立体物候補位置と前記撮像手段の位置とを通過する障害物投影方向を、前記複数の撮像手段について各々導出する投影方向導出手段と、
前記障害物候補領域において前記障害物投影方向と交差する方向の幅である障害物候補領域幅を、前記複数の障害物投影方向について各々導出する障害物候補領域幅導出手段と、
前記障害物候補領域と前記障害物候補領域幅とに基づいて、障害物が存在する領域である障害物領域の撮像位置側の端部を前記複数の障害物候補領域幅について各々抽出する障害物領域端部検出手段と、
前記障害物候補領域において、前記障害物領域端部検出手段で得られた複数の前記障害物候補領域の撮像位置側の端部をそれぞれ前記障害物投影方向に移動させて得られる複数の領域のうち、重複する領域を前記障害物領域として抽出し、前記障害物候補領域において、前記撮像手段側の縦エッジ部に隣接する領域であって前記障害物領域以外の領域を前記撮像手段の死角となる位置として前記複数の撮像手段について各々抽出する障害物領域抽出手段と、
前記複数の撮像手段の死角となる各位置について、死角とならない側の他の前記撮像手段から得られる画素情報に基づいて画素情報を各々補間する補間手段と、
を備えることを特徴とする画像処理装置。
前記複数の撮像手段で撮像された画像を高解像度の画像へと変換する解像度変換手段を備える請求項１に記載の画像処理装置。