JP4696925B2

JP4696925B2 - 画像処理装置

Info

Publication number: JP4696925B2
Application number: JP2006013065A
Authority: JP
Inventors: 守古田
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2006-01-20
Filing date: 2006-01-20
Publication date: 2011-06-08
Anticipated expiration: 2026-01-20
Also published as: JP2007195061A

Description

本発明は、複数のカメラ（撮像手段）を用いて取得した画像を基にして撮像対象の３次元情報を把握する技術に関する。

車両に搭載したカメラによって車両周辺の画像を撮像し、運転者の周辺状況認知を支援するシステムが知られている（例えば、特許文献１参照）。特許文献１記載の技術は、複数のカメラで取得した画像を基にして仮想視点から見た画像を合成し、運転者に対して提供するものであり、走行状況に応じて視点位置、視線の向き、焦点距離などを変更可能としたことを特徴としている。
特許第３３００３３４号公報

特許文献１における視点変換は、合成画像の画素位置に対応するカメラ取得画像とその画素位置をマッピングテーブルに格納しておき、その対応関係に基づいて合成画像を生成するものである。この手法は、撮像対象物に立体物が存在せず、全て道路平面上に位置している場合には、正確な変換画像を生成することができるが、対象物が立体である場合には、図２５のＩｘで示されるように、実際よりもそそり立った画像を生成してしまう。

そこで、本発明は、撮像対象物の３次元情報を把握可能な画像処理装置を提供することを課題とする。

上記課題を解決するため、本発明にかかる画像処理装置は、（１）第１検出範囲の画像を取得する第１撮像手段と、（２）この第１検出範囲と一部が重複する第２検出範囲の画像を取得する第２撮像手段と、（３）第１撮像手段、第２撮像手段の各々で取得した対応する２画像をステレオ視処理することで、第１検出範囲と第２検出範囲の重複範囲内に存在する物体の３次元情報を検出する検出手段と、（４）第１撮像手段、第２撮像手段のそれぞれで取得した画像から物体の輪郭線を抽出する輪郭線抽出手段と（５）第１撮像手段で取得した画像中で第２検出範囲との重複範囲外に存在する物体と、重複範囲内に存在する物体との連続性を輪郭線抽出手段で抽出した輪郭線情報と、前記検出手段で検出した物体の３次元情報から求めた輪郭線情報の一致度に基づいて判定する連続性判定手段と、（６）連続性判定手段により重複範囲内に存在する物体と連続性を有すると判定された重複範囲外に存在する物体の３次元情報を、重複範囲内に存在する物体の３次元情報と判定した連続性に基づいて推定する推定手段と、を備えていることを特徴とする。

同一の撮像対象物を異なる視点位置から撮像し、画像における対応関係を基にして撮像対象の空間位置（３次元位置）を検出するステレオ視処理が知られている。本発明にかかる画像処理装置は、第１撮像手段と第２撮像手段で取得した画像中の重複している領域については、検出手段において第１撮像手段で撮像した画像と、第２撮像手段で撮像した画像間でステレオ視処理を行うことにより、３次元位置を検出する。重複していない領域、つまり、第１撮像手段のみで撮像されている対象物で、重複範囲内の物体と連続性を有する物体、つまり、重複範囲内の物体と重複範囲外の物体とが所定の位置関係にあると判定した場合には、その位置関係と重複範囲内の物体の３次元情報から、重複範囲外の物体の位置関係を推測しうる。一致度としては、３次元情報から求めた輪郭線の延長線と抽出した輪郭位置との偏差等を用いて判定すればよい。

検出手段と推定手段で算出した３次元情報に基づいて所定の仮想視点から見た画像を作成する画像作成手段をさらに備えているとよい。所定の仮想視点としては、例えば、全体を上方から見た視点が挙げられ、この場合には、いわゆる俯瞰図が作成される。

２つの撮像手段で重複して撮像している領域については、ステレオ視によりその３次元情報を取得し、一方のみで撮像している領域については、重複領域との連続性を評価して、ステレオ視により得られた３次元情報と、連続性から３次元情報を推定することで、重複領域以外についても３次元情報を取得することができる。このため、ステレオ視を行う領域が全体の一部にすぎない場合でも、撮像した領域全体について３次元情報を取得できる。このため、３次元情報を取得するのに必要なカメラの台数を減らすことができる。

輪郭線情報を基にして一致度を判定することで、特に、直線上に延在している物体（道路境界線やガードレール等）を基に精度よく判定を行うことが可能となる。また、仮想視点から見た画像に変換することで、撮像対象物の位置関係や高さを把握しやすくなる。

以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。

図１は、本発明にかかる画像処理装置の一実施形態の構成を示すブロック図である。この画像処理装置の画像処理手段２は、ＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成されている。以下に説明する画像処理手段２内の各構成要素は、ハードウェア的に区分されていてもよいが、共通のハードウェア上で稼働するソフトウェアによって実現されていてもよい。これらのソフトウェアは別々のプログラム、サブルーチン等によって構成される場合もあるが、一部またはその大部分のルーチンを共有していてもよい。

画像処理手段２には、複数のカメラ、本実施形態では、前方カメラ１１、右側方カメラ１２、左側方カメラ１３、後方カメラ１４の画像が入力される。図２は、各カメラ１１〜１４の車両３への配置例を示す図である。各カメラ１１〜１４は、車両３の前方中央、右側方中央、左側方中央、後方中央の略同一高さの位置にそれぞれ配置されている高視野角のカメラであり、例えば、図３に示されるような画像Ｉ_ＬＯを取得する画角１８０°の全周魚眼レンズを備えたカメラが好ましい。図２に示されるａ_Ｆ、ａ_Ｒ、ａ_Ｌ、ａ_Ｂは撮像領域を示している。

例えば、車両３の左側にガードレール４が延びている場合、再前方のレール部分４０と最後方のレール部分４６は、カメラの視野領域外になる。そして、レール部分４１と４２は、前方カメラ１１の視野領域内に、レール部分４２〜４４が左側方カメラ１３の視野領域内に、レール部分４４、４５が後方カメラ１４の視野領域内にそれぞれ位置する。つまり、レール部分４１、４３、４５はそれぞれ前方カメラ１１、左側方カメラ１３、後方カメラ１４のいずれか一つのカメラのみにの視野領域に位置するが、レール部分４２は、前方カメラ１１と左側方カメラ１３の視野が重なる領域に、レール部分４４は、左側方カメラ１３と後方カメラ１４の視野が重なる領域に位置することになる。

各カメラ１１〜１４で取得した画像は、デジタル信号として画像取込部２０へと送られる。画像信号のデジタル変換は、カメラ１１〜１４内で行われてもよいが、カメラ１１〜１４と画像取込部２０の間にＡ／Ｄコンバータを設けて変換を行ってもよいし、画像取込部２０にＡ／Ｄコンバータを内蔵する構成としてもよい。画像取込部２０で取り込んだ画像は、処理結果記憶部２１に格納される。この処理結果記憶部２１は、ＲＡＭやフラッシュメモリ、ハードディスクなどの記憶媒体により構成される。

処理結果記憶部２１に格納された画像情報をもとに、視点変換部２２、エッジ処理部２３、ステレオ視処理部２４、連続性判定部２５、仮想画像作成部２６は、各々所定の画像処理を行い、必要ならば処理結果を処理結果記憶部２１に格納する。出力部２７は，仮想画像作成部２６で生成された仮想画像を出力し、図示していない表示装置等に表示させる。

視点変換部２２は、カメラ１１〜１４の撮像画像から特定の視点画像への変換を行う。エッジ処理部２３は、ある画像中から所定のエッジ抽出処理により輪郭であるエッジ部を抽出する。ステレオ視処理部２４は、同一被写体を別の方向から撮像した複数の画像をもとにしてステレオ視処理により被写体の空間位置を算出するものであり、複数の画像中において対応する画素位置を求める対応点探索部２４０と、対応点の画素位置と画像の投影位置とをもとにして対応点の空間位置を求める空間位置導出部２４１とを備えている。連続性判定部２５は、画像中の空間位置が既知のエッジと連続している、言い換えると、既知のエッジの延長線上にあるエッジを検出するものであり、対応エッジ探索部２５０と、空間位置判定部２５１とを備えている。そして、仮想画像作成部２６は、空間位置情報を基にして視点の異なる画像を作成するものである。

以下、この画像処理装置の動作を具体的に説明する。図４は、この動作の処理を示すフローチャートである。この処理は、車両の電源がオンにされてから所定のタイミングで繰り返し実行される。例えば、カメラ１１〜１４の画像取得レートに同期して、取得する画像１コマごと、あるいは、数コマおきに処理を行えばよい。

最初に、画像取込部２０が前方カメラ１１、右側方カメラ１２、左側方カメラ１３、後方カメラ１４のそれぞれで撮影した画像を取得し、処理結果記憶部２１に格納する（ステップＳ１）。次に、前方カメラ１１の画像と左側方カメラ１３の画像の視野が重なっている領域を対象に、被写体の３次元情報（空間位置情報）を導出する（ステップＳ２）。この導出処理の具体的な処理フローチャートを図５に示す。

最初に、左側方カメラ１３で取得した画像の処理範囲を設定する（ステップＳ２０１）。図６は、各カメラ１１〜１４の撮像領域を示している。ここでは、処理範囲として前方カメラ１１の撮像領域ａ_Ｆと、左側方カメラ１３の撮像領域ａ_Ｌとが重なっている領域ａ_ＬＦを処理範囲として設定する。次に、視点変換部２２は、左側方カメラ１３の撮影画像Ｉ_ＬＯから前方４５°方向の仮想視点画像Ｉ_ＬＦを生成して、処理結果記憶部２１に格納する（ステップＳ２０２）。図７、図８は、この仮想視点画像生成を説明する図である。

魚眼レンズは通常のカメラ用レンズと異なり、正射影方式ではなく、等立体角射影や当距離射影方式を採用している。このため、画面中心を通る直線を除いて、図３に示されるように、空間上における直線形状（例えば、ガードレールの輪郭等）も画面には曲線として表示される。この画像から射影方式を正射影に変換し、その際の視線方向を変換することで、図８に示されるように直線を直線として表示させることができる。ここで、Ｉ_Ｌは、左側方方向の仮想視点画像であり、Ｉ_ＬＢは、後方４５°方向の仮想視点画像を表す。

画像Ｉ_ＬＦを生成したら、エッジ処理部２３により、画像内のエッジを抽出する（ステップＳ２０３、図９参照）。このエッジ抽出処理は、既知の各種のエッジ抽出手法（Ｓｏｂｅｌフィルタや方向差分等）を用いればよい。

続いて、ステップＳ２０１と同様に、前方カメラ１１で取得した画像の処理範囲を設定する（ステップＳ２０４）。図６に示されるように、前方カメラ１１の撮像領域ａ_Ｆ中で、左側方カメラ１３の撮像領域ａ_Ｌと重なっている領域ａ_ＬＦを処理範囲として設定する。次に、視点変換部２２は、前方カメラ１１の撮影画像Ｉ_ＦＯから左方４５°方向の仮想視点画像Ｉ_ＦＬを生成して、処理結果記憶部２１に格納する（ステップＳ２０５）。図１０は、この仮想視点画像生成を説明する図である。ここで、Ｉ_Ｆは、前方向の仮想視点画像であり、Ｉ_ＦＲは、右方４５°方向の仮想視点画像を表す。画像Ｉ_ＦＬを生成したら、エッジ処理部２３により、画像内のエッジを抽出する（ステップＳ２０６）。

なお、ステップＳ２０４〜Ｓ２０６の処理は、ステップＳ２０１〜Ｓ２０３の処理とは独立した処理であるため、これらの処理と並列に行ってもよく、あるいは、ステップＳ２０１〜Ｓ２０３の処理に先立って行ってもよい。

次に、ステレオ視処理部２４の対応点探索部２４０は、画像Ｉ_ＬＦとＩ_ＦＬの画素の対応点を探索する（ステップＳ２０７）。具体的には、図１１に示されるように、画像Ｉ_ＬＦ上の任意の小領域に対応する画像Ｉ_ＦＬ上の小領域は、エピポーラ極線ｅ_ＦＬ上に存在する。そこで、画像Ｉ_ＦＬ中の、画像Ｉ_ＬＦのエッジ構成点を含む領域に対応するエピポーラ極線ｅ_ＦＬ上に位置し、かつ、画像Ｉ_ＦＬのエッジ構成点に近い領域について画像Ｉ_ＬＦのエッジ構成点を含む領域との相関値を算出し、最も相関値の高い領域を求める。この最大相関値をＳ_Ｌとする。そして、Ｓ_Ｌと閾値ＴＨｓとを比較し（ステップＳ２０８）、Ｓ_Ｌが閾値ＴＨｓ以下の場合には、対応領域がないと判定し、後述するステップＳ２１１へと戻り、次のエッジ構成点の探索へと移行する。Ｓ_Ｌが閾値ＴＨｓを超えている場合には、対応領域と判定し、ステップＳ２０９へと移行する。

ステップＳ２０９では、空間位置導出部２４１により、画像Ｉ_ＦＬと画像Ｉ_ＬＦ中の対応画素位置情報を基にして、被写体の当該画素に対応する部分の空間位置を算出する。図１２は、この空間位置算出の原理を説明する図である。

ここで、センサ座標系ＸｓＹｓＺｓをとり、左右のカメラはセンサ原点をはさんで、Ｘ軸方向に基線長ｂだけ離れて配置されているものとする。つまり、左カメラの光学中心は、座標位置（−ｂ／２，０，０）に、右カメラの光学中心は、座標位置（ｂ／２，０，０）に位置するものとする。両カメラの焦点距離をｆ、対象物Ｐの左カメラの画面上の位置をＰｌ（ｘｌ、ｙｌ）、右カメラの画面上の位置をＰｒ（ｘｒ、ｙｒ）とする（画面上のＸ_Ｌ、Ｘ_Ｒ軸は、Ｘｓ軸と平行であり、Ｙ_Ｌ、Ｙ_Ｒ軸は、Ｚｓ軸と平行とする。）と、三角測量の原理により、対象物Ｐの空間位置（Ｘ_ｐｓ，Ｙ_ｐｓ，Ｚ_ｐｓ）は、以下の式により表される。

なお、ｙｌとｙｒとは理想的には一致する。

さらに、このセンサ座標系から車両座標系への変換を行う。図１３は、この座標変換を説明する図である。車両重心を原点とし、センサ座標系と各軸が平行な座標系ＸｃＹｃＺｃを考える。このとき各軸Ｘｃ、Ｙｃ、Ｚｃは、センサ座標系の各軸Ｘｓ、Ｙｓ、Ｚｓをそれぞれａｘ、ａｙ、ａｚシフトさせたものとなる。さらに、同様に車両重心を原点とし、鉛直軸をＺｆ軸とし、軸Ｘｃ、Ｙｃをそれぞれ水平面に投影した軸をＸｆ、Ｙｆとした場合の座標系ＸｆＹｆＺｆを考える。ここで、ＸｆとＸｃのなす角度をロール角φ、ＹｆとＹｃのなす角度をピッチ角ρとすると、ＸｃＹｃＺｃ座標系における対象物Ｐの空間位置（Ｘ_ｐｃ，Ｙ_ｐｃ，Ｚ_ｐｃ）およびＸｆＹｆＺｆ座標系における対象物Ｐの空間位置（Ｘ_ｐｆ，Ｙ_ｐｆ，Ｚ_ｐｆ）は、以下の式により表される。

これにより、空間上の位置を表すことができる。なお、ａｘ、ａｙ、ａｚはカメラの配置位置に基づいて決まる定数であり、φ、ρは車両３の姿勢情報から求めることができる。このようにして求めた空間位置を画面上の画素位置と関連づけて処理結果記憶部２１に格納する。

次に、エッジの全ての構成点について空間位置情報の算出を終了したかを判定し（ステップＳ２１０）、終了していない場合には、ステップＳ２１１へ移行して、次のエッジ構成点についてステップＳ２０７〜Ｓ２０９の処理を行うことにより、画面内の全エッジについて空間位置情報の算出を行う。全ての構成点について算出が終了した場合には、図４のステップＳ２の処理を終了したことになる。

続く、ステップＳ３〜Ｓ５では、ステップＳ２において、前方カメラ１１と左側方カメラ１３の視野重なり領域ａＬＦについて行ったのと同様の処理を、前方カメラ１１と右側方カメラ１２の視野重なり領域ａ_ＲＦ、後方カメラ１４と左側方カメラ１３の視野重なり領域ａ_ＬＢ、後方カメラ１４と右側方カメラ１２の視野重なり領域ａ_ＲＢのそれぞれについて実行する。これら、ステップＳ２〜Ｓ５の処理は、並行して行ってもよく、また、適宜順序を異ならせて行ってもよい。

ステップＳ６では、連続性判定部２５内の対応エッジ探索部２５０が左側方カメラ画像内の物体連続性を判定し、続くステップＳ７において、空間位置判定部２５１が左側方カメラ１３の画像領域（前方カメラ１１、後方カメラ１４と重複していない領域）の３次元情報を推測する。ステップＳ６、Ｓ７の具体的な処理フローチャートを図１４に示す。

最初に、変換範囲を設定する（ステップＳ６０１）。これは、魚眼レンズで得られた画像全体の変換を行うと範囲が広くなりすぎるためであり、例えば、前後５ｍの範囲に設定する。この範囲は、前方カメラ１１、後方カメラ１４それぞれの撮像領域ａ_Ｆ、ａ_Ｂとの重なり領域であるａ_ＬＦ、ａ_ＬＢの少なくとも一部を含むように設定される。

次に、視点変換部２２により、左側方カメラ１３の取得画像Ｉ_ＬＯから射影変換、視線変換により左９０°（左側方）方向の画像Ｉ_Ｌを生成する（ステップＳ６０２、図７、図８、図１５参照）。次に、エッジ処理部２３が画像Ｉ_Ｌ中のエッジ抽出処理を実施する（ステップＳ６０３）。抽出したエッジ中には、ノイズ成分が含まれている可能性があることから、面積フィルタ、エッジ線長さ、孤立点除去等の手法を用いてノイズ除去処理を行い、結果を処理結果記憶部２１に格納する（ステップＳ６０４）。

抽出したエッジについてその向き、位置、近接度合い等を参照してエッジをグループ分けして、それぞれにグループ識別番号であるＧｒＩＤを付す（ステップＳ６０５）。ＧｒＩＤは、０から始まる整数であり、以下、総数Ｎ_Ｇｒのグループにグルーピングした場合を例に説明する。この場合、最もＧｒＩＤの数値の大きなグループのＧｒＩＤは、Ｎ_Ｇｒ−１である。

グルーピング後、左側方方向の画像Ｉ_Ｌ中のエッジと左前４５°方向の画像Ｉ_ＬＦ中のエッジとの対応をとり、対応する画素に３次元情報を記録する（ステップＳ６０６）。具体的には、画像Ｉ_Ｌ内で領域ａ_ＬＦに位置している画素について、画像Ｉ_ＬＦ上の画素位置を求める。これは、対応する元画像Ｉ_ＬＯとの対応から対応づけが可能である（図１６参照）。画像Ｉ_ＬＦ中のエッジについては、ステップＳ２０９において、空間位置情報が算出済みであるから、この空間位置情報を画像Ｉ_Ｌのエッジ画素に対応づければよい。同様に左側方方向の画像Ｉ_Ｌ中のエッジと左後４５°方向の画像Ｉ_ＬＢ中のエッジとの対応をとり、対応する画素に３次元情報を記録する（ステップＳ６０７）。

次に、変数ｉに初期値０を代入する（ステップＳ６０８）。この変数ｉは、後述の処理において連続性情報を判定するエッジのグループ識別番号ＧｒＩＤに対応するものである。そして、ｉとＮ_Ｇｒとを比較する（ステップＳ６０９）。上述したようにＧｒＩＤの最大値はＮ_Ｇｒ−１となるから、ｉがＮ_Ｇｒ以上の場合には、全てのエッジについて連続性情報判定処理が終了したことを意味する。そこで、この場合には以後の処理をスキップして終了する。ｉがＮ_Ｇｒ以上の場合には、連続性情報判定処理の終了していないエッジがあることを意味するので、後述の連続性情報判定処理を実行する。

連続性情報判定処理においては、まず、グループ識別番号ＧｒＩＤがｉのエッジで、すでにステップＳ６０６〜Ｓ６０７の処理において３次元情報が記録されている画素（Ｐ_{ＬＢｉ，ｊ}、Ｐ_{ＬＦｉ，ｊ}）からHough変換、最小自乗法等の処理により、それらの画素の近似直線Ｌ_Ｌｉを表す３次元直線式Ｓ_３Ｄを導出する（ステップＳ６１０、図１７参照）。

次に、導出した３次元直線式Ｓ_３Ｄｉを画像Ｉ_Ｌ中に投影する（ステップＳ６１１）。具体的には、画像Ｉ_Ｌ中での近似直線Ｌ_Ｌｉ位置を表す２次直線式Ｓ_２Ｄｉを導出する。図１８は、こうして求めたＬ_Ｌｉを画像Ｉ_Ｌ上に実際に投影して示した場合の表示例である。

画像Ｉ_Ｌ中において前方カメラ１１による撮影画像との重なり領域ａ_ＬＦ、後方カメラ１４による撮影画像との重なり領域ａ_ＬＢのいずれにも該当しない領域（図１８における中央部分の領域）中で、かつ、グループ識別番号ＧｒＩＤがｉのエッジの構成点Ｐ_Ｌｉについて、求めたＬ_Ｌｉとの距離ｄ_Ｌｉの平均値Ｄｉを算出する（ステップＳ６１２、図１９参照）。ここでは、単純平均値を用いたが、例えば、二乗平均等を用いてもよい。

次に求めた平均値Ｄｉを閾値ＴＨ_Ｄｉとを比較する（ステップＳ６１３）。Ｄｉが閾値ＴＨ_Ｄｉ以上の場合には、画像Ｉ_Ｌの中間領域のエッジ構成物と両端のエッジ構成物とは不連続であると判定し、対応画素に不連続フラグを記録する（ステップＳ６１４）。具体的にはＧｒＩＤを−１に設定する。一方、Ｄｉが閾値ＴＨ_Ｄｉ未満の場合には、画像Ｉ_Ｌの中間領域のエッジ構成物と両端のエッジ構成物とは連続であると判定し、空間位置判定部２５１が対応画素に３次直線式Ｓ_３Ｄｉに基づいたＬ_Ｌｉ上の空間座標値を関連づけ、処理結果記憶部２１に記録する（ステップＳ６１５）。ステップＳ６１４、Ｓ６１５の処理終了後はステップＳ６１６へと移動し、変数ｉに１加算して、ステップＳ６０９へと戻る。これを繰り返すことで、注管理領域に存在する全てのエッジについてその連続性を判定し、空間位置を求める。

ステップＳ６、Ｓ７と同様の処理を右側方カメラ１２、前方カメラ１１、後方カメラ１４のそれぞれで単独で撮像した領域について実行する（ステップＳ８〜Ｓ１３）。これにより、ステレオ視処理が行えない単独のカメラのみで撮像した領域についてもエッジの空間位置情報を導出することができる。

空間位置情報を導出したら、ステップＳ１４へと移行し、仮想画像作成部２６により、エレベーションマップを作成する。このエレベーションマップは、車両３の周辺を上から見た俯瞰図に対応したものであり、図２０に示されるように、等間隔の格子で区切られたマス内に高さ情報Ｅ（ｘ，ｙ）が記録されたものである。高さ情報に加えて、エッジ画素の位置、輝度・色情報等も合わせて記録される。なお、３次元情報が記録されていない画素については、周囲の画素で３次元情報が記録されている画素から補間によりその３次元情報を求めるとよい。

求めたエレベーションマップを参考に、いずれのカメラ１１〜１４からも死角になっている部分を判定する（ステップＳ１５）。具体的な死角判定について図２１、図２２を参照して説明する。図２１は、死角を判定した俯瞰図の例である。車両３の周囲に、障害物として三角コーン５０、樹木５１、側溝５２、ガードレール５３が存在している。ここで、添字ｓを付した５０ｓ、５１ｓ、５３ｓは、それぞれの障害物により死角となっている影を表している。図２２は、この死角（影）部分を説明する図である。

車両３の乗っている水平面をＳ_０、カメラ１０の設置高さをＨｃ、立体物５５の高さをｈ、カメラ１０と立体物５５との距離をｄとすると、死角５５ｓの長さＬは、下記の式で表せる。

なお、ｈ≧Ｈｃの場合には、死角５５ｓと水平面が交差することはない。求めた死角領域はエレベーションマップに記録される。

仮想画像作成部２６は、求めたエレベーションマップから図２１に示されるような俯瞰図を作成する（ステップＳ１６）。例えば、影部分は黒く塗りつぶして表示される。次に３次元情報を基にして道路構造物の判定と３次元位置姿勢情報の導出を行う（ステップＳ１７）。正射影に変換した画像（Ｉ_ＬやＩ_ＬＦ等）を用い、３次元情報が記憶されている画素の周辺領域に対して、パターンマッチング（例えば、差分総和、正規化相関、ニュウラルネット等）手法等によって、白線、縁石、側溝、ガードレール等の道路構造物を認識する。そして、認識した道路構造物と、その輪郭部分の３次元情報を基にして構造物の位置・姿勢情報を算出する。図２３は、側溝５６について、判定を行った場合の例示である。

輪郭部分の３次元情報から、構造物の輪郭構成点の位置情報は把握されている。しかし、障害物回避や自動走行といった車両挙動制御を行うシステムへ個々の輪郭点の位置情報を伝達しても不要なデータが多いことから、必要なデータのみを提供することが望まれる。例えば、側溝５６の場合には、その幅Ｄ_１２、車両３との距離ｄ、伸長方向の角度φを算出して伝達するとよい。

その後、駐車車両等のその他の障害物について、その位置・姿勢情報を同様の手法で算出する（ステップＳ１８）。例えば、駐車車両５７の場合には、図２４に示されるように、長方形とみなして、その幅Ｓ１、長さＳ２と、その高さ、および、自車両３との距離を算出して伝達するとよい。

ステップＳ１９では、出力部２７は、求めた俯瞰図および道路構造物や障害物の位置・姿勢情報を出力する。これらの情報は図示していない表示部へと出力したり、車両挙動制御装置に送り、障害物への接近警報や回避支援といった制御を行うとよい。

本実施形態によれば、複数のカメラで重ねて撮像している領域（例えば、ａ_ＬＦ等）だけでなく、単独のカメラで撮像している領域についても対象物の３次元情報を把握することができる。このため、ステレオ視のみで３次元情報を把握しようとする場合と異なり、必ずしも全ての撮影領域について複数のカメラで撮影領域が重なり合うように配置する必要がなく、カメラの台数を減らすことができ、３、４台のカメラで全周の３次元情報を得ることが可能となる。

このようにして得られた３次元情報を基にして俯瞰図を作成することで、図２５に示されるように投影面を異ならせて俯瞰図を作成する場合と異なり、より現状に則した俯瞰図を作成することができるとともに、死角となる領域を区分することもでき、運転者に車両周囲の状況を適切に把握させることが可能となる。

以上の説明では、物体の連続性判定を直線により行ったが、もちろん、近似曲線を用いることもできる。また、ここでは、車両の全周を撮像対象とする場合を例に説明したが、本発明は、最低２台のカメラにより、その一部の撮像領域が重なり合うように配置した場合に適用可能である。また、俯瞰図に限らず、任意の視点からの画像を作成することが可能となる。

本発明にかかる画像処理装置の一実施形態の構成を示すブロック図である。各カメラ１１〜１４の車両３への配置例を示す図である。カメラ１１〜１４で得られる画像の一例を示す図である。本発明にかかる画像処理装置の動作処理を示すフローチャートである。図４のステップＳ２の処理の具体的な処理フローチャートである。各カメラ１１〜１４の撮像領域の関係を示す図である。ステップＳ２０２における仮想視点画像生成を説明する図である。生成される仮想視点画像の一例を示す図である。画像中の抽出エッジ位置を示す図である。ステップＳ２０５における仮想視点画像生成を説明する図である。エピポーラ極線を説明する図である。ステレオ視による空間位置算出原理を説明する図である。センサ座標系から車両座標系への変換を説明する図である。図４のステップＳ６、Ｓ７の処理の具体的な処理フローチャートである。視点変換により得られる画像Ｉ_Ｌの一例を示す図である。異なる視点変換画像中における画素の対応づけを説明する図である。エッジの近似直線Ｌ_Ｌｉの算出手法を説明する図である。エッジの近似直線Ｌ_Ｌｉを画像Ｉ_Ｌ中への投影例を示す図である。近似直線Ｌ_Ｌｉとの距離に基づく連続性判定を説明する図である。エレベーションマップの一例を示す図である。死角を判定した俯瞰図の例である。死角領域部分の判定手法を説明する図である。側溝を例に、道路構造物の位置姿勢情報の算出手法を説明する図である。駐車車両の位置姿勢情報の把握例を説明する図である。従来の手法により作成した俯瞰図の問題点を説明する図である。

符号の説明

３…自車両、１０…カメラ、１１…前方カメラ、１２…右側方カメラ、１３…左側方カメラ、１４…後方カメラ、２０…画像取込部、２１…処理結果記憶部、２２…視点変換部、２３…エッジ処理部、２４…ステレオ視処理部、２５…連続性判定部、２６…仮想画像作成部、２７…出力部、４、４０〜４６…ガードレール、５０…三角コーン、５１…樹木、５２…側溝、５３…ガードレール、５５…立体物、５６…側溝、５７…駐車車両、２４０…対応点探索部、２４１…空間位置導出部、２５０…対応エッジ探索部、２５１…空間位置判定部。

Claims

第１検出範囲の画像を取得する第１撮像手段と、
前記第１検出範囲と一部が重複する第２検出範囲の画像を取得する第２撮像手段と、
前記第１撮像手段、第２撮像手段の各々で取得した対応する２画像をステレオ視処理することで、第１検出範囲と第２検出範囲の重複範囲内に存在する物体の３次元情報を検出する検出手段と、
前記第１撮像手段、第２撮像手段のそれぞれで取得した画像から物体の輪郭線を抽出する輪郭線抽出手段と、
前記第１撮像手段で取得した画像中で第２検出範囲との重複範囲外に存在する物体と、重複範囲内に存在する物体との連続性を前記輪郭線抽出手段で抽出した輪郭線情報と、前記検出手段で検出した物体の３次元情報から求めた輪郭線情報の一致度に基づいて判定する連続性判定手段と、
前記連続性判定手段により重複範囲内に存在する物体と連続性を有すると判定された重複範囲外に存在する物体の３次元情報を、重複範囲内に存在する物体の３次元情報と判定した連続性に基づいて推定する推定手段と、
を備えていることを特徴とする画像処理装置。
前記検出手段と推定手段で算出した３次元情報に基づいて所定の仮想視点から見た画像を作成する画像作成手段をさらに備えていることを特徴とする請求項１記載の画像処理装置。