JP5495071B2 - 車両周辺監視装置 - Google Patents

Description

本発明は、撮像部によって取得された車両周辺の撮影画像を利用して車両周辺における
障害物を確認する装置に関する。

車両に設置され、車両の周辺を広視野に撮影するための広視野レンズを有するカメラと、カメラにより広視野レンズを介して撮影された撮影画像から所定範囲の画像を抽出する画像抽出手段と、画像抽出手段により抽出された抽出画像を表示する表示手段と、車両の周辺の障害物を検出する障害物検出手段とを備え、障害物検出手段が検出した障害物の存在する方向に対応する画像を撮影画像から抽出して表示部に拡大して表示する車両用モニタ装置が知られている（例えば、特許文献１参照）。より詳しく説明すると、通常時には、カメラの撮影画像全体、撮影画像の中央下部抽出画像、撮影画像の右下部抽出画像、撮影画像の左下部抽出画像が所定時間ずつ順次繰り返し表示される。そこで、右側のバックソナーで障害物が検出されると、画像メモリに記憶されている撮影画像の内、左側の予め設定されている範囲の画像が抽出され（カメラが車両の後方に向けて設置されているので、車両の後方右側に位置する障害物は撮影画像の左側に撮影されている）、表示画面一杯に拡大して表示される。左側のバックソナーで障害物が検出されると、撮影画像の内、右側の予め設定されている範囲の画像が抽出され、表示画面一杯に拡大して表示される。なお、その際、表示画面の所定位置（例えば、画面右上）に小さな補助画面を設けて、車両位置と抽出画像に対応する撮影範囲を表示することも提案されている。しかしながら、この車両用モニタ装置では、モニタ表示用撮影画像から検出された障害物が映っている部分の画像を抽出してその部分を拡大表示する方法を採用しているので、障害物がモニタ表示されている撮影画像内に入っていないと障害物画像を表示することができない。この問題を避けるため、撮影視野を広くすると、通常時においては重要となる撮影中央付近の画像領域がモニタ表示面積に比べて相対的に小さくなってしまってモニタ表示画像を通じての周囲状態の確認が難しくなるという不都合が生じる。

検出された障害物に関する障害物距離および障害物状態情報に基づいて、障害物距離および障害物状態情報を一つの画像で表す障害物表示画像を生成し、生成した障害物表示画像の動画系列を表示させるための映像信号を生成する車両周囲監視装置が、特許文献２から知られている。この装置では、車両の左右方向の一方または両方から障害物が接近してきた場合、モニタ画面には、車両の両側方に対応する周辺領域が拡大されるようなマッピングを用いた画像と、車両アイコンとともに障害物アイコンが配置された障害物表示画像が表示される。その際、障害物アイコンは、障害物の障害物距離、接近方向、接近速度、および到達時間を、車両アイコに対する位置、形状、大きさ、および色によって表すように構成されている。車両の両側方が拡大された撮影画像と、障害物表示画像とによって、車両側方からの障害物の接近などをより認識しやすくしている。しかしながら、その表示される撮影画像は車両の両側方に対応する周辺領域を強引に拡大するように歪ませているので、その結果中央領域が歪むとともに全体として見づらい画像となる。さらに、撮影画像自体が広視野画像であるため、無理やり部分的に拡大しても外側の障害物画像の大きさは限定的なものとなる。また、撮影画像の周囲（下側）に表示されたアイコンによって障害物の位置や接近を示すことは、実際の風景を映し出している撮影画像と抽象的なアイコンといった全く異種の画像情報とを組み合わせて障害物を確認することを要求し、直感的な障害物の把握には適していない。

さらに、特許文献３に記載された車両周辺監視装置は、撮像部によって取得された車両周辺の撮影画像から車両周辺の一部を示す狭視野画像を生成し、この狭視野画像内に車両周辺の認識された障害物が含まれていないとみなされるときに障害物の撮影領域を障害物画像として撮影画像から切り出し、狭視野画像とともに障害物画像をモニタに出力する。車両周辺に障害物が認識された場合に表示される狭視野画像と障害物画像とは同一の撮影画像から切り出されているので画質的には一様である。しかしながら、走行において主に注目すべき領域の画像である狭視野画像の表示中に当該狭視野画像には含まれていない領域の画像である障害物画像がいきなり表示されても、車両との相対位置関係が把握しづらい。この車両周辺監視装置では、障害物の移動方向を矢印で示すことが記載されているが、障害物の移動方向は、車両と障害物に相対位置関係の把握にはあまり役立たない。

特開２００３−１４３５９６号公報（段落番号〔０００５−００２６〕、図４、図５） 特開２００９−２１７７４０号公報（段落番号〔００２２−００６６〕、図４） 特開２０１０‐１３０６４６号公報（段落番号〔００２０−００２６〕、図４、図５）

上記実情に鑑み、表示されている車両周辺撮影画像外で認識された障害物、及び、障害物画像で表示された障害物と車両との相対位置関係を運転者が容易に把握できる車両周辺監視装置が要望されている。

上記課題を解決するため、本発明による車両周辺監視装置は、撮像部によって取得された車両周辺の撮影画像の一部分である狭視野領域を注目撮影画像として生成する注目撮影画像生成部と、車両周辺の障害物を認識する障害物認識部と、前記障害物認識部によって認識された障害物の前記撮影画像における領域である障害物領域を算定する障害物領域算定部と、前記障害物領域が前記狭視野領域外に含まれている場合、少なくとも前記障害物領域を含む注目障害物画像を前記撮影画像から生成する注目障害物画像生成部と、前記車両に対する前記注目障害物画像の相対位置を示す指標画像を出力する指標画像生成部と、モニタ画面に前記注目障害物画像がポップアップ表示されるように前記注目障害物画像と前記指標画像と前記注目撮影画像とを合成する画像合成部とからなり、前記注目障害物画像は、前記障害物領域の画像と、当該障害物領域から前記狭視野領域に移行する移行領域の画像と、当該移行領域からさらに前記狭視野領域に入り込んだ重複領域の画像とからなる。

また、この構成では、注目障害物画像に重複領域として注目撮影画像の一部が含まれているため、モニタ表示されている注目撮影画像上に注目障害物画像がポップアップ表示される場合、重複領域を通じて注目撮影画像と注目障害物画像とのつながりを運転者は把握しやすいという利点がある。

この構成によると、通常時には、撮像部によって取得された広視野画像である撮影画像の内、特に車両走行にとって重要な領域である狭視野領域が注目撮影画像として生成され、モニタに表示することができる。これにより運転者は狭視野領域における走行先の安全を確認することができる。さらに狭視野領域外で障害物が認識された場合、当該障害物の撮影画像における画像領域である障害物領域が算定され、その障害物領域を含む注目障害物画像が、注目撮影画像が表示されているモニタ画面にポップアップ表示される。さらに、その際、ポップアップ表示された注目障害物画像に映し出されている障害物と車両との相対位置を示す指標を画像化した指標画像が同じモニタ画面にポップアップ表示される。これにより運転者は、認識された障害物を当該障害物を映し出している注目障害物画像のポップアップ表示を通じて把握することができるとともに、当該障害物の車両に対する相対位置も同様にポップアップ表示される指標画像から把握することができる。

本発明の好適な実施形態の１つでは、前記指標画像が前記注目撮影画像の中央の上方に表示され、前記注目障害物画像が前記指標画像の横隣りに表示される。この構成では、注目障害物画像と指標画像とを、注目撮影画像の領域外で障害物が認識されたときに、通常は空や建物の屋上といった車両走行においてそれほど重要でないとみなされるものが写っている注目撮影画像の上方領域にポップアップ表示される。従って、注目障害物画像と指標画像とのためにモニタ画面にスペースを空けておく必要がない。また障害物は、実質的には注目撮影画像の画像領域の外側で右側または左側に生じることになるので、その障害物の車両に対する相対位置に応じて指標画像の右隣りまたは左隣りのいずれかにポップアップ表示することが可能となる。このことでさらに運転者は障害物の車両に対する相対位置を把握しやすくなる。

車両周辺監視の重要な使用例の１つは、バックミラーの補完目的で車両後方の周辺領域をモニタで確認することである。このため、本発明の好適な実施形態の１つでは、前記車両周辺は前記車両の後方であり、前記注目撮影画像は前記撮像部によって撮影された画像を左右反転した映像となっている。すなわち、前記注目撮影画像は、前記撮像部によって撮影された画像を左右反転した映像の部分画像であるとも言える。このように構成された車両周辺監視装置では、撮影画像を表示するモニタが違和感なくバックミラーの代わりとなり、効果的な後方監視が実現する。

本発明の好適な実施形態の１つでは、前記注目障害物画像と前記指標画像とが前記注目撮影画像内でポップアップ表示される。この構成では、注目障害物画像と指標画像とを、注目撮影画像の領域外で障害物が認識されたときだけ、注目撮影画像内に、言い換えれば注目撮影画像上に重ねてポップアップ表示される。従って、運転時に注目撮影画像を注視している運転者は、注目撮影画像領域の外側で障害物が認識されたことを明確に理解する。

注目障害物画像の生成に関するさらに好適な実施形態として、前記障害物領域と前記狭視野領域との間の距離に応じて、前記注目障害物画像を拡縮することが提案される。障害物が車両から遠く離れた場合や障害物が大きすぎたり、小さすぎたりする場合、注目障害物画像自体が大きすぎたり、小さすぎたりして周辺監視用表示画像としての収まりが悪くなるが、これは、注目障害物画像の拡縮処理によって解決できる。なお、その際、障害物が車両から遠く離れており、注目障害物画像が細長くなる場合、障害物と車両とのとの間の距離に応じて、移行領域がその移行方向に関して圧縮することが好ましい。重複領域から障害物領域への連続性を維持するためには移行領域の存在が原則的に必要であるが、少なくとも重複領域と障害物領域が維持されると、注目障害物画像と注目撮影画像との実用的な連続性は十分に得られるからである。なお、ここでの移行領域の圧縮には、移行領域そのものの省略まで含んでいる。

本発明による車両周辺監視装置の基本構成を説明する模式図である。 本発明による車両周辺監視装置における基本的な画像処理の流れを説明する模式図である。 本発明における広視野画像と狭視野画像とを説明する模式図である。 本発明による車両周辺監視装置の一つの実施形態における機能ブロック図である。 画像処理モジュールの機能ブロック図である。 バックモニタールーチンを図解化した模式図である。 車両周辺監視装置によるバックモニタルーチンの一例を示すフローチャートである。 別実施形態における周辺監視用画像における注目障害物画像と注目撮影画像の表示を説明する模式図である。

本発明による車両周辺監視装置の具体的な実施形態を説明する前に、この発明の基本的な構成例を図１と図２の模式図を用いて説明する。この構成例では、車両に搭載されたバックカメラが撮像部として適用されている。このバックカメラは、例えば、その光軸方向が水平方向からやや下方に向けて設置される。この車両周辺監視装置が後進時の後方確認のために起動させるバックモニタルーチンを説明する。

バックカメラによって撮影画像が取得される。この撮影画像は車両後方の周辺領域の大部分をカバーしている広視野撮影画像である（＃１）。この撮影画像では、例えば、上部は空や建物の屋上といったものが撮影され、下部では路面が撮影される。また、バックカメラによって撮影された画像（撮影画像及び撮影画像の一部である狭視野撮影画像、注目障害物画像等も含む）をバックモニタとしてモニタに表示する際には、バックミラーで視認される場合と対応させるために、バックカメラによって撮影された画像を左右反転して表示（鏡像表示）する。この撮影された画像の左右反転処理は、バックカメラからの出力前またはモニタに表示する直前に、あるいはその間の適切な処理過程で行うことができる。例えば、バックカメラで撮影された画像をバックカメラは車両周辺監視コントローラに出力して、車両周辺監視コントローラにて左右反転処理を行う形態が考えられる。ここでは説明しやすいように、左右反転処理がなされた撮影画像がバックカメラから出力されるものとする。また、この左右反転処理がなされた撮影画像もここでは単に撮影画像と称している。取得された広視野撮影画像の中央部分（狭視野領域）を切り出して得られた狭視野撮影画像が注目撮影画像として生成される（＃２）。この注目撮影画像がバックモニタとしてモニタに表示される（＃３）。
同時に広視野撮影画像は障害物の認識のために画像認識処理に供される（＃４）。その際、超音波式やレーザレーダ式の障害物検出装置を用いて得られた障害物位置情報などに基づいて、広視野撮影画像における障害物認識の対象領域を絞り込むと好都合である。
画像処理を通じて障害物が認識されると、広視野撮影画像におけるその障害物の位置（障害物領域）が算定される（＃５）。認識された障害物が狭視野撮影画像内に存在していると、その障害物が移されている障害物も狭視野撮影画像とともにモニタに表示されるので、運転者はモニタから障害物の存在を知ることができる。運転者に障害物の存在を明確に気づかせるためには、障害物の画像領域を太線で囲むなどの障害物強調処理を行うとよい。これに対して、障害物が狭視野撮影画像内に存在しておらず、撮影画像のうちの狭視野撮影画像外の領域に存在している場合には、その障害物はモニタに表示されない。

障害物領域が前記狭視野画像外に含まれている場合、この障害物領域を含むように広視野撮影画像から切り出された広視野障害物画像が前述した注目撮影画像上にポップアップ表示されるべき注目障害物画像として生成される。なお、この構成例では、広視野撮影画像から切り出される広視野障害物画像の好適な一形態が採用されている。つまり、広視野障害物画像として、障害物領域とこの障害物領域から狭視野領域に移行する移行領域と当該移行領域からさらに狭視野領域に入り込んだ重複領域とからなる画像が決定される（＃６）。ここでの、この広視野障害物画像は、注目撮影画像として用いられている撮影画像における狭視野領域の周辺部である重複領域から移行領域を経て障害物領域に至る連続した画像領域である。重複領域は、広視野画像と狭視野領域とが重複する領域である。注目障害物画像のうち少なくとも障害物領域と重複領域を含む画像領域を注目障害物画像として広視野撮影画像から切り出される（＃７）。この注目障害物画像には、モニタ表示されている注目撮影画像（狭視野領域）の周辺領域の一部が重複領域として含まれているので、注目障害物画像と注目撮影画像との位置関係がこの注目障害物画像から容易に把握することができる。注目障害物画像の大きさは、障害物領域の大きさと障害物領域の狭視野領域からの距離による。このため、モニタ表示の都合で注目障害物画像の大きさが大きすぎる場合には、注目障害物画像を縮小するか、あるいは、移行領域を省略または圧縮するとよい。注目障害物画像の大きさが小さすぎる場合には、注目障害物画像を拡大するとよい（＃７ａ）。

注目障害物画像の生成と同時に注目撮影画像上にポップアップ表示される指標画像が生成される（＃８）。この指標画像は、車両に対する注目障害物画像の相対位置、車両に対する認識した障害物の相対位置を示すものである。図２で示されている例では、指標画像は、車両のイラスト画像又は写真画像と、この指標画像と同時に表示される注目撮影画像に含まれる障害物のこの車両に対する存在領域をグラフィカルに示すイラスト画像とから構成されている。つまり、この車両画像と車両に対する障害物の存在領域を示す画像とを合わせて指標画像と称している。また、図２の車両のイラスト画像又は写真画像は、車両を後方から見たイラスト画像又は写真画像である。別な指標画像として、車両画像の回りに格子パターンを描画し、障害物の位置を塗りつぶしや強調線などによって明示するような画像を採用してもよい。認識される障害物の位置は予測できるので、各障害物の位置に対応した指標画像をアイコン化して格納しておくと好都合である。
なお、図２の例では、注目障害物画像がモニタ上で指標画像の左側に表示されているが、これは、図３に示すような車両の後方左側に存在している障害物を、注目障害物画像で表示していることになる。すなわち、当該注目障害物画像に映る障害物の車両に対する相対位置（方向）と、ポップアップ表示される注目障害物画像のモニタ上における指標画像に対する相対位置（方向）とが対応するようになっている。すなわち、当該注目障害物画像に映る障害物の車両に対する相対位置（方向）と、ポップアップ表示される注目障害物画像のモニタ上における指標画像に対する相対位置（方向）とが一致する。このように表示することで、障害物が実際に存在する方向と、注目障害物画像がポップアップ表示される位置のモニタ上における指標画像に対する方向とが一致するため、運転者に障害物の存在する位置（方向）が理解しやすいという効果がある。
注目障害物画像と指標画像とが生成されると、注目撮影画像上にポップアップ表示されるように、注目障害物画像と指標画像と注目撮影画像とが合成され、周辺監視用画像として出力され（＃９）、モニタに表示される（＃１０）。

以下、図面を用いて、本発明による車両周辺監視装置の具体的な実施形態を説明する。
この車両周辺監視装置は、図３に示すように、ここでは乗用車である車両に設置され、車両の周辺を撮像する撮像部としてのカメラ１によって取得された撮影画像を利用して、運転者が車両周辺の状況を確認するのを支援するものである。車両周囲の全方向を監視するために、カメラ１として、車両前方を撮影視野としているフロントカメラ１ａ、車両後方を撮影視野としているバックカメラ１ｂ、車両左側方と車両右側方を撮影視野としている左右のサイドカメラ１ｃが必要となる。この実施形態では、カメラ１としてバックカメラ１ｂを取り扱うこととして、以後バックカメラ１ｂは単にカメラ１と略称する。カメラ１によって取得された撮影画像は、後で詳しく説明される車両周辺監視コントローラ２による障害物の画像認識及び周辺監視用画像の生成のために用いられる。生成された周辺監視用画像はモニタ２１に表示される。

カメラ１は、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を内蔵し、この撮像素子に撮像された情報を動画情報または静止画情報としてリアルタイムに出力するデジタルカメラである。カメラ１の撮影中心線は、やや下向きに延びている。図３から模式的に理解できるように、カメラ１には１４０度程度の広視野角レンズが装着されているので、広視野の撮影画像を取得する。もちろん、水平１８０度を視野とする超広角レンズを採用して、車両後方全域をカバーしてもよい。図３で示された狭視野角は、車両走行における推定走行路の状況を確認できる必要最低限の狭視野を得るための角度である。この狭視野に障害物が存在すると衝突の可能性がある。したがって、障害物、特に狭視野方向に進んでくる障害物は狭視野外の広視野において存在した時点で、運転者に注意を促すことが重要である。

車両内部に配置されている車両周辺監視コントローラ２は車両周辺監視装置の中核をなす。この車両周辺監視コントローラ２は、図４に示すように、入力情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）を備え、入出力インターフェースとして用いられている通信インターフェース７０を介して、各種車載機器との間でデータ交換可能である。例えば、通信インターフェース７０と接続されている車載ＬＡＮには、センサコントローラＳＣ、モニタ２１、タッチパネル２１Ｔ、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどが接続されている。センサコントローラＳＣは、車両状態検出センサ群からの信号入力をそのまま、あるいは評価して車両周辺監視コントローラ２の内部に転送する。センサコントローラＳＣに接続されている車両状態検出センサ群は、運転操作や車両走行の状態を検出する。車両状態検出センサ群には、図示していないが、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ、自車の走行距離を検出する距離センサなどが含まれる。

車両周辺監視コントローラ２はコンピュータシステムであり、ハードウエア又はソフトウエアあるいはその両方の形態で構築される種々の機能部が備えられているが、本発明に特に関係する機能部としては、車両周辺の障害物を検出する障害物検出モジュール３０と、画像認識モジュール４０と、画像処理モジュール５０と、先に述べた通信インターフェース７０と、表示制御部７１と、音声処理モジュール７２が挙げられる。画像処理モジュール５０で生成されたモニタ表示画像は表示制御部７１でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７２で生成された音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。

障害物検出モジュール３０には、複数の超音波センサ３からの検出信号を評価して障害物検知を行う障害物検出部３１が備えられている。超音波センサ３は車両の前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置されており、車両周辺近傍に存在する物体（障害物）をそれらからの反射波を通じて検知することができる。障害物検出部３１は、障害物までの距離、つまり障害物の位置を算出するのに優れており、各超音波センサ３における反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できる。さらに、全ての超音波センサ３の検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。障害物検出モジュール３０は、認識した障害物の位置、姿勢、大きさなどを記述した障害物情報を画像認識モジュール４０に出力する。障害物検出部３１として、レーザレーダを用いるような他の方式の適用も可能である。

画像認識モジュール４０には、車載カメラ１からのそのままの大きさの撮影画像、つまり広視野撮影画像を用いて障害物の認識を行う障害物認識部４１が備えられている。障害物認識部４１は、それ自体は公知である物体認識アルゴリズムを実装しており、入力した個別の撮影画像、及び経時的に連続する撮影画像から車両周辺の障害物を認識する。障害物の存在及び位置を確認するためには、障害物検出部３１と障害物認識部４１のいずれか１つでもよいが、表示目的の撮影画像を流用して障害物の存在を検知することができる障害物認識部４１と、障害物の位置を算出するのに優れた障害物検出部３１との両方を備えて協働作業させることでより正確な障害物の認識が可能となる。

図５に、画像処理モジュール５０の機能ブロック図が示されている。画像処理モジュール５０も、コンピュータユニットであり、プログラムの起動によって種々の機能を実現することができる。この画像処理モジュール５０では、カメラ１から送られてきてメモリに展開された広視野の撮影画像を処理して周辺監視用画像を出力するために必要な種々の機能部がプログラムやハードウエアによって作り出される。その際、画像認識モジュール４０又は障害物検出モジュール３０あるいはその両方から送られてくる障害物情報を参照して、障害物を確認しやすい形態で、障害物画像が周辺監視用画像に組み込まれる。本発明に特に関係する機能部として、図５に示されているように、撮影画像メモリ５１、前処理部５２、周辺監視用画像生成部６０、フレームメモリ５３を含んでいる。カメラ１によって取得された撮影画像は撮影画像メモリ５１に展開され、前処理部５２はカメラ１によって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。

周辺監視用画像生成部６０は、注目撮影画像生成部６１、注目障害物画像生成部６２、障害物情報取得部６３、障害物領域算定部６４、移行領域算定部６５、重複領域算定部６６、画像拡縮部６７、指標画像生成部６８、指標画像格納部６９を含んでいる。注目撮影画像生成部６１は、撮影画像メモリ５１に展開されている広視野の撮影画像において予め設定された中央領域（狭視野領域）の画像を注目撮影画像（狭視野撮影画像）として切り出し、画像合成部５５に送る。

注目障害物画像生成部６２は、撮影画像メモリ５１に展開されている撮影画像において前述した狭視野領域以外の領域で障害物が認識された場合、その障害物画像を含む注目障害物画像を生成する。この実施形態の注目障害物画像は、撮影画像におけるその領域が障害物領域算定部６４によって算定される障害物領域と、移行領域算定部６５によって算定される移行領域と、重複領域算定部６６によって算定される重複領域とからなる。障害物領域算定部６４は、障害物認識部４１から送られてきた、認識された障害物の撮影画像上での位置などを含む障害物情報に基づいて、障害物を含む矩形領域を障害物領域として算出する。

移行領域算定部６５は、障害物領域を車両中心の方向に移動させた際に得られる狭視野領域外での移動軌跡によって規定される領域を移行領域として算定する。重複領域算定部６６は、移行領域の延長上の狭視野領域内での領域を重複領域として算定する。この重複領域の長さは予め設定しておくとよいが、注目障害物画像の横幅の１／３から１／５が好適であるが、これに限定されるわけではない。この障害物領域と移行領域と重複領域は連続しているので、注目障害物画像は、注目撮影画像の特定の周辺領域からつながった画像となっている。

指標画像生成部６８は、注目障害物画像が映し出している車両周辺領域、特に認識された障害物が存在する領域の車両に対する相対位置を示す指標画像を出力する。指標画像格納部６９は、そのような障害物が存在する領域の車両に対する種々の相対位置を示す指標画像群を格納している。従って、指標画像生成部６８は、注目障害物画像生成部６２から得られた注目障害物画像、特に障害物画像の位置に関する情報から適切な指標画像を指標画像格納部６９から抽出して出力する。また、指標画像が車両周辺領域を格子パターンなどで区画したような画像である場合には、注目障害物画像の位置に関する情報からそれに対応する区画を塗りつぶしなどによって視認可能に強調して、適切に車両に対する注目障害物画像の相対位置を示す指標画像を生成して出力してもよい。

指標画像生成部６８から出力された指標画像は、注目障害物画像生成部６２から出力された注目障害物画像とともに、画像合成部５５で注目撮影画像と合成される。この実施形態では、画像合成部５５は、図７に示すように、モニタ２１に、注目撮影画像の上方で障害物の存在方向側の位置に注目障害物画像が表示され、注目撮影画像の上方中央に指標画像が表示される。なお、指標画像を挟んだ注目障害物画像の反対側に、車両に対して対称となる画像領域を障害物が不在の注目障害物画像として表示することも可能である。このように、障害物が認識されると、注目障害物画像と指標画像とが生成出力され、注目撮影画像上に表示されるので、注目障害物画像と指標画像とが注目撮影画像の表示画面にポップアップ表示される形態となり、運転者が注目しやすくなる。

なお、注目障害物画像が注目撮影画像の上にポップアップされるような表示形態の場合、注目障害物画像の表示面積によっては、注目撮影画像をほとんど隠してしまうという不都合が生じる。このため、注目障害物画像の表示面積が所定以上の場合、画像縮小することが好ましい。もちろん、注目障害物画像の表示面積が小さすぎて障害物の確認が困難な場合は、画像拡大することになる。また、移行領域が長すぎる場合は移行領域を圧縮（縮小）するとよい。このような注目障害物画像の拡大・縮小や移行領域の圧縮は画像拡縮部６７によって行われる。

例えば、図６に示されているように、モニタ画像において、注目撮影画像の上方で中央にポップアップ表示される指標画像には車両の後姿のイメージ（アイコンでもよい）が描画されているとともにその車両から障害物どの方向で存在しているかを示されているので、運転者は、同時にポップアップ表示される注目障害物画像が車両に対してどの方向の周辺領域を映し出したものであるかも直感的に理解するこことができる。

上述のように構成された車両周辺監視装置における後方確認のための制御であるバックモニタルーチンの一例を図６の模式図及び図７のフローチャートを用いて説明する。
まず、バックモニタルーチンが開始されるとカメラ１による撮影画像（広視野画像）の取得が行われる（＃０１）。取得された撮影画像が順次メモリに展開され、所定時間分だけ一時的に格納される（＃０２）。メモリに展開された撮影画像は、歪補正、解像度変換、レベル調整など必要な画像処理を施される。この格納された撮影画像は、同時に実行される障害物認識ルーチンによっても利用される。時間的に連続して取得された撮影画像から相対的な動きをもつ物体(車両進路近傍に位置すると障害物となる)の認識アルゴリズムは広く知られているので、ここでの説明は省略される。

注目撮影画像生成部６１が予め設定された狭視野領域切り出し枠を用いて画像を切り出し、その切り出された画像を注目撮影画像とする（＃０３）。次いで、障害物認識部４１によって障害物情報が出力されているかどうかがチェックされる（＃０４）。障害物情報が出力されている場合、障害物領域算定部６４が、障害物情報から障害物の撮影画像上での座標位置を読み取り、障害物領域を算定する（＃０５）。次に、この撮影画像上で特定された障害物領域が狭視野領域内に含まれているかどうか、つまり、認識された障害物がモニタ表示される注目撮影画像によって視認されるかどうかがチェックされる（＃０６）。その際、撮影画像上で特定された障害物領域の一部または全てが狭視野領域外に位置している場合には、障害物領域が狭視野領域内に含まれていないとみなすと好都合である。このチェックで、障害物領域が狭視野画像領域内に含まれていないと判定されると（＃０６No分岐）、さらに移行領域算定部６５が撮影画像における移行領域を算定し（＃０７）、重複領域算定部６６が重複領域を算定する（＃０８）。続いて、算定された障害物領域と移行領域と重複領域とに基づいて撮影画像から注目障害物画像が切り出される（＃０９）。注目障害物画像の表示面積チェックが行われ（＃１０）、拡縮処理が必要の場合のみ、移行領域の圧縮処理を含む注目障害物画像の拡縮処理が行われる（＃１１）。注目障害物画像の生成とともに、指標画像生成部６８によって、注目障害物画像が映し出している車両周辺領域の車両に対する相対位置を示す指標画像が生成される（＃１２）。次いで、画像合成部５５において、注目障害物画像と指標画像と注目撮影画像とを合成して、周辺監視用画像が生成され、出力される（＃１３）。なお、その際、障害物が存在しない側の注目障害物画像（車両中心に対して注目障害物画像の対称となるダミー注目障害物画像である）も合成すると、一方方向には障害物が存在しているが、他方方向には障害物が存在していないことを運転者は把握することができる。
なお、上記ステップ＃０４のチェックで障害物情報が出力されていない場合（＃０４No分岐）、注目撮影画像（狭視野画像）が画像合成部５５をスルーして周辺監視用画像として出力される（＃１４）。画像合成部５５から出力された周辺監視用画像は表示制御部７１に送られることにより、当該表示画像に対応する画面がモニタ２１に表示される（＃１５）。

上述したルーチンから理解できるように、注目撮影画像だけが周辺監視用画像としてモニタ２１に表示されている状態で障害物が認識され、注目障害物画像と指標画像と注目撮影画像とからなる周辺監視用画像がモニタ２１に表示されると、注目障害物画像と指標画像がポップアップ表示されたように見える。
このバックモニタルーチンに対する中止指令が入っているかどうかがチェックされ（＃１６）、このバックモニタが続行される限り（＃１６No分岐）、ステップ＃０４に戻り、最新の撮影画像を用いて、上記プロセスが繰り返される。

〔別実施形態〕
（１）上記実施形態の説明では、注目障害物画像には障害物領域と移行領域と重複領域が含まれていたが、少なくとも障害物領域が含まれておれば、移行領域または重複領域あるいはその両方を省略することも可能である。また、認識された障害物を強調するために、障害物の輪郭をそのまま、あるいは矩形などの多角形線や円形（楕円を含む）線、あるいは点滅線で囲むようにしてもよい。
（２）上記実施形態の説明では、撮像部１として車両後方を撮影するバックカメラ１ｂを採用していたので、そのモニタ２１に表示される周辺監視用画像は車両後方の確認のためのものであった。しかしながら、もちろん、撮像部１として車両側方を撮影するサイドカメラ１ｃ、１ｄや車両前方を撮影するフロントカメラ１ａを採用して、選択された車両の任意の周辺を監視するために本発明を適用してもよい。さらには、撮像部１からの車両全周囲をカバーする撮影画像に対して上方視点の視点変換を組み合わせて生成される俯瞰画像を注目障害物画像と合成されるべき注目撮影画像としてもよい。
（３）注目撮影画像に対する注目障害物画像の表示形態として、上述したような注目撮影画像上への注目障害物画像の重畳表示ではなく、それぞれの画像の並列配置でもよいし、所定時間毎の交互表示でもよい。さらには、注目撮影画像と注目障害物画像とをアルファブレンディング（半透明合成）して、両方の画像が観察できるような形態を採用してもよい。
（４）上記実施形態の説明では、狭視野画像の外側で認識された障害物の全てを注目障害物画像としてモニタに表示するのではなく、障害物認識部４１が障害物の動きの方向、例えば車両に対する接近方向を認識できる場合には、自車両に接近してくる障害物に関してのみ注目障害物画像を生成し、その注目障害物画像をモニタに表示するようにしてもよい。
（５）
図７では、通常時、つまり狭視野領域外で障害物が認識されていない時には、注目撮影画像には、撮影画像の狭視野領域の画像だけが表示され、狭視野領域外で障害物が認識された場合に自車両と障害物と車両との相対位置を示す指標とからなる指標画像が注目障害物画像とともにポップアップ表示されるように図解されている。これに代えて、図８で示すように、通常時に表示される注目撮影画像にも指標画像の元となる自車両画像を付加しておき、狭視野領域外で障害物が認識された場合には、注目障害物画像をポップアップ表示するとともに、前述の自車両画像に代えて指標画像を表示するようにしてもよい。図８では、通常時に表示される自車両画像には、自車両を示す自車イメージ(イラストなど)とともに複数の指標用枠が含まれている。すなわち、車両後方中央、車両後方左側、車両後方右側の３つの指標用枠である。狭視野領域外（注目障害物画像内）等で障害物が認識された場合には、複数の指標用枠のうちから障害物と車両との相対位置を示す指標用枠を注目色（背景との区別がつき易くて人の注目をひく赤色や黄色など）で塗りつぶす（もちろん、この指標用枠の塗りつぶしと同時に、注目障害物画像もポップアップ表示される）。すなわち、車両後方中央、車両後方左側、車両後方右側の３つの指標用枠に対応する車両の周辺位置に障害物の存在を検出したら、その対応する指標用枠を塗りつぶす。この際、複数の車両周辺位置（車両後方中央、車両後方左側、車両後方右側）に障害物が検出されれば、対応する複数の指標用枠を塗りつぶす。

本発明は、車両の周辺領域を撮影する車載カメラによって取得された撮影画像を、車両の周辺領域で認識された障害物とともにモニタ表示する駐車支援装置に利用することができる。

１：撮像部（カメラ）
２：周辺監視コントローラ
２１：モニタ
３０：障害物検出モジュール
４１：障害物認識部
５０：画像処理モジュール
５５：画像合成部
６０：周辺監視用画像生成部
６１：注目撮影画像生成部
６２：注目障害物画像生成部
６３：障害物情報取得部
６４：障害物領域算定部
６５：移行領域算定部
６６：重複領域算定部
６７：画像拡縮部
６８：指標画像生成部
６９：指標画像格納部
７１：表示制御部

Claims (5)

1. 撮像部によって取得された車両周辺の撮影画像の一部分である狭視野領域を注目撮影画像として生成する注目撮影画像生成部と、
   車両周辺の障害物を認識する障害物認識部と、
   前記障害物認識部によって認識された障害物の前記撮影画像における領域である障害物領域を算定する障害物領域算定部と、
   前記障害物領域が前記狭視野領域外に含まれている場合、少なくとも前記障害物領域を含む注目障害物画像を前記撮影画像から生成する注目障害物画像生成部と、
   前記車両に対する前記注目障害物画像の相対位置を示す指標画像を出力する指標画像生成部と、
   モニタ画面に前記注目障害物画像がポップアップ表示されるように前記注目障害物画像と前記指標画像と前記注目撮影画像とを合成する画像合成部と、からなり、
   前記注目障害物画像は、前記障害物領域の画像と、当該障害物領域から前記狭視野領域に移行する移行領域の画像と、当該移行領域からさらに前記狭視野領域に入り込んだ重複領域の画像とからなる車両周辺監視装置。
2. 前記指標画像が前記注目撮影画像の中央の上方に表示され、前記注目障害物画像が前記指標画像の横隣りに表示される請求項１に記載の車両周辺監視装置。
3. 前記車両周辺は前記車両の後方であり、前記注目撮影画像は前記撮像部によって撮影された画像を左右反転した映像である請求項１または２に記載の車両周辺監視装置。
4. 前記注目障害物画像と前記指標画像とが前記注目撮影画像内でポップアップ表示される請求項１から３のいずれか一項に記載の車両周辺監視装置。
5. 前記障害物領域と前記狭視野領域との間の距離に応じて、前記注目障害物画像が拡縮される請求項１から４のいずれか一項に記載の車両周辺監視装置。

Images