JP5500392B2 - 車両周辺監視装置 - Google Patents

Description

本発明は、撮像部によって取得された車両周辺の撮影画像を利用して車両周辺における
障害物を確認する装置に関する。

車両に設置され、車両の周辺を広視野に撮影するための広視野レンズを有するカメラと、カメラにより広視野レンズを介して撮影された撮影画像から所定範囲の画像を抽出する画像抽出手段と、画像抽出手段により抽出された抽出画像を表示する表示手段と、車両の周辺の障害物を検出する障害物検出手段とを備え、障害物検出手段が検出した障害物の存在する方向に対応する画像を撮影画像から抽出して表示部に拡大して表示する車両用モニタ装置が知られている（例えば、特許文献１参照）。より詳しく説明すると、通常時には、カメラの撮影画像全体、撮影画像の中央下部抽出画像、撮影画像の右下部抽出画像、撮影画像の左下部抽出画が所定時間ずつ順次繰り返し表示される。そこで、右側のバックソナーで障害物が検出されると、画像メモリに記憶されている撮影画像の内、左側の予め設定されている範囲の画像が抽出され（カメラが車両の後方に向けて設置されているので、車両の後方右側に位置する障害物は撮影画像の左側に撮影されている）、表示画面一杯に拡大して表示される。左側のバックソナーで障害物が検出されると、撮影画像の内、右側の予め設定されている範囲の画像が抽出され、表示画面一杯に拡大して表示される。なお、その際、表示画面の所定位置（例えば、画面右上）に小さな補助画面を設けて、車両位置と抽出画像に対応する撮影範囲を表示することも提案されている。しかしながら、この車両用モニタ装置では、モニタ表示用撮影画像から検出された障害物が映っている部分の画像を抽出してその部分を拡大表示する方法を採用しているので、障害物がモニタ表示されている撮影画像内に入っていないと障害物画像を表示することができない。この問題を避けるため、撮影視野を広くすると、通常時においては重要となる撮影中央付近の画像領域がモニタ表示面積に比べて相対的に小さくなってしまってモニタ表示画像を通じての周囲状態の確認が難しくなるという不都合が生じる。

検出された障害物に関する障害物距離および障害物状態情報に基づいて、障害物距離および障害物状態情報を一つの画像で表す障害物表示画像を生成し、生成した障害物表示画像の動画系列を表示させるための映像信号を生成する車両周囲監視装置が、特許文献２から知られている。この装置では、車両の左右方向の一方または両方から障害物が接近してきた場合、モニタ画面には、車両の両側方に対応する周辺領域が拡大されるようなマッピングを用いた画像と、車両アイコンとともに障害物アイコンが配置された障害物表示画像が表示される。その際、障害物アイコンは、障害物の障害物距離、接近方向、接近速度、および到達時間を、車両アイコに対する位置、形状、大きさ、および色によって表すように構成されている。車両の両側方が拡大された撮影画像と、障害物表示画像とによって、車両側方からの障害物の接近などをより認識しやすくしている。しかしながら、その表示される撮影画像は車両の両側方に対応する周辺領域を強引に拡大するように歪ませているので、その結果中央領域が歪むとともに全体として見づらい画像となる。さらに、撮影画像自体が広視野画像であるため、無理やり部分的に拡大しても外側の障害物画像の大きさは限定的なものとなる。また、撮影画像の周囲（下側）に表示されたアイコンによって障害物の位置や接近を示すことは、実際の風景を映し出している撮影画像と抽象的なアイコンといった全く異種の画像情報とを組み合わせて障害物を確認することを要求し、直感的な障害物の把握には適していない。

さらに、特許文献３に記載された車両周辺監視装置は、撮像部によって取得された車両周辺の撮影画像から車両周辺の一部を示す狭視野画像を生成し、この狭視野画像内に車両周辺の認識された障害物が含まれていないとみなされるときに障害物の撮影領域を障害物画像として撮影画像から切り出し、狭視野画像とともに障害物画像をモニタに出力する。車両周辺に障害物が認識された場合に表示される狭視野画像と障害物画像とは同一の撮影画像から切り出されているので画質的には一様である。しかしながら、狭視野画像と障害物画像との連続性がなく、互いに独立的に撮影画像から切り出された画像であるので、位置的なつながりを把握するのが難しいという不都合がある。

特開２００３−１４３５９６号公報（段落番号〔０００５−００２６〕、図４、図５） 特開２００９−２１７７４０号公報（段落番号〔００２２−００６６〕、図４） 特開２０１０‐１３０６４６号公報（段落番号〔００２０−００２６〕、図４、図５）

上記実情に鑑み、障害物を認識した際に、車両周辺の撮影画像に含まれている風景と障害物との位置的なつながりが簡単に把握できる車両周辺監視装置が要望されている。

上記課題を解決するため、本発明による車両周辺監視装置は、撮像部によって取得された車両周辺の撮影画像の一部分である狭視野領域を注目撮影画像として生成する注目撮影画像生成部と、車両周辺の障害物を認識する障害物認識部と、前記障害物認識部によって認識された障害物の前記撮影画像における領域である障害物領域を算定する障害物領域算定部と、前記撮影画像の一部分であり、前記狭視野領域外に認識された前記障害物領域と、前記狭視野領域と重複する画像領域である重複領域と、前記障害物領域と前記重複領域との間をつなぐ移行領域とを有する注目障害物画像を生成する注目障害物画像生成部と、前記注目撮影画像と前記注目障害物画像とからなる周辺監視用表示画像を生成する画像合成部とからなる。

この構成によると、通常時には、撮像部によって取得された広視野画像である撮影画像の内、特に車両走行にとって重要な領域である狭視野領域が注目撮影画像として生成され、モニタに表示することができる。これにより運転者は狭視野領域における走行先の安全を確認することができる。さらに、注目障害物画像生成部は、障害物領域が狭視野領域から外れていても狭視野領域と一部が重複する注目障害物画像を生成するので、狭視野領域には入っていない障害物を狭視野領域の画像も含まれている注目障害物画像を通じてモニタで確認することができる。従って、周辺監視用表示画像を通じて、車両周辺の撮影画像に含まれている風景と障害物との位置的なつながりが簡単に把握できるようになる。

注目障害物画像生成部による注目障害物画像生成の具体的な実施形態の一例は、障害物の撮影画像における画像領域である障害物領域及び当該障害物領域と狭視野領域とをつなぐ移行領域及び当該移行領域がさらに狭視野領域に入り込んだ領域である重複領域からなる、広視野障害物画像を注目障害物画像として生成することである。この実施形態では、狭視野領域外の広視野領域で障害物が認識された場合生成される注目障害物画像には、重複領域として注目撮影画像の一部が含まれているため、注目撮影画像と注目障害物画像とがモニタ表示された場合、重複領域を通じて注目撮影画像と注目障害物画像とのつながりを運転者は把握しやすくなる。重複領域から障害物領域への連続性を維持するためには移行領域の存在が原則的には必要であるが、少なくとも重複領域と障害物領域が維持されると、注目障害物画像と注目撮影画像との良好な連続性が得られる。従って、周辺監視用表示画像を通じて、車両周辺の撮影画像に含まれている風景と障害物との位置的なつながりが簡単に把握できるようになる。

本発明の好適な実施形態では、障害物未認識時には前記注目撮影画像が前記周辺監視用表示画像として表示され、障害物認識時には前記周辺監視用表示画像上に前記注目障害物画像がポップアップ表示される。この構成では、障害物が認識されていない通常時には、注目撮影画像だけをモニタ表示することが可能となるので、通常時の周辺監視用表示画像を通じての周辺監視が良好となる。

前記注目撮影画像では表示できない領域は、実質的には注目撮影画像の元となる狭視野領域の左右の外側に位置することになる。従って、前記注目障害物画像は、注目撮影画像の左側または右側あるいはその両方に配置して、モニタ表示することが好ましい。この目的を果たすために本発明の好適な実施形態の１つでは、前記周辺監視用表示画像における、前記注目障害物画像の配置領域が前記注目撮影画像に関して対称となるように左右一対で設定されており、前記注目障害物画像が前記配置領域に配置される注目障害物画像として生成される。

また、その際、前記障害物の前記車両に対する存在方向を示す指標が前記注目撮影画像の中央の上方に配置されるなら、その指標から、注目障害物画像の車両との位置関係が明確になるので好都合である。

障害物が車両から遠く離れた場合や障害物が大きい場合、注目障害物画像が大きくなり、周辺監視用表示画像としての収まりが悪くなるので、注目障害物画像の大きさを小さくする必要がある。このため、本発明の好適に実施形態の１つでは、記障害物領域と前記狭視野領域との間の距離に応じて、前記移行領域がその移行方向に関して圧縮されるか、あるいは、前記障害物領域と前記狭視野領域との間の距離に応じて、前記注目障害物画像が拡縮される。

本発明による車両周辺監視装置の基本構成を説明する模式図である。 本発明による車両周辺監視装置における基本的な画像処理の流れを説明する模式図である。 本発明における広視野画像と狭視野画像とを説明する模式図である。 本発明による車両周辺監視装置の一つの実施形態における機能ブロック図である。 画像処理モジュールの機能ブロック図である。 周辺監視用画像における注目障害物画像と注目撮影画像の配置を説明する模式図である。 車両周辺監視装置によるバックモニタルーチンの一例を示すフローチャートである。

本発明による車両周辺監視装置の具体的な実施形態を説明する前に、この発明の基本的な構成例を図１と図２の模式図を用いて説明する。この構成例では、車両に搭載されたバックカメラが撮像部として適用されており、この車両周辺監視装置が後進時の後方確認のために起動させるバックモニタルーチンを説明する。

バックカメラによって撮影画像が取得される。この撮影画像は車両後方の周辺領域の大部分をカバーしている広視野撮影画像である（＃１）。取得された広視野撮影画像の中央部分（狭視野領域）を切り出して得られた狭視野撮影画像が注目撮影画像として生成される（＃２）。この注目撮影画像がバックモニタとしてモニタに表示される（＃３）。
同時に広視野撮影画像は障害物の認識のために画像認識処理に供される（＃４）。その際、超音波式やレーザレーダ式の障害物検出装置を用いて得られた障害物位置情報などに基づいて、広視野撮影画像における障害物認識の対象領域を絞り込むと好都合である。

画像処理を通じて障害物が認識されると、広視野撮影画像におけるその障害物の位置（障害物領域）が算定される（＃５）。認識された障害物が狭視野撮影画像内に存在していると、その障害物が移されている障害物も狭視野撮影画像とともにモニタに表示されるので、運転者はモニタから障害物の存在を知ることができる。運転者に障害物の存在を明確に気づかせるためには、障害物の画像領域を太線で囲むなどの障害物強調処理を行うとよい。これに対して、障害物が狭視野撮影画像内に存在しておらず、撮影画像のうちの狭視野撮影画像外の領域に存在している場合には、その障害物はモニタに表示されない。従って、撮影画像から障害物領域を切り取ってモニタに表示することになるが、本発明では、特許文献３で記載されているように、単純に障害物領域を切り取って狭視野撮影画像に適所に貼り付けるわけではない。

障害物領域が前記狭視野画像外に含まれている場合、まず、障害物領域とこの障害物領域から狭視野領域に移行する移行領域と当該移行領域からさらに狭視野領域に入り込んだ重複領域とからなる、障害物に限定した広視野障害物画像が決定される（＃６）。つまり、この広視野障害物画像の画像領域は、注目撮影画像として用いられている撮影画像における狭視野領域の周辺部である重複領域から移行領域を経て障害物領域に至る連続した画像領域である。重複領域は、広視野障害物画像と狭視野領域とが重複する領域である。注目障害物画像のうち少なくとも障害物領域と重複領域を含む画像領域を注目障害物画像として広視野撮影画像から切り出される（＃７）。この注目障害物画像には、モニタ表示されている注目撮影画像（狭視野領域）の周辺領域の一部が重複領域として含まれているので、注目障害物画像と注目撮影画像との位置関係がこの注目障害物画像から容易に把握することができる。注目障害物画像の大きさは、障害物領域の大きさと障害物領域の狭視野領域からの距離による。このため、モニタ表示の都合で注目障害物画像の大きさが大きすぎる場合には、注目障害物画像を縮小するか、あるいは、移行領域を省略または圧縮するとよい。注目障害物画像の大きさが小さすぎる場合には、注目障害物画像を拡大するとよい（＃７ａ）。注目障害物画像が生成されると、注目撮影画像と合成され、周辺監視用画像として出力される（＃８）。周辺監視用画像はモニタに表示されるが、その表示例の１つは、注目撮影画像上にポップアップの形で表示されることである（＃９）。その際、注目撮影画像の上方領域は空など比較的車両走行に影響しないものが移されている可能性が高いので、注目障害物画像を注目撮影画像の上方領域にポップアップすることが好都合である。いずれにしても、注目障害物画像をモニタに表示することで、運転者は障害物をモニタで確認することができる。

以下、図面を用いて、本発明による車両周辺監視装置の具体的な実施形態を説明する。
この車両周辺監視装置は、図３に示すように、ここでは乗用車である車両に設置され、車両の周辺を撮像する撮像部としてのカメラ１によって取得された撮影画像を利用して、運転者が車両周辺の状況を確認するのを支援するものである。車両周囲の全方向を監視するために、カメラ１として、車両前方を撮影視野としているフロントカメラ１ａ、車両後方を撮影視野としているバックカメラ１ｂ、車両左側方と車両右側方を撮影視野としている左右のサイドカメラ１ｃが必要となる。この実施形態では、カメラ１としてバックカメラ１ｂを取り扱うこととして、以後バックカメラ１ｂは単にカメラ１と略称する。カメラ１によって取得された撮影画像は、後で詳しく説明される車両周辺監視コントローラ２による障害物の画像認識及び周辺監視用画像の生成のために用いられる。生成された周辺監視用画像はモニタ２１に表示される。

カメラ１は、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を内蔵し、この撮像素子に撮像された情報を動画情報または静止画情報としてリアルタイムに出力するデジタルカメラである。カメラ１の撮影中心線は、やや下向きに延びている。図３から模式的に理解できるように、カメラ１には１４０度程度の広視野角レンズが装着されているので、広視野の撮影画像を取得する。もちろん、水平１８０度を視野とする超広角レンズを採用して、車両後方全域をカバーしてもよい。図3で示された狭視野角は、車両走行における推定走行路の状況を確認できる必要最低限の狭視野を得るための角度である。この狭視野に障害物が存在すると衝突の可能性がある。したがって、障害物、特に狭視野方向に進んでくる障害物は狭視野外の広視野において存在した時点で、運転者に注意を促すことが重要である。

車両内部に配置されている車両周辺監視コントローラ２は車両周辺監視装置の中核をなす。この車両周辺監視コントローラ２は、図４に示すように、入力情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）を備え、入出力インターフェースとして用いられている通信インターフェース７０を介して、各種車載機器との間でデータ交換可能である。例えば、通信インターフェース７０と接続されている車載ＬＡＮには、センサコントローラＳＣ、モニタ２１、タッチパネル２１Ｔ、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどが接続されている。センサコントローラＳＣは、車両状態検出センサ群からの信号入力をそのまま、あるいは評価して車両周辺監視コントローラ２の内部に転送する。センサコントローラＳＣに接続されている車両状態検出センサ群は、運転操作や車両走行の状態を検出する。車両状態検出センサ群には、図示していないが、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ、自車の走行距離を検出する距離センサなどが含まれる。

車両周辺監視コントローラ２はコンピュータシステムであり、ハードウエア又はソフトウエアあるいはその両方の形態で構築される種々の機能部が備えられているが、本発明に特に関係する機能部としては、車両周辺の障害物を検出する障害物検出モジュール３０と、画像認識モジュール４０と、画像処理モジュール５０と、先に述べた通信インターフェース７０と、表示制御部７１と、音声処理モジュール７２が挙げられる。画像処理モジュール５０で生成されたモニタ表示画像は表示制御部７１でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７２で生成された音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。

障害物検出モジュール３０には、複数の超音波センサ３からの検出信号を評価して障害物検知を行う障害物検出部３１が備えられている。超音波センサ３は車両の前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置されており、車両周辺近傍に存在する物体（障害物）をそれらからの反射波を通じて検知することができる。障害物検出部３１は、障害物までの距離、つまり障害物の位置を算出するのに優れており、各超音波センサ３における反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できる。さらに、全ての超音波センサ３の検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。障害物検出モジュール３０は、認識した障害物の位置、姿勢、大きさなどを記述した障害物情報を画像認識モジュール４０に出力する。障害物検出部３１として、レーザレーダを用いるような他の方式の適用も可能である。また、障害物検出部３１として、車載カメラ１の撮影画像から画像認識をすることで障害物を検出することも可能である。

画像認識モジュール４０には、車載カメラ１からのそのままの大きさの撮影画像、つまり広視野撮影画像を用いて障害物の認識を行う障害物認識部４１が備えられている。障害物認識部４１は、それ自体は公知である物体認識アルゴリズムを実装しており、入力した個別の撮影画像、及び経時的に連続する撮影画像から車両周辺の障害物を認識する。障害物の存在及び位置を確認するためには、障害物検出部３１と障害物認識部４１のいずれか１つでもよいが、表示目的の撮影画像を流用して障害物の存在を検知することができる障害物認識部４１と、障害物の位置を算出するのに優れた障害物検出部３１との両方を備えて協働作業させることでより正確な障害物の認識が可能となる。

図５に、画像処理モジュール５０の機能ブロック図が示されている。画像処理モジュール５０も、コンピュータユニットであり、プログラムの起動によって種々の機能を実現することができる。この画像処理モジュール５０では、カメラ１から送られてきてメモリに展開された広視野の撮影画像を処理して周辺監視用画像を出力するために必要な種々の機能部がプログラムやハードウエアによって作り出される。その際、画像認識モジュール４０又は障害物検出モジュール３０あるいはその両方から送られてくる障害物情報を参照して、障害物を確認しやすい形態で、障害物画像が周辺監視用画像に組み込まれる。本発明に特に関係する機能部として、図５に示されているように、撮影画像メモリ５１、前処理部５２、周辺監視用画像生成部６０、フレームメモリ５３を含んでいる。カメラ１によって取得された撮影画像は撮影画像メモリ５１に展開され、前処理部５２はカメラ１によって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。

周辺監視用画像生成部６０は、注目撮影画像生成部６１、注目障害物画像生成部６２、障害物情報取得部６３、障害物領域算定部６４、移行領域算定部６５、重複領域算定部６６、画像拡縮部６７を含んでいる。注目撮影画像生成部６１は、撮影画像メモリ５１に展開されている広視野の撮影画像において予め設定された中央領域（狭視野領域）の画像を注目撮影画像（狭視野撮影画像）として切り出し、画像合成部５５に送る。

注目障害物画像生成部６２は、撮影画像メモリ５１に展開されている撮影画像において前述した狭視野領域以外の領域で障害物が認識された場合、その障害物画像を含む注目障害物画像を生成する。この注目障害物画像は、基本的には、撮影画像におけるその領域が障害物領域算定部６４によって算定される障害物領域と、移行領域算定部６５によって算定される移行領域と、重複領域算定部６６によって算定される重複領域とからなる。

障害物領域算定部６４は、障害物認識部４１から送られてきた、認識された障害物の撮影画像上での位置などを含む障害物情報に基づいて、障害物を含む矩形領域を障害物領域として算出する。移行領域算定部６５は、障害物領域を車両中心の方向に移動させた際に得られる狭視野領域外での移動軌跡によって規定される領域を移行領域として算定する。重複領域算定部６６は、移行領域の延長上の狭視野領域内での領域を重複領域として算定する。この重複領域は予め設定しておくとよい。注目障害物画像の横幅の１／３から１／５が好適であるが、これに限定されるわけではない。この障害物領域と移行領域と重複領域は連続しているので、注目障害物画像は、注目撮影画像の特定の周辺領域からつながった画像となっている。

この実施形態では、この注目障害物画像が注目撮影画像の表示画面にポップアップ表示される。従って、特に注目障害物画像が注目撮影画像の上にポップアップされるような表示形態の場合、注目障害物画像の表示面積によっては、注目撮影画像をほとんど隠してしまうという不都合が生じる。このため、注目障害物画像の表示面積が所定以上の場合、画像縮小する必要がある。もちろん、注目障害物画像の表示面積が小さすぎて障害物の確認が困難な場合は、画像拡大する必要がある。また、移行領域が長すぎる場合は移行領域を圧縮（縮小）する必要がある。このような注目障害物画像の拡大・縮小や移行領域の圧縮は画像拡縮部６７によって送られる。画像拡縮処理を施された注目障害物画像、または画像拡縮処理を施す必要のなかった注目障害物画像が画像合成部５５に送られる。

この実施形態では、画像合成部５５は、図７に示すように、注目撮影画像の上方で、障害物の存在方向側の位置に注目障害物画像が表示されるように、注目障害物画像と注目撮影画像とを画像合成する。なお、図７の例では、注目障害物画像の反対側に、車両に対して対称となる画像領域を障害物不在監視画像として表示されるように、障害物不在監視画像も注目撮影画像に合成されている。

運転者は、注目障害物画像から障害物を把握することができるが、より、障害物の存在を明確に運転者に伝えるために、注目撮影画像の上方で中央に、車両の後姿のイメージ（アイコンでもよい）を表示し、障害物が車両からどの方向に存在しているかを示す指標を表示している。さらに、注目障害物画像自体を赤や黒の太線で囲んだり、障害物領域の輪郭を赤や黒の太線で囲んだりしてもよい。合成された最終的な合成画像は周辺監視画像としてフレームメモリ５３に転送され、表示制御部７１を介してモニタ２１に表示される。

なお、注目撮影画像上に注目障害物画像を合成する際、注目障害物画像は、注目撮影画像において注目撮影画像の左側に障害物が存在する場合にはモニタ画面の左側に、注目撮影画像の右側に障害物が存在する場合にはモニタ画面の右側に配置することが好ましい。これにより、運転者は障害物が自分を基準としてどの方位に存在しているかを即座に把握することができる。すると、視認しやすく好都合である。
なお、障害物が認識されると、認識された障害物が含まれている注目障害物画像内の障害物に対して目立つような強調処理、例えば、障害物を枠で囲む（マーキング）などの処理を施すと障害物が特定しやすく好都合である。

上述のように構成された車両周辺監視装置における後方確認のための制御であるバックモニタルーチンの一例を、図６の制御ルーチン模式図と図７のフローチャートを用いて説明する。
まず、バックモニタルーチンが開始されるとカメラ１による撮影画像（広視野画像）の取得が行われる（＃０１）。取得された撮影画像が順次メモリに展開され、所定時間分だけ一時的に格納される（＃０２）。メモリに展開された撮影画像は、歪補正、解像度変換、レベル調整など必要な画像処理を施される。この格納された撮影画像は、同時に実行される障害物認識ルーチンによっても利用される。時間的に連続して取得された撮影画像から相対的な動きをもつ物体(車両進路近傍に位置すると障害物となる)の認識アルゴリズムは広く知られているので、ここでの説明は省略される。

注目撮影画像生成部６１が予め設定された狭視野領域切り出し枠を用いて画像を切り出し、その切り出された画像を注目撮影画像とする（＃０３）。次いで、障害物認識部４１によって障害物情報が出力されているかどうかがチェックされる（＃０４）。障害物情報が出力されている場合、障害物領域算定部６４が、障害物情報から障害物の撮影画像上での座標位置を読み取り、障害物領域を算定する（＃０５）。次に、この撮影画像上で特定された障害物領域が狭視野領域内に含まれているかどうか、つまり、認識された障害物がモニタ表示される注目撮影画像によって視認されるかどうかがチェックされる（＃０６）。その際、撮影画像上で特定された障害物領域の一部または全てが狭視野領域外に位置している場合には、障害物領域が狭視野領域内に含まれていないとみなすと好都合である。このチェックで、障害物領域が狭視野画像領域内に含まれていないと判定されると（＃０６No分岐）、さらに移行領域算定部６５が撮影画像における移行領域を算定し（＃０７）、重複領域算定部６６が重複領域を算定する（＃０８）。続いて、算定された障害物領域と移行領域と重複領域とに基づいて撮影画像から注目障害物画像が切り出される（＃０９）。注目障害物画像の表示面積チェックが行われ（＃１０）、拡縮処理が必要の場合のみ、移行領域の圧縮処理を含む注目障害物画像の拡縮処理が行われる（＃１１）。このようにして注目障害物画像生成部６２で生成された注目障害物画像は障害物監視画像としてモニタ表示されるが、その際の注目障害物画像の注目撮影画像における表示（ポップアップ）位置が当該障害物の車両に対する方向に基づいて決定される（＃１２）。次いで、画像合成部５５において、注目撮影画像と注目障害物画像を合成して、周辺監視用画像が生成され、出力される（＃１３）。なお、図６では注目障害物画像は左上に１つだけ示しているだけであるが、障害物が存在しない側の注目障害物画像（車両中心に対して注目障害物画像の対称となるダミー注目障害物画像である）も合成してもよい。これにより、一方方向には障害物が存在しているが、他方方向には障害物が存在していないことを運転者は把握することができる。上記ステップ＃０４のチェックで障害物情報が出力されていない場合（＃０４No分岐）、注目撮影画像（狭視野画像）が画像合成部５５をスルーして周辺監視用画像として出力される（＃１４）

画像合成部５５から出力された周辺監視用画像は表示制御部７１に送られることにより、当該表示画像に対応する画面がモニタ２１に表示される（＃１５）。このバックモニタルーチンに対する中止指令が入っているかどうかがチェックされ（＃１６）、このバックモニタが続行される限り（＃１６No分岐）、ステップ＃０４に戻り、最新の撮影画像を用いて、上記プロセスが繰り返される。

〔別実施形態〕
（１）上述した実施形態では、障害物領域を算定したのちこの障害物領域に基づいて最終的にモニタ表示する注目障害物画像が生成された。この別実施形態として、注目障害物画像の配置及びその注目障害物画像の元となる撮影画像での領域を予め設定しておき（図６のように狭視野撮影画像と重複した状態となるように予め設定）、当該領域内に障害物が検出されたときにその注目障害物画像をポップアップ表示するように変更してもよい。その際、注目障害物画像のポップアップ表示後に、当該注目障害物画像内に障害物が検出されなくなった場合には、注目障害物画像のポップアップ表示が中止される。
（２）周辺監視用画像に、車両進行方向の周辺領域に対応する注目撮影画像と車両左右の周辺領域に対応する注目障害物画像の配置を割り当てておき、通常時においても注目撮影画像だけでなく、認識された障害物の存在していない注目障害物画像を合成して、表示できるようにしてもよい。この場合、障害物が認識されると、認識された障害物が含まれている注目障害物画像に対して目立つような強調処理、例えば、例えば、注目障害物画像（ポップアップ表示）の外枠の色を変更したり、点滅した枠で囲むなどの処理を施すと良い。
（３）上記実施形態の説明では、撮像部１として車両後方を撮影するバックカメラ１ｂを採用していたので、そのモニタ２１に表示される周辺監視用画像は車両後方の確認のためのものであった。しかしながら、もちろん、撮像部１として車両側方を撮影するサイドカメラ１ｃ、１ｄや車両前方を撮影するフロントカメラ１ａを採用して、選択された車両の任意の周辺を監視するために本発明を適用してもよい。さらには、撮像部１からの車両全周囲をカバーする撮影画像に対して上方視点の視点変換を組み合わせて生成される俯瞰画像を注目障害物画像と合成されるべき注目撮影画像としてもよい。
（４）注目撮影画像に対する注目障害物画像の表示形態として、上述したような注目撮影画像上への注目障害物画像の重畳表示ではなく、それぞれの画像の並列配置でもよいし、所定時間毎の交互表示でもよい。さらには、注目撮影画像と注目障害物画像とをアルファブレンディング（半透明合成）して、両方の画像が観察できるような形態を採用してもよい。
（５）上記実施形態の説明では、狭視野画像の外側で認識された障害物の全てを注目障害物画像としてモニタに表示するのではなく、障害物認識部４１が障害物の動きの方向、例えば車両に対する接近方向を認識できる場合には、自車両に接近してくる障害物に関してのみ注目障害物画像を生成し、その注目障害物画像をモニタに表示するようにしてもよい。

本発明は、車両の周辺領域を撮影する車載カメラによって取得された撮影画像を、車両の周辺領域で認識された障害物とともにモニタ表示する駐車支援装置に利用することができる。

１：撮像部（カメラ）
２：周辺監視コントローラ
２１：モニタ
３０：障害物検出モジュール
４１：障害物認識部
５０：画像処理モジュール
６０：周辺監視用画像生成部
６１：注目撮影画像生成部
６２：注目障害物画像生成部
６３：障害物情報取得部
６４：障害物領域算定部
６５：移行領域算定部
６６：重複領域算定部
６７：画像拡縮部
５５：画像合成部
７１：表示制御部

Claims (6)

1. 撮像部によって取得された車両周辺の撮影画像の一部分である狭視野領域を注目撮影画像として生成する注目撮影画像生成部と、
   車両周辺の障害物を認識する障害物認識部と、
   前記障害物認識部によって認識された障害物の前記撮影画像における領域である障害物領域を算定する障害物領域算定部と、
   前記撮影画像の一部分であり、前記狭視野領域外に認識された前記障害物領域と、前記狭視野領域と重複する画像領域である重複領域と、前記障害物領域と前記重複領域との間をつなぐ移行領域とを有する注目障害物画像を生成する注目障害物画像生成部と、
   前記注目撮影画像と前記注目障害物画像とからなる周辺監視用表示画像を生成する画像合成部と、からなる車両周辺監視装置。
2. 前記周辺監視用表示画像における、前記注目障害物画像の配置領域が前記注目撮影画像に関して対称となるように左右一対で設定されており、前記注目障害物画像が前記配置領域に配置される注目障害物画像として生成される請求項１に記載の車両周辺監視装置。
3. 前記障害物の前記車両に対する存在方向を示す指標が前記注目撮影画像の中央の上方に配置される請求項２に記載の車両周辺監視装置。
4. 障害物未認識時には前記注目撮影画像が前記周辺監視用表示画像として表示され、障害物認識時には前記周辺監視用表示画像上に前記注目障害物画像がポップアップ表示される請求項１から３のいずれか一項に記載の車両周辺監視装置。
5. 前記障害物領域と前記狭視野領域との間の距離に応じて、前記移行領域がその移行方向に関して圧縮される請求項１から４のいずれか一項に記載の車両周辺監視装置。
6. 前記障害物領域と前記狭視野領域との間の距離に応じて、前記注目障害物画像が拡縮される請求項１から４のいずれか一項に記載の車両周辺監視装置。

Images