JP5682788B2 - 車両周辺監視装置 - Google Patents

Description

本発明は、本発明は、自車の周辺領域を撮影する車載カメラによって取得された撮影画像を射影変換することでカメラ視点より上方の上方仮想視点からの俯瞰画像を表示画像として生成し、モニタに表示する車両周辺監視装置に関する。

従来から、自車の死角領域の確認のために車両の上方仮想視点から見下ろした俯瞰画像をモニタ表示して、運転者を支援する技術は知られている。この俯瞰画像は、複数の車載カメラで車両周囲を撮影し、これら複数の車載カメラで取得された撮影画像を車両上方の仮想視点から見下ろした画像に視点変換して繋ぎ合わせることにより得られる。その際、自車を表す自車イメージをモニタ表示される俯瞰画像の中心に合成することで、自車周囲の様子が運転者に容易に認識させる工夫がなされている。

そのような俯瞰画像を用いた車両周辺表示装置が特許文献１から知られている。この車両周辺表示装置では、複数のカメラにより撮られた各撮影画像に基づいて車両周辺の俯瞰画像が表示されるが、この俯瞰画像を複数の領域に分割し、ユーザにより選択された領域に対応する対象画像が該ディスプレイに拡大表示される。従って、ユーザによって選択された俯瞰画像の特定領域が拡大表示されるので、周辺の注目すべき領域だけが拡大表示されるという利点がある。しかしながら、撮影画像から射影変換を通じて得られた上方仮想視点からの俯瞰画像では路面からの高さをもつ物体が大きく歪み、運転者にとって距離感や大きさを認識しにくいという問題がある。

さらに特許文献２から知られている駐車支援装置では、自車の周囲の画像を取得する撮像手段と、前記自車の周囲の画像及び自車の画像から前記自車を上方の仮想視点から見た俯瞰画像を生成する画像変換手段と、自車の周囲の立体物を検出し、立体物情報として立体物の自車からの距離及び相対速度を算出する立体物検出手段とが備えられている。さらに、立体物情報に基づいて立体物が移動体であると判定したとき、当該立体物が俯瞰画像の端に表示されるように縮尺を変更してモニタに表示される。つまり、俯瞰画像の表示において、自車と周囲の立体物とが接近したとき、自車を中心として立体物が俯瞰画像の端になるように縮尺を変更して俯瞰画像が拡大して表示される。しかしながら、この装置でも俯瞰画像の一部を拡大しているだけなので、その拡大図において、路面からの高さをもつ物体が大きく歪み、運転者にとって距離感や大きさを認識しにくいという問題がある。

また、視点の異なる複数のカメラから得られた撮影画像を合成する際に、路面平面である二次元投影面を用いた投影画像に対してさらに球面と円筒面からなる三次元投影面を用いて射影変換された投影画像を生成することで、画像ひずみを低減しようとする画像合成装置も知られている。しかしながら、この装置では、最終的に表示される表示画像は三次元投影面を用いた投影画像であるため、上方仮想視点からの俯瞰画像では可能であった白線などの路面上の識別シンボルの直線性が十分に確保できないという問題点がある。

特開２００９‐２３９６７４号公報（段落番号〔０００８−００１３〕、図１４） 特開２００９‐１１１９４６号公報（段落番号〔００１１−００５７〕、図４）

上記実情に鑑み、通常の俯瞰画像だけでなく、その部分拡大俯瞰画像もモニタ表示する際、それぞれの表示目的に適合した俯瞰画像が生成される車両周辺監視装置が要望されている。

本発明の車両周辺監視装置は、車両の周辺領域を撮影する車載カメラモジュールと、前記車載カメラモジュールによって取得された撮影画像を元画像として二次平面射影変換によって第１俯瞰画像を生成する第１俯瞰画像生成部と、前記撮影画像を元画像として三次面射影変換によって第２俯瞰画像を生成する第２俯瞰画像生成部と、前記第１俯瞰画像からモニタ表示用の第１表示画像を生成するとともに、当該第１表示画像の所定領域に対応する前記第２俯瞰画像の所定領域から前記第１表示画像より大きな表示倍率を有するモニタ表示用の第２表示画像を生成する表示画像生成部とを備えている。

この構成では、第１表示画像は投影面として二次平面（通常は路面）を用いた、これまでよく知られている通常の俯瞰画像（第１俯瞰画像）に基づいており、路面平面に描かれた白線などの直線性は良好であり、この第１表示画像を通じて、運転者は、容易に概略的な周囲状況を把握することができる。第２表示画像は、投影面として三次面を用いることで路面上から立ち上がった立体物（駐車車両や三角ポールなど）の変形が第１俯瞰画像より少ない第２俯瞰画像に基づいている。さらに、この第２表示画像は第１表示画像の所定領域に対応する領域に限定され拡大表示されることから、自車近傍の注目領域、例えば自車の近傍に存在する立体物に対する運転者の視認性が良好なものとなる。

なお、ここでいう投影面としての三次面とは、路面のような単一平面でないという意味であり、曲面だけではなく、複数の異なる平面からなる平面体、例えば屈曲平面や階段状平面も含まれる。ただ、視認性や直線性などを考慮した場合、半球面やドーム面などを含む凹曲面が適している。従って、本発明の好適な実施形態では、前記三次面射影変換は投影面として凹曲面を用いている。

本発明の好適な実施形態の１つでは、前記第１表示画像と前記第２表示画像とが同一モニタ画面上に表示される。これにより、運転者は、周辺状況を地図的に把握できる第１表示画像と、路面上立体物の自車との距離感を把握し易い第２表示画像を見比べることで、より正確にかつ容易に車両周辺を監視することができる。

注目すべき特定領域がないにもかかわらず、前記第１表示画像と前記第２表示画像とを表示スペースが限られているモニタに表示さする必要はない。特に、第１表示画像の特定領域の拡大画像でもある第２表示画像は、路上立体物が自車周辺に存在している場合に重要となる。従って、本発明の好適な実施形態の１つでは、車両周辺の立体物を検出する立体物検出部から受け取った立体物検出情報に基づいて前記立体物の存在する領域を含む前記第２表示画像がモニタ表示される。
ただし立体物検出部が搭載されていない場合や、立体物検出部で立体物が検出されていない領域の第２表示画像を見たいという要望を満たすために、車両乗員が指定する車両周辺領域を含む前記第２表示画像がモニタ表示される構成を採用してもよい。
さらに、車両周辺領域の拡大された俯瞰画像である第２表示画像は、駐車走行時に他車などの走行障害物と自車との位置関係を把握するために適している。特に、予め駐車可能な駐車領域を設定し、その駐車領域への駐車経路を演算して、当該駐車経路に沿った駐車走行を支援する、駐車支援装置では、駐車領域の設定時や駐車経路の演算時に駐車しようとする自車に近接する立体物を検知している場合が少なくない。このような条件が満たされる場合、駐車走行時に自車の一部が立体物に接近したときに、第２表示画像を表示すると好都合である。このため、本発明の好適な実施形態の１つでは、駐車領域を設定するとともに当該駐車領域に車両を誘導するための駐車経路を生成する駐車制御を行う駐車支援モジュールから取得された駐車経路と駐車領域と駐車車両に関する情報を含む駐車支援情報から、前記第２表示画像を表示するタイミングが求められ、当該タイミングで前記第２表示画像がモニタ画面上に表示される。

本発明では、車載カメラモジュールが1台のカメラで構成され、当該カメラからの撮影画像から第１と第２の俯瞰画像及び表示画像が生成されてもよい。特に運転者にとっての最大の死角となりやすい後方周辺領域を撮影するバックカメラの撮影画像だけを利用しても運転支援において十分な効果がある。しかしながら、車載カメラモジュールが互いの撮影領域が重なり合うオーバラップ領域を有する複数の車載カメラから構成され、各カメラからの撮影画像の俯瞰画像をパノラマ合成して全周囲画像とすると、車両周辺監視としては最適である。その際、隣り合う撮影画像の俯瞰画像をオーバラップ領域で重ね合わせて合成する場合には、そのオーバラップ領域に存在する被写体が変形しているために、オーバラップ領域ではブレンド合成されると好都合である。このため、複数カメラからの撮影画像を利用する本発明の好適な実施形態では、前記第１俯瞰画像及び前記第２俯瞰画像はそれぞれの撮影画像のパノラマ合成により生成され、その際前記オーバラップ領域が所定幅と所定比率でブレンドされる。さらには、そのオーバラップ領域に存在する被写体の変形形態は、二次平面射影変換と三次面射影変換とでは異なっている。この問題を解決するためには、前記第１俯瞰画像と前記第２俯瞰画像とでオーバラップ領域の所定幅又は所定比率あるいはその両方が異なるように個別に設定されるとよい。

第２俯瞰画像の生成方法として、撮影画像から第１俯瞰画像を生成し、その第１俯瞰画像を三次平面射影変換することで第２俯瞰画像を生成する方法と、撮影画像から直接第２俯瞰画像を生成してもよい。いずれにせよ、第１俯瞰画像は常時生成されているので、第１俯瞰画像を三次面射影変換することにより第２俯瞰画像を生成するように第２俯瞰画像生成部を構築することが好都合である。

本発明による運転支援装置で用いられる、撮影画像を出発画像として二次平面射影変換を通じて得られた第１俯瞰画像と、撮影画像を出発画像として三次面射影変換を通じて得られた第２俯瞰画像とを表示する過程を図解する模式図である。 複数カメラによる撮影画像から二次平面射影変換と合成処理を通じて得られた全周囲第１俯瞰画像と、この第１俯瞰画から三次面射影変換を通じて得られた全周囲第２俯瞰画像とを表示する過程を図解する模式図である。 複数カメラによる撮影画像から二次平面射影変換と合成処理とを通じて得られた全周囲第１俯瞰画像と、撮影画像からから三次面射影変換と合成処理とを通じて得られた全周囲第２俯瞰画像とを表示する過程を図解する模式図である。 運転支援装置のコントロールユニットを含む電子制御系の機能を説明する機能ブロック図である。 画像処理モジュールの機能ブロック図である。 種々の射影変換マップから選択された射影変換マップを用いて第２俯瞰画像を生成する過程を図解した模式図である。 俯瞰画像表示ルーチンを示すフローチャートである。

まず、本発明による運転支援装置で用いられる、撮影画像を出発画像として二次平面射影変換を通じて得られた第１俯瞰画像と、撮影画像を出発画像として三次面射影変換を通じて得られた第２俯瞰画像とを表示する基本的な過程を、図１を用いて説明する。ここでは車載カメラはバックカメラであり、撮影画像は車両後方の周辺を写しだしたものである。つまり、図１では、バックカメラによる撮影画像だけを用いた俯瞰画像の生成が示されている。

車両周辺監視画面としての俯瞰画像をモニタ表示するためには、まずバックカメラによって自車の後方周辺領域の撮影画像が取得される（＃１）。この撮影画像から、投影面を路面に平行な面とする第１の射影変換（二次平面射影変換）、つまり真上に仮想視点を設定した視点変換が行われる（＃２）。この二次平面射影変換処理を通じて、車両後方領域の真上からの俯瞰画像である第１俯瞰画像が得られる。この第１俯瞰画像は、整形のためのトリミング処理を受けて、第１表示画像としてモニタ画面に表示される（＃３）。

さらに、撮影画像から、投影面を路面上に配置された三次面とする第２の射影変換（三次面射影変換）、つまり真上に仮想視点を設定した視点変換だけでなく、投影面も湾曲面ないしは屈曲平面とされた射影変換が行われる（＃４）。ここでは、三次面としてドーム状の凹湾曲面が用いられていることにする。この三次面射影変換を通じて、車両後方領域の真上から路面上に配置された湾曲面への俯瞰画像である第２俯瞰画像が得られる。この第２俯瞰画像は屈曲平面や湾曲平面のような三次面への投影画像であるため、それなりの変形をうけるが、上方仮想視点による視点変換での変形と部分的に相殺することになる。このため、第２俯瞰画像は、例えば、路上立体物が伸び上がるという上記視点変換におる変形が逆に抑えられることにより、自車と路上立体物との距離間隔が把握し易いという利点が得られる。

この第２俯瞰画像から指定された画像領域が切り出され、その切り出し画像領域をさらに拡大したものが第２表示画像として、第１表示画像に並んでモニタ画面に表示される（＃５）。なお、第２表示画像が表示される領域には、第２表示画像が表示される前は例えばバックカメラ１ａで撮影された映像が表示されている。
第２表示画像の表示タイミングや第２俯瞰画像からの切り出し領域は、ユーザによって選択されてもよいが、車両に立体物検出機能が備わっていれば、立体物が検出した時点で、検出された立体物が写っている画像領域を切り出して、第２表示画像としてモニタ画面に表示することができる。それ以外では、第２表示画像の表示枠にはバックカメラの撮影画像をそのまま通常画像として表示するとよい。

図１における本発明の図解説明では、バックカメラからの撮影画像だけを用いて、二次平面射影変換（路面射影変換）による第１俯瞰画像と三次面射影変換（凹湾曲面射影変換）による第２俯瞰画像とを生成し、さらにそれぞれの俯瞰画像から第１表示画像と第２表示画像が生成された。しかしながら、自車を中心とする四方の周辺状況、特に路面状況が把握できる全周囲俯瞰画像を運転者に見せることが周辺監視としては最適の形態である。以下に、全周囲俯瞰画像を用いた周辺監視の基本的な画像処理の流れを説明する。図２は、複数カメラによる撮影画像から二次平面射影変換と合成処理を通じて得られた全周囲第１俯瞰画像と、この第１俯瞰画から三次面射影変換を通じて得られた全周囲第２俯瞰画像とを表示する過程を図解する模式図である。図３は、複数カメラによる撮影画像から二次平面射影変換と合成処理とを通じて得られた全周囲第１俯瞰画像と、撮影画像から三次面射影変換と合成処理とを通じて得られた全周囲第２俯瞰画像とを表示する過程を図解する模式図である。図２及び図３では、車載カメラモジュールとしてバックカメラ１ａ、左サイドカメラ１ｂ、右サイドカメラ１ｃ、フロントカメラ１ｄが用意されており、後進での縦列駐車における駐車支援のために、これらのカメラからの４つの周辺撮影画像から２種類の俯瞰画像を生成する装置が取り扱われている。

図２で図解された画像処理過程では、まず、バックカメラ１ａによる後方撮影画像が車両真上からの通常の二次平面射影変換による全周囲俯瞰画像の後方領域画像として射影変換される。同様に、フロントカメラによる撮影画像、左サイドカメラ１ｂによる左撮影画像、フロントカメラ１ｄによる右撮影画像がそれぞれ、全周囲俯瞰画像の左領域画像、右領域画像、前方領域画像として射影変換される。ここでは、射影変換は、二次平面射影変換用マッピングテーブルを用いたマッピングによって行われる。各撮影画像から生成された俯瞰画像（最終的な第１俯瞰画像の１つのセグメント）が隣り合う撮影画像同士でオーバラップ領域を形成しながら画像合成されることで第１俯瞰画像が生成される。この画像合成では所定幅のオーバラップ領域において所定比率でのブレンド合成処理（アルファブレンド）が実施される。

生成された第１俯瞰画像は、一方では、必要に応じてトリミング処理を施され、第１表示画像としてモニタ表示される。生成された第１俯瞰画像は、他方では、さらに三次面射影変換、例えば、凹湾曲状投影面への射影変換が、三次面射影変換用マッピングテーブルを用いたマッピングによって行われる。このマッピングにより、第２俯瞰画像が生成される。この第２俯瞰画像は三次面に投影されることによる変形を受けるが、この変形によって第１俯瞰画像で生じていた路上立体物の伸び上がり変形を相殺させることも可能である。生成された第２俯瞰画像は、指定された画像領域、例えば後進での縦列駐車において運転者が注目すべき場所に対応する画像領域で、切り出され、さらに拡大されて、第２表示画像として第１表示画像に隣接してモニタ表示される。図２の例では、縦列駐車走行中の自車の左前部分と駐車車両の右後部分との近接領域が運転者が注目すべき場所とみなされ、第２表示画像として表示されている。
この第２表示画像をモニタ表示する好適なタイミングの一例を図２も用いて説明する。図２では縦列駐車が模式的に示されているが、駐車支援装置などが稼動している場合、まずは、駐車すべき駐車領域を探す探索走行（図中Ｓで示された走行経路）が行われる。その探索走行時に駐車車両のいない空きスペースである駐車領域が検知されると、その駐車領域に駐車するための駐車開始点（後退の開始位置）まで車両を進める。駐車領域を検知する際に、その駐車領域を境界付けている駐車車両（立体物）の情報（駐車車両がいないという情報も含まれる）が得られていることになる。駐車支援プロセスでは、駐車開始点から駐車領域への駐車経路（図中Ｋで示された走行経路）を演算し、その駐車経路に沿った駐車支援が行われる。なお、この駐車支援では、駐車経路に沿うように自動で操舵制御を行い、運転者は速度調節のみを行うようにしてもよい。この駐車経路に沿った後退の際、駐車車両（立体物）の情報が既に得られているため、例えば、自車の左前方が、前方の駐車車両に近づき、接触しそうなタイミングで、当該駐車車両を映し出している撮影画像に基づく第２表示画像をモニタ画面に表示する。

図３で図解された画像処理過程でも、まず、バックカメラ１ａによる後方撮影画像が車両真上からの通常の二次平面射影変換による全周囲俯瞰画像の後方領域画像として射影変換される。同様に、フロントカメラによる撮影画像、左サイドカメラ１ｂによる左撮影画像、フロントカメラ１ｄによる右撮影画像がそれぞれ、全周囲俯瞰画像の左領域画像、右領域画像、前方領域画像として射影変換される。さらに、各撮影画像から生成された俯瞰画像（最終的な第１俯瞰画像の１つのセグメント）が隣り合う撮影画像同士でオーバラップ領域を形成しながら画像合成されることで第１俯瞰画像が生成される。この画像合成においては、二次平面射影変換による全周囲俯瞰画像に適した所定幅のオーバラップ領域を設定し、同様にこの全周囲俯瞰画像に適した所定比率でのブレンド合成処理（アルファブレンド）が実施される。生成された第１俯瞰画像は、必要に応じてトリミング処理を施され、第１表示画像としてモニタ表示される。

図３による画像処理過程では、第２俯瞰画像は、各カメラからの撮影画像毎に三次面射影変換された俯瞰画像セグメントを合成することで生成される。つまり、バックカメラ１ａによる後方撮影画像が最終的な全周囲俯瞰画像の後方領域画像として生成されるように車両真上から路面上に配置された三次投影面への射影変換である三次面射影変換を受ける。同様に、フロントカメラによる撮影画像、左サイドカメラ１ｂによる左撮影画像、フロントカメラ１ｄによる右撮影画像がそれぞれ、全周囲俯瞰画像の左領域画像、右領域画像、前方領域画像として同様な射影変換を受ける。このようにして各撮影画像から生成された俯瞰画像（最終的な第２俯瞰画像の１つのセグメント）が隣り合う撮影画像同士でオーバラップ領域を形成しながら画像合成されることで第２俯瞰画像が生成される。この画像合成においても、三次面射影変換による全周囲俯瞰画像に適した所定幅のオーバラップ領域を設定し、同様にこの全周囲俯瞰画像に適した所定比率でのブレンド合成処理（アルファブレンド）が実施される。第１俯瞰画像と第２俯瞰画像とでは、周辺部における画像の変形（歪み）が異なるため、互いに異なるオーバラップ領域幅及びブレンド比率が設定される。生成された第２俯瞰画像は、指定された画像領域で切り出され、さらに拡大されて、第２表示画像として第１表示画像に隣接してモニタ表示される。

以下、本発明による車両周辺監視装置の具体的な実施形態の構成を図面に基づいて説明する。本実施形態では、図３で図解された画像処理が採用されているとする。従って、４つの車載カメラ、バックカメラ１ａ、フロントカメラ１ｄ、左サイドカメラ１ｂ、右サイドカメラ１ｃからの撮影画像から前述した第１表示画像と第２表示画像を生成する画像処理系が構築された車両周辺監視装置が車両に組み込まれている。以下の説明において、適宜、これらの車載カメラ１ａ、１ｂ、１ｃ、１ｄを単にカメラ１と総称する場合がある。

カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒３０フレームの２次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に１４０〜１９０°の視野角が確保されているとともに、光軸に約３０度程度の俯角を有して車両に設置されている。

車両内部には、車両周辺監視装置の中核をなすコントロールユニット（以下単にＥＣＵと称する）２０が設置されている。このＥＣＵ２０は、図４に示すように、車両状態検出センサ群からの信号入力をそのまま、あるいは評価してＥＣＵ２０の内部に転送するセンサ入力インターフェース２３や通信インターフェース７０などを備えると共に、入力情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）を備えている。

センサ入力インターフェース２３に接続されている車両状態検出センサ群は、運転操作や車両走行の状態を検出する。車両状態検出センサ群には、図示していないが、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ、自車の走行距離を検出する距離センサなどが含まれる。

また、入出力インターフェースとして用いられている通信インターフェース７０は、データ伝送線として車載ＬＡＮを採用しており、モニタ２１、タッチパネル２１Ｔ、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御ユニットがデータ伝送可能に接続されている。その他、音声情報の出力デバイスとしてスピーカ２２も備えられている。

ＥＣＵ２０には、ハードウエア又はソフトウエアあるいはその両方の形態で構築される種々の機能部が備えられているが、本発明に特に関係する機能部としては、本発明の立体物検知部としての立体物検知モジュール３０と、画像処理モジュール５０と、表示制御部７１と、音声処理モジュール７２と、とが挙げられる。画像処理モジュール５０で生成されたモニタ表示画像は表示制御部７１でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７２で生成された音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。
駐車支援モジュール７３は、駐車領域設定機能、駐車経路生成機能、位置算定機能、駐車誘導機能などの、自車が所定の駐車領域に駐車することを支援するための機能を備えている。駐車領域設定機能は、撮影画像に基づく画像処理や立体物検出モジュール３０からの立体物情報に基づく推定処理などによる自動設定、または人為操作による設定、あるいはそれらの組み合わせで、自車を駐車させるための駐車領域を設定する機能である。駐車経路生成機能は、駐車開始点から駐車領域への駐車経路を算定する機能である。位置算定機能は、自車の移動に伴って変化する自車の位置情報を検出するするとともに、自車の移動に伴って変化する駐車領域との相対的な位置関係を検出する機能である。実際の駐車走行時の自車位置は、例えば、距離センサで取得する車両移動量と、ステアリングセンサで計測されるステアリングホイールの操舵量とに基づいて求めることができる。駐車誘導機能は、求められた自車位置を参照しながら、駐車経路に沿うように自車を誘導する機能である。駐車誘導機能は、駐車経路に沿うように自動でステアリングホイールを制御してもよいし、運転者に駐車経路に沿うようなステアリングホイールの操作方向、操作量を画面や音声で指示するようにしてもよい。

立体物検知モジュール３０には、複数の超音波センサ３からの検出信号を評価して立体物検知を行う超音波評価部３１と、カメラ１からの撮影画像を用いて立体物検知を行う画像認識部３２とが含まれている。超音波センサ３は車両の前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置されており、車両周辺近傍に存在する物体（立体物）をそれらからの反射波を通じて検知することができる。各超音波センサ３における反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できるだけでなく、全ての超音波センサ３の検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。画像認識部３２は、それ自体は公知である物体認識アルゴリズムを実装しており、入力した撮影画像、特に経時的に連続する撮影画像から車両周辺の立体物を検知する。
立体物の検知のためには、超音波評価部３１と画像認識部３２のいずれか１つでもよいが、立体物の形態を検知するのに優れた画像認識部３２と、立体物までの距離、つまり立体物の位置を算出するのに優れた超音波評価部３１の両方を備えて協働作業させることでより正確な立体物検知が可能となる。これにより、立体物検知モジュール３０は、検知した立体物の位置、姿勢、大きさ、色調などを記述した立体物情報を出力することができる。従って、超音波評価部３１と画像認識部３２のいずれでもあるいはその組み合わせであっても本発明における立体物検知部として機能するものであり、さらには、レーザーレーダを用いるような他の立体物検知装置も含むものである。

図５に、ＥＣＵ２０の画像処理モジュール５０の機能ブロック図が示されている。画像処理モジュール５０は、自車周辺を撮影するカメラ１によって取得された撮影画像から射影変換によって変換された俯瞰画像等の画像を生成する機能を有している。

画像処理モジュール５０は、撮影画像メモリ５１、前処理部５２、画像生成部６０、表示画像生成部５３、フレームメモリ５６、立体物情報取得部５７を含んでいる。カメラ１によって取得された撮影画像は撮影画像メモリ５１に展開され、前処理部５２はカメラ１によって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。立体物情報取得部５７は、立体物検知モジュール３０から出力された立体物情報を受け取り、当該立体物情報に記述された立体物の位置、姿勢、大きさ、色調などを読み出す。さらに、この立体物情報取得部５７は、付加的な立体物情報として、駐車支援モジュール７３からの、駐車領域を設定する際に得られた駐車車両（立体物）の位置及び当該駐車車両（立体物）と自車との位置関係などを含む駐車支援情報を受け取るように構成されている。

画像生成部６０は、通常画像生成部６１、俯瞰画像生成管理部６２、マッピングテーブル６３、第１俯瞰画像生成部６４、第２俯瞰画像生成部６５、ブレンド調整部６６を含んでいる。通常画像生成部６１は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像としては、バックカメラ１ａ、左・右サイドカメラ１ｂ,１ｃ、フロントカメラ１ｄによる撮影画像から運転者によって選択された１つでもよいし、複数撮影画像の組み合わせででもよい。

第１俯瞰画像生成部６４は、撮影画像メモリ５１に展開されている撮影画像を用いて上述した二次平面射影変換を行い、第１俯瞰画像を生成する。この二次平面射影変換として、ここでは車両の上方に位置する点を仮想視点とし路面に一致する面を投影面とした射影変換がデフォルト設定されているが、運転者の嗜好あるいは運転状況に応じて変更可能である。

第２俯瞰画像生成部６５は、撮影画像メモリ５１に展開されている撮影画像を用いて上述した三次面射影変換を行い、第２俯瞰画像を生成する。この三次面射影変換として、ここでは車両の上方に位置する点を仮想視点とし路面上に配置されたドーム状の凹湾曲面を投影面とした射影変換がデフォルト設定されている。この三次面射影変換での投影面は、その他の三次面、例えば半球面、円柱面、屈曲平面などから選ぶことができるし、またその投影面中心と投影中心とを所定オフセット量だけずらすことも可能である。

なお、この実施形態では、第１俯瞰画像生成部６４及び第２俯瞰画像生成部６５における射影変換は、マッピングテーブルを用いたマップ変換によって行われるので、ここで使用される射影変換のための種々のマッピングテーブルが選択可能に予め格納されている。このような選択可能格納された複数のマッピングテーブルからなる集合体及び個別マッピングテーブルを、ここでは、マッピングテーブル６３と称する。マッピングテーブル６３を構成する各マッピングテーブル（以下点にマップと略称する）は種々の形態で構築することができるが、ここでは、撮影画像の画素データと射影変換画像（俯瞰画像）の画素データとの対応関係が記述されたマップとして構築され、１フレームの撮影画像の各画素に、俯瞰画像における行き先画素座標が記述されたものである。

第１俯瞰画像生成部６４は通常の俯瞰画像を生成するので、マッピングテーブル６３から選択されるマップは限定される。しかしながら、第２俯瞰画像生成部６５で利用される三次面射影変換の種類は多いので、多くの種類の三次面射影変換のためのマップをマッピングテーブル６３に登録しておいて、適切なものを選択するように構成することができる。さらには、用いる三次面射影変換用マップの選択を立体物の存在位置、大きさなどの特性に基づいて決定することができる。そのような三次面射影変換用マップを立体物情報に基づいて選択する過程が図６に模式的に図示されている。このような第１俯瞰画像生成部６４及び第２俯瞰画像生成部６５で利用される射影変換種類、つまりマッピングテーブル６３からの使用マップの選択は俯瞰画像生成管理部６２が行う。

第２俯瞰画像生成部６５で利用される射影変換種類の選択に関して、図６を用いてさらに詳しく説明する。
立体物検出モジュール３０から出力された立体物情報に記述された立体物のデータ（位置、姿勢、形状など）に基づいて、あるいは駐車支援モジュール７３から出力された駐車支援情報に基づいて、第１俯瞰画像生成部６４による俯瞰画像である第１表示画像の横に当該立体物が写っている撮影画像に基づく第２表示画像を表示する処理が開始される。まず、立体物情報から読み取られた立体物の特性データを入力パラメータとしてルール演算処理を行って、最適種類の射影変換を指示するマップ選択指令が決定される。このマップ選択指令に基づいて、適合するマップがマッピングテーブル６３から選択され、第２俯瞰画像生成部６５に設定される。例えば、立体物の特性データに基づいて、射影変換を規定する投影面形状や当該投影面と立体物（正確には射影変換元画像としての立体物画像）との相対位置を表す変換パラメータが設定される。
ここでは、立体物の歪みを低減する射影変換として、図５で模式的に示すように、投影面形状と立体物との相対位置とが異なる複数の射影変換がマップの形態で準備されている。投影面形状としては、円柱状湾曲面、途中で折り曲げられた平面からなる屈曲面、球面状湾曲面などが挙げられる。もちろん、路面に垂直な垂直平面や路面に対して傾斜平面も投影面として利用可能である。また、それぞれの投影面は、立体物との異なる相対位置に配置することで異なる射影変換を実現することができる。特に好適な配置としては、立体物が投影面の路面からの立ち上がった傾斜面領域又は湾曲面領域で投影されることあり、これにより、立体物の投影画像全体にわたって、路面と平行な投影面において生じる間延びした歪が抑制される。このことから、立体物の路面側端部の投影位置が投影面の路面からの立ち上がった領域位置と一致する配置が好都合である。その際は、立体物の路面側端部の位置はエッジ検出処理で検出することができるので、この位置が投影面の路面からの立ち上がり位置に一致させるように配置した投影面を用いて立体物の俯瞰画像を生成するとよい。

表示画像生成部５３は、画像生成部６０によって生成された画像を合成する画像合成部５４や画像をトリミングして拡大する画像拡大部５５を含む。画像合成部５４は、各カメラの撮影画像毎に生成された俯瞰画像セグメントをパノラマ合成して、全周囲の第１俯瞰画像及び第２俯瞰画像を生成する。このパノラマ合成の際、上述したブレンド合成処理を行うために、ブレンド調整部６６によって決定された、利用射影変換に最適なオーバラップ領域幅及びブレンド比率が用いられる。画像拡大部５５は、第２俯瞰画像から第２表示画像を生成するために立体物が写っている第２俯瞰画像の画像領域を切り出して拡大する。
最終的な第１表示画像と第２表示画像は所定のテンプレート枠にはめ込まれて、モニタ表示画像としてフレームメモリ５６に転送され、表示制御部７１を介してモニタ２１に表示される。

次に、上述のように構成された画像生成装置を組み込んだ車両周辺監視装置による俯瞰画像表示の流れを図７のフローチャートを用いて説明する。
この車両周辺監視目的の俯瞰画像表示ルーチンがスタートすると、まずは、第１俯瞰画像生成部６４で用いられる二次平面射影変換のためのマップ、ここでは路面を投影面とする射影変換のためのマップが設定される（＃０１）。また、俯瞰画像セグメントの合成時のオーバラップ領域の幅やブレンド比率なども設定される（＃０２）。次いで、各車載カメラ１の撮影画像が取得され（＃０３）、設定されたマップを用いて各撮影画像から俯瞰画像セグメントが生成される（＃０４）。生成された俯瞰画像セグメントは設定されたオーバラップ領域の幅やブレンド比率でもって組み合わせ合成され、通常の俯瞰画像である第１俯瞰画像が生成される（＃０５）。その際、自車両位置に予め設定されている車両の俯瞰イメージ画像（イラストやシンボルでも良い）が配置される。

立体物検知モジュール３０あるいは駐車支援モジュール７３から立体物情報が出力されているかどうかチェックされる（＃０６）。立体物情報が出力されていない場合（＃０６No分岐）、どの撮影画像にも注目すべき立体物が写り込んでいないとみなされ、ステップ＃０５で生成された第１俯瞰画像は、通常画像（例えば、バックモニタ画像）と組み合わされ表示俯瞰画像が生成される（＃１４）。生成された表示俯瞰画像はモニタ２１に表示される（＃１５）。ここで、俯瞰画像表示ルーチンの終了指令がない限り（＃１６No分岐）、再びステップ＃０１に戻って、このルーチンを繰り返す。

ステップ＃０６のチェックで、立体物情報が出力されている場合（＃０６Yes分岐）、
注目すべき立体物が撮影画像に写り込んでいるとみなし、まず、立体物情報から検知された立体物の位置、姿勢、大きさなどのデータを読み出す（＃０７）。読み出した立体物に関するデータに基づいて撮影画像における当該立体物の画像領域を算定する（＃０８）。さらに、この実施形態では、立体物に関するデータに基づいて、第１俯瞰画像生成部６４で用いられる三次面射影変換のためのマップ、ここでは半球面を投影面とする射影変換のためのマップが設定される（＃０９）。同様に立体物に関するデータに基づいて、俯瞰画像セグメントの合成時のオーバラップ領域の幅やブレンド比率などが設定される（＃１０）。この設定された三次面射影変換のためのマップを用いて撮影画像から俯瞰画像セグメントが生成される（＃１１）。生成された俯瞰画像セグメントは設定されたオーバラップ領域の幅やブレンド比率でもって組み合わせ合成され、球面投影俯瞰画像である第２俯瞰画像が生成される（＃１２）。生成された第２俯瞰画像は、算定された立体物の画像領域に基づいて当該立体物が含まれる範囲で切り出され、拡大される（＃１３）。この拡大された第２俯瞰画像の部分領域が、表示のための第２俯瞰画像となる。従って、ステップ＃１２での第２俯瞰画像の生成の際、当該立体物が含まれる撮影画像だけを用いてもよい。このようにして生成された部分拡大俯瞰画像としての第２俯瞰画像が第１俯瞰画像と組み合わされ表示俯瞰画像が生成される（＃１４）。生成された表示俯瞰画像をモニタ２１は表示される（＃１５）。なお、車両近傍に立体物が存在することにより第２俯瞰画像に基づく第２表示画像が生成され、第１表示画像とともに第２表示画像がモニタ２１に表示されたが、このモニタ画面としては、図２や図３で示したモニタ画面が参照される。

〔別実施の形態〕
（１）上述した具体的に実施形態では、図３で図解された画像処理方法が採用されていたが、実質的に同一な構成によって図３で図解された画像処理方法を採用することも、さらには、図１で図解された画像処理方法、つまり単一カメラによる２種類の俯瞰画像生成を行う画像処理方法も採用可能である。
（２）上述した実施形態では、画像処理モジュール５０の機能を分かりやすく説明するため、図５に示すように、その構成を機能別にブロック化しているが、この機能ブロックは説明目的であり、本発明がこのように区画された機能ブロックに限定されるわけではない。例えば、各機能部のいずれかを組み合わせて構築してもよいし、逆に、各機能部をさらに分割してもよい。また、画像処理モジュール５０自体もその全ての機能あるいはその一部の機能を他のＥＣＵに組み込んでもよい。
（３）上述した実施形態では、立体物検知方法として、超音波を用いた立体物検知と画像認識による立体物検知のいずれか又はその組み合わせが提示されていたが、もちろん、これ以外の立体物検知方法、例えば、レーザーレーダ法や赤外線法を利用することも本発明の範囲内である。
（４）上述した実施形態では、第２表示画像を第１表示画像に並んでモニタ画面に表示したが、例えば、第１表示画像に代えて第２表示画像を表示するように、第１表示画像と第２表示画像とを切り換えて表示して構成してもよい。

本発明は、俯瞰画像を用いて車両周辺の監視を行う全てのシステムに利用することができる。

１：カメラモジュール
３０：立体物検知モジュール
２１：モニタ
５０：画像処理モジュール
５３：表示画像生成部
５４：画像合成部
５５：画像拡大部
６０：画像生成部
６１：通常画像生成部
６２：俯瞰画像生成管理部
６３：マッピングテーブル
６４：第１俯瞰画像生成部
６５：第２俯瞰画像生成部
６６：ブレンド調整部
６７：立体物情報取得部
７１：表示制御部
７３：駐車支援モジュール

Claims (8)

1. 車両の周辺領域を撮影する車載カメラモジュールと、
   前記車載カメラモジュールによって取得された撮影画像を元画像として二次平面射影変換によって第１俯瞰画像を生成する第１俯瞰画像生成部と、
   前記撮影画像を元画像として三次面射影変換によって第２俯瞰画像を生成する第２俯瞰画像生成部と、
   前記第１俯瞰画像からモニタ表示用の第１表示画像を生成するとともに、当該第１表示画像の所定領域に対応する前記第２俯瞰画像の所定領域から前記第１表示画像より大きな表示倍率を有するモニタ表示用の第２表示画像を生成する表示画像生成部と、
   を備え、
   車両周辺の立体物を検出する立体物検出部から受け取った立体物検出情報に基づいて前記立体物の存在する領域を含む前記第２表示画像がモニタ表示される車両周辺監視装置。
2. 前記三次面射影変換は投影面として凹曲面を用いる請求項１に記載の車両周辺監視装置。
3. 前記第１表示画像と前記第２表示画像とが同一モニタ画面上に表示される請求項１または２に記載の車両周辺監視装置。
4. 車両乗員が指定する車両周辺領域を含む前記第２表示画像がモニタ表示される請求項１又は２に記載の車両周辺監視装置。
5. 前記車載カメラモジュールが互いの撮影領域が重なり合うオーバラップ領域を有する複数の車載カメラから構成され、前記第１俯瞰画像及び前記第２俯瞰画像はそれぞれの撮影画像のパノラマ合成により生成され、その際前記オーバラップ領域が所定幅と所定比率でブレンドされる請求項１から４のいずれか一項に記載の車両周辺監視装置。
6. 前記所定幅又は前記所定比率あるいはその両方が前記第１俯瞰画像と前記第２俯瞰画像とで異なっている請求項５に記載の車両周辺監視装置。
7. 前記第２俯瞰画像生成部は、前記第１俯瞰画像を曲面射影変換することにより前記第２俯瞰画像を生成する請求項１から４のいずれか一項に記載の車両周辺監視装置。
8. 駐車領域を設定するとともに当該駐車領域に車両を誘導するための駐車経路を生成する駐車制御を行う駐車支援モジュールから取得された駐車経路と駐車領域と駐車車両に関する情報を含む駐車支援情報から、前記第２表示画像を表示するタイミングが求められ、当該タイミングで前記第２表示画像がモニタ画面上に表示される請求項１から７のいずれか一項に記載の車両周辺監視装置。

Images