JP7314518B2 - 周辺監視装置 - Google Patents

Description

本発明の実施形態は、周辺監視装置に関する。

従来、車両の周囲に設けられた複数の撮像部によって、車両の周囲を撮像して、その撮像された複数の撮像画像データを用いて、撮像部とは異なる仮想視点から自車両やその周囲を見たような俯瞰画像や三次元画像を生成する技術が知られている。また、生成された画像を車室内に設けられた表示装置で表示する場合に、車両の利用者（例えば、運転者等）が車両周囲の状況をより認識し易くなるように、表示態様の変更や表示画像の調整等を行う技術が種々提案されている。

特開２００８－１４８１１３号公報 特開２０１６－２２５８６５号公報

一般に車両に搭載される撮像部は、車両の接地面から比較的低い位置に設けられることが多い。このため、複数の撮像部で撮像された周辺の画像を組み合わせて、俯瞰画像や三次元画像を表示する場合に、不自然さが生じる場合がある。例えば、映り込んでいる物体が高さ方向に伸びたように表示されたり、近くに存在する物体が遠くに存在する物体に比べて強調されたように表示されたりする可能性がある。

そこで、本発明の課題の一つは、車載の撮像部で撮像した画像を表示装置に表示する場合に、見やすさがより改善された画像の表示ができる周辺監視装置を提供することにある。

実施形態の周辺監視装置は、例えば、仮想的な三次元空間で表される、第１面と、当該第１面から高さ方向に立ち上がる側面と、を少なくとも備える三次元の仮想投影面を取得する投影面取得部と、上記仮想的な三次元空間における仮想視点の位置を設定する仮想視点設定部と、車両に搭載された撮像部で撮像された上記車両の周囲画像を少なくとも上記側面に投影させた上記仮想投影面と、上記車両を示す三次元の自車モデルと、を表示する場合に、上記仮想視点の位置にしたがって、上記自車モデルの高さ方向の表示態様と、上記仮想投影面に投影される上記周囲画像の高さ方向の表示態様と、の少なくとも一方を補正する補正部と、上記補正部により補正された後、上記周囲画像が投影された上記仮想投影面の上記第１面に、上記自車モデルが配置された上記仮想的な三次元空間において、上記自車モデルを含む領域を臨む場合の上記仮想視点からの仮想画像を生成する仮想画像生成部と、上記仮想画像を表示装置に出力する出力部と、を備え、上記補正部は、上記周囲画像の高さ方向の表示態様の変更として、上記仮想視点の上記第１面からの高さに応じて、上記第１面に対する上記側面の高さを補正する。この構成によれば、例えば、仮想視点の位置に応じて、自車モデルの高さ方向の表示態様と周囲画像の高さ方向の表示態様の補正を行い、自車モデルと周囲画像の表示バランスを調整する。その結果、周囲画像が仮想的な三次元空間で仮想投影面に投影される場合でも、見やすさが改善された仮想画像の提供ができる。例えば、仮想視点の第１面からの高さに応じて仮想投影面の側面の高さが補正されて、側面に投影される周囲画像の高さが、実際の自車両の形状に対応した整った形状の自車モデルの高さに対して調整される。その結果、自車モデルと周囲画像の表示バランスが改善され、周囲画像が仮想的な三次元空間で仮想投影面に投影される場合でも、仮想画像の見やすさを改善することができる。

また、実施形態の周辺監視装置は、例えば、仮想的な三次元空間で表される、第１面と、当該第１面から高さ方向に立ち上がる側面と、を少なくとも備える三次元の仮想投影面を取得する投影面取得部と、上記仮想的な三次元空間における仮想視点の位置を設定する仮想視点設定部と、車両に搭載された撮像部で撮像された上記車両の周囲画像を少なくとも上記側面に投影させた上記仮想投影面と、上記車両を示す三次元の自車モデルと、を表示する場合に、上記仮想視点の位置にしたがって、上記自車モデルの高さ方向の表示態様と、上記仮想投影面に投影される上記周囲画像の高さ方向の表示態様と、の少なくとも一方を補正する補正部と、上記補正部により補正された後、上記周囲画像が投影された上記仮想投影面の上記第１面に、上記自車モデルが配置された上記仮想的な三次元空間において、上記自車モデルを含む領域を臨む場合の上記仮想視点からの仮想画像を生成する仮想画像生成部と、上記仮想画像を表示装置に出力する出力部と、を備え、上記補正部は、上記周囲画像の高さ方向の表示態様の変更として、上記仮想視点の上記第１面からの高さに応じて、上記周囲画像を構成する各画素が上記仮想投影面に投影される高さ方向の座標を補正する。この構成によれば、例えば、仮想視点の位置に応じて、自車モデルの高さ方向の表示態様と周囲画像の高さ方向の表示態様の補正を行い、自車モデルと周囲画像の表示バランスを調整する。その結果、周囲画像が仮想的な三次元空間で仮想投影面に投影される場合でも、見やすさが改善された仮想画像の提供ができる。また、例えば、撮像した周囲画像を仮想投影面に投影する際に各画素の投影位置（座標）の調整を行い、実際の自車両の形状に対応した整った形状の自車モデルの高さに対して周囲画像の高さが調整される。その結果、投影処理の段階で、自車モデルと周囲画像の表示バランスが改善され、仮想的な三次元空間で周囲画像が仮想投影面に投影される場合でも、仮想画像の見やすさを改善することができる。

また、実施形態の周辺監視装置の上記補正部は、例えば、上記自車モデルの高さ方向の表示態様の変更として、上記仮想視点の上記第１面からの高さに応じて、上記自車モデルの高さ方向のサイズを補正してもよい。この構成によれば、例えば、自車モデルの高さ方向のサイズが調整されて、周囲画像の高さに合わせられる。その結果、自車モデルや周囲画像の高さが伸びた状態になったままになるものの、容易な画像処理により、自車モデルや周囲画像の表示バランスが改善され、仮想的な三次元空間で周囲画像が仮想投影面に投影される場合でも、仮想画像の見やすさを改善することができる。

また、実施形態の周辺監視装置は、例えば、仮想的な三次元空間で表される、第１面と、当該第１面から高さ方向に立ち上がる側面と、を少なくとも備える三次元の仮想投影面を取得する投影面取得部と、上記仮想的な三次元空間における仮想視点の位置を設定する仮想視点設定部と、車両に搭載された撮像部で撮像された上記車両の周囲画像を少なくとも上記側面に投影させた上記仮想投影面と、上記車両を示す三次元の自車モデルと、を表示する場合に、上記仮想視点の位置にしたがって、上記自車モデルの高さ方向の表示態様と、上記仮想投影面に投影される上記周囲画像の高さ方向の表示態様と、の少なくとも一方を補正する補正部と、上記補正部により補正された後、上記周囲画像が投影された上記仮想投影面の上記第１面に、上記自車モデルが配置された上記仮想的な三次元空間において、上記自車モデルを含む領域を臨む場合の上記仮想視点からの仮想画像を生成する仮想画像生成部と、上記仮想画像を表示装置に出力する出力部と、を備え、上記補正部は、上記自車モデルの高さ方向の表示態様の変更として、上記仮想視点の上記第１面からの高さに応じて、上記自車モデルの高さ方向のサイズを補正する。この構成によれば、例えば、仮想視点の位置に応じて、自車モデルの高さ方向の表示態様と周囲画像の高さ方向の表示態様の補正を行い、自車モデルと周囲画像の表示バランスを調整する。その結果、周囲画像が仮想的な三次元空間で仮想投影面に投影される場合でも、見やすさが改善された仮想画像の提供ができる。また、例えば、自車モデルの高さ方向のサイズが調整されて、周囲画像の高さに合わせられる。その結果、自車モデルや周囲画像の高さが伸びた状態になったままになるものの、容易な画像処理により、自車モデルや周囲画像の表示バランスが改善され、仮想的な三次元空間で周囲画像が仮想投影面に投影される場合でも、仮想画像の見やすさを改善することができる。

また、実施形態の周辺監視装置の上記仮想画像生成部は、例えば、上記仮想画像生成部は、上記仮想画像を生成する場合、上記撮像部の取付位置に基づく基準点から上記周囲画像における表示対象位置までの距離に応じて、上記周囲画像に対してぼかし処理を実行するようにしてもよい。俯瞰画像や三次元画像を生成する場合、撮像部（基準点）に近い位置ほど画像の縮小が行われる。この構成によれば、例えば、画像の部分的な縮小によって画素欠落が生じた場合でも、画像のぼかしにより縮小率の異なる部分で、画像の平滑化が行われる。その結果、画像の不自然さが軽減され、見やすさが改善された仮想画像の提供ができる。

また、実施形態の周辺監視装置の上記仮想画像生成部は、例えば、画像サイズの縮小処理が行われた上記周囲画像に対して、上記ぼかし処理を実行するようにしてもよい。この構成によれば、例えば、画像全体の縮小処理により画素欠落が生じる場合でも画像全体としての平滑化が行われ、画像の不自然さが軽減され、見やすさが改善された仮想画像の提供ができる。

図１は、実施形態にかかる周辺監視装置を搭載する車両の一例が示された平面図（俯瞰図）である。 図２は、実施形態にかかる周辺監視装置を含む車両の機能構成を示す例示的かつ模式的なブロック図である。 図３は、実施形態にかかる周辺監視装置をＣＰＵで実現する場合の構成を例示的かつ模式的に示すブロック図である。 図４は、実施形態にかかる周辺監視装置において、各撮像部により撮像される被撮像領域とその重複領域を説明する例示的かつ模式的な俯瞰図である。 図５は、実施形態にかかる周辺監視装置における仮想投影面を示す模式的かつ例示的な説明図である。また、周囲画像の各画素の投影位置を仮想視点の高さに応じて変更する例を説明する説明図である。 図６は、実施形態にかかる周辺監視装置において、撮像した周囲画像を仮想投影面に投影して生成した仮想画像の模式的かつ例示的な説明図である。 図７は、実施形態にかかる周辺監視装置における仮想投影面の高さを補正する補正係数と仮想視点の高さとの関係を例示的に示す説明図である。 図８は、実施形態にかかる周辺監視装置における仮想投影面の高さ（断面形状の高さ）が補正される様子を例示的に示す説明図である。 図９は、仮想投影面の高さ補正を実施しない場合に、車両後方の上空に仮想視点を設定した場合の三次元画像の模式的な表示例である。 図１０は、仮想投影面の高さ補正を実施した場合に、車両後方の上空に仮想視点を設定した場合の三次元画像の模式的な表示例である。 図１１は、実施形態にかかる周辺監視装置における仮想投影面の高さを補正する補正係数と仮想視点の高さとの他の関係を例示的に示す説明図である。 図１２は、実施形態にかかる周辺監視装置における仮想投影面の高さを補正する補正係数と仮想視点の高さとの他の関係を例示的に示す説明図である。 図１３は、実施形態にかかる周辺監視装置において、自車モデルの表示高さを仮想視点の高さにしたがって補正することを説明する模式的かる例示的な説明図である。 図１４は、実施形態にかかる周辺監視装置において、仮想投影面の高さを補正する補正係数を決定する場合に、車両から表示する物体までの距離を利用することを説明する模式的かつ例示的な説明図である。 図１５は、実施形態にかかる周辺監視装置における仮想投影面の高さを補正する補正係数と、仮想投影面に投影する物体までの距離の関係を例示的に示す説明図である。 図１６は、実施形態にかかる周辺監視装置において、仮想投影面の高さを補正する補正係数を決定する場合に、表示する物体が存在する方向（回転角度）を利用することを説明する模式的かつ例示的な説明図である。 図１７は、実施形態にかかる周辺監視装置における仮想投影面の高さを補正する補正係数と表示する物体が存在する方向（回転角度）との関係を例示的に示す説明図である。 図１８は、実施形態かかる周辺監視装置において、仮想画像を生成する場合に、撮像部からの距離によって画像上の縮小率が異なることを説明する模式的かつ例示的な説明図である。 図１９は、実施形態にかかる周辺監視装置において、撮像部の位置（基準点）から表示対象位置までの距離に応じて、画像のぼかし強度を決定することを説明する模式的かつ例示的な説明図である。 図２０は、実施形態にかかる周辺監視装置において、撮像部の位置（基準点）から表示対象位置までの距離に応じて、俯瞰画像(合成画像)のぼかし強度を決定することを説明する模式的かつ例示的な説明図である。 図２１は、実施形態にかかる周辺監視装置において、基準点から表示対象位置までの距離と、ぼかし強度の関係を例示的に示す説明図である。 図２２は、ぼかし処理を実施しない場合の俯瞰画像(合成画像)の模式的かつ表示例な説明図である。 図２３は、実施形態にかかる周辺監視装置において、基準点から表示対象位置までの距離に応じて、ぼかし処理を実施した場合の俯瞰画像（合成画像）の模式的かつ例示的な説明図である。 図２４は、三次元画像において、撮像部からの距離によって縮小率が異なることを説明する模式的かつ例示的な説明図である。 図２５は、実施形態にかかる周辺監視装置において、ぼかし処理を三次元画像(合成画像)に適用する場合で、撮像部の位置（基準点）から表示対象位置までの距離と、ぼかし強度の関係を例示的に示す説明図である。 図２６は、実施形態にかかる周辺監視装置における、仮想画像の表示処理の流れの一例を示すフローチャートである。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

本実施形態において、周辺監視装置を搭載する車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよいし、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

図１に例示されるように、車体２は、不図示の乗員が乗車する車室を構成している。車室内には、乗員としての運転者の座席に臨む状態で、操舵部や、加速操作部、制動操作部、変速操作部等が設けられている。操舵部は、例えば、ダッシュボードから突出したステアリングホイールであり、加速操作部は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部は、例えば、センターコンソールから突出したシフトレバーである。

また、車室内には、図２に示されるように、表示出力部としての表示装置８や、音声出力部としての音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で手指等により操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

また、図１に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。

また、図１に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ～１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データを出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～２２０°の範囲を撮影することができる。各撮像部１５（撮像部１５ａ～１５ｄ）は、運転者が車室内で運転席に着座した場合の視点（目の位置）より、例えば低い位置に配置されている。よって、車両１が移動可能な路面や車両１が駐車可能な領域を含む車体２の周辺の外部の環境を逐次撮影し、撮像画像データとして出力する。なお、この場合、車両１の近傍に他車両や立体物（例えば障害物等）が存在する場合、見上げるような画像を撮影することになる。

撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リヤトランクの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパー等に設けられている。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに位置され、左側の突出部としてのドアミラー２ｇに設けられている。ＥＣＵ１４は、複数の撮像部１５で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像や車両１やその周辺を見下ろすような仮想的な三次元画像を生成したりすることができる。このような俯瞰画像や三次元画像を仮想画像と称する場合もある。

また、図１に例示されるように、車体２には、複数の測距部１６，１７として、例えば四つの測距部１６ａ～１６ｄと、八つの測距部１７ａ～１７ｈとが設けられている。測距部１６，１７は、例えば、超音波を発射してその反射波を捉えるソナー（ソナーセンサ、超音波探知器）とすることができる。ＥＣＵ１４は、測距部１６，１７の検出結果により、車両１の周囲に位置された障害物等の物体の有無や当該物体までの距離を測定することができる。なお、測距部１７は、例えば、比較的近距離の物体の検出に用いられ、測距部１６は、例えば、測距部１７よりも遠い比較的長距離の物体の検出に用いられうる。また、測距部１７は、例えば、主として車両１の前方および後方の物体の検出に用いられ、測距部１６は、主として車両１の側方の物体の検出に用いられうる。

また、図２に例示されるように、周辺監視装置を含む車両制御システム１００では、ＥＣＵ１４や、モニタ装置１１、測距部１６，１７等の他、車両１の走行に必要な各システム、例えばブレーキシステム、駆動システム等および各種センサ等が、電気通信回線としての車内ネットワーク１８を介して電気的に接続されている。車内ネットワーク１８は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ１４は、車内ネットワーク１８を通じて制御信号を送ることで、各システムを制御することができる。また、ＥＣＵ１４は、車内ネットワーク１８を介して、測距部１６，１７等の各種センサの検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や物体との干渉の有無の判定、車両１の制御の切り換え（自動制御と自動制御の解除の切り換え）等の、各種の演算処理および制御を実行することができる。

ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた撮像画像データを用いた画像処理や、表示装置８で表示される撮像画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がＯＦＦされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。

本実施形態において、ＥＣＵ１４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、表示装置８に表示する画像の画像生成処理を司る。ＥＣＵ１４は、撮像部１５が撮像した撮像画像データ（撮像画像）に画像処理、例えば視点変換処理等を施して生成した車両１の周囲画像に、車両１(自車両)の位置および仮想視点から車両１を臨む場合の車両１の向きや姿勢を示す自車モデルを重畳して表示装置８に表示させることができる。その場合に、ＥＣＵ１４は、自車モデルと周囲画像との表示バランスを整え、表示内容の不自然さが軽減された仮想画像を生成するように、自車モデルの高さ方向の表示態様と周囲画像の高さ方向の表示態様の少なくとも一方を補正（修正）する。また、仮想画像の生成時における画像処理が原因で生じる仮想画像のざらつきや不自然な強調表示等を軽減するためにぼかし処理を施す。

図３は、ＣＰＵ１４ａで周辺監視装置（周辺監視部）を実現する場合の構成を例示的かつ模式的に示すブロック図である。ＣＰＵ１４ａは、ＲＯＭ１４ｂから読み出した周辺監視プログラムを実行することにより周辺監視部２０を実現する。周辺監視部２０（周辺監視装置）は、その機能を実現するための各種モジュールを含む。周辺監視部２０は、例えば、画像取得部２２、投影面取得部２３、仮想視点設定部２４、補正部２６、画像生成部２８、出力部３０等を含む。また、補正部２６は、視点高さ取得部３２ａ、物体距離取得部３２ｂ、物体方向取得部３２ｃ等を含むパラメータ設定部３２と、補正係数取得部３４等を含む。また、画像生成部２８は、仮想画像生成部３６、画像縮小処理部３８、ぼかし処理部４０等を含み、さらに、ぼかし処理部４０は、対象距離取得部４０ａ、ぼかし強度取得部４０ｂ、ぼかし実行部４０ｃ等の詳細モジュールを含む。

画像取得部２２は、各撮像部１５が撮像した撮像画像データ（撮像画像）を、表示制御部１４ｄを介して取得する。各撮像部１５(撮像部１５ａ～１５ｄ)は、図４に示すような被撮像領域４２を撮像可能である。各被撮像領域４２は、隣接する被撮像領域４２の一部が互いに重なった重複領域４４を含む。重複領域４４を形成することにより被撮像領域４２を繋ぎ合わせるときに欠落領域が生じないようにしている。例えば、被撮像領域４２のうち撮像部１５ｃが撮像した車両１の前方の被撮像領域４２Ｆの車幅方向左側と、撮像部１５ｄが撮像した車両１の左側方の被撮像領域４２ＳＬの車両前方側とは、重複領域４４ＦＬを形成する。被撮像領域４２のうち被撮像領域４２ＳＬの車両後方側と、撮像部１５ａが撮像した車両１の後方の被撮像領域４２Ｒの車幅方向左側とは、重複領域４４ＲＬを形成する。被撮像領域４２のうち被撮像領域４２Ｒの車幅方向右側と、撮像部１５ｂが撮像した車両１の右側方の被撮像領域４２ＳＲの車両後方側とは、重複領域４４ＲＲを形成する。そして、被撮像領域４２のうち被撮像領域４２ＳＲの車両前方側と被撮像領域４２Ｆの車幅方向右側とは、重複領域４４ＦＲを形成する。各撮像部１５は、撮像した撮像画像データに撮像部１５ごとの識別符号を添付して画像取得部２２に出力してもよいし、画像取得部２２側で取得した撮像画像データごとに出力元を識別する識別符号を添付するようにしてもよい。

投影面取得部２３は、仮想的な三次元空間で表される、底面（接地面、第１面、ともいう）と、当該底面から高さ方向に立ち上がる側面と、を少なくとも備える三次元の仮想投影面を取得する。仮想投影面の側面には、車両１に搭載された撮像部１５で撮像された車両の周囲画像を少なくとも投影可能であり、仮想投影面の底面には、車両１を示す三次元の自車モデルが表示可能である。図５は、仮想投影面４６の模式的かつ例示的な説明である。仮想投影面４６は、ＲＯＭ１４ｂ等に予め記憶された三次元形状モデルで、座標（Ｘ，Ｙ，Ｚ）が規定されるメッシュ構造のデータである。撮像部１５が撮像した撮像画像データの各画素のデータ（例えば、図４における画素Ｑ０）が、例えば、座標Ｘ，Ｙ，Ｚで規定されるメッシュ交点Ｑ１に投影される。撮像画像データにおける各画素（例えば、画素Ｑ０）と仮想投影面４６上における投影対応位置（例えばメッシュ交点Ｑ１）は、予め投影試験結果等に基づき対応付けが決定されて、例えば、対応マップ等の形態でＲＯＭ１４ｂ等の記憶することができる。なお、図５に示す仮想投影面４６のメッシュは、説明のために図示したもので、実際には視認できないように設定されている。

仮想投影面４６は、例えば、図５に示すように、地面に沿った底面４６ａと、底面４６ａ、すなわち地面から立ち上がった側面４６ｂと、を有している。地面は、車両１の高さ方向（上下方向、Ｙ方向）と直交する水平面（Ｘ－Ｚ平面）であり、例えば車輪３が接地する。底面４６ａは、例えば略円形の平坦面であり、車両１を基準とする水平面（接地面）である。側面４６ｂは、底面４６ａと接して底面４６ａの一部から高さ方向に立ち上り、底面４６ａの一部を取り囲む、例えば曲面である。図５に示されるように、例えば車両１の中心を通りかつ車両１の垂直な側面４６ｂの仮想断面の形状は、例えば、楕円状あるいは放物線状である。側面４６ｂは、例えば、車両１の中心を通り車両１の高さ方向に沿う中心線周りの回転面として構成される。つまり、側面４６ｂは、車両１の周囲を取り囲んでいる。後述する仮想画像生成部３６は、図４に示すような被撮像領域４２の画像を繋ぎ合わせた二次元合成画像（周囲画像）を仮想投影面４６に投影することにより、図６に示すような、車両１を中心として周囲状況を示す三次元画像（車両周囲画像データ）を生成することができる。

図６の場合、仮想投影面４６の中央には、仮想的な三次元空間内での車両１の位置、姿勢、向き等を示す、車両１の形状に対応する自車モデル１Ａが表示されている。自車モデル１Ａは、予めＲＯＭ１４ｂ等に記憶された画像データである。自車モデル１Ａの表面は、例えば、複数のポリゴンで構成することができる。自車モデル１Ａは、主として三角形の複数のポリゴンにより表示された立体的な形状（三次元の形状）である。これにより、よりリアリティのある自車モデル１Ａを表示することができる。また、複数のポリゴンで構成される自車モデル１Ａは、Ｘ軸、Ｙ軸、Ｚ軸それぞれに対して回転可能であり、自車モデル１Ａを様々な方向から見た状態で表現することができる。

仮想視点設定部２４は、画像生成部２８が例えば、車両１とその周囲の状況を表示する三次元画像を生成する場合、仮想的な三次元空間における仮想視点の位置を設定する。したがって、仮想視点設定部２４は、仮想視点の位置を適宜変更することにより、仮想視点の位置に応じて自車モデル１Ａを所望の方向に向けることができる。また、仮想視点設定部２４は、仮想視点の位置を適宜変更することにより、仮想視点の位置に応じて、仮想投影面４６（被撮像領域４２の画像が投影された面）を臨む方向を変更することが可能である。したがって、図６に示す三次元画像において、注目する方向（注視点の位置）を変更することができる。なお、図６は、仮想視点が車両１の左斜め前方の上空に設定された場合に生成される仮想画像（三次元画像）の生成例である。

仮想視点設定部２４は、例えば利用者が操作入力部１０を操作することで決定する位置に仮想視点の位置を設定してもよいし、車両１の走行状態や操作状態等に応じて、最適な位置から自車モデル１Ａや自車モデル１Ａの周囲を臨むように、自動で仮想視点の位置を設定するようにしてもよい。

補正部２６は、車両１に搭載された撮像部１５で撮像された車両１の周囲画像（被撮像領域４２が繋ぎ合わされた画像）を少なくとも側面４６ｂに投影させた仮想投影面と、自車モデル１Ａと、を表示する場合に、仮想視点の位置にしたがって、自車モデル１Ａの高さ方向の表示態様と、仮想投影面に投影される周囲画像の高さ方向の表示態様と、の少なくとも一方を補正する。例えば、補正部２６は、仮想視点の位置にしたがって、投影面取得部２３が取得する仮想投影面４６の側面４６ｂの高さを補正して、投影される周囲画像の高さ方向の表示態様を変更する。また，別の実施形態において、補正部２６は、仮想視点の位置にしたがって、仮想投影面４６に対して画像取得部２２が取得した周囲画像（画素データ）を投影（配置）する際の対応関係(例えば、座標の対応関係)を補正することにより、投影される周囲画像の高さ方向の表示態様を変更する。また、別の実施形態において、補正部２６は、仮想視点の位置にしたがって、仮想投影面４６に自車モデル１Ａを表示するとともに、撮像部１５が撮像した周囲画像を投影する場合に、車両１から、車両１の周囲に存在する物体までの距離に応じて、仮想投影面４６の側面４６ｂの高さを補正して、周囲画像の高さ方向の表示対応を自車モデル１Ａの高さ方向の表示態様に対して補正する。

前述したように、車両１に搭載される各撮像部１５は、車両１の接地面（地面）から比較的低い位置に設けられることが多い。その結果、撮像部１５から車両１の周囲を撮像した周囲画像に映り込んでいる物体は、見上げたように状態になる場合がある。この場合、物体は高さ方向に伸びたように表示される。この見上げたような物体が映り込んでいる周囲画像を仮想投影面４６に投影した場合、その物体は、側面４６ｂの高さ方向に伸びたような状態のままの仮想画像が生成される。また、撮像部１５（車両１）の近くに存在する物体は、遠くに存在する物体より大きく映るため、仮想投影面４６に投影した場合の伸びが強調されてしまう場合ある。一方、仮想投影面４６の底面４６ａに表示される自車モデル１Ａは、車両１の実際の形状に対応して作成されるので、実際の車両１の大きさ（高さ）に対応する形状で表示される。その結果、自車モデル１Ａの高さと周囲画像（特に物体）の高さとのバランスが不釣り合いとなり、周囲画像が高さ方向に伸びがより強調されてしまうことがある。また、仮想視点の高さを高くすると、自車モデル１Ａは仮想視点の位置から見下ろして仰角が大きくなり、高さ方向のサイズが見かけ上短くなったように表示される。一方、仮想投影面４６に投影される周囲画像は見上げたような状態のままで、例えば物体は高さ方向に伸びた状態のままである。その結果、自車モデル１Ａと周囲画像（物体）を同時に表示した場合、両者の見え方の違いがより目立ち、違和感がより強くなる場合がある。

そこで、パラメータ設定部３２は、例えば、仮想視点の底面４６ａ（接地面）からの高さに応じて、自車モデル１Ａの高さ方向の表示態様と周囲画像の高さ方向の表示態様の少なくとも一方を補正することで、自車モデル１Ａの高さと周囲画像（特に物体）の高さとのバランスが実際のバランスに近づくようにして、表示される仮想画像の違和感を軽減し、より見やすい画像を生成できるようにする。

本実施形態の周辺監視部２０の場合、上述した自車モデル１Ａの高さ方向の表示態様と周囲画像の高さ方向の表示態様とのバランスを実際のバランスに近づけるような補正を実行する場合、複数の手法を取りうる。パラメータ設定部３２は、補正手法ごとで必要となる補正パラメータを設定可能なように、視点高さ取得部３２ａ、物体距離取得部３２ｂ、物体方向取得部３２ｃ等の詳細モジュールを備える。

視点高さ取得部３２ａは、仮想視点の高さを用いて高さ方向の表示態様のバランスを改善する場合に、仮想視点設定部２４の設定内容にしたがい底面４６ａ（第１面）からの高さである視点高さに関する情報を取得し、補正係数取得部３４に提供する。補正係数取得部３４は、パラメータ設定部３２で設定された補正パラメータに対応する、仮想投影面の高さを補正する補正係数と仮想視点の高さとの関係を示す、例えばマップを、ＲＯＭ１４ｂ等の記憶装置から読み出し、仮想視点の高さに対応する補正係数を決定する。図７は、補正係数と仮想視点の高さとの関係を示すマップの一例である。例えば、仮想視点の高さＨに対応する補正計数を仮想投影面４６の側面４６ｂに乗算して仮想投影面４６の高さを補正する。図７の例の場合、ラインＳ１で示すように、底面４６ａ(第１面)に対する仮想視点の高さＨが高くなるほど、「補正係数＝１．０」より小さい補正係数が選択される。つまり、ＲＯＭ１４ｂ等に記憶された基本となる側面４６ｂの高さに対して低くなる。図８は、仮想投影面４６の縦断面を取った場合の当該仮想投影面４６の中央からの距離を横軸に示し、断面形状の高さを縦軸に示している。そして、補正係数にしたがう仮想投影面４６の高さ変化を模式的かつ例示的に示す図である。図７の場合、仮想視点の高さＨが、例えば、標準的な体格の運転者が運転席に着座したときの目の高さに仮想視点がある場合に、「補正係数＝１．０」、すなわち、仮想投影面４６の高さ補正が行われない例である。そして、仮想視点の高さが高くなるにつれて、側面４６ｂの高さが図８に示すように低くなる例である。なお、仮想投影面４６の底面４６ａは、高さ「０」のため、補正係数を乗算しても変化しない。

画像生成部２８は、補正部２６により補正された後、周囲画像（図４参照）が投影された仮想投影面４６の底面４６ａに、自車モデル１Ａが配置された仮想的な三次元空間（図５参照）において、自車モデル１Ａを含む領域を臨む場合の仮想視点からの仮想画像（図６参照）を生成する。つまり、補正部２６は、補正係数取得部３４が取得した補正係数にしたがって仮想投影面４６の側面４６ｂの高さを補正する。この場合、周囲画像が投影された側面４６ｂが高さ方向に圧縮されたようになる。つまり、側面４６ｂを構成するメッシュ構造のメッシュ間隔が狭くなる。その結果、仮想投影面４６に投影された周囲画像の各画素の間隔が狭くなり、仮想投影面４６に投影された周囲画像が高さ方向に圧縮された状態になる。つまり、周囲画像の高さ方向の伸びが抑制される。したがって、仮想画像生成部３６は、自車モデル１Ａを含む領域を臨む場合の仮想視点からの仮想画像を生成する場合、仮想視点の底面４６ａ（接地面）からの高さに応じて、自車モデル１Ａと周囲画像との高さが調整され、表示バランスが改善されて見やすくなった仮想画像を生成することができる。出力部３０は、画像生成部２８によって生成された仮想画像の表示データを表示制御部１４ｄに出力し、表示装置８に表示させる。なお、別に実施形態では、周囲画像の投影を行う前、仮想投影面４６（側面４６ｂ）の形状を補正係数にしたがって補正（高さ方向に圧縮補正）を行ってもよい。この場合、仮想投影面４６（側面４６ｂ）のメッシュの間隔が狭くなる。この状態で、予め決められたメッシュ交点と周囲画像の各画素の対応関係に基づき投影を行うと、投影された周囲画像の画素の高さ方向の間隔が狭くなり、周囲画像の投影後に仮想投影面４６（側面４６ｂ）の補正を行う場合と同様な仮想画像を生成することができる。

図９は、仮想視点の高さに応じた、側面４６ｂの高さ補正が実施されず、自車モデル１Ａと周囲画像との高さ方向の表示態様の調整が実施されない場合の仮想画像４８の比較例である。一方、図１０は、本実施形態の周辺監視部２０によって、仮想視点の高さにしたがう補正係数を用いて、側面４６ｂの高さ補正を行い、自車モデル１Ａに対して周囲画像の高さ方向の表示態様の調整が実施された場合の仮想画像４８の表示例である。なお、図９、図１０は、仮想視点が、車両１の後方上空に設定されている場合の仮想画像である。

図９の場合、車両１に搭載された各撮像部１５で撮像された、低い位置から見上げたような高さ方向に伸びた周囲画像（例えば、他車両５０等）が、そのまま仮想投影面４６に投影されている。その結果、仮想視点が高い位置から他車両５０を見下げているにも拘わらず、他車両５０は、伸びた状態のまま投影される。一方、ポリゴンで構成される自車モデル１Ａは、実際の車両１を上空から見下ろしたような形状で高さ方向の伸びを伴うことなく表示されるため、高さ方向に伸びた他車両５０とのバランスが悪く、違和感のある見にくい仮想画像になっている。一方、図１０の場合、仮想視点の高さに応じた補正係数により仮想投影面４６の側面４６ｂの高さが図８に示すように補正されている。その結果、低い位置から見上げた、高さ方向に伸びた周囲画像は、高さ方向が低く（圧縮）された側面４６ｂに投影されることにより、他車両５０の高さが、補正係数に対応して高さ方向に圧縮される。つまり、表示高さが伸びていない自車モデル１Ａとの高さ方向のサイズ差が低減され、高さのバランスが改善され、違和感が軽減された見やすい仮想画像４８になっている。このように、本実施形態の周辺監視部２０によれば、車載の撮像部１５で撮像した画像を三次元の仮想投影面４６に投影して表示装置８に表示する場合に、見やすさをより改善することができる。

図１１、図１２は、仮想投影面の高さを補正する補正係数と仮想視点の高さＨとの他の関係を例示的に示す説明図である。前述したように、車両１における撮像部１５の設置高さに応じて、周囲画像における見上げる程度が変化する。図１１の例の場合、仮想視点の高さにＨによって補正係数を決定するが、仮想視点の高さＨが、撮像部１５の高さより低い位置に設定された場合、車両１の周囲に存在する物体は、撮像部１５で撮像されたときの見上げ状態よりさらに見上げることになる。つまり、物体の高さがさらに伸びて拡大された状態で表示されることになる。そこで、図１１に示す例の場合、ラインＳ２で示すように仮想視点の高さＨが撮像部１５の設置高さＣより低い場合、補正係数取得部３４が参照するマップは、撮像部１５が撮像した周囲画像の高さが伸びるように、補正係数＝１．０以上の値が選択されるように定義されている。その結果、仮想視点の高さＨが撮像部１５の設置高さＣより低い場合、仮想投影面４６の側面４６ｂの高さは、仮想視点の高さＨにしたがい高く補正される。つまり、周囲画像（自車モデル１Ａの周囲の物体）は、高さが自車モデル１Ａに対して伸びて表示される。逆に、仮想視点の高さＨが撮像部１５の設置高さＣ以上の場合、仮想投影面４６の側面４６ｂの高さは、仮想視点の高さＨにしたがい低く補正される。つまり、周囲画像（自車モデル１Ａの周囲の物体）は、表示高さが自車モデル１Ａに対して縮むように表示される。なお、車両１に設置される各撮像部１５は設置高さがそれぞれ異なる場合がある。例えば、リア側に設置される撮像部１５ａとフロント側に設置される撮像部１５ｃでは、フロント側の撮像部１５ｃの方が例えば低い位置に設置される場合がある。また、左右のドアミラーに２ｇに設置される撮像部１５ｂ，１５ｄは、フロント側の撮像部１５ｃとリア側の撮像部１５ａとの間の高さに設置される場合がある。したがって、図１１に示すマップは、撮像部１５ごとに準備されていてもよい。この場合、撮像部１５ごとの設置高さの違いに基づく周囲画像の高さのずれが抑制され、さらに見やすい仮想画像を生成することができる。

図１２は、図１１に示すマップの変形例である。図１２に示すマップの場合、仮想視点の高さＨが撮像部１５の設置高さＣより低い場合、ラインＳ３で示すように補正係数は、仮想視点の高さＨに拘わらず一定にしている。この場合、周囲画像の高さは元々伸びて表示されるので、仮想視点の高さＨが撮像部１５の設置高さＣより低い場合に側面４６ｂの補正の実施を省略して処理負荷の軽減を図ることができる。

なお、図７、図１１、図１２に示すマップは、仮想視点の高さＨと補正係数の関係をラインＳ１、Ｓ２、Ｓ３で示したが、これに限定されず、他の形状、例えば、直線のマップで関係が示されてもよく、同様の効果を得ることができる。

上述した実施形態では、仮想投影面４６の側面４６ｂの高さを補正することで、自車モデル１Ａの高さ方向の表示態様と周囲画像の高さ方向の表示態様のバランスを調整する例を説明した。他の実施形態では、仮想視点の底面４６ａ（第１面）からの高さに応じて、周囲画像を構成する各画素が仮想投影面４６に投影されるときの対応関係（投影される高さ方向の座標）を補正して、周囲画像の高さ方向の表示態様を自車モデル１Ａの高さ方向の表示態様に対して変更するようにしてもよい。前述したように、画像取得部２２が取得する周囲画像（図４に示すような被撮像領域４２を繋ぎ合わせた画像）は、当該周囲画像を構成する各画素（例えば、画素Ｑ０）を予め定められた仮想投影面４６上で対応するメッシュ位置（例えば、メッシュ交点Ｑ１）に配置することで投影を実行する。そこで、例えば、投影画像において、周囲画像の高さ方向の表示態様を補正したい場合、例えば、表示高さを低くしたい場合、画素Ｑ０を投影する本来のメッシュ交点Ｑ１(座標)より仮想投影面４６上の低い位置（例えば、メッシュ位置Ｑ２の座標）に投影する。つまり、投影後の各画素の配列が高さ方向に圧縮されたようになり、仮想投影面４６に投影された結果として得られる仮想画像は、側面４６ｂを低くする場合と同様に高さを低くすることができる。つまり、自車モデル１Ａの高さ方向の表示態様と周囲画像の高さ方向の表示態様のバランスを調整することができる。この場合、仮想視点の高さ(例えば、底面４６ａ（第１面）からの高さ)に応じて、周囲画像の画素の位置(座標)と仮想投影面４６上におけるメッシュ位置(座標)との対応関係を示すマップを例えばＲＯＭ１４ｂ等に準備しておけばよい。補正係数取得部３４は、視点高さ取得部３２ａが取得した仮想視点の高さにしたがって、対応するマップをＲＯＭ１４ｂから読み出し、仮想画像生成部３６に投影処理を実行させればよい。この場合、従来の仮想画像の生成処理と同程度の負荷で自車モデル１Ａの高さ方向の表示態様と周囲画像の高さ方向の表示態様とのバランスが調整された仮想画像が生成できる。また、周囲画像の画素の位置と仮想投影面４６上のメッシュ位置との対応関係は、周囲画像の画素ごとに設定することが可能であり、仮想投影面４６投影される周囲画像の高さ方向の表示態様の修正をより詳細に実行することができる。

図１３は、自車モデル１Ａの高さ方向サイズを仮想視点の高さにしたがって補正する場合を説明する模式的かる例示的な説明図である。前述したように、生成される仮想画像が違和感のある画像になる原因は、自車モデル１Ａの高さと周囲画像の高さのバランスが実際のバランスと異なってしまうことが主たる原因である。したがって、仮想視点の高さ(例えば、底面４６ａ（第１面）からの高さ)が変化する場合、仮想投影面４６の側面４６ｂの高さを変化させて自車モデル１Ａと周囲画像の高さのバランスを調整するのに代えて、自車モデル１Ａの高さ方向のサイズを変化させても、自車モデル１Ａと周囲画像の高さ方向の表示態様のバランス調整が可能である。例えば、図１３に示すように、自車モデル１Ａの表示高さＨｃ１を自車モデル１Ｂで示すように表示高さＨｃ２に変化させる。この場合、仮想投影面４６の側面４６ｂの高さは変化せず、ポリゴンで構成される自車モデル１Ａの高さのみを変化させるので、表示バランスを整えるための処理負荷が側面４６ｂの高さを変更する場合に比べて軽減しやすい。なお、自車モデル１Ａの高さは、仮想視点の高さＨに応じて調整可能であり、例えば、仮想視点の高さが高くなる程、自車モデル１Ｂで示すように表示高さＨｃ２が高くなるように調整することができる。

次に、他の手法で自車モデル１Ａの高さ方向の表示態様と周囲画像の高さ方向の表示態様のバランスを調整する例を説明する。図１４に示すように、例えば、車両１の周囲に物体５４（例えば、他車両や歩行者、構造物等の立体物）が存在する場合、その物体５４を撮像部１５（例えば撮像部１５ｂ）で撮像すると、車両１の近くに存在する物体５４は、遠くに存在する場合に比べて大きく映る。したがって、仮想画像を生成する場合、自車モデル１Ａの近く存在する物体５４は、自車モデル１Ａに対する実際の大きさより大きく表示されてしまう場合がある。そこで、パラメータ設定部３２（図３参照）は、物体距離取得部３２ｂによって車両１から物体５４までの距離を取得し、補正係数取得部３４が取得する補正係数を物体５４までの距離に応じて変化させる。例えば、車両１に近い物体５４ほど、その高さ方向のサイズを小さくするように補正する。その結果、仮想画像生成部３６が画像取得部２２の取得した周囲画像を、投影面取得部２３が取得した仮想投影面４６に投影する場合、自車モデル１Ａの高さと周囲画像の高さ（すなわち、物体５４の高さ）のバランスを調整することができる。

物体距離取得部３２ｂは、例えば、車両１に搭載された測距部１６，１７を用いて車両１の周囲に物体５４までの距離を取得することができる。図１５は、仮想投影面４６の高さを補正する補正係数と、仮想投影面に投影する物体５４までの車両１からの距離Ｌｔの関係を例示的に示すマップである。図１５に示すマップも例えば、ＲＯＭ１４ｂに予め記憶され、補正係数取得部３４によって適宜読み出すことができる。図１５のマップで、ラインＳ４で示されるように、物体５４が車両１に近いほど仮想投影面４６の側面４６ｂの高さを低くするような補正係数が選択される。その結果、仮想画像生成部３６が画像取得部２２の取得した周囲画像を投影面取得部２３が取得した仮想投影面４６に投影する場合、車両１に近い物体ほど、その高さ方向のサイズが小さく表示される。つまり、車両１に接近していることにより実際の大きさより大きく表示される物体５４の高さ方向のサイズを低く表示して、自車モデル１Ａの高さ方向のサイズとのバランスを改善し、より見やすい仮想画像を生成する。

なお、測距部１６，１７の測距範囲外に物体が存在し、その物体が周囲画像に映り込んでいる場合、生成される仮想画像においても遠方位置で自車モデル１Ａに比べて小さく表示される。したがって、車両１から所定距離以内（例えば、測距部１６，１７の測距範囲内）に物体５４が存在する場合のみ、仮想投影面４６の側面４６ｂの高さ補正が実行され、物体５４が所定距離以内に存在しない場合は、仮想投影面４６の側面４６ｂの高さ補正を非実行とする。その結果、過剰な補正処理が抑制され、ＣＰＵ１４ａの処理負荷の軽減ができる。

なお、車両１からの距離が異なる複数の物体５４が検出された場合、補正係数取得部３４は、例えば、最も車両１に近い物体５４の位置に基づいて補正係数を決定するようにしてもよい。

ところで、図１４にように車両１の周囲の存在する物体５４までの距離Ｌｔに基づいて、側面４６ｂの高さを補正する場合、図５に示す側面４６ｂの全周の高さが補正される。この場合、物体５４が存在しない方向であり、かつ測距部１６，１７の測距範囲より遠い位置に物体が存在していた場合、その遠方の物体の高さ方向のサイズが補正（縮小）され、視認性が低下してしまう場合がある。そこで、パラメータ設定部３２は、物体距離取得部３２ｂによって車両１の周囲に物体５４を検出した場合、さらに、物体方向取得部３２ｃによって車両１を基準に検出した物体５４が存在する方向を取得する。物体５４の方向は、図１６に示すように、複数の測距部１６，１７で検出された測距情報を組み合わせて用いることにより特定することができる。補正係数取得部３４は、物体５４が存在する方向において、側面４６ｂの高さの補正を実行する補正情報を取得するとともに、物体５４が存在する方向から側面４６ｂに沿って遠ざかるのに連れて側面４６ｂの高さの補正の量が少なくするような補正係数を取得する。つまり、補正係数取得部３４は、図１７において、ラインＳ５で示されるように、車両１（図１６の場合、撮像部１５ｂ）を基準に物体５４が存在する方向Ｍから回転角度θの絶対値が大きくなるのにしたがい、側面４６ｂの高さを補正するために補正係数が１．０に近づくような（高さの補正量が少なくするような）値を取得する。補正部２６は、補正係数取得部３４で取得した補正係数にしたがい側面４６ｂの高さを補正することにより、物体５４が存在する方向Ｍの側面４６ｂの高さが低く、その方向Ｍから側面４６ｂに沿って離れるのに連れて、側面４６ｂの高さが補正されない本来の高さに漸増するような仮想投影面４６に補正することができる。仮想画像生成部３６は、例えば、画像取得部２２が取得した周囲画像が投影された側面４６ｂの高さを補正する。または、仮想画像生成部３６は、補正部２６によって補正された仮想投影面４６に画像取得部２２が取得した周囲画像を投影する。その結果、注目させたい物体５４の高さ方向の表示態様が自車モデル１Ａの高さ方向の表示態様に対して補正されて表示バランスが改善されてより見やすい仮想画像を生成することができる。つまり、車両１の近傍に存在して注目されやすい物体５４の見やすさを改善しつつ、それ以外の遠方の物体は、高さ方向のサイズの補正を行わずに存在認識をさせやすい仮想画面を生成することができる。

なお、上述したように、車両１の周囲の存在する物体５４までの距離に基づいて、側面４６ｂの高さを補正する場合、さらに、前述したように、自車モデル１Ａの高さ方向の表示態様と周囲画像の高さ方向の表示態様の少なくとも一方を仮想視点の高さＨに基づいて補正するようにしてもよい。この場合、仮想視点の高さによって変化しうる物体５４の高さ方向のサイズと自車モデル１Ａの高さ方向のサイズのバランス調整が可能なり、より見やすい仮想画像を制することができる。

ところで、画像生成部２８が仮想画像を生成する場合、前述したように画像取得部２２が取得した周囲画像を画素ごとに仮想投影面４６のメッシュ位置に投影する。この場合、投影位置によって画像の拡縮率が異なるため、画像生成部２８は画像縮小処理部３８を用いて適宜縮小処理を実行する。例えば、図１８に示すように、撮像部１５が撮像した撮像画像で俯瞰画像を生成する場合は、撮像部１５に近い場所ほど縮小され、撮像部１５から遠ざかるほど縮小が緩和される。例えば、図１８において、撮像部１５（１５ａ～１５ｄ）に近い領域５６ａは、例えば１２％以下の縮小率で縮小され、それより遠い領域５６ｂは、５６ａより縮小が緩和された、例えば、２５％～１２％の範囲の縮小率で縮小される場合がある。撮像部１５からさらに離れる領域５６ｃは、例えば、５０％～２５％の範囲の縮小率で縮小される場合がある。一般に画像を５０％以下の縮小率で縮小する場合、画素欠落（画素抜け）が生じる。その結果、飛び飛びの画素を用いて俯瞰画像や三次元画像を生成することになり、路面等の模様（例えばアスファルトの石粒やグレーチングの編目等）が拡大されたり、強調されたりする等、違和感のある見にくい画像になってしまう場合がある。

そこで、本実施形態の画像生成部２８は、ぼかし処理部４０を備え、表示する画像に対してぼかし処理を実施することにより、生成される仮想画像の全域において、画素欠落に伴う違和感（見にくさ）を軽減するようにしている。なお、本実施形態において、ぼかし処理部４０の処理対象となる画像は、例えば、複数の撮像部１５によって撮像された画像を合成して生成された合成画像を含む。この合成画像には、例えば、仮想視点が車両１の上方（例えば直上）に設定された場合に、車両１を見た場合（見下ろした場合）の俯瞰画像や周囲画像が少なくとも側面４６ｂに投影された仮想投影面４６等が含まれる。

ぼかし処理部４０は、本実施形態における仮想画像にぼかし処理を実行するために、対象距離取得部４０ａ、ぼかし強度取得部４０ｂ、ぼかし実行部４０ｃ等の詳細モジュールを備える。

対象距離取得部４０ａは、表示対象までの距離Ｌｇを取得し、ぼかし強度取得部４０ｂは、取得した距離Ｌｇに基づいてぼかし強度を決定（取得）する。図１８に示すように、車両１（撮像部１５）からの距離によって同一の画像内でも位置によって縮小率が異なる。そこで、対象距離取得部４０ａは、例えば、図１９に示すように、撮像部１５（例えば撮像部１５ａ）が撮像した撮像画像５８（周囲画像）上で、撮像部１５の取付位置に基づく基準点Ｂを設定する。基準点Ｂは、例えば画像縦中心線ＣＬと車両１の一部（撮像部１５ａの場合、例えば、リヤバンパー２ｈの端部２ｅ、すなわち、撮像部１５の取付位置に基づく位置）との交点に設定することができる。そして，対象距離取得部４０ａは、基準点Ｂから表示対象の位置までの距離Ｌｇを取得する。また、対象距離取得部４０ａは、図２０に示すように、画像生成部２８が生成した仮想画像５９（例えば俯瞰画図）で、基準点を設定して表示対象の位置までの距離Ｌｇを取得してもよい。例えば、図２０の場合、対象距離取得部４０ａは、自車モデル１Ａにおいて、撮像部１５ａの搭載位置に対応する基準点Ｂ１、撮像部１５ｂの搭載位置に対応する基準点Ｂ２、撮像部１５ｃの搭載位置に対応する基準点Ｂ３、撮像部１５ｄの搭載位置に対応する基準点Ｂ４をそれぞれ設定し、各基準点Ｂ１～Ｂ４から表示する位置までの距離Ｌｇを取得する。

ぼかし強度取得部４０ｂは、対象距離取得部４０ａが取得した基準点（Ｂ，Ｂ１～Ｂ４）から表示する位置までの距離Ｌｇに基づき、処理対象の位置におけるぼかし強度Ｐを取得する。図２１は、基準点Ｂ（例えば撮像部１５の位置）から表示対象位置までの距離Ｌｇと、ぼかし強度Ｐの関係を例示的に示すマップである。このマップは、例えば、ＲＯＭ１４ｂ等に予め保存され、ぼかし強度取得部４０ｂが適宜読み出して参照する。図２１にラインＳ６で示されるように、ぼかし強度Ｐは、表示する位置までの距離Ｌｇに近いほど、つまり、基準点Ｂに近いほど強いぼかし処理を実行するように設定されている。図２１に示す例の場合、ぼかし強度Ｐは、基準点Ｂから所定距離Ｌｇ１までは、最大強度（Ｐｍａｘ）でぼかし処理を実行させ、所定距離Ｌｇ１からＬｇ２までは、ぼかし強度Ｐを漸減させ、所定距離Ｌｇ２以降は、ぼかし処理を非実行とするように、ぼかし強度Ｐを決定する例である。なお、図２１に示すラインＳ６は一例であり、撮像部１５の搭載位置や搭載角度等に応じて、撮像部１５ごとに設定することが望ましい。また、一例としてラインＳ６は直線で定義されているが、これに限定されず、例えば、曲線等で定義されてもよい。

ぼかし実行部４０ｃは、ぼかし強度取得部４０ｂが取得したぼかし強度Ｐにしたがい、表示する位置ごとにぼかし処理を実行する。ぼかし処理は、周知の手法が利用可能で、例えば、表示対象の位置（例えば座標）を基準にぼかし強度Ｐにしたがう距離離れた画素を取得し、その画素の平均値を表示位置における画素値とする。したがって、強いぼかし処理が実行される基準点Ｂに近い位置、すなわち、画素欠落等により不適切に拡大されたり、強調されたりしている場合、元々の表示位置近傍の画像の反映度が低くなり、強いぼかし効果が得られる。すなわち、不適切な表示拡大や強調が緩和される。逆に、ぼかし強度Ｐは、基準点Ｂから離れるほど弱くなる。前述したように、縮小処理の程度も基準点Ｂから離れるほど緩和され、画素欠落の程度も低下する。したがって、図２１のラインＳ６のように、ぼかし強度Ｐを漸減することで、表示する画像（俯瞰画像や三次元画像等）の全体領域で不適切に拡大や強調がほぼ均一に修正され、より見やすさが向上した画像を生成することができる。

図２２は、ぼかし処理を実施しない場合の俯瞰画像６２の模式的かつ表示例な説明図である。また、図２３は、基準点Ｂから表示対象位置までの距離Ｌｇに応じて、ぼかし処理を実施した場合の俯瞰画像６６の模式的かつ例示的な説明図である。図２２、図２３は、グレーチング６０（網目蓋：一部のみ図示）で覆われた路面上に車両１が存在する場合を示す俯瞰画像６２，６６であり、中央に車両１に対する自車モデル１Ａが表示されている例である。図２２に示すように、ぼかし処理を実施しない場合、図１８に示す縮小程度を示す領域５６ａ～５６ｃに対応して、不適切な拡大や強調が生じる領域６４ａ～６４ｃ（不適切な拡大や強調が領域６４ａの方が強い）が分布する。なお、図２２において、領域６４ｄは、縮小処理の縮小率が５０％以上または縮小が行われていない部分（実質的な画素欠落が生じない領域）である。図２２に示すように、不適切な表示拡大や強調が生じる領域が自車モデル１Ａを中心に段階的に広がり、見にくい俯瞰画像になる（自車モデル１Ａに近い方が見にくい）。一方、図２３に示すように、ぼかし実行部４０ｃによって、基準点Ｂから表示対象位置までの距離Ｌｇに応じて異なるぼかし強度Ｐでぼかし処理が実施されると、領域６８ａ～６８ｃにおける不適切な表示拡大や強調が均一化されるように緩和される。したがって、図２２のような段階的に画質が変化するような表示が抑制され、縮小処理の縮小率が５０％以上または縮小が行われていない領域６４ｄとの見栄えの格差も軽減され、見やすい俯瞰画像にすることができる。

図２４は、周辺監視部２０によって、仮想視点を車両１の左斜め前方の上空に設定した場合に生成される、三次元画像を示す模式的かつ例示的な仮想画像７０である。仮想画像７０は、補正部２６によって、仮想視点の位置に応じて自車モデル１Ａの高さ方向の表示態様と周囲画像の高さ方向の表示態様が補正され、表示バランスが改善されている。このような場合も、仮想画像７０を生成する段階で、画像縮小処理部３８によって縮小処理が実施され、図２２と同様に，領域７２ａ，７２ｂ等で示されるような不適切な表示拡大や強調（領域７２ａが領域７２ｂより強い不適切な表示）が発生する。ぼかし処理部４０は、対象距離取得部４０ａにより基準点Ｂ（Ｂ１～Ｂ４：図２０参照)から表示する位置までの距離Ｌｇを取得し、ぼかし強度取得部４０ｂが、取得された距離Ｌｇに基づきぼかし強度Ｐを取得する。なお、図２４に示すような三次元態様の仮想画像７０の場合、図２０に示すような俯瞰視の仮想画像５９とは、各表示位置における縮小率（拡縮率）が異なる。そのため、図２５に示すように、基準点（例えば撮像部の位置）から表示対象位置までの距離Ｌｇと、ぼかし強度Ｐの関係を例示的に示すマップ（ラインＳ７）は、図２１に示す俯瞰視の仮想画像５９用のマップ（ラインＳ６）とは異なる場合がある。三次元態様の仮想画像７０の場合、前述したように、元々車両１に近い位置ほど表示が大きくなる。そのため、仮想画像５９に比べて仮想画像７０は車両１の近傍での縮小の程度は軽減される。したがって、例えば、図２５に示されるマップにおけるラインＳ７は、ぼかし強度Ｐが最大となるＰｍａｘの期間が図２１のマップにおけるラインＳ６より短い等の違いがある。このように、生成する俯瞰画像の種類に応じて、ぼかし強度Ｐの設定を変化させることにより、生成する仮想画像に適したぼかし処理が実行され、より見やすい仮想画像を提供することができる。

なお、画像縮小処理部３８は、仮想画像を生成する過程であれば、いずれの段階で画像サイズの縮小処理を実行してもよい。例えば、各撮像部１５で撮像した画像を画像取得部２２で取得する段階で縮小処理を実行してもよいし、各撮像部１５で撮像した画像を繋ぎ合わせて周囲画像を生成する段階で縮小処理を実行してもよい。また、三次元態様の仮想画像を生成する段階で縮小処理を実行してもよい。そして、ぼかし処理部４０は、縮小処理が施された画像または、縮小処理が施されない画像に対して、いずれかの段階でぼかし処理を実行することが可能で、より見やすい仮想画像を生成することができる。

このように構成される周辺監視装置（周辺監視部２０）による、画像表示処理の流れの一例を図２６のフローチャートを用いて説明する。なお、図２６のフローチャートは、例えば、車両１の電源がＯＮされている場合に、所定の処理周期で繰り返し実行されるものとする。なお、図２６のフローチャートは、一例として仮想投影面４６（側面４６ｂ）の高さを変更することにより自車モデル１Ａの高さ方向の表示態様と周囲画像の高さ方向の表示態様のバランスを補正して仮想画像を表示する場合を示す。

まず、周辺監視部２０は、利用者が操作入力部１０等を操作して、仮想画像の表示要求をしているか否かを確認する（Ｓ１００）。要求がない場合（Ｓ１００のＮｏ）、一旦このフローを終了する。一方、周辺監視部２０が、仮想画像の表示要求を確認した場合（Ｓ１００のＹｅｓ）、画像取得部２２は、各撮像部１５が撮像する車両１の周囲の撮像画像データ（撮像画像）を取得する（Ｓ１０２）。また、画像取得部２２は、撮像部１５から取得した撮像画像に基づき、図４に示すような車両１の周囲を示す周囲画像を取得する（Ｓ１０４）。そして、パラメータ設定部３２は、表示要求された仮想画像を生成する際に用いる補正パラメータが既に設定済みか否か確認し（Ｓ１０６）、設定されていない場合（Ｓ１０６のＮｏ）、パラメータ設定部３２は、視点高さ取得部３２ａ、物体距離取得部３２ｂ、物体方向取得部３２ｃ等を用いて必要な補正パラメータを設定する（Ｓ１０８）。例えば、仮想視点の高さや、物体５４までの距離、物体５４の存在する方向等、補正係数を決定するための補正パラメータを取得する。補正パラメータが設定済みの場合（Ｓ１０６のＮｏ）、Ｓ１０８の処理はスキップする。続いて、補正係数取得部３４は、パラメータ設定部３２が設定した補正パラメータに基づき、自車モデル１Ａの高さ方向の表示態様と周囲画像の高さ方向の表示態様の少なくとも一方を補正する補正係数を取得する（Ｓ１１０）。

仮想画像生成部３６は、補正係数取得部３４が取得した補正係数を用いて投影面取得部２３が取得した仮想投影面４６の高さを補正し、画像取得部２２が取得した周囲画像を投影して仮想画像の生成処理を実行する（Ｓ１１２）。この場合、仮想画像の生成に当たり、画像の縮小が実行済みでない場合（Ｓ１１４のＮｏ）、画像縮小処理部３８は、表示する仮想画像に応じた画像の縮小処理を実行する（Ｓ１１６）。既に、画像の縮小処理が実行済みの場合（Ｓ１１６のＹｅｓ）、Ｓ１１６の処理はスキップする。なお、前述したように画像の縮小処理（Ｓ１１４、Ｓ１１６）は、他のタイミングで実行してもよい。

続いて、ぼかし処理部４０は、対象距離取得部４０ａを用いて仮想画像を表示する場合の処理対象位置までの距離Ｌｇを取得し（Ｓ１１８）、ぼかし強度取得部４０ｂは、各処理対象位置におけるぼかし強度Ｐを取得する（Ｓ１２０）。そして、ぼかし実行部４０ｃは、ぼかし強度取得部４０ｂで取得したぼかし強度Ｐにしたがい、仮想画像のぼかし処理を実行する（Ｓ１２２）。ぼかし処理部４０は、この処理周期で表示する仮想画像における必要領域（例えば、領域７０ａ～７０ｃ）のぼかし処理が全て完了したか判定し（Ｓ１２４）、完了していない場合（Ｓ１２４のＮｏ）、Ｓ１１８に移行し、他の必要部分のぼかし処理を実行する。また、ぼかし処理が全て完了している場合（Ｓ１２４のＹｅｓ）、出力部３０は、生成したぼかし処理済みの仮想画像の表示データを表示制御部１４ｄに出力し（Ｓ１２６）、表示装置８に表示させる。そして、出力部３０は、操作入力部１０等を介して、仮想画像の表示完了指示を受け付けていない場合（Ｓ１２８のＮｏ）、Ｓ１０２に戻り、Ｓ１０２以降の処理を実行し、表示装置８に表示する仮想画像の更新処理を実行する。なお、Ｓ１２８において、仮想画像の表示完了指示を受け付けている場合（Ｓ１２８のＹｅｓ）、このフローを一旦終了し、仮想画像の表示処理を終了させる。

このように、実施形態の周辺監視装置によれば、車載の撮像部１５で撮像した画像を表示装置８に表示する場合に、見やすさがより改善された仮想画像の表示ができる。なお、ぼかし処理は、任意実行の処理とすることが可能で、例えば、操作入力部１０を介してぼかし処理が不要であることが要求された場合、Ｓ１１８～Ｓ１２６の処理を省略することができる。

実施形態のＣＰＵ１４ａで実行される周辺監視処理のためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、周辺監視処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、実施形態で実行される周辺監視処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 車両、１Ａ 自車モデル、８ 表示装置、９ 音声出力装置、１０ 操作入力部、１４ ＥＣＵ、１４ａ ＣＰＵ、１４ｂ ＲＯＭ、１５，１５ａ，１５ｂ，１５ｃ，１５ｄ 撮像部、１６，１７ 測距部、２０ 周辺監視部、２２ 画像取得部、２３ 投影面取得部、２４ 仮想視点設定部、２６ 補正部、２８ 画像生成部、３０ 出力部、３２ パラメータ設定部、３２ａ 視点高さ取得部、３２ｂ 物体距離取得部、３２ｃ 物体方向取得部、３４ 補正係数取得部、３６ 仮想画像生成部、３８ 画像縮小処理部、４０ ぼかし処理部、４０ａ 対象距離取得部、４０ｂ ぼかし強度取得部、４０ｃ ぼかし実行部、５０ 他車両、５４ 物体、７０ 仮想画像

Claims (6)

1. 仮想的な三次元空間で表される、第１面と、当該第１面から高さ方向に立ち上がる側面と、を少なくとも備える三次元の仮想投影面を取得する投影面取得部と、
   前記仮想的な三次元空間における仮想視点の位置を設定する仮想視点設定部と、
   車両に搭載された撮像部で撮像された前記車両の周囲画像を少なくとも前記側面に投影させた前記仮想投影面と、前記車両を示す三次元の自車モデルと、を表示する場合に、前記仮想視点の位置にしたがって、前記自車モデルの高さ方向の表示態様と、前記仮想投影面に投影される前記周囲画像の高さ方向の表示態様と、の少なくとも一方を補正する補正部と、
   前記補正部により補正された後、前記周囲画像が投影された前記仮想投影面の前記第１面に、前記自車モデルが配置された前記仮想的な三次元空間において、前記自車モデルを含む領域を臨む場合の前記仮想視点からの仮想画像を生成する仮想画像生成部と、
   前記仮想画像を表示装置に出力する出力部と、
   を備え、
   前記補正部は、前記周囲画像の高さ方向の表示態様の変更として、前記仮想視点の前記第１面からの高さに応じて、前記第１面に対する前記側面の高さを補正する、周辺監視装置。
2. 仮想的な三次元空間で表される、第１面と、当該第１面から高さ方向に立ち上がる側面と、を少なくとも備える三次元の仮想投影面を取得する投影面取得部と、
   前記仮想的な三次元空間における仮想視点の位置を設定する仮想視点設定部と、
   車両に搭載された撮像部で撮像された前記車両の周囲画像を少なくとも前記側面に投影させた前記仮想投影面と、前記車両を示す三次元の自車モデルと、を表示する場合に、前記仮想視点の位置にしたがって、前記自車モデルの高さ方向の表示態様と、前記仮想投影面に投影される前記周囲画像の高さ方向の表示態様と、の少なくとも一方を補正する補正部と、
   前記補正部により補正された後、前記周囲画像が投影された前記仮想投影面の前記第１面に、前記自車モデルが配置された前記仮想的な三次元空間において、前記自車モデルを含む領域を臨む場合の前記仮想視点からの仮想画像を生成する仮想画像生成部と、
   前記仮想画像を表示装置に出力する出力部と、
   を備え、
   前記補正部は、前記周囲画像の高さ方向の表示態様の変更として、前記仮想視点の前記第１面からの高さに応じて、前記周囲画像を構成する各画素が前記仮想投影面に投影される高さ方向の座標を補正する、周辺監視装置。
3. 前記自車モデルの高さ方向の表示態様の変更として、前記仮想視点の前記第１面からの高さに応じて、前記自車モデルの高さ方向のサイズを補正する、請求項１または請求項２に記載の周辺監視装置。
4. 仮想的な三次元空間で表される、第１面と、当該第１面から高さ方向に立ち上がる側面と、を少なくとも備える三次元の仮想投影面を取得する投影面取得部と、
   前記仮想的な三次元空間における仮想視点の位置を設定する仮想視点設定部と、
   車両に搭載された撮像部で撮像された前記車両の周囲画像を少なくとも前記側面に投影させた前記仮想投影面と、前記車両を示す三次元の自車モデルと、を表示する場合に、前記仮想視点の位置にしたがって、前記自車モデルの高さ方向の表示態様と、前記仮想投影面に投影される前記周囲画像の高さ方向の表示態様と、の少なくとも一方を補正する補正部と、
   前記補正部により補正された後、前記周囲画像が投影された前記仮想投影面の前記第１面に、前記自車モデルが配置された前記仮想的な三次元空間において、前記自車モデルを含む領域を臨む場合の前記仮想視点からの仮想画像を生成する仮想画像生成部と、
   前記仮想画像を表示装置に出力する出力部と、
   を備え、
   前記補正部は、前記自車モデルの高さ方向の表示態様の変更として、前記仮想視点の前記第１面からの高さに応じて、前記自車モデルの高さ方向のサイズを補正する、周辺監視装置。
5. 前記仮想画像生成部は、前記仮想画像を生成する場合、前記撮像部の取付位置に基づく基準点から前記周囲画像における表示対象位置までの距離に応じて、前記周囲画像に対してぼかし処理を実行する、請求項１から請求項４のいずれか１項に記載の周辺監視装置。
6. 前記仮想画像生成部は、画像サイズの縮小処理が行われた前記周囲画像に対して、前記ぼかし処理を実行する、請求項５に記載の周辺監視装置。

Images