JP7222254B2 - 周辺表示制御装置 - Google Patents

Description

本発明の実施形態は、周辺表示制御装置に関する。

従来、車両に設けられた複数の撮像部（カメラ）により車両周囲の状況をそれぞれ異なる方向で撮像し、撮像した複数の画像に対して画像処理を行うとともに、各画像を繋げて、例えば俯瞰画像を生成する技術が知られている。このような俯瞰画像に、自車の位置を示すための自車画像（自車画像）を重畳して表示することにより、周囲の状況（例えば障害物等）に対する自車の位置を利用者に把握させやすくする周辺表示制御装置が提案されている。上述したように、俯瞰画像は、自車両とその周囲に存在する物体との位置関係を理解させやすいが、周囲に存在する立体物の歪みや延びが目立ち易い。自車画像は整った形状で表示されているため、自車画像と周囲に立体物とのギャップが大きく、俯瞰画像は、リアリティに欠ける画像になってしまう場合があった。そこで、周辺画像を表示する場合の視点位置を変更して、自車画像や周囲の立体物を斜めから見た画像として表示することで、周辺の立体物の歪みや延びを軽減した仮想視点画像を生成して表示する周辺表示制御装置が提案されている。また、俯瞰画像と仮想視点画像を並べて表示する、いわゆる二画面表示を行う周辺表示制御装置が提案されている。

特許第３３００３３４号公報 特開２０１７－１７５１８２号公報 特許第３９４７３７５号公報

しかしながら、自車両が目標位置に移動する過程を、従来技術による仮想視点画像で表示する場合、自車両が目標位置に近づくに連れて、仮想視点画像が俯瞰視の画像になり、俯瞰画像と同様に周囲の立体物の歪みや延びが目立つリアリティ性に欠ける画像になってしまう場合があった。また、二画面表示を行っている場合には、俯瞰画像と仮想視点画像とが最終的に実質的に同じような内容の画像になり、二画面表示のメリットが低減してしまうという問題があった。

そこで、実施形態の課題の一つは、自車両が目標位置に移動する過程を、仮想視点画像で表示する場合に、リアリティ性の低下を回避し、認識し易い表示を可能にする周辺表示制御装置を提供することである。

本発明の実施形態にかかる周辺表示制御装置は、例えば、自車両の周辺を撮像した撮像画像データを取得する画像取得部と、上記自車両が移動する目標位置を取得する目標取得部と、上記自車両が上記目標位置に移動する際に、上記自車両の移動方向に対する上記目標位置の相対角度に基づき、上記自車両を挟んで上記目標位置を臨む位置に設定される仮想視点と当該仮想視点から上記自車両または上記目標位置の少なくとも一方を含む領域を臨む場合の注視点との距離を維持するとともに上記仮想視点と上記注視点の高さを維持した状態で上記仮想視点と上記注視点の少なくとも一方を、移動させながら仮想視点画像を生成する画像生成部と、上記仮想視点画像を表示装置に出力する出力部と、を含む。この構成によれば、例えば、仮想視点と注視点の距離が変化せず、また仮想視点と注視点の高さも変化しない。その結果、自車両が目標位置に向かって移動した場合でも、仮想視点画像は路面に対して平行に移動することになり、仮想視点から目標位置や周辺の立体物を見下ろす角度は変化しない。つまり、周辺の立体物の見え方（歪み具合や延び具合等）の変化が抑制され、仮想視点画像のリアリティ性の低下が回避できる。

また、実施形態のかかる周辺表示制御装置の上記画像生成部は、例えば、上記仮想視点を上記自車両の周囲に設定する仮想円筒の外周面に設定し、上記注視点を上記自車両の車両中心に対応する位置に設定してもよい。この構成によれば、例えば、注視点が車両中心に対応する位置に設定されているため、仮想視点画像の中心付近に自車両を表示し続けることができる。その結果、周辺の立体物の見え方（歪み具合や延び具合等）の変化抑制を行いつつ、目標位置に近づく自車両の挙動を把握させやすい表示ができる。

また、実施形態のかかる周辺表示制御装置の上記画像生成部は、例えば、上記画像生成部は、上記仮想視点および上記注視点を上記自車両の周囲に設定する仮想円筒の外周面に設定してもよい。この場合、仮想視点と注視点は、同一の仮想円（筒）に設定してもよいし、異なる仮想円（筒）に設定してもよい。この構成によれば、例えば、注視点は、自車両より遠くに設定されることになり、仮想視点からの視野に自車両および目標位置を含め易くなる。その結果、周辺の立体物の見え方（歪み具合や延び具合等）の変化抑制を行いつつ、自車両が目標位置に近づく過程において、自車両と目標位置との位置関係がより把握しやすい表示ができる。

また、実施形態のかかる周辺表示制御装置の上記画像生成部は、例えば、上記画像生成部は、上記仮想視点を上記目標位置を中心とする仮想円筒の外周面に設定し、上記注視点を上記目標位置に設定してもよい。この構成によれば、例えば、目標位置を仮想視点画像に表示し続けることができる。その結果、周辺の立体物の見え方（歪み具合や延び具合等）の変化抑制を行いつつ、自車両が目標位置に近づく過程において、目標位置は実質的に同じ位置に表示され続けて、目標位置を認識させやすい表示ができる。

また、実施形態のかかる周辺表示制御装置の上記画像生成部は、例えば、上記画像生成部は、上記自車両が上記目標位置への移動を完了した場合、上記仮想視点の高さを変更するようにしてもよい。この構成によれば、例えば、自車両が目標位置に到達したことを利用者に理解させやすい表示ができる。

図１は、実施形態にかかる周辺表示制御装置を搭載可能な車両の例示的かつ模式的な上面図である。 図２は、実施形態にかかる周辺表示制御装置を含む車両の機能構成を示す例示的かつ模式的なブロック図である。 図３は、実施形態にかかる周辺表示制御装置をＣＰＵで実現する場合の構成を例示的かつ模式的に示すブロック図である。 図４は、実施形態にかかる周辺表示制御装置において、各撮像部により撮像される被撮像領域とその重複領域を説明する例示的かつ模式的な俯瞰図である。 図５は、実施形態にかかる周辺表示制御装置における車両と仮想投影面を示す模式的かつ例示的な説明図である。 図６は、実施形態１にかかる周辺表示制御装置において、仮想視点を自車両の周囲に設定する仮想円筒の外周面に設定し、注視点を自車両の車両中心に対応する位置に設定する場合を説明する例示的かつ模式的な俯瞰図である。 図７は、実施形態１にかかる周辺表示制御装置において、仮想視点を自車両の周囲に設定する仮想円筒の外周面に設定し、注視点を自車両の車両中心に対応する位置に設定する場合を説明する例示的かつ模式的な側面図である。 図８は、図６、図７に示すように仮想視点と注視点を設定した場合に、自車両の移動に伴い遷移する仮想視点画像と、俯瞰画像を二画面表示して表示する模式的かつ例示的な表示画像を示す図である。 図９は、実施形態２にかかる周辺表示制御装置において、仮想視点および注視点を自車両の周囲に設定する異なる仮想円筒の外周面に設定する場合を説明する例示的かつ模式的な俯瞰図である。 図１０は、実施形態２にかかる周辺表示制御装置において、仮想視点および注視点を自車両の周囲に設定する異なる仮想円筒の外周面に設定する場合を説明する例示的かつ模式的な側面図である。 図１１は、図９、図１０に示すように仮想視点と注視点を設定した場合に、自車両の移動に伴い遷移する仮想視点画像と、俯瞰画像を二画面表示して表示する模式的かつ例示的な表示画像を示す図である。 図１２は、実施形態３にかかる周辺表示制御装置において、仮想視点を、目標位置を中心とする仮想円筒の外周面に設定し、注視点を目標位置に設定する場合を説明する例示的かつ模式的な俯瞰図である。 図１３は、実施形態３にかかる周辺表示制御装置において、仮想視点を、目標位置を中心とする仮想円筒の外周面に設定し、注視点を目標位置に設定する場合を説明する例示的かつ模式的な側面図である。 図１４は、図１２、図１３に示すように仮想視点と注視点を設定した場合に、自車両の移動に伴い遷移する仮想視点画像と、俯瞰画像を二画面表示して表示する模式的かつ例示的な表示画像を示す図である。 図１５は、比較例として、仮想視点を自車両の周囲に設定する仮想円筒の外周面に設定し、注視点を目標位置に設定する場合を説明する例示的かつ模式的な俯瞰図である。 図１６は、比較例として、仮想視点を自車両の周囲に設定する仮想円筒の外周面に設定し、注視点を目標位置に設定する場合を説明する例示的かつ模式的な側面図である。 図１７は、図１５、図１６に示すように仮想視点と注視点を設定した場合に、自車両の移動に伴い遷移する仮想視点画像と、俯瞰画像を二画面表示して表示する比較例としての模式的な表示画像を示す図である。 図１８は、実施形態にかかる周辺表示制御装置において、自車両が目標位置への移動を完了した場合、仮想視点の高さを変更（低くした）場合を説明する模式的かつ例示的な表示画像を示す図である。 図１９は、実施形態にかかる周辺表示制御装置における、画像表示処理の流れの一例を示すフローチャートである。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

本実施形態において、周辺表示制御装置を搭載する車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよいし、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席に臨む状態で、操舵部や、加速操作部、制動操作部、変速操作部等が設けられている。操舵部は、例えば、ダッシュボードから突出したステアリングホイールであり、加速操作部は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部は、例えば、センターコンソールから突出したシフトレバーである。

また、車室２ａ内には、図２に示されるように、表示出力部としての表示装置８や、音声出力部としての音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で手指等により操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

また、図１に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。図２に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（electronic control unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１３ｂは、例えば、運転者が操舵部に与えるトルクを検出する。

また、図１に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ～１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データを出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～２２０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている。よって、撮像部１５は、車両１が移動可能な路面や車両１が駐車可能な領域を含む車体２の周辺の外部の環境を逐次撮影し、撮像画像データとして出力する。

撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リヤトランクの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパー等に設けられている。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに位置され、左側の突出部としてのドアミラー２ｇに設けられている。ＥＣＵ１４は、複数の撮像部１５で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりすることができる。

また、ＥＣＵ１４は、撮像部１５の画像から、車両１の周辺の路面に示された区画線等を識別し、区画線等で示された駐車区画を検出することもできる。

また、図１に例示されるように、車体２には、複数の測距部１６，１７として、例えば四つの測距部１６ａ～１６ｄと、八つの測距部１７ａ～１７ｈとが設けられている。測距部１６，１７は、例えば、超音波を発射してその反射波を捉えるソナー（ソナーセンサ、超音波探知器）とすることができる。ＥＣＵ１４は、測距部１６，１７の検出結果により、車両１の周囲に位置された障害物等の物体の有無や当該物体までの距離を測定することができる。なお、測距部１７は、例えば、比較的近距離の物体の検出に用いられ、測距部１６は、例えば、測距部１７よりも遠い比較的長距離の物体の検出に用いられうる。また、測距部１７は、例えば、車両１の前方および後方の物体の検出に用いられ、測距部１６は、車両１の側方の物体の検出に用いられうる。

また、図２に例示されるように、周辺表示制御装置を含む車両制御システム１００では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３、測距部１６，１７等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、駆動システム２１、車輪速センサ２２、シフトセンサ２３等が、電気通信回線としての車内ネットワーク２４を介して電気的に接続されている。車内ネットワーク２４は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ１４は、車内ネットワーク２４を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８、駆動システム２１等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２４を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距部１６，１７、アクセルセンサ２０、シフトセンサ２３、車輪速センサ２２等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、駐車支援を実行する際の車両１の駐車目標位置の決定、移動距離の演算（算出）、時間ごとの目標車速や移動目標位置の演算（算出）、物体との干渉の有無の判定、車両１の制御の切り換え（自動制御と自動制御の解除の切り換え）等の、各種の演算処理および制御を実行することができる。

ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた画像データを用いた画像処理や、表示装置８で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がＯＦＦされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。

ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。

舵角センサ１９は、例えば、ステアリングホイール等の操舵部の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。

アクセルセンサ２０は、例えば、加速操作部の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。

駆動システム２１は、駆動源としての内燃機関（エンジン）システムやモータシステムである。駆動システム２１は、アクセルセンサ２０により検出された運転者（利用者）の要求操作量（例えばアクセルペダルの踏み込み量）にしたがいエンジンの燃料噴射量や吸気量の制御やモータの出力値を制御する。また、利用者の操作に拘わらず、車両１の走行状態に応じて、操舵システム１３やブレーキシステム１８の制御と協働してエンジンやモータの出力値を制御しうる。

車輪速センサ２２は、各車輪３に設けられ各車輪３の回転量や単位時間当たりの回転数を検出するセンサであり、検出した回転数を示す車輪速パルス数を検出値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されうる。ＣＰＵ１４ａは、車輪速センサ２２から取得した検出値に基づき、車両１の車速や移動量などを演算し、各種制御を実行する。ＣＰＵ１４ａは、各車輪３の車輪速センサ２２の検出値に基づいて車両１の車速を算出する場合、四輪のうち最も小さな検出値の車輪３の速度に基づき車両１の車速を決定し、各種制御を実行する。また、ＣＰＵ１４ａは、四輪の中で他の車輪３に比べて検出値が大きな車輪３が存在する場合、例えば、他の車輪３に比べて単位期間（単位時間や単位距離）の回転数が所定数以上多い車輪３が存在する場合、その車輪３はスリップ状態（空転状態）であると見なし、各種制御を実行する。車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＣＰＵ１４ａは、車輪速センサ２２の検出結果をブレーキシステム１８を介して取得する。

シフトセンサ２３は、例えば、変速操作部の可動部の位置を検出するセンサである。シフトセンサ２３は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２３は、変位センサを含んでもよいし、スイッチとして構成されてもよい。

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

本実施形態において、ＥＣＵ１４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、表示装置８に表示する画像の画像生成処理を司る。ＥＣＵ１４は、撮像部１５が撮像した撮像画像データ（撮像画像）に画像処理、例えば視点変換処理等を施して生成した車両周囲画像に、車両１(自車両)の位置および仮想視点から車両１を臨む場合の車両１の向きや姿勢を示す自車画像と、車両１（自車画像）を移動させようとする目標位置の少なくとも一方を重畳して表示装置８に表示させる。その場合に、ＥＣＵ１４は、車両１が目標位置に移動する際に、車両１の移動方向に対する目標位置の相対角度に基づき、仮想視点と当該仮想視点から車両１または目標位置の少なくとも一方を含む領域を臨む場合の注視点の少なくとも一方を、移動させながら仮想視点画像を生成する。なお、仮想視点は、車両１を挟んで目標位置を臨む位置に設定される。また、仮想視点画像は、仮想視点と注視点との距離を維持するとともに仮想視点と注視点の高さを維持した状態で生成される。

図３は、ＣＰＵ１４ａで周辺表示制御装置を実現する場合の構成を例示的かつ模式的に示すブロック図である。ＣＰＵ１４ａは、ＲＯＭ１４ｂから読み出した周辺表示制御プログラムを実行することにより周辺表示制御部３０を実現する。周辺表示制御部３０（周辺表示制御装置）は、その機能を実現するための各種モジュールを含む。周辺表示制御部３０は、例えば、画像取得部３２、目標取得部３４、画像生成部３６、出力部３８等を含む。また、画像生成部３６は、自車両位置取得部３６ａ、相対角取得部３６ｂ、仮想視点設定部３６ｃ、注視点設定部３６ｄ、視点／注視点変更部３６ｅ、仮想視点画像生成部３６ｆ等の詳細モジュールを含む。

画像取得部３２は、各撮像部１５が撮像した撮像画像データ（撮像画像）を、表示制御部１４ｄを介して取得する。各撮像部１５(１５ａ～１５ｄ)は、図４に示すような被撮像領域４０を撮像可能である。各被撮像領域４０は、隣接する被撮像領域４０の一部が互いに重なった重複領域４２を含む。重複領域４２を形成することにより被撮像領域４０を繋ぎ合わせるときに欠落領域が生じないようにしている。例えば、被撮像領域４０のうち撮像部１５ｃが撮像した車両１の前方の被撮像領域４０Ｆの車幅方向左側と、撮像部１５ｄが撮像した車両１の左側方の被撮像領域４０ＳＬの車両前方側とは、重複領域４２ＦＬを形成する。被撮像領域４０のうち被撮像領域４０ＳＬの車両後方側と、撮像部１５ａが撮像した車両１の後方の被撮像領域４０Ｒの車幅方向左側とは、重複領域４２ＲＬを形成する。被撮像領域４０のうち被撮像領域４０Ｒの車幅方向右側と、撮像部１５ｂが撮像した車両１の右側方の被撮像領域４０ＳＲの車両後方側とは、重複領域４２ＲＲを形成する。そして、被撮像領域４０のうち被撮像領域４０ＳＲの車両前方側と被撮像領域４０Ｆの車幅方向右側とは、重複領域４２ＦＲを形成する。各撮像部１５は、撮像した撮像画像データに撮像部１５ごとの識別符号を添付して画像取得部３２に出力してもよいし、画像取得部３２側で取得した撮像画像データごとに出力元を識別する識別符号を添付するようにしてもよい。

目標取得部３４は、車両１が移動する目標位置を取得する。目標位置は、例えば利用者が手動で指定することで取得してもよいし、ＣＰＵ１４ａ（ＥＣＵ１４）が車両１の駐車支援等の走行支援を行う過程で自動で取得してもよい。目標位置は、例えば利用者が表示装置８に表示される、撮像部１５で撮像された撮像画像上の任意の位置を操作入力部１０等を用いて指定してもよい。また、ＣＰＵ１４ａ（ＥＣＵ１４）が撮像部１５の撮像画像から、車両１の周辺の路面に示された区画線等を識別して、区画線等で示された駐車区画を検出可能な場合、検出された駐車区画の中から目標位置を指定させるようにしてもよい。また、周知の駐車支援や走行支援において、目標位置に移動する過程で切り返しを行う位置や一旦停止する位置等を目標位置としてもよい。目標位置の取得は、これらの例に限定されず、車両１を移動させるべき位置が取得できれば、他の方法で取得するものでもよい。

画像生成部３６は、画像取得部３２が取得した撮像画像データ（撮像画像）に基づき車両１の周囲の状況を仮想空間で示して、車両１が現在の位置から目標位置まで移動する過程を示す仮想視点画像を生成する。具体的には、図４で説明したように、各被撮像領域４０を重複領域４２が形成されるように繋ぎ合わせて、車両１の周囲（例えば３６０°）を示す二次元合成画像データを作成する。なお、重複領域４２においては、重複する撮像画像データのブレンド処理を実行してもよい。例えば、重複領域４２ＦＬにおいて、前方の被撮像領域４０Ｆの撮像画像データと左側方の被撮像領域４０ＳＬの撮像画像データのそれぞれａ％を利用して画像をブレンドするブレンド処理を実行する。ブレンド処理を実行することにより、前方の被撮像領域４０Ｆと左側方の被撮像領域４０ＳＬとが、徐々に変化するように合成され、明るさや色合いの違いによって生じる境界線を目立ちにくくすることができる。同様に、他の重複領域４２についてもブレンド処理を施すことで、合成した二次元合成画像データ全体において境界線を目立ちにくくすることができる。

続いて、画像生成部３６は、ＲＯＭ１４ｂ等に予め記憶された、図５に示すような、三次元形状モデルである仮想投影面Ｓｐを読み出す。仮想投影面Ｓｐは、座標（Ｘ，Ｙ，Ｚ）が規定されるメッシュ構造のデータで、合成した二次元合成画像データの各画素のデータが、メッシュの交点（座標Ｘ，Ｙ，Ｚで規定される交点）に投影される。

仮想投影面Ｓｐは、例えば、図５に示すように、地面Ｇｒに沿った底面Ｓｐｇと、底面Ｓｐｇすなわち地面Ｇｒから立ち上がった側面Ｓｐｓと、を有している。地面Ｇｒは、車両１の高さ方向（上下方向：Ｙ）と直交する水平面（Ｘ－Ｚ平面）であり、車輪３の接地面でもある。底面Ｓｐｇは、例えば略円形の平坦面であり、車両１を基準とする水平面である。側面Ｓｐｓは、底面Ｓｐｇと接して底面Ｓｐｇの一部から高さ方向に立ち上り底面Ｓｐｇの一部を取り囲む、例えば曲面である。図５に示されるように、側面Ｓｐｓについて、垂直方向（車両１の上下方向：Ｙ）に断面を取った場合の仮想断面の形状は、例えば、楕円状の一部あるいは放物線状である。側面Ｓｐｓは、例えば、車両１を中心として高さ方向（Ｙ）に沿う中心線周りの回転面として構成される。つまり、側面Ｓｐｓは、車両１の周囲を取り囲んでいる。二次元合成画像データを仮想投影面Ｓｐに投影することにより、車両１を中心として周囲状況を示す三次元の車両周囲画像（データ）を生成することができる。なお、別の例では、二次元合成画像データ生成することなく、仮想投影面Ｓｐに撮像部１５の撮像した撮像画像データを投影するようにしてもよい。車両周囲画像の生成手法は、一例であり、周知の周辺画像生成技術を利用することができる。

このように生成される三次元の車両周囲画像（データ）は、仮想視点の位置を変化させることにより、車両１の周囲の状況を任意の視点から見た場合の画像とすることができる。例えば、図５に示すように、車両１（自車両）を挟んで目標位置(例えば車両１の前方の位置)を、例えば車両１より高い位置から臨むような（例えば、見下ろすような）位置に仮想視点Ｅを設定する。また、この仮想視点Ｅから車両１または目標位置の少なくとも一方を含む領域を臨む場合の視点の方向である注視点Ｔを設定する。この場合、三次元の車両周囲画像は、車両１の後方上空から車両１を見下ろしつつ、車両１の前方の領域を表示するような仮想視点画像となる。また、仮想視点Ｅの位置を車両１の右側方上空に設定する場合、車両１を挟んで、車両１の左側方を臨むような三次元の車両周囲画像(仮想視点画像)となる。なお、本実施形態の画像生成部３６は、仮想視点Ｅと注視点Ｔとの距離を維持するとともに仮想視点Ｅと注視点Ｔの高さを維持した状態で仮想視点画像を生成する。その結果、生成される仮想視点画像は、車両１が目標位置Ｐに向かって移動した場合でも、地面Ｇｒに対して平行に移動することになり、仮想視点Ｅから目標位置や周辺の立体物を見下ろす角度は変化しない。仮想視点Ｅから目標位置や周辺の立体物を見下ろす角度が変化しないことに基づく効果は、図面を用いて後述する。

上述したような仮想視点画像を生成するために、画像生成部３６は、上述したように、自車両位置取得部３６ａ、相対角取得部３６ｂ、仮想視点設定部３６ｃ、注視点設定部３６ｄ、視点／注視点変更部３６ｅ、仮想視点画像生成部３６ｆ等の詳細モジュールを含む。

自車両位置取得部３６ａは、例えば、操作入力部１０等を介して利用者から周辺表示要求がなされた場合に、相対座標系上の原点に車両１の例えば中心位置を設定し、この位置を自車両位置とする。なお、車両１の中心位置とは、例えば、車両１の車幅方向の中点を通る前後方向線と、車長方向の中点を通る車幅方向線との交点、またはこの交点から法線を引き地面Ｇｒと交わる点とすることができる。

相対角取得部３６ｂは、車両１の移動方向に対して目標位置が存在する方向で規定される相対角度を取得する。図６には、車両１と目標位置Ｐとが示されている。図６の場合、目標位置Ｐを含む目標領域Ｐｔが併せて示されている。前述したように、目標位置Ｐは、目標取得部３４によって取得された位置であり、例えば、利用者が操作入力部１０等を用いて指定した位置である。相対角取得部３６ｂは、相対座標系上で、車両１の中心位置Ｃｇを通り車長方向（前後方向）に延びる第１方向線Ｌ１と、中心位置Ｃｇと目標位置Ｐとを通る第２方向線Ｌ２とが成す角度を相対角度θとして取得する。

仮想視点設定部３６ｃは、相対角取得部３６ｂで取得した相対角度θに基づき、仮想視点Ｅの位置を設定する。仮想視点画像は、車両１が目標位置Ｐに移動する過程で、車両１に関連する周囲の状況を利用者に認識させる画像であるため、仮想視点画像には、車両１と目標位置Ｐの少なくとも一方が写っていることが望ましい。そのため、仮想視点Ｅは、車両１を挟んで目標位置Ｐとは反対側に設定されることが望ましい。本実施形態の仮想視点設定部３６ｃは、例えば、図６に示されるように、目標位置Ｐと中心位置Ｃｇとを結ぶ第２方向線Ｌ２を車両１を超えて延ばした延長線と、車両１を取り囲むように設定された、中心位置Ｃｇを中心とする例えば半径ｒの仮想円４４との交点を視点方向参照点Ｅ０とする。そして、仮想視点設定部３６ｃは、視点方向参照点Ｅ０を、仮想円４４を底面として地面Ｇｒに対して垂直に立ち上がる仮想円筒４４Ａの外周面上を高さ方向に距離ｈだけ移動した位置を仮想視点Ｅとする。

注視点設定部３６ｄは、車両１または目標位置Ｐの少なくとも一方を含む領域を臨むように注視点Ｔを設定する。注視点Ｔは、仮想視点画像を表示する場合に、主として注目したい位置に設定する。例えば、図６に示されるように、車両１の中心位置Ｃｇと同じ位置に設定してもよいし、車両１と目標位置Ｐとの間の位置に設定してもよいし、目標位置Ｐと同じ位置に設定してもよい。注視点Ｔは、予め初期設定位置として設定されてもよいし、仮想視点画像を表示するたびに、利用者が操作入力部１０等を用いて手動で設定できるようにしてもよい。

視点／注視点変更部３６ｅは、車両１が目標位置Ｐに移動する際に車両１の挙動に対応して、相対座標系上の仮想視点Ｅの位置と注視点Ｔの位置を変更する。ただし、視点／注視点変更部３６ｅは、仮想視点Ｅから注視点Ｔまでの距離を維持するとともに仮想視点Ｅと注視点Ｔの高さを維持した状態で仮想視点Ｅの位置と注視点Ｔの位置を変更する。つまり、仮想視点Ｅと注視点Ｔとの相対関係を維持したまま、地面Ｇｒに対して平行に移動させる。例えば、車両１が目標位置Ｐに接近するように移動すれば、仮想視点Ｅと注視点Ｔとは相対位置関係を維持したまま目標位置Ｐに近づくように位置が変更されうる。また、目標位置Ｐに対して車両１が旋回する場合は、仮想視点Ｅと注視点Ｔとは相対位置関係を維持したまま車両１の旋回角度に応じて仮想視点Ｅが仮想円筒４４Ａの外周面上を地面Ｇｒと平行に移動しつつ、注視点Ｔが移動しうる。なお、視点／注視点変更部３６ｅは、車両１が目標位置Ｐへの移動を完了した場合、仮想視点Ｅの高さを変更させることができる。例えば、仮想視点Ｅの位置を少し下げる。この場合、仮想視点画像の見え方が変化し、車両１が目標位置に到達したことを利用者に理解させやすい仮想視点画像を生成することができる。

仮想視点画像生成部３６ｆは、視点／注視点変更部３６ｅによる仮想視点Ｅや注視点Ｔの位置の変更にしたがい、つまり、車両１の移動（挙動）にしたがい、画像取得部３２が取得した撮像画像データ（撮像画像）を図５に示すような仮想投影面Ｓｐに投影する。その結果、車両１の移動（挙動）に対応して、変化する仮想視点画像を逐次更新することができる。出力部３８は、仮想視点画像生成部３６ｆで生成された仮想視点画像を表示制御部１４ｄを介して表示装置８に出力し表示させる。

このように構成される周辺表示制御部３０を用いて生成される仮想視点画像の表示例を図６～図１４を用いて説明する。なお、参考例として、周辺に存在する立体物が変形し易い表示例を図１５～図１７を用いて示す。また、図１８は、車両１が目標位置Ｐへの移動を完了した場合に、視点／注視点変更部３６ｅが仮想視点Ｅの高さを変更する場合の仮想視点画像の表示例である。

＜実施形態１＞
図６～図８は、実施形態１として、注視点設定部３６ｄにより注視点Ｔが車両１の中心位置Ｃｇに設定された場合である。なお、実施形態１において、注視点Ｔは、例えば、地面Ｇｒと同じ高さに設定する例を示すが、これに限定されない。また、この例では、仮想視点画像の表示要求が行われた時点で、画像取得部３２により車両１の周囲の撮像画像が取得され、目標取得部３４により例えば車両１の右斜め前方の位置が目標位置Ｐ（目標領域Ｐｔ）として取得（指定）されたものとする。

前述したように、仮想視点画像の表示要求が行われると、自車両位置取得部３６ａは、車両１の現在の位置（例えば、中心位置Ｃｇ）を相対座標系上の原点位置に設定して、この位置を自車両位置として取得する。続いて、相対角取得部３６ｂは相対座標系上で車両１の中心位置Ｃｇを通り車長方向に延びる第１方向線Ｌ１と、中心位置Ｃｇと目標位置Ｐとを通る第２方向線Ｌ２とが成す角度を相対角度θとして取得する。そして、仮想視点設定部３６ｃは、相対角取得部３６ｂで取得した相対角度θに基づき、仮想視点Ｅの位置を設定する。図６の場合、前述したように、仮想視点設定部３６ｃは、車両１を超えて延ばした第２方向線Ｌ２の延長線と、車両１の中心位置Ｃｇを中心とする半径ｒ(例えば、ｒ＝４ｍ)の仮想円４４との交点位置を視点方向参照点Ｅ０とする。そして、図７に示すように、仮想視点設定部３６ｃは、視点方向参照点Ｅ０を仮想円筒４４Ａの外周面上で高さ方向に距離ｈ(例えば、２ｍ)だけ移動して、その位置に仮想視点Ｅを設定する。実施形態１の場合、図６、図７に示すように、仮想視点Ｅは、車両１の左斜め後方の上空に設定される例である。視点／注視点変更部３６ｅは、車両１と目標位置Ｐ（目標領域Ｐｔ）との相対位置の変化に応じて（目標位置Ｐに対する車両１の移動状況に応じて）、仮想視点Ｅと注視点Ｔの位置を変化させる。この場合、仮想視点Ｅと注視点Ｔは、一定の関係を維持した状態で車両１の挙動にしたがって移動することになる。つまり、図６、図７に矢印Ｆ１で示されるように、仮想視点Ｅと注視点Ｔとの距離が維持された状態で、かつ仮想視点Ｅと注視点Ｔの高さが維持された状態で、仮想視点Ｅと注視点Ｔとが、車両１の挙動に応じて位置を変えることになる。そして、仮想視点画像生成部３６ｆは、図５で説明したように、仮想視点Ｅから注視点Ｔを見た場合の撮像画像を仮想投影面Ｓｐに投影することにより仮想視点画像を逐次生成する。

図８は、仮想視点Ｅと注視点Ｔとの距離を維持した状態で、かつ仮想視点Ｅと注視点Ｔの高さを維持した状態で、車両１に対応する自車画像１Ａが目標位置Ｐ（目標領域Ｐｔ）に向かって、移動する場合の仮想視点画像４６Ａの推移を示す図である。図８は、一例として、仮想視点画像４６Ａと、車両１を真上から見下ろした場合の俯瞰画像４６Ｂとを並べて表示装置８に表示させた例である。なお、仮想視点画像４６Ａに表示する自車画像１Ａは、予めＲＯＭ１４ｂ等に記憶された画像データである。自車画像１Ａは、車両１の形状を示す画像であり、車両１の構成面（表面）は、例えば、複数のポリゴンで構成することができる。つまり、自車画像１Ａは、複数のポリゴン（主として三角形のポリゴン）により表示された立体的な形状（三次元の形状）である。これにより、よりリアリティのある自車画像１Ａを表示することができる。また、複数のポリゴンで構成される自車画像１Ａは、Ｘ軸、Ｙ軸、Ｚ軸それぞれに対して回転可能であり、仮想視点Ｅの位置に応じて自車画像１Ａを所望の方向に向けることができる。一方、俯瞰画像４６Ｂに表示する自車画像１Ａは、車両１を直上から俯瞰視した固定の画像としてＲＯＭ１４ｂ等に記憶された画像を用いることができる。他の実施形態で示す自車画像１Ａも同様である。

なお、図８に示すように、俯瞰画像４６Ｂの場合、車両１（自車画像１Ａ）の周囲に存在する立体物（例えば、他車両４８等）の形状は、仮想視点Ｅを車両１（自車画像１Ａ：注視点Ｔ）の直上の位置に設定するため、車両１と他車両４８との相対位置関係により他車両４８の見え方（歪み具合や延び具合等）が異なる。その一方で、俯瞰視することにより、車両１（自車画像１Ａ）から周囲の立体物（他車両４８等）までの距離や形状の把握が、仮想視点Ｅが注視点Ｔの直上に存在することがない仮想視点画像４６Ａに比べて容易になる。したがって、図８に示すように、仮想視点画像４６Ａと俯瞰画像４６Ｂとを並べて表示することにより、車両１の周囲の状況を利用者により認識させやすい表示を行うことができる。

図６、図７に示すように実施形態１の場合、仮想視点Ｅは、車両１の中心位置Ｃｇを中心とする仮想円筒４４Ａ（仮想円４４）上に設定される。そして、仮想視点Ｅは、仮想円筒４４Ａの同じ高さ（例えば、ｈ＝２ｍ）で、車両１の中心位置Ｃｇに設定された注視点Ｔを見下ろしながら相対角取得部３６ｂの取得する相対角度θにしたがって地面Ｇｒと平行に移動する。つまり、仮想視点Ｅから車両１を見下ろす角度および車両１の周囲に存在する立体物（例えば、他車両４８等）を見下ろす角度は、それぞれ実質的に変化しない。その結果、車両１が目標位置Ｐ（目標領域Ｐｔ）に向かって移動するのに伴い仮想視点Ｅが仮想円筒４４Ａ上を周方向に移動する場合でも、図８に示されるように、車両１および周囲に存在する他車両４８等は、仮想視点Ｅの位置に応じて地面Ｇｒ上を回転しているように見えることになる。この場合、自車画像１Ａの見かけの大きさは実質的に変化しない。また、図８に示されるように、車両１（自車画像１Ａ）が目標位置Ｐ（目標領域Ｐｔ）に徐々に近づく場合、周辺に存在する他車両４８等は、仮想視点Ｅからの距離に応じて、拡大されながら近づいてくることになるので、車両１の移動の過程で形状が不自然に伸縮したり歪んだりすることが抑制される。

このように、本実施形態の周辺表示制御部３０（周辺表示制御装置）によれば、仮想視点画像４６Ａを表示する場合、車両１（自車画像１Ａ）の周囲に存在する立体物の見え方（歪み具合や延び具合等）の変化を抑制することができる。その結果、仮想視点画像４６Ａのリアリティ性の低下を回避させつつ、目標位置Ｐ（目標領域Ｐｔ）に近づく車両１（自車画像１Ａ）の挙動を把握させやすい表示ができる。

＜実施形態２＞
図９～図１１は、実施形態２として、注視点設定部３６ｄにより注視点Ｔが車両１の中心位置Ｃｇを中心とする仮想円上に設定される場合である。なお、実施形態２において、注視点Ｔは、例えば、地面Ｇｒと同じ高さに設定する例を示すが、これに限定されない。実施形態２の場合、視点方向参照点Ｅ０を設定するための半径ｒ１の第１仮想円５０とは別の、第１仮想円５０の半径ｒ１より大きな半径ｒ２の第２仮想円５２上に注視点Ｔを設定する例を示している。なお、別の実施例では、視点方向参照点Ｅ０と注視点Ｔを同一の半径の仮想円上に設定してもよい。また、実施形態２の場合も実施形態１と同様に、仮想視点画像の表示要求が行われた時点で、画像取得部３２により車両１の周囲の撮像画像が取得され、目標取得部３４により例えば車両１の右斜め前方の位置が目標位置Ｐ（目標領域Ｐｔ）として取得（指定）されたものとする。

実施形態１と同様に、仮想視点画像の表示要求が行われると、自車両位置取得部３６ａは、車両１の現在の位置（例えば、中心位置Ｃｇ）を相対座標系上の原点位置に設定して、この位置を自車両位置として取得する。続いて、相対角取得部３６ｂは相対座標系上で車両１の中心位置Ｃｇを通り車長方向に延びる第１方向線Ｌ１と、中心位置Ｃｇと目標位置Ｐとを通る第２方向線Ｌ２とが成す角度を相対角度θとして取得する。そして、仮想視点設定部３６ｃは、相対角取得部３６ｂで取得した相対角度θに基づき、仮想視点Ｅの位置を設定する。図９の場合、仮想視点設定部３６ｃは、車両１を超えて延ばした第２方向線Ｌ２の延長線と、車両１の中心位置Ｃｇを中心とする半径ｒ１(例えば、ｒ＝４ｍ)の第１仮想円５０との交点位置を視点方向参照点Ｅ０とする。そして、図１０に示すように、仮想視点設定部３６ｃは、視点方向参照点Ｅ０を仮想円筒５０Ａの外周面上で高さ方向に距離ｈ(例えば、２ｍ)だけ移動して、その位置に仮想視点Ｅを設定する。実施形態２の場合、図９、図１０に示すように、仮想視点Ｅは、車両１の左斜め後方の上空に設定される例である。視点／注視点変更部３６ｅは、車両１と目標位置Ｐ（目標領域Ｐｔ）との相対位置の変化に応じて（目標位置Ｐに対する車両１の移動状況に応じて）、仮想視点Ｅと注視点Ｔの位置を変化させる。この場合、仮想視点Ｅと注視点Ｔは、一定の関係を維持した状態で車両１の挙動にしたがって移動することになる。つまり、図９、図１０に矢印Ｆ２で示されるように、仮想視点Ｅと注視点Ｔとの距離が維持された状態で、かつ仮想視点Ｅと注視点Ｔの高さが維持された状態で、仮想視点Ｅと注視点Ｔとが、車両１の挙動に応じて位置を変えることになる。そして、仮想視点画像生成部３６ｆは、図５で説明したように、仮想視点Ｅから注視点Ｔを見た場合の撮像画像を仮想投影面Ｓｐに投影することにより仮想視点画像を逐次生成する。

図１１は、仮想視点Ｅと注視点Ｔとの距離を維持した状態で、かつ仮想視点Ｅと注視点Ｔの高さを維持した状態で、車両１に対応する自車画像１Ａが目標位置Ｐ（目標領域Ｐｔ）に向かって、移動する場合の仮想視点画像４６Ａの推移を示す図である。図１１の場合も仮想視点画像４６Ａと俯瞰画像４６Ｂとを並べて表示装置８に表示させた例である。

図９、図１０に示すように実施形態２の場合も、仮想視点Ｅは、車両１の中心位置Ｃｇを中心とする仮想円筒５０Ａ（第１仮想円５０）上に設定される。そして、仮想視点Ｅは、仮想円筒５０Ａの同じ高さ（例えば、ｈ＝２ｍ）で、車両１の中心位置Ｃｇを中心とする第２仮想円５２上に設定された注視点Ｔを見下ろしながら相対角取得部３６ｂの取得する相対角度θにしたがって地面Ｇｒと平行に移動する。つまり、仮想視点Ｅから車両１を見下ろす角度および車両１の周囲に存在する立体物（例えば、他車両４８等）を見下ろす角度は、それぞれ実質的に変化しない。その結果、車両１が目標位置Ｐ（目標領域Ｐｔ）に向かって移動するのに伴い仮想視点Ｅが仮想円筒５０Ａ上を周方向に移動する場合（注視点Ｔが第２仮想円５２上を周方向に移動する場合）でも、図１１に示されるように、車両１（自車画像１Ａ）および周囲に存在する他車両４８等は、仮想視点Ｅの位置に応じて地面Ｇｒ上を回転しているように見えることになる。この場合、自車画像１Ａの見かけの大きさは実質的に変化しない。また、図１１に示されるように、車両１（自車画像１Ａ）が目標位置Ｐ（目標領域Ｐｔ）に徐々に近づく場合、周辺に存在する他車両４８等は、仮想視点Ｅからの距離に応じて、拡大されながら近づいてくることになるので、車両１の移動の過程で形状が不自然に伸縮したり歪んだりすることが抑制される。

このように、本実施形態の周辺表示制御部３０（周辺表示制御装置）によれば、仮想視点画像４６Ａを表示する場合、車両１（自車画像１Ａ）の周囲に存在する立体物の見え方（歪み具合や延び具合等）の変化を抑制することができる。その結果、仮想視点画像４６Ａのリアリティ性の低下を回避することができる。また、実施形態２のように、注視点Ｔを車両１の中心位置Ｃｇより目標位置Ｐに近い位置に設定することにより、仮想視点Ｅからの視野に車両１および目標位置Ｐ（目標領域Ｐｔ）を含め易くなる。その結果、周辺の立体物の見え方（歪み具合や延び具合等）の変化抑制を行いつつ、車両１が目標位置Ｐ（目標領域Ｐｔ）に近づく過程において、車両１（自車画像１Ａ）と目標位置Ｐ（目標領域Ｐｔ）との位置関係を利用者により把握させやすい表示が可能になる。

＜実施形態３＞
図１２～図１４は、実施形態３として、注視点設定部３６ｄにより注視点Ｔが、例えば目標位置Ｐに設定されるとともに、仮想視点Ｅが目標位置Ｐを中心とする仮想円筒上を移動する場合である。すなわち、車両１が目標位置Ｐに接近する場合でも仮想視点Ｅは、目標位置Ｐ（目標領域Ｐｔ）に接近しない。なお、実施形態３において、注視点Ｔは、例えば、地面Ｇｒと同じ高さに設定する例を示すが、これに限定されない。また、実施形態３の場合も実施形態１、実施形態２と同様に、仮想視点画像の表示要求が行われた時点で、画像取得部３２により車両１の周囲の撮像画像が取得され、目標取得部３４により例えば車両１の右斜め前方の位置が目標位置Ｐ（目標領域Ｐｔ）として取得（指定）されたものとする。

実施形態１、実施形態２と同様に、仮想視点画像の表示要求が行われると、自車両位置取得部３６ａは、車両１の現在の位置（例えば、中心位置Ｃｇ）を相対座標系上の原点位置に設定して、この位置を自車両位置として取得する。続いて、相対角取得部３６ｂは相対座標系上で車両１の中心位置Ｃｇを通り車長方向に延びる第１方向線Ｌ１と、中心位置Ｃｇと目標位置Ｐとを通る第２方向線Ｌ２とが成す角度を相対角度θとして取得する。そして、仮想視点設定部３６ｃは、相対角取得部３６ｂで取得した相対角度θに基づき、仮想視点Ｅの位置を設定する。図１２の場合、仮想視点設定部３６ｃは、車両１を超えて延ばした第２方向線Ｌ２の延長線と、目標位置Ｐを中心とする半径Ｒ(例えば、Ｒ＝１０ｍ)の仮想円５４との交点位置を視点方向参照点Ｅ０とする。そして、図１３に示すように、仮想視点設定部３６ｃは、視点方向参照点Ｅ０を仮想円筒５４Ａの外周面上で高さ方向に距離ｈ(例えば、２ｍ)だけ移動して、その位置に仮想視点Ｅを設定する。実施形態３の場合、図１２、図１３に示すように、仮想視点Ｅは、車両１の左斜め後方の上空に設定される例である。視点／注視点変更部３６ｅは、車両１と目標位置Ｐ（目標領域Ｐｔ）との相対位置の変化に応じて（目標位置Ｐに対する車両１の移動状況に応じて）、仮想視点Ｅを仮想円筒５４Ａの周方向に移動させ得るが、注視点Ｔの位置は変化させない。つまり、図１２、図１３に矢印Ｆ３で示されるように、仮想視点Ｅと注視点Ｔとの距離が維持された状態で、かつ仮想視点Ｅと注視点Ｔの高さが維持された状態で、仮想視点Ｅは注視点Ｔを中心として円軌道上を移動することになる。その結果、車両１（自車画像１Ａ）の移動開始（例えば、仮想視点画像の表示開始時）から移動完了までの間、目標位置Ｐ（目標領域Ｐｔ）は、仮想視点画像に表示続けられる。そして、仮想視点画像生成部３６ｆは、図５で説明したように、仮想視点Ｅから注視点Ｔを見た場合の撮像画像を仮想投影面Ｓｐに投影することにより仮想視点画像を逐次生成する。この場合、自車画像１Ａは、目標位置Ｐ（目標領域Ｐｔ）に接近するのにしたがい徐々に遠ざかるように小さく表示されることになる。

図１４は、注視点Ｔと目標位置Ｐとが同じ位置に設定され、かつ仮想視点Ｅと注視点Ｔとの距離を維持した状態で、かつ仮想視点Ｅと注視点Ｔの高さを維持した状態で、車両１に対応する自車画像１Ａが目標位置Ｐ（目標領域Ｐｔ）に向かって、移動する場合の仮想視点画像４６Ａの推移を示す図である。図１４の場合も仮想視点画像４６Ａと俯瞰画像４６Ｂとを並べて表示装置８に表示させた例である。

図１２、図１３に示すように実施形態３の場合、仮想視点Ｅは、目標位置Ｐを中心とする仮想円筒５４Ａ（仮想円５４）上に設定される。そして、仮想視点Ｅは、仮想円筒５４Ａの同じ高さ（例えば、ｈ＝２ｍ）で、仮想視点Ｅから常に同じ距離に存在する注視点Ｔを見下ろしながら相対角取得部３６ｂの取得する相対角度θにしたがって地面Ｇｒと平行に仮想円筒５４Ａ上を周方向に移動し得る。この場合の、仮想視点Ｅから注視点Ｔまでの距離は、常に一定となるので、仮想視点Ｅから車両１を見下ろす角度および車両１の周囲に存在する立体物（例えば、他車両４８等）を見下ろす角度は、それぞれ実質的に変化しない。その結果、車両１が目標位置Ｐ（目標領域Ｐｔ）に向かい移動するのに伴い仮想視点Ｅが仮想円筒５４Ａ上を周方向に移動する場合でも、図１４に示されるように、車両１および周囲に存在する他車両４８等は、仮想視点Ｅの位置に応じて地面Ｇｒ上を回転しているように見えることになる。この場合、自車画像１Ａの見かけの大きさは目標位置Ｐ（目標領域Ｐｔ）に近づくにしたがい徐々に小さくなる。また、図１４に示されるように、車両１（自車画像１Ａ）が目標位置Ｐ（目標領域Ｐｔ）に徐々に近づく場合、周辺に存在する他車両４８等は、仮想視点Ｅの位置に応じて向きが変化するが、車両１の移動の過程で形状が不自然に伸縮したり歪んだりすることは抑制される。

このように、本実施形態の周辺表示制御部３０（周辺表示制御装置）によれば、仮想視点画像４６Ａを表示する場合、車両１（自車画像１Ａ）の周囲に存在する立体物の見え方（歪み具合や延び具合等）の変化を抑制することができる。その結果、仮想視点画像４６Ａのリアリティ性の低下を回避することができる。また、実施形態３のように、仮想視点Ｅを目標位置Ｐに設定した注視点Ｔを中心とする仮想円筒５４Ａ上に設定することにより、目標位置Ｐ（目標領域Ｐｔ）を仮想視点画像４６Ａに表示し続けることができる。その結果、周辺の立体物の見え方（歪み具合や延び具合等）の変化抑制を行いつつ、車両１が目標位置Ｐ（目標領域Ｐｔ）に近づく過程において、目標位置Ｐを実質的に同じ位置に表示し続けるような、目標位置Ｐ（目標領域Ｐｔ）を利用者により認識させやすい表示が可能になる。

＜比較例＞
図１５～図１７は、比較例として、注視点Ｔが目標位置Ｐに設定され、仮想視点Ｅが車両１の中心位置Ｃｇを中心とする仮想円筒６４Ａ（仮想円６４）上に設定された場合である。この比較例においても、仮想視点画像の表示要求が行われた時点で、車両１の周囲の撮像画像が取得され、例えば車両１の右斜め前方の位置が目標位置Ｐ（目標領域Ｐｔ）が指定されたものとする。

比較例においても、仮想視点画像の表示要求が行われると、車両１の現在の位置（例えば、中心位置Ｃｇ）を相対座標系上の原点位置に設定して、この位置を自車両位置とるす。続いて、相対座標系上で車両１の中心位置Ｃｇを通り車長方向に延びる第１方向線Ｌ１と、中心位置Ｃｇと目標位置Ｐとを通る第２方向線Ｌ２とが成す角度を相対角度θとする。そして、仮想視点Ｅは、車両１を超えて延ばした第２方向線Ｌ２の延長線と、車両１の中心位置Ｃｇを中心とする半径ｒ(例えば、ｒ＝４ｍ)の仮想円６４との交点位置を視点方向参照点Ｅ０とする。そして、図１６に示すように、視点方向参照点Ｅ０を仮想円筒６４Ａの外周面上で高さ方向に距離ｈ(例えば、２ｍ)だけ移動した位置に仮想視点Ｅを設定する。比較例の場合、図１５、図１６に示すように、仮想視点Ｅは、車両１の左斜め後方の上空に設定される例である。比較例の場合、仮想視点Ｅは、車両１の移動に伴い仮想円筒６４Ａ上を周方向に移動しながら、目標位置Ｐ（注視点Ｔ）に向かって接近して行く。したがって、仮想視点Ｅと注視点Ｔの距離が徐々に小さくなり、車両１が目標位置Ｐに到達した場合には、仮想視点Ｅは注視点Ｔを直上から見下ろし、俯瞰視することになる。つまり、図１５、図１６に矢印Ｆ４で示されるように、仮想視点Ｅと注視点Ｔとの距離が車両１の移動（目標位置Ｐへの接近）に伴い短くなる。そして、仮想視点Ｅから注視点Ｔを見た場合の撮像画像を仮想投影面Ｓｐに逐次投影すると、仮想視点Ｅから車両１を見下ろす角度や車両１の周囲に存在する立体物（例えば、他車両４８等）を見下ろす角度が変化する。その結果、図１７に示すように、自車画像１Ａの周囲に存在する他車両４８等の立体物の見え方（歪み具合や延び具合等）が変化してしまう。例えば、他車両４８が徐々に肥大するとともに延びて仮想視点画像４６Ａのリアリティ性が低下してしまう。その結果、他車両４８等の立体物のまでの距離や形状の把握をさせ難くしてしまったり、また、静止物であるにも拘わらず、表示が肥大化したり延びたりすることにより、移動しているように見えてしまう場合がある。また、車両１（自車画像１Ａ）が目標位置Ｐに到達した場合には、俯瞰視となるため、仮想視点画像４６Ａと俯瞰画像４６Ｂとが実質的に同じ表示内容となり、二画面で表示する意味が低下してしまう。

このように、仮想視点Ｅと注視点Ｔとの距離を維持しない比較例の場合、仮想視点画像４６Ａのリアリティ性が低下して、表示品質の低下を招いてしまう。一方、仮想視点Ｅと注視点Ｔとの距離を維持した状態で仮想視点画像を生成する本実施形態１～実施形態３の場合、仮想視点画像４６Ａのリアリティ性の低下を回避することができる。また、二画面表示を行う場合、仮想視点画像４６Ａの表示によるリアリティ性の高い表示と、俯瞰画像４６Ｂの表示による周辺の物体との位置関係が把握性し易い表示と、をバランスよく利用者に提供することができる。

なお、図８、図１１、図１４は、仮想視点画像４６Ａと俯瞰画像４６Ｂとを並べて二画面で表示する例を示しているが、仮想視点画像４６Ａとのみ表示でもよく、車両１が目標位置Ｐに対して移動する場合にリアリティ性の高い表示を提供することができる。

図１８は、車両１（自車画像１Ａ）が目標位置Ｐ（目標領域Ｐｔ）に到達する前後の仮想視点画像４６Ａの表示例を説明する図である。前述したように、本実施形態の視点／注視点変更部３６ｅは、車両１が移動している場合、仮想視点Ｅは、所定の高さ（例えば、ｈ＝２ｍ）を維持する。すなわち、仮想視点Ｅから車両１を見下ろす場合の見下ろし角度は変化しない。そのため、車両１（自車画像１Ａ）が目標位置Ｐ（目標領域Ｐｔ）に到達したか否かの判断が難しい場合がある。そこで、視点／注視点変更部３６ｅは、車両１が目標位置Ｐへの移動を完了した場合、仮想視点Ｅの高さを変更する。例えば、仮想視点Ｅの位置を仮想円筒面上で下方に移動する。その結果、車両１に対する仮想視点Ｅの仰角が浅くなり、仮想視点画像４６Ａに表示される自車画像１Ａの挙動が、今までの地面Ｇｒに沿って回転するような態様から別の態様を示す。例えば、自車画像１Ａを今までより低い位置から臨むような画像になる。つまり、前面（後面、側面）を正面から見るような表示となる。したがって、車両１が目標位置Ｐに到達したことを利用者に理解させやすい表示ができる。なお、視点／注視点変更部３６ｅは、目標位置Ｐに到達した場合の自車画像１Ａが、今までと別の挙動を示せばよく、例えば、仮想視点Ｅの位置を仮想円筒面上で上方に移動するようにしてもよく、車両１が目標位置Ｐに到達したことを利用者に理解させやすい表示ができる。また、視点／注視点変更部３６ｅは、車両１が目標位置Ｐに到達した場合（例えば、駐車完了時）に、仮想視点Ｅが車両１の周囲を移動（例えば、同じ高さで一周）するようにしてもよい。この場合、車両１が目標位置Ｐに到達したことを利用者にさらに理解させやすい表示ができる。

＜画像表示処理フロー＞
このように構成される周辺表示制御装置（周辺表示制御部３０）による、画像表示処理の流れの一例を図１９のフローチャートを用いて説明する。なお、図１９のフローチャートは、例えば、車両１の電源がＯＮされている場合に、所定の処理周期で繰り返し実行されるものとする。

まず、周辺表示制御部３０は、利用者が操作入力部１０等を操作して、仮想視点画像４６Ａの表示要求をしているか否かを確認する（Ｓ１００）。要求がない場合（Ｓ１００のＮｏ）、一旦このフローを終了する。一方、周辺表示制御部３０が、仮想視点画像４６Ａの表示要求を確認した場合（Ｓ１００のＹｅｓ）、画像取得部３２は、各撮像部１５が撮像する車両１の周囲の撮像画像データ（撮像画像）を取得する（Ｓ１０２）。続いて、画像生成部３６は、画像取得部３２が取得した現在の撮像画像データ(撮像画像）を用いて車両１の周囲を表示する俯瞰画像４６Ｂを生成して、出力部３８は表示制御部１４ｄを介して表示装置８に出力して表示させる（Ｓ１０４）。なお、この場合、俯瞰画像４６Ｂは、主として目標位置Ｐを設定するために利用するため、表示装置８に全画面表示してもよいし、他の表画像を並べて表示するようにしてもよい。

自車両位置取得部３６ａは、相対座標系上の原点に車両１の例えば中心位置Ｃｇを設定し、この位置を自車両位置とする（Ｓ１０６）。続いて、目標取得部３４は、目標位置Ｐ（目標領域Ｐｔ）が決定されていない場合（Ｓ１０８のＮｏ）、例えば、音声出力装置９から出力する音声ガイドや俯瞰画像４６Ｂ上に表示するガイドメッセージ等を利用者に提供し、操作入力部１０等を介して目標位置Ｐを指定させるとともに、目標位置Ｐの相対位置データを取得する（Ｓ１１０）。なお、Ｓ１０８において、既に目標位置Ｐ（目標領域Ｐｔ）が設定済みの場合（Ｓ１０８のＹｅｓ）、Ｓ１１０の処理をスキップする。

続いて、相対角取得部３６ｂは、図６等で説明したように、相対座標系上で、車両１の中心位置Ｃｇを通り車長方向（前後方向）に延びる第１方向線Ｌ１と、中心位置Ｃｇと目標位置Ｐとを通る第２方向線Ｌ２とが成す角度を相対角度θとして取得する（Ｓ１１２）。そして、仮想視点設定部３６ｃは、図６等で説明したように、まず、仮想円４４を用いて視点方向参照点Ｅ０を取得する。そして、仮想円４４を底面として地面Ｇｒに対して垂直に立ち上がる仮想円筒４４Ａの外周面上を高さ方向に距離ｈだけ移動させて仮想視点Ｅの位置を設定する（Ｓ１１４）。続いて、注視点設定部３６ｄは、車両１または目標位置Ｐの少なくとも一方を含む領域を臨むように注視点Ｔを設定する（Ｓ１１６）。注視点Ｔは、例えば、図６に示すように、車両１の中心位置Ｃｇに設定したり、図９に示すように、第２仮想円５２上に設定したり、図１２に示すように、目標位置Ｐに設定したりすることができる。上述した実施形態１～実施形態３で示したように、注視点Ｔの位置に応じて仮想視点画像４６Ａの表示内容が異なる。したがって、注視点Ｔは、利用者が操作入力部１０等を用いて適宜選択できるようにしてもよいし、予めデフォルトとして注視点設定部３６ｄに設定しておいてもよい。

仮想視点Ｅおよび注視点Ｔが設定されたら、仮想視点画像生成部３６ｆは、図５で説明したように、仮想視点Ｅの位置と注視点Ｔの位置にしたがい、画像取得部３２が取得した撮像画像データ（撮像画像）を仮想投影面Ｓｐに投影し仮想視点画像４６Ａを生成し、出力部３８は、表示制御部１４ｄを介して表示装置８に出力して表示させる（Ｓ１１８）。そして、自車両位置取得部３６ａは、車両１が目標位置Ｐに到達したか判定し、到達していない場合（Ｓ１２０のＮｏ）、Ｓ１０２に移行し、Ｓ１０２以降の処理を繰り返し実行する。この間、車両１が目標位置Ｐに対して移動した場合、視点／注視点変更部３６ｅは、仮想視点Ｅの位置や注視点Ｔの位置を変更し、仮想視点画像生成部３６ｆは、車両１の挙動に応じた仮想視点画像４６Ａを逐次生成して、表示装置８の表示内容を更新し、図８、図１１、図１４等に示すような表示を実行する。

Ｓ１２０において、自車両位置取得部３６ａが、車両１は目標位置Ｐに到達したと判定した場合（Ｓ１２０のＹｅｓ）、視点／注視点変更部３６ｅは、仮想視点Ｅの高さを変更する（Ｓ１２２）。例えば、図１８に示すように、仮想視点Ｅの位置を仮想円筒面上で下方に移動して車両１に対する仮想視点Ｅの仰角を浅くする。その結果、仮想視点画像４６Ａに表示される自車画像１Ａが、今までより低い位置から臨むような画像になり、車両１が目標位置Ｐに到達したことを利用者に理解させやすい表示となる。そして、このフローを終了する。

なお、仮想視点画像４６Ａの表示は、車両１が例えば走行支援装置や駐車支援装置等の制御により、アクセル操作、ブレーキ操作、操舵操作等全ての運転操作が自動で実行されて走行（移動）する場合に実行されることができる。また、一部の運転操作のみが自動制御され、残りの運転操作が運転者に委ねられる半自動制御で走行（移動）する場合に実行されてもよい。また、音声や表示メッセージ等による操作指示のみで、運転者が運転操作を行う手動走行で走行する場合や、操作指示もなく、運転者の意思による運転操作で走行（移動）する場合に実行されてもよい。

このように、実施形態の周辺表示制御装置によれば、車両１を目標位置Ｐに移動させる過程を、仮想視点画像４６Ａで表示する場合に、リアリティ性の低下を回避して、認識し易い違和感が軽減された表示を提供することができる。

なお、上述した各実施形態で示した、仮想視点Ｅの位置や注視点Ｔの位置は、一例である。したがって、仮想視点Ｅから注視点Ｔまでの距離を維持するとともに仮想視点Ｅと注視点Ｔの高さを維持した状態で、仮想視点Ｅの位置と注視点Ｔの位置の少なくとも一方を変更すればよく、仮想視点Ｅと注視点Ｔの位置を適宜変更しても、本実施形態と同様な効果を得ることができる。

実施形態のＣＰＵ１４ａで実行される周辺表示処理のためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、周辺表示処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、実施形態で実行される周辺表示処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 車両、１Ａ 自車画像、８ 表示装置、１０ 操作入力部、１４ ＥＣＵ、１４ａ ＣＰＵ、１５，１５ａ，１５ｂ，１５ｃ，１５ｄ 撮像部、３０ 周辺表示制御部、３２ 画像取得部、３４ 目標取得部、３６ 画像生成部、３６ａ 自車両位置取得部、３６ｂ 相対角取得部、３６ｃ 仮想視点設定部、３６ｄ 注視点設定部、３６ｅ 視点／注視点変更部、３６ｆ 仮想視点画像生成部、３８ 出力部、４４，５４ 仮想円、４４Ａ，５０Ａ，５４Ａ 仮想円筒、４６Ａ 仮想視点画像、４６Ｂ 俯瞰画像、４８ 他車両、５０ 第１仮想円、５２ 第２仮想円、１００ 車両制御システム、Ｅ 仮想視点、Ｅ０ 視点方向参照点、Ｔ 注視点

Claims (5)

1. 自車両の周辺を撮像した撮像画像データを取得する画像取得部と、
   前記自車両が移動する目標位置を取得する目標取得部と、
   前記自車両が前記目標位置に移動する際に、前記自車両の移動方向に対する前記目標位置の相対角度に基づき、前記自車両を挟んで前記目標位置を臨む位置に設定される仮想視点と当該仮想視点から前記自車両または前記目標位置の少なくとも一方を含む領域を臨む場合の注視点との距離を維持するとともに前記仮想視点と前記注視点の高さを維持した状態で前記仮想視点と前記注視点の少なくとも一方を、移動させながら仮想視点画像を生成する画像生成部と、
   前記仮想視点画像を表示装置に出力する出力部と、
   を含む、周辺表示制御装置。
2. 前記画像生成部は、前記仮想視点を前記自車両の周囲に設定する仮想円筒の外周面に設定し、前記注視点を前記自車両の車両中心に対応する位置に設定する、請求項１に記載の周辺表示制御装置。
3. 前記画像生成部は、前記仮想視点および前記注視点を前記自車両の周囲に設定する仮想円筒の外周面に設定する、請求項１に記載の周辺表示制御装置。
4. 前記画像生成部は、前記仮想視点を前記目標位置を中心とする仮想円筒の外周面に設定し、前記注視点を前記目標位置に設定する、請求項１に記載の周辺表示制御装置。
5. 前記画像生成部は、前記自車両が前記目標位置への移動を完了した場合、前記仮想視点の高さを変更する、請求項１から請求項４のいずれか１項に記載の周辺表示制御装置。
   
   
   

Images