JP6601097B2 - 表示制御装置 - Google Patents

Description

本発明は、表示制御装置に関する。

車両及び車両の周辺を含む俯瞰画像とともに、車両に関する他の画像を同時に表示する表示制御装置が知られている。例えば、俯瞰画像とともに、カメラで撮像したリアルタイムの車両前方の画像を同時に表示する技術が開示されている。

特開２０１４−１８００４６号公報

しかしながら、上述の技術では、車両の周辺の状況に関する情報が少なく、ユーザが車両の周辺の状況を認識しにくいといった課題がある。

実施形態の表示制御装置は、車両に設けられて当該車両の周辺を撮像する撮像部から出力された撮像画像データを取得する映像取得部と、前記車両の車室内に設けられ画像を表示する表示装置と、前記撮像画像データを前記撮像部が撮像した視点とは異なる仮想視点からの仮想画像データに変換し、前記車両の少なくとも一部及び前記車両の周辺を含む第１俯瞰画像を生成する第１生成部と、前記撮像画像データを前記撮像部が撮像した視点とは異なる仮想視点からの仮想画像データに変換し、前記車両の少なくとも一部及び前記車両の周辺を含み、前記第１俯瞰画像よりも拡大率の小さい第２俯瞰画像を生成する第２生成部と、前記第１俯瞰画像と前記第２俯瞰画像とを並べて合成した合成画像を生成する画像合成部と、を備える。また、前記第１生成部による、時間の経過とともに前記第１俯瞰画像を繰り返し生成する場合において、前記撮像画像データを前記車両の周辺に仮想視点が固定された仮想画像データへ変換する第１周辺固定制御、及び、前記周辺のいずれかの位置に設定された基準としての基準位置と前記車両との距離が長くなるにつれて、前記第１俯瞰画像の拡大率を小さくする第１拡大率制御と、前記第２生成部による、時間の経過とともに前記第２俯瞰画像を繰り返し生成する場合において、前記撮像画像データを前記車両の周辺に仮想視点が固定された仮想画像データへ変換する第２周辺固定制御、及び、前記周辺のいずれかの位置に設定された基準としての基準位置と前記車両との距離が長くなるにつれて、前記第２俯瞰画像の拡大率を小さくする第２拡大率制御と、の少なくとも一方を行う。これにより、表示制御装置は、合成画像の第１俯瞰画像により車両の周辺のうち近傍の状況に関する情報をユーザに提供して、第２俯瞰画像により車両の周辺のうち遠方の状況に関する情報をユーザに提供することができる。この結果、表示制御装置は、車両の周辺の状況に関する情報を多く提供できるので、ユーザが車両の周辺の状況を認識しやすくすることができる。また、表示制御装置は、車両が移動している状況でも、車両の周辺の状況をユーザが認識しやすくすることができる。また、表示制御装置は、周辺画像が第１俯瞰画像内または第２俯瞰画像内で固定された場合でも、車両画像が第１俯瞰画像または第２俯瞰画像からはみ出すことを抑制できる。

また、実施形態の表示制御装置は、前記車両を停車させる停車位置が存在する場合、前記第１周辺固定制御、及び、前記第２周辺固定制御の少なくともいずれか一方を行ってもよい。これにより、表示制御装置は、ユーザが車両を停車位置に停車させる場合に、車両の周辺の状況を認識しやすくすることができる。

図１は、第１実施形態の車両の車室の一部が透視された状態が示された例示的な斜視図である。 図２は、第１実施形態の車両の例示的な平面図（俯瞰図）である。 図３は、第１実施形態の駐車支援システムの構成の例示的なブロック図である。 図４は、第１実施形態にかかるＥＣＵの構成を示すブロック図である。 図５は、第１実施形態における合成画像の一例を示す図である。 図６は、第１実施形態のＥＣＵにおける上述した処理の手順を示すフローチャートである。 図７は、図５に示す状況から車両が前方に移動した場合の合成画像の一例である。 図８は、第２実施形態における合成画像の一例を示す図である。 図９は、第３実施形態における合成画像の一例を示す図である。 図１０は、車両が停車位置を検出する前の状況を示す平面図である。 図１１は、図１０の状況において生成される第４実施形態の合成画像の一例を示す図である。 図１２は、車両が停車位置を検出した状況を示す平面図である。 図１３は、図１２の状況において生成される第４実施形態の合成画像の一例を示す図である。 図１４は、図１３の合成画像を回転させた第４実施形態における合成画像の一例を示す図である。

以下の例示的な実施形態や変形例には、同様の構成要素が含まれている。よって、以下では、同様の構成要素には共通の符号が付されるとともに、重複する説明が部分的に省略される。実施形態や変形例に含まれる部分は、他の実施形態や変形例の対応する部分と置き換えて構成されることができる。また、実施形態や変形例に含まれる部分の構成や位置等は、特に言及しない限りは、他の実施形態や変形例と同様である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうちの少なくとも一つを得ることが可能である。

本実施形態の車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよいし、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

（第１実施形態）
図１は、第１実施形態の車両の車室の一部が透視された状態が示された例示的な斜視図である。図２は、第１実施形態の車両の例示的な平面図（俯瞰図）である。
図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。
操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールであり、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４や、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。

また、車両１の車室２ａ内には、画像を表示する表示出力部としての表示装置８や、音声出力部としての音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（Liquid Crystal Display）や、ＯＥＬＤ（Organic Electroluminescent Display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置において手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

また、図１及び図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。

図３は、第１実施形態の駐車支援システムの構成の例示的なブロック図である。
図３に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（Electronic Control Unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（Steer By Wire）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。

また、図２に例示されるように、車両１には、複数の撮像部１５として、例えば四つの撮像部１５ａ〜１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS Image Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データを出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜１９０°の範囲を撮影することができる。例えば、撮像部１５は、車両１の周辺を撮像して、撮像画像データを出力する。また、撮像部１５の光軸は斜め下方に向けて設定されている。よって、撮像部１５は、車両１が移動可能な路面や車両１が駐車可能な領域を含む車体２の周辺の外部の環境を逐次撮影し、撮像画像データとして出力する。

撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側の突出部としてのドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパー等に設けられている。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに位置され、左側の突出部としてのドアミラー２ｇに設けられている。ＥＣＵ１４は、複数の撮像部１５から得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりすることができる。なお、俯瞰画像は、車両１よりも上方から見た画像であって、平面画像または鳥瞰画像とも称されうる。

また、ＥＣＵ１４は、撮像部１５の画像から、車両１の周辺の路面に示された区画線等を識別し、区画線等に示された駐車区画を検出（抽出）する。

また、図１、図２に例示されるように、車体２には、複数の測距センサ１６、１７として、例えば四つの測距センサ１６ａ〜１６ｄと、八つの測距センサ１７ａ〜１７ｈとが設けられている。測距センサ１６、１７は、例えば、超音波を発射してその反射波を捉えるソナーである。ソナーは、ソナーセンサ、あるいは超音波探知器とも称されうる。ＥＣＵ１４は、測距センサ１６、１７の検出結果により、車両１の周囲に位置された障害物等の物体の有無や当該物体までの距離を測定することができる。すなわち、測距センサ１６、１７は、物体を検出する検出部の一例である。なお、測距センサ１７は、例えば、比較的近距離の物体の検出に用いられ、測距センサ１６は、例えば、測距センサ１７よりも遠い比較的長距離の物体の検出に用いられうる。また、測距センサ１７は、例えば、車両１の前方および後方の物体の検出に用いられ、測距センサ１６は、車両１の側方の物体の検出に用いられうる。また、ＥＣＵ１４は、複数の測距センサ１６、１７で得られた周辺の物体までの距離データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりすることができる。

また、図３に例示されるように、駐車支援システム１００では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３、測距センサ１６、１７等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。
車内ネットワーク２３は、例えば、ＣＡＮ（Controller Area Network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距センサ１６、測距センサ１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（Central Processing Unit）や、ＲＯＭ１４ｂ（Read Only Memory）、ＲＡＭ１４ｃ（Random Access Memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（Solid State Drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、車両１の駐車目標位置の決定、車両１の移動経路の演算、物体との干渉の有無の判断、車両１の自動制御、自動制御の解除等の、各種の演算処理および制御を実行することができる。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた画像データを用いた画像処理や、表示装置８で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。

ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（Anti-lock Brake System）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（Brake By Wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、制動操作部６の可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。

舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。

アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、加速操作部５の可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。

シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、変速操作部７の可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。

車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果をブレーキシステム１８を介して取得する。

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

本実施形態では、ＥＣＵ１４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、表示制御装置としての機能の少なくとも一部を実現している。

図４は、第１実施形態にかかるＥＣＵ１４の構成を示すブロック図である。ＥＣＵ１４、表示装置８及び撮像部１５は、表示制御装置の一例である。図４に示すように、ＥＣＵ１４は、ＥＣＵ１４として構成されたＣＰＵ１４ａが、ＲＯＭ１４ｂまたはＳＳＤ１４ｆ内に格納されたソフトウェアを実行する。これにより、ＥＣＵ１４は、入力インターフェース部８０１と、曲率半径算出部８０２と、移動距離算出部８０３と、進行方向判定部８０４と、距離取得部８０５と、映像取得部８０６と、車両位置推定部８０７と、３Ｄマップ位置変換部８０８と、投影変換部８０９と、第１生成部の一例である第１俯瞰画像生成部８１１と、第２生成部の一例である第２俯瞰画像生成部８１２と、画像合成部８１３と、を実現する。また、ＲＡＭ１４ｃ上に、位置記憶部８１０が設けられる。

入力インターフェース部８０１は、舵角センサ１９からの舵角情報と、車輪速センサ２２からの車輪速情報と、シフトセンサ２１からのシフト情報と、測距センサ１６、１７からの測距情報と、撮像部１５からの撮像画像データと、を入力処理する。

測距情報は、車両１に設けられた測距センサ１６、１７から、車両１の周囲に存在する物体までの距離と共に、当該物体の高さ情報を算出可能なデータとする。撮像画像データは、車両１に設けられた撮像部１５から、車両１の周囲に存在する物体を撮像したデータとする。

曲率半径算出部８０２は、舵角センサ１９からの舵角情報に基づいて、車両１の旋回半径を算出する。

移動距離算出部８０３は、車輪速センサ２２からの車輪速情報に基づいて、車両１の移動距離を算出する。

進行方向判定部８０４は、シフトセンサ２１からのシフト情報と、車輪速センサ２２からの車輪速情報と、に基づいて、車両１の進行方向を特定する。

距離取得部８０５は、測距センサ１６、１７からの測距情報に基づいて、車両１から、車両１の周辺に存在する物体までの距離と、当該物体が検出された高さと、を取得する。

映像取得部８０６は、撮像部１５から出力された撮像画像データを取得する。

車両位置推定部８０７は、算出された車両１の旋回半径、移動距離、及び進行方向に基づいて、車両１の位置を推定する。

３Ｄマップ位置変換部８０８は、車両１の位置と、当該車両１から物体までの距離と、当該物体が検出された高さと、に基づいて、車両１の位置と、当該物体の位置とを、車両１の周辺の環境を表した３Ｄマップ上における車両１の位置座標、及び当該物体の位置座標に変換して３Ｄマップを生成する。

投影変換部８０９は、撮像画像データにおいて生じているレンズ等による歪みを取り除くと共に撮像画像データに含まれている表示領域毎に区切った画像データを、３Ｄマップに貼り付けるためのテクスチャとして、３Ｄマップに含まれている各領域と対応付ける。

第１俯瞰画像生成部８１１は、車両１の少なくとも一部の画像である第１車両画像及び車両１の周辺の画像である第１周辺画像を含む第１俯瞰画像を生成する。例えば、第１俯瞰画像生成部８１１は、投影変換部８０９によって歪みが取り除かれた撮像画像データを撮像部１５が撮像した視点とは異なる仮想視点からの仮想画像データに変換して第１俯瞰画像を生成する。第１俯瞰画像生成部８１１は、時間の経過とともに、第１俯瞰画像を繰り返し生成する。例えば、第１俯瞰画像に含まれる第１周辺画像は、撮像部１５によってリアルタイムに撮像された撮像画像データから、投影変換部８０９によって歪みが取り除かれた撮像画像データを撮像部１５が撮像した視点とは異なる仮想視点からの仮想画像データに変換して生成した画像である。第１俯瞰画像に含まれる第１車両画像の一例は、予め撮像または生成されてＲＯＭ１４ｂ等に格納されている画像である。

本実施形態では、第１俯瞰画像生成部８１１は、撮像画像データを車両１に仮想視点が固定された仮想画像データへ変換して第１俯瞰画像ＴＶ１を生成する。当該固定は、第１車両固定制御の一例である。これにより、第１俯瞰画像生成部８１１は、第１車両画像の位置を第１俯瞰画像ＴＶ１内で固定する。従って、第１俯瞰画像生成部８１１は、第１車両画像の位置を第１俯瞰画像の中心に固定した場合、車両１が移動すると、第１周辺画像を第１俯瞰画像内で移動させる。第１俯瞰画像生成部８１１は、生成した第１俯瞰画像を画像合成部８１３へ出力する。

第２俯瞰画像生成部８１２は、車両１の少なくとも一部の画像である第２車両画像及び車両１の周辺の画像である第２周辺画像を含む第２俯瞰画像を生成する。例えば、第２俯瞰画像生成部８１２は、投影変換部８０９によって歪みが取り除かれた撮像画像データを撮像部１５が撮像した視点とは異なる仮想視点からの仮想画像データに変換して第２俯瞰画像を生成する。第２俯瞰画像生成部８１２は、時間の経過とともに、第２俯瞰画像を繰り返し生成する。ここで、第２俯瞰画像生成部８１２は、第１俯瞰画像よりも拡大率の小さい第２俯瞰画像を生成する。ここでいう拡大率は、実物に対する、第１俯瞰画像及び第２俯瞰画像内に含まれる当該実物の画像の大きさの比率である。例えば、拡大率は、実際の車両１の大きさに対する、第１俯瞰画像の第１車両画像の大きさの比率及び第２俯瞰画像の第２車両画像の大きさの比率である。

第２俯瞰画像の第２周辺画像に含まれる物体の画像及び第２車両画像は、第１俯瞰画像の第１周辺画像に含まれる物体の画像及び第１車両画像よりも小さい。これにより、第２周辺画像は、第１周辺画像と比べて車両１の周辺の広い範囲の画像を含む。第２俯瞰画像生成部８１２は、第１俯瞰画像と比べて広い範囲を第２俯瞰画像で表示するために、例えば、リアルタイム及び過去の測距情報等に基づいて３Ｄマップ位置変換部８０８が生成した３Ｄマップによる画像に、仮想画像データから変換されて３Ｄマップ上の領域毎に割り当てられたテクスチャを貼り付けた画像を、第２周辺画像として用いる。過去の３Ｄマップは、車両１が通過した領域に対応している。従って、第２俯瞰画像に含まれる第２周辺画像は、過去の周辺の状態に対応した画像を含む。第２俯瞰画像に含まれる第２車両画像の一例は、予め撮像または生成されてＲＯＭ１４ｂ等に格納されている画像である。

本実施形態では、第２俯瞰画像生成部８１２は、撮像画像データを車両１に仮想視点が固定された仮想画像データへ変換して第２俯瞰画像ＴＶ２を生成する。当該固定は、第２車両固定制御の一例である。これにより、第２俯瞰画像生成部８１２は、第２車両画像の位置を第２俯瞰画像内で固定する。従って、第２俯瞰画像生成部８１２は、第２車両画像の位置を第２俯瞰画像の中心に固定した場合、車両１が移動すると、第２周辺画像を第２俯瞰画像内で移動させる。第２俯瞰画像生成部８１２は、生成した第２俯瞰画像を画像合成部８１３へ出力する。

画像合成部８１３は、第１俯瞰画像生成部８１１から第１俯瞰画像を取得するとともに、第２俯瞰画像生成部８１２から第２俯瞰画像を取得する。画像合成部８１３は、第１俯瞰画像と、第２俯瞰画像とを並べて合成した合成画像を生成する。画像合成部８１３は、生成した合成画像を表示装置８へ出力して、合成画像を表示させる。

図５は、第１実施形態における合成画像ＳＩの一例を示す図である。図５に示すように、画像合成部８１３は、第１車両画像３０及び第１周辺画像３２を含む第１俯瞰画像ＴＶ１と、第２車両画像３４及び第２周辺画像３６を含む第２俯瞰画像ＴＶ２とを横方向に並べて合成した合成画像ＳＩを生成する。尚、図５において、第１俯瞰画像ＴＶ１の領域は荒いメッシュのハッチングを付与して、第２俯瞰画像ＴＶ２の領域は細かいメッシュのハッチングを付与している。画像合成部８１３は、例えば、表示装置８の左半分の領域に第１俯瞰画像ＴＶ１を表示させ、表示装置８の右半分の領域に第２俯瞰画像ＴＶ２を表示させるように、合成画像ＳＩを生成する。これにより、合成画像ＳＩでは、第１俯瞰画像ＴＶ１が車両１の近傍の障害物等の物体の画像である物体画像７０を詳細に表示するとともに、第２俯瞰画像ＴＶ２が第１俯瞰画像ＴＶ１では表示できない遠方の物体の画像である物体画像７２を表示することができる。尚、画像合成部８１３は、第１俯瞰画像ＴＶ１を右側に配置して、第２俯瞰画像ＴＶ２を左側に配置した合成画像ＳＩを生成してもよい。また、画像合成部８１３は、上下方向に第１俯瞰画像ＴＶ１と第２俯瞰画像ＴＶ２とを配列してもよい。

次に、本実施形態のＥＣＵ１４における、表示画像データを表示するまでの処理について説明する。図６は、本実施形態のＥＣＵ１４における上述した処理の手順を示すフローチャートである。図７は、図５に示す状況から車両が前方に移動した場合の合成画像ＳＩの一例である。

まず、入力インターフェース部８０１が、各種センサからの情報を入力処理する（ステップＳ１１０１）。

次に、曲率半径算出部８０２が、車両１の旋回半径を算出する（ステップＳ１１０２）。移動距離算出部８０３は、車輪速センサ２２の車輪速情報に基づいて、車両１の移動距離を算出する（ステップＳ１１０３）。

進行方向判定部８０４は、シフトセンサ２１からのシフト情報と、車輪速センサ２２からの車輪速情報と、に基づいて、車両１の進行方向を特定する（ステップＳ１１０４）。なお、ステップＳ１１０２〜Ｓ１１０４までの処理の順序は一例として記載したもので、処理の順序を制限するものではない。

次に、車両位置推定部８０７が、旋回半径、移動距離、及び進行方向に基づいて、車両１の位置を推定する（ステップＳ１１０５）。

そして、距離取得部８０５は、測距センサ１７からの測距情報に基づいて、車両１から車両１周辺の物体までの距離と、当該物体の高さと、を取得する（ステップＳ１１０６）。

次に、３Ｄマップ位置変換部８０８が、車両１の位置、車両１と物体との間の距離、及び物体の高さに基づいて、３Ｄマップ上における車両１の位置座標、及び当該物体の位置座標に変換する（ステップＳ１１０７）。

映像取得部８０６は、入力インターフェース部８０１を介して、撮像部１５により撮像された、車両１周辺を撮像した撮像画像データを取得する（ステップＳ１１０８）。

次に、第１俯瞰画像生成部８１１は、投影変換部８０９によって歪みが取り除かれた撮像画像データを撮像部１５が撮像した視点とは異なる仮想視点からの仮想画像データに変換して第１俯瞰画像ＴＶ１を生成する（ステップＳ１１０９）。

次に、第２俯瞰画像生成部８１２は、第２俯瞰画像ＴＶ２を生成する（ステップＳ１１１０）。具体的には、第２俯瞰画像生成部８１２は、投影変換部８０９によって歪みが取り除かれた撮像画像データを撮像部１５が撮像した視点とは異なる仮想視点からの仮想画像データに変換し、当該仮想画像データに基づくテクスチャを３Ｄマップの各領域に貼り付けた第２周辺画像を用いて第２俯瞰画像ＴＶ２を生成する。

画像合成部８１３は、第１俯瞰画像ＴＶ１及び第２俯瞰画像ＴＶ２を合成して、合成画像ＳＩを生成する（ステップＳ１１１１）。

画像合成部８１３は、生成した合成画像ＳＩのデータを表示装置８へ出力して、合成画像ＳＩを表示させる（ステップＳ１１１２）。

この後、ステップＳ１１０１以降を繰り返すことによって、時間の経過とともに、第１俯瞰画像生成部８１１及び第２俯瞰画像生成部８１２は、第１俯瞰画像ＴＶ１及び第２俯瞰画像ＴＶ２を繰り返し生成して、画像合成部８１３が合成画像ＳＩを更新する。例えば、図５に示す状態から車両１が前方に移動した場合、図７に示すように、第１俯瞰画像ＴＶ１及び第２俯瞰画像ＴＶ２内の例えば中心で第１車両画像３０及び第２車両画像３４の位置が固定されたまま、物体画像７０、７２を含む第１周辺画像３２及び第２周辺画像３６が第１車両画像３０及び第２車両画像３４に対して後方に移動した第１俯瞰画像ＴＶ１及び第２俯瞰画像ＴＶ２を合成した合成画像ＳＩが表示装置８に表示される。

上述したように、ＥＣＵ１４は、第１俯瞰画像ＴＶ１及び第１俯瞰画像ＴＶ１よりも拡大率の小さい第２俯瞰画像ＴＶ２を合成した合成画像ＳＩを表示装置８に表示させている。これにより、ＥＣＵ１４は、第１俯瞰画像ＴＶ１により車両１の周辺のうち近傍の状況に関する情報をユーザに提供して、第２俯瞰画像ＴＶ２により車両１の周辺のうち遠方の状況に関する情報をユーザに提供することができる。この結果、ＥＣＵ１４は、車両１の周辺の状況に関する情報を多く提供できるので、ユーザが車両１の周辺の状況を認識しやすくすることができる。

また、ＥＣＵ１４は、第１俯瞰画像ＴＶ１及び第２俯瞰画像ＴＶ２内で第１車両画像３０及び第２車両画像３４を固定している。これにより、ＥＣＵ１４は、周辺に対する車両１の位置等の車両１の状況をユーザが認識しやすくすることができる。

（第２実施形態）
第２実施形態では、第１俯瞰画像生成部８１１は、撮像画像データを車両１の周辺に仮想視点が固定された仮想画像データへ変換して、第１俯瞰画像ＴＶ１を生成する。当該固定は、第１周辺固定制御の一例である。例えば、第１俯瞰画像生成部８１１が、第１俯瞰画像ＴＶ１内で第１周辺画像３２を固定して、第１車両画像３０を移動させる。第１俯瞰画像生成部８１１は、時間の経過とともに、第１俯瞰画像ＴＶ１を繰り返し生成する。第２俯瞰画像生成部８１２は、撮像画像データを車両１の周辺に仮想視点が固定された仮想画像データへ変換して、第２俯瞰画像ＴＶ２を生成する。当該固定は、第２周辺固定制御の一例である。例えば、第２俯瞰画像生成部８１２は、第２俯瞰画像ＴＶ２内で第２周辺画像３６を固定して、第２車両画像３４を移動させる。第２俯瞰画像生成部８１２は、時間の経過とともに、第２俯瞰画像ＴＶ２を繰り返し生成する。図８は、第２実施形態における合成画像ＳＩの一例を示す図である。

例えば、第２実施形態では、図５に示す状態から車両１が前方に移動した場合について説明する。この場合、図８に示すように、第１俯瞰画像生成部８１１は、第１俯瞰画像ＴＶ１内で物体画像７０を含む第１周辺画像３２を固定しつつ、第１車両画像３０を前方に対応する方向に移動させる。また、第２俯瞰画像生成部８１２は、第２俯瞰画像ＴＶ２内で物体画像７０、７２を含む第２周辺画像３６を固定しつつ、第２車両画像３４を前方に対応する方向に移動させる。画像合成部８１３は、第１俯瞰画像生成部８１１及び第２俯瞰画像生成部８１２が生成した第１俯瞰画像ＴＶ１及び第２俯瞰画像ＴＶ２によって図８に示す合成画像ＳＩを生成して、表示装置８に表示させる。

上述したようにＥＣＵ１４は、第１俯瞰画像ＴＶ１及び第２俯瞰画像ＴＶ２内で第１周辺画像３２及び第２周辺画像３６を固定している。これにより、ＥＣＵ１４は、車両１が移動している状況でも、車両１の周辺の状況をユーザが認識しやすくすることができる。

（第３実施形態）
第３実施形態では、第１俯瞰画像生成部８１１及び第２俯瞰画像生成部８１２のいずれか一方が、俯瞰画像内で車両画像を固定して、他方が俯瞰画像内で周辺画像を固定する。第１俯瞰画像生成部８１１は、時間の経過とともに、第１俯瞰画像ＴＶ１を繰り返し生成する。第２俯瞰画像生成部８１２は、時間の経過とともに、第２俯瞰画像ＴＶ２を繰り返し生成する。図９は、第３実施形態における合成画像ＳＩの一例を示す図である。

例えば、第３実施形態では、図５に示す状態から車両１が前方に移動した場合において、第１俯瞰画像ＴＶ１では第１車両画像３０を固定（上述の第１車両固定制御）して、第２俯瞰画像ＴＶ２では物体画像７０、７２を含む第２周辺画像３６を固定（上述の第２周辺固定制御）する場合について説明する。この場合、図９に示すように、第１俯瞰画像生成部８１１は、車両１が前方に移動した場合でも、第１車両画像３０を第１俯瞰画像ＴＶ１内で固定して、第１周辺画像３２を移動させた第１俯瞰画像ＴＶ１を生成する。第２俯瞰画像生成部８１２は、第２俯瞰画像ＴＶ２内で物体画像７０、７２を含む第２周辺画像３６を固定して、車両１の移動に合わせて第２車両画像３４を第２俯瞰画像ＴＶ２内で移動させて、第２俯瞰画像ＴＶ２を生成する。画像合成部８１３は、第１俯瞰画像生成部８１１及び第２俯瞰画像生成部８１２が生成した第１俯瞰画像ＴＶ１及び第２俯瞰画像ＴＶ２によって図９に示す合成画像ＳＩを生成して、表示装置８に表示させる。

（第４実施形態）
第４実施形態では、第１俯瞰画像生成部８１１が、第１車両固定制御と、第１周辺固定制御とを切り替える。また、第２俯瞰画像生成部８１２が、第２車両固定制御と、第２周辺固定制御とを切り替える。第１俯瞰画像生成部８１１及び第２俯瞰画像生成部８１２の少なくともいずれか一方が、当該固定に関する切り替えを実行してもよい。例えば、第４実施形態では、第１俯瞰画像生成部８１１または第２俯瞰画像生成部８１２が、車両１を停車させる停車位置７４の存在の有無によって、当該切り替えを実行する。

図１０は、車両１が停車位置７４を検出する前の状況を示す平面図である。図１１は、図１０の状況において生成される第４実施形態の合成画像ＳＩの一例を示す図である。図１２は、車両１が停車位置７４を検出した状況を示す平面図である。図１３は、図１２の状況において生成される第４実施形態の合成画像ＳＩの一例を示す図である。具体的には、図１０に示すように、自己の車両１が、周辺に複数の他の車両７６が停車している中を前方に移動する。この状況では、第１俯瞰画像生成部８１１は第１車両画像３０を固定した第１俯瞰画像ＴＶ１を生成する。第２俯瞰画像生成部８１２は第２車両画像３４を固定した第２俯瞰画像ＴＶ２を生成する。画像合成部８１３は、これらの第１俯瞰画像ＴＶ１及び第２俯瞰画像ＴＶ２を含む図１１に示す合成画像ＳＩを生成する。

この後、図１２に示すように、自己の車両１が、例えば他の車両７６間に形成された停車可能な停車位置７４の前を横切って移動する。これにより、自己の車両１は、撮像部１５からの撮像画像データ及び測距センサ１６、１７からの測距情報等に基づいて、第１俯瞰画像生成部８１１または第２俯瞰画像生成部８１２が車両１を停車させる停車位置７４を検出する。このように、停車位置７４が存在する場合、第１俯瞰画像生成部８１１は第１俯瞰画像ＴＶ１内で他の車両７６の画像である他車両画像７８を含む第１周辺画像３２を固定する第１周辺固定制御を実行する。また、停車位置７４が存在する場合、第２俯瞰画像生成部８１２が第２俯瞰画像ＴＶ２内で他の車両７６の画像である他車両画像７８を含む第２周辺画像３６を固定する第２周辺固定制御を実行する。尚、停車位置が存在する場合、第１周辺固定制御及び第２周辺固定制御のいずれか一方への切り替えを実行してもよい。画像合成部８１３は、これらの第１俯瞰画像ＴＶ１及び第２俯瞰画像ＴＶ２を合成して、合成画像ＳＩを生成する。例えば、図１３に示す例では、第１俯瞰画像生成部８１１は、停車位置７４の画像である停車位置画像８０及び他車両画像７８を含む第１周辺画像３２を固定した第１俯瞰画像ＴＶ１を生成する。第２俯瞰画像生成部８１２は、停車位置画像８０及び他車両画像７８を含む第２周辺画像３６を固定した第２俯瞰画像ＴＶ２を生成する。画像合成部８１３は、これらの第１俯瞰画像ＴＶ１及び第２俯瞰画像ＴＶ２を合成して、図１３に示す合成画像ＳＩを生成する。

更に、停車位置７４を検出した場合、第１俯瞰画像生成部８１１は、第１俯瞰画像ＴＶ１を回転させてもよい。また、第２俯瞰画像生成部８１２は、第２俯瞰画像ＴＶ２を回転させてもよい。図１４は、図１３の合成画像ＳＩを回転させた第４実施形態における合成画像ＳＩの一例を示す図である。例えば、図１３に示す第１俯瞰画像ＴＶ１及び第２俯瞰画像ＴＶ２から、図１４に示すように停車位置画像８０が表示装置８の中央の下部に表示されるように、第１俯瞰画像生成部８１１及び第２俯瞰画像生成部８１２は、第１俯瞰画像ＴＶ１及び第２俯瞰画像ＴＶ２を左回りに９０°回転させて生成する。

上述したように、ＥＣＵ１４は、停車位置７４が存在する場合に、第１俯瞰画像ＴＶ１、及び、第２俯瞰画像ＴＶ２内の少なくともいずれか一方で他車両画像７８を含む周辺画像を固定する。これにより、ＥＣＵ１４は、ユーザが車両１を停車位置７４に停車させる場合に、車両１の周辺の状況を認識しやすくすることができる。

更に、ＥＣＵ１４は、第１俯瞰画像ＴＶ１、及び、第２俯瞰画像ＴＶ２の少なくともいずれか一方を回転させて、停車位置７４が表示装置８の中央の下部に表示することによって、表示装置８の画面内で横方向の移動が大きい車両１が第１俯瞰画像ＴＶ１、及び、第２俯瞰画像ＴＶ２の少なくとも一方からはみ出すことを抑制できる。

（第５実施形態）
第５実施形態では、第１俯瞰画像生成部８１１は、状況に応じて、第１俯瞰画像ＴＶ１の拡大率を変更する。例えば、第１俯瞰画像生成部８１１は、車両１の周辺のいずれかの位置に設定された基準としての基準位置と車両１との距離に応じて、第１俯瞰画像ＴＶ１の拡大率を変更してもよい。基準位置の一例は、車両１の近傍の道路上の位置である。具体的には、第１俯瞰画像生成部８１１は、基準位置と車両１との距離が長くなるにつれて、第１俯瞰画像ＴＶ１の拡大率を小さくする。当該拡大率を小さくすることは、第１拡大率制御の一例である。また、第２俯瞰画像生成部８１２は、状況に応じて、第２俯瞰画像ＴＶ２の拡大率を変更する。例えば、第２俯瞰画像生成部８１２は、車両１の周辺のいずれかの位置に設定された基準としての基準位置と車両１との距離が長くなるにつれて、第２俯瞰画像ＴＶ２の拡大率を小さくする。当該拡大率を小さくすることは、第２拡大率制御の一例である。尚、第１拡大率制御及び第２拡大率制御の少なくとも一方を行ってもよい。

ＥＣＵ１４は、基準位置と車両１との距離が長くなるにつれて、第１俯瞰画像ＴＶ１の拡大率を小さくしている。これにより、ＥＣＵ１４は、第１周辺画像３２が第１俯瞰画像ＴＶ１内で固定された場合でも、第１車両画像３０が第１俯瞰画像ＴＶ１からはみ出すことを抑制できる。ＥＣＵ１４は、基準位置と車両１との距離が長くなるにつれて、第２俯瞰画像ＴＶ２の拡大率を小さくしている。これにより、ＥＣＵ１４は、車両１の第２周辺画像３６が第２俯瞰画像ＴＶ２内で固定された場合でも、第２車両画像３４が第２俯瞰画像ＴＶ２からはみ出すことを抑制できる。

（第６実施形態）
第６実施形態では、第１俯瞰画像生成部８１１は、第１俯瞰画像ＴＶ１内で第１車両画像３０及び第１周辺画像３２の両方を移動させる。また、第２俯瞰画像生成部８１２は、第２俯瞰画像ＴＶ２内で第２車両画像３４及び第２周辺画像３６の両方を移動させる。例えば、第１俯瞰画像生成部８１１は、基準位置と車両１との間の位置（例えば、中間位置）を第１俯瞰画像ＴＶ１内の例えば中心位置で固定して、当該固定位置を中心にして、第１車両画像３０及び第１周辺画像３２を第１俯瞰画像ＴＶ１内で移動させてもよい。また、第２俯瞰画像生成部８１２は、基準位置と車両１との間の位置（例えば、中間位置）を第２俯瞰画像ＴＶ２内の例えば中心位置で固定して、当該固定位置を中心にして、第２車両画像３４及び第２周辺画像３６を第２俯瞰画像ＴＶ２内で移動させてもよい。

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、第１俯瞰画像生成部８１１及び第２俯瞰画像生成部８１２は、車両１の斜め上方からの第１俯瞰画像ＴＶ１及び第２俯瞰画像ＴＶ２を生成してもよい。

第１俯瞰画像生成部８１１は、測距センサ１６、１７が測定した測距情報等による３Ｄマップに基づいて、第１俯瞰画像ＴＶ１を生成してもよい。また、第２俯瞰画像生成部８１２は、撮像部１５が撮像した撮像画像データに基づいて、第２俯瞰画像ＴＶ２を生成してもよい。

第２俯瞰画像生成部８１２は、測距センサに代えて、レーザセンサ等によって測定された情報による３Ｄマップに基づいて、第２俯瞰画像ＴＶ２を生成してもよい。

１…車両、８…表示装置、１４…ＥＣＵ、１５…撮像部、１６…測距センサ、１７…測距センサ、３０…第１車両画像、３２…第１周辺画像、３４…第２車両画像、３６…第２周辺画像、７４…停車位置、７６…他の車両、７８…他車両画像、８０…停車位置画像、１００…駐車支援システム、８０８…３Ｄマップ位置変換部、８１１…第１俯瞰画像生成部、８１２…第２俯瞰画像生成部、８１３…画像合成部、ＳＩ…合成画像、ＴＶ１…第１俯瞰画像、ＴＶ２…第２俯瞰画像。

Claims (2)

1. 車両に設けられて当該車両の周辺を撮像する撮像部から出力された撮像画像データを取得する映像取得部と、
   前記車両の車室内に設けられ画像を表示する表示装置と、
   前記撮像画像データを前記撮像部が撮像した視点とは異なる仮想視点からの仮想画像データに変換し、前記車両の少なくとも一部及び前記車両の周辺を含む第１俯瞰画像を生成する第１生成部と、
   前記撮像画像データを前記撮像部が撮像した視点とは異なる仮想視点からの仮想画像データに変換し、前記車両の少なくとも一部及び前記車両の周辺を含み、前記第１俯瞰画像よりも拡大率の小さい第２俯瞰画像を生成する第２生成部と、
   前記第１俯瞰画像と前記第２俯瞰画像とを並べて合成した合成画像を生成する画像合成部と、
   を備え、
   前記第１生成部による、時間の経過とともに前記第１俯瞰画像を繰り返し生成する場合において、前記撮像画像データを前記車両の周辺に仮想視点が固定された仮想画像データへ変換する第１周辺固定制御、及び、前記周辺のいずれかの位置に設定された基準としての基準位置と前記車両との距離が長くなるにつれて、前記第１俯瞰画像の拡大率を小さくする第１拡大率制御と、
   前記第２生成部による、時間の経過とともに前記第２俯瞰画像を繰り返し生成する場合において、前記撮像画像データを前記車両の周辺に仮想視点が固定された仮想画像データへ変換する第２周辺固定制御、及び、前記周辺のいずれかの位置に設定された基準としての基準位置と前記車両との距離が長くなるにつれて、前記第２俯瞰画像の拡大率を小さくする第２拡大率制御と、
   の少なくとも一方を行う、表示制御装置。
2. 前記車両を停車させる停車位置が存在する場合、
   前記第１周辺固定制御、及び、前記第２周辺固定制御の少なくともいずれか一方を行う請求項１に記載の表示制御装置。

Images