JP6930202B2 - 表示制御装置 - Google Patents

Description

本発明の実施形態は、表示制御装置に関する。

従来から、車両の周辺に設けられた複数の撮像部によって、車両の周辺を撮像し、撮像された複数の撮像画像データを合成し、合成された撮像画像データを表示することで、車両の周囲を運転者に認識させる技術がある。

その際に、視点を変更させるための表示データ（例えばカメラアイコン）を画像データに重畳し、当該表示データの押下などの操作を受け付けることで、表示される車両の周囲を切り替える技術がある。

国際公開第２０１３／０５３５９０号

しかしながら、従来技術においては、表示データの押下等では、どのような切り替えが行われたのか把握しにくい場合も多いため、直感的な表示の切り替え操作の実現が望まれていた。

実施形態の表示制御装置は、一例として、車両の周辺を撮像する複数の撮像部から複数の撮像画像データを取得する取得部と、車両を表す３次元形状モデルを第１の表示領域に表示し、第１の表示領域に表示されている３次元形状モデルの車両の向きに応じて、取得部が取得した撮像画像データに基づいた車両の周辺を表した周辺画像データを、第２の表示領域に表示する表示処理部と、表示処理部により第１の表示領域に表示されている３次元形状モデルの向きを変更する操作を受け付ける操作受付部と、を備え、表示処理部は、操作受付部が受け付けた向きを変更する操作に応じて、第２の表示領域に表示される周辺画像データを切り替える。よって、一例として、第１の表示領域に表示された３次元形状モデルの向きの変更に連動して、第２の表示領域に表示される周辺画像データの表示を切り替えるため、直感的な操作を実現できる。

また、実施形態の表示制御装置は、一例として、取得部は、さらに、車両の傾きを示した傾き情報を取得し、表示処理部は、さらに、第１の表示領域に傾き情報に対応した傾きで車両の３次元形状モデルを前記第１の表示領域に表示し、さらに、当該傾きの度合いを表した目盛り情報を表示すると共に、操作受付部が受け付けた向きを変更する操作に応じて、向きに対応して回転させた目盛り情報が表示される位置を変更する。よって、一例として、第１の表示領域に車両の傾きが表示されるため、車両の周辺の状況をより詳細に認識できる。

また、実施形態の表示制御装置は、一例として、撮像画像データが投影された、３次元仮想空間内の仮想投影面から、当該３次元仮想空間内に設定された視点及び注視点を基準に第１の周辺画像データを生成する生成部を備え、操作受付部は、３次元形状モデルの向きとして、ヨー方向の角度を変更する操作を受け付け、生成部は、３次元仮想空間内に設けられた車両の位置を基準として、視点及び注視点をヨー方向に回転させた第２の周辺画像データを生成し、表示処理部は、操作受付部が受け付けたヨー方向の角度を変更する操作に応じて、生成部に生成された第２の周辺画像データに切り替える。よって、一例として、車両を基準としてヨー方向で角度を切り替えた周辺画像データの表示を容易に実現できるので、直感的な操作を実現できる。

また、実施形態の表示制御装置は、一例として、撮像画像データが投影された、３次元仮想空間内の仮想投影面から、当該３次元仮想空間内に設定された視点及び注視点を基準に第１の周辺画像データを生成する生成部を備え、操作受付部は、３次元形状モデルの向きとして、ピッチ方向の角度を変更する操作を受け付け、生成部は、３次元仮想空間内の仮想投影面から、前回生成した第１の周辺画像データと比べて、視点を上方向に移動させた第２の周辺画像データを生成し、表示処理部は、操作受付部が受け付けたピッチ方向の角度を変更する操作に応じて、生成部に生成された第２の周辺画像データに切り替える。よって、一例として、車両を基準としてピッチ方向で角度を切り替えた周辺画像データの表示を容易に実現できるので、直感的な操作を実現できる。

また、実施形態の表示制御装置は、一例として、操作受付部は、さらに、第２の表示領域に表示された画像の拡大又は縮小操作を受け付け、表示処理部は、操作受付部が受け付けた画像の拡大又は縮小操作に応じて、第２の表示領域に表示される周辺画像データを切り替える。よって、一例として、拡大又は縮小操作に応じた周辺画像データの表示を容易に実現できるので、操作性の向上を実現できる。

また、実施形態の表示制御装置は、一例として、表示処理部は、操作受付部が画像の拡大又は縮小操作を受け付けた場合に、第１の表示領域に表示されている、車両を表す３次元形状モデル上における拡大又は縮小の基準となった位置に所定の表示情報を表す。よって、一例として、第１の表示領域を参照することで、拡大された位置を認識できるので、操作性の向上を実現できる。

図１は、実施形態にかかる表示制御装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、実施形態にかかる表示制御装置を搭載する車両の一例が示された平面図（鳥瞰図）である。 図３は、実施形態にかかる表示制御装置を有する表示制御システムの構成の一例を示すブロック図である。 図４は、実施形態にかかる表示制御装置としてのＥＣＵの機能的構成を示すブロック図である。 図５は、実施形態にかかる表示制御システムにおける撮影画像の仮想投影面への投影を示す例示的かつ模式的な説明図である。 図６は、実施形態にかかる表示制御システムにおける車両形状モデルと仮想投影面とを示す模式的かつ例示的な側面図である。 図７は、実施形態にかかる表示処理部により表示される表示画面例を示した図である。 図８は、実施形態の表示アイコンを例示した図である。 図９は、実施形態の表示アイコンを例示した図である。 図１０は、実施形態の第１の表示領域に表示された表示アイコンに対する、右方向のスワイプ操作を受け付けた場合の画面の変化を例示した図である。 図１１は、実施形態の第１の表示領域に表示された表示アイコンに対する、下方向のスワイプ操作を受け付けた場合の画面の変化を例示した図である。 図１２は、実施形態の表示処理部が表示する第１の表示領域の表示態様の変化を例示した図である。 図１３は、実施形態の表示処理部が表示する第１の表示領域の表示態様の変化を例示した図である。 図１４は、実施形態の取得部が車両の左右方向の傾き情報（ロール角）“３０°”を取得した場合に表示される画面例を示した図である。 図１５は、実施形態の操作受付部が下方向へのスワイプ操作を受け付けた場合に表示される画面例を示した図である。 図１６は、実施形態の操作受付部が、第２の表示領域に表示された周辺画像の拡大操作を受け付ける前に表示する画面例を示した図である。 図１７は、実施形態の操作受付部が、第２の表示領域に表示された周辺画像の拡大操作を受け付けた場合に表示する画面例を示した図である。 図１８は、実施形態の操作受付部が、第２の表示領域に表示された周辺画像の拡大操作を受け付けた場合に表示する画面例を示した図である。 図１９は、実施形態の表示制御システムにおける表示処理の手順を示すフローチャートである。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

本実施形態において、表示制御装置（表示制御システム）を搭載する車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。駆動方式としては、四つある車輪３すべてに駆動力を伝え、４輪すべてを駆動輪として用いる四輪駆動車両とすることができる。車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。また、駆動方式も四輪駆動方式に限定されず、例えば、前輪駆動方式や後輪駆動方式でもよい。

図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２５から突出したステアリングホイールであり、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。

また、車室２ａ内には、表示装置８や、音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２５の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

また、図１、図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。図３に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、トルクセンサ１３ｂを有する。操舵システム１３は、ＥＣＵ１４（electronic control unit）等によって電気的に制御されて、アクチュエータを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。操舵システム１３は、アクチュエータによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータによって車輪３を転舵したりする。この場合、アクチュエータは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。

また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ〜１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜２２０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１５は、車両１が移動可能な路面やその周辺の物体（障害物、岩、窪み、水たまり、轍等）を含む車両１の周辺の外部環境を逐次撮影し、撮像画像データとして出力する。

撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リアハッチのドア２ｈのリアウインドウの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパやフロントグリル等に設けられている。撮像部１５ｄは、例えば、車体２の左側の端部２ｄに位置され、左側のドアミラー２ｇに設けられている。

また、図３に例示されるように、表示制御システム１００（表示制御装置）では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２４等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２４の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理を実行する。例えば、ＣＰＵ１４ａは、撮像部１５が撮像した撮像画像データに演算処理や画像処理を実行して、車両１の予測進路上に、注意すべき特定領域が存在するか否かを検出したり、注意すべき特定領域の存在を例えば、車両１の進行推定方向を示す進路指標（予測進路線）の表示態様を変化させることでユーザ（運転者や搭乗者）に報知したりする。

ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた撮像画像データを用いた画像処理や、表示装置８で表示される画像データの画像処理（一例としては画像合成）等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合であってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、周辺監視用のＥＣＵ１４とは別に設けられてもよい。

ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、アクチュエータを介して、車輪３ひいては車両１に制動力を与える。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。

舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。

アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。

シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。

車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果をブレーキシステム１８を介して取得する。

加速度センサ２４は、例えば車両１に設けられている。ＥＣＵ１４は、加速度センサ２４からの信号に基づき、車両１の前後方向の傾き（ピッチ角）や左右方向の傾き（ロール角）を算出する。ピッチ角は、車両１の左右軸周りの傾きを示した角度であり、水平な面（地面、路面）上に車両１が存在する場合に、ピッチ角が０°となる。また、ロール角は、車両１の前後軸周りの傾きを示した角度であり、水平な面（地面、路面）上に車両１が存在する場合に、ロール角が０°となる。つまり、車両１が、水平な路面に存在するか否か、傾斜面（上り勾配の路面または下り勾配の路面）に存在するか否か等が検出できる。なお、車両１がＥＳＣを搭載する場合、ＥＳＣに従来から搭載されている加速度センサ２４を用いる。なお、本実施形態は、加速度センサ２４を制限するものではなく、車両１の前後左右方向の加速度を検出可能なセンサであればよい。

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

ＥＣＵ１４に含まれるＣＰＵ１４ａは、上述したように撮像画像データに基づいた車両１周辺の環境を表示する。この機能を実現するために、ＥＣＵ１４は、図４に示すような種々のモジュールを含んでいる。ＥＣＵ１４のＳＳＤ１４ｆは、例えば３次元形状モデル記憶部４０１を備えている。さらに、ＥＣＵ１４は、例えば、操作受付部４０２と、取得部４０３と、画像合成部４０４と、３次元処理部４０５と、周辺画像生成部４０６と、表示処理部４０７と、を含んでいる。これらのモジュールは、ＲＯＭ１４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現可能である。

ＳＳＤ１４ｆの３次元形状モデル記憶部４０１には、例えば、車両１の３次元形状を表した３次元の車両形状モデルを記憶している。

操作受付部４０２は、操作入力部１０の操作入力による信号を取得する。操作入力部１０は、表示装置８の表示画面に設けられたタッチパネル等であって、操作受付部４０２は、操作入力部１０に対して行われた操作を認識できる。認識可能な操作としては、タップ、フリック、スワイプ等の操作が考えられる。

取得部４０３は、車両１の周囲を表示するために必要な情報を取得する。例えば、取得部４０３は、車両１の周辺を撮像する複数の撮像部１５から、複数の撮像画像データを取得する。

また、取得部４０３は、加速度センサ２４からの信号に基づいた算出で、車両１の前後方向の傾き情報（ピッチ角）や左右方向の傾き情報（ロール角）を取得する。

画像合成部４０４は、取得部４０３で取得された複数の撮像画像のデータ、すなわち、複数の撮像部１５で撮影された複数の撮像画像のデータを、それらの境界部分を合成することで繋ぎ、一つの撮像画像のデータを生成する。

３次元処理部４０５は、車両１が存在する位置を基準とした３次元仮想空間内の仮想投影面に、画像合成部４０４により合成された撮像画像データを投影させる。

３次元処理部４０５は、車両１が存在する位置を基準として定められた、車両１の周囲を取り囲む仮想投影面に、撮像画像データを投影した、仮想投影画像のデータを生成する。図５は、表示制御システム１００における撮影画像Ｉｃの仮想投影面Ｓｐへの投影を示す例示的かつ模式的な説明図である。図５の例では、仮想投影面Ｓｐは、地面Ｇｒに沿った底面Ｓｐｇと、底面Ｓｐｇすなわち地面Ｇｒから立ち上がった側面Ｓｐｓと、を有している。地面Ｇｒは、車両１の上下方向Ｚと直交する水平面であり、タイヤの接地面でもある。底面Ｓｐｇは、略円形の平坦面であり、車両１を基準とする水平面である。側面Ｓｐｓは、底面Ｓｐｇと接した曲面である。図５に示されるように、側面Ｓｐｓの、車両１の中心Ｇｃを通り車両１の垂直な仮想断面の形状は、例えば、楕円状あるいは放物線状である。側面Ｓｐｓは、例えば、車両１の中心Ｇｃを通り車両１の上下方向に沿う中心線ＣＬ周りの回転面として構成され、車両１の周囲を取り囲んでいる。３次元処理部４０５は、撮影画像Ｉｃを、仮想投影面Ｓｐに投影した仮想投影画像Ｉｐを算出する。撮影画像Ｉｃを地面Ｇｒに投影すると、撮像部１５から遠ざかるにつれて像が長くなり、出力画像中で実際の長さよりも長く映る場合がある。図５からわかるように、地面Ｇｒ（底面Ｓｐｇ）から立ち上がった側面Ｓｐｓへ投影された仮想投影画像Ｉｐは、地面Ｇｒに投影された場合に比べて、像が短くなり、出力画像中で実際の長さよりも長く映るのが抑制される。

また、３次元処理部４０５は、３次元仮想空間の領域５０１に、３次元形状モデル記憶部４０１に記憶されている、車両形状モデルを配置する。３次元処理部４０５は、領域５０１に配置する車両形状モデルに、所定の透過率を設定する。これにより、３次元仮想空間において、車両形状モデルを介して、反対側の仮想投影画像Ｉｐを視認できる。

周辺画像生成部４０６は、撮像画像データが投影された、３次元仮想空間内の仮想投影面Ｓｐに投影された仮想投影画像Ｉｐ及び車両形状モデルから、当該３次元仮想空間内に設定された視点及び注視点を基準に周辺画像データを生成する。

図６は、表示制御システム１００における車両形状モデル６０１と仮想投影面Ｓｐ（Ｓｐ０）とを示す模式的かつ例示的な側面図である。図６に示される例では、周辺画像生成部４０６は、仮想投影面Ｓｐに投影された仮想投影画像Ｉｐ（図６には不図示）を、仮想の視点Ｅｐから仮想の注視点Ｅｎを見た周辺画像データ（図６には不図示）に変換する。図６に示される例では、視点Ｅｐは、車両形状モデル６０１の後方に設定され、注視点Ｅｎは、車両形状モデル６０１を介して、車両形状モデル６０１の前方に設定される。

このように、本実施形態の周辺画像生成部４０６は、３次元仮想空間内の仮想投影面から、３次元仮想空間内に設定された視点Ｅｐ及び注視点Ｅｎを基準に、車両形状モデルを介して、車両１の進行方向の周囲の状況が表された撮像領域を含む周辺画像データを生成する。

本実施形態の表示処理部４０７は、車両１を表す３次元形状モデルを含む表示アイコンを第１の表示領域に表示し、表示装置８の第１の表示領域に表示されている３次元形状モデルの車両１の向きに応じて、周辺画像生成部４０６により生成された周辺画像データを、表示装置８の第２の表示領域に表示する。第１の表示領域に表示される表示アイコンは、３次元仮想空間内に設定された視点Ｅｐ及び注視点Ｅｎに基づいて配置される。

図７は、表示処理部４０７により表示される表示画面例を示した図である。図７に示される表示画面例では、第１の表示領域７０１に操作用の表示アイコンが表示され、第２の表示領域７０２には、周辺画像データを表示する。第２の表示領域７０２の周辺画像データに表示されている車両形状モデル７０３は、所定の透過率が設定されているため、車両形状モデル７０３を介して、車両１の進行方向の周辺の状況が表示される。また“−”ボタン７０４及び“＋”ボタン７０５は、第２の表示領域７０２に表示される周辺画像データについて拡大、縮小を行うためのアイコンとする。なお、“−”ボタン７０４及び“＋”ボタン７０５を半透明にしてもよい。これにより、“−”ボタン７０４及び“＋”ボタン７０５が重畳されている部分の状況を把握できる。

第１の表示領域７０１に表示される表示アイコンは、車両１の３次元の車両形状モデルと、車両１の傾き角を表すための目盛り情報が表示される。表示アイコンとして示される車両形状モデルの向きは、第２の表示領域７０２に表示される車両形状モデル７０３と連動している。つまり、本実施形態においては、操作受付部４０２が、表示アイコンに表示される車両形状モデルの向きを変更する操作を受け付けた場合に、表示処理部４０７が、第２の表示領域７０２に表示される車両形状モデル７０３の向き及び表示される周辺の状況を切り替える。次に、第１の表示領域７０１に表示される表示アイコンについて説明する。

図８及び図９は、本実施形態の表示アイコンを例示した図である。図８に示される例は、表示アイコンとして表示される、車両１の３次元形状モデルを後方から参照した場合の図とし、図９に示される例は、表示アイコンとして表示される、車両１の３次元形状モデルを左側面から参照した場合の図とする。なお、表示アイコンとして表示される、車両１の３次元形状モデルは、３次元形状モデル記憶部４０１から読み出したものとする。

図８及び図９に示されるように、表示アイコンは、車両１の３次元形状モデルの他に、３次元形状モデルの垂直方向を表すための円盤８０１と、３次元形状モデルの水平方向を表すための円盤８０２と、が表されている。

さらには、表示アイコンの周囲には、車両１の傾き情報を表すための領域８１１〜８２２が、円周上に配置されている。本実施形態の領域８１１〜８２２には、図７に表されるように、傾きを示す数値として“９０”、“６０”、“３０”、“０”、“−３０”、“−６０”、“−９０”、“−６０”、“−３０”、“０”、“３０”、“６０”が設定される。本実施形態においては、当該領域８１１〜８２２に示される数値と、３次元形状モデル及び円盤８０１、８０２の位置とで、車両１の現在の傾きを表現できる。

本実施形態の表示アイコンは、円盤８０１、８０２の中心点を基準に回転可能に表示される。本実施形態の操作受付部４０２は、第１の表示領域７０１に表示されている車両１の３次元形状モデルの向きを変更する操作を受け付ける。本実施形態では、スワイプ操作を、当該表示アイコンの向きを変更する（換言すれば、３次元形状モデルを回転させる）操作として受け付ける。

本実施形態では、操作受付部４０２が、表示アイコンを介して、左右方向のスワイプ操作を受け付けた場合に、車両１の３次元形状モデルについて、ヨー方向の角度（向き）を変更する操作として受け付ける。一方、操作受付部４０２が、表示アイコンを介して、上下方向のスワイプ操作を受け付けた場合に、車両１の３次元形状モデルについて、ピッチ方向の角度（向き）を変更する操作として受け付ける。

そして、表示処理部４０７は、操作受付部４０２が受け付けた向きを変更する操作に応じて、第２の表示領域に表示される周辺画像データを切り替える。なお、切り替えられる周辺画像データについては後述する。

図１０は、本実施形態の第１の表示領域７０１に表示された表示アイコンに対する、右方向のスワイプ操作を受け付けた場合の画面の変化を例示した図である。図１０に表されるように、画像１０１１は、車両１の３次元形状モデルを、車両の後側が正面になるように表示された例とする。図１０に示される例では、領域８１１〜８２２、及び領域１００１〜領域１００５を、傾きを表す目盛り情報を重畳する領域とする。なお、目盛り情報として示される数値は、上述した数値と同様として説明を省略する。

なお、領域８１１〜８２２、及び領域１００１〜領域１００５に表示される目盛り情報のうち、３次元形状モデルや円盤８０１、８０２上に重なるように配置される目盛り情報（例えば、画像１０１１における領域１００１〜領域１００５に表示される目盛り情報）は、視認性を向上させるために、表示を省略しても良い。

操作受付部４０２が、運転者又は搭乗者の指１０５０による、表示装置８に表示された第１の表示領域７０１に対して右方向のスワイプ操作を受け付けた場合に、表示処理部４０７は、第１の表示領域７０１に表示される画像を、画像１０１１、画像１０１２、画像１０１３の順に切り替えていく。当該切り替えに応じて、表示処理部４０７は、第１の表示領域７０１に表示される、周辺画像データを切り替える。例えば、画像１０１３が表示された場合に、表示処理部４０７は、第２の表示領域７０２にも、車両１の３次元形状モデルの左側面が正面になるように配置された周辺画像データを表示する。なお、画像１０１３においては、領域８１２〜８１６に表示される目盛り情報は、表示を省略してもよい。

そして、周辺画像生成部４０６は、右方向又は左方向のスワイプ操作の後に表示された第１の表示領域７０１内の車両１の３次元形状モデルの向きと、周辺画像データ内の車両１の３次元形状モデルの向きが同じになるように、３次元仮想空間内で、当該３次元仮想空間内に設けられた車両１の位置を基準として、視点及び注視点をヨー方向に回転させた周辺画像データを生成する。

そして、表示処理部４０７は、操作受付部４０２が受け付けたヨー方向の角度を変更する操作に応じて、周辺画像生成部４０６に生成された周辺画像データに切り替える。

図１１は、本実施形態の第１の表示領域７０１に表示された表示アイコンに対する、下方向のスワイプ操作を受け付けた場合の画面の変化を例示した図である。図１１に表されるように、画像１１１１は、車両１の３次元形状モデルを、車両１の後側が正面になるように表示された例とする。

操作受付部４０２が、運転者又は搭乗者の指１１５０による、表示装置８に表示された第１の表示領域７０１に対して下方向のスワイプ操作を受け付けた場合に、表示処理部４０７は、画像１１１１、画像１１１２、画像１１１３の順に表示を切り替えていく。当該切り替えに応じて、表示処理部４０７は、第１の表示領域７０１に表示される、周辺画像データを切り替えていく。例えば、画像１１１３が表示された場合に、表示処理部４０７は、第２の表示領域７０２にも、車両１の３次元形状モデルの上面が正面になるように配置された周辺画像データを表示する。

そして、周辺画像生成部４０６は、上方向又は下方向のスワイプ操作の後に表示された第１の表示領域７０１内の車両１の３次元形状モデルの向きと、周辺画像データ内の車両１の３次元形状モデルの向きが同じになるように、前回生成した周辺画像データと比べて、３次元仮想空間内で、当該３次元仮想空間内に設けられた車両１の位置を基準として、少なくとも視点を上方向又は下方向に移動させた周辺画像データを生成する。なお、注視点は固定しても良いし、視点と同様に移動させても良い。

そして、表示処理部４０７は、操作受付部４０２が受け付けたピッチ方向の角度を変更する操作に応じて、周辺画像生成部４０６に生成された周辺画像データに切り替える。

また、本実施形態は、取得部４０３が取得した、車両１の前後方向の傾き情報（ピッチ角）や左右方向の傾き情報（ロール角）に応じて、第１の表示領域７０１に表示される、車両１の３次元形状モデルの表示態様を変更する。

図１２は、本実施形態の表示処理部４０７が表示する第１の表示領域７０１の表示態様の変化を例示した図である。図１２に示される例では、画像１２１１は、取得部４０３が取得した、車両１の前後方向の傾き（ピッチ角）が“０°”の場合とする。画像１２１２は、取得部４０３が取得した、車両１の前後方向の傾き（ピッチ角）が“３０°”の場合とする。画像１２１１においては、３次元形状モデル１２０１が水平状態（ピッチ角“０°”）で表示されている。また、円盤８０２も水平状態のため、円盤８０２の端部が領域１００３に重なるように配置されている。

画像１２１２においては、３次元形状モデル１２０２が前後方向に傾いた状態（ピッチ角“３０°”）で表示されている。円盤８０２も３次元形状モデル１２０２と共に傾くため、円盤８０２の端部が領域１００４に重なるように配置されている。

図１３は、本実施形態の表示処理部４０７が表示する第１の表示領域７０１の表示態様の変化を例示した図である。図１３に示される例では、画像１３１１は、取得部４０３が取得した、車両１の左右方向の傾き（ロール角）が“０°”の場合とする。画像１３１２は、取得部４０３が取得した、車両１の左右方向の傾き（ロール角）が“３０°”の場合とする。画像１３１１においては、３次元形状モデル１３０１が水平状態（ロール角“０°”）で表示されている。また、円盤８０２も水平状態のため、円盤８０２の端部が領域８２０、８１４に重なるように配置されている。

画像１３１２においては、３次元形状モデル１３０１が左右方向に傾いた状態（ロール角“３０°”）で表示されている。円盤８０１、８０２も３次元形状モデル１３０２と共に傾くため、円盤８０２の端部が領域８１９、８１３に重なるように配置されている。

そして、表示処理部４０７は、第１の表示領域７０１に傾き情報に対応した傾きで車両１の３次元形状モデルと、傾きの度合いを表した目盛り情報と、を表示する。また、操作受付部４０２が向きを変更する操作を受け付けた場合には、表示処理部４０７は、受け付けた向きを変更する操作に応じて、第１の表示領域７０１に表示される３次元形状モデルを回転させると共に、当該向きに対応して目盛り情報が表示される位置を変更する。目盛り情報で変更される位置は、図１０、図１１と同様として説明を省略する。

図１４は、取得部４０３が車両１の左右方向の傾き情報（ロール角）“３０°”を取得した場合に表示される画面例を示した図である。図１４に示される例では、第１の表示領域１４０１には、取得部４０３が取得した車両１の左右方向の傾き情報（ロール角）に応じた３次元形状モデルが表示される。一方、第２の表示領域１４０２は、第１の表示領域１４０１と同様の視点及び注視点が設定された周辺画像データが表示される。しかしながら、撮像画像データを傾き情報（ロール角）“３０°”に応じた回転補正を行わない。このため、３次元形状モデルが水平状態であり、傾き情報（ロール角）“３０°”だけ傾いた車両１で撮像された周辺画像データが表示される。

図１５は、操作受付部４０２が下方向へのスワイプ操作を受け付けた場合に表示される画面例を示した図である。図１５に示される例では、第１の表示領域１５０１には、操作受付部４０２が受け付けたスワイプ操作に応じて車両１をピッチ方向に回転させた３次元形状モデルが表示される。一方、第２の表示領域１５０２は、第１の表示領域１５０１と３次元形状モデルが同様の表示態様になるように、視点及び注視点が設定された周辺画像データが表示される。

さらに、本実施形態の操作受付部４０２は、第２の表示領域に表示された周辺画像データの拡大又は縮小操作を受け付ける。本実施形態においては、第２の表示領域に表示された“−”ボタン又は“＋”ボタンの押下を受け付けた場合に、表示処理部４０７は、操作受付部４０２が受け付けた拡大操作（“＋”ボタンの押下）又は縮小操作（“−”ボタン）に応じて、第２の表示領域に表示される周辺画像データを切り替える。

本実施形態においては、拡大操作を受け付けた場合に、周辺画像生成部４０６が、前回生成した周辺画像データと比べて、視点を注視点に近づけた周辺画像データを生成する。これにより前回生成した周辺画像データと比べて、３次元形状モデルや周辺の状況が拡大された周辺画像データを生成できる。

一方、縮小操作を受け付けた場合に、周辺画像生成部４０６が、前回生成した周辺画像データと比べて、視点を注視点から遠ざけた周辺画像データを生成する。これにより前回生成した周辺画像データと比べて、３次元形状モデルや周辺の状況が縮小された周辺画像データを生成できる。

図１６〜１８は、本実施形態の操作受付部４０２が、第２の表示領域に表示された周辺画像データの拡大又は縮小操作を受け付けた場合に表示する画面例を示した図である。図１６は、拡大操作を受け付ける前の画面例を示している。図１６に示される例において、操作受付部４０２が、運転者又は搭乗者から、第２の表示領域１６０２の“＋”ボタン１６１１の押下を受け付けた場合に、図１７が表示される。なお、“−”ボタン１６１２の押下を受け付けた場合には、第２の表示領域１６０２に縮小された周辺画像データが表示される。なお、第１の表示領域１６０１の説明については省略する。

図１７は、拡大操作を一回受け付けた後の画面例を示している。図１７に示される例では、表示処理部４０７は、第２の表示領域１７０２に、拡大された周辺画像データを表示する。また、表示処理部４０７は、第１の表示領域１７０１の車両１の３次元形状モデル上における拡大の基準となった位置に、マーク１７１３を表示する。これにより、運転者又は搭乗者ｆは、拡大された周辺画像データが、どの位置を表示しているのか認識できる。なお、本実施形態では、拡大の基準となった位置にマーク１７１３を表示する例について説明するが、縮小操作を受け付けた場合も同様に、表示処理部４０７は、縮小の基準となった位置にマークを表示する。

図１７に示される例において、操作受付部４０２が、運転者又は搭乗者から、第２の表示領域１７０２の“＋”ボタン１７１１の押下を受け付けた場合に、図１８が表示される。

図１８は、拡大操作を二回受け付けた後の画面例を示している。図１８に示される例では、表示処理部４０７は、第２の表示領域１８０２に、さらに拡大された周辺画像データを表示する。また、表示処理部４０７は、第１の表示領域１８０１の車両１の３次元形状モデル上に、拡大の基準となった位置に、マーク１８１３を表示する。図１８に示される例では、拡大操作を繰り返したことで、３次元形状モデルを介して、車両１の反対側に存在する障害物１８２１がどのような形状なのか把握することが可能となった。

図１８に示される例では、“＋”ボタン１８１１や“−”ボタン１８１２の押下を受け付けることで、さらに拡大又は縮小された周辺画像データの表示が可能となる。

次に、本実施形態の表示制御システム（ＥＣＵ１４）における表示処理について説明する。図１９は、本実施形態の表示制御システムにおける上述した処理の手順を示すフローチャートである。

まず、ＥＣＵ１４の取得部４０３は、加速度センサ２４からの信号に基づいて、車両１の前後方向の傾き情報（ピッチ角）や左右方向の傾き情報（ロール角）を取得する（Ｓ１９０１）。

次に、取得部４０３は、四つの撮像部１５ａ〜１５ｄから、車両１の周囲を撮像した撮像画像データを取得する（Ｓ１９０２）。

そして、画像合成部４０４が、Ｓ１９０２で取得した複数の撮像画像データを合成し、一つの撮像画像データを生成する（Ｓ１９０３）。

３次元処理部４０５は、合成した撮像画像データを、３次元仮想空間の仮想投影面に投影する（Ｓ１９０４）。その際に、当該３次元仮想空間に、所定の透過率が設定された車両１の３次元形状モデルも配置する。

そして、周辺画像生成部４０６は、予め定められた視点及び注視点に基づいて、車両１の３次元形状モデルを介して、仮想投影面に投影された撮像画像データが表された周辺画像データを生成する（Ｓ１９０５）。

表示処理部４０７は、取得部４０３が取得した傾き情報に応じて傾けた車両１の３次元形状モデルを第１の表示領域に表示し、周辺画像データを第２の表示領域に表示する（Ｓ１９０６）。

そして、操作受付部４０２が、第１の表示領域に表示された３次元形状モデルの向きを変更する操作（例えばスワイプ操作）を受け付けたか否かを判定する（Ｓ１９０７）。

操作受付部４０２が向きを変更する操作（例えばスワイプ操作）を受け付けたと判定した場合（Ｓ１９０７：Ｙｅｓ）、周辺画像生成部４０６は、操作を受け付けた向きに対応する、視点及び注視点に基づいて、車両１の３次元形状モデルを介して、仮想投影面に投影された撮像画像データが表された周辺画像データを生成する（Ｓ１９０８）。

表示処理部４０７は、変更された向きの車両１の３次元形状モデルを第１の表示領域に表示し、当該向きに対応するものとしてＳ１９０８で生成された、周辺画像データを第２の表示領域に表示する（Ｓ１９０９）。その後、再びＳ１９０７から処理を行う。

一方、操作受付部４０２が向きを変更する操作（例えばスワイプ操作）を受け付けなかった場合（Ｓ１９０７：Ｎｏ）、Ｓ１９０６の表示を継続するものとして、処理を終了する。

上述した実施形態においては、表示制御システムが上述した構成で、第１の表示領域に対する操作と連動して、第２の表示領域に表示される、車両１の３次元形状モデル及び周辺の状況が切り替わるので、直感的な表示の切り替え操作を提供できる。

また上述した実施形態においては、第１の表示領域の表示アイコンと共に、車両１の傾きを示す目盛り情報を表示するため、車両１の傾きを認識できる。

また、上述した実施形態においては、拡大操作や縮小操作を受け付けた場合に、周辺画像データの表示を切り替えることで、視認性を向上させることができる。

また、上述した実施形態においては、第２の表示領域には、視点を切り替えるためのアイコン等を表示しないため、当該アイコン等が重畳された部分の状況が認識できないという状況を抑止できる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…車両、１４…ＥＣＵ、１００…表示制御システム、４０１…３次元形状モデル記憶部、４０２…操作受付部、４０３…取得部、４０４…画像合成部、４０５…３次元処理部、４０６…周辺画像生成部、４０７…表示処理部。

Claims (6)

1. 車両の周辺を撮像する複数の撮像部から複数の撮像画像データを取得する取得部と、
   車両を表す３次元形状モデルを第１の表示領域に表示し、前記第１の表示領域に表示されている前記３次元形状モデルの車両の向きに応じて、前記取得部が取得した撮像画像データに基づいた前記車両の周辺を表した周辺画像データを、第２の表示領域に表示する表示処理部と、
   前記表示処理部により前記第１の表示領域に表示されている前記３次元形状モデルの向きを変更する操作を受け付ける操作受付部と、を備え、
   前記表示処理部は、前記操作受付部が受け付けた前記向きを変更する操作に応じて、前記第２の表示領域に表示される前記周辺画像データを切り替える、
   表示制御装置。
2. 前記取得部は、さらに、前記車両の傾きを示した傾き情報を取得し、
   前記表示処理部は、さらに、前記傾き情報に対応した傾きで前記車両の３次元形状モデルを前記第１の表示領域に表示し、さらに、当該傾きの度合いを表した目盛り情報を前記第１の表示領域に表示すると共に、前記操作受付部が受け付けた前記向きを変更する操作に応じて、前記向きに対応して回転させた前記目盛り情報が表示される位置を変更する、
   請求項１に記載の表示制御装置。
3. 前記撮像画像データが投影された、３次元仮想空間内の仮想投影面から、当該３次元仮想空間内に設定された視点及び注視点を基準に第１の周辺画像データを生成する生成部を備え、
   前記操作受付部は、前記３次元形状モデルの向きとして、ヨー方向の角度を変更する操作を受け付け、
   前記生成部は、前記３次元仮想空間内に設けられた車両の位置を基準として、前記視点及び前記注視点を前記ヨー方向に回転させた第２の周辺画像データを生成し、
   前記表示処理部は、前記操作受付部が受け付けた前記ヨー方向の角度を変更する操作に応じて、前記生成部に生成された前記第２の周辺画像データに切り替える、
   請求項１又は２に記載の表示制御装置。
4. 前記撮像画像データが投影された、３次元仮想空間内の仮想投影面から、当該３次元仮想空間内に設定された視点及び注視点を基準に第１の周辺画像データを生成する生成部を備え、
   前記操作受付部は、前記３次元形状モデルの向きとして、ピッチ方向の角度を変更する操作を受け付け、
   前記生成部は、前記３次元仮想空間内の仮想投影面から、前回生成した第１の周辺画像データと比べて、前記視点を上方向に移動させた第２の周辺画像データを生成し、
   前記表示処理部は、前記操作受付部が受け付けた前記ピッチ方向の角度を変更する操作に応じて、前記生成部に生成された前記第２の周辺画像データに切り替える、
   請求項１又は２に記載の表示制御装置。
5. 前記操作受付部は、さらに、前記第２の表示領域に表示された画像の拡大又は縮小操作を受け付け、
   前記表示処理部は、前記操作受付部が受け付けた前記画像の拡大又は縮小操作に応じて、前記第２の表示領域に表示される前記周辺画像データを切り替える、
   請求項１又は２に記載の表示制御装置。
6. 前記表示処理部は、前記操作受付部が前記画像の拡大又は縮小操作を受け付けた場合に、前記第１の表示領域に表示されている、前記車両を表す前記３次元形状モデル上における拡大又は縮小の基準となった位置に所定の表示情報を表す、
   請求項５に記載の表示制御装置。

Images