JP7159599B2 - 周辺監視装置 - Google Patents

Description

本発明の実施形態は、周辺監視装置に関する。

従来から、車両の周囲を撮像した撮像画像や、車両の上方から見た車両の周囲と、車両を表すアイコン画像とを含む俯瞰画像等を車内のモニタ装置等に表示する技術が知られている。また、車両の周囲に障害物を検知した場合等に、モニタ装置に表示される画像を切り替えることで、ユーザが車両の周囲の状況を把握しやすくする技術も知られている。

特許第３９０６８９２号公報 特開２０１６－１８４９２６号公報 特開２０１７－０４７７８２号公報

しかしながら、従来技術では、車両の状態が変化する場合に、ユーザが、モニタ装置等に表示されている画像から車両の状態の変化を把握することが困難な場合があった。

本発明の実施形態にかかる周辺監視装置は、一例として、車両の状態が変化する場合に、車両を表す三次元画像を、車両の状態の変化に対応して変化させるとともに、車両の状態が変化した部位に対応する三次元画像上の部位を表示可能な視点で、表示部に表示する表示制御部を備える。よって、上記周辺監視装置によれば、車両の状態が変化する場合に、表示部に表示されている三次元画像から、ユーザが車両の状態の変化を把握することができる。

上記周辺監視装置では、一例として、表示制御部は、車両の状態が変化する場合であって、三次元画像が表示部に表示されていない場合、三次元画像を含む画像を表示部に表示する。よって、上記周辺監視装置によれば、車両の状態が変化した場合に画面遷移をして三次元画像を表示することにより、ユーザに対して車両の状態が変化することをより確実に把握させることができる。

上記周辺監視装置では、一例として、車両の状態は車高を含み、表示制御部は、車両の状態が変化する場合に、三次元画像を、車両の車高の変化を表示可能な視点で、表示部に表示する。よって、上記周辺監視装置によれば、車両の車高が変化していることを、ユーザに把握させることができる。

上記周辺監視装置では、一例として、表示制御部は、車両の車高が変化する場合に、三次元画像を、斜め上方または側方からの視点で表示部に表示する。よって、上記周辺監視装置によれば、車両の車高が変化していることを、車両を表す三次元画像の縦方向の長さの変化によってユーザに把握させることができる。

上記周辺監視装置では、一例として、車両の状態が変化する部位が複数ある場合に、車両の状態が変化する複数の部位のそれぞれに対応する三次元画像上の複数の部位を表示可能な視点を特定する特定部をさらに備える。また、表示制御部は、特定部によって特定された視点で、三次元画像を表示部に表示する。よって、上記周辺監視装置によれば、車両の状態が変化する部位が複数ある場合にも、各部位における車両の状態の変化をユーザに把握させることができる。

上記周辺監視装置では、一例として、車両の状態が変化する複数の部位は、ヘッドランプと、フォグランプと、サイドドアと、バックドアと、の少なくとも１つを含む。よって、上記周辺監視装置によれば、状態の変化を把握することについてのユーザのニーズがある車両の部位について、状態の変化を表示することができる。

図１は、第１の実施形態にかかる車両の車室の一部が透視された状態が示された例示的な斜視図である。 図２は、第１の実施形態にかかるＥＣＵを含む車両制御システムのハードウェア構成の一例を示す図である。 図３は、第１の実施形態にかかるＥＣＵが有する機能の一例を示すブロック図である。 図４は、第１の実施形態にかかる画像切替処理の手順の一例を示すフローチャートである。 図５は、第１の実施形態にかかる３Ｄビューの視点の切り換えの一例を示す図である。 図６は、第１の実施形態にかかる画面の切り替えの一例を示す図である。 図７は、第２の実施形態にかかるＥＣＵが有する機能の一例を示すブロック図である。 図８は、第２の実施形態にかかる画像切替処理の手順の一例を示すフローチャートである。 図９は、第２の実施形態にかかる車両の状態が変化する部位と、視点とを対応付けた情報の一例を示す図である。

（第１の実施形態）
図１は、第１の実施形態にかかる車両１の車室２ａの一部が透視された状態が示された例示的な斜視図である。図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。

操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイール（ハンドル）である。加速操作部５は、例えば、アクセルペダルである。制動操作部６は、例えば、ブレーキペダルである。変速操作部７は、例えば、シフトレバーである。

また、車室２ａ内には、表示装置８や、音声出力装置９が設けられている。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、ＬＣＤ（Liquid Crystal Display）や、ＯＥＬＤ（Organic Electroluminescent Display）等である。表示装置８は、本実施形態における表示部の一例である。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、表示装置８の表示画面に表示される画像に対応した位置を手指等で操作入力部１０を押下等して操作することで、操作入力を実行することができる。

これらの表示装置８、音声出力装置９、操作入力部１０等は、例えば、モニタ装置１１に設けられている。モニタ装置１１は、スイッチや押しボタン等の不図示の操作入力部を有していてもよい。また、車室２ａ内には、表示装置８とは別の表示装置（表示部）が設けられてもよい。また、ダッシュボード２４の計器盤部２５には、各種のインジケータが表示される。

図１に例示されるように、車体２には、複数の撮像部（撮像装置）１５として、例えば４つの撮像部１５ａ～１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラであり、所定のフレームレートで動画データを出力することができる。撮像部１５は、車両１が移動可能な路面や車両１が駐車可能な領域を含む車体２の周辺の外部の環境を逐次撮影（撮像）し、撮像画像データとして出力する。

撮像部１５ａは、車体２の後側の端部２ｅ付近、例えば、リアハッチのドア２ｈのリアウインドウの下方の壁部に位置される。撮像部１５ｂは、車体２の右側の端部、例えば、右側のドアミラー２ｇに位置される。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部に位置される。撮像部１５ｄは、車体２の左側の端部、例えば、左側のドアミラー２ｇに位置される。撮像部１５の数および位置は、これらに限定されるものではない。

また、図１に例示されるように、車両１は、例えば、四輪自動車であり、左右２つの前輪３Ｆと、左右２つの後輪３Ｒとを有する。これら４つの車輪３は、いずれも転舵可能に構成されうる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

また、図１に例示されるように、車体２には、複数の測距部１６ａ，１６ｄ（１６），１７ａ～１７ｄ（１７）が設けられている。測距部１６，１７は、例えば、超音波を発射してその反射波を捉えるソナー（ソナーセンサ、超音波探知器）である。車体２に設けられる測距部１６，１７の数および位置は、図１に示される例に限定されるものではない。

また、本実施形態の車両１は、車高をロー（低）、ノーマル（標準）、ハイ（高）の３段階に変更可能であるものとする。車両１の車高を調整する不図示の車高調整機構は、公知のサスペンション等により構成される。

図２は、本実施形態にかかるＥＣＵ（electronic control unit）１４を含む車両制御システム１００のハードウェア構成の一例を示す図である。図２に示すように、車両制御システム１００では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３、測距部１６，１７等の他、ブレーキシステム１８、車高センサ２６等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）として構成される。

ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御する。また、ＥＣＵ１４は、車内ネットワーク２３を介して、ブレーキセンサ１８ｂ、車高センサ２６等の検出結果、ならびに、操作入力部１０等の指示信号（制御信号、操作信号、入力信号、データ）を受け取る。ＥＣＵ１４は、本実施形態における周辺監視装置の一例である。

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。

ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行する。また、ＣＰＵ１４ａは、操作部１４ｇの操作入力による操作信号や、各種のセンサからの信号を取得する。表示制御部１４ｄは、表示装置８に対する画像出力を制御する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。

なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。

操作部１４ｇは、ユーザからの操作を受けて、操作信号を出力するデバイスであり、例えば、押しボタンやスイッチ等で構成される。本実施形態の操作部１４ｇは、一例として、車両１の車高をロー、ノーマル、ハイの３つのモードから選択可能であるものとする。操作部１４ｇは、例えばダッシュボード２４に設けられる。

また、操舵システム１３は、少なくとも２つの車輪３を操舵する。また、ブレーキシステム１８は、アクチュエータ１８ａと、ブレーキセンサ１８ｂとを有する。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。

車高センサ２６は、車輪３の近傍に設けられ、地面からの車体の高さを検知するセンサである。本実施形態の車両１には、４つの車高センサ２６のそれぞれが、各車輪３の近傍に設置される。車高センサ２６は、車体の高さの検知結果を示す検知信号を、ＥＣＵ１４に送信する。

上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

図３は、本実施形態にかかるＥＣＵ１４が有する機能の一例を示すブロック図である。図３に示すように、ＥＣＵ１４は、受付部１４１と、取得部１４２と、車高調整部１４３と、画像処理部１４４と、判断部１４５と、表示制御部１４６と、記憶部１５０とを備える。受付部１４１、取得部１４２、車高調整部１４３、画像処理部１４４、判断部１４５、表示制御部１４６の各構成は、ＣＰＵ１４ａが、ＲＯＭ１４ｂ内に格納されたプログラムを実行することで実現される。なお、これらの構成をハードウェア回路で実現するように構成しても良い。

記憶部１５０は、車両１の外観を表す３Ｄのアイコン画像（以下、アイコン）を記憶する。アイコンは、例えばＣＧ（Computer Graphics）等で予め生成された画像であり、様々な視点（前方、斜め前方、後方、斜め後方、側方、上方、斜め上方等）から見た車両１の外観を表す。アイコンは、本実施形態における三次元画像の一例である。また、記憶部１５０は、例えば、ＳＳＤ１４ｆである。

受付部１４１は、操作部１４ｇから取得した操作信号により、ユーザによる車高の変更の操作を受け付ける。また、受付部１４１は、操作入力部１０から運転者による車高の変更の操作を受け付けても良い。具体的には、受付部１４１は、ユーザが変更後の車高としてロー、ノーマル、ハイのいずれかを選択した操作を受け付ける。

取得部１４２は、車高センサ２６から入力される検知信号に基づいて、車両１の車高を取得する。

車高調整部１４３は、受付部１４１がユーザによる車高の変更の操作を受け付けた場合に、車高調整機構を制御して車両１の車高を変更する。また、車高調整部１４３は、ユーザによる車高の変更の操作に限らず、車両１の走行モードが変更された場合等にも、車両１の車高を各走行モードに応じた高さに変更する。

画像処理部１４４は、撮像部１５によって撮像された撮像画像に対して合成や視点変換等の画像処理を行うことによって、３Ｄビュー等の合成画像を生成する。３Ｄビューは、車両１の周囲を表す背景画像と、車両１の外観を表すアイコンとを含む画像である。背景画像は、撮像画像から画像処理によって生成される。なお、本実施形態ではアイコンを三次元画像の一例とするが、アイコンを含む３Ｄビュー全体を三次元画像の一例としても良い。

判断部１４５は、車両１の車高が変化中であるか否かを判断する。より詳細には、判断部１４５は、受付部１４１が車高の変更の操作を受け付けた場合に、車両１の車高が変化中であると判断する。また、判断部１４５は、例えば、取得部１４２によって取得された車高を時系列に比較することで車両１の車高が変化しているか否かを判断しても良い。

表示制御部１４６は、車両１の状態が変化する場合に、車両１を表すアイコンを、車両１の状態の変化に対応して変化させるとともに、車両１の状態が変化した部位に対応するアイコン上の部位を表示可能な視点で、表示装置８に表示する。より詳細には、本実施形態の表示制御部１４６は、車両１の車高が変化する場合に、アイコンの車高を、車両１の車高の変化に対応して変化させるとともに、車両１の車高の変化に対応するアイコンの車高の変化を表示可能な視点で、表示装置８に表示する。車両１の車高は、本実施形態における車両１の状態の一例である。また、本実施形態では、車両１の車高は、車両１の状態が変化した部位の一例でもある。

３Ｄビューの表示における視点とは、３Ｄビューに含まれる車両１を表すアイコンに対する視点である。例えば、アイコンを斜め上方から見た状態を表示する３Ｄビューは、斜め上方からの視点の３Ｄビューという。アイコンの車高の変化を表示可能な視点は、アイコンの縦方向の長さの変化が表示される視点であり、例えば、アイコンに対して斜め上方または側方から見る視点である。表示制御部１４６は、車両１の車高が変化する場合に、車両１の車高の変化を表示不可の視点、例えば上方からの視点で３Ｄビューが表示されている場合、斜め上方または側方からの視点に切り替えて３Ｄビューを表示する。

また、表示制御部１４６は、車両１の車高が変化する場合であって３Ｄビューが表示装置８に表示されていない場合、斜め上方または側方からの視点の３Ｄビューを、表示装置８に表示する。

次に、以上のように構成された本実施形態のＥＣＵ１４で実行される画像切替処理の詳細を説明する。図４は、本実施形態にかかる画像切替処理の手順の一例を示すフローチャートである。このフローチャートの処理は、例えば、車両１が停止状態にある場合に実行されるものとする。

判断部１４５は、受付部１４１が車高の変更の操作を受け付けたか否か、または、取得部１４２によって取得された車高の変化の有無に基づいて、車両１の車高が変化中であるか否かを判断する（Ｓ１）。車両１の車高が変化中でないと判断した場合は（Ｓ１“Ｎｏ”）、判断部１４５は、Ｓ１の処理を繰り返す。

また、判断部１４５は、車両１の車高が変化中であると判断した場合は（Ｓ１“Ｙｅｓ”）、表示制御部１４６に車高が変化中であることを通知する。この場合、表示制御部１４６は、表示装置８に３Ｄビューを表示中であるか否かを判断する（Ｓ２）。

３Ｄビューを表示中である場合（Ｓ２“Ｙｅｓ”）、表示制御部１４６は、現在表示中の３Ｄビューの視点がアイコンの車高の変化を表示可能な視点であるか否かを判断する。具体的には、表示制御部１４６は、現在表示中の３Ｄビューの視点は斜め上方であるか否かを判断する（Ｓ３）。表示中の３Ｄビューの視点が斜め上方である場合（Ｓ３“Ｙｅｓ”）、表示制御部１４６は、現在表示中の３Ｄビューの表示を継続し、この処理を終了する。

また、表示中の３Ｄビューの視点が斜め上方ではない場合（Ｓ３“Ｎｏ”）、表示制御部１４６は、３Ｄビューの視点を斜め上方からの視点に切り替える。図５は、本実施形態にかかる３Ｄビュー９００ａ～９００ｃの視点の切り換えの一例を示す図である。以下、３Ｄビュー９００ａ～９００ｃを特に区別しない場合は、単に３Ｄビュー９００という。図５に示す例では、車両１の車高の変化中に、車両１を表すアイコン５０を含む３Ｄビュー９００ａが表示装置８に表示されているものとする。３Ｄビュー９００ａは、アイコン５０を上方から見た視点で表示されているため、アイコン５０の車高の変化を表示することができない。この場合、表示制御部１４６は、アイコン５０を斜め上方から見た視点に切り替える。３Ｄビュー９００ｂは、アイコン５０を斜め上方から見た視点で表示された状態を示す。

そして、表示制御部１４６は、３Ｄビュー９００ｂ上のアイコン５０の車高を、車両１の車高の変化に応じて変化させる（Ｓ５）。表示制御部１４６は、車両１の実際の車高の変化に応じてアイコン５０の車高を上昇または下降させても良いし、時間の経過と共に上昇または下降させても良い。

次に、判断部１４５は、車両１の車高の変化が終了したか否かを判断する（Ｓ６）。判断部１４５は、取得部１４２によって取得された車高が、受付部１４１が受け付けた車高の変更の操作における目標車高と一致する場合に、車両１の車高の変化が終了したと判断する。また、取得部１４２によって取得された車高を時系列に比較し、車高が変化していない場合に、車両１の車高の変化が終了したと判断しても良い。

判断部１４５が車両１の車高の変化が終了していないと判断した場合は（Ｓ６“Ｎｏ”）、表示制御部１４６は、Ｓ５の処理に戻る。

また、判断部１４５が車両１の車高の変化が終了したと判断した場合は（Ｓ６“Ｙｅｓ”）、表示制御部１４６は、表示装置８に表示している３Ｄビュー９００の視点を、車高変化前の視点に戻す（Ｓ７）。図５に示す例では、表示制御部１４６は、斜め上方からの視点の３Ｄビュー９００ｂを、３Ｄビュー９００ａと同様に上方からの視点の３Ｄビュー９００ｃに戻している。

また、車両１の車高が変化する場合であって、３Ｄビューが表示されていない場合（Ｓ２“Ｎｏ”）、表示制御部１４６は、斜め上方からの視点の３Ｄビュー９００を、表示装置８に表示する（Ｓ８）。

図６は、本実施形態にかかる画面の切り替えの一例を示す図である。図６に示す例では、車両１の車高の変化中に、３Ｄビュー９００以外の画像、例えば撮像部１５によって撮像された撮像画像であるカメラビュー９１ａが表示装置８に表示されているものとする。この場合、表示制御部１４６は、カメラビュー９１ａから、斜め上方からの視点の３Ｄビュー９００ｄに、表示装置８の表示を切り替える。

そして、表示制御部１４６は、Ｓ５の処理と同様に、３Ｄビュー９００ｄ上のアイコン５０の車高を、車両１の車高の変化に応じて変化させる（Ｓ９）。

次に、判断部１４５は、車両１の車高の変化が終了したか否かを判断する（Ｓ１０）。判断部１４５が車両１の車高の変化が終了していないと判断した場合は（Ｓ６“Ｎｏ”）、表示制御部１４６は、Ｓ９の処理に戻る。

また、判断部１４５が車両１の車高の変化が終了したと判断した場合は（Ｓ１０“Ｙｅｓ”）、表示制御部１４６は、表示装置８の画面を、車高変更前に表示していた画面に戻す（Ｓ１１）。図６に示す例では、表示制御部１４６は、表示装置８の画面を、３Ｄビュー９００ｄから、変更前に表示されていたカメラビュー９１ｂに戻している。表示装置８の表示が車高変化前の状態に戻ると、このフローチャートの処理は終了する。

なお、上述のフローチャートでは、表示制御部１４６は、車高が変化する場合に斜め上方からの視点で３Ｄビュー９００を表示するとしたが、側方からの視点で３Ｄビュー９００を表示するものとしても良い。

このように、本実施形態のＥＣＵ１４では、車両１の状態が変化する場合に、車両１を表すアイコン５０を、車両１の状態の変化に対応して変化させるとともに、車両１の状態が変化した部位に対応するアイコン５０上の部位を表示可能な視点で、表示装置８に表示する。このため、本実施形態のＥＣＵ１４によれば、車両１の状態が変化する場合に、表示装置８に表示されている３Ｄビュー９００から、ユーザが車両１の状態の変化を把握することができる。

また、本実施形態のＥＣＵ１４では、車両１の状態が変化する場合であって、アイコン５０が表示装置８に表示されていない場合、アイコン５０を含む３Ｄビュー９００を、表示装置８に表示する。このため、本実施形態のＥＣＵ１４によれば、車両１の状態が変化した場合に画面遷移をして３Ｄビュー９００を表示することにより、ユーザに対して車両１の状態が変化することをより確実に把握させることができる。

また、本実施形態では、車両１の車高が変化する場合に、アイコン５０を含む３Ｄビュー９００を、アイコン５０の車高の変化を表示可能な視点で、表示装置８に表示する。このため、本実施形態のＥＣＵ１４によれば、車両１の車高が変化していることを、ユーザに把握させることができる。

より具体的には、本実施形態では、車両１の車高が変化する場合に、アイコン５０を含む３Ｄビュー９００を、斜め上方または側方からの視点で表示装置８に表示する。このため、本実施形態のＥＣＵ１４によれば、車両１の車高が変化していることを、アイコン５０の縦方向の長さの変化によってユーザに把握させることができる。

（第２の実施形態）
上述の第１の実施形態では、車両１の車高が変化する場合に、３Ｄビュー９００の視点の切り替えまたは画面遷移を行っていた。第２の実施形態では、車両１の車高以外が変化する場合にも、３Ｄビュー９００の視点の切り替えまたは画面遷移を行う。

本実施形態にかかる車両１の全体構成および車両制御システム１００のハードウェア構成は、図１、図２で説明した第１の実施形態の構成と同様である。

図７は、本実施形態にかかるＥＣＵ１４が有する機能の一例を示すブロック図である。図７に示すように、ＥＣＵ１４は、受付部１４１と、取得部１１４２と、車高調整部１４３と、画像処理部１４４と、判断部１１４５と、表示制御部１１４６と、特定部１４７と、記憶部１１５０とを備える。受付部１４１と、車高調整部１４３と、画像処理部１４４とは、第１の実施形態と同様の機能を備える。

記憶部１１５０は、第１の実施形態と同様の情報を記憶した上で、車両１の状態が変化する部位と、当該変化する部位に対応するアイコン５０上の部位を表示可能な視点とを対応付けて記憶する。変化する部位と視点との対応付けの詳細は後述する。

取得部１１４２は、第１の実施形態の機能を備えた上で、さらに、車両１の各部位の変化を示す情報を、車両１に搭載された各種のセンサまたは操作入力部１０等から送信される指示信号から取得する。より詳細には、取得部１１４２は、ヘッドランプの点灯または消灯、フォグランプの点灯または消灯、サイドドアの開閉、バックドアの開閉を示す情報を各種のセンサまたは指示信号から取得する。なお、取得部１１４２が取得する情報は、これらに限定されるものではない。

判断部１１４５は、第１の実施形態の機能を備えた上で、さらに、取得部１１４２が取得した情報に基づいて、車両１の状態が変化した部位があるか否かを判断する。例えば、判断部１１４５は、消灯状態でヘッドランプが点灯したことを示す情報を取得部１１４２が取得した場合、車両１の状態が変化した部位があると判断する。

また、特定部１４７は、判断部１１４５によって車両１の状態が変化した部位があると判断された場合に、記憶部１１５０に記憶された変化する部位と視点との対応付けに基づいて、車両１の状態が変化する部位に対応するアイコン５０上の部位を表示可能な視点を特定する。また、特定部１４７は、車両１の状態が変化する部位が複数ある場合に、車両１の状態が変化する複数の部位のそれぞれに対応するアイコン５０上の複数の部位を表示可能な視点を特定する。また、本実施形態においては、車両１の状態が変化する複数の部位は、ヘッドランプと、フォグランプと、サイドドアと、バックドアと、の少なくとも１つを含むものとする。

表示制御部１１４６は、第１の実施形態の機能を備えた上で、さらに、車両１の車高以外の状態が変化する場合も、アイコン５０を、車両１の状態が変化する部位に対応するアイコン５０上の部位を表示可能な視点で、表示装置８に表示する。より詳細には、表示制御部１１４６は、特定部１４７によって特定された車両１の状態が変化する部位に対応するアイコン５０上の部位を表示可能な視点で、アイコン５０を表示装置８に表示する。

次に、以上のように構成された本実施形態のＥＣＵ１４で実行される画像切替処理の詳細を説明する。図８は、本実施形態にかかる画像切替処理の手順の一例を示すフローチャートである。Ｓ１の車高が変化中であるか否かの判断から、Ｓ１１の車高変化前の画面に戻す処理までは、図４のＳ１～Ｓ１１の処理と同様である。

本実施形態では、判断部１１４５は、車両１の車高が変化中ではないと判断した場合は（Ｓ１“Ｙｅｓ”）、さらに、取得部１１４２が取得した情報に基づいて、その他に車両１の状態が変化した部位があるか否かを判断する（Ｓ２１）。具体的には、判断部１１４５は、ヘッドランプと、フォグランプと、サイドドアと、バックドアのいずれかの状態が変化したか否かを判断する。車両１の状態が変化した部位がないと判断した場合（Ｓ２１“Ｎｏ”）、判断部１１４５は、Ｓ１の処理に戻る。

また、判断部１１４５が車両１の状態が変化した部位があると判断した場合（Ｓ２１“Ｙｅｓ”）、特定部１４７は、車両１の状態が変化する部位に対応するアイコン５０上の部位を表示可能な視点を特定する（Ｓ２２）。図９は、本実施形態にかかる車両１の状態が変化する部位と、視点とを対応付けた情報の一例を示す図である。本実施形態の記憶部１１５０は図９に示すように、車両１の状態が変化する部位と、当該変化する部位に対応するアイコン５０上の部位を表示可能な視点とを対応付けて記憶する。

また、図９に示すように、車両１の状態が変化する部位が複数ある場合、変化した部位の組み合わせと、車両１の状態が変化する複数の部位のそれぞれに対応するアイコン５０上の複数の部位を表示可能な視点とが対応付けられている。図９に示す縦の列と横の行とは車両１の状態が変化する部位の組み合わせを示す。また、縦の列に記載された部位と横の行に記載された部位とが同じ場合は、１つの部位のみが変化した状態における表示用の視点を示す。

例えば、車両１のヘッドランプまたはフォグランプの状態が変化した場合であって、サイドドアおよびバックドアは変化していない場合には、アイコン５０の前方からの視点が表示用の視点として対応付けられている。また、例えば、車両１のヘッドランプまたはフォグランプの状態が変化した場合であって、サイドドアの状態も変化した場合は、アイコン５０の斜め前方からの視点が表示用の視点として対応付けられている。

また、３Ｄビュー９００の視点が変更した場合でも、３Ｄビュー９００上の注視点Ｖｐの３Ｄビュー９００上の位置は変化しないものとする。

次に、表示制御部１１４６は、表示装置８に３Ｄビュー９００を表示中であるか否かを判断する（Ｓ２３）。表示装置８に３Ｄビュー９００を表示中である場合（Ｓ２３“Ｙｅｓ”）、表示制御部１１４６は、現在表示されている３Ｄビュー９００の視点が、特定部１４７によって特定された視点であるか否かを判断する（Ｓ２４）。表示中の３Ｄビューの視点が特定部１４７によって特定された視点である場合（Ｓ２４“Ｙｅｓ”）、表示制御部１１４６は、現在表示中の３Ｄビューの表示を継続し、この処理を終了する。

現在表示されている３Ｄビュー９００の視点が、特定部１４７によって特定された視点ではない場合、表示制御部１１４６は、３Ｄビュー９００の視点を特定部１４７によって特定された視点に切り替える（Ｓ２５）。また、視点の切り替えの際に、表示制御部１１４６は、３Ｄビュー９００を回転させるように、切り替え前の視点から、切り替え後の視点へ連続的に変化させる。このような表示をムービングビューともいう。表示制御部１１４６は、注視点Ｖｐを固定した状態で、視点を移動させるムービングビューを表示することにより、注視点Ｖｐで注目する部分を様々な方向から観察するような表示が可能になる。このため、表示制御部１１４６は、視点の変化に伴う３Ｄビュー９００の変化を滑らかに表示することができ、ユーザが画像の変化に違和感を覚えることを低減することができる。

次に、表示制御部１１４６は、車両１の状態の変化に対応して、３Ｄビュー９００上のアイコン５０の状態を変化させる（Ｓ２６）。より詳細には、表示制御部１１４６は、車両１の状態が変化した部位に対応するアイコン５０上の部位の状態を変化させる。例えば、車両１のヘッドランプが点灯した場合、表示制御部１１４６は、アイコン５０のヘッドランプを、点灯を表す表示態様に変更する。

次に、判断部１１４５は、取得部１１４２が取得した情報に基づいて、車両１の状態の変化が終了したか否かを判断する（Ｓ２７）。判断部１１４５が車両１の状態の変化が終了していないと判断した場合（Ｓ２７“Ｎｏ”）、表示制御部１１４６は、切り替え後の視点のまま、３Ｄビュー９００の表示を継続する。また、判断部１１４５が車両１の状態の変化が終了したと判断した場合（Ｓ２７“Ｙｅｓ”）、表示制御部１１４６は、３Ｄビュー９００の視点を、変化前の視点に戻す（Ｓ２８）。

また、車両１の状態が変化する場合であって、３Ｄビューが表示されていない場合（Ｓ２３“Ｎｏ”）、表示制御部１４６は、特定部１４７によって特定された視点の３Ｄビュー９００を、表示装置８に表示する（Ｓ２９）。そして、表示制御部１１４６は、車両１の状態の変化に対応して、３Ｄビュー９００上のアイコン５０の状態を変化させる（Ｓ３０）。

次に、判断部１１４５は、取得部１１４２が取得した情報に基づいて、車両１の状態の変化が終了したか否かを判断する（Ｓ３１）。判断部１１４５が車両１の状態の変化が終了していないと判断した場合（Ｓ３１“Ｎｏ”）、表示制御部１１４６は、３Ｄビュー９００の表示を継続する。また、判断部１１４５が車両１の状態の変化が終了したと判断した場合（Ｓ３１“Ｙｅｓ”）、表示制御部１１４６は、表示装置８の画面を、車両１の状態が変化する前に表示していた画面に戻す（Ｓ３２）。ここで、このフローチャートの処理は終了する。

このように、本実施形態のＥＣＵ１４では、車両１の状態が変化する部位が複数ある場合に、車両１の状態が変化する複数の部位のそれぞれに対応するアイコン５０上の複数の部位を表示可能な視点で、アイコン５０を表示装置８に表示する。このため、本実施形態のＥＣＵ１４によれば、第１の実施形態の効果に加えて、車両１の状態が変化する部位が複数ある場合にも、各部位における車両１の状態の変化をユーザに把握させることができる。

また、本実施形態のＥＣＵ１４では、車両１の状態が変化する複数の部位は、ヘッドランプと、フォグランプと、サイドドアと、バックドアと、の少なくとも１つを含むものとする。これらの部位は、頻繁に状態が変わる可能性がある部位、或いは、変化したことを運転者が気付かない可能性がある部位であるため、本実施形態のＥＣＵ１４によれば、状態の変化を把握することについてのユーザのニーズがある車両１の部位について、状態の変化を表示することができる。

なお、特定部１４７の処理は、表示制御部１１４６が行うものとしても良い。また、本実施形態では、判断部１１４５は、車高の変化と、その他の部位の変化とを分けて判断していたが、１つの処理で判断するものとしても良い。

以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。

１…車両、８…表示装置、１５，１５ａ～１５ｄ…撮像部、５０…アイコン、１００…車両制御システム、１４１…受付部、１４２，１１４２……取得部、１４３…車高調整部、１４４…画像処理部、１４５，１１４５…判断部、１４６，１１４６…表示制御部、１４７…特定部、１５０，１１５０…記憶部、９００，９００ａ～９００ｄ…３Ｄビュー。

Claims (5)

1. 車両の状態が変化する場合に、前記車両を表す三次元画像を、前記車両の状態の変化に対応して変化させるとともに、前記車両の状態が変化した部位に対応する前記三次元画像上の部位を表示可能な視点で、表示部に表示する表示制御部と、
   前記車両の状態が変化する部位が複数ある場合に、前記車両の状態が変化する複数の部位の組み合わせと、前記車両の状態が変化する複数の部位のそれぞれに対応する前記三次元画像上の複数の部位を表示可能な視点とを対応付けた情報に基づいて、前記車両の状態が変化する複数の部位のそれぞれに対応する前記三次元画像上の複数の部位を表示可能な視点を特定する特定部と、
   を備え、
   前記表示制御部は、前記特定部によって特定された視点で、前記三次元画像を前記表示部に表示する、
   周辺監視装置。
2. 前記表示制御部は、前記車両の状態が変化する場合であって、前記三次元画像が前記表示部に表示されていない場合、前記三次元画像を含む画像を前記表示部に表示する、
   請求項１に記載の周辺監視装置。
3. 前記車両の状態は車高を含み、
   前記表示制御部は、前記車両の車高が変化する場合に、前記三次元画像を、前記三次元画像の車高の変化を表示可能な視点で、前記表示部に表示する、
   請求項１または２に記載の周辺監視装置。
4. 前記表示制御部は、前記車両の車高が変化する場合に、前記三次元画像を、斜め上方または側方からの視点で前記表示部に表示する、
   請求項３に記載の周辺監視装置。
5. 前記車両の状態が変化する複数の部位の組み合わせは、ヘッドランプまたはフォグランプと、サイドドアと、バックドアと、のうちの２つからなる組み合わせを含む、
   請求項１に記載の周辺監視装置。

Images