JP7220734B2 - 画像表示システム - Google Patents

Description

本発明は、画像表示システムに関する。

従来、車両等の移動体とこの移動体の周囲の物標とを仮想視点から見た画像（以下、「仮想視点画像」と称する）を表示可能な画像表示システムが知られている。

例えば、特許文献１には、複数のカメラによってそれぞれ撮像される自車の周りの画像から第１の視点による３次元画像を合成するプロセッサを備えた車両制御装置が開示されている。上記のプロセッサは、第１の視点を第２の視点に切り替える場合、自車の回転アニメーションを生成し、自車の回転アニメーションと黒画を合成した画像をディスプレイに表示させる。

国際公開第２０２０／１４８９５７号公報

上記の従来技術では、複数の仮想視点がいずれも移動体の外部に設定されている。そのため、移動体の外部の仮想視点から見た仮想視点画像と移動体の内部の仮想視点から見た仮想視点画像とを切り替えることができなかった。言い換えると、仮想視点の位置を移動体の内部と外部の間で切り替えることができなかった。

本発明は、以上の背景に鑑み、移動体の外部の仮想視点から見た仮想視点画像と移動体の内部の仮想視点から見た仮想視点画像とを簡単な操作によって切り替えることを課題とする。言い換えると、本発明は、仮想視点の位置を移動体の内部と外部の間で簡単な操作によって切り替えることを課題とする。

上記課題を解決するために本発明のある態様は、画像表示システム（１）であって、移動体（Ｖ）の周囲の外界情報を取得する外界情報取得装置（１９）と、前記外界情報取得装置が取得した前記外界情報を表示する表示装置（３２）と、ユーザによる入力操作を受け付ける入力装置（３２）と、前記ユーザによる前記入力操作に応じて前記表示装置による前記外界情報の表示を制御する制御装置（１５）と、を備え、前記制御装置は、前記移動体の外部の仮想視点（Ａ）から前記移動体と前記移動体の周囲の物標（Ｙ）とを見た外部仮想視点画像（５１）と、前記移動体の内部の仮想視点（Ｃ）から前記移動体と前記物標とを見た内部仮想視点画像（５２）と、を生成して前記表示装置に表示させ、前記表示装置が前記外部仮想視点画像を表示している状態で前記入力装置が所定の拡大操作を受け付けた場合に、前記制御装置は、前記外部仮想視点画像を前記内部仮想視点画像に切り替える。

この態様によれば、ユーザは、拡大操作という簡単な操作によって外部仮想視点画像を内部仮想視点画像に切り替えることができる。そのため、画像表示システムの利便性を向上させることができる。

上記課題を解決するために本発明のある態様は、画像表示システム（１）であって、移動体（Ｖ）の周囲の外界情報を取得する外界情報取得装置（１９）と、前記外界情報取得装置が取得した前記外界情報を表示する表示装置（３２）と、ユーザによる入力操作を受け付ける入力装置（３２）と、前記ユーザによる前記入力操作に応じて前記表示装置による前記外界情報の表示を制御する制御装置（１５）と、を備え、前記制御装置は、前記移動体の外部の仮想視点（Ａ）から前記移動体と前記移動体の周囲の物標（Ｙ）とを見た外部仮想視点画像（５１）と、前記移動体の内部の仮想視点（Ｃ）から前記移動体と前記物標とを見た内部仮想視点画像（５２）と、を生成して前記表示装置に表示させ、前記表示装置が前記内部仮想視点画像を表示している状態で前記入力装置が所定の縮小操作を受け付けた場合に、前記制御装置は、前記内部仮想視点画像を前記外部仮想視点画像に切り替える。

この態様によれば、ユーザは、縮小操作という簡単な操作によって内部仮想視点画像を外部仮想視点画像に切り替えることができる。そのため、画像表示システムの利便性を向上させることができる。

上記の態様において、前記制御装置は、前記外部仮想視点画像を前記内部仮想視点画像に切り替える際に、前記移動体が次第に拡大されるアニメーション画像（５３）を前記表示装置に表示させても良い。

この態様によれば、移動体が次第に拡大されるアニメーション画像を外部仮想視点画像と内部仮想視点画像の間に表示することで、外部仮想視点画像が内部仮想視点画像に切り替わることをユーザに分かりやすく報知することができる。

上記の態様において、前記制御装置は、前記内部仮想視点画像を前記外部仮想視点画像に切り替える際に、前記移動体が次第に縮小されるアニメーション画像を前記表示装置に表示させても良い。

この態様によれば、移動体が次第に縮小されるアニメーション画像を内部仮想視点画像と外部仮想視点画像の間に表示することで、内部仮想視点画像が外部仮想視点画像に切り替わることをユーザに分かりやすく報知することができる。

上記の態様において、前記制御装置は、前記移動体の内部に設定された中心点を基準として、前記外部仮想視点画像と前記内部仮想視点画像を切り替えても良い。

この態様によれば、外部仮想視点画像と内部仮想視点画像の切り替え後の仮想視点の位置をユーザに容易に把握させることができる。

上記の態様において、前記制御装置は、前記移動体の外部の前記仮想視点から前記移動体と前記物標とを見る方向と前記移動体の内部の前記仮想視点から前記移動体と前記物標とを見る方向とが平面視で一致するように、前記外部仮想視点画像と前記内部仮想視点画像を切り替えても良い。

この態様によれば、外部仮想視点画像と内部仮想視点画像の切り替え後に仮想視点が向いている方向をユーザに容易に把握させることができる。また、外部仮想視点画像を内部仮想視点画像に切り替えた際に、外部仮想視点画像において移動体の奥側に隠れていた空間が表示されることになる。そのため、ユーザは上記の空間にある物標を容易に確認することができ、移動体の周囲に対するユーザの視認性を向上させることができる。

上記課題を解決するために本発明のある態様は、画像表示システム（１）であって、移動体（Ｖ）の周囲の外界情報を取得する外界情報取得装置（１９）と、前記外界情報取得装置が取得した前記外界情報を表示する表示装置（３２）と、ユーザによる入力操作を受け付ける入力装置（３２）と、前記ユーザによる前記入力操作に応じて前記表示装置による前記外界情報の表示を制御する制御装置（１５）と、を備え、前記制御装置は、前記移動体と前記移動体の周囲の物標（Ｙ）とを仮想視点（Ａ、Ｃ）から見た仮想視点画像（５１、５２）を生成して前記表示装置に表示させ、前記表示装置が前記仮想視点画像を表示している状態で前記入力装置が所定の拡大操作又は縮小操作を受け付けた場合に、前記制御装置は、前記仮想視点の位置を前記移動体の内部と外部の間で切り替える。

この態様によれば、ユーザは、拡大操作又は縮小操作という簡単な操作によって仮想視点の位置を移動体の内部と外部の間で切り替えることができる。そのため、画像表示システムの利便性を向上させることができる。

上記の態様において、前記制御装置は、前記仮想視点の位置を前記移動体の内部と外部の間で切り替える際に、前記移動体が次第に拡大又は縮小されるアニメーション画像を前記表示装置に表示させても良い。

この態様によれば、移動体が次第に拡大又は縮小されるアニメーション画像を表示することで、仮想視点の位置が切り替わることをユーザに分かりやすく報知することができる。

上記の態様において、前記制御装置は、前記移動体の内部に設定された中心点を基準として、前記仮想視点の位置を前記移動体の内部と外部の間で切り替えても良い。

この態様によれば、切り替え後の仮想視点の位置をユーザに容易に把握させることができる。

上記の態様において、前記制御装置は、前記移動体の外部の前記仮想視点から前記移動体と前記物標とを見る方向と前記移動体の内部の前記仮想視点から前記移動体と前記物標とを見る方向とが平面視で一致するように、前記仮想視点の位置を前記移動体の内部と外部の間で切り替えても良い。

この態様によれば、仮想視点の位置の切り替え後に仮想視点が向いている方向をユーザに容易に把握させることができる。また、仮想視点の位置を移動体の外部から内部に切り替えた際に、切り替え前の仮想視点画像において移動体の奥側に隠れていた空間が表示されることになる。そのため、ユーザは上記の空間にある物標を容易に確認することができ、移動体の周囲に対するユーザの視認性を向上させることができる。

以上の構成によれば、移動体の外部の仮想視点から見た仮想視点画像と移動体の内部の仮想視点から見た仮想視点画像とを簡単な操作によって切り替えることができる。言い換えると、仮想視点の位置を移動体の内部と外部の間で簡単な操作によって切り替えることができる。

実施形態に係る駐車支援システムが搭載される車両の機能構成図 実施形態に係る駐車支援システムの自動入庫処理のフローチャート 実施形態に係る駐車支援システムの（Ａ）目標駐車位置受付処理中、（Ｂ）駆動処理中、及び（Ｃ）車両の駐車位置への移動が完了したときのタッチパネルの画面表示を示す図 実施形態に係る駐車支援システムにおいて、車両を中心とする平面図 実施形態に係る駐車支援システムにおいて、（Ａ）外部仮想視点画像及び俯瞰画像が表示されたタッチパネルの画面を示す図（Ｂ）内部仮想視点画像及び俯瞰画像が表示されたタッチパネルの画面を示す図 実施形態に係る駐車支援システムにおいて、アニメーション画像が表示されたタッチパネルの画面を示す図 実施形態に係る駐車支援システムにおいて、アニメーション画像が表示されたタッチパネルの画面を示す図

以下、図面を参照して、本発明の実施形態について詳細に説明する。

駐車支援システム１（画像表示システムの一例）は車両Ｖ（移動体の一例：本実施形態では自動車）を自律走行させる車両制御システム２を備えた車両Ｖに搭載される。

図１に示すように、車両制御システム２は、推進装置４、ブレーキ装置５、ステアリング装置６、外界センサ７、車両センサ８、ナビゲーション装置１０、運転操作子１１、運転操作センサ１２、状態検出センサ１３、ＨＭＩ１４、及び制御装置１５を有している。車両制御システム２の各構成は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信手段によって信号伝達可能に互いに接続されている。

推進装置４は車両Ｖに駆動力を付与する装置であり、例えば動力源及び変速機を含む。動力源はガソリンエンジンやディーゼルエンジン等の内燃機関及び電動機の少なくとも一方を有する。本実施形態では、推進装置４は自動変速機１６（動力伝達機構の一例）と、自動変速機１６のシフトレンジ（シフト位置）を変更するシフトアクチュエータ１７とを含む。ブレーキ装置５は車両Ｖに制動力を付与する装置であり、例えばブレーキロータにパッドを押し付けるブレーキキャリパと、ブレーキキャリパにブレーキ圧（油圧）を供給する電動シリンダとを含む。ブレーキ装置５はワイヤケーブルによって車輪の回転を規制する電動のパーキングブレーキ装置を含んでもよい。ステアリング装置６は車輪の舵角を変えるための装置であり、例えば車輪を転舵するラックアンドピニオン機構と、ラックアンドピニオン機構を駆動する電動モータとを有する。推進装置４、ブレーキ装置５、及びステアリング装置６は、制御装置１５によって制御される。

外界センサ７は車両Ｖの周辺からの電磁波や音波等を捉えて、車外の物体等を検出し、車両Ｖの周辺情報を取得する装置（外界取得装置）である。外界センサ７はソナー１８及び車外カメラ１９を含んでいる。外界センサ７はミリ波レーダやＬｉＤＡＲ（ライダ）を含んでいてもよい。外界センサ７は検出結果を制御装置１５に出力する。

ソナー１８はいわゆる超音波センサであり、超音波を車両Ｖの周囲に発射し、その反射波を捉えることにより物体の位置（距離及び方向）を検出する。ソナー１８は車両Ｖの後部及び前部にそれぞれ複数設けられている。本実施形態では、ソナー１８はリアバンパに左右一対、フロントバンパに左右一対、車両Ｖの左右側面前端及び後端にそれぞれ１個ずつ、合計８個設けられている。リアバンパに設けられたソナー１８は主に車両Ｖの後方にある物体の位置を検出し、フロントバンパに設けられたソナー１８は主に車両Ｖの前方にある物体の位置を検出する。車両Ｖの左右側面前端に設けられたソナー１８はそれぞれ車両Ｖの前端の左右外方にある物体の位置を検出し、車両Ｖの左右側面後端に設けられたソナー１８はそれぞれ車両Ｖの後端の左右外方にある物体の位置を検出する。

車外カメラ１９は車両Ｖの周囲を撮像する装置であり、例えば、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルカメラである。車外カメラ１９は車両Ｖの前方を撮像する前方カメラと後方を撮像する後方カメラとを含んでいる。車外カメラ１９は車両Ｖのドアミラー設置場所近傍に設けられ、左右側部を撮像する左右一対の側方カメラを含んでいるとよい。

車両センサ８は、車両Ｖの車速を検出する車速センサ８ａ、車両Ｖの加速度を検出する加速度センサ、車両Ｖの鉛直軸回りの角速度を検出するヨーレートセンサ、車両Ｖの向きを検出する方位センサ等を含む。車速センサ８ａは、例えば車輪速（各車輪の回転速度）を検出する複数の車輪速センサによって構成される。ヨーレートセンサは、例えばジャイロセンサである。

ナビゲーション装置１０は車両Ｖの現在位置を取得し、目的地への経路案内等を行う装置であり、ＧＰＳ受信部２０、及び地図記憶部２１を有する。ＧＰＳ受信部２０は人工衛星（測位衛星）から受信した信号に基づいて車両Ｖの位置（緯度や経度）を特定する。地図記憶部２１は、フラッシュメモリやハードディスク等の公知の記憶装置によって構成され、地図情報を記憶している。

運転操作子１１は車室内に設けられ、車両Ｖを制御するためにユーザが行う入力操作を受け付ける。運転操作子１１は、ステアリングホイール２２、アクセルペダル２３、ブレーキペダル２４（制動操作子）、及び、シフトレバー２５を含む。

運転操作センサ１２は、対応する運転操作子１１の操作量を検出する。運転操作センサ１２は、ステアリングホイール２２の回転角を検出する舵角センサ２６、及び、ブレーキペダル２４の踏込量を検出するブレーキセンサ２７、及び、アクセルペダル２３の踏込量を検出するアクセルセンサ２８を含む。運転操作センサ１２は検出した操作量をそれぞれ制御装置１５に出力する。

状態検出センサ１３は乗員の操作による車両Ｖの状態変化を検出するためのセンサである。状態検出センサ１３が検出する乗員の操作には、降車意思に対応する乗員の操作、及び、駐車動作中の車両Ｖの周辺監視を放棄することに対応する乗員の操作を含む。状態検出センサ１３は、降車意思に対応する乗員の操作を検出するためのセンサとして、車両Ｖのドアの開閉を検出するドア開閉センサ２９と、シートベルトの装着状態を検出するシートベルトセンサ３０とを含む。状態検出センサ１３は、駐車動作中の車両Ｖの周辺監視を放棄することに対応する乗員の操作を検出するためのセンサとして、ドアミラーの位置を検出するドアミラー位置センサ３１を含む。状態検出センサ１３は検出した車両Ｖの状態変化を示す信号をそれぞれ制御装置１５に出力する。

ＨＭＩ１４は、乗員に対して表示や音声によって各種情報を通知するとともに、乗員から入力操作を受け付ける出入力装置である。ＨＭＩ１４は、例えば、液晶や有機ＥＬ等の表示画面を有し、乗員からの画面への入力操作を受け付けるタッチパネル３２と、ブザーやスピーカ等の音発生装置３３と、駐車メインスイッチ３４と、選択操作子３５とを含む。駐車メインスイッチ３４は乗員から自動入庫や自動出庫等の自動駐車に係る入力操作を受け付ける。駐車メインスイッチ３４は乗員から押圧（プッシュ）操作が行われたときにのみオンとなる、いわゆるモーメンタリスイッチである。選択操作子３５は乗員から自動入庫や自動出庫等の自動駐車に係る選択操作を受け付ける。選択操作子３５は回転式であり、より好ましくは押し込むことで選択可能なセレクトスイッチであるとよい。

制御装置１５は、ＣＰＵ、不揮発性メモリ（ＲＯＭ）、及び、揮発性メモリ（ＲＡＭ）等を含む電子制御装置（ＥＣＵ）である。制御装置１５はＣＰＵでプログラムに沿った演算処理を実行することで、各種の車両制御を実行する。制御装置１５は１つのハードウェアとして構成されていてもよく、複数のハードウェアからなるユニットとして構成されていてもよい。また、制御装置１５の各機能部の少なくとも一部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ等のハードウェアによって実現されてもよく、ソフトウェア及びハードウェアの組み合わせによって実現されてもよい。

また、制御装置１５はプログラムに沿った演算処理を実行することで、車外カメラ１９により撮影された画像（映像）の変換処理を行い、車両Ｖ及びその周辺の平面視に相当する俯瞰画像４７や、車両Ｖ及びその進行方向の周辺を上方から見た三次元画像に相当する鳥瞰画像４８を生成する。制御装置１５は、前方カメラ、後方カメラ及び左右の側方カメラの各画像を組み合わせて俯瞰画像４７を生成し、進行方向を向く前方カメラ又は後方カメラの画像と左右の側方カメラの画像とを組み合わせて鳥瞰画像４８を生成するとよい。

駐車支援システム１は乗員によって選択された所定の目標位置（目標駐車位置、又は目標出庫位置）に車両Ｖを自律的に移動させて入庫及び出庫させる、いわゆる自動駐車を行うためのシステムである。

駐車支援システム１は、車外カメラ１９（外界情報取得装置の一例）と、タッチパネル３２（表示装置及び入力装置の一例）と、制御装置１５と、を備えている。車外カメラ１９は、車両Ｖの周辺画像（車両Ｖの周囲の外界情報の一例）を撮影する。タッチパネル３２は、車外カメラ１９が撮影した周辺画像を表示する。制御装置１５は、乗員による入力操作に応じてタッチパネル３２による周辺画像の表示を制御する。

制御装置１５は、推進装置４やブレーキ装置５、ステアリング装置６を制御して、車両Ｖに、目標駐車位置に車両Ｖを自律的に移動させて入庫させる自律的な入庫動作、及び目標出庫位置に車両Ｖを自律的に移動させて出庫させる自律的な出庫動作をそれぞれ実行させることができる。このような制御を行うため、制御装置１５は、外界認識部４１、自車位置特定部４２、行動計画部４３、走行制御部４４、及び表示制御部４５を含む。

外界認識部４１は、外界センサ７の検出結果に基づいて、車両Ｖの周辺に存在する例えば、駐車車両や壁などの障害物を認識し、障害物に関する位置や大きさ等の情報を取得する。また、外界認識部４１は車外カメラ１９によって取得した画像をパターンマッチング等の公知の画像解析手法に基づいて解析し、車止め（輪止め）や障害物の有無及びその大きさを取得する。更に、外界認識部４１はソナー１８からの信号を用いて障害物までの距離を算出し、障害物の位置を取得するとよい。

外界認識部４１はまた、外界センサ７の検出結果、より具体的には車外カメラ１９によって撮像された画像をパターンマッチング等の公知の画像解析手法に基づいて解析し、例えば、道路標示により区画された道路上の車線や、道路や駐車場等の路面に描かれた白線等により区画された駐車枠を取得することができる。

自車位置特定部４２は、ナビゲーション装置１０のＧＰＳ受信部２０からの信号に基づいて、車両Ｖ（自車両）の位置を検出する。また、自車位置特定部４２はＧＰＳ受信部２０からの信号に加えて、車両センサ８から車速やヨーレートを取得し、いわゆる慣性航法を用いて車両Ｖの位置及び姿勢を特定してもよい。

走行制御部４４は、行動計画部４３からの走行制御の指示に基づいて、推進装置４、ブレーキ装置５、及びステアリング装置６を制御し、車両Ｖを走行させる。

表示制御部４５は、車両Ｖの周辺画像を生成し、生成した周辺画像をタッチパネル３２に表示させる。表示制御部４５は、乗員による入力操作や行動計画部４３からの指示に基づいて、タッチパネル３２に表示させる周辺画像を切り替える。

行動計画部４３は、車両Ｖが所定の状態にあり、且つＨＭＩ１４や駐車メインスイッチ３４にユーザから自動駐車を希望することに対応する所定の入力があったときに、自動駐車処理を行う。具体的には、行動計画部４３は、車両Ｖが停止している又は車両Ｖが所定の駐車位置候補探索可能車速以下の低速で走行しているときに、対応する所定の入力があった場合に、自動入庫処理を行う。また、行動計画部４３は、車両Ｖが停止しているときに、対応する所定の入力があったときに、自動出庫処理（縦列駐車出庫処理）を行う。自動駐車処理及び自動出庫処理のうち、行うべき処理の選択は、行動計画部４３が車両Ｖの状態に基づいて判定してもよく、タッチパネル３２、又は選択操作子３５を介して乗員により選択されてもよい。自動入庫処理を行う場合には、行動計画部４３は、最初に目標駐車位置を設定するための駐車検索画面をタッチパネル３２に表示させ、目標駐車位置の設定後、入庫画面をタッチパネル３２に表示させる。自動出庫処理を行う場合には、行動計画部４３は、目標出庫位置を設定するための出庫検索画面をタッチパネル３２に表示させ、目標出庫位置の設定後、出庫画面をタッチパネル３２に表示させる。

自動入庫処理について図２を参照して説明を行う。行動計画部４３は最初に駐車可能位置の取得を行う取得処理（ステップＳＴ１）を行う。より具体的には、車両Ｖが停止している場合には、行動計画部４３はまず、ＨＭＩ１４のタッチパネル３２に乗員に車両Ｖを直進させるように指示する通知を表示させる。運転席に着座する乗員（以下、運転者）が車両Ｖを直進させている間に、外界認識部４１は外界センサ７からの信号に基づいて、障害物の位置及び大きさと、路面に描かれた白線の位置とを取得する。外界認識部４１は取得した障害物の位置及び大きさと白線とに基づいて、自車を駐車可能な大きさの利用可能な駐車空間（障害物がない空間）及び白線等により区画される他車両が停まっていない利用可能な空き駐車枠（以下、空き駐車空間と空き駐車枠とを併せて駐車可能位置という）を抽出する。

次に、行動計画部４３は、車両Ｖの現在地から抽出した駐車可能位置に至るまでの車両Ｖの軌道を算出する軌道算出処理（ＳＴ２）を行う。車両Ｖの軌道を算出可能である場合、行動計画部４３は駐車可能位置を入庫可能な駐車位置候補に設定し、駐車位置候補をタッチパネル３２の画面（駐車検索画面）上に表示させる。障害物の存在により車両Ｖの軌道を算出できない場合、行動計画部４３は駐車可能位置を駐車位置候補に設定せず、駐車可能位置をタッチパネル３２の画面上に表示させない。行動計画部４３は、車両Ｖの軌道を算出可能な複数の駐車位置候補を設定した場合、これらの駐車位置候補をタッチパネル３２に表示させる。

次に、行動計画部４３は、タッチパネル３２に表示した駐車位置候補の中から乗員が駐車させたい目標駐車位置の選択操作を乗員から受け付ける目標駐車位置受付処理（ＳＴ３）を行う。より具体的には、行動計画部４３は、図３（Ａ）に示す駐車検索画面にて、俯瞰画像４７及び進行方向の鳥瞰画像４８を表示させる。行動計画部４３は、駐車位置候補を少なくとも１つ取得すると、これらの周辺画像の少なくとも１つに駐車位置候補を示す枠と、枠に対応するアイコン（駐車位置候補であることを示す記号（図３（Ａ）の「Ｐ」を参照））とを重ねて表示する。また行動計画部４３は、目標駐車位置の選択操作を受け付けるべく、運転者に車両Ｖを停止させて駐車位置（目標駐車位置）を設定するように指示する通知をタッチパネル３２の駐車検索画面上に表示させる。目標駐車位置の選択操作は、タッチパネル３２を介して行われてもよく、選択操作子３５を介して行われてもよい。

車両Ｖが停止し、目標駐車位置が運転者により選択された後、行動計画部４３は、タッチパネル３２の画面を駐車検索画面から入庫画面に切り替える。入庫画面は、図３（Ｂ）に示すように、タッチパネル３２の左半分に車両進行方向の正面画像４９を、右半分に車両Ｖ及びその周辺を含む俯瞰画像４７をそれぞれ表示した画面である。このとき、行動計画部４３は駐車位置候補から選択された目標駐車位置を示す太線の枠と、枠に対応するアイコン（目標駐車位置であることを示す、駐車位置候補のアイコンとは異なる色で表示された記号）とを俯瞰画像４７に重ねて表示するとよい。

目標駐車位置が設定され、タッチパネル３２の画面が入庫画面に切り替わった後、行動計画部４３は車両Ｖを算出された軌道に沿って走行させる駆動処理（ＳＴ４）を行う。このとき、行動計画部４３はＧＰＳ受信部２０によって取得した車両Ｖの位置や、車外カメラ１９、車両センサ８等の信号に基づいて、車両Ｖを算出された軌道に沿って走行するように制御する。このとき、行動計画部４３は、推進装置４、ブレーキ装置５、及びステアリング装置６を制御して、車両Ｖに前進及び後退を繰り返し行わせる切り返しを実行する。

駆動処理中において、行動計画部４３は車外カメラ１９から車両Ｖの進行方向の画像を取得し、タッチパネル３２の左半分に表示させるとよい。より具体的には、例えば、図３（Ｂ）に示すように、行動計画部４３は、車両Ｖが後退しているときにはタッチパネル３２の左半分に車外カメラ１９によって撮像された車両Ｖの後方の画像を表示させるとよい。行動計画部４３が駆動処理を実行している間、タッチパネル３２の右半分の俯瞰画像４７上の自車周辺の周辺画像は車両Ｖの移動に合わせて変化する。行動計画部４３は車両Ｖが駐車位置に到達すると、車両Ｖを停止させて、駆動処理を終了する。

駆動処理が終了すると、行動計画部４３は駐車処理（ＳＴ５）を実行する。駐車処理において行動計画部４３は最初に、シフトアクチュエータ１７を駆動させてシフトレンジ（シフト位置）を駐車レンジ（駐車位置）にする。その後、行動計画部４３は、パーキングブレーキ装置を駆動させ、行動計画部４３はタッチパネル３２の画面上に駐車が完了したことを示すポップアップ（図３（Ｃ）参照）を所定時間表示させる。その後、行動計画部４３は、タッチパネル３２の画面表示を、ナビゲーション装置１０の操作画面や地図画面に切り替えるとよい。

また、駐車処理において、行動計画部４３は、シフトアクチュエータ１７に異常がありシフトレンジを駐車レンジに変更できない場合や、パーキングブレーキ装置に異常があり、パーキングブレーキ装置を駆動させることができない場合には、タッチパネル３２の画面に異常原因を表示させるとよい。

＜外部仮想視点画像５１、内部仮想視点画像５２、及びアニメーション画像５３＞
以下、図４～図７を参照しつつ、外部仮想視点画像５１、内部仮想視点画像５２、及びアニメーション画像５３（いずれも周辺画像の一例）について説明する。図４の点Ｐは、車両Ｖの内部に設定された車両Ｖの中心点（以下、「中心点Ｐ」と称する）を示している。例えば、中心点Ｐは、車両Ｖの左右方向及び前後方向の中央に位置する点である。なお、他の実施形態では、中心点Ｐは、車両Ｖの左右方向及び前後方向の中央に位置する点以外の点（例えば、車両Ｖの重心点）であっても良い。

図４を参照して、表示制御部４５は、外部仮想視点Ａの軌道Ｂ（以下、「外部軌道Ｂ」と称する）を設定する。外部仮想視点Ａは、車両Ｖの斜め上方（車両Ｖの外部）に設定されている。なお、他の実施形態では、外部仮想視点Ａは、車両Ｖと同じ高さに設定されていても良い。外部軌道Ｂは、平面視で中心点Ｐを中心とする正円形状を成している。なお、他の実施形態では、外部軌道Ｂは、上記の形状以外の形状（例えば、平面視で中心点Ｐを中心とする楕円形状や多角形状、側面視で中心点Ｐを中心とする円弧形状、中心点Ｐを中心とするドーム形状）を成していても良い。図４の角度θ１は、外部仮想視点Ａから車両Ｖとその周辺の物標Ｙを見下ろすときの視野角（以下、「第１角度θ１」と称する）を例示している。物標Ｙには、車両Ｖの駐車位置Ｘ（停止位置の一例）を区画する区画線Ｙ１、障害物Ｙ２、他車両（図示せず）などが含まれる。

表示制御部４５は、内部仮想視点Ｃの軌道Ｄ（以下、「内部軌道Ｄ」と称する）を設定する。内部仮想視点Ｃは、車両Ｖの中央（車両Ｖの内部）に設定されている。内部軌道Ｄは、平面視で中心点Ｐを中心とする正円形状を成している。なお、他の実施形態では、内部軌道Ｄは、外部軌道Ｂと同様に上記の形状以外の形状を成していても良い。また、他の実施形態では、表示制御部４５は、内部軌道Ｄを設定せず、内部仮想視点Ｃを１個の点（例えば、中心点Ｐ）に固定しても良い。図４の角度θ２は、内部仮想視点Ｃから車両Ｖと物標Ｙを見るときの視野角（以下、「第２角度θ２」と称する）を例示している。第２角度θ２は、第１角度θ１と同一であっても良いし、第１角度θ１と異なっていても良い。

図５（ａ）を参照して、表示制御部４５は、車外カメラ１９が撮影した画像に画像処理を施すことで外部仮想視点画像５１を生成し、生成した外部仮想視点画像５１を前述の俯瞰画像４７と共にタッチパネル３２に表示させる。外部仮想視点画像５１は、外部仮想視点Ａから車両Ｖと物標Ｙとを見下ろした三次元画像である。図５（ａ）は、中心点Ｐの左上方にある外部仮想視点Ａ（図４参照）から右下方に見下ろした外部仮想視点画像５１を示している。外部仮想視点画像５１には、車両Ｖの全体と物標Ｙが表示される。

図５（ｂ）を参照して、表示制御部４５は、車外カメラ１９が撮影した画像に画像処理を施すことで内部仮想視点画像５２を生成し、生成した内部仮想視点画像５２を前述の俯瞰画像４７と共にタッチパネル３２に表示させる。内部仮想視点画像５２は、内部仮想視点Ｃから車両Ｖと物標Ｙとを見た三次元画像である。図５（ｂ）は、中心点Ｐの左方にある内部仮想視点Ｃ（図４参照）から右方を見た内部仮想視点画像５２を示している。内部仮想視点画像５２には、車両Ｖの全体が表示されず、車両Ｖの底部Ｖａ（フロアパネル）と物標Ｙが表示される。なお、他の実施形態では、内部仮想視点画像５２には、車両Ｖの底部Ｖａ以外の部分（例えば、車両Ｖの左右両側部や車輪）が半透明で表示されても良い。

以下、外部仮想視点Ａと内部仮想視点Ｃを「仮想視点Ａ、Ｃ」と総称し、外部軌道Ｂと内部軌道Ｄを「軌道Ｂ、Ｄ」と総称し、外部仮想視点画像５１と内部仮想視点画像５２を「仮想視点画像５１、５２」と総称する。

表示制御部４５は、乗員によるタッチパネル３２に対する左右方向へのスワイプ操作（入力操作の一例）に応じて、軌道Ｂ、Ｄに沿って仮想視点Ａ、Ｃを水平方向に連続的に移動させる。このように仮想視点Ａ、Ｃが連続的に移動すると、仮想視点画像５１、５２における車両Ｖの角度や物標Ｙの位置が連続的に変化する。なお、他の実施形態では、表示制御部４５は、乗員によるタッチパネル３２に対する上下方向へのスワイプ操作に応じて、仮想視点Ａ、Ｃを上下方向に連続的に移動させても良い。また、他の実施形態では、表示制御部４５は、乗員によるスワイプ操作以外の操作（例えば、タップ操作）に応じて仮想視点Ａ、Ｃを移動させても良いし、乗員によるタッチパネル３２以外の構成要素（例えば、タッチパネル３２の周りに設けられたボタン）に対する操作に応じて仮想視点Ａ、Ｃを移動させても良い。

図５（ａ）、図５（ｂ）を参照して、表示制御部４５は、仮想視点画像５１、５２の下部と重なるように操作促進画像５４を表示する。操作促進画像５４は、乗員によるタッチパネル３２に対するスワイプ操作を促す画像である。操作促進画像５４は、手の画像と、手の画像の左右両側に配置される一対の矢印画像とによって構成されている。なお、他の実施形態では、操作促進画像５４は、手の画像や矢印画像以外の画像によって構成されていても良い。

タッチパネル３２が外部仮想視点画像５１を表示している状態でタッチパネル３２が所定の拡大操作（入力操作の一例）を受け付けた場合に、表示制御部４５は、外部仮想視点画像５１を内部仮想視点画像５２に切り替える（つまり、仮想視点Ａ、Ｃの位置を車両Ｖの外部から内部に切り替える）。これにより、ユーザは、拡大操作という簡単な操作によって外部仮想視点画像５１を内部仮想視点画像５２に切り替えることができる。そのため、駐車支援システム１の利便性を向上させることができる。

拡大操作は、タッチパネル３２に表示された画像を拡大するための操作である。例えば、拡大操作は、タッチパネル３２に対するピンチアウト操作（タッチパネル３２の画面に接触させた２本の指を互いに離れる方向に移動させる操作）である。なお、他の実施形態では、拡大操作は、ピンチアウト操作以外の操作（例えば、タップ操作）であっても良いし、タッチパネル３２以外の構成要素（例えば、タッチパネル３２の周りに設けられたボタン）に対する操作であっても良い。

タッチパネル３２が内部仮想視点画像５２を表示している状態でタッチパネル３２が所定の縮小操作（入力操作の一例）を受け付けた場合に、表示制御部４５は、内部仮想視点画像５２を外部仮想視点画像５１に切り替える（つまり、仮想視点Ａ、Ｃの位置を車両Ｖの内部から外部に切り替える）。これにより、ユーザは、縮小操作という簡単な操作によって内部仮想視点画像５２を外部仮想視点画像５１に切り替えることができる。そのため、駐車支援システム１の利便性を向上させることができる。

縮小操作は、タッチパネル３２に表示された画像を縮小するための操作である。例えば、縮小操作は、ピンチイン操作（タッチパネル３２の画面に接触させた２本の指を互いに近づく方向に移動させる操作）である。つまり、縮小操作は、拡大操作とは逆方向の操作である。なお、他の実施形態では、縮小操作は、ピンチイン操作以外の操作（例えば、タップ操作）であっても良いし、タッチパネル３２以外の構成要素（例えば、タッチパネル３２の周りに設けられたボタン）に対する操作であっても良い。

仮想視点画像５１、５２は、拡大操作／縮小操作に応じて拡大／縮小可能であっても良いし、拡大／縮小不能であっても良い。仮想視点画像５１、５２が拡大／縮小可能である場合、表示制御部４５は、外部仮想視点画像５１が最大限に拡大された状態でタッチパネル３２が拡大操作を受け付けたときに、外部仮想視点画像５１を内部仮想視点画像５２に切り替えると良い。仮想視点画像５１、５２が拡大／縮小可能である場合、表示制御部４５は、内部仮想視点画像５２が最大限に縮小された状態でタッチパネル３２が縮小操作を受け付けたときに、内部仮想視点画像５２を外部仮想視点画像５１に切り替えると良い。仮想視点画像５１、５２が拡大／縮小可能である場合、表示制御部４５は、拡大操作／縮小操作を受け付けるための画像（例えば、スライドバーとこのスライドバーに沿って移動するスライダー）をタッチパネル３２に表示させ、この画像に対する拡大操作／縮小操作に応じて仮想視点画像５１、５２の拡大／縮小及び切り替えを行っても良い。

図６、図７を参照して、表示制御部４５は、外部仮想視点画像５１と内部仮想視点画像５２を切り替える際（つまり、仮想視点Ａ、Ｃの位置を車両Ｖの外部と内部の間で切り替える際）に、アニメーション画像５３をタッチパネル３２に表示させる。アニメーション画像５３には、外部仮想視点画像５１と同様に車両Ｖの全体と物標Ｙとが表示されても良いし（図６参照）、内部仮想視点画像５２と同様に車両Ｖの底部Ｖａと物標Ｙとが表示されても良い（図７参照）。また、他の実施形態では、アニメーション画像５３に物標Ｙが表示されず、車両Ｖの全体又は底部Ｖａのみが表示されても良い。

表示制御部４５は、外部仮想視点画像５１と内部仮想視点画像５２を切り替える際に、外部仮想視点画像５１と内部仮想視点画像５２の間にアニメーション画像５３のみをタッチパネル３２に表示させる。そのため、外部仮想視点画像５１と内部仮想視点画像５２の切り替えをシームレスに行うことができる。但し、他の実施形態では、表示制御部４５は、外部仮想視点画像５１と内部仮想視点画像５２の間にアニメーション画像５３以外の画像（例えば、黒色画像のような単色画像）をタッチパネル３２に表示させても良い。

例えば、アニメーション画像５３は、３個の画像（第１画像５３ａ、第２画像５３ｂ、第３画像５３ｃ）によって構成されている。なお、他の実施形態では、アニメーション画像５３は、２個の画像によって構成されていても良いし、４個以上の画像によって構成されていても良い。アニメーション画像５３における車両Ｖと物標Ｙの大きさは、第１画像５３ａ、第２画像５３ｂ、第３画像５３ｃの順に大きくなっている。

表示制御部４５は、外部仮想視点画像５１を内部仮想視点画像５２に切り替える際（仮想視点Ａ、Ｃの位置を車両Ｖの外部から内部に切り替える際）に、第１画像５３ａ、第２画像５３ｂ、第３画像５３ｃの順番でアニメーション画像５３をタッチパネル３２に表示させる。つまり、表示制御部４５は、外部仮想視点画像５１を内部仮想視点画像５２に切り替える際に、車両Ｖと物標Ｙが次第に拡大されるアニメーション画像５３をタッチパネル３２に表示させる。これにより、外部仮想視点画像５１が内部仮想視点画像５２に切り替わることをユーザに分かりやすく報知することができる。

表示制御部４５は、内部仮想視点画像５２を外部仮想視点画像５１に切り替える際（仮想視点Ａ、Ｃの位置を車両Ｖの内部から外部に切り替える際）に、第３画像５３ｃ、第２画像５３ｂ、第１画像５３ａの順番でアニメーション画像５３をタッチパネル３２に表示させる。つまり、表示制御部４５は、内部仮想視点画像５２を外部仮想視点画像５１に切り替える際に、車両Ｖと物標Ｙが次第に縮小されるアニメーション画像５３をタッチパネル３２に表示させる。これにより、内部仮想視点画像５２が外部仮想視点画像５１に切り替わることをユーザに分かりやすく報知することができる。

表示制御部４５は、車両Ｖの中心点Ｐを基準として、外部仮想視点画像５１と内部仮想視点画像５２を切り替える（仮想視点Ａ、Ｃの位置を車両Ｖの外部と内部の間で切り替える）。図４を参照して、例えば、表示制御部４５は、外部仮想視点Ａと内部仮想視点Ｃと中心点Ｐとが平面視で同一直線Ｌ上に位置するように、外部仮想視点画像５１と内部仮想視点画像５２を切り替える。これにより、外部仮想視点画像５１と内部仮想視点画像５２の切り替え後の仮想視点Ａ、Ｃの位置をユーザに容易に把握させることができる。

表示制御部４５は、外部仮想視点Ａから車両Ｖと物標Ｙとを見る方向と内部仮想視点Ｃから車両Ｖと物標Ｙとを見る方向とが平面視で一致するように、外部仮想視点画像５１と内部仮想視点画像５２を切り替える（仮想視点Ａ、Ｃの位置を車両Ｖの外部と内部の間で切り替える）。図４を参照して、例えば、表示制御部４５は、外部仮想視点Ａから車両Ｖと物標Ｙとを右下方に見下ろす外部仮想視点画像５１を内部仮想視点Ｃから車両Ｖと物標Ｙとを右方に見る内部仮想視点画像５２に切り替える。これにより、外部仮想視点画像５１と内部仮想視点画像５２の切り替え後に仮想視点Ａ、Ｃが向いている方向をユーザに容易に把握させることができる。また、外部仮想視点画像５１を内部仮想視点画像５２に切り替えた際に、外部仮想視点画像５１において車両Ｖの奥側に隠れていた空間が表示されることになる（図５（ａ）、（ｂ）参照）。そのため、ユーザは上記の空間にある物標Ｙを容易に確認することができ、車両Ｖの周囲に対するユーザの視認性を向上させることができる。

＜その他の変形例＞
上記実施形態では、タッチパネル３２を表示装置及び入力装置の一例としている。一方で、他の実施形態では、車両Ｖと通信可能に設けられた通信機器（例えば、スマートフォン、タブレットＰＣ、携帯電話、ＰＤＡ等）を表示装置及び入力装置の一例としても良い。つまり、表示装置及び入力装置は必ずしも車両Ｖに搭載されていなくても良い。また、上記実施形態では、タッチパネル３２が表示装置と入力装置を兼ねている。一方で、他の実施形態では、別々の構成要素によって表示装置と入力装置が構成されていても良い。

上記実施形態では、乗員をユーザの一例としている。一方で、他の実施形態では、乗員以外の者（即ち、車外の者）をユーザの一例としても良い。

上記実施形態では、車外カメラ１９が撮影した画像を、外界情報取得装置が取得した外界情報の一例としている。一方で、他の実施形態では、車外カメラ１９が撮影した画像以外の情報（例えば、車内カメラが撮影した画像やＬｉＤＡＲが取得した点群データ）を、外界情報取得装置が取得した外界情報の一例としても良い。

上記実施形態では、車両Ｖ（特に、自動車）を移動体の一例としている。一方で、他の実施形態では、自動車以外の車両Ｖ（例えば、二輪車）を移動体の一例としても良いし、車両Ｖ以外の移動体（例えば、セグウェイ、船舶、航空機）を移動体の一例としても良い。

上記実施形態では、駐車支援システム１を画像表示システムの一例としている。一方で、他の実施形態では、駐車支援システム１以外のシステム（例えば、移動体走行システム）を画像表示システムの一例としても良い。

以上で具体的な実施形態の説明を終えるが、本発明は上記実施形態や変形例に限定されることなく、幅広く変形実施することができる。

１ ：駐車支援システム（画像表示システムの一例）
１５ ：制御装置
１９ ：車外カメラ（外界情報取得装置の一例）
３２ ：タッチパネル（表示装置及び入力装置の一例）
５１ ：外部仮想視点画像
５２ ：内部仮想視点画像
５３ ：アニメーション画像
Ａ ：外部仮想視点
Ｃ ：内部仮想視点
Ｐ ：中心点
Ｖ ：車両（移動体の一例）
Ｙ ：物標

Claims (6)

1. 画像表示システムであって、
   移動体の周囲の外界情報を取得する外界情報取得装置と、
   前記外界情報取得装置が取得した前記外界情報を表示する表示装置と、
   ユーザによる入力操作を受け付ける入力装置と、
   前記ユーザによる前記入力操作に応じて前記表示装置による前記外界情報の表示を制御する制御装置と、を備え、
   前記制御装置は、前記移動体の外部の仮想視点から前記移動体と前記移動体の周囲の物標とを見た外部仮想視点画像と、前記移動体の内部の仮想視点から前記移動体と前記物標とを見た内部仮想視点画像と、を生成して前記表示装置に表示させ、
   前記外部仮想視点画像は、前記表示装置に表示された画像を拡大するための拡大操作に応じて拡大可能であり、前記表示装置が最大限に拡大された前記外部仮想視点画像を表示している状態で前記入力装置が前記拡大操作を受け付けた場合に、前記制御装置は、前記外部仮想視点画像を前記内部仮想視点画像に切り替えることを特徴とする画像表示システム。
2. 画像表示システムであって、
   移動体の周囲の外界情報を取得する外界情報取得装置と、
   前記外界情報取得装置が取得した前記外界情報を表示する表示装置と、
   ユーザによる入力操作を受け付ける入力装置と、
   前記ユーザによる前記入力操作に応じて前記表示装置による前記外界情報の表示を制御する制御装置と、を備え、
   前記制御装置は、前記移動体の外部の仮想視点から前記移動体と前記移動体の周囲の物標とを見た外部仮想視点画像と、前記移動体の内部の仮想視点から前記移動体と前記物標とを見た内部仮想視点画像と、を生成して前記表示装置に表示させ、
   前記内部仮想視点画像は、前記表示装置に表示された画像を縮小するための縮小操作に応じて縮小可能であり、前記表示装置が最大限に縮小された前記内部仮想視点画像を表示している状態で前記入力装置が前記縮小操作を受け付けた場合に、前記制御装置は、前記内部仮想視点画像を前記外部仮想視点画像に切り替えることを特徴とする画像表示システム。
3. 前記制御装置は、前記外部仮想視点画像を前記内部仮想視点画像に切り替える際に、前記移動体が次第に拡大されるアニメーション画像を前記表示装置に表示させることを特徴とする請求項１に記載の画像表示システム。
4. 前記制御装置は、前記内部仮想視点画像を前記外部仮想視点画像に切り替える際に、前記移動体が次第に縮小されるアニメーション画像を前記表示装置に表示させることを特徴とする請求項２に記載の画像表示システム。
5. 前記制御装置は、前記移動体の内部に設定された中心点を基準として、前記外部仮想視点画像と前記内部仮想視点画像を切り替えることを特徴とする請求項１～４のいずれか１項に記載の画像表示システム。
6. 前記制御装置は、前記移動体の外部の前記仮想視点から前記移動体と前記物標とを見る方向と前記移動体の内部の前記仮想視点から前記移動体と前記物標とを見る方向とが平面視で一致するように、前記外部仮想視点画像と前記内部仮想視点画像を切り替えることを特徴とする請求項１～５のいずれか１項に記載の画像表示システム。

Images