JP5622986B2 - 画像表示システム、画像処理装置及び画像表示方法 - Google Patents

Description

本発明は、車両において画像を表示する技術に関する。

従来より、自動車などの車両に搭載され、車載カメラで車両の周辺を撮影して得られた画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ユーザ（代表的にはドライバ）は車両の周辺の様子をほぼリアルタイムに把握することができる。

例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすく、車体と障害物との間のクリアランスをユーザが把握しにくい。これに対して、画像表示システムを利用すれば、車載カメラの撮影によりフロントフェンダの外側領域を示す画像が取得され、その画像が車室内のディスプレイに表示される。これにより、車両の幅寄せを行う場合などにおいて、運転席の逆側の車体と障害物との間のクリアランスをユーザが容易に確認できることとなる。

また、車両の異なる位置に配置された複数の車載カメラで得られる複数の撮影画像を利用して、車両の周辺の一部の周辺領域を拡大して表示可能な画像表示システムも提案されている（例えば、特許文献１参照。）。このような画像表示システムを利用すれば、注目すべき車両の周辺領域をユーザが詳細に確認することができる。

特開２００９−９３４８５号公報

ところで、上記特許文献１の技術では、拡大して表示可能な周辺領域は同時期に一つのみである。しかしながら、実際の車両の走行中においては、同時期に複数の周辺領域の状況をユーザが確認すべき場面が生じる。例えば、車両の前方の周辺領域と後方の周辺領域との双方に障害物が存在するような場合である。

これに対応するため、例えば、ユーザが確認すべき複数の周辺領域をそれぞれ示す複数の画像を表示装置の画面内に並べて同時に表示することが考えられる。しかしこの場合は、複数の画像それぞれの表示サイズが小さくなり、ユーザが周辺領域の様子を詳細に確認しにくくなる可能性がある。

本発明は、上記課題に鑑みてなされたものであり、限られた画面内において、複数の周辺領域の様子を比較的大きくユーザに示すことができる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、車両に搭載される画像表示システムであって、前記車両に配置されたカメラで得られる撮影画像から、前記車両の周辺の一部の周辺領域を示す車両周辺画像を生成する生成手段と、前記車両のユーザに同時期に示すべき複数の周辺領域を選択する選択手段と、前記複数の周辺領域それぞれを示す複数の車両周辺画像を、順次に切り替えて画面内の同一の表示領域に表示する表示手段と、を備え、前記生成手段は、複数のカメラで得られる撮影画像から、任意の視点からみた前記周辺領域を示す前記車両周辺画像を生成可能であり、前記表示手段は、前記車両周辺画像を切り替える際に、切り替え前の前記車両周辺画像の視点の位置から切り替え後の前記車両周辺画像の視点の位置まで前記視点の位置が移動するアニメーション表現を行い、前記視点の位置が移動する場合における前記視点の移動速度は、該視点の位置が移動の起点及び終点のいずれかに近いほど遅く、該視点の位置が移動の起点及び終点から離れるほど速い。

また、請求項２の発明は、請求項１に記載の画像表示システムにおいて、前記表示手段は、前記複数の車両周辺画像を繰り返し表示する。

また、請求項３の発明は、請求項１または２に記載の画像表示システムにおいて、前記複数の車両周辺画像は、画角が同一である。

また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像表示システムにおいて、前記車両の周辺に存在する物体を検出した検出結果を取得する取得手段、をさらに備え、前記選択手段は、前記検出結果が示す前記物体の位置に基づいて前記複数の周辺領域を選択する。

また、請求項５の発明は、請求項４に記載の画像表示システムにおいて、前記検出結果は、前記車両からの前記物体の距離を含み、前記複数の周辺領域それぞれの前記複数の車両周辺画像の表示における優先度を、前記物体の距離に基づいて設定する設定手段と、を備えている。

また、請求項６の発明は、請求項５に記載の画像表示システムにおいて、前記設定手段は、前記周辺領域に存在する物体の距離が近いほど、該周辺領域の優先度を高くする。

また、請求項７の発明は、請求項１ないし３のいずれかに記載の画像表示システムにおいて、前記車両の周辺に存在する物体の種類を判別する判別手段と、前記複数の周辺領域それぞれの前記複数の車両周辺画像の表示における優先度を、前記物体の種類に基づいて設定する設定手段と、をさらに備える。

また、請求項８の発明は、請求項１ないし３のいずれかに記載の画像表示システムにおいて、前記車両の複数の走行状態それぞれに適した複数の表示モードを切り替える切替手段、を備え、前記選択手段は、現時点の前記表示モードに応じて前記複数の周辺領域を選択する。

また、請求項９の発明は、車両に搭載される表示装置に表示させる画像を生成する画像処理装置であって、前記車両に配置されたカメラで得られる撮影画像から、前記車両の周辺の一部の周辺領域を示す車両周辺画像を生成する生成手段と、前記車両のユーザに同時期に示すべき複数の周辺領域を選択する選択手段と、前記複数の周辺領域それぞれを示す複数の車両周辺画像を前記表示装置に出力して、順次に切り替えて前記表示装置の画面内の同一の表示領域に表示させる出力手段と、を備え、前記生成手段は、複数のカメラで得られる撮影画像から、任意の視点からみた前記周辺領域を示す前記車両周辺画像を生成可能であり、前記出力手段は、前記表示装置が前記車両周辺画像を切り替える際に、切り替え前の前記車両周辺画像の視点の位置から切り替え後の前記車両周辺画像の視点の位置まで前記視点の位置が移動するアニメーション表現を前記表示装置に行わせ、前記視点の位置が移動する場合における前記視点の移動速度は、該視点の位置が移動の起点及び終点のいずれかに近いほど遅く、該視点の位置が移動の起点及び終点から離れるほど速い。

また、請求項１０の発明は、車両において画像を表示する画像表示方法であって、（ａ）前記車両に配置されたカメラで得られる撮影画像から、前記車両の周辺の一部の周辺領域を示す車両周辺画像を生成する工程と、（ｂ）前記車両のユーザに同時期に示すべき複数の周辺領域を選択する工程と、（ｃ）前記複数の周辺領域それぞれを示す複数の車両周辺画像を、順次に切り替えて画面内の同一の表示領域に表示する工程と、を備え、前記工程（ａ）は、複数のカメラで得られる撮影画像から、任意の視点からみた前記周辺領域を示す前記車両周辺画像を生成可能であり、前記工程（ｃ）は、前記車両周辺画像を切り替える際に、切り替え前の前記車両周辺画像の視点の位置から切り替え後の前記車両周辺画像の視点の位置まで前記視点の位置が移動するアニメーション表現を行い、前記視点の位置が移動する場合における前記視点の移動速度は、該視点の位置が移動の起点及び終点のいずれかに近いほど遅く、該視点の位置が移動の起点及び終点から離れるほど速い。

請求項１ないし１０の発明によれば、ユーザに同時期に示すべき複数の周辺領域それぞれを示す複数の車両周辺画像が、順次に切り替えて画面内の同一の表示領域に表示される。これにより、限られた画面内において、複数の周辺領域の様子を比較的大きくユーザに示すことができる。また、切り替え前の車両周辺画像の視点の位置から切り替え後の車両周辺画像の視点の位置まで視点の位置が移動するアニメーション表現を行うため、切り替え後の車両周辺画像がいずれの周辺領域を示しているかをユーザが直感的に把握できる。また、視点の移動の起点及び終点の位置をユーザが把握しやすくなり、ユーザに示すべき周辺領域にユーザの注意を向けさせることができる。

また、特に請求項２の発明によれば、複数の周辺領域の様子の変化をユーザが把握することができる。

また、特に請求項３の発明によれば、同一の表示領域に表示される複数の車両周辺画像の画角が同一であるため、切り替え後の車両周辺画像が示す周辺領域の広さをユーザが直感的に把握できる。

また、特に請求項４の発明によれば、車両の周辺に存在する物体の位置に基づいて周辺領域を選択するため、ユーザが注意すべき物体の様子をユーザに示すことができる。

また、特に請求項５の発明によれば、物体の距離に基づいて優先度を設定するため、ユーザが注意すべき物体を示す車両周辺画像を優先的に表示することができる。

また、特に請求項６の発明によれば、ユーザが注意すべき車両に近い物体を示す車両周辺画像を優先的に表示することができる。

また、特に請求項７の発明によれば、ユーザが注意すべき種類の物体を示す車両周辺画像を優先的に表示することができる。

また、特に請求項８の発明によれば、複数の走行状態それぞれに適した周辺領域をユーザに示すことができる。

図１は、第１の実施の形態の画像表示システムの構成を示す図である。 図２は、車載カメラが車両に配置される位置を示す図である。 図３は、ソナーシステムの構成を主に示す図である。 図４は、クリアランスソナーが車両に配置される位置を示す図である。 図５は、合成画像を生成する手法を説明するための図である。 図６は、全体俯瞰画像を表示するディスプレイの画面を示す図である。 図７は、後方駐車を行う場合における車両の動きの一例を示す図である。 図８は、縦列駐車を行う場合における車両の動きの一例を示す図である。 図９は、２つの車両周辺画像を表示するディスプレイの画面を示す図である。 図１０は、３つの車両周辺画像を表示するディスプレイの画面を示す図である。 図１１は、第１の実施の形態の周辺表示モードにおける動作の流れを示す図である。 図１２は、注目領域表示処理の詳細な流れを示す図である。 図１３は、縦列駐車を行う場合における車両の一状態を示す図である。 図１４は、車両周辺画像を切り替える際に表示される画像を示す図である。 図１５は、速度係数の変化を示す図である。 図１６は、第２の実施の形態の画像表示システムの構成を示す図である。 図１７は、車両の周辺に２つの物体が存在した状態を示す図である。 図１８は、第２の実施の形態の優先度を設定する処理の流れを示す図である。 図１９は、第３の実施の形態の画像表示システムの構成を示す図である。 図２０は、画像表示システムの表示モードの遷移を示す図である。 図２１は、第３の実施の形態の周辺表示モードにおける動作の流れを示す図である。 図２２は、後方駐車モードにおいて選択される周辺領域を示す図である。 図２３は、縦列駐車モードにおいて選択される周辺領域を示す図である。 図２４は、すれ違いモードにおいて選択される周辺領域を示す図である。 図２５は、すれ違いモードにおけるディスプレイの画面を示す図である。 図２６は、全体俯瞰画像と車両周辺画像とを同時表示した場合の例を示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．第１の実施の形態＞
＜１−１．システム構成＞
図１は、第１の実施の形態の画像表示システム１２０の構成を示すブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成して車室内に表示する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。

図１に示すように、画像表示システム１２０は、車両の周辺の様子を示す画像を生成する画像処理装置１００と、車両に乗車するユーザに対して各種情報を表示するナビゲーション装置２０とを主に備えている。画像処理装置１００で生成された画像は、ナビゲーション装置２０において表示される。

ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行うハードスイッチなどで構成される操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータで構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。

ナビゲーション装置２０は、画像処理装置１００と通信可能に接続され、画像処理装置１００との間で各種の制御信号の送受信や、画像処理装置１００で生成された画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、動作モードを変更することで画像処理装置１００で生成された車両の周辺の様子を示す画像が表示される。これにより、ナビゲーション装置２０は、画像処理装置１００で生成された画像を受信して表示する表示装置としても機能する。

画像処理装置１００は、その本体部１０が画像を生成する機能を有するＥＣＵ（Electronic Control Unit）として構成され、車両の所定の位置に配置される。画像処理装置１００は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。

撮影部５は、本体部１０に電気的に接続され、本体部１０からの信号に基づいて動作する。撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２、及び、サイドカメラ５３を備えている。各車載カメラ５１〜５３は、レンズと撮像素子とを備えており電子的に画像を取得する。

これらの複数の車載カメラ５１〜５３は、車両の異なる位置にそれぞれ配置される。図２は、車載カメラ５１〜５３が車両９に配置される位置を示す図である。

図２に示すように、フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向に向けられている。これらフロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。また、サイドカメラ５３は左右のドアミラー９３にそれぞれ設けられ、その光軸５３ａは車両９の左右方向（直進方向に直交する方向）に沿って車両９の外側に向けられている。

これらの車載カメラ５１〜５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１〜５３は１８０度以上の画角θを有している。このため、４つの車載カメラ５１〜５３を利用することで、車両９の全周囲の撮影が可能となっている。

図１に戻り、画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。

ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。これにより、画像処理装置１００は、ナビゲーション装置２０に対するユーザの操作に応答した動作が可能となっている。

画像生成部３は、各種の画像処理が可能なハードウェア回路として構成されており、撮影画像調整部３１、及び、合成画像生成部３２を主な機能として備えている。

撮影画像調整部３１は、撮影部５で取得された撮影画像を対象とした調整を行うものである。具体的には、撮影画像調整部３１は、撮影画像に対して明るさ補正などの画像処理を行う。

合成画像生成部３２は、撮影部５の複数の車載カメラ５１〜５３で取得されて撮影画像調整部３１によって調整された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた車両の周辺の様子を示す合成画像を生成する。合成画像生成部３２が合成画像を生成する手法については後述する。

合成画像生成部３２により生成された合成画像は、ナビ通信部４２によってナビゲーション装置２０に出力される。これにより、車両の周辺の少なくとも一部の領域を示す合成画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。

制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１、表示制御部１２、領域選択部１３及び優先度設定部１４は、このようにして実現される制御部１の機能のうちの一部を示している。

画像制御部１１は、画像生成部３によって実行される画像処理に係る制御を行う。例えば、画像制御部１１は、合成画像生成部３２が生成する合成画像の生成に必要な各種パラメータなどを指示する。

表示制御部１２は、ナビゲーション装置２０のディスプレイ２１に表示する表示内容に係る制御を行う。また、領域選択部１３は、車両の周辺に設定される複数の周辺領域のうちから、ユーザに示すべき周辺領域を選択する。また、優先度設定部１４は、ユーザに示すべき周辺領域が複数ある場合に、それらの優先度を設定する。これら表示制御部１２、領域選択部１３及び優先度設定部１４の具体的な処理内容については後述する。

また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。

不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、視点データ４ａが記憶されている。視点データ４ａは、合成画像の仮想視点を定める際に利用される。

カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。

メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像処理装置１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。

また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。本実施の形態では、車両の周辺に存在する物体を検出するソナーシステム７からの信号が信号入力部４１を介して制御部１に入力される。

＜１−２．ソナーシステム＞
図３は、このソナーシステム７の構成を主に示す図である。図に示すように、ソナーシステム７は、システム全体を統括するソナー制御部７０と、複数のクリアランスソナー７２と、車室内に警告音を発するブザー７１とを備えている。

クリアランスソナー７２は、超音波を発射し、その超音波が物体で反射した反射波を受信することで、車両の周辺に存在する物体を検出する。また、クリアランスソナー７２は、超音波を発射してから戻ってくるまでの時間に基づいて物体の距離を検出可能である。各クリアランスソナー７２の検出結果は、ソナー制御部７０に入力され、物体までの距離に応じてブザー７１から警告音が出力される。これにより、ユーザは車両の周辺に物体が存在することを把握できる。

図４は、複数のクリアランスソナー７２が車両９に配置される位置を示す図である。複数のクリアランスソナー７２は、車両９の前方の左右端部、及び、車両９の後方の左右端部にそれぞれ設けられている。

各クリアランスソナー７２は、車両９の周辺の一部の周辺領域Ａ１〜Ａ４に向けて超音波を発信する。具体的には、車両９の前方の左端部に設けられるクリアランスソナー７２は、車両９の前方左側に設定される周辺領域（以下、「前方左側領域」という。）Ａ１に向けて超音波を発信する。また、車両９の前方の右端部に設けられるクリアランスソナー７２は、車両９の前方右側に設定される周辺領域（以下、「前方右側領域」という。）Ａ２に向けて超音波を発信する。また、車両９の後方の左端部に設けられるクリアランスソナー７２は、車両９の後方左側に設定される周辺領域（以下、「後方左側領域」という。）Ａ３に向けて超音波を発信する。さらに、車両９の後方の右端部に設けられるクリアランスソナー７２は、車両９の後方右側に設定される周辺領域（以下、「後方右側領域」という。）Ａ４に向けて超音波を発信する。

これら４つの周辺領域Ａ１〜Ａ４は、車両９に対して相対的に固定されて予め設定される。このようなクリアランスソナー７２の配置により、ソナーシステム７では、４つの周辺領域Ａ１〜Ａ４に存在する物体の検出が可能となっている。ソナーシステム７は、物体を検出したクリアランスソナー７２の位置に基づいて、検出した物体の位置が４つの周辺領域Ａ１〜Ａ４のいずれであるかを把握可能である。さらに、ソナーシステム７は、検出した物体の距離を把握することが可能である。

このような物体の位置及び物体の距離を含むソナーシステム７の検出結果は、図３に示すように、ソナー制御部７０から、画像処理装置１００の制御部１に信号入力部４１を介して入力される。そして、このソナーシステム７の検出結果は、制御部１の領域選択部１３に利用されることになる。

＜１−３．画像合成処理＞
次に、画像生成部３の合成画像生成部３２が、撮影部５で得られた複数の撮影画像に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。図５は、合成画像を生成する手法を説明するための図である。

撮影部５のフロントカメラ５１、バックカメラ５２及びサイドカメラ５３で同時に撮影が行われると、車両９の前方、後方、左側方、及び、右側方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。

次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。

撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１〜５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。この対応関係を示すテーブルデータは、不揮発性メモリ４０に予め記憶されている。

また、不揮発性メモリ４０に予め記憶された車体の形状やサイズを示すデータが利用され、車両９の三次元形状を示すポリゴンのモデルが仮想的に構成される。構成された車両９のモデルは、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。

さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。

そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングがなされ、その結果となる二次元の車両の像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点ＶＰからみた様子を示す合成画像が生成されることになる。

例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰａを設定した場合は、車両９の略直上から車両９を見下ろすように、車両９及び車両９の周辺の領域を示す合成画像ＣＰａが生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰｂを設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９及び車両９の周辺の領域を示す合成画像ＣＰｂが生成される。

なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。

画像表示システム１２０では、このような合成画像生成部３２の機能を利用することで、車両９及び車両９の周辺全体を俯瞰して示す合成画像や、車両９の周辺の一部の周辺領域のみを示す合成画像などを生成し、ディスプレイ２１に表示することができる。

＜１−４．周辺表示モード＞
画像表示システム１２０は、ナビモードと周辺表示モードとの２つの動作モードを有している。これらの動作モードは、操作部２２を介したユーザの操作に基づいて制御部１の制御により切り替えられる。

ナビモードは、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像などをディスプレイ２１に表示する動作モードである。一方、周辺表示モードは、画像処理装置１００の機能を利用して、合成画像をディスプレイ２１に表示する動作モードである。周辺表示モードにおいては、この合成画像の表示により、車両９の周辺の様子がほぼリアルタイムでユーザに示される。

周辺表示モードでは、通常は、図６に示すように、車両９及び車両９の周辺全体を俯瞰して示す合成画像（以下、「全体俯瞰画像」という。）ＢＰがディスプレイ２１に表示される。ただし、特定の条件下では、図４の４つの周辺領域Ａ１〜Ａ４のうちの一または複数が選択され、選択された周辺領域のみの様子を示す合成画像（以下、「車両周辺画像」という。）がディスプレイ２１に表示される。

このような周辺領域を示す車両周辺画像の仮想視点の視点位置は当該周辺領域の中央の略直上に設定され、視野方向は略直下方向に向けられる。これにより、車両周辺画像では、上から見下ろすようにして周辺領域の様子が示される。各車両周辺画像においては、車両９の車体の一部が示される。このような各周辺領域Ａ１〜Ａ４に対応する仮想視点の視点位置は、不揮発性メモリ４０に記憶された視点データ４ａによって示される。

このように車両周辺画像としてユーザに示すべき周辺領域は、車両９の走行状態に応じて随時に変わることになる。また、車両９の走行状態によっては、ユーザに示すべき周辺領域が同時期に複数存在する場合もある。以下、後方駐車を行う場合、及び、縦列駐車を行う場合を例に、ユーザに示すべき周辺領域について説明する。なお以下、ユーザに示すべき周辺領域を「注目領域」という。

図７は、後方駐車を行う場合における車両９の動きの一例を示す図である。図７の例においては、車両９の状態は、第１状態ＳＴ１１から、第２状態ＳＴ１２を経て、最終的に第３状態ＳＴ１３となる。

第１状態ＳＴ１１においては、車両９の後方の左端部が他の車両９９に近接している。このため、この場合は、後方左側領域Ａ３が注目領域となる。

また、第２状態ＳＴ１２においては、車両９の後方の左端部、及び、車両９の後方の右端部が他の車両９９に近接している。このため、この場合は、後方左側領域Ａ３、及び、後方右側領域Ａ４が注目領域となる。

さらに、第３状態ＳＴ１３においては、車両９の後方の左端部、及び、車両９の後方の右端部が他の車両９９や駐車スペースの壁に近接している。このため、この場合も、後方左側領域Ａ３、及び、後方右側領域Ａ４が注目領域となる。

このように後方駐車を行う場合においては、車両９の状態に応じて注目領域が変わる。そして、第２状態ＳＴ１２や第３状態ＳＴ１３においては、同時期に注目領域が２つ存在することになる。

また、図８は、縦列駐車を行う場合における車両９の動きの一例を示す図である。図８の例においては、車両９の状態は、第１状態ＳＴ２１から、第２状態ＳＴ２２を経て、最終的に第３状態ＳＴ２３となる。

第１状態ＳＴ２１においては、車両９の後方の左端部が他の車両９９に近接している。このため、この場合は、後方左側領域Ａ３が注目領域となる。

また、第２状態ＳＴ２２においては、車両９の前方の左端部、及び、車両９の後方の左端部が他の車両９９や駐車スペースの壁に近接している。このため、この場合は、前方左側領域Ａ１、及び、後方左側領域Ａ３が注目領域となる。

さらに、第３状態ＳＴ２３においては、車両９の前方の左端部、車両９の後方の左端部、及び、車両９の後方の右端部が他の車両９９や駐車スペースの壁に近接している。このため、この場合は、前方左側領域Ａ１、後方左側領域Ａ３、及び、後方右側領域Ａ４が注目領域となる。

このように縦列駐車を行う場合においても、車両９の状態に応じて注目領域が変わる。そして、第２状態ＳＴ２２においては同時期に注目領域が２つ存在し、第３状態ＳＴ１３においては同時期に注目領域が３つ存在することになる。

このような注目領域は、領域選択部１３によって選択される。領域選択部１３は、ソナーシステム７の検出結果が示す物体の位置に基づいて、物体（他の車両９９や駐車スペースの壁を含む）が存在している周辺領域を注目領域として選択する。これにより、車両の走行状態に応じて適切な周辺領域が注目領域として選択されることになる。領域選択部１３は、車両のユーザに同時期に示すべき複数の周辺領域を注目領域として選択することが可能である。

そして、複数の周辺領域が注目領域として選択された場合は、表示制御部１２の制御により、それらの複数の周辺領域のそれぞれを示す複数の車両周辺画像が順次にディスプレイ２１に表示される。

図９は、図８に示す第２状態ＳＴ２２において、ディスプレイ２１に表示される画面の例を示す図である。第２状態ＳＴ２２においては、前方左側領域Ａ１、及び、後方左側領域Ａ３の２つの周辺領域が、注目領域として領域選択部１３に選択される。このため、ディスプレイ２１の画面Ｄ１においては、前方左側領域Ａ１を示す車両周辺画像ＢＰ１と、後方左側領域Ａ３を示す車両周辺画像ＢＰ３とが交互に切り替えられつつ繰り返し表示される。この車両周辺画像ＢＰ１と車両周辺画像ＢＰ３とは、画面Ｄ１の同一の表示領域ＰＡに表示されることになる。また、車両周辺画像ＢＰ１及び車両周辺画像ＢＰ３の画角は同一である。

また、図１０は、図８に示す第３状態ＳＴ２３において、ディスプレイ２１に表示される画面の例を示す図である。第３状態ＳＴ２３においては、前方左側領域Ａ１、後方左側領域Ａ３及び後方右側領域Ａ４の３つの周辺領域が、注目領域として領域選択部１３に選択される。このため、ディスプレイ２１の画面Ｄ１においては、前方左側領域Ａ１を示す車両周辺画像ＢＰ１と、後方左側領域Ａ３を示す車両周辺画像ＢＰ３と、後方右側領域Ａ４を示す車両周辺画像ＢＰ４とが順次に切り替えて繰り返し表示される。これら３つの車両周辺画像ＢＰ１，ＢＰ３，ＢＰ４は、画面Ｄ１の同一の表示領域ＰＡに表示される。また、３つの車両周辺画像ＢＰ１，ＢＰ３，ＢＰ４の画角は同一である。

このように画像表示システム１２０では、注目領域として選択された複数の周辺領域それぞれを示す複数の車両周辺画像が、順次に切り替えてディスプレイ２１の画面Ｄ１内の同一の表示領域ＰＡに表示される。このため、これらの複数の車両周辺画像をディスプレイ２１の画面内に同時に並べて表示する必要は無いため、表示する各車両周辺画像のサイズを比較的大きくすることができる。その結果、限られたディスプレイ２１の画面内において、各周辺領域の様子を比較的大きくユーザに示すことができる。

また、ディスプレイ２１においては、注目領域として選択された複数の周辺領域それぞれを示す複数の車両周辺画像が繰り返し表示されるため、各周辺領域の様子の変化をユーザが適切に把握することが可能である。

また、切り替えられる複数の車両周辺画像の画角は同一である。したがって、複数の車両周辺画像に被写体像として含まれる周辺領域の広さは同一となる。このため、複数の車両周辺画像を切り替えたとしても、車両周辺画像に示される周辺領域の広さは変わらないため、切り替え後の車両周辺画像が示す周辺領域の広さをユーザが直感的に把握することができる。

＜１−５．動作の流れ＞
次に、画像表示システム１２０の周辺表示モードにおける動作の流れを説明する。図１１は、この周辺表示モードにおける動作の流れを示す図である。

まず、領域選択部１３が、ソナーシステム７の検出結果に基づいて注目領域を選択する。前述のように領域選択部１３は、４つの周辺領域Ａ１〜Ａ４のうちで、ソナーシステム７の検出結果が示す物体の位置に基づいて、物体が存在している周辺領域を注目領域として選択する。ただし、物体が存在している周辺領域が無い場合は、いずれの周辺領域も注目領域として選択されない（ステップＳ１１）。

領域選択部１３によりいずれの周辺領域も注目領域として選択されなかった場合は、ユーザに拡大して特に示すべき周辺領域が存在しない。このため、この場合は（ステップＳ１２にてＮｏ）、表示制御部１２の制御により、図６に示すようなデフォルト表示がなされる。すなわち、ディスプレイ２１の画面Ｄ１に全体俯瞰画像ＢＰが表示される（ステップＳ１６）。

一方、領域選択部１３により周辺領域が注目領域として選択された場合は（ステップＳ１２にてＹｅｓ）、次に、注目領域が複数あるか否かが判断される（ステップＳ１３）。注目領域が一つの場合は（ステップＳ１３にてＮｏ）、処理はそのままステップＳ１５へ進み、注目領域を示す車両周辺画像をディスプレイ２１に表示する注目領域表示処理が、表示制御部１２の制御によりなされる。

一方、注目領域が複数の場合は（ステップＳ１３にてＮｏ）、複数の注目領域それぞれの優先度が優先度設定部１４により設定される。この優先度は、当該注目領域を示す車両周辺画像を表示する順序を規定するものであり、順序数（１，２，３，…）で表現される。なお、本明細書において「優先度が高い」という表現をする場合は、順序数の値自体は小さくなる。

優先度設定部１４は、ソナーシステム７の検出結果が示す物体の距離に基づいて優先度を設定する。具体的には、各注目領域で検出された物体の距離が参照され、物体の距離が近い注目領域から順に優先度が高くされる。すなわち、注目領域に存在する物体の距離が近いほど、当該注目領域の優先度が高くされる（ステップＳ１４）。このようにして優先度が設定されると処理はステップＳ１５へ進み、注目領域を示す車両周辺画像をディスプレイ２１に表示する注目領域表示処理が、表示制御部１２の制御によりなされる。

この注目領域表示処理が行われると、処理はステップＳ１１に戻り、上記と同様の処理が繰り返される。これにより、常にその時点で車両の周辺に存在している物体に合わせて適切な周辺領域が注目領域として選択され、当該注目領域を示す車両周辺画像がディスプレイ２１に表示される。したがって、車両９の走行状態に応じて適切な周辺領域がユーザに示されることになる。

次に、注目領域表示処理（ステップＳ１５）について説明する。図１２は、注目領域表示処理の詳細な流れを示す図である。

まず、変数Ｐに１が代入される（Ｐ＝１）（ステップＳ２１）。次に、制御部１が備えるタイマ機能によって計時が開始される（ステップＳ２２）。

次に、優先度が”Ｐ”の注目領域の仮想視点の視点位置が、視点データ４ａに基づいて取得される。この場合は、Ｐ＝１であるため、優先度が最も高い注目領域の視点位置が取得される（ステップＳ２３）。

そして、合成画像生成部３２により、この仮想視点からみた優先度が”Ｐ”の注目領域を示す車両周辺画像が生成され、ディスプレイ２１に表示される。すなわち、優先度が最も高い注目領域を示す車両周辺画像がディスプレイ２１に表示されることになる（ステップＳ２４）。

そして、ステップＳ２２の計時開始から所定時間（例えば２秒）が経過するまで（ステップＳ２６にてＮｏ）、所定のフレームレート（例えば、３０ｆｐｓ）で、優先度が”Ｐ”の注目領域の車両周辺画像が繰り返し生成されてディスプレイ２１に表示される（ステップＳ２４）。これにより、優先度が”Ｐ”の注目領域の様子が、所定時間（例えば２秒間）、ほぼリアルタイムにユーザに示されることになる。所定時間が経過すると（ステップＳ２６にてＹｅｓ）、処理はステップＳ２８へ進む。

また、ステップＳ２２の計時開始から所定時間（例えば２秒）が経過するまで（ステップＳ２６にてＮｏ）においては、ユーザは操作部２２を介して所定の操作を行って「停止指示」を行うことができる。この「停止指示」がなされた場合（ステップＳ２５にてＹｅｓ）は、計時時間にかかわらず、優先度が”Ｐ”の注目領域の車両周辺画像が繰り返し生成されてディスプレイ２１に表示される（ステップＳ２４）。

このような「停止指示」の後の車両周辺画像の表示は、ユーザから操作部２２を介して「停止解除指示」がなされるまで継続される（ステップＳ２７にてＮｏ）。これにより、所定時間以上、優先度が”Ｐ”の注目領域の様子が、ほぼリアルタイムにユーザに示されることになる。したがって、ユーザは、所望の周辺領域の様子を十分に確認することができる。「停止解除指示」がなされると（ステップＳ２７にてＹｅｓ）、処理はステップＳ２８へ進む。

ステップＳ２８においては、変数Ｐが、選択された注目領域の数を示す変数Ｎよりも小さいか否かが判断される。変数Ｐが変数Ｎより小さい場合（Ｐ＜Ｎ）は（ステップＳ２８にてＹｅｓ）、切り替えて表示すべき注目領域が存在する場合である。したがって、この場合は、続いて、次に優先度が高い注目領域（すなわち、優先度が”Ｐ＋１”の注目領域）の車両周辺画像が切り替えてディスプレイ２１に表示されることになる。

この車両周辺画像の切り替えの際には、まず、優先度が”Ｐ＋１”の注目領域の視点位置が、視点データ４ａに基づいて取得される（ステップＳ２９）。そして、優先度が”Ｐ”の注目領域の視点位置から、優先度が”Ｐ＋１”の注目領域の視点位置まで、表示する車両周辺画像の仮想視点の視点位置を段階的に移動させるアニメーション表現がディスプレイ２１において行われる（ステップＳ３０）。このアニメーション表現の詳細については後述する。

その後、変数Ｐがインクリメントされ（Ｐ＝Ｐ＋１）（ステップＳ３１）、処理はステップＳ２２に戻る。これにより、次に優先度が高い注目領域の車両周辺画像がディスプレイ２１に表示され、この注目領域の様子が、所定時間（例えば２秒間）、ほぼリアルタイムにユーザに示されることになる。

このような処理が、選択された全ての注目領域に関して繰り返される。これにより、全ての注目領域の車両周辺画像がディスプレイ２１に順次に切り替えて表示されることになる。全ての注目領域の車両周辺画像が表示されると、ステップＳ２８において、変数Ｐが変数Ｎと一致し（Ｐ＝Ｎ）（ステップＳ２８にてＮｏ）、注目領域表示処理が終了することになる。

このように画像表示システム１２０では、物体の距離に基づいて優先度が設定される。そして、物体の距離が近いほど注目領域の優先度が高くされ、優先度が高い注目領域から順に車両周辺画像がディスプレイ２１に表示される。このため、ユーザが注意すべき車両に近い物体を示す車両周辺画像を優先的に表示することができる。

＜１−６．視点位置の移動＞
表示する車両周辺画像を切り替える際（ステップＳ３０）には、仮想視点の視点位置を段階的に移動させるアニメーション表現がなされる。以下、このアニメーション表現について、図８に示す第２状態ＳＴ２２の場合を例に説明する。

図１３は、第２状態ＳＴ２２を拡大して示す図である。前述のように、この第２状態ＳＴ２２においては、前方左側領域Ａ１及び後方左側領域Ａ３が注目領域として選択される。そして、ディスプレイ２１においては、図９に示すように、前方左側領域Ａ１を示す車両周辺画像ＢＰ１と、後方左側領域Ａ３を示す車両周辺画像ＢＰ３とが交互に切り替えられつつ表示される。

表示する車両周辺画像を車両周辺画像ＢＰ１から車両周辺画像ＢＰ３に切り替える際には、前方左側領域Ａ１の中央の位置Ｖｐｐから後方左側領域Ａ３の中央の位置Ｖｐｆに視点位置が瞬時に切り替わるわけではなく、図１３に示すように、位置Ｖｐｐから位置Ｖｐｆまで視点位置が段階的かつ連続的に移動される。なお、図１３においては、移動途中の段階の視点位置を２つのみ例示しているが、実際には移動途中の段階の視点位置は多数存在している。そして、このように視点位置が段階的に移動する仮想視点に基づいて複数の車両周辺画像が生成され、ディスプレイ２１に表示される。

これにより、図１４に示すように、車両周辺画像ＢＰ１と車両周辺画像ＢＰ３との間において、視点位置の移動中に生成された複数の車両周辺画像ＢＰａが時間的に連続してディスプレイ２１に表示される。その結果、ディスプレイ２１において、車両周辺画像に示される車両９の周辺の領域が段階的に変わるアニメーション表現がなされることになる。このようなアニメーション表現を行うことで、切り替え後の車両周辺画像がいずれの周辺領域を示しているかをユーザが直感的に把握できることになる。

このような視点位置の移動は、所定時間（例えば１秒間）かけて複数のフレームを利用して行われる。以下、各フレームの車両周辺画像の仮想視点の視点位置の決定手法について説明する。

この説明においては、仮想視点の視点位置を表現するために、図１３に示すように車両９に相対的に固定される２次元直交座標系（ＸＹ座標系）の座標を採用する。仮想視点の移動の起点となる位置Ｖｐｐ（前方左側領域Ａ１の中央）の座標は（Ｘｐ，Ｙｐ）とし、仮想視点の移動の終点となる位置Ｖｆｐ（後方左側領域Ａ３の中央）の座標は（Ｘｆ，Ｙｆ）であるとする。そして、移動途中の視点位置をＶｐｍとする。また、視点位置の移動にかける時間をＴ（ｓ）とし、フレームレートをＦ（ｆｐｓ）とする。

仮想視点のＸ軸方向の移動距離Ｄｘ及びＹ軸方向の移動距離Ｄｙはそれぞれ、次の式（１）及び式（２）で導出できる。

Ｄｘ＝Ｘｆ−Ｘｐ …（１）
Ｄｙ＝Ｙｆ−Ｙｐ …（２）
また、Ｘ軸方向の１フレームあたりの平均移動量ｍｘ、及び、Ｙ軸方向の１フレームあたりの平均移動量ｍｙはそれぞれ、次の式（３）及び式（４）で導出できる。

ｍｘ＝Ｄｘ／（Ｆ・Ｔ） …（３）
ｍｙ＝Ｄｙ／（Ｆ・Ｔ） …（４）
そして、移動途中の視点位置ＶｐｍのＸ座標のＸ_ｎ、及び、Ｙ座標のＹ_ｎは、次の式（５）及び式（６）で導出することができる。

Ｘ_ｎ＝Ｘ_ｎ−１＋α・ｍｘ …（５）
Ｙ_ｎ＝Ｙ_ｎ−１＋α・ｍｙ …（６）
式（５）及び式（６）におけるＸ_ｎ−１及びＹ_ｎ−１は、１フレーム前の視点位置ＶｐｍのＸ座標及びＹ座標をそれぞれ示している。また、αは、仮想視点の移動速度を規定する速度係数である。この速度係数αは、視点位置の移動において平均して１となるように設定される。

図１５は、速度係数αの変化を示す図である。図中の横軸は仮想視点の移動の移動開始からの時間、縦軸は速度係数αを示している。図に示すように、速度係数αは、仮想視点の移動開始の直後は低いが、移動における中間時点（Ｔ／２の時点）において最も高くなり、その後は低くなる。したがって、仮想視点の移動速度は、視点位置が移動の起点Ｖｐｐ及び終点Ｖｆｐのいずれかに近いほど遅くなる。そして、仮想視点の移動速度は、視点位置が移動の起点Ｖｐｐ及び終点Ｖｆｐから離れるほど速くなり、移動の起点Ｖｐｐ及び終点Ｖｆｐの中間位置において最も速くなる。

このように仮想視点の移動速度を変化させることにより、仮想視点の移動の起点及び終点をユーザが把握しやすくなり、仮想視点の移動の起点あるいは終点となる注目領域にユーザの注意を向けさせることができる。また、注目領域以外のユーザに示す必要性の低い車両９の周辺の領域が無駄に長く表示されることもない。

以上のように、画像表示システム１２０では、４つの周辺領域Ａ１〜Ａ４のうちから、車両のユーザに同時期に示すべき複数の周辺領域が注目領域として領域選択部１３によって選択される。そして、注目領域として選択された複数の周辺領域それぞれを示す複数の車両周辺画像が、順次に切り替えてディスプレイ２１の画面Ｄ１内の同一の表示領域ＰＡに表示される。このため、これらの複数の車両周辺画像をディスプレイ２１の画面内に同時に並べて表示する必要は無いため、表示する各車両周辺画像のサイズを比較的大きくすることができる。その結果、限られたディスプレイ２１の画面内において、各周辺領域の様子を比較的大きくユーザに示すことができる。

＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第１の実施の形態では、物体の距離のみに基づいて注目領域の優先度が設定されていた。これに対して、第２の実施の形態では、物体の種類が判定され、この物体の種類を考慮して注目領域の優先度が設定されるようになっている。本実施の形態の画像表示システム１２０の構成及び動作は、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。

図１６は、第２の実施の形態の画像表示システム１２０の構成を示すブロック図である。第２の実施の形態の画像表示システム１２０は、プログラムに従って制御部１のＣＰＵが演算処理を行うことで実現される機能として、種類判定部１５を備えている。また、不揮発性メモリ４０には、種類判定部１５が用いる種類判定データ４ｂが記憶されている。第２の実施の形態の画像表示システム１２０のその他の構成は、図１に示す第１の実施の形態の画像表示システム１２０と同様である。

種類判定部１５は、ソナーシステム７によって周辺領域Ａ１〜Ａ４のいずれかにおいて物体が検出された場合に、当該物体の種類が人物であるか否かを判定する。より具体的には、種類判定部１５は、物体が検出された周辺領域の車両周辺画像を用い、その車両周辺画像に含まれる物体の像を認識する。そして、種類判定部１５は、その物体の像に基づいて、例えばパターンマッチングなどの周知の技術によって物体の種類が人物であるか否かを判定する。このパターンマッチングに用いるデータとして、種類判定データ４ｂが利用される。

例えば、図１７に示すように、車両９の周辺に２つの物体Ｓｂ１，Ｓｂ２が存在しており、一方の物体Ｓｂ１が三輪車、他方の物体Ｓｂ２が人物である場合を想定する。この例では、物体（三輪車）Ｓｂ１は前方右側領域Ａ２に存在しており、物体（人物）Ｓｂ２は後方左側領域Ａ３に存在している。

この例の場合、ソナーシステム７によって２つの周辺領域Ａ２，Ａ３に物体が存在すると検出される。そして、種類判定部１５によって２つの周辺領域Ａ２，Ａ３それぞれの物体の種類が判定され、周辺領域Ａ２の物体Ｓｂ１は人物以外、周辺領域Ａ３の物体Ｓｂ２は人物であると判定される。

車両９の周辺に人物が存在する場合は、安全上、ユーザはその人物に最大の注意を払って車両９を運転する必要がある。このため、本実施の形態の画像表示システム１２０においては、周辺領域に人物が存在すると判定された場合は、物体の距離に係わらず、当該人物が存在する周辺領域（注目領域）の優先度が最も高く設定される。したがって、図１７の例では、後方左側領域Ａ３の優先度が最も高く設定されることになる。

図１８は、本実施の形態の優先度を設定する処理（図１１のステップＳ１４）の流れを示す図である。この処理の開始時点においては、複数の周辺領域が注目領域として領域選択部１３により選択されている。

まず、第１の実施の形態と同様にして、物体の距離に基づいて注目領域の優先度が優先度設定部１４により設定される。すなわち、注目領域に存在する物体の距離が近いほど、当該注目領域の優先度が高くされる（ステップＳ４１）。

次に、複数の注目領域それぞれの車両周辺画像が生成される。そして、各注目領域の車両周辺画像に含まれる物体の種類が人物であるか否かが種類判定部１５により判定される（ステップＳ４２）。

この判定により、物体が人物であると判定された注目領域がある場合は（ステップＳ４３にてＹｅｓ）、ステップＳ４１で設定された優先度に係わらず、当該注目領域の優先度が最も高く設定される（優先度＝１）（ステップＳ４４）。なお、物体が人物であると判定された注目領域が複数の場合は、さらに物体の距離を考慮して注目領域の優先度を設定すればよい。

本実施の形態においても、注目領域表示処理は、図１２に示す第１の実施の形態の処理と同様に行われる。したがって、優先度が高い注目領域から順に車両周辺画像がディスプレイ２１に表示される。このため、第２の実施の形態の画像表示システム１２０では、ユーザが注意すべき人物を示す車両周辺画像を優先的に表示することができる。

＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第１の実施の形態では、物体が存在する周辺領域を注目領域として選択するようにしていた。これに対して、第３の実施の形態では、車両の複数の走行状態それぞれに適した複数の表示モードがあり、表示モードに応じて注目領域が選択されるようになっている。本実施の形態の画像表示システム１２０の構成及び動作も、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。

図１９は、第３の実施の形態の画像表示システム１２０の構成を示すブロック図である。第３の実施の形態の画像表示システム１２０では、画像処理装置１００が、切替スイッチ４５を備えている。この切替スイッチ４５は、ユーザが操作可能なボタン式のスイッチであり、ユーザが操作しやすいように本体部１０とは別に車両の適位置に配置される。切替スイッチの操作内容は、信号として制御部１に入力される。

また、画像表示システム１２０は、プログラムに従って制御部１のＣＰＵが演算処理を行うことで実現される機能として、モード切替部１６を備えている。さらに、不揮発性メモリ４０には、表示モードに応じた注目領域を示すモードデータ４ｃが記憶されている。

また、第３の実施の形態の画像表示システム１２０は、ソナーシステム７からの信号を利用しないため、信号入力部４１が省略されている。第３の実施の形態の画像表示システム１２０のその他の構成は、図１に示す第１の実施の形態の画像表示システム１２０と同様である。

モード切替部１６は、画像表示システム１２０の周辺表示モードにおける表示モードを切り替えるものである。図２０は、周辺表示モードにおける表示モードの遷移を示す図である。本実施の形態の画像表示システム１２０は、後方駐車モードＭ１１、縦列駐車モードＭ１２、及び、すれ違いモードＭ１３の３つの表示モードを有している。周辺表示モードにおいては、ユーザが切替スイッチ４５を押下するごとに、これらの表示モードが変更される。

３つの表示モードはそれぞれ、車両の特殊な走行状態に最適化されている。後方駐車モードＭ１１は、後方駐車を行う場合に適した表示モードであり、縦列駐車モードＭ１２は、縦列駐車を行う場合に適した表示モードである。また、すれ違いモードＭ１３は、比較的狭い道などで対向車とすれ違う場合に適した表示モードである。これらの表示モードでは、注目領域として選択される周辺領域が異なっている。

図２１は、第３の実施の形態の周辺表示モードにおける動作の流れを示す図である。まず、現時点の表示モードがモード切替部１６から領域選択部１３に取得される（ステップＳ５１）。次に、領域選択部１３は、現時点の表示モードに基づいて、モードデータ４ｃを参照して注目領域を選択する。すなわち、本実施の形態では、注目領域として選択される周辺領域は、物体の存在とは無関係に表示モードのみによって規定される（ステップＳ５２）。そして、第１の実施の形態と同様にして、注目領域表示処理がなされることになる（ステップＳ５３）。

図２２は、後方駐車モードＭ１１において注目領域として選択される周辺領域を示す図である。図２２に示すように、後方駐車モードＭ１１においては、後方左側領域Ａ３及び後方右側領域Ａ４が注目領域として選択される。この場合において、車両周辺画像の仮想視点の視野方向は略直下方向に設定される。そして、仮想視点の視点位置は、後方左側領域Ａ３の中央Ｖｐ３と後方右側領域Ａ４の中央Ｖｐ４との間で移動される。

これにより、後方駐車モードＭ１１では、２つの周辺領域Ａ３，Ａ４をそれぞれ示す車両周辺画像が交互に切り替えてディスプレイ２１に表示されることになる。

図２３は、縦列駐車モードＭ１２において注目領域として選択される周辺領域を示す図である。図２３に示すように、縦列駐車モードＭ１２においては、前方左側領域Ａ１、後方左側領域Ａ３及び後方右側領域Ａ４が注目領域として選択される。この場合も、車両周辺画像の仮想視点の視野方向は略直下方向に設定される。そして、仮想視点の視点位置は、前方左側領域Ａ１の中央Ｖｐ１と、後方左側領域Ａ３の中央Ｖｐ３と、後方右側領域Ａ４の中央Ｖｐ４との間で移動されることになる。

これにより、縦列駐車モードＭ１２では、これら３つの周辺領域Ａ１，Ａ３，Ａ４をそれぞれ示す車両周辺画像が順次に切り替えてディスプレイ２１に表示されることになる。

図２４は、すれ違いモードＭ１３において注目領域として選択される周辺領域を示す図である。図２４に示すように、縦列駐車モードＭ１２においては、車両９の左側側方に設定される左側方領域Ａ５、及び、車両の右側側方に設定される右側方領域Ａ６が注目領域として選択される。

この場合において、車両周辺画像の仮想視点の視野方向は前方方向に設定される。そして、仮想視点の視点位置は、左側方領域Ａ５の後方中央Ｖｐ５と、右側方領域Ａ６の後方中央Ｖｐ６との間で移動されることになる。

これにより、すれ違いモードＭ１３では、図２５に示すように、車両９の後方からみた左側方領域Ａ５の様子を示す車両周辺画像ＢＰ５と、車両９の後方からみた右側方領域Ａ６の様子を示す車両周辺画像ＢＰ６とが交互に切り替えてディスプレイ２１の画面Ｄ１の同一の表示領域ＰＡに表示されることになる。このような表示がなされることで、対向車とすれ違う場合において車両９の側方におけるクリアランスをユーザが確認しやすい。

このように第３の実施の形態の画像表示システム１２０では、その時点の表示モードに応じて注目領域が選択されるため、その時点の走行状態に適した周辺領域を的確にユーザに示すことができる。また、第３の実施の形態の画像表示システム１２０では、ソナーシステム７等との連携が不要となり、適切な周辺領域をユーザに示す機能を比較的低コストに実現することができる。

＜４．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上記実施の形態では、領域選択部１３が注目領域を選択していたが、ユーザの操作に基づいて注目領域を選択するようにしてもよい。この場合は、ユーザが所望の周辺領域の様子をディスプレイ２１において確認することができる。

また、上記実施の形態では、ディスプレイ２１の画面Ｄ１に注目領域を示す車両周辺画像のみが表示されていた。これに対して、図２６に示すように、車両周辺画像と合わせて全体俯瞰画像ＢＰを、ディスプレイ２１の画面Ｄ２に同時に表示するようにしてもよい。この場合、第１表示領域ＰＡ１に全体俯瞰画像ＢＰが常に表示され、第２表示領域ＰＡ２に複数の車両周辺画像が順次に切り替えて表示される。また、この場合は、図２６に示すように、第２表示領域ＰＡ２に表示されている車両周辺画像が示す周辺領域の位置を、第１表示領域ＰＡ１に表示されている全体俯瞰画像ＢＰ中に枠Ｃなどで明示するようにしてもよい。図２６の例では、前方左側領域Ａ１を示す車両周辺画像ＢＰ１が第２表示領域ＰＡ２に表示されている。このため、全体俯瞰画像ＢＰ中の被写体像において前方左側領域Ａ１に対応する位置に枠Ｃが表示されている。

また、上記第１及び第２の実施の形態では、ソナーシステム７によって車両の周辺に存在する物体を検出していた。これに対して、例えばレーダー装置による物体検出や、画像に基づく物体認識などの他の手法によって、車両の周辺に存在する物体を検出してもよい。

また、上記第１及び第２の実施の形態では、車両の周辺に物体が存在する周辺領域を注目領域として選択していた。これに対して、駐車スペースを示す白線が存在する周辺領域を注目領域として選択するようにしてもよい。この場合は、画像中に示される白線を認識する周知の白線認識手法を採用すればよい。

また、上記実施の形態では、車両の前方の周辺領域を示す車両周辺画像と、車両の後方の周辺領域を示す車両周辺画像との双方で、車両９の前方側が画像上側に示されていた。これに対して、車両の後方の周辺領域を示す車両周辺画像では、車両９の後方側が画像上側に示されるようにしてもよい。この場合、車両の前方の周辺領域を示す車両周辺画像から、車両の後方の周辺領域を示す車両周辺画像に切り替える際は、仮想視点の向きを１８０度回転させるようにすればよい。

また、上記第２の実施の形態では、物体の種類を判定する場合に人物か否かのみを判定していたが、物体の他の種類も判定するようにしてもよい。例えば、人物、車両、動物などを判定できるようにしてもよい。また、物体が接近物か否かを判定するようにしてもよい。接近物か否かは、時間経過に伴って物体の距離が小さくなっているか否かに基づいて判定できる。このような接近物は車両と接触する可能性が高いため、接近物が存在する周辺領域（注目領域）の優先度については高く設定することが望ましい。

また、上記実施の形態では、優先度が高い注目領域から順に車両周辺画像がディスプレイ２１に表示されるようにしていた。これに対して、注目領域の優先度が高いほど、当該注目領域を示す車両周辺画像の表示時間を長くするようにしてもよい。

また、上記実施の形態では、周辺領域を示す車両周辺画像は合成画像であると説明したが、画像合成処理を行っていない撮影画像であってもよい。

また、上記実施の形態では、画像処理装置１００とナビゲーション装置２０とは別の装置であるとして説明したが、画像処理装置１００とナビゲーション装置２０とが同一の筐体内に配置されて一体型の装置として構成されてもよい。

また、上記実施の形態では、画像処理装置１００で生成された画像を表示する表示装置はナビゲーション装置２０であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。

また、上記実施の形態において、画像処理装置１００の制御部１によって実現されると説明した機能の一部は、ナビゲーション装置２０の制御部２３によって実現されてもよい。

また、ソナーシステム７からの信号は、ナビゲーション装置２０に入力されるようになっていてもよい。この場合は、ナビ通信部４２を経由して、画像処理装置１００の制御部１に当該信号を入力すればよい。

また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

７ ソナーシステム
９ 車両
１２ 表示制御部
１３ 領域選択部
１４ 優先度設定部
１５ 種類判定部
２１ ディスプレイ
Ａ１ 前方左側領域
Ａ２ 前方右側領域
Ａ３ 後方左側領域
Ａ４ 後方右側領域
１２０ 画像表示システム

Claims (10)

1. 車両に搭載される画像表示システムであって、
   前記車両に配置されたカメラで得られる撮影画像から、前記車両の周辺の一部の周辺領域を示す車両周辺画像を生成する生成手段と、
   前記車両のユーザに同時期に示すべき複数の周辺領域を選択する選択手段と、
   前記複数の周辺領域それぞれを示す複数の車両周辺画像を、順次に切り替えて画面内の同一の表示領域に表示する表示手段と、
   を備え、
   前記生成手段は、複数のカメラで得られる撮影画像から、任意の視点からみた前記周辺領域を示す前記車両周辺画像を生成可能であり、
   前記表示手段は、前記車両周辺画像を切り替える際に、切り替え前の前記車両周辺画像の視点の位置から切り替え後の前記車両周辺画像の視点の位置まで前記視点の位置が移動するアニメーション表現を行い、
   前記視点の位置が移動する場合における前記視点の移動速度は、
   該視点の位置が移動の起点及び終点のいずれかに近いほど遅く、
   該視点の位置が移動の起点及び終点から離れるほど速いことを特徴とする画像表示システム。
2. 請求項１に記載の画像表示システムにおいて、
   前記表示手段は、前記複数の車両周辺画像を繰り返し表示することを特徴とする画像表示システム。
3. 請求項１または２に記載の画像表示システムにおいて、
   前記複数の車両周辺画像は、画角が同一であることを特徴とする画像表示システム。
4. 請求項１ないし３のいずれかに記載の画像表示システムにおいて、
   前記車両の周辺に存在する物体を検出した検出結果を取得する取得手段、
   をさらに備え、
   前記選択手段は、前記検出結果が示す前記物体の位置に基づいて前記複数の周辺領域を選択することを特徴とする画像表示システム。
5. 請求項４に記載の画像表示システムにおいて、
   前記検出結果は、前記車両からの前記物体の距離を含み、
   前記複数の周辺領域それぞれの前記複数の車両周辺画像の表示における優先度を、前記物体の距離に基づいて設定する設定手段と、
   を備えることを特徴とする画像表示システム。
6. 請求項５に記載の画像表示システムにおいて、
   前記設定手段は、前記周辺領域に存在する物体の距離が近いほど、該周辺領域の優先度を高くすることを特徴とする画像表示システム。
7. 請求項１ないし３のいずれかに記載の画像表示システムにおいて、
   前記車両の周辺に存在する物体の種類を判別する判別手段と、
   前記複数の周辺領域それぞれの前記複数の車両周辺画像の表示における優先度を、前記物体の種類に基づいて設定する設定手段と、
   をさらに備えることを特徴とする画像表示システム。
8. 請求項１ないし３のいずれかに記載の画像表示システムにおいて、
   前記車両の複数の走行状態それぞれに適した複数の表示モードを切り替える切替手段、
   を備え、
   前記選択手段は、現時点の前記表示モードに応じて前記複数の周辺領域を選択することを特徴とする画像表示システム。
9. 車両に搭載される表示装置に表示させる画像を生成する画像処理装置であって、
   前記車両に配置されたカメラで得られる撮影画像から、前記車両の周辺の一部の周辺領域を示す車両周辺画像を生成する生成手段と、
   前記車両のユーザに同時期に示すべき複数の周辺領域を選択する選択手段と、
   前記複数の周辺領域それぞれを示す複数の車両周辺画像を前記表示装置に出力して、順次に切り替えて前記表示装置の画面内の同一の表示領域に表示させる出力手段と、
   を備え、
   前記生成手段は、複数のカメラで得られる撮影画像から、任意の視点からみた前記周辺領域を示す前記車両周辺画像を生成可能であり、
   前記出力手段は、前記表示装置が前記車両周辺画像を切り替える際に、切り替え前の前記車両周辺画像の視点の位置から切り替え後の前記車両周辺画像の視点の位置まで前記視点の位置が移動するアニメーション表現を前記表示装置に行わせ、
   前記視点の位置が移動する場合における前記視点の移動速度は、
   該視点の位置が移動の起点及び終点のいずれかに近いほど遅く、
   該視点の位置が移動の起点及び終点から離れるほど速いことを特徴とする画像処理装置。
10. 車両において画像を表示する画像表示方法であって、
    （ａ）前記車両に配置されたカメラで得られる撮影画像から、前記車両の周辺の一部の周辺領域を示す車両周辺画像を生成する工程と、
    （ｂ）前記車両のユーザに同時期に示すべき複数の周辺領域を選択する工程と、
    （ｃ）前記複数の周辺領域それぞれを示す複数の車両周辺画像を、順次に切り替えて画面内の同一の表示領域に表示する工程と、
    を備え、
    前記工程（ａ）は、複数のカメラで得られる撮影画像から、任意の視点からみた前記周辺領域を示す前記車両周辺画像を生成可能であり、
    前記工程（ｃ）は、前記車両周辺画像を切り替える際に、切り替え前の前記車両周辺画像の視点の位置から切り替え後の前記車両周辺画像の視点の位置まで前記視点の位置が移動するアニメーション表現を行い、
    前記視点の位置が移動する場合における前記視点の移動速度は、
    該視点の位置が移動の起点及び終点のいずれかに近いほど遅く、
    該視点の位置が移動の起点及び終点から離れるほど速いことを特徴とする画像表示方法。

Images