JP6370833B2

JP6370833B2 - 画像生成装置、画像表示システム及び画像生成方法

Info

Publication number: JP6370833B2
Application number: JP2016098221A
Authority: JP
Inventors: 親一森山; 正博山田; 竜一森本; 美紀村角
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2016-05-16
Filing date: 2016-05-16
Publication date: 2018-08-08
Anticipated expiration: 2033-03-29
Also published as: JP2016213841A

Description

本発明は、車両の周辺を示す画像を生成する技術に関する。

従来より、自動車などの車両の周辺を示す画像を生成し、この画像を車両内の表示装置に表示する画像表示システムが知られている。このような画像表示システムを利用することにより、ユーザ（代表的にはドライバ）は、車両の周辺の様子をほぼリアルタイムに確認することができる。

また、近年では、複数の撮影画像を合成して仮想視点からみた車両の周辺を示す仮想視点画像を生成し、その仮想視点画像を表示する画像表示システムも知られている。このような仮想視点画像として、例えば、車両の上部の視点から見下ろすように車両の周辺を示す俯瞰画像や、車両のドライバの視点からみた車両の周辺を示すドライバ視点画像を生成することが提案されている。

また、このような仮想視点の視線方向を連続的に変更しながら仮想視点画像を連続的に生成し、車両の周囲を周回するようにして車両の周辺の様子を示す画像表示システムも提案されている（例えば、特許文献１参照。）。

特開２０１１−６６７６３号公報

上記のような画像表示システムは、一般に、車両の前方、後方、左側方及び右側方にそれぞれカメラが配置され、これらの４つのカメラで得られた４つの撮影画像を合成した合成画像を仮想視点画像として生成する。車両の周辺の領域には、４つのカメラのうちの隣接する２つのカメラで重複して撮影可能な重複領域が存在している。この重複領域に対応する仮想視点画像の重複部分の生成に関しては、２つのカメラの撮影画像を所定の割合でブレンドする手法や、２つのカメラの撮影画像を境界線で繋ぎ合わせる手法が採用される。

ところで、このような重複領域に立体物が存在する場合においては、上記のいずれの手法であっても、このような立体物の像を正しく仮想視点画像に含ませることができない。例えば、撮影画像をブレンドする手法を採用した場合は本来は一つの立体物の像が仮想視点画像に複数含まれることがある。また、撮影画像を繋ぎ合わせる手法を採用した場合は立体物の像の大部分が仮想視点画像中から消失することがある。

仮想視点の視線方向を連続的に変更しながら生成した仮想視点画像を表示する場合においては、このような仮想視点画像を確認することでユーザは車両の周辺の様子を完全に把握できると感じる傾向がある。このため、この場合において、立体物の像を正しく含まない仮想視点画像をユーザが確認すると、重複領域に存在する立体物についてユーザが誤認するおそれがある。すなわち、ユーザは、当該立体物が車両の周辺に複数存在する、あるいは、当該立体物が車両の周辺に存在しないと判断する可能性がある。

本発明は、上記課題に鑑みてなされたものであり、仮想視点の視線方向を連続的に変更する場合に、重複領域に存在する立体物についてユーザが誤認することを防止できる技術を提供することを目的とする。

上記課題を解決するため、本発明は、車両において用いられる画像生成装置であって、前記車両の異なる位置に配置された複数のカメラで得られた複数の撮像画像を取得する取得手段と、前記複数の撮像画像の少なくとも１つを用いて、車室内の仮想視点からみた前記車両の周辺を示す仮想視点画像を生成する生成手段と、前記仮想視点の視線方向を連続的に変更する変更手段と、前記仮想視点画像を表示する表示手段と、を備え、前記変更手段は、前記車室内の仮想視点の視線方向を車両周辺を周回するように連続的に変更する周回モードにおいて、前記仮想視点画像に対するタッチ操作によって視線方向の変更を中断可能とし、視線方向の変更を中断した場合に、仮想視点の視線方向を維持したまま、当該タッチ操作に続くフリック操作によって視線方向を変更可能な手動モードへ切り替える

また、本発明は、画像生成装置において、前記変更手段は、ユーザ操作に応じて視線方向の変更を中断する。

また、本発明は、画像生成装置において、前記変更手段は、視線方向の変更を中断している場合に、ユーザ操作に応じて視線方向の変更を再開する。

また、本発明は、画像生成装置において、前記生成手段は、前記複数の撮影画像の少なくとも１つのデータを仮想の立体的な投影面に投影し、該投影面上の前記データを用いて前記仮想視点画像を生成する。

また、本発明は、画像生成装置において、前記仮想視点の視点位置は、前記車両の車室内に設定される。

また、本発明は、画像生成装置において、前記仮想視点の視点位置は、前記車両の外部に設定される。

また、本発明は、画像生成装置において、前記変更手段は、前記車両の周囲を周回するように前記仮想視点の視線方向を連続的に変更する。

また、本発明は、画像生成装置において、前記変更手段は、ユーザの操作に応じて前記仮想視点の視線方向を連続的に変更する。

また、本発明は、車両に用いられる画像表示システムであって、画像生成装置と、前記画像生成装置で生成された仮想視点画像を表示する表示装置とを備える。

また、本発明は、車両において用いられる画像生成方法において、（ａ）前記車両の異なる位置に配置された複数のカメラで得られた複数の撮像画像を取得する取得工程と、（ｂ）前記複数の撮像画像の少なくとも１つを用いて、車室内の仮想視点からみた前記車両の周辺を示す仮想視点画像を生成する生成工程と、（ｃ）前記仮想視点の視線方向を連続的に変更する変更工程と、（ｄ）前記仮想視点画像を表示する表示工程と、を備え、前記工程（ｃ）が、前記車室内の仮想視点の視線方向を車両周辺を周回するように連続的に変更する周回モードにおいて、前記仮想視点画像に対するタッチ操作によって視線方向の変更を中断可能とし、視線方向の変更を中断した場合に、仮想視点の視線方向を維持したまま、当該タッチ操作に続くフリック操作によって視線方向を変更可能な手動モードへ切り替えることを特徴とする画像生成方法。

本発明によれば、仮想視点を連続的に変更している場合に、ユーザ操作に応じて視線方向の変更を中断する。このため、例えばユーザの意図するタイミングで視線方向の変更を中断することができ、ユーザの利便性を向上させることが可能となる。

図１は、画像表示システムの構成を示す図である。図２は、４つのカメラがそれぞれ撮影する方向を示す図である。図３は、複数のクリアランスソナーが配置される位置を示す図である。図４は、仮想視点画像を生成する手法を説明する図である。図５は、投影面の部分と４つ撮影画像との対応関係を示す図である。図６は、画像表示システムの動作モードの遷移を示す図である。図７は、俯瞰画像を含む表示画像の一例を示す図である。図８は、ドライバ視点画像を含む表示画像の一例を示す図である。図９は、重複領域に立体物が存在している状況を示す図である。図１０は、フロントカメラの撮影画像のみを投影面に投影した様子を示す図である。図１１は、左サイドカメラの撮影画像のみを投影面に投影した様子を示す図である。図１２は、ブレンド手法を採用した場合の立体物の像を示す図である。図１３は、境界接合手法を採用した場合の立体物の像を示す図である。図１４は、境界接合手法を採用した場合のドライバ視点画像を示す図である。図１５は、フロントカメラの撮影画像のみを用いたドライバ視点画像を示す図である。図１６は、左サイドカメラの撮影画像のみを用いたドライバ視点画像を示す図である。図１７は、第１の実施の形態の周回モードにおける仮想視点の視線方向の遷移を示す図である。図１８は、第１の実施の形態の周回モードにおける仮想視点の視線方向の遷移を示す図である。図１９は、第１の実施の形態の周回モードにおける仮想視点の視線方向の遷移を示す図である。図２０は、第１の実施の形態の周回モードにおける仮想視点の視線方向の遷移を示す図である。図２１は、周回モードで生成された仮想視点画像の例を示す図である。図２２は、周回モードで生成された仮想視点画像の例を示す図である。図２３は、周回モードで生成された仮想視点画像の例を示す図である。図２４は、周回モードで生成された仮想視点画像の例を示す図である。図２５は、周回モードにおける画像表示システムの動作の流れを示す図である。図２６は、手動モードにおけるユーザの操作を説明するための図である。図２７は、手動モードにおける画像表示システムの動作の流れを示す図である。図２８は、第２の実施の形態の周回モードにおける仮想視点の視線方向の遷移を示す図である。図２９は、第２の実施の形態の周回モードにおける仮想視点の視線方向の遷移を示す図である。図３０は、第２の実施の形態の周回モードにおける仮想視点の視線方向の遷移を示す図である。図３１は、第２の実施の形態の周回モードにおける仮想視点の視線方向の遷移を示す図である。図３２は、仮想視点の視線方向の遷移の他の例を示す図である。図３３は、周回モードで生成された仮想視点画像の他の例を示す図である。図３４は、周回モードで生成された仮想視点画像の他の例を示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．第１の実施の形態＞
＜１−１．構成＞
図１は、第１の実施の形態の画像表示システム１０の構成を示す図である。この画像表示システム１０は、車両（本実施の形態では、自動車）において用いられるものであり、車両の周辺の領域を示す画像を生成して車室内に表示する機能を有している。画像表示システム１０のユーザ（代表的にはドライバ）は、この画像表示システム１０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できる。

図に示すように、画像表示システム１０は、複数のカメラ５、画像生成装置２、表示装置３、操作ボタン４及び物体検出装置７を備えている。複数のカメラ５はそれぞれ、車両の周辺を撮影して撮影画像を取得し、取得した撮影画像を画像生成装置２に入力する。画像生成装置２は、車両の周辺を示す撮影画像を用いて、表示装置３に表示するための表示画像を生成する。表示装置３は、画像生成装置２で生成された表示画像を表示する。操作ボタン４は、ユーザの操作を受け付ける。また、物体検出装置７は、車両の周辺の物体を検出する。

複数のカメラ５はそれぞれ、レンズと撮像素子とを備えており、車両の周辺を示す撮影画像を電子的に取得する。複数のカメラ５は、フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含んでいる。これら４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、車両９において互いに異なる位置に配置され、車両９の周辺の異なる方向を撮影する。

図２は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒがそれぞれ撮影する方向を示す図である。フロントカメラ５Ｆは、車両９の前端に設けられ、その光軸５Ｆａは車両９の前後方向に沿って前方に向けられる。リアカメラ５Ｂは、車両９の後端に設けられ、その光軸５Ｂａは車両９の前後方向に沿って後方に向けられる。左サイドカメラ５Ｌは、左側の左サイドミラー９３Ｌに設けられ、その光軸５Ｌａは車両９の左右方向に沿って左側方に向けられる。また、右サイドカメラ５Ｒは、右側の右サイドミラー９３Ｒに設けられ、その光軸５Ｒａは車両９の左右方向に沿って右側方に向けられる。

これらのカメラ５のレンズには魚眼レンズなどの広角レンズが採用され、各カメラ５は１８０度以上の画角θを有している。このため、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒを利用することで、車両９の全周囲を撮影することが可能である。

また、撮影対象となる車両９の周辺の領域のうち、図中においてハッチングで示す車両９の右前方、左前方、左後方、及び、右後方の領域ＯＡ１〜ＯＡ４は、隣接する２つのカメラ５で重複して撮影可能な「重複領域」となっている。具体的には、車両９の右前方の重複領域ＯＡ１は、右サイドカメラ５Ｒ及びフロントカメラ５Ｆで重複して撮影可能である。車両９の左前方の重複領域ＯＡ２は、フロントカメラ５Ｆ及び左サイドカメラ５Ｌで重複して撮影可能である。車両９の左後方の重複領域ＯＡ３は、左サイドカメラ５Ｌ及びリアカメラ５Ｂで重複して撮影可能である。また、車両９の右後方の重複領域ＯＡ４は、リアカメラ５Ｂ及び右サイドカメラ５Ｒで重複して撮影可能である。

図１に戻り、表示装置３は、例えば、液晶などの薄型の表示パネルを備えており、各種の情報や画像を表示する。表示装置３は、ユーザが表示パネルの画面を視認できるように、車両９のインストルメントパネルなどに配置される。表示装置３は、画像生成装置２と同一のハウジング内に配置されて画像生成装置２と一体化されていてもよく、画像生成装置２とは別体の装置であってもよい。また、表示装置３は、表示パネルに重ねてタッチパネル３１を備えており、ユーザの操作を受け付けることが可能である。表示装置３は、表示する機能以外に、目的地までのルート案内を行うナビゲーション機能などの他の機能を有していてもよい。

操作ボタン４は、ユーザの操作を受け付ける操作部材である。操作ボタン４は、例えば、車両９のステアリングホイールに設けられており、主にドライバからの操作を受け付ける。ユーザは、この操作ボタン４、及び、表示装置３のタッチパネル３１を介して画像表示システム１０に対する各種の操作を行うことができる。操作ボタン４及びタッチパネル３１のいずれかにユーザの操作がなされた場合は、その操作の内容を示す操作信号が画像生成装置２に入力される。

物体検出装置７は、車両９の周辺に存在する物体を検出する電子装置である。物体検出装置７は、ソナー制御部７１と複数のクリアランスソナー７２とを備えている。クリアランスソナー７２は、超音波を発信し、その超音波が物体で反射した反射波を受信することで、車両９の周辺に存在する物体を検出する。また、クリアランスソナー７２は、超音波を発信してから戻ってくるまでの時間に基づいて物体の距離を検出可能である。各クリアランスソナー７２が検出した物体の距離は信号としてソナー制御部７１に入力される。

図３は、複数のクリアランスソナー７２が車両９に配置される位置を示す図である。車両９の前方には、４つのクリアランスソナー７２が互いに異なる方向へ向けて配置されている。また、車両９の後方にも、４つのクリアランスソナー７２が互いに異なる方向へ向けて配置されている。このようなクリアランスソナー７２の配置により、物体検出装置７は、車両９の前方または後方に存在する物体を検出できる。

また、物体検出装置７のソナー制御部７１は、各クリアランスソナー７２からの信号に基づいて車両９に対する物体の方向を導出できる。ソナー制御部７１は、２以上のクリアランスソナー７２のそれぞれで検出された同一の物体までの距離に基づいて、当該物体の車両９に対する相対的な方向を導出する。ソナー制御部７１は、クリアランスソナー７２が物体を検出した場合は、検出結果として当該物体の方向を画像生成装置２に入力する。

図１に戻り、画像生成装置２は、各種の画像処理が可能な電子装置である。画像生成装置２は、画像取得部２１と、画像生成部２２と、画像調整部２３と、画像出力部２４とを備えている。

画像取得部２１は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒでそれぞれ得られた撮影画像を取得する。画像取得部２１は、アナログの撮影画像をデジタルの撮影画像に変換する機能などの画像処理機能を有している。画像取得部２１は、取得した撮影画像に所定の画像処理を行い、処理後の撮影画像を画像生成部２２に入力する。

画像生成部２２は、仮想視点画像を生成するための画像処理を行うハードウェア回路である。画像生成部２２は、４つのカメラ５で取得された４つの撮影画像の少なくとも１つを用いて、仮想視点からみた車両９の周辺を示す仮想視点画像を生成する。この仮想視点画像を生成する手法の詳細については後述する。

画像調整部２３は、表示装置３で表示するための表示画像を生成する。画像調整部２３は、画像生成部２２で生成された仮想視点画像などを含む表示画像を生成する。

画像出力部２４は、画像調整部２３で生成された表示画像を表示装置３に出力して、表示画像を表示装置３に表示させる。これにより、仮想視点からみた車両９の周辺を示す仮想視点画像が表示装置３に表示される。

また、画像生成装置２は、制御部２０と、操作受付部２５と、信号受信部２６と、記憶部２７とをさらに備えている。制御部２０は、例えば、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたマイクロコンピュータであり、画像生成装置２の全体を統括的に制御する。

操作受付部２５は、ユーザが操作を行った場合に操作ボタン４及びタッチパネル３１から送出される操作信号を受信する。これにより、操作受付部２５はユーザの操作を受け付ける。操作受付部２５は、受信した操作信号を制御部２０に入力する。

信号受信部２６は、画像生成装置２とは別に車両９に設けられる他の装置から送出される信号を受信して、制御部２０に入力する。信号受信部２６は、物体検出装置７から送出される検出結果を示す信号の他、シフトセンサ９１から送出される信号を受信することが可能となっている。

シフトセンサ９１は、車両９の変速装置のシフトレバーの位置であるシフトポジションを検出し、そのシフトポジションを示す信号を画像生成装置２に送出する。この信号に基づいて、制御部２０は、車両９の進行方向が前方あるいは後方のいずれであるかを判定できる。

記憶部２７は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２７は、ファームウェアとしてのプログラム２７ａや、画像生成部２２が仮想視点画像を生成するために用いる各種のデータを記憶する。

制御部２０の各種の機能は、記憶部２７に記憶されたプログラム２７ａの実行（プログラム２７ａに従ったＣＰＵの演算処理）によって実現される。図中に示す画像制御部２０ａは、プログラム２７ａの実行により実現される機能部の一部である。

画像制御部２０ａは、仮想視点画像を生成する画像生成部２２、及び、表示画像を生成する画像調整部２３を制御する。例えば、画像制御部２０ａは、画像生成部２２を制御して、車両９の状態やユーザの操作に応じた仮想視点画像を画像生成部２２に生成させる。

＜１−２．仮想視点画像の生成＞
次に、画像生成部２２が、仮想視点からみた車両９の周辺の様子を示す仮想視点画像を生成する手法について説明する。図４は、画像生成部２２が仮想視点画像を生成する手法を説明する図である。画像生成部２２は、仮想視点画像の生成に仮想の立体的な投影面ＴＳを用いることで、現実に近い臨場感のある仮想視点画像を生成する。

フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒは、車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲを取得する。これら４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲには、車両９の全周囲のデータが含まれている。

画像生成部２２は、これら４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲに含まれるデータ（画素の値）を、仮想的な三次元空間における立体的な曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば、略半球状（お椀形状）をしており、その中心領域（お椀の底部分）は車両９の位置となる車両領域Ｒ０として定められている。

また、投影面ＴＳにおける車両領域Ｒ０の外側の領域である投影領域Ｒ１は、車両９の周辺の領域に相当する。画像生成部２２は、撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲに含まれるデータをこの投影面ＴＳの投影領域Ｒ１に投影する。撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲに含まれるデータの位置と、この投影面ＴＳの位置とは予め対応関係が定められている。この対応関係を示すテーブルデータは記憶部２７に記憶されている。

このように投影面ＴＳの投影領域Ｒ１に撮影画像のデータを投影すると、次に、画像生成部２２は、車両９の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両９のモデルは、投影面ＴＳが設定される三次元空間における車両９の位置である車両領域Ｒ０に配置される。

次に、画像生成部２２は、画像制御部２０ａの制御により、三次元空間に対して仮想視点ＶＰを設定する。この仮想視点ＶＰは、視点位置と視線方向とで規定される。画像生成部２２は、任意の視点位置、かつ、任意の視線方向の仮想視点ＶＰを３次元空間に設定できる。

次に、画像生成部２２は、投影面ＴＳのうち、設定した仮想視点ＶＰからみて所定の視野角に含まれる領域に投影されたデータを画像として切り出す。また、画像生成部２２は、設定した仮想視点ＶＰに応じて車両９のモデルに関してレンダリングを行い、その結果となる二次元の車両像９０を、切り出した画像に対して重畳する。これにより、画像生成部２２は、仮想視点ＶＰからみた車両９及び車両９の周辺の領域を示す仮想視点画像ＣＰを生成する。

例えば図４に示すように、視点位置を車両９の直上、視線方向を直下とした仮想視点ＶＰａを設定した場合には、車両９及び車両９の周辺を俯瞰する仮想視点画像（俯瞰画像）ＣＰａを生成できる。また、視点位置を車両９の左後方、視線方向を車両９の前方とした仮想視点ＶＰｂを設定した場合には、車両９の左後方からみた車両９及び車両９の周辺を示す仮想視点画像ＣＰｂを生成できる。

本実施の形態の画像生成部２２は、このような仮想視点ＶＰの視点位置を、車両９の外部のみならず、車両９の車室内に設定することも可能である。したがって、車両９の車室内におけるドライバの位置を視点位置とする仮想視点ＶＰを設定した場合は、車両９のドライバの視点からみた車両９の周辺を示す臨場感のある仮想視点画像（ドライバ視点画像）を生成できる。

ところで、図４の説明では、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲの全てを用いて仮想視点画像を生成しているが、少なくとも１つの撮影画像を用いれば仮想視点画像を生成できる。画像生成部２２は、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲから選択される１以上３以下の撮影画像（少なくとも１つの撮影画像）を用いて仮想視点画像を生成することが可能である。この場合、画像生成部２２は、選択された撮影画像のみを投影面ＴＳに投影する。

また、前述のように、車両９の周辺の領域には、隣接する２つのカメラ５で重複して撮影可能な重複領域ＯＡ１〜ＯＡ４が存在する（図２参照。）。したがって、車両９の位置及び車両９の周辺の領域に相当する投影面ＴＳには、この重複領域ＯＡ１〜ＯＡ４に対応する「重複部分」が存在する。このような投影面ＴＳの重複部分は、２つの撮影画像と対応することになる。

図５は、投影面ＴＳの部分と４つ撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲとの対応関係を示す図である。なお、図５では、説明のため、仮想の投影面ＴＳにおける車両９の位置（車両領域Ｒ０）に、実際の車両９の形状を示している（以降の投影面ＴＳを示す図においても同様。）。

フロントカメラ５Ｆの撮影画像ＳＦは、投影面ＴＳにおける車両９の前方に相当する部分ＡＦに対応している。リアカメラ５Ｂの撮影画像ＳＢは、投影面ＴＳにおける車両９の後方に相当する部分ＡＢに対応している。左サイドカメラ５Ｌの撮影画像ＳＬは、投影面ＴＳにおける車両９の左側方に相当する部分ＡＬに対応している。さらに、右サイドカメラ５Ｒの撮影画像ＳＲは、投影面ＴＳにおける車両９の右側方に相当する部分ＡＲに対応している。なお、図中では、投影面ＴＳにおける部分ＡＦ，ＡＢ，ＡＬ，ＡＲの範囲を矢印で示している。

したがって、投影面ＴＳには、２つの撮影画像に対応する４つの重複部分Ｌ１〜Ｌ４が存在している。車両９の右前方の重複部分Ｌ１は、右サイドカメラ５Ｒの撮影画像ＳＲ及びフロントカメラ５Ｆの撮影画像ＳＦに対応する。車両９の左前方の重複部分Ｌ２は、フロントカメラ５Ｆの撮影画像ＳＦ及び左サイドカメラ５Ｌの撮影画像ＳＬに対応する。車両９の左後方の重複部分Ｌ３は、左サイドカメラ５Ｌの撮影画像ＳＬ及びリアカメラ５Ｂの撮影画像ＳＢに対応する。さらに、車両９の右後方の重複部分Ｌ４は、リアカメラ５Ｂの撮影画像ＳＢ及び右サイドカメラ５Ｒの撮影画像ＳＲに対応する。投影面ＴＳのこれらの重複部分Ｌ１〜Ｌ４は、車両９の周辺の重複領域ＯＡ１〜ＯＡ４（図２参照。）にそれぞれ対応することになる。

仮想視点画像は、このような投影面ＴＳに投影されたデータを切り出して生成されることから、仮想視点画像においても重複領域ＯＡ１〜ＯＡ４に対応する「重複部分」が含まれることになる。なお以下では、仮想視点画像の重複部分に関して、対応する投影面ＴＳの重複部分Ｌ１〜Ｌ４と同一の符号を用いる。画像生成部２２は、投影面ＴＳの重複部分Ｌ１〜Ｌ４のデータについては、対応する２つの撮影画像のデータを任意に用いることができる。すなわち、仮想視点画像の重複部分Ｌ１〜Ｌ４は、２つの撮影画像のデータを任意に用いて生成される。

＜１−３．動作モード＞
次に、画像表示システム１０の動作モードについて説明する。図６は、画像表示システム１０の動作モードの遷移を示す図である。画像表示システム１０は、通常モードＭ０、俯瞰モードＭ１、周回モードＭ２、及び、手動モードＭ３の４つの動作モードを有している。これらの動作モードは、車両９の状態やユーザの操作に応じて制御部２０の制御により切り替えられる。

通常モードＭ０は、画像生成装置２の機能が利用されない動作モードである。表示装置３がナビゲーション機能を有している場合は、通常モードＭ０においては、表示装置３はナビゲーション機能に基づく地図画像などを表示する。

一方、俯瞰モードＭ１、周回モードＭ２、及び、手動モードＭ３は、画像生成装置２の機能を利用し、画像生成装置２で生成された仮想視点画像を含む表示画像を表示装置３で表示する動作モードである。したがって、これらの動作モードでは、ユーザは、表示装置３に表示された表示画像を確認することで、車両９の周辺の様子をほぼリアルタイムに把握できる。

俯瞰モードＭ１は、車両９の直上の視点から車両９の周辺を俯瞰する仮想視点画像である俯瞰画像を表示する動作モードである。図７は、俯瞰モードＭ１で表示される、俯瞰画像ＣＰ１を含む表示画像ＤＰの一例を示す図である。図に示すように、この表示画像ＤＰは、俯瞰画像ＣＰ１とともに、カメラ５の位置からみた車両９の周辺を示す仮想視点画像であるカメラ視点画像ＣＰ２を含んでいる。このカメラ視点画像ＣＰ２の仮想視点ＶＰは、車両９の進行方向に基いて選択される。車両９の進行方向が前方の場合はフロントカメラ５Ｆの光軸５Ｆａと同様の仮想視点ＶＰが設定され、車両９の進行方向が後方の場合はリアカメラ５Ｂの光軸５Ｂａと同様の仮想視点ＶＰが設定される。車両９の進行方向は、シフトセンサ９１から送出される信号に基いて画像制御部２０ａが判定する。ユーザは、このような俯瞰画像ＣＰ１とカメラ視点画像ＣＰ２とを確認することで、車両９の周囲全体の様子と車両９の進行方向の様子とを把握できることになる。

これに対して、周回モードＭ２、及び、手動モードＭ３は、ドライバの視点からみた車両９の周辺を示す仮想視点画像であるドライバ視点画像を表示する動作モードである。図８は、このようなドライバ視点画像ＣＰ３を含む表示画像ＤＰの一例を示す図である。図に示すように、このドライバ視点画像ＣＰ３は、ドライバの視点からみた車両９の周辺の被写体の像に、ドライバの視点からみた車両９の内装を示す車両像９０が重畳された臨場感のある画像となる。ユーザは、このようなドライバ視点画像ＣＰ３を確認することで、車両９の周囲の様子を自分と同様の視点から確認でき、車両９の周辺の様子を直感的に把握できることになる。

周回モードＭ２は、車両９の周囲を周回するように車両９の周辺の様子を示すアニメーションを行う動作モードである。画像制御部２０ａの制御により、周回モードＭ２では、ドライバ視点画像ＣＰ３の仮想視点の視線方向が車両９の周囲を周回するように自動的、かつ、連続的に変更される。この周回モードＭ２を利用することで、ユーザは車両９の周囲全体を確認することができる。

一方、手動モードＭ３は、ユーザが、ドライバの視点からみた任意の方向の車両９の周辺の様子を確認するための動作モードである。手動モードＭ３では、ユーザの操作に応じて、ドライバ視点画像ＣＰ３の仮想視点の視線方向が連続的に変更される。この手動モードＭ３を利用することで、ユーザは車両９の周辺の任意の領域を確認することができる。

図６に示すように、画像表示システム１０が起動すると、まず、その動作モードが周回モードＭ２となる。この周回モードＭ２の場合は、仮想視点の視線方向が車両９の周囲を略一周する。このような仮想視点の視線方向の周回が完了すると、動作モードは通常モードＭ０に切り替えられる。また、通常モードＭ０において、ユーザが操作ボタン４を長押した場合（一定時間以上継続して押圧した場合）は、動作モードは周回モードＭ２に切り替えられる。

また、通常モードＭ０において、ユーザが操作ボタン４を１回のみ押した場合、あるいは、車両９のシフトポジションがリバースとなった場合は、動作モードは俯瞰モードＭ１に切り替えられる。また、俯瞰モードＭ１において、ユーザが操作ボタン４を押した場合は、動作モードは通常モードＭ０に切り替えられる。

また、通常モードＭ０において、ユーザが操作ボタン４を２回連続して押した場合、あるいは、物体検出装置７が車両９の周辺の物体を検出した場合は、動作モードは手動モードＭ３に切り替えられる。また、手動モードＭ３において、ユーザが操作ボタン４を押した場合は、動作モードは通常モードＭ０に切り替えられる。

＜１−４．立体物への対応＞
ところで、車両９の周辺の重複領域ＯＡ１〜ＯＡ４のいずれかに立体物（鉛直方向に所定以上の長さのある物体）が存在する場合において、仮想視点画像の重複部分を一般的な手法によって生成したときには、立体物の像（以下、「立体物像」という。）を仮想視点画像に正しく含ませることができないことがある。以下、この原理について説明する。

図９は、車両９の左前方の重複領域ＯＡ２に立体物８が存在している状況を示している。この立体物８は、フロントカメラ５Ｆ及び左サイドカメラ５Ｌの双方において撮影することが可能である。

図１０は、図９に示す状況下においてフロントカメラ５Ｆで得られた撮影画像ＳＦのみを、投影面ＴＳに投影した様子を示している。また、図１１は、図９に示す状況下において左サイドカメラ５Ｌで得られた撮影画像ＳＬのみを、投影面ＴＳに投影した様子を示している。

図１０に示すように、フロントカメラ５Ｆの撮影画像ＳＦに含まれる立体物８に係る立体物像ＯＰ１は、車両９の位置から左方向に延びるように、投影面ＴＳの重複部分Ｌ２に投影される。一方、図１１に示すように、左サイドカメラ５Ｌの撮影画像ＳＬに含まれる立体物８に係る立体物像ＯＰ２は、車両９の位置から前方に延びるように、投影面ＴＳの重複部分Ｌ２に投影される。このように同一の立体物８に係る２つの立体物像ＯＰ１，ＯＰ２は、投影面ＴＳにおいて互いに異なる方向に延びることになる。

一般に、仮想視点画像の重複部分の生成に関しては、対応する２つの撮影画像を所定の割合でブレンドする手法（以下、「ブレンド手法」という。）、及び、対応する２つの撮影画像を境界線で繋ぎ合わせる手法（以下、「境界接合手法」という。）のいずれかが採用される。

図９に示す状況下において得られた２つの撮影画像ＳＦ，ＳＬを用いて、仮にブレンド手法を採用する場合を想定する。この場合には、図１２に示すように、投影面ＴＳの重複部分Ｌ２においては、２つの撮影画像ＳＦ，ＳＬが所定の割合でブレンドされる。このため、撮影画像ＳＦの立体物像ＯＰ１、及び、撮影画像ＳＬの立体物像ＯＰ２の双方が薄くぼやけてしまう。また、立体物像ＯＰ１と立体物像ＯＰ２とでは延びる方向が異なるため、これらは重なり合わない。したがって、この投影面ＴＳのデータを切り出して生成される仮想視点画像においては、ぼやけた状態の２つの立体物像ＯＰ１，ＯＰ２が含まれることになる。ユーザが、このような仮想視点画像を視認した場合には、車両９の左前方に半透明の２つの物体が存在すると誤解する可能性がある。

また、図９に示す状況下において得られた２つの撮影画像ＳＦ，ＳＬを用いて、仮に境界接合手法を採用する場合を想定する。この場合には、図１３に示すように、投影面ＴＳの重複部分Ｌ２においては、境界線ＢＬより右側の部分にフロントカメラ５Ｆの撮影画像ＳＦが用いられ、境界線ＢＬより左側の部分に左サイドカメラ５Ｌの撮影画像ＳＬが用いられる。これにより、投影面ＴＳには、撮影画像ＳＦの立体物像ＯＰ１及び撮影画像ＳＬの立体物像ＯＰ２の大部分が含まれなくなる。したがって、この投影面ＴＳのデータを切り出して生成される仮想視点画像においては、立体物像の大部分が消失することになる。

図１４は、図１３に示す投影面ＴＳのデータを切り出して生成された重複部分Ｌ２を含むドライバ視点画像ＣＰ３１を示す図である。図に示すように、ドライバ視点画像ＣＰ３１の重複部分Ｌ２においては、立体物像ＯＰ２の下部のわずかな一部分のみが含まれており、立体物８に係る立体物像の大部分が消失している。したがって、ユーザが、このようなドライバ視点画像ＣＰ３１を視認した場合には、車両９の周辺に物体が存在しないと誤解する可能性がある。特にドライバ視点画像ＣＰ３１は、車両９のドライバの視点からみた臨場感のある画像であるため、このようにユーザが誤解する可能性が高い。

前述のように、周回モードＭ２及び手動モードＭ３においては、仮想視点の視線方向を連続的に変更しながらドライバ視点画像を表示する。したがって、周回モードＭ２及び手動モードＭ３においては、静止したドライバ視点画像を単純に表示する場合よりも、臨場感がさらに高くなる。このため、周回モードＭ２及び手動モードＭ３において表示されるドライバ視点画像を確認することで、ユーザは車両９の周辺の様子を完全に把握できると感じる傾向がある。このため、周回モードＭ２及び手動モードＭ３において、図１４に示すようなドライバ視点画像ＣＰ３１が表示されると、車両９の周辺に物体が存在しないとユーザが誤解する可能性がさらに高くなる。

このような問題に対応するため、本実施の形態の画像表示システム１０は、周回モードＭ２及び手動モードＭ３においては、仮想視点画像を生成する際に一つのカメラ５の撮影画像のみを用いるようにしている。

図１５は、フロントカメラ５Ｆの撮影画像ＳＦのみを用いて生成したドライバ視点画像ＣＰ３２を示す図である。図１５に示すドライバ視点画像ＣＰ３２の仮想視点の視線方向は、図１４に示すドライバ視点画像ＣＰ３１と同一となっており、重複部分Ｌ２を含んでいる。このドライバ視点画像ＣＰ３２は、図１０に示す投影面ＴＳのデータを切り出して生成される。図１５に示すように、このドライバ視点画像ＣＰ３２の重複部分Ｌ２には、立体物８に係る立体物像ＯＰ１の全体が正しく含まれている。

また、図１６は、左サイドカメラ５Ｌの撮影画像ＳＬのみを用いて生成したドライバ視点画像ＣＰ３３を示す図である。図１６に示すドライバ視点画像ＣＰ３３の仮想視点の視線方向も、図１４に示すドライバ視点画像ＣＰ３１と同一となっており、重複部分Ｌ２を含んでいる。このドライバ視点画像ＣＰ３３は、図１１に示す投影面ＴＳのデータを切り出して生成される。図１６に示すように、このドライバ視点画像ＣＰ３３の重複部分Ｌ２にも、立体物８に係る立体物像ＯＰ２の全体が正しく含まれている。

このように一つのカメラ５の撮影画像のみを用いてドライバ視点画像を生成することで、ドライバ視点画像の重複部分には一つのカメラ５の撮影画像のみが用いられる。これにより、上述したブレンド手法や境界接合手法を採用した場合の問題が解消され、車両９の周辺の重複領域に存在する立体物に係る立体物像をドライバ視点画像に正しく含ませることができる。その結果、周回モードＭ２及び手動モードＭ３において、重複領域に存在する立体物についてユーザが誤認することを防止できる。

なお、立体物像をドライバ視点画像の重複部分に正しく含ませるためには、仮想視点画像の全体ではなく、仮想視点画像の少なくとも重複部分に一つのカメラ５の撮影画像のみを用いるようにすればよい。ただし、本実施の形態の画像表示システム１０では、重複部分を含む仮想視点画像の全体に一つのカメラ５の撮影画像のみを用いることで、仮想視点画像における撮影画像同士の境界という概念自体を無くすようにしている。仮想視点画像における撮影画像同士の境界では立体物の像が消失あるいは分断されることが多いことから、この境界に対応する位置に存在する立体物についてユーザが誤認する可能性がある。このため、画像表示システム１０では、このように仮想視点画像中における撮影画像同士の境界自体を無くすことで、境界に対応する位置に存在する立体物についてユーザが誤認することを確実に防止することができる。

＜１−５．周回モード＞
次に、周回モードＭ２について詳細に説明する。前述のように、周回モードＭ２は、車両９の周囲を周回するように車両９の周辺の様子を示すアニメーションを行う動作モードである。周回モードＭ２では、画像制御部２０ａが、ドライバ視点画像の仮想視点の視線方向を車両９の周囲を周回するように連続的に変更する。

図１７から図２０は、周回モードＭ２における仮想視点ＶＰの視線方向の遷移を示す図である。これらの図に示すように、画像制御部２０ａは、仮想視点ＶＰの視点位置を車両９のドライバの位置に固定する。その一方で、画像制御部２０ａは、仮想視点ＶＰの視線方向を、初期方向となる方向Ｄ１１から最終方向となる方向Ｄ２２まで左向きに連続的に変更する。これにより、仮想視点の視線方向が車両９の周囲を左回りで略一周することになる。

なお、周回モードＭ２において、ユーザが表示装置３のタッチパネル３１に触れた場合は、仮想視点ＶＰの視線方向の変更が中断される。そして、ユーザがタッチパネル３１に再び触れた場合には、仮想視点ＶＰの視線方向の変更が再開されるようになっている。

周回モードＭ２では、このように画像制御部２０ａが仮想視点の視線方向を連続的に変更しながら、画像生成部２２がドライバ視点画像を連続的に生成する。図２１から図２４は、周回モードＭ２において画像生成部２２が生成するドライバ視点画像の例を示す図である。ドライバ視点画像Ｃ１１〜Ｃ２２は、仮想視点ＶＰの視線方向が方向Ｄ１１〜方向Ｄ２２の場合に生成されたものにそれぞれ相当する。

図１７に示すように、画像制御部２０ａは、まず、仮想視点ＶＰの視線方向を、重複部分Ｌ１にある変更線ＴＬ１近傍の方向Ｄ１１（初期方向）に設定する。そして以降、画像制御部２０ａは、仮想視点ＶＰの視線方向を左向きに連続的に変更する。

これにより、仮想視点ＶＰの視線方向は、方向Ｄ１１から方向Ｄ１２を経由して、重複部分Ｌ２にある変更線ＴＬ２近傍の方向Ｄ１３に移動する。このように仮想視点ＶＰの視線方向が変更線ＴＬ１から変更線ＴＬ２までの間を移動する期間は、画像生成部２２は、フロントカメラ５Ｆの撮影画像ＳＦのみを用いてドライバ視点画像を生成する。

図２１に示すように、仮想視点ＶＰの視線方向が方向Ｄ１１〜方向Ｄ１３の場合に生成されるドライバ視点画像Ｃ１１〜Ｃ１３においては、フロントカメラ５Ｆの撮影画像ＳＦのみが用いられている。したがって、ドライバ視点画像Ｃ１１に含まれる重複部分Ｌ１や、ドライバ視点画像Ｃ１２に含まれる重複部分Ｌ２にも一つの撮影画像ＳＦのみが用いられる。これにより、重複領域ＯＡ１，ＯＡ２に存在する立体物についてユーザが誤認する
ことを防止できる。

続いて、図１８に示すように、仮想視点ＶＰの視線方向は、変更線ＴＬ２を超えて方向Ｄ１４に移動する。画像生成部２２は、このように仮想視点ＶＰの視線方向が変更線ＴＬ２を超えた時点で、ドライバ視点画像に用いる撮影画像を、フロントカメラ５Ｆの撮影画像ＳＦから左サイドカメラ５Ｌの撮影画像ＳＬに切り替える。

仮想視点ＶＰの視線方向は、その後、方向Ｄ１４から方向Ｄ１５を経由して、重複部分Ｌ３にある変更線ＴＬ３近傍の方向Ｄ１６に移動する。このように仮想視点ＶＰの視線方向が変更線ＴＬ２から変更線ＴＬ３までの間を移動する期間は、画像生成部２２は、左サイドカメラ５Ｌの撮影画像ＳＬのみを用いてドライバ視点画像を生成する。

図２２に示すように、仮想視点ＶＰの視線方向が方向Ｄ１４〜方向Ｄ１６の場合に生成されるドライバ視点画像Ｃ１４〜Ｃ１６においては、左サイドカメラ５Ｌの撮影画像ＳＬのみが用いられている。したがって、ドライバ視点画像Ｃ１４に含まれる重複部分Ｌ２や、ドライバ視点画像Ｃ１６に含まれる重複部分Ｌ３にも一つの撮影画像ＳＬのみが用いられる。これにより、重複領域ＯＡ２，ＯＡ３に存在する立体物についてユーザが誤認することを防止できる。

続いて、図１９に示すように、仮想視点ＶＰの視線方向は、変更線ＴＬ３を超えて方向Ｄ１７に移動する。画像生成部２２は、このように仮想視点ＶＰの視線方向が変更線ＴＬ３を超えた時点で、ドライバ視点画像に用いる撮影画像を、左サイドカメラ５Ｌの撮影画像ＳＬからリアカメラ５Ｂの撮影画像ＳＢに切り替える。

仮想視点ＶＰの視線方向は、その後、方向Ｄ１７から方向Ｄ１８を経由して、重複部分Ｌ４にある変更線ＴＬ４近傍の方向Ｄ１９に移動する。このように仮想視点ＶＰの視線方向が変更線ＴＬ３から変更線ＴＬ４までの間を移動する期間は、画像生成部２２は、リアカメラ５Ｂの撮影画像ＳＢのみを用いてドライバ視点画像を生成する。

図２３に示すように、仮想視点ＶＰの視線方向が方向Ｄ１７〜方向Ｄ１９の場合に生成されるドライバ視点画像Ｃ１７〜Ｃ１９においては、リアカメラ５Ｂの撮影画像ＳＢのみが用いられている。したがって、ドライバ視点画像Ｃ１７に含まれる重複部分Ｌ３や、ドライバ視点画像Ｃ１９に含まれる重複部分Ｌ４にも一つの撮影画像ＳＢのみが用いられる。これにより、重複領域ＯＡ３，ＯＡ４に存在する立体物についてユーザが誤認することを防止できる。

続いて、図２０に示すように、仮想視点ＶＰの視線方向は、変更線ＴＬ４を超えて方向Ｄ２０に移動する。画像生成部２２は、このように仮想視点ＶＰの視線方向が変更線ＴＬ４を超えた時点で、ドライバ視点画像に用いる撮影画像を、リアカメラ５Ｂの撮影画像ＳＢから右サイドカメラ５Ｒの撮影画像ＳＲに切り替える。

仮想視点ＶＰの視線方向は、その後、方向Ｄ２０から方向Ｄ２１を経由して、変更線ＴＬ１近傍の方向Ｄ２２（最終方向）に移動する。このように仮想視点ＶＰの視線方向が変更線ＴＬ４から変更線ＴＬ１までの間を移動する期間は、画像生成部２２は、右サイドカメラ５Ｒの撮影画像ＳＲのみを用いてドライバ視点画像を生成する。

図２４に示すように、仮想視点ＶＰの視線方向が方向Ｄ２０〜方向Ｄ２２の場合に生成されるドライバ視点画像Ｃ２０〜Ｃ２２においては、右サイドカメラ５Ｒの撮影画像ＳＲのみが用いられている。したがって、ドライバ視点画像Ｃ２０に含まれる重複部分Ｌ４や、ドライバ視点画像Ｃ２２に含まれる重複部分Ｌ１にも一つの撮影画像ＳＲのみが用いられる。これにより、重複領域ＯＡ４，ＯＡ１に存在する立体物についてユーザが誤認することを防止できる。

次に、周回モードＭ２における画像表示システム１０の動作の流れについて説明する。図２５は、周回モードＭ２における画像表示システム１０の動作の流れを示す図である。

動作モードが周回モードＭ２となると、まず、画像制御部２０ａが仮想視点ＶＰの視線方向を、初期方向となる方向Ｄ１１に設定する（ステップＳ１１）。なお、この初期方向は一例であり、方向Ｄ１１以外の方向を初期方向としてもよい。

次に、車両９に設けられた４つのカメラ５のそれぞれが車両９の周辺を撮影する。そして、画像取得部２１が、４つのカメラ５でそれぞれ得られた４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲを取得する（ステップＳ１２）。

次に、画像制御部２０ａが、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲのうちから、ドライバ視点画像に使用する一つの撮影画像を選択する（ステップＳ１３）。画像制御部２０ａは、その時点の仮想視点ＶＰの視線方向に応じて一つの撮影画像を選択する。仮想視点ＶＰの視線方向と選択する撮影画像との対応関係は、図１７から図２０を用いて説明した通りである。この対応関係を示すデータは、記憶部２７などに予め記憶される。

次に、選択された一つの撮影画像を用いて、画像生成部２２がドライバ視点画像を生成する（ステップＳ１４）。そして、画像調整部２３が生成されたドライバ視点画像を含む表示画像ＤＰを生成し、画像出力部２４がこの表示画像ＤＰを表示装置３に出力する（ステップＳ１５）。これにより、ドライバ視点画像を含む表示画像ＤＰが、表示装置３に表示される。

次に、画像制御部２０ａが、仮想視点ＶＰの視線方向を左向きに所定角度だけ変更する（ステップＳ１７）。そして、上記ステップＳ１２〜Ｓ１５と同様の処理が繰り返される。

このような処理（ステップＳ１２〜Ｓ１５，Ｓ１７）が、所定の周期（例えば、１／３０秒周期）で時間的に連続して繰り返される。これにより、画像制御部２０ａが仮想視点ＶＰの視線方向を連続的に変更しながら、画像生成部２２がドライバ視点画像を連続的に生成することになる。その結果、表示装置３において、車両９の周囲を周回するように車両９の周辺の様子を示すアニメーションが表示されることになる。

このような処理により、仮想視点ＶＰの視線方向が車両９の周囲を略一周して最終方向である方向Ｄ２２となると（ステップＳ１６にてＹｅｓ）、周回モードＭ２における画像表示システム１０の動作が終了する。

＜１−６．手動モード＞
次に、手動モードＭ３について詳細に説明する。前述のように、手動モードＭ３は、ユーザが、ドライバの視点からみた任意の方向の車両９の周辺の様子を確認するための動作モードである。手動モードＭ３では、画像制御部２０ａが、ユーザの操作に応じてドライバ視点画像の仮想視点の視線方向を連続的に変更する。

図２６は、手動モードＭ３において、ドライバ視点画像が表示装置３に表示されている様子を示す図である。ユーザ６は、このような表示装置３に表示されたドライバ視点画像を視認しつつ、タッチパネル３１に対してフリック操作（指をタッチしたまま移動させる操作）を行うことができる。

このようなフリック操作がなされると、フリック操作の向きとは逆向きに、フリック操作の操作量に応じた期間、ドライバ視点画像の仮想視点の視線方向が連続的に変更される。その結果、表示装置３に表示されるドライバ視点画像が、フリック操作の向きにスクロールすることになる。

例えば、図２６の上部に示すように、仮想視点ＶＰの視線方向が方向Ｄ１３の場合（図１７参照。）のドライバ視点画像Ｃ１３が、表示装置３に表示されている状態を想定する。

この場合において、ユーザ６が、タッチパネル３１に対して右向きにフリック操作を行った場合は、仮想視点ＶＰの視線方向が方向Ｄ１３から左向きに連続的に変更される。これにより、表示装置３に表示されるドライバ視点画像が、フリック操作の向きである右向きにスクロールする。そして最終的に、仮想視点ＶＰの視線方向が、例えば方向Ｄ１４（図１８参照。）まで変更される。その結果、図２６の下部に示すように、仮想視点ＶＰの視線方向が方向Ｄ１４の場合のドライバ視点画像Ｃ１４が、表示装置３に表示されることになる。

手動モードＭ３においても、画像生成部２２は、一つのカメラ５の撮影画像のみを用いてドライバ視点画像を生成する。図２６の上部に示すドライバ視点画像Ｃ１３ではフロントカメラ５Ｆの撮影画像ＳＦのみが用いられる。一方、図２６の下部に示すドライバ視点画像Ｃ１４では左サイドカメラ５Ｌの撮影画像ＳＬのみが用いられる。このように手動モードＭ３においても、仮想視点ＶＰの視線方向に応じた一つの撮影画像が選択されて、ドライバ視点画像の生成に用いられる。

また、このようにドライバ視点画像が一つのカメラ５の撮影画像のみを用いて生成されるため、当然に、ドライバ視点画像の重複部分には一つのカメラ５の撮影画像のみが用いられる。図２６の上部に示すドライバ視点画像Ｃ１３に含まれる重複部分Ｌ２には、フロントカメラ５Ｆの撮影画像ＳＦのみが用いられる。また、図２６の下部に示すドライバ視点画像Ｃ１４に含まれる重複部分Ｌ２には、左サイドカメラ５Ｌの撮影画像ＳＬのみが用いられる。これにより、手動モードＭ３においても、重複領域に存在する立体物についてユーザが誤認することを防止できる。

次に、手動モードＭ３における画像表示システム１０の動作の流れについて説明する。図２７は、手動モードＭ３における画像表示システム１０の動作の流れを示す図である。

動作モードが手動モードＭ３となると、まず、画像制御部２０ａが仮想視点ＶＰの視線方向を設定する（ステップＳ２１）。

ユーザが操作ボタン４を２回連続して押すことによって動作モードが手動モードＭ３となった場合は、画像制御部２０ａは、仮想視点ＶＰの視線方向を車両９の前後方向に沿って前方となる方向Ｄ１２（図１７参照。）に設定する。これにより、ドライバの実際の視線の方向と仮想視点ＶＰの視線方向とが一致するため、この後に生成されるドライバ視点画像において示される領域が車両９の周辺のいずれの領域であるかをユーザが直感的に把握できる。

一方、物体検出装置７が車両９の周辺の物体を検出したことによって動作モードが手動モードＭ３となった場合は、画像制御部２０ａは、仮想視点ＶＰの視線方向を、物体検出装置７で検出された物体の方向に設定する。これにより、ユーザは、この後に生成されるドライバ視点画像を視認することで、検出された物体の様子を速やかに把握できる。ドライバ視点画像は一つのカメラ５の撮影画像のみを用いて生成されるため、検出された物体が重複領域に存在する立体物の場合であっても、ユーザは当該物体を正しく把握できる。

仮想視点ＶＰの視線方向が設定されると、次に、画像取得部２１が、４つのカメラ５でそれぞれ得られた４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲを取得する（ステップＳ２２）。そして、画像制御部２０ａが、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲのうちから、その時点の仮想視点ＶＰの視線方向に応じて、ドライバ視点画像に使用する一つの撮影画像を選択する（ステップＳ２３）。

次に、選択された一つの撮影画像を用いて、画像生成部２２がドライバ視点画像を生成する（ステップＳ２４）。そして、画像調整部２３が生成されたドライバ視点画像を含む表示画像ＤＰを生成し、画像出力部２４がこの表示画像ＤＰを表示装置３に出力する（ステップＳ２５）。これにより、ドライバ視点画像を含む表示画像ＤＰが、表示装置３に表示される。

次に、画像制御部２０ａが、ユーザのフリック操作がなされてドライバ視点画像のスクロールが必要であるか否かを判断する（ステップＳ２６）。ドライバ視点画像のスクロールが必要である場合は、画像制御部２０ａが、仮想視点ＶＰの視線方向をフリック操作の向きとは逆向きに変更する（ステップＳ２７）。そして、上記ステップＳ２２〜Ｓ２５と同様の処理が繰り返される。

このような処理（ステップＳ２２〜Ｓ２７）が、フリック操作の操作量に応じた期間、所定の周期（例えば、１／３０秒周期）で時間的に連続して繰り返される。これにより、画像制御部２０ａが仮想視点ＶＰの視線方向を連続的に変更しながら、画像生成部２２がドライバ視点画像を連続的に生成する。その結果、表示装置３において表示されるドライバ視点画像がスクロールすることになる。

また、ドライバ視点画像のスクロールが不要である状態で、ユーザが操作ボタン４を押した場合は（ステップＳ２８にてＹｅｓ）、手動モードＭ３における画像表示システム１０の動作が終了する。

以上のように、画像表示システム１０の画像生成装置２は、車両９の異なる位置に配置された複数のカメラ５で得られた複数の撮影画像を取得する画像取得部２１と、複数の撮影画像の少なくとも１つを用いて仮想視点からみた車両９の周辺を示す仮想視点画像を生成する画像生成部２２とを備えている。また、画像生成装置２の画像制御部２０ａは、仮想視点ＶＰの視線方向を変更する。画像制御部２０ａが仮想視点ＶＰの視線方向を連続的に変更する場合は、画像生成部２２は重複部分を含む仮想視点画像に一つのカメラ５の撮影画像のみを用いる。このため、現実の車両９の周辺の重複領域に存在する立体物の像を仮想視点画像に正しく含ませることができる。したがって、仮想視点の視線方向を連続的に変更する場合に、重複領域に存在する立体物についてユーザが誤認することを防止できる。

＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の画像表示システム１０の構成及び動作は、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。

第１の実施の形態では、周回モードＭ２において、画像制御部２０ａは、仮想視点ＶＰの視線方向を一つの向き（左向き）にのみ変更していた。これに対して、第２の実施の形態では、画像制御部２０ａは、ドライバ視点画像に用いる撮影画像を切り替える時点で、仮想視点ＶＰの視線方向を連続的に変更する向きとは逆の向きに一旦戻すようになっている。ドライバ視点画像は重複部分を含むため、換言すれば、画像制御部２０ａは、ドライバ視点画像の重複部分に用いる撮影画像を切り替える時点で、仮想視点ＶＰの視線方向を連続的に変更する向きとは逆の向きに一旦戻すようになっているとも言える。

図２８から図３１は、第２の実施の形態の周回モードＭ２における仮想視点ＶＰの視線方向の遷移を示す図である。これらの図に示すように、画像制御部２０ａは、仮想視点ＶＰの視線方向を、初期方向となる方向Ｄ３１から最終方向となる方向Ｄ４２まで変更する。画像制御部２０ａは、原則として、仮想視点ＶＰの視線方向を左向きに連続的に変更する。ただし、画像制御部２０ａは、ドライバ視点画像に用いる撮影画像を切り替える時点で、重複部分の範囲内で左向きとは逆の右向きへ仮想視点ＶＰの視線方向を戻すようにしている。このように画像制御部２０ａが仮想視点の視線方向を変更している状態で、画像生成部２２はドライバ視点画像を連続的に生成することになる。

図２８に示すように、画像制御部２０ａは、まず、仮想視点ＶＰの視線方向を方向Ｄ３１に設定する。この方向Ｄ３１は、投影面ＴＳにおけるフロントカメラ５Ｆの撮影画像ＳＦが対応する部分（以下、「フロント部分」という。）ＡＦの右側端部ＡＦａの近傍の方向である。方向Ｄ３１は、重複部分Ｌ１の右側端部の近傍の方向であるとも言える。そして、画像制御部２０ａは、仮想視点ＶＰの視線方向を方向Ｄ３１から左向きに連続的に変更する。なお以下、投影面ＴＳの領域に関して「右側」「左側」という場合は、仮想視点ＶＰの視点位置からみた場合の向きとする。

仮想視点ＶＰの視線方向は、方向Ｄ３１から方向Ｄ３２を経由して、フロント部分ＡＦの左側端部ＡＦｂの近傍の方向Ｄ３３に移動する。この方向Ｄ３３は、重複部分Ｌ２の左側端部の近傍の方向であるとも言える。このように仮想視点ＶＰの視線方向がフロント部分ＡＦを移動する期間において、画像生成部２２は、フロントカメラ５Ｆの撮影画像ＳＦのみを用いてドライバ視点画像を連続的に生成する。

これにより、車両９の右前方の重複領域ＯＡ１（重複部分Ｌ１に対応する領域）に向いたドライバ視点画像、車両９の前方に向いたドライバ視点画像、及び、車両９の左前方の重複領域ＯＡ２（重複部分Ｌ２に対応する領域）に向いたドライバ視点画像が順次に生成される。このようにして生成されたドライバ視点画像は、表示装置３において表示される。

続いて、図２９に示すように、仮想視点ＶＰの視線方向がフロント部分ＡＦの左側端部ＡＦｂに達した時点で、画像生成部２２は、ドライバ視点画像に用いる撮影画像を、フロントカメラ５Ｆの撮影画像ＳＦから左サイドカメラ５Ｌの撮影画像ＳＬに切り替える。

また、このように画像生成部２２がドライバ視点画像に用いる撮影画像を切り替えた時点で、画像制御部２０ａは、図中の矢印Ａ１に示すように、重複部分Ｌ２の範囲内で右向きへ仮想視点ＶＰの視線方向を戻す。そして、画像制御部２０ａは、仮想視点ＶＰの視線方向を、方向Ｄ３３よりも右側となる方向Ｄ３４に設定する。この方向Ｄ３４は、投影面ＴＳにおける左サイドカメラ５Ｌの撮影画像ＳＬが対応する部分（以下、「左サイド部分」という。）ＡＦの右側端部ＡＬａの近傍の方向である。方向Ｄ３４は、重複部分Ｌ２の右側端部の近傍の方向であるとも言える。そして、画像制御部２０ａは、仮想視点ＶＰの視線方向を方向Ｄ３４から左向きに連続的に変更する。

仮想視点ＶＰの視線方向は、方向Ｄ３４から方向Ｄ３５を経由して、左サイド部分ＡＬの左側端部ＡＬｂの近傍の方向Ｄ３６に移動する。この方向Ｄ３６は、重複部分Ｌ３の左側端部の近傍の方向であるとも言える。このように仮想視点ＶＰの視線方向が左サイド部分ＡＬを移動する期間において、画像生成部２２は、左サイドカメラ５Ｌの撮影画像ＳＬのみを用いてドライバ視点画像を連続的に生成する。

これにより、車両９の左前方の重複領域ＯＡ２（重複部分Ｌ２に対応する領域）に向いたドライバ視点画像、車両９の左側方に向いたドライバ視点画像、及び、車両９の左後方の重複領域ＯＡ３（重複部分Ｌ３に対応する領域）に向いたドライバ視点画像が順次に生成される。このようにして生成されたドライバ視点画像は、表示装置３において表示される。

前述のように、画像生成部２２がドライバ視点画像に用いる撮影画像を撮影画像ＳＬに切り替えた時点で、画像制御部２０ａは、重複部分Ｌ２の右側端部の近傍の方向まで右向きに仮想視点ＶＰの視線方向を戻した。このため、仮想視点ＶＰの視線方向は、重複部分Ｌ２を２度にわたって移動することになる。

その結果、車両９の左前方の重複領域ＯＡ２（重複部分Ｌ２に対応する領域）に向いたドライバ視点画像は、２度にわたって生成される。つまり、フロントカメラ５Ｆの撮影画像ＳＦのみを用いた重複領域ＯＡ２に向いたドライバ視点画像と、左サイドカメラ５Ｌの撮影画像ＳＬのみを用いた重複領域ＯＡ２に向いたドライバ視点画像とが生成されることになる。このように、同一の重複領域ＯＡ２に向いたドライバ視点画像が異なる撮影画像を用いて２度にわたって生成されて表示されるため、死角になりやすい重複領域ＯＡ２をユーザが十分に確認することができる。

続いて、図３０に示すように、仮想視点ＶＰの視線方向が左サイド部分ＡＬの左側端部ＡＬｂに達した時点で、画像生成部２２は、ドライバ視点画像に用いる撮影画像を、左サイドカメラ５Ｌの撮影画像ＳＬからリアカメラ５Ｂの撮影画像ＳＢに切り替える。

また、このように画像生成部２２がドライバ視点画像に用いる撮影画像を切り替えた時点で、画像制御部２０ａは、図中の矢印Ａ２に示すように、重複部分Ｌ３の範囲内で右向きへ仮想視点ＶＰの視線方向を戻す。そして、画像制御部２０ａは、仮想視点ＶＰの視線方向を、方向Ｄ３６よりも右側となる方向Ｄ３７に設定する。この方向Ｄ３７は、投影面ＴＳにおけるリアカメラ５Ｂの撮影画像ＳＢが対応する部分（以下、「リア部分」という。）ＡＢの右側端部ＡＢａの近傍の方向である。方向Ｄ３７は、重複部分Ｌ３の右側端部の近傍の方向であるとも言える。そして、画像制御部２０ａは、仮想視点ＶＰの視線方向を方向Ｄ３７から左向きに連続的に変更する。

仮想視点ＶＰの視線方向は、方向Ｄ３７から方向Ｄ３８を経由して、リア部分ＡＢの左側端部ＡＢｂの近傍の方向Ｄ３９に移動する。この方向Ｄ３９は、重複部分Ｌ４の左側端部の近傍の方向であるとも言える。このように仮想視点ＶＰの視線方向がリア部分ＡＢを移動する期間において、画像生成部２２は、リアカメラ５Ｂの撮影画像ＳＢのみを用いてドライバ視点画像を連続的に生成する。

これにより、車両９の左後方の重複領域ＯＡ３（重複部分Ｌ３に対応する領域）に向いたドライバ視点画像、車両９の後方に向いたドライバ視点画像、及び、車両９の右後方の重複領域ＯＡ４（重複部分Ｌ４に対応する領域）に向いたドライバ視点画像が順次に生成される。このようにして生成されたドライバ視点画像は、表示装置３において表示される。

前述のように、画像生成部２２がドライバ視点画像に用いる撮影画像を撮影画像ＳＢに切り替えた時点で、画像制御部２０ａは、重複部分Ｌ３の右側端部の近傍の方向まで右向きに仮想視点ＶＰの視線方向を戻した。このため、仮想視点ＶＰの視線方向は、重複部分Ｌ３を２度にわたって移動することになる。

その結果、車両９の左後方の重複領域ＯＡ３（重複部分Ｌ３に対応する領域）に向いたドライバ視点画像は、２度にわたって生成される。つまり、左サイドカメラ５Ｌの撮影画像ＳＬのみを用いた重複領域ＯＡ３に向いたドライバ視点画像と、リアカメラ５Ｂの撮影画像ＳＢのみを用いた重複領域ＯＡ３に向いたドライバ視点画像とが生成されることになる。このように、同一の重複領域ＯＡ３に向いたドライバ視点画像が異なる撮影画像を用いて２度にわたって生成されて表示されるため、死角になりやすい重複領域ＯＡ３をユーザが十分に確認することができる。

続いて、図３１に示すように、仮想視点ＶＰの視線方向がリア部分ＡＢの左側端部ＡＢｂに達した時点で、画像生成部２２は、ドライバ視点画像に用いる撮影画像を、リアカメラ５Ｂの撮影画像ＳＢから右サイドカメラ５Ｒの撮影画像ＳＲに切り替える。

また、このように画像生成部２２がドライバ視点画像に用いる撮影画像を切り替えた時点で、画像制御部２０ａは、図中の矢印Ａ３に示すように、重複部分Ｌ４の範囲内で右向きへ仮想視点ＶＰの視線方向を戻す。そして、画像制御部２０ａは、仮想視点ＶＰの視線方向を、方向Ｄ３９よりも右側となる方向Ｄ４０に設定する。この方向Ｄ４０は、投影面ＴＳにおける右サイドカメラ５Ｒの撮影画像ＳＲが対応する部分（以下、「右サイド部分」という。）ＡＲの右側端部ＡＲａの近傍の方向である。方向Ｄ４０は、重複部分Ｌ４の右側端部の近傍の方向であるとも言える。そして、画像制御部２０ａは、仮想視点ＶＰの視線方向を方向Ｄ４０から左向きに連続的に変更する。

仮想視点ＶＰの視線方向は、方向Ｄ４０から方向Ｄ４１を経由して、右サイド部分ＡＲの左側端部ＡＲｂの近傍の方向Ｄ４２に移動する。この方向Ｄ４２は、重複部分Ｌ１の左側端部の近傍の方向であるとも言える。このように仮想視点ＶＰの視線方向が右サイド部分ＡＲを移動する期間において、画像生成部２２は、右サイドカメラ５Ｒの撮影画像ＳＲのみを用いてドライバ視点画像を連続的に生成する。

これにより、車両９の右後方の重複領域ＯＡ４（重複部分Ｌ４に対応する領域）に向いたドライバ視点画像、車両９の右側方に向いたドライバ視点画像、及び、車両９の右前方の重複領域ＯＡ１（重複部分Ｌ１に対応する領域）に向いたドライバ視点画像が順次に生成される。このようにして生成されたドライバ視点画像は、表示装置３において表示される。

前述のように、画像生成部２２がドライバ視点画像に用いる撮影画像を撮影画像ＳＲに切り替えた時点で、画像制御部２０ａは、重複部分Ｌ４の右側端部の近傍の方向まで右向きに仮想視点ＶＰの視線方向を戻した。このため、仮想視点ＶＰの視線方向は、重複部分Ｌ４を２度にわたって移動することになる。

その結果、車両９の右後方の重複領域ＯＡ４（重複部分Ｌ４に対応する領域）に向いたドライバ視点画像は、２度にわたって生成される。つまり、リアカメラ５Ｂの撮影画像ＳＢのみを用いた重複領域ＯＡ４に向いたドライバ視点画像と、右サイドカメラ５Ｒの撮影画像ＳＲのみを用いた重複領域ＯＡ４に向いたドライバ視点画像とが生成されることになる。このように、同一の重複領域ＯＡ４に向いたドライバ視点画像が異なる撮影画像を用いて２度にわたって生成されて表示されるため、死角になりやすい重複領域ＯＡ４をユーザが十分に確認することができる。

なお、最終方向となる方向Ｄ４２（重複部分Ｌ１の左側端部の近傍の方向）は、初期方向となる方向Ｄ３１（重複部分Ｌ１の右側端部の近傍の方向）よりも左側となる。このため、仮想視点ＶＰの視線方向は、重複部分Ｌ１も２度にわたって移動することになる。

したがって、車両９の右前方の重複領域ＯＡ１（重複部分Ｌ１に対応する領域）に向いたドライバ視点画像も、２度にわたって生成される。つまり、フロントカメラ５Ｆの撮影画像ＳＦのみを用いた重複領域ＯＡ１に向いたドライバ視点画像と、右サイドカメラ５Ｒの撮影画像ＳＲのみを用いた重複領域ＯＡ１に向いたドライバ視点画像とが生成されることになる。このように、同一の重複領域ＯＡ１に向いたドライバ視点画像が異なる撮影画像を用いて２度にわたって生成されて表示されるため、死角になりやすい重複領域ＯＡ１をユーザが十分に確認することができる。

＜３．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上記実施の形態では、周回モードＭ２では、仮想視点ＶＰの視点位置が車両９のドライバの位置に固定されていた。これに対して、仮想視点ＶＰの視点位置を車両９の外部に設定し、車両９の周囲を周回するようにこの仮想視点ＶＰの視線方向を連続的に変更してもよい。この場合は、例えば、図３２に示すように、画像制御部２０ａは、仮想視点ＶＰを車両９の外部に設定する。そして、この仮想視点ＶＰの視点位置を車両９の周囲を略一周するように移動させつつ、仮想視点ＶＰの視線方向を車両９の近傍に向くように連続的に変更する。

このように画像制御部２０ａが仮想視点ＶＰの視線方向を連続的に変更しながら、画像生成部２２が仮想視点画像を連続的に生成することで、例えば、図３３に示すような仮想視点画像Ｃ３１〜Ｃ３５が生成される。この場合も、仮想視点ＶＰの視線方向に応じた一つのカメラ５の撮影画像のみを仮想視点画像の生成に用いることで、車両９の周辺の重複領域に存在する立体物に係る立体物像を仮想視点画像に正しく含ませることができる。

また、上実施の形態では、重複部分を含む仮想視点画像の全体に一つのカメラ５の撮影画像のみを用いていた。これに対して、仮想視点画像の少なくとも重複部分に一つのカメラ５の撮影画像のみを用いるようにし、仮想視点画像の他の部分は当該部分に対応する領域を撮影するカメラ５の撮影画像を用いるようにしてもよい。この場合において、例えば、仮想視点ＶＰを図３２に示すように変更する場合は、図３４に示すような合成画像である仮想視点画像Ｃ４１〜Ｃ４５が生成される。この場合も、仮想視点画像の重複部分Ｌ１〜Ｌ４には一つのカメラ５の撮影画像のみが用いられるため、車両９の周辺の重複領域に存在する立体物に係る立体物像を仮想視点画像に正しく含ませることができる。

また、上記実施の形態では、周回モードＭ２において、ユーザが表示装置３のタッチパネル３１に触れた場合は、仮想視点ＶＰの視線方向の変更が中断されていた。これに対して、周回モードＭ２において、ユーザが表示装置３のタッチパネル３１に触れた場合は、その時点の仮想視点ＶＰの視線方向を維持したまま、動作モードが手動モードＭ３に切り替えられるようにしてもよい。

また、上記第１の実施の形態において説明したドライバ視点画像に用いる撮影画像を切り替えるための変更線ＴＬ１〜ＴＬ４の位置は一例である。投影面ＴＳの重複部分の範囲内であればいずれの位置に変更線を設定してよい。もちろん、重複部分の右側あるいは左側の端部に変更線を設定することも可能である。

また、上記第２の実施の形態では、周回モードＭ２において、ドライバ視点画像に用いる撮影画像を切り替える時点で、連続的に変更する向きとは逆の向きに仮想視点ＶＰの視線方向を戻すようにしていた。これに対して、手動モードＭ３においても同様に、ドライバ視点画像に用いる撮影画像を切り替える時点で、連続的に変更する向きとは逆の向きに仮想視点ＶＰの視線方向を戻すようにしてもよい。

また、上記第２の実施の形態では、ドライバ視点画像に用いる撮影画像を切り替える時点で、仮想視点ＶＰの視線方向が重複部分の端部の近傍の方向まで戻されていた。この仮想視点ＶＰの視線方向を戻す先となる方向は、重複部分の範囲内であればいずれの方向であってもよい。

また、上記実施の形態では、クリアランスソナー７２を含む物体検出装置７が車両９の周辺に存在する物体の方向を検出していた。これに対して、例えば、レーダーによる物体検出や、撮影画像に基づく物体認識などの他の手法によって、車両９の周辺に存在する物体の方向を検出してもよい。

また、周回モードＭ２において仮想視点ＶＰの視線方向を変更する向きは、上記実施の形態で説明した向きとは、逆向きであってもよい。

また、上記実施の形態において一つのブロックとして説明した機能は必ずしも単一の物理的要素によって実現される必要はなく、分散した物理的要素によって実現されてよい。また、上記実施の形態で複数のブロックとして説明した機能は単一の物理的要素によって実現されてもよい。また、車両内の装置と車両外の装置とに任意の一つの機能に係る処理を分担させ、これら装置間において通信によって情報の交換を行うことで、全体として当該一つの機能が実現されてもよい。

また、上記実施の形態においてプログラムの実行によってソフトウェア的に実現されると説明した機能の全部又は一部は電気的なハードウェア回路により実現されてもよく、ハードウェア回路によって実現されると説明した機能の全部又は一部はソフトウェア的に実現されてもよい。また、上記実施の形態において一つのブロックとして説明した機能が、ソフトウェアとハードウェアとの協働によって実現されてもよい。

２画像生成装置
５カメラ
６ユーザ
８立体物
９車両
２１画像取得部
２２画像生成部
１０画像表示システム
Ｌ１〜Ｌ４重複部分
ＯＡ１〜ＯＡ４重複領域

Claims

車両において用いられる画像生成装置であって、
前記車両の異なる位置に配置された複数のカメラで得られた複数の撮像画像を取得する取得手段と、
前記複数の撮像画像の少なくとも１つを用いて、車室内の仮想視点からみた前記車両の周辺を示す仮想視点画像を生成する生成手段と、
前記仮想視点の視線方向を連続的に変更する変更手段と、
前記仮想視点画像を表示する表示手段と、
を備え、
前記変更手段は、
前記車室内の仮想視点の視線方向を車両周辺を周回するように連続的に変更する周回モードにおいて、前記仮想視点画像に対するタッチ操作によって視線方向の変更を中断可能とし、視線方向の変更を中断した場合に、仮想視点の視線方向を維持したまま、当該タッチ操作に続くフリック操作によって視線方向を変更可能な手動モードへ切り替えることを特徴とする画像生成装置。
請求項１に記載の画像生成装置において、
前記変更手段は、視線方向の変更を中断している場合に、ユーザ操作に応じて視線方向の変更を再開することを特徴とする画像生成装置。
請求項１または２に記載の画像生成装置において、
前記生成手段は、前記複数の撮像画像の少なくとも１つのデータを仮想の立体的な投影面に投影し、該投影面上の前記データを用いて前記仮想視点画像を生成することを特徴とする画像生成装置。
車両において用いられる画像表示システムであって、
請求項１ないし３のいずれかに記載の画像生成装置と、
前記画像生成装置で生成された仮想視点画像を表示する表示装置とを備えることを特徴とする画像表示システム。
車両において用いられる画像生成方法において、
（ａ）前記車両の異なる位置に配置された複数のカメラで得られた複数の撮像画像を取得する取得工程と、
（ｂ）前記複数の撮像画像の少なくとも１つを用いて、車室内の仮想視点からみた前記車両の周辺を示す仮想視点画像を生成する生成工程と、
（ｃ）前記仮想視点の視線方向を連続的に変更する変更工程と、
（ｄ）前記仮想視点画像を表示する表示工程と、
を備え、
前記工程（ｃ）が、前記車室内の仮想視点の視線方向を車両周辺を周回するように連続的に変更する周回モードにおいて、前記仮想視点画像に対するタッチ操作によって視線方向の変更を中断可能とし、視線方向の変更を中断した場合に、仮想視点の視線方向を維持したまま、当該タッチ操作に続くフリック操作によって視線方向を変更可能な手動モードへ切り替えることを特徴とする画像生成方法。