JP6625157B2 - 画像生成装置、画像表示システム及び画像生成方法 - Google Patents

Description

本発明は、車両の周辺を示す画像を生成する技術に関する。

従来より、自動車などの車両の周辺を示す画像を生成し、この画像を車両内の表示装置に表示する画像表示システムが知られている。このような画像表示システムを利用することにより、ユーザ（代表的にはドライバ）は、車両の周辺の様子をほぼリアルタイムに確認することができる。

また、近年では、複数のカメラで得られた複数の撮影画像を合成して仮想視点からみた車両の周辺を示す合成画像を生成し、その合成画像を表示する画像表示システムも提案されている（例えば、特許文献１参照。）。このような画像表示システムでは、例えば、車両の直上から見下ろすように車両の周囲全体を示す合成画像（俯瞰画像）などを生成できる。ユーザは、このような合成画像を視認することで、車両の周囲全体の様子を確認することができる。

特開２０１２−１２４６１０号公報

上記のような画像表示システムを利用するユーザは、車両の周囲全体を確認しながらも、車両の後方など車両の周囲の一部をより詳細に確認することを望む場合がある。このため、図２９に示すような、車両の周囲全体を示す合成画像８２と、車両の周囲の一部を拡大して示す拡大画像８３との２つの画像を並べて含む表示画像８１を表示する技術が知られている（例えば、特許文献１参照。）。図２９の例では、車両は車両像８５として示されており、拡大画像８３は車両の後方を拡大して示している。

図２９に示すような表示画像８１を視認するユーザは、合成画像８２と拡大画像８３との双方を確認することができる。しかしながら、表示される拡大画像８３がユーザの求める仮想視点から見た画像でない場合、ユーザは拡大画像８３の表示から車両周辺に存在する物体等を上手く確認できないおそれがあった。

本発明は、上記課題に鑑みてなされたものであり、車両周囲の拡大対象の領域と視点をユーザが設定できる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、車両において用いられる画像生成装置であって、前記車両の周辺を撮影する複数のカメラで得られた複数の撮影画像を取得する取得手段と、前記複数の撮影画像を用いて、仮想視点からみた前記車両の周辺を示す合成画像を生成する生成手段と、を備え、前記生成手段は、ユーザ操作により任意の位置に前記仮想視点を設定可能であり、前記仮想視点に基づき生成された前記合成画像に対するピンチアウト操作により、２本の指が最初に触れた２点を通る円に相当する領域を対象領域とし、前記２本の指を広げた移動量を前記対象領域を拡大する拡大率として、前記合成画像の前記対象領域を、その他領域よりも拡大して生成する。

また、請求項２の発明は、請求項１に記載の画像生成装置において、前記ユーザ操作はフリック操作である。

また、請求項３の発明は、請求項１に記載の画像生成装置において、前記画像生成手段は、前記合成画像を前記対象領域と前記その他領域とが、互いに連続性を保持した画像として生成する。

また、請求項４の発明は、車両において用いられる画像生成装置であって、前記車両の
周辺を撮影する複数のカメラで得られた複数の撮影画像を取得する取得手段と、ユーザの
操作を受け付ける操作受付手段と、前記複数の撮影画像を用いて、仮想視点からみた前記
車両の周辺を示す合成画像を生成する生成手段と、を備え、前記生成手段は、前記操作受
付手段が左右方向のユーザ操作を受け付けた場合は、前記仮想視点の位置を可変させた前
記合成画像を生成し、前記ユーザ操作により可変された前記仮想視点に基づいて生成された前記合成画像が表示された状態において、前記操作受付手段がピンチアウト操作を受け付けた場合は、２本の指が最初に触れた２点を通る円に相当する領域を対象領域とし、前記２本の指を広げた移動量を前記対象領域を拡大する拡大率として、当該仮想視点の位置における前記合成画像を拡大する。

また、請求項５の発明は、車両において用いられる画像生成装置であって、前記車両の
周辺を撮影する複数のカメラで得られた複数の撮影画像を取得する取得手段と、ユーザの
操作を受け付ける操作受付手段と、前記複数の撮影画像を用いて、仮想視点からみた前記
車両の周辺を示す合成画像を生成する生成手段と、を備え、前記生成手段は、前記合成画像に対して前記操作受付手段がピンチアウト操作を受け付けた場合は、２本の指が最初に触れた２点を通る円に相当する領域を対象領域とし、前記２本の指を広げた移動量を前記対象領域を拡大する拡大率として、当該仮想視点の位置における前記合成画像を拡大し、当該拡大された前記合成画像が表示された状態において、前記操作受付手段が左右方向のユーザ操作を受け付けた場合は、拡大状態のまま前記合成画像に対する前記仮想視点の位置を可変させる。

また、請求項６の発明は、請求項４または５に記載の画像生成装置は、車両像を有し、
前記車両像は前記車両の三次元形状を示す車両モデルであり、三次元空間における前記車両の位置に配置され、前記仮想視点は直上以外の位置へ配置可能である。

請求項１ないし６の発明によれば、車両の周囲全体の全体領域を示しつつ全体領域の
一部の対象領域に含まれる被写体を拡大して示す一部拡大画像が生成される。この一部拡
大画像を視認するユーザは、対象領域に含まれる物体を詳細に確認しつつ、対象領域に含
まれない物体にも同時に注意を向けることができる。

また、特に請求項２の発明によれば、ユーザはフリック操作による仮想視点の設定と、ピンチアウト操作による一部拡大を行うことができ、所望の被写体を詳細に確認できる。

また、特に請求項３の発明によれば、一部拡大画像は、対象領域に含まれる被写体と対象領域に含まれない被写体との連続性を保持することができる。

また、特に請求項４の発明によれば、ユーザは左右操作により仮想視点を可変したのちに、ピンチアウト操作により所望の範囲を拡大することができる。

また、特に請求項５の発明によれば、ユーザはピンチアウト操作により所望の範囲を拡大したのちに、左右操作により仮想視点を可変させることができる。

また、特に請求項６の発明によれば、三次元形状の車両モデルを車両像として配置することで、ユーザは仮想視点からみた車両および車両の周辺の画像を確認することができる。

図１は、第１の実施の形態の画像表示システムの構成を示す図である。 図２は、４つのカメラが撮影する方向を示す図である。 図３は、合成画像を生成する手法を説明する図である。 図４は、合成画像を生成する手法を説明する図である。 図５は、合成画像の一例を示す図である。 図６は、フリック操作を説明する図である。 図７は、合成画像の一例を示す図である。 図８は、合成画像の一例を示す図である。 図９は、ピンチアウト操作を説明する図である。 図１０は、一部拡大画像の一例を示す図である。 図１１は、一部拡大画像の一例を示す図である。 図１２は、一部拡大画像の一例を示す図である。 図１３は、画像表示システムの処理の流れを示す図である。 図１４は、仮想面の頂点の座標を変更する手法を説明する図である。 図１５は、仮想面の頂点の座標を変更する手法を説明する図である。 図１６は、仮想面の頂点の座標を変更する手法を説明する図である。 図１７は、仮想面の頂点の座標を変更する手法を説明する図である。 図１８は、仮想面の頂点の座標を変更する手法を説明する図である。 図１９は、仮想面の頂点の座標を変更する手法を説明する図である。 図２０は、仮想面の頂点の座標を変更する手法を説明する図である。 図２１は、仮想面の頂点の座標を変更する手法を説明する図である。 図２２は、仮想面の頂点の座標を変更する手法を説明する図である。 図２３は、仮想面の頂点の座標を変更する手法を説明する図である。 図２４は、仮想面の頂点の座標を変更する手法を説明する図である。 図２５は、仮想面の頂点の座標を変更する手法を説明する図である。 図２６は、第４の実施の形態の画像表示システムの構成を示す図である。 図２７は、物体検出装置の構成を主に示す図である。 図２８は、クリアランスソナーが配置される位置を示す図である。 図２９は、合成画像を含む表示画像の一例を示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．第１の実施の形態＞
＜１−１．構成＞
図１は、第１の実施の形態の画像表示システム１０の構成を示す図である。この画像表示システム１０は、車両（本実施の形態では、自動車）において用いられるものであり、車両の周辺の領域を示す画像を生成して車室内に表示する機能を有している。画像表示システム１０のユーザ（代表的にはドライバ）は、この画像表示システム１０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できる。

図に示すように、画像表示システム１０は、複数のカメラ５、画像生成装置２、表示装置３及び操作ボタン４を主に備えている。複数のカメラ５はそれぞれ、車両の周辺を撮影して撮影画像を取得し、取得した撮影画像を画像生成装置２に入力する。画像生成装置２は、複数の撮影画像を用いて、仮想視点からみた車両の周辺を示す合成画像を生成する。表示装置３は、画像生成装置２で生成された合成画像を表示する。また、操作ボタン４は、ユーザの操作を受け付ける。

複数のカメラ５はそれぞれ、レンズと撮像素子とを備えており、車両の周辺を示す撮影画像を電子的に取得する。複数のカメラ５は、フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含んでいる。これら４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、車両９において互いに異なる位置に配置され、車両９の周辺の異なる方向を撮影する。

図２は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒがそれぞれ撮影する方向を示す図である。フロントカメラ５Ｆは、車両９の前端に設けられ、その光軸５Ｆａは車両９の直進方向に向けられる。リアカメラ５Ｂは、車両９の後端に設けられ、その光軸５Ｂａは車両９の直進方向の逆方向に向けられる。左サイドカメラ５Ｌは左側の左サイドミラー９３Ｌに設けられ、その光軸５Ｌａは車両９の左側方に向けられる。また、右サイドカメラ５Ｒは右側の右サイドミラー９３Ｒに設けられ、その光軸５Ｒａは車両９の右側方に向けられる。

これらのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのレンズには魚眼レンズなどの広角レンズが採用され、各カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは１８０度以上の画角αを有している。このため、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒを利用することで、車両９の周囲全体を撮影することが可能である。

図１に戻り、表示装置３は、例えば、液晶などの薄型の表示パネルを備えており、各種の情報や画像を表示する。表示装置３は、ユーザがその画面を視認できるように、車両９のインストルメントパネルなどに配置される。表示装置３は、画像生成装置２と同一のハウジング内に配置されて画像生成装置２と一体化されていてもよく、画像生成装置２とは別体の装置であってもよい。

表示装置３は、その画面に対するユーザのタッチ操作を受け付けるタッチパネル３１を備えている。タッチパネル３１は、静電容量式となっており、フリック操作やピンチアウト操作などのマルチタッチ操作を受け付けることが可能である。

操作ボタン４は、ユーザの操作を受け付ける操作部材である。操作ボタン４は、例えば、車両９のステアリングホイールに設けられており、主にドライバからの操作を受け付け
る。

ユーザは、これらのタッチパネル３１及び操作ボタン４を介して画像表示システム１０に対して各種の操作を行うことができる。タッチパネル３１及び操作ボタン４のいずれかにユーザの操作がなされた場合は、その操作の内容を示す操作信号が画像生成装置２に入
力される。

画像生成装置２は、各種の画像処理が可能な電子装置であり、画像取得部２１と、画像生成部２２と、画像出力部２４とを備えている。

画像取得部２１は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒでそれぞれ得られた撮影画像を取得する。画像取得部２１は、アナログの撮影画像をデジタルの撮影画像に変換する機能などの画像処理機能を有している。画像取得部２１は、取得した撮影画像に所定の画像処理を行い、処理後の撮影画像を画像生成部２２に入力する。なお、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒがデジタルの撮影画像を取得する場合は、画像取得部２１がアナログの撮影画像をデジタルの撮影画像に変換する機能を有していなくてよい。

画像生成部２２は、合成画像を生成するための画像処理を行うハードウェア回路である。画像生成部２２は、４つのカメラ５で取得された４つの撮影画像を合成して、仮想視点からみた車両９の周辺を示す合成画像を生成する。画像生成部２２は、車両９の周辺に相当する仮想面に複数の撮影画像のデータを貼付し、この仮想面に貼付されたデータを用いて合成画像を生成する。この合成画像を生成する手法の詳細については後述する。

画像出力部２４は、画像生成部２２で生成された合成画像を表示装置３に出力して、合成画像を表示装置３に表示させる。これにより、仮想視点からみた車両９の周辺を示す合成画像が表示装置３に表示される。

また、画像生成装置２は、制御部２０と、操作受付部２５と、信号受信部２６と、記憶部２７とをさらに備えている。制御部２０は、例えば、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたマイクロコンピュータであり、画像生成装置２の全体を統括的に制御する。

操作受付部２５は、ユーザが操作を行った場合にタッチパネル３１及び操作ボタン４から出力される操作信号を受信する。これにより、操作受付部２５はユーザの操作を受け付ける。操作受付部２５は、受信した操作信号を制御部２０に入力する。

信号受信部２６は、画像生成装置２とは別に車両９に設けられる他の装置からの信号を受信して、制御部２０に入力する。信号受信部２６は、例えば、車両９の変速装置のシフトレバーの位置であるシフトポジションを示す信号をシフトセンサ９１から受信する。この信号に基づいて、制御部２０は、車両９の進行方向が前方あるいは後方のいずれであるかを判定できる。

記憶部２７は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２７は、ファームウェアとしてのプログラム２７ａや、画像生成部２２が合成画像を生成するために用いる各種のデータを記憶する。このような合成画像の生成に用いるデータとして、対応テーブル２７ｂ及び拡大パラメータ２７ｃが含まれる。対応テーブル２７ｂは、記憶部２７に予め記憶されるテーブル形式のデータである。一方、拡大パラメータ２７ｃは、記憶部２７に予め記憶されるデータではなく、必要に応じて記憶されるデータである。

制御部２０の各種の機能は、記憶部２７に記憶されたプログラム２７ａに従ってＣＰＵが演算処理を行うことで実現される。図中に示す表示制御部２０ａ及びパラメータ設定部２０ｂは、プログラム２７ａに従ってＣＰＵが演算処理を行うことで実現される機能部の一部である。

表示制御部２０ａは、画像生成部２２及び画像出力部２４を制御して各種の合成画像を生成させ、その合成画像を表示装置３に表示させる。表示制御部２０ａは、例えば、操作受付部２５が受け付けたユーザの操作に応じて、合成画像に係る仮想視点の位置を変更する。

また、パラメータ設定部２０ｂは、操作受付部２５が受け付けたユーザの操作に応じて拡大パラメータ２７ｃを設定する。パラメータ設定部２０ｂは、設定した拡大パラメータ２７ｃを記憶部２７に記憶する。表示制御部２０ａが、この拡大パラメータ２７ｃに基づいて画像生成部２２を制御することにより、画像生成部２２は、車両の周囲全体の全体領域を示しつつ全体領域の一部を拡大して示す合成画像を生成する（詳細は後述。）。

＜１−２．合成画像の生成＞
次に、画像生成部２２が、仮想視点からみた車両９の周辺の様子を示す合成画像を生成する手法について説明する。図３は、画像生成部２２が合成画像を生成する手法を説明する図である。

フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒのそれぞれで撮影が行われると、車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲが取得される。これら４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲには、車両９の全周囲のデータ（被写体の像）が含まれている。

画像生成部２２は、まず、これら４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲに含まれるデータ（被写体の像）を、仮想的な三次元空間に設定される曲面である仮想面ＴＳに貼付（投影）する。

仮想面ＴＳは、車両９の周辺の領域に相当する面である。仮想面ＴＳは、例えば、略半球状（お椀形状）をしており、その中心領域（お椀の底部分）は車両９の位置となる車両領域Ｒ０として定められている。画像生成部２２は、仮想面ＴＳのうち車両領域Ｒ０には撮影画像のデータを貼付せず、車両領域Ｒ０の外側の領域に撮影画像のデータを貼付する。

仮想面ＴＳは、メッシュ状に多数の区画（ポリゴン）に区分される。仮想面ＴＳを構成する各区画は、３または４の頂点を有する多角形となっている。各区画は、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲのいずれかの領域と対応付けられる。画像生成部２２は、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲの各領域のデータを、その領域に対応する仮想面ＴＳの区画にテクスチャとして貼付する。撮影画像中の領域と、そのデータを貼付すべき仮想面ＴＳの区画とは、記憶部２７に予め記憶された対応テーブル２７ｂによって対応付けられる。

図４に示すように、画像生成部２２は、仮想面ＴＳにおいて車両９の前方に相当する前方部分ＧＦの区画に、フロントカメラ５Ｆの撮影画像ＳＦのデータを貼付する。また、画像生成部２２は、仮想面ＴＳにおいて車両９の後方に相当する後方部分ＧＢの区画に、リアカメラ５Ｂの撮影画像ＳＢのデータを貼付する。さらに、画像生成部２２は、仮想面ＴＳにおいて車両９の左側方に相当する左側方部分ＧＬの区画に左サイドカメラ５Ｌの撮影画像ＳＬのデータを貼付し、仮想面ＴＳにおいて車両９の右側方に相当する右側方部分ＧＲの区画に右サイドカメラ５Ｒの撮影画像ＳＲのデータを貼付する。

図３に戻り、このように仮想面ＴＳに撮影画像のデータを貼付すると、次に、画像生成部２２は、車両９の三次元形状を示す車両モデルを仮想的に構成する。この車両モデルは、仮想面ＴＳが設定される三次元空間における車両９の位置である車両領域Ｒ０に配置される。

次に、画像生成部２２は、表示制御部２０ａの制御により、仮想面ＴＳが設定される三次元空間に対して仮想視点ＶＰを設定する。この仮想視点ＶＰは、位置と視線の向きとで規定される。画像生成部２２は、三次元空間の任意の位置に、任意の視線の向きで仮想視点ＶＰを設定できる。

次に、画像生成部２２は、設定した仮想視点ＶＰに応じた仮想面ＴＳの一部の領域を用いて合成画像ＣＰを生成する。すなわち、画像生成部２２は、仮想面ＴＳのうち、仮想視点ＶＰからみて所定の視野角に含まれる領域に貼付されたデータを画像として切り出す。また、画像生成部２２は、仮想視点ＶＰに応じて車両モデルに関してレンダリングを行い、その結果となる車両像９０を、切り出した画像に対して重畳する。これにより、画像生成部２２は、仮想視点ＶＰからみた車両９及び車両９の周辺を示す合成画像ＣＰを生成する。

例えば図３に示すように、位置を車両９の直上とし視線を車両９の中心に向けた仮想視点ＶＰａを設定した場合には、車両９と車両９の周辺とを俯瞰する合成画像（俯瞰画像）ＣＰ１を生成できる。また、位置を車両９の左後方とし視線を車両９の中心に向けた仮想視点ＶＰｂを設定した場合には、車両９の左後方からみた車両９と車両９の周辺とを示す合成画像ＣＰ２を生成できる。本実施の形態では、表示制御部２０ａは、仮想視点ＶＰの位置に関わらず仮想視点ＶＰの視線を車両９の中心に向けるように、画像生成部２２を制御する。

＜１−３．合成画像の表示＞
このような合成画像ＣＰは、表示制御部２０ａの制御により、車両９の状態やユーザの操作に応じて適宜に表示装置３に表示される。通常は、ユーザが操作ボタン４を操作した場合に、合成画像ＣＰが表示装置３に表示される。一方、シフトポジションが「Ｒ」となり車両９の進行方向が後方となる場合は、ユーザが操作ボタン４を操作せずとも、合成画像ＣＰが表示装置３に表示される。

表示制御部２０ａは、表示装置３に合成画像ＣＰを最初に表示させる場合は、例えば、車両９の直上に仮想視点ＶＰの位置を設定する。これにより、図５に示すように、車両９の直上から見下ろすように車両９の周囲全体の全体領域を示す合成画像ＣＰである俯瞰画像が生成され、表示装置３に表示される。

また、表示装置３に合成画像ＣＰが表示されている場合に、図６に示すように、ユーザが表示装置３の画面に対してフリック操作を行ったときには、仮想視点ＶＰの位置が変更される。フリック操作は、ユーザが指Ｆで画面に触れた後に、その指Ｆを一方向にはらうように動かす操作である。ユーザがフリック操作を行うと、表示制御部２０ａが、そのフリック操作の方向とは逆方向に仮想視点ＶＰの位置を移動する。

例えば、図５に示す合成画像ＣＰが表示されている場合に、図６に示すようにユーザが車両９の前方へ向けてフリック操作を行った場合には、表示制御部２０ａは、仮想視点ＶＰの位置を車両９の後方へ移動する。これにより、図７に示すように、車両９の後方からみた車両９の周囲全体の全体領域を示す合成画像ＣＰが生成され、表示装置３に表示される。

また、図７に示す合成画像ＣＰが表示されている場合に、ユーザが車両９の左方へ向けてフリック操作を行ったときには、表示制御部２０ａは、仮想視点ＶＰの位置を車両９の右方へ移動する。これにより、図８に示すように、車両９の右方からみた車両９の周囲全体の全体領域を示す合成画像ＣＰが生成され、表示装置３に表示される。

このように、ユーザのフリック操作に応答して仮想視点ＶＰの位置が変更されるため、ユーザは所望の位置から車両９の周囲全体の全体領域を確認することができる。

また、表示装置３に合成画像ＣＰが表示されている場合には、ユーザは、フリック操作に加えて、図９に示すように表示装置３の画面に対してピンチアウト操作も行うことができる。ピンチアウト操作は、ユーザが２本の指Ｆで画面に触れた後に、それらの指Ｆの間隔を広げる操作である。ユーザがピンチアウト操作を行ったときには、そのピンチアウト操作で指定した対象領域ＴＲに含まれる被写体を拡大して示す合成画像ＣＰが生成される。

ユーザが、ピンチアウト操作を行うと、パラメータ設定部２０ｂは、ユーザの操作に応じて拡大パラメータ２７ｃを設定する。パラメータ設定部２０ｂは、２本の指Ｆが最初に触れた２点の位置と、ユーザが２本の指Ｆを広げた移動量とを、拡大パラメータ２７ｃとして設定する。２本の指Ｆが最初に触れた２点の位置は、拡大の対象となる対象領域ＴＲを規定する。車両９の周囲全体の全体領域のうち、２本の指Ｆが最初に触れた２点を通る円に相当する領域が、対象領域ＴＲとなる。また、ユーザが２本の指Ｆを広げた移動量は、対象領域ＴＲに含まれる被写体を拡大する際の拡大率を規定する。パラメータ設定部２０ｂは、このように拡大パラメータ２７ｃを設定することにより、実質的に対象領域ＴＲを設定する。

このように拡大パラメータ２７ｃが設定された場合は、この拡大パラメータ２７ｃに基づいて画像生成部２２により合成画像ＣＰが生成される。この合成画像ＣＰは、車両９の周囲全体の全体領域を示しつつ、全体領域の一部の対象領域ＴＲに含まれる被写体を拡大し、対象領域ＴＲに含まれない被写体を拡大せずに示す「一部拡大画像」ＣＰａとなる。

例えば、図５に示す合成画像ＣＰが表示されている場合に、図９に示すようにユーザが車両９の後方に対してピンチアウト操作を行った場合には、パラメータ設定部２０ｂは、車両９の後方の一部の領域を対象領域ＴＲとして設定する。これにより、図１０に示すように、対象領域ＴＲに含まれる被写体を拡大して示す一部拡大画像ＣＰａが生成され、表示装置３に表示される。

図１０に示すように、一部拡大画像ＣＰａは、車両９の周囲全体の全体領域を示している。これとともに、図１０と図５とを比較してわかるように、一部拡大画像ＣＰａは、対象領域ＴＲに含まれる被写体を拡大して示している。一方で、一部拡大画像ＣＰａは、対象領域ＴＲに含まれない被写体のサイズを維持し、対象領域ＴＲに含まれない被写体を拡大も縮小もせずに示している。このため、このような一部拡大画像ＣＰａを視認するユーザは、対象領域ＴＲに含まれる物体を詳細に確認しつつ、車両９の周囲全体の全体領域にも注意を向けることができる。すなわち、ユーザは、対象領域ＴＲに含まれない物体にも同時に注意を向けることができることになる。

また、一部拡大画像ＣＰａは、対象領域ＴＲに含まれる被写体の全てを一律に拡大して示すわけではない。一部拡大画像ＣＰａは、対象領域ＴＲの中心近傍の被写体を大きく拡大して示す一方で、対象領域ＴＲの周縁近傍の被写体を圧縮して示している。このため、一部拡大画像ＣＰａに含まれる被写体と、一部拡大画像ＣＰａに含まれない被写体との連続性が保持される。その結果、対象領域ＴＲに含まれる被写体を拡大したとしても、その拡大した被写体の周囲のデータを欠落させること無く一部拡大画像ＣＰａに含ませることができる。

また、表示装置３にこのような一部拡大画像ＣＰａが表示されている場合にも、ユーザが表示装置３の画面に対してフリック操作を行ったときには、仮想視点ＶＰの位置が変更される。仮想視点ＶＰの位置が変更された場合でも、一部拡大画像ＣＰａが表示装置３に表示される。

例えば、図１０に示す一部拡大画像ＣＰａが表示されている場合に、ユーザが車両９の前方へ向けてフリック操作を行った場合には、表示制御部２０ａは、仮想視点ＶＰの位置を車両９の後方へ移動する。これにより、図１１に示すように、車両９の後方からみた車両９の周囲全体の全体領域を示す一部拡大画像ＣＰａが生成され、表示装置３に表示される。

また、図１１に示す一部拡大画像ＣＰａが表示されている場合に、ユーザが車両９の左方へ向けてフリック操作を行ったときには、表示制御部２０ａは、仮想視点ＶＰの位置を車両９の右方へ移動する。これにより、図１２に示すように、車両９の右方からみた車両９の周囲全体の全体領域を示す一部拡大画像ＣＰａが生成され、表示装置３に表示される。

図１１及び図１２に示すように、仮想視点ＶＰの位置が変更された場合においても、車両９の後方に設定された対象領域ＴＲに含まれる被写体を拡大して示す一部拡大画像ＣＰａが表示されることになる。ユーザのフリック操作に応答して仮想視点ＶＰの位置が変更されるため、ユーザは所望の位置から対象領域ＴＲに含まれる物体を詳細に確認することができる。

＜１−４．処理の流れ＞
次に、画像表示システム１０の処理の流れについて説明する。図１３は、合成画像ＣＰを表示する場合の画像表示システム１０の処理の流れを示す図である。合成画像ＣＰを表示する場合には、図１３に示す処理が、所定の周期（例えば、１／３０秒周期）で繰り返される。

まず、車両９に設けられた４つのカメラ５のそれぞれが車両９の周辺を撮影する。そして、画像取得部２１が、４つのカメラ５でそれぞれ得られた４つの撮影画像を取得する（ステップＳ１１）。

次に、画像生成部２２が、取得された４つの撮影画像のデータを仮想的な三次元空間の仮想面ＴＳに貼付する（ステップＳ１２）。画像生成部２２は、記憶部２７に記憶された対応テーブル２７ｂに従って、仮想面ＴＳを構成する多数の区画のそれぞれに４つの撮影画像のデータを貼付する。

次に、表示制御部２０ａが、記憶部２７に拡大パラメータ２７ｃが記憶されているか否かを判定する（ステップＳ１３）。

記憶部２７に拡大パラメータ２７ｃが記憶されている場合は（ステップＳ１３にてＹｅｓ）、拡大の対象となる対象領域ＴＲが設定されている場合である。このため、この場合は一部拡大画像ＣＰａを生成するために、画像生成部２２が、仮想面ＴＳにおける対象領域ＴＲに相当する部分の座標を変更する（ステップＳ１４）。これにより、仮想面ＴＳの対象領域ＴＲに相当する部分に貼付されたデータ（すなわち、対象領域ＴＲに含まれる被写体の像）が拡大される。このように仮想面ＴＳの座標を変更する手法については後述する。

一方、記憶部２７に拡大パラメータ２７ｃが記憶されていない場合は（ステップＳ１３にてＮｏ）、このような仮想面ＴＳの座標の変更は行われない。

次に、画像生成部２２が、三次元空間に対して仮想視点ＶＰを設定し、仮想視点ＶＰに基づいて仮想面ＴＳに貼付されたデータを、合成画像ＣＰとして切り出す（ステップＳ１５）。画像生成部２２は、ステップＳ１４において仮想面ＴＳの座標を変更していた場合は、このように合成画像ＣＰを切り出すことで、対象領域ＴＲに含まれる被写体を拡大して示す一部拡大画像ＣＰａを生成する。

次に、画像出力部２４が、画像生成部２２に生成された合成画像ＣＰを表示装置３に出力する（ステップＳ１６）。これにより、合成画像ＣＰが表示装置３に表示される。一部拡大画像ＣＰａが生成された場合は、その一部拡大画像ＣＰａが表示装置３に表示されることになる。

＜１−５．仮想面の座標の変更＞
次に、一部拡大画像ＣＰａを生成するために、画像生成部２２が、仮想面ＴＳにおける対象領域ＴＲに相当する部分の座標を変更する手法について説明する。

前述のように、仮想面ＴＳは多数の区画で構成される。この区画の各頂点の位置は、仮想的な三次元空間に設定される三次元の直交座標系（ＸＹＺ）の座標で表される。図３に示すように、Ｘ軸方向及びＹ軸方向は、車両９の接地面に沿った水平方向に設定される。また、Ｚ軸方向は、車両９の接地面に直交する鉛直方向に設定される。画像生成部２２は、このような仮想面ＴＳの頂点の座標を変更する。

図１４から図１９は、仮想面ＴＳの頂点の座標を変更する手法を説明する図である。図１４から図１９は、水平方向からみた仮想面ＴＳの断面を示している。

図１４に示す仮想面ＴＳに沿って配置された点Ｐはそれぞれ、頂点の変更前の座標を表している。仮想面ＴＳの頂点のうち、対象領域ＴＲに相当する部分（以下、「変更対象部分」という。）に含まれる頂点の座標が変更される。

図１５に示すように、拡大パラメータ２７ｃに基づき、仮想面ＴＳのうち点Ｐａから点Ｐｂまでの部分が変更対象部分に指定され、拡大率としてｒが指定された場合を想定する。

まず、変更対象部分の中央となる基準点Ｏ（Ｘｏ，Ｙｏ，Ｚｏ）が求められる。基準点Ｏは、点Ｐａ及び点Ｐｂの中央点Ｐｃと仮想視点ＶＰの位置とを結ぶ直線Ｌｓが、仮想面ＴＳと交差する点として求められる。

以下、仮想視点ＶＰの位置と基準点Ｏと結ぶ直線Ｌｓを「視直線」といい、点Ｐａ，Ｐｂを変更対象部分の「端点」という。また、視直線Ｌｓから端点Ｐａ，Ｐｂまでの距離は変更対象部分の半径に相当し、以下、この変更対象部分の半径をｄとする。なお、本説明では、説明を簡単にするため、基準点Ｏ及び端点Ｐａ，Ｐｂが頂点の座標を表す点Ｐと重なっているが、これらは点Ｐと重なるとは限らない。

次に、図１６に示すように、変更対象部分に含まれる点Ｐが、視直線Ｌｓの直交方向に移動され、点Ｐ’とされる。

図１７は、一の点Ｐに注目し、点Ｐを点Ｐ’に移動する手法を説明する図である。図１７は、図１６において符号Ａで示す範囲を拡大して示している。

まず、基準点Ｏから仮想視点ＶＰの位置に向かう視直線Ｌｓに沿った単位ベクトルをベクトルｕとし、ベクトルｕを次の数１で表現する。

また、基準点Ｏから点Ｐに向かうベクトルＯＰとベクトルｕとの内積の結果となる値をｍとすると、値ｍは次の数２で表される。

また、点Ｐを通り視直線Ｌｓに直交する直線と視直線Ｌｓとの交点をＨとすると、この交点Ｈの座標（Ｈｘ，Ｈｙ，Ｈｚ）は、基準点Ｏの座標（Ｘｏ，Ｙｏ，Ｚｏ）、値ｍ、及び、ベクトルｕを用いて、次の数３で求められる。

したがって、点Ｐから視直線Ｌｓまでの距離Ｒは、点Ｐの座標（ｘ，ｙ，ｚ）と交点Ｈの座標（Ｈｘ，Ｈｙ，Ｈｚ）とを用いて、次の数４で求められる。

点Ｐに関する拡大増加率Ｗは、この距離Ｒと、変更対象部分の半径ｄと、拡大率ｒとを用いて、次の数５により求められる。拡大増加率Ｗは、距離Ｒが小さいほど大きな値となる。ただし、距離Ｒが０の場合（点Ｐが基準点Ｏの場合）は、拡大増加率Ｗは０とされる。

次に、点Ｐの移動先となる点Ｐ’から視直線Ｌｓまでの距離Ｒ’が、次の数６により求められる。なお、距離Ｒ’が変更対象部分の半径ｄを超える場合は、距離Ｒ’を半径ｄとする。

また、交点Ｈから点Ｐに向かうベクトルＨＰを次の数７で表現する。

したがって、点Ｐの移動先となる点Ｐ’の座標（ｘ’，ｙ’，ｚ’）は、交点Ｈの座標（Ｈｘ，Ｈｙ，Ｈｚ）、距離Ｒ、距離Ｒ’、及び、ベクトルＨＰを用いて、次の数８で求められる。

このような演算は、変更対象部分に含まれる全ての点Ｐ（基準点Ｏを除く）に関して行われる。これにより、図１６に示すように、変更対象部分に含まれる全ての点Ｐ（基準点Ｏを除く）が点Ｐ’に移動される。点Ｐから点Ｐ’までの移動量は、点Ｐから視直線Ｌｓまでの距離Ｒに応じて決定される。視直線Ｌｓまでの距離Ｒが小さい点Ｐほど移動量が大きくなり、視直線Ｌｓまでの距離Ｒが大きな点Ｐほど移動量が小さくなる。

このようにして点Ｐが点Ｐ’に移動されると、さらに図１８に示すように、点Ｐ’が仮想面ＴＳ上の点Ｐ”に移動される。点Ｐ”は、点Ｐ’を通り視直線Ｌｓに沿った直線と、仮想面ＴＳとの交点とされる。その結果、図１９に示すように、仮想面ＴＳには、変更対象部分に含まれる点Ｐが移動された点Ｐ”と、変更対象部分に含まれない点Ｐとが存在する状態となる。点Ｐ”は、変更対象部分に含まれる頂点の変更後の座標を表している。

このように点Ｐを点Ｐ”に移動することで、変更対象部分に含まれる頂点の座標が変更される。このような仮想面ＴＳの頂点の座標の変更により、仮想面ＴＳに貼付されたデータ（被写体の像）のサイズも変更される。前述のように、視直線Ｌｓまでの距離Ｒが小さい点Ｐほど移動量が大きいことから、変更対象部分の中央近傍の被写体の像は大きく拡大される。一方、視直線Ｌｓまでの距離Ｒが大きい点Ｐは移動量が小さいことから、変更対象部分の周縁近傍の被写体の像は圧縮されることになる。このような処理の結果、対象領域ＴＲの中心近傍の被写体を大きく拡大して示す一方で、対象領域ＴＲの周縁近傍の被写体を圧縮して示す一部拡大画像ＣＰａが生成されることになる。

以上のように本実施の形態の画像表示システム１０では、画像取得部２１が車両９の周辺を撮影する複数のカメラ５で得られた複数の撮影画像を取得し、画像生成部２２が複数の撮影画像を用いて仮想視点ＶＰからみた車両９の周辺を示す合成画像ＣＰを生成する。そして、画像生成部２２は、車両９の周囲全体の全体領域を示しつつ、該全体領域の一部の対象領域ＴＲに含まれる被写体を拡大し、対象領域ＴＲに含まれない被写体を拡大せずに示す一つの合成画像ＣＰである一部拡大画像ＣＰａを生成する。したがって、この一部拡大画像ＣＰａを視認するユーザは、対象領域ＴＲに含まれる物体を詳細に確認しつつ、対象領域ＴＲに含まれない物体にも同時に注意を向けることができる。

また、画像生成部２２は、車両９の周辺に相当する仮想面ＴＳに複数の撮影画像のデータを貼付し、仮想面ＴＳに貼付されたデータを用いて合成画像ＣＰを生成する。そして、画像生成部２２は、仮想面ＴＳにおける対象領域ＴＲに相当する変更対象部分の座標を変更することで一部拡大画像ＣＰａを生成する。このため、仮想面ＴＳの一部の座標を変更するという簡便な手法で一部拡大画像ＣＰａを生成できる。また、仮想視点ＶＰの位置を変更した場合においても、変更後の仮想視点ＶＰからみた一部拡大画像ＣＰａを生成できる。

また、画像生成部２２は、仮想視点ＶＰの位置を考慮し、仮想面ＴＳの頂点の座標を視直線Ｌｓの直交方向に向けて変更する。このため、仮想視点ＶＰの位置がいずれにあったとしても、その仮想視点ＶＰから視認できる方向に対象領域ＴＲに含まれる被写体の像を拡大することができる。

＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の画像表示システム１０の構成及び動作は、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。

第２の実施の形態の画像表示システム１０は、画像生成部２２が、仮想面ＴＳの頂点の座標を変更する手法のみが第１の実施の形態と相違している。第１の実施の形態では、仮想面ＴＳの頂点の座標を変更する際に仮想視点ＶＰの位置を考慮していた。これに対して、第２の実施の形態では、仮想面ＴＳの頂点の座標を変更する際に仮想視点ＶＰの位置を考慮しないことで演算量を低減している。

本実施の形態においても、仮想面ＴＳの頂点の変更前の座標は、図１４に示す点Ｐのように仮想面ＴＳに沿って配置される。図２０から図２３は、本実施の形態における、仮想面ＴＳの頂点の座標を変更する手法を説明する図である。図２０から図２３は、水平方向からみた仮想面ＴＳの断面を示している。

図２０に示すように、拡大パラメータ２７ｃに基づき、仮想面ＴＳのうち端点Ｐａから端点Ｐｂまでの部分が変更対象部分に指定され、拡大率としてｒが指定された場合を想定する。

本実施の形態においても、まず、基準点Ｏ（Ｘｏ，Ｙｏ，Ｚｏ）が求められる。この場合、仮想視点ＶＰの位置（視直線Ｌｓ）は考慮されず、水平方向の座標のみが考慮される。すなわち、Ｘ座標及びＹ座標のみが考慮されて、端点Ｐａと端点Ｐｂとの中央点が導出される。そして、この中央点のＸ座標及びＹ座標を有する仮想面ＴＳ上の点が、基準点Ｏとされる。本実施の形態では、この基準点Ｏからの端点Ｐａ，Ｐｂまでの水平方向の距離が、変更対象部分の半径ｄとなっている。

次に、図２１に示すように、変更対象部分に含まれる点Ｐが、基準点Ｏから点Ｐまでの直線を延長した方向に移動され、点Ｐ’とされる。点Ｐから点Ｐ’までの移動量は、点Ｐから基準点Ｏまでの水平方向の距離が考慮される。

点Ｐから基準点Ｏまでの水平方向の距離をＲとすると、この距離Ｒは、点Ｐの水平方向の座標（ｘ，ｙ）と基準点Ｏの水平方向の座標（Ｘｏ，Ｙｏ）とを用いて、次の数９で求められる。

点Ｐに関する拡大増加率Ｗは、この距離Ｒと、変更対象部分の半径ｄと、拡大率ｒとを用いて、上述した数５により求められる。したがって、本実施の形態でも、拡大増加率Ｗは、距離Ｒが小さいほど大きな値となる。ただし、距離Ｒが０の場合（点Ｐが基準点Ｏの場合）は、拡大増加率Ｗは０とされる。

また、点Ｐの移動先となる点Ｐ’から基準点Ｏまでの水平方向の距離をＲ’とすると、この距離Ｒ’は、上述した数６により求められる。そして、点Ｐの移動先となる点Ｐ’の座標（ｘ’，ｙ’，ｚ’）は、基準点Ｏの座標（Ｘｏ，Ｙｏ，Ｚｏ）、距離Ｒ、及び、距離Ｒ’を用いて、次の数１０で求められる。

このような演算は、変更対象部分に含まれる全ての点Ｐ（基準点Ｏを除く）に関して行われ、図２１に示すように、変更対象部分に含まれる全ての点Ｐ（基準点Ｏを除く）が点Ｐ’に移動される。本実施の形態でも、基準点Ｏまでの距離Ｒが小さい点Ｐほど移動量が大きくなり、基準点Ｏまでの距離Ｒが大きな点Ｐほど移動量が小さくなる。

このようにして点Ｐが点Ｐ’に移動されると、さらに図２２に示すように、点Ｐ’が仮想面ＴＳ上の点Ｐ”に移動される。点Ｐ”は、点Ｐ’から水平または垂直方向に伸ばした直線が最短で仮想面ＴＳと交わる点とされる。その結果、図２３に示すように、仮想面ＴＳには、変更対象部分に含まれる点Ｐが移動された点Ｐ”と、変更対象部分に含まれない点Ｐとが存在する状態となる。点Ｐ”は、変更対象部分に含まれる頂点の変更後の座標を表している。

このように点Ｐを点Ｐ”に移動することで、変更対象部分に含まれる頂点の座標が変更される。このような仮想面ＴＳの頂点の座標の変更により、仮想面ＴＳに貼付されたデータ（被写体の像）のサイズも変更される。これにより、本実施の形態においても、対象領域ＴＲの中心近傍の被写体を大きく拡大して示す一方で、対象領域ＴＲの周縁近傍の被写体を圧縮して示す一部拡大画像ＣＰａが生成されることになる。

本実施の形態では、仮想視点ＶＰの位置を考慮せず、拡大増加率Ｗを導出するための距離Ｒとして水平方向のみの距離を考慮する。このため、一部拡大画像ＣＰａを生成するための演算量を低減できる。

＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態の画像表示システム１０の構成及び動作は、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。

第３の実施の形態の画像表示システム１０は、画像生成部２２が、仮想面ＴＳの頂点の座標を変更する手法のみが第１の実施の形態と相違している。第１の実施の形態では、頂点の座標を三次元の座標系の全方向に変更していた。これに対して、第３の実施の形態では、頂点の座標を水平方向にのみ変更することで演算量を低減している。

本実施の形態においても、仮想面ＴＳの頂点の変更前の座標は、図１４に示す点Ｐのように仮想面ＴＳに沿って配置される。図２４及び図２５は、本実施の形態における、仮想面ＴＳの頂点の座標を変更する手法を説明する図である。図２４及び図２５は、水平方向からみた仮想面ＴＳの断面を示している。

図２４に示すように、拡大パラメータ２７ｃに基づき、仮想面ＴＳのうち端点Ｐａから端点Ｐｂまでの部分が変更対象部分に指定され、拡大率としてｒが指定された場合を想定する。

本実施の形態においても、まず、基準点Ｏ（Ｘｏ，Ｙｏ）が求められる。この場合、水平方向の座標、すなわち、Ｘ座標及びＹ座標のみが考慮されて、端点Ｐａと端点Ｐｂとの中央点が導出される。そして、この中央点のＸ座標及びＹ座標を有する仮想面ＴＳ上の点が、基準点Ｏとされる。本実施の形態では、この基準点Ｏからの端点Ｐａ，Ｐｂまでの水平方向の距離が、変更対象部分の半径ｄとなっている。

次に、図２４に示すように、変更対象部分に含まれる点Ｐが、水平方向に移動され、点Ｐ’とされる。本実施の形態では、水平方向の座標（Ｘ座標及びＹ座標）の変更のみにより点Ｐを点Ｐ’に移動するため、Ｚ座標については演算対象から除外される。点Ｐから点Ｐ’までの移動量は、点Ｐから基準点Ｏまでの水平方向の距離が考慮される。

点Ｐから基準点Ｏまでの水平方向の距離をＲとすると、この距離Ｒは、点Ｐの水平方向の座標（ｘ，ｙ）と基準点Ｏの水平方向の座標（Ｘｏ，Ｙｏ）とを用いて、上述した数９で求められる。

点Ｐに関する拡大増加率Ｗは、この距離Ｒと、変更対象部分の半径ｄと、拡大率ｒとを用いて、上述した数５により求められる。したがって、本実施の形態でも、拡大増加率Ｗは、距離Ｒが小さいほど大きな値となる。ただし、距離Ｒが０の場合（点Ｐが基準点Ｏの場合）は、拡大増加率Ｗは０とされる。

また、点Ｐの移動先となる点Ｐ’から基準点Ｏまでの水平方向の距離をＲ’とすると、この距離Ｒ’は、上述した数６により求められる。そして、点Ｐの移動先となる点Ｐ’の座標（ｘ’，ｙ’）は、基準点Ｏの座標（Ｘｏ，Ｙｏ）、距離Ｒ、及び、距離Ｒ’を用いて、次の数１１で求められる。

このような演算は、変更対象部分に含まれる全ての点Ｐ（基準点Ｏを除く）に関して行われ、図２５に示すように、変更対象部分に含まれる全ての点Ｐ（基準点Ｏを除く）が点Ｐ’に移動される。本実施の形態でも、基準点Ｏまでの距離Ｒが小さい点Ｐほど移動量が大きくなり、基準点Ｏまでの距離Ｒが大きな点Ｐほど移動量が小さくなる。本実施の形態では、この点Ｐ’が変更対象部分に含まれる頂点の変更後の座標を表している。

このように点Ｐを点Ｐ’に移動することで、変更対象部分に含まれる頂点の座標が変更される。本実施の形態では、仮想面ＴＳの頂点の座標の変更に伴って、仮想面ＴＳの形状も変更される。このような仮想面ＴＳの頂点の座標の変更により、仮想面ＴＳに貼付されたデータ（被写体の像）のサイズも変更される。これにより、本実施の形態においても、対象領域ＴＲの中心近傍の被写体を大きく拡大して示す一方で、対象領域ＴＲの周縁近傍の被写体を圧縮して示す一部拡大画像ＣＰａが生成されることになる。

本実施の形態では、仮想面ＴＳの頂点の座標を車両９の接地面に沿った水平方向にのみ変更するため、一部拡大画像ＣＰａを生成するための演算量を大幅に低減できる。

＜４．第４の実施の形態＞
次に、第４の実施の形態について説明する。第４の実施の形態の画像表示システム１０の構成及び動作は、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態のパラメータ設定部２０ｂは、ユーザの操作に応じて対象領域ＴＲを設定していた。これに対して、第４の実施の形態のパラメータ設定部２０ｂは、車両９の周辺に存在する物体を検出する機能を有しており、物体の検出結果に応じて対象領域ＴＲを設定する。

図２６は、第４の実施の形態の画像表示システム１０の構成を示す図である。第４の実施の形態の画像表示システム１０は、図１に示す第１の実施の形態の構成に加えて物体検出装置７をさらに備えている。物体検出装置７は、車両９の周辺に存在する物体を検出する。物体検出装置７が物体を検出した結果を示す結果信号は、画像生成装置２に入力される。画像生成装置２の信号受信部２６は、この結果信号を受信して制御部２０に入力する。

図２７は、物体検出装置７の構成を主に示す図である。図に示すように、物体検出装置７は、装置全体を統括するソナー制御部７０と、複数のクリアランスソナー７２と、車室内に警告音を発するブザー７１とを備えている。

クリアランスソナー７２は、超音波を発信し、その超音波が物体で反射した反射波を受信することで、車両９の周辺に存在する物体を検出する。また、クリアランスソナー７２は、超音波を発信してから戻ってくるまでの時間に基づいて物体の距離を検出可能である。各クリアランスソナー７２の検出結果は、ソナー制御部７０に入力される。ソナー制御部７０は、ブザー７１を制御して、物体までの距離に応じた警告音をブザー７１から出力させる。これにより、ユーザは車両９の周辺に物体が存在することを把握できる。

図２８は、複数のクリアランスソナー７２が車両９に配置される位置を示す図である。複数のクリアランスソナー７２は、車両９の前方の左右端部、及び、車両９の後方の左右端部にそれぞれ設けられている。

各クリアランスソナー７２は、車両９の周辺の一部の周辺領域Ａ１１〜Ａ１４に向けて超音波を発信する。具体的には、車両９の前方の左端部に設けられるクリアランスソナー７２は、車両９の前方左側に設定される周辺領域Ａ１１に向けて超音波を発信する。また、車両９の前方の右端部に設けられるクリアランスソナー７２は、車両９の前方右側に設定される周辺領域Ａ１２に向けて超音波を発信する。また、車両９の後方の左端部に設けられるクリアランスソナー７２は、車両９の後方左側に設定される周辺領域Ａ１３に向けて超音波を発信する。さらに、車両９の後方の右端部に設けられるクリアランスソナー７２は、車両９の後方右側に設定される周辺領域Ａ１４に向けて超音波を発信する。

これら４つの周辺領域Ａ１１〜Ａ１４は、車両９に対して相対的に固定されて予め設定される。このようなクリアランスソナー７２の配置により、物体検出装置７は、４つの周辺領域Ａ１１〜Ａ１４のいずれかに存在する物体を検出できる。物体検出装置７は、物体を検出したクリアランスソナー７２の位置に基づいて、検出した物体の位置が４つの周辺領域Ａ１１〜Ａ１４のいずれであるかを把握できる。さらに、物体検出装置７は、検出した物体の距離を把握できる。

物体検出装置７の検出結果を示す結果信号は、このような物体の位置及び物体の距離を含む。ソナー制御部７０は、この結果信号を画像生成装置２に出力する。これにより、画像生成装置２のパラメータ設定部２０ｂは、物体検出装置７の検出結果を利用することができる。

パラメータ設定部２０ｂは、物体検出装置７が物体を検出した場合は、当該物体をユーザが詳細に確認しやすくするために、物体検出装置７が検出した物体の位置が対象領域ＴＲとなるように拡大パラメータ２７ｃを設定する。

例えば、物体検出装置７が、車両９の前方左側の周辺領域Ａ１１に存在する物体を検出した場合は、パラメータ設定部２０ｂは、車両９の前方左側の領域を対象領域ＴＲとして設定する。これにより、車両９の前方左側の領域に存在する被写体を拡大して示す一部拡大画像ＣＰａが生成され、表示装置３に表示される。この一部拡大画像ＣＰａを視認するユーザは、車両９の近傍に存在する物体を詳細に確認することができる。

＜５．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上記実施の形態では、一部拡大画像ＣＰａは、対象領域ＴＲの周縁の内側近傍の被写体を圧縮して示していた。これに対して、一部拡大画像ＣＰａは、対象領域ＴＲの周縁の外側近傍の被写体を圧縮して示すようにしてもよい。このようにしても、一部拡大画像ＣＰａに含まれる被写体と、一部拡大画像ＣＰａに含まれない被写体との連続性が保持される。

また、上記実施の形態では、画像生成部２２は、仮想面ＴＳの一部の座標を変更することで一部拡大画像ＣＰａを生成していた。これに対して、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲのうちの一部の撮影画像を拡大してから、これらの撮影画像のデータを仮想面ＴＳに貼付することで、一部拡大画像を生成してもよい。例えば、リアカメラ５Ｂの撮影画像ＳＢのみに関して被写体の像を拡大した後に、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲのデータを仮想面ＴＳに貼付すれば、車両９の後方に存在する被写体のみを拡大して示す一部拡大画像を生成できる。

また、上記実施の形態では、ピンチアウト操作に応答して拡大パラメータ２７ｃが設定されていたが、対象領域ＴＲ及び拡大率ｒなどを指定可能な設定画面を利用して拡大パラメータ２７ｃが設定されるようにしてもよい。

また、上記第１及び第２の実施の形態では、仮想面ＴＳの頂点の座標を変更する場合に、点Ｐを点Ｐ’に移動し、さらに点Ｐ’を仮想面ＴＳ上の点Ｐ”に移動していた。これに対して、点Ｐを点Ｐ’に移動するのみであってもよい。この場合は、仮想面ＴＳの頂点の座標の変更に伴って、仮想面ＴＳの形状も若干変更される。

また、上記第４の実施の形態の画像表示システム１０は、クリアランスソナー７２を用いて車両９の周辺に存在する物体を検出していた。これに対して、例えば、レーダー装置による物体検出や、撮影画像に基づく物体認識などの他の手法によって、車両９の周辺に存在する物体を検出してもよい。

また、上記実施の形態において一つのブロックとして説明した機能は必ずしも単一の物理的要素によって実現される必要はなく、分散した物理的要素によって実現されてよい。また、上記実施の形態で複数のブロックとして説明した機能は単一の物理的要素によって実現されてもよい。また、車両内の装置と車両外の装置とに任意の一つの機能に係る処理を分担させ、これら装置間において通信によって情報の交換を行うことで、全体として当該一つの機能が実現されてもよい。

また、上記実施の形態においてプログラムの実行によってソフトウェア的に実現されると説明した機能の全部又は一部は電気的なハードウェア回路により実現されてもよく、ハードウェア回路によって実現されると説明した機能の全部又は一部はソフトウェア的に実現されてもよい。また、上記実施の形態において一つのブロックとして説明した機能が、ソフトウェアとハードウェアとの協働によって実現されてもよい。

２ 画像生成装置
３ 表示装置
７ 物体検出装置
１０ 画像表示システム
２０ｂ パラメータ設定部
２２ 画像生成部
３１ タッチパネル
９０ 車両像
ＣＰ 合成画像
ＣＰａ 一部拡大画像

Claims (6)

1. 車両において用いられる画像生成装置であって、
   前記車両の周辺を撮影する複数のカメラで得られた複数の撮影画像を取得する取得手段と、
   前記複数の撮影画像を用いて、仮想視点からみた前記車両の周辺を示す合成画像を生成する生成手段と、
   を備え、
   前記生成手段は、ユーザ操作により任意の位置に前記仮想視点を設定可能であり、前記仮想視点に基づき生成された前記合成画像に対するピンチアウト操作により、２本の指が最初に触れた２点を通る円に相当する領域を対象領域とし、前記２本の指を広げた移動量を前記対象領域を拡大する拡大率として、前記合成画像の前記対象領域を、その他領域よりも拡大して生成する
   ことを特徴とする画像生成装置。
2. 請求項１に記載の画像生成装置において、
   前記ユーザ操作はフリック操作であることを特徴とする画像生成装置。
3. 請求項１に記載の画像生成装置において、
   前記画像生成手段は、前記合成画像を前記対象領域と前記その他領域とが、互いに連続性を保持した画像として生成することを特徴とする画像生成装置。
4. 車両において用いられる画像生成装置であって、
   前記車両の周辺を撮影する複数のカメラで得られた複数の撮影画像を取得する取得手段と、
   ユーザの操作を受け付ける操作受付手段と、
   前記複数の撮影画像を用いて、仮想視点からみた前記車両の周辺を示す合成画像を生成する生成手段と、
   を備え、
   前記生成手段は、前記操作受付手段が左右方向のユーザ操作を受け付けた場合は、前記仮想視点の位置を可変させた前記合成画像を生成し、
   前記ユーザ操作により可変された前記仮想視点に基づいて生成された前記合成画像が表示された状態において、前記操作受付手段がピンチアウト操作を受け付けた場合は、２本の指が最初に触れた２点を通る円に相当する領域を対象領域とし、前記２本の指を広げた移動量を前記対象領域を拡大する拡大率として、当該仮想視点の位置における前記合成画像を拡大する
   ことを特徴とする画像生成装置。
5. 車両において用いられる画像生成装置であって、
   前記車両の周辺を撮影する複数のカメラで得られた複数の撮影画像を取得する取得手段と、
   ユーザの操作を受け付ける操作受付手段と、
   前記複数の撮影画像を用いて、仮想視点からみた前記車両の周辺を示す合成画像を生成する生成手段と、
   を備え、
   前記生成手段は、前記合成画像に対して前記操作受付手段がピンチアウト操作を受け付けた場合は、２本の指が最初に触れた２点を通る円に相当する領域を対象領域とし、前記２本の指を広げた移動量を前記対象領域を拡大する拡大率として、当該仮想視点の位置における前記合成画像を拡大し、
   当該拡大された前記合成画像が表示された状態において、前記操作受付手段が左右方向のユーザ操作を受け付けた場合は、拡大状態のまま前記合成画像に対する前記仮想視点の位置を可変させる
   ことを特徴とする画像生成装置。
6. 請求項４または５に記載の画像生成装置は、車両像を有し、
   前記車両像は前記車両の三次元形状を示す車両モデルであり、三次元空間における前記車両の位置に配置され、前記仮想視点は直上以外の位置へ配置可能であることを特徴とする
   画像生成装置。

Images