JP5977130B2 - 画像生成装置、画像表示システム、および、画像生成方法 - Google Patents

Description

本発明は、車両において画像を生成して表示させる技術に関する。

従来から、自動車などの車両に搭載され、車載カメラで得られる撮影画像に基づいて車両の周辺の領域を示す画像を車室内のディスプレイに表示する画像生成装置が知られている。この画像生成装置を利用することにより、ユーザ（代表的にはドライバ）は車両の周辺の様子をほぼリアルタイムに把握することができる。

そして、車両の周囲は運転席のドライバから死角となる箇所が複数ある。例えば、車両の運転席の逆側となるフロントフェンダの外側領域（以下、「フロントフェンダ領域」という。）は運転席から死角となりやすく、車両の障害物となる物体が存在する場合、ドライバは車両と物体との間隔を把握しにくい。これに対して、画像生成装置は、次のような画像を生成する。例えば、画像生成装置は、車両のドライバの視点位置近傍を仮想視点の視点位置（以下、「ドライバ視点」ともいう。）とし、フロントフェンダ領域の方向を仮想視点の視線方向として生成される合成画像で、この合成画像に同様の仮想視点からみて車両が透過状態となる画像を重畳し、車両に備えられた表示装置に表示する表示画像（以下、「ドライバ視点画像」という。）を生成する。

しかしながら、このようなドライバ視点画像を表示装置に表示するのみでは、ユーザは表示画像における奥行きの情報が充分に得られない。そのため、車両のフロントフェンダ領域に物体が存在する場合、車両と物体との間隔を正確に把握することが困難な場合があった。

これに対して、ドライバ視点画像とは別の視点位置からみた画像を生成して表示装置に表示する技術がある。例えば、画像生成部が仮想視点の視点位置を車両位置の略中央の直上とし、視線方向を車両位置の直下方向として、車両の略直上から車両を見下ろすように車両、および、車両の周辺の領域を示す合成画像を生成し、この合成画像から表示装置に表示する表示画像（以下、「トップ視点画像」という）を生成し、トップ視点画像をドライバ視点画像と共に表示装置に表示する技術がある。なお、本発明と関連する技術を説明する資料としては特許文献１がある。

特開２０１１−６６７６３号公報

しかしながら、ドライバ視点画像とトップ視点画像とを表示装置に表示しても、ドライバ視点画像の中央部に示されている箇所、即ちドライバが注視すべき箇所（例えば、フロントフェンダ領域）は、トップ視点画像の画像中では、画像中央部から外れた位置（例えば、表示画像中央の車両の位置に対して左前方の位置）に表示される。そのため、その箇所の状況（例えば、フロントフェンダ領域に物体が存在する場合は、車両と物体との間隔）がトップ視点画像中の端の比較的小さい範囲に表示され、ユーザが確認したい箇所（この場合はフロントフェンダ領域）の状況を正確に把握できない場合があった。

本発明は、上記課題に鑑みてなされたものであり、車両のユーザが確認したい箇所の状況を、正確に把握できる画像を生成する技術を提供することを目的とする。

上記課題を解決するために、請求項１の発明は、車両に搭載されたカメラの撮影画像を取得する取得手段と、前記車両のドライバの視点位置近傍を仮想視点の視点位置とし、該視点位置から所定方向を前記仮想視点の視線方向として生成される画像で、該画像に含まれる前記車両の画像が透過画像である第１画像を前記撮影画像に基づいて生成する第１生成手段と、前記車両の外部の位置を前記仮想視点の視点位置とし、前記第１画像における前記仮想視点の視線方向の延長線上に位置する特定箇所を指し示す方向を前記仮想視点の視線方向として生成される第２画像を前記撮影画像に基づいて生成する第２生成手段と、前記第１画像の前記仮想視点の視線方向に応じて、前記第１画像に対する前記第２画像の表示位置を変更する変更手段と、を備える。

また、請求項２の発明は、請求項１に記載の画像生成装置において、前記第２生成手段は、前記特定箇所を拡大して示す拡大画像を生成する。

また、請求項３の発明は、請求項１または２に記載の画像生成装置と、前記画像生成装置から出力された前記第１画像、および、前記第２画像を表示する表示装置と、を備える。

また、請求項４の発明は、（ａ）車両に搭載されたカメラの撮影画像を取得する工程と、（ｂ）前記車両のドライバの視点位置近傍を仮想視点の視点位置とし、該視点位置から所定方向を前記仮想視点の視線方向として生成される画像で、該画像に含まれる前記車両の画像が透過画像である第１画像を前記撮影画像に基づいて生成する工程と、（ｃ）前記車両の外部の位置を前記仮想視点の視点位置とし、前記第１画像における前記仮想視点の視線方向の延長線上に位置する特定箇所を指し示す方向を前記仮想視点の視線方向として生成される第２画像を前記撮影画像に基づいて生成する工程と、前記第１画像の前記仮想視点の視線方向に応じて、前記第１画像に対する前記第２画像の表示位置を変更する工程と、を備える。

請求項１ないし５の発明によれば、異なる仮想視点からみた一つの箇所が複数の画像の各画像の中央部に表示され、自車両のユーザが確認したい箇所の状況を正確に把握できる。

また、特に請求項２の発明によれば、第２画像の中央部に表示される画像が拡大されることとなり、ユーザはドライバ視点で透過画像を重畳した合成画像だけでは把握できない自車両と物体との距離をより詳細に確認できる。

また、特に請求項３の発明によれば、各画像が表示される位置関係により、自車両のユーザは、各画像が自分の位置からみてどの方向を映す画像なのかを直感的に把握できる。

図１は、画像表示システムの構成を示す図である。 図２は、４つのカメラが撮影する方向を示す図である。 図３は、画像合成部が合成画像を生成する手法を説明する図である。 図４は、投影面を拡大した図である。 図５は、表示画像について説明する図である。 図６は、表示装置に表示される画像の切替えについて説明する図である。 図７は、画像生成装置の処理を説明するフローチャートである。 図８は、拡大画像を生成する場合の仮想視点の視点位置について説明する図である。 拡大画像を含む表示画像について説明する図である。 図１０は、自車両のドライバの視点位置近傍の仮想視点の視線方向が右前方の場合の仮想視点の設定について説明する図である。 図１１は、ドライバの視点位置近傍の仮想視点の視線方向が右前方の場合の表示画像について説明する図である。 図１２は、ドライバの視点位置近傍の仮想視点の視線方向が後方の場合の仮想視点の設定について説明する図である。 図１３は、ドライバの視点位置近傍の仮想視点の視線方向が後方の場合の表示画像について説明する図である。 図１４は、表示装置に表示される画像の切替えについて説明する図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．第１の実施の形態＞

＜１−１．構成＞

図１は、画像表示システム１０の構成を示す図である。この画像表示システム１０は、車両（本実施の形態では、自動車）において用いられるものであり、車両の周辺の領域を示す画像を生成して車室内に表示する機能を有している。画像表示システム１０のユーザ（代表的にはドライバ）は、この画像表示システム１０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できる。以下、この画像表示システム１０が搭載される車両を「自車両」という。

図に示すように、画像表示システム１０は、複数のカメラ５、画像生成装置２、表示装置３、および、操作ボタン４１を主に備えている。複数のカメラ５はそれぞれ、自車両の周辺を撮影して撮影画像を取得し、取得した撮影画像のデータを画像生成装置２に入力する。画像生成装置２は、自車両の周辺を示す撮影画像を用いて、後述する合成画像を生成し、合成画像から表示装置３に表示するための表示画像を生成する。表示装置３は、画像生成装置２で生成された表示画像を表示する。また、操作ボタン４１は、ユーザの操作を受け付ける。

複数のカメラ５はそれぞれ、レンズと撮像素子とを備えており、自車両の周辺を示す撮影画像のデータを取得する。複数のカメラ５は、フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、および、右サイドカメラ５Ｒを含んでいる。これら４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、自車両において互いに異なる位置に配置され、自車両の周辺の異なる方向を撮影する。

図２は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒがそれぞれ撮影する方向を示す図である。フロントカメラ５Ｆは、自車両９の前端に設けられ、その光軸５Ｆａは自車両９の直進方向に向けられる。リアカメラ５Ｂは、自車両９の後端に設けられ、その光軸５Ｂａは自車両９の直進方向の逆方向に向けられる。左サイドカメラ５Ｌは左側の左サイドミラー９３Ｌに設けられ、その光軸５Ｌａは自車両９の左側方（自車両９の直進方向の直交方向）に向けられる。また、右サイドカメラ５Ｒは右側の右サイドミラー９３Ｒに設けられ、その光軸５Ｒａは自車両９の右側方（自車両９の直進方向の直交方向）に向けられる。

これらのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのレンズには魚眼レンズなどの広角レンズが採用され、各カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは１８０度以上の画角θを有している。このため、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒを利用することで、自車両９の全周囲を撮影することが可能である。

図１に戻り、表示装置３は、例えば、液晶などの薄型の表示パネルを備えており、各種の情報や画像を表示する。表示装置３は、ユーザがその画面を視認できるように、自車両９のインストルメントパネルなどに配置される。表示装置３は、画像生成装置２と同一のハウジング内に配置されて画像生成装置２と一体化されていてもよく、画像生成装置２とは別体の装置であってもよい。表示装置３は、表示パネルに重ねてタッチパネル３１、および、表示パネルの外周近傍にハードボタン３２を備えており、ユーザの操作を受け付けることが可能である。

操作ボタン４１は、ユーザの操作を受け付ける操作部材である。操作ボタン４１は、例えば、自車両９のステアリングホイールに設けられており、主にドライバからの操作を受け付ける。ユーザは、この操作ボタン４１と、表示装置３のタッチパネル３１およびハードボタン３２とを介して画像表示システム１０に対する各種の操作を行うことができる。なお、以下では、この操作ボタン４１と、表示装置３のタッチパネル３１およびハードボタン３２とを操作部４という。操作部４によりユーザの操作がなされた場合は、その操作の内容を示す操作信号が画像生成装置２に入力される。

画像生成装置２は、各種の画像処理が可能な電子装置であり、画像取得部２１と、画像合成部２２と、画像調整部２３と、画像出力部２４とを主に備えている。

画像取得部２１は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒでそれぞれ得られた撮影画像のデータを取得する。画像取得部２１は、例えば、アナログの撮影画像をデジタルの撮影画像に変換する機能などの画像処理機能を有している。画像取得部２１は、取得した撮影画像のデータに所定の画像処理を行い、処理後の撮影画像のデータを画像合成部２２、および、画像調整部２３に入力する。

画像合成部２２は、合成画像を生成するための画像処理を行うハードウェア回路である。画像合成部２２は、複数のカメラ５で取得された複数の撮影画像を合成して、仮想視点からみた自車両９の周辺を示す合成画像を生成する。画像合成部２２は、自車両９の周辺に相当する仮想の投影面に複数の撮影画像のデータを投影し、投影面上のデータを用いて合成画像を生成する。この合成画像を生成する手法の詳細については後述する。

画像調整部２３は、表示装置３で表示するための表示画像を生成する。画像調整部２３は、例えば、複数の合成画像を一つの表示画像として表示装置３に表示させる場合に、表示画像中の各合成画像の表示位置を決定し、表示装置３への表示画像を生成する。

画像出力部２４は、画像調整部２３で生成された表示画像を表示装置３に出力して、表示画像を表示装置３に表示させる。これにより、仮想視点からみた自車両９の周辺を示す表示画像が表示装置３に表示される。

また、画像生成装置２は、制御部２０と、操作受付部２５と、記憶部２７とをさらに備えている。制御部２０は、例えば、ＣＰＵ、ＲＡＭ、および、ＲＯＭなどを備えたマイクロコンピュータであり、画像生成装置２の全体を統括的に制御する。

操作受付部２５は、ユーザが操作を行った場合に操作ボタン４１、タッチパネル３１、および、ハードボタン３２の操作部４から出力される操作信号を受信する。これにより、操作受付部２５はユーザの操作を受け付ける。操作受付部２５は、受信した操作信号を制御部２０に入力する。

記憶部２７は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２７は、ファームウェアとしてのプログラム２７ａや、合成画像、および、表示画像を生成するときに用いる各種のデータを記憶する。合成画像の生成に用いられるデータの例として、仮想視点の視点位置および視線方向を含む仮想視点データ２７ｂがある。また、表示画像の生成に用いられるデータの例として、表示画像中の合成画像の表示位置を定める画像位置データ２７ｃがある。

制御部２０の各種の機能は、記憶部２７に記憶されたプログラム２７ａ等に従ってＣＰＵが演算処理を行うことで実現される。つまり、図中に示す画像制御部２０ａは、プログラム２７ａ等に従ってＣＰＵが演算処理を行うことで実現される機能部の一部である。

画像制御部２０ａは、合成画像を生成する画像合成部２２、および、表示画像を生成する画像調整部２３を主に制御する。画像制御部２０ａは画像合成部２２、および、画像調整部２３を制御して、合成画像を含む表示画像を生成する。

＜１−２．合成画像の生成＞

次に、画像合成部２２が、仮想視点からみた自車両９の周辺の状況を示す合成画像を生成する手法について説明する。図３は、画像合成部２２が合成画像を生成する手法を説明する図である。

フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、および、右サイドカメラ５Ｒのそれぞれで撮影が行われると、自車両９の前方、後方、左側方、および、右側方をそれぞれ示す４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲが取得される。これら４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲには、自車両９の全周囲のデータが含まれている。

画像合成部２２は、まず、これら４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲに含まれるデータ（各画素の値）を、仮想的な三次元空間における投影面ＴＳに投影する。投影面ＴＳは、自車両９の周辺の領域に相当する仮想の立体面である。投影面ＴＳの中心領域は、自車両９の位置となる車両領域Ｒ０として定められている。

投影面ＴＳでは、車両領域（自車両９の位置）Ｒ０には撮影画像のデータは投影されず、車両領域Ｒ０の外側の領域に撮影画像のデータが投影される。以下、投影面ＴＳにおいて、撮影画像のデータが投影される領域（車両領域Ｒ０の外側の領域）を、「投影対象領域」という。

また、車両領域Ｒ０には自車両９の三次元形状を示すポリゴンモデルである車両像ＰＧを仮想的に備えている。構成された車両像ＰＧは、投影面ＴＳが設定される三次元空間において、自車両９の位置と定められた略半球状の中心部分に配置される。

投影面ＴＳの投影対象領域における各位置は、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲのいずれかと、テーブルデータ等の対応情報によって対応付けられている。画像合成部２２は、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲのデータをそれぞれ投影対象領域の対応する部分に投影する。

画像合成部２２は、投影対象領域において自車両９の前方に相当する部分ＰＦに、フロントカメラ５Ｆの撮影画像ＳＦのデータを投影する。また、画像合成部２２は、投影対象領域において自車両９の後方に相当する部分ＰＢに、リアカメラ５Ｂの撮影画像ＳＢのデータを投影する。さらに、画像合成部２２は、投影対象領域において自車両９の左側方に相当する部分ＰＬに左サイドカメラ５Ｌの撮影画像ＳＬのデータを投影し、投影対象領域において自車両９の右側方に相当する部分ＰＲに右サイドカメラ５Ｒの撮影画像ＳＲのデータを投影する。

このように投影面ＴＳの投影対象領域の各部分に撮影画像のデータを投影すると、画像合成部２２は、自車両９の三次元形状を示すポリゴンのモデルを仮想的に構成する。この自車両９のモデルは、投影面ＴＳが設定される三次元空間における自車両９の位置である車両領域Ｒ０に配置される。

次に、画像合成部２２は、三次元空間に対して仮想視点を設定し合成画像を生成する。詳細には、画像合成部２２は、後述する方向選択画像（例えば、図６に示す方向選択画像ＳＥ）の方向選択ボタンＢ２に対して、ユーザが操作部４を用いて選択した方向の操作信号に基づく画像制御部２０ａの制御により、記憶部２７から仮想視点データ２７ｂを読出す。つまり、ユーザの操作する全ての方向に対応した仮想視点の視点位置、および、視線方向のデータが仮想視点データ２７ｂとして予めメモリに記憶され、ユーザの操作した方向に応じた仮想視点の視点位置および視線方向のデータが記憶部２７から読み出される。
そして、画像合成部２２は仮想視点データ２７ｂに基づいて、視点位置および視線方向の異なる２つの仮想視点である仮想視点ＶＰａおよびＶＰｂを設定する。なお、以下では仮想視点ＶＰａおよびＶＰｂに基づく複数の合成画像の生成について説明するが、画像合成部２２によるこれらの合成画像の生成は、時間的に異なるタイミングで行ってもよいし、同時に行ってもよい。

図４は、図３に示す投影面ＴＳを拡大した図である。この図４を用いて仮想視点ＶＰａ、および、仮想視点ＶＰｂに基づく合成画像の生成について具体的に説明する。なお、以下、投影面ＴＳを用いて合成画像を生成する説明においては方向、および、向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は自車両９に対応する車両像ＰＧの略中心部分（自車両９の直進方向における車体中央部、自車両９の車幅方向の車体中央部、および、自車両９の高さ方向の車体中央部）をＸＹＺ軸の原点として相対的に固定される。ここで、Ｘ軸方向は車両像ＰＧの左右方向に沿い、Ｙ軸方向は車両像ＰＧの前後方向に沿い、Ｚ軸方向は車両像ＰＧの高さ方向（鉛直方向）に沿っている。また、便宜上、＋Ｘ側を車両像ＰＧ（自車両９）の右側、＋Ｙ側を車両像ＰＧ（自車両９）の前側、＋Ｚ側を車両像ＰＧ（自車両９）の上側とする。

画像合成部２２は、方向選択ボタンＢ２でユーザが操作部４を用いて選択した方向の操作信号に基づき、自車両９（車両像ＰＧ）のドライバの視点位置近傍（原点に対して＋Ｘ側、＋Ｙ側、および、Ｚ軸原点の位置）を視点位置とし、この視点位置から所定方向（例えば、フロントフェンダ領域の方向（原点に対して−Ｘ方向、＋Ｙ方向、および、−Ｚ方向）を視線方向とする仮想視点ＶＰａを設定する。また、画像合成部２２は、仮想視点ＶＰａが設定されたことに伴い、自車両９の外部の位置（例えば、車両領域Ｒ０の外側の領域で、自車両９の左前方のドライバの視点位置よりも高い位置（原点に対して−Ｘ側、＋Ｙ側、および、＋Ｚ側の位置）を視点位置とし、仮想視点ＶＰａの視線方向の延長線上に位置する特定箇所ＰＴａを指し示す方向（原点に対してＸ軸原点、Ｙ軸原点、および、−Ｚ方向））を視線方向とする仮想視点ＶＰｂを設定する。

図３に戻り、画像合成部２２は、投影面ＴＳにおいて設定された仮想視点ＶＰａ、および、仮想視点ＶＰｂからみて所定の視野角に含まれる領域に投影されたデータを画像として切り出す。そして、画像合成部２２は仮想視点ＶＰａに基づいて合成画像ＩＭａを生成し、仮想視点ＶＰｂに基づいて合成画像ＩＭｂを生成する。そして、これらの合成画像ＩＭａおよびＩＭｂは図５に示す表示画像ＯＵａとして表示される。

図５は、表示画像ＯＵａについて説明する図である。表示画像ＯＵａ中には合成画像ＩＭａおよびＩＭｂが表示されている。詳細には、表示画像ＯＵａに対して向かって右側が合成画像ＩＭａの表示位置となり、表示画像ＯＵａに対して向かって左側が合成画像ＩＭｂの表示位置となっている。

合成画像ＩＭａは、視点位置をドライバ視点とし、視線方向をフロントフェンダ領域の方向とする仮想視点に基づいて、投影面ＴＳにおいて切り出された画像に、同じ視点位置および視線方向に基づく自車両９の車両像を透過状態とした画像（以下、「透過画像９１」という。）を重畳した合成画像である。この透過画像９１は、自車両９のモデルに対して仮想視点ＶＰａに応じてレンダリングを行い生成されたものである。そして、合成画像ＩＭａの中央部には、投影面ＴＳが設定される三次元空間における仮想視点ＶＰａの視線方向の延長線上に位置する箇所、即ちドライバが注視する箇所である特定箇所ＰＴａに対応する画像が表示されている。

また、合成画像ＩＭｂは、視点位置を自車両９の外側である自車両９のフロントフェンダ領域の直上とし、視野方向をフロントフェンダ領域の方向とする仮想視点に基づいて、投影面ＴＳにおいて切り出された画像に、同じ視点位置および視線方向に基づく自車両９の車両像を非透過状態とした画像(以下、「車両像９２」という。)を重畳した合成画像である。この車両像９２は、自車両９のモデルに対して仮想視点ＶＰｂに応じてレンダリングを行い生成されたものである。そして、合成画像ＩＭｂの中央部には、投影面ＴＳが設定される三次元空間における仮想視点ＶＰｂの視線方向の延長線上に存在する特定箇所ＰＴａに対応する画像が表示されている。

そして、図５に示すように特定箇所ＰＴａが複数の合成画像の各画像の中央部に表示されることで、自車両９のユーザは確認したい箇所の状況を正確に把握できる。詳細には、一方はドライバ視点の合成画像ＩＭａで、他方は自車両９の外側の視点の合成画像ＩＭｂという異なる仮想視点からみた複数の合成画像を含む表示画像ＯＵａを表示することで、ユーザは、自車両９の周辺に存在する物体の位置を死角なしにドライバの視線位置および視線方向で把握することができる。また、ユーザは、ドライバ視点だけでは正確に認識できない自車両９と物体との距離も自車両９の外部の位置を視点位置として、特定箇所ＰＴａを画像中央部に表示する合成画像ＩＭｂにより、即座にかつ正確に認識することができる。

なお、合成画像ＩＭａ、および、合成画像ＩＭｂ中に示された特定箇所ＰＴａの指標は説明のために示したものであり、表示装置３に表示される実際の表示画像ＯＵａの合成画像ＩＭａおよびＩＭｂにはこの特定箇所ＰＴａの指標は表示されない。

また、表示画像ＯＵａの各合成画像には他車両１０１の画像が表示されているが、この他車両１０１が自車両９の近傍に存在しない場合も画像合成部２２が仮想視点ＶＰａ、および、ＶＰｂに基づく合成画像を生成し、この合成画像に基づき画像調整部２３が生成した表示画像を表示装置３が表示する。つまり、自車両９の周辺の物体の存在の有無に関わらず、仮想視点ＶＰａおよびＶＰｂに基づいて、合成画像ＩＭａおよびＩＭｂを含む表示画像ＯＵａが生成される。

なお、表示画像ＯＵａにおける各合成画像の表示位置の決定は、画像調整部２３が行う。図３に戻り、画像調整部２３は画像制御部２０ａの制御により、記憶部２７から画像位置データ２７ｃを読出す。そして、画像調整部２３が画像位置データ２７ｃに基づいて、表示画像中の合成画像ＩＭａと合成画像ＩＭｂの表示位置を決定し表示画像を生成する。 そして、画像出力部２４が、画像調整部２３で生成された表示画像を表示装置３に出力して、表示画像を表示装置３に表示させる。

＜１−３．画像の切替＞

図６は、表示装置３に表示される画像の切替えについて説明する図である。ここでは、表示装置３がユーザに対して目的地までのルート案内を行うナビゲーション機能を有している場合を例に説明を行う。図６の上段の画像は、ナビゲーション機能を実行する場合に表示されるナビゲーション画像ＮＡであり、中断の画像はユーザがユーザの見たい方向を選択する方向選択画像ＳＥである。また、図６の下段の画像は表示画像ＯＵａである。これらの画像はユーザの操作部４を用いた操作に応じて切替えが可能である。

表示装置３は、図示しない表示装置３の記憶部に地図画像データ等のナビゲーション機能に使用するデータが記録されており、ナビゲーション機能を実行する際に、それらのデータが読み出されて、表示装置３にナビゲーション画像ＮＡが表示される。ナビゲーション画像ＮＡには、地図画像に重畳して自車両９の現在位置を示す指標ＧＰ、詳細機能ボタンＢ０、および、周辺画像ボタンＢ１が主に表示され、このうち詳細機能ボタンＢ０および周辺画像ボタンＢ１の機能は、操作部４のタッチパネル３１に対してユーザが指などを接触させて操作することで実行される。

ここで、詳細機能ボタンＢ０をユーザが操作すると、例えばナビゲーション画像ＮＡからナビゲーション機能以外の他の各種機能に関する表示画像に切替わる。そして、周辺画像ボタンＢ１をユーザが操作すると、図６に示すようにナビゲーション画像ＮＡから、ユーザが見たい方向を設定する方向選択画像ＳＥに切替わる。

方向選択画像ＳＥは、ユーザがユーザの見たい方向を選択する際に操作する方向選択ボタンＢ２と、戻るボタンＢ３とが表示されている。ユーザが方向選択ボタンＢ２に示される８つの方向（前方、右前方、右、右後方、後方、左後方、左、および、左前方）のうちいずれかの方向を選択すると、その方向に対応した仮想視点の視点位置および視線方向の仮想視点データ２７ｂが記憶部２７から読み出されて仮想視点が設定され、仮想視点に対応した表示画像ＯＵａに切替わる。なお、ユーザが戻るボタンＢ３を操作すると、方向選択画像ＳＥからナビゲーション画像ＮＡに切替わる。なお、方向選択ボタンＢ２に示す８つの方向は一例であり方向の数を加減してもよい。

表示画像ＯＵａ中には合成画像ＩＭａおよびＩＭｂが表示されると共に，戻るボタンＢ４が表示されている。ユーザが戻るボタンＢ４を操作すると、表示画像ＯＵａから方向選択画像Ｂ３に切替わる。なお、ユーザが戻るボタン４を操作した場合に、方向選択画像ＳＥに代えて、ナビゲーション画像ＮＡに切替わるようにしてもよい。

＜１−４．処理＞

図７は、画像生成装置２の処理を説明するフローチャートである。画像生成装置２の操作受付部２５がユーザの操作よる操作部４からの操作信号、即ち、ユーザが図６のナビゲーション画像ＮＡの周辺画像ボタンＢ１を操作して、方向選択画像ＳＥの方向選択ボタンＢ２を操作した操作信号を受信した場合（ステップＳ１０１でＹｅｓ）、画像合成部２２が画像制御部２０ａの制御により、仮想視点データ２７ｂに基づいて仮想視点ＶＰａと仮想視点ＶＰｂとの視点位置、および、視線方向を設定する（ステップＳ１０２）。一方、操作受付部２５が操作信号を受信していない場合（ステップ１０１でＮｏ）は、処理を終了する。

次に、画像合成部２２が、投影面ＴＳにおいて設定された仮想視点ＶＰａ、および、仮想視点ＶＰｂからみて所定の視野角に含まれる領域に投影されたデータを画像として切り出す処理を行う。そして、画像合成部２２は、仮想視点ＶＰａに基づいて切り出した画像に対して透過画像９１を重畳し、合成画像ＩＭａを生成する。また、画像合成部２２は仮想視点ＶＰｂに基づいて切り出した画像に対して車両像９２を重畳し、合成画像ＩＭｂを生成する（ステップＳ１０３）。

次に、画像調整部２３が、画像制御部２０ａの制御により記憶部２７から読み出された画像位置データ２７ｃに基づいて表示画像中の合成画像ＩＭａ、および、合成画像ＩＭｂの表示位置を決定し、表示画像ＯＵａ生成する（ステップＳ１０４）。

次に、画像出力部２４が、画像調整部２３で生成された表示画像ＯＵａを表示装置３に出力して表示させる(ステップＳ１０５)。この結果、仮想視点ＶＰａおよびＶＰｂからみた自車両９の周辺を示す表示画像ＯＵａが表示装置３に表示される。このように特定箇所ＰＴａが複数の合成画像の各画像の中央部に表示されることで、自車両９のユーザは確認したい箇所の状況を正確に把握できる。詳細には、一方はドライバ視点の合成画像ＩＭａで、他方は自車両９の外側の視点の合成画像ＩＭｂという異なる仮想視点からみた複数の合成画像を含む表示画像ＯＵａを表示することで、ユーザは、自車両９の周辺に存在する物体の位置を死角なしにドライバの視線位置および視線方向で把握することができる。また、ユーザは、ドライバ視点だけでは正確に認識できない自車両９と物体との距離も自車両９の外部の位置を視点位置として、特定箇所ＰＴａを画像中央部に表示する合成画像ＩＭｂにより、即座にかつ正確に認識することができる。

＜２．第２の実施の形態＞

次に、第２の実施の形態について説明する。第２の実施の形態の画像表示システム１０の画像生成装置２では、上述の第１の実施の形態で説明したように、画像合成部２２が、方向選択ボタンＢ２でユーザが操作部４を用いて選択した方向の操作信号に基づく画像制御部２０ａの制御により、記憶部２７から仮想視点データ２７ｂを読出す。そして、画像合成部２２は仮想視点データ２７ｂに基づいて、視点位置および視線方向の異なる２つの仮想視点を設定して合成画像を生成する。その中で、この第２の実施の形態では、自車両９の外部の位置を仮想視点の視点位置とする合成画像において、投影面ＴＳの特定箇所ＰＴａを拡大して示す合成画像(以下、「拡大画像」という。)を生成する。

即ち、第１の実施の形態での自車両９の外部の位置を仮想視点の視点位置とする合成画像ＩＭｂに対して、視点位置をより特定箇所ＰＴａに近づけた合成画像生成する。ここで、拡大画像とは、例えば、ワールド（実空間上の）座標において特定箇所ＰＴａを略中心とした半径約１ｍ範囲が一つの合成画像上で５０％以上を占める画像をいう。

第２の実施の形態の画像表示システムの１０の構成および処理は、第１の実施の形態とほぼ同様であるが、このように自車両９の外部の位置を仮想視点の視点位置とする合成画像において、拡大画像を生成する点で、一部が相違する。このため以下、図８および図９を用いて相違点を中心に説明する。

図８は、拡大画像を生成する場合の仮想視点の視点位置について説明する図である。図８に示すように拡大画像の仮想視点ＶＰｃの視点位置は、図４に示した仮想視点ＶＰｂの視点位置よりも、仮想視点ＶＰｃの視点位置と特定箇所ＰＴａとの距離が近づいている。つまり、仮想視点ＶＰｃの視点位置は、仮想視点ＶＰｂよりも車両像ＰＧの前方方向（原点に対して＋Ｙ方向）に移動した視点位置となっている。なお、仮想視点ＶＰｃの視野方向は仮想視点ＶＰｂとは変わらず、さらにドライバの視点位置近傍の仮想視点ＶＰａの視点位置および視野方向も変更はない。

そして、画像合成部２２が仮想視点ＶＰａおよび仮想視点ＶＰｃに基づいて、後述する図９に示す合成画像ＩＭａおよび合成画像ＩＭｃを含む表示画像ＯＵｂを生成する。このように、表示画像中の複数の合成画像のうちユーザが確認したい箇所の状況を最も把握しやすい一つの合成画像のみが拡大画像として表示されることで、表示画像においてユーザが注視すべき部分が明確となり、ユーザはその箇所の状況をより正確に把握できる。

図９は、拡大画像を含む表示画像ＯＵｂについて説明する図である。図９の拡大画像である合成画像ＩＭｃの特定箇所ＰＴａに対応する合成画像中の画像の範囲は、図５に示す合成画像ＩＭｂの特定箇所ＰＴａに対応する合成画像中の範囲と比べて増加している。つまり、特定箇所ＰＴａを略中心とした半径約１ｍの範囲が合成画像ＩＭｃ上で５０％以上となることで、この合成画像ＩＭｃが拡大画像となる。このように特定箇所ＰＴａに対応する画像が合成画像ＩＭｃの中央部に表示された状態で、当該特定箇所ＰＴａに対応する画像を拡大できるため、ユーザはドライバ視点で透過画像９１を重畳した合成画像ＩＭａだけでは把握できない自車両９と物体との距離をより詳細に確認できる。

なお、このような拡大画像の表示は、ユーザの操作に応じてユーザの任意のタイミングで表示装置３に表示できる。つまり、図５に示した表示画像ＯＵａを表示装置３に表示した後、ユーザの操作部４の操作により表示画像ＯＵａに替えて表示画像ＯＵｂを表示装置３に表示するようにしてもよいし、表示画像ＯＵａを表示装置３に表示することなく、ユーザの操作部４の操作により表示画像ＯＵｂを表示装置３に表示するようにしてもよい。

＜３．第３の実施の形態＞

次に、第３の実施の形態について説明する。第３の実施の形態の画像表示システム１０の画像生成装置２は、表示画像中に表示される複数の合成画像の表示位置が、自車両９のドライバの視点位置近傍の仮想視点の視線方向（例えば、第１の実施の形態で説明した仮想視点ＶＰａの視線方向）に応じて変更される表示画像を生成する。つまり、第３の実施の形態では、第１の実施の形態で、画像位置データ２７ｃにより表示画像中の所定の表示位置に表示されるとした自車両９の外部の位置を視点位置とする合成画像の表示位置がドライバ視点の視線方向に応じて変化する。

詳細には、方向選択画像ＳＥの方向選択ボタンＢ２でユーザが選択した方向（例えば、右方向）をドライバ視点に基づいて生成される合成画像(例えば、後述する図１１に示す表示画像ＯＵｃの合成画像ＩＭｄ)の視線方向とする。そして、自車両９の外部の位置を視点位置とする合成画像（例えば、図１１に示す合成画像ＩＭｅ）の表示位置をユーザの選択した方向（例えば、右方向）に対応した表示位置とする。具体的には、図１１に示すように合成画像ＩＭｄに対して向かって右側が合成画像ＩＭｅの表示位置となる。これにより表示画像中に表示されている合成画像の表示位置をドライバーの感覚に一致させられる。

なお、第３の実施の形態の画像表示システム１０の構成、および、処理は第１の実施の形態とほぼ同様であるが、このように仮想視点ＶＰａの視線方向に応じて、表示画像中に表示される合成画像の表示位置が変更される点で一部が相違する。このため以下、図１０から図１４を用いて相違点を中心に説明する。

＜３−１．合成画像の生成＞

自車両９のドライバの視点位置近傍が視点位置となる仮想視点の視線方向が、自車両９の右前方の場合に生成される合成画像の表示画像中の表示位置について説明する。図１０は、ドライバの視点位置近傍の仮想視点の視線方向が右前方の場合の仮想視点の設定について説明する図である。

画像合成部２２は、方向選択ボタンＢ２でユーザが操作部４を用いて選択した方向の操作信号に基づく画像制御部２０ａの制御により、記憶部２７から仮想視点データ２７ｂを読出し、図１０に示す仮想視点ＶＰｄおよび仮想視点ＶＰｅを設定する。具体的には画像合成部２２は、自車両９のドライバの視点位置近傍（原点に対して＋Ｘ側、＋Ｙ側、および、Ｚ軸原点の位置）を視点位置とし、この視点位置から所定方向（例えば、自車両９のドライバの運転席側のフロントフェンダの外側領域の方向（原点に対して＋Ｘ方向、＋Ｙ方向、および、−Ｚ方向））を視線方向とする仮想視点ＶＰｄを設定する。また、画像合成部２２は、自車両９の外部の位置（例えば、車両領域Ｒ０の外側の領域で、自車両９の右後方の位置（原点に対して＋Ｘ側、−Ｙ側、および、＋Ｚ側の位置））を視点位置とし、仮想視点ＶＰｄの視線方向の延長線上に位置する特定箇所ＰＴｂを指し示す方向（原点に対して＋Ｘ方向、＋Ｙ方向、および、−Ｚ方向）を視線方向とする仮想視点ＶＰｅを設定する。

図１１は、ドライバの視点位置近傍の仮想視点の視線方向が右前方の場合の表示画像ＯＵｃについて説明する図である。表示画像ＯＵｃに対して向かって左側が合成画像ＩＭｄの表示位置で、合成画像ＩＭｄの隣(表示画像ＯＵｃに対して向かって右側)が合成画像ＩＭｅの表示位置となっている。

そして、上述のように合成画像ＩＭｄの自車両９のドライバの視点位置近傍を視点位置とする仮想視点ＶＰｄは、その視線方向を自車両９のドライバの運転席側のフロントフェンダの外側領域の方向として生成された画像である。つまり、自車両９に対して右前方（原点に対して＋Ｘ方向、＋Ｙ方向、および、−Ｚ方向）を視線方向としている。そのため、画像調整部２３は表示画像ＯＵｃ中の合成画像ＩＭｄに対する合成画像ＩＭｅの表示位置を仮想視点ＶＰｄの視線方向に対応させて右側とする。画像調整部２３は、このようにドライバ視点位置近傍を視点位置とする仮想視点の視線方向に応じて、ドライバの視点位置近傍の仮想視点に基づく合成画像（ドライバ視点画像）の表示位置に対する他の合成画像の表示位置を変更する。このように各合成画像の表示される位置関係により、ユーザは、各合成画像が自分の位置からみてどの方向を映す画像なのかを直感的に把握できる。

次に、別の例として自車両９のドライバの視点位置近傍が視点位置となる仮想視点の視線方向が自車両９の後方の場合に生成される合成画像の表示画像中の表示位置について説明する。図１２は、ドライバの視点位置近傍の仮想視点の視線方向が後方の場合の仮想視点の設定について説明する図である。画像合成部２２は、方向選択ボタンＢ２でユーザが操作部４を用いて選択した方向の操作信号に基づく画像制御部２０ａの制御により、記憶部２７から仮想視点データ２７ｂを読出し、図１２に示す仮想視点ＶＰｆおよび仮想視点ＶＰｇを設定する。

具体的には画像合成部２２は、自車両９のドライバの視点位置近傍（原点に対して＋Ｘ側、＋Ｙ側、および、Ｚ軸原点の位置）を視点位置とし、この視点位置から所定方向（例えば、自車両９のリアバンパの領域の方向（原点に対してＸ軸原点、−Ｙ方向、および、Ｚ軸原点））を視線方向とする仮想視点ＶＰｆを設定する。また、画像合成部２２は、自車両９の外部の位置（例えば、車両領域Ｒ０の外側の領域で、車両像ＰＧの後方で、車両像ＰＧの直上の位置（原点に対して、Ｘ軸原点、−Ｙ側、および、＋Ｚ側）を視点位置とし、仮想視点ＶＰｆの視線方向の延長線上に位置する特定箇所ＰＴｃを指し示す方向（原点に対してＸ軸原点、−Ｙ方向、および、−Ｚ方向）を視線方向とする仮想視点ＶＰｇを設定する。

図１３は、ドライバの視点位置近傍の仮想視点の視線方向が後方の場合の表示画像ＯＵｄについて説明する図である。表示画像ＯＵｄ中の上側が合成画像ＩＭｆの表示位置で、表示画像ＯＵｄ中の下側が合成画像ＩＭｇの表示位置となっている。つまり、合成画像ＩＭｆの下側に合成画像ＩＭｇが位置している。

そして、上述のように合成画像ＩＭｆの自車両９のドライバの視点位置近傍を視点位置とする仮想視点ＶＰｆは、その視線方向を自車両９の後方でリアバンパの方向として生成された画像である。つまり、自車両９に対して後方（原点に対してＸ軸原点、−Ｙ方向、および、Ｚ軸原点）を視線方向としている。そのため、画像調整部２３は表示画像ＯＵｄ中の合成画像ＩＭｆに対する合成画像ＩＭｇの表示位置を仮想視点ＶＰｆの視線方向に対応させて合成画像ＩＭｆの下側とする。

さらに別の例としてドライバの視点位置近傍の仮想視点の視線方向が自車両９に対して前方（原点に対してＸ軸原点、＋Ｙ方向、および、Ｚ軸原点）の場合は、ドライバの視点位置近傍の仮想視点に対応する一方の合成画像に対して、他方の合成画像の表示位置を上側としてもよい。そして、ドライバの視点位置近傍の仮想視点の視線方向に応じて、ドライバ視点画像に対する他の合成画像の表示位置は、これまで述べた表示位置以外の表示位置としてもよい。

＜３−２．画像の切替＞

図１４は、表示装置３に表示される画像の切替えについて説明する図である。図１４の方向選択画像ＳＥにおいてユーザが、例えば後方ボタンＢ４４を操作すると、図１２および図１３を用いて説明した画像合成部２２による仮想視点の設定に基づく合成画像の生成と、画像調整部２３による表示画像中の各合成画像の表示位置の決定により、図１４に示す表示画像ＯＵｄが表示装置３に表示される。また、方向選択ボタンＢ２におけるその他の方向のボタン（例えば、左前方ボタン４２や右前方ボタン４３など）をユーザが選択することで、図５を用いて説明した表示画像ＯＵａや図１１を用いて説明した表示画像ＯＵｃなどが表示装置３に表示される。

＜４．変形例＞

以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態、および、以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上記実施の形態では、表示画像中の２つの合成画像の視点位置および視線方向について具体的な例を示して説明したが、これらの合成画像において、ドライバ視点の合成画像の視線方向と、自車両の外部の視点の視点位置および視線方向とは、上記以外の視点位置および視線方向であってもよい。

上記実施の形態では、自車両９のユーザが操作部４を操作したことに伴う、操作信号を操作受付部２５が受信した場合に、画像生成装置２が複数の合成画像を含む表示画像を生成することについて説明した。これに対して、その他の条件により画像生成装置２が表示画像を生成するようにしてもよい。例えば、自車両９がレーダ装置やクリアランスソナーなどの自車両９の周辺の物体を検出可能なセンサを搭載している場合、これらのセンサが検出した物体の位置が、自車両９と物体とが所定の位置関係の条件を満たす場合（例えば、自車両９に対して比較的近い距離に物体検出された場合）に、画像生成装置２がセンサが検出した物体の位置を中心とした複数の合成画像を含む表示画像を生成するようにしてもよい。

ここで、上記センサにより所定の位置関係の条件を満たす物体が複数検出された場合は、例えば、自車両９に搭載された視線センサにより検出された自車両９のドライバの視線方向に存在する物体の位置情報に基づいて、画像生成装置２が表示画像を生成するようにしてもよい。

その他にも自車両９がＩＧ-ＯＮされた場合、自車両９のシフト切替えが行われた場合、車両速度が所定速度を超えた場合、ステアリングホイールの回転角が所定角度を超えた場合など、自車両９に関する何らかの情報を画像生成装置２が取得した場合に、この画像生成装置２が表示画像を生成するようにしてもよい。例えば、自車両９のシフトの位置が自車両９を後退させる位置（リバース）とされた場合、例えば、ユーザが方向選択画像ＳＥの方向選択ボタンＢ２の「後方」を選択した場合と同様に、図１２の仮想視点ＶＰｇを設定し、図１３に示す合成画像ＩＭｆ、および、ＩＭｇを含む表示画像ＯＵｄを表示するようにしてもよい。

また、上記実施の形態において、表示画像を表示装置３に表示する場合、自車両９の移動に伴い、表示画像中のドライバ視点画像の視点位置を固定し、視線方向を変更させてもよい。さらに、ドライバ視点画像の視線方向の変更に伴い、ドライバ視点画像とは他の合成画像の仮想視点の視点位置および視線方向の少なくともいずれか一方を変更し、自車両９が移動しても表示画像に表示される自車両９の周辺の状況をユーザが常に把握できるようにしてもよい。ここで、ドライバ画像の仮想視点の視線方向や他の合成画像の仮想視点の視点位置および視線方向の少なくとも一方を変更する時間間隔は任意に設定可能である。

また、上記実施の形態において、画像生成装置２の制御部２０によって実現されると説明した機能の一部は、表示装置３の制御部によって実現されてもよい。

また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

２ 画像生成装置
３ 表示装置
４ 操作部
５ 撮影部
９ 自車両
１０ 画像表示システム

Claims (4)

1. 車両に搭載されたカメラの撮影画像を取得する取得手段と、
   前記車両のドライバの視点位置近傍を仮想視点の視点位置とし、該視点位置から所定方
   向を前記仮想視点の視線方向として生成される画像で、該画像に含まれる前記車両の画像
   が透過画像である第１画像を前記撮影画像に基づいて生成する第１生成手段と、
   前記車両の外部の位置を前記仮想視点の視点位置とし、前記第１画像における前記仮想視
   点の視線方向の延長線上に位置する特定箇所を指し示す方向を前記仮想視点の視線方向と
   して生成される第２画像を前記撮影画像に基づいて生成する第２生成手段と、
   前記第１画像の前記仮想視点の視線方向に応じて、前記第１画像に対する前記第２画像の表示位置を変更する変更手段と、
   を備えることを特徴とする画像生成装置。
   
2. 請求項１に記載の画像生成装置において、
   前記第２生成手段は、前記特定箇所を拡大して示す拡大画像を生成すること、
   を特徴とする画像生成装置。
   
3. 請求項１または２に記載の画像生成装置と、
   前記画像生成装置から出力された前記第１画像、および、前記第２画像を表示する表示
   装置と、
   を備えることを特徴とする画像表示システム。
   
4. （ａ）車両に搭載されたカメラの撮影画像を取得する工程と、
   （ｂ）前記車両のドライバの視点位置近傍を仮想視点の視点位置とし、該視点位置から所
   定方向を前記仮想視点の視線方向として生成される画像で、該画像に含まれる前記車両の
   画像が透過画像である第１画像を前記撮影画像に基づいて生成する工程と、
   （ｃ）前記車両の外部の位置を前記仮想視点の視点位置とし、前記第１画像における前記
   仮想視点の視線方向の延長線上に位置する特定箇所を指し示す方向を前記仮想視点の視線
   方向として生成される第２画像を前記撮影画像に基づいて生成する工程と、
   前記第１画像の前記仮想視点の視線方向に応じて、前記第１画像に対する前記第２画像の表示位置を変更する工程と、
   を備えることを特徴とする画像生成方法。

Images