JP5592138B2 - 画像生成装置、画像表示システム及び画像生成方法 - Google Patents

Description

本発明は、車両に搭載された表示装置に表示させる画像を生成する技術に関する。

従来より、自動車などの車両に搭載され、車載カメラで車両の周辺を撮影して得られた画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ドライバは車両の周辺の様子をほぼリアルタイムに把握することができる。

例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすく、車体と障害物との間のクリアランスをドライバが把握しにくい。これに対して、画像表示システムを利用すれば、車載カメラの撮影によりフロントフェンダの外側領域を示す画像が取得され、その画像が車室内のディスプレイに表示される。これにより、車両の幅寄せを行う場合などにおいて、運転席の逆側の車体と障害物との間のクリアランスをドライバが容易に確認できることとなる。

このような画像表示システムでは、夜間など周辺環境が暗い場合においては撮影時に十分な露光量が得られず、画像に含まれる被写体像の明るさを十分に確保できない場合がある。このため、周辺環境が比較的暗い場合には補助光源から撮影を補助する補助光を発光して撮影対象となる領域を照明することも提案されている（例えば、特許文献１参照。）。

特開２００８−３０６５４６号公報

ところで、近年では、複数の車載カメラで車両の周辺を撮影して得られる複数の撮影画像を利用して、車両の直上などの仮想視点からみた車両の周辺の様子を示す合成画像を生成してディスプレイに表示する画像表示システムが提案されている（例えば、特許文献１参照。）。このような画像表示システムにより、車両の周辺の比較的広い範囲がディスプレイに表示可能となる。

この画像表示システムを利用する場合においても、周辺環境が暗い場合においては、その表示可能な比較的広い領域に合わせ、車両の周辺の領域を照明することが望ましい。表示可能な領域のうちの一部については、ヘッドライトやテールランプなどの走行用の灯火装置で照明可能であるが、それ以外の領域については補助光源で照明することが望ましいことになる。

しかしながら一方で、車載用に用いられる補助光源の性能には限界があることから、表示可能な領域の全てを補助光源等で照明することは困難であり、通常は、表示可能な領域のうちの一部のみが照明される。このため、周辺環境が暗い場合において、画像表示システムで表示される合成画像においては、補助光源や走行用の灯火装置で照明されない暗い領域が含まれる。このような暗い領域の物体の被写体像については、照明されている領域の物体の被写体像と比較して、特に視認性が悪くなる。このことから、そのような視認性の悪い被写体像がディスプレイに表示されると、その被写体像の確認のために、車両の運転に注意を払うべきドライバがディスプレイの画面を注視してしまう可能性がある。

本発明は、上記課題に鑑みてなされたものであり、合成画像における視認性が悪い被写体像をユーザが視認する機会を低減する技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、車両に搭載された表示装置に表示させる画像を生成する画像生成装置であって、前記車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて、仮想視点からみた合成画像を生成する画像生成手段と、前記複数のカメラの撮影を補助する補助光を発光する発光手段と、前記発光手段が発光している場合は、前記発光手段が発光していない場合よりも、前記合成画像に被写体像として含まれる前記車両の周辺の領域の範囲である画像表示範囲を狭くする画像制御手段と、を備えている。

また、請求項２の発明は、請求項１に記載の画像生成装置において、前記画像制御手段は、前記発光手段が発光している場合は、前記発光手段で照明可能な範囲に基づいて前記画像表示範囲を設定する。

また、請求項３の発明は、請求項２に記載の画像生成装置において、前記発光手段は、前記車両の左右にそれぞれ配置され、左右双方の前記発光手段の発光状態から、左右の一方のみの前記発光手段の発光状態に切り替え可能な切替手段、をさらに備え、前記画像制御手段は、左右の一方のみの前記発光手段の発光状態では、発光中の前記発光手段が照明可能な範囲に基づいて前記画像表示範囲を設定する。

また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像生成装置において、前記画像制御手段は、前記発光手段が発光している場合は、前記発光手段が発光していない場合よりも、前記合成画像に含まれる被写体像の大きさを拡大する。

また、請求項５の発明は、車両に搭載される画像表示システムであって、請求項１ないし４のいずれかに記載の画像生成装置と、前記画像生成装置で生成された合成画像を表示する表示装置と、を備えている。

また、請求項６の発明は、車両に搭載された表示装置に表示させる画像を生成する画像生成方法であって、前記車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて、仮想視点からみた合成画像を生成する工程と、前記複数のカメラの撮影を補助する補助光を発光手段から発光する工程と、前記発光手段が発光している場合は、前記発光手段が発光していない場合よりも、前記合成画像に被写体像として含まれる前記車両の周辺の領域の範囲である画像表示範囲を狭くする工程と、を備えている。

請求項１ないし６の発明によれば、発光手段が発光している場合は発光手段が発光していない場合よりも画像表示範囲を狭くするため、画像表示範囲において発光手段で照明されない領域が狭くなり、視認性が悪い被写体像をユーザが視認する機会を低減できる。

また、特に請求項２の発明によれば、発光手段が発光している場合は発光手段で照明可能な範囲に基づいて画像表示範囲を設定するため、被写体像を確認するのに十分な明るさの範囲を画像表示範囲にできるため、合成画像に含まれる被写体像の視認性を向上できる。

また、特に請求項３の発明によれば、左右のいずれかのみの発光手段の発光状態では、発光中の発光手段が照明可能な範囲に基づいて画像表示範囲を設定するため、発光手段が発光している方向の被写体像の視認性を向上できる。

また、特に請求項４の発明によれば、発光手段が発光している場合は、発光手段が発光していない場合よりも合成画像に含まれる被写体像の大きさが拡大されるため、被写体像の視認性を向上することができる。

図１は、画像表示システムの構成を示すブロック図である。 図２は、車載カメラが車両に配置される位置を示す図である。 図３は、画像表示システムの動作モードの遷移を示す図である。 図４は、合成画像を生成する手法を説明するための図である。 図５は、補助照明部等で照明可能な車両の周辺の領域を示す図である。 図６は、画像表示範囲の例を示す図である。 図７は、ディスプレイの表示される合成画像の例を示す図である。 図８は、ディスプレイに合成画像を表示させる処理の流れを示す図である。 図９は、画像表示範囲の他の例を示す図である。 図１０は、ディスプレイの表示される合成画像の例を示す図である。 図１１は、ディスプレイの表示される合成画像の例を示す図である。 図１２は、画像表示範囲の他の例を示す図である。 図１３は、ディスプレイの表示される合成画像の例を示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．第１の実施の形態＞
＜１−１．システム構成＞
図１は、第１の実施の形態の画像表示システム１２０の構成を示すブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成して車室内に表示する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。

図１に示すように、画像表示システム１２０は、車両の周辺を示す画像を生成する画像生成装置１００と、車両に乗車するユーザに対して各種情報を表示するナビゲーション装置２０とを主に備えている。画像生成装置１００で生成された画像は、ナビゲーション装置２０において表示される。

ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。

ナビゲーション装置２０は、画像生成装置１００と通信可能に接続され、画像生成装置１００との間で各種の制御信号の送受信や、画像生成装置１００で生成された画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像生成装置１００で生成された車両の周辺の様子を示す画像が表示される。これにより、ナビゲーション装置２０は、画像生成装置１００で生成された画像を受信して表示する表示装置としても機能する。

画像生成装置１００は、その本体部１０が画像を生成する機能を有するＥＣＵ（Electronic Control Unit）として構成され、車両の所定の位置に配置される。画像生成装置１００は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する。

撮影部５は、本体部１０に電気的に接続され本体部１０からの信号に基づいて動作する。撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２、左サイドカメラ５３及び右サイドカメラ５４を備えている。各車載カメラ５１〜５４は、レンズと撮像素子とを備えており電子的に画像を取得する。また、各車載カメラ５１〜５４は、光軸の方向の領域の明るさに基づいて、撮影画像中の被写体像が適正な明るさとなるように露出制御を行う。

これらの複数の車載カメラ５１〜５４は、車両の異なる位置にそれぞれ配置される。図２は、車載カメラ５１〜５４が車両９に配置される位置を示す図である。

図２に示すように、フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向に向けられている。これらフロントカメラ５１やバックカメラ５２の取り付け位置は、車両９の左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。

また、左サイドカメラ５３は左側のドアミラー９３に設けられ、その光軸５３ａは車両９の左右方向（直進方向に直交する方向）に沿って車両９の左側に向けられている。一方、右サイドカメラ５４は右側のドアミラー９３に設けられ、その光軸５４ａは車両９の左右方向に沿って車両９の右側に向けられている。

これらの車載カメラ５１〜５４のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１〜５４は１８０度以上の画角αを有している。このため、４つの車載カメラ５１〜５４を利用することで、車両９の全周囲の撮影が可能となっている。

図１に戻り、画像生成装置１００は、さらに、撮影部５の撮影を補助する補助光を発光する補助照明部６を備えている。夜間など周辺環境が暗い場合においては撮影部５での撮影時に十分な露光量が得られず、取得される撮影画像に含まれる被写体像は十分な明るさとならないことから、補助照明部６が補助光を発光して車両の周辺の領域を照明する。補助照明部６は、車両の左側の側方領域を照明する左照明部６１と、車両の右側の側方領域を照明する右照明部６２とを備えている。左照明部６１及び右照明部６２が照明可能な具体的な領域については後述する。

画像生成装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。

ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。また、画像生成装置１００は、画像の表示に関する指示をユーザから直接受け付ける操作スイッチ４３を備えている。この操作スイッチ４３からもユーザの指示を示す信号が制御部１に入力される。これにより、画像生成装置１００は、ナビゲーション装置２０に対するユーザの操作、及び、操作スイッチ４３に対するユーザの操作の双方に応答した動作が可能となっている。操作スイッチ４３は、ユーザが操作しやすいように、本体部１０とは別に車両の適位置に配置される。

画像生成部３は、各種の画像処理が可能なハードウェア回路として構成されており、撮影画像調整部３１、及び、合成画像生成部３２を主な機能として備えている。

撮影画像調整部３１は、撮影部５で取得された撮影画像を対象とし、表示に利用するための調整を行うものである。具体的には、撮影画像調整部３１は、撮影画像に対して、歪み補正、拡大縮小、及び、切り出しなどの画像処理を行う。

合成画像生成部３２は、撮影部５の複数の車載カメラ５１〜５４で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた車両の周辺の少なくとも一部の領域を示す合成画像を生成する。合成画像生成部３２が合成画像を生成する手法については後述する。

撮影画像調整部３１に調整された撮影画像や合成画像生成部３２により生成された合成画像はさらに表示用の画像に調整され、その後、ナビ通信部４２によってナビゲーション装置２０に出力される。これにより、被写体像として車両の周辺の領域を含む画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。

制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１及び照明制御部１２は、このようにして実現される制御部１の機能のうちの一部を示している。

画像制御部１１は、画像生成部３によって実行される画像処理を制御するものである。例えば、画像制御部１１は、合成画像生成部３２が生成する合成画像の生成に必要な各種パラメータなどを指示する。合成画像に被写体像として含まれる車両の周辺の領域の範囲は、画像制御部１１により変更される。

照明制御部１２は、補助照明部６による照明を制御するものである。照明制御部１２は、車両の周辺の明るさが暗くなった場合に車両の周辺の画像をディスプレイ２１に表示させる場合は、補助照明部６から補助光を発光させる。

また、画像生成装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。

不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別データ４ａ及び表示範囲データ４ｂなどが記憶されている。車種別データ４ａは、合成画像生成部３２が合成画像を生成する際に必要となる車両の種別に応じたデータである。また、表示範囲データ４ｂは、画像制御部１１が、合成画像に被写体像として含まれる車両の周辺の領域の範囲を決定する際に参照するデータである。

カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。

メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像生成装置１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。また、メモリカードＭＣに不揮発性メモリ４０に記憶された車種別データ４ａとは異なる種別の車両に応じた車種別データを記憶させ、これを読み出して不揮発性メモリ４０に記憶させることで、画像表示システム１２０を異なる種別の車両に対応させることも可能である。

また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、車速度センサ８２、及び、灯火制御装置８４などから、各種情報を示す信号が制御部１に入力される。

シフトセンサ８１からは、車両の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速度センサ８２からは、その時点の車両の走行速度（ｋｍ／ｈ）が入力される。

灯火制御装置８４は、車両に標準的に設けられる、ヘッドライト（前照灯）やテールランプ（尾灯）などの車両の通常の走行に用いる走行用の灯火装置の制御を行う。灯火制御装置８４は、ドライバの操作に応答してヘッドライト及びテールランプを点灯させる。灯火制御装置８４からは、このような灯火装置の点灯状態を示す信号が入力される。

＜１−２．動作モード＞
次に、画像表示システム１２０の動作モードについて説明する。図３は、画像表示システム１２０の動作モードの遷移を示す図である。画像表示システム１２０は、ナビモードＭ１、フロントモードＭ２、及び、バックモードＭ３の３つの動作モードを有している。これらの動作モードは、ドライバの操作や車両の走行状態に応じて制御部１の制御により切り替えられるようになっている。

ナビモードＭ１は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像ＮＰを主にディスプレイ２１に表示する動作モードである。ナビモードＭ１では、画像生成装置１００の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。

これに対して、フロントモードＭ２及びバックモードＭ３は、画像生成装置１００の機能を利用して、撮影画像ＰＰや合成画像ＣＰをディスプレイ２１に表示して、車両の周辺の状況をリアルタイムでユーザに示す動作モードである。

フロントモードＭ２は、前進時に必要となる車両の前方や側方を主に示す画像を表示する動作モードである。本実施の形態では、車両の直上の仮想視点からみた車両及び車両の周辺の様子を示す合成画像（俯瞰画像）ＣＰと、フロントカメラ５１での撮影により得られる撮影画像ＰＰとが同時にディスプレイ２１に表示される。

また、バックモードＭ３は、後退時に必要となる車両の後方を主に示す画像を表示する動作モードである。本実施の形態では、車両の直上の仮想視点からみた車両及び車両の周辺の様子を示す合成画像（俯瞰画像）ＣＰと、バックカメラ５２での撮影により得られる撮影画像ＰＰとが同時にディスプレイ２１に表示される。このようにフロントモードＭ２とバックモードＭ３とのいずれにおいても、車両の直上の仮想視点からみた合成画像（俯瞰画像）ＣＰが表示されることになる。

ナビモードＭ１において、ナビゲーション装置２０の操作部２２に所定の操作がなされると、フロントモードＭ２に切り替えられる。また、フロントモードＭ２において、ナビゲーション装置２０の操作部２２に所定の操作がなされると、ナビモードＭ１に切り替えられる。なお、ナビモードＭ１とフロントモードＭ２とは、車速度センサ８２から入力される走行速度に応じて切り替えてもよい。

また、ナビモードＭ１あるいはフロントモードＭ２の場合に、シフトセンサ８１から入力されるシフトポジションが”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、シフトポジションが”Ｒ（後退）”の場合は、車両は後退する状態であるため、車両の後方を主に示すバックモードＭ３に切り替えられる。また、バックモードＭ３の場合に、シフトポジションが”Ｒ（後退）”以外となったときは、バックモードＭ３に切り替えられる直前の動作モードに戻ることになる。

＜１−３．合成画像の生成＞
次に、画像生成部３の合成画像生成部３２が、撮影部５で得られた複数の撮影画像に基づいて任意の仮想視点からみた車両の周辺の様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別データ４ａが利用される。図４は、合成画像を生成する手法を説明するための図である。

撮影部５の４つの車載カメラ５１〜５４で同時に撮影が行われると、フロントカメラ５１で車両９の前方を示す撮影画像Ｐ１、バックカメラ５２で車両９の後方を示す撮影画像Ｐ２、左サイドカメラ５３で車両９の左側方を示す撮影画像Ｐ３、右サイドカメラ５４で車両９の右側方を示す撮影画像Ｐ４がそれぞれ取得される。これら４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。

次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。

撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１，５２，５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別データ４ａに含まれている。

また、車種別データ４ａに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両９の三次元形状を示すポリゴンモデルである車両像９０が仮想的に構成される。構成された車両像９０は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。

さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１の画像制御部１１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。

そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像９０に関してレンダリングがなされ、その結果となる二次元の車両像９０が、切り出された画像に対して重畳される。これにより、任意の仮想視点からみた車両９及びその車両９の周辺の様子を示す合成画像が生成されることになる。

例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９（実際には車両像９０）及び車両９の周辺の様子を示す合成画像（俯瞰画像）ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９（実際には車両像９０）及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。

なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して合成画像の生成に必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。

＜１−４．補助照明部等による照明＞
次に、補助照明部６で照明可能な車両の周辺の範囲について説明する。図５は、補助照明部６等で照明可能な車両９の周辺の領域を示す図である。前述のように補助照明部６は、左照明部６１と右照明部６２とを備えている。左照明部６１及び右照明部６２はそれぞれ３つの補助光源を備えている。

左照明部６１は、車両９の左側のドアミラー９３に設けられている。左照明部６１の３つの補助光源のうち、一つの光軸６１ａは車両９の前方、他の一つの光軸６１ｂは車両９の左方向、他の一つの光軸６１ｃは車両９の後方に向けられている。これにより、左照明部６１は、車両９の左側において前方から後方にわたる側方領域ＬＡを照明する。車両９の前後方向においては、車両９の前端よりも約１ｍ前方の位置から車両９の後端よりも約１ｍ後方の位置までが側方領域ＬＡの範囲となっている。また、車両９の左右方向においては、車両９の左側面の位置からその外側に約１ｍ離れた位置までが側方領域ＬＡの範囲となっている。

また、右照明部６２は、車両９の右側のドアミラー９３に設けられている。この右照明部６２が照明可能な範囲と、左照明部６１が照明可能な範囲とは、車両９に関して互いに対称となっている。すなわち、右照明部６２の３つの補助光源のうち、一つの光軸６２ａは車両９の前方、他の一つの光軸６２ｂは車両９の右方向、他の一つの光軸６２ｃは車両９の後方に向けられている。これにより、右照明部６２は、車両９の右側において前方から後方にわたる側方領域ＲＡを照明する。車両９の前後方向においては、車両９の前端よりも約１ｍ前方の位置から車両９の後端よりも約１ｍ後方の位置までが側方領域ＲＡの範囲となっている。また、車両９の左右方向においては、車両９の右側面の位置からその外側に約１ｍ離れた位置までが側方領域ＲＡの範囲となっている。

このように車両９の側方領域ＬＡ，ＲＡについては補助照明部６によって照明される。また、車両９の前方領域や後方領域については、走行用の灯火装置（ヘッドライト９８及びテールランプ９９）によって照明可能である。

車両９のヘッドライト９８は、車両９の前方領域ＨＡを照明する。図中に示す前方領域ＨＡは、周辺環境が暗い場合でも、ヘッドライト９８によって画像中の被写体像が十分な明るさとなるように（例えば、０．５ルクス以上に）照明可能な領域である。車両９の前後方向においては、車両９の前端の位置からその前方に２ｍ以上離れた位置までが、前方領域ＨＡの範囲となる。また、車両９の左右方向においては、車両９の左側面よりも左側に１ｍ以上離れた位置から、車両９の右側面よりも右側に１ｍ以上離れた位置までが、前方領域ＨＡの範囲となる。

また、車両９のテールランプ９９は、車両９の後方領域ＢＡを照明する。図中に示す後方領域ＢＡは、周辺環境が暗い場合でも、テールランプ９９によって合成画像中の被写体像が十分な明るさとなるように（例えば、０．５ルクス以上に）照明可能な領域である。車両９の前後方向においては、車両９の後端の位置からその後方に２ｍ以上離れた位置までが、後方領域ＢＡの範囲となる。また、車両９の左右方向においては、車両９の左側面よりも左側に１ｍ以上離れた位置から、車両９の右側面よりも右側に１ｍ以上離れた位置までが、後方領域ＢＡの範囲となる。

このように車両９の周辺の領域ＬＡ，ＲＡ，ＨＡ，ＢＡが照明され、車両９の前端、後端、左側面及び右側面からそれぞれ外側に少なくとも１ｍ離れた位置までの車両９の全周囲が照明されることになる。このように照明される領域ＬＡ，ＲＡ，ＨＡ，ＢＡに存在する物体の画像中の被写体像は、周辺環境が暗い場合でも十分な明るさとなる。しかしながら一方で、この領域ＬＡ，ＲＡ，ＨＡ，ＢＡから外れた領域に存在する物体の画像中の被写体像については、周辺環境が暗い場合には十分な明るさとならない。このような被写体像がディスプレイ２１に表示された場合においては、その視認性が悪くなる。

＜１−５．画像表示範囲＞
このような視認性の悪い被写体像を表示しないようにするため、画像表示システム１２０の画像制御部１１は、補助照明部６が発光している場合と発光していない場合とで、ディスプレイ２１に表示する合成画像に被写体像として含まれる車両の周辺の領域の範囲を変更するようになっている。

図６は、合成画像に被写体像として含まれる車両の周辺の領域の範囲（以下、「画像表示範囲」）ＤＡ０，ＤＡ１を示す図である。このような画像表示範囲ＤＡ０，ＤＡ１は、予め設定されて表示範囲データ４ｂに記憶される。

補助照明部６が発光していない場合における画像表示範囲は、図中に示す通常範囲ＤＡ０となる。通常範囲ＤＡ０は、車両９の前端、後端、左側面及び右側面からそれぞれ外側に２ｍ離れた位置までの範囲である。

これに対して、補助照明部６が発光している場合における画像表示範囲は、画像表示範囲ＤＡ０より狭い、図中に示す照明用範囲ＤＡ１となる。この照明用範囲ＤＡ１は、車両９の前端、後端、左側面及び右側面からそれぞれ外側に１ｍ離れた位置までの範囲である。この照明用範囲ＤＡ１は、補助照明部６によって照明可能な範囲である側方領域ＬＡ，ＲＡに基づいて設定されている。具体的には、照明用範囲ＤＡ１の左端部は側方領域ＬＡの左端部に合わせて設定され、照明用範囲ＤＡ１の右端部は側方領域ＲＡの右端部に合わせて設定されている。また、照明用範囲ＤＡ１の前端部は側方領域ＬＡ，ＲＡの前端部に合わせて設定され、照明用範囲ＤＡ１の後端部は側方領域ＬＡ，ＲＡの後端部に合わせて設定されている。これにより、照明用範囲ＤＡ１は、側方領域ＬＡ，ＲＡを含みつつ、側方領域ＬＡ，ＲＡよりも外側の領域を含まないようになっている。

このように画像表示範囲を設定することで、図７の上部に示すように、補助照明部６が発光していない場合は、車両の周辺の比較的広い範囲が被写体像として合成画像ＣＰ１に含まれて、ディスプレイ２１に表示される。これに対して、周辺環境が暗くなり、補助照明部６が発光している場合は、図７の下部に示すように、補助照明部６が発光していない場合よりも狭い範囲が被写体像として合成画像ＣＰ２に含まれて、ディスプレイ２１に表示されることになる。

したがって、照明可能な領域ＬＡ，ＲＡ，ＨＡ，ＢＡ（図５参照。）から外れた領域に存在する物体については、ディスプレイ２１に表示される合成画像ＣＰ２中に被写体像として含まれることは無い。その結果、視認性が悪い被写体像がディスプレイ２１に表示されず、視認性が悪い被写体像をユーザ（代表的にはドライバ）が視認することを防止できることになる。

また、図７に示すように、補助照明部６が発光している場合における合成画像のサイズは、補助照明部６が発光していない場合とほぼ同様のサイズとなる。このため、補助照明部６が発光している場合においては、補助照明部６が発光していない場合よりも、合成画像に含まれる被写体像の大きさが拡大される。これにより、合成画像に含まれる被写体像の視認性を向上することができる。

＜１−６．処理フロー＞
次に、画像表示システム１２０が、補助照明部６の発光状態に応じて画像表示範囲を変更する処理の流れについて説明する。図８は、画像表示システム１２０がディスプレイ２１に合成画像を表示させる処理の流れを示す図である。この処理は、制御部１の制御によって繰り返し実行されるものである。

まず、ディスプレイ２１に車両９の周辺の様子を示す合成画像を表示させる状態であるかが判定される（ステップＳ１１）。具体的には、動作モードが、フロントモードＭ２またはバックモードＭ３であるかが判定される。動作モードが、ナビモードＭ１の場合は（ステップＳ１１にてＮｏ）、合成画像を表示させないためそのまま処理が終了する。

動作モードがフロントモードＭ２またはバックモードＭ３の場合は（ステップＳ１１にてＹｅｓ）、次に、照明制御部１２により、補助照明部６の発光が必要な程度に車両の周辺の明るさが低いか否かが判定される。具体的には、車両の周辺の明るさは撮影部５で取得される撮影画像の平均輝度が利用され、この平均輝度が所定のしきい値以下であるか否かが判定される。そして、平均輝度が所定のしきい値以下の場合は、補助照明部６の発光が必要と判断される。

なお、車両の周辺の照度を検出する照度センサを設け、車両の周辺の明るさを示す値としてその照度センサの検出結果を利用してもよい。また、灯火制御装置８４から入力される灯火装置の点灯状態に基づいて、補助照明部６の発光が必要か否かを判断してもよい。例えば、ヘッドライト９８が点灯している場合は、一般に、車両の周辺の明るさが暗い場合であるため、この場合に補助照明部６の発光が必要と判断すればよい。

補助照明部６の発光が不要の場合は（ステップＳ１２にてＮｏ）、画像制御部１１により画像表示範囲は通常範囲ＤＡ０（図６参照。）に設定される（ステップＳ１３）。

一方、補助照明部６の発光が必要な場合は（ステップＳ１２にてＹｅｓ）、まず、照明制御部１２の制御により、補助照明部６から補助光が発光される（ステップＳ１４）。これとともに、画像制御部１１により画像表示範囲が通常範囲ＤＡ０よりも狭い照明用範囲ＤＡ１（図６参照。）に設定される（ステップＳ１５）。

このようにして画像表示範囲が設定されると、次に、設定された画像表示範囲に従って合成画像が生成される（ステップＳ１６）。生成された合成画像は、表示用の画像に調整されて、ディスプレイ２１に表示される（ステップＳ１７）。

以上のように、本実施の形態の画像表示システム１２０では、補助照明部６が発光している場合は補助照明部６が発光していない場合よりも、合成画像に被写体像として含まれる車両の周辺の領域の範囲である画像表示範囲を狭くする。このため、画像表示範囲において補助照明部６で照明されない領域が狭くなり、視認性が悪い被写体像をユーザが視認する機会を低減できる。

また、補助照明部６が発光している場合は、補助照明部６で照明可能な範囲に基づいて画像表示範囲を設定するため、被写体像を確認するのに十分な明るさの範囲を画像表示範囲にできる。このため、合成画像に含まれる被写体像の視認性を向上することができる。

また、補助照明部６が発光している場合は、補助照明部６が発光していない場合よりも合成画像に含まれる被写体像の大きさが拡大されるため、被写体像の視認性をさらに向上することができる。

＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態における画像表示システムの構成・処理は、第１の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では左照明部６１と右照明部６２との双方を発光させるものであったが、第２の実施の形態では左照明部６１のみを発光させる状態に切り替えることが可能となっている。左照明部６１と右照明部６２との双方の発光状態と、左照明部６１のみの発光状態とは、操作スイッチ４３を押下するごとに切り替えられる。

図９は、左照明部６１のみの発光状態において、左照明部６１で照明可能な車両９の周辺の領域を示す図である。なお、左照明部６１と右照明部６２との双方の発光状態（以下、「双方発光状態」という。）で照明可能な車両９の周辺の領域は、図５に示すものと同様である。

一般に、補助照明部６に流れる電流の合計値には制限がある。双方発光状態では、左照明部６１と右照明部６２とにそれぞれ流れる電流の合計値が、この制限以下となる必要がある。これに対して、左照明部６１のみの発光状態においては、左照明部６１に流れる電流がこの制限以下となればよいため、比較的大きな電流を左照明部６１に流すことができる。補助光源が発光する補助光の光量は、その補助光源に流れる電流の大きさに依存する。したがって、左照明部６１のみの発光状態では、双方発光状態と比較して左照明部６１で発光する補助光の光量を大きくすることができる。

このため、本実施の形態では、左照明部６１のみの発光状態では、左照明部６１で照明可能な左側の側方領域ＬＡの範囲が、双方発光状態と比較して広がるようになっている。具体的には、図９に示すように、車両９の左右方向において、車両９の左側面の位置からその外側に約２ｍ離れた位置までが側方領域ＬＡの範囲となっている。この場合、右照明部６２に照明される右側の側方領域ＲＡは存在しない。

また、このように左照明部６１で照明可能な側方領域ＬＡの範囲が広がることに伴って、左照明部６１のみの発光状態では画像表示範囲も側方領域ＬＡに合わせるように変更される。すなわち、左照明部６１のみの発光状態における画像表示範囲は、図中に示す左照明用範囲ＤＡ２となる。左照明用範囲ＤＡ２の左端部は側方領域ＬＡの左端部に合わせて設定され、左照明用範囲ＤＡ２の右端部は車両９の右側面に合わせて設定されている。この左照明用範囲ＤＡ２の広さは、通常範囲ＤＡ０より狭く、照明用範囲ＤＡ１（図６参照。）と同じとなる。

図１０の上部に示すように、双方発光状態では、車両の周辺の全体が被写体像として合成画像ＣＰ２に含まれてディスプレイ２１に表示される。これに対して、左照明部６１のみの発光状態では、図１０の下部に示すように、左照明部６１が発光している方向である車両の左側の比較的広い範囲が被写体像として合成画像ＣＰ３に含まれて、ディスプレイ２１に表示されることになる。

このように本実施の形態では、左照明部６１のみの発光状態では、発光中の左照明部６１が照明可能な範囲に基づいて画像表示範囲を設定するため、左照明部６１が発光している方向の被写体像の視認性を向上できることになる。

なお、本実施の形態では、左照明部６１を単独で発光させる状態について説明したが、右照明部６２を単独で発光させる状態に切り替えられるようになっていてもよい。左照明部６１及び右照明部６２のうち、ドライバの死角となりやすい運転席の逆側にあるものを単独で発光させる状態に切り替えられるようになっていることが望ましい。右照明部６２のみの発光状態においても、上記と同様に発光中の右照明部６２が照明可能な範囲に基づいて画像表示範囲を設定すればよい。

＜３．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上記実施の形態では、補助照明部６が発光している場合においては、補助照明部６が発光していない場合よりも合成画像に含まれる被写体像の大きさを拡大すると説明した。これに対して、図１１に示すように、補助照明部６が発光していない場合（図１１の上部）の合成画像ＣＰ１に含まれる被写体像と、補助照明部６が発光している場合（図１１の下部）の合成画像ＣＰ４に含まれる被写体像とを同じ大きさにしてもよい。

また、上記実施の形態では、補助照明部６が発光している場合における画像表示範囲は、車両９の前後方向についても、補助照明部６によって照明可能な範囲である側方領域ＬＡ，ＲＡに合わせて設定されていた。ただし、車両９の前方領域や後方領域については走行用の灯火装置によって２ｍ以上離れた位置まで照明可能であるため、車両９の前後方向については、画像表示範囲を側方領域ＬＡ，ＲＡに合わせる必要性は低い。このため、図１２に示すように、補助照明部６が発光している場合の画像表示範囲を、車両９の左右方向のみに関して側方領域ＬＡ，ＲＡに合わせた範囲ＤＡ３に設定してもよい。この場合は、図１３に示すように、補助照明部６が発光している場合（図１３の下部）は、補助照明部６が発光していない場合（図１３の上部）よりも左右方向のみに関して狭い範囲が被写体像として合成画像ＣＰ５に含まれて、ディスプレイ２１に表示されることになる。

また、補助照明部６が発光している場合においては、灯火制御装置８４から入力される灯火装置の点灯状態に応じて、画像表示範囲を図６に示す範囲ＤＡ１と図１２に示す範囲ＤＡ３とで切り替えるようになっていてもよい。具体的には、ヘッドライト９８及びテールランプ９９が点灯している場合は、車両９の前方領域ＨＡ及び後方領域ＢＡが照明されるため、画像表示範囲を図１２に示す範囲ＤＡ３に設定する。一方で、ヘッドライト９８及びテールランプ９９が点灯していない場合は、画像表示範囲を図６に示す範囲ＤＡ１に設定すればよい。

また、上記実施の形態では、ディスプレイ２１に表示される合成画像は車両９の直上の仮想視点からみた俯瞰画像であったが、合成画像の仮想視点の位置は車両９の直上に限らず車両９の後方側などの他の位置であってもよい。仮想視点の位置が車両９の直上以外の場合であっても、補助照明部６が発光している場合は補助照明部６が発光していない場合よりも、合成画像に被写体像として含まれる車両の周辺の領域の範囲である画像表示範囲を狭くすることができる。

また、補助照明部６が発光している場合における画像表示範囲を、補助照明部６によって照明可能な範囲に合わせず、補助照明部６が発光していない場合よりも単に狭くするだけであってもよい。このようにした場合であっても、視認性が悪い被写体像をユーザが視認する機会を低減できる。

また、上記実施の形態では、画像生成装置１００とナビゲーション装置２０とは別の装置であるとして説明したが、画像生成装置１００とナビゲーション装置２０とが同一の筐体内に配置されて一体型の装置として構成されてもよい。

また、上記実施の形態では、画像生成装置１００で生成された画像を表示する表示装置はナビゲーション装置２０であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。

また、上記実施の形態において、画像生成装置１００の制御部１によって実現されると説明した機能の一部は、ナビゲーション装置２０の制御部２３によって実現されてもよい。

また、上記実施の形態において、信号入力部４１を介して画像生成装置１００の制御部１に入力されると説明した信号の一部または全部は、ナビゲーション装置２０に入力されるようになっていてもよい。この場合は、ナビ通信部４２を経由して、画像生成装置１００の制御部１に当該信号を入力すればよい。

また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

１ 制御部
５ 撮影部
６ 補助照明部
１１ 画像制御部
２１ ディスプレイ
３２ 合成画像生成部
６１ 左照明部
６２ 右照明部
１００ 画像生成装置
１２０ 画像表示システム

Claims (6)

1. 車両に搭載された表示装置に表示させる画像を生成する画像生成装置であって、
   前記車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて、仮想視点からみた合成画像を生成する画像生成手段と、
   前記複数のカメラの撮影を補助する補助光を発光する発光手段と、
   前記発光手段が発光している場合は、前記発光手段が発光していない場合よりも、前記合成画像に被写体像として含まれる前記車両の周辺の領域の範囲である画像表示範囲を狭くする画像制御手段と、
   を備えることを特徴とする画像生成装置。
2. 請求項１に記載の画像生成装置において、
   前記画像制御手段は、前記発光手段が発光している場合は、前記発光手段で照明可能な範囲に基づいて前記画像表示範囲を設定することを特徴とする画像生成装置。
3. 請求項２に記載の画像生成装置において、
   前記発光手段は、前記車両の左右にそれぞれ配置され、
   左右双方の前記発光手段の発光状態から、左右の一方のみの前記発光手段の発光状態に切り替え可能な切替手段、
   をさらに備え、
   前記画像制御手段は、左右の一方のみの前記発光手段の発光状態では、発光中の前記発光手段が照明可能な範囲に基づいて前記画像表示範囲を設定することを特徴とする画像生成装置。
4. 請求項１ないし３のいずれかに記載の画像生成装置において、
   前記画像制御手段は、前記発光手段が発光している場合は、前記発光手段が発光していない場合よりも、前記合成画像に含まれる被写体像の大きさを拡大することを特徴とする画像生成装置。
5. 車両に搭載される画像表示システムであって、
   請求項１ないし４のいずれかに記載の画像生成装置と、
   前記画像生成装置で生成された合成画像を表示する表示装置と、
   を備えることを特徴とする画像表示システム。
6. 車両に搭載された表示装置に表示させる画像を生成する画像生成方法であって、
   前記車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて、仮想視点からみた合成画像を生成する工程と、
   前記複数のカメラの撮影を補助する補助光を発光手段から発光する工程と、
   前記発光手段が発光している場合は、前記発光手段が発光していない場合よりも、前記合成画像に被写体像として含まれる前記車両の周辺の領域の範囲である画像表示範囲を狭くする工程と、
   を備えることを特徴とする画像生成方法。

Images