JP4681432B2 - 車載周辺画像表示装置 - Google Patents

Description

本発明は、運転者に対して自動車周辺を撮影した画像を提示する技術に関するものである。

運転者に対して自動車周辺を画像した映像を提示する技術としては、自動車周辺を複数のカメラによって撮影した複数の画像を、自動車上方の視点から自動車周辺を撮影した場合に得られる画像に視点変換した上で合成することにより、自動車周辺を俯瞰的に表す車載周辺画像を生成し表示する装置が知られている。

また、このような装置において、カメラの俯角の変化による車載周辺画像の歪みを補正する技術として、自動車に搭載したレーザ装置から路面に投影したレーザ光による像をカメラで撮影し、撮影した像よりカメラの俯角を計測し、計測したカメラの俯角に応じて、生成する車載周辺画像の歪みを補正する技術も知られている（たとえば、特許文献１）。
特開2003-274394号公報

さて、前記特許文献１記載のカメラの俯角の変化による車載周辺画像の歪みを補正する技術によれば、自動車周囲を撮影するカメラの他に、レーザ装置をカメラの俯角検出専用に別途備えなければ成らないという問題がある。また、自動車に生じた衝撃などによって、レーザ装置自身の位置や俯角にカメラと異なる変化が生じてしまった場合には、正しくカメラの俯角を測定することができず、生成する車載周辺画像の歪みを正しく補正することができなくなってしまうという問題もある。

そこで、本発明は、自動車に搭載される、自動車周辺を複数のカメラによって撮影した画像から自動車周辺のようすを表す画像を生成し表示する車両周辺画像表示装置において、より簡便な構成において、カメラの位置や姿勢の変化に関わらずに、自動車周辺のようすを適正に表した画像を表示することを課題とする。

前記課題達成のために、本発明は、自動車に搭載される車載周辺画像表示装置に、前記自動車周囲を撮影する複数のカメラと、前記複数のカメラが撮影した各画像に対して、当該画像を撮影したカメラ毎に定めた変換規則に従った視点変換を施して、当該画像に対応する撮影範囲を所定の視点から観測したようすを表す視点変換画像を生成し、生成した前記各視点変換画像を合成して、前記視点から前記自動車周辺を観測したようすを表す車両周辺画像を生成する車両周辺画像生成手段と、前記車両周辺画像生成手段が生成した車両周辺画像を表示する表示装置と、前記カメラ毎に定めた変換規則を調整する調整手段とを備えたものである。ここで、前記複数のカメラ各々の撮影範囲のうちの隣接する撮影範囲は部分的に重複しており、前記調整手段は、撮影範囲が重複する二つのカメラが撮影した当該撮影範囲の重複部分の二つの画像を、当該二つのカメラの各々に対して定められた前記変換規則に従って各々視点変換して得られる二つの視点変換画像に含まれる同被写体を表す画像パターンの形態が一致するように、当該二つのカメラの各々に対して定められた変換規則を調整するものである。

ここで、より具体的には、このような車載周辺画像表示装置は、前記複数のカメラのうちの一つのカメラが撮影範囲内に前記自動車の一部を含むように構成し、前記調整手段において、前記自動車の一部を撮影範囲に含むカメラに対して定められた変換規則を、当該カメラが撮影した画像を、当該カメラに対して定められた前記変換規則に従って視点変換して得られる視点変換画像に含まれる前記自動車の一部を表す画像パターンの形態が所定の形態に一致するように調整すると共に、以降、順次、変換規則を調整したカメラと当該カメラと撮影範囲が重複する変換規則が未調整のカメラとの二つカメラを選定し、選定した二つカメラが撮影した当該撮影範囲の重複部分の二つの画像を、当該二つのカメラの各々に対して定められた前記変換規則に従って各々視点変換して得られる二つの視点変換画像に含まれる同被写体を表す画像パターンの形態が一致するように、前記変換規則が未調整のカメラに対して定められた変換規則を調整するようにしてもよい。

これらのような車載周辺画像表示装置によれば、各カメラで撮影した画像の視点変換に用いる変換規則がそれぞれカメラの位置や姿勢に整合したものである場合には、複数のカメラの撮影範囲の重複部分に写り込んでいる同被写体を表す画像パターンは、視点変換後に同じ形態となることを理湯して、当該複数のカメラについての視点変換に用いる変換規則を調整する。

したがって、ユーザに提示する自車周辺画像を撮影するカメラの他にレーザ装置などの特段の装置を備えない簡便な構成において、カメラの位置や姿勢の変化に関わらずに、自動車周辺のようすを適正に表した車両周辺画像を表示することができるようになる。
なお、以上の車載周辺画像表示装置には、さらに、前記撮影範囲の重複部分について、二つの画像パターンを保持する調整用画像パターン保持手段と、前記撮影範囲の重複部分を撮影する二つのカメラが撮影した画像に視点変換を施して車両周辺画像生成手段が生成した二つ視点変換画像の当該重複部分の画像に各々に一つづつ含まれる同被写体を表す計二つの画像パターンを抽出し、前記調整用画像パターン保持手段に保持されている二つの画像パターンより複雑な形態を有する二つの画像パターンが抽出された場合に、抽出された二つの画像パターンに、前記調整用画像パターン保持手段で保持する二つの画像パターンを更新する調整用画像パターン抽出手段とを設け、前記調整手段において、前記撮影範囲の重複部分について前記調整用画像パターン保持手段が保持している二つの画像パターンの形態の差異に基づいて、当該重複部分を撮影する二つのカメラが撮影した当該撮影範囲の重複部分の二つの画像を、当該二つのカメラの各々に対して定められた前記変換規則に従って各々視点変換して得られる二つの視点変換画像に含まれる同被写体を表す画像パターンの形態が一致するように、当該二つのカメラの各々に対して定められた変換規則を調整するようにしてもよい。

このようにすることにより、変換規則の調整に先立って、調整に用いるのに好ましい画像パターンを調整用画像パターン保持手段に蓄積しておくことができるようになる。

以上のように、本発明によれば、自動車に搭載される、自動車周辺を複数のカメラによって撮影した画像から自動車周辺のようすを表す画像を生成し表示する車両周辺画像表示装置において、より簡便な構成において、カメラの位置や姿勢の変化に関わらずに、自動車周辺のようすを適正に表した画像を表示することができる。

以下、本発明の実施形態について説明する。
図１に、本実施形態に係る周辺状況表示装置の構成を示す。
図示するように、周辺状況表示装置は、フロントカメラ１０１、リアカメラ１０２、レフトサイドカメラ１０３、ライトサイドカメラ１０４、画像記憶部１０５、調整用画像抽出部１０６、視点変換画像生成部１０７、マッピングテーブル保持部１０８、表示装置１０９、表示装置１０９の表示を制御する表示処理部１１０、ユーザの操作を受け付ける操作部１１１、以上各部を制御する制御部１１２を有している。

ここで、フロントカメラ１０１、リアカメラ１０２、レフトサイドカメラ１０３、ライトサイドカメラ１０４は、たとえば魚眼レンズ等を用いた広角のカメラであり、図２ａに示すように、フロントカメラ１０１は車両前方向の斜下方を撮影し、リアカメラ１０２は車両後方向の斜下方を撮影し、レフトサイドカメラ１０３は車両左方向の斜下方を撮影し、ライトサイドカメラ１０４は車両右方向の斜下方を撮影する。

次に、図２ｂは、このようなフロントカメラ１０１、リアカメラ１０２、レフトサイドカメラ１０３、ライトサイドカメラ１０４が撮影した画像の例を示したものであり、Ｓのような状況では、フロントカメラ１０１によって前方画像ＦＯが撮影され、リアカメラ１０２によって後方画像ＢＯが撮影され、レフトサイドカメラ１０３によって左方画像ＬＯが撮影され、ライトサイドカメラ１０４によって右方画像ＲＯが撮影されることになる。そして、このような、フロントカメラ１０１、リアカメラ１０２、レフトサイドカメラ１０３、ライトサイドカメラ１０４が撮影した各画像ＦＯ、ＢＯ、ＬＯ、ＲＯは、逐次、画像記憶部１０５に格納される。

また、次に、視点変換画像生成部１０７は、このようにして画像記憶部１０５に格納されたフロントカメラ１０１、リアカメラ１０２、レフトサイドカメラ１０３、ライトサイドカメラ１０４が撮影した各画像ＦＯ、ＢＯ、ＬＯ、ＲＯに対して視点変換画像生成処理を施して視点変換画像を生成し、視点変換画像を画像記憶部１０５に格納する。そして、表示処理部１１０は、画像記憶部１０５に格納された視点変換画像を、表示装置１０９に表示する。

ここで、図３に、視点変換画像生成部１０７が行う視点変換画像生成処理の処理例を示す。
図示するように、この視点変換処理では、まず、フロントカメラ１０１が撮影した前方画像ＦＯに対して、マッピングテーブル保持部１０８に保持されているフロントカメラ用マッピングテーブルを用いた視点変換処理を施して、当該前方画像ＦＯを、予め定めた自車上方の視点よりフロントカメラ１０１の撮影範囲を撮影した場合に得られると推定される画像である視点変換前方画像Ｆに視点変換する。ここで、フロントカメラ用マッピングテーブルは、フロントカメラ１０１が撮影した画像ＦＯから視点変換前方画像Ｆへの変換規則を規定するものであり、たとえば、視点変換前方画像Ｆの各座標と、当該座標の画素として用いるべき前方画像ＦＯの画素の前方画像ＦＯ上の座標との対応を記述したテーブルなどとして構成される。

また、リアカメラ１０２が撮影した後方画像ＢＯに対して、マッピングテーブル保持部１０８に保持されているリアカメラ用マッピングテーブルを用いた視点変換処理を施して、当該後方画像ＢＯを、前記自車上方の視点より、リアカメラ１０２の撮影範囲を撮影した場合に得られると推定される画像である視点変換後方画像Ｂに視点変換する。ここで、リアカメラ用マッピングテーブルは、リアカメラ１０２が撮影した画像ＢＯから視点変換後方画像Ｂへの変換規則を規定するものであり、たとえば、視点変換後方画像Ｂの各座標と、当該座標の画素として用いるべき後方画像ＢＯの画素の後方画像ＢＯ上の座標との対応を記述したテーブルなどとして構成される。

また、同様に、レフトサイドカメラ１０３が撮影した左方画像ＬＯに対して、マッピングテーブル保持部１０８に保持されているレフトサイドカメラ用マッピングテーブルを用いた視点変換処理を施して、当該左方画像ＬＯを、前記自車上方の視点より、レフトサイドカメラ１０３の撮影範囲を撮影した場合に得られると推定される画像である視点変換左方画像Ｌに視点変換する。ここで、レフトサイドカメラ用マッピングテーブルは、レフトサイドカメラ１０３が撮影した画像ＬＯから視点変換左方画像Ｌへの変換規則を規定するものであり、たとえば、視点変換左方画像Ｌの各座標と、当該座標の画素として用いるべき左方画像ＬＯの画素の左方画像ＬＯ上の座標との対応を記述したテーブルなどとして構成される。

また、同様に、ライトサイドカメラ１０４が撮影した右方画像ＲＯに対して、マッピングテーブル保持部１０８に保持されているライトサイドカメラ用マッピングテーブルを用いた視点変換処理を施して、当該右方画像ＲＯを、前記自車上方の視点より、ライトサイドカメラ１０４の撮影範囲を撮影した場合に得られると推定される画像である視点変換右方画像Ｒに視点変換する。ここで、ライトサイドカメラ用マッピングテーブルは、ライトサイドカメラ１０４が撮影した画像ＲＯから視点変換右方画像Ｒへの変換規則を規定するものであり、たとえば、視点変換右方画像Ｒの各座標と、当該座標の画素として用いるべき右方画像ＲＯの画素の右方画像ＲＯ上の座標との対応を記述したテーブルなどとして構成される。

そして、次に、視点変換画像生成処理では、以上のようにして生成した視点変換前方画像Ｆ、視点変換後方画像Ｂ、視点変換左方画像Ｌ、視点変換右方画像Ｒを、それぞれの画像に写り込んでいる撮影範囲の配置に従って合成すると共に、合成した画像上の自車位置に対応する箇所に予め用意しておいた自車を表す自車画像Ｈを配置して、視点変換画像Ｇを生成する。

ここで、本実施形態では、視点変換前方画像Ｆと視点変換左方画像Ｌ、視点変換前方画像Ｆと視点変換右方画像Ｒ、視点変換後方画像Ｂと視点変換左方画像Ｌ、視点変換後方画像Ｂと視点変換右方画像Ｒは、それぞれに写り込む撮影範囲が部分的に重複するように、各カメラの配置などを設定している。なお、視点変換画像Ｇの、これら重複範囲の部分の画像としては、当該重複範囲に対応する撮影範囲が写り込んでいる二つの視点変換後の画像のうちの任意の一方の画像を用いて良い。すなわち、たとえば、自車の前左角の範囲の画像は、視点変換前方画像Ｆと視点変換左方画像Ｌの双方に含まれている。そして、視点変換画像Ｇの、この自車の自車の前左角の範囲の画像としては、視点変換前方画像Ｆの左側の画像を用いるようにしても、視点変換左方画像Ｌの前側の画像を用いるようにしてもよい。

以上、視点変換画像生成部１０７が行う視点変換画像生成処理について説明した。
次に、調整用画像抽出部１０６が行う調整用画像抽出処理について説明する。
図４に、この調整用画像抽出処理の流れを示す。
図示するように、この調整用画像抽出処理では、まず、視点変換前方画像Ｆ、視点変換後方画像Ｂ、視点変換左方画像Ｌ、視点変換右方画像Ｒを、視点変換画像生成部１０７から取得する。そして、自車周辺の空間を表すＳ上における、視点変換前方画像Ｆと視点変換左方画像Ｌとの撮影範囲の重複部分ＡＦＬ、視点変換前方画像Ｆと視点変換右方画像Ｒとの撮影範囲の重複部分ＡＦＲ、視点変換後方画像Ｂと視点変換左方画像Ｌとの撮影範囲の重複部分ＡＢＬ、視点変換後方画像Ｂと視点変換右方画像Ｒとの撮影範囲の重複部分ＡＢＲのそれぞれついて、以下に示す特徴画像抽出処理を繰り返し行う。

すなわち、たとえば、視点変換前方画像Ｆと視点変換右方画像Ｒとの撮影範囲の重複部分ＡＦＲについての特徴画像抽出処理では、まず、視点変換前方画像Ｆの重複部分ＡＦＲに写り込んでいる特徴パターン４０１と、視点変換右方画像Ｒの重複部分ＡＦＲに写り込んでいる特徴パターン４０２をそれぞれ抽出する。この特徴パターンの抽出は、画像中の同色領域のエッジ（画素値の大きな変化が生じている境界）のパターンを特徴パターンとすることなどにより行う。

そして、次に、それぞれ抽出した二つの特徴パターン４０１、４０２を比較し、一方の特徴パターンのみに含まれるパターン、すなわち、他方の特徴パターン中に、同被写体を表していると認められるパターンが含まれないパターンを非対応パターンとして、各特徴パターン中から除去する。図示した例では、特徴パターン４０２に含まれるパターン４０２１と同被写体を表す推定されるパターンが、他方の特徴パターン４０１中に認められないので、このパターン４０２１を非対応パターンとして、特徴パターン４０２中から除去している。

そして、非対応パターンを除去した二つの特徴パターンを調整用画像とする。すなわち、視点変換前方画像Ｆの重複部分ＡＦＲの特徴パターンから非対応パターンを除去したものを調整用画像ＦＲとし、視点変換右方画像Ｒの重複部分ＡＦＲの特徴パターンから非対応パターンを除去したものを調整用画像ＲＦとする。そして、このようにして作成した調整用画像ＦＬと調整用画像ＲＦのセットを、画像記憶部１０５に格納する。ただし、画像記憶部１０５に、今回作成した調整用画像ＦＬと調整用画像ＲＦとのセットよりも、複雑な特徴パターンを表す調整用画像ＦＲと調整用画像ＲＦとのセットが既に格納されている場合には、今回作成した調整用画像ＦＲと調整用画像ＲＦとのセットの画像記憶部１０５への記憶は行わない。

さて、視点変換前方画像Ｆと視点変換左方画像Ｌとの撮影範囲の重複部分ＡＦＬ、視点変換後方画像Ｂと視点変換左方画像Ｌとの撮影範囲の重複部分ＡＢＬ、視点変換後方画像Ｂと視点変換右方画像Ｒとの撮影範囲の重複部分ＡＢＲについても、以上の重複部分ＡＦＲと同様に特徴画像抽出処理を行う。

すなわち、視点変換前方画像Ｆの重複部分ＡＦＬの特徴パターンから非対応パターンを除去したものを調整用画像ＦＬとし、視点変換左方画像Ｌの重複部分ＡＦＬの特徴パターンから非対応パターンを除去したものを調整用画像ＬＦとする。そして、このようにして作成した調整用画像ＦＬと調整用画像ＬＦのセットを、画像記憶部１０５に格納する。また、視点変換後方画像Ｂの重複部分ＡＢＬの特徴パターンから非対応パターンを除去したものを調整用画像ＢＬとし、視点変換左方画像Ｌの重複部分ＡＢＬの特徴パターンから非対応パターンを除去したものを調整用画像ＬＢとする。そして、このようにして作成した調整用画像ＢＬと調整用画像ＬＢのセットを、画像記憶部１０５に格納する。また、視点変換後方画像Ｂの重複部分ＡＢＲの特徴パターンから非対応パターンを除去したものを調整用画像ＢＲとし、視点変換右方画像Ｒの重複部分ＡＢＲの特徴パターンから非対応パターンを除去したものを調整用画像ＲＢとする。そして、このようにして作成した調整用画像ＢＲと調整用画像ＲＢのセットを、画像記憶部１０５に格納する。

ただし、いずれの調整用画像のセットについても、今回作成したセットよりも、複雑な特徴パターンを表すセットが既に画像記憶部１０５に格納されている場合には、今回作成したセットの画像記憶部１０５への記憶は行わない。
次に、制御部１１２が行うマッピングテーブル調整処理について説明する。
ここで、このマッピングテーブル調整処理は、制御部１１２が、適当な契機で行う。すなわち、たとえば、制御部１１２は、操作部１１１を用いたユーザの調整実行指示の入力が発生した場合に、このマッピングテーブル調整処理を実行する。
図５に、このマッピングテーブル調整処理の流れを示す。
図示するように、このマッピングテーブル調整処理では、まず、現在の視点変換後方画像Ｂを視点変換画像生成部１０７から取得し、視点変換後方画像Ｂに写り込んでいる基準点を抽出する。ここで、この基準点としては、視点変換後方画像Ｂに写り込む範囲に含まれる自車の特徴的な部位、たとえば、自車のナンバープレートの角や自車の後方左右端部などを予め選択しておく。そして、予め記憶しておいた、基準点の視点変換後方画像Ｂ中の正規の位置（リアカメラ１０２が正規の位置、姿勢で自車に装着されている場合に基準点が写り込む視点変換後方画像Ｂ中の位置）を示す校正用画像と比較し、視点変換後方画像Ｂに写り込む基準点の位置が、校正用画像が示す基準点の位置と同じ位置となるようなリアカメラ用マッピングテーブルを算定し、マッピングテーブル保持部１０８に保持されているリアカメラ用マッピングテーブルを、算定したリアカメラ用マッピングテーブルに更新する。また、このときに、それまで用いていた更新前のリアカメラ用マッピングテーブルを別途記憶しておく。

次に、画像記憶部１０５から、調整用画像ＢＬと調整用画像ＬＢを取得する。そして、調整用画像ＢＬを、マッピングテーブル保持部１０８に保持されている現在のリアカメラ用マッピングテーブルを適用した調整後調整用画像ＢＬＮに修正する。ここで、この調整後調整用画像ＢＬＮは、調整用画像ＢＬに、別途記憶しておいた更新前のリアカメラ用マッピングテーブルが示す視点変換の逆変換と、マッピングテーブル保持部１０８に保持されている現在のリアカメラ用マッピングテーブルが示す視点変換を施したものとなる。

そして、調整後調整用画像ＢＬＮが表す特徴パターンと、調整用画像ＬＢが表す特徴パターンが一致するようなレフトサイドカメラ用マッピングテーブルを算定し、マッピングテーブル保持部１０８に保持されているレフトサイドカメラ用マッピングテーブルを、算定したレフトサイドカメラ用マッピングテーブルに更新する。また、このときに、それまで用いていた更新前のレフトサイドカメラ用マッピングテーブルを別途記憶しておく。ここで、このような調整後調整用画像ＢＬＮが表す特徴パターンと、調整用画像ＬＢが表す特徴パターンが一致するようなレフトサイドカメラ用マッピングテーブルの算定法としては、図６に示すような両特徴パターンの並行移動ａ、拡大縮小ｂ、回転ｃ、傾斜ｄまたはこれらの組み合わせの関係を求め、求めた関係より、調整用画像ＬＢを調整後調整用画像ＢＬＮと一致させる座標変換式を算出し、算出した座標変換式による座標変換を、更新前のレフトサイドカメラ用マッピングテーブルが規定する視線変換に加え行うものとして、更新後のレフトサイドカメラ用マッピングテーブルを算定するなどの手法がある。

また、同様に、画像記憶部１０５から、調整用画像ＢＲと調整用画像ＲＢを取得する。そして、調整用画像ＢＲを、マッピングテーブル保持部１０８に保持されている現在のリアカメラ用マッピングテーブルを適用した調整後調整用画像ＢＲＮに修正する。ここで、この調整後調整用画像ＢＲＮは、調整用画像ＢＲに、別途記憶しておいた更新前のリアカメラ用マッピングテーブルが示す視点変換の逆変換と、マッピングテーブル保持部１０８に保持されている現在のリアカメラ用マッピングテーブルが示す視点変換を施したものとなる。

そして、調整後調整用画像ＢＲＮが表す特徴パターンと、調整用画像ＲＢが表す特徴パターンが一致するようなライトサイドカメラ用マッピングテーブルを算定し、マッピングテーブル保持部１０８に保持されているライトサイドカメラ用マッピングテーブルを、算定したライトサイドカメラ用マッピングテーブルに更新する。また、このときに、それまで用いていた更新前のライトサイドカメラ用マッピングテーブルを別途記憶しておく。

また、次に、画像記憶部１０５から、調整用画像ＬＦと調整用画像ＦＬと調整用画像ＲＦと調整用画像ＦＲとを取得する。
そして、調整用画像ＬＦを、マッピングテーブル保持部１０８に保持されている現在のレフトサイドカメラ用マッピングテーブルを適用した調整後調整用画像ＬＦＮに修正する。ここで、この調整後調整用画像ＬＦＮは、調整用画像ＬＦに、別途記憶しておいた更新前のレフトサイドカメラ用マッピングテーブルが示す視点変換の逆変換と、マッピングテーブル保持部１０８に保持されている現在のレフトサイド用マッピングテーブルが示す視点変換を施したものとなる。

また、調整用画像ＲＦを、マッピングテーブル保持部１０８に保持されている現在のライトサイドカメラ用マッピングテーブルを適用した調整後調整用画像ＲＦＮに修正する。ここで、この調整後調整用画像ＲＦＮは、調整用画像ＲＦに、別途記憶しておいた更新前のライトサイドカメラ用マッピングテーブルが示す視点変換の逆変換と、マッピングテーブル保持部１０８に保持されている現在のライトサイド用マッピングテーブルが示す視点変換を施したものとなる。

そして、調整後調整用画像ＬＦＮが表す特徴パターンと、調整用画像ＦＬが表す特徴パターンが一致し、調整後調整用画像ＲＦＮが表す特徴パターンと、調整用画像ＦＲが表す特徴パターンが一致するようなフロントカメラ用マッピングテーブルを算定し、マッピングテーブル保持部１０８に保持されているフロントカメラ用マッピングテーブルを、算定したフロントカメラ用マッピングテーブルに更新する。

以上、制御部１１２が行うマッピングテーブル調整処理について説明した。
このように、マッピングテーブル調整処理では、まず、リアカメラ１０２が撮影した画像に写り込む自車上の基準点を用いてリアカメラ用マッピングテーブルを調整する。そして、次に、ライトサイドカメラ１０４が撮影した、リアカメラ１０２との撮影重複部分の画像を視点変換した画像が、リアカメラ１０２で撮影した当該撮影重複部分の画像を調整後のリアカメラ用マッピングテーブルで視点変換した画像と一致するように、ライトサイドカメラ用マッピングテーブルを調整する。また、レフトサイドカメラ１０３が撮影した、リアカメラ１０２との撮影重複部分の画像を視点変換した画像が、リアカメラ１０２で撮影した当該撮影重複部分の画像を調整後のリアカメラ用マッピングテーブルで視点変換した画像と一致するように、レフトサイドカメラ用マッピングテーブルを調整する。そして、最後に、フロントカメラ１０１が撮影した、レフト／ライトサイドカメラ１０３／１０４との撮影重複部分の画像を視点変換した画像が、レフト／ライトサイドカメラ１０３／１０４で撮影した当該撮影重複部分の画像を調整後のレフト／ライトサイドカメラ用マッピングテーブルで視点変換した画像と一致するように、フロントカメラ用マッピングテーブルを調整する。

以上、本発明の実施形態について説明した。
このように、本実施形態によれば、ユーザに提示する自車周辺の画像を撮影するカメラの他にレーザ装置などを備えない簡便な構成において、カメラの位置や姿勢の変化に応じてマッピングテーブルを、自動車周辺のようすを適正に表した視点変換画像を表示するように調整することができる。

本発明の実施形態に係る車載周辺画像表示装置の構成を示すブロック図である。 本発明の実施形態に係る車載周辺画像表示装置における車両周辺の撮影のようすを示す図である。 本発明の実施形態に係る車載周辺画像表示装置における視点変換画像の生成例を示すフ図である。 本発明の実施形態に係る車載周辺画像表示装置における調整用画像抽出処理の流れを示す図である。 本発明の実施形態に係る車載周辺画像表示装置におけるマッピングテーブル調整処理の流れを示す図である。 本発明の実施形態に係る車載周辺画像表示装置におけるマッピングテーブル算定法の例を示す図である。

符号の説明

１０１…フロントカメラ、１０２…リアカメラ、１０３…レフトサイドカメラ、１０４…ライトサイドカメラ、１０５…画像記憶部、１０６…調整用画像抽出部、１０７…視点変換画像生成部、１０８…マッピングテーブル保持部、１０９…表示装置、１１０…表示処理部、１１１…操作部、１１２…制御部。

Claims (4)

1. 自動車に搭載される車載周辺画像表示装置であって、
   前記自動車周囲を撮影する複数のカメラと、
   前記複数のカメラが撮影した各画像に対して、当該画像を撮影したカメラ毎に定めた変換規則に従った視点変換を施して、当該画像に対応する撮影範囲を所定の視点から観測したようすを表す視点変換画像を生成し、生成した前記各視点変換画像を合成して、前記視点から前記自動車周辺を観測したようすを表す車両周辺画像を生成する車両周辺画像生成手段と、
   前記車両周辺画像生成手段が生成した車両周辺画像を表示する表示装置と、
   前記カメラ毎に定めた変換規則を調整する調整手段とを有し、
   前記複数のカメラ各々の撮影範囲のうちの隣接する撮影範囲は部分的に重複しており、
   前記調整手段は、撮影範囲が重複する二つのカメラが撮影した当該撮影範囲の重複部分の二つの画像を、当該二つのカメラの各々に対して定められた前記変換規則に従って各々視点変換して得られる二つの視点変換画像に含まれる同被写体を表す画像パターンの形態が一致するように、当該二つのカメラの各々に対して定められた変換規則を調整することを特徴とする車載周辺画像表示装置。
2. 請求項１記載の車載周辺画像表示装置であって、
   前記複数のカメラのうちの一つのカメラは撮影範囲内に前記自動車の一部を含み、
   前記調整手段は、
   前記自動車の一部を撮影範囲に含むカメラに対して定められた変換規則を、当該カメラが撮影した画像を、当該カメラに対して定められた前記変換規則に従って視点変換して得られる視点変換画像に含まれる前記自動車の一部を表す画像パターンの形態が所定の形態に一致するように調整すると共に、
   以降、順次、変換規則を調整したカメラと当該カメラと撮影範囲が重複する変換規則が未調整のカメラとの二つカメラを選定し、選定した二つカメラが撮影した当該撮影範囲の重複部分の二つの画像を、当該二つのカメラの各々に対して定められた前記変換規則に従って各々視点変換して得られる二つの視点変換画像に含まれる同被写体を表す画像パターンの形態が一致するように、前記変換規則が未調整のカメラに対して定められた変換規則を調整することを特徴とする車載周辺画像表示装置。
3. 請求項１または２記載の車載周辺画像表示装置であって、
   前記撮影範囲の重複部分について、二つの画像パターンを保持する調整用画像パターン保持手段と、
   前記撮影範囲の重複部分を撮影する二つのカメラが撮影した画像に視点変換を施して車両周辺画像生成手段が生成した二つ視点変換画像の当該重複部分の画像に各々に一つづつ含まれる同被写体を表す計二つの画像パターンを抽出し、前記調整用画像パターン保持手段に保持されている二つの画像パターンより複雑な形態を有する二つの画像パターンが抽出された場合に、抽出された二つの画像パターンに、前記調整用画像パターン保持手段で保持する二つの画像パターンを更新する調整用画像パターン抽出手段とを有し、
   前記調整手段は、前記撮影範囲の重複部分について前記調整用画像パターン保持手段が保持している二つの画像パターンの形態の差異に基づいて、当該重複部分を撮影する二つのカメラが撮影した当該撮影範囲の重複部分の二つの画像を、当該二つのカメラの各々に対して定められた前記変換規則に従って各々視点変換して得られる二つの視点変換画像に含まれる同被写体を表す画像パターンの形態が一致するように、当該二つのカメラの各々に対して定められた変換規則を調整することを特徴とする車載周辺画像表示装置。
4. 前記自動車周囲を撮影する複数のカメラを備えた、自動車に搭載される車載装置であって、前記複数のカメラの各々の撮影範囲のうちの隣接する撮影範囲が部分的に重複している車載装置において、車両周辺の画像を表示する車両周辺画像表示方法であって、
   前記複数のカメラが撮影した各画像に対して、当該画像を撮影したカメラ毎に定めた変換規則に従った視点変換を施して、当該画像に対応する撮影範囲を所定の視点から観測したようすを表す視点変換画像を生成し、生成した前記各視点変換画像を合成して、前記視点から前記自動車周辺を観測したようすを表す車両周辺画像を生成するステップと、
   生成した車両周辺画像を表示するステップと、
   撮影範囲が重複する二つのカメラが撮影した当該撮影範囲の重複部分の二つの画像を、当該二つのカメラの各々に対して定められた前記変換規則に従って各々視点変換して得られる二つの視点変換画像に含まれる同被写体を表す画像パターンの形態が一致するように、当該二つのカメラの各々に対して定められた変換規則を調整するステップとを有することを特徴とする車両周辺画像表示方法。