JP5108840B2 - 車両用周辺監視装置および車両用周辺画像表示方法 - Google Patents

Description

本発明は、車両用周辺監視装置および車両用周辺画像表示方法に関し、詳細には、互いに異なる方向を撮像した複数の画像の明るさの違いを補正して、自然な合成画像を得る手法に関する。

近年、車両にカメラを搭載し、運転者に、死角になりやすい車両周辺の画像を提供するシステムが一般的になってきている。

特に、最近では、カメラで撮像した画像を車両の真上から見下ろしたように座標変換した俯瞰画像を提供するものや、車両に複数のカメラを搭載し、座標変換した俯瞰画像同士を合成して、車両の周辺３６０°を見渡せるような画像を提供するシステムも実用化されている。

このような、複数のカメラで撮像した画像を１枚の画像に合成するシステムにおいては、システムを構成するカメラの種類の違い、あるいは、同じ種類のカメラであっても、各カメラの自動露出補正の働きの違いや、カメラ中心からの距離に応じた光量の減少によって、特に画像のつなぎ目で明るさが不連続になり、合成した画像に違和感が生じるという問題があった。

こうした問題に対し、従来、隣りあったカメラの共通撮像領域の平均的な明るさが一致するように、各カメラで撮像した画像の明るさを補正して、明るさが補正された画像を表示する技術が提案されている（特許文献１、特許文献２）。

特許第３２９７０４０号公報 特開２００７−１４１０９８号公報

ところで、こうした従来の提案では、複数の画像を座標変換、および合成した画像を提供することを前提にして明るさの補正を行っている。

したがって、例えば、車両後方の画像と車両周囲を俯瞰した画像を並べて同時に表示することで、車両後方の画像を確認しながら車両周囲の状況を確認できる、あるいは、車両前方の画像と車両周囲を俯瞰した画像を並べて同時に表示することで、車両前方の画像を確認しながら車両周囲の状況を確認できる、という機能を有する車両用周辺監視装置を実現した場合、合成した画像の明るさを補正することによって、もう一方の画像、すなわち、車両後方、もしくは車両前方の画像の明るさも同時に補正されてしまう。

例えば、複数のカメラで撮像した画像の中の一部の画像で明暗が頻繁に変化するような場合、これら複数の画像を１枚に合成した画像の明るさを補正するために算出した明るさの補正値によって、車両周囲の合成画像と同時に表示される、車両後方や車両前方の画像の明るさも同時に補正されるため、これらが見にくくなってしまうという問題が生じてしまう。

本発明は上記事情に鑑みなされたものであり、並べて表示される、合成された画像を含む２種類以上の画像が、互いの画像に影響されず、合成した画像の明るさの補正が可能な車両用周辺監視装置および車両用周辺画像表示方法を提供することを目的とするものである。

本発明は、車両周辺を俯瞰した合成画像と、車両後方の画像を並べて表示するとき、車両後方の画像の中の明るさに対応した値に基づいて、前記車両周辺を俯瞰した合成画像の明るさを補正することにより、明るさの変化が激しい環境にあっても、見やすい画像を提供できるものである。

すなわち、本発明に係る車両用周辺監視装置は、車両に設置され、車両周辺を撮像する複数の撮像手段と、前記複数の撮像手段のうちいずれか１つの撮像手段で撮像された画像の中から、前記１つの撮像手段で撮像された画像の明るさに対応した値を算出する画像の明るさ算出手段と、前記画像の明るさ算出手段によって算出された値に基づいて、前記複数の撮像手段で得られた画像の明るさを補正する明るさ補正手段と、前記明るさ補正手段によって明るさが補正された画像に対して、所定の座標変換処理を施す画像変換手段と、前記座標変換処理が施された複数の画像を１つの画像に合成する画像合成手段と、前記画像合成手段によって合成された画像と前記いずれか１つの撮像手段で撮像された画像とを同時に表示する画像表示手段とを備えることを特徴とする。

このように構成された本発明に係る車両用周辺監視装置によれば、複数の撮像手段の中の１つの撮像手段で撮像された画像の中から、その画像の明るさに対応した値を算出し、明るさ補正手段は、前記算出された値に基づいて、複数の撮像手段によって撮像された画像の明るさを補正する。

明るさが補正された画像は、画像変換手段で座標変換され、さらに、画像合成手段で１枚の画像に合成される。１枚に合成された画像と、前記複数の撮像手段の中の１つで撮像された画像が並べて表示されるため、前記複数の撮像手段の中の１つで撮影した画像の明るさには影響を与えず、合成画像の明るさのみが補正できる。

また、本発明に係る車両用周辺監視装置は、車両の進行方向を判定する進行方向判定手段と、前記進行方向判定手段の判定結果に基づいて、複数の撮像手段から１つの撮像手段を選択する撮像手段選択手段とを備え、前記画像の明るさ算出手段は、前記撮像手段選択手段によって選択された１つの撮像手段で撮像した画像の中から画像の明るさに対応した値を算出するものであり、前記画像表示手段は、前記画像合成手段によって合成された画像と前記撮像手段選択手段によって選択された１つの撮像手段で撮像した画像とを同時に表示するものであることが望ましい。

このように構成された本発明に係る車両用周辺監視装置によれば、進行方向判定手段によって判定された結果に基づいて、撮像手段選択手段によって１つの撮像手段が選択され、選択された撮像手段によって撮像された画像の中の明るさに対応した値が算出される。明るさ補正手段は、算出された値に基づいて、複数の撮像手段によって撮像された画像の明るさを補正する。明るさが補正された画像は、画像変換手段で座標変換され、さらに、画像合成手段で１枚の画像に合成される。１枚に合成された画像と、前記、複数の撮像手段の中の１つで撮像された画像が並べて表示されるため、明るさ補正の結果が、運転中に最も注意を払う必要がある、車両の進行方向の画像の明るさに影響を与えずに、前記進行方向の情報を運転者に提示することができるため、車両周辺の安全確認に有効である。

また、本発明に係る車両用周辺監視装置は、前記撮像手段選択手段が、その中の少なくとも２つの撮像手段で撮像される範囲が一部重複するように設置された３方向以上の方向を撮像する複数の撮像手段の中から第１の撮像手段を選択するものであり、さらに、前記画像の明るさ算出手段が、前記選択された第１の撮像手段で撮像した画像、および、前記選択された第１の撮像手段と第１の重複する撮像範囲を有する第２の撮像手段で撮像した画像の、前記第１の重複する撮像範囲、あるいは前記第１の重複する撮像範囲の近傍の明るさに対応した値を算出するものであり、前記明るさ補正手段が、前記算出された値に基づいて、前記第２の撮像手段によって撮像された画像の明るさを補正するものであり、前記画像の明るさ算出手段が、さらに、前記明るさが補正された結果に基づいて、前記明るさが補正された画像と、前記明るさが補正された画像と第２の重複する撮像範囲を有する第３の撮像手段によって撮像された画像の中から、前記第２の重複する撮像範囲、あるいは、前記第２の重複する撮像範囲の近傍の明るさに対応した別の値を算出するものであり、前記明るさ補正手段が、さらに、前記算出された別の値に基づいて、前記第３の撮像手段によって撮像された画像の明るさを補正するものであり、前記画像の明るさ算出手段と前記明るさ補正手段が、以降、同様に、前記明るさの算出と前記明るさの補正を順次繰り返すものであることが好ましい。

このように構成された本発明に係る車両用周辺監視装置によれば、互いに撮像範囲が重複する２つの画像の重複撮像範囲、もしくはその近傍の明るさが等しくなるような明るさ補正を行うとともに、車両の状況に応じて、撮像手段選択手段によって撮像手段が選択されるため、基準になる画像の明るさに基づいて、その画像と一部重複する範囲を撮像した別の画像の明るさを再帰的に補正することが可能であり、多くの画像を１枚の画像に合成して表示する車両用周辺監視装置において、画像のつなぎ目における明るさの不連続感を大幅に低減し、運転者に見やすい画像を提供することができる。

さらに、撮像手段で撮像した画像をデコード処理する際に、ブライトネス調整によって画像の明るさ補正を行うことができるため、明るさ補正を短時間で実行することができる。

また、本発明に係る車両用周辺監視装置は、前記画像の明るさ算出手段が、その中の少なくとも２つの撮像手段で撮像される範囲が一部重複するように設置された３方向以上の方向を撮像する複数の撮像手段の中の第１の撮像手段で撮像した画像、および、前記第１の撮像手段と第１の重複する撮像範囲を有する第２の撮像手段で撮像した画像の、前記第１の重複する撮像範囲、あるいは、前記第１の重複する撮像範囲の近傍の明るさに対応した値を算出するものであり、前記明るさ補正手段が、前記算出された値に基づいて、前記第２の撮像手段によって撮像された画像の明るさを補正するものであり、前記画像の明るさ算出手段が、さらに、前記明るさが補正された結果に基づいて、前記明るさが補正された画像と、前記明るさが補正された画像と第２の重複する撮像範囲を有する第３の撮像手段によって撮像された画像の中から、前記第２の重複する撮像範囲、あるいは、前記第２の重複する撮像範囲の近傍の明るさに対応した別の値を算出するものであり、前記明るさ補正手段が、さらに、前記算出された別の値に基づいて、前記第３の撮像手段によって撮像された画像の明るさを補正するものであり、前記画像の明るさ算出手段と前記明るさ補正手段が、以降、同様に、前記明るさの算出と前記明るさの補正を順次繰り返すものであることが好ましい。

このように構成された本発明に係る車両用周辺監視装置によれば、特に、多くの画像を１枚の画像に合成して表示する車両用周辺監視装置において、予め選択された画像の明るさを基準にして、画像の明るさを順次補正することが可能なため、画像のつなぎ目における明るさの不連続感を大幅に低減し、運転者に見やすい画像を提供することができる。

さらに、撮像手段で撮像した画像をデコード処理する際に、ブライトネス調整によって画像の明るさ補正を行うことができるため、明るさ補正を短時間で実行することができる。

また、本発明に係る車両用周辺画像表示方法は、車両周辺を撮像した複数の画像の中から、１つの画像の明るさに対応した値を算出し、前記算出された値に基づいて、前記複数の画像の明るさを補正し、前記明るさが補正された画像に対して、所定の座標変換処理を施し、前記座標変換が施された複数の画像を１つの画像に合成し、前記合成された画像と、前記１つの画像を同時に表示することを特徴とする。

このように構成された本発明に係る車両用周辺画像表示方法によれば、上述した作用によって、前記１つの画像の明るさには影響を与えず、合成画像の明るさのみが補正できる。

また、本発明に係る車両用周辺画像表示方法は、車両の進行方向を判定し、前記進行方向の判定結果に基づいて、車両周辺を撮像した複数の画像から１つの画像を選択し、前記選択された１つの画像の中から前記１つの画像の明るさに対応した値を算出し、前記算出された値に基づいて、前記複数の画像の明るさを補正し、前記明るさが補正された画像に対して、所定の座標変換処理を施し、前記座標変換処理が施された複数の画像を１つの画像に合成し、前記合成された画像と前記選択された１つの画像を同時に表示することが好ましい。

このように構成された本発明に係る車両用周辺画像表示方法によれば、上述した作用によって、画像の明るさを補正した結果が、運転中に最も注意を払う必要がある、車両の進行方向の画像の明るさに影響を与えないため、運転者に、車両周辺の安全確認に有効な情報を提供することができる。

また、本発明に係る車両用周辺画像表示方法は、その中の少なくとも２つの画像の撮像範囲が一部重複するように設置された３方向以上の方向を撮像した複数の画像の中から第１の画像を選択し、前記選択された第１の画像、および、前記選択された第１の画像と第１の重複する撮像範囲を有する第２の画像の、前記重複する第１の撮像範囲、あるいは前記第１の重複する撮像範囲の近傍の明るさに対応した値を算出し、前記算出された値に基づいて、前記第２の画像の明るさを補正し、前記明るさが補正された結果に基づいて、前記明るさが補正された画像と、前記明るさが補正された画像と第２の重複する撮像範囲を有する第３の画像の中から、前記第２の重複する撮像範囲、あるいは、前記第２の重複する撮像範囲の近傍の明るさに対応した別の値を算出し、前記算出された別の値に基づいて、前記第３の画像の明るさを補正し、以降、同様に、前記明るさの算出と前記明るさの補正を順次繰り返すことが好ましい。

このように構成された本発明に係る車両用周辺画像表示方法によれば、上述した作用によって、複数の画像を１枚に合成する際、画像のつなぎ目における明るさの不連続感を大幅に低減し、運転者に見やすい画像を提供することができる。

さらに、撮像した画像をデコード処理する際に、ブライトネス調整によって画像の明るさ補正を行うため、明るさ補正を短時間で実行することができる。

また、本発明に係る車両用周辺画像表示方法は、その中の少なくとも２つの画像の撮像範囲が一部重複するように設置された３方向以上の方向を撮像した複数の画像の中の第１の画像と、前記第１の画像と第１の重複する撮像範囲を撮像した第２の画像の、前記第１の重複する撮像範囲、あるいは前記第１の重複する撮像範囲の近傍の明るさに対応した値を算出し、前記算出された値に基づいて、前記第２の画像の明るさを補正し、前記明るさが補正された結果に基づいて、前記明るさが補正された画像と、前記明るさが補正された画像と第２の重複する撮像範囲を有する第３の画像の中から、前記第２の重複する撮影範囲、あるいは、前記第２の重複する撮像範囲の近傍の明るさに対応した別の値を算出し、前記算出された別の値に基づいて、前記第３の画像の明るさを補正し、以降、同様に、前記明るさの算出と前記明るさの補正を順次繰り返すのが好ましい。

このように構成された本発明に係る車両用周辺画像表示方法によれば、予め選択された画像の明るさを基準にして、画像の明るさを順次補正することが可能なため、画像のつなぎ目における明るさの不連続感を大幅に低減し、運転者に見やすい画像を提供することができる。

さらに、撮像手段で撮像した画像をデコード処理する際に、ブライトネス調整によって画像の明るさ補正を行うため、明るさ補正を短時間で実行することができる。

本発明に係る車両用周辺監視装置および車両用周辺画像表示方法によれば、車両周辺を俯瞰した合成画像と、車両後方の画像を並べて表示するとき、車両後方の画像の中の明るさに対応した値に基づいて、前記車両周辺を俯瞰した合成画像の明るさを補正することにより、明るさの変化が激しい環境にあっても、見やすい画像を提供できるという効果を有する。

本発明の第１実施例の車両用周辺監視装置の概略構成を示すブロック図である。 図１の車両用周辺監視装置における撮像手段１１０、明るさ補正手段１２０、座標変換および画像合成手段２００、画像の明るさ算出手段３００、画像表示手段４００の詳細構成を示すブロック図である。 図１、および、図２に示した車両用周辺監視装置における一連の処理手順を示すフローチャートである。 本発明の第１実施例で作成され、運転者に提示される画像の１例を示す図である。 第４の明るさ算出手段で算出される画像の明るさの算出方法を説明する図である。 第１の明るさ算出手段３０１、第２の明るさ算出手段３０２、第３の明るさ算出手段３０３によって算出される画像の明るさの算出方法を説明する図である。 本発明の第２実施例の実施形態に係る車両用周辺監視装置の概略構成を示すブロック図である。 図７の車両用周辺監視装置における撮像手段８１０、明るさ補正手段８２０、座標変換および画像合成手段９００、画像の明るさ算出手段１０００、画像表示手段１１００の詳細構成を示すブロック図である。 図７、および、図８に示した車両用周辺監視装置における一連の処理手順を示すフローチャートである。 本発明の第２実施例および第３実施例で作成され、運転者に提示される画像の１例を示す図である。 第１の明るさ算出手段１００１で算出される画像の明るさの算出方法を説明する図である。 図８の第１の明るさ算出手段１００１、第２の明るさ算出手段１００２、第３の明るさ算出手段１００３、第４の明るさ算出手段１００４、および、図１４の第１の明るさ算出手段１６０１、第２の明るさ算出手段１６０２、第３の明るさ算出手段１６０３、第４の明るさ算出手段１６０４で算出される明るさの算出方法を説明する図である。 本発明の第３実施例の車両用周辺監視装置の概略構成を示すブロック図である。 図１３の車両用周辺監視装置における撮像手段１４１０、明るさ補正手段１４２０、座標変換および画像合成手段１５００、画像の明るさ算出手段１６００、画像表示手段１７００の詳細構成を示すブロック図である。 図１３、および図１４に示した車両用周辺監視装置における一連の処理手順を示すフローチャートである。

以下、本発明の車両用周辺監視装置の実施形態について、図面を参照して説明する。

図１は、本発明に係る車両用周辺監視装置の第１実施例の概略構成を示すブロック図である。

図２は、図１の車両用周辺監視装置における、撮像手段１１０、明るさ補正手段１２０、座標変換および画像合成手段２００、画像の明るさ算出手段３００、および、画像表示手段４００の詳細構成を示すブロック図である。

図３は、図２に示した車両用周辺監視装置における一連の処理手順を示すフローチャートである。

本実施例に係る車両用周辺監視装置は、図１のブロック図に示す通り、車両に設置され、互いに異なる方向を観測するＮ個のＣＣＤカメラやＣ−ＭＯＳカメラのような撮像手段１１０と、撮像手段から入力された画像の明るさを補正する明るさ補正手段１２０と、明るさ補正手段１２０から出力された画像に対して座標変換を施し、さらに１枚の画像に合成する、座標変換および画像合成手段２００と、撮像された画像の明るさを算出する画像の明るさ算出手段３００と、座標変換・画像合成を行った結果を表示するモニタ等からなる画像表示手段４００、および、車両用周辺監視装置の起動指示と終了指示を検出する起動・終了指示検出手段５００を備えた構成になっている。

本実施例は、撮像手段１１０が、４台のカメラで構成される例で記載する。すなわち、撮像手段１１０と明るさ補正手段１２０は、車両前方を観測するフロントカメラ１１１と、それに接続された第１のデコーダおよび明るさ補正手段１１２と第１のＡ／Ｄ変換器１１３、車両左横方向を観測する左サイドカメラ１２１と、それに接続された第２のデコーダおよび明るさ補正手段１２２と第２のＡ／Ｄ変換器１２３、車両右横方向を観測する右サイドカメラ１３１と、それに接続された第３のデコーダおよび明るさ補正手段１３２と第３のＡ／Ｄ変換器１３３、車両後方を観測するリアカメラ１４１と、それに接続された第４のデコーダおよび明るさ補正手段１４２と第４のＡ／Ｄ変換器１４３とから構成されるものとする。

また、座標変換および画像合成手段２００は、座標変換手段２０１、座標変換テーブル２０２、および、画像合成手段２０３とから構成される。

画像の明るさ算出手段３００は、第１のＡ／Ｄ変換器１１３に接続された第１の明るさ算出手段３０１、第２のＡ／Ｄ変換器１２３に接続された第２の明るさ算出手段Ｂ３０２、第３のＡ／Ｄ変換器１３３に接続された第３の明るさ算出手段３０３、および、第４のＡ／Ｄ変換器１４３に接続された第４の明るさ算出手段３０４とから構成される。

さらに、画像表示手段４００は、Ｄ／Ａ変換器４０１、エンコーダ４０２、およびモニタ４０３とから構成される。

本実施例における車両用周辺監視装置は、図４に示すように、車両周辺３６０°の情報を１枚の画像に合成した合成画像７００と、車両の後方を撮像した画像６３０を１枚の画像として、モニタ４０３に表示する構成になっている。

ここで、合成画像７００は、図６（ｂ）に示すフロントカメラ１１１で撮像された画像６００を、上空の仮想視点Ｖから俯瞰した画像７１０と、図６（ｃ）に示す左サイドカメラ１２１で撮像された画像６１０を、上空の仮想視点Ｖから俯瞰した画像７２０と、図６（ｄ）に示す右サイドカメラ１３１で撮像された画像６２０を、上空の仮想視点Ｖから俯瞰した画像７３０と、図４に示すリアカメラ１４１で撮像された画像６３０を、上空の仮想視点Ｖから俯瞰した画像７４０と、本装置が取り付けられた車両を上空の仮想視点Ｖから俯瞰した仮想画像７５０を１枚の画像に合成したものである。

なお、本実施例の構成は、車両の４方向を観測する構成になっているが、観測方向の数はこの限りではなく、より多数の方向を観測するようにしてもよい。なお、その場合でも、本実施例と同様の作用で本発明を実施することができる。

次に、本実施例に係る車両用周辺監視装置の作用について、図３のフローチャートを参照して説明する。

フロントカメラ１１１、左サイドカメラ１２１、右サイドカメラ１３１、リアカメラ１４１は、隣り合ったカメラ（フロントカメラ１１１と左サイドカメラ１２１、フロントカメラ１１１と右サイドカメラ１３１、左サイドカメラ１２１とリアカメラ１４１、右サイドカメラ１３１とリアカメラ１４１）の撮像範囲が一部重複するレイアウトで、車両に取り付けられている。

起動・終了指示検出手段５００にて、シフトポジションが後退位置にあることが検出されると（図３のＳ２）、座標変換手段２０１でトリガ信号が発生し、このトリガ信号が、第１のデコーダおよび明るさ補正手段１１２、第１のＡ／Ｄ変換器１１３、第２のデコーダおよび明るさ補正手段１２２、第２のＡ／Ｄ変換器１２３、第３のデコーダおよび明るさ補正手段１３２、第３のＡ／Ｄ変換器１３３、第４のデコーダおよび明るさ補正手段１４２、第４のＡ／Ｄ変換器１４３に入力される。

各カメラが前記トリガ信号を受信すると、フロントカメラ１１１、左サイドカメラ１２１、右サイドカメラ１３１、リアカメラ１４１から、同時に画像入力が行われる（図３のＳ３）。

フロントカメラ１１１から入力された画像は、第１のデコーダおよび明るさ補正手段１１２にて、コンポジット信号からコンポーネント信号に変換され（図３のＳ４）、さらに、変換されたコンポーネント信号のうち輝度信号は、第１のＡ／Ｄ変換器１１３でデジタル信号に変換され、画像６００が生成される（図３のＳ６）。同様にして、左サイドカメラ１２１から入力された画像は、第２のデコーダおよび明るさ補正手段１２２にて、コンポジット信号からコンポーネント信号に変換され（図３のＳ４）、さらに、変換されたコンポーネント信号のうち輝度信号は、第２のＡ／Ｄ変換器１２３でデジタル信号に変換され、画像６１０が生成される（図３のＳ６）。右サイドカメラ１３１から入力された画像は、第３のデコーダおよび明るさ補正手段１３２にて、コンポジット信号からコンポーネント信号に変換され（図３のＳ４）、さらに、変換されたコンポーネント信号のうち輝度信号は、第３のＡ／Ｄ変換器１３３でデジタル信号に変換され、画像６２０が生成される（図３のＳ６）。リアカメラ１４１から入力された画像は、第４のデコーダおよび明るさ補正手段１４２にて、コンポジット信号からコンポーネント信号に変換され（図３のＳ４）、さらに、変換されたコンポーネント信号のうち輝度信号は、第４のＡ／Ｄ変換器１４３でデジタル信号に変換され、画像６３０が生成される（図３のＳ６）。

なお、ここで、コンポジット信号からコンポーネント信号に信号変換するのと同時に、撮像された画像の明るさの補正を行う（図３のＳ５）が、画像の明るさを補正する補正量が算出できていないため、車両用周辺監視装置起動後の最初の画像入力時には、この明るさ補正は行われない。

次に、第４の明るさ算出手段３０４によって、リアカメラ１４１で撮像した画像６３０の中の所定領域の画素値の平均値を算出する（図３のＳ７）。ここでは、図５に示すように、予め決めておいた所定位置（ｘ０，ｙ０）に、横方向ｍ個の画素、縦方向ｎ個の画素からなる領域を設定し、その領域の中の全ての画素値の平均値Ｉaveを算出する。

次に、第１の明るさ算出手段３０１によって、フロントカメラ１１１で撮像された画像６００の中の所定領域の画素値の平均値を算出する（図３のＳ８）。ここでは、図６（ｂ）に示すように、画像６００の中に、予め決めておいた所定位置に所定サイズの領域６０１と領域６０２を設定し、その領域６０１、領域６０２の中の全ての画素値の平均値Ｉ１aveを算出する。

ここで、領域６０１は、図６（ａ）に示すように、画像６００を、上空の仮想視点Ｖから俯瞰した画像７１０に変換したとき、フロントカメラ１１１と左サイドカメラ１２１の撮像範囲が重複した位置、もしくはその近傍にある横Ａ、縦Ｂの広さを有する矩形領域７１１に変換される領域とする。さらに、領域６０２は、画像６００を、上空の仮想視点Ｖから俯瞰した画像７１０に変換したとき、フロントカメラ１１１と右サイドカメラ１３１の撮像範囲が重複した位置、もしくはその近傍にある横Ａ、縦Ｂの広さを有する矩形領域７１２に変換される領域とする。

なお、この領域６０１、領域６０２の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め第１の明るさ算出手段３０１に記憶しておく。

次に、第２の明るさ算出手段３０２によって、左サイドカメラ１２１で撮像された画像６１０の中の所定領域の画素値の平均値を算出する（図３のＳ８）。ここでは、図６（ｃ）に示すように、画像６１０の中に、予め決めておいた所定位置に所定サイズの領域６１１と領域６１２を設定し、その領域６１１、領域６１２の中の全ての画素値の平均値Ｉ２aveを算出する。

ここで、領域６１１は、図６（ａ）に示すよう、画像６１０を、上空の仮想視点Ｖから見下ろした画像７２０に変換したとき、フロントカメラ１１１と左サイドカメラ１２１の撮像範囲が重複した位置、もしくはその近傍にある横Ａ、縦Ｂの広さを有する矩形領域７２１に変換される領域とする。さらに、領域６１２は、画像６１０を、図６（ａ）に示すよう、上空の仮想視点Ｖから俯瞰した画像７２０に変換したとき、左サイドカメラ１２１とリアカメラ１４１の撮像範囲が重複した位置、もしくはその近傍にある横Ａ、縦Ｂの広さを有する矩形領域７２２に変換される領域とする。

なお、この領域６１１、領域６１２の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め第２の明るさ算出手段３０２に記憶しておく。

さらに、第３の明るさ算出手段３０３によって、右サイドカメラ１３１で撮像された画像６２０の中の所定領域の画素値の平均値を算出する（図３のＳ８）。ここでは、図６（ｄ）に示すように、画像６２０の中に、予め決めておいた所定位置に所定サイズの領域６２１と領域６２２を設定し、その領域６２１、領域６２２の中の全ての画素値の平均値Ｉ３aveを算出する。

ここで、領域６２１は、図６（ａ）に示すよう、画像６２０を、上空の仮想視点Ｖから俯瞰した画像７３０に変換したとき、フロントカメラ１１１と右サイドカメラ１３１の撮像範囲が重複した位置、もしくはその近傍にある横Ａ、縦Ｂの広さを有する矩形領域７3１に変換される領域とする。さらに、領域６２２は、画像６２０を、図６（ａ）に示すよう、上空の仮想視点Ｖから俯瞰した画像７３０に変換したとき、右サイドカメラ１３１とリアカメラ１４１の撮像範囲が重複した位置、もしくはその近傍にある横Ａ、縦Ｂの広さを有する矩形領域７３２に変換される領域とする。

なお、この領域６２１、領域６２２の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め第３の明るさ算出手段３０３に記憶しておく。

こうして算出された画像６３０の所定領域の画素値の平均値Ｉaveと、画像６００の所定領域の画素値の平均値Ｉ１aveは、第１のデコーダおよび明るさ補正手段１１２に送って、そこに記憶しておく。同様に、画像６３０の所定領域の画素値の平均値Ｉaveと、画像６１０の所定領域の画素値の平均値Ｉ２aveは、第２のデコーダおよび明るさ補正手段１２２に送ってそこに記憶し、画像６３０の所定領域の画素値の平均値Ｉaveと、画像６２０の所定領域の画素値の平均値Ｉ３aveは、第３のデコーダおよび明るさ補正手段１３２に送って、そこに記憶しておく。

図３のＳ６で生成された画像６００、画像６１０、画像６２０、画像６３０は、座標変換手段２０１によって座標変換され、上空の仮想視点Ｖから見下ろした画像に変換される（図３のＳ９）。この座標変換処理は、車両に設置された各カメラの幾何学的レイアウトやカメラの焦点距離、画素サイズ等のカメラパラメータ、および、仮想視点Ｖの位置や観測範囲等のパラメータに基づいて計算されるが、一般的には、各カメラの幾何学的レイアウトやカメラの焦点距離、画素サイズ等のカメラパラメータ、および、仮想視点Ｖの位置や観測範囲等のパラメータに基づいて、予め座標変換テーブル２０２を作成しておき、この座標変換テーブル２０２に基づいて、入力された画像の座標の置き換えを行うことによって実行される。

前記座標変換によって、フロントカメラ１１１で撮像された画像６００が画像７１０に変換され、左サイドカメラ１２１で撮像された画像６１０が画像７２０に変換され、右サイドカメラ１３１で撮像された画像６２０が画像７３０に変換され、リアカメラ１４１で撮像された画像６３０が画像７４０に変換される。変換された結果は、画像合成手段２０３によって１枚の画像に合成されるとともに、さらに、自車両を上空の仮想視点Ｖから俯瞰した仮想画像７５０が合成され、合成画像７００が生成される。さらに、リアカメラ１４１で撮像した画像６３０と合成して、図４に示す１枚の画像が作成される（図３のＳ１０）。

合成された画像は、Ｄ／Ａ変換器４０１にてコンポーネント信号に再構成され（図３のＳ１１）、さらにエンコーダ４０２でコンポジット信号に変換されて（図３のＳ１２）、モニタ４０３に表示される（図３のＳ１３）。

起動・終了指示検出手段５００にて、シフトポジションが後退位置にあるか否かを検出する（図３のＳ１４）。もし、シフトポジションが後退位置以外であったら、モニタ４０３の表示を解除する（図３のＳ１５）。

もし、シフトポジションが後退位置にあることが確認されると、図３のＳ３において、再度画像入力が行われる。

フロントカメラ１１１から入力された画像は、第１のデコーダおよび明るさ補正手段１１２にて、コンポジット信号からコンポーネント信号に変換され（図３のＳ４）、その後、第１デコーダおよび明るさ補正手段１１２に記憶された、画像６３０の所定領域の画素値の平均値Ｉaveと、画像６００の所定領域の画素値の平均値Ｉ１aveに基づいて、明るさの補正が行われる（図３のＳ５）。

明るさの補正は、具体的には、第１のデコーダおよび明るさ補正手段１１２における現在の設定ブライトネス値をＢ１、明るさ補正によって新たに設定されたブライトネス値をＢ１’とすると、（式１）に基づいて、ブライトネス値をＢ１からＢ１’に変更することによって行われる。

Ｂ１’＝Ｂ１＋（Ｉave−Ｉ１ave）×ｗ （式１）
（式１）にて、ｗは明るさ補正の重み付け値（０≦ｗ≦１）を表す。これは、画面の明るさが急激に変化したとき、明るさの補正値が、それに伴って急激に変化することを避けるために設ける値である。なお、ｗは、予め決めておいた所定の値に設定される。

左サイドカメラ１２１から入力された画像６１０、右サイドカメラ１３１から入力された画像６２０についても、これと同様に明るさ補正が行われる。

すなわち、第２のデコーダおよび明るさ補正手段１２２における現在の設定ブライトネス値をＢ２、明るさ補正によって新たに設定されたブライトネス値をＢ２’、第３のデコーダおよび明るさ補正手段１３２における現在の設定ブライトネス値をＢ３、明るさ補正によって新たに設定されたブライトネス値をＢ３’とすると、画像６１０の明るさは、以下の（式２）に基づいて、ブライトネス値をＢ２からＢ２’に変更することによって補正される。また、画像６２０の明るさは、以下の（式３）に基づいて、ブライトネス値をＢ３からＢ３’に変更することによって補正される。

Ｂ２’＝Ｂ２＋（Ｉave−Ｉ２ave）×ｗ （式２）
Ｂ３’＝Ｂ３＋（Ｉave−Ｉ３ave）×ｗ （式３）
なお、リアカメラ１４１で撮像された画像は、画像の明るさの補正を行う基準になる画像であるため、その画像自身には明るさ補正を行わない。したがって、第４のデコーダおよび明るさ補正手段１４２には、ｗ＝０が記憶される。すなわち、第４のデコーダおよび明るさ補正手段１４２における現在の設定ブライトネス値をＢ４、明るさ補正によって新たに設定されたブライトネス値をＢ４’とすると、Ｂ４’は（式４）のようになる。

Ｂ４’＝Ｂ４ （式４）
（式１）、（式２）、（式３）および（式４）によって明るさが補正された画像は、第１のＡ／Ｄ変換器１１３、第２のＡ／Ｄ変換器１２３、第３のＡ／Ｄ変換器１３３、第４のＡ／Ｄ変換器１４３でデジタル信号に変換され、明るさが補正された新たな画像６００、画像６１０、画像６２０、画像６３０が生成される（図３のＳ６）。

このようにして、明るさが補正された新たな画像６００、画像６１０、画像６２０、画像６３０に対し、再び画像の明るさ算出手段３００にてＩave、Ｉ１ave、Ｉ２ave、Ｉ３aveが算出される。

このようにして算出されたＩave、Ｉ１ave、Ｉ２ave、Ｉ３aveのうち、Ｉave、Ｉ１aveは、第１のデコーダおよび明るさ補正手段１１２に送って、そこに記憶しておく。またＩave、Ｉ２aveは、第２のデコーダおよび明るさ補正手段１２２に送って、そこに記憶しておく。さらにＩave、Ｉ３aveは、第３のデコーダおよび明るさ補正手段１３２に送って、そこに記憶しておく。リアカメラから入力された画像に対しては、明るさ補正を行わないため、第４のデコーダおよび明るさ補正手段１４２には、ｗ＝０が記憶される。

続いて、明るさ補正された画像に対して座標変換処理、画像合成処理が行われ、合成された画像は、Ｄ／Ａ変換された後エンコード処理にてコンポジット信号に変換され、モニタ４０３に出力される。

以後、シフトポジションが後退位置になっている限り、上記処理が継続して実行され、その都度、算出された最新のブライトネス値に基づいて、画像の明るさが補正される。

このように構成された本実施形態に係る車両用周辺監視装置によれば、車両周辺の３６０°を俯瞰できる画像と、車両後方を撮像した画像を同時に表示する際、俯瞰した画像の明るさ補正の結果が、車両後方を撮像した画像に影響を与えないため、車両周辺の明暗変化が激しいときでも、運転者に見やすい画像を提供することができる。

なお、本実施例においては、画像の明るさ補正の基準値を、リアカメラ１４１で撮像した画像６３０の中の所定領域、すなわち、図５に示すように、所定位置（ｘ０，ｙ０）に、横方向ｍ個の画素、縦方向ｎ個の画素からなる領域を設定し、その領域の中の全ての画素値の平均値Ｉaveとしたが、基準のとり方はこの限りでなく、例えば、リアカメラ１４１で撮像した画像６３０の中に、図１２（ｅ）に示す領域６３１、および領域６３２を設定し、領域６３１と領域６３２の全ての画素値の平均値を明るさ補正の基準にしてもよい。ここで、領域６３１は、画像６３０を、上空の仮想視点Ｖから俯瞰した画像７４０に変換したとき、リアカメラ１４１と左サイドカメラ１２１の撮像範囲が重複した位置、もしくはその近傍にある横Ａ、縦Ｂの広さを有する矩形領域７４１に変換される領域のことである。また、領域６３２は、画像７４０において、リアカメラ１４１と右サイドカメラ１３１の撮像範囲が重複した位置、もしくはその近傍にある横Ａ、縦Ｂの広さを有する矩形領域７４２に変換される領域のことである。この基準のとり方によると、実施例の方法に比べて、画像のつなぎ目部分の明るさの連続性がより向上するという効果が得られる。

なお、上述した本実施例の車両用周辺監視装置の作用は、本発明に係る車両用周辺画像表示方法の実施形態に相当する。

図７は、本発明に係る車両用周辺監視装置の第２実施例の概略構成を示すブロック図である。

図８は、図７の車両用周辺監視装置における、撮像手段８１０、明るさ補正手段８２０、座標変換および画像合成手段９００、画像の明るさ算出手段１０００、および、画像表示手段１１００の詳細構成を示すブロック図である。

図９は、図８に示した車両用周辺監視装置における一連の処理手順を示すフローチャートである。

本実施例に係る車両用周辺監視装置は、図７のブロック図に示す通り、車両に設置され、互いに異なる方向を観測するＮ個のＣＣＤカメラやＣ−ＭＯＳカメラのような撮像手段８１０と、撮像手段から入力された画像の明るさを補正する明るさ補正手段８２０と、明るさ補正手段８２０から出力された画像に対して座標変換を施し、さらに１枚の画像に合成する、座標変換および画像合成手段９００と、撮像された画像の明るさを算出する画像の明るさ算出手段１０００と、座標変換・画像合成を行った結果を表示するモニタ等からなる画像表示手段１１００と、車両用周辺監視装置の起動指示と終了指示を検出する起動・終了指示検出手段１２００、および、複数の撮像手段８１０の中から１つの撮像手段を選択する撮像手段選択手段１３００を備えた構成になっている。

本実施例は、撮像手段８１０が、４台のカメラで構成される例で記載する。すなわち、撮像手段８１０は、車両前方を観測するフロントカメラ８１１と、それに接続された第１のデコーダおよび明るさ補正手段８１２と第１のＡ／Ｄ変換器８１３、車両左横方向を観測する左サイドカメラ８２１、それに接続された第２のデコーダおよび明るさ補正手段８２２と第２のＡ／Ｄ変換器８２３、車両右横方向を観測する右サイドカメラ８３１と、それに接続された第３のデコーダおよび明るさ補正手段８３２と第３のＡ／Ｄ変換器８３３、車両後方を観測するリアカメラ８４１と、それに接続された第４のデコーダおよび明るさ補正手段８４２と第４のＡ／Ｄ変換器８４３とから構成されるものとする。

また、座標変換および画像合成手段９００は、座標変換手段９０１、座標変換テーブル９０２、および、画像合成手段９０３とから構成される。

画像の明るさ算出手段１０００は、第１のＡ／Ｄ変換器８１３に接続された第１の明るさ算出手段Ａ１００１、第２のＡ／Ｄ変換器８２３に接続された第２の明るさ算出手段１００２、第３のＡ／Ｄ変換器８３３に接続された第３の明るさ算出手段１００３、および、第４のＡ／Ｄ変換器８４３に接続された第４の明るさ算出手段１００４とから構成される。

さらに、画像表示手段１１００は、Ｄ／Ａ変換器１１０１、エンコーダ１１０２、およびモニタ１１０３とから構成される。

本実施例における車両用周辺監視装置は、図１０（ａ）に示すように、車両周辺３６０°の情報を１枚の画像に合成した合成画像７００と、リアカメラ８４１で撮像した画像６３０、または、図１０（ｂ）に示すように、車両周辺３６０°の情報を１枚の画像に合成した合成画像７００と、フロントカメラ８１１で撮像した画像６００を、１枚の画像に合成してモニタ１１０３に表示する構成になっている。

ここで、合成画像７００は、図１２に示すように、フロントカメラ８１１で撮像した画像６００を、上空の仮想視点Ｖから俯瞰した画像７１０と、左サイドカメラ８２１で撮像した画像６１０を、上空の仮想視点Ｖから俯瞰した画像７２０と、右サイドカメラ８３１で撮像した画像６２０を、上空の仮想視点Ｖから俯瞰した画像７３０と、リアカメラ８４１で撮像した画像６３０を、上空の仮想視点Ｖから俯瞰した画像７４０と、車両を上空の仮想視点Ｖから俯瞰した仮想画像７５０を１枚の画像に合成したものである。

なお、本実施例の構成は、車両の４方向を観測する構成になっているが、観測方向の数はこの限りではなく、より多数の方向を観測するようにしてもよい。なお、その場合でも、本実施例と同様の作用で本発明を実施することができる。

次に、本実施形態に係る車両用周辺監視装置の作用について、図９のフローチャートを参照して説明する。

フロントカメラ８１１、左サイドカメラ８２１、右サイドカメラ８３１、リアカメラ８４１は、隣り合ったカメラ（フロントカメラ８１１と左サイドカメラ８２１、フロントカメラ８１１と右サイドカメラ８３１、左サイドカメラ８２１とリアカメラ８４１、右サイドカメラ８３１とリアカメラ８４１）の撮像範囲が一部重複するレイアウトで、車両に取り付けられている。

起動・終了指示検出手段１２００にて、シフトポジションが後退位置にあること、もしくは、シフトポジションが前進位置にあって、かつ車速が所定値以下であることのどちらか一方であることが検出されると（図９のＳ２、Ｓ３、Ｓ４）、座標変換手段９０１でトリガ信号が発生し、このトリガ信号が、第１のデコーダおよび明るさ補正手段８１２、第１のＡ／Ｄ変換器８１３、第２のデコーダおよび明るさ補正手段８２２、第２のＡ／Ｄ変換器８２３、第３のデコーダおよび明るさ補正手段８３２、第３のＡ／Ｄ変換器８３３、第４のデコーダおよび明るさ補正手段８４２、第４のＡ／Ｄ変換器８４３に入力される。

各カメラが前記トリガ信号を受信すると、フロントカメラ８１１、左サイドカメラ８２１、右サイドカメラ８３１、リアカメラ８４１から、同時に画像入力が行われる（図９のＳ７）。

フロントカメラ８１１から入力された画像は、第１のデコーダおよび明るさ補正手段８１２にて、コンポジット信号からコンポーネント信号に変換され（図９のＳ８）、さらに、変換されたコンポーネント信号のうち輝度信号は、第１のＡ／Ｄ変換器８１３でデジタル信号に変換され、画像６００が生成される（図９のＳ１０）。同様にして、左サイドカメラ８２１から入力された画像は、第２のデコーダおよび明るさ補正手段８２２にて、コンポジット信号からコンポーネント信号に変換され（図９のＳ８）、さらに、変換されたコンポーネント信号のうち輝度信号は、第２のＡ／Ｄ変換器８２３でデジタル信号に変換され、画像６１０が生成される（図９のＳ１０）。右サイドカメラ８３１から入力された画像は、第３のデコーダおよび明るさ補正手段Ｃ８３２にて、コンポジット信号からコンポーネント信号に変換され（図９のＳ８）、さらに、変換されたコンポーネント信号のうち輝度信号は、第３のＡ／Ｄ変換器８３３でデジタル信号に変換され、画像６２０が生成される（図９のＳ１０）。また、リアカメラ８４１から入力された画像は、第４のデコーダおよび明るさ補正手段８４２にて、コンポジット信号からコンポーネント信号に変換され（図９のＳ８）、さらに、変換されたコンポーネント信号のうち輝度信号は、第４のＡ／Ｄ変換器８４３でデジタル信号に変換され、画像６３０が生成される（図９のＳ１０）。

なお、ここで、コンポジット信号からコンポーネント信号に信号変換するのと同時に、入力された画像の明るさの補正を行う（図９のＳ９）が、画像の明るさを補正する補正量が算出できていないため、車両用周辺監視装置起動後の最初の画像入力時には、この明るさ補正は行われない。

次に、撮像手段選択手段１３００にて、モニタ１１０３に出力する画像として、図１０の画像の右側の領域に、図１０（ａ）のように車両後方を撮像した画像６３０を表示するか、または、図１０（ｂ）のように車両前方を撮像した画像６００を表示するかを決定する。

これは、起動・終了指示検出手段１２００にて、シフトポジションの位置と車速をモニタし、その結果に基づいて判断される。

すなわち、シフトポジションが後退位置にあったら、図１０（ａ）、（ｂ）に示す画像の右側の領域には、図１０（ａ）のように車両の後方を撮像した画像６３０を表示する（図９のＳ２）、また、シフトポジションが前進位置にあり、かつ、車速が所定値以下であったら、図１０の画像の右側の領域には、図１０（ｂ）のように車両の前方を撮像した画像６００を表示する（図９のＳ３、Ｓ４）。ここで、車両の後方を撮像した画像６３０を表示すると判断された場合、リアカメラ８４１が選択され（図９のＳ６）、車両の前方を撮像した画像６００を表示すると判断された場合、フロントカメラ８１１が選択される（図９のＳ５）。どちらのカメラが選択されるかによって、後述する明るさ補正処理の手順が異なる。

はじめに、撮像手段選択手段１３００にてリアカメラ８４１が選択された場合の動作を説明する。

第４の明るさ算出手段１００４が、リアカメラ８４１で撮像された画像６３０の中の所定領域の画素値の平均値を算出する（図９のＳ１１）。ここでは、図５に示すように、予め決めておいた所定位置（ｘ０，ｙ０）に、横方向ｍ個の画素、縦方向ｎ個の画素からなる領域を設定し、その領域の中の全ての画素値の平均値Ｉaveを算出する。

次に、第１の明るさ算出手段１００１が、図９のＳ７で生成された画像６００の中の所定領域の画素値の平均値を算出する（図９のＳ１２）。ここでは、図６（ｂ）に示すように、画像６００の中に、予め決めておいた所定位置に所定サイズの領域６０１、６０２を設定し、その領域６０１、領域６０２の中の全ての画素値の平均値Ｉ１aveを算出する。

ここで、領域６０１は、画像６００を、上空の仮想視点Ｖから俯瞰した画像７１０に変換したとき、フロントカメラ８１１と左サイドカメラ８２１の撮像範囲が重複した位置、もしくはその近傍にある横Ａ、縦Ｂの広さを有する矩形領域７１１に変換される領域とする。さらに、領域６０２は、画像６００を、上空の仮想視点Ｖから俯瞰した画像７１０に変換したとき、フロントカメラ８１１と右サイドカメラ８３１の撮像範囲が重複した位置、もしくはその近傍にある横Ａ、縦Ｂの広さを有する矩形領域７１２に変換される領域とする。

なお、この領域６０１、領域６０２の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め、第１の明るさ算出手段１００１に記憶しておく。

次に、第２の明るさ算出手段１００２が、図９のＳ７で生成された画像６１０の中の所定領域の画素値の平均値を算出する（図９のＳ１２）。ここでは、図６（ｃ）に示すように、画像６１０の中に、予め決めておいた所定位置に所定サイズの領域６１１、６１２を設定し、その領域６１１、領域６１２の中の全ての画素値の平均値Ｉ２aveを算出する。

ここで、領域６１１は、画像６１０を、上空の仮想視点Ｖから俯瞰した画像７２０に変換したとき、フロントカメラ８１１と左サイドカメラ８２１の撮像範囲が重複した位置、もしくはその近傍にある横Ａ、縦Ｂの広さを有する矩形領域７２１に変換される領域を６１１とする。さらに、領域６１２は、画像６１０を、上空の仮想視点Ｖから俯瞰した画像７２０に変換したとき、左サイドカメラ８２１とリアカメラ８４１の撮像範囲が重複した位置、もしくはその近傍にある横Ａ、縦Ｂの広さを有する矩形領域７２２に変換される領域とする。

なお、この領域６１１、領域６１２の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め、第２の明るさ算出手段１００２に記憶しておく。

さらに、第３の明るさ算出手段１００３が、図９のＳ７で生成された画像６２０の中の所定領域の画素値の平均値を算出する（図９のＳ１２）。ここでは、図６（ｄ）に示すように、画像６２０の中に、予め決めておいた所定位置に所定サイズの領域６２１、６２２を設定し、その領域６２１、領域６２２の中の全ての画素値の平均値Ｉ３aveを算出する。

ここで、領域６２１は、画像６２０を、上空の仮想視点Ｖから俯瞰した画像７３０に変換したとき、フロントカメラ８１１と右サイドカメラ８３１の撮像範囲が重複した位置、もしくはその近傍にある横Ａ、縦Ｂの広さを有する矩形領域７3１に変換される領域とする。さらに、領域６２２は、画像６２０を、上空の仮想視点Ｖから俯瞰した画像７３０に変換したとき、右サイドカメラ８３１とリアカメラ８４１の撮像範囲が重複した位置、もしくはその近傍にある横Ａ、縦Ｂの広さを有する矩形領域７３２に変換される領域とする。

なお、この領域６２１、領域６２２の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め、第３の明るさ算出手段１００３に記憶しておく。

算出されたＩaveとＩ１aveは、第１のデコーダおよび明るさ補正手段８１２に送られて、そこに記憶される。同様に、ＩaveとＩ２aveは、第２のデコーダおよび明るさ補正手段８２２に送られてそこに記憶され、ＩaveとＩ３aveは、第３のデコーダおよび明るさ補正手段８３２に送られて、そこに記憶される。なお、リアカメラ８４１から入力された画像に対しては、明るさ補正を行わないため、第４のデコーダおよび明るさ補正手段８４２には、ｗ＝０が記憶される。

図３のＳ７で生成された画像６００、画像６１０、画像６２０、画像６３０は、座標変換手段９０１において座標変換され、上空の仮想視点Ｖから俯瞰した画像に変換される（図９のＳ１３）。この座標変換処理は、車両に設置された各カメラの幾何学的レイアウトやカメラの焦点距離、画素サイズ等のカメラパラメータ、および、仮想視点Ｖの位置や観測範囲等のパラメータに基づいて計算されるが、一般的には、各カメラの幾何学的レイアウトやカメラの焦点距離、画素サイズ等のカメラパラメータ、および、仮想視点Ｖの位置や観測範囲等のパラメータに基づいて、予め座標変換テーブル９０２を作成しておき、この座標変換テーブル９０２に基づいて、入力された画像の座標の置き換えを行うことによって実行される。

前記座標変換によって、フロントカメラ８１１で撮像された画像６００が画像７１０に変換され、左サイドカメラ８２１で撮像された画像６１０が画像７２０に変換され、右サイドカメラ８３１で撮像された画像６２０が画像７３０に変換され、リアカメラ８４１で撮像された画像６３０が画像７４０に変換される。変換された結果は、画像合成手段９０３によって１枚の画像に合成されるとともに、さらに、自車両を上空の仮想視点Ｖから俯瞰した画像７５０が合成され、合成画像７００が生成される。さらに、リアカメラ８４１で撮像した画像６３０と合成して、図１０（ａ）に示す画像が作成される（図９のＳ１４）。

作成された画像は、Ｄ／Ａ変換部１１０１にてコンポーネント信号に再構成され（図９のＳ１５）、さらにエンコーダ１１０２でコンポジット信号に変換されて（図９のＳ１６）、モニタ１１０３に表示される（図９のＳ１７）。

起動・終了指示検出手段１２００にて、シフトポジションが後退位置にあるか否かを検出する（図９のＳ１８、Ｓ１９）。もし、シフトポジションが後退位置以外であったら、モニタ１１０３の表示を解除する（図９のＳ２１）。

もし、シフトポジションが後退位置にあることが確認されると、図９のＳ７において、再度画像入力が行われる。

フロントカメラ８１１から入力された画像は、第１のデコーダおよび明るさ補正手段８１２にて、コンポジット信号からコンポーネント信号に変換され（図９のＳ８）、その後、第１のデコーダおよび明るさ補正手段８１２に記憶された、ＩaveとＩ１aveに基づいて、明るさの補正が行われる（図９のＳ９）。

明るさの補正は、具体的には、第１のデコーダおよび明るさ補正手段８１２における現在の設定ブライトネス値をＢ１、明るさ補正によって新たに設定されたブライトネス値をＢ１’とすると、（式１）によって、新たなブライトネス値Ｂ１’を算出することによって行われる。

左サイドカメラ８２１、また、右サイドカメラ８３１で撮像された画像についても、以下のようにして明るさ補正が行われる。

すなわち、第２のデコーダおよび明るさ補正手段８２２における現在の設定ブライトネス値をＢ２、明るさ補正によって新たに設定されたブライトネス値をＢ２’、第３のデコーダおよび明るさ補正手段８３２における現在の設定ブライトネス値をＢ３、明るさ補正によって新たに設定されたブライトネス値をＢ３’とすると、左サイドカメラ８２１で撮像された画像は、（式２）で算出される新たなブライトネス値をＢ２’によって明るさが補正され、右サイドカメラ８３１で撮像された画像は、（式３）で算出される新たなブライトネス値をＢ３’によって明るさが補正される。

なお、リアカメラで撮像した画像は、画像の明るさの補正を行う基準になる画像であるため、その画像自身には明るさ補正を行わない。したがって、第４のデコーダおよび明るさ補正手段８４２には、ｗ＝０が記憶される。すなわち、第４のデコーダおよび明るさ補正手段８４２における現在の設定ブライトネス値をＢ４、明るさ補正によって新たに設定されたブライトネス値をＢ４’とすると、（式４）にて新たなブライトネス値Ｂ４’が算出され、明るさ補正が行われる。

（式１）、（式２）、（式３）および（式４）によって明るさが補正された画像は、第１のＡ／Ｄ変換器８１３、第２のＡ／Ｄ変換器８２３、第３のＡ／Ｄ変換器８３３、および第４のＡ／Ｄ変換器８４３でデジタル信号に変換され、明るさが補正された新たな画像６００、画像６１０、画像６２０、画像６３０が生成される（図９のＳ１０）。

このようにして、明るさが補正された画像６００、画像６１０、画像６２０、画像６３０に対し、再び画像の明るさ算出手段１０００にてＩave、Ｉ１ave、Ｉ２ave、Ｉ３aveが算出される。

このようにして算出されたＩave、Ｉ１ave、Ｉ２ave、Ｉ３aveのうち、Ｉave、Ｉ１aveは、第１のデコーダおよび明るさ補正手段８１２に送られて、そこに記憶される。またＩave、Ｉ２aveは、第２のデコーダおよび明るさ補正手段８２２に送られて、そこに記憶される。さらにＩave、Ｉ３aveは、第３のデコーダおよび明るさ補正手段８３２に送られ、そこに記憶される。画像６３０に対しては明るさ補正を行わないため、第４のデコーダおよび明るさ補正手段８４２には、ｗ＝０が記憶される。

続いて、明るさ補正された画像に対して座標変換処理、画像合成処理が行われ、合成された画像は、Ｄ／Ａ変換された後エンコード処理にてコンポジット信号に変換され、モニタ１１０３に出力される。

以後、シフトポジションが後退位置になっている限り、上記処理が継続して実行され、その都度、算出された最新のブライトネス値に基づいて、画像の明るさが補正される。

次に、撮像手段選択手段１３００にてフロントカメラ８１１が選択された場合の動作を説明する。

第１の明るさ算出手段１００１によって、フロントカメラ８１１で撮像された画像６００の中の所定領域の画素値の平均値を算出する（図９のＳ１１）。ここでは、図１１に示すように、予め決めておいた所定位置（ｘ１，ｙ１）に、横方向ｋ個の画素、縦方向ｌ個の画素からなる領域を設定し、その領域の中の全ての画素値の平均値Ｉaveを算出する。

次に、第２の明るさ算出手段１００２によって、図９のＳ７で生成された画像６１０の中の所定領域の画素値の平均値を算出する（図９のＳ１２）。ここでは、図１２（ｃ）に示すように、画像６１０の中に、予め決めておいた所定位置に所定サイズの領域６１１、領域６１２を設定し、その領域６１１、領域６１２の中の全ての画素値の平均値Ｉ２aveを算出する。

ここで、領域６１１は、図１２（ａ）に示すように、画像６１０を、上空の仮想視点Ｖから俯瞰した画像７２０に変換したとき、フロントカメラ８１１と左サイドカメラ８２１の撮像範囲が重複した位置、もしくはその近傍にある横Ａ、縦Ｂの広さを有する矩形領域７２１に変換される領域とする。さらに、領域６１２は、画像６１０を、上空の仮想視点Ｖから俯瞰した画像７２０に変換したとき、左サイドカメラ８２１とリアカメラ８４１の撮像範囲が重複した位置、もしくはその近傍にある横Ａ、縦Ｂの広さを有する矩形領域７２２に変換される領域とする。

なお、この領域６１１、領域６１２の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め第２の明るさ算出手段１００２に記憶しておく。

次に、第３の明るさ算出手段１００３によって、図９のＳ７で生成された画像６２０の中の所定領域の画素値の平均値を算出する（図９のＳ１２）。ここでは、図１２（ｄ）に示すように、画像６２０の中に、予め決めておいた所定位置に所定サイズの領域６２１、領域６２２を設定し、その領域６１１、領域６１２の中の全ての画素値の平均値Ｉ３aveを算出する。

ここで、領域６２１は、図１２（ａ）に示すように、画像６２０を、上空の仮想視点Ｖから俯瞰した画像７３０に変換したとき、フロントカメラ８１１と右サイドカメラ８３１の撮像範囲が重複した位置、もしくはその近傍にある横Ａ、縦Ｂの広さを有する矩形領域７３１に変換される領域とする。さらに、領域６２２は、画像６２０を、上空の仮想視点Ｖから俯瞰した画像７３０に変換したとき、右サイドカメラ８３１とリアカメラ８４１の撮像範囲が重複した位置、もしくはその近傍にある横Ａ、縦Ｂの広さを有する矩形領域７３２に変換される領域とする。

なお、この領域６２１、領域６２２の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め第３の明るさ算出手段１００３に記憶しておく。

さらに、第４の明るさ算出手段１００４によって、図９のＳ７で生成された画像６３０の中の所定領域の画素値の平均値を算出する（図９のＳ１２）。ここでは、図１２（ｅ）に示すように、画像６３０の中に、予め決めておいた所定位置に所定サイズの領域６３１、領域６３２を設定し、その領域６３１、領域６３２の中の全ての画素値の平均値Ｉ４aveを算出する。

ここで、領域６３１は、図１２（ａ）に示すように、画像６３０を、上空の仮想視点Ｖから俯瞰した画像７４０に変換したとき、リアカメラ８４１と左サイドカメラ８２１の撮像範囲が重複した位置、もしくはその近傍にある横Ａ、縦Ｂの広さを有する矩形領域７４１に変換される領域とする。さらに、領域６３２は、画像６３０を、上空の仮想視点Ｖから俯瞰した画像７４０に変換したとき、右サイドカメラ８３１とリアカメラ８４１の撮像範囲が重複した位置、もしくはその近傍にある横Ａ、縦Ｂの広さを有する矩形領域７４２に変換される領域とする。

なお、この領域６３１、領域６３２の位置は、予め計算で求めておくことができる。計算された領域の位置は、予め第４の明るさ算出手段１００４に記憶しておく。

算出されたＩaveとＩ２aveは、第２のデコーダおよび明るさ補正手段８２２に送られて、そこに記憶される。同様に、ＩaveとＩ３aveは、第３のデコーダおよび明るさ補正手段８３２に送られて、そこに記憶され、ＩaveとＩ４aveは、第４のデコーダおよび明るさ補正手段８４２に送られて、そこに記憶される。なお、フロントカメラ８１１で撮像された画像に対しては、明るさ補正を行わないため、第１のデコーダおよび明るさ補正手段８１２には、ｗ＝０が記憶される。

図９のＳ７で生成された画像６００、画像６１０、画像６２０、画像６３０は、座標変換手段９０１によって座標変換され、上空の仮想視点Ｖから俯瞰した画像に変換される（図９のＳ１３）。この座標変換処理は、車両に設置された各カメラの幾何学的レイアウトやカメラの焦点距離、画素サイズ等のカメラパラメータ、および、仮想視点Ｖの位置や観測範囲等のパラメータに基づいて計算されるが、一般的には、各カメラの幾何学的レイアウトやカメラの焦点距離、画素サイズ等のカメラパラメータ、および、仮想視点Ｖの位置や観測範囲等のパラメータに基づいて、予め座標変換テーブル９０２を作成しておき、この座標変換テーブル９０２に基づいて、入力された画像の座標の置き換えを行うことによって実行される。

前記座標変換によって、画像６００が画像７１０に変換され、画像６１０が画像７２０に変換され、画像６２０が画像７３０に変換され、画像６３０が画像７４０に変換される。変換された結果は、画像合成手段９０３によって１枚の画像に合成されるとともに、さらに、自車両を上空の仮想視点Ｖから俯瞰した画像７５０が合成され、合成画像７００が生成される。さらに、フロントカメラ８１１で撮像した画像６００と合成して、図１０（ｂ）に示す１枚の画像が作成される（図９のＳ１４）。

作成された画像は、Ｄ／Ａ変換部１１０１にてコンポーネント信号に再構成され（図９のＳ１５）、さらにエンコーダ１１０２でコンポジット信号に変換されて（図９のＳ１６）、モニタ１１０３に表示される（図９のＳ１７）。

起動・終了指示検出手段１２００にて、フロントカメラ８１１が選択された状態にあり、なおかつ、車速が所定値以下であることを判定する（図９のＳ１８、Ｓ２０）。もし、条件に合致しないときは、モニタ１１０３の表示を解除する（図９のＳ２１）。

一方、条件に合致していると判定されたときは、図９のＳ７において、再度画像入力が行われる。

リアカメラ８４１で撮像された画像は、第４のデコーダおよび明るさ補正手段８４２にて、コンポジット信号からコンポーネント信号に変換され（図９のＳ８）、その後、第４のデコーダおよび明るさ補正手段８４２に記憶された、ＩaveとＩ４aveに基づいて、明るさの補正が行われる（図９のＳ９）。

明るさの補正は、具体的には、第４のデコーダおよび明るさ補正手段８４２における現在の設定ブライトネス値をＢ４、明るさ補正によって新たに設定されたブライトネス値をＢ４’とすると、Ｂ４’は（式５）によって算出され、これによって明るさの補正が行われる。

Ｂ４’＝Ｂ４＋（Ｉave−Ｉ４ave）×ｗ （式５）
左サイドカメラ８２１、および右サイドカメラ８３１で撮像された画像についても、以下のようにして明るさ補正が行われる。

すなわち、第２のデコーダおよび明るさ補正手段８２２における現在の設定ブライトネス値をＢ２、明るさ補正によって新たに設定されたブライトネス値をＢ２’、第３のデコーダおよび明るさ補正手段８３２における現在の設定ブライトネス値をＢ３、明るさ補正によって新たに設定されたブライトネス値をＢ３’とすると、左サイドカメラ８２１で撮像された画像は、（式２）で算出される新たなブライトネス値をＢ２’によって明るさが補正され、右サイドカメラ８３１で撮像された画像は、（式３）で算出される新たなブライトネス値をＢ３’によって明るさが補正される。

なお、フロントカメラで撮像した画像については、明るさ補正を行わないため、第１のデコーダおよび明るさ補正手段８１２には、ｗ＝０が記憶される。すなわち、第１のデコーダおよび明るさ補正手段８１２における現在の設定ブライトネス値をＢ１、明るさ補正によって新たに設定されたブライトネス値をＢ１’とすると、Ｂ１’は、（式６）にて算出される。

Ｂ１’＝Ｂ１ （式６）
（式２）、（式３）、（式５）および（式６）によって明るさが補正された画像は、第１のＡ／Ｄ変換器８１３、第２のＡ／Ｄ変換器８２３、第３のＡ／Ｄ変換器８３３、第４のＡ／Ｄ変換器８４３でデジタル信号に変換され、明るさが補正された新たな画像６００、画像６１０、画像６２０、画像６３０が生成される（図９のＳ１０）。

このようにして、明るさが補正された画像６００、画像６１０、画像６２０、画像６３０に対し、再び画像の明るさ算出手段１０００にてＩave、Ｉ２ave、Ｉ３ave、Ｉ４aveが算出される。

このようにして算出されたＩave、Ｉ２ave、Ｉ３ave、Ｉ４aveのうち、Ｉave、Ｉ２aveは、第２のデコーダおよび明るさ補正手段８２２に送って、そこに記憶する。またＩave、Ｉ３aveは、第３のデコーダおよび明るさ補正手段８３２に送って、そこに記憶する。さらにＩave、Ｉ４aveは、第４のデコーダおよび明るさ補正手段８４２に送って、そこに記憶しておく。フロントカメラ８１１から入力された画像６００に対しては明るさ補正を行わないため、第１のデコーダおよび明るさ補正手段８１２には、ｗ＝０が記憶される。

続いて、明るさ補正された画像に対して座標変換処理、画像合成処理が行われ、合成された画像信号は、Ｄ／Ａ変換された後エンコード処理にてコンポジット信号に変換され、モニタ１１０３に出力される。

以後、シフトポジションが前進位置になっており、かつ車速が所定値以下である限り、上記処理が継続して実行され、その都度、算出された最新のブライトネス値に基づいて、画像の明るさが補正される。

画像の明るさの補正の結果が、運転中に最も注意を払う必要がある、車両の進行方向の画像の明るさに影響を与えないため、運転者に、車両周辺の安全確認に有効な情報を提供することができる。

なお、上述した本実施例の車両用周辺監視装置の作用は、本発明に係る車両用周辺画像表示方法の実施形態に相当する。

図１３は、本発明に係る車両用周辺監視装置の第３実施例の概略構成を示すブロック図である。

図１４は、図１３の車両用周辺監視装置における、撮像手段１４１０、明るさ補正手段１４２０、座標変換および画像合成手段１５００、画像の明るさ算出手段１６００、および、画像表示手段１７００の詳細構成を示すブロック図である。

図１５は、図１２に示した車両用周辺監視装置における一連の処理手順を示すフローチャートである。

本実施例に係る車両用周辺監視装置は、図１３のブロック図に示す通り、車両に設置され、互いに異なる方向を観測するＮ個のＣＣＤカメラやＣ−ＭＯＳカメラのような撮像手段１４１０と、撮像手段から入力された画像の明るさを補正する明るさ補正手段１４２０と、明るさ補正手段１４２０から出力された画像に対して座標変換を施し、さらに１枚の画像に合成する、座標変換および画像合成手段１５００と、撮像された画像の明るさを算出する画像の明るさ算出手段１６００と、座標変換・画像合成を行った結果を表示するモニタ等からなる画像表示手段１７００と、車両用周辺監視装置の起動指示と終了指示を検出する起動・終了指示検出手段１８００、および、複数の撮像手段１４１０の中から１つの撮像手段を選択する撮像手段選択手段１９００を備えた構成になっている。

本実施例は、撮像手段１４１０が、４台のカメラで構成される例で記載する。すなわち、撮像手段１４１０は、車両前方を観測するフロントカメラ１４１１と、それに接続された第１のデコーダおよび明るさ補正手段１４１２と第１のＡ／Ｄ変換器Ａ１４１３、車両左横方向を観測する左サイドカメラ１４２１と、それに接続された第２のデコーダおよび明るさ補正手段１４２２と第２のＡ／Ｄ変換器１４２３、車両右横方向を観測する右サイドカメラ１４３１と、それに接続された第３のデコーダおよび明るさ補正手段１４３２と第３のＡ／Ｄ変換器１４３３、車両後方を観測するリアカメラ１４４１と、それに接続された第４のデコーダおよび明るさ補正手段１４４２と第４のＡ／Ｄ変換器１４４３とから構成されるものとする。

また、座標変換および画像合成手段１５００は、座標変換手段１５０１、座標変換テーブル１５０２、および、画像合成手段１５０３とから構成される。

画像の明るさ算出手段１６００は、第１のＡ／Ｄ変換器１４１３に接続された第１の明るさ算出手段１６０１、第２のＡ／Ｄ変換器１４２３に接続された第２の明るさ算出手段１６０２、第３のＡ／Ｄ変換器１４３３に接続された第３の明るさ算出手段１６０３、および、第４のＡ／Ｄ変換器１４４３に接続された第４の明るさ算出手段１６０４とから構成される。

さらに、画像表示手段１７００は、Ｄ／Ａ変換器１７０１、エンコーダ１７０２、およびモニタ１７０３とから構成される。

本実施例における車両用周辺監視装置は、図１０（ａ）に示すように、車両周辺３６０°の情報を１枚の画像に合成した合成画像７００と、リアカメラ１４１１で撮像した画像６３０、または、図１０（ｂ）に示すように、車両周辺３６０°の情報を１枚の画像に合成した合成画像７００と、フロントカメラ１４４１で撮像した画像６００を、１枚の画像に合成してモニタ１７０３に表示する構成になっている。

ここで、合成画像７００は、フロントカメラ１４１１で撮像された画像６００を上空の仮想視点Ｖから俯瞰した画像７１０と、左サイドカメラ１４２１で撮像された画像６１０を上空の仮想視点Ｖから俯瞰した画像７２０と、右サイドカメラ１４３１で撮像された画像６２０を上空の仮想視点Ｖから俯瞰した画像７３０と、リアカメラ１４４１で撮像された画像６３０を上空の仮想視点Ｖから俯瞰した画像７４０と、車両を上空の仮想視点Ｖから俯瞰した仮想画像７５０を１枚の画像に合成したものである。

なお、本実施例の構成は、車両の４方向を観測する構成になっているが、観測方向の数はこの限りではなく、より多数の方向を観測するようにしてもよい。なお、その場合でも、本実施例と同様の作用で本発明を実施することができる。

次に、本実施例に係る車両用周辺監視装置の作用について、図１５のフローチャートを参照して説明する。

フロントカメラ１４１１、左サイドカメラ１４２１、右サイドカメラ１４３１、リアカメラ１４４１は、隣り合ったカメラ（フロントカメラ１４１１と左サイドカメラ１４２１、フロントカメラ１４１１と右サイドカメラ１４３１、左サイドカメラ１４２１とリアカメラ１４４１、右サイドカメラ１４３１とリアカメラ１４４１）の撮像範囲が一部重複するレイアウトで、車両に取り付けられている。

起動・終了指示検出手段１８００にて、シフトポジションが後退位置にあること、もしくは、シフトポジションが前進位置にあって、かつ車速が所定値以下であることのどちらか一方であることが検出されると（図１５のＳ２、Ｓ３、Ｓ４）、座標変換手段１５０１でトリガ信号が発生し、このトリガ信号が、第１のデコーダおよび明るさ補正手段１４１２、第１のＡ／Ｄ変換器１４１３、第２のデコーダおよび明るさ補正手段１４２２、第２のＡ／Ｄ変換器１４２３、第３のデコーダおよび明るさ補正手段１４３２、第３のＡ／Ｄ変換器１４３３、第４のデコーダおよび明るさ補正手段１４４２、第４のＡ／Ｄ変換器１４４３に入力される。

前記トリガ信号を受けると、フロントカメラ１４１１、左サイドカメラ１４２１、右サイドカメラ１４３１、リアカメラ１４４１から、同時に画像入力が行われる（図１５のＳ７）。

フロントカメラ１４１１から入力された画像は、第１のデコーダおよび明るさ補正手段１４１２にて、コンポジット信号からコンポーネント信号に変換され（図１５のＳ８）、さらに、変換されたコンポーネント信号のうち輝度信号は、第１のＡ／Ｄ変換器１４１３でデジタル信号に変換され、画像６００が生成される（図１５のＳ１０）。同様にして、左サイドカメラ１４２１から入力された画像は、第２のデコーダおよび明るさ補正手段１４２２にて、コンポジット信号からコンポーネント信号に変換され（図１５のＳ８）、さらに、変換されたコンポーネント信号のうち輝度信号は、第２のＡ／Ｄ変換器１４２３でデジタル信号に変換され、画像６１０が生成される（図１５のＳ１０）。右サイドカメラ１４３１から入力された画像は、第３のデコーダおよび明るさ補正手段１４３２にて、コンポジット信号からコンポーネント信号に変換され（図１５のＳ８）、さらに、変換されたコンポーネント信号のうち輝度信号は、第３のＡ／Ｄ変換器１４３３でデジタル信号に変換され、画像６２０が生成される（図１５のＳ１０）。リアカメラ１４４１から入力された画像は、第４のデコーダおよび明るさ補正手段１４４２にて、コンポジット信号からコンポーネント信号に変換され（図１５のＳ８）、さらに、変換されたコンポーネント信号のうち輝度信号は、第４のＡ／Ｄ変換器１４４３でデジタル信号に変換され、画像６３０が生成される（図１５のＳ１０）。

なお、ここで、コンポジット信号からコンポーネント信号に信号変換するのと同時に、入力された画像の明るさの補正を行う（図９のＳ９）が、画像の明るさを補正する補正量が算出できていないため、車両用周辺監視装置起動後の最初の画像入力時には、この明るさ補正は行われない。

次に、撮像手段選択手段１９００にて、モニタ１１０３に出力する画像として、図１０（ａ）、（ｂ）の画像の右側の領域に、車両後方を撮像した画像６３０を表示するか、または、車両前方を撮像した画像６００を表示するかを決定する。

これは、起動・終了指示検出手段１８００にて、シフトポジションの位置と車速をモニタし、その結果に基づいて判断される。

すなわち、シフトポジションが後退位置にあったら、図１０の画像の右側の領域には、図１０（ａ）のように車両の後方を撮像した画像６３０を表示する。また、シフトポジションが前進位置にあり、かつ、車速が所定値以下であったら、図１０の画像の右側の領域には、図１０（ｂ）のように車両の前方を撮像した画像６００を表示する。ここで、画像６３０を表示すると判断された場合、リアカメラ１４４１が選択され（図１５のＳ６）、画像６００を表示すると判断された場合、フロントカメラ１４１１が選択され（図１５のＳ５）、どちらのカメラが選択されるかによって、後述する明るさ補正処理の手順が異なる。

はじめに、撮像手段選択手段１９００にてリアカメラ１４４１が選択された場合の動作を説明する。

まず、第４の明るさ算出手段１６０４によって、図１２（ｂ）、（ｃ）、（ｄ）、（ｅ）に示すように、画像６００、画像６１０、画像６２０、および画像６３０の中に、予め決めておいた所定位置に所定サイズで設定された、領域６０１の中の全ての画素値の平均値Ｉa_ave、領域６０２の全ての画素値の平均値Ｉb_ave、領域６１１の全ての画素値の平均値Ｉc_ave、領域６１２の全ての画素値の平均値Ｉd_ave、領域６２１の全ての画素値の平均値Ｉe_ave、領域６２２の全ての画素値の平均値Ｉf_ave、領域６３１の全ての画素値の平均値Ｉg_ave、領域６３２の全ての画素値の平均値Ｉh_aveをそれぞれ算出する。

ここで、領域６０１、領域６０２、領域６１１、領域６１２、領域６２１、領域６２２、領域６３１、領域６３２は、図１２（ａ）に示すように、画像６００、画像６１０、画像６２０、および画像６３０を、それぞれ、上空の仮想視点Ｖから俯瞰した画像７１０、画像７２０、画像７３０、画像７４０に変換したとき、隣り合ったカメラの撮像範囲が重複した位置、もしくはその近傍にある横Ａ、縦Ｂの広さを有する矩形領域７１１、矩形領域７１２、矩形領域７２１、矩形領域７２２、矩形領域７３１、矩形領域７３２、矩形領域７４１、矩形領域７４２にそれぞれ変換される領域とする。

これらの領域６０１、領域６０２、領域６１１、領域６１２、領域６２１、領域６２２、領域６３１、領域６３２の位置は、予め計算で求めておくことができる。予め計算した領域の位置のうち、領域６０１と領域６０２の位置は、第１の明るさ算出手段１６０１に記憶し、領域６１１と領域６１２の位置は、第２の明るさ算出手段１６０２に記憶し、領域６２１と領域６２２の位置は、第３の明るさ算出手段１６０３に記憶し、領域６３１と領域６３２の位置は、第４の明るさ算出手段１６０４に、予め記憶しておく。

さらに、算出された、各領域の全画素値の平均値Ｉa_ave、Ｉb_ave、Ｉc_ave、Ｉd_ave、Ｉe_ave、Ｉf_ave、Ｉg_ave、Ｉh_aveのうち、Ｉa_ave、Ｉb_ave、Ｉc_ave、Ｉe_aveは、第１のデコーダおよび明るさ補正手段１４１２に記憶し、Ｉd_ave、Ｉg_aveは、第２のデコーダおよび明るさ補正手段１４２２に記憶し、Ｉf_ave、Ｉh_aveは、第３のデコーダおよび明るさ補正手段１４３２に記憶しておく。

なお、画像６３０に対しては、明るさ補正を行わないため、第４のデコーダおよび明るさ補正手段１４４２には、ｗ＝０が記憶される。

図１５のＳ７で生成された画像６００、画像６１０、画像６２０、画像６３０は、座標変換手段１５０１によって座標変換され、上空の仮想視点Ｖから見下ろした画像に変換される（図１５のＳ１２）。この座標変換処理は、車両に設置された各カメラの幾何学的レイアウトやカメラの焦点距離、画素サイズ等のカメラパラメータ、および、仮想視点の位置や観測範囲等のパラメータに基づいて、予め座標変換テーブル１５０２を作成しておき、この座標変換テーブル１５０２に基づいて、入力された画像の座標の置き換えを行うことによって実行される。

前記座標変換によって、フロントカメラ１４１１で撮像された画像６００が画像７１０に変換され、左サイドカメラ１４２１で撮像された画像６１０が画像７２０に変換され、右サイドカメラ１４３１で撮像された画像６２０が画像７３０に変換され、リアカメラ１４４１で撮像された画像６３０が画像７４０に変換される。変換された結果は、画像合成手段１５０３によって１枚の画像に合成されるとともに、さらに、自車両を上空の仮想視点Ｖから俯瞰した仮想画像７５０が合成され、合成画像７００が生成される。さらに、リアカメラ１４４１で撮像した画像６３０と合成して、図１０（ａ）に示す１枚の画像が作成される（図１５のＳ１３）。

合成された画像は、Ｄ／Ａ変換部１７０１にてコンポーネント信号に再構成され（図１５のＳ１４）、さらにエンコーダ１７０２でコンポジット信号に変換されて（図１５のＳ１５）、モニタ１７０３に表示される（図１５のＳ１６）。

起動・終了指示検出手段１８００にて、シフトポジションが後退位置にあるか否かを検出する（図１５のＳ１７、Ｓ１８）。もし、シフトポジションが後退位置以外であったら、モニタ１７０３の表示を解除する（図１５のＳ２０）。

もし、シフトポジションが後退位置にあることが確認されると、図１５のＳ７において、再度画像入力が行われる。

左サイドカメラ１４２１で撮像された画像は、第２のデコーダおよび明るさ補正手段１４２２にて、コンポジット信号からコンポーネント信号に変換され（図１５のＳ８）、その後、第２のデコーダおよび明るさ補正手段１４２２に記憶されたＩg_aveとＩd_aveに基づいて、明るさの補正が行われる（図１５のＳ９）。

明るさの補正は、具体的には、第２のデコーダおよび明るさ補正手段１４２２における現在の設定ブライトネス値をＢ２、明るさ補正によって新たに設定されたブライトネス値をＢ２’とし、以下の（式７）によって行う。
Ｂ２’＝Ｂ２＋（Ｉg_ave−Ｉd_ave）×ｗ （式７）
さらに、右サイドカメラ１４３１で撮像された画像は、第３のデコーダおよび明るさ補正手段１４３２にて、コンポジット信号からコンポーネント信号に変換され（図１５のＳ８）、その後、第３のデコーダおよび明るさ補正手段１４３２に記憶されたＩh_aveとＩf_aveに基づいて、明るさの補正が行われる（図１５のＳ９）。

すなわち、第３のデコーダおよび明るさ補正手段１４３２における現在の設定ブライトネス値をＢ３、明るさ補正によって新たに設定されたブライトネス値をＢ３’とし、以下の（式８）によって明るさの補正が行われる。
Ｂ３’＝Ｂ３＋（Ｉh_ave−Ｉf_ave）×ｗ （式８）
次に、フロントカメラ１４１１で撮像された画像の明るさ補正を行うが、この補正は、左サイドカメラ１４２１、および右サイドカメラ１４３１から入力された画像の明るさ補正の結果に基づいて行われる。すなわち、フロントカメラ１４１１で撮像された画像の明るさ補正は、ここでは行わず、次の画像入力のタイミングを待って行う。

また、リアカメラ１４４１で撮像された画像については、明るさ補正を行わない。すなわち、第４のデコーダおよび明るさ補正手段１４４２における現在の設定ブライトネス値をＢ４、明るさ補正によって新たに設定されたブライトネス値をＢ４’とすると、Ｂ４’は、（式４）にて算出される。

（式４）、（式７）および（式８）によって明るさが補正された画像は、第１のＡ／Ｄ変換器１４１３、第２のＡ／Ｄ変換器１４２３、第３のＡ／Ｄ変換器１４３３、第４のＡ／Ｄ変換器１４４３でデジタル信号に変換され、明るさが補正された新たな画像６００、画像６１０、画像６２０、画像６３０が生成される（図９のＳ１０）。

このようにして得られた、明るさが補正された画像６００、画像６１０、画像６２０、画像６３０に対し、再び画像の明るさ算出手段１６００にて、Ｉa_ave、Ｉb_ave、Ｉc_ave、Ｉd_ave、Ｉe_ave、Ｉf_ave、Ｉg_ave、Ｉh_aveが算出される。

算出されたＩa_ave、Ｉb_ave、Ｉc_ave、Ｉd_ave、Ｉe_ave、Ｉf_ave、Ｉg_ave、Ｉh_aveのうち、Ｉa_ave、Ｉb_ave、Ｉc_ave、Ｉe_aveは、第１のデコーダおよび明るさ補正手段１４１２に記憶し、Ｉd_ave、Ｉg_aveは、第２のデコーダおよび明るさ補正手段１４２２に記憶し、Ｉf_ave、Ｉh_aveは、第３のデコーダおよび明るさ補正手段１４３２に記憶しておく。

なお、リアカメラから入力された画像に対しては、明るさ補正を行わないため、第４のデコーダおよび明るさ補正手段１４４２には、ｗ＝０が記憶される。

続いて、明るさ補正された画像に対して座標変換処理、画像合成処理が行われ（図１５のＳ１２、Ｓ１３）、合成された画像は、Ｄ／Ａ変換された後エンコード処理してコンポジット信号に変換され、モニタ１１０３に出力される（図１５のＳ１４、Ｓ１５、Ｓ１６）。

図１５のＳ１７、Ｓ１８にて、シフトポジションが後退位置になっていることが確認されると、図１５のＳ７にて、フロントカメラ１４１１、左サイドカメラ１４２１、右サイドカメラ１４３１、リアカメラ１４４１から、同時に画像入力が行われる。

先述した一連の処理が再度繰り返され、明るさ算出手段１６００にて、各画像の中の所定領域の明るさＩa_ave、Ｉb_ave、Ｉc_ave、Ｉd_ave、Ｉe_ave、Ｉf_ave、Ｉg_ave、Ｉh_aveの各値が算出され、これらの値が、先に説明した通り、所定のデコーダおよび明るさ補正手段に記憶された後、リアカメラ１４４１で撮像した画像の明るさに基づいて、左サイドカメラ１４２１で撮像した画像の明るさと、右サイドカメラ１４３１で撮像した画像の明るさがそれぞれ補正される。

さらに、第１のデコーダおよび明るさ補正手段１４１２に記憶されたＩa_ave、Ｉb_ave、Ｉc_ave、Ｉe_aveの値を用いて、フロントカメラ１４１１で撮像した画像の明るさ補正が行われる。ここでは、第１のデコーダおよび明るさ補正手段１４１２における現在の設定ブライトネス値をＢ１、明るさ補正によって新たに設定されたブライトネス値をＢ１’とし、（式９）によって明るさの補正が行われる。
Ｂ１’＝Ｂ１＋（(Ｉc_ave＋Ｉe_ave）/２−（Ｉa_ave＋Ｉb_ave）/２）×ｗ (式９）
以降、明るさ補正された画像に対して、座標変換・合成処理が施され、さらに、Ｄ／Ａ変換、エンコード処理され、その結果がモニタ１７０３に出力される。

シフトポジションが後退位置になっていることが確認されると、次の画像入力が行われ、その後、（式４）、（式７）、（式８）、（式９）による明るさ補正が実行される。以下、シフトポジションが後退位置に入っている限り、上記説明の一連の処理が繰り返される。

次に、撮像手段選択手段１９００にてフロントカメラ１４１１が選択された場合の動作を説明する。

まず、第１の明るさ算出手段１６０１によって、図１２（ｂ）、（ｃ）、（ｄ）、（ｅ）に示すように、画像６００、画像６１０、画像６２０、画像６３０の中に、予め決めておいた所定位置に所定サイズで設定された領域６０１、領域６０２、領域６１１、領域６１２、領域６２１、領域６２２、領域６３１、領域６３２の中の全ての画素値の平均値Ｉa_ave、Ｉb_ave、Ｉc_ave、Ｉd_ave、Ｉe_ave、Ｉf_ave、Ｉg_ave、Ｉh_aveをそれぞれ算出する（図１５のＳ１１）。

ここで、領域６０１、領域６０２、領域６１１、領域６１２、領域６２１、領域６２２、領域６３１、領域６３２は、図１２（ａ）に示すように、画像６００、画像６１０、画像６２０、画像６３０を、上空の仮想視点Ｖから見下ろした画像７１０、画像７２０、画像７３０、画像７４０に変換したとき、隣り合ったカメラの撮像範囲が重複した位置、もしくはその近傍にある横Ａ、縦Ｂの広さを有する矩形領域７１１、矩形領域７１２、矩形領域７２１、矩形領域７２２、矩形領域７３１、矩形領域７３２、矩形領域７４１、矩形領域７４２にそれぞれ変換される領域とする。

これらの領域６０１、領域６０２、領域６１１、領域６１２、領域６２１、領域６２２、領域６３１、領域６３２の位置は、予め計算で求めておくことができる。計算された領域の位置のうち、領域６０１と領域６０２の位置は、第１の明るさ算出手段１６０１に記憶し、領域６１１と領域６１２の位置は、第２の明るさ算出手段１６０２に記憶し、領域６２１と領域６２２の位置は、第３の明るさ算出手段１６０３に記憶し、領域６３１と領域６３２の位置は、第４の明るさ算出手段Ｄ１６０４に予め記憶しておく。

さらに、算出された、Ｉa_ave、Ｉb_ave、Ｉc_ave、Ｉd_ave、Ｉe_ave、Ｉf_ave、Ｉg_ave、Ｉh_aveの各値のうち、Ｉd_ave、Ｉf_ave、Ｉg_ave、Ｉh_aveは、第４のデコーダおよび明るさ補正手段１４４２に記憶し、Ｉa_ave、Ｉc_aveは、第２のデコーダおよび明るさ補正手段１４２２に記憶し、Ｉb_ave、Ｉe_aveは、第３のデコーダおよび明るさ補正手段１４３２に記憶しておく。

なお、フロントカメラ１４１１で撮像された画像に対しては、明るさ補正を行わないため、第１のデコーダおよび明るさ補正手段１４１２には、ｗ＝０が記憶される。

図１５のＳ７で生成された画像６００、画像６１０、画像６２０、画像６３０は、座標変換手段１５０１によって座標変換され、上空の仮想視点Ｖから見下ろした画像に変換される（図１５のＳ１２）。この座標変換処理は、予め、車両に設置された各カメラの幾何学的レイアウトやカメラの焦点距離、画素サイズ等のカメラパラメータ、および、仮想視点の位置や観測範囲等のパラメータに基づいて座標変換テーブル１５０２を作成しておき、この座標変換テーブル１５０２に基づいて、入力された画像の座標の置き換えを行うことによって実行される。

前記座標変換によって、画像６００が画像７１０に変換され、画像６１０が画像７２０に変換され、画像６２０が画像７３０に変換され、画像６３０が画像７４０に変換される。変換された結果は、画像合成手段１５０３によって１枚の画像に合成されるとともに、さらに、自車両を上空の仮想視点Ｖから俯瞰した仮想画像７５０が合成され、合成画像７００が生成される。さらに、画像６００と合成して、図１０（ｂ）に示す１枚の画像が作成される（図１５のＳ１３）。

合成された画像は、Ｄ／Ａ変換部１７０１にてコンポーネント信号に再構成され（図１５のＳ１４）、さらにエンコーダ１７０２でコンポジット信号に変換されて（図１５のＳ１５）、モニタ１７０３に表示される（図１５のＳ１６）。

起動・終了指示検出手段１８００にて、フロントカメラ１４１１が選択された状態にあり、なおかつ、車速が所定値以下であることを判定する（図１５のＳ１７、Ｓ１８）。もし、条件に合致しないときは、モニタ１７０３の表示を解除する（図１５のＳ２１）。

一方、条件に合致していると判定されたときは、図１５のＳ７において、再度画像入力が行われる。

図１５のＳ７にて、再度画像入力が行われた後、左サイドカメラ１４２１で撮像された画像は、第２のデコーダおよび明るさ補正手段１４２２にて、コンポジット信号からコンポーネント信号に変換され（図１５のＳ８）、その後、第２のデコーダおよび明るさ補正手段１４２２に記憶された、Ｉa_aveとＩc_aveに基づいて、明るさの補正が行われる（図１５のＳ９）。

明るさの補正は、具体的には、第２のデコーダおよび明るさ補正手段１４２２における現在の設定ブライトネス値をＢ２、明るさ補正によって新たに設定されたブライトネス値をＢ２’とし、以下の（式１０）によって行う。
Ｂ２’＝Ｂ２＋（Ｉa_ave−Ｉc_ave）×ｗ （式１０）
さらに、右サイドカメラ１４３１で撮像された画像は、第３のデコーダおよび明るさ補正手段１４３２にて、コンポジット信号からコンポーネント信号に変換され（図１５のＳ８）、その後、第３のデコーダおよび明るさ補正手段１４３２に記憶された、Ｉb_aveと、Ｉe_aveに基づいて、明るさの補正が行われる（図１５のＳ９）。

すなわち、第３のデコーダおよび明るさ補正手段１４３２における現在の設定ブライトネス値をＢ３、明るさ補正によって新たに設定されたブライトネス値をＢ３’とし、（式１１）によって、明るさの補正が行われる。
Ｂ３’＝Ｂ３＋（Ｉb_ave−Ｉe_ave）×ｗ （式１１）
次に、リアカメラ１４４１で撮像した画像の明るさ補正を行うが、この補正は、左サイドカメラ１４２１、および右サイドカメラ１４３１から入力された画像の明るさ補正の結果に基づいて行われる。すなわち、リアカメラ１４４１で撮像した画像の明るさ補正は、ここでは行わず、次の画像入力のタイミングを待って行う。

また、フロントカメラ１４１１で撮像された画像については、明るさ補正を行わないため、第１のデコーダおよび明るさ補正手段１４１２における現在の設定ブライトネス値をＢ１、明るさ補正によって新たに設定されたブライトネス値をＢ１’とすると、Ｂ１’は（式６）にて算出される。

（式６）、（式１０）および（式１１）によって明るさが補正された画像は、第１のＡ／Ｄ変換器１４１３、第２のＡ／Ｄ変換器１４２３、第３のＡ／Ｄ変換器１４３３、第４のＡ／Ｄ変換器１４４３でデジタル信号に変換され、明るさが補正された新たな画像６００、画像６１０、画像６２０、画像６３０が生成される（図９のＳ１０）。

このようにして、明るさが補正された画像６００、画像６１０、画像６２０、画像６３０に対し、再び画像の明るさ算出手段１６００にて、Ｉa_ave、Ｉb_ave、Ｉc_ave、Ｉd_ave、Ｉe_ave、Ｉf_ave、Ｉg_ave、Ｉh_aveが算出される。

算出されたＩa_ave、Ｉb_ave、Ｉc_ave、Ｉd_ave、Ｉe_ave、Ｉf_ave、Ｉg_ave、Ｉh_aveのうち、Ｉd_ave、Ｉf_ave、Ｉg_ave、Ｉh_aveは、第４のデコーダおよび明るさ補正手段１４４２に記憶し、Ｉa_ave、Ｉc_aveは、第２のデコーダおよび明るさ補正手段１４２２に記憶し、Ｉb_ave、Ｉe_aveは、第３のデコーダおよび明るさ補正手段１４３２に記憶しておく。

なお、画像６００に対しては、明るさ補正を行わないため、第１のデコーダおよび明るさ補正手段１４１２には、ｗ＝０が記憶される。

続いて、明るさ補正された画像に対して座標変換処理、画像合成処理が行われ（図１５のＳ１２、Ｓ１３）、合成された画像は、Ｄ／Ａ変換された後エンコード処理してコンポジット信号に変換され、モニタ１１０３に出力される（図１５のＳ１４、Ｓ１５、Ｓ１６）。

図１５のＳ１７、Ｓ１８にて、フロントカメラ１４１１が選択された状態になっていて、かつ車速が所定値以下であることが確認されると、図１５のＳ７にて、フロントカメラ１４１１、左サイドカメラ１４２１、右サイドカメラ１４３１、リアカメラ１４４１から、同時に画像入力が行われる。

先述した一連の処理が再度繰り返され、明るさ算出手段１６００にて、各画像の中の所定領域の明るさＩa_ave、Ｉb_ave、Ｉc_ave、Ｉd_ave、Ｉe_ave、Ｉf_ave、Ｉg_ave、Ｉh_aveの各値が算出され、これらの値が、所定のデコーダおよび明るさ補正手段に記憶された後、フロントカメラ１４１１で撮像された画像の明るさに基づいて、左サイドカメラ１４２１で撮像された画像の明るさと、右サイドカメラ１４３１で撮像された画像の明るさがそれぞれ補正される。

さらに、第４のデコーダおよび明るさ補正手段１４４２に記憶されたＩＩd_ave、Ｉf_ave、Ｉg_ave、Ｉh_aveの値を用いて、リアカメラ１４４１で撮像された画像の明るさ補正が行われる。ここでは、第４のデコーダおよび明るさ補正手段１４４２における現在の設定ブライトネス値をＢ４、明るさ補正によって新たに設定されたブライトネス値をＢ４’とし、（式１２）によって明るさの補正が行われる。
Ｂ４’＝Ｂ４＋（(Ｉd_ave＋Ｉf_ave）/２−（Ｉg_ave＋Ｉh_ave）/２）×ｗ (式１２）
以降、明るさ補正された画像に対して、座標変換・合成処理が施され、さらに、Ｄ／Ａ変換、エンコード処理され、その結果がモニタ１７０３に出力される。

フロントカメラ１４１１が選択された状態で、かつ車速が所定値以下であることが確認されると、次の画像入力が行われ、その後、（式６）、（式１０）、（式１１）、（式１２）による明るさ補正が実行される。以下、車速が所定値以下である限り、上記説明の一連の処理が繰り返され、その都度、算出された最新のブライトネス値に基づいて、画像の明るさが補正される。

このように構成された本実施形態に係る車両用周辺監視装置によれば、撮像範囲の一部が重複する２つの画像の重複撮像範囲、もしくはその近傍の明るさが等しくなるような明るさ補正を行うとともに、基準になる画像の明るさに基づいて、その画像と重複する範囲を撮像した別の画像の明るさを再帰的に補正することが可能なため、多くの画像を１枚の画像に合成して表示する車両用周辺監視装置において、画像のつなぎ目における明るさの不連続感を大幅に低減し、運転者に見やすい画像を提供することができる。

さらに、撮像手段で撮像した画像をデコード処理する際に、ブライトネス調整によって画像の明るさ補正を行うため、明るさ補正を短時間で実行することができる。

なお、上述した本実施例の車両用周辺監視装置の作用は、本発明に係る車両用周辺画像表示方法の実施形態に相当する。

また、ここで、実施例３においては、複数の撮像手段１４１０の中から１つの撮像手段を選択する撮像手段選択手段１９００を有する構成になっているが、この部分の構成は、この限りではなく、予め決めておいた、ある特定の撮像手段を１つ選択するようにしてもよい。

１１０ 撮像手段
１１１ フロントカメラ
１１２ 第１のデコーダおよび明るさ補正手段
１１３ 第１のＡ／Ｄ変換器
１２１ 左サイドカメラ
１２２ 第２のデコーダおよび明るさ補正手段
１２３ 第２のＡ／Ｄ変換器
１３１ 右サイドカメラ
１３２ 第３のデコーダおよび明るさ補正手段
１３３ 第３のＡ／Ｄ変換器
１４１ リアカメラ
１４２ 第４のデコーダおよび明るさ補正手段
１４３ 第４のＡ／Ｄ変換器
２００ 座標変換および画像合成手段
２０１ 座標変換手段
２０２ 座標変換テーブル
２０３ 画像合成手段
３００ 画像の明るさ算出手段
３０１ 第１の明るさ算出手段
３０２ 第２の明るさ算出手段
３０３ 第３の明るさ算出手段
３０４ 第４の明るさ算出手段
４００ 画像表示手段
４０１ Ｄ／Ａ変換器
４０２ エンコーダ
４０３ モニタ
５００ 起動・終了指示検出手段

Claims (8)

1. 車両に設置され、車両周辺を撮像する複数の撮像手段と、前記複数の撮像手段のうちいずれか１つの撮像手段で撮像された画像の中から、前記１つの撮像手段で撮像された画像の明るさに対応した値を算出する画像の明るさ算出手段と、前記画像の明るさ算出手段によって算出された値に基づいて、前記複数の撮像手段で得られた画像の明るさを補正する明るさ補正手段と、前記明るさ補正手段によって明るさが補正された画像に対して、所定の座標変換処理を施す画像変換手段と、前記座標変換処理が施された複数の画像を１つの画像に合成する画像合成手段と、前記画像合成手段によって合成された画像と前記いずれか１つの撮像手段で撮像された画像とを同時に表示する画像表示手段とを有することを特徴とする車両用周辺監視装置。
2. 請求項１記載の車両用周辺監視装置において、車両の進行方向を判定する進行方向判定手段と、前記進行方向判定手段の判定結果に基づいて、複数の撮像手段から１つの撮像手段を選択する撮像手段選択手段とを備え、
   前記画像の明るさ算出手段は、前記撮像手段選択手段によって選択された１つの撮像手段で撮像した画像の中から画像の明るさに対応した値を算出するものであり、前記画像表示手段は、前記画像合成手段によって合成された画像と前記撮像手段選択手段によって選択された１つの撮像手段で撮像した画像とを同時に表示するものであることを特徴とする車両用周辺監視装置。
3. 請求項２記載の車両用周辺監視装置において、前記撮像手段選択手段は、その中の少なくとも２つの撮像手段で撮像される範囲が一部重複するように設置された３方向以上の方向を撮像する複数の撮像手段の中から第１の撮像手段を選択するものであり、
   前記画像の明るさ算出手段は、前記選択された第１の撮像手段で撮像した画像、および、前記選択された第１の撮像手段と第１の重複する撮像範囲を有する第２の撮像手段で撮像した画像の、前記第１の重複する撮像範囲、あるいは前記第１の重複する撮像範囲の近傍の明るさに対応した値を算出するものであり、前記明るさ補正手段は、前記算出された値に基づいて、前記第２の撮像手段によって撮像された画像の明るさを補正するものであり、前記画像の明るさ算出手段は、さらに、前記明るさが補正された結果に基づいて、前記明るさが補正された画像と、前記明るさが補正された画像と第２の重複する撮像範囲を有する第３の撮像手段によって撮像された画像の中から、前記第２の重複する撮像範囲、あるいは、前記第２の重複する撮像範囲の近傍の明るさに対応した別の値を算出するものであり、前記明るさ補正手段は、さらに、前記算出された別の値に基づいて、前記第３の撮像手段によって撮像された画像の明るさを補正するものであり、前記画像の明るさ算出手段と前記明るさ補正手段は、以降、同様に、前記明るさの算出と前記明るさの補正を順次繰り返すものであることを特徴とする車両用周辺監視装置。
4. 請求項１記載の車両用周辺監視装置において、前記画像の明るさ算出手段は、その中の少なくとも２つの撮像手段で撮像される範囲が一部重複するように設置された３方向以上の方向を撮像する複数の撮像手段の中の第１の撮像手段で撮像した画像、および、前記第１の撮像手段と第１の重複する撮像範囲を有する第２の撮像手段で撮像した画像の、前記第１の重複した撮像範囲、あるいは、前記第１の重複する撮像範囲の近傍の明るさに対応した値を算出するものであり、前記明るさ補正手段は、前記算出された値に基づいて、前記第２の撮像手段によって撮像された画像の明るさを補正するものであり、前記画像の明るさ算出手段は、さらに、前記明るさが補正された結果に基づいて、前記明るさが補正された画像と、前記明るさが補正された画像と第２の重複する撮像範囲を有する第３の撮像手段によって撮像された画像の中から、前記第２の重複する撮像範囲、あるいは、前記第２の重複する撮像範囲の近傍の明るさに対応した別の値を算出するものであり、前記明るさ補正手段は、さらに、前記算出された別の値に基づいて、前記第３の撮像手段によって撮像された画像の明るさを補正するものであり、前記画像の明るさ算出手段と前記明るさ補正手段は、以降、同様に、前記明るさの算出と前記明るさの補正を順次繰り返すものであることを特徴とする車両用周辺監視装置。
5. 複数の撮像手段で撮像された車両周辺の複数の画像を合成した画像と、前記複数の撮像手段の１つで撮像された画像を１つの表示画面に表示する車両用周辺画像表示方法において、前記複数の画像の中から、１つの画像の明るさに対応した値を算出し、前記算出された値に基づいて、前記複数の画像の明るさを補正し、前記明るさが補正された画像に対して、所定の座標変換処理を施し、前記座標変換が施された複数の画像を１つの画像に合成し、前記合成された画像と前記１つの画像とを同時に表示することを特徴とする車両用周辺画像表示方法。
6. 請求項５記載の車両用周辺画像表示方法において、車両の進行方向を判定し、前記進行方向の判定結果に基づいて、車両周辺を撮像した複数の画像から１つの画像を選択し、前記選択された１つの画像の中から前記１つの画像の明るさに対応した値を算出し、前記算出された値に基づいて、前記複数の画像の明るさを補正し、前記明るさが補正された画像に対して、所定の座標変換処理を施し、前記座標変換処理が施された複数の画像を１つの画像に合成し、前記合成された画像と前記選択された１つの画像とを同時に表示することを特徴とする車両用周辺画像表示方法。
7. 請求項６記載の車両用周辺画像表示方法において、その中の少なくとも２つの画像の撮像範囲が一部重複するように設置された３方向以上の方向を撮像した複数の画像の中から第１の画像を選択し、前記選択された第１の画像、および、前記選択された第１の画像と第１の重複する撮像範囲を有する第２の画像の、前記重複する第１の撮像範囲、あるいは前記第１の重複する撮像範囲の近傍の明るさに対応した値を算出し、前記算出された値に基づいて、前記第２の画像の明るさを補正し、前記明るさが補正された結果に基づいて、前記明るさが補正された画像と、前記明るさが補正された画像と第２の重複する撮像範囲を有する第３の画像の中から、前記第２の重複する撮像範囲、あるいは、前記第２の重複する撮像範囲の近傍の明るさに対応した別の値を算出し、前記算出された別の値に基づいて、前記第３の画像の明るさを補正し、以降、同様に、前記明るさの算出と前記明るさの補正を順次繰り返すことを特徴とする車両用周辺画像表示方法。
8. 請求項５記載の車両用周辺画像表示方法において、その中の少なくとも２つの画像の撮像範囲が一部重複するように設置された３方向以上の方向を撮像した複数の画像の中の第１の画像と、前記第１の画像と第１の重複する撮像範囲を撮像した第２の画像の、前記第１の重複する撮像範囲、あるいは前記第１の重複する撮像範囲の近傍の明るさに対応した値を算出し、前記算出された値に基づいて、前記別の画像の明るさを補正し、前記明るさが補正された結果に基づいて、前記明るさが補正された画像と、前記明るさが補正された画像と第２の重複する撮像範囲を有する第３の画像の中から、前記第２の重複する撮影範囲、あるいは、前記第２の重複する撮像範囲の近傍の明るさに対応した別の値を算出し、前記算出された別の値に基づいて、前記第３の画像の明るさを補正し、以降、同様に、前記明るさの算出と前記明るさの補正を順次繰り返すことを特徴とする車両用周辺画像表示方法。