JP4739122B2

JP4739122B2 - 車載カメラの画像合成装置および画像合成方法

Info

Publication number: JP4739122B2
Application number: JP2006156273A
Authority: JP
Inventors: 義浩西岡
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2006-06-05
Filing date: 2006-06-05
Publication date: 2011-08-03
Anticipated expiration: 2026-06-05
Also published as: JP2007323587A

Description

本発明は車両に搭載された複数のカメラから撮像された画像を合成して表示する車載カメラの画像合成装置および画像合成方法に関し、特に車両周囲の画像を視認しやすく合成するための車載カメラの画像合成装置および画像合成方法に関するものである。

車両を運転する際、運転者の視界にはいくつかの死角が生じてしまう。特に車両を後退させる際は死角が多く車両の後方を視認することは難しい。また、前方に走行中であっても、併走している車両が自車両のドアピラーに隠れる位置にくると、並走している車両が運転者の視界から消えてしまう。そのため、近年では、運転者の死角に位置する自車両の周囲を監視するカメラを搭載し、そのカメラにより撮像した自車両の周囲の画像をカーナビゲーション用の表示装置に表示するものがある。
図８は５台のカメラを搭載した車両の例で、カメラＡ２０〜カメラＥ２４の５台を搭載し、車両の後部に取り付けたカメラＣ２２が車両の真後ろを監視し、車両の左サイドの前後に取り付けたカメラＤ２３、カメラＥ２４が車両の左サイド斜め後方を監視し、車両の右サイド前後に取り付けたカメラＡ２０、カメラＢ２１が車両の右サイド斜め後方を監視するようになっている。最近では、前方、左側方、右側方、後方などのように多数のカメラを搭載し車両の全周囲を監視できるようにしたものがある。

しかし、このように多数のカメラを用いて車両周囲を撮像しても、全ての画像を個別に視認するのは煩雑であり運転の危険を伴う。そこで、重複した撮像領域を持った多数のカメラから撮像した画像を自車両の上方から下方を見下ろしたように仮想視点から見た画像に変換して合成して表示することにより、自車両の周囲を撮像した画像の視認性を高め、安全に自車両の周囲の状況を把握することができるようになる。図９は合成画像の例であり、図８に示す５台のカメラＡ２０〜カメラＥ２４から得られたカメラＡの画像３０〜カメラＥの画像３４の視点を変換して合成し、自車の上方から下方を見下ろした合成画像３５にしたものである。ここで自車両を表す部分はカメラの撮像画像ではなくグラフィックデータを重畳させて合成したものである。

しかし、このような合成画像であっても、自車両の周囲に設置されたカメラは各々異なる方位を撮像しているため、カメラＡ２０〜カメラＥ２４のそれぞれの撮像範囲は明るい場合や暗い場合が存在し、それに応じて各カメラは明るさや色合いを自動調整するため、カメラＡの画像３０〜カメラＥの画像３４の重複した撮像範囲で明るさや色合いが異なり、見づらく違和感を感じる場合がある。このような複数のカメラの撮像画像を合成する際の明るさや色合いを補正して見やすくする技術が知られている（例えば、特許文献１および特許文献２参照）。
特許文献１に記載のものはカメラ画像を合成するための手法に関する技術で、カメラが３台以上ある場合、全カメラの画素データの平均値に最も近いカメラを基準画像とし、この基準画像に隣接するカメラ画像の明るさや色合いを順に合わせるように補正処理を行うというものである。
特許文献２に記載のものは複数の隣接するカメラ画像と画質を合わせるために画像両端で異なるパラメータを直線またはなだらかな曲線に沿って画像内で変化させるパラメータをカメラに対し制御するものである。
特開２００２−３２４２３５号公報特開２００１−３２０６１６号公報

しかし、特許文献１に記載のものにおいては、画素データの平均値に最も近いカメラを基準として明るさや色合いを合わせていくと、特に、各カメラ画像の明るさや色合いのばらつきが大きい場合には基準となるカメラが切り替わった際に明るさや色合いが急激に変化してしまうという問題がある。
また、特許文献２に記載のものにおいては、両端で隣接する画像と画質を合わせるパラメータを画像内で変化させても両端のパラメータ値が大きく異なる際にはその画像内での明るさや色合いに大きな傾きを持ってしまい不自然となることがあるという問題がある。また、この手法はカメラに対してパラメータ値を詳細に制御するものであり、外部からの制御が可能な特殊なカメラや制御データ用の配線が必要となるが、車載用途の撮像装置ではコストや車両重量の点から、可能な限り単純な構成で配線も少ないことが重視される。そのため汎用のカメラを用い、入力された撮像画像に対して補正を行うことで見やすい合成画像を生成できることが望ましい。

本発明は、かかる現状に鑑みてなされたものであり、従来における諸問題点を解決し、以下の目的を達成することを課題とする。すなわち、本発明は、複数のカメラから入力された撮像画像が互いに重なる画像重複領域の明るさや色合いの変化を目立たなくし、かつ、複数のカメラから入力された撮像画像の明るさや色合いが近づくように画像データを補正することにより視認しやすい合成画像が得られる車載カメラの画像合成装置および画像合成方法を提供することを目的とする。

本発明に係る車載カメラの画像合成装置においては、上記課題を解決するために（１）車両に設置した複数のカメラが撮像した自車両の周囲の画像を合成して表示する車載カメラの画像合成装置において、前記複数のカメラが撮像した複数のカメラ画像の内、隣接したカメラ画像が重複した画像重複領域における明るさおよび色合いの少なくともいずれかからなる色調を揃えるための初期ゲインを算出する初期ゲイン算出部と、前記画像重複領域にて隣接しているカメラ画像の各々が、他のカメラの画像と隣接している場合、算出された前記初期ゲインによって前記画像重複領域の前記色調が揃えられた状態を保持し、さらに前記他のカメラの画像との画像重複領域における前記色調の差異を小さくするための補正ゲインを算出する補正ゲイン算出部と、前記補正ゲインに基づいてカメラ画像を構成する各画素に応じたゲインを決定し、該ゲインを入力された各画素に乗じて画像を補正する画像補正部とを有し、前記画像補正部で補正した補正画像を合成するように構成する。
この構成により、複数のカメラから入力された画像における明るさや色合いの差異が小さくなるように補正され、補正後の画像が合成されるので、撮像の視点が変換されて各画像が合成されても、重複した撮像範囲における合成画像の繋ぎ目が目立たず、かつ全てのカメラ画像の明るさや色合いが近づいた自然な合成画像が得られる。

また、本発明に係る車載カメラの画像合成装置においては、（２）前記初期ゲイン算出部が、第１カメラ画像と隣接した第２カメラ画像とが重複した第１第２カメラ画像重複領域における第１カメラ画像データの前記色調の第１平均値および第２カメラ画像データの前記色調の第１平均値を算出し、前記第１第２カメラ画像重複領域における前記第１カメラ画像データの前記色調の第１平均値と、前記第２カメラ画像データの前記色調の第１平均値との平均値である第２平均値を算出し、隣接した前記第１カメラ画像および前記第２カメラ画像の各々について、前記色調の第１平均値が、前記第２平均値に一致するようなゲインを、隣接する前記第１第２カメラ画像重複領域における前記第１カメラ画像の初期ゲインおよび前記第２カメラ画像の初期ゲインとして算出し、さらに、前記第１平均値の算出、前記第２平均値の算出、および前記初期ゲインとしての算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行うよう構成してもよい。
この構成により、互いに隣接したカメラ画像における明るさや色合いを揃えるための初期ゲインの値が得られる。

また、本発明に係る車載カメラの画像合成装置においては、（３）前記補正ゲイン算出部が、前記第１カメラ画像が前記第２カメラ画像以外の第３カメラ画像と隣接し、かつ、前記第２カメラ画像が前記第１カメラ画像以外の第４カメラ画像と隣接する場合、前記第１第２カメラ画像重複領域における前記第１カメラ画像の初期ゲインと、前記第１カメラ画像と前記第３カメラ画像とが重複した第１第３カメラ画像重複領域における前記第１カメラ画像の初期ゲインの、前記第１カメラ画像に対する２つの初期ゲインの比、および、前記第１第２カメラ画像重複領域における前記第２カメラ画像の初期ゲインと、前記第２カメラ画像と前記第４カメラ画像とが重複した第２第４カメラ画像重複領域における前記第２カメラ画像の初期ゲインの、前記第２カメラ画像に対する２つの初期ゲインの比を算出し、前記第１カメラ画像に対する初期ゲインの比と、前記第２カメラ画像に対する初期ゲインの比の平均値を算出し、前記比の平均値を前記第１第２カメラ画像重複領域における前記第１カメラ画像の初期ゲイン、および、前記第２カメラ画像の初期ゲインの各々に乗じた値を前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲイン、および、前記第２カメラ画像の補正ゲインとして算出し、さらに、前記初期ゲインの比の算出、前記初期ゲインの比の平均値の算出および前記補正ゲインとしての算出の各算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行うよう構成してもよい。
この構成により、互いに隣接したカメラ画像における明るさや色合いが揃った状態を保ちながら、さらに周囲のカメラ画像との明るさや色合いを近づけるための補正ゲインが得られる。

また、本発明に係る車載カメラの画像合成装置においては、（４）前記補正ゲイン算出部が、前記第１カメラ画像が前記第２カメラ画像以外の前記第３カメラ画像と隣接し、かつ、前記第２カメラ画像が前記第１カメラ画像以外の前記第４カメラ画像と隣接する場合、前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲインと、前記第１第３カメラ画像重複領域における前記第１カメラ画像の補正ゲインの、前記第１カメラ画像に対する２つの補正ゲインの比、および、前記第１第２カメラ画像重複領域における前記第２カメラ画像の補正ゲインと、前記第２第４カメラ画像重複領域における前記第２カメラ画像の補正ゲインの、前記第２カメラ画像に対する２つの補正ゲインの比を算出し、前記第１カメラ画像に対する補正ゲインの比と、前記第２カメラ画像に対する補正ゲインの比の平均値を算出し、前記比の平均値を前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲイン、および、前記第２カメラ画像の補正ゲインの各々に乗じた値を、前記第１第２カメラ画像重複領域における前記第１カメラ画像の新たな補正ゲイン、および、前記第２カメラ画像の新たな補正ゲインとして算出し、さらに、前記補正ゲインの比の算出、前記補正ゲインの比の平均値の算出および新たな前記補正ゲインとしての算出の各算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行い、各カメラ画像の持つ２つの補正ゲイン値が一致、あるいは、予め決められた閾値未満となるまで複数回繰り返すよう構成してもよい。
この構成により、２つの重複部を持つカメラ画像において、２つの補正ゲイン値の差を小さくしながら、さらに周囲のカメラ画像との明るさや色合いを近づけるための補正ゲインが得られる。

また、本発明に係る車載カメラの画像合成装置においては、（５）前記補正ゲイン算出部が、前記第１カメラ画像は前記第２カメラ画像以外の前記第３カメラ画像と隣接するが、前記第２カメラ画像は前記第１カメラ画像以外のカメラ画像とは隣接しない場合、他の隣接したカメラ画像を持つ前記第１カメラ画像においては、前記第１第２カメラ画像重複領域における前記第１カメラ画像の初期ゲインと、前記第１第３カメラ画像重複領域における前記第１カメラ画像の初期ゲインの、前記第１カメラ画像に対する２つの初期ゲインの比を算出し、前記他の隣接したカメラ画像を持たない前記第２カメラ画像においては、初期ゲインの比の値を１とみなし、前記第１カメラ画像に対する初期ゲインの比と、前記第２カメラ画像に対する初期ゲインの比の平均値を算出し、前記比の平均値を前記第１第２カメラ画像重複領域における前記第１カメラ画像の初期ゲイン、および、前記第２カメラ画像の初期ゲインの各々に乗じた値を前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲイン、および、前記第２カメラ画像の補正ゲインとして算出し、さらに、前記初期ゲインの比の算出、前記初期ゲインの比の平均値の算出および前記補正ゲインとしての算出の各算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行うよう構成してもよい。
この構成により、片側にしか重複した撮像領域を持たないカメラ画像と隣接しているカメラ画像においても、互いに隣接したカメラ画像の明るさや色合いが揃った状態を保ちながら、さらに周囲のカメラ画像との明るさや色合いを近づけるための補正ゲインが得られる。

また、本発明に係る車載カメラの画像合成装置においては、（６）前記補正ゲイン算出部が、前記第１カメラ画像は前記第２カメラ画像以外の前記第３カメラ画像と隣接するが、前記第２カメラ画像は前記第１カメラ画像以外のカメラ画像とは隣接しない場合、他の隣接したカメラ画像を持つ前記第１カメラ画像においては、前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲインと、前記第１第３カメラ画像重複領域における前記第１カメラ画像の補正ゲインの、前記第１カメラ画像に対する２つの補正ゲインの比を算出し、前記他の隣接したカメラ画像を持たない前記第２カメラ画像においては、補正ゲインの比の値を１とみなし、前記第１カメラ画像に対する補正ゲインの比と、前記第２カメラ画像に対する補正ゲインの比の平均値を算出し、前記比の平均値を前記第１第２カメラ画像重複領域における前記第１カメラ画像補正ゲイン、および、前記第２カメラ画像の補正ゲインの各々に乗じた値を、前記第１第２カメラ画像重複領域における前記第１カメラ画像の新たな補正ゲイン、および、前記第２カメラ画像の新たな補正ゲインとして算出し、さらに、前記補正ゲインの比の算出、前記補正ゲインの比の平均値の算出および新たな前記補正ゲインとしての算出の各算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行い、各カメラ画像の持つ２つの補正ゲイン値が一致、あるいは、予め決められた閾値未満となるまで複数回繰り返すよう構成してもよい。
この構成により、片側にしか重複した撮像領域を持たないカメラ画像と隣接しているカメラ画像においても、２つの重複部における２つの補正ゲイン値の差を小さくしながら、さらに周囲のカメラ画像との明るさや色合いを近づけるための補正ゲインが得られる。

また、本発明に係る車載カメラの画像合成装置においては、（７）前記画像補正部が、前記自車両の周囲を撮像する前記第１カメラ画像において、前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲインと、前記第１第３カメラ画像重複領域における前記第１カメラ画像の補正ゲインの、前記第１カメラ画像に対する２つの補正ゲインの値が異なる際、前記２つの補正ゲインの値を２つの重複した撮像領域からの距離に応じた加重平均によって各画素のゲインを決定するよう構成してもよい。
この構成により、２つの重複部を持つカメラ画像においても、カメラ画像内でゲインをなだらかに変化させることができ、明るさや色合いの傾きを目立たなくすることが可能となる。

また、本発明に係る車載カメラの画像合成方法においては、（８）車両に設置した複数のカメラが撮像した自車両の周囲の画像を合成して表示する車載カメラの画像合成方法において、前記複数のカメラが撮像した複数の画像の内、隣接したカメラ画像が重複した画像重複領域における前記色調を揃えるための初期ゲインを算出する初期ゲイン算出ステップと、前記画像重複領域にて隣接しているカメラ画像の各々が、他のカメラの画像と隣接している場合、算出された前記初期ゲインによって前記画像重複領域の前記色調が揃えられた状態を保持し、さらに前記他のカメラの画像との画像重複領域における前記色調の差異を小さくするための補正ゲインを算出する補正ゲイン算出ステップと、前記補正ゲインに基づいてカメラ画像を構成する各画素に応じたゲインを決定し、該ゲインを入力された各画素に乗じて画像を補正する画像補正ステップとを有し、前記画像補正ステップで補正した補正画像を合成するように構成する。
この構成により、複数のカメラから入力された画像における明るさや色合いの差異が小さくなるように補正され、補正後の画像が合成されるので、撮像の視点が変換されて各画像が合成されても、重複した撮像範囲における合成画像の繋ぎ目が目立たず、かつ全てのカメラ画像の明るさや色合いが近づいた自然な合成画像が得られる。

また、本発明に係る車載カメラの画像合成方法においては、（９）前記初期ゲイン算出ステップが、第１カメラ画像と隣接した第２カメラ画像とが重複した第１第２カメラ画像重複領域における第１カメラ画像データの前記色調の第１平均値および第２カメラ画像データの前記色調の第１平均値を算出し、前記第１第２カメラ画像重複領域における前記第１カメラ画像データの前記色調の第１平均値と、前記第２カメラ画像データの前記色調の第１平均値との平均値である第２平均値を算出し、隣接した前記第１カメラ画像および前記第２カメラ画像の各々について、前記色調の第１平均値が、前記第２平均値に一致するようなゲインを、隣接する前記第１第２カメラ画像重複領域における前記第１カメラ画像の初期ゲインおよび前記第２カメラ画像の初期ゲインとして算出し、さらに、前記第１平均値の算出、前記第２平均値の算出、および前記初期ゲインとしての算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行うよう構成してもよい。
この構成により、互いに隣接したカメラ画像における明るさや色合いを揃えるための初期ゲインの値が得られる。

また、本発明に係る車載カメラの画像合成方法においては、（１０）前記補正ゲイン算出ステップが、前記第１カメラ画像が前記第２カメラ画像以外の第３カメラ画像と隣接し、かつ、前記第２カメラ画像が前記第１カメラ画像以外の第４カメラ画像と隣接する場合、前記第１第２カメラ画像重複領域における前記第１カメラ画像の初期ゲインと、前記第１カメラ画像と前記第３カメラ画像とが重複した第１第３カメラ画像重複領域における前記第１カメラ画像の初期ゲインの、前記第１カメラ画像に対する２つの初期ゲインの比、および、前記第１第２カメラ画像重複領域における前記第２カメラ画像の初期ゲインと、前記第２カメラ画像と前記第４カメラ画像とが重複した第２第４カメラ画像重複領域における前記第２カメラ画像の初期ゲインの、前記第２カメラ画像に対する２つの初期ゲインの比を算出し、前記第１カメラ画像に対する初期ゲインの比と、前記第２カメラ画像に対する初期ゲインの比の平均値を算出し、前記比の平均値を前記第１第２カメラ画像重複領域における前記第１カメラ画像の初期ゲイン、および、前記第２カメラ画像の初期ゲインの各々に乗じた値を前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲイン、および、前記第２カメラ画像の補正ゲインとして算出し、さらに、前記初期ゲインの比の算出、前記初期ゲインの比の平均値の算出および前記補正ゲインとしての算出の各算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行うよう構成してもよい。
この構成により、互いに隣接したカメラ画像における明るさや色合いが揃った状態を保ちながら、さらに周囲のカメラ画像との明るさや色合いを近づけるための補正ゲインが得られる。

また、本発明に係る車載カメラの画像合成方法においては、（１１）前記補正ゲイン算出ステップが、前記第１カメラ画像が前記第２カメラ画像以外の前記第３カメラ画像と隣接し、かつ、前記第２カメラ画像が前記第１カメラ画像以外の前記第４カメラ画像と隣接する場合、前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲインと、前記第１第３カメラ画像重複領域における前記第１カメラ画像の補正ゲインの、前記第１カメラ画像に対する２つの補正ゲインの比、および、前記第１第２カメラ画像重複領域における前記第２カメラ画像の補正ゲインと、前記第２第４カメラ画像重複領域における前記第２カメラ画像の補正ゲインの、前記第２カメラ画像に対する２つの補正ゲインの比を算出し、前記第１カメラ画像に対する補正ゲインの比と、前記第２カメラ画像に対する補正ゲインの比の平均値を算出し、前記比の平均値を前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲイン、および、前記第２カメラ画像の補正ゲインの各々に乗じた値を、前記第１第２カメラ画像重複領域における前記第１カメラ画像の新たな補正ゲイン、および、前記第２カメラ画像の新たな補正ゲインとして算出し、さらに、前記補正ゲインの比の算出、前記補正ゲインの比の平均値の算出および新たな前記補正ゲインとしての算出の各算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行い、各カメラ画像の持つ２つの補正ゲイン値が一致、あるいは、予め決められた閾値未満となるまで複数回繰り返すよう構成してもよい。
この構成により、２つの重複部を持つカメラ画像において、２つの補正ゲイン値の差を小さくしながら、さらに周囲のカメラ画像との明るさや色合いを近づけるための補正ゲインが得られる。

また、本発明に係る車載カメラの画像合成方法においては、（１２）前記補正ゲイン算出ステップが、前記第１カメラ画像は前記第２カメラ画像以外の前記第３カメラ画像と隣接するが、前記第２カメラ画像は前記第１カメラ画像以外のカメラ画像とは隣接しない場合、他の隣接したカメラ画像を持つ前記第１カメラ画像においては、前記第１第２カメラ画像重複領域における前記第１カメラ画像の初期ゲインと、前記第１第３カメラ画像重複領域における前記第１カメラ画像の初期ゲインの、前記第１カメラ画像に対する２つの初期ゲインの比を算出し、前記他の隣接したカメラ画像を持たない前記第２カメラ画像においては、初期ゲインの比の値を１とみなし、前記第１カメラ画像に対する初期ゲインの比と、前記第２カメラ画像に対する初期ゲインの比の平均値を算出し、前記比の平均値を前記第１第２カメラ画像重複領域における前記第１カメラ画像の初期ゲイン、および、前記第２カメラ画像の初期ゲインの各々に乗じた値を前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲイン、および、前記第２カメラ画像の補正ゲインとして算出し、さらに、前記初期ゲインの比の算出、前記初期ゲインの比の平均値の算出および前記補正ゲインとしての算出の各算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行うよう構成してもよい。
この構成により、片側にしか重複した撮像領域を持たないカメラ画像と隣接しているカメラ画像においても、互いに隣接したカメラ画像の明るさや色合いが揃った状態を保ちながら、さらに周囲のカメラ画像との明るさや色合いを近づけるための補正ゲインが得られる。

また、本発明に係る車載カメラの画像合成方法においては、（１３）前記補正ゲイン算出ステップが、前記第１カメラ画像は前記第２カメラ画像以外の前記第３カメラ画像と隣接するが、前記第２カメラ画像は前記第１カメラ画像以外のカメラ画像とは隣接しない場合、他の隣接したカメラ画像を持つ前記第１カメラ画像においては、前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲインと、前記第１第３カメラ画像重複領域における前記第１カメラ画像の補正ゲインの、前記第１カメラ画像に対する２つの補正ゲインの比を算出し、前記他の隣接したカメラ画像を持たない前記第２カメラ画像においては、補正ゲインの比の値を１とみなし、前記第１カメラ画像に対する補正ゲインの比と、前記第２カメラ画像に対する補正ゲインの比の平均値を算出し、前記比の平均値を前記第１第２カメラ画像重複領域における前記第１カメラ画像補正ゲイン、および、前記第２カメラ画像の補正ゲインの各々に乗じた値を、前記第１第２カメラ画像重複領域における前記第１カメラ画像の新たな補正ゲイン、および、前記第２カメラ画像の新たな補正ゲインとして算出し、さらに、前記補正ゲインの比の算出、前記補正ゲインの比の平均値の算出および新たな前記補正ゲインとしての算出の各算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行い、各カメラ画像の持つ２つの補正ゲイン値が一致、あるいは、予め決められた閾値未満となるまで複数回繰り返すよう構成してもよい。
この構成により、片側にしか重複した撮像領域を持たないカメラ画像と隣接しているカメラ画像においても、２つの重複部における２つの補正ゲイン値の差を小さくしながら、さらに周囲のカメラ画像との明るさや色合いを近づけるための補正ゲインが得られる。

また、本発明に係る車載カメラの画像合成方法においては、（１４）前記画像補正ステップが、前記自車両の周囲を撮像する前記第１カメラ画像において、前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲインと、前記第１第３カメラ画像重複領域における前記第１カメラ画像の補正ゲインの、前記第１カメラ画像に対する２つの補正ゲインの値が異なる際、前記２つの補正ゲインの値を２つの重複した撮像領域からの距離に応じた加重平均によって各画素のゲインを決定するよう構成してもよい。
この構成により、２つの重複部を持つカメラ画像においても、カメラ画像内でゲインをなだらかに変化させることができ、明るさや色合いの傾きを目立たなくすることが可能となる。

本発明によれば、複数のカメラから入力された撮像画像が互いに重なる画像重複領域の明るさや色合いの変化を目立たなくし、かつ、複数のカメラから入力された撮像画像の明るさや色合いが近づくように画像データを補正することにより視認しやすい合成画像が得られる車載カメラの画像合成装置および画像合成方法を提供することができる。

以下、本発明に係る車載カメラの画像合成装置および画像合成方法の第１の実施の形態〜第３の実施の形態について図面を参照して説明する。
本発明に係る画像合成方法は、本発明に係る画像合成装置により実施することができ、この画像合成装置の説明を通じてその詳細をも明らかにする。
本発明に係る画像合成方法における初期ゲイン算出ステップは、本発明に係る画像合成装置における初期ゲイン算出部により好適に行うことができ、本発明に係る画像合成方法における補正ゲイン算出ステップは、本発明に係る画像合成装置における補正ゲイン算出部により好適に行うことができ、本発明に係る画像合成方法における画像補正ステップは、本発明に係る画像合成装置における画像補正部により好適に行うことができる。

＜第１の実施の形態＞
本発明に係る車載カメラの画像合成装置の第１の実施の形態を図１に示す。図１において、車載カメラの画像合成装置１００は画像メモリ１０１と、画像読み出し制御部１０２と、初期ゲイン算出部１０３と、補正ゲイン算出部１０４と、画像補正部１０５と、画像合成部１０６とを有している。
本発明に係る車載カメラの画像合成装置においては、車両に設置された複数のカメラが撮像した複数のカメラ画像を入手し、その複数のカメラ画像に基づいて画像を合成するようになっている。この複数のカメラの撮像範囲は各々広く設定されており、例えば、図２に示すように、車両４０の左側にカメラ５０と５１が設置された場合、カメラ５０の撮像範囲は５０ａ、カメラ５１の撮像範囲は５１ａのように各々広く設定され、重複した撮像範囲５２を有している。

図３に示すように、本第１の実施の形態においては、車両４０に図示しないカメラ０〜４の５台のカメラを、カメラ０は前方に、カメラ１は右側面に、カメラ２は右後方に、カメラ３は左後方に、カメラ４は左側面に各々設置し、カメラ０は撮像範囲２１０、カメラ１は撮像範囲２１１、カメラ２は撮像範囲２１２、カメラ３は撮像範囲２１３、カメラ４は撮像範囲２１４のように各々広い撮像範囲を有し、互いに重複した撮像範囲を有している。カメラ０の撮像範囲２１０とカメラ１の撮像範囲２１１とは重複部３０１、カメラ１の撮像範囲２１１とカメラ２の撮像範囲２１２とは重複部３０２、カメラ２の撮像範囲２１２とカメラ３の撮像範囲２１３とは重複部３０３、カメラ３の撮像範囲２１３とカメラ４の撮像範囲２１４とは重複部３０４、カメラ４の撮像範囲２１４とカメラ０の撮像範囲２１０とは重複部３０５において各々重複している。

本第１の実施の形態においては、このようにカメラ０〜４が隣接する各々のカメラが重複した撮像領域を有するように設置されているので、カメラ０〜４によって、車両の全周囲を空白部分が生ずることなく撮像できるようになっている。
画像メモリ１０１は、例えば、図１に示すカメラ０〜４の５台のカメラが車両の周囲を撮像し出力したカメラ画像を格納するようになっている。

図３に示す、重複部３０１はカメラ０の画像とカメラ１の画像が重複した画像重複領域であるため、重複部３０１におけるカメラ０の画像とカメラ１の画像を表示するためには各カメラ画像を構成する各画素の合成処理がなされる。重複部３０１の各画素の合成処理は、通常カメラ０の重複部３０１に当たる画素およびカメラ１の重複部３０１に当たる画素の両方を画像メモリ１０１から出力して行われる。画像メモリ１０１から重複部３０１に当たる画素の両方を出力して以降の処理では、重複部３０１に当たる画素を他の画像部分から判別する必要がある。例えば、カメラ０の撮像範囲２１０の画像は、カメラ１の撮像範囲２１１の画像との重複部３０１と、カメラ４の撮像範囲２１４の画像との重複部３０５の２つの重複部を有し、カメラ１の撮像範囲２１１の画像は、カメラ０の撮像範囲２１０の画像との重複部３０１と、カメラ２の撮像範囲２１２の画像との重複部３０２の２つの重複部を有しているので、これらの画像の中から重複部３０１を抽出するには、重複部３０１を他の画像から判別する必要がある。

そのため、本第１の実施の形態においては、画像読み出し制御部１０２によって、画像メモリ１０１から出力される画素値に対し、合成画像における画素の位置情報と、どのカメラによって撮像された画素データであるかを示すカメラ番号のフラグデータと、その画素データがどのカメラとの重複部であるか、若しくはどのカメラとも重複しない画素であるかを判別できるようにフラグデータが付されるようになっている。
初期ゲイン算出部１０３は、画像メモリ１０１から出力される画像データが入力されるようになっている。また、初期ゲイン算出部１０３は、入力された画像データにおける各画素データに付されているフラグデータを参照し、画素データのカメラ番号と、何番のカメラ画像と重複する画素データであるかを判別し、その画素値を用いて各カメラ画像の各重複部毎に画素値の平均値を算出するようになっている。

具体的には、重複部３０２におけるカメラ１の画像データの明るさや色合いの第１平均値１とカメラ２の画像データの明るさや色合いの第１平均値２とを算出し、第１平均値１と第１平均値２との平均値である第２平均値を算出し、第１平均値１と第１平均値２が、第２平均値に一致するようなゲインを算出し、このゲインを重複部３０２におけるカメラ１の画像の初期ゲイン１およびカメラ２の画像の初期ゲイン２とするようになっている。
第２平均値は、算出された第１平均値１と第１平均値２とを掛け合わせて平方根を算出することで、重複部３０２において隣接するカメラ１とカメラ２との画像間の画素平均値の相乗平均値として算出されるようになっている。
重複部３０２における画素平均値の相乗平均値を、第１平均値１で割った値を初期ゲイン１とし、第１平均値２で割った値を初期ゲイン２として出力するようになっている。
例えば、図３において、カメラ１が撮像した画像とカメラ２が撮像した画像との明るさや色合いを揃えるための初期ゲインを算出する際には、カメラ１の重複部３０２にあたる画素値の第１平均値１、カメラ２の重複部３０２にあたる画素値のと第１平均値２をそれぞれ算出し、算出した第１平均値１をＡｖｅ１＿１２、第１平均値２をＡｖｅ２＿１２とすると、次式（１）および（２）に示すように、これら画素値の第１平均値１と第１平均値２の相乗平均値に、Ａｖｅ１＿１２、Ａｖｅ２＿１２が一致するようなゲインが、重複部３０２におけるカメラ１の画像の初期ゲインＩｇ１＿１２、カメラ２の画像の初期ゲインＩｇ２＿１２として求められる。

重複部３０２におけるカメラ１の画像の初期ゲインＩｇ１＿１２およびカメラ２の画像の初期ゲインＩｇ２＿１２においては、光の３原色である赤緑青（ＲＧＢ）のそれぞれについて初期ゲインを算出するようになっている。

また、初期ゲイン算出部１０３においては、どのカメラの撮像画像とも重複しない画像における画素は初期ゲインの算出から除外されている。重複部３０１と同様に重複部３０２〜３０５までのすべての重複部についても上記と同様の第１平均値の算出、第２平均値の算出、初期ゲインの算出を行うことによって、互いに隣接したカメラ画像と明るさや色合いを揃えるための算出処理がなされるようになっている。

補正ゲイン算出部１０４においては、第１カメラ画像が第２カメラ画像以外の第３カメラ画像と隣接し、かつ、第２カメラ画像が第１カメラ画像以外の第４カメラ画像と隣接する態様における補正ゲインを算出するようになっている。

本第１の実施の形態においては、上記隣接する態様として、図３に示すように、第１カメラとしてのカメラ０の画像が第２カメラとしてのカメラ１の画像以外の第３カメラとしてのカメラ４の画像と隣接し重複部３０５を有し、かつ、第２カメラとしてのカメラ１の画像が第１カメラとしてのカメラ０以外の第４カメラとしてのカメラ２の画像と隣接し重複部３０２を有する場合、第１カメラとしてのカメラ１の画像が第２カメラとしてのカメラ２の画像以外の第３カメラとしてのカメラ０の画像と隣接し重複部３０１を有し、かつ、第２カメラとしてのカメラ２の画像が第１カメラとしてのカメラ１以外の第４カメラとしてのカメラ３の画像と隣接し重複部３０３を有する場合などが挙げられる。

このような態様において、例えば、重複部３０２におけるカメラ１の画像の初期ゲインＩｇ１＿１２と重複部３０１におけるカメラ１の画像の初期ゲインＩｇ１＿０１との比Ａと、重複部３０２におけるカメラ２の画像の初期ゲインＩｇ２＿１２と、重複部３０３におけるカメラ２の画像の初期ゲインＩｇ２＿２３との比Ｂとを算出し、比Ａと比Ｂとの平均値ＡＢを算出し、平均値ＡＢと重複部３０２におけるカメラ１の画像の初期ゲインＩｇ１＿１２とを乗じた値をカメラ１の画像の補正ゲインＡＢ１、平均値ＡＢと重複部３０２におけるカメラ２の画像の初期ゲインＩｇ２＿１２とを乗じた値をカメラ２の画像の補正ゲインＡＢ２として算出するようになっている。

さらに、比Ａおよび比Ｂの算出、平均値ＡＢの算出および補正ゲインＡＢ１と補正ゲインＡＢ２の算出の各算出を他の重複部３０１、重複部３０３、重複部３０４、重複部３０５においても同様に各カメラの画像に対しても算出処理がなされているようになっている。このような算出処理により互いに隣接したカメラ画像における明るさや色合いが揃った状態を保ちながら、さらに周囲のカメラ画像との明るさや色合いを近づけるための補正ゲインが得られる。

重複部３０２におけるカメラ１の画像の補正ゲインを補正ゲインＡＢ１とし、重複部３０１におけるカメラ１の画像の補正ゲインを補正ゲインＡＢ３とすると、補正ゲインＡＢ１と補正ゲインＡＢ３との比Ｃ、および、重複部３０２におけるカメラ２の画像の補正ゲインを補正ゲインＡＢ２とし、重複部３０３におけるカメラ２の画像の補正ゲインを補正ゲインＡＢ４とすると、補正ゲインＡＢ２と補正ゲインＡＢ４との比Ｄを算出し、比Ｃと比Ｄの平均値ＣＤを算出し、平均値ＣＤを補正ゲインＡＢ１に乗じた値をカメラ１の画像の新たな補正ゲインＣＤ１、平均値ＣＤを補正ゲインＡＢ２に乗じた値をカメラ２の画像の新たな補正ゲインＣＤ２として算出するようになっている。

さらに、比Ｃおよび比Ｄの算出、平均値ＣＤの算出および新たな補正ゲインＣＤ１、新たな補正ゲインＣＤ２の算出の各算出を他の重複部３０１、重複部３０３、重複部３０４、重複部３０５においても同様に各カメラ画像に対しても行い、各重複部における新たな補正ゲインの計算は、各カメラ画像の持つ２つの補正ゲイン値が一致、あるいは、予め決められた閾値未満となるまで複数回繰り返すことができるようになっている。
このような処理により、２つの重複部を持つカメラ画像において、２つの補正ゲイン値の差を小さくしながら、さらに周囲のカメラ画像との明るさや色合いを近づけるための補正ゲインが得られる。

具体的には、図３において重複部３０１におけるカメラ１の画像の初期ゲインＩｇ１＿０１、重複部３０２におけるカメラ１の画像の初期ゲインをＩｇ１＿１２、カメラ２の画像の初期ゲインをＩｇ２＿１２、重複部３０３におけるカメラ２の画像の初期ゲインをＩｇ２＿２３とすると、重複部３０２に対する補正係数Ｍ１２は、次式（３）に基づいて算出することができ、この補正係数Ｍ１２を用いて重複部３０２における補正ゲインＣｇ１＿１２、Ｃｇ２＿１２は、次式（４）および（５）に基づいて算出することができる。

上記の算出処理をすべての重複部３０１〜３０５において行い、すべてのカメラ画像の重複部３０１〜３０５に対して補正ゲインを算出する。この計算は重複部における隣接したカメラ画像の初期ゲインに対し同一の係数を乗じているため明るさや色合いの揃った状態を維持したまま、さらに周囲のカメラ画像との明るさや色合いを近づけるようなゲインを算出することができる。

上記のように、補正ゲインの算出は隣接したカメラ画像との明るさや色合いを揃えたまま、さらに周囲のカメラ画像との明るさや色合いが揃うように近づけるために行うが、この状態では、１つのカメラ画像が両側に隣接したカメラ画像を持つため両側に２つの補正ゲインを持ち、これらの値が等しくなる可能性は低く、仮にどちらか一方のゲインをそのカメラ画像のゲインとして用いても、すべての隣接したカメラ画像の明るさや色合いを揃えることはできず、重複部で明るさや色合いの傾きが生じ、違和感を感じる画像となる。また、２つの補正ゲインの値が大きく異なる場合には、後述するようにカメラ画像内で明るさや色合いを変化させても、その変化の傾きが大きくなり、違和感のある画像が得られてしまう場合がある。そのため、２つの重複部を持つカメラ画像における２つの補正ゲインはできる限り近い値になるようにする処理を行うことが望ましい。

そこで、補正ゲインの算出を複数回繰り返すことにより２つの補正ゲインを極めて近い値にすることができる。上記の補正ゲインは各重複部における初期ゲインを用いて算出していたが、２回目の補正ゲイン算出には、１回目に算出した補正ゲインに対し、１回目の初期ゲインに行った計算と同様の処理を行うことで、新たな補正ゲインを算出する。このように補正ゲインを複数回繰り返して算出することにより各カメラの明るさや色合いが揃っていき、さらに、２つの補正ゲインの値が等しくなるように収束させることができる。

図４は本第１の実施の形態において、図３に示すような複数のカメラ画像から合成した画像を得る際の各カメラ画像の画素レベルの値を表している。ここでは簡単に考えるため、車両周囲の地面は同一の状況で、合成画像に用いられない撮像領域の要因により異なる露出となった状況を仮定する。カメラ０の画像の画素レベルの値がＬＥＶ４００、カメラ１の画像の画素レベルの値がＬＥＶ４０１、カメラ２の画像の画素レベルの値がＬＥＶ４０２、カメラ３の画像の画素レベルの値がＬＥＶ４０３、カメラ４の画像の画素レベルの値がＬＥＶ４０４で一定であり、ＬＥＶ４００／ＬＥＶ４０４＝ａ、ＬＥＶ４０１／ＬＥＶ４００＝ｂ、ＬＥＶ４０２／ＬＥＶ４０１＝ｃ、ＬＥＶ４０３／ＬＥＶ４０２＝ｄ、ＬＥＶ４０４／ＬＥＶ４０３＝ｅとすると全周囲を重複しながら撮像しているので、ａ×ｂ×ｃ×ｄ×ｅ＝１となる。

これらの条件において、重複部３０５におけるカメラ０の画像の初期ゲインＩｇ０＿４０、重複部３０１におけるカメラ０の画像の初期ゲインＩｇ０＿０１、カメラ１の画像の初期ゲインＩｇ１＿０１、重複部３０２におけるカメラ１の画像の初期ゲインＩｇ１＿１２、カメラ２の画像の初期ゲインＩｇ２＿１２、重複部３０３におけるカメラ２の画像の初期ゲインをＩｇ２＿２３とすると、１回目（ｎ＝１）の補正ゲインを算出した際の、カメラ１の画像における２つの補正ゲインＣｇ１＿０１＿ｎ、Ｃｇ１＿１２＿ｎ（ｎ＝１）と、これらを除算したＣｇ１＿０１＿ｎ／Ｃｇ１＿１２＿ｎ（ｎ＝１）は、次式（６）〜（１６）に基づいて算出することができる。

式（６）〜（１６）に基づく算出と同様に、繰り返し算出した補正ゲインを用いて、ｎ＝２、３、４におけるＣｇ１＿０１＿ｎ／Ｃｇ１＿１２＿ｎを算出すると、表１のようになる。

表１のように補正ゲインを複数回繰り返して算出していくと、Ｃｇ１＿０１＿ｎ／Ｃｇ１＿１２＿ｎの値は１に収束していき、これは２つの補正ゲイン値の比が１に収束していくことを表している。よって上記の補正ゲインの計算を、すべてのカメラ画像それぞれが持つ２つの補正ゲインの値が一致、または２つの補正ゲインの差が所定の閾値未満となるまで繰り返して行うようになっている。

画像補正部１０５では、自車両の周囲を撮像する第１カメラ画像において、第１第２カメラ画像重複領域における第１カメラ画像の補正ゲインと、第１第３カメラ画像重複領域における第１カメラ画像の補正ゲインの、第１カメラ画像に対する２つの補正ゲインの値が異なる際、この２つの補正ゲインの値を２つの重複した撮像領域からの距離に応じた加重平均によって各画素のゲインを決定するようになっている。
この補正により、２つの重複部を持つカメラ画像においても、カメラ画像内でゲインをなだらかに変化させることができ、明るさや色合いの傾きが目立たなくなる。
具体的には、補正ゲイン算出部１０４で算出された補正ゲインを用いて、画像メモリ１０１から読み出された画素に応じたゲインを乗じる。補正ゲイン算出部１０４では１つのカメラ画像に対する２つの補正ゲインの差がある閾値未満となるまで算出を繰り返しているので２つのゲインは近い値を持つことができる。よって、この２つの補正ゲインの値を用いて、そのカメラ画像の中で画像の端からの距離による加重平均によって各画素のゲインを決定し明るさや色合いをなだらかに変化させる。本第１の実施の形態においては、差を小さくした２つの補正ゲインを用いた加重平均であると、初期ゲインをそのまま用いた加重平均に比べて、明るさや色合いの傾きは小さくなり、違和感の少ない合成画像を得ることができる。

なお、本第１の実施の形態においては、加重平均によって明るさや色合いに傾きを持たせる方法を用いたが、補正ゲイン算出部１０４において算出する１つのカメラ画像に対する２つの補正ゲイン値は閾値の設定によってその差を小さくできるため、２つの補正ゲインの平均値をそのカメラ画像のゲインとして用いたり、２つの補正ゲインの内、いずれか一方をそのカメラ画像のゲインとして用いても重複部における明るさや色合いの変化は小さくなり違和感の少ない画像を得ることが可能となる。また、補正ゲイン算出部１０４において算出した１つのカメラ画像に対する２つの補正ゲイン値が一致した場合にはその値をそのカメラ画像のゲインとして用いることで同様の効果を得ることができる。
画像合成部１０６は、画像補正部１０５にて補正ゲインを乗じられた画素を入力し、隣接するカメラ画像の重複部の画素を合成して図９に示す合成画像３５のような上方から下方を見下ろすように視点変換された画像を作成し、表示装置１０７に出力するようになっている。
表示装置１０７は、例えば、液晶からなる表示画面を備えた表示部で構成され、画像合成部１０６により合成され、自車両およびその周囲を上方から見た画像として表示するようになっている。

本第１の実施の形態における、画像合成処理の作用について説明する。
まず、図１に示すように、カメラ０〜カメラ４が撮像した画像は、画像メモリ１０１にそれぞれ格納される。格納された画像データは画像読み出し制御部１０２によって、合成画像における画素の位置情報、各々のカメラ番号のフラグデータ、重複部を判別するフラグデータが付与されて、順次初期ゲイン算出部１０３に入力され、重複部３０１〜３０５における各カメラの画像データについて明るさや色合いを揃えるための初期ゲインが算出される。初期ゲインが算出されると、補正ゲイン算出部に算出された初期ゲインが入力され、初期ゲインに基づいて補正ゲインが算出される。この補正ゲインが算出されると、さらに新たな補正ゲインが算出され、所定の閾値未満となるまで新たな補正ゲインの算出が繰り返される。所望の補正ゲインが算出されると、画像補正部１０５に算出された補正ゲインが入力され、この補正ゲインに基づいて重複した撮像領域からの距離に応じた加重平均によって各画素のゲインが決定される。各画素のゲインが決定されると、画像合成部１０６に、各画素のゲインが入力され、隣接するカメラ画像の重複部の画素が合成され、表示装置１０７に重複部の画像および各カメラ画像が出力され、表示画面に図９に示すような合成画像として表示される。

この第１の実施の形態により、車両の全周囲を重複しながら撮像する場合において隣接したカメラ画像の明るさや色合いを揃え、かつ合成画像全体の明るさや色合いを平均的に保つことができる。なお、第１の実施の形態はカメラが５個の場合に限定されるものではなく、さらに多数のカメラを用いて車両の全周囲を撮像する場合にもカメラが５個の場合と同様の処理が適用可能である。

＜第２の実施の形態＞
次に、本発明に係る車載カメラの画像合成装置の第２の実施の形態について説明する。
本第２の実施の形態においては、図５に示すように、５台の図示しないカメラ０〜カメラ４を車両４０の側方と後方に設置し側方と後方を撮像し、車両４０の前方部を撮像しない未撮像範囲を有するよう構成されている。また、本第２の実施の形態では、車載カメラの画像合成装置の構成は、図１に示す第１の実施の形態と同様に構成されており、各構成部分の説明は省略する。

本第２の実施の形態においては、カメラ０は撮像範囲５１０、カメラ１は撮像範囲５１１、カメラ２は撮像範囲５１２、カメラ３は撮像範囲５１３、カメラ４は撮像範囲５１４のように各々広い撮像範囲を有し、互いに重複した撮像範囲を有している。カメラ０の撮像範囲５１０とカメラ１の撮像範囲５１１とは重複部５０１、カメラ１の撮像範囲５１１とカメラ２の撮像範囲５１２とは重複部５０２、カメラ２の撮像範囲５１２とカメラ３の撮像範囲５１３とは重複部５０３、カメラ３の撮像範囲５１３とカメラ４の撮像範囲５１４とは重複部５０４において各々重複している。

本第２の実施の形態においては、このようにカメラ０〜４が隣接する各々のカメラが重複した撮像領域を有するように設置されているので、カメラ０〜４によって、車両４０の側方および後方の範囲を空白部分が生ずることなく撮像できるようになっている。
本第２の実施の形態においては、第１カメラ画像は第２カメラ画像以外の第３カメラ画像と隣接するが、第２カメラ画像は第１カメラ画像以外のカメラ画像とは隣接しない場合、例えば、図５に示すように、第１カメラ画像としてのカメラ１は第２カメラ画像としてのカメラ０と第３カメラ画像としてのカメラ２と隣接するが、第２カメラ画像としてのカメラ０は第１カメラとしてのカメラ１の画像以外の画像とは隣接しない未撮像範囲５０５を有するよう構成されている。

本第２の実施の形態においては、重複部５０１におけるカメラ１の画像の初期ゲインを初期ゲインＩ1とし、重複部５０２におけるカメラ１の画像の初期ゲインを初期ゲインＩ２とすると、初期ゲインＩ1と初期ゲインＩ２との比Ｅを算出し、カメラ０の画像においては、重複部が５０１のみであるため初期ゲインの比Ｆの値を１とみなし、比Ｅと比Ｆの平均値ＥＦを算出し、平均値ＥＦを初期ゲインＩ1に乗じた値をカメラ１の画像の補正ゲインＥＦ1、平均値ＥＦを初期ゲインＩ２に乗じた値をカメラ２の画像の補正ゲインＥＦ２として算出し、さらに、比Ｅと比Ｆの算出、平均値ＥＦの算出、補正ゲインＥＦ１および補正ゲインＥＦ２の算出の各算出を他の重複部５０４においても同様に各カメラ画像に対しても行うようになっている。このような算出により、片側にしか重複した撮像領域を持たないカメラ画像と隣接しているカメラ画像においても、互いに隣接したカメラ画像の明るさや色合いが揃った状態を保ちながら、さらに周囲のカメラ画像との明るさや色合いを近づけるための補正ゲインが得られる。また、重複部５０２、重複部５０３については第１の実施の形態における補正ゲインの計算と同様の計算を行うようになっている。

また、補正ゲインＥＦ１と補正ゲインＥＦ２の比Ｇを算出し、他の隣接したカメラ画像を持たないカメラ０の画像においては、補正ゲインの比Ｈの値を１とみなし、比Ｇと比Ｈの平均値ＧＨを算出し、平均値ＧＨを補正ゲインＥＦ１に乗じた値をカメラ１の画像の新たな補正ゲインＧＨ１、平均値ＧＨを補正ゲインＥＦ２に乗じた値をカメラ２の画像の新たな補正ゲインＧＨ２として算出するようになっている。

さらに、比Ｇと比Ｈの算出、平均値ＧＨの算出、新たな補正ゲインＧＨ１および新たな補正ゲインＧＨ２の算出の各算出を他の重複部５０４においても同様に各カメラ画像に対しても行うようになっている。また、重複部５０２、重複部５０３については第１の実施の形態における新たな補正ゲインの計算と同様の計算を行うようになっている。これらの各重複部における新たな補正ゲインの計算を、各カメラ画像の持つ２つの補正ゲイン値が一致、あるいは、予め決められた閾値未満となるまで複数回繰り返すよう算出するようになっている。
この算出により、片側にしか重複した撮像領域を持たないカメラ画像と隣接しているカメラ画像においても、２つの重複部における２つの補正ゲイン値の差を小さくしながら、さらに周囲のカメラ画像との明るさや色合いを近づけるための補正ゲインが得られる。

具体的には、図５に示すような合成画像を得る本第２の実施形態においては、カメラ０とカメラ４の撮像範囲５０１、５０４のように重複部が１つしかないカメラ画像が存在する。そのため、カメラ０の画像とカメラ４の画像については初期ゲインや補正ゲインも１つしか持たないことになる。初期ゲインや補正ゲインが１つであると、重複部５０１、５０４については第１の実施の形態にて示したような補正係数の算出が不可能である。
そこで、本第２の実施の形態においては、重複部が１つしかないカメラに対してはその重複部における初期ゲインおよび補正ゲインの値をそのカメラ画像におけるもう１つの初期ゲインおよび補正ゲインとみなすことで初期ゲインおよび補正ゲインの比を１とする。
これにより第１の実施の形態と同様に補正係数の算出を行うことができ、補正ゲインを算出することが可能となる。

本第２の実施の形態における、画像合成処理の作用について説明する。
本第２の実施の形態における、画像合成処理は、本第１の実施の形態における、画像合成処理と同様に行われその作用も本第１の実施の形態における画像合成処理の作用と同様に行われる。
この第２の実施の形態においては、車両４０の周囲の一部を重複しながら撮像する場合においても隣接したカメラ画像の明るさや色合いを揃え、かつ合成画像全体の明るさや色合いを平均的に保つことができる。なお、第２の実施の形態はカメラの個数に限定されるものではなく、カメラを複数個用いて車両周囲の一部を重複しながら撮像していれば、上記のようにカメラが５個の場合と同様の処理が適用可能である。

＜第３の実施の形態＞
次に、本発明に係る車載カメラの画像合成装置の第３の実施の形態について説明する。
本第３の実施の形態においては、図６に示すように、４台の図示しないカメラ０〜カメラ３を車両４０に設置し、車両４０の全周囲を撮像できるよう構成されている。また、本第３の実施の形態では、車載カメラの画像合成装置は、図１に示す第１の実施の形態と同様に構成されており、各構成部分の説明は省略する。

本第３の実施の形態においては、カメラ０は撮像範囲６１０、カメラ１は撮像範囲６１１、カメラ２は撮像範囲６１２、カメラ３は撮像範囲６１３のように各々広い撮像範囲を有し、互いに重複した撮像範囲を有している。カメラ０の撮像範囲６１０とカメラ１の撮像範囲６１１とは重複部６０１、カメラ１の撮像範囲６１１とカメラ２の撮像範囲６１２とは重複部６０２、カメラ２の撮像範囲６１２とカメラ３の撮像範囲６１３とは重複部６０３、カメラ３の撮像範囲６１３とカメラ０の撮像範囲６１０とは重複部６０４において各々重複している。

本第３の実施の形態においては、このようにカメラ０〜３が隣接する各々のカメラが重複した撮像領域を有するように設置されているので、カメラ０〜３によって、車両４０の全周囲を空白部分が生ずることなく撮像できるようになっている。
ここで、補正ゲインの算出方法については第１の実施の形態と同様であるが、本第３の実施の形態においては、全ての重複部６０１、重複部６０２、重複部６０３、重複部６０４における補正ゲインの算出は１度のみで、第１の実施の形態と同様の効果を得ることができる。

図６に示すような合成画像を得る本第３の実施の形態では、車両４０の周囲の地面は同一の状況で、合成画像に用いられない撮像領域の要因により異なる露出となった状況を仮定した場合の各々のカメラ画像の画素レベルの関係を図７に示す。図７に示すように、ＬＥＶ７００／ＬＥＶ７０３＝ａ、ＬＥＶ７０１／ＬＥＶ７００＝ｂ、ＬＥＶ７０２／ＬＥＶ７０１＝ｃ、ＬＥＶ７０３／ＬＥＶ７０２＝ｄとすると、ａ×ｂ×ｃ×ｄ＝１となる。また、これらの条件において、重複部６０４におけるカメラ０の画像の初期ゲインＩｇ０＿３０、重複部６０１におけるカメラ０の画像の初期ゲインＩｇ０＿０１、カメラ１の画像の初期ゲインＩｇ１＿０１、重複部６０２におけるカメラ１の画像の初期ゲインＩｇ１＿１２、カメラ２の画像の初期ゲインＩｇ２＿１２、重複部６０３におけるカメラ２の画像の初期ゲインをＩｇ２＿２３とすると、カメラ１の画像における１回目（ｎ＝１）の補正ゲインを算出した際のカメラ１の画像における２つの補正ゲインＣｇ１＿０１＿ｎ、Ｃｇ１＿１２＿ｎ（ｎ＝１）は、次式（１７）〜（２６）のように算出することができる。

さらに、カメラ１の画像における２つの補正ゲイン値は、ａ×ｂ×ｃ×ｄ＝１の関係を用いると、次式（２７）〜（２８）に示すように等しい値となる。

このように、重複部６０１〜６０４において各カメラ画像の補正ゲインの算出を一度だけ行うと、各カメラの持つ２つの補正ゲインの値は等しくなるため、第１の実施の形態および第２の実施の形態のように補正ゲイン算出を複数回繰り返す必要はない。また、２つの補正ゲインの値は等しいため、画像補正部１０５において、カメラ画像の中で画像の端からの距離による加重平均によって各画素のゲインを決定する必要もなく、算出された各カメラ画像の補正ゲインの値をそのまま用いることができる。

本第３の実施の形態における、画像合成処理の作用について説明する。
本第３の実施の形態における、画像合成処理は、本第１の実施の形態における、画像合成処理と同様に行われ、その作用も本第１の実施の形態における画像合成処理の作用と同様に行われる。
この第３の実施の形態のように、４台のカメラ０〜３で全周囲を重複しながら撮像する場合には、第１の実施の形態とは異なり、１度の補正ゲインの計算で各々のカメラ画像が持つ２つの補正ゲインの値は等しくなり、その補正ゲイン値を用いて各カメラ画像を補正することで、各々のカメラ画像は両側にて隣接するカメラ画像との明るさや色合いを揃えることができる。よって全てのカメラ画像の明るさや色合いを揃えることができるため、画像補正部１０５において加重平均によってゲインを変化させる処理は必要なく、回路規模の削減や処理時間の短縮が可能である。

以上のように、本発明に係る車載カメラの画像合成装置および画像合成方法によれば、複数のカメラから入力された画像を合成する際、互いに隣接したカメラ画像の明るさや色合いを揃えることで、重複した撮像領域における明るさや色合いの変化を無くすことができ、また、合成画像全体の明るさや色合いも平均的に保つことが可能な、カメラの画像合成装置および画像合成方法として有用である。

本発明に係る車載カメラの画像合成装置の第１の実施の形態におけるブロック図である。重複した撮像領域を持つカメラの撮像範囲の例を示す説明図である。本発明に係る車載カメラの画像合成装置の第１の実施の形態における合成画像の各カメラの撮像画像の配置の例を示す配置図である。本発明に係る車載カメラの画像合成装置の第１の実施の形態における各カメラ画像の画素レベルの例を示す説明図である。本発明に係る車載カメラの画像合成装置の第２の実施の形態における合成画像の各撮像画像の配置の例を示す配置図である。本発明に係る車載カメラの画像合成装置の第３の実施の形態における合成画像の各撮像画像の配置の例を示す配置図である。本発明に係る車載カメラの画像合成装置の第３の実施の形態における各カメラ画像の画素レベルの例を示す説明図である。（ａ）５台のカメラを搭載した車両の平面図である。（ｂ）５台のカメラを搭載した車両の側面図である。図８に示す車両における各カメラの撮像画像および合成画像の例を示す説明図である。

符号の説明

２０カメラＡ
２１カメラＢ
２２カメラＣ
２３カメラＤ
２４カメラＥ
３０カメラＡの画像
３１カメラＢの画像
３２カメラＣの画像
３３カメラＤの画像
３４カメラＥの画像
３５合成画像
４０車両
５０、５１カメラ
５０ａカメラ５０の撮像範囲
５１ａカメラ５１の撮像範囲
５２カメラ５０と５１の撮像重複範囲
１００カメラの画像合成装置
１０１画像メモリ
１０２画像読み出し制御部
１０３初期ゲイン算出部
１０４補正ゲイン算出部
１０５画像補正部
１０６画像合成部
１０７表示装置
２１０第１の実施の形態におけるカメラ０の撮像範囲
２１１第１の実施の形態におけるカメラ１の撮像範囲
２１２第１の実施の形態におけるカメラ２の撮像範囲
２１３第１の実施の形態におけるカメラ３の撮像範囲
２１４第１の実施の形態におけるカメラ４の撮像範囲
３０１第１の実施の形態におけるカメラ０とカメラ１の重複部
３０２第１の実施の形態におけるカメラ１とカメラ２の重複部
３０３第１の実施の形態におけるカメラ２とカメラ３の重複部
３０４第１の実施の形態におけるカメラ３とカメラ４の重複部
３０５第１の実施の形態におけるカメラ４とカメラ０の重複部
ＬＥＶ４００第１の実施の形態におけるカメラ０の画像の画素レベル
ＬＥＶ４０１第１の実施の形態におけるカメラ１の画像の画素レベル
ＬＥＶ４０２第１の実施の形態におけるカメラ２の画像の画素レベル
ＬＥＶ４０３第１の実施の形態におけるカメラ３の画像の画素レベル
ＬＥＶ４０４第１の実施の形態におけるカメラ４の画像の画素レベル
５０１第２の実施の形態におけるカメラ０とカメラ１の重複部
５０２第２の実施の形態におけるカメラ１とカメラ２の重複部
５０３第２の実施の形態におけるカメラ２とカメラ３の重複部
５０４第２の実施の形態におけるカメラ３とカメラ４の重複部
５１０第２の実施の形態における重複部を１つだけ持つカメラ０の撮像範囲
５１１第２の実施の形態におけるカメラ１の撮像範囲
５１２第２の実施の形態におけるカメラ２の撮像範囲
５１３第２の実施の形態におけるカメラ３の撮像範囲
５１４第２の実施の形態における重複部を１つだけ持つカメラ４の撮像範囲
６０１第３の実施の形態におけるカメラ０とカメラ１の重複部
６０２第３の実施の形態におけるカメラ１とカメラ２の重複部
６０３第３の実施の形態におけるカメラ２とカメラ３の重複部
６０４第３の実施の形態におけるカメラ３とカメラ０の重複部
６１０第３の実施の形態におけるカメラ０の撮像範囲
６１１第３の実施の形態におけるカメラ１の撮像範囲
６１２第３の実施の形態におけるカメラ２の撮像範囲
６１３第６の実施の形態におけるカメラ３の撮像範囲
ＬＥＶ７００第３の実施の形態におけるカメラ０の画像の画素レベル
ＬＥＶ７０１第３の実施の形態におけるカメラ１の画像の画素レベル
ＬＥＶ７０２第３の実施の形態におけるカメラ２の画像の画素レベル
ＬＥＶ７０３第３の実施の形態におけるカメラ３の画像の画素レベル

Claims

車両に設置した複数のカメラが撮像した自車両の周囲の画像を合成して表示する車載カメラの画像合成装置において、
前記複数のカメラが撮像した複数のカメラ画像の内、隣接したカメラ画像が重複した画像重複領域における明るさおよび色合いの少なくともいずれかからなる色調を揃えるための初期ゲインを算出する初期ゲイン算出部と、
前記画像重複領域にて隣接しているカメラ画像の各々が、他のカメラの画像と隣接している場合、算出された前記初期ゲインによって前記画像重複領域の前記色調が揃えられた状態を保持し、さらに前記他のカメラの画像との画像重複領域における前記色調の差異を小さくするための補正ゲインを算出する補正ゲイン算出部と、
前記補正ゲインに基づいてカメラ画像を構成する各画素に応じたゲインを決定し、該ゲインを入力された各画素に乗じて画像を補正する画像補正部とを有し、
前記カメラ画像が第１カメラ画像、第２カメラ画像、第３カメラ画像および第４カメラ画像で構成され、
前記補正ゲイン算出部が、前記第１カメラ画像が前記第２カメラ画像以外の第３カメラ画像と隣接し、かつ、前記第２カメラ画像が前記第１カメラ画像以外の第４カメラ画像と隣接する場合、前記第１第２カメラ画像重複領域における前記第１カメラ画像の初期ゲインと、前記第１カメラ画像と前記第３カメラ画像とが重複した第１第３カメラ画像重複領域における前記第１カメラ画像の初期ゲインの、前記第１カメラ画像に対する２つの初期ゲインの比、および、前記第１第２カメラ画像重複領域における前記第２カメラ画像の初期ゲインと、前記第２カメラ画像と前記第４カメラ画像とが重複した第２第４カメラ画像重複領域における前記第２カメラ画像の初期ゲインの、前記第２カメラ画像に対する２つの初期ゲインの比を算出し、
前記第１カメラ画像に対する初期ゲインの比と、前記第２カメラ画像に対する初期ゲインの比の平均値を算出し、
前記比の平均値を前記第１第２カメラ画像重複領域における前記第１カメラ画像の初期ゲイン、および、前記第２カメラ画像の初期ゲインの各々に乗じた値を前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲイン、および、前記第２カメラ画像の補正ゲインとして算出し、
さらに、前記初期ゲインの比の算出、前記初期ゲインの比の平均値の算出および前記補正ゲインとしての算出の各算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行い、
前記画像補正部で補正した補正画像を合成することを特徴とする車載カメラの画像合成装置。
前記補正ゲイン算出部が、前記第１カメラ画像が前記第２カメラ画像以外の前記第３カメラ画像と隣接し、かつ、前記第２カメラ画像が前記第１カメラ画像以外の前記第４カメラ画像と隣接する場合、前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲインと、前記第１第３カメラ画像重複領域における前記第１カメラ画像の補正ゲインの、前記第１カメラ画像に対する２つの補正ゲインの比、および、前記第１第２カメラ画像重複領域における前記第２カメラ画像の補正ゲインと、前記第２第４カメラ画像重複領域における前記第２カメラ画像の補正ゲインの、前記第２カメラ画像に対する２つの補正ゲインの比を算出し、
前記第１カメラ画像に対する補正ゲインの比と、前記第２カメラ画像に対する補正ゲインの比の平均値を算出し、
前記比の平均値を前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲイン、および、前記第２カメラ画像の補正ゲインの各々に乗じた値を、前記第１第２カメラ画像重複領域における前記第１カメラ画像の新たな補正ゲイン、および、前記第２カメラ画像の新たな補正ゲインとして算出し、
さらに、前記補正ゲインの比の算出、前記補正ゲインの比の平均値の算出および新たな前記補正ゲインとしての算出の各算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行い、各カメラ画像の持つ２つの補正ゲイン値が一致、あるいは、予め決められた閾値未満となるまで複数回繰り返すことを特徴とする請求項１に記載の車載カメラの画像合成装置。
前記画像補正部が、前記自車両の周囲を撮像する前記第１カメラ画像において、前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲインと、前記第１第３カメラ画像重複領域における前記第１カメラ画像の補正ゲインの、前記第１カメラ画像に対する２つの補正ゲインの値が異なる際、前記２つの補正ゲインの値を２つの重複した撮像領域からの距離に応じた加重平均によって各画素のゲインを決定することを特徴とする請求項２に記載の車載カメラの画像合成装置。
前記初期ゲイン算出部が、第１カメラ画像と隣接した第２カメラ画像とが重複した第１第２カメラ画像重複領域における第１カメラ画像データの前記色調の第１平均値および第２カメラ画像データの前記色調の第１平均値を算出し、
前記第１第２カメラ画像重複領域における前記第１カメラ画像データの前記色調の第１平均値と、前記第２カメラ画像データの前記色調の第１平均値との平均値である第２平均値を算出し、
隣接した前記第１カメラ画像および前記第２カメラ画像の各々について、前記色調の第１平均値が、前記第２平均値に一致するようなゲインを、隣接する前記第１第２カメラ画像重複領域における前記第１カメラ画像の初期ゲインおよび前記第２カメラ画像の初期ゲインとして算出し、
さらに、前記第１平均値の算出、前記第２平均値の算出、および前記初期ゲインとしての算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行うことを特徴とする請求項１に記載の車載カメラの画像合成装置。
前記画像補正部が、前記自車両の周囲を撮像する前記第１カメラ画像において、前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲインと、前記第１第３カメラ画像重複領域における前記第１カメラ画像の補正ゲインの、前記第１カメラ画像に対する２つの補正ゲインの値が異なる際、前記２つの補正ゲインの値を２つの重複した撮像領域からの距離に応じた加重平均によって各画素のゲインを決定することを特徴とする請求項１に記載の車載カメラの画像合成装置。
車両に設置した複数のカメラが撮像した自車両の周囲の画像を合成して表示する車載カメラの画像合成装置において、
前記複数のカメラが撮像した複数のカメラ画像の内、隣接したカメラ画像が重複した画像重複領域における明るさおよび色合いの少なくともいずれかからなる色調を揃えるための初期ゲインを算出する初期ゲイン算出部と、
前記画像重複領域にて隣接しているカメラ画像の各々が、他のカメラの画像と隣接している場合、算出された前記初期ゲインによって前記画像重複領域の前記色調が揃えられた状態を保持し、さらに前記他のカメラの画像との画像重複領域における前記色調の差異を小さくするための補正ゲインを算出する補正ゲイン算出部と、
前記補正ゲインに基づいてカメラ画像を構成する各画素に応じたゲインを決定し、該ゲインを入力された各画素に乗じて画像を補正する画像補正部とを有し、
前記カメラ画像が第１カメラ画像、第２カメラ画像、第３カメラ画像および第４カメラ画像で構成され、
前記補正ゲイン算出部が、前記第１カメラ画像は前記第２カメラ画像以外の前記第３カメラ画像と隣接するが、前記第２カメラ画像は前記第１カメラ画像以外のカメラ画像とは隣接しない場合、他の隣接したカメラ画像を持つ前記第１カメラ画像においては、前記第１第２カメラ画像重複領域における前記第１カメラ画像の初期ゲインと、前記第１第３カメラ画像重複領域における前記第１カメラ画像の初期ゲインの、前記第１カメラ画像に対する２つの初期ゲインの比を算出し、
前記他の隣接したカメラ画像を持たない前記第２カメラ画像においては、初期ゲインの比の値を１とみなし、前記第１カメラ画像に対する初期ゲインの比と、前記第２カメラ画像に対する初期ゲインの比の平均値を算出し、
前記比の平均値を前記第１第２カメラ画像重複領域における前記第１カメラ画像の初期ゲイン、および、前記第２カメラ画像の初期ゲインの各々に乗じた値を前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲイン、および、前記第２カメラ画像の補正ゲインとして算出し、
さらに、前記初期ゲインの比の算出、前記初期ゲインの比の平均値の算出および前記補正ゲインとしての算出の各算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行い、
前記画像補正部で補正した補正画像を合成することを特徴とする車載カメラの画像合成装置。
前記補正ゲイン算出部が、前記第１カメラ画像は前記第２カメラ画像以外の前記第３カメラ画像と隣接するが、前記第２カメラ画像は前記第１カメラ画像以外のカメラ画像とは隣接しない場合、他の隣接したカメラ画像を持つ前記第１カメラ画像においては、前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲインと、前記第１第３カメラ画像重複領域における前記第１カメラ画像の補正ゲインの、前記第１カメラ画像に対する２つの補正ゲインの比を算出し、
前記他の隣接したカメラ画像を持たない前記第２カメラ画像においては、補正ゲインの比の値を１とみなし、前記第１カメラ画像に対する補正ゲインの比と、前記第２カメラ画像に対する補正ゲインの比の平均値を算出し、
前記比の平均値を前記第１第２カメラ画像重複領域における前記第１カメラ画像補正ゲイン、および、前記第２カメラ画像の補正ゲインの各々に乗じた値を、前記第１第２カメラ画像重複領域における前記第１カメラ画像の新たな補正ゲイン、および、前記第２カメラ画像の新たな補正ゲインとして算出し、
さらに、前記補正ゲインの比の算出、前記補正ゲインの比の平均値の算出および新たな前記補正ゲインとしての算出の各算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行い、各カメラ画像の持つ２つの補正ゲイン値が一致、あるいは、予め決められた閾値未満となるまで複数回繰り返すことを特徴とする請求項６に記載の車載カメラの画像合成装置。
前記画像補正部が、前記自車両の周囲を撮像する前記第１カメラ画像において、前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲインと、前記第１第３カメラ画像重複領域における前記第１カメラ画像の補正ゲインの、前記第１カメラ画像に対する２つの補正ゲインの値が異なる際、前記２つの補正ゲインの値を２つの重複した撮像領域からの距離に応じた加重平均によって各画素のゲインを決定することを特徴とする請求項７に記載の車載カメラの画像合成装置。
前記初期ゲイン算出部が、第１カメラ画像と隣接した第２カメラ画像とが重複した第１第２カメラ画像重複領域における第１カメラ画像データの前記色調の第１平均値および第２カメラ画像データの前記色調の第１平均値を算出し、
前記第１第２カメラ画像重複領域における前記第１カメラ画像データの前記色調の第１平均値と、前記第２カメラ画像データの前記色調の第１平均値との平均値である第２平均値を算出し、
隣接した前記第１カメラ画像および前記第２カメラ画像の各々について、前記色調の第１平均値が、前記第２平均値に一致するようなゲインを、隣接する前記第１第２カメラ画像重複領域における前記第１カメラ画像の初期ゲインおよび前記第２カメラ画像の初期ゲインとして算出し、
さらに、前記第１平均値の算出、前記第２平均値の算出、および前記初期ゲインとしての算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行うことを特徴とする請求項６に記載の車載カメラの画像合成装置。
前記画像補正部が、前記自車両の周囲を撮像する前記第１カメラ画像において、前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲインと、前記第１第３カメラ画像重複領域における前記第１カメラ画像の補正ゲインの、前記第１カメラ画像に対する２つの補正ゲインの値が異なる際、前記２つの補正ゲインの値を２つの重複した撮像領域からの距離に応じた加重平均によって各画素のゲインを決定することを特徴とする請求項６に記載の車載カメラの画像合成装置。
車両に設置した複数のカメラが撮像した自車両の周囲の画像を合成して表示する車載カメラの画像合成方法において、
前記複数のカメラが撮像した複数のカメラ画像の内、隣接したカメラ画像が重複した画像重複領域における前記色調を揃えるための初期ゲインを算出する初期ゲイン算出ステップと、
前記画像重複領域にて隣接しているカメラ画像の各々が、他のカメラの画像と隣接している場合、算出された前記初期ゲインによって前記画像重複領域の前記色調が揃えられた状態を保持し、さらに前記他のカメラの画像との画像重複領域における前記色調の差異を小さくするための補正ゲインを算出する補正ゲイン算出ステップと、
前記補正ゲインに基づいてカメラ画像を構成する各画素に応じたゲインを決定し、該ゲインを入力された各画素に乗じて画像を補正する画像補正ステップとを有し、
前記カメラ画像が第１カメラ画像、第２カメラ画像、第３カメラ画像および第４カメラ画像で構成され、
前記補正ゲイン算出ステップが、前記第１カメラ画像が前記第２カメラ画像以外の第３カメラ画像と隣接し、かつ、前記第２カメラ画像が前記第１カメラ画像以外の第４カメラ画像と隣接する場合、前記第１第２カメラ画像重複領域における前記第１カメラ画像の初期ゲインと、前記第１カメラ画像と前記第３カメラ画像とが重複した第１第３カメラ画像重複領域における前記第１カメラ画像の初期ゲインの、前記第１カメラ画像に対する２つの初期ゲインの比、および、前記第１第２カメラ画像重複領域における前記第２カメラ画像の初期ゲインと、前記第２カメラ画像と前記第４カメラ画像とが重複した第２第４カメラ画像重複領域における前記第２カメラ画像の初期ゲインの、前記第２カメラ画像に対する２つの初期ゲインの比を算出し、
前記第１カメラ画像に対する初期ゲインの比と、前記第２カメラ画像に対する初期ゲインの比の平均値を算出し、
前記比の平均値を前記第１第２カメラ画像重複領域における前記第１カメラ画像の初期ゲイン、および、前記第２カメラ画像の初期ゲインの各々に乗じた値を前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲイン、および、前記第２カメラ画像の補正ゲインとして算出し、
さらに、前記初期ゲインの比の算出、前記初期ゲインの比の平均値の算出および前記補正ゲインとしての算出の各算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行い、
前記画像補正ステップで補正した補正画像を合成することを特徴とする車載カメラの画像合成方法。
前記補正ゲイン算出ステップが、前記第１カメラ画像が前記第２カメラ画像以外の前記第３カメラ画像と隣接し、かつ、前記第２カメラ画像が前記第１カメラ画像以外の前記第４カメラ画像と隣接する場合、前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲインと、前記第１第３カメラ画像重複領域における前記第１カメラ画像の補正ゲインの、前記第１カメラ画像に対する２つの補正ゲインの比、および、前記第１第２カメラ画像重複領域における前記第２カメラ画像の補正ゲインと、前記第２第４カメラ画像重複領域における前記第２カメラ画像の補正ゲインの、前記第２カメラ画像に対する２つの補正ゲインの比を算出し、
前記第１カメラ画像に対する補正ゲインの比と、前記第２カメラ画像に対する補正ゲインの比の平均値を算出し、
前記比の平均値を前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲイン、および、前記第２カメラ画像の補正ゲインの各々に乗じた値を、前記第１第２カメラ画像重複領域における前記第１カメラ画像の新たな補正ゲイン、および、前記第２カメラ画像の新たな補正ゲインとして算出し、
さらに、前記補正ゲインの比の算出、前記補正ゲインの比の平均値の算出および新たな前記補正ゲインとしての算出の各算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行い、各カメラ画像の持つ２つの補正ゲイン値が一致、あるいは、予め決められた閾値未満となるまで複数回繰り返すことを特徴とする請求項１１に記載の車載カメラの画像合成方法。
前記画像補正ステップが、前記自車両の周囲を撮像する前記第１カメラ画像において、前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲインと、前記第１第３カメラ画像重複領域における前記第１カメラ画像の補正ゲインの、前記第１カメラ画像に対する２つの補正ゲインの値が異なる際、前記２つの補正ゲインの値を２つの重複した撮像領域からの距離に応じた加重平均によって各画素のゲインを決定することを特徴とする請求項１２に記載の車載カメラの画像合成方法。
前記初期ゲイン算出ステップが、第１カメラ画像と隣接した第２カメラ画像とが重複した第１第２カメラ画像重複領域における第１カメラ画像データの前記色調の第１平均値および第２カメラ画像データの前記色調の第１平均値を算出し、
前記第１第２カメラ画像重複領域における前記第１カメラ画像データの前記色調の第１平均値と、前記第２カメラ画像データの前記色調の第１平均値との平均値である第２平均値を算出し、
隣接した前記第１カメラ画像および前記第２カメラ画像の各々について、前記色調の第１平均値が、前記第２平均値に一致するようなゲインを、隣接する前記第１第２カメラ画像重複領域における前記第１カメラ画像の初期ゲインおよび前記第２カメラ画像の初期ゲインとして算出し、
さらに、前記第１平均値の算出、前記第２平均値の算出、および前記初期ゲインとしての算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行うことを特徴とする請求項１１に記載の車載カメラの画像合成方法。
前記画像補正ステップが、前記自車両の周囲を撮像する前記第１カメラ画像において、前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲインと、前記第１第３カメラ画像重複領域における前記第１カメラ画像の補正ゲインの、前記第１カメラ画像に対する２つの補正ゲインの値が異なる際、前記２つの補正ゲインの値を２つの重複した撮像領域からの距離に応じた加重平均によって各画素のゲインを決定することを特徴とする請求項１１に記載の車載カメラの画像合成方法。
車両に設置した複数のカメラが撮像した自車両の周囲の画像を合成して表示する車載カメラの画像合成方法において、
前記複数のカメラが撮像した複数のカメラ画像の内、隣接したカメラ画像が重複した画像重複領域における前記色調を揃えるための初期ゲインを算出する初期ゲイン算出ステップと、
前記画像重複領域にて隣接しているカメラ画像の各々が、他のカメラの画像と隣接している場合、算出された前記初期ゲインによって前記画像重複領域の前記色調が揃えられた状態を保持し、さらに前記他のカメラの画像との画像重複領域における前記色調の差異を小さくするための補正ゲインを算出する補正ゲイン算出ステップと、
前記補正ゲインに基づいてカメラ画像を構成する各画素に応じたゲインを決定し、該ゲインを入力された各画素に乗じて画像を補正する画像補正ステップとを有し、
前記カメラ画像が第１カメラ画像、第２カメラ画像、第３カメラ画像および第４カメラ画像で構成され、
前記補正ゲイン算出ステップが、前記第１カメラ画像は前記第２カメラ画像以外の前記第３カメラ画像と隣接するが、前記第２カメラ画像は前記第１カメラ画像以外のカメラ画像とは隣接しない場合、他の隣接したカメラ画像を持つ前記第１カメラ画像においては、前記第１第２カメラ画像重複領域における前記第１カメラ画像の初期ゲインと、前記第１第３カメラ画像重複領域における前記第１カメラ画像の初期ゲインの、前記第１カメラ画像に対する２つの初期ゲインの比を算出し、
前記他の隣接したカメラ画像を持たない前記第２カメラ画像においては、初期ゲインの比の値を１とみなし、前記第１カメラ画像に対する初期ゲインの比と、前記第２カメラ画像に対する初期ゲインの比の平均値を算出し、
前記比の平均値を前記第１第２カメラ画像重複領域における前記第１カメラ画像の初期ゲイン、および、前記第２カメラ画像の初期ゲインの各々に乗じた値を前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲイン、および、前記第２カメラ画像の補正ゲインとして算出し、
さらに、前記初期ゲインの比の算出、前記初期ゲインの比の平均値の算出および前記補正ゲインとしての算出の各算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行い、
前記画像補正ステップで補正した補正画像を合成することを特徴とする車載カメラの画像合成方法。
前記補正ゲイン算出ステップが、前記第１カメラ画像は前記第２カメラ画像以外の前記第３カメラ画像と隣接するが、前記第２カメラ画像は前記第１カメラ画像以外のカメラ画像とは隣接しない場合、他の隣接したカメラ画像を持つ前記第１カメラ画像においては、前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲインと、前記第１第３カメラ画像重複領域における前記第１カメラ画像の補正ゲインの、前記第１カメラ画像に対する２つの補正ゲインの比を算出し、
前記他の隣接したカメラ画像を持たない前記第２カメラ画像においては、補正ゲインの比の値を１とみなし、前記第１カメラ画像に対する補正ゲインの比と、前記第２カメラ画像に対する補正ゲインの比の平均値を算出し、
前記比の平均値を前記第１第２カメラ画像重複領域における前記第１カメラ画像補正ゲイン、および、前記第２カメラ画像の補正ゲインの各々に乗じた値を、前記第１第２カメラ画像重複領域における前記第１カメラ画像の新たな補正ゲイン、および、前記第２カメラ画像の新たな補正ゲインとして算出し、
さらに、前記補正ゲインの比の算出、前記補正ゲインの比の平均値の算出および新たな前記補正ゲインとしての算出の各算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行い、各カメラ画像の持つ２つの補正ゲイン値が一致、あるいは、予め決められた閾値未満となるまで複数回繰り返すことを特徴とする請求項１６に記載の車載カメラの画像合成方法。
前記画像補正ステップが、前記自車両の周囲を撮像する前記第１カメラ画像において、前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲインと、前記第１第３カメラ画像重複領域における前記第１カメラ画像の補正ゲインの、前記第１カメラ画像に対する２つの補正ゲインの値が異なる際、前記２つの補正ゲインの値を２つの重複した撮像領域からの距離に応じた加重平均によって各画素のゲインを決定することを特徴とする請求項１７に記載の車載カメラの画像合成方法。
前記初期ゲイン算出ステップが、第１カメラ画像と隣接した第２カメラ画像とが重複した第１第２カメラ画像重複領域における第１カメラ画像データの前記色調の第１平均値および第２カメラ画像データの前記色調の第１平均値を算出し、
前記第１第２カメラ画像重複領域における前記第１カメラ画像データの前記色調の第１平均値と、前記第２カメラ画像データの前記色調の第１平均値との平均値である第２平均値を算出し、
隣接した前記第１カメラ画像および前記第２カメラ画像の各々について、前記色調の第１平均値が、前記第２平均値に一致するようなゲインを、隣接する前記第１第２カメラ画像重複領域における前記第１カメラ画像の初期ゲインおよび前記第２カメラ画像の初期ゲインとして算出し、
さらに、前記第１平均値の算出、前記第２平均値の算出、および前記初期ゲインとしての算出を他の各カメラ画像の重複した領域において各カメラ画像に対しても行うことを特徴とする請求項１６に記載の車載カメラの画像合成方法。
前記画像補正ステップが、前記自車両の周囲を撮像する前記第１カメラ画像において、前記第１第２カメラ画像重複領域における前記第１カメラ画像の補正ゲインと、前記第１第３カメラ画像重複領域における前記第１カメラ画像の補正ゲインの、前記第１カメラ画像に対する２つの補正ゲインの値が異なる際、前記２つの補正ゲインの値を２つの重複した撮像領域からの距離に応じた加重平均によって各画素のゲインを決定することを特徴とする請求項１６に記載の車載カメラの画像合成方法。