JP2025144192A - 合成画像生成システム及び後方画像表示システム - Google Patents

Abstract

【課題】YCbCr画像の自然な合成を少ない処理量で行う「合成画像生成システム及び後方画像表示システム」を提供する。
【解決手段】YCbCr方式の第１/第２画像から、撮影領域が重複する部分を第１/第２比較画像として抽出する。Yゲイン算出部４１１４は、第１比較画像と第２比較画像のY信号の代表値の比を補正ゲインdとして算出する。RGBゲイン算出部４１１８は、RGB方式に変換した第１比較画像と第２比較画像のR/G/B信号の代表値の比を補正ゲインa/b/cとして算出する。CbCr補正部４１１９は、補正ゲインa、b、cによるR、G、B成分のゲイン補正が反映されるように第２画像のCb、Cr信号を補正し、Y補正部４１２０は補正ゲインdで第２画像のY信号を補正する。合成部４１２１は、補正した第２画像と第１画像を合成する。
【選択図】図３

Description

本発明は、撮影領域が一部重複する複数のカメラで撮影した画像を合成する技術に関するものである。

撮影領域が一部重複する複数のカメラで撮影した画像を合成する技術としては、車両の周辺を撮影する複数のカメラを撮影領域が一部重複するように配置し、各カメラで撮影した各画像の撮影領域が重複する部分を比較画像として、各画像の比較画像の画素値の平均値を求め、一方の画像（以下、「第１画像」）の比較画像の平均値の他方の画像（以下、「第２画像」）の比較画像に対する平均値の比を補正ゲインとして算出し、第２画像に算出した補正ゲインによるゲインの補正を施すことにより、第１画像にホワイトバランスを合わせた第２画像を、第１画像に合成して表示することにより、合成した画像中における各画像の境界での不連続感の発生や、合成した画像中における各画像の画質差を抑制する技術が知られている（たとえば、特許文献１、２）。

また、上述した第１画像と第２画像がYUV方式で色表現を行う画像である場合に、第１画像の比較画像と第２画像の比較画像のY、U、Vそれぞれの平均値が揃うように、第１画像や第２画像のY、U、Vのそれぞれを補正して合成する技術も知られている（たとえば、特許文献３）。

また、本発明に関する技術としては、自動車後部に配置したカメラで後方を撮影した画像に、自動車の左右の側部に配置した左右のカメラで後方を撮影した画像を視点変換して合成し、車内に備えたモニタに表示する技術も知られている（たとえば、特許文献４）。

特開平１１-１０２４３０号公報 特開２００２-３２４２３５公報 特開２０１８-２０６３２３公報 特開２００９-２０６７４７号公報

上述した第１画像と第２画像が、YCbCr方式やYPbPr方式やYUV方式などの色の表現に輝度信号と２つの色差信号を用いる方式の画像である場合に、第１画像の比較画像と第２画像の比較画像の輝度信号と２つの色差信号それぞれの平均値が揃うように、第２画像の輝度信号と２つの色差信号のそれぞれのゲインを補正すると、第２画像の色相が色空間中で回転するように変化し、画像全体に比較的に大きく色味が付加されてしまうことがある。

そこで、第１画像の比較画像と第２画像の比較画像を、一旦、RGB方式の画像に変換し、第１画像の比較画像と第２画像の比較画像のR、G、Bそれぞれの平均値が揃うように第２画像のR、G、Bそれぞれの補正ゲインを求め、求めた補正ゲインによるゲイン補正がR、G、Bの各成分に反映されるように、第２画像の輝度信号と２つの色差信号のそれぞれを補正し、補正した第２画像と第１画像とを合成することが考えられる。

より具体的には、たとえば、ITU-R BT.601規格に従う場合、YCbCr方式からRGB方式への変換は式１で示され、RGB方式からYCbCr方式への変換は式２で示されるので、

YCbCr方式の画像の輝度信号と２つの色差信号をY₀Cb₀Cr₀とすると、式１より、Y₀Cb₀Cr₀のRGB方式の色信号R₀G₀B₀への変換は式３で示される。

そして、Rの補正ゲインをa、Gの補正ゲインをb、Bの補正ゲインをcとすると、色信号R₀G₀B₀のゲイン補正は、ゲイン補正後の色信号をR'G'B'とすると式４で示される。

また、式２より、ゲイン補正後のR'G'B'の、YCbCr方式への変換は、変換後の輝度信号と２つの色差信号をY'Cb'Cr'とすると、式５で示される。

したがって、Rの補正ゲインa、Gの補正ゲインb、Bの補正ゲインcのゲイン補正がR、G、Bの各成分に反映される、Y₀Cb₀Cr₀の変換は、式３、式４、式５をY₀Cb₀Cr₀に順次施す式６の変換となる。

しかし、式６に示される変換は複雑であり処理負荷が大きい。また、式６に示される変換は、輝度信号Yを持つ画素の各々について行う必要があるため、422や420といった、色差信号を持つCb₀Cr₀の画素を間引くことにより、輝度信号Yを持つ画素の数よりも色差信号を持つCb₀Cr₀の画素数を少なくした形式の画像を扱う場合には冗長である。

そこで、本発明は、色の表現に輝度信号と２つの色差信号を用いる方式の、撮影領域が一部重複する複数の画像の合成を、不自然さの発生を抑制しつつ比較的に少ない処理量で実現することを課題とする。

前記課題達成のために、本発明は、第１のカメラで撮影した第１画像と、第１のカメラと撮影領域が一部重複する第２のカメラで撮影した第２画像とを合成し、第１画像の少なくとも一部と第２画像の少なくとも一部とを繋ぎ合わせた画像である合成画像を生成する合成画像生成システムを提供する。ここで、前記第１画像と前記第２画像とは、輝度信号と第１の色差信号と第２の色差信号とで色を表す所定の方式の画像である。また、当該合成画像生成システムは、前記撮影領域が一部重複する範囲が写り込む前記第１画像の部分もしくは当該部分の一部を第１比較画像、前記第２画像の前記第１比較画像と写り込む範囲が同じ部分を第２比較画像として抽出する比較画像抽出手段と、前記比較画像抽出手段が抽出した前記第１比較画像の輝度信号の代表値の前記第２比較画像の輝度信号の代表値に対する比を輝度補正ゲインとして算出する輝度補正ゲイン算出手段と、前記第１比較画像と前記第２比較画像を、R信号とG信号とB信号で色を表すRGB方式の画像に変換するRGB変換手段と、RGB方式に変換された前記第１比較画像のR信号の代表値の、RGB方式に変換された前記第２比較画像のR信号の代表値に対する比をR補正ゲインとして、RGB方式に変換された前記第１比較画像のG信号の代表値の、RGB方式に変換された前記第２比較画像のG信号の代表値に対する比をG補正ゲインとして、RGB方式に変換された前記第１比較画像のB信号の代表値の、RGB方式に変換された前記第２比較画像のB信号の代表値に対する比をB補正ゲインとして算出するRGB補正ゲイン算出部と、前記第２画像の輝度信号のゲインを前記輝度補正ゲインで補正し、前記第２画像の第１の色差信号と第２の色差信号とを、前記R補正ゲインと前記B補正ゲインと前記G補正ゲインによりR成分とG成分とB成分のゲインが補正された第２画像の第１の色差信号と第２の色差信号を表すように補正して補正後第２画像を生成する補正手段と、前記補正後第２画像を、前記第１画像に合成して前記合成画像を生成する合成手段とを備えている。

ここで、この合成画像生成システムは、前記補正手段を、前記第２画像の第１の色差信号と第２の色差信号のみを、前記R補正ゲインと前記B補正ゲインと前記G補正ゲインによりR成分とG成分とB成分のゲインが補正された第２画像の第１の色差信号と第２の色差信号を表すように変換して色差補正後第２画像を生成する第１変換手段と、前記色差補正後第２画像の輝度信号のゲインを前記輝度補正ゲインで補正した輝度信号に変換して前記補正後第２画像を生成する第２変換手段とを含めて構成してもよい。

そして、この場合には、前記所定の方式を、前記輝度信号がY信号であり、前記第１の色差信号がCb信号であり、前記第２の色差信号がCr信号であるYCbCr方式とし、前記第１変換手段において、

の変換式によって表される変換を行ってもよい。但し、当該変換式の右辺のY₀、Cb₀、Cr₀は、第２画像のY信号、Cb信号、Cr信号を表し、左辺のY₀、Cb'、Cr'は、色差補正後第２画像のY信号、Cb信号、Cr信号を表す。
また、この合成画像生成システムは、前記補正手段を前記第２画像の輝度信号を抽出し、前記輝度補正ゲインでゲインを補正した輝度信号に変換する第２変換手段と、前記第２画像の第１の色差信号と第２の色差信号を抽出して、前記R補正ゲインと前記B補正ゲインと前記G補正ゲインによりR成分とG成分とB成分のゲインが補正された第２画像の第１の色差信号と第２の色差信号に変換する第２変換手段と、前記第１変換手段が変換した輝度信号と、前記第２変換手段が変換した第１の色差信号と第２の色差信号とを、前記補正後第２画像の輝度信号と第１の色差信号と第２の色差信号として結合して前記補正後第２画像を生成する結合手段とを含めて構成してよい。

そして、この場合には、前記所定の方式を、前記輝度信号がY信号であり、前記第１の色差信号がCb信号であり、前記第２の色差信号がCr信号であるYCbCr方式とし、前記第２変換手段において、

の変換式によって表される変換を行うようにしてもよい。但し、当該変換式の右辺のY₀、Cb₀、Cr₀は、第２画像のY信号、Cb信号、Cr信号を表し、左辺のCb'、Cr'は、変換後のCb信号、Cr信号を表す。
ここで、以上の合成画像生成システムにおいて、前記代表値は平均値としてよい。
以上のような合成画像生成システムによれば、第２画像の第１/第２色差信号のみを、R/G/Bの代表値の比から求めた補正ゲインa、b、cで補正し、輝度信号については輝度信号の代表値の比から求めた補正ゲインdで補正するので、上掲した式６のように輝度信号Yを補正ゲインa、b、cで補正する演算が省かれ、輝度信号と第１/第２色差信号の全てを補正ゲインa、b、cで補正する場合に比べて小さくなる。

よって、不自然さの発生を抑制しつつ比較的に少ない処理量で第１画像と第２画像との合成を行うことができる。
ここで、本発明は、併せて、以上の合成画像生成システムを備えた、自動車に搭載される後方画像表示システムも提供する。この後方画像表示システムには、合成画像生成システムが生成した前記合成画像を表示するモニタを備えると共に、前記第１のカメラとして、自動車の側部より当該自動車後方のようすを撮影するカメラを備え、前記第２のカメラとして自動車の後部より当該自動車後方のようすを撮影するカメラを備える。

以上のように、本発明によれば、色の表現に輝度信号と２つの色差信号を用いる方式の、撮影領域が一部重複する複数の画像の合成を、不自然さの発生を抑制しつつ比較的に少ない処理量で実現することができる。

本発明の実施形態に係る画像表示システムの構成を示すブロック図である。 本発明の実施形態に係る各種カメラとモニタの配置を示す図である。 本発明の実施形態に係る左画像生成処理部の構成を示すブロック図である。ク図である。 本発明の実施形態に係る左画像生成処理部の動作例を示す図である。 本発明の実施形態に係る左画像生成処理部の動作例を示す図である。 本発明の実施形態に係る左画像生成処理部の他の構成例を示すブロック図である。

以下、本発明の実施形態について説明する。
図１に、本実施形態に係る画像表示システムの構成を示す。
画像表示システムは自動車に搭載されるシステムであり、図示するように、左サイドカメラ１、バックカメラ２、右サイドカメラ３、画像処理装置４、左サイドモニタ５、右サイドモニタ６を備えている。
このような画像表示システムの構成において、図２ａ１、ａ２に示すように、バックカメラ２は、自動車の後部に配置されており、当該位置から自動車の後ろ方向を撮影する。また、左サイドカメラ１は自動車の左側部に配置されており、当該位置から自動車の後ろ方向を撮影し、右サイドカメラ３は自動車の右側部に配置されており、当該位置から自動車の後ろ方向を撮影する。ここで、バックカメラ２、左サイドカメラ１、右サイドカメラ３は、輝度信号であるY信号と、２つの色差信号であるCb信号とCr信号とで色を表現するYCbCr方式の画像を出力する。

また、バックカメラ２と左サイドカメラ１の撮影領域は自動車の後方において一部重複しており、バックカメラ２と右サイドカメラ３の撮影領域は自動車の後方において一部重複している。
また、左サイドモニタ５、右サイドモニタ６とは画像を表示するディスプレイであり、たとえば、図２ｂに示すように、左サイドモニタ５は運転席の左右方向中心より左側に位置するように配置され、右サイドモニタ６は運転席の左右方向中心より右側に位置するように配置される。

図１に戻り、画像処理装置４は、左画像処理部４１と右画像処理部４２を備えており、左画像処理部４１は、左サイドカメラ１の撮影した画像とバックカメラ２が撮影した画像を合成し、左サイドモニタ５に表示し、右画像処理部４２は、右サイドカメラ３の撮影した画像とバックカメラ２が撮影した画像を合成し、右サイドモニタ６に表示する。

以下、左画像処理部４１と右画像処理部４２について説明する。
左画像処理部４１と右画像処理部４２は、同様の構成を備え、同様の動作を行う。そこで、左画像処理部４１を代表にとり説明を行う。なお、右画像処理部４２の説明は、以下の左画像処理部４１の説明において、左右を入れ替えたものとなる。
図３に、左画像処理部４１の構成を示す。
図示するように左画像処理部４１は、第１比較画像抽出部４１１１、第１Y抽出部４１１２、第２Y抽出部４１１３、Yゲイン算出部４１１４、第２比較画像抽出部４１１５、第１RGB変換部４１１６、第２RGB変換部４１１７、RGBゲイン算出部４１１８、CbCr補正部４１１９、Y補正部４１２０、合成部４１２１を備えている。

そして、左画像処理部４１には、左サイドカメラ１の撮影した画像が第１画像として入力し、バックカメラ２が撮影した画像が第２画像として入力する。但し、バックカメラ２の撮影した画像を第１画像として入力し、左サイドカメラ１が撮影した画像を第２画像として入力するように構成することもできる。

第１比較画像抽出部４１１１には、左サイドカメラ１の撮影領域の、バックカメラ２の撮影領域と重複する部分の一部に対応する領域が第１比較領域として予め設定されており、第１比較画像抽出部４１１１は、第１画像の第１比較領域内の画像を第１比較画像として抽出する。

また、第２比較画像抽出部４１１５には、第１画像の第１比較領域に対応する第２画像中の領域、したがって、第１画像の第１比較領域と同じ被写体が写り込む第２画像中の領域が第２比較領域として予め設定されており、第２比較画像抽出部４１１５は第２画像の第２比較領域内の画像を第２比較画像として抽出する。

第１Y抽出部４１１２は、第１比較画像のY信号を抽出し、第２Y抽出部４１１３は、第２比較画像のY信号を抽出する。
Yゲイン算出部４１１４、第１比較画像のY信号の代表値の、第２比較画像のY信号の代表値に対する比を補正ゲインdとして算出する。
ここで、本実施形態では、Y信号の代表値としてY信号の平均値を用いる。ただし、画像表示システムの用途や目的に応じて、代表値としてY信号の中央値、Y信号の最頻値などの他の代表値を用いることもできる。
次に、第１RGB変換部４１１６は、第１比較画像のY、Cb、Crの信号を、R、G、Bの信号に変換することにより、第１比較画像をRGB方式の第１比較画像に変換する。また、第２RGB変換部４１１７は、第２比較画像のY、Cb、Crの信号を、R、G、Bの信号に変換することにより、第２比較画像をRGB方式の第２比較画像に変換する。

RGBゲイン算出部４１１８は、RGB方式の第１比較画像のR信号の代表値の、RGB方式の第２比較画像のR信号の代表値に対する比を補正ゲインaとして算出し、RGB方式の第１比較画像のG信号の代表値の、RGB方式の第２比較画像のG信号の代表値に対する比を補正ゲインbとして算出し、RGB方式の第１比較画像のB信号の代表値の、RGB方式の第２比較画像のB信号の代表値に対する比を補正ゲインcとして算出する。

ここで、本実施形態では、R/G/B信号の代表値としてR/G/B信号の平均値を用いる。ただし、画像表示システムの用途や目的に応じて、R/G/B信号の代表値としてR/G/B信号の中央値、R/G/B信号の最頻値などの他の代表値を用いることもできる。
CbCr補正部４１１９は、RGBゲイン算出部４１１８が算出した補正ゲインa、b、cによるR、G、B成分のゲイン補正が反映されるように、第２画像のCb、Crの信号を補正する。
この補正は、上掲した式６において、Y₀をそのままスルーしてY'とするものに相当するので、式７で示される変換によって表されるものとなる。

ここで、式７において、右辺のY₀、Cb₀、Cr₀は、第２画像のY信号、Cb信号、Cr信号を表し、左辺のY₀、Cb'、Cr'は、補正後の第２画像のY信号、Cb信号、Cr信号を表す。
Y補正部４１２０は、CbCr補正部４１１９が補正した第２画像のY信号のゲインを、Yゲイン算出部４１１４が算出した補正ゲインdで補正する。
このY補正部４１２０の補正は、Y信号のみを補正ゲインdでゲイン補正するものとなるので、式８で示される変換によって表されるものとなる。

なお、式８中の、右辺のY₀、Cb'、Cr'は、CbCr補正部４１１９で補正した第２画像のY、Cb、Crの信号であり、左辺のY'、Cb'、Cr'は、Y補正部４１２０で補正した第２画像のY、Cb、Crの信号である。
そして、合成部４１２１は、Y補正部４１２０による補正後の第２画像を、左サイドカメラ１の視点から後方を観察したようすを表す画像に視点変換し、視点変換した第２画像中の第１画像との合成に用いる部分である組込画像を、自動車の後方のようすを表した連続した一枚の画像を形成するように第１画像に合成し、左サイドモニタ５に出力し表示する。

さて、以上に示したように第２画像のCb、Crのみを補正ゲインa、b、cで補正し、Yについては輝度比から求めた補正ゲインdで補正する場合の第２画像の補正に必要となる演算量は、式７、８と、上掲した式６との比較により示されるように、Yを補正ゲインa、b、cで補正する演算が除かれるため、式６によりY、Cb、Crの全てを補正ゲインa、b、cで補正する場合に比べて小さくなる。

また、式７の右辺の第１項は入力するY信号をそのまま出力のY信号とするものであるので、式７の実際の演算処理は、式７の右辺の第２項の演算を行って、入力するY信号と共に出力する処理となる。また、この第２項の演算は、色差信号CbCrを持つ画素の数が輝度信号Yを持つ画素の１/２となる422や色差信号CbCrを持つ画素の数が輝度信号Yを持つ画素の１/４となる420といった、色差信号CbCrを持つ画素の数が、輝度信号Y信号を持つ画素の数より少ない形式の画像を扱う場合には、Cb、Cr信号を持つ画素についてのみ行えば足りる。

また、式８の演算処理は、実質的に、輝度信号Yに補正ゲインdを乗算して、入力するCb、Cr信号と共に出力する処理とであるので、その演算に要する処理は小さい。
よって、本実施形態によれば、不自然さの発生を抑制しつつ比較的に少ない処理量で第１画像と第２画像との合成を行うことができる。
さて、以下に、左画像処理部４１の処理例を示す。
いま、図４ａ１のように第１画像が左サイドカメラ１によって撮影され、図４ｂ１のように第２画像がバックカメラ２によって撮影されたものとする。
そして、第１比較画像抽出部４１１１によって、図４ａ１の第１画像から、左サイドカメラ１の撮影領域とバックカメラ２の撮影領域とが重複する部分の一部に対応する領域として設定されている第１比較領域C1の画像部分が、図４ａ２のように第１比較画像として抽出され、第２比較画像抽出部４１１５によって、図４ｂ１の第２画像から、第１比較領域C1に対応する領域として設定されている第２比較領域C2の画像部分が、図４ｂ２のように第２比較画像として抽出される。

そして、図４ａ２の第１比較画像と図４ｂ２の第２比較画像から、R、G、B、Yの成分のそれぞれについて、第１比較画像の平均値の第２比較画像の平均値に対する比が補正ゲインa、b、c、dとして算出される。
そして、設定された補正ゲインにより、図５ａ１に示す第２画像のCb、Crの信号が補正ゲインa、b、cを用いて補正されると共にY信号が補正ゲインdで補正され、図５ａ２に示す補正後の第２画像が生成される。
そして、合成部４１２１によって、図５ａ２に示す補正後の第２画像が視点変換され、図５ｂの第１画像に、図５ｃに示すように、自動車の後方のようすを表した連続した一枚の画像を形成するように合成され、左サイドモニタ５に表示される。
ここで、この合成は、たとえば、図示するように、自車によって左サイドカメラ１に対して遮られている自車後方の領域である遮蔽領域Hのようすが表れている、第２画像中の部分を組込画像Sとして抽出し、第１画像中の、自車が透明であれば当該遮蔽領域のようすが表れることとなる領域を上書き等によって組込画像Sに置換することにより行う。

ここで、図６に画像処理装置４の左画像処理部４１の他の構成例を示す。
なお、なお、以下の図６の左画像処理部４１の説明において、左右を入れ替えた構成が右画像処理部４２の他の構成例となる。
図６に示した左画像処理部４１は、図３に示した左画像処理部４１と同様に、第１比較画像抽出部４１１１、第１Y抽出部４１１２、第２Y抽出部４１１３、Yゲイン算出部４１１４、第２比較画像抽出部４１１５、第１RGB変換部４１１６、第２RGB変換部４１１７、RGBゲイン算出部４１１８を備えており、これらの動作は図３に示した左画像処理部４１と同じである。

一方、図６に示した左画像処理部４１は、図３に示した左画像処理部４１のCbCr補正部４１１９、Y補正部４１２０に代えて、並列型Y補正部４１２２、並列型CbCr補正部４１２３、結合部４１２４を備えている。
並列型Y補正部４１２２は、第２画像のY信号を抽出し、Yゲイン算出部４１１４が算出した補正ゲインdで補正して出力する。
並列型CbCr補正部４１２３は、第２画像のCb、Cr信号を抽出し、補正ゲインa、b、cによるR、G、B成分のゲイン補正が反映されるように補正して出力する。
ここで、並列型Y補正部４１２２の補正と並列型CbCr補正部４１２３の補正は並列に行われる。
また、並列型Y補正部４１２２の補正は式９の変換によって表され、並列型CbCr補正部４１２３の補正は式１０の変換によって表されるものとなる。

なお、式９、１０の右辺のY₀、Cb₀、Cr₀は、第２画像のY信号、Cb信号、Cr信号を表し、式９の左辺のY'は、並列型Y補正部４１２２で補正したY信号であり、式１０の左辺のCb'、Cr'は、並列型CbCr補正部４１２３で補正したCb信号、Cr信号である。

そして、結合部４１２４は、並列型Y補正部４１２２で補正したY信号と並列型CbCr補正部４１２３で補正したCb信号、Cr信号とを結合し合成部４１２１に出力する。
ここで、この結合は、式１１で表されるものとなる。

なお、式１１の右辺のY'は、並列型Y補正部４１２２で補正したY信号であり、Cb'、Cr'は、並列型CbCr補正部４１２３で補正したCb信号、Cr信号であり、式１１の左辺のY'、Cb'、Cr'は、結合部４１２４から合成部４１２１に出力される第２画像のY信号、Cb信号、Cr信号である。

そして、合成部４１２１は、結合部４１２４から出力された第２画像を、左サイドカメラ１の視点から後方を観察したようすを表す画像に視点変換し、視点変換した第２画像中の第１画像との合成に用いる部分である組込画像を、自動車の後方のようすを表した連続した一枚の画像を形成するように第１画像に合成し、左サイドモニタ５に出力し表示する。

さて、以上に示したように図６に示した左画像処理部４１において、第２画像のCb、Crのみを補正ゲインa、b、cで補正し、Yについては輝度比から求めた補正ゲインdで補正し、両者を結合する場合の第２画像の補正に必要となる演算量は、式９-１１と、上掲した式６との比較により示されるように、Yを補正ゲインa、b、cで補正する演算が除かれるため、式６によりY、Cb、Crの全てを補正ゲインa、b、cで補正する場合に比べて小さくなる。

また、式１０の演算は、422や420といった、色差信号CbCrを持つ画素の数が、輝度信号Y信号を持つ画素の画素より少ない形式の画像を扱う場合には、Cb、Cr信号を持つ画素についてのみ行えば足りる。
また、式９の演算処理は、実質的に、輝度信号Yに補正ゲインdを乗算する処理であり、式１１の演算処理は、単に、YとCb、Crとをまとめる処理のであるので、その演算に要する処理は小さい。
よって、図６に示した左画像処理部４１によっても、不自然さの発生を抑制しつつ比較的に少ない処理量で第１画像と第２画像との合成を行うことができる。
以上、本発明の実施形態について説明した。
ここで、以上では、自動車の側部に設けた左サイドカメラ１や右サイドカメラ３が撮影した画像と、自動車の後部に設けたバックカメラ２が撮影した画像を合成して後方のようすを表す画像を生成する場合について示したが、本実施形態は、自動車の周囲を撮影する、撮影領域を一部重複させた複数のカメラで撮影した画像を視点変換して、自動車の周囲のようすを上方より観察したようすを表すように合成して、俯瞰（鳥瞰）画像を生成する場合等、撮影領域を一部重複させた複数のカメラで撮影した画像を合成するものであれば、カメラが自動車に設けられたものでない場合を含め、任意の合成に同様に適用することができる。

１…左サイドカメラ、２…バックカメラ、３…右サイドカメラ、４…画像処理装置、５…左サイドモニタ、６…右サイドモニタ、４１…左画像処理部、４２…右画像処理部、４１１１…第１比較画像抽出部、４１１２…第１Y抽出部、４１１３…第２Y抽出部、４１１４…Yゲイン算出部、４１１５…第２比較画像抽出部、４１１６…第１RGB変換部、４１１７…第２RGB変換部、４１１８…RGBゲイン算出部、４１１９…CbCr補正部、４１２０…Y補正部、４１２１…合成部、４１２２…並列型Y補正部、４１２３…並列型CbCr補正部、４１２４…結合部。

Claims (7)

1. 第１のカメラで撮影した第１画像と、第１のカメラと撮影領域が一部重複する第２のカメラで撮影した第２画像とを合成し、第１画像の少なくとも一部と第２画像の少なくとも一部とを繋ぎ合わせた画像である合成画像を生成する合成画像生成システムであって、
   前記第１画像と前記第２画像とは、輝度信号と第１の色差信号と第２の色差信号とで色を表す所定の方式の画像であり、
   当該合成画像生成システムは、
   前記撮影領域が一部重複する範囲が写り込む前記第１画像の部分もしくは当該部分の一部を第１比較画像、前記第２画像の前記第１比較画像と写り込む範囲が同じ部分を第２比較画像として抽出する比較画像抽出手段と、
   前記比較画像抽出手段が抽出した前記第１比較画像の輝度信号の代表値の前記第２比較画像の輝度信号の代表値に対する比を輝度補正ゲインとして算出する輝度補正ゲイン算出手段と、
   前記第１比較画像と前記第２比較画像を、R信号とG信号とB信号で色を表すRGB方式の画像に変換するRGB変換手段と、
   RGB方式に変換された前記第１比較画像のR信号の代表値の、RGB方式に変換された前記第２比較画像のR信号の代表値に対する比をR補正ゲインとして、RGB方式に変換された前記第１比較画像のG信号の代表値の、RGB方式に変換された前記第２比較画像のG信号の代表値に対する比をG補正ゲインとして、RGB方式に変換された前記第１比較画像のB信号の代表値の、RGB方式に変換された前記第２比較画像のB信号の代表値に対する比をB補正ゲインとして算出するRGB補正ゲイン算出部と、
   前記第２画像の輝度信号のゲインを前記輝度補正ゲインで補正し、前記第２画像の第１の色差信号と第２の色差信号とを、前記R補正ゲインと前記B補正ゲインと前記G補正ゲインによりR成分とG成分とB成分のゲインが補正された第２画像の第１の色差信号と第２の色差信号を表すように補正して補正後第２画像を生成する補正手段と、
   前記補正後第２画像を、前記第１画像に合成して前記合成画像を生成する合成手段とを有することを特徴とする合成画像生成システム。
2. 請求項１記載の合成画像生成システムであって、
   前記補正手段は、
   前記第２画像の第１の色差信号と第２の色差信号のみを、前記R補正ゲインと前記B補正ゲインと前記G補正ゲインによりR成分とG成分とB成分のゲインが補正された第２画像の第１の色差信号と第２の色差信号を表すように変換して色差補正後第２画像を生成する第１変換手段と、
   前記色差補正後第２画像の輝度信号のゲインを前記輝度補正ゲインで補正した輝度信号に変換して前記補正後第２画像を生成する第２変換手段とを有することを特徴とする合成画像生成システム。
3. 請求項１記載の合成画像生成システムであって、
   前記補正手段は、
   前記第２画像の輝度信号を抽出し、前記輝度補正ゲインでゲインを補正した輝度信号に変換する第２変換手段と、
   前記第２画像の第１の色差信号と第２の色差信号を抽出して、前記R補正ゲインと前記B補正ゲインと前記G補正ゲインによりR成分とG成分とB成分のゲインが補正された第２画像の第１の色差信号と第２の色差信号に変換する第２変換手段と、
   前記第１変換手段が変換した輝度信号と、前記第２変換手段が変換した第１の色差信号と第２の色差信号とを、前記補正後第２画像の輝度信号と第１の色差信号と第２の色差信号として結合して前記補正後第２画像を生成する結合手段とを有することを特徴とする合成画像生成システム。
4. 請求項２記載の合成画像生成システムであって、
   前記所定の方式は、前記輝度信号がY信号であり、前記第１の色差信号がCb信号であり、前記第２の色差信号がCr信号であるYCbCr方式であって、
   前記第１変換手段は、
   の変換式によって表される変換を行うものであり、
   当該変換式の右辺のY₀、Cb₀、Cr₀は、第２画像のY信号、Cb信号、Cr信号を表し、左辺のY₀、Cb'、Cr'は、色差補正後第２画像のY信号、Cb信号、Cr信号を表すものであることを特徴とする合成画像生成システム。
5. 請求項３記載の合成画像生成システムであって、
   前記所定の方式は、前記輝度信号がY信号であり、前記第１の色差信号がCb信号であり、前記第２の色差信号がCr信号であるYCbCr方式であって、
   前記第２変換手段は、
   の変換式によって表される変換を行うものであり、
   当該変換式の右辺のY₀、Cb₀、Cr₀は、第２画像のY信号、Cb信号、Cr信号を表し、左辺のCb'、Cr'は、変換後のCb信号、Cr信号を表すものであることを特徴とする合成画像生成システム。
6. 請求項１、２、３、４または５記載の合成画像生成システムであって、
   前記代表値は平均値であることを特徴とする合成画像生成システム。
7. 請求項１、２、３、４、５または６記載の合成画像生成システムを備えた、自動車に搭載される後方画像表示システムであって、
   当該合成画像生成システムが生成した前記合成画像を表示するモニタを備えると共に、
   前記第１のカメラとして、自動車の側部より当該自動車後方のようすを撮影するカメラを備え、
   前記第２のカメラとして自動車の後部より当該自動車後方のようすを撮影するカメラを備えたことを特徴とする後方画像表示システム。