JP4801549B2

JP4801549B2 - 合成映像表示装置および集積回路

Info

Publication number: JP4801549B2
Application number: JP2006259223A
Authority: JP
Inventors: 達人流郷; 篤史野尻; 健司吉岡; 真也小川; 和史水澤
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2006-09-25
Filing date: 2006-09-25
Publication date: 2011-10-26
Anticipated expiration: 2026-09-25
Also published as: JP2008077595A

Description

本発明は、車両周辺を撮影する複数の撮影装置によってそれぞれ撮影された撮影映像を合成した合成映像を表示装置に表示させる合成映像表示装置および集積回路に関するものである。

従来の合成映像表示装置としては、複数の撮影装置のそれぞれの画素位置と対応付けたフラグテーブルを用意しておき、フラグテーブルに予め書き込まれている画素領域に対応した画素位置に表示される画素データの平均値が等しくなるように補正を行い、この平均値を、隣接するカメラ画像のうち重複する撮影領域の画素データから求めることによって、つなぎ目に違和感を生じさせない合成映像を複数の撮影装置の各撮影映像からリアルタイムに生成するものがある（例えば、特許文献１参照）。
特開２００２−３２４２３５号公報

しかしながら、上述した従来の技術は、１つの撮影装置によって撮影された撮影映像に他の撮影装置によって撮影された撮影映像を合わせるように補正を行うため、車両の一方に太陽光が入射した場合等に、実際の車外に対する合成映像の配色に差異が生じてしまうことがあるといった課題があった。

本発明は、従来の課題を解決するためになされたもので、実際の車外に対して合成映像に生じる配色の差異を抑制しつつ、つなぎ目に違和感を生じさせない合成映像を複数の撮影装置の各撮影映像から生成することができる合成映像表示装置および集積回路を提供することを目的とする。

本発明の合成映像表示装置は、車両周辺を撮影する複数の撮影装置によって撮影された各撮影映像に映像調整を施す映像調整手段を備え、前記映像調整が施された各撮影映像を合成した合成映像を表示装置に表示させる合成映像表示装置において、前記映像調整手段は、前記映像調整の対象とする撮影映像を撮影した撮影装置に撮影範囲が重複する他の撮影装置毎に、前記映像調整の対象とする撮影映像の撮影画素の中で、前記他の撮影装置によって撮影された撮影映像の撮影画素に前記合成映像において重複して対応する撮影画素の画素値の輝度成分を加算した第１の加算値と、前記他の撮影装置によって撮影された撮影映像の撮影画素の中で、前記映像調整の対象とする撮影映像の撮影画素に前記合成映像において重複して対応する撮影画素の画素値の輝度成分を加算した第２の加算値とを算出し、前記第１の加算値と前記第２の加算値の平均値を前記第１の加算値で除算したゲインを算出し、前記他の撮影装置毎に算出したゲインの平均値を調整ゲインとして、前記映像調整の対象とする撮影映像に前記映像調整を施すように構成されている。

この構成により、本発明の合成映像表示装置は、映像調整の対象とする撮影映像と、映像調整の対象とする撮影映像を撮影した撮影装置に撮影範囲が重複する他の撮影装置によって撮影された各撮影映像とに基づいて算出した調整ゲインで映像調整の対象とする撮影映像に映像調整を施すため、実際の車外に対して合成映像に生じる配色の差異を抑制しつつ、つなぎ目に違和感を生じさせない合成映像を複数の撮影装置の各撮影映像から生成することができる。

なお、前記映像調整手段は、１フィールド前に算出した調整ゲインを用いて各撮影映像に前記映像調整を施すようにしてもよい。

この構成により、本発明の合成映像表示装置は、合成映像を表示装置に表示させながら映像調整を行うことができるため、表示装置に合成映像をリアルタイムに表示させることができる。

また、前記映像調整手段は、前記合成映像の各画素を前記表示装置に表示させながら、前記調整ゲインを算出するようにしてもよい。

この構成により、本発明の合成映像表示装置は、合成映像を表示装置に表示させながら調整ゲインを算出するため、表示装置に合成映像をリアルタイムに表示させることができる。

なお、上述した合成映像表示装置は、集積回路によって構成してもよい。

本発明は、実際の車外に対して合成映像に生じる配色の差異を抑制しつつ、つなぎ目に違和感を生じさせない合成映像を複数の撮影装置の各撮影映像から生成することができるといった効果を有する合成映像表示装置を提供することができる。

以下、本発明の実施の形態について、図面を参照して説明する。なお、本実施の形態においては、本発明における合成映像表示装置を車両に設けられたＥＣＵ（ＥｌｅｃｔｒｏｎｉｃＣｏｎｔｒｏｌＵｎｉｔ）によって構成し、本発明における映像調整手段をＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）によって構成した例について説明する。

本発明の一実施の形態のＥＣＵを図１に示す。

ＥＣＵ１には、車両周辺を撮影する複数の撮影装置としてのカメラ２ａ乃至２ｄと、ＥＣＵ１によって処理された映像信号を映像出力する表示装置４とが接続されている。

図２に示すように、カメラ２ａ乃至２ｄは、車両の左方、前方、右方および後方の撮影範囲２０ａ乃至２０ｄをそれぞれ撮影するように車両に取り付けられ、撮影した撮影映像を表す映像信号を生成するようになっている。

ここで、カメラ２ａの撮影範囲２０ａのうち、他のカメラ２ｂ乃至２ｄの撮影範囲２０ｂ乃至２０ｄと重複しない範囲を撮影範囲２１ａとする。同様に、各カメラ２ｂ乃至２ｄの撮影範囲２０ｂ乃至２０ｄのうち、他のカメラの撮影範囲と重複しない範囲をそれぞれ撮影範囲２１ｂ乃至２１ｄとする。

また、カメラ２ａの撮影範囲２０ａとカメラ２ｂの撮影範囲２０ｂとの間で重複する撮影範囲のうち、撮影画素が後述する合成映像の画素位置と対応する範囲を撮影範囲２２ａとし、撮影画素が合成映像の画素位置と対応しない範囲を撮影範囲２３ａとする。

同様に、カメラ２ｂの撮影範囲２０ｂとカメラ２ｃの撮影範囲２０ｃとの間で重複する撮影範囲のうち、撮影画素が合成映像の画素位置と対応する範囲を撮影範囲２２ｂとし、撮影画素が合成映像の画素位置と対応しない範囲を撮影範囲２３ｂとする。

また、同様に、カメラ２ｃの撮影範囲２０ｃとカメラ２ｄの撮影範囲２０ｄとの間で重複する撮影範囲のうち、撮影画素が合成映像の画素位置と対応する範囲を撮影範囲２２ｃとし、撮影画素が合成映像の画素位置と対応しない範囲を撮影範囲２３ｃとする。

また、同様に、カメラ２ｄの撮影範囲２０ｄとカメラ２ａの撮影範囲２０ａとの間で重複する撮影範囲のうち、撮影画素が合成映像の画素位置と対応する範囲を撮影範囲２２ｄとし、撮影画素が合成映像の画素位置と対応しない範囲を撮影範囲２３ｄとする。

図１において、ＥＣＵ１は、カメラ２ａ乃至２ｄによってそれぞれ撮影された撮影映像を表す映像信号から得られる映像データを格納するためのビデオメモリ１０ａ乃至１０ｄと、ビデオメモリ１０ａ乃至１０ｄにそれぞれ格納された映像データに基づいて、カメラ２ａ乃至２ｄによってそれぞれ撮影された撮影映像を合成して車両周辺を上空から見下ろした合成映像を表示装置４に表示させるようプログラミングされたＤＳＰ１１と、撮影映像を合成するためにＤＳＰ１１によって参照される情報等を格納するフラッシュメモリ１２とを有している。

フラッシュメモリ１２には、車両の画像を表す画像データ（以下、単に「車両画像データ」という。）と、マップ情報とが予め格納されている。

マップ情報は、合成映像の画素と等しい数の要素を有し、合成映像の画素位置と、カメラ２ａ乃至２ｄによってそれぞれ撮影された撮影映像の撮影画素との対応を表すテーブルよりなる。

マップ情報の各要素は、合成映像の該当画素位置に対応する撮影画素を表し、該当画素位置に対応する撮影画素を配置することによって、車両周辺を上空から見下ろした合成映像が得られるように予め定められている。なお、本実施の形態において、マップ情報の各要素は、ビデオメモリ１０ａ乃至１０ｄの記憶領域内の何れかの位置を指すメモリアドレスで各撮影画素を表している。

ＤＳＰ１１は、映像データが格納されたビデオメモリ１０ａ乃至１０ｄから、合成映像の各画素値をマップ情報にしたがって読み取ることによって、合成映像を表示装置４に表示させるようになっている。

例えば、図３に示すように、マップ情報４０の要素（１，Ｃ）の値が（０，Ｃ）である場合には、ＤＳＰ１１は、映像データが格納されたビデオメモリ１０ａ乃至１０ｄの記憶領域４１の中で当該要素の値であるメモリアドレス（０，Ｃ）が指す位置から得られる画素値を、合成映像４１の画素位置（１，Ｃ）の画素値として読み取るようになっている。

図４は、マップ情報にしたがってＤＳＰ１１によって合成された合成映像を示している。

図２および図４に示すように、マップ情報は、カメラ２ａによって撮影された撮影映像のなかで撮影範囲２１ａの映像をなす各撮影画素を合成映像における映像領域３１ａ内の各画素位置に対応付けている。

同様に、マップ情報は、カメラ２ｂ乃至２ｄによってそれぞれ撮影された撮影映像のなかで撮影範囲２１ｂ乃至２１ｄの映像をそれぞれなす各撮影画素を合成映像における映像領域３１ｂ乃至３１ｄ内の各画素位置にそれぞれ対応付けている。

また、マップ情報は、カメラ２ａおよび２ｂによってそれぞれ撮影された撮影映像のなかで撮影範囲２２ａの映像をなす各撮影画素を合成映像における映像領域３２ａ内の各画素位置に重複して対応付けている。

同様に、マップ情報は、カメラ２ｂおよび２ｃによってそれぞれ撮影された撮影映像のなかで撮影範囲２２ｂの映像をなす各撮影画素を合成映像における映像領域３２ｂ内の各画素位置に重複して対応付けている。

また、同様に、マップ情報は、カメラ２ｃおよび２ｄによってそれぞれ撮影された撮影映像のなかで撮影範囲２２ｃの映像をなす各撮影画素を合成映像における映像領域３２ｃ内の各画素位置に重複して対応付けている。

また、同様に、マップ情報は、カメラ２ｄおよび２ａによってそれぞれ撮影された撮影映像のなかで撮影範囲２２ｄの映像をなす各撮影画素を合成映像における映像領域３２ｄ内の各画素位置に重複して対応付けている。

なお、以下の説明では、映像領域３２ａ乃至３２ｄをそれぞれ「重複映像領域」という。また、合成映像において、何れの撮影画素も対応しない領域３３を「無映像領域」という。

図１において、ＤＳＰ１１は、合成映像を表示装置４に表示させるのに先立って、カメラ２ａおよびカメラ２ｂ等のように、撮影範囲が重複するカメラによってそれぞれ撮影された撮影映像間の輝度の差異が小さくなるように、ビデオメモリ１０ａ乃至１０ｄから読み取った画素値を調整する映像調整を行うようになっている。

また、ＤＳＰ１１は、図５に示すように、フラッシュメモリ１２に格納された車両画像データから各画素値を読み取り、読み取った各画素値で表示装置４に無映像領域３３内の各画素を表示させることによって、合成映像に車両の画像３５を重畳させるようになっている。

以上のように構成されたＥＣＵ１について図６を用いてその動作を説明する。

まず、カメラ２ａ乃至２ｄによってそれぞれ撮影された撮影映像を表す映像信号から得られる映像データがＤＳＰ１１によってビデオメモリ１０ａ乃至１０ｄに格納される（Ｓ１）。

次に、表示装置４の１フィールド分の各走査（Ｓ２〜Ｓ１５）および各走査の各画素（Ｓ３〜Ｓ１４）に対して、ＤＳＰ１１は、以下の処理を実行する。

まず、ＤＳＰ１１は、該当画素位置にマップ情報によって対応付けられた撮影画素の画素値をビデオメモリ１０ａ乃至１０ｄに格納された映像データから読み出す（Ｓ４）。

次に、ＤＳＰ１１は、該当画素位置が無映像領域３３に含まれるか否かを判断する（Ｓ５）。ここで、該当画素位置が無映像領域３３に含まれると判断した場合には、ＤＳＰ１１は、該当画素位置に対応する画素値をフラッシュメモリ１２に格納された車両画像データから読み出し（Ｓ６）、読み出した画素値で表示装置４に該当画素を表示させる（Ｓ７）。

一方、該当画素位置が無映像領域３３に含まれないと判断した場合には、ＤＳＰ１１は、該当画素位置が何れかの重複映像領域に含まれるか否かを判断する（Ｓ８）。ここで、該当画素位置が何れの重複映像領域にも含まれないと判断した場合には、ＤＳＰ１１は、ビデオメモリ１０ａ乃至１０ｄに格納された映像データから読み出された撮影画素の画素値の輝度成分を該当カメラの調整ゲインで調整し（Ｓ９）、輝度成分を調整した画素値で表示装置４に該当画素を表示させる（Ｓ１０）。

なお、ここで用いられる調整ゲインは、前のフィールドに対して処理された後述するステップＳ１６で算出されたものであり、ＤＳＰ１１は、調整ゲインが未算出である場合には、前回にＥＣＵ１が動作したときに最後に算出した調整ゲインを用いてもよく、ステップＳ９および後述するステップＳ１２を省いてもよい。

一方、ステップＳ８において、該当画素位置が何れかの重複映像領域に含まれると判断した場合には、ＤＳＰ１１は、ビデオメモリ１０ａ乃至１０ｄに格納された映像データから読み出した各撮影画素の画素値の輝度成分を、重複映像領域３２ａ乃至３２ｄおよび各重複映像領域３２ａ乃至３２ｄに対応するカメラ２ａ乃至２ｄ毎に加算する（Ｓ１１）。このように加算された各加算値は、図７に示すように、ＤＳＰ１１によってフラッシュメモリ１２に記憶される。

図６において、ＤＳＰ１１は、該当画素位置に重複して対応付けられた各撮影画素の画素値の輝度成分を各該当カメラの調整ゲインで調整し（Ｓ１２）、調整した各画素値の輝度成分を画素位置に応じた割合で加算した画素値で表示装置４に該当画素を表示させる（Ｓ１３）。

例えば、図４において、該当画素が重複映像領域３２ａ内にあり、該当画素から映像領域３１ａまでの距離がＬａで、該当画素から映像領域３１ｂまでの距離がＬｂで、カメラ２ａの調整ゲインで調整した該当画素の画素値の輝度成分がＹａで、カメラ２ｂの調整ゲインで調整した該当画素の画素値の輝度成分がＹｂである場合には、ＤＳＰ１１は、該当画素の画素値の輝度成分Ｙとして、（Ｙａ×Ｌｂ＋Ｙｂ×Ｌａ）／（Ｌａ＋Ｌｂ）を算出する。

図６において、表示装置４の１フィールド分の各走査（Ｓ２〜Ｓ１５）および各走査の各画素（Ｓ３〜Ｓ１４）に対する以上の処理が完了すると、ＤＳＰ１１は、ステップＳ１１で加算した加算値に基づいて、次のフィールドでカメラ２ａ乃至２ｄによって撮影される撮影映像をそれぞれ映像調整するための調整ゲインを算出する（Ｓ１６）。

図８は、ステップＳ１６を詳細に示すフロー図である。なお、以下では、特定のカメラと撮影範囲が重複する各カメラのことを「隣接カメラ」という。例えば、カメラ２ａの隣接カメラとは、カメラ２ｄおよびカメラ２ｂのことをいう。

まず、各カメラ２ａ乃至２ｄ（Ｓ２０〜Ｓ２５）の各隣接カメラ（Ｓ２１〜Ｓ２３）に対して、ＤＳＰ１１は、該当カメラと隣接カメラとの重複する撮影範囲にあたる重複映像領域に対してフラッシュメモリ１２に記憶したカメラ毎の加算値（図７を参照）の平均値に、該当カメラに対する加算値を等しくするためのゲインを算出する（Ｓ２２）。

例えば、該当カメラがカメラ２ａ、隣接カメラがカメラ２ｂであるときは、ＤＳＰ１１は、重複映像領域３２ａのカメラ２ａに対する加算値Ｐａｂと、重複映像領域３２ａのカメラ２ｂに対する加算値Ｐｂａとを用いて、ゲインＧａｂ＝（（Ｐａｂ＋Ｐｂａ）／２）／Ｐａｂを算出する。

また、該当カメラがカメラ２ａ、隣接カメラがカメラ２ｄであるときは、ＤＳＰ１１は、重複映像領域３２ｄのカメラ２ａに対する加算値Ｐａｄと、重複映像領域３２ｄのカメラ２ｄに対する加算値Ｐｄａとを用いて、ゲインＧａｄ＝（（Ｐｄａ＋Ｐａｄ）／２）／Ｐａｄを算出する。

各隣接カメラ（Ｓ２１〜Ｓ２３）に対するゲインの算出が完了すると、ＤＳＰ１１は、これらゲインの平均値を該当カメラによって撮影された撮影映像を映像調整するための調整ゲインとして算出する（Ｓ２４）。例えば、ＤＳＰ１１は、カメラ２ａによって撮影された撮影映像を映像調整するため調整ゲインＧａ＝（Ｇａｂ＋Ｇａｄ）／２を算出する。

以上のように、ＤＳＰ１１は、カメラ２ａ乃至２ｄによって撮影された撮影映像をそれぞれ映像調整するため調整ゲインを算出する。ここで、ＤＳＰ１１は、表示装置４に表示された合成映像の輝度が上述した処理の影響で急激に変化することを防止するために、今回に算出した調整ゲインと、前回に算出した調整ゲインとの変動量を抑制するようにしてもよい。

例えば、ステップＳ２４で算出した調整ゲインをＧｇとし、前回に算出した調整ゲインをＧｎ−１（ここで、ｎは図８のステップＳ２４の実行回数で１以上の整数、Ｇ０は１とする。）とし、調整ゲインの変動量の抑制率をｗとした場合に、ＤＳＰ１１は、今回の調整ゲインＧｎとして、Ｇｇ−（Ｇｇ−Ｇｎ−１）×ｗを算出するようにしてもよい。

また、これに代えて、ＤＳＰ１１は、（Ｇｇ−Ｇｎ−１）の値が小さくなるにつれて小さくなるように予め定められた変動量Ａを用い、今回の調整ゲインＧｎとして、Ｇｎ−１＋Ａを算出するようにしてもよい。

図６において、カメラ２ａ乃至２ｄによって撮影された撮影映像をそれぞれ映像調整するための調整ゲインが算出されると、ＥＣＵ１の動作は、ステップＳ１に戻る。

このような本発明の一実施の形態のＥＣＵ１は、映像調整の対象とする撮影映像と、映像調整の対象とする撮影映像を撮影した撮影装置に撮影範囲が重複する他の撮影装置によって撮影された各撮影映像とに基づいて算出した調整ゲインで映像調整の対象とする撮影映像に映像調整を施すため、実際の車外に対して合成映像に生じる配色の差異を抑制しつつ、つなぎ目に違和感を生じさせない合成映像を複数の撮影装置の各撮影映像から生成することができる。

なお、本実施の形態においては、本発明における合成映像生成手段をＤＳＰとフラッシュメモリとによって構成した例について説明したが、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等の他のプロセッサや集積回路によって構成してもよい。

また、本実施の形態においては、ＤＳＰ１１が、各撮影画素の画素値の輝度成分を調整するものとして説明したが、ＤＳＰ１１は、各撮影画素の画素値の色差成分も輝度成分と同様にさらに調整するようにしてもよく、輝度成分に代えて、赤、緑および青の３原色の各色成分を輝度成分と同様に調整するようにしてもよい。

以上のように、本発明にかかる合成映像表示装置は、実際の車外に対して合成映像に生じる配色の差異を抑制しつつ、つなぎ目に違和感を生じさせない合成映像を複数の撮影装置の各撮影映像から生成することができるという効果を有し、例えば、車両周辺を撮影する複数の撮影装置によってそれぞれ撮影された撮影映像を合成した合成映像を生成する合成映像表示装置等として有用である。

本発明の一実施の形態におけるＥＣＵのブロック図本発明の一実施の形態におけるＥＣＵに接続されるカメラの実装図本発明の一実施の形態におけるＥＣＵを構成するＤＳＰによる映像の合成を説明するための概念図本発明の一実施の形態におけるＥＣＵに接続されるカメラによってそれぞれ撮影された各撮影映像をなす撮影画素をマップ情報に基づいて配置することによって生成される合成映像を示す概念図本発明の一実施の形態におけるＥＣＵに接続される表示装置に表示される合成映像を示す概念図本発明の一実施の形態におけるＥＣＵの動作説明のためのフロー図本発明の一実施の形態におけるＥＣＵを構成するＤＳＰによって生成および参照される輝度成分の加算テーブルを示す概念図図６に示したフローの一部を詳細に説明するためのフロー図

１ＥＣＵ
２ａ、２ｂ、２ｃ、２ｄカメラ
４表示装置
１０ａ、１０ｂ、１０ｃ、１０ｄビデオメモリ
１１ＤＳＰ
１２フラッシュメモリ

Claims

車両周辺を撮影する複数の撮影装置によって撮影された各撮影映像に映像調整を施す映像調整手段を備え、前記映像調整が施された各撮影映像を合成した合成映像を表示装置に表示させる合成映像表示装置において、
前記映像調整手段は、前記映像調整の対象とする撮影映像を撮影した撮影装置に撮影範囲が重複する他の撮影装置毎に、前記映像調整の対象とする撮影映像の撮影画素の中で、前記他の撮影装置によって撮影された撮影映像の撮影画素に前記合成映像において重複して対応する撮影画素の画素値の輝度成分を加算した第１の加算値と、前記他の撮影装置によって撮影された撮影映像の撮影画素の中で、前記映像調整の対象とする撮影映像の撮影画素に前記合成映像において重複して対応する撮影画素の画素値の輝度成分を加算した第２の加算値とを算出し、前記第１の加算値と前記第２の加算値の平均値を前記第１の加算値で除算したゲインを算出し、前記他の撮影装置毎に算出したゲインの平均値を調整ゲインとして、前記映像調整の対象とする撮影映像に前記映像調整を施すことを特徴とする合成映像表示装置。
前記映像調整手段は、１フィールド前に算出した調整ゲインを用いて各撮影映像に前記映像調整を施すことを特徴とする請求項１に記載の合成映像表示装置。
前記映像調整手段は、前記合成映像の各画素を前記表示装置に表示させながら、前記調整ゲインを算出することを特徴とする請求項２に記載の合成映像表示装置。
車両周辺を撮影する複数の撮影装置によって撮影された各撮影映像に映像調整を施す映像調整手段を備え、前記映像調整が施された各撮影映像を合成した合成映像を表示装置に表示させる集積回路において、
前記映像調整手段は、前記映像調整の対象とする撮影映像を撮影した撮影装置に撮影範囲が重複する他の撮影装置毎に、前記映像調整の対象とする撮影映像の撮影画素の中で、前記他の撮影装置によって撮影された撮影映像の撮影画素に前記合成映像において重複して対応する撮影画素の画素値の輝度成分を加算した第１の加算値と、前記他の撮影装置によって撮影された撮影映像の撮影画素の中で、前記映像調整の対象とする撮影映像の撮影画素に前記合成映像において重複して対応する撮影画素の画素値の輝度成分を加算した第２の加算値とを算出し、前記第１の加算値と前記第２の加算値の平均値を前記第１の加算値で除算したゲインを算出し、前記他の撮影装置毎に算出したゲインの平均値を調整ゲインとして、前記映像調整の対象とする撮影映像に前記映像調整を施すことを特徴とする集積回路。