JP7308051B2 - 多視点映像色合わせ装置およびそのプログラム - Google Patents

Description

本発明は、多視点映像色合わせ装置およびそのプログラムに関する。

従来、眼鏡の要らない裸眼立体映像として、水平方向および垂直方向に視差のあるインテグラル映像方式の実用化が進められている。インテグラル映像は、水平方向および垂直方向に２次元配列されたカメラで撮影した多視点映像から生成することができる。しかし、各カメラの色特性が互いに異なっている場合、生成された立体映像は均一でなく、見る方向により色が変わり、立体映像品質が悪くなるという問題がある。

そこで、撮影した多視点映像をそのまま伝送するのではなく、各視点映像間の色を合わせてから伝送する必要がある。色合わせの方法としては、各視点映像間の色の差を加える方法や、色変換テーブルを用いる方法が開示されている（特許文献１，２参照）。
例えば、特許文献１には、基準カメラで撮影された映像の平均値と、他のカメラの映像の平均値との差分を、他のカメラ映像に加える方法が、開示されている。
また、特許文献２には、各カメラの映像の値を入力して、目標の色に変換する色変換テーブルを用いる方法が、開示されている。

特開２００２-２７１８２５号公報 特開２０１７-１３０９８０号公報

従来の特許文献１の方法は、画面全体の色の平均値を合わせるだけであるため、各視点映像間で画面内の画素ごとに色成分にレベル差がある場合、その細かな色成分について色合わせができないという問題がある、
また、従来の特許文献２の方法は、すべての色成分のレベルごとに色変換テーブルを複数持ち、各カメラ映像をこの色変換テーブルすべてに通して、最も目標の色に近くなる色変換テーブルを採用して、各カメラ映像の色合わせを行っている。そのため、この方法は、使用しているカメラの特性が劣化、交換等によって変化した場合、最初から、すべての色変換テーブルを試して、最適な色変換テーブルを選びなおす手間がかかるという問題がある。

本発明は、このような問題に鑑みてなされたものであり、多視点映像の各視点映像間の色成分のレベルが異なる場合であっても、また、途中でカメラの色特性が変化した場合であっても、即座に色合わせを行うことが可能な多視点映像色合わせ装置およびそのプログラムを提供することを課題とする。

前記課題を解決するため、本発明に係る多視点映像色合わせ装置は、多視点カメラで撮影された複数の視点映像の色合わせを行う多視点映像色合わせ装置であって、レベル累計手段と、平滑化手段と、レベル基準値決定手段と、補正係数算出手段と、色補正手段と、を備える構成とした。

かかる構成において、多視点映像色合わせ装置は、レベル累計手段によって、色合わせを行う基準となる予め定めた視点映像である基準視点映像と、基準視点映像以外の視点映像である他の視点映像とについて、それぞれ、色成分単位で信号レベルごとの度数を累計する。
そして、多視点映像色合わせ装置は、平滑化手段によって、レベル累計手段で累計された信号レベルごとの度数を平滑化する。これによって、信号レベルの度数の分布を、大局的な分布で表すことができる。
さらに、多視点映像色合わせ装置は、レベル基準値決定手段によって、平滑化手段で平滑化された信号レベルごとのピークの度数の予め定めた割合の度数に対応する信号レベルを、色合わせを行うレベル基準値として決定する。このピークの度数の予め定めた割合の度数に対応する信号レベルは、同じ被写体を撮影した基準視点映像と他の視点映像とでは、ほぼ同じレベルとなるため、色合わせを行う基準として用いることができる。

そして、多視点映像色合わせ装置は、補正係数算出手段によって、他の視点映像から決定されたレベル基準値である補正前レベル基準値を、基準視点映像から決定されたレベル基準値である補正後レベル基準値に変換するように、他の視点映像の信号レベルを補正する色成分ごとの補正係数を算出する。
そして、多視点映像色合わせ装置は、色補正手段によって、補正係数算出手段で算出された補正係数を用いて、色成分ごとに、他の視点映像の画素の信号レベルを補正する。これによって、多視点映像色合わせ装置は、他の視点映像の信号レベルの分布を、基準視点映像の信号レベルの分布に近似させることができる。

なお、多視点映像の色合わせ装置は、コンピュータを、前記した各手段として機能させるためのプログラムで動作させることができる。

本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、多視点映像色合わせ装置は、多視点映像の各視点映像間の色成分のレベルを予め定めた基準視点映像に近似するように補正して色合わせを行うことができる。
これによって、本発明に係る多視点映像色合わせ装置は、色特性が異なる複数のカメラで撮影した多視点映像であっても、色合わせを行うことができる。

本発明の実施形態に係る多視点映像色合わせ装置の概要を説明するための説明図である。 本発明の実施形態に係る多視点映像色合わせ装置の構成を示すブロック構成図である。 互いに色特性の異なる３視点のカメラ映像の例を示す図である。 互いに色特性の異なる３視点のカメラ映像の輝度のヒストグラムである。 平滑化後のヒストグラムにおけるレベル基準値の例を示す図である。 色補正特性の例を示す図である。 色合わせ後の平滑化された３視点のカメラ映像の輝度のヒストグラムである。 色合わせ後の３視点映像の例を示す図である。 色合わせ後の３視点のカメラ映像の輝度のヒストグラムである。 本発明の実施形態に係る多視点映像色合わせ装置の動作を示すフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。
〔多視点映像色合わせ装置の概要〕
まず、図１を参照して、本発明の実施形態に係る多視点映像色合わせ装置１の概要について説明する。

多視点映像色合わせ装置１は、多視点映像を撮影するための多視点カメラＣで撮影された同じ被写体Ｏを撮影した各視点映像の色合わせを行うものである。
ここで、色合わせとは、各視点映像内で同じ被写体Ｏの色成分が近似するように補正することである。色成分は、例えば、視点映像をＹＵＶ（ＹＣｂＣｒ、ＹＰｂＰｒ），ＲＧＢ等の色空間で表したときの各成分（輝度成分、色差成分、赤成分、緑成分、青成分等）である。

多視点カメラＣは、水平方向および垂直方向に２次元配列された視点位置の異なる複数の視点カメラ（ここでは、Ｃ_１，Ｃ_２，…，Ｃ_９）で構成される。
なお、多視点カメラＣを構成する視点カメラの台数は、この例に限定されず、水平方向および垂直方向にそれぞれ２台以上あればよい。また、一方向、例えば、水平方向に２台以上一列に配置した構成でも構わない。

多視点映像色合わせ装置１は、多視点カメラＣのうちの中央の視点カメラ（ここでは、Ｃ_５とする）を基準視点カメラとし、他の視点カメラ（Ｃ_１，…，Ｃ_４，Ｃ_６，…，Ｃ_９）が撮影する他の視点映像（Ｖ_１，…，Ｖ_４，Ｖ_６，…，Ｖ_９：Ｖ_７以外は不図示）を、視点カメラＣ_５が撮影する基準視点映像Ｖｏの色と合うように補正した補正映像Ｖｃ（Ｖｃ_１，…，Ｖｃ_４，Ｖｃ_５，…，Ｖｃ_９）を生成し出力する。なお、基準視点カメラは、どの視点カメラを用いてもよい。

〔多視点映像色合わせ装置の構成〕
次に、図２を参照（適宜図１参照）して、本発明の実施形態に係る多視点映像色合わせ装置１の構成について説明する。
多視点映像色合わせ装置１は、基準視点カメラＣ_Ａと１台以上の他の視点カメラＣ_Ｂとからそれぞれが撮影した視点映像を入力し、色合わせを行う。
基準視点カメラＣ_Ａは、図１の視点カメラＣ_５に相当する。他の視点カメラＣ_Ｂは、図１の視点カメラ（Ｃ_１，…，Ｃ_４，Ｃ_６，…，Ｃ_９）に相当する。

多視点映像色合わせ装置１は、レベル累計手段１０と、平滑化手段２０と、レベル基準値決定手段３０と、補正係数算出手段４０と、色補正手段５０と、を備える。
なお、レベル累計手段１０、平滑化手段２０およびレベル基準値決定手段３０は、それぞれ、視点カメラの台数と同じ数で構成される。ここで、基準視点カメラＣ_Ａに対応する手段については、レベル累計手段１０Ａ、平滑化手段２０Ａおよびレベル基準値決定手段３０Ａと表記し、他の視点カメラＣ_Ｂに対応する手段については、レベル累計手段１０Ｂ、平滑化手段２０Ｂおよびレベル基準値決定手段３０Ｂと表記する場合がある。
ただし、レベル累計手段１０Ａ，１０Ｂは、視点カメラが異なるだけで同じ機能である。平滑化手段２０Ａ，２０Ｂやレベル基準値決定手段３０Ａ，３０Ｂもそれぞれ同じ機能である。

なお、ここでは、多視点映像色合わせ装置１に入力される視点映像は、一例として、色空間ＹＵＶで表される映像とし、視点映像の色成分は、輝度成分と２つの色差成分とする。
例えば、多視点映像色合わせ装置１は、図３に示すように、視点カメラＣ_５（基準視点カメラＣ_Ａ）が撮影した基準視点映像（中央視点映像Ｖ_５）、視点カメラＣ_４，Ｃ_６（他の視点カメラＣ_Ｂ，Ｃ_Ｂ）が撮影した他の視点映像（左視点映像Ｖ_４，右視点映像Ｖ_６）を入力する。なお、図３は、視点映像の輝度成分（Ｙ）のみを表しており、他の色成分については、図示を省略している。

レベル累計手段１０（１０Ａ，１０Ｂ）は、基準視点カメラＣ_Ａが撮影した視点映像である基準視点映像と、他の視点カメラＣ_Ｂが撮影した、基準視点映像以外の視点映像である他の視点映像とを入力し、それぞれの視点映像について、色成分単位で信号レベルごとの度数を累計するものである。
レベル累計手段１０は、入力した視点映像の色成分（ＹＵＶ）別に、レベル値ごとに、その画素数を累計して、そのレベル値の度数とする。このレベル値は、例えば、信号レベルが２５６階調であれば、０～２５５の値である。

図４は、図３で示した各視点映像（Ｖ_４，Ｖ_５，Ｖ_６）の輝度成分（Ｙ）について、当該視点映像を撮影した視点カメラに対応するレベル累計手段１０で累計したレベル値の度数をヒストグラムで表したものである。なお、図４の横軸は輝度レベル、縦軸は輝度レベルに対応する画素の数（度数）である。
図４に示すように、図３で示した視点映像（Ｖ_４，Ｖ_５，Ｖ_６）のうちで、視点映像（左視点映像）Ｖ_４が他の視点映像に比べて暗く、小さい輝度レベルの度数が多くなっている。
レベル累計手段１０は、他の色成分（ＵＶ）についても、同様に信号レベルごとの度数を累計する。
レベル累計手段１０は、色成分別に累計した信号レベルごとの度数を平滑化手段２０に出力する。

平滑化手段２０（２０Ａ，２０Ｂ）は、レベル累計手段１０で色成分別に累計された信号レベルごとの度数を平滑化するものである。
この平滑化手段２０は、平滑化フィルタ（低域通過フィルタ）、例えば、ガウスフィルタ（ガイシアンフィルタ）を用いて信号レベルごとの度数を平滑化する。なお、ここでは、信号レベルの大域的な分布とするため、多タップ（例えば、４０タップ以上）のガウスフィルタを用いる。
例えば、平滑化手段２０は、以下のガウスフィルタの係数に示す４１個の係数を持つ多タップのガウスフィルタを通して、信号レベルごとの度数を平滑化する。

ガウスフィルタの係数＝［0.0057, 0.0068, 0.0082, 0.0098, 0.0116, 0.0135, 0.0156, 0.0179, 0.0202, 0.0227, 0.0252, 0.0277, 0.0302, 0.0325, 0.0347, 0.0367, 0.0384, 0.0397, 0.0407, 0.0414, 0.0416, 0.0414, 0.0407, 0.0397, 0.0384, 0.0367, 0.0347, 0.0325, 0.0302, 0.0277, 0.0252, 0.0227, 0.0202, 0.0179, 0.0156, 0.0135, 0.0116, 0.0098, 0.0082, 0.0068, 0.0057］

図５に、平滑化手段２０が、図４に示したヒストグラムを平滑化したヒストグラムを示す。これによって、平滑化手段２０は、色成分の信号レベルを大局的な分布とすることができる。
平滑化手段２０は、平滑化した信号レベルごとの度数を色成分別にレベル基準値決定手段３０に出力する。

レベル基準値決定手段３０（３０Ａ，３０Ｂ）は、平滑化手段で平滑化された信号レベルごとの度数について、ピークの度数の予め定めた割合の度数に対応する信号レベルを、色合わせを行うレベル基準値として決定するものである。

具体的には、レベル基準値決定手段３０は、平滑された度数のピーク値（最大度数）を探索し、そのピーク値に予め定めた係数（例えば、０．７５）を掛けた値となる信号レベルをレベル基準値とする。この場合、レベル基準値決定手段３０は、ピーク値に係数を掛けた値となる信号レベルを、最小信号レベルから探索し、第１のレベル基準値とする。また、レベル基準値決定手段３０は、ピーク値に係数を掛けた値となる信号レベルを最大信号レベルから探索し、第２のレベル基準値とする。
このレベル基準値決定手段３０の処理を図５に示したヒストグラムで説明する。図５に示すように、レベル基準値決定手段３０Ａは、基準視点映像（中央視点映像）Ｖ_５の度数のピーク値に予め定めた係数を掛けた値となる輝度レベルを最小輝度レベル“０”から探索する。そして、レベル基準値決定手段３０Ａは、探索した値Ｔ_５Ｌを第１のレベル基準値とする。また、レベル基準値決定手段３０Ａは、同様に、最大輝度レベル“２５５”から探索した値Ｔ_５Ｈを第２のレベル基準値とする。

基準視点映像以外の他の視点映像についても同様に、レベル基準値決定手段３０Ｂは、他の視点映像（例えば、左視点映像Ｖ_４）の度数のピーク値に予め定めた係数を掛けた値となる輝度レベルを最小輝度レベル“０”から探索する。そして、レベル基準値決定手段３０Ｂは、探索した値Ｔ_４Ｌを第１のレベル基準値とする。また、レベル基準値決定手段３０Ｂは、同様に、最大輝度レベル“２５５”から探索した値Ｔ_４Ｈを第２のレベル基準値とする。なお、図５には、右視点映像Ｖ_６に対応するレベル基準値Ｔ_６Ｌ，Ｔ_６Ｈも併せて図示している。
図２に戻って、多視点映像色合わせ装置１の構成について説明を続ける。
レベル基準値決定手段３０は、決定したレベル基準値を補正係数算出手段４０に出力する。

補正係数算出手段４０は、他の視点映像から決定されたレベル基準値を、基準視点映像から決定されたレベル基準値に変換するように、他の視点映像を補正する色成分ごとの補正係数を算出するものである。ここで、補正を行う他の視点映像から決定されたレベル基準値を補正前レベル基準値という。また、補正前レベル基準値を変換する対象となる基準視点映像から決定されたレベル基準値を補正後レベル基準値という。
この補正係数算出手段４０は、補正前レベル基準値で区分した区間ごとの補正前の信号レベルと、補正後レベル基準値で区分した区間ごとの補正後の信号レベルとが、線形な関係を満たすように、補正前レベル基準値で区分した区間ごとに補正係数を算出する。

補正係数算出手段４０が算出する補正係数について、図６を参照して説明する。
図６は、他の視点映像の信号レベル（例えば、輝度レベル）の補正前レベルを横軸、補正後レベルを縦軸に表したグラフ図である。ここでは、他の視点映像（左視点映像Ｖ_４）の信号レベルのレベル基準値（補正前レベル基準値）をＴ_４Ｌ，Ｔ_４Ｈ、基準視点映像（中央視点映像Ｖ_５）の信号レベルのレベル基準値（補正後レベル基準値）をＴ_５Ｌ，Ｔ_５Ｈとし、最小信号レベルを“０”、最大信号レベルを“２５５”としている。

補正係数算出手段４０は、図６に示すように、区間Ｉ１＝［０，Ｔ_４Ｌ］の補正前レベルについては、座標（０，０）と座標（Ｔ_４Ｌ，Ｔ_５Ｌ）とを結ぶ直線上になるように補正係数を算出する。同様に、区間Ｉ２＝［Ｔ_４Ｌ，Ｔ_４Ｈ］の補正前レベルについては、座標（Ｔ_４Ｌ，Ｔ_５Ｌ）と座標（Ｔ_４Ｈ，Ｔ_５Ｈ）とを結ぶ直線上になるように補正係数を計算する。また、区間Ｉ３＝［Ｔ_４Ｈ，２５５］の補正前レベルについては、座標（Ｔ_４Ｈ，Ｔ_５Ｈ）と座標（２５５，２５５）とを結ぶ直線上になるように補正係数を計算する。
具体的には、補正係数算出手段４０は、区間Ｉ１＝［０，Ｔ_４Ｌ］、区間Ｉ２＝［Ｔ_４Ｌ，Ｔ_４Ｈ］、区間Ｉ３＝［Ｔ_４Ｈ，２５５］ごとに、以下の式（１）により、それぞれ補正係数Ｃ_４Ｇ，Ｃ_４Ｈを求める。

ここで、補正係数Ｃ_４Ｇは、図６のグラフ図における各区間の傾きに相当する。また、補正係数Ｃ_４Ｈは、図６のグラフ図における各区間の補正前レベルの最小値に対応する補正後レベルの値である。
同様に、補正係数算出手段４０は、他の視点映像についてもそれぞれ補正係数を算出する。例えば、補正係数算出手段４０は、補正対象の他の視点映像を右視点映像Ｖ_６としたとき、区間Ｉ１＝［０，Ｔ_６Ｌ］、区間Ｉ２＝［Ｔ_６Ｌ，Ｔ_６Ｈ］、区間Ｉ３＝［Ｔ_６Ｈ，２５５］ごとに、以下の式（２）により、それぞれ補正係数Ｃ_６Ｇ，Ｃ_６Ｈを求める。

図２に戻って、多視点映像色合わせ装置１の構成について説明を続ける。
補正係数算出手段４０は、補正対象の他の視点映像の色成分ごとに計算した補正係数を色補正手段５０に出力する。なお、補正係数算出手段４０は、色成分ごとの区間を示すレベル基準値（Ｔ_４Ｌ，Ｔ_４Ｈ，Ｔ_６Ｌ，Ｔ_６Ｈ等）も補正係数とともに色補正手段５０に出力する。

色補正手段５０は、他の視点カメラＣ_Ｂで撮影された他の視点映像を補正対象として、補正係数算出手段４０で算出された補正係数を用いて、色成分ごとに補正するものである。
すなわち、色補正手段５０は、他の視点映像の色成分ごとに、補正係数を用いて、区間単位で、画素の信号レベルを補正する。
ここでは、具体例として、左視点映像Ｖ_４と右視点映像Ｖ_６とを補正する例について説明する。

色補正手段５０は、左視点映像Ｖ_４については、区間Ｉ１＝［０，Ｔ_４Ｌ］、区間Ｉ２＝［Ｔ_４Ｌ，Ｔ_４Ｈ］、区間Ｉ３＝［Ｔ_４Ｈ，２５５］ごとに、当該区間に含まれる信号レベル（補正前レベル）の画素について、以下の式（３）により、信号レベルを補正する。なお、補正係数は、前記式（１）で求められたものである。

色補正手段５０は、他の視点カメラＣ_Ｂごとの他の視点映像の各画素について信号レベルを補正し、補正映像Ｖｃとして出力する。
これによって、図５に示した平滑化されたヒストグラムは、他の視点映像（Ｖ_４，Ｖ_６）のヒストグラムが、基準視点映像（Ｖ_５）のヒストグラムと重なるように信号レベルが補正されることになる。この補正後のヒストグラムを図７に示す。図７に示すように、平滑化されたヒストグラムは、ほぼ重なることになる。

図８に、図３に示した基準視点映像（中央視点映像Ｖ_５）と、他の視点映像（左視点映像Ｖ_４，右視点映像Ｖ_６）を例として、多視点映像色合わせ装置１が色合わせを行った映像を示す。図３では、左視点映像Ｖ_４が他の視点映像に比べて暗い映像であったのに対し、図８に示すように、補正後の左視点映像Ｖｃ_４は他の視点映像と同等の明るさとなる。
図９に、色合わせ後の図８に示した各映像（Ｖｃ_４，Ｖ_５，Ｖｃ_６）の輝度成分（Ｙ）についてヒストグラムを示す。図９に示すように、多視点映像色合わせ装置１は、信号レベルに差があっても、ほぼ同様の波形に合わせることができる。

以上説明したように多視点映像の色合わせ装置１を構成することで、多視点映像色合わせ装置１は、色の信号レベルを区間に分けて、常時、各視点映像から補正係数を求めて、色合わせを行うため、従来の手法よりもより正確に、素早く色補正を行うことができる。
また、多視点映像色合わせ装置１は、色の均一な多視点映像を生成することができる。そのため、多視点映像色合わせ装置１が生成する多視点映像は、信号レベルの差が小さく、符号化効率を高めることができる。

また、多視点映像色合わせ装置１が生成する多視点映像を奥行き推定に用いた場合、奥行値を決めるマッチング誤差をより正確に求めることができるため、高精度な奥行きを推定することが可能になる。さらに、多視点映像色合わせ装置１が生成する多視点映像を、任意の視点位置の映像を生成する任意視点映像合成に用いた場合、高品質な任意視点映像を合成する事ができる。

なお、本発明の多視点映像色合わせ装置１は、コンピュータを、前記した各手段として機能させるためのプログラム（多視点映像色合わせプログラム）で動作させることができる。

〔多視点映像色合わせ装置の動作〕
次に、図１０を参照して（構成については適宜図２参照）、本発明の実施形態に係る多視点映像色合わせ装置１の動作について説明する。

ステップＳ１において、レベル累計手段１０は、多視点映像を入力する。ここでは、レベル累計手段１０Ａは、基準視点カメラＣ_Ａが撮影した基準視点映像を入力し、レベル累計手段１０Ｂ，１０Ｂ，…は、他の視点カメラＣ_Ｂ，Ｃ_Ｂ，…が撮影した他の視点映像を入力する。このとき、各視点映像は、順次に入力してもよいし、並列に同時に入力してもよい。

ステップＳ２において、レベル累計手段１０は、ステップＳ１で入力した視点映像（基準視点映像，他の視点映像）について、色成分単位で信号レベルごとの度数を累計する。ここでは、レベル累計手段１０Ａは、基準視点映像について度数を累計し、レベル累計手段１０Ｂ，１０Ｂ，…は、それぞれ他の視点映像について度数を累計する。

ステップＳ３において、平滑化手段２０は、ステップＳ２で累計された信号レベルごとの度数を、色成分ごとにそれぞれ平滑化フィルタにより平滑化する。これによって、信号レベルごとの度数の細かな変化が平滑化され、色成分の信号レベルを大局的な分布として表すことができる。ここでは、平滑化手段２０Ａは、基準視点映像から累計された信号レベルごとの度数を平滑化し、平滑化手段２０Ｂ，２０Ｂ，…は、それぞれ他の視点映像から累計された信号レベルごとの度数を平滑化する。

ステップＳ４において、レベル基準値決定手段３０は、ステップＳ３で平滑化された信号レベルごとの度数から、色成分ごとに、色合わせを行う基準となる信号レベルのレベル基準値を決定する。具体的には、レベル基準値決定手段３０は、平滑された度数のピーク値を探索し、そのピーク値に予め定めた係数を掛けた値となる色成分の２つの信号レベルを、レベル基準値とする。ここでは、レベル基準値決定手段３０Ａは、平滑化手段２０Ａで平滑化された信号レベルの度数からレベル基準値を決定し、レベル基準値決定手段３０Ｂ，３０Ｂ，…は、それぞれ平滑化手段２０Ｂ，２０Ｂ，…で平滑化された信号レベルの度数からレベル基準値を決定する。

ステップＳ５において、補正係数算出手段４０は、ステップＳ４で決定された基準視点映像のレベル基準値と、他の視点映像のレベル基準値とから、色成分ごとに、他の視点映像の信号レベルを基準視点映像の信号レベルに近似させるための補正係数を算出する。具体的には、補正係数算出手段４０は、他の視点映像の２つのレベル基準値の信号レベルを、基準視点映像の２つのレベル基準値の信号レベルにそれぞれ一致させ、他の信号レベルについては、レベル基準値で区分される各補正区間のレベル変化の傾きが一定となるように、補正係数を算出する。
ここでは、補正係数算出手段４０は、それぞれの他の視点映像別に、色成分ごとの補正係数を算出する。

ステップＳ６において、色補正手段５０は、他の視点カメラＣ_Ｂ，Ｃ_Ｂ，…が撮影した他の視点映像を、色成分ごとに、ステップＳ５で算出した他の視点映像ごとの補正係数を用いて補正する。
これによって、他の視点映像は、色成分ごとの信号レベルが、基準視点映像の色成分ごとの信号レベルに近似するように補正されることになる。

ステップＳ７において、色補正手段５０は、補正後の他の視点映像（補正映像）を出力する。
以上の動作によって、多視点映像色合わせ装置１は、他の視点カメラＣ_Ｂ，Ｃ_Ｂ，…が撮影した他の視点映像の色成分の信号レベルを、基準視点カメラＣ_Ａが撮影した基準視点映像の色成分の信号レベルに近似するように補正することができる。
これによって、多視点映像色合わせ装置１は、基準視点映像と他の視点映像との色合わせを正確に行うことができる。

以上、本発明の実施形態に係る多視点映像色合わせ装置１の構成および動作について説明したが、本発明はこの実施形態に限定されるものではない。
（変形例１）
ここでは、レベル累計手段１０、平滑化手段２０およびレベル基準値決定手段３０を、視点映像（基準視点映像、他の視点映像）の数だけ、並列に構成した。
しかし、レベル累計手段１０、平滑化手段２０およびレベル基準値決定手段３０は、基準視点映像および他の視点映像の処理において、同じ機能を有するため、レベル累計手段１０、平滑化手段２０およびレベル基準値決定手段３０を１組だけ備える構成とし、視点映像ごとに順番に処理することとしてもよい。

（変形例２）
ここでは、視点映像の色成分がＹＵＶ（輝度成分および２つの色差成分）である例を示した。
しかし、視点映像は、この色成分の映像に限定されない。例えば、ＲＧＢ（赤、緑、青）の色成分の映像であってもよい。
その場合、多視点映像色合わせ装置１の各手段は、ＹＵＶと同様にＲＧＢの色成分ごとに色合わせを行えばよい。これによって、多視点カメラＣが各視点映像をＲＧＢの色成分として出力する場合、多視点映像色合わせ装置１は、視点映像を輝度成分と色差成分とに変換する必要がなく、直接色合わせを行うことができる。

（変形例３）
ここでは、レベル基準値決定手段３０は、２つのレベル基準値を求めるための平滑された度数のピーク値（最大度数）に掛ける値（ピーク値に対する割合）を“０．７５”とした。
しかし、このピーク値に対する割合は、“０．７５”に限定されるものではなく、任意の値を用いることができる。例えば、“０．７５”のような大きな値を用いた場合、出現頻度の高い信号レベルで、より正確に色合わせを行うことができる。また、例えば、“０．５”、“０．２５”等、小さい割合を用いた場合、出現頻度の高くない信号レベルでも、より正確に色合わせを行うことができる。

ただし、図５に示したように、視点映像の信号レベルの分布は、第１ピーク以外にも、第２ピーク、第３ピーク等のピークを有する。その場合、割合として小さい割合を用いると、第１ピークからその割合で求めた値に対応する同じ度数の信号レベルが２つよりも多く存在する場合があり、視点映像同士で、誤った信号レベルが対応付けられる場合がある。しかし、その場合は、色合わせを行った視点映像同士の色が大きく異なることになるため、多視点映像色合わせ装置１の操作者は、容易に誤りを視認することができる。
そこで、操作者は、多視点映像色合わせ装置１の多視点映像が正しい色を出力するように、レベル基準値決定手段３０に設定する度数のピーク値に対する割合を調整すればよい。

（変形例４）
ここでは、レベル基準値決定手段３０が、２つのレベル基準値を決定し、補正係数算出手段４０および色補正手段５０が、信号レベルを３つの区間に分けて、それぞれの区間ごとに補正係数を算出し、色の補正を行った。
しかし、信号レベルの基準となるレベル基準値は、１つでも３つ以上でも構わない。
例えば、閾値を１つとする場合、レベル基準値決定手段３０は、信号レベルの平滑された度数のピーク値に対する割合を“１”として、対応する１つの信号レベルをレベル基準値とする。そして、補正係数算出手段４０および色補正手段５０は、［０，レベル基準値］、［レベル基準値，２５５］のように２つに区分した補正区間ごとに、色の補正を行えばよい。
また、例えば、レベル基準値を３つとする場合、前記した２つのレベル基準値に加え、平滑された度数のピーク値に対応する信号レベルを第３のレベル基準値とすればよい。
また、例えば、レベル基準値を４つ以上とする場合、平滑化された度数のピーク値に掛ける値を複数準備（例えば、“０．７５”と“０．２５”）し、複数のレベル基準値を決定すればよい。

（変形例５）
ここでは、補正係数算出手段４０は、図６に示したように、レベル基準値によって複数の補正区間ごとに、信号レベルの補正前レベルと補正後レベルとの関係が、線形の関係を有するように直線の傾きとして補正係数を計算した。
しかし、補正係数算出手段４０は、信号レベルの補正前レベルと補正後レベルとの関係が、非線形な関係であることとして、補正係数を計算してもよい。
その場合、補正係数算出手段４０は、補正前信号レベルと補正後信号レベルとの関係が、補正前のレベル基準値と補正後のレベル基準値とで一致する非線形曲線となるような非線形関数の係数を補正係数として算出すればよい。

例えば、図６の例では、補正係数算出手段４０は、座標（０，０）と、座標（Ｔ_４Ｌ，Ｔ_５Ｌ）と、座標（Ｔ_４Ｈ，Ｔ_５Ｈ）と、座標（２５５，２５５）とのレベル基準値で決定される４点を通る３次のスプライン曲線で近似し、スプライン関数の係数を補正係数として算出する。なお、スプライン関数の次数は、レベル基準値の数に応じて、関数を特定可能な次数であればよい。
そして、色補正手段５０は、補正係数算出手段４０で算出された補正係数で特定されるスプライン関数を用いて、他の視点映像の色成分ごとの信号レベルから、補正後の信号レベルを計算すればよい。
これによって、多視点映像色合わせ装置１は、信号レベルをより滑らかに補正することができ、より正確に色合わせを行うことができる。
なお、非線形関数は、例示したスプライン関数に限定されず、ラグランジュ関数等、任意の点間を補間可能な関数であればなんでもよい。

１ 多視点映像色合わせ装置
１０，１０Ａ，１０Ｂ レベル累計手段
２０，２０Ａ，２０Ｂ 平滑化手段
３０，３０Ａ，３０Ｂ レベル基準値決定手段
４０ 補正係数算出手段
５０ 色補正手段
Ｃ 多視点カメラ
Ｃ_Ａ 基準視点カメラ
Ｃ_Ｂ 他の視点カメラ

Claims (5)

1. 多視点カメラで撮影された複数の視点映像の色合わせを行う多視点映像色合わせ装置であって、
   前記色合わせを行う基準となる予め定めた視点映像である基準視点映像と、前記基準視点映像以外の視点映像である他の視点映像とについて、それぞれ、色成分単位で信号レベルごとの度数を累計するレベル累計手段と、
   前記レベル累計手段で累計された信号レベルごとの度数を平滑化する平滑化手段と、
   前記平滑化手段で平滑化された信号レベルごとのピークの度数の予め定めた割合の度数に対応する信号レベルを、色合わせを行うレベル基準値として決定するレベル基準値決定手段と、
   前記他の視点映像から決定されたレベル基準値である補正前レベル基準値を、前記基準視点映像から決定されたレベル基準値である補正後レベル基準値に変換するように、前記他の視点映像の信号レベルを補正する色成分ごとの補正係数を算出する補正係数算出手段と、
   前記補正係数算出手段で算出された補正係数を用いて、色成分ごとに、前記他の視点映像の画素の信号レベルを補正する色補正手段と、
   を備えることを特徴とする多視点映像色合わせ装置。
2. 前記平滑化手段は、ガウスフィルタにより、前記信号レベルごとの度数を平滑化することを特徴とする請求項１に記載の多視点映像色合わせ装置。
3. 前記補正係数算出手段は、前記補正前レベル基準値で区分した区間ごとの補正前の信号レベルと、前記補正後レベル基準値で区分した区間ごとの補正後の信号レベルとが、線形な関係を満たすように、前記補正前レベル基準値で区分した区間ごとに前記補正係数を算出し、
   前記色補正手段は、前記補正係数を用いて、前記他の視点映像を前記補正前レベル基準値で区分した区間ごとに補正することを特徴とする請求項１または請求項２に記載の多視点映像色合わせ装置。
4. 前記補正係数算出手段は、前記補正前の信号レベルと前記補正後の信号レベルとの関係が非線形曲線となるような非線形関数の係数を前記補正係数として算出し、
   前記色補正手段は、前記補正係数を係数とする前記非線形関数により、前記他の視点映像を補正することを特徴とする請求項１または請求項２に記載の多視点映像色合わせ装置。
5. コンピュータを、請求項１から請求項４のいずれか一項に記載の多視点映像色合わせ装置として機能させるための多視点映像色合わせプログラム。

Images