JP7208823B2 - 映像補正装置及びそのプログラム - Google Patents

Description

本発明は、テレビジョンカメラ等により撮影された映像を入力し、その画素値を補正する技術に関し、特に、入力映像内の陰影に起因する輝度又は色の差異を低減するよう、入力映像内の画素値を局所的に補正する映像補正装置及びそのプログラムに関する。

写真やビデオ映像の色や輝度、コントラストの補正方法として、撮影時に色補正フィルタ（アンバーやブルーなどの色を持つＣＣ(Color Correction Filter)フィルタ）やＮＤ(Neutral Density Filter)フィルタ、或いは原色フィルタ（イエロー、シアン、マゼンタなどの色を持つフィルタ）などの光学フィルタを光路上に配する技法がある。また、絞り、シャッター速度、又は感度（ゲイン）を調整することで輝度（透過率、反射率）の加減が行われる。

銀塩写真における印画紙焼き付け時においては、原色フィルタを光路上に配することや、露出時間を増減すること、現像時間や現像温度を加減すること、現像液の処方を変更することなどが行われる。そして、画像内で部分的な色や輝度の差異を補正又は強調するため、撮影時又は焼き付け時に部分的に濃度の異なるＮＤフィルタ（例えばハーフＮＤフィルタ）を使用することや、部分的に色味の異なる光学フィルタを用いることも行われる。

また、銀塩写真や銀塩映画の印画紙焼き付け時やフィルムデュープ、ポジ起こし時においては、部分的に遮光、減光又は調色するマスクを露光時間の一部乃至全部において適用するいわゆる覆い焼き技法や焼込み技法によって、得られる写真の透過率や反射率、色味を部分的に調整することも行われる。

一方で、デジタル画像やデジタルビデオ映像においては、撮像センサの感度の調整や、撮像センサの出力に適用するトーンカーブ、ルックアップテーブル、色変換行列、或いはバイアスを加えることによって色や輝度、コントラストを調整することが行われる。

また、映像編集機等においては、画像の部分領域に対してマスクを適用し、マスク領域の内外において適用するトーンカーブ、ルックアップテーブル、色変換行列、或いはバイアスを違えて加えることで、画面内で部分的に色や輝度、コントラストを調整することも行われている。

また、映像編集機等において、被写体が動物体である場合に当該マスク領域を被写体の動きに追従して移動させること（いわゆるマッチムーブ）で、色や輝度、コントラストを調整する領域を移動させることもある。

尚、部分的に光量を調整可能とした液晶フィルタをカメラの光路上に配する技術が知られている（例えば、特許文献１参照）。特許文献１には、補正対象が動画である場合に複数フレームから背景画像を作成し、該背景画像に基づいて部分的な補正値（光量調整信号）を生成する方法も開示されている。また、特許文献１には、背景画像にローパスフィルタを適用しシーンの明暗部境界における液晶フィルタの急激な濃度変化を回避し、撮像画像における不自然な境界線の発生を防ぐことも開示されている。

被写体が適切な露光量となるようデジタルカメラ等の撮影装置の感度（ゲイン）、絞り、シャッター速度を自動調整する技術として、画像を部分領域に分割し部分領域ごとの輝度の差異等に応じて被写体や情景を推定して調整量を算出する分割測光方式や、顔画像検出（例えば、非特許文献１参照）等の被写体認検出を行った後で該被写体が適切な露光量となるよう調整量を算出する測光方式がある。

特開２００１－３３３３２９号公報

Paul Viola and Michael Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features," Proceeding of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.511-518, Date of Conference: 8-14 Dec. 2001, Date Added to IEEE Xplore: 15 April 2003.

上述したように、静止画や動画に対し色や輝度の補正を行う技法には、光学的に行うものや、画像処理で行うものなど種々のものがある。しかし、光学フィルタによる色や輝度の補正は、とくに銀塩写真以外においては、撮影時にのみ適用可能であり、撮影事後にその効果を変更することはできない。また、部分的に色味や輝度を補正したい場合、その部分形状に合わせて光学フィルタの濃度を変化させる必要があり、多様なシーンや時々刻々変化する動画への適用は困難である。

また、映像編集機等の場合、事後の色や輝度の補正は可能であるが、例えばサッカー場のような競技場の一部が屋根の影で暗くなっている場合があるサッカー競技の撮影映像など、時々刻々、影領域が変化する映像の場合には、マスク形状を次々刻々変更する必要が生じ、膨大な手間がかかる。また、上述したマッチムーブは比較的明瞭な画像特徴を有する被写体の追随には好適であるものの、影領域は輪郭が不鮮明な影領域の追随には適していない。また、影領域の動きとテクスチャの動きは一般的には一致しないため（影領域は照明光の移動に起因する一方、テクスチャの移動は被写体の運動に起因するため）、マッチムーブが誤動作する危険性もある。

さらに、上述した分割測光方式や顔画像検出等による測光技術は、或る特定の被写体に適切な露出を設定するには好適であるが、陰影パターンや被写体形状を正確に捉える方式ではないため部分的な露出補正に応用することは困難である。

尚、分割測光方式は、その実装によっては被写体の内容（人物の顔であるか否か、風景であるか否か）などを推定し、該推定結果に応じた適切な露出設定を可能とする。このように分割測光方式は被写体を特定する機能を有するともいえるが、測光結果に応じて制御されるのは高々感度（ゲイン）、絞り、シャッター速度、及びＮＤフィルタであり、画面全体の一様な露出制御に留まる。

一方で、特許文献１においては、光量調整信号の生成法の一例として輝度ヒストグラムに基づき、所定の輝度超となる時には液晶フィルタの透過率を減じ、また別の輝度未満となる時には液晶フィルタの透過率を増ずる方法が開示されている。特許文献１の図３に示されるような液晶フィルタの透過率調整によれば、あたかもガンマやニー、ルックアップテーブルのような輝度変換曲線による輝度変換の効果が光学的に得られ、撮像素子のダイナミックレンジを有効に活用することができる。

しかし、このような透過率調整は、シーンの明暗のみに応じて、明るい箇所を暗く抑え、暗い箇所を明るくするよう画面全体を補正するものであるため、特定の被写体部分（或いは背景部分）のみの輝度を増減する（換言すれば、特定の被写体以外の部分は明るかろうと暗かろうと補正しない）といった局所的な輝度補正を実現するものではない。例えばサッカー場のような競技場の一部が屋根の影で暗くなっている場合など、背景たる芝生において影になっている領域のみについて芝生及び選手の輝度を明るく持ち上げる目的においては、特許文献１の技術は有効ではない。

そこで、本発明の目的は、上述の問題に鑑みて、入力映像内の陰影に起因する輝度又は色の差異を低減するよう、入力映像内の画素値を局所的に補正する映像補正装置及びそのプログラムを提供することにある。

本発明の映像補正装置は、入力映像内の画素値を局所的に補正する映像補正装置であって、入力映像の時系列から、動物体を除去した背景画像を生成する背景画像生成手段と、前記背景画像の中から画素値の補正の対象とする領域を対象領域として、当該補正の度合いを決定するための参照とすべき領域を参照領域として定め、前記背景画像の全体について、前記背景画像の各画素位置が当該参照領域に属する画素値を持つか当該対象領域に属する画素値を持つかを少なくとも判別し、該判別結果を画像として表したラベル画像を生成する判別手段と、前記ラベル画像に基づいて、前記背景画像について当該対象領域に属する画素値を持つ各画素位置の画素値の統計量を対象領域画素値統計量として、当該参照領域に属する画素値を持つ各画素位置の画素値の統計量を参照領域画素値統計量として算出する画素値統計手段と、前記対象領域画素値統計量及び前記参照領域画素値統計量に基づき、当該対象領域に属する画素値を持つ各画素位置における入力映像の画素値を、当該参照領域に属する画素値を持つ各画素位置における該入力映像の画素値に近似するよう変換するために、算出した前記対象領域画素値統計量及び前記参照領域画素値統計量について当該対象領域及び当該参照領域における所定の平均色ベクトル及び分散・共分散行列を求め、それぞれの当該所定の平均色ベクトル及び分散・共分散行列を基に、所定の計算式により前記参照領域に属する画素値の分散と前記対象領域に属する画素値の分散とが一致するように前記対象領域に属する画素値に対するバイアス及びゲインを導出し、前記バイアス及びゲインに対応する補正パラメータを導出する補正パラメータ導出手段と、前記ラベル画像に対応付けられた当該補正パラメータに基づいて、該入力映像の画素値を変換して補正済映像を生成する補正手段と、を備えることを特徴とする。

また、本発明の映像補正装置において、前記背景画像の中から画素値の補正の対象とする領域を対象領域として、当該補正の度合いを決定するための参照とすべき領域を参照領域として指定する領域指定手段を更に備えることを特徴とする。

また、本発明の映像補正装置において、前記対象領域内の背景画像の特徴を対象領域特徴として、及び前記参照領域内の背景画像の特徴を参照領域特徴として定量的に抽出する特徴抽出手段を更に備え、前記判別手段は、前記参照領域特徴及び前記対象領域特徴に基づき、前記ラベル画像を生成することを特徴とする。

また、本発明の映像補正装置において、前記参照領域特徴及び前記対象領域特徴の各々は、対応する平均色ベクトルで表される特徴、或いは該平均色ベクトルと分散・共分散行列で表される特徴を含み、前記判別手段は、各画像座標における前記背景画像の画素値と前記参照領域特徴との間のマハラノビス距離、及び前記背景画像の画素値と前記対象領域特徴との間のマハラノビス距離を用いた分類で前記ラベル画像を生成することを特徴とする。

また、本発明の映像補正装置において、前記ラベル画像に対し、モルフォロジフィルタ処理を施すモルフォロジフィルタ手段を更に備えることを特徴とする。

また、本発明のプログラムは、コンピュータを、本発明の映像補正装置として機能させるためのプログラムとして構成されている。

本発明によれば、入力映像内の陰影を示すラベル画像を基に入力映像を補正して補正済映像を得るように構成されるため、リアルタイムに入力される映像であっても、その入力映像内の陰影に起因する輝度や色の差異が小さくなるよう当該入力映像の各画素値を補正することができる。特に、本発明では、好適には、そのラベル画像に対し本発明に係るモルフォロジフィルタを適用することで、入力映像に含まれるノイズや背景画像の模様に起因するラベル画像の所定サイズ以下のパターン（数画素単位の細かい任意形状の小領域）を除去し、当該補正済映像に生じ得る細かい輝度のむらを抑えることができる。

本発明による第１実施形態の映像補正装置の概略構成を例示するブロック図である。 本発明による第１実施形態の映像補正装置の動作を示すフローチャートである。 （ａ），（ｂ）は、本発明による第１実施形態の映像補正装置における背景画像の生成に関する説明図である。 （ａ），（ｂ）は、本発明による第１実施形態の映像補正装置におけるラベル画像の生成に関する説明図である。 （ａ），（ｂ）は、本発明による第１実施形態の映像補正装置における入力映像内の暗領域の輝度（明るさ）を明領域の輝度と同等になるよう補正した補正済画像の生成に関する説明図である。 本発明による第２実施形態の映像補正装置の概略構成を例示するブロック図である。 本発明による第２実施形態の映像補正装置におけるモルフォロジフィルタの動作に関する説明図である。

以下、図面を参照しながら、本発明による各実施形態の映像補正装置１について説明する。

〔第１実施形態〕
（装置構成）
図１は、本発明による第１実施形態の映像補正装置１の概略構成を例示するブロック図である。第１実施形態の映像補正装置１は、テレビジョンカメラ等により撮影された映像を入力し、この入力映像Ｉ内の陰影に起因する輝度又は色の差異を低減するよう、入力映像Ｉ内の画素値を局所的に補正して補正済映像Ｊとして出力する装置であり、背景画像生成部１０、領域指定部１１、特徴抽出部１２、判別部１３、画素値統計部１４、補正パラメータ導出部１５、及び補正部１６を備える。

本願明細書中、時刻ｔ、画像座標（ｘ，ｙ）における映像の画素値は、映像を表す文字の後に（ｔ；ｘ，ｙ）を付して示すものとする。例えば、入力映像Ｉの、時刻ｔ、画像座標（ｘ，ｙ）における画素値はＩ（ｔ；ｘ，ｙ）と記す。尚、画素値はスカラー量であっても構わないし（例えば、モノクロ映像の場合）、ベクトル量であっても構わない（例えば、カラー映像において、赤、緑及び青の３成分からなるベクトル値）。

以下の説明では、代表的な例として、第１実施形態の映像補正装置１は、画角が固定されたテレビジョンカメラ等により撮影された映像を入力し、入力映像Ｉ内の画素値をリアルタイムで補正して出力する例を説明する。ただし、第１実施形態の映像補正装置１は、収録済みの映像を再生入力し、その再生映像内の画素値をリアルタイムで補正して再記録するとしてもよい。

背景画像生成部１０は、入力映像Ｉの時系列（複数の入力映像フレーム）から、動物体を除去した背景画像Ｂを生成し、特徴抽出部１２、及び判別部１３に出力する。背景画像の生成は、背景差分法に用いられる既存の手法を用いることができる。例えば、背景画像生成部１０は、特許第５２２７２２６号明細書の［数８］に示される背景生成法によって背景画像Ｂを生成する。

尚、本例のように画角が固定された入力映像を対象としているときは、補正開始時に背景画像Ｂを作成すれば、繰り返し作成せずとも以降の入力映像に対して利用できる。ただし、入力映像内でシーンチェンジが発生するときや、日照条件等で明暗に差異が生じることもある。このような場合にも対応できるように、公知のシーンチェンジ検出技術を利用した入力映像に対するシーンチェンジ検出部を設け、そのシーンチェンジ検出時に、背景画像生成部１０を自動的に再起動させてもよい。また、外部操作で任意時刻に背景画像Ｂの作成を背景画像生成部１０に指示する機能部や、背景画像Ｂの作成を定期的にユーザに通知する機能部、或いは一定期間毎に背景画像Ｂを自動作成する機能部等を設けてもよい。

以下、画像座標（ｘ，ｙ）における画像の画素値は、画像を表す文字の後に（ｘ，ｙ）を付して示すものとする。例えば、背景画像Ｂの、画像座標（ｘ，ｙ）における画素値はＢ（ｘ，ｙ）と記す。

領域指定部１１は、背景画像Ｂにおいて、背景画像Ｂの中から画素値の補正の対象とする領域を対象領域Ｑ_Ｔとして、当該補正の度合いを決定するための参照とすべき領域を参照領域Ｑ_Ｒとして、背景画像Ｂ上で外部から指定するユーザインタフェースを有する。

このようなユーザインタフェースは、背景画像生成部１０によって背景画像Ｂが生成されるとその背景画像Ｂをディスプレイ（図示せず）に表示させ、ユーザに対し対象領域Ｑ_Ｔ及び参照領域Ｑ_Ｒを指定するように操作指示が提示されるように構成される。このユーザインタフェースの形態は、マウスや、ペンタブレット、液晶ペンタブレット、タッチパネル、ディジタイザ、トラックボール、ジョイスティック、ライトペンといった座標指定デバイスによって画像領域又は画像座標（絶対座標であっても、相対座標（カーソルの移動量）であってもよい）を指示するものであってもよいし、キーボードや画面上に表示されたグラフィカルユーザインタフェース（例えば、ボタン）で構成して、座標値を打ち込むものであっても構わない。尚、本例のユーザインタフェースは、ユーザが任意時刻で作動させることができ、背景画像生成部１０に対し背景画像Ｂを生成するよう指示する機能も有している。また、シーンチェンジや定期的な制御で背景画像生成部１０が背景画像Ｂを自動生成する構成とする場合では、その背景画像Ｂの生成をトリガとして、このユーザインタフェースによる設定を背景画像生成部１０から領域指定部１１にアナウンスする形態とすることもできる。

これにより、領域指定部１１は、背景画像Ｂ上において２つの領域、即ち対象領域Ｑ_Ｔ及び参照領域Ｑ_Ｒ（例えば、矩形領域）を指定することができ、指定された対象領域Ｑ_Ｔ及び参照領域Ｑ_Ｒの情報は特徴抽出部１２に出力される。

特徴抽出部１２は、背景画像生成部１０により生成された背景画像Ｂと、領域指定部１１によって指定された対象領域Ｑ_Ｔ及び参照領域Ｑ_Ｒの情報を入力し、対象領域Ｑ_Ｔ内の背景画像Ｂの特徴、及び参照領域Ｑ_Ｒ内の背景画像Ｂの特徴を定量的に抽出し、その結果としてそれぞれ得られる対象領域特徴、及び参照領域特徴の各情報を判別部１３に出力する。

例えば、特徴抽出部１２は、参照領域特徴として、［数１］に示すように、参照領域Ｑ_Ｒ内の背景画像Ｂの平均色ベクトルμ_Ｒを算出する。尚、以下において、ベクトルは列ベクトルとする。

この変形例として、特徴抽出部１２は、平均色ベクトルμ_Ｒに加えて、［数２］に示すように、参照領域Ｑ_Ｒ内の背景画像Ｂの分散・共分散行列Ｖ_Ｒを算出し、参照領域特徴として含めてもよい。

尚、右上付きのＴは、ベクトル又は行列の転置を表す演算子であり、対象領域を示す右下付きのＴとは区別される。

同様に、特徴抽出部１２は、対象領域特徴として、［数３］に示すように、対象領域Ｑ_Ｔ内の背景画像Ｂの平均色ベクトルμ_Ｔを算出する。

この変形例として、特徴抽出部１２は、平均色ベクトルμ_Ｔに加えて、［数４］に示すように、参照領域Ｑ_Ｔ内の背景画像Ｂの分散・共分散行列Ｖ_Ｔを算出し、対象領域特徴として含めてもよい。

判別部１３は、特徴抽出部１２から得られる参照領域特徴及び対象領域特徴に基づき、背景画像生成部１０から得られる背景画像Ｂの全体について、背景画像Ｂの各画素位置が参照領域Ｑ_Ｒに属する画素値を持つか対象領域Ｑ_Ｔに属する画素値を持つかを少なくとも判別し、該判別結果を画像として表したラベル画像Ｌを生成して、画素値統計部１４、及び補正部１６に出力する。

ここで、判別部１３は、背景画像Ｂの各画素位置が参照領域Ｑ_Ｒに属する画素値を持つか対象領域Ｑ_Ｔに属する画素値を持つかの二択で分類する二値でラベル画像Ｌを生成する方法と、背景画像Ｂの各画素位置が参照領域Ｑ_Ｒに属する画素値を持つか対象領域Ｑ_Ｔに属する画素値を持つか、或いはそれ以外（otherwise）のが装置を持つかの三択で分類する多値（二値化以外の実数値を含む）でラベル画像Ｌを生成する方法がある。

（二値のラベル画像Ｌ）
二値のラベル画像Ｌの生成例として、例えば、判別部１３は、画像座標（ｘ，ｙ）における背景画像Ｂの画素値Ｂ（ｘ，ｙ）と参照領域Ｑ_Ｒにおける参照領域特徴との間のマハラノビス(Mahalanobis)距離ｄ_Ｒ（ｘ，ｙ）、及び画素値Ｂ（ｘ，ｙ）と対象領域Ｑ_Ｔにおける対象領域特徴との間のマハラノビス距離ｄ_Ｔ（ｘ，ｙ）をそれぞれ求め、距離ｄ_Ｔ（ｘ，ｙ）及び距離ｄ_Ｒ（ｘ，ｙ）の大小で二分類して二値化したラベル画像Ｌを生成する。

マハラノビス距離ｄ_Ｒ及びｄ_Ｔは、次式の［数５］により計算される。

また、二値化したラベル画像Ｌの画素値Ｌ（ｘ，ｙ）は、例えば、次式の［数６］により決定される。

上記の［数６］により、背景画像Ｂの各画素位置において、対象領域Ｑ_Ｔに属する画素値を持つときはラベル画像Ｌ上では画素値０となり、参照領域Ｑ_Ｒに属する画素値を持つときはラベル画像Ｌ上では画素値１となる。尚、［数６］では、具体的な画素値として｛０，１｝のいずれかとしているが、例えば｛０，２５５｝などのように任意の数値で二値化してもよい。

（多値のラベル画像Ｌ）
多値のラベル画像Ｌの生成例として、例えば、判別部１３は、上記と同様に、マハラノビス距離ｄ_Ｒ（ｘ，ｙ）、及びマハラノビス距離ｄ_Ｔ（ｘ，ｙ）をそれぞれ求め、距離ｄ_Ｔ（ｘ，ｙ）及び距離ｄ_Ｒ（ｘ，ｙ）について、０＜ｋ_１＜ｋ_２なる２実数ｋ_１及びｋ_２に対し、以下に示す［数７］又は［数８］のように、多値（二値化以外の実数値を含む）で三分類して多値化したラベル画像Ｌを生成する。

上記の［数７］においてＬ（ｘ，ｙ）＝０．５の画素は対象領域Ｑ_Ｔ及び参照領域Ｑ_Ｒのいずれにも属さないものと扱ってもよいし、上記の［数８］のように画素値が大きいほど参照領域らしく、その画素値が小さいほど対象領域らしいものとして、３値を超える多値のラベル画像Ｌとしてもよい。

画素値統計部１４は、ラベル画像Ｌに基づいて、背景画像Ｂについて対象領域Ｑ_Ｔに属する画素値を持つ各画素位置（領域ＱＴ）の画素値の統計量を対象領域画素値統計量Ｓ_Ｔとして、参照領域Ｑ_Ｒに属する画素値を持つ各画素位置（領域ＱＲ）の画素値の統計量を参照領域画素値統計量Ｓ_Ｒとして算出し、それぞれ補正パラメータ導出部１５に出力する。

画素値統計部１４は、シーンチェンジや日照状況等の変化で生成された背景画像Ｂの生成時にのみ実行してもよいし、背景画像Ｂに対する対象領域Ｑ_Ｔ及び参照領域Ｑ_Ｒの指定変更されたときなどラベル画像Ｌの生成時にのみ実行しても構わないし、また、背景画像Ｂやラベル画像Ｌの生成をタイマー等によって定期的に実行させたときに実行しても構わない。以下、画素値統計部１４の実行のタイミングを時刻ｔ_０とする。

対象領域画素値統計量Ｓ_Ｔ及び参照領域画素値統計量Ｓ_Ｒとしては、例えば、３次元の色ヒストグラム、色成分ごとの１次元ヒストグラム、色ベクトルの平均ベクトル、色ベクトルの分散・共分散行列、各色成分の信号値の最小値、最大値、平均値、中央値、最頻値、或いは分散値（又は標準偏差）を用いることができる。

［数６］や［数７］で示されるように、ラベル画像Ｌの画素値が、対象領域Ｑ_Ｔに属する画素値を持つ各画素位置（領域ＱＴ）において０、参照領域Ｑ_Ｒに属する画素値を持つ各画素位置（領域ＱＲ）において１をそれぞれとる場合に、対象領域の平均色ベクトルｍ_Ｔ及び分散・共分散行列Ｗ_Ｔ、並びに参照領域の平均色ベクトルｍ_Ｒ及び分散・共分散行列Ｗ_Ｒは、それぞれ以下に示す［数９］及び［数１０］により算出することができる。

また、ラベル画像Ｌが、［数８］で示されるように多値で表される場合には、対象領域の平均色ベクトルｍ_Ｔ及び分散・共分散行列Ｗ_Ｔ、並びに参照領域の平均色ベクトルｍ_Ｒ及び分散・共分散行列Ｗ_Ｒは、それぞれ以下に示す［数１１］及び［数１２］により算出することができる。

補正パラメータ導出部１５は、画素値統計部１４で算出された対象領域画素値統計量Ｓ_Ｔ及び参照領域画素値統計量Ｓ_Ｒに基づき、対象領域Ｑ_Ｔに属する画素値を持つ各画素位置（領域ＱＴ）における入力映像Ｉの画素値を、参照領域Ｑ_Ｒに属する画素値を持つ各画素位置（領域ＱＲ）における入力映像Ｉの画素値に近似するよう変換する補正パラメータを導出し、補正部１６に出力する。この補正パラメータは、バイアス及びゲインで表されるものであってもよいし、色変換行列であってもよいし、色変換のためのルックアップテーブルであっても構わない。

補正パラメータ導出部１５の出力する補正パラメータがバイアスｂ及びゲインＧである場合には、例えば、次式の［数１３］のように入力及び出力の画素値の各色成分独立にバイアスｂ及びゲインＧを定めてもよい。

尚、上記の［数１３］において、右上付きの（Ｒ）、（Ｇ）及び（Ｂ）は色成分（又は色差成分）を区別する文字である。

補正部１６は、ラベル画像Ｌに対応付けられた補正パラメータ導出部１５から得られる補正パラメータに基づいて、入力映像Ｉの画素値を変換して補正済映像Ｊを生成し、外部に出力する。

補正パラメータ導出部１５の出力する補正パラメータがバイアスｂ及びゲインＧである場合には、補正部１６は、次式の［数１４］により出力すべき補正済映像の画素値Ｊ（ｔ;ｘ，ｙ）を算出することができる。

ここで、ラベル画像Ｌが３値以上の多値をとる場合に、補正部１６は、次式の［数１５］のようにラベル画像Ｌの画素値に応じて補正の度合いを調整するよう構成してもよい。

ここで、ラベル画像Ｌが３値以上の多値をとる場合に、補正部１６は、次式の［数１５］のようにラベル画像Ｌの画素値に応じて補正の度合いを調整するよう構成してもよい。

（装置動作）
以下、図２に示すフローチャートに基づいて、図３乃至図５を参照しながら、第１実施形態の映像補正装置１の動作をより分かりやすく説明する。図２は、本発明による第１実施形態の映像補正装置１の動作を示すフローチャートである。図３（ａ），（ｂ）は、背景画像Ｂの生成に関する説明図であり、図４（ａ），（ｂ）は、ラベル画像Ｌの生成に関する説明図である。また、図５（ａ），（ｂ）は、入力映像Ｉ内の暗領域の輝度（明るさ）を明領域の輝度と同等になるよう補正した補正済画像Ｊの生成に関する説明図である。

まず、図２に示すように、映像補正装置１は、背景画像生成部１０により、入力映像Ｉの時系列（複数の入力映像フレーム）から、動物体を除去した背景画像Ｂを生成する（ステップＳ１）。

例えば、図３（ａ）に示すように、背景画像生成部１０は、入力映像Ｉから抽出した複数の入力映像フレームを用いて、背景差分法により、時刻ｔ＝ｔａの入力映像Ｉの各画素位置（ｘ，ｙ）の画素値Ｉ（ｔ＝ｔａ；ｘ，ｙ）から、時刻ｔ＝ｔｂの入力映像Ｉの各画素位置（ｘ，ｙ）の画素値Ｉ（ｔ＝ｔｂ；ｘ，ｙ）までを比較して差分すると、時刻ｔ＝ｔａの入力映像Ｉ内に写り込んでいた動物体Ｍ１，Ｍ２や、時刻ｔ＝ｔｂの入力映像Ｉ内に写り込んでいた動物体Ｍ１，Ｍ２，Ｍ３を抽出することができる。そして、図３（ｂ）に示すように、これらの動物体を除去した画素値Ｂ（ｘ，ｙ）を持つ背景画像Ｂを得ることができる。

続いて、映像補正装置１は、特徴抽出部１２により、背景画像生成部１０により生成された背景画像Ｂと、領域指定部１１によって指定された対象領域Ｑ_Ｔ及び参照領域Ｑ_Ｒの情報を入力し、対象領域Ｑ_Ｔ内の背景画像Ｂの特徴を対象領域特徴として、参照領域Ｑ_Ｒ内の背景画像Ｂの特徴を参照領域特徴として定量的に抽出する（ステップＳ２）。

例えば、図４（ａ）に示すように、領域指定部１１は、ユーザインタフェースを介して、背景画像Ｂの中から画素値の補正の対象とする領域を対象領域Ｑ_Ｔとして、当該補正の度合いを決定するための参照とすべき領域を参照領域Ｑ_Ｒとして指定する。尚、図４（ａ）に示す例では、背景画像Ｂ内の暗領域（影領域）を対象領域Ｑ_Ｔとし、背景画像Ｂ内の明領域（非影領域）を参照領域Ｑ_Ｒとして指定した例を示している。そして、特徴抽出部１２は、領域指定部１１によって指定された対象領域Ｑ_Ｔ及び参照領域Ｑ_Ｒの情報を入力し、対象領域Ｑ_Ｔ内の背景画像Ｂの特徴を対象領域特徴として、参照領域Ｑ_Ｒ内の背景画像Ｂの特徴を参照領域特徴として定量的に抽出することができる。

続いて、映像補正装置１は、判別部１３により、参照領域特徴及び対象領域特徴に基づき、背景画像Ｂの全体について、背景画像Ｂの各画素位置が参照領域Ｑ_Ｒに属する画素値を持つか対象領域Ｑ_Ｔに属する画素値を持つかを少なくとも判別する領域分類を行い、その領域分類を画像として表したラベル画像Ｌを生成する（ステップＳ３）。

例えば、図４（ｂ）に極端な例として示すように、判別部１３は、背景画像Ｂの全体について、背景画像Ｂの各画素位置が参照領域Ｑ_Ｒに属する画素値を持つか対象領域Ｑ_Ｔに属する画素値を持つかを少なくとも判別する領域分類を行い、その領域分類を画像として表したラベル画像Ｌを生成することができる。

続いて、映像補正装置１は、画素値統計部１４により、ラベル画像Ｌに基づいて、背景画像Ｂについて対象領域Ｑ_Ｔに属する画素値を持つ各画素位置（領域ＱＴ）の画素値の統計量を対象領域画素値統計量Ｓ_Ｔとして、参照領域Ｑ_Ｒに属する画素値を持つ各画素位置（領域ＱＲ）の画素値の統計量を参照領域画素値統計量Ｓ_Ｒとして算出する（ステップＳ４）。

続いて、映像補正装置１は、補正パラメータ導出部１５により、対象領域画素値統計量Ｓ_Ｔ及び参照領域画素値統計量Ｓ_Ｒに基づき、対象領域Ｑ_Ｔに属する画素値を持つ各画素位置（領域ＱＴ）における入力映像Ｉの画素値を、参照領域Ｑ_Ｒに属する画素値を持つ各画素位置（領域ＱＲ）における入力映像Ｉの画素値に近似するよう変換する補正パラメータを導出する（ステップＳ５）。

続いて、映像補正装置１は、補正部１６により、ラベル画像Ｌに対応付けられた補正パラメータに基づいて、入力映像Ｉの画素値を変換して補正済映像Ｊを生成し、外部に出力する（ステップＳ６）。

例えば、図５（ａ）に示すように或る時刻ｔ（ｔ_０以降）に動物体Ｍ４，Ｍ５が写り込んだ入力映像Ｉが補正対象として補正部１６に入力されたとすると、補正部１６は、その入力映像Ｉにおける動物体Ｍ４，Ｍ５の有無に影響されず、背景画像Ｂ上で暗領域を示していた領域を、本例では補正境界ＢＬを境に、背景画像Ｂ上で明領域を示していた領域と同等の輝度又は色合いに補正した補正済映像Ｊを生成することができる。

このように、本実施形態の映像補正装置１は、入力映像Ｉ内の陰影を示すラベル画像Ｌを基に入力映像Ｉを補正して補正済映像Ｊを得るように構成されるため、リアルタイムに入力される映像であっても、その入力映像Ｉ内の陰影に起因する輝度や色の差異が小さくなるよう当該入力映像Ｉの各画素値を補正することができる。

〔第２実施形態〕
（装置構成）
図６は、本発明による第２実施形態の映像補正装置１の概略構成を例示するブロック図である。第２実施形態の映像補正装置１において、図１に示すものと同様の構成要素には、同一の参照番号を付している。

第２実施形態の映像補正装置１は、背景画像生成部１０、領域指定部１１、特徴抽出部１２、判別部１３、画素値統計部１４、補正パラメータ導出部１５、補正部１６、及びモルフォロジフィルタ１７を備え、図１に示すものと比較してモルフォロジフィルタ１７を更に備える点で相違しており、その他の機能部は第１実施形態と同様に機能する。

まず、第１実施形態の構成では、入力映像Ｉの信号対雑音比（Ｓ／Ｎ）が不良である場合（例えば、Ｓ／Ｎが２０ｄＢ未満の場合）に、その雑音に起因して判別部１３の出力するラベル画像Ｌ内には細かい（例えば、孤立点や３×３画素程度以下の孤立領域である）領域が生じうる。このような場合、補正部１６により、そのラベル画像Ｌに基づいた補正パラメータを用いて入力映像Ｉを補正すると、補正済映像Ｊに細かいまだら模様が生じ、不自然な補正済映像Ｊが出力されてしまう可能性がある。このとき、ラベル画像Ｌに対し、例えば３×３等の空間ローパスフィルタを適用しても、十分に当該まだら模様を抑圧できないことがある。そこで、本実施形態では、ラベル画像Ｌに対し、モルフォロジフィルタ処理を適用することで、補正済映像Ｊのまだら模様を抑圧するようにした。

モルフォロジフィルタ１７は、判別部１３によって生成されたラベル画像Ｌにおける対象領域Ｑ_Ｔに属する画素値を持つ各画素位置（領域ＱＴ）に対して走査（移動処理）しながら、モルフォロジフィルタ処理を適用することにより、領域ＱＴ内で所定サイズ以下のパターン（数画素単位の細かい任意形状の小領域）を除去し、当該モルフォロジフィルタ処理後のラベル画像Ｌを画素値統計部１４、及び補正部１６に出力する。

（領域ＱＴが暗領域のとき）
領域ＱＴが暗領域の場合、モルフォロジフィルタ１７は、ラベル画像Ｌにおける領域ＱＴに対して、図７の上段に示すラベル画像Ｌにおける注目画素Ｐ（ｘ、ｙ）について例えば半径ｋ（２画素）の円形カーネル内で、［数１６］に示す収縮演算ｅｒｏ_ｋ及び膨張演算ｄｉｌ_ｋを順次適用するオープニング演算を適用する。例えば、図７の中段に示すように、領域ＱＴに収縮演算ｅｒｏ_ｋを適用することで、注目画素Ｐ（ｘ、ｙ）の画素値を、円形カーネル内で最小の画素値を示すＬｍｉｎに置き換えたｅｒｏ_ｋ［Ｌ］（ｘ，ｙ）の画素値を得ることができる。これにより、領域ＱＴ内の細かい白点状の小領域（例えば、孤立点や３×３画素程度以下の孤立領域）を消去することができる。

（領域ＱＴが明領域のとき）
領域ＱＴが明領域の場合、モルフォロジフィルタ１７は、ラベル画像Ｌにおける領域ＱＴに対して、図７の上段に示すラベル画像Ｌにおける注目画素Ｐ（ｘ、ｙ）について例えば半径ｋ（２画素）の円形カーネル内で、［数１６］に示す膨張演算ｄｉｌ_ｋ及び収縮演算ｅｒｏ_ｋを順次適用するクロージング演算を適用する。例えば、図７の下段に示すように、領域ＱＴに収縮演算ｄｉｌ_ｋを適用することで、注目画素Ｐ（ｘ、ｙ）の画素値を、円形カーネル内で最大の画素値を示すＬｍａｘに置き換えたｄｉｌ_ｋ［Ｌ］（ｘ，ｙ）の画素値を得ることができる。これにより、領域ＱＴ内の細かい黒点状の小領域（例えば、孤立点や３×３画素程度以下の孤立領域）を消去することができる。

これにより、入力映像Ｉの信号対雑音比（Ｓ／Ｎ）が不良である場合（例えば、Ｓ／Ｎが２０ｄＢ未満の場合）でも、より自然な補正済映像Ｊを生成することができる。

尚、モルフォロジフィルタ１７は、上述の例では、ラベル画像Ｌにおける領域ＱＴに対してのみ、モルフォロジフィルタを適用する例を説明したが、ラベル画像Ｌ全体に対して、明領域であるか暗領域であるかでモルフォロジフィルタを切り替え適用する構成としてもよい。

もしくは、モルフォロジフィルタ１７はラベル画像Ｌ全体に対して、明領域であるか暗領域であるかでモルフォロジフィルタを切り替えることなく、以下の［数１９］乃至［数２１］のいずれかの演算を適用してもよい。

上記の［数１９］における２重に順次適用するｄｉｌ_ｋを、半径２ｋ（例えば４画素）の例えば円形のカーネルによる膨張演算ｄｉｌ_２ｋに置き換えて、以下の［数２０］のように実装してもよい。

上記の［数２１］における２重に順次適用するｅｒｏ_ｋを、半径２ｋ（例えば４画素）の例えば円形のカーネルによる収縮演算ｅｒｏ_２ｋに置き換えて、以下の［数２２］のように実装してもよい。

尚、［数１９］及び［数２０］はオープニング演算の後にクロージング演算を適用するモルフォロジフィルタである。一方、［数２１］及び［数２２］はクロージング演算の後にオープニング演算を適用するモルフォロジフィルタである。［数１９］乃至［数２２］のいずれによっても、細かい黒点状の小領域及び細かい白点状の小領域の両方を消去することができる。このような［数１９］乃至［数２２］のいずれかに従うモルフォロジフィルタであれば、明領域であるか暗領域であるかの判別が不要となり、明領域と暗領域が複雑に分類されるような場合では特に処理負担を軽減させ、且つ高精度に補正済映像Ｊのまだら模様を抑圧できるようになる。

これにより、入力映像Ｉの信号対雑音比（Ｓ／Ｎ）が不良である場合（例えば、Ｓ／Ｎが２０ｄＢ未満の場合）でも、より自然な補正済映像Ｊを生成することができる。

このように、本実施形態の映像補正装置１においても、入力映像Ｉ内の陰影を示すラベル画像Ｌを基に入力映像Ｉを補正して補正済映像Ｊを得るように構成されるため、リアルタイムに入力される映像であっても、その入力映像Ｉ内の陰影に起因する輝度や色の差異が小さくなるよう当該入力映像Ｉの各画素値を補正することができる。

特に、本実施形態の映像補正装置１は、そのラベル画像Ｌに対し本発明に係るモルフォロジフィルタを適用することで、入力映像Ｉに含まれるノイズや背景画像の模様に起因するラベル画像Ｌの所定サイズ以下のパターン（数画素単位の細かい任意形状の小領域）を除去し、当該補正済映像Ｊに生じ得る細かい輝度のむらを抑えることができる。

上述した各実施形態の例に関して、映像補正装置１として機能するコンピュータを構成し、これらの装置の各手段を機能させるためのプログラムを好適に用いることができる。具体的には、各手段を制御するための制御部をコンピュータ内の中央演算処理装置（ＣＰＵ）で構成でき、且つ、各手段を動作させるのに必要となるプログラムを適宜記憶する記憶部を少なくとも１つのメモリで構成させることができる。即ち、そのようなコンピュータに、ＣＰＵによって該プログラムを実行させることにより、上述した各手段の有する機能を実現させることができる。更に、各手段の有する機能を実現させるためのプログラムを、前述の記憶部（メモリ）の所定の領域に格納させることができる。そのような記憶部は、装置内部のＲＡＭ又はＲＯＭなどで構成させることができ、或いは又、外部記憶装置（例えば、ハードディスク）で構成させることもできる。また、そのようなプログラムは、コンピュータで利用されるＯＳ上のソフトウェア（ＲＯＭ又は外部記憶装置に格納される）の一部で構成させることができる。更に、そのようなコンピュータに、各手段として機能させるためのプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。また、上述した各手段をハードウェア又はソフトウェアの一部として構成させ、各々を組み合わせて実現させることもできる。

上述の各実施形態については代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換することができることは当業者に明らかである。例えば、上述の実施形態の例では、暗領域を対象領域とし明領域を参照領域として、その暗領域を明領域に近づけるべく補正する例を説明したが、明領域を暗領域に近づけるべく補正するとしてもよいし、特定の色合いを他の色合いに近づけるべく補正するとしてもよい。従って、本発明は、上述の各実施形態によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。

本発明によれば、映像内の陰影に起因する輝度や色の差異を小さくすることができるので、テレビジョンカメラ等で撮影した映像を扱う用途に有用である。

１ 映像補正装置
１０ 背景画像生成部
１１ 領域指定部
１２ 特徴抽出部
１３ 判別部
１４ 画素値統計部
１５ 補正パラメータ導出部
１６ 補正部
１７ モルフォロジフィルタ

Claims (6)

1. 入力映像内の画素値を局所的に補正する映像補正装置であって、
   入力映像の時系列から、動物体を除去した背景画像を生成する背景画像生成手段と、
   前記背景画像の中から画素値の補正の対象とする領域を対象領域として、当該補正の度合いを決定するための参照とすべき領域を参照領域として定め、前記背景画像の全体について、前記背景画像の各画素位置が当該参照領域に属する画素値を持つか当該対象領域に属する画素値を持つかを少なくとも判別し、該判別結果を画像として表したラベル画像を生成する判別手段と、
   前記ラベル画像に基づいて、前記背景画像について当該対象領域に属する画素値を持つ各画素位置の画素値の統計量を対象領域画素値統計量として、当該参照領域に属する画素値を持つ各画素位置の画素値の統計量を参照領域画素値統計量として算出する画素値統計手段と、
   前記対象領域画素値統計量及び前記参照領域画素値統計量に基づき、当該対象領域に属する画素値を持つ各画素位置における入力映像の画素値を、当該参照領域に属する画素値を持つ各画素位置における該入力映像の画素値に近似するよう変換するために、算出した前記対象領域画素値統計量及び前記参照領域画素値統計量について当該対象領域及び当該参照領域における所定の平均色ベクトル及び分散・共分散行列を求め、それぞれの当該所定の平均色ベクトル及び分散・共分散行列を基に、所定の計算式により前記参照領域に属する画素値の分散と前記対象領域に属する画素値の分散とが一致するように前記対象領域に属する画素値に対するバイアス及びゲインを導出し、前記バイアス及びゲインに対応する補正パラメータを導出する補正パラメータ導出手段と、
   前記ラベル画像に対応付けられた当該補正パラメータに基づいて、該入力映像の画素値を変換して補正済映像を生成する補正手段と、
   を備えることを特徴とする映像補正装置。
2. 前記背景画像の中から画素値の補正の対象とする領域を対象領域として、当該補正の度合いを決定するための参照とすべき領域を参照領域として指定する領域指定手段を更に備えることを特徴とする、請求項１に記載の映像補正装置。
3. 前記対象領域内の背景画像の特徴を対象領域特徴として、及び前記参照領域内の背景画像の特徴を参照領域特徴として定量的に抽出する特徴抽出手段を更に備え、
   前記判別手段は、前記参照領域特徴及び前記対象領域特徴に基づき、前記ラベル画像を生成することを特徴とする、請求項１又は２に記載の映像補正装置。
4. 前記参照領域特徴及び前記対象領域特徴の各々は、対応する平均色ベクトルで表される特徴、或いは該平均色ベクトルと分散・共分散行列で表される特徴を含み、
   前記判別手段は、各画像座標における前記背景画像の画素値と前記参照領域特徴との間のマハラノビス距離、及び前記背景画像の画素値と前記対象領域特徴との間のマハラノビス距離を用いた分類で前記ラベル画像を生成することを特徴とする、請求項３に記載の映像補正装置。
5. 前記ラベル画像に対し、モルフォロジフィルタ処理を施すモルフォロジフィルタ手段を更に備えることを特徴とする、請求項１から４のいずれか一項に記載の映像補正装置。
6. コンピュータを、請求項１から５のいずれか一項に記載の映像補正装置として機能させるためのプログラム。

Images