JP5069599B2 - 映像変換装置、映像変換方法および映像変換プログラム - Google Patents

Description

本発明は、映像の階調を自動で変換する技術に関するものであり、特に、デジタル映像処理装置において、入力された映像の階調を変換する技術に関する。

映像のヒストグラムは、映像内の各ピクセルに対する明暗値の分布を示したものである。コントラストストレッチングは、明暗値の分布が偏った画像について明暗値を低い値から高い値まで広く分布させることによって映像のコントラストを向上させる手法である。コントラストストレッチングを通して暗すぎる映像は明るくなり、明るすぎる映像は暗くなって適当な明暗値を維持する。すなわち、映像の輝度値分布を修正することによって、映像の全体的なコントラストバランスが改善される。

図１６は、従来のコントラストストレッチング装置の構成を示すブロック図である。同図に示すように、従来のコントラストストレッチング装置は、分布計算部４２及びストレッチング部４３を有する。

分布計算部４２は、入力された映像から明暗値を計数してヒストグラム値またはヒストグラム関数を求める。目標値入力部は目標最低値と目標最高値とが入力され、入力された値をストレッチング部４３に出力する。ストレッチング部４３は、分布計算部４２で求めたヒストグラム関数を用いて最低値と最高値を有する明暗値を求め、入力映像の明度の最低値と最高値が目標分布入力部に入力された目標最低値と目標最高値とに一致するようにヒストグラムを変換する。ストレッチング部４３の処理において、目標最低値が０であり、目標最高値が２５５であれば、映像は０から２５５までの明暗値を有し映像のコントラストが増加する。

また、上述したヒストグラムの拡大処理を映像のＲ成分とＧ成分とＢ成分とに対して同様に施すことで色味を保ったままコントラストを増加させることが可能となる。或いは、Ｒ成分とＧ成分とＢ成分とに対してそれぞれ独立にヒストグラムの拡大処理を施すことで、色味の偏りが少ないコントラストが増加した映像を作成することが可能となる。なお、本願に関連する先行技術文献としては、次のものがある。
特開平４−２５７０８２号公報

しかし、従来の技術に係るコントラストストレッチングの場合、全体のコントラストを向上させることは可能であったが、特定の場所、例えば顔の領域のコントラストは保ったまま他の領域のコントラストを向上させるといった処理は不可能であった。

本発明は、上記各問題を解決するためになされたものであり、その課題とするところは、映像の色変換の際に特定の領域の階調の変化を抑えながら色を変換することにある。

第１の本発明に係る映像変換装置は、映像における各ピクセルの各色の色値を変換する映像変換装置であって、前記映像の各領域毎に一対のレコードを有し、且つ、当該各レコードが、予め定められた累積割合値Ａ、階調維持値Ｋ並びに、前記各色毎の目標値Ｔを含んでなる分布情報が記憶される手段と、前記映像から抽出したフレームの各領域および各色毎に、当該領域および当該色における各色値に対し、当該領域における当該色値以下のピクセルの数の割合を示す累積割合値を対応づけたヒストグラムを生成する手段と、前記各レコードにつき、当該レコード内の累積割合値Ａ、階調維持値Ｋと同じ値である各累積割合値を該当のヒストグラムにおいて求め、当該各累積割合値に当該ヒストグラムで対応づけられた各色値である制御値Ｃ、階調維持制御値Ｌを当該レコードに記憶させる手段と、前記各レコードおよび各色につき、当該レコードが階調変化を抑制すべき領域に対応するレコードである場合は、当該レコード内の制御値Ｃ、階調維持制御値Ｌ、該当色の目標値Ｔ、並びに、当該レコードと対をなすレコード内の該当色の目標値Ｔ’、当該レコード内の制御値Ｃ’を式（１）に代入して、階調維持目標値Ｍを求め、当該レコードに格納する一方、当該レコードが階調変化を抑制すべき領域に対応しないレコードである場合は、当該レコード内の該当色の目標値Ｔと同じ値の階調維持目標値Ｍを当該レコードに格納する手段と、
前記映像における各ピクセルの各色の色値ｘが式（２）の色値ｘ’となるように色値ｘを変換する手段と
ただし、Ｌ _１ 〜Ｌ _Ｎ は、前記全レコードの該当色の階調維持制御値Ｌを昇順に並べた数値列、Ｍ _１ 〜Ｍ _Ｎ は、前記全レコードの該当色の階調維持目標値Ｍを昇順に並べた数値列、を有することを特徴とする。

上記映像変換装置において、前記階調変化を抑制すべき領域は顔の領域であることを特徴とする。

上記映像変換装置において、前記各色はそれぞれＲ成分、Ｇ成分、Ｂ成分の色であることを特徴とする。

第２の本発明に係る映像変換方法は、映像における各ピクセルの各色の色値を変換する映像変換装置における映像変換方法であって、前記映像変換装置は、前記映像の各領域毎に一対のレコードを有し、且つ、当該各レコードが、予め定められた累積割合値Ａ、階調維持値Ｋ並びに、前記各色毎の目標値Ｔを含んでなる分布情報が記憶される手段を有し、前記映像変換方法は、前記映像変換装置が、前記映像から抽出したフレームの各領域および各色毎に、当該領域および当該色における各色値に対し、当該領域における当該色値以下のピクセルの数の割合を示す累積割合値を対応づけたヒストグラムを生成するステップと、前記映像変換装置が、前記各レコードにつき、当該レコード内の累積割合値Ａ、階調維持値Ｋと同じ値である各累積割合値を該当のヒストグラムにおいて求め、当該各累積割合値に当該ヒストグラムで対応づけられた各色値である制御値Ｃ、階調維持制御値Ｌを当該レコードに記憶させるステップと、前記映像変換装置が、前記各レコードおよび各色につき、当該レコードが階調変化を抑制すべき領域に対応するレコードである場合は、当該レコード内の制御値Ｃ、階調維持制御値Ｌ、該当色の目標値Ｔ、並びに、当該レコードと対をなすレコード内の該当色の目標値Ｔ’、当該レコード内の制御値Ｃ’を式（１）に代入して、階調維持目標値Ｍを求め、当該レコードに格納する一方、当該レコードが階調変化を抑制すべき領域に対応しないレコードである場合は、当該レコード内の該当色の目標値Ｔと同じ値の階調維持目標値Ｍを当該レコードに格納するステップと、
前記映像変換装置が、前記映像における各ピクセルの各色の色値ｘが式（２）の色値ｘ’となるように色値ｘを変換するステップと
ただし、Ｌ _１ 〜Ｌ _Ｎ は、前記全レコードの該当色の階調維持制御値Ｌを昇順に並べた数値列、Ｍ _１ 〜Ｍ _Ｎ は、前記全レコードの該当色の階調維持目標値Ｍを昇順に並べた数値列、を有することを特徴とする。

第３の本発明に係る映像変換プログラムは、第１の本発明に係る映像変換装置の処理をコンピュータに実行させるためのものであることを特徴とする。

本発明によれば、映像の色変換の際に特定の領域の階調を保ったまま変換することが可能になり、例えば顔領域の自然な階調を保ったまま映像全体の明るさと色味を変換することが可能となる。

図１は、本実施形態における映像変換装置の全体的な構成を示すブロック図である。同図に示すように、本映像変換装置は、入力装置１、中央処理制御装置２、記憶装置３を有する。入力装置１は、映像信号入力部１１、シャッター入力部１２、目標分布選択部１３を有し、中央処理制御装置２は、フレーム抽出部２１、領域分割部２２、階調維持パラメタ作成部２３、目標ＲＧＢ分布作成部２４、ＲＧＢ変換関数作成部２５、変換ＬＵＴ(ルックアッフ゜テーフ゛ル)作成部２６、映像変換部２７を有し、記憶装置３は、各部が出力する情報を記憶する記憶部の他、ＲＧＢ分布記憶部３１、変換ＬＵＴ記憶部３２を有する。

本映像変換装置は、専用のハードウェアとして構成してもよいし、汎用的なコンピュータを用いて構成し、各部の処理をコンピュータプログラムによって実行させるようにしてもよい。尚、各部が処理した結果は、記憶部に読み出し可能に記憶される。

映像信号入力部１１は、映像信号が入力されると、これをフレーム抽出部２１と映像変換部２７に出力する。ここでは、映像信号入力部１１が出力する映像を入力映像と呼ぶ。

本実施形態で扱う入力映像は、複数のフレームによって構成される動画であり、各フレームは、複数のピクセルによって構成される静止画像である。入力映像の幅をwidth、高さをheightで表すと、各フレームは、width×height個のピクセルによって構成される。各ピクセルは、ＲＧＢカラーモデルで色を表現するデータであり、フレームにおけるｘ座標値とｙ座標値とＲ値とＧ値とＢ値によって構成され、ｘ座標値は１以上width以下の整数値であり、ｙ座標値は１以上height以下の整数値であり、Ｒ値とＧ値とＢ値はそれぞれ０以上２５５以下の整数値である。

目標分布選択部１３では、ユーザが選択した目標ＲＧＢ分布名を目標ＲＧＢ分布作成部２４に出力する。

目標ＲＧＢ分布作成部２４は、目標ＲＧＢ分布名とＲＧＢ分布情報群が入力され、目標ＲＧＢ分布情報を作成し、作成された目標ＲＧＢ分布情報は階調維持パラメタ作成部２３に出力される。なお、ＲＧＢ分布情報群は、ＲＧＢ分布記憶部３１から読み出すことで入力される。

シャッター入力部１２は、ユーザによりシャッター操作が行われると、フレーム抽出部２１にシャッター操作を伝えるシャッター信号を出力する。

フレーム抽出部２１は、映像信号とシャッター信号が入力され、静止画像を出力する。フレーム抽出部２１が出力する静止画像は入力映像から取り出した１フレームの静止画像である。

領域分割部２２は、入力映像を複数の対象物の領域に分割する。

階調維持パラメタ作成部２３は、Ｒ成分・Ｇ成分・Ｂ成分における各領域のヒストグラムを作成すると共に目標ＲＧＢ分布作成部２４が出力する目標値を入力として受け取り、階調維持パラメタを作成する。

ＲＧＢ変換関数作成部２５は、階調維持パラメタが入力され、Ｒ成分・Ｇ成分・Ｂ成分のヒストグラムが階調維持パラメタに合致する分布範囲となるように各ヒストグラムに対応したＲ変換関数とＧ変換関数とＢ変換関数とを作成する。

領域分割部２２は、静止画像が入力され、領域情報群を出力する。領域情報群は、複数の領域情報によって構成され、各領域情報は領域名Ｒと領域集合Region_R によって構成される。ピクセルpのx座標値をxp 、y座標値をyp とすると領域集合Region_R は

と表される。領域分割部２２では、静止画像の被写体が人物である場合は、全体領域情報と顔領域情報と黒目領域情報を検出してもよい。或いは静止画像の被写体が物体である場合には、全体領域情報と被写体領域情報と背景領域情報を検出してもよい。以下では被写体が人物である場合に、全体領域情報と顔領域情報と黒目領域情報を検出するときの例について説明する。

ここでは、全体領域情報は領域名WHOLEと全体領域集合Region_WHOLEによって構成され、顔領域集合は領域名FACEと顔領域集合Region_FACEによって構成され、黒目領域集合は領域名EYEと黒目領域集合Region_EYEによって構成されるものとする。なお、全体領域集合Region_WHOLEとは、入力された静止画像に含まれるすべてのピクセルを含む集合である。

図２は、顔領域情報と黒目領域情報を検出し、入力映像を顔領域と黒目領域に分割するための領域分割部２２の構成を示すブロック図である。領域分割部２２は、画像スケール変換部２２１と、検出対象領域切出部２２２と、空間周波数分析部２２３と、顔候補判定部２２４と、顔候補選択部２２５と、肌領域抽出部２２６と、黒目領域抽出部２２７と、によって構成される。

領域分割部２２における顔候補の選択はＨａａｒ型の特徴量を用い、ＡｄａＢｏｏｓｔ学習法、及びカスケード構造検出器による方法を用いる（例えば、特開２００６−２９３７２０号公報参照）。

検出対象領域切出部２２２では、スケール変換された画像から既定のサイズの領域の切り出しを行う。ただし、ここで扱う領域の形状は、任意形状であってよいものとする。

空間周波数分析部２２３では、切り出された領域に対し空間周波数フィルタリングを行う。例えば、ＡｄａＢｏｏｓｔ学習法、及びカスケード検出器構造をもつ、Ｈａａｒ型の特徴量検出による手法を用いてもよい。この手法は、P. Viola, M. Jones, "Rapid object Detection using a Boosted Cascade of Simple Features", In Proc. IEEE Conf. on Computer Vision and Pattern Recognition, kauai, USA, 2001に詳しいので、ここでは詳細な説明は省略する。

顔候補判定部２２４では、空間周波数分析部２２３の出力値をもとに、領域が顔領域候補となり得るかを判定する。

顔候補選択部２２５では、顔候補となり得ると判断された顔領域候補のうち面積が最大となる顔領域候補を選択し、出力する。

肌領域抽出部２２６では、顔領域候補を入力として顔領域集合Region_FACEを出力する。顔領域集合Region_FACEは、顔領域候補内に含まれるピクセルのうち、ピクセルの色が肌色であるものによって構成される。すなわちRegion_FACEは、ピクセルpのx座標値をxp 、y座標値をyp 、Ｒ値をrp、Ｇ値をgp 、Ｂ値をbp とすると

と表される。なお、肌色として扱うＲＧＢ値は予め設定してあるものとする。例えばＹＵＶカラーモデルにおいてＣb 値が−４０以上−２０以下でありＣb 値が１５以上３５以下の値を肌色とするなどの手法を用いる。

黒目領域抽出部２２７では、顔領域候補を入力として黒目領域集合Region_EYEを出力する。黒目領域集合Region_EYEは、顔領域候補内に含まれるピクセルのうち、輝度値が低いピクセルによって構成される。より具体的には顔領域候補内に含まれるピクセルのうち輝度値の低い順に１％のピクセル群を黒目領域集合とする。図３は、領域分割部２２で人の顔を検出する際の処理の一例を示す図である。

目標ＲＧＢ分布作成部２４は、目標ＲＧＢ分布名とＲＧＢ分布情報群が入力され、目標ＲＧＢ分布情報を出力する。ＲＧＢ分布情報群はＲＧＢ分布記憶部３１より読み出される。ＲＧＢ分布情報群は複数のＲＧＢ分布情報によって構成され、各ＲＧＢ分布情報はＲＧＢ分布名を持ち、複数のＲＧＢ分布レコードによって構成される。図４は、ＲＧＢ分布情報の一例を示す図である。各ＲＧＢ分布レコードはレコード番号と領域名と累積割合値と階調維持値と階調維持対応レコード番号と目標色によって構成される。ただし、階調維持値と階調維持対応レコード番号は全てのＲＧＢ分布レコードが備えても良いし、一部のＲＧＢ分布レコードしか備えなくても良いし、全てのＲＧＢ分布レコードが備えなくても良い。ここで累積割合値及び階調維持値は０以上１以下の少数値である。

本実施形態において扱う色成分について説明すると、Luminance（輝度：ＹＣb ＣrカラーモデルにおけるＹ成分）、Ｃb（ＹＣbＣrカラーモデルにおけるＣb成分）、Ｃr（ＹＣbＣrカラーモデルにおけるＣr成分）、墨（ＣＭＹＫカラーモデルにおけるＫ成分）、レッド（ＲＧＢカラーモデルにおけるＲ成分）、グリーン（ＲＧＢカラーモデルにおけるＧ成分）、ブルー（ＲＧＢカラーモデルにおけるＢ成分）、色相（ＨＳＶカラーモデルにおけるＨ成分）、彩度（ＨＳＶカラーモデルにおけるＳ成分）、明度（ＨＳＶカラーモデルにおけるＶ成分）の１０種類であり、全ての色成分において最小値は０、最大値は２５５とする。

階調維持パラメタ作成部２３は静止画像と領域情報群と目標ＲＧＢ分布情報が入力され、階調維持パラメタを作成し、出力する。階調維持パラメタは、以下の手順によって作成される。

まず、色成分Componentにおけるピクセルｐの色値を返す色値算出関数を

とする。ここでｇ(Component,p,x)を

と定義すると、ピクセルの集合Ｐにおいて領域集合Region_R にも含まれるピクセルpを取り出したとき、色成分Componentにおけるピクセルpの色値がxとなる確率、すなわちcolor(p,Component)＝xとなる確率を表す確率密度関数（ヒストグラム関数）frequency(P,Region_R,Component,x)は

と定義される。

例えば、画像全体領域情報（領域名WHOLE、領域集合Region_WHOLE）と、顔領域情報（領域名FACE、領域集合Region_FACE）と、黒目領域情報（領域名EYE、領域集合Region_EYE）との領域情報があったとしたとき、ある画像を表すピクセルの集合をPyとし、輝度の色成分をYとすると、全体領域の輝度のヒストグラムは、frequency(Py,Region_WHOLE,Y,x)と表され、同様に顔領域の輝度のヒストグラムは、frequency(P,Region_FACE,Y,x)と表され、黒目領域の輝度のヒストグラムは、frequency(P,Region_EYE,Y,x)と表される。

また、色成分Componentのヒストグラムを表す確立密度関数frequency(P,Region_R,Component,x)から導き出される累積分布関数cumulative(P,Region_R,Component,x)は

と表される。

確率密度関数が図５の曲線で表されたとすると、その累積分布関数は、図６のように表される曲線となる。さらに、累積分布関数のｘに関する逆関数は

と表される。ただし、ここで、ｙはy=cumulative（P,Region_R,Component,x）の関係を満たす値である。

ここで、制御値算出関数control(P,Region_R,Component,A)を前記累積分布関数cumulativeを用いて下記のように定義する。

ただし、ここでは入力された静止画像に含まれるピクセルの集合をP、目標のＲＧＢ分布レコードにおける領域名をR、静止画像を領域分割して作成した領域名Rに対応する領域集合をRegion_R、色成分をComponent、累積割合値をAとしている。

この制御値算出関数を累積割合値Aに適用することによって、図７に示されるように、

より、累積割合値Ａに対応する制御値Cが算出される。

また、同様に、階調維持値をKとしたとき、

によって求まる値を階調維持制御値Lとする。ただし、階調維持値を持っていないＲＧＢ分布レコードの階調維持制御値は制御値Cと同一の値を設定する。

上記制御値算出関数controlを用いて、例えば図８に示すように各ＲＧＢ分布レコードに対応して、ある色成分における制御値及び階調維持制御値が算出される。

また、各ＲＧＢ分布レコードについて、ある色成分における目標色の値を算出することで目標値Tが設定可能となる。

また、ＲＧＢ分布レコードの階調維持制御値をL、目標値をT、制御値をC、階調維持対応レコード番号をNとし、レコード番号NのＲＧＢ分布レコードの目標値を階調維持対応目標値T'、制御値を階調維持対応制御値C'として、階調維持目標値算出関数toneTarget(L,T,T',C,C')を

と定義する。この階調維持目標値算出関数toneTarget(L,T,T',C,C')を用いて各ＲＧＢ分布レコードの階調維持目標値を図８のように算出する。ただし、階調維持値を持っていないＲＧＢ分布レコードの階調維持目標値については目標値Tと同一の値を設定する。

例えば、図８でＲＧＢ分布レコード２番の階調維持目標値を算出する場合はL=70,T=200,T'=220,C=80,C'=120となるので、

となり、ＲＧＢ分布レコード２番の階調維持目標値は195となる。この算出の様子を図９に示す。図９に示すように、制御値を目標値に変換した際に、(L-C):(C'-C)=(X-T):(T'-T)となるように制御値CからのC'とLへの距離の比を保つようなXを階調維持目標値として算出する。

また、階調維持制御値数列{L_k}_k=1,2,…,n（ただしL1≦L2≦…≦Ln）と、各制御値に対応する修正目標値数列{M_k}_k=1,2,…,nを用いて、色値ｘの変換を行う色変換関数convert({L_k}_k=1,2,…,n,{M_k}_k=1,2,…,n,ｘ)を,

と定義する。

ここで、例えば静止画像の輝度のヒストグラムが図１０のように分布しており、階調維持制御値{L1,L2,L3,L4}と階調維持目標値{M1,M2,M3,M4}が図のように定められていたとすると、色変換関数convert({L1,L2,L3,L4},{M1,M2,M3,M4},ｘ)を適用して輝度値の変換を行った後のヒストグラムは図１１のようになる。同図に示すように、色変換関数convertは階調維持制御値と階調維持目標値が合致するようにヒストグラムを変換する。

また、階調維持目標値算出関数toneTargetを用いて、階調維持制御値L1、制御値C1、目標値T1、階調維持対応制御値C2、階調維持対応目標値T2から階調維持目標値M1を算出し、階調維持制御値L2、制御値C2、目標値T2、階調維持対応制御値C1、階調維持対応目標値T1から階調維持目標値M2を算出したとき、図１２に示すように、色変換関数convert({L1,L2},{M1,M2},x)を用いてヒストグラム変換を行うことでC1はT1へ、C2はT2へ変換される。これはすなわち、ヒストグラム変換の後でもM1-M2間の階調がT1-T2間の階調と変わらないということである。これにより、C1-C2間だけでなく、L1-L2間を自然な階調で変換することが可能となる。

ここで図１３に示すように各ＲＧＢ分布レコードに対して目標色のR値をR目標値、G値をG目標値、B値をB目標値として設定する。

また、静止画像のピクセルの集合をP、あるＲＧＢ分布レコードRecordの領域名をAREA、累積割合値をA、階調維持値をKとすると、制御値算出関数controlを用いて、R制御値C_R及びR階調維持制御値L_Rは、

と算出される。

ここでさらに、RecordのR目標値をT_R、階調維持対応レコード番号をNとし、レコード番号がNであるＲＧＢ分布レコードをRecord'とし、Record'の領域名をAREA'、累積割合値をA'、R目標値をT_R'とすると、階調維持目標値算出関数toneTargetを用いて、R階調維持目標値M_Rは、

と算出される。同様にRecordのG制御値C_G及びG階調維持制御値L_Gは、

と算出され、RecordのG目標値をT_G、Record'のG目標値をT_G'とすると、G階調維持目標値M_Gは、

と算出される。また、RecordのB制御値C_B及びB階調維持制御値L_Bは、

と算出され、RecordのB目標値をT_B、Record'のB目標値をT_B'とすると、B階調維持目標値M_Bは、

と算出される。

ただし、Recordが階調維持値を持たない場合はL_R=C_R、M_R=T_R、L_G=C_G、M_G=T_G、L_B=C_B、M_B=T_Bとして設定する。

上記手順によって各ＲＧＢ分布レコードについてR階調維持制御値、R階調維持目標値、G階調維持制御値、G階調維持目標値、B階調維持制御値、B階調維持目標値を算出し、R階調維持制御値について昇順に並べた表を図１４に示す。階調維持パラメタ作成部２３はここで作成した表を階調維持パラメタとして出力する。

ＲＧＢ変換関数作成部２５は、階調維持パラメタが入力され、R変換関数、G変換関数、B変換関数を出力する。

階調維持パラメタの各レコードDkに対応するR階調維持制御値をL_R,K、G階調維持制御値をL_G,K、B階調維持制御値をL_B,Kとし、R階調維持目標値をM_R,K、G階調維持目標値をM_G,K、B階調維持目標値をM_B,Kとする。

ここで、R階調維持制御値数列{L_R,k}_k=1,2,…,n（ただしL_R,1≦L_R,2≦…≦L_R,n）と、R階調維持目標値数列{M_R,k}_k=1,2,…,nを用いてR値の変換を行うR変換関数convert_R(x)を

と定義し、G階調維持制御値数列{L_G,k}_k=1,2,…,n（ただしL_G,1≦L_G,2≦…≦L_G,n）と、G階調維持目標値数列{M_G,k}_k=1,2,…,nを用いてG値の変換を行うG変換関数convert_G(x)を

と定義し、B階調維持制御値数列{L_B,k}_k=1,2,…,n（ただしL_B,1≦L_B,2≦…≦L_B,n）と、B階調維持目標値数列{M_B,k}_k=1,2,…,nを用いてB値の変換を行うB変換関数convert_B(x)を

と定義する。

ＲＧＢ変換関数作成部２５は、上記のR変換関数convert_R(x)とG変換関数convert_G(x)とB変換関数convert_B(x)とを出力する。

変換ＬＵＴ作成部２６は、R変換関数とG変換関数とB変換関数とを入力としてR変換LUTとG変換LUTとB変換LUTを出力する。具体的には、値として取り得る全てのR値、G値、B値に対して、それぞれR変換関数、G変換関数、B変換関数を適用した値が対応する図１５のようなLUTを作成し、変換ＬＵＴ記憶部３２に記憶させる。

映像変換部２７は、入力映像と色変換ＬＵＴを入力として変換映像を出力する。具体的には、入力映像の各フレームの各ピクセルについて色変換ＬＵＴを参照してR値、G値、B値を変換して変換フレームを作成し、作成した変換フレームを順次出力することで最終的な変換映像を出力する。

以上、説明したように、本実施の形態によれば、映像を複数の対象物の領域に分割し、各領域のヒストグラムを目標の分布範囲に分布させるべく階調維持パラメタを作成し、階調維持パラメタを用いて色変換関数を作成し、色変換関数を映像に適用することで、ヒストグラムにおける目標の分布範囲と周辺で階調を維持させる。すなわち、図１２に示したように、C1-C2間だけでなく、その周辺を含めたL1-L2間の階調を維持する。

よって、本実施の形態によれば、映像の色変換の際に特定の領域の階調を保ったまま変換することが可能になり、例えば顔領域の自然な階調を保ったまま映像全体の明るさと色味を変換することが可能となる。

一実施形態における映像変換装置の全体的な構成を示すブロック図である。 顔領域情報と黒目領域情報を検出し、入力映像を顔領域と黒目領域に分割するための領域分割部２２の構成を示すブロック図である。 領域分割部２２で人の顔を検出する際の処理の一例を示す図である。 ＲＧＢ分布情報の一例を示す図である。 ある色成分におけるピクセルｐの色値がｘとなる確率を表す確率密度関数（ヒストグラム関数）の一例を示す図である。 図５に示す確率密度関数についての累積分布関数を示す図である。 累積割合値Ａから制御値を算出するための制御値算出関数の一例を示す図である。 図４の各ＲＧＢ分布レコードに制御値と階調維持制御値と目標値と階調維持目標値の情報を追加したものを示す図である。 階調維持目標値として算出されるX、階調維持制御値L、目標値T、制御値C、階調維持対応目標値T'、階調維持対応制御値C'の関係を示す図である。 入力映像の輝度ヒストグラムの一例を示す図である。 図１０に用いた入力映像のRGBデータに色変換関数を適用した後の映像の輝度ヒストグラムを示す図である。 色変換関数による変換される前後のヒストグラムを示す図である。 図４の各ＲＧＢ分布レコードにR目標値、G目標値、B目標値の情報を追加したものを示す図である。 R階調維持制御値、R階調維持目標値、G階調維持制御値、G階調維持目標値、B階調維持制御値、B階調維持目標値を、R階調維持制御値について昇順に並べた表を示す図である。 Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの色変換用のルックアップテーブルの一例を示す図である。 従来のコントラストストレッチング装置の構成を示すブロック図である。

符号の説明

１…入力装置
２…中央処理制御装置
３…記憶装置
１１…映像信号入力部
１２…シャッター入力部
１３…目標分布選択部
２１…フレーム抽出部
２２…領域分割部
２３…階調維持パラメタ作成部
２４…目標ＲＧＢ分布作成部
２５…ＲＧＢ変換関数作成部
２６…変換ＬＵＴ作成部
２７…映像変換部
３１…ＲＧＢ分布記憶部
３２…変換ＬＵＴ記憶部
４２…分布計算部
４３…ストレッチング部
２２１…画像スケール変換部
２２２…検出対象領域切出部
２２３…空間周波数分析部
２２４…顔候補判定部
２２５…顔候補選択部
２２６…肌領域抽出部
２２７…黒目領域抽出部

Claims (5)

1. 映像における各ピクセルの各色の色値を変換する映像変換装置であって、
   前記映像の各領域毎に一対のレコードを有し、且つ、当該各レコードが、予め定められた累積割合値Ａ、階調維持値Ｋ並びに、前記各色毎の目標値Ｔを含んでなる分布情報が記憶される手段と、
   前記映像から抽出したフレームの各領域および各色毎に、当該領域および当該色における各色値に対し、当該領域における当該色値以下のピクセルの数の割合を示す累積割合値を対応づけたヒストグラムを生成する手段と、
   前記各レコードにつき、当該レコード内の累積割合値Ａ、階調維持値Ｋと同じ値である各累積割合値を該当のヒストグラムにおいて求め、当該各累積割合値に当該ヒストグラムで対応づけられた各色値である制御値Ｃ、階調維持制御値Ｌを当該レコードに記憶させる手段と、
   前記各レコードおよび各色につき、当該レコードが階調変化を抑制すべき領域に対応するレコードである場合は、当該レコード内の制御値Ｃ、階調維持制御値Ｌ、該当色の目標値Ｔ、並びに、当該レコードと対をなすレコード内の該当色の目標値Ｔ’、当該レコード内の制御値Ｃ’を式（１）に代入して、階調維持目標値Ｍを求め、当該レコードに格納する一方、当該レコードが階調変化を抑制すべき領域に対応しないレコードである場合は、当該レコード内の該当色の目標値Ｔと同じ値の階調維持目標値Ｍを当該レコードに格納する手段と、
   前記映像における各ピクセルの各色の色値ｘが式（２）の色値ｘ’となるように色値ｘを変換する手段と
   ただし、
   Ｌ _１ 〜Ｌ _Ｎ は、前記全レコードの該当色の階調維持制御値Ｌを昇順に並べた数値列、
   Ｍ _１ 〜Ｍ _Ｎ は、前記全レコードの該当色の階調維持目標値Ｍを昇順に並べた数値列、
   を有することを特徴とする映像変換装置。
2. 前記階調変化を抑制すべき領域は顔の領域であることを特徴とする請求項１記載の映像変換装置。
3. 前記各色はそれぞれＲ成分、Ｇ成分、Ｂ成分の色であることを特徴とする請求項１または２記載の映像変換装置。
4. 映像における各ピクセルの各色の色値を変換する映像変換装置における映像変換方法であって、
   前記映像変換装置は、前記映像の各領域毎に一対のレコードを有し、且つ、当該各レコードが、予め定められた累積割合値Ａ、階調維持値Ｋ並びに、前記各色毎の目標値Ｔを含んでなる分布情報が記憶される手段を有し、
   前記映像変換方法は、
   前記映像変換装置が、前記映像から抽出したフレームの各領域および各色毎に、当該領域および当該色における各色値に対し、当該領域における当該色値以下のピクセルの数の割合を示す累積割合値を対応づけたヒストグラムを生成するステップと、
   前記映像変換装置が、前記各レコードにつき、当該レコード内の累積割合値Ａ、階調維持値Ｋと同じ値である各累積割合値を該当のヒストグラムにおいて求め、当該各累積割合値に当該ヒストグラムで対応づけられた各色値である制御値Ｃ、階調維持制御値Ｌを当該レコードに記憶させるステップと、
   前記映像変換装置が、前記各レコードおよび各色につき、当該レコードが階調変化を抑制すべき領域に対応するレコードである場合は、当該レコード内の制御値Ｃ、階調維持制御値Ｌ、該当色の目標値Ｔ、並びに、当該レコードと対をなすレコード内の該当色の目標値Ｔ’、当該レコード内の制御値Ｃ’を式（１）に代入して、階調維持目標値Ｍを求め、当該レコードに格納する一方、当該レコードが階調変化を抑制すべき領域に対応しないレコードである場合は、当該レコード内の該当色の目標値Ｔと同じ値の階調維持目標値Ｍを当該レコードに格納するステップと、
   前記映像変換装置が、前記映像における各ピクセルの各色の色値ｘが式（２）の色値ｘ’となるように色値ｘを変換するステップと
   ただし、
   Ｌ _１ 〜Ｌ _Ｎ は、前記全レコードの該当色の階調維持制御値Ｌを昇順に並べた数値列、
   Ｍ _１ 〜Ｍ _Ｎ は、前記全レコードの該当色の階調維持目標値Ｍを昇順に並べた数値列、
   を有することを特徴とする映像変換方法。
5. 請求項１ないし３のいずれかに記載の映像変換装置の処理をコンピュータに実行させるためのコンピュータプログラムである映像変換プログラム。