JP5227651B2

JP5227651B2 - 映像変換装置、映像変換方法および映像変換プログラム

Info

Publication number: JP5227651B2
Application number: JP2008121313A
Authority: JP
Inventors: 謙治原; 篤彦前田; 博人稲垣
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2008-05-07
Filing date: 2008-05-07
Publication date: 2013-07-03
Anticipated expiration: 2028-05-07
Also published as: JP2009272865A

Description

本発明は、映像の階調を自動で変換する技術に関するものであり、特に、デジタル映像処理装置において、入力された映像の階調を変換する技術に関する。

映像のヒストグラムは、映像内の各ピクセルに対する明暗値の分布を示したものである。コントラストストレッチングは、明暗値の分布が偏った画像について明暗値を低い値から高い値まで広く分布させることによって映像のコントラストを向上させる手法である。コントラストストレッチングを通して暗すぎる映像は明るくなり、明るすぎる映像は暗くなって適当な明暗値を維持する。すなわち、映像の輝度値分布を修正することによって、映像の全体的なコントラストバランスが改善される。

図１６は、従来のコントラストストレッチング装置の構成を示すブロック図である。同図に示すように、従来のコントラストストレッチング装置は、分布計算部４２及びストレッチング部４３を有する。

分布計算部４２は、入力された映像から明暗値を計数してヒストグラム値またはヒストグラム関数を求める。目標値入力部は目標最低値と目標最高値とが入力され、入力された値をストレッチング部４３に出力する。ストレッチング部４３は、分布計算部４２で求めたヒストグラム関数を用いて最低値と最高値を有する明暗値を求め、入力映像の明度の最低値と最高値が目標分布入力部に入力された目標最低値と目標最高値とに一致するようにヒストグラムを変換する。ストレッチング部４３の処理において、目標最低値が０であり、目標最高値が２５５であれば、映像は０から２５５までの明暗値を有し映像のコントラストが増加する。

また、上述したヒストグラムの拡大処理を映像のＲ成分とＧ成分とＢ成分とに対して同様に施すことで色味を保ったままコントラストを増加させることが可能となる。或いは、Ｒ成分とＧ成分とＢ成分とに対してそれぞれ独立にヒストグラムの拡大処理を施すことで、色味の偏りが少ないコントラストが増加した映像を作成することが可能となる。なお、本願に関連する先行技術文献としては、次のものがある。
特開平４−２５７０８２号公報

しかし、従来の技術に係るコントラストストレッチングの場合、過剰にコントラストを向上させてしまい画質に悪影響を与えてしまうことがあった。

本発明は、上記各問題を解決するためになされたものであり、その課題とするところは、映像の色変換の際に過剰なコントラストの変換を抑えながら色を変換する方法を提供することにある。

第１の本発明に係る映像変換装置は、入力された映像を記憶する記憶手段と、前記映像を読み出し、複数の対象物の領域に分割して記憶手段に記憶させる領域分割手段と、所望の色成分における前記各領域のヒストグラムを作成するヒストグラム作成手段と、前記各ヒストグラムに対して目標とする分布範囲を指定する目標範囲指定手段と、前記各ヒストグラムを前記目標の分布範囲に分布させるように前記映像を変換する際に当該映像のコントラストが予め設定された程度より大きく変換されるのを抑制するための変換抑制パラメタを作成する変換抑制パラメタ作成手段と、前記変換抑制パラメタを用いて色変換関数を作成する色変換関数作成手段と、前記色変換関数を前記映像に適用して映像を変換する映像変換手段と、を有し、前記変換抑制パラメタ作成手段は、全ての色値の範囲を分割し分割した各範囲において、変換前後の色値の範囲幅の比率である伸縮率が、決められた最小値と最大値の中に納まるように、前記変換抑制パラメタを作成することを特徴とする。

本発明にあっては、映像を複数の対象物の領域に分割し、各領域のヒストグラムを目標の分布範囲に分布させるべく変換抑制パラメタを作成し、変換抑制パラメタを用いて色変換関数を作成し、色変換関数を映像に適用することで、コントラストが過剰に変換されるのを抑制する。

上記映像変換装置において、前記伸縮率が、決められた最小値と最大値の中に納まるように、変換を抑制する処理においては、ｋ番目の色範囲の伸縮率を変更させた場合には、ｋ＋１番目の色範囲の伸縮率を変化させないように抑制する。

上記映像変換装置において、前記ヒストグラム作成手段は、前記各領域についてＲ成分、Ｇ成分、Ｂ成分のヒストグラムを作成する。

本発明にあっては、分割された各領域についてＲ成分、Ｇ成分、Ｂ成分のヒストグラムのそれぞれについて変換抑制パラメタを作成し、変換抑制パラメタを用いて色変換関数を作成し、色変換関数を映像に適用することで、コントラストが過剰に変換されるのを抑制する。

第２の本発明に係る映像変換方法は、映像変換装置により行う映像変換方法であって、入力された映像を記憶手段に記憶させるステップと、前記映像を読み出し、複数の対象物の領域に分割して記憶手段に記憶させるステップと、所望の色成分における前記各領域のヒストグラムを作成するステップと、前記各ヒストグラムに対して目標とする分布範囲を指定するステップと、前記各ヒストグラムを前記目標の分布範囲に分布させるように前記映像を変換する際に当該映像のコントラストが予め設定された程度より大きく変換されるのを抑制するための変換抑制パラメタを作成するステップと、前記変換抑制パラメタを用いて色変換関数を作成するステップと、前記色変換関数を前記映像に適用して映像を変換するステップと、を有し、前記変換抑制パラメタを作成するステップでは、全ての色値の範囲を分割し分割した各範囲において、変換前後の色値の範囲幅の比率である伸縮率が、決められた最小値と最大値の中に納まるように、前記変換抑制パラメタを作成することを特徴とする。

第３の本発明に係る映像変換プログラムは、映像変換装置により、入力された映像を記憶手段に記憶させる処理と、前記映像を読み出し、複数の対象物の領域に分割して記憶手段に記憶させる処理と、所望の色成分における前記各領域のヒストグラムを作成する処理と、前記各ヒストグラムに対して目標とする分布範囲を指定する処理と、前記各ヒストグラムを前記目標の分布範囲に分布させるように前記映像を変換する際に当該映像のコントラストが予め設定された程度より大きく変換されるのを抑制するための変換抑制パラメタを作成する処理と、前記変換抑制持パラメタを用いて色変換関数を作成する処理と、前記色変換関数を前記映像に適用して映像を変換する処理と、全ての色値の範囲を分割し分割した各範囲において、変換前後の色値の範囲幅の比率である伸縮率が、決められた最小値と最大値の中に納まるように変換を抑制する処理をコンピュータに実行させることを特徴とする。

本発明によれば、色変換の際に過剰なコントラスト変換を抑制することが可能になり、例えば顔領域の明るさ、色味の変換の際にコントラストが大きく変換されることを抑制することが可能になる。

図１は、本実施形態における映像変換装置の全体的な構成を示すブロック図である。同図に示すように、本映像変換装置は、入力装置１、中央処理制御装置２、記憶装置３を有する。入力装置１は、映像信号入力部１１、シャッター入力部１２、目標分布選択部１３を有し、中央処理制御装置２は、フレーム抽出部２１、領域分割部２２、変換抑制パラメタ作成部２３、目標ＲＧＢ分布作成部２４、ＲＧＢ変換関数作成部２５、変換ＬＵＴ(ルックアッフ゜テーフ゛ル)作成部２６、映像変換部２７を有し、記憶装置３は、各部が出力する情報を記憶する記憶部の他、ＲＧＢ分布記憶部３１、変換ＬＵＴ記憶部３２を有する。

本映像変換装置は、専用のハードウェアとして構成してもよいし、汎用的なコンピュータを用いて構成し、各部の処理をコンピュータプログラムによって実行させるようにしてもよい。尚、各部が処理した結果は、記憶部に読み出し可能に記憶される。

映像信号入力部１１は、映像信号が入力されると、これをフレーム抽出部２１と映像変換部２７に出力する。ここでは、映像信号入力部１１が出力する映像を入力映像と呼ぶ。

本実施形態で扱う入力映像は、複数のフレームによって構成される動画であり、各フレームは、複数のピクセルによって構成される静止画像である。入力映像の幅をwidth、高さをheightで表すと、各フレームは、width×height個のピクセルによって構成される。各ピクセルは、ＲＧＢカラーモデルで色を表現するデータであり、フレームにおけるｘ座標値とｙ座標値とＲ値とＧ値とＢ値によって構成され、ｘ座標値は１以上width以下の整数値であり、ｙ座標値は１以上height以下の整数値であり、Ｒ値とＧ値とＢ値はそれぞれ０以上２５５以下の整数値である。

目標分布選択部１３では、ユーザが選択した目標ＲＧＢ分布名を目標ＲＧＢ分布作成部２４に出力する。

目標ＲＧＢ分布作成部２４は、目標ＲＧＢ分布名とＲＧＢ分布情報群が入力され、目標ＲＧＢ分布情報を作成し、作成された目標ＲＧＢ分布情報は変換抑制パラメタ作成部２３に出力される。なお、ＲＧＢ分布情報群は、ＲＧＢ分布記憶部３１から読み出すことで入力される。

シャッター入力部１２は、ユーザによりシャッター操作が行われると、フレーム抽出部２１にシャッター操作を伝えるシャッター信号を出力する。

フレーム抽出部２１は、映像信号とシャッター信号が入力され、静止画像を出力する。フレーム抽出部２１が出力する静止画像は入力映像から取り出した１フレームの静止画像である。

領域分割部２２は、入力映像を複数の対象物の領域に分割する。
変換抑制パラメタ作成部２３は、Ｒ成分・Ｇ成分・Ｂ成分における各領域のヒストグラムを作成すると共に目標ＲＧＢ分布作成部２４が出力する目標値を入力として受け取り、変換抑制パラメタを作成する。

ＲＧＢ変換関数作成部２５は、変換抑制パラメタが入力され、Ｒ成分・Ｇ成分・Ｂ成分のヒストグラムが変換抑制パラメタに合致する分布範囲となるように各ヒストグラムに対応したＲ変換関数とＧ変換関数とＢ変換関数とを作成する。

領域分割部２２は、静止画像が入力され、領域情報群を出力する。領域情報群は、複数の領域情報によって構成され、各領域情報は領域名Ｒと領域集合Region_R によって構成される。ピクセルpのx座標値をxp 、y座標値をyp とすると領域集合Region_R は

と表される。領域分割部２２では、静止画像の被写体が人物である場合は、全体領域情報と顔領域情報と黒目領域情報を検出してもよい。或いは静止画像の被写体が物体である場合には、全体領域情報と被写体領域情報と背景領域情報を検出してもよい。以下では被写体が人物である場合に、全体領域情報と顔領域情報と黒目領域情報を検出するときの例について説明する。

ここでは、全体領域情報は領域名WHOLEと全体領域集合Region_WHOLEによって構成され、顔領域集合は領域名FACEと顔領域集合Region_FACEによって構成され、黒目領域集合は領域名EYEと黒目領域集合Region_EYEによって構成されるものとする。なお、全体領域集合Region_WHOLEとは、入力された静止画像に含まれるすべてのピクセルを含む集合である。

図２は、顔領域情報と黒目領域情報を検出し、入力映像を顔領域と黒目領域に分割するための領域分割部２２の構成を示すブロック図である。領域分割部２２は、画像スケール変換部２２１と、検出対象領域切出部２２２と、空間周波数分析部２２３と、顔候補判定部２２４と、顔候補選択部２２５と、肌領域抽出部２２６と、黒目領域抽出部２２７と、によって構成される。

領域分割部２２における顔候補の選択はＨａａｒ型の特徴量を用い、ＡｄａＢｏｏｓｔ学習法、及びカスケード構造検出器による方法を用いる（例えば、特開２００６−２９３７２０号公報参照）。

検出対象領域切出部２２２では、スケール変換された画像から既定のサイズの領域の切り出しを行う。ただし、ここで扱う領域の形状は、任意形状であってよいものとする。

空間周波数分析部２２３では、切り出された領域に対し空間周波数フィルタリングを行う。例えば、ＡｄａＢｏｏｓｔ学習法、及びカスケード検出器構造をもつ、Ｈａａｒ型の特徴量検出による手法を用いてもよい。この手法は、P. Viola, M. Jones, "Rapid object Detection using a Boosted Cascade of Simple Features", In Proc. IEEE Conf. on Computer Vision and Pattern Recognition, kauai, USA, 2001に詳しいので、ここでは詳細な説明は省略する。

顔候補判定部２２４では、空間周波数分析部２２３の出力値をもとに、領域が顔領域候補となり得るかを判定する。

顔候補選択部２２５では、顔候補となり得ると判断された顔領域候補のうち面積が最大となる顔領域候補を選択し、出力する。

肌領域抽出部２２６では、顔領域候補を入力として顔領域集合Region_FACEを出力する。顔領域集合Region_FACEは、顔領域候補内に含まれるピクセルのうち、ピクセルの色が肌色であるものによって構成される。すなわちRegion_FACEは、ピクセルpのx座標値をxp 、y座標値をyp 、Ｒ値をrp、Ｇ値をgp 、Ｂ値をbp とすると

と表される。なお、肌色として扱うＲＧＢ値は予め設定してあるものとする。例えばＹＵＶカラーモデルにおいてＣb 値が−４０以上−２０以下でありＣb 値が１５以上３５以下の値を肌色とするなどの手法を用いる。

黒目領域抽出部２２７では、顔領域候補を入力として黒目領域集合Region_EYEを出力する。黒目領域集合Region_EYEは、顔領域候補内に含まれるピクセルのうち、輝度値が低いピクセルによって構成される。より具体的には顔領域候補内に含まれるピクセルのうち輝度値の低い順に１％のピクセル群を黒目領域集合とする。図３は、領域分割部２２で人の顔を検出する際の処理の一例を示す図である。

目標ＲＧＢ分布作成部２４は、目標ＲＧＢ分布名とＲＧＢ分布情報群が入力され、目標ＲＧＢ分布情報を出力する。ＲＧＢ分布情報群はＲＧＢ分布記憶部３１より読み出される。ＲＧＢ分布情報群は複数のＲＧＢ分布情報によって構成され、各ＲＧＢ分布情報はＲＧＢ分布名を持ち、複数のＲＧＢ分布レコードによって構成される。図４は、ＲＧＢ分布情報の一例を示す図である。各ＲＧＢ分布レコードはレコード番号と領域名と累積割合値と最小伸縮率と最大伸縮率と目標色によって構成される。ここで累積割合値は０以上１以下の少数値である。ここで最小伸縮率及び最大伸縮率は０以上の少数値である。

本実施形態において扱う色成分について説明すると、Luminance（輝度：ＹＣb ＣrカラーモデルにおけるＹ成分）、Ｃb（ＹＣbＣrカラーモデルにおけるＣb成分）、Ｃr（ＹＣbＣrカラーモデルにおけるＣr成分）、墨（ＣＭＹＫカラーモデルにおけるＫ成分）、レッド（ＲＧＢカラーモデルにおけるＲ成分）、グリーン（ＲＧＢカラーモデルにおけるＧ成分）、ブルー（ＲＧＢカラーモデルにおけるＢ成分）、色相（ＨＳＶカラーモデルにおけるＨ成分）、彩度（ＨＳＶカラーモデルにおけるＳ成分）、明度（ＨＳＶカラーモデルにおけるＶ成分）の１０種類であり、全ての色成分において最小値は０、最大値は２５５とする。

変換抑制パラメタ作成部２３は静止画像と領域情報群と目標ＲＧＢ分布情報が入力され、変換抑制パラメタを作成し、出力する。変換抑制パラメタは、以下の手順によって作成される。

まず、色成分Componentにおけるピクセルｐの色値を返す色値算出関数を

とする。ここでｇ(Component,p,x)を

と定義すると、ピクセルの集合Ｐにおいて領域集合Region_R にも含まれるピクセルpを取り出したとき、色成分Componentにおけるピクセルpの色値がxとなる確率、すなわちcolor(p,Component)＝xとなる確率を表す確率密度関数（ヒストグラム関数）frequency(P,Region_R,Component,x)は

と定義される。

例えば、画像全体領域情報（領域名WHOLE、領域集合Region_WHOLE）と、顔領域情報（領域名FACE、領域集合Region_FACE）と、黒目領域情報（領域名EYE、領域集合Region_EYE）との領域情報があったとしたとき、ある画像を表すピクセルの集合をPyとし、輝度の色成分をYとすると、全体領域の輝度のヒストグラムは、frequency(Py,Region_WHOLE,Y,x)と表され、同様に顔領域の輝度のヒストグラムは、frequency(P,Region_FACE,Y,x)と表され、黒目領域の輝度のヒストグラムは、frequency(P,Region_EYE,Y,x)と表される。

また、色成分Componentのヒストグラムを表す確立密度関数frequency(P,Region_R,Component,x)から導き出される累積分布関数cumulative(P,Region_R,Component,x)は

と表される。

確率密度関数が図５の曲線で表されたとすると、その累積分布関数は、図６のように表される曲線となる。さらに、累積分布関数のｘに関する逆関数は

と表される。ただし、ここで、ｙはy=cumulative（P,Region_R,Component,x）の関係を満たす値である。

ここで、制御値算出関数control(P,Region_R,Component,A)を前記累積分布関数cumulativeを用いて下記のように定義する。

ただし、ここでは入力された静止画像に含まれるピクセルの集合をP、目標のＲＧＢ分布レコードにおける領域名をR、静止画像を領域分割して作成した領域名Rに対応する領域集合をRegion_R、色成分をComponent、累積割合値をAとしている。

この制御値算出関数を累積割合値Aに適用することによって、図７に示されるように、

より、累積割合値Ａに対応する制御値Cが算出される。

上記制御値算出関数controlを用いて各ＲＧＢ分布レコードに対応して、ある色成分における制御値が算出される。また、各ＲＧＢ分布レコードについて、ある色成分における目標色の値を算出することで目標値Ｔが設定可能となる。Ｒ成分において各ＲＧＢ分布レコードに対応して制御値及び目標値を算出した例を図８に示す。

ここで、制御値C₁,C₂の範囲を目標値T₁,T₂の範囲に変換した際の伸縮率算出関数stretchを

と定義する。すなわち伸縮率算出関数stretch（C₁,C₂,T₁,T₂）はT₁,T₂間の距離がC₁,C₂間の距離の何倍に伸縮されているかを算出する。

さらに、制御直列を{C_k}_k=1,2,…,n（ただしC₁≦C₂≦…≦C_n）、目標値列を{T_k}_k=1,2,…,n、最小伸縮率数列を{a_k}_k=1,2,…,n、最大伸縮率数列を{b_k}_k=1,2,…,nとして、初期伸縮率数列{d_k}_k=1,2,…,n、制御伸縮率数列{e_k}_k=1,2,…,n、変換抑制制御値列{L_k}_k=1,2,…,n、変換抑制目標値列{M_k}_k=1,2,…,nをそれぞれ

によって求める。ただし

とする。

以上の手順で制御値列{C_k}_k=1,2,…,n、目標値列{T_k}_k=1,2,…,n、最小伸縮率数列{a_k}_k=1,2,…,n、最大伸縮率数列{b_k}_k=1,2,…,nから、変換抑制制御値列{L_k}_k=1,2,…,nを算出する変換抑制制御値列算出関数restrainControlおよび変換抑制目標値列{M_k}_k=1,2,…,nを算出する変換抑制目標値列算出関数restrainTargetをそれぞれ

と定義する。

このように定めた変換抑制制御値列{L_k}_k=1,2,…,n、変換抑制目標値列{M_k}_k=1,2,…,nは

を満たす。すなわちｋ番目の伸縮率がe_kであり、k+1番目の伸縮率をstretch(C_k,C_k+1,T_k,T_k+1)のまま変化させない変換抑制制御値L_kおよび変換抑制目標値M_kが算出される。

例えば、図９に示すようにL_k-1=60、M_k-1=90、C_k=80、T_k=160、C_k+1=240、T_k+1=240、a_k=0.5、b_k=2.0であったとすると、初期伸縮率d_kおよび抑制伸縮率e_kは

となる。ここで上記に示した手順によりL_kおよびM_kを求めると

となる。ここで求めたL_kおよびM_kは

を満たし、L_k-1-L_k間の伸縮率を抑制伸縮率e_k=2.0に抑え、L_k-C_k+1間の伸縮率は抑制前のC_k-C_k+1間の伸縮率stretch(C_k,C_k+1,T_k,T_k+1)=0.5と同じ値にしている。

上記手順により各ＲＧＢ分布レコードに対応して、ある色成分における変換抑制制御値及び変換抑制目標値を算出した例を図１０に示す。

ここで色値ｘの変換を行う色変換関数convert({L_k}_k=1,2,…,n,{M_k}_k=1,2,…,n,x)を

と定義する。

ここで、例えば静止画像の輝度ヒストグラムが図１１のように分布しており、変換抑制制御値{L₁,L₂,L₃,L₄}と変換抑制目標値{M₁,M₂,M₃,M₄}が図のように定められていたとすると、色変換関数convert({L₁,L₂,L₃,L₄},{M₁,M₂,M₃,M₄},x)を適用して輝度値の変換を行った後のヒストグラムは図１２のようになる。同図に示すように、色変換関数convertは変換抑制制御値と変換抑制目標値が合致するようにヒストグラムを変換する。

ここで図１３に示すように各目標ＲＧＢ分布レコードに対して目標色のＲ値をＲ目標値、Ｇ値をＧ目標値、Ｂ値をＢ目標値として設定する。

また、静止画像のピクセルの集合をＰ、ある目標ＲＧＢ分布レコードRecordの領域名をAREA、累積割合値をＡとすると、制御値算出関数controlを用いて、Ｒ制御値C_Rは

と算出され、全ＲＧＢ分布レコードについて制御値を算出することでＲ制御値列{C_R,k}_k=1,2,…,n（ただしC₁≦C₂≦…≦C_n）を算出できる。

ここでさらにC_R,kを算出したＲＧＢ分布レコードにおけるＲ目標値をT_R,k、最小伸縮率をa_k、最大伸縮率をb_kとしてＲ目標値列{T_R,k}_k=1,2,…,nを、最小伸縮率{a_k}_k=1,2,…,n、Ｒ最大伸縮率{b_k}_k=1,2,…,nを定義する。

すると前記変換抑制制御値列算出関数restrainControlおよび変換抑制目標値列算出関数restrainTargetを用いて、Ｒ変換抑制制御値列{L_R,k}_k=1,2,…,nおよびＲ変換抑制目標値列{M_R,k}_k=1,2,…,nは

と算出される。

同様に、RecordのＧ制御値C_Gは

と算出され、Ｇ制御値列を{C_G,k}_k=1,2,…,n、Ｇ目標値列を{T_G,k}_k=1,2,…,nとするとＧ変換抑制制御値列{L_G,k}_k=1,2,…,nおよびＧ変換抑制目標値列{M_G,k}_k=1,2,…,nは

と算出される。また、RecordのＢ制御値C_Bは

と算出され、Ｂ制御値列を{C_B,k}_k=1,2,…,n、Ｂ目標値列を{T_B,k}_k=1,2,…,nとするとＢ変換抑制制御値列{L_B,k}_k=1,2,…,nおよびＢ変換抑制目標値列{M_B,k}_k=1,2,…,nは

と算出される。

上記手順によって各分布レコードについてＲ変換抑制制御値、Ｒ変換抑制目標値、Ｇ変換抑制制御値、Ｇ変換抑制目標値、Ｂ変換抑制制御値、Ｂ変換抑制目標値を算出し、Ｒ変換抑制制御値について昇順に並べた表を図１４に示す。なお、Ｒ変換抑制制御値とＲ変換抑制目標値以外については省略形とする。変換抑制パラメタ作成部２３はここで作成した表を変換抑制パラメタとして出力する。

ＲＧＢ変換関数作成部２５は、変換抑制パラメタが入力され、Ｒ変換関数、Ｇ変換関数、Ｂ変換関数を出力する。

ここで、Ｒ変換抑制制御値列{L_R,k}_k=1,2,…,n（ただしL_R,1≦L_R,2≦…≦L_R,n）と、Ｒ変換抑制目標値列{M_R,k}_k=1,2,…,nを用いてＲ値の変換を行うＲ変換関数convert_R(x)を

と定義し、Ｇ変換抑制制御値列を{L_G,k}_k=1,2,…,nと、Ｇ変換抑制目標値列{M_G,k}_k=1,2,…,nを用いてＧ値の変換を行うＧ変換関数convert_G(x)を

Ｂ変換抑制制御値列を{L_B,k}_k=1,2,…,nと、Ｂ変換抑制目標値列{M_B,k}_k=1,2,…,nを用いてＢ値の変換を行うＢ変換関数convert_B(x)を

と定義する。

ＲＧＢ変換関数作成部２５は、上記のR変換関数convert_R(x)とG変換関数convert_G(x)とB変換関数convert_B(x)とを出力する。

変換ＬＵＴ作成部２６は、R変換関数とG変換関数とB変換関数とを入力としてR変換LUTとG変換LUTとB変換LUTを出力する。具体的には、値として取り得る全てのR値、G値、B値に対して、それぞれR変換関数、G変換関数、B変換関数を適用した値が対応する図１５のようなLUTを作成し、変換ＬＵＴ記憶部３２に記憶させる。

映像変換部２７は、入力映像と色変換ＬＵＴを入力として変換映像を出力する。具体的には、入力映像の各フレームの各ピクセルについて色変換ＬＵＴを参照してR値、G値、B値を変換して変換フレームを作成し、作成した変換フレームを順次出力することで最終的な変換映像を出力する。

以上、説明したように、本実施の形態によれば、映像を複数の対象物の領域に分割し、各領域のヒストグラムを目標の分布範囲に分布させるべく変換抑制パラメタを作成し、変換抑制パラメタを用いて色変換関数を作成し、色変換関数を映像に適用することで、コントラストが過剰に変換されるのを抑制することができる。

また、顔の領域を検出することで、検出された顔の領域について、コントラストが過剰に変換されるのを抑制することができる。

また、分割された各領域についてＲ成分、Ｇ成分、Ｂ成分のヒストグラムのそれぞれについて変換抑制パラメタを作成し、変換抑制パラメタを用いて色変換関数を作成し、色変換関数を映像に適用することで、Ｒ成分、Ｇ成分、Ｂ成分のコントラストが過剰に変換されるのを抑制する。

一実施形態における映像変換装置の全体的な構成を示すブロック図である。顔領域情報と黒目領域情報を検出し、入力映像を顔領域と黒目領域に分割するための領域分割部２２の構成を示すブロック図である。領域分割部２２で人の顔を検出する際の処理の一例を示す図である。ＲＧＢ分布情報の一例を示す図である。ある色成分におけるピクセルｐの色値がｘとなる確率を表す確率密度関数（ヒストグラム関数）の一例を示す図である。図５に示す確率密度関数についての累積分布関数を示す図である。累積割合値Ａから制御値を算出するための制御値算出関数の一例を示す図である。図４の各ＲＧＢ分布レコードに制御値と目標値を追加したものを示す図である。制御値と目標値から変換抑制制御値と変換抑制目標値を求める処理の具体例を示す図である。図８の各ＲＧＢ分布レコードに変換抑制制御値と変換抑制目標値を追加したものを示す図である。色変換関数による変換される前のヒストグラムを示す図である。色変換関数による変換された後のヒストグラムを示す図である。図４の各ＲＧＢ分布レコードにR目標値、G目標値、B目標値の情報を追加したものを示す図である。 R変換抑制制御値、R変換抑制目標値、G変換抑制制御値、G変換抑制目標値、B変換抑制制御値、B変換抑制目標値を、R変換抑制制御値について昇順に並べた表を示す図である。Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの色変換用のルックアップテーブルの一例を示す図である。従来のコントラストストレッチング装置の構成を示すブロック図である。

符号の説明

１…入力装置
２…中央処理制御装置
３…記憶装置
１１…映像信号入力部
１２…シャッター入力部
１３…目標分布選択部
２１…フレーム抽出部
２２…領域分割部
２３…変換抑制パラメタ作成部
２４…目標ＲＧＢ分布作成部
２５…ＲＧＢ変換関数作成部
２６…変換ＬＵＴ作成部
２７…映像変換部
３１…ＲＧＢ分布記憶部
３２…変換ＬＵＴ記憶部
４２…分布計算部
４３…ストレッチング部
２２１…画像スケール変換部
２２２…検出対象領域切出部
２２３…空間周波数分析部
２２４…顔候補判定部
２２５…顔候補選択部
２２６…肌領域抽出部
２２７…黒目領域抽出部

Claims

入力された映像を記憶する記憶手段と、
前記映像を読み出し、複数の対象物の領域に分割して記憶手段に記憶させる領域分割手段と、
所望の色成分における前記各領域のヒストグラムを作成するヒストグラム作成手段と、
前記各ヒストグラムに対して目標とする分布範囲を指定する目標範囲指定手段と、
前記各ヒストグラムを前記目標の分布範囲に分布させるように前記映像を変換する際に当該映像のコントラストが予め設定された程度より大きく変換されるのを抑制するための変換抑制パラメタを作成する変換抑制パラメタ作成手段と、
前記変換抑制パラメタを用いて色変換関数を作成する色変換関数作成手段と、
前記色変換関数を前記映像に適用して映像を変換する映像変換手段と、
を有し、
前記変換抑制パラメタ作成手段は、
全ての色値の範囲を分割し分割した各範囲において、変換前後の色値の範囲幅の比率である伸縮率が、決められた最小値と最大値の中に納まるように、前記変換抑制パラメタを作成する
ことを特徴とする映像変換装置。
前記伸縮率が、決められた最小値と最大値の中に納まるように、変換を抑制する処理においては、ｋ番目の色範囲の伸縮率を変更させた場合には、ｋ＋１番目の色範囲の伸縮率を変化させないように抑制する
ことを特徴とする請求項１記載の映像変換装置。
前記ヒストグラム作成手段は、前記各領域についてＲ成分、Ｇ成分、Ｂ成分のヒストグ
ラムを作成することを特徴とする請求項１または２記載の映像変換装置。
映像変換装置により行う映像変換方法であって、
入力された映像を記憶手段に記憶させるステップと、
前記映像を読み出し、複数の対象物の領域に分割して記憶手段に記憶させるステップと、
所望の色成分における前記各領域のヒストグラムを作成するステップと、
前記各ヒストグラムに対して目標とする分布範囲を指定するステップと、
前記各ヒストグラムを前記目標の分布範囲に分布させるように前記映像を変換する際に当該映像のコントラストが予め設定された程度より大きく変換されるのを抑制するための変換抑制パラメタを作成するステップと、
前記変換抑制パラメタを用いて色変換関数を作成するステップと、
前記色変換関数を前記映像に適用して映像を変換するステップと、
を有し、
前記変換抑制パラメタを作成するステップでは、
全ての色値の範囲を分割し分割した各範囲において、変換前後の色値の範囲幅の比率である伸縮率が、決められた最小値と最大値の中に納まるように、前記変換抑制パラメタを作成する
ことを特徴とする映像変換方法。
請求項１ないし３のいずれかに記載の映像変換装置としてのコンピュータに当該映像変換装置が行う処理を実行させることを特徴とする映像変換プログラム。