JP4838224B2

JP4838224B2 - 諧調変換装置および方法、プログラム

Info

Publication number: JP4838224B2
Application number: JP2007295540A
Authority: JP
Inventors: 謙治原; 博人稲垣
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2007-11-14
Filing date: 2007-11-14
Publication date: 2011-12-14
Anticipated expiration: 2027-11-14
Also published as: JP2009124381A

Description

本発明は映像を自動で変換する技術に関するものであり、特にデジタル映像処理装置において、入力された映像を変換するための諧調変換装置および方法、プログラムに関する。

従来技術において、ヒストグラムとは映像内のピクセルに対する明暗値の分布を示している。コントラストストレッチングは明暗値の分布が偏った画像について明暗値を低い値から高い値まで広く分布させることによって映像のコントラストを向上させる方法である。コントラストストレッチングを通して暗い映像は明るくなり、明るすぎる映像は暗くなって適当な明暗値を維持する。すなわち、映像の輝度値分布を修正することによって映像の全体的なコントラストバランスが改善される。

図１３は従来のコントラストストレッチング装置のブロック図である。

図１３に示されるように、従来のコントラストストレッチング装置は、分布計算部１０１及びストレッチング部１０２を有する。

分布計算部１０１は画像入力部１００に入力された入力映像から明暗値を計数してヒストグラム値またはヒストグラム関数を求める。図示しない目標値入力部に目標最低値と目標最高値が入力され、入力された目標値を出力してストレッチング部１０２へ入力する。

ストレッチング部１０２は分布計算部１０１で求められた確率密度関数を用いて最低値と最高値を有する明暗値を求め、入力映像の明度の最低値と最高値が目標分布入力部に入力された目標最低値と目標最高値とに一致するようにヒストグラムを変換する。変換された入力映像は映像出力部１０３より出力される。ストレッチング部１０２の処理において、目標最低値が０であり、目標最高値が２５５であれば、映像は０から２５５までの明暗値を有し映像のコントラストが増加する。

また、上述したヒストグラム拡大処理を映像のＲ成分とＧ成分とＢ成分とに対して同様に施すことで色味を保ったまたまコントラストを増加させることが可能となる。或いはＲ成分とＧ成分とＢ成分とに対してそれぞれ独立にヒストグラム拡大処理を施すことで色味の偏りが少ないコントラスト増加映像を作成することが可能となる（特許文献１、２および非特許文献１を参照）。
特開１９９２−２５７０８２特開２００６−２９３７２０ P.Viola, M.Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", In Proc. IEEE Conf. on Computer Vision and Pattern Reconginition, Kauai, USA, 2001

しかし、従来の技術によるコントラストストレッチングにおいて、全体の色味の偏りを少なくしようとしてＲ成分とＧ成分とＢ成分をそれぞれ独立に制御すると、明るさと色味が同時に変換されてしまうため、明るさを大幅に変換する際に、部分的にＲ成分が強すぎるなどの色味の偏った箇所が生じてしまう。

本発明は上記問題を解決するためになされたものであり、その目的は、明るさの変換の影響により色味が過度に変換されてしまうことの無い諧調変換装置および方法、プログラムを提供することにある。

上記の目的を達成するために、請求項１に記載の本発明は、入力映像を複数の領域に分割するための領域分割部と、前記領域毎のＲ成分とＧ成分とＢ成分についてそれぞれのヒストグラムを作成するための入力ヒストグラム作成部と、前記Ｒ成分と前記Ｇ成分と前記Ｂ成分および前記領域のそれぞれの前記ヒストグラムに対して目標とする分布範囲を指定するための目標範囲指定部と、前記ヒストグラムを前記分布範囲に分布させる色変換関数を作成するための色変換関数作成部と、前記色変換関数による輝度の変換のみを行う輝度限定変換関数を作成するための輝度限定変換関数作成部と、前記入力映像に前記輝度限定変換関数が適用された後のＲ成分とＧ成分とＢ成分のヒストグラムからなる輝度限定ヒストグラムを作成するための輝度限定変換ヒストグラム作成部と、前記輝度限定変換ヒストグラムを前記色変換関数作成部で目標とした前記分布範囲と同一の分布範囲に分布させる色調整関数を作成するための色調整関数作成部と、前記輝度限定変換関数と前記色調整関数を前記入力映像に適用して変換映像を作成するための変換映像作成部と、を備える。

また、請求項２に記載の本発明は、領域分割部において入力映像を複数の領域に分割するステップと、入力ヒストグラム作成部において前記領域毎のＲ成分とＧ成分とＢ成分についてそれぞれのヒストグラムを作成するステップと、目標範囲指定部において前記Ｒ成分と前記Ｇ成分と前記Ｂ成分および前記領域のそれぞれの前記ヒストグラムに対して目標とする分布範囲を指定するステップと、色変換関数作成部において前記ヒストグラムを前記分布範囲に分布させる色変換関数を作成するステップと、輝度限定変換関数作成部において前記色変換関数による輝度の変換のみを行う輝度限定変換関数を作成するステップと、輝度限定変換ヒストグラム作成部において前記入力映像に前記輝度限定変換関数が適用された後のＲ成分とＧ成分とＢ成分のヒストグラムからなる輝度限定ヒストグラムを作成するステップと、色調整関数作成部において前記輝度限定変換ヒストグラムを前記色変換関数作成部で目標とした前記分布範囲と同一の分布範囲に分布させる色調整関数を作成するステップと、変換映像作成部において前記輝度限定変換関数と前記色調整関数を前記入力映像に適用して変換映像を作成するステップと、を有する。

また、請求項３に記載の本発明は、領域分割部において入力映像を複数の領域に分割するステップと、入力ヒストグラム作成部において前記領域毎のＲ成分とＧ成分とＢ成分についてそれぞれのヒストグラムを作成するステップと、目標範囲指定部において前記Ｒ成分と前記Ｇ成分と前記Ｂ成分および前記領域のそれぞれの前記ヒストグラムに対して目標とする分布範囲を指定するステップと、色変換関数作成部において前記ヒストグラムを前記分布範囲に分布させる色変換関数を作成するステップと、輝度限定変換関数作成部において前記色変換関数による輝度の変換のみを行う輝度限定変換関数を作成するステップと、輝度限定変換ヒストグラム作成部において前記入力映像に前記輝度限定変換関数が適用された後のＲ成分とＧ成分とＢ成分のヒストグラムからなる輝度限定ヒストグラムを作成するステップと、色調整関数作成部において前記輝度限定変換ヒストグラムを前記色変換関数作成部で目標とした前記分布範囲と同一の分布範囲に分布させる色調整関数を作成するステップと、変換映像作成部において前記輝度限定変換関数と前記色調整関数を前記入力映像に適用して変換映像を作成するステップと、してコンピュータにインストールして実行可能である。

本発明によれば、明るさの変換の影響により色味が過度に変換されてしまうことの無い諧調変換装置および方法、プログラムを提供することができる。

図１は、本実施の形態における諧調変換装置の全体的な構成を示すブロック図である。同図に示すように、本諧調変換装置は、入力装置２、中央処理制御装置１、記憶装置３を有する。入力装置２は、映像信号入力部１９、シャッター入力部２０、目標分布選択部２１を有し、中央処理制御装置１は、フレーム抽出部１０、領域分割部１１、目標ＲＧＢ分布作成部１３、ＲＧＢ変換関数作成部１２、輝度限定変換関数作成部１４、ＲＧＢ調整関数作成部１５、変換関数合成部１６、変換ＬＵＴ（ルックアップテーブル）作成部、映像変換部１８を有し、記憶装置３は分布特徴記憶部と変換ＬＵＴ記憶部２３を有する。

本諧調変換装置は、専用のハードウェアとして構成してもよいし、汎用的なコンピュータを用いて構成し、各部の処理をコンピュータプログラムによって実行させるようにしてもよい。尚、各部が処理した結果は、記憶部に読み出し可能に記憶される。

映像信号入力部１９は、映像信号が入力されると、これをフレーム抽出部１０と映像変換部１８に出力する。ここでは、映像信号入力部１９が出力する映像を入力映像と呼ぶ。

本実施の形態で扱う入力映像は複数のフレームによって構成される動画であり、各フレームは複数のピクセルによって構成される静止画像である。ここで、入力映像の幅がwidthであり高さがheightであるとする。この時、各フレームはwidth×height個のピクセルによって構成される。各ピクセルはＲＧＢカラーモデルにおいて色を表現するデータであり、フレームにおけるｘ座標値とｙ座標値とＲ値とＧ値とＢ値によって構成され、ｘ座標値は１以上width以下の整数値であり、ｙ座標値は１以上height以下の整数値であり、Ｒ値とＧ値とＢ値はそれぞれ０以上２５５以下の整数値である。

目標分布選択部２１では、ユーザが選択した目標ＲＧＢ分布名を目標ＲＧＢ分布作成部１３に出力する。

目標ＲＧＢ分布作成部１３は、目標ＲＧＢ分布名とＲＧＢ分布情報群が入力され、目標ＲＧＢ分布情報を作成し、作成された目標ＲＧＢ分布情報は１次ＲＧＢ変換関数作成部１２及び２次ＲＧＢ変換関数作成部１２に出力される。なお、ＲＧＢ分布情報部はＲＧＢ分布記憶部２２から読み出すことで入力される。

シャッター入力部２０は、ユーザによりシャッター操作が行われると、フレーム抽出部１０にシャッター操作を伝えるシャッター信号を出力する。

フレーム抽出部１０は、映像信号とシャッター信号が入力され、静止画像を出力する。フレーム抽出部１０が出力する静止画像は入力映像から取り出した１フレームの静止画像である。

領域分割部１１は、入力映像を複数の対象物の領域に分割する。

ＲＧＢ変換関数作成部１２とＲＧＢ調整関数作成部１５は、それぞれが、独立した関数作成部であり、Ｒ成分・Ｇ成分・Ｂ成分における各領域のヒストグラムを作成すると共に、目標ＲＧＢ分布作成部１３が出力する目標値を入力として受け取り、各ヒストグラムが目標値に合致する分布範囲となるように色変換関数を作成する。

より具体的には、ＲＧＢ変換関数作成部１２とＲＧＢ調整関数作成部１５は、各領域についてＲ成分のヒストグラムとＧ成分のヒストグラムとＢ成分のヒストグラムとを作成すると共に、予め記憶装置３に記憶されている目標色の情報を読み出して、各ヒストグラムが目標色に合致する分布範囲となるように各ヒストグラムに対応したＲ変換関数とＧ変換関数とＢ変換関数とを作成する。

輝度限定変換関数作成部１４はＲＧＢ変換関数作成部１２で作成された変換関数によって行われる輝度の変換のみを行う輝度限定変換関数を作成する。

輝度限定変換関数作成部１４とＲＧＢ調整関数作成部１５で作成された変換関数は変換関数合成部１６により合成され、この合成関数が映像変換部１８によって入力映像に適用される。

以下、各部における処理について説明する。

領域分割部１１は、静止画像が入力され、領域情報部を出力する。領域情報部は、複数の領域情報によって構成され、各領域情報は領域名Ｒと領域集合Region_Rによって構成される。ピクセルｐのｘ座標値をｘ_p、ｙ座標値をｙ_pとすると領域集合Region_Rは
Region_R＝｛ｐ｜座標（ｘ_p，ｙ_p）が領域Ｒに含まれる｝
と表される。領域分割部１１では静止画像の被写体が人物である場合は、全体領域情報と顔領域情報と黒目領域情報を検出してもよい。或いは静止画像の被写体が物体である場合には、全体領域情報と被写体領域情報と背景領域情報を検出してもよい。以下では被写体が人物である場合に、全体領域情報と顔領域情報と黒目領域情報を検出するときの例について説明する。

ここでは、全体領域情報は領域名WHOLEと全体領域集合Region_WHOLEによって構成され、顔領域集合は領域名FACEと顔領域集合Region_FACEによって構成され、黒目領域集合は領域名EYEと黒目領域集合Region_EYEによって構成されるものとする。なお、全体領域集合Region_WHOLEとは、入力された静止画像に含まれるすべてのピクセルを含む集合である。

図２は、顔領域情報と黒目領域情報を検出し、入力映像を顔領域と黒目領域に分割するための領域分割部１１の構成を示すブロック図である。また、図３は図２に示す構成による分割処理の一例を示している。

この図２に示すように領域分割部１１は、画像スケール変換部２５と、検出対象領域切出部２６と、空間周波数分析部２７と、顔候補判定部２８と、肌領域抽出部３０と、黒目領域抽出部３１と、によって構成される。

領域分割部１１における顔候補の選択はHaar型の特徴量を用い、既知のAdaBoost学習法およびカスケード構造検出器による方法を用いる。

検出対象領域切出部２６では、スケール変換された画像から規定のサイズの領域の切り出しを行う（図３中のＳ３）。ただし、ここで扱う領域の形状は、任意形状であってよいものとする。

空間周波数分析部２７では、切り出された領域に対し空間周波数フィルタリングを行う。例えば既知のAdaBoost学習法およびカスケード検出器構造をもつHaar型の特徴量検出による方法を用いてもよい（図３中のＳ４）。

顔候補判定部２８では、空間周波数分析部２７の出力値をもとに、領域が顔領域候補となり得るかを判定する（図３中のＳ５）。

顔候補選択部２９では、顔候補となり得ると判断された顔領域候補のうち面積が最大となる顔領域候補を選択し、出力する。

肌領域抽出部３０では、顔領域候補を入力として顔領域集合Region_FACEを出力する。顔領域集合Region_FACEは顔領域候補内に含まれるピクセルのうち、ピクセルの色が肌色であるものによって構成される。すなわちRegion_FACEは、ピクセルｐのｘ座標値をｘ_p、ｙ座標値をｙ_p、Ｒ値をｒ_p、Ｇ値をｇ_p、Ｂ値をｂ_pとすると
Region_FACE
＝｛ｐ｜座標（ｘ_p，ｙ_p）が顔領域候補に含まれ、色（ｒ_p，ｇ_p，ｂ_p）が肌色｝
と表される。なお、肌色として扱うＲＧＢ値は予め設定してあるものとする。例えばＹＵＶカラーモデルにおいてＣｂ値が４０以上２０以下でありＣｂ値が１５以上３５以下の値を肌色とするなどの手法を用いる。

黒目領域抽出部３１では、顔領域候補を入力として黒目領域集合Region_EYEを出力する。黒目領域集合Region_EYEは、顔領域候補内に含まれるピクセルのうち、輝度値が低いピクセルによって構成される。

黒目領域抽出部３１では、顔領域候補を入力として黒目領域集合Region_EYEを出力する。黒目領域集合Region_EYEは、顔領域候補内に含まれるピクセルのうち、輝度値が低いピクセルによって構成される。より具体的には顔領域候補内に含まれるピクセルのうち輝度値の低い順に１％のピクセル群を黒目領域集合とする。

そして図３中のＳ１〜Ｓ５に示す一例のように、目標ＲＧＢ分布作成部１３は目標ＲＧＢ分布名と、ＲＧＢ分布情報群が入力され、目標ＲＧＢ分布情報を出力する。ＲＧＢ分布情報群はＲＧＢ分布記憶部２２より読み出される。ＲＧＢ分布情報群は複数のＲＧＢ分布情報によって構成され、各ＲＧＢ分布情報はＲＧＢ分布名を持ち、複数のＲＧＢ分布レコードによって構成される。

図４は、ＲＧＢ分布情報の一例を示す図である。各ＲＧＢ分布レコードは領域名と累積割合値と目標色によって構成される。ここで累積割合値は０以上１以下の小数値である。

本実施の形態において扱う色成分について説明すると、輝度（ＹＣｂＣｒカラーモデルにおけるＹ成分）、Ｃｂ（ＹＣｂＣｒカラーモデルにおけるＣｂ成分）、Ｃｒ（ＹＣｂＣｒカラーモデルにおけるＣｒ成分）、墨（ＣＭＹＫカラーモデルにおけるＫ成分）、レッド（ＲＧＢカラーモデルにおけるＲ成分）、グリーン（ＲＧＢカラーモデルにおけるＧ成分）、ブルー（ＲＧＢカラーモデルにおけるＢ成分）、色相（ＨＳＶカラーモデルにおけるＨ成分）、彩度（ＨＳＶカラーモデルにおけるＳ成分）、明度（ＨＳＶカラーモデルにおけるＶ成分）の１０種類であり、全ての色成分において最小値は０、最大値は２５５とする。

ＲＧＢ変換関数作成部１２は静止画像と領域情報群とが入力され、ＲＧＢ変換関数を作成し、出力する。前記ＲＧＢ変換関数は以下の手順によって作成される。

まず、色成分Componentにおけるピクセルｐの色値を返す色値算出関数を
color（ｐ，Component）
とする。ここでｇ（Component，ｐ，ｘ）を

と定義すると、ピクセルの集合Ｐにおいて領域集合Reion_Rにも含まれるピクセルｐを取り出したとき、色成分Componentにおけるピクセルｐの色値がｘとなる確率、すなわちcolor（ｐ，Component）＝ｘとなる確率を表す確率密度関数frequency（Ｐ，Region_R，Component，ｘ）は

と定義される。

例えば画像全体領域情報（領域名WHOLE、領域集合Region_WHOLE）と、顔領域情報（領域名FACE、領域集合Region_FACE）と、黒目領域情報（領域名EYE、領域集合Region_EYE）との領域情報があったとしたとき、入力画像を表すピクセルの集合をＰyとし、輝度の色成分をＹとすると、全体領域輝度ヒストグラムはfrequency（Ｐy，Region_WHOLE，Ｙ，ｘ）と表され、同様に顔領域輝度ヒストグラムはfrequency（Ｐy，Region_FACE，Ｙ，ｘ）と、黒目領域輝度ヒストグラムはfrequency（Ｐy，Region_EYE，Ｙ，ｘ）と表される。

また、輝度ヒストグラムを表す確率密度関数frequency（Ｐ，Region_R，Component，ｘ）から導き出される累積分布関数cumulative（Ｐ，Region_R，Component，ｘ）は

と表される。

確率密度関数が図５の曲線で表されたとすると累積分布関数は図６のように表される曲線となる。さらに、累積分布関数のｘに関する逆関数は

と表される。ただし、ここでｙはｙ＝cumulative（Ｐ，Region_R，Component，ｘ）の関係を満たす値である。

ここで制御値算出関数controlを前記累積分布関数cumulativeを用いて下記のように定義する。

ただし、ここでは入力された静止画像に含まれるピクセルの集合をＰ、目標分布レコードにおける領域名をＲ、静止画像を領域分割して作成した領域名Ｒに対応する領域集合をRegion_R、色成分をComponent、累積割合値をＡとしている。この制御値算出関数を累積割合値Ａに適用することによって、図７に示されるように累積割合値Ａに対応する制御値Ｃが得られる。

上記制御値算出関数controlを用いて例えば図８に示すように各分布レコードに対応して、ある色成分における制御値が算出される。

ここでピクセルの集合をＰ、色成分をComponent、分布レコード列を｛ｄ_k｝_k=1,2,...,nとしたとき、分布レコード列に対応する制御値数列を求める制御値数列算出関数controlSeqを
controlSeq（Ｐ，Component，｛ｄ_k｝_k=1,2,...,n）
＝｛control（Ｐ，Region_Rk，Component，Ａ_k）｝_k=1,2,...,n
と定義する。ただし、ここでは分布レコードｄ_kにおける領域名をＲk、領域名Ｒkに対応する領域集合をRegion_Rk、分布レコードｄ_kにおける累積割合値をＡ_kとしている。

また、制御値数列｛ｃ_k｝_k=1,2,...,n（ただしｃ₁≦ｃ₂≦…≦ｃ_n）と、目標値数列｛ｔ_k｝_k=1,2,...,nを用いて、色値ｘの変換を行う色変換関数convert（｛ｃ_k｝_k=1,2,...,n，｛ｔ_k｝_k=1,2,...,n，ｘ）を

と定義する。

ここで、例えば静止画像の輝度ヒストグラムが図９のように分布しており、制御値｛Ｃ１，Ｃ２，Ｃ３，Ｃ４｝と目標値｛Ｔ１，Ｔ２，Ｔ３，Ｔ４｝が図のように定められていたとすると、色変換関数convert（｛Ｃ１，Ｃ２，Ｃ３，Ｃ４｝，｛Ｔ１，Ｔ２，Ｔ３，Ｔ４｝，ｘ）を適用して輝度値の変換を行った後のヒストグラムは図１０のようになる。同図に示すように、色変換関数は制御値と目標値が合致するようにヒストグラムを変換する。

ここで図１１に示すように各目標ＲＧＢ分布レコードに対して目標色のＲ値をＲ目標値、Ｇ値をＧ目標値、Ｂ値をＢ目標値として設定する。

また、ここでは図１１に示すように各目標分布レコードｄ_kに対してＲ制御値ｃ_R,k，Ｇ制御値ｃ_G,k，Ｂ制御値ｃ_B,kを求める。静止画像に含まれるピクセルの集合をＰ、Ｒ色成分をＲＥＤ、Ｇ色成分をＧＲＥＥＮ、Ｂ色成分をＢＬＵＥ、目標ＲＧＢ分布情報を｛ｄ_k｝_k=1,2,...,nとすると、
Ｒ制御値数列｛ｃ_R,k｝_k=1,2,...,nは
｛ｃ_R,k｝_k=1,2,...,n＝controlSeq（Ｐ，RED，｛ｄ_k｝_k=1,2,...,n）
Ｇ制御値数列｛ｃ_G,k｝_k=1,2,...,nは
｛ｃ_G,k｝_k=1,2,...,n＝controlSeq（Ｐ，GREEN，｛ｄ_k｝_k=1,2,...,n）
Ｂ制御値数列｛ｃ_B,k｝_k=1,2,...,nは
｛ｃ_B,k｝_k=1,2,...,n＝controlSeq（Ｐ，BLUE，｛ｄ_k｝_k=1,2,...,n）
と求まる。

ここで目標分布レコードｄ_kに対応するＲ目標値をｔ_R,k、Ｇ目標値をｔ_G,k、Ｂ目標値をｔ_B,kとしてＲ制御値数列｛ｃ_R,k｝_k=1,2,...,nと、Ｒ目標値数列｛ｔ_R,k｝_k=1,2,...,nを用いてＲ値の変換を行うＲ変換関数convert_R（ｘ）を
convert_R（ｘ）＝convert（｛ｃ_R,k｝_k=1,2,...,n，｛ｔ_R,k｝_k=1,2,...,n，ｘ）
と定義し、Ｇ制御値数列｛ｃ_G,k｝_k=1,2,...,nと、Ｇ目標値数列｛ｔ_G,k｝_k=1,2,...,nを用いてＧ値の変換を行うＧ変換関数convert_G（ｘ）を
convert_G（ｘ）＝convert（｛ｃ_G,k｝_k=1,2,...,n，｛ｔ_G,k｝_k=1,2,...,n，ｘ）
Ｂ制御値数列｛ｃ_R,k｝_k=1,2,...,nと、Ｂ目標値数列｛ｔ_R,k｝_k=1,2,...,nを用いてＢ値の変換を行うＢ変換関数convert_B（ｘ）を
convert_B（ｘ）＝convert（｛ｃ_B,k｝_k=1,2,...,n，｛ｔ_B,k｝_k=1,2,...,n，ｘ）
と定義する。

ここでさらにＲＧＢ変換関数convertRGB（ｒ,ｇ,ｂ）を
convertRGB（ｒ,ｇ,ｂ）＝（convert_R（ｒ），convert_G（ｇ），convert_B（ｂ））
と定義する。

ＲＧＢ変換関数作成部１２は、上記のＲＧＢ変換関数convertRGB（ｒ,ｇ,ｂ）を出力する。

輝度限定変換関数作成部１４は静止画像とＲＧＢ変換関数convertRGB（ｒ,ｇ,ｂ）を受け取って、輝度限定変換関数convertLuminance（ｒ,ｇ,ｂ）を下記の手順により作成し、輝度限定変換関数convertLuminance（ｒ,ｇ,ｂ）と変換映像Ａを出力する。

まず、ＲＧＢカラーモデルとＹＣｂＣｒカラーモデルの間の変換関数を
ｙ＝ＲＧＢtoＹ（ｒ,ｇ,ｂ）
ｃｂ＝ＲＧＢtoＣｂ（ｒ,ｇ,ｂ）
ｃｒ＝ＲＧＢtoＣｒ（ｒ,ｇ,ｂ）
（ｒ,ｇ,ｂ）＝ＹＣｂＣｒtoＲＧＢ（ｙ,ｃｂ,ｃｒ）
とする。

このとき、輝度限定変換関数convertLuminance（ｒ,ｇ,ｂ）を

と定義する。

輝度限定変換関数作成部１４は前記輝度限定変換関数convertLuminance（ｒ,ｇ,ｂ）を用いて静止画像の全てのピクセルに色変換を施して変換画像Ａを作成し、輝度限定変換関数convertLuminance（ｒ,ｇ,ｂ）と変換画像Ａを出力する。

ＲＧＢ調整関数作成部１５は変換画像Ａと領域情報部と目標ＲＧＢ分布情報が入力され、ＲＧＢ調整関数adjustRGB（ｒ,ｇ,ｂ）を作成し、出力する。

まず、ＲＧＢ調整関数作成部１５は、変換画像Ａにおける制御値数列を制御値数列算出関数controlSeqを用いて算出し、算出した制御値数列と目標値数列と色変換関数convertを用いてＲ調整関数adjust_R（ｒ,ｇ,ｂ）、Ｇ調整関数adjust_G（ｒ,ｇ,ｂ）、Ｂ調整関数adjust_B（ｒ,ｇ,ｂ）を作成する。

ここで変換画像Ａに含まれるピクセルの集合をＰa、Ｒ色成分をＲＥＤ、Ｇ色成分をＧＲＥＥＮ、Ｂ色成分をＢＬＵＥ、目標ＲＧＢ分布情報を｛ｄ_k｝_k=1,2,...,nとし、ｄ_kに対応するＲ目標値をｔ_R,k、Ｇ目標値をｔ_G,k、Ｂ目標値をｔ_B,kとして、
Ｒ調整関数を
adjust_R(ｘ)＝convert(controlSeq(Pa，RED，{ｄ_k}_k=1,2,...,n），{ｔ_R,k}_k=1,2,...,n，ｘ)
Ｇ調整関数を
adjust_G(ｘ)＝convert(controlSeq(Pa，GREEN，{ｄ_k}_k=1,2,...,n），{ｔ_G,k}_k=1,2,...,n，ｘ)
Ｂ調整関数を
adjust_R(ｘ)＝convert(controlSeq(Pa，BLUE，{ｄ_k}_k=1,2,...,n），{ｔ_B,k}_k=1,2,...,n，ｘ)
と定義する。

さらにＲＧＢ調整関数adjustRGB（ｒ,ｇ,ｂ）を
adjustRGB（ｒ,ｇ,ｂ）＝（adjust_R（ｒ），adjust_G（ｇ），adjust_B（ｂ））
と定義する。

ＲＧＢ調整関数作成部１５はここで定義されたＲＧＢ調整関数adjustRGB（ｒ,ｇ,ｂ）を出力する。

変換関数合成部１６は、輝度限定変換関数作成部１４、ＲＧＢ調整関数作成部１５がそれぞれ作成した変換関数を合成する。輝度限定変換関数をconvertLuminance（ｒ,ｇ,ｂ）、ＲＧＢ調整関数をconvertRGB_k（ｒ,ｇ,ｂ）とすると、合成後の変換関数convertAll（ｒ,ｇ,ｂ）を
convertALL（ｒ,ｇ,ｂ）＝adjustRGB（convertLuminance（ｒ,ｇ,ｂ））
と定義する。

変換ＬＵＴ作成部１７は合成後の変換関数を入力として色変換ＬＵＴを出力する。具体的には、値として取り得る全てのＲＧＢデータに対して、各ＲＧＢデータに合成後の変換関数を適用した変換ＲＧＢデータが対応する図１２に示すようなＬＵＴを作成し、変換ＬＵＴ記憶部２３に記憶させる。

映像変換部１８は、入力映像と色変換ＬＵＴを入力として変換映像を出力する。具体的には、入力映像の各フレームの各ピクセルについて色変換ＬＵＴを参照して色変換した変換後のフレームを作成し、作成した変換フレームを作成し、作成した変換フレームを順次出力することで最終的な変換映像を出力する。

以上のようにして、明るさと色味を順番に変換することが可能となり、明るさの大幅な変換が行われることによる色味の変化を抑えることが可能となる。これにより、背景など変換の対象となっていない領域の色味の必要以上の変化を抑えることができ、自然な色変換が可能となる。

本発明の実施の形態に係る全体構成を示すブロック図である。本実施の形態に係る領域分割部の構成を示すブロック図である。本実施の形態に係る分割処理の一例を示す。本実施の形態に係るＲＧＢ分布情報の例を示す。本実施の形態に係る確率密度関数の例を示す。本実施の形態に係る累積分布関数の例を示す。本実施の形態に係る累積割合値Ａに対応する制御値Ｃを示す。本実施の形態に係る各分布レコードに対応して、ある色成分における制御値の算出例を示す。本実施の形態に係る静止画像の輝度ヒストグラムの例を示す。本実施の形態に係る輝度値の変換を行った後のヒストグラムの例を示す。本実施の形態に係る各目標分布レコードｄ_kに対してＲ制御値ｃ_R,k，Ｇ制御値ｃ_G,k，Ｂ制御値ｃ_B,kを求めた例を示す。本実施の形態に係るＬＵＴの作成例を示す。従来技術を説明するための説明図を示す。

符号の説明

１…中央処理制御装置
２…入力装置
３…記憶装置
１０…フレーム抽出部
１１…領域分割部
１２…ＲＧＢ変換関数作成部
１３…目標ＲＧＢ分布作成部
１４…輝度限定変換関数作成部
１５…ＲＧＢ調整関数作成部
１６…変換関数合成部
１７…変換ＬＵＴ作成部
１８…映像変換部
１９…映像信号入力部
２０…シャッター入力部
２１…目標分布選択部
２２…ＲＧＢ分布記憶部
２３…変換ＬＵＴ記憶部

Claims

入力映像を複数の領域に分割するための領域分割部と、
前記領域毎のＲ成分とＧ成分とＢ成分についてそれぞれのヒストグラムを作成するための入力ヒストグラム作成部と、
前記Ｒ成分と前記Ｇ成分と前記Ｂ成分および前記領域のそれぞれの前記ヒストグラムに対して目標とする分布範囲を指定するための目標範囲指定部と、
前記ヒストグラムを前記分布範囲に分布させる色変換関数を作成するための色変換関数作成部と、
前記色変換関数による輝度の変換のみを行う輝度限定変換関数を作成するための輝度限定変換関数作成部と、
前記入力映像に前記輝度限定変換関数が適用された後のＲ成分とＧ成分とＢ成分のヒストグラムからなる輝度限定ヒストグラムを作成するための輝度限定変換ヒストグラム作成部と、
前記輝度限定変換ヒストグラムを前記色変換関数作成部で目標とした前記分布範囲と同一の分布範囲に分布させる色調整関数を作成するための色調整関数作成部と、
前記輝度限定変換関数と前記色調整関数を前記入力映像に適用して変換映像を作成するための変換映像作成部と、
を備えることを特徴とする諧調変換装置。
領域分割部において入力映像を複数の領域に分割するステップと、
入力ヒストグラム作成部において前記領域毎のＲ成分とＧ成分とＢ成分についてそれぞれのヒストグラムを作成するステップと、
目標範囲指定部において前記Ｒ成分と前記Ｇ成分と前記Ｂ成分および前記領域のそれぞれの前記ヒストグラムに対して目標とする分布範囲を指定するステップと、
色変換関数作成部において前記ヒストグラムを前記分布範囲に分布させる色変換関数を作成するステップと、
輝度限定変換関数作成部において前記色変換関数による輝度の変換のみを行う輝度限定変換関数を作成するステップと、
輝度限定変換ヒストグラム作成部において前記入力映像に前記輝度限定変換関数が適用された後のＲ成分とＧ成分とＢ成分のヒストグラムからなる輝度限定ヒストグラムを作成するステップと、
色調整関数作成部において前記輝度限定変換ヒストグラムを前記色変換関数作成部で目標とした前記分布範囲と同一の分布範囲に分布させる色調整関数を作成するステップと、
変換映像作成部において前記輝度限定変換関数と前記色調整関数を前記入力映像に適用して変換映像を作成するステップと、
を有することを特徴とする諧調変換方法。
領域分割部において入力映像を複数の領域に分割するステップと、
入力ヒストグラム作成部において前記領域毎のＲ成分とＧ成分とＢ成分についてそれぞれのヒストグラムを作成するステップと、
目標範囲指定部において前記Ｒ成分と前記Ｇ成分と前記Ｂ成分および前記領域のそれぞれの前記ヒストグラムに対して目標とする分布範囲を指定するステップと、
色変換関数作成部において前記ヒストグラムを前記分布範囲に分布させる色変換関数を作成するステップと、
輝度限定変換関数作成部において前記色変換関数による輝度の変換のみを行う輝度限定変換関数を作成するステップと、
輝度限定変換ヒストグラム作成部において前記入力映像に前記輝度限定変換関数が適用された後のＲ成分とＧ成分とＢ成分のヒストグラムからなる輝度限定ヒストグラムを作成するステップと、
色調整関数作成部において前記輝度限定変換ヒストグラムを前記色変換関数作成部で目標とした前記分布範囲と同一の分布範囲に分布させる色調整関数を作成するステップと、
変換映像作成部において前記輝度限定変換関数と前記色調整関数を前記入力映像に適用して変換映像を作成するステップと、してコンピュータにインストールして実行可能なことを特徴とする諧調変換プログラム。