JP5473431B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は、画像処理装置及びその制御方法に関する。

従来、動画像のフレームの画像を複数の分割領域に分割し、分割領域毎の階調変換パラメータを用いて画像の階調を変換する画像処理装置がある。このような画像処理装置では、動画像において、物体が分割領域間を跨いで移動した際に、その物体の階調変換に用いる階調変換パラメータが変わるため、分割領域内の画像（輝度）が揺らぐという問題があった。この問題に鑑みた従来技術は、例えば、特許文献１に開示されている。具体的には、特許文献１には、分割領域毎の変換曲線（階調変換パラメータ）の時間的な変動量を所定値以下に制限することが開示されている。
しかしながら、特許文献１に開示の技術では、変換曲線の時間的な変動量を制限しているため、時間的に前のフレームで適用された変換曲線の影響により、違和感のある画像が生成される場合があった。この問題について、図１０を用いて説明する。図１０はｎ番目のフレームの画像で左側に位置する低階調の物体Ｂ’が、右側に移動し、ｎ＋１番目のフレームの画像では右側に位置する場合を示す図である。図１０において、ｎ＋１番目のフレームにおける破線Ａ’で示す領域（物体Ｂ’が存在していた領域）は、ｎ番目のフレームでの変換曲線（物体Ｂ’の階調性（低階調側の階調性）を高める変換曲線）の影響により、周囲より明るくなってしまう。また、ｎ＋１番目のフレームにおいて、物体Ｂ’は、ｎ番目のフレームでの変換曲線（背景の階調性（高階調側の階調性）を高める変換曲線）の影響により、階調性が低くされる。その結果、ｎ番目のフレームで把握できていた物体Ｂ’の詳細がｎ＋１番目のフレームでは把握できなくなってしまう。

特開２００６−１６５８２８号公報

本発明は、違和感の少ない画像を得ることのできる階調変換処理を実現することのできる画像処理装置及びその制御方法を提供することを目的とする。

本発明の第１の画像処理装置は、動画像の１フレームの画像を複数の分割領域に分割する分割手段と、分割領域毎に、その分割領域内の画素の階調値に基づいて、階調変換パラメータを決定する決定手段と、動画像における分割領域間を跨いだ映像の動きを検出して動き情報を生成する生成手段と、分割領域毎に、動き情報に基づいて、決定手段により決定された階調変換パラメータを補正して補正パラメータを出力する補正手段と、補正パラメータを用いて画像の階調を変換する変換手段と、を有し、補正手段は、階調変換の対象である対象フレームに適用される補正パラメータを、動き情報に応じて、決定手段で決定された階調変換パラメータと対象フレームの前のフレームで適用された階調変換パラメータとの間の変換特性をもつように決定することを特徴とする。
本発明の第２の画像処理装置は、動画像の１フレームの画像を複数の分割領域に分割する分割手段と、分割領域毎に、その分割領域内の画素の階調値に基づいて、階調変換パラメータを決定する決定手段と、動画像における分割領域間を跨いだ映像の動きを検出して動き情報を生成する生成手段と、分割領域毎に、動き情報に基づいて、決定手段により決定された階調変換パラメータを補正して補正パラメータを出力する補正手段と、補正パラメータを用いて画像の階調を変換する変換手段と、を有し、生成手段は、動き情報として、動きの有る物体部分と動きの無い背景部分とを区別する情報を生成し、補正手段は、物体部分と背景部分について、個別に、補正パラメータを決定することを特徴とする。

本発明の第１の画像処理装置の制御方法は、動画像の１フレームの画像を複数の分割領域に分割する分割ステップと、分割領域毎に、その分割領域内の画素の階調値に基づいて、階調変換パラメータを決定する決定ステップと、動画像における分割領域間を跨いだ映像の動きを検出して動き情報を生成する生成ステップと、分割領域毎に、動き情報に基づいて、決定ステップにより決定された階調変換パラメータを補正して補正パラメータを出力する補正ステップと、補正パラメータを用いて画像の階調を変換する変換ステップと、を有し、補正ステップでは、階調変換の対象である対象フレームに適用される補正パラメータが、動き情報に応じて、決定ステップで決定された階調変換パラメータと対象フレームの前のフレームで適用された階調変換パラメータとの間の変換特性をもつように決定されることを特徴とする。
本発明の第２の画像処理装置は、動画像の１フレームの画像を複数の分割領域に分割する分割ステップと、分割領域毎に、その分割領域内の画素の階調値に基づいて、階調変換パラメータを決定する決定ステップと、動画像における分割領域間を跨いだ映像の動きを検出して動き情報を生成する生成ステップと、分割領域毎に、動き情報に基づいて、決定ステップにより決定された階調変換パラメータを補正して補正パラメータを出力する補正ステップと、補正パラメータを用いて画像の階調を変換する変換ステップと、を有し、生成ステップでは、動き情報として、動きの有る物体部分と動きの無い背景部分とを区別する情報が生成され、補正ステップでは、物体部分と背景部分について、個別に、補正パラメータが決定されることを特徴とする。

本発明によれば、違和感の少ない画像を得ることのできる階調変換処理を実現することのできる画像処理装置及びその制御方法を提供することができる。

実施例１に係る画像処理装置の機能構成の一例を示すブロック図。 輝度ヒストグラムの一例を示す図。 度数ｃ、増減量ｄ、及び、補正の強さの関係の一例を示す図。 実施例１の階調変換パラメータ補正処理の一例を示すフローチャート。 最終的な階調変換パラメータの一例を示す図。 階調変換処理の一例を示す図。 実施例２に係る画像処理装置の機能構成の一例を示すブロック図。 映像の検出方法の一例を示す図。 静止領域、動き背景領域、及び、動き前景領域の一例を示す図。 従来技術の課題を説明するための図。

＜実施例１＞
（構成）
まず、本発明の実施例１に係る画像処理装置及びその制御方法について説明する。図１は本実施例に係る画像処理装置の機能構成を示すブロック図である。本実施例の画像処理装置は、入力された動画像の映像信号（Ｙ信号、Ｃｂ信号、Ｃｒ信号（各８ビット））のうち、Ｙ信号に対して階調変換処理を施す。

分割部１０１は、動画像のフレームの画像（フレーム画像）を複数の分割領域に分割する。本実施例では、分割部１０１は、フレーム画像を横１０×縦６の計６０個の分割領域に分割する。また、分割部１０１は、分割領域毎に、階調値毎の度数を表す輝度ヒストグラムを生成する。なお、複数の分割領域のサイズは、互いに等しくてもよいし、異なっていてもよい。分割数は６０に限らない（例えば、２０でもよいし、１００でもよい）。

パラメータ決定部１０３は、分割領域毎に、その分割領域内の画素の階調値に基づいて、フレーム画像の階調を変換するための階調変換パラメータを決定する。以下、具体的な方法について説明する。
まず、パラメータ決定部１０３は、分割領域毎に、輝度ヒストグラムから黒側局所ＭＡＸ階調、白側局所ＭＡＸ階調を求める。黒側局所ＭＡＸ階調とは最も低階調側の局所ＭＡＸ階調、白側局所ＭＡＸ階調とは最も高階調側の局所ＭＡＸ階調である。局所ＭＡＸ階調は、例えば、以下の条件（式１〜３）を満たす階調である。なお、以下の条件において、ｈｉｓｔ［ｎ］は階調値ｎの度数、閾値ｌｉｍ１と調整値ｍａｇは所定の定数である。

式１は度数の低い階調値を除外するための条件である（即ち、ｌｉｍ１は度数の低い階調
値を除外するための閾値である）。式２は度数が極大となる階調値を検出するための条件である。式３はグラフィックのようなベタ部分（同一色の領域）の階調値を除外するための条件である（即ち、調整値ｍａｇはｈｉｓｔ［ｎ］がベタ部分か否かを判断するための調整値である）。なお、式２、３でｎ±ｉやｎ±ｊの値が０より小さくなったり、２５５より大きくなる場合は、ｎを中心として反転させた値（“ｎ＋ｉ”の場合は“ｎ−ｉ”、“ｎ−ｉ”の場合は“ｎ＋ｉ”）を代用する。また、本実施例ではｊ＝４とする。
パラメータ決定部１０３は、このようにして検出された局所ＭＡＸ階調のうち、階調値０〜１２８（黒側階調）の範囲内で、最も低階調側にある局所ＭＡＸ階調を黒側局所ＭＡＸ階調とする。なお、黒側階調の範囲内に局所ＭＡＸ階調が無い場合は、便宜上、階調値１２８が黒側局所ＭＡＸ階調とされる。また、階調値１９２〜２５５（白側階調）の範囲内で、最も高階調側にある局所ＭＡＸ階調を白側局所ＭＡＸ階調とする。なお、白側階調の範囲内に局所ＭＡＸ階調が無い場合は、便宜上、階調値１９２が白側局所ＭＡＸ階調とされる。例えば、図２の例（図２は輝度ヒストグラムの一例を示す）では、階調値２４が黒側局所ＭＡＸ階調、階調値２３２が白側局所ＭＡＸ階調とされる。
そして、パラメータ決定部１０３は、黒側局所ＭＡＸ階調と白側局所ＭＡＸ階調の値から、階調変換パラメータを決定する。具体的には、後述するパラメータ生成部１０６のＲＯＭ（不図示）には、階調値０〜１２８の階調範囲に対応する１２９個（０番〜１２８番）の階調変換パラメータ（黒側変換カーブ）が記憶されている。また、階調値１９２〜２５５の階調範囲に対応する６４個（１９２番〜２５５番）の階調変換パラメータ（白側変換カーブ）が記憶されている。黒側局所ＭＡＸ階調の値と黒側変換カーブの番号、白側局所ＭＡＸ階調の値と白側変換カーブの番号は互いに対応している。パラメータ決定部１０３は、階調変換パラメータとして、黒側局所ＭＡＸ階調の値に対応する黒側変換カーブの番号、白側局所ＭＡＸ階調の値に対応する白側変換カーブの番号をパラメータ補正部１０５に出力する。

動き検出部１０４は、動画像における分割領域間を跨いだ映像の動きを検出して動き情報を生成する。本実施例では、動き検出部１０４は、動き情報として、階調変換の対象である対象フレームの分割領域毎に、その前のフレーム（前フレーム）からの所定の階調範囲の画素数の変動量を算出する。また、動き検出部１０４は、変動量に応じて（後述する）パラメータ補正部１０５での補正の強さを決定する。具体的には、前フレームに比べて対象フレームの上記所定の階調範囲の画素数が多いほど、補正の強さを弱くする。前フレームに比べて対象フレームの上記所定の階調範囲の画素数が少ないほど、補正の強さを強くする。本実施例では、階調値０〜１２８（黒側階調）と階調値１９２〜２５５（白側階調）のそれぞれを上記所定の階調範囲とする。

パラメータ補正部１０５は、分割領域毎に、動き情報に基づいてパラメータ決定部１０３で決定された階調変換パラメータを補正する（以下、補正された階調変換パラメータを補正パラメータと記す）。本実施例では、パラメータ補正部１０５は、上述した変動量（補正の強さ）に応じて、決定された階調変換パラメータと前フレームで適用された階調変換パラメータの間の変換特性をもつように、所定の階調範囲の画素に適用する補正パラメータを決定する。例えば、パラメータ補正部１０５は、前フレームに比べて対象フレームの所定の階調範囲の画素数が多いほど（補正の強さが弱いほど）、決定された階調変換パラメータの変換特性に近くなるように補正パラメータを決定する。前フレームに比べて対象フレームの所定の階調範囲の画素数が少ないほど（補正の強さが強いほど）、前フレームで適用された階調変換パラメータの変換特性に近くなるように補正パラメータを決定する。具体的には、パラメータ補正部１０５は、入力された変換カーブ（黒側変換カーブ；白側変換カーブ）の番号を変更してパラメータ生成部１０６へ出力する。

ＡＰＬ取得部１０２は、現フレーム（対象フレーム）から全画面のＡＰＬ（平均輝度レベル）を取得する。前フレームのＡＰＬとの差分の絶対値が閾値ＡＰＬ＿ｔｈ以上である
場合には、シーンが切り替わっている可能性が高いため、前フレームの階調変換パラメータは考慮しないことが好ましい。そこで、そのような場合に、ＡＰＬ取得部１０２は、パラメータ補正部１０５に対して階調変換パラメータの補正を行わないように指示する。

パラメータ生成部１０６は、分割領域毎に、入力された番号に対応する黒側変換カーブと白側変換カーブを、それぞれ、黒側階調の階調変換パラメータ、白側階調の階調変換パラメータとして生成する（図５）。黒側階調と白側階調以外の階調（階調値１２９〜１９１）に対応する階調変換パラメータは、黒側変換カーブと白側変換カーブを直線補間して求められる。

階調変換部１０７は、パラメータ生成部１０６で生成された階調変換パラメータを用いてフレームの画像の階調を変換する。本実施例では、注目画素（階調変換の対象となる画素）の階調値を変換する際に、注目画素が属する分割領域、及び、当該分割領域に隣接する分割領域であって、注目画素から近い３つの分割領域（隣接領域）の階調変換パラメータを用いる。例えば、図６に示す注目画素の階調値を変換する場合には、注目画素の属する分割領域（ｉ，ｊ）、隣接領域（ｉ，ｊ＋１）、隣接領域（ｉ−１，ｊ）、及び、隣接領域（ｉ−１，ｊ＋１）の４つの分割領域の階調変換パラメータが使用される。具体的には、注目画素の階調値を各分割領域の階調変換パラメータによりそれぞれ変換し、その結果を距離に応じた重みで平均することにより、最終的な階調値が得られる。

（動き検出部の処理の具体例）
以下、動き検出部１０４の処理の具体例について説明する。
まず、対象フレームの分割領域毎に、所定の階調範囲の画素数の変動量（前フレームでのその階調範囲の度数ｃ、及び、前フレームからのその階調範囲の度数の増減量ｄ）の状態を判定し、その判定結果に応じて補正の強さを決定する。
度数ｃ、増減量ｄ、及び、補正の強さの関係について図３に示す。
度数ｃに対しては２つの閾値（ｃ＿ｔｈ１、ｃ＿ｔｈ２）が設定されており、それらの閾値を用いて度数ｃの状態が以下のように判定される（ｃ＿ｍａｘは取り得る度数の最大値）。
０≦ｃ≦ｃ＿ｔｈ１：少
ｃ＿ｔｈ１＜ｃ＜ｃ＿ｔｈ２：中
ｃ＿ｔｈ２≦ｃ≦ｃ＿ｍａｘ：多
同様に度数の増減量ｄに対しては３つの閾値（ｄ＿ｔｈ１（＜０）、ｄ＿ｔｈ２（＜０）、ｄ＿ｔｈ３（＞０））が設定されており、それらの閾値を用いて増減の状態が以下のように判定される。
−ｃ＿ｍａｘ≦ｄ＜ｄ＿ｔｈ１：減少多
ｄ＿ｔｈ１≦ｄ≦ｄ＿ｔｈ２：減少中
ｄ＿ｔｈ２＜ｄ＜ｄ＿ｔｈ３：減少少または増加少
ｄ＿ｔｈ３≦ｄ≦ｃ＿ｍａｘ：増加大
前フレームで存在していた物体（主な階調が黒側階調である物体）が分割領域から完全に出てしまい、背景（主な階調が白側階調である背景）だけになった場合には、前フレームでの白側階調の度数ｃの状態は「少」、度数の増減量ｄの状態は「増加大」となる。そのような場合には、動き検出部１０４は、白側階調の階調変換パラメータに対する補正の強さを「弱」とする。
また、主な階調が白側階調である背景だけの分割領域に、主な階調が黒側階調である物体が入ってきた場合には、前フレームでの白側階調の度数ｃの状態は「多」、度数の増減量ｄの状態は「減少中」となる。そのような場合には、動き検出部１０４は、白側階調の階調変換パラメータに対する補正の強さを「強」とする。
なお、図３において、度数の増減量ｄの状態が「減少多」の場合に補正の強さを「中」としているのは、「減少多」の場合には、所定の階調範囲内の画素が分割領域内にほとん
ど存在しないため、補正の強さをどのように設定してもよいと考えられるからである。

（階調変換パラメータ補正処理）
以下、階調変換パラメータ（変換カーブ）の補正処理の具体例について図４を用いて説明する。なお、以下では、１つの分割領域について、黒側変換カーブと白側変換カーブのいずれかの変換カーブを補正する際の処理の流れについて説明する。
まず、パラメータ補正部１０５がＡＰＬ取得部１０２から変換カーブの補正を行わないための指示が来ているか否かを確認する（Ｓ１０１）。指示が来ていた場合は（Ｓ１０１：ＮＯ）、変換カーブの補正を行わずに処理を終了する（Ｓ１０７）。即ち、指示が来ていた場合には、パラメータ補正部１０５は、パラメータ決定部１０３で決定された変換カーブの番号をそのままパラメータ生成部１０６へ出力する。指示が来ていない場合は（Ｓ１０１：ＹＥＳ）、Ｓ１０２に進む。

Ｓ１０２では、パラメータ補正部１０５が、動き検出部１０４で設定された補正の強さが「弱」であるか否かを確認する。補正の強さが「弱」の場合には（Ｓ１０２：ＹＥＳ）、Ｓ１０６に進む。Ｓ１０６では、前フレームで適用された変換カーブの番号（変更された変換カーブの番号；前番号）と、パラメータ決定部１０３で決定された（対象フレームの）変換カーブの番号（現番号）とを比較する。そして、前番号よりも現番号の方が大きい場合には、前番号に３を加算した番号を出力する。加算した結果、現番号を超えてしまう場合には、現番号をそのまま出力する。前番号よりも現番号の方が小さい場合には、前番号から３を減算した番号を出力する。減算した結果、現番号を下回ってしまう場合には、現番号をそのまま出力する。補正の強さが「弱」でない場合には（Ｓ１０２：ＮＯ）、Ｓ１０３に進む。

Ｓ１０３では、パラメータ補正部１０５が、動き検出部１０４で設定された補正の強さが「強」であるか否かを確認する。補正の強さが「強」の場合には（Ｓ１０３：ＹＥＳ）、Ｓ１０４に進む。Ｓ１０４の処理はＳ１０６の処理と同様のため、説明は省略する。但し、Ｓ１０４において前番号に加減算する値は、３ではなく１である。補正の強さが「強」でない場合には（Ｓ１０３：ＮＯ）、Ｓ１０５に進む。Ｓ１０５の処理はＳ１０４，Ｓ１０６と同様のため、説明は省略する。但し、Ｓ１０５において前番号に加減算する値は、２である。
以上の処理を、各分割領域の黒側領域と白側領域のそれぞれについて行うことにより、階調変換パラメータの補正処理が完了される。

本実施例の構成によれば、所定の階調範囲の画素数の変動量に応じて、当該所定の階調範囲の画素に適用する補正パラメータが決定される。それにより、物体が分割領域間を跨いで移動した場合に、当該移動に合わせた補正パラメータ（階調変換パラメータ）を得ることができる。そして、そのようにして得られた補正パラメータを用いて画像の階調が変換されるため、違和感の少ない画像を得ることのできる階調変換処理を実現することができる。

また、本実施例では、前フレームに比べて対象フレームの所定の階調範囲の画素数が多いほど、パラメータ決定部１０３で決定された階調変換パラメータに近い変換特性を持つように補正パラメータが決定される。それにより、分割領域に物体が進入してきた場合に、物体の階調性を素早く高めることができる。分割領域から物体が出て行き、物体によって隠れていた背景が見えるようになった場合にも、背景の階調性を素早く高めることができる。
また、本実施例では、前フレームに比べて対象フレームの所定の階調範囲の画素数が少ないほど、前フレームで適用された階調変換パラメータに近い変換特性を持つように補正パラメータが決定される。それにより、分割領域に物体が進入してきた場合に、背景の階
調性の変化を目に付き難くできる。分割領域から物体の一部が出て行った場合にも、物体の階調性の変化を目に付き難くできる。

なお、本実施例では、局所ＭＡＸ階調の値から、階調変換パラメータを決定するものとしたが、階調変換パラメータの決定方法はこれに限らない。例えば、分割領域内の階調の平均値から階調変換パラメータを決定してもよい。
なお、本実施例では、階調変換処理において、注目画素が属する分割領域、及び、注目画素から近い３つの隣接領域の階調変換パラメータを用いるものとしたが、階調変換処理の方法はこれに限らない。例えば、隣接領域の数は３つでなくてもよい（３つより少なくてもよいし（例えば２つ）、多くてもよい（例えば、４つや８つ））。注目画素が属する分割領域の階調変換パラメータのみを用いてもよい。
なお、本実施例では、画素数の変動量を度数ｃ、増減量ｄで規定しているが、画素数の変動量は増減量ｄのみで規定してもよい。但し、度数ｃと増減量ｄを組み合わせて用いることでより精度良く物体の動きを把握することができる。

＜実施例２＞
次に、本発明の実施例２に係る画像処理装置及びその制御方法について説明する。本実施例では、動きの有る物体部分と動きの無い背景部分とを区別し、それぞれについて補正パラメータを決定する。

（構成）
図７は本実施例に係る画像処理装置の機能構成を示すブロック図である。図７において、実施例１と同じ機能ブロックについては同じ番号を付し、説明を省略する。
本実施例では、動きベクトル検出部７０２、フレーム差分取得部７０３、及び、物体判定部７０４により、動き情報として、物体部分と背景部分とを区別する情報を生成する。また、本実施例では、動き情報として、対象フレームの分割領域毎に、その前のフレームからの背景部分の面積の変動量を更に算出する。以下、各機能ブロックの具体的な処理について説明する。

動きベクトル検出部７０２は、対象フレーム（ｎフレーム）と前フレーム（ｎ−１フレーム）から、フレーム間の動きベクトルを検出する。本実施例ではブロックマッチングにより動きベクトルを検出する。具体的には、図８のようにｎ−１フレームを、分割領域と同様に、横１０×縦６のブロックに分割し、１つのブロックをｎフレーム上で１ピクセルづつ移動させる。そして、差分の絶対値の総和が一番小さい位置（領域）を探索し、探索した領域を「移動先」、元々のブロックの領域を「移動元」とする動きベクトルを検出する。例えば、図８のｎ−１フレーム上のブロックＡ（分割領域Ａ）は、ｎフレーム上の分割領域Ｂの位置で差分の絶対値の総和が最も小さくなる。そのため、分割領域Ａを「移動元」、分割領域Ｂを「移動先」とする動きベクトルが検出される。

フレーム差分取得部７０３は、画素位置毎に、ｎ−１フレームとｎフレームの画素値の差分を取得する。そして差分の絶対値が閾値ｆｄ＿ｔｈより大きい画素位置を「動き有り」と判定し、差分の絶対値が閾値ｆｄ＿ｔｈ以下の画素位置を「動き無し」と判定する。図８の例（差分フレーム）では、斜線部分が「動き有り」、それ以外の領域が「動き無し」と判定される。

物体判定部７０４は、動きベクトル検出部７０２で検出された動きベクトルと、フレーム差分取得部７０３による判定結果とを用いて、ｎフレームについて、物体部分と背景部分とを区別する。具体的には、フレーム差分取得部７０３での判定結果が「動き無し」の領域（静止領域）、及び、フレーム差分取得部７０３での判定結果が「動き有り」で、且つ、「移動元」とされる領域（動き背景領域）が、背景部分とされる。また、フレーム差
分取得部７０３での判定結果が「動き有り」で、且つ、「移動先」とされる領域（動き前景領域）が、物体部分とされる。例えば、図９に示すように、分割領域Ａでは、斜線部分が動き背景領域、それ以外が静止領域、分割領域Ｂでは、斜線部分が動き前景領域、それ以外が静止領域となる。
また、物体判定部７０４は、ｎフレームの分割領域毎に、ｎ−１フレームからの背景部分の面積の変動量を算出する。

パラメータ補正部７０１は、分割領域毎に、パラメータ決定部１０３で決定された階調変換パラメータを補正する。本実施例では、パラメータ補正部７０１は、物体部分と背景部分について、個別に、補正パラメータを決定する。例えば、物体部分に適用する補正パラメータを、前フレームにおいてその物体部分に適用された階調変換パラメータを基準として決定する。また、上記面積の変動量に応じて、決定された階調変換パラメータと前フレームで背景部分に適用された階調変換パラメータの間の変換特性を持つように、背景部分に適用する補正パラメータを決定する。具体的には、前フレームに比べて対象フレームの背景部分の面積が大きいほど、決定された階調変換パラメータの変換特性に近くなるように、背景部分に適用する補正パラメータを決定する。前フレームに比べて対象フレームの背景部分の面積が小さいほど、前フレームで背景部分に適用された階調変換パラメータの変換特性に近くなるように、背景部分に適用する補正パラメータを決定する。
階調変換部７０６は、物体部分と背景部分とを区別して階調変換処理を行う。

（階調変換パラメータ補正処理）
以下、分割領域毎の階調変換パラメータ（変換カーブ）の補正処理の具体例について説明する。
先ず、背景部分に適用する変換カーブの決定方法について説明する。パラメータ補正部７０１は、前フレームで背景部分に適用された変換カーブの番号（変更された変換カーブの番号；第１の前番号）と、パラメータ決定部１０３で決定された（対象フレームの）変換カーブの番号（現番号）とを比較する。そして、第１の前番号よりも現番号の方が大きい場合には、第１の前番号にαを加算した番号を出力する。加算した結果、現番号を超えてしまう場合には、現番号をそのまま出力する。第１の前番号よりも現番号の方が小さい場合には、第１の前番号からαを減算した番号を出力する。減算した結果、現番号を下回ってしまう場合には、現番号をそのまま出力する。αの値は、上述した面積の変動量（例えば、前フレームの背景部分の面積に対する対象フレームの背景部分の面積の比、分割領域の面積に対する動き背景領域の面積の比など）に応じて決定する。具体的には、変動量が閾値ｒａｔｉｏ＿ｔｈ１を超える場合はα＝３とする。閾値ｒａｔｉｏ＿ｔｈ２（＜ｒａｔｉｏ＿ｔｈ１）を下回る場合はα＝１とする。それ以外の場合はα＝２とする。
次に、物体部分に適用する変換カーブの決定方法について説明する。パラメータ補正部７０１は、物体部分について、移動前にその物体部分に適用されていた変換カーブの番号（変更された変換カーブの番号；第２の前番号）を基準に変換カーブを補正する。具体的には、第２の前番号と現番号とを比較する。そして、第２の前番号よりも現番号の方が大きい場合には、第２の前番号に２を加算した番号を出力する。加算した結果、現番号を超えてしまう場合には、現番号をそのまま出力する。第２の前番号よりも現番号の方が小さい場合には、第２の前番号から２を減算した番号を出力する。減算した結果、現番号を下回ってしまう場合には、現番号をそのまま出力する。
以上の処理を、各分割領域の黒側領域と白側領域のそれぞれについて行うことにより、階調変換パラメータの補正処理が完了される。

本実施例の構成によれば、物体部分と背景部分が区別され、個別に、補正パラメータが決定される。そのため、物体部分と背景部分とで、夫々に適した階調変換処理を行うことが可能となり、物体が分割領域間を跨いで移動した場合でも、違和感の少ない画像を得ることが可能となる。

また、本実施例では、物体部分に適用する補正パラメータが、前フレームで当該物体部分に適用された階調変換パラメータを基準として決定される。そのため、物体部分の階調性が、移動前と移動後で突然変わることを防止できる。
また、本実施例では、前フレームからの背景部分の面積の変動量に応じて、背景部分に適用する補正パラメータが決定される。それにより、物体が分割領域間を跨いで移動した場合に、当該移動に合わせた補正パラメータ（背景部分に適用する補正パラメータ）を得ることができる。

また、本実施例では、前フレームに比べて対象フレームの背景部分の面積が大きいほど、パラメータ決定部１０３で決定された階調変換パラメータの変換特性に近くなるように、背景部分に適用する補正パラメータが決定される。それにより、分割領域から物体が出て行き、物体によって隠れていた背景が見えるようになった場合に、背景の階調性を素早く高めることができる。
また、本実施例では、前フレームに比べて対象フレームの背景部分の面積が小さいほど、前フレームで背景部分に適用された階調変換パラメータの変換特性に近くなるように、背景部分に適用する補正パラメータが決定される。それにより、分割領域に物体が進入してきた場合に、背景の階調性の変化を目に付き難くできる。

なお、本実施例では、パラメータ決定部１０３において、実施例１と同様に黒側変換カーブと白側変換カーブが決定される構成としたが、パラメータ決定部１０３では全階調範囲に対応する階調変換パラメータが決定されてもよい。例えば、パラメータ生成部１０６のＲＯＭに全階調範囲に対応する２５６個（０番〜２５５番（各番号は局所ＭＡＸ階調の値に対応する））の階調変換パラメータを記憶しておけばよい。そして、パラメータ決定部１０３が、局所ＭＡＸ階調を１つ検出し、その階調の値に対応する番号の階調変換パラメータを選択すればよい。

なお、上記実施例１，２では、前フレームで適用された変換カーブの番号に１〜３を加減算するものとしたが、パラメータ決定部１０３で決定された（対象フレームの）変換カーブの番号に１〜３を加減算する構成であってもよい。また、加減算する値は１〜３に限らず適宜設定（変更）可能であってもよい。

以上述べたように、本実施形態によれば、映像の動きを検出し、その動き情報に基づいて階調変換パラメータが補正されるため、物体が分割領域間を跨いで移動した場合に、当該移動に合わせた補正パラメータ（階調変換パラメータ）を得ることができる。そして、そのようにして得られた補正パラメータを用いて画像の階調が変換されるため、違和感の少ない画像を得ることのできる階調変換処理を実現することができる。

１０１ 分割部
１０３ パラメータ決定部
１０４ 動き検出部
１０５ パラメータ補正部
１０６ パラメータ生成部
１０７ 階調変換部

Claims (18)

1. 動画像の１フレームの画像を複数の分割領域に分割する分割手段と、
   前記分割領域毎に、その分割領域内の画素の階調値に基づいて、階調変換パラメータを決定する決定手段と、
   前記動画像における前記分割領域間を跨いだ映像の動きを検出して動き情報を生成する生成手段と、
   前記分割領域毎に、前記動き情報に基づいて、前記決定手段により決定された前記階調変換パラメータを補正して補正パラメータを出力する補正手段と、
   前記補正パラメータを用いて前記画像の階調を変換する変換手段と、
   を有し、
   前記補正手段は、階調変換の対象である対象フレームに適用される補正パラメータを、前記動き情報に応じて、前記決定手段で決定された階調変換パラメータと前記対象フレームの前のフレームで適用された階調変換パラメータとの間の変換特性をもつように決定する
   ことを特徴とする画像処理装置。
2. 前記生成手段は、前記動き情報として、前記対象フレームの前記分割領域毎に、前記前のフレームからの所定の階調範囲の画素数の変動量を算出し、
   前記補正手段は、前記変動量に応じて、前記所定の階調範囲の画素に適用する補正パラメータを決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、前記前のフレームに比べて前記対象フレームの前記所定の階調範囲の画素数が多いほど、前記決定手段で決定された階調変換パラメータの変換特性に近くなるように補正パラメータを決定する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記補正手段は、前記前のフレームに比べて前記対象フレームの前記所定の階調範囲の画素数が少ないほど、前記前のフレームで適用された階調変換パラメータの変換特性に近くなるように補正パラメータを決定する
   ことを特徴とする請求項２または３に記載の画像処理装置。
5. 動画像の１フレームの画像を複数の分割領域に分割する分割手段と、
   前記分割領域毎に、その分割領域内の画素の階調値に基づいて、階調変換パラメータを決定する決定手段と、
   前記動画像における前記分割領域間を跨いだ映像の動きを検出して動き情報を生成する生成手段と、
   前記分割領域毎に、前記動き情報に基づいて、前記決定手段により決定された前記階調変換パラメータを補正して補正パラメータを出力する補正手段と、
   前記補正パラメータを用いて前記画像の階調を変換する変換手段と、
   を有し、
   前記生成手段は、前記動き情報として、動きの有る物体部分と動きの無い背景部分とを区別する情報を生成し、
   前記補正手段は、前記物体部分と前記背景部分について、個別に、補正パラメータを決定する
   ことを特徴とする画像処理装置。
6. 前記補正手段は、前記物体部分に適用する補正パラメータを、階調変換の対象である対象フレームの前のフレームで当該物体部分に適用された階調変換パラメータを基準として決定する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記生成手段は、前記動き情報として、階調変換の対象である対象フレームの前記分割領域毎に、その前のフレームからの前記背景部分の面積の変動量を更に算出し、
   前記補正手段は、前記変動量に応じて、前記決定手段で決定された階調変換パラメータと前記前のフレームで前記背景部分に適用された階調変換パラメータの間の変換特性をもつように、前記背景部分に適用する補正パラメータを決定する
   ことを特徴とする請求項５または６に記載の画像処理装置。
8. 前記補正手段は、前記前のフレームに比べて前記対象フレームの前記背景部分の面積が大きいほど、前記決定手段で決定された階調変換パラメータの変換特性に近くなるように、前記背景部分に適用する補正パラメータを決定する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記補正手段は、前記前のフレームに比べて前記対象フレームの前記背景部分の面積が小さいほど、前記前のフレームで背景部分に適用された階調変換パラメータの変換特性に近くなるように、前記背景部分に適用する補正パラメータを決定する
   ことを特徴とする請求項７または８に記載の画像処理装置。
10. 動画像の１フレームの画像を複数の分割領域に分割する分割ステップと、
    前記分割領域毎に、その分割領域内の画素の階調値に基づいて、階調変換パラメータを決定する決定ステップと、
    前記動画像における前記分割領域間を跨いだ映像の動きを検出して動き情報を生成する生成ステップと、
    前記分割領域毎に、前記動き情報に基づいて、前記決定ステップにより決定された前記階調変換パラメータを補正して補正パラメータを出力する補正ステップと、
    前記補正パラメータを用いて前記画像の階調を変換する変換ステップと、
    を有し、
    前記補正ステップでは、階調変換の対象である対象フレームに適用される補正パラメータが、前記動き情報に応じて、前記決定ステップで決定された階調変換パラメータと前記
    対象フレームの前のフレームで適用された階調変換パラメータとの間の変換特性をもつように決定される
    ことを特徴とする画像処理装置の制御方法。
11. 前記生成ステップでは、前記動き情報として、前記対象フレームの前記分割領域毎に、前記前のフレームからの所定の階調範囲の画素数の変動量が算出され、
    前記補正ステップでは、前記変動量に応じて、前記所定の階調範囲の画素に適用する補正パラメータが決定される
    ことを特徴とする請求項１０に記載の画像処理装置の制御方法。
12. 前記補正ステップでは、前記前のフレームに比べて前記対象フレームの前記所定の階調範囲の画素数が多いほど、前記決定ステップで決定された階調変換パラメータの変換特性に近くなるように補正パラメータが決定される
    ことを特徴とする請求項１１に記載の画像処理装置の制御方法。
13. 前記補正ステップでは、前記前のフレームに比べて前記対象フレームの前記所定の階調範囲の画素数が少ないほど、前記前のフレームで適用された階調変換パラメータの変換特性に近くなるように補正パラメータが決定される
    ことを特徴とする請求項１１または１２に記載の画像処理装置の制御方法。
14. 動画像の１フレームの画像を複数の分割領域に分割する分割ステップと、
    前記分割領域毎に、その分割領域内の画素の階調値に基づいて、階調変換パラメータを決定する決定ステップと、
    前記動画像における前記分割領域間を跨いだ映像の動きを検出して動き情報を生成する生成ステップと、
    前記分割領域毎に、前記動き情報に基づいて、前記決定ステップにより決定された前記階調変換パラメータを補正して補正パラメータを出力する補正ステップと、
    前記補正パラメータを用いて前記画像の階調を変換する変換ステップと、
    を有し、
    前記生成ステップでは、前記動き情報として、動きの有る物体部分と動きの無い背景部分とを区別する情報が生成され、
    前記補正ステップでは、前記物体部分と前記背景部分について、個別に、補正パラメータが決定される
    ことを特徴とする画像処理装置の制御方法。
15. 前記補正ステップでは、前記物体部分に適用する補正パラメータが、階調変換の対象である対象フレームの前のフレームで当該物体部分に適用された階調変換パラメータを基準として決定される
    ことを特徴とする請求項１４に記載の画像処理装置の制御方法。
16. 前記生成ステップでは、前記動き情報として、階調変換の対象である対象フレームの前記分割領域毎に、その前のフレームからの前記背景部分の面積の変動量が更に算出され、
    前記補正ステップでは、前記変動量に応じて、前記決定ステップで決定された階調変換パラメータと前記前のフレームで前記背景部分に適用された階調変換パラメータの間の変換特性をもつように、前記背景部分に適用する補正パラメータが決定される
    ことを特徴とする請求項１４または１５に記載の画像処理装置の制御方法。
17. 前記補正ステップでは、前記前のフレームに比べて前記対象フレームの前記背景部分の面積が大きいほど、前記決定ステップで決定された階調変換パラメータの変換特性に近くなるように、前記背景部分に適用する補正パラメータが決定される
    ことを特徴とする請求項１６に記載の画像処理装置の制御方法。
18. 前記補正ステップでは、前記前のフレームに比べて前記対象フレームの前記背景部分の面積が小さいほど、前記前のフレームで背景部分に適用された階調変換パラメータの変換特性に近くなるように、前記背景部分に適用する補正パラメータが決定される
    ことを特徴とする請求項１６または１７に記載の画像処理装置の制御方法。

Images