JP4457787B2

JP4457787B2 - 映像信号処理装置および方法、ならびにプログラム

Info

Publication number: JP4457787B2
Application number: JP2004206991A
Authority: JP
Inventors: 義明松原
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-07-14
Filing date: 2004-07-14
Publication date: 2010-04-28
Anticipated expiration: 2024-07-14
Also published as: JP2006033230A

Description

本発明は、ヒストグラムを用いて映像信号の階調補正を行う映像信号処理装置および方法、ならびにプログラムに関する。

従来より、ヒストグラムを用いて映像信号の階調補正を行う方法が知られている。この方法の基本的な概念は次のとおりである。ヒストグラムは、入力映像信号における各信号レベル（輝度レベル）の発生頻度（画素数）を算出することにより作成され、入力映像信号の輝度分布を表す。通常、データ量が多くなるので、全体として取りうる輝度レベルを複数の輝度エリアに分割し、その輝度エリアごとにヒストグラムデータが算出される。このヒストグラムデータを低輝度側から累積して累積ヒストグラムを作成し、さらに正規化して累積輝度分布を求める。この正規化した累積ヒストグラムを用いて入力映像信号の階調補正を行う。例えば発生頻度（度数）の大きい輝度レベルのエリアを強調するような階調補正を行う。より具体的には、映像信号の入出力特性を、横軸を入力輝度レベル、縦軸を出力輝度レベルとしたグラフで表した場合において、度数の大きい輝度レベルのエリアではグラフの傾きを急峻にし、度数の小さい輝度レベルのエリアではグラフの傾きを緩やかにするような入出力変換（階調変換）を行う。これにより度数の大きい輝度レベルのエリアでは、入力輝度レベルの変化に対して出力輝度レベルが相対的に大きく変化するので、そのエリアが強調される。

特許文献１には、入力映像信号を補正するための補正パターン（補正曲線）を記憶しておき、その補正パターンのゲインを累積ヒストグラムデータに基づいて可変制御するような例が記載されている。補正パターンのゲイン調整は、累積ヒストグラムと補正された後の映像信号の階調特性との差が最小になるようにして行う。

特許文献２には、階調補正を行うために必要とされるメモリ量を削減する方法が記載されている。近年のデジタル映像信号処理において、映像信号を構成するビット数が、６→８→１０→１２ビットと増大を続けている。ヒストグラム処理を行う場合には２のｎビット乗個のデータ数を必要とし、ビット数が増えるにつれ、莫大なメモリ量を必要とすることとなる。特許文献２では、ヒストグラム作成時の輝度エリアの分割間隔を可変させ、精度が必要な部分にはヒストグラムデータを相対的により多く振り分ける処理方法を提案している。これにより、メモリ量を削減しつつ、良好な階調変換を実現しようとするものである。
特開２００３−２５９２０６号公報特開２００３−１５３０３６号公報

しかしながら、上記した従来の階調補正ではいずれも、ヒストグラム作成時に設定された、隣接する輝度エリアの境界付近で映像信号が不安定であると、その後の階調補正が不適切になってしまうという問題が生じる。以下、図１０（Ａ），（Ｂ）のヒストグラムの例を参照して説明する。

図１０（Ａ），（Ｂ）は、異なるフレームにおいて抽出されたヒストグラムを示す。図１０（Ａ），（Ｂ）において、縦軸は度数を示す。横軸は輝度レベルを示し、この例では図示したように８ビット、０〜２５５の輝度レベルを８つのエリアに分割している。各輝度エリアでのヒストグラムデータをｈ［０］〜ｈ［７］と記す。例えば、本来安定的な（映像の変動の少ない）動画像であるはずの映像信号が、輝度レベル１６０〜１９１と輝度レベル１９２〜２２３との境界付近（輝度レベル１９１，１９２前後）をまたぐような形でノイズなどの影響により、その部分で変動的に映像信号を多く含むような状態になったとする。この場合、各フレームでのヒストグラムの抽出結果は、輝度レベル１６０〜１９１において度数を多く検出するフレーム（図１０（Ｂ））と、輝度レベル１９２〜２２３において度数を多く検出するフレーム（図１０（Ａ））とが出現し、ヒストグラムデータがばたつく（変動する）可能性が生じる。このようなヒストグラムデータを元にして補正を行うと、輝度信号の補正結果にもばたつきを生じる可能性が出る。その結果、表示映像も不安定になってしまう。輝度エリアの分割数を多くしてヒストグラムの検出をより細かく設定すればヒストグラムデータのばたつきが低減されると考えられるが、その場合、ヒストグラム算出のためのメモリ量が多くなり処理も複雑化するので好ましくない。

また特に特許文献２に記載の処理方法では、ヒストグラム作成時の輝度エリアの分割間隔を動的に可変させるため、ヒストグラム算出後の累積ヒストグラム作成処理、正規化処理、および階調補正処理などが複雑となる。

本発明はかかる問題点に鑑みてなされたもので、その目的は、メモリ量の増大や処理の複雑化を招くことなく、ノイズなどの影響によるヒストグラムデータの変動を抑制し、良好な階調補正を行うことができるようにした映像信号処理装置および方法、ならびにプログラムを提供することにある。

本発明による映像信号処理装置は、入力された映像信号の階調特性を補正する映像信号処理装置であって、入力映像信号が取りうる輝度レベルを複数の輝度エリアに分割し、各輝度エリアごとの頻度を算出して各フレームごとにヒストグラムを算出するヒストグラム抽出手段と、入力映像信号の階調特性を補正するための階調補正データを算出する補正量算出手段と、階調補正データに基づいて、入力映像信号の階調特性を補正する階調補正手段とを備えている。そして、補正量算出手段が、各輝度エリアのヒストグラム値の変動に応じて、各輝度エリアのヒストグラム値を補正する処理を行うヒストグラム補正手段と、ヒストグラム補正手段により補正されたヒストグラムに基づいて、階調補正データを算出する補正成分生成手段とを有するものである。そして、ヒストグラム補正手段が、隣接するフレーム間で、ヒストグラム値が所定値以上変動している輝度エリアが存在しているか否かを判定する第１の判定を行うと共に、第１の判定において所定値以上変動している輝度エリアが存在していると判定された場合には、さらに、その輝度エリアとその輝度エリアに隣接する輝度エリアとのヒストグラム値の和を算出し、その和が隣接するフレーム間で所定値以上変動しているか否かを判定する第２の判定を行い、第２の判定において、ヒストグラム値の和が変動していると判定された場合には、その輝度エリアについては、ヒストグラム値を補正することなくそのまま出力し、ヒストグラム値の和が変動していないと判定された場合には、その輝度エリアについて、ヒストグラム値を補正する処理を行うようにしたものである。

本発明による映像信号処理方法は、入力された映像信号の階調特性を補正する映像信号処理方法であって、入力映像信号が取りうる輝度レベルを複数の輝度エリアに分割し、各輝度エリアごとの頻度を算出して各フレームごとにヒストグラムを算出するヒストグラム抽出ステップと、入力映像信号の階調特性を補正するための階調補正データを算出する補正量算出ステップと、階調補正データに基づいて、入力映像信号の階調特性を補正する階調補正ステップとを含むものである。そして、補正量算出ステップが、各輝度エリアのヒストグラム値の変動に応じて、各輝度エリアのヒストグラム値を補正する処理を行うヒストグラム補正ステップと、ヒストグラム補正ステップにより補正されたヒストグラムに基づいて、階調補正データを算出する補正成分生成ステップとを含むものである。そして、ヒストグラム補正ステップでは、隣接するフレーム間で、ヒストグラム値が所定値以上変動している輝度エリアが存在しているか否かを判定する第１の判定を行うと共に、第１の判定において所定値以上変動している輝度エリアが存在していると判定された場合には、さらに、その輝度エリアとその輝度エリアに隣接する輝度エリアとのヒストグラム値の和を算出し、その和が隣接するフレーム間で所定値以上変動しているか否かを判定する第２の判定を行い、第２の判定において、ヒストグラム値の和が変動していると判定された場合には、その輝度エリアについては、ヒストグラム値を補正することなくそのまま出力し、ヒストグラム値の和が変動していないと判定された場合には、その輝度エリアについて、ヒストグラム値を補正する処理を行うようにしたものである。

本発明による映像信号処理プログラムは、入力された映像信号の階調特性を補正する映像信号処理プログラムであって、入力映像信号が取りうる輝度レベルを複数の輝度エリアに分割し、各輝度エリアごとの頻度を算出して各フレームごとにヒストグラムを算出するヒストグラム抽出手段と、入力映像信号の階調特性を補正するための階調補正データを算出する補正量算出手段と、階調補正データに基づいて、入力映像信号の階調特性を補正する階調補正手段との各手段を、コンピュータにより機能させるプログラムである。かつ、補正量算出手段を、各輝度エリアのヒストグラム値の変動に応じて、各輝度エリアのヒストグラム値を補正する処理を行うヒストグラム補正手段と、ヒストグラム補正手段により補正されたヒストグラムに基づいて、階調補正データを算出する補正成分生成手段として、コンピュータにより機能させるプログラムである。さらに、ヒストグラム補正手段が、隣接するフレーム間で、ヒストグラム値が所定値以上変動している輝度エリアが存在しているか否かを判定する第１の判定を行うと共に、第１の判定において所定値以上変動している輝度エリアが存在していると判定された場合には、さらに、その輝度エリアとその輝度エリアに隣接する輝度エリアとのヒストグラム値の和を算出し、その和が隣接するフレーム間で所定値以上変動しているか否かを判定する第２の判定を行い、第２の判定において、ヒストグラム値の和が変動していると判定された場合には、その輝度エリアについては、ヒストグラム値を補正することなくそのまま出力し、ヒストグラム値の和が変動していないと判定された場合には、その輝度エリアについて、ヒストグラム値を補正する処理を行うように、コンピュータを機能させるプログラムである。

本発明による映像信号処理装置および方法、ならびにプログラムでは、各輝度エリアのヒストグラム値の変動に応じて、各輝度エリアのヒストグラム値が補正され、その補正されたヒストグラムに基づいて、階調補正データが算出される。これにより、輝度エリアの分割数の増大や輝度エリアの分割幅を可変させるなどの複雑な処理を行うことなく、ノイズなどの影響によるヒストグラムデータの変動が抑制され、適切な階調補正データが得られる。この適切な階調補正データに基づいて、入力映像信号の階調特性が補正され、良好な階調補正が実現される。

本発明の映像信号処理装置もしくは方法、またはプログラムによれば、各輝度エリアのヒストグラム値の変動に応じて、各輝度エリアのヒストグラム値を補正し、その補正されたヒストグラムに基づいて、階調補正データを算出するようにしたので、輝度エリアの分割数の増大や輝度エリアの分割幅を可変させるなどの複雑な処理を行うことなく、ノイズなどの影響によるヒストグラムデータの変動を抑制し、適切な階調補正データを得ることができる。また、その適切な階調補正データに基づいて入力映像信号の階調特性を補正するようにしたので、良好な階調補正を行うことができる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係る映像信号処理装置の全体構成を示している。この映像信号処理装置は、入力映像信号からヒストグラムを抽出するヒストグラム抽出部１と、抽出されたヒストグラムに基づいて、入力映像信号の階調特性を補正するための階調補正データを算出する階調補正量算出部３と、階調補正データに基づいて、入力映像信号の階調特性を補正する階調補正部２とを備えている。ヒストグラム抽出部１は、入力映像信号が取りうる輝度レベルを複数の輝度エリアに分割し、各輝度エリアごとの頻度を算出して各フレームごとにヒストグラムを算出するようになっている。

図２は、階調補正量算出部３の構成例を示している。階調補正量算出部３は、ヒストグラム補正部４と、ヒストグラムフィルタ５と、輝度補正成分生成部６とを有している。ヒストグラム補正部４は、各輝度エリアのヒストグラム値の変動に応じて、各輝度エリアのヒストグラム値を補正する処理を行うものである。この補正処理は、フレーム間における各輝度エリアのヒストグラム値の変動を抑制するために行われる。ヒストグラムフィルタ５は、ヒストグラム補正部４により補正されたヒストグラムデータに対してフィルタリング処理を施すものである。このフィルタリング処理は、１フレーム内における各輝度エリア間のヒストグラム値の変動を抑制するために行われる。輝度補正成分生成部６は、ヒストグラム補正部４により補正され、ヒストグラムフィルタ５によりフィルタリング処理されたヒストグラムに基づいて、階調補正データを算出するものである。

次に、この映像信号処理装置の動作を説明する。なお、この映像信号処理装置で行われる各回路ブロックでの処理は、ハードウェア的に実現しても良いし、ソフトウェア的に実現しても良い。ソフトウェア的に実現する場合、そのソフトウェアは、各回路ブロックの機能をコンピュータにより実行させるためのプログラム群で構成される。この場合、そのソフトウェアを構成する各プログラムが、専用のハードウェアにあらかじめ組み込まれたコンピュータを用いても良いし、例えば汎用のパーソナルコンピュータなどに、プログラムをネットワークや記録媒体からインストールするようにしても良い。

まず入力映像信号として輝度信号が、図１に示したようにヒストグラム抽出部１と階調補正部２とに入力される。ヒストグラム抽出部１では、入力された輝度信号に基づいてヒストグラムを抽出する。例えば図４のようなヒストグラムが抽出される。図４において縦軸は度数を示す。横軸は輝度レベルを示し、この例では図示したように８ビット、０〜２５５の輝度レベルを８つのエリアに分割している。各輝度レベルに属している輝度信号の発生頻度（画素数）を各輝度エリアごとに加算して、各輝度エリアでのヒストグラムデータｈ［０］〜ｈ［７］を算出する。この例の場合は、輝度レベル１６０〜１９１に属している輝度信号が最も多いことになる。これらのヒストグラムデータｈ［０］〜ｈ［７］を階調補正量算出部３に出力する。なおこの例では８分割した輝度エリアとしているが、８より大きい、または小さい分割数に設定しても良い。以降の処理についても同様である。

階調補正量算出部３において、ヒストグラム抽出部１からのヒストグラムデータはまず、図２に示したようにヒストグラム補正部４に入力される。ヒストグラム補正部４では、従来問題となっていたヒストグラムデータのばたつき（変動）を改善するためのヒストグラム補正処理を行う。

以下、ヒストグラム補正部４でのヒストグラム補正処理の説明を行う。図５は、ヒストグラム抽出部１から出力されるヒストグラム補正処理前のヒストグラムデータの一例を示している。ここでは、輝度レベル１６０〜１９１でのヒストグラムデータｈ［５］、輝度レベル１９２〜２２３でのヒストグラムデータｈ［６］、ならびにそれらの和（ｈ［５］＋ｈ［６］）のデータを、１５フレーム分、各フレームごとに示している。横軸はフレーム、縦軸は度数を示す。

例えば輝度レベル１９２付近にデータが集中する場合には、図５のグラフのように互いに隣接する輝度エリアである輝度レベル１６０〜１９１と輝度レベル１９２〜２２３とにおけるヒストグラムデータｈ［５］，ｈ［６］にばたつき（変動）が生じる。この場合、後の処理で適切な階調補正を行うためには、そのばたつきがノイズなどの影響によるものなのか、入力映像信号そのものが元々変動的な動きをする信号なのかを判定する必要がある。経験的には、両方の和（ｈ［５］＋ｈ［６］）の値が安定している（変動が少ない）場合には、ノイズなどの影響によるものであると判定できる。そこで本実施の形態では、そのような特徴を抽出し、ある輝度エリアのヒストグラムデータ（図５の例ではｈ［５］）が前フレームでの値に対してばたつきを持っている場合には、次の輝度エリアのヒストグラムデータ（図５の例ではｈ［６］）との和を取り、そのデータの推移を見て、安定している場合には、ヒストグラム値を補正する処理を行う。また安定していない場合には、入力映像信号そのものが元々変動的な動きをする信号だと判断し、ヒストグラム抽出部１から出力されたヒストグラムデータをそのまま出力する。

つまり、まず隣接するフレーム間で、ヒストグラム値が所定値以上変動している輝度エリアが存在しているか否かを判定する第１の判定を行い、その第１の判定において所定値以上変動している輝度エリアが存在していると判定された場合には、さらに、その輝度エリアとその輝度エリアに隣接する輝度エリアとのヒストグラム値の和（図５の例ではｈ［５］＋ｈ［６］）を算出し、その和が隣接するフレーム間で所定値以上変動しているか否かを判定する第２の判定を行う。そして、第２の判定において、ヒストグラム値の和が変動していると判定された場合には、その輝度エリアについては、ヒストグラム値を補正することなくそのまま出力し、ヒストグラム値の和が変動していないと判定された場合には、その輝度エリアについて、ヒストグラム値を補正する処理を行う。

ヒストグラム値を補正する方法としては次の２つが考えられる。まず第１の方法としては、例えば和を取ったヒストグラムデータ（図５の例ではｈ［５］，ｈ［６］）について、データの更新を行わない処理、すなわち現フレームのヒストグラム値に代えて１フレーム前のヒストグラム値を継続して出力する処理を行う。また第２の方法として、データの更新値を調整する処理、すなわち例えば１フレーム前のヒストグラム値に対して変動値が所定範囲内に収まるように現フレームのヒストグラム値を調整して出力する処理を行うようにしても良い。すなわち、αをあらかじめ決められた定数として、
現フレームのヒストグラム値ｈ［ｋ］
＝１フレーム前のヒストグラム値ｈ［ｋ］＋α
とする処理を行う。
これにより、１フレーム前のヒストグラム値に対して値αを超える変動があったとしても、現フレームのヒストグラム値ｈ［ｋ］としては、その変動値がαに制限されることになる（ヒストグラム値の変動に制限が掛けられることになる）。

図３は、以上で説明したヒストグラム補正部４の処理の流れ、ここではソフトウェア的に実現するための処理の流れを示す。また任意の１フレームについてのヒストグラムを補正する処理の流れを示す。ヒストグラム補正部４ではまず、ソフトウェア変数ｋに初期値として０を代入する（ステップＳ１）。次に、ヒストグラム補正部４は、ヒストグラムの補正処理を終了してよいか判定する（ステップＳ２）。この判定は、変数ｋが設定された最大値以上に達したか否かで判定する。変数ｋの最大値は、例えば図４に示したような８分割のヒストグラムであればｋ＝７、１６分割のヒストグラムであればｋ＝１５となる。変数ｋが最大値以上に達した場合（ステップＳ２；Ｙ）には、現フレームについての補正処理を終了する。

変数ｋが最大値に達していない場合（ステップＳ２；Ｎ）には、隣接するフレーム間で、ヒストグラム値が所定値以上変動している輝度エリアが存在しているか否かを判定（第１の判定）するため、すなわち、ヒストグラムにばたつきがあるか否かを判定するため、ｋ番目のヒストグラムデータｈ［ｋ］が前フレームのデータに対して、あるレベル以上変動しているか否か判定（ばたつき判定）する（ステップＳ３）。所定値以上変動していない場合（ステップＳ３；Ｎ）には、そのｋ番目のヒストグラムデータについては、データがばたついていない状態と判定され、ヒストグラム抽出部１から出力された現フレームのヒストグラムデータｈ［ｋ］をそのまま出力する（ステップＳ８）。その後、次の輝度エリアのヒストグラムデータｈ［ｋ＋１］について処理するため、変数ｋをｋ＋１にして（ステップＳ８）、ステップＳ２の処理に戻る。

一方、ステップＳ３での第１の判定において、所定値以上変動している場合には、そのｋ番目のヒストグラムデータｈ［ｋ］については、データがばたついている状態と判定され（ステップＳ３；Ｙ）、さらに、そのばたつきがノイズなどの影響によるものであるか否かを判定するため、第２の判定を行う。すなわち、第２の判定として、ｋ＋１番目のヒストグラムデータｈ［ｋ＋１］とｋ番目のヒストグラムデータｈ［ｋ］との和データｈ［ｋ］＋ｈ［ｋ＋１］が前フレームでの和に対してばたつきがあるか否か（所定値以上変動しているか否か）判定する（ステップＳ４）。その和にばたつきがある場合には（ステップＳ４；Ｙ）、そのばたつきがノイズなどの影響によるものではなく入力映像信号そのものが元々変動的な動きをする信号だと判断し、ステップＳ８の処理に移行する。

ステップＳ４での第２の判定において、和データｈ［ｋ］＋ｈ［ｋ＋１］にばたつきがない場合（ステップＳ４；Ｎ）には、ステップＳ３での第１の判定におけるデータのばたつきが、ノイズなどの影響によるものであると判断し、ヒストグラムデータを補正する処理に移行する（ステップＳ５）。具体的には、上述した第１の方法のように、例えば現フレームのヒストグラム値に代えて１フレーム前のヒストグラム値を継続して出力する処理を行う（ステップＳ６）。また上述した第２の方法のように、現フレームのヒストグラム値の変動に制限を掛けるような処理を行っても良い。なおここでは、和を取った２つのデータｈ［ｋ］，ｈ［ｋ＋１］についてそれぞれ、ヒストグラム補正処理を行う。２つのデータｈ［ｋ］，ｈ［ｋ＋１］についてそれぞれ、ヒストグラム補正処理を行ったので、次に、ｈ［ｋ＋２］以降のデータを処理するために変数ｋをｋ＋２にして（ステップＳ７）、ステップＳ２の処理に戻る。

以上のように処理されたヒストグラムデータが、ヒストグラムフィルタ５に入力される。ヒストグラムフィルタ５では、ヒストグラム補正部４から出力されたヒストグラムデータに対してフィルタリング処理を行う。ヒストグラム補正部４での補正処理がフレーム間における各輝度エリアのヒストグラム値の変動を抑制する処理だとすれば、ヒストグラムフィルタ５での処理は、１フレーム内における各輝度エリア間のヒストグラム値の変動を抑制する（平滑化する）ものといえる。ヒストグラムフィルタ５でのフィルタリング処理は、オン／オフできるようにしておくことも可能である。例えば、ユーザの画質の好みに応じてフィルタリング処理を行うか否か選択可能にしておいても良い。図６に、このフィルタリング処理の一例を示す。図６には、ヒストグラムフィルタ５における各ヒストグラムデータｈ［０］〜ｈ［７］の入出力値、すなわち、フィルタリング処理前とフィルタリング処理後の各ヒストグラムデータｈ［０］〜ｈ［７］の一例を示している。縦軸は度数を示す。フィルタリング処理前のデータに比べて、フィルタリング処理後のデータの方が、全体としてデータが平滑化され変動が抑制されている。

輝度補正成分生成部６では、ヒストグラム補正部４およびヒストグラムフィルタ５で補正されたヒストグラムデータをもとに、輝度補正データを生成する。補正データの算出は、ヒストグラムデータを元として行う。補正データの算出の概略は、次の（数式１）で表すことができる。Δｙ［０］〜Δｙ［ｍ］が補正データであり、ｆ₀〜ｆ_mは、ヒストグラムデータｈ［０］，ｈ［１］，…ｈ［ｎ］に基づいて補正データを算出するための関数である。
Δｙ［０］＝ｆ₀（ｈ［０］，ｈ［１］，…ｈ［ｎ］）
Δｙ［１］＝ｆ₁（ｈ［０］，ｈ［１］，…ｈ［ｎ］）
（途中省略）
Δｙ［ｍ］＝ｆ_m（ｈ［０］，ｈ［１］，…ｈ［ｎ］）
……（数式１）

（数式１）で算出された補正データを使って、階調補正部２（図１）で輝度信号の補正処理を行う。階調補正部２への輝度信号の入力がＸ、階調補正後の出力をＹ、階調補正部２に対する補正データの入力がΔＹ（Δｙ［０］〜Δｙ［ｍ］）とすると、階調補正部２での処理内容は、
Ｙ＝Ｘ＋ΔＹ
となる。この概念を図７に示す。横軸は入力輝度レベル、縦軸は出力輝度レベルを示す。図７では、Δｙ［ｍ］のｍ＝８としている。また、Δｙ［０］＝０，Δｙ［８］＝０として固定値としている。

以下、輝度補正成分生成部６での補正データの算出例について説明する。（数式１）のように複数個のヒストグラムデータからΔｙ［０］〜Δｙ［ｍ］を算出する。ここでは図７の例のようにｍ＝８とし、Δｙ［０］，Δｙ［８］は０で固定とする。残りのΔｙ［１］〜Δｙ［７］の算出方法について説明する。

まず以下の計算を行い、ｈｓｉｇａｖｅを算出する。
ｈｓｉｇａｖｅ＝Σｈ［ｉ］／８ ……（数式２）
Σｈ［ｉ］は、この例ではｈ［ｉ］のｉ＝０〜７までの和を示す。

このｈｓｉｇａｖｅは、ヒストグラムデータの平均値となる。次に各ヒストグラムデータとこの平均値との差分を取る。差分をｈ＿ｎｅｗ［ｉ］とする。
ｈ＿ｎｅｗ［ｉ］＝ｈ［ｉ］−ｈｓｉｇａｖｅ ……（数式３）

この値から各Δｙ［ｉ］の値を以下のように計算する。ｗは、適当な重み値を表す。
Δｙ［０］＝０
Δｙ［１］＝Δｙ［０］＋ｗ・ｈ＿ｎｅｗ［０］
Δｙ［２］＝Δｙ［１］＋ｗ・ｈ＿ｎｅｗ［１］
Δｙ［３］＝Δｙ［２］＋ｗ・ｈ＿ｎｅｗ［２］
（途中省略）
Δｙ［７］＝Δｙ［６］＋ｗ・ｈ＿ｎｅｗ［６］
Δｙ［８］＝Δｙ［７］＋ｗ・ｈ＿ｎｅｗ［７］
……（数式４）

このように算出された値を使い、階調補正部２で図７のような補正を行う。この時、数式２〜４によりΔｙ［８］＝０を満たす。なお、補正データの算出自体は、この例に限らず、例えば上記した従来技術文献（特開２００３−２５９２０６号公報）に記載の方法を採用しても良い。階調補正部２での処理内容は、上記したように
Ｙ＝Ｘ＋ΔＹ
となるが、この処理はＬＵＴ（ルックアップテーブル）等を用いると実現可能となる。ここで、すべての輝度レベルについて補正を行う場合、輝度補正成分生成部６から階調補正部２への補正データの受け渡しが増大（数式１，２のｍの数が増大）することが考えられる。ｎビットのデジタル信号の場合には、例えば２のｎビット乗個のデータ出力が必要となる。そこで、輝度補正成分生成部６から階調補正部２へのデータ量（ｍ）を減らし、代表的な輝度レベルについての補正データのみを出力する処理を行うことが、メモリ量の削減の点などから好ましい。この場合、データのない中間部分については、Ｃｕｂｉｃ補間、直線補間処理といった方法を使って補間による階調補正を行えば良い。補間の具体例として、例えば特開２００４−１４０７０２には、Ｃｕｂｉｃ補間による方法が記載されている。

以上説明したように、本実施の形態によれば、階調補正量算出部３において、各輝度エリアのヒストグラム値の変動に応じて、各輝度エリアのヒストグラム値を補正し、その補正されたヒストグラムに基づいて、階調補正データを算出するようにしたので、輝度エリアの分割数の増大や輝度エリアの分割幅を可変させるなどの複雑な処理を行うことなく、ノイズなどの影響によるヒストグラムデータの変動を抑制し、適切な階調補正データを得ることができる。また、階調補正部２において、その適切な階調補正データに基づいて入力映像信号の階調特性を補正するようにしたので、良好な階調補正を行うことができる。

［変形例］
なお、本発明は、以上で説明した実施の形態に限定されず、さらに種々の変形実施が可能である。例えば、本実施の形態による階調補正を行った場合に、補正後の階調特性曲線（Ｙ＝Ｘ＋ΔＹ）は、例えば図８（Ａ）のように、補正前の曲線（Ｙ＝Ｘ）に対してプラス側に補正される場合と、図８（Ｂ）のようにマイナス側に補正される場合とが考えられる。マイナス側に補正されるというのは、元の映像の輝度が暗く補正されることを意味する。この場合、必要以上に平均輝度レベルが低くなるような補正が行われないようにしても良い。

例えば、輝度補正成分生成部６において、上記の（数式１，２）について輝度をプラス方向に処理する場合と輝度をマイナス方向に処理する場合とを独立に処理するようにし、必要以上に平均輝度レベルが低くなるような補正データが得られた場合には、マイナス側のデータをプラス方向に補正するようにしても良い。このような補正の概念を図９（Ａ），（Ｂ）に示す。例えば図９（Ａ）に示したように、補正前の曲線（Ｙ＝Ｘ）に対してマイナス方向とプラス方向とに補正されるような階調特性曲線になってしまう場合には、図９（Ｂ）に示したように、マイナス方向に補正されている部分をキャンセルし、マイナス方向に補正されないように処理しても良い。

本発明の一実施の形態に係る映像信号処理装置の全体構成を示すブロック図である。階調補正量算出部の一構成例を示すブロック図である。ヒストグラム補正部における処理の流れを示す流れ図である。ヒストグラム抽出部で抽出されるヒストグラムの一例を示す図である。ヒストグラムの推移を示す図である。ヒストグラムフィルタの一例を示す図である。階調補正の概念を示す図である。階調特性の一例を示す図である。階調特性の補正例を示す図である。従来の問題点であるヒストグラムの変動の一例を示す図である。

符号の説明

１…ヒストグラム抽出部、２…階調補正部、３…階調補正量算出部、４…ヒストグラム補正部、５…ヒストグラムフィルタ、６…輝度補正成分生成部。

Claims

入力された映像信号の階調特性を補正する映像信号処理装置であって、
入力映像信号が取りうる輝度レベルを複数の輝度エリアに分割し、前記各輝度エリアごとの頻度を算出して各フレームごとにヒストグラムを算出するヒストグラム抽出手段と、
前記入力映像信号の階調特性を補正するための階調補正データを算出する補正量算出手段と、
前記階調補正データに基づいて、前記入力映像信号の階調特性を補正する階調補正手段と
を備え、
前記補正量算出手段は、
前記各輝度エリアのヒストグラム値の変動に応じて、前記各輝度エリアのヒストグラム値を補正する処理を行うヒストグラム補正手段と、
前記ヒストグラム補正手段により補正されたヒストグラムに基づいて、前記階調補正データを算出する補正成分生成手段と
を有し、
前記ヒストグラム補正手段は、
隣接するフレーム間で、ヒストグラム値が所定値以上変動している輝度エリアが存在しているか否かを判定する第１の判定を行うと共に、
前記第１の判定において所定値以上変動している輝度エリアが存在していると判定された場合には、さらに、その輝度エリアとその輝度エリアに隣接する輝度エリアとのヒストグラム値の和を算出し、その和が隣接するフレーム間で所定値以上変動しているか否かを判定する第２の判定を行い、
前記第２の判定において、前記ヒストグラム値の和が変動していると判定された場合には、その輝度エリアについては、ヒストグラム値を補正することなくそのまま出力し、前記ヒストグラム値の和が変動していないと判定された場合には、その輝度エリアについて、ヒストグラム値を補正する処理を行うようになされている
映像信号処理装置。
前記ヒストグラム補正手段は、
前記ヒストグラム値を補正する処理として、前記所定値以上変動している輝度エリアとそれに隣接する輝度エリアとについて、現フレームのヒストグラム値に代えて１フレーム前のヒストグラム値を出力する処理を行うようになされている
請求項１に記載の映像信号処理装置。
前記ヒストグラム補正手段は、
前記ヒストグラム値を補正する処理として、前記所定値以上変動している輝度エリアとそれに隣接する輝度エリアとについて、１フレーム前のヒストグラム値に対して変動値が所定範囲内に収まるように現フレームのヒストグラム値を調整して出力する処理を行うようになされている
請求項１に記載の映像信号処理装置。
前記補正量算出手段は、
前記ヒストグラム補正手段により補正されたヒストグラムに対して、１フレーム内における前記各輝度エリア間のヒストグラム値の変動を抑制するフィルタリング処理を施すフィルタ手段をさらに有し、
前記補正成分生成手段は、前記ヒストグラム補正手段により補正され、前記フィルタ手段によりフィルタリング処理されたヒストグラムに基づいて、前記階調補正データを算出するようになされている
請求項１に記載の映像信号処理装置。
入力された映像信号の階調特性を補正する映像信号処理方法であって、
入力映像信号が取りうる輝度レベルを複数の輝度エリアに分割し、前記各輝度エリアごとの頻度を算出して各フレームごとにヒストグラムを算出するヒストグラム抽出ステップと、
前記入力映像信号の階調特性を補正するための階調補正データを算出する補正量算出ステップと、
前記階調補正データに基づいて、前記入力映像信号の階調特性を補正する階調補正ステップと
を含み、
前記補正量算出ステップが、
前記各輝度エリアのヒストグラム値の変動に応じて、前記各輝度エリアのヒストグラム値を補正する処理を行うヒストグラム補正ステップと、
前記ヒストグラム補正ステップにより補正されたヒストグラムに基づいて、前記階調補正データを算出する補正成分生成ステップと
を含み、
前記ヒストグラム補正ステップでは、
隣接するフレーム間で、ヒストグラム値が所定値以上変動している輝度エリアが存在しているか否かを判定する第１の判定を行うと共に、
前記第１の判定において所定値以上変動している輝度エリアが存在していると判定された場合には、さらに、その輝度エリアとその輝度エリアに隣接する輝度エリアとのヒストグラム値の和を算出し、その和が隣接するフレーム間で所定値以上変動しているか否かを判定する第２の判定を行い、
前記第２の判定において、前記ヒストグラム値の和が変動していると判定された場合には、その輝度エリアについては、ヒストグラム値を補正することなくそのまま出力し、前記ヒストグラム値の和が変動していないと判定された場合には、その輝度エリアについて、ヒストグラム値を補正する処理を行う
映像信号処理方法。
入力された映像信号の階調特性を補正する映像信号処理プログラムであって、
入力映像信号が取りうる輝度レベルを複数の輝度エリアに分割し、前記各輝度エリアごとの頻度を算出して各フレームごとにヒストグラムを算出するヒストグラム抽出手段と、
前記入力映像信号の階調特性を補正するための階調補正データを算出する補正量算出手段と、
前記階調補正データに基づいて、前記入力映像信号の階調特性を補正する階調補正手段との各手段を、コンピュータにより機能させるプログラムであり、
かつ、前記補正量算出手段を、
前記各輝度エリアのヒストグラム値の変動に応じて、前記各輝度エリアのヒストグラム値を補正する処理を行うヒストグラム補正手段と、
前記ヒストグラム補正手段により補正されたヒストグラムに基づいて、前記階調補正データを算出する補正成分生成手段として、コンピュータにより機能させるプログラムであり、
さらに、前記ヒストグラム補正手段が、
隣接するフレーム間で、ヒストグラム値が所定値以上変動している輝度エリアが存在しているか否かを判定する第１の判定を行うと共に、
前記第１の判定において所定値以上変動している輝度エリアが存在していると判定された場合には、さらに、その輝度エリアとその輝度エリアに隣接する輝度エリアとのヒストグラム値の和を算出し、その和が隣接するフレーム間で所定値以上変動しているか否かを判定する第２の判定を行い、
前記第２の判定において、前記ヒストグラム値の和が変動していると判定された場合には、その輝度エリアについては、ヒストグラム値を補正することなくそのまま出力し、前記ヒストグラム値の和が変動していないと判定された場合には、その輝度エリアについて、ヒストグラム値を補正する処理を行うように、コンピュータを機能させるプログラムである
映像信号処理プログラム。