JP4333163B2

JP4333163B2 - Image processing apparatus, image display apparatus, and image processing method

Info

Publication number: JP4333163B2
Application number: JP2003057424A
Authority: JP
Inventors: 浩司村橋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-03-04
Filing date: 2003-03-04
Publication date: 2009-09-16
Anticipated expiration: 2023-03-04
Also published as: JP2004266755A

Description

【０００１】
【発明の属する技術分野】
本発明は、表示画像の輝度階調を調整する画像処理装置および画像表示装置、並びに画像処理方法に関する。
【０００２】
【従来の技術】
テレビジョン受像機，ＶＴＲ（VideoTape Recoeder），デジタルカメラ，テレビジョンカメラあるいはプリンタ等の機器は、入力画像に画質向上のための補正を施してから出力するようになっており、コントラスト調整などの種々の画像処理機能を有している。
【０００３】
コントラストの調整は、一画面における平均輝度が低い場合に表示輝度範囲を広げる（高輝度側の輝度値を上げる）ような操作により、低輝度側の階調を確保することで行われ、特に、全体に暗くコントラストが低い画像に対して効果的な階調補正である。ただし、全体に輝度を上げるようにすると、信号レベルがディスプレイパネル等の画像出力側のダイナミックレンジの高域側を超えるおそれがあった。そうした場合、白レベル側の信号値が飽和し、高輝度側の階調表現ができない白づまりの状態を呈することになる。
【０００４】
そこで、信号の最大値は変えずに、中間輝度または低輝度側の輝度領域の信号値を増大させるような調整方法が提案されている（特許文献１参照）。つまり、その補正特性すなわち入出力応答は、いわゆるガンマ補正におけるガンマカーブのようになっている。また、特許文献１には、平均輝度値が大きいときには補正曲線が略直線とされ、平均輝度値が小さくなると中間輝度領域の信号値が増強されるように補正曲線の曲がり具合が強くなるように制御する技術が開示されている。これによれば、画像の暗い部分の階調は、その暗さに応じて適宜に確保されることになる。
【０００５】
【特許文献１】
特開平１１−３２７４９６号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、こうした処理によっても、画質は必ずしも向上する訳ではなかった。例えば、処理画像が動画の場合には、入力される映像信号を一画面を構成する画像（フレーム）ごとに次々に処理し、表示してゆくのが普通である。そのため、各フレームについて取得する平均輝度は、そのフレームの映像信号の補正のためには用いられず、次以降のフレームに反映されるようになっていた。その一方、入力信号には、例えばテレビジョン放送で番組からコマーシャルに入ったときなど、フレーム間で平均輝度値が急激に変化することがある。そうしたときには、実際の輝度とはかけ離れた平均輝度値に応じてコントラスト調整は施されることになり、画像が適切な輝度階調に補正されないことがあった。
【０００７】
本発明はかかる問題点に鑑みてなされたもので、その目的は、適切なコントラスト調整が可能な画像処理装置および画像表示装置、並びに画像処理方法を提供することにある。
【００１１】
【課題を解決するための手段】
本発明の画像処理装置、および本発明の画像表示装置は、入力される画像データを、輝度補正の対象となる画面について一旦保持するデータ保持手段と、この入力される画像データから各画面の平均輝度値を算出し、そのうち輝度補正の対象とする画面自体の平均輝度値、または、輝度補正の対象とする画面自体の平均輝度値およびこの画面と時系列的に連続する複数画面の平均輝度値の加重平均を、指標輝度値として求める指標値取得手段と、指標輝度値が大きくなるに従って補正強度が減少する傾向をもつ関数である応答特性関数を参照して、指標輝度値から補正強度を求め、この補正強度に応じて画面ごとの輝度階調の補正特性を決定する補正特性決定手段と、補正特性を用いて、データ保持手段で一旦保持された補正対象画面の画像データに対し輝度階調の補正を行う輝度補正手段とを備えたものである。
【００１２】
本発明の画像処理方法は、入力される画像データを、輝度補正の対象となる画面について一旦保持すると共に、この入力される画像データから各画面の平均輝度値を算出し、そのうち輝度補正の対象とする画面自体の平均輝度値、または、輝度補正の対象とする画面自体の平均輝度値およびこの画面と時系列的に連続する複数画面の平均輝度値の加重平均を、指標輝度値として求め、この指標輝度値が大きくなるに従って補正強度が減少する傾向をもつ関数である応答特性関数を参照して、指標輝度値から補正強度を求め、この補正強度に応じて画面ごとの輝度階調の補正特性を決定し、一旦保持された補正対象画面の画像データに対し、補正特性を用いて輝度階調の補正を行うものである。
【００１３】
本発明の画像処理装置および画像表示装置、並びに画像処理方法においては、各画面の輝度階調が、指標輝度値に応じた補正強度の補正特性により補正される。ただし、この場合の補正強度は、少なくとも補正対象とする画面の平均輝度値に基づいて得られた指標輝度値に対応して変化するように設定され、必ず補正対象画面それ自身の輝度を参照したものとされる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１５】
〔第１の実施の形態〕
図１は、本発明の第１の実施の形態に係る画像表示装置の全体構成を示している。この画像表示装置は、画像信号をデジタル処理することを前提としており、主に、入力されるＹＵＶ信号に対し処理を行うＹＵＶ信号処理部１００，出力側のマトリクス回路１０２，ＹＵＶ信号から変換されたＲＧＢ信号に対する処理を行うＲＧＢ信号処理部１０３、およびＲＧＢ信号を基に表示を行う表示部１０４によって構成されている。入力される画像信号は、テレビ信号のほか、ＶＣＲ（VideoCassette Recorder）やＤＶＤ（Digital Versatile Disc）等の出力であってよく、例えばＹ／Ｃ分離回路やクロマデコーダ（図示せず）等により行われる通常の処理によってＹＵＶ信号Ｙ_IN，Ｕ_IN，Ｖ_INにまで復調されるようになっている。また、入力信号はＲＧＢ信号として入力されるものであってもよく、その場合には、マトリクス回路１０１によりＹＵＶ信号Ｙ_IN，Ｕ_IN，Ｖ_INに変換されるようになっている。さらに、これら複数種の媒体から信号入力が可能なように構成し、切り換えスイッチにより信号を選択することもできる。このような画像信号は、ＹＵＶ信号処理部１００に入力される。
【００１６】
なお、ＹＵＶ信号は２次元ディジタル画像の画像データであり、画像上の位置に対応する画素値の集合である。そのうち、輝度信号Ｙが輝度レベルを表し、白１００％である白レベルと、黒１００％である黒レベルとの間の振幅値をとる。すなわち、輝度信号Ｙが白レベル側の値であれば、対応する画像の輝度は高く、反対に黒レベル側の値であれば輝度は低いことになる。また、色差信号Ｕ，Ｖはそれぞれ、青（Ｂ；Blue）から輝度信号Ｙを引いた信号Ｂ−Ｙ、赤（Ｒ；Red ）から輝度信号Ｙを引いた信号Ｒ−Ｙに対応しており、これらＵ信号，Ｖ信号を輝度信号Ｙと組み合わせることによって色（色相，彩度，輝度）が表現される。
【００１７】
ＹＵＶ信号処理部１００は、入力側のＹＵＶ処理回路１０，輝度伸張部２０，出力側のＹＵＶ処理回路３０からなる。ＹＵＶ処理回路１０は、入力するＹＵＶ信号Ｙ_IN，Ｕ_IN，Ｖ_INに対し、例えばインターレースからプログレッシブへの変換（ＩＰ変換）や解像度変換（スケーリング）などを施し、ＹＵＶ信号Ｙ₁Ｕ₁Ｖ₁として出力するようになっている。
【００１８】
輝度伸張部２０は、そのうち輝度信号Ｙ₁に対して輝度伸張処理を施し、輝度信号Ｙ₂として出力する。すなわち、図２のように、１画面の画像Ｆは、通常、画面の水平方向および垂直方向に数１００から数１０００単位で配列する画素Ｐの集合として構成されるが、輝度伸張部２０では、その個々の画素Ｐに対応するデータ（この場合は輝度信号Ｙ₁）について輝度伸張処理が施される。なお、ここでいう輝度伸張とは、白レベル一定のまま、階調数を増やしたい輝度範囲内の振幅レベルを上げるように輝度信号Ｙ₁の振幅を変調することをいい、その結果、意図的に拡げられた輝度範囲のコントラストが向上する。
【００１９】
ＹＵＶ処理回路３０には、輝度信号Ｙ₂と色差信号Ｕ₁，Ｖ₁とが入力され、シャープネスコントロール等の処理の後にＹＵＶ信号Ｙ_OUT，Ｕ_OUT，Ｖ_OUTが出力される。
【００２０】
マトリクス回路１０２は、ＹＵＶ信号Ｙ_OUT，Ｕ_OUT，Ｖ_OUTが入力され、これらをＲＧＢ信号に再生・出力するようになっている。ＲＧＢ信号処理部１０３は、マトリクス回路１０２からＲＧＢ信号が入力され、これらＲＧＢ信号を基にして表示部１０４の駆動信号を生成・出力するようになっている。表示部１０４は、入力される駆動信号に応じて画像表示を行うようになっている。なお、表示部１０４は、どのような種類のディスプレイデバイスであってもよく、ＣＲＴ（Cathode-Ray Tube），ＰＤＰ（Plasma Display Panel），ＬＣＤ（Liquid Crystal Display）パネルあるいは有機ＥＬ(Electro Luminescence;電界発光) 表示パネル等を用いることができる。
【００２１】
＜輝度伸張部の構成＞
次に、輝度伸張部２０の構成と機能について、より詳細に説明する。輝度伸張部２０は、図３に示したように、平均輝度算出手段２３，指標値算出手段２４，ゲイン算出手段２５，補正特性算出手段２６および輝度補正手段２７により構成されている。また、各種の演算を行う構成要素は、適宜にマイクロプロセッサ等で構成されている。この輝度伸張部２０においては、輝度信号Ｙ₁に対し、最低値と最高値とを除いた中間輝度領域で補正量に極大値が存在するような非直線的補正を施すものとする。本実施の形態では、このような非直線的補正を便宜的にガンマ補正と呼称する。
【００２２】
平均輝度算出手段２３は、入力される輝度信号Ｙ₁から、各画面（フレーム）ごとの平均輝度値を算出するものである。具体的には、加算器２１，Ｄフリップフロップ回路２２からなるカウンタ回路として構成され、画素の輝度値を各フレームごとに累積加算するようになっている。
【００２３】
指標値算出手段２４は、連続する２フレーム、すなわち補正対象のフレームに対し時系列的に１つ前のフレームと２つ前のフレームの各平均輝度値の加重平均（式１）を、指標値ＡＰＬ（Average Picture Level ）として算出するものである。
ＡＰＬ＝α×ＡＹ_n-1＋（１−α）×ＡＹ_n-2 … （１）
（ただし０≦α≦１、補正対象はｎ番目のフレームであり、ＡＹ_n-1はｎ−１番目のフレームの平均輝度値、ＡＹ_n-2はｎ−２番目のフレームの平均輝度値）
【００２４】
そのため、指標値算出手段２４は、平均輝度値ＡＹ_n-1，ＡＹ_n-2等、必要なデータを格納するメモリを有している。なお、ここで補正対象以前のフレームの平均輝度値ＡＹ_n-1，ＡＹ_n-2を用いるのは、指標値ＡＰＬを求める演算処理によって遅延が生じるためである。つまり、本実施の形態では図４のように、ｎ番目のフレームＦ_nについては、フレームＦ_n-1，Ｆ_n-2における平均輝度値ＡＹ_n-1，ＡＹ_n-2から求めた指標値ＡＰＬを適用して輝度伸張を行うようになっている。また、このように時系列的に連続した複数のフレームの平均輝度値ＡＹを用いることの作用効果については、後述する。
【００２５】
ゲイン算出手段２５は、指標値ＡＰＬに応じてガンマ補正曲線の補正強度、ゲインＧを算出するものである。ここで、ゲイン算出手段２５は、指標値ＡＰＬが小さいほどゲインＧを大きくするように機能する。より具体的には、ゲイン算出手段２５は、指標値ＡＰＬの増大に伴って減少する関数としてゲインＧの値を得るようになっている。そうした関数は、例えば図５に示したように設定される。ゲインコントロール直線２５１は、指標値ＡＰＬが大きくなるに従い、ゲインＧを最大値Ｇ_maxから最小値Ｇ_minへと直線的に漸近するように変化させる場合に用いられる。ゲインコントロール直線２５２は、指標値ＡＰＬの閾値Ａ１，Ａ２により区分される領域ごとにゲインＧを定めるようになっており、ゲインＧは、指標値ＡＰＬが閾値Ａ１以下ではＧ_max、閾値Ａ２以上では最小値Ｇ_min、閾値Ａ１から閾値Ａ２の間では最大値Ｇ_maxから最小値Ｇ_minへと直線的に漸近する値として求められる。なお、指標値ＡＰＬに対するゲインＧの応答特性は、指標値ＡＰＬが大きくなるに従って減少する傾向をもつものであればよく、こうした直線に限らず、曲線としてもよい。
【００２６】
補正特性算出手段２６は、ゲインＧに応じてガンマ補正曲線を画面ごとに求めるものである。ガンマ補正曲線の補正量を、図６（Ａ）のように、中間輝度において正の極大値をとるように変化させるものとするとき、補正特性は以下の２次関数として表される。
Ｙ₂＝Ｙ₁＋ａＹ₁（Ｙ₁−Ｙ_max） … （２）
（ただしａ≧０、Ｙ₁：入力輝度値、Ｙ₂：出力輝度値、Ｙ_max：入力輝度値の最大値）
【００２７】
式２より、この補正特性は右辺第一項が直線Ｙ₂＝Ｙ₁、右辺第２項がＹ₂＝ａＹ₁（Ｙ₁−Ｙ_max）という２次関数に分解され（図６（Ｂ）参照）、第２項が入力値に対する出力値の補正量を調整していることがわかる。ここで、係数ａが、ゲインＧが代入される変数であり、この値が大きいほど補正量は増大する。なお、係数ａ（ゲインＧ）の値を指標値ＡＰＬの増大に伴って正の値から負の値をとるように変化させるようにすれば、式２においては係数ａが正負にわたって変化し、図７のように、補正特性をさらに変化させることができる。なお、本実施の形態では、ゲイン算出手段２５，補正特性算出手段２６が、本発明の「補正特性決定手段」に対応している。
【００２８】
輝度補正手段２７は、補正特性算出手段２６にて算出される補正特性を用いてガンマ補正を行うものである。
【００２９】
次に、本実施の形態に係る画像表示装置の動作について説明する。
【００３０】
入力画像信号は、例えばＲＧＢ信号であればマトリクス回路１０１にてＹＵＶ信号に変換されるなどにより、ＹＵＶ信号Ｙ_IN，Ｕ_IN，Ｖ_INとしてＹＵＶ処理部１００に入力される。ＹＵＶ処理部１００では、ＹＵＶ処理回路１０による処理後に、ＹＵＶ信号Ｙ₁Ｕ₁Ｖ₁が出力される。
【００３１】
次に、輝度伸張部２０は、このうち輝度信号Ｙ₁を取り込み、その輝度伸張（ガンマ補正）を輝度補正手段２７において行う。このときに用いられる補正特性は、以下の手順によって予め得られたものである。
【００３２】
補正対象をフレームＦ_nとすると、指標値算出手段２４は、平均輝度算出手段２３から入力されたフレームＦ_n-1，Ｆ_n-2の平均輝度値ＡＹ_n-1，ＡＹ_n-2について、式１によりその加重平均を求め、指標値ＡＰＬとして出力する（図４）。この操作は、平均輝度値ＡＹに対し、時間方向のフィルタリングに他ならず、得られる指標値ＡＰＬは、フレーム間の急激な輝度変化をならした平均輝度値とみなすことができる。
【００３３】
ゲイン算出手段２５は、例えば図５のゲインコントロール直線２５１，２５２等の応答特性に応じて、この指標値ＡＰＬに対応するゲインＧを算出する。応答特性は、基本的に、指標値ＡＰＬが小さい（画面が暗い）場合にはガンマ補正の補正量を多くするためにゲインＧの値を大きくとる関数であり、図６（Ａ）のように補正特性を変化させる場合には、指標値ＡＰＬが最大、または閾値Ａ２以上であればＧ＝Ｇ_min＝０として出力輝度を入力と同じとし、反対に指標値ＡＰＬが最小、または閾値Ａ１以下であればＧ＝Ｇ_maxとすることが考えられる。ここで得られたゲインＧは、補正特性算出手段２６に入力される。補正特性算出手段２６では、ゲインＧに応じた補正強度をもつガンマ補正曲線が算出され、これが輝度補正手段２７に入力される。
【００３４】
このような補正特性は、時系列的に補正対象の１つ前のフレームＦ_n-1と２つ前のフレームＦ_n-2とを参照して生成されたものであるが、通常の表示状態では隣接フレーム間における輝度差はそれほど大きくないため、参照輝度と補正対象の輝度の差異は問題とならず、１つ前のフレームのみ参照して得た特性でも適切な補正を行うことができる。しかし、映像の急激な場面転換や、テレビジョン放送などにおける番組からコマーシャルへの転換など、前のフレームと次のフレームとでは映像が全く異なる場合も往々にしてある。こうした場合には、１つ前のフレームのみを参照すると、実際の輝度値と指標値がかけ離れた値となって不適切な補正が行われることがある。
【００３５】
例えば、図８のように、入力画像が明るい場面（高輝度）と暗い場面（低輝度）を交互に繰り返す場合を考えてみる。なお、図８ではフレーム画面の輝度を斜線のピッチで表している。本実施の形態の画像表示装置では、図８（Ａ）のように、フレームＦ_nの補正の指標としてフレームＦ_n-1と２つ前のフレームＦ_n-2とを参照することから、指標値ＡＰＬは時間的な変動が抑えられ、比較的なめらかに推移する。そのため、補正自体の強度も輝度に対して敏感に応答したものではなくなり、明るい画面に対しさらに輝度を向上させるような補正をしたり、逆に暗い画面にほとんど輝度補正がなされなかったりすることが抑制される。これが輝度補正量に対する時間フィルタの効果である。
【００３６】
これに対し、時間フィルタを用いず、補正対象より１つ前のフレームのみ参照して補正量を決定する場合を比較のために説明する。この場合には、指標とする平均輝度と補正画面の輝度とが大きく異なるために、補正後の画像出力は図８（Ｂ）のようになる。フレームＦ_n-1の平均輝度値は大きいので、そのまま指標とすると補正のゲインは小さく、フレームＦ_nのための補正特性は補正量が少ないか、逆に中間輝度以下の輝度を落とす傾向をもつように定められる。このため、フレームＦ_nは暗い画面であるのに、ほとんど輝度補正がなされない（あるいはより暗くなる）。また逆に、明るい画面であるフレームＦ_n-1，フレームＦ_n+1などでは、暗い画面であるフレームＦ_n-2，Ｆ_nを参照することで大きなゲインの補正特性により輝度が補正され、輝度が全体的に押し上げられてより明るい画面になる。その結果、当初の目的であるコントラスト強調の効果はあまり得られず、また画面の明暗の繰り返しが余計に強調されて見づらい画像となる。
【００３７】
輝度伸張部２０では、このようにして得られたガンマ補正特性を用い、輝度補正手段２７においてフレームＦ_nの輝度を補正すると同時に、平均輝度算出手段２３〜補正特性決定手段２６においては、このフレームＦ_nとフレームＦ_n-1の平均輝度値ＡＹ_n，ＡＹ_n-1から、次に補正対象となるフレームＦ_n+1のための指標値ＡＰＬ、ゲインＧ、さらにはガンマ補正曲線を求める。
【００３８】
輝度伸張部２０から出力されるフレームＦ_nの補正後の輝度信号Ｙ₂と、色差信号Ｕ₁，Ｖ₁は、共にＹＵＶ処理回路３０に入力され、さらなる処理後にＹＵＶ信号Ｙ_OUT，Ｕ_OUT，Ｖ_OUTとして出力される。これらを、マトリクス回路１０２がＲＧＢ信号に再生し、ＲＧＢ信号処理部１０３に出力する。ＲＧＢ信号処理部１０３は、ＲＧＢ信号を基に駆動信号を生成し、表示部１０４に出力する。表示部１０４は、入力される駆動信号に応じて画像表示を行う。
【００３９】
＜本実施の形態の効果＞
以上説明したように本実施の形態の画像表示装置では、輝度の補正の際に、補正対象のフレームＦ_nに対し１つ前のフレームＦ_n-1と２つ前のフレームＦ_n-2の各平均輝度値ＡＹ_n-1，ＡＹ_n-2の加重平均をとり、時間フィルタを施した輝度値（指標値ＡＰＬ）を指標として補正強度（ゲインＧ）を求めるようにしたので、補正強度の時間的変動は平滑化される。そのため、補正強度は、時系列的な輝度の変動傾向に応じて求められる。よって、輝度の補正対象であるフレームと、補正強度の指標を得るために参照するフレームとが合致しておらず、フレーム間の輝度変動が大きな場合であっても、指標値ＡＰＬはその急激な変化には応答せず、より長い時系列における平均輝度値を反映したものとなる。よって、この指標値ＡＰＬに基づくゲインＧをもつ補正特性を用いることで、補正対象フレームの輝度からかけ離れた補正を行うことは抑制され、不適切な輝度補正を回避することができる。
【００４０】
また、この輝度補正では、複数の平均輝度値ＡＹを格納するメモリを備えておく必要があり、補正特性を設定するまでに各種の関数に基づく複雑な演算を行う必要がある。そのため、特に、画像信号をディジタルデータとして扱う信号処理回路上で好適に実現することができる。
【００４１】
［変形例］
次に、上記第１の実施の形態に対する変形例について説明する。指標値ＡＰＬを求める式１の係数αは、０≦α≦１の範囲内で固定値としてもよいが、変数として扱うようにしてもよい。具体例としては、数フレーム分の平均輝度値を蓄積する回路あるいはメモリを具備するようにし、一連の平均輝度データから、その変化のパターンを検出し、パターンによって係数αを変えることが考えられる。例えば、フレーム間の平均輝度変化がほとんどないようなパターンを検出した場合には、α値を０．５〜１として重みを直前のフレームＦ_n-1の側におくようにし、明暗が繰り返されるようなパターンを検出した場合には、α値を０．５にしてフレームＦ_n-1とフレームＦ_n-2とで半々の重みづけをするとよい。式１は、もともとゲインＧの変動を抑えるために意図的に指標値ＡＰＬの変動を抑えるようにしたものであるが、このように平均輝度の推移に応じて係数αを変えることで、補正対象フレームの輝度により適合した補正を行うような指標値ＡＰＬを得るものとすることができる。
【００４２】
また、式１では、指標値ＡＰＬを求めるのに２フレーム分の平均輝度を用いているが、場合によっては、数フレーム分の輝度値を参照するようにしてもよい。この変形例では、得られる指標値ＡＰＬ、およびゲインＧはさらに時間的に平滑化されたものとなる。
【００４３】
〔第２の実施の形態〕
図９は、第２の実施の形態における画像表示装置の要部構成を表し、図１０は、そのうち輝度伸張部の構成を表すブロック図である。この画像表示装置は、補正対象フレーム自身の輝度を参照して輝度補正を行うようにしたものである。そのため、ここでは、ＹＵＶ信号Ｙ₁Ｕ₁Ｖ₁はそれぞれ、フレームメモリ４０Ｙ，４０Ｕ，４０Ｖに一旦格納される。なお、その全体構成は、第１の実施の形態における画像表示装置と同様であるため、ここでは、第１の実施の形態と同様の構成要素には同一の符号を付し、説明を適宜省略する。
【００４４】
輝度伸張部２０では、輝度信号Ｙ₁は、平均輝度値ＡＹを算出するために平均輝度算出手段２３に入力され、それとは別にフレームメモリ４０Ｙから輝度補正手段２７に入力されるようにもなっている。なお、ここでの輝度伸張部２０では、補正対象となるフレーム自身の平均輝度値ＡＹをそのまま指標としてゲインＧを求めることから、指標値算出手段２４がない点で第１の実施の形態とは異なっている。また、そのガンマ補正曲線を求める具体的な動作は、第１の実施の形態における指標値ＡＰＬが平均輝度値ＡＹ_nであると読み替えたものとなる。このように、本実施の形態では、平均輝度算出手段２３が本発明の「指標値取得手段」に対応している。
【００４５】
なお、色差信号Ｕ₁Ｖ₁は、フレームメモリ４０Ｕ，４０Ｖを介することで、輝度補正後の輝度信号Ｙ₂と同期してＹＵＶ処理回路３０に出力されるようになっている。
【００４６】
このような画像表示装置では、表示しようとするフレームＦ_nに対し、以下のような輝度補正が施される。
【００４７】
まず、フレームＦ_nの輝度信号Ｙ₁を、輝度伸張部２０に入力し、平均輝度算出手段２３においてフレームＦ_nの平均輝度値ＡＹ_nを算出する。次に、ゲイン算出手段２５は、平均輝度値ＡＹ_nを基に（指標値ＡＰＬとみなして）、例えば図５のゲインコントロール直線２５１，２５２等の応答特性よりゲインＧを算出する。すなわち、ここで得られるゲインＧは、平均輝度値ＡＹ_nが小さい（画面が暗い）と大きく、平均輝度値ＡＹ_nが大きい（画面が明るい）と小さくなるように調整される。こうして得られたゲインＧは、補正特性算出手段２６に入力される。
【００４８】
補正特性算出手段２６は、例えば式２より、ゲインＧに応じた補正強度をもつガンマ補正曲線を算出し、輝度補正手段２７に入力する。輝度補正手段２７は、フレームＦ_nの輝度信号Ｙ₁をフレームメモリ４０Ｙから読み出し、これに対し、入力された補正特性を用いてガンマ補正を施す。このときの補正特性は、補正対象であるフレームＦ_n自身の平均輝度値ＡＹ_nを参照して補正量が定められたものであることから、まさにフレームＦ_nに適合した輝度補正がなされる。
【００４９】
これにより、従来の輝度補正で問題となっていた、参照フレームの輝度と補正対象フレームの輝度の違いによって生じる不適切な輝度伸張は、この場合には起こり得ず、各自のフレームに対して、意図した通りの補正特性に基づいた、適切なコントラスト調整を行うことができる。
【００５０】
また、例えば、図１１に示したように、入力画像の明暗がフレーム間で急激に転換する場合を考えてみる。なお、この図１１では、各フレーム画面の輝度を斜線のピッチで表している。この第２の実施の形態の画像表示装置では、フレームメモリ４０Ｙを用いることで、平均輝度値ＡＹを参照したフレーム自身に、その平均輝度値ＡＹを基にして得た特性で輝度補正を施すので、各フレームは自身以外のフレームの輝度値の影響を受けない。図１１（Ａ）のように、フレームＦ_n-1とフレームＦ_nの間を境に入力画像が暗い場面（低輝度）から明るい場面（高輝度）へと急に変わるときでも、フレームＦ_nは、それ以前のフレームＦ_n-1，Ｆ_n-2の低い輝度には関係なく、平均輝度値ＡＹ_nのみを指標としてゲインＧを相応に小さく設定することができる。よって、その出力画面は、入力画面に比べて輝度はほとんど変わらないか、若干暗く補正される。一方、従来のように、フレームメモリを用いず、補正対象より１つ前のフレームを参照して補正量を決定する場合には、フレームＦ_n-1から急激に輝度が変化したフレームＦ_nの補正後の画像出力は、図１１（Ｂ）のようになる。フレームＦ_n-1の平均輝度は低いので、補正のゲインは大きく設定され、低輝度画面向きの補正特性が得られる。したがって、この補正特性をフレームＦ_nに適用すると、さらに輝度が押し上げられ、明るすぎてコントラストがとれない「白浮き」の状態となる可能性がある。
【００５１】
逆に、入力画像が明るい場面（高輝度）から暗い場面（低輝度）へと急激に変わる場合にも同様のことが言える。本実施の形態では、補正画面であるフレームＦ_n自体の平均輝度値ＡＹ_nのみを指標とするために、ゲインＧを相応に大きく設定することができる。しかし、従来の場合には、フレームＦ_n-1の平均輝度が高いためにゲインは小さく設定され、フレームＦ_nに対し高輝度画面向きの補正特性が適用されることになる。その結果、輝度が押し下げられ、暗過ぎてコントラストがとれない「黒沈み」の状態となる可能性がある。通常、１フレームのみの「白浮き」，「黒沈み」はほとんど視認者に認識されることはないが、リフレッシュレート（フレーム周波数）が低い場合には認識されることもあり得、本実施の形態の画像表示装置では、こうした問題も解決される。
【００５２】
このように本実施の形態では、フレームメモリ４０Ｙに一旦補正対象フレームの輝度信号Ｙ₁を格納し、この輝度信号Ｙ₁を、輝度信号Ｙ₁自身を基にして得た補正特性を用いて補正するようにしたので、前後のフレームにおける輝度変動に影響されることなく、常に、個々のフレームに適合した輝度補正を行うことができる。また、このようにフレームメモリを用いる輝度補正は、特に、画像信号をディジタルデータとして扱う信号処理回路上で好適に実現することができる。
【００５３】
なお、本発明は、上記実施の形態に限定されず種々の変形実施が可能である。例えば、第１の実施の形態ではフレームＦ_nの補正の指標としてフレームＦ_n-1とフレームＦ_n-2とを参照するようにしたが、さらに多くのフレームを参照するようにしても構わない。ただし、多くのフレームを参照するほど演算所要時間は延び、指標値ＡＰＬの変化は鈍くなるので、補正対象フレームの直前の２〜３のフレームについて輝度平均をとるのが適当である。
【００５４】
また、第２の実施の形態では、フレームＦ_nの補正指標をフレームＦ_n自身の輝度のみとしたが、フレームＦ_nを含んで連続する複数フレームの輝度を参照するようにすることもできる。この場合には、フレームＦ_n以外のフレーム、例えばフレームＦ_n-1，Ｆ_n-2の輝度の影響を受けることで、完全にフレームＦ_nに適合した輝度補正がなされるとは限らないが、第１の実施の形態で説明したように、フレーム間で大きな輝度変動が生じたときには、輝度変動を抑えるように作用し、画面のチラつきを抑制するという効果が期待できる。なお、その場合に、第１の実施の形態の変形例のように、指標値における係数αを変化させるようにしてもよく、基本的に、フレームＦ_nの輝度平均値ＡＹ_nに最も重みをつけるとよい。
【００５５】
なお、上記の各実施の形態では、指標値ＡＰＬに対するゲインＧの応答特性は、指標値ＡＰＬが大きくなるに従って減少する関数として説明したが、これは必ずしも数式で表現される必要はなく、こうした傾向をもつものであれば任意に設定してよい。また、補正特性を２次関数として説明したが、これもゲインＧに応じて調整可能な任意の関数としてよい。具体的には、図１２に示したような３次関数とすることができる。これによれば、低輝度側の輝度階調を上げると同時に、高輝度側の輝度階調を意図的に抑制することができる。このように、補正特性は、２次以上の多次関数などにより適宜設定されてよい。
【００５７】
【発明の効果】
以上説明したように、本発明の画像処理装置および画像表示装置、並びに画像処理方法によれば、入力される画像データを、輝度補正の対象となる画面について一旦保持すると共に、画像データから各画面の平均輝度値を算出し、そのうち輝度補正の対象とする画面自体の平均輝度値、または、輝度補正の対象とする画面自体の平均輝度値およびこの画面と時系列的に連続する複数画面の平均輝度値の加重平均を、指標輝度値として求め、この指標輝度値が大きくなるに従って補正強度が減少する傾向をもつ関数である応答特性関数を参照して、指標輝度値から補正強度を求め、この補正強度に応じて画面ごとの輝度階調の補正特性を決定し、一旦保持された補正対象画面の画像データに対し、補正特性を用いて輝度階調の補正を行うようにしたので、各画面の輝度階調が、指標輝度値に応じた補正強度の補正特性により補正されるだけでなく、その補正強度は、必ず補正対象となる画面自身の輝度を参照したものとされる。したがって、補正特性を、常に補正対象である個々のフレームの輝度に合わせることが可能となり、不適切な補正を施すことが回避されるばかりか、より適切な輝度階調に補正することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像表示装置の全体構成を示すブロック図である。
【図２】図１に示した輝度伸張部における輝度伸張処理、および処理の対象となる輝度信号の概念的な形態を説明するための図である。
【図３】図１に示した輝度伸張部の構成を示すブロック図である。
【図４】図１に示した輝度伸張部における輝度伸張処理方法について説明するための図である。
【図５】図２に示したゲイン算出手段における指標値に対するゲイン応答特性の具体例を示す図である。
【図６】図２に示した補正特性算出手段における補正特性の具体例であり、（Ａ）は、中間輝度において正の極大値をとる特性を示し、（Ｂ）は（Ａ）の特性がゲインにより変化することを説明する図である。
【図７】図２に示した補正特性算出手段における補正特性の具体例であり、中間輝度における極大値が正から負まで変化可能な場合の特性を示す図である。
【図８】図２に示した輝度伸張部における輝度補正について説明するための図であり、（Ａ）は図２の輝度伸張部における入出力画像を示し、（Ｂ）は従来の輝度伸張方法を施す場合の入出力画像を示す。
【図９】本発明の第２の実施の形態に係る画像表示装置の要部構成を示すブロック図である。
【図１０】図９に示した輝度伸張部に関し、さらに詳細な構成を示すブロック図である。
【図１１】図９に示した輝度伸張部における輝度補正について説明するための図であり、（Ａ）は図２の輝度伸張部における入出力画像を示し、（Ｂ）は従来の輝度伸張方法を施す場合の入出力画像を示す。
【図１２】図２または図９に示した輝度伸張部にて設定される補正特性の変形例を示す図である。
【符号の説明】
１０，３０…ＹＵＶ処理回路、２０…輝度伸張部、２１…加算器、２２…Ｄフリップフロップ回路、２３…平均輝度算出手段、２４…指標値算出手段、２５…ゲイン算出手段、２６…補正特性算出手段、２７…輝度補正手段、４０Ｙ，４０Ｕ，４０Ｖ…フレームメモリ、１００…ＹＵＶ処理部、１０１，１０２…マトリクス回路、１０３…ＲＧＢ信号処理部、１０４…表示部、Ｙ₁，Ｙ₂…輝度信号、ＡＰＬ…指標値、Ｆ（Ｆ_n-1，Ｆ_n）…フレーム、ＡＹ（ＡＹ_n-1，ＡＹ_n）…平均輝度値、Ｇ…ゲイン、２５１，２５２…ゲインコントロール直線。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing device, an image display device, and an image processing method for adjusting the luminance gradation of a display image.
[0002]
[Prior art]
Devices such as television receivers, VTRs (VideoTape Recoeders), digital cameras, television cameras, or printers are designed to output the input image after correcting it to improve the image quality. Image processing function.
[0003]
The contrast adjustment is performed by securing the gradation on the low luminance side by an operation such as expanding the display luminance range (increasing the luminance value on the high luminance side) when the average luminance on one screen is low. This tone correction is effective for an image that is dark overall and has low contrast. However, if the luminance is increased as a whole, the signal level may exceed the high frequency side of the dynamic range on the image output side such as a display panel. In such a case, the signal value on the white level side is saturated, resulting in a state of white clogging that cannot express gradation on the high luminance side.
[0004]
Therefore, an adjustment method has been proposed in which the signal value in the luminance region on the intermediate luminance or low luminance side is increased without changing the maximum value of the signal (see Patent Document 1). That is, the correction characteristic, that is, the input / output response is like a gamma curve in so-called gamma correction. In Patent Document 1, the correction curve is substantially straight when the average luminance value is large, and the curve of the correction curve is strengthened so that the signal value in the intermediate luminance region is increased when the average luminance value is small. Techniques for controlling are disclosed. According to this, the gradation of the dark part of the image is appropriately secured according to the darkness.
[0005]
[Patent Document 1]
Japanese Patent Application Laid-Open No. 11-327496
[0006]
[Problems to be solved by the invention]
However, such processing does not necessarily improve the image quality. For example, when the processed image is a moving image, the input video signal is usually processed and displayed one after another for each image (frame) constituting one screen. For this reason, the average luminance acquired for each frame is not used for correcting the video signal of that frame, but is reflected in the subsequent frames. On the other hand, the average luminance value of the input signal may change abruptly between frames, for example, when a commercial is entered from a program by television broadcasting. In such a case, the contrast adjustment is performed according to the average luminance value far from the actual luminance, and the image may not be corrected to an appropriate luminance gradation.
[0007]
The present invention has been made in view of such problems, and an object thereof is to provide an image processing apparatus, an image display apparatus, and an image processing method capable of appropriate contrast adjustment.
[0011]
[Means for Solving the Problems]
The image processing apparatus of the present invention and the image display apparatus of the present invention include a data holding unit that temporarily holds input image data for a screen to be subjected to luminance correction, and an average of each screen from the input image data. Calculate the brightness value, of which The index brightness is the average brightness value of the screen itself subject to brightness correction, or the weighted average of the average brightness value of the screen itself subject to brightness correction and the average brightness value of multiple screens that are continuous in time series with this screen. As a value Index value acquisition means; This function tends to decrease the correction intensity as the index brightness value increases. A correction characteristic determining unit that obtains a correction intensity from the index luminance value with reference to the response characteristic function and determines a correction characteristic of luminance gradation for each screen according to the correction intensity, and a data holding unit using the correction characteristic And a luminance correction means for correcting the luminance gradation with respect to the image data of the correction target screen once held.
[0012]
The image processing method of the present invention temporarily holds input image data for a screen to be subjected to brightness correction, calculates an average brightness value of each screen from the input image data, The index brightness is the average brightness value of the screen itself subject to brightness correction, or the weighted average of the average brightness value of the screen itself subject to brightness correction and the average brightness value of multiple screens that are continuous in time series with this screen. It is a function that has a tendency that the correction intensity decreases as the index luminance value increases. Referring to the response characteristic function, the correction intensity is obtained from the index luminance value, the correction characteristic of the luminance gradation for each screen is determined according to the correction intensity, and the correction is performed on the image data of the correction target screen that is once held. The luminance gradation is corrected using the characteristics.
[0013]
Image processing of the present invention Equipment and Image display Equipment, and Image processing In the way Is The luminance gradation of each screen is corrected by the correction characteristic of the correction strength corresponding to the index luminance value. However, the correction intensity in this case is set so as to change at least according to the index luminance value obtained based on the average luminance value of the screen to be corrected, and always refers to the luminance of the correction target screen itself. It is supposed to be.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0015]
[First Embodiment]
FIG. 1 shows the overall configuration of an image display apparatus according to a first embodiment of the present invention. This image display device is premised on digital processing of an image signal, and is mainly converted from a YUV signal processing unit 100 for processing an input YUV signal, a matrix circuit 102 on the output side, and a YUV signal. An RGB signal processing unit 103 that performs processing on RGB signals and a display unit 104 that performs display based on the RGB signals are configured. The input image signal may be an output of a VCR (VideoCassette Recorder), a DVD (Digital Versatile Disc) or the like in addition to a television signal, and is performed by, for example, a Y / C separation circuit or a chroma decoder (not shown). YUV signal Y by normal processing _IN , U _IN , V _IN It has been demodulated until. Further, the input signal may be input as an RGB signal. In this case, the matrix circuit 101 causes the YUV signal Y to be input. _IN , U _IN , V _IN It has been converted to. Further, it is possible to configure such that signals can be input from these plural types of media, and a signal can be selected by a changeover switch. Such an image signal is input to the YUV signal processing unit 100.
[0016]
The YUV signal is image data of a two-dimensional digital image and is a set of pixel values corresponding to positions on the image. Among them, the luminance signal Y represents the luminance level, and takes an amplitude value between a white level that is 100% white and a black level that is 100% black. That is, if the luminance signal Y is a value on the white level side, the luminance of the corresponding image is high, and conversely if the value is on the black level side, the luminance is low. The color difference signals U and V correspond to a signal BY obtained by subtracting the luminance signal Y from blue (B) and a signal RY obtained by subtracting the luminance signal Y from red (R). A color (hue, saturation, luminance) is expressed by combining the U signal and V signal with the luminance signal Y.
[0017]
The YUV signal processing unit 100 includes an input-side YUV processing circuit 10, a luminance expansion unit 20, and an output-side YUV processing circuit 30. The YUV processing circuit 10 inputs the YUV signal Y _IN , U _IN , V _IN For example, conversion from interlace to progressive (IP conversion), resolution conversion (scaling), etc. ₁ U ₁ V ₁ As output.
[0018]
Of these, the luminance expansion unit 20 receives the luminance signal Y ₁ Is subjected to luminance expansion processing to obtain a luminance signal Y ₂ Output as. That is, as shown in FIG. 2, the image F of one screen is generally configured as a set of pixels P arranged in units of several hundreds to several thousand in the horizontal and vertical directions of the screen. Data corresponding to the individual pixel P (in this case, the luminance signal Y ₁ ) Is subjected to luminance expansion processing. Note that the luminance expansion here means that the luminance signal Y is increased so as to increase the amplitude level within the luminance range where the number of gradations is to be increased while the white level is constant. ₁ Is modulated, and as a result, the contrast of the intentionally expanded luminance range is improved.
[0019]
The YUV processing circuit 30 has a luminance signal Y ₂ And color difference signal U ₁ , V ₁ And YUV signal Y after processing such as sharpness control _OUT , U _OUT , V _OUT Is output.
[0020]
The matrix circuit 102 generates a YUV signal Y _OUT , U _OUT , V _OUT Are input and reproduced and output as RGB signals. The RGB signal processing unit 103 receives RGB signals from the matrix circuit 102, and generates and outputs drive signals for the display unit 104 based on these RGB signals. The display unit 104 displays an image according to the input drive signal. The display unit 104 may be any type of display device, such as a CRT (Cathode-Ray Tube), a PDP (Plasma Display Panel), an LCD (Liquid Crystal Display) panel, or an organic EL (Electro Luminescence) field. (Light emission) A display panel or the like can be used.
[0021]
<Configuration of luminance expansion unit>
Next, the configuration and function of the luminance expansion unit 20 will be described in more detail. As shown in FIG. 3, the luminance expansion unit 20 includes an average luminance calculation unit 23, an index value calculation unit 24, a gain calculation unit 25, a correction characteristic calculation unit 26, and a luminance correction unit 27. Moreover, the component which performs various calculations is suitably comprised with the microprocessor etc. In the luminance expansion unit 20, the luminance signal Y ₁ On the other hand, it is assumed that nonlinear correction is performed such that a maximum value exists in the correction amount in the intermediate luminance region excluding the lowest value and the highest value. In this embodiment, such non-linear correction is referred to as gamma correction for convenience.
[0022]
The average luminance calculation means 23 receives the input luminance signal Y ₁ From this, an average luminance value for each screen (frame) is calculated. Specifically, it is configured as a counter circuit including an adder 21 and a D flip-flop circuit 22, and the luminance value of the pixel is cumulatively added for each frame.
[0023]
The index value calculation unit 24 calculates a weighted average (Equation 1) of the average luminance values of the two consecutive frames, that is, the previous frame and the previous frame in time series with respect to the correction target frame, as an index value. It is calculated as APL (Average Picture Level).
APL = α × AY _n-1 + (1-α) × AY _n-2 (1)
(However, 0 ≦ α ≦ 1, the correction target is the nth frame, AY _n-1 Is the average luminance value of the (n-1) th frame, AY _n-2 Is the average luminance value of the n-2th frame)
[0024]
Therefore, the index value calculation unit 24 calculates the average luminance value AY. _n-1 , AY _n-2 And a memory for storing necessary data. Here, the average luminance value AY of the frame before the correction target is here. _n-1 , AY _n-2 Is used because a delay is caused by the calculation processing for obtaining the index value APL. That is, in this embodiment, as shown in FIG. 4, the nth frame F _n For frame F _n-1 , F _n-2 Average luminance value AY _n-1 , AY _n-2 The luminance expansion is performed by applying the index value APL obtained from the above. The effect of using the average luminance value AY of a plurality of frames that are continuous in time series in this way will be described later.
[0025]
The gain calculating means 25 calculates the correction strength of the gamma correction curve and the gain G according to the index value APL. Here, the gain calculating means 25 functions to increase the gain G as the index value APL is smaller. More specifically, the gain calculation means 25 obtains the value of the gain G as a function that decreases as the index value APL increases. Such a function is set as shown in FIG. 5, for example. The gain control straight line 251 increases the gain G to the maximum value G as the index value APL increases. _max To minimum G _min It is used when changing to be asymptotically linear. The gain control straight line 252 determines a gain G for each region divided by the threshold values A1 and A2 of the index value APL. The gain G is G when the index value APL is equal to or less than the threshold A1. _max , Minimum value G above threshold A2 _min The maximum value G between the threshold value A1 and the threshold value A2 _max To minimum G _min It is obtained as a value asymptotically linearly toward The response characteristic of the gain G with respect to the index value APL only needs to have a tendency to decrease as the index value APL increases, and is not limited to such a straight line but may be a curve.
[0026]
The correction characteristic calculation means 26 calculates a gamma correction curve for each screen according to the gain G. When the correction amount of the gamma correction curve is changed so as to take a positive maximum value at intermediate luminance as shown in FIG. 6A, the correction characteristic is expressed as the following quadratic function.
Y ₂ = Y ₁ + AY ₁ (Y ₁ -Y _max (2)
(However, a ≧ 0, Y ₁ : Input luminance value, Y ₂ : Output luminance value, Y _max : Maximum input luminance value)
[0027]
From Equation 2, this correction characteristic is that the first term on the right side is a straight line Y ₂ = Y ₁ The second term on the right side is Y ₂ = AY ₁ (Y ₁ -Y _max ) (See FIG. 6B), it can be seen that the second term adjusts the correction value of the output value with respect to the input value. Here, the coefficient a is a variable to which the gain G is substituted, and the correction amount increases as this value increases. If the value of the coefficient a (gain G) is changed so as to take a negative value from a positive value as the index value APL increases, the coefficient a changes in positive and negative in Equation 2, As shown in FIG. 7, the correction characteristic can be further changed. In the present embodiment, the gain calculating means 25 and the correction characteristic calculating means 26 correspond to the “correction characteristic determining means” of the present invention.
[0028]
The brightness correction unit 27 performs gamma correction using the correction characteristic calculated by the correction characteristic calculation unit 26.
[0029]
Next, the operation of the image display apparatus according to this embodiment will be described.
[0030]
For example, if the input image signal is an RGB signal, the matrix circuit 101 converts the input image signal into a YUV signal. _IN , U _IN , V _IN Is input to the YUV processing unit 100. In the YUV processing unit 100, after the processing by the YUV processing circuit 10, the YUV signal Y ₁ U ₁ V ₁ Is output.
[0031]
Next, the luminance expansion unit 20 includes the luminance signal Y ₁ And the luminance expansion (gamma correction) is performed by the luminance correction means 27. The correction characteristics used at this time are obtained in advance by the following procedure.
[0032]
Frame F to be corrected _n Then, the index value calculation unit 24 receives the frame F input from the average luminance calculation unit 23. _n-1 , F _n-2 Average luminance value AY _n-1 , AY _n-2 , The weighted average is obtained by Equation 1 and output as the index value APL (FIG. 4). This operation is nothing but filtering in the time direction with respect to the average luminance value AY, and the obtained index value APL can be regarded as an average luminance value that causes a rapid luminance change between frames.
[0033]
The gain calculation means 25 calculates the gain G corresponding to this index value APL according to the response characteristics such as the gain control straight lines 251 and 252 shown in FIG. The response characteristic is basically a function that increases the value of the gain G in order to increase the correction amount of the gamma correction when the index value APL is small (the screen is dark), as shown in FIG. When the correction characteristic is changed, G = G if the index value APL is the maximum or greater than or equal to the threshold value A2. _min = 0, the output luminance is the same as the input, and if the index value APL is minimum or less than the threshold value A1, G = G _max It can be considered. The gain G obtained here is input to the correction characteristic calculation means 26. In the correction characteristic calculation unit 26, a gamma correction curve having a correction intensity corresponding to the gain G is calculated and input to the luminance correction unit 27.
[0034]
Such correction characteristics are obtained by chronologically correcting the previous frame F to be corrected. _n-1 And the previous frame F _n-2 However, since the difference in luminance between adjacent frames is not so large in the normal display state, the difference between the reference luminance and the luminance to be corrected does not matter, and the previous frame Even with the characteristics obtained by referring only to the above, appropriate correction can be performed. However, there are often cases in which the video is completely different between the previous frame and the next frame, such as a sudden change of scene of the video or a change from a program to a commercial in a television broadcast or the like. In such a case, if only the previous frame is referred to, the actual luminance value and the index value may be different from each other and inappropriate correction may be performed.
[0035]
For example, as shown in FIG. 8, consider a case where an input image repeats alternately a bright scene (high brightness) and a dark scene (low brightness). In FIG. 8, the luminance of the frame screen is represented by the hatched pitch. In the image display apparatus according to the present embodiment, as shown in FIG. _n F as an index of correction _n-1 And the previous frame F _n-2 Therefore, the index value APL has a temporal variation and is relatively smooth. For this reason, the intensity of the correction itself is no longer sensitive to the brightness, and a correction that further improves the brightness is performed on a bright screen, or on the contrary, a brightness correction is hardly performed on a dark screen. It is suppressed. This is the effect of the time filter on the luminance correction amount.
[0036]
On the other hand, a case where the correction amount is determined with reference to only the frame immediately before the correction target without using the time filter will be described for comparison. In this case, since the average luminance as the index and the luminance of the correction screen are greatly different, the corrected image output is as shown in FIG. Frame F _n-1 Since the average luminance value is large, if the index is used as it is, the correction gain is small and the frame F _n The correction characteristic for the image is determined so that the correction amount is small or, conversely, the luminance is less than the intermediate luminance. Therefore, frame F _n Is a dark screen with little brightness correction (or darker). Conversely, the frame F, which is a bright screen _n-1 , Frame F _{n + 1} Etc., frame F which is a dark screen _n-2 , F _n By referring to, the luminance is corrected by a large gain correction characteristic, and the luminance is boosted as a whole, resulting in a brighter screen. As a result, the effect of contrast enhancement, which is the original purpose, cannot be obtained so much, and the image is difficult to see because the screen is repeatedly emphasized excessively.
[0037]
The luminance expansion unit 20 uses the gamma correction characteristics obtained in this way, and the luminance correction unit 27 uses the frame F _n At the same time, the average luminance calculating means 23 to the correction characteristic determining means 26 correct this frame F. _n And frame F _n-1 Average luminance value AY _n , AY _n-1 To the next frame F to be corrected _{n + 1} Index value APL, gain G, and further a gamma correction curve.
[0038]
Frame F output from luminance expansion unit 20 _n Luminance signal Y after correction ₂ And the color difference signal U ₁ , V ₁ Are input to the YUV processing circuit 30, and after further processing, the YUV signal Y _OUT , U _OUT , V _OUT Is output as These are reproduced by the matrix circuit 102 into RGB signals and output to the RGB signal processing unit 103. The RGB signal processing unit 103 generates a drive signal based on the RGB signal and outputs the drive signal to the display unit 104. The display unit 104 displays an image according to the input drive signal.
[0039]
<Effects of the present embodiment>
As described above, in the image display device according to the present embodiment, the correction target frame F is corrected when the luminance is corrected. _n The previous frame F with respect to _n-1 And the previous frame F _n-2 Each average luminance value AY _n-1 , AY _n-2 Since the correction strength (gain G) is obtained using the luminance value (index value APL) subjected to time filtering as an index, the temporal variation of the correction strength is smoothed. Therefore, the correction strength is obtained according to the time-series luminance fluctuation tendency. Therefore, even if the frame that is the luminance correction target and the frame that is referred to for obtaining the correction intensity index do not match and the luminance fluctuation between frames is large, the index value APL is abrupt. It does not respond to the change, but reflects the average luminance value in a longer time series. Therefore, by using the correction characteristic having the gain G based on the index value APL, it is possible to suppress correction far from the luminance of the correction target frame, and to avoid inappropriate luminance correction.
[0040]
In this luminance correction, it is necessary to provide a memory for storing a plurality of average luminance values AY, and it is necessary to perform complicated calculations based on various functions before setting correction characteristics. Therefore, in particular, it can be suitably realized on a signal processing circuit that handles image signals as digital data.
[0041]
[Modification]
Next, a modification of the first embodiment will be described. The coefficient α in Equation 1 for obtaining the index value APL may be a fixed value within the range of 0 ≦ α ≦ 1, but may be handled as a variable. As a specific example, it is conceivable to provide a circuit or memory for accumulating the average luminance values for several frames, detect the change pattern from a series of average luminance data, and change the coefficient α depending on the pattern. For example, when a pattern with little change in average luminance between frames is detected, the α value is set to 0.5 to 1 and the weight is set to the immediately preceding frame F. _n-1 When a pattern that repeats light and dark is detected, the α value is set to 0.5 and the frame F _n-1 And frame F _n-2 And half weight is good. Equation 1 is originally intended to suppress the fluctuation of the index value APL in order to suppress the fluctuation of the gain G. In this way, by changing the coefficient α according to the transition of the average luminance, the correction target is obtained. It is possible to obtain an index value APL that performs correction more suitable for the luminance of the frame.
[0042]
In Equation 1, the average luminance for two frames is used to obtain the index value APL. However, in some cases, the luminance values for several frames may be referred to. In this modification, the obtained index value APL and gain G are further smoothed in time.
[0043]
[Second Embodiment]
FIG. 9 illustrates a main configuration of the image display apparatus according to the second embodiment, and FIG. 10 is a block diagram illustrating the configuration of the luminance expansion unit. This image display apparatus is configured to perform brightness correction with reference to the brightness of the correction target frame itself. Therefore, here, YUV signal Y ₁ U ₁ V ₁ Are temporarily stored in the frame memories 40Y, 40U, and 40V, respectively. Since the overall configuration is the same as that of the image display device in the first embodiment, the same components as those in the first embodiment are denoted by the same reference numerals, and description thereof is omitted as appropriate. To do.
[0044]
In the luminance expansion unit 20, the luminance signal Y ₁ Is input to the average luminance calculation means 23 to calculate the average luminance value AY, and is input to the luminance correction means 27 from the frame memory 40Y separately. Here, the luminance expansion unit 20 obtains the gain G using the average luminance value AY of the frame itself to be corrected as an index as it is, so that the first embodiment is different from the first embodiment in that there is no index value calculation means 24 Is different. The specific operation for obtaining the gamma correction curve is that the index value APL in the first embodiment is the average luminance value AY. _n It will be replaced with that. Thus, in the present embodiment, the average luminance calculation means 23 corresponds to the “index value acquisition means” of the present invention.
[0045]
The color difference signal U ₁ V ₁ Is transmitted through the frame memories 40U and 40V, and the luminance signal Y after the luminance correction is performed. ₂ Are output to the YUV processing circuit 30 in synchronism with each other.
[0046]
In such an image display device, the frame F to be displayed is displayed. _n On the other hand, the following luminance correction is performed.
[0047]
First, frame F _n Luminance signal Y ₁ Is input to the luminance expansion unit 20, and the average luminance calculation unit 23 performs frame F _n Average luminance value AY _n Is calculated. Next, the gain calculation means 25 calculates the average luminance value AY. _n Based on the above (considering the index value APL), for example, the gain G is calculated from the response characteristics such as the gain control lines 251 and 252 shown in FIG. That is, the gain G obtained here is the average luminance value AY. _n Is small (the screen is dark) and large, the average luminance value AY _n Is adjusted to be smaller when is larger (the screen is brighter). The gain G thus obtained is input to the correction characteristic calculation means 26.
[0048]
The correction characteristic calculation unit 26 calculates a gamma correction curve having a correction intensity corresponding to the gain G from Equation 2, for example, and inputs the gamma correction curve to the luminance correction unit 27. The luminance correction means 27 is used to generate the frame F _n Luminance signal Y ₁ Is read from the frame memory 40Y, and gamma correction is performed on the read memory using the input correction characteristics. The correction characteristic at this time is the frame F to be corrected. _n Own average brightness value AY _n Since the correction amount is determined with reference to FIG. _n Luminance correction suitable for is performed.
[0049]
As a result, inappropriate luminance expansion caused by the difference between the luminance of the reference frame and the luminance of the correction target frame, which has been a problem in the conventional luminance correction, cannot occur in this case. Appropriate contrast adjustment can be performed based on the intended correction characteristics.
[0050]
For example, as shown in FIG. 11, let us consider a case where the brightness of the input image changes abruptly between frames. In FIG. 11, the luminance of each frame screen is represented by the hatched pitch. In the image display device according to the second embodiment, by using the frame memory 40Y, the frame itself referring to the average luminance value AY is subjected to luminance correction with the characteristics obtained based on the average luminance value AY. Each frame is not affected by the luminance values of frames other than itself. As shown in FIG. _n-1 And frame F _n Even when the input image suddenly changes from a dark scene (low brightness) to a bright scene (high brightness) between _n Is the previous frame F _n-1 , F _n-2 Regardless of the low brightness of the average brightness value AY _n The gain G can be set to a correspondingly small value using only as an index. Therefore, the luminance of the output screen is corrected to be slightly darker or slightly darker than that of the input screen. On the other hand, when the correction amount is determined with reference to the frame immediately before the correction target without using the frame memory as in the conventional case, the frame F _n-1 Frame F whose brightness has suddenly changed since _n The image output after the correction is as shown in FIG. Frame F _n-1 Since the average luminance is low, the correction gain is set large, and correction characteristics suitable for a low-luminance screen can be obtained. Therefore, this correction characteristic is represented by the frame F. _n When applied to, the brightness is further increased, and there is a possibility that the image becomes “white floating” in which the contrast is not obtained because it is too bright.
[0051]
Conversely, the same can be said when the input image changes suddenly from a bright scene (high brightness) to a dark scene (low brightness). In the present embodiment, the frame F which is a correction screen _n Its own average luminance value AY _n Therefore, the gain G can be set correspondingly large. However, in the conventional case, the frame F _n-1 Since the average luminance of the frame F is high, the gain is set small, and the frame F _n On the other hand, the correction characteristic for the high luminance screen is applied. As a result, there is a possibility that the brightness will be pushed down and a “black sun” state will occur in which the contrast is too dark. Normally, the “white floating” and “black sun” of only one frame are hardly recognized by the viewer, but may be recognized when the refresh rate (frame frequency) is low. Such a problem is solved in the image display device of the embodiment.
[0052]
As described above, in the present embodiment, the luminance signal Y of the correction target frame is temporarily stored in the frame memory 40Y. ₁ And this luminance signal Y ₁ Brightness signal Y ₁ Since correction is performed using correction characteristics obtained based on itself, it is possible to always perform luminance correction suitable for each frame without being affected by luminance fluctuation in the previous and subsequent frames. Further, the luminance correction using the frame memory in this way can be preferably realized particularly on a signal processing circuit that handles an image signal as digital data.
[0053]
In addition, this invention is not limited to the said embodiment, A various deformation | transformation implementation is possible. For example, in the first embodiment, the frame F _n F as an index of correction _n-1 And frame F _n-2 However, more frames may be referred to. However, as the number of frames is referred to, the time required for calculation increases and the change in the index value APL becomes dull. Therefore, it is appropriate to take the luminance average for a few frames immediately before the correction target frame.
[0054]
In the second embodiment, the frame F _n The correction index of the frame F _n Only its own brightness, but frame F _n It is also possible to refer to the luminance of a plurality of consecutive frames including. In this case, frame F _n Other frames, for example, frame F _n-1 , F _n-2 Is completely affected by the brightness of the frame F _n However, as described in the first embodiment, when a large luminance fluctuation occurs between frames, the luminance correction is suppressed and the screen flickers. The effect of suppressing can be expected. In this case, as in the modification of the first embodiment, the coefficient α in the index value may be changed. _n Luminance average value AY _n It is best to give the most weight.
[0055]
In each of the above-described embodiments, the response characteristic of the gain G with respect to the index value APL has been described as a function that decreases as the index value APL increases. If it has, you may set arbitrarily. Although the correction characteristic has been described as a quadratic function, it may be an arbitrary function that can be adjusted according to the gain G. Specifically, it can be a cubic function as shown in FIG. According to this, it is possible to intentionally suppress the luminance gradation on the high luminance side while simultaneously increasing the luminance gradation on the low luminance side. As described above, the correction characteristic may be appropriately set by a quadratic or higher order function.
[0057]
【The invention's effect】
As explained above According to the image processing device, the image display device, and the image processing method of the present invention, the input image data is temporarily held for the screen to be subjected to luminance correction, and the average luminance value of each screen is determined from the image data. Calculate, of which The index brightness is the average brightness value of the screen itself subject to brightness correction, or the weighted average of the average brightness value of the screen itself subject to brightness correction and the average brightness value of multiple screens that are continuous in time series with this screen. It is a function that has a tendency that the correction intensity decreases as the index luminance value increases. Referring to the response characteristic function, the correction intensity is obtained from the index luminance value, the correction characteristic of the luminance gradation for each screen is determined according to the correction intensity, and the correction is performed on the image data of the correction target screen that is once held. Since the luminance gradation is corrected using the characteristics, the luminance gradation of each screen is not only corrected by the correction characteristic of the correction intensity according to the index luminance value, but the correction intensity is always corrected. The brightness of the target screen itself is referred to. Therefore, it is possible to always adjust the correction characteristic to the luminance of the individual frame to be corrected, and not only inappropriate correction can be avoided, but also correction to a more appropriate luminance gradation is possible. Become.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of an image display apparatus according to a first embodiment of the present invention.
2 is a diagram for explaining a conceptual form of luminance expansion processing in a luminance expansion unit illustrated in FIG. 1 and a luminance signal to be processed; FIG.
FIG. 3 is a block diagram illustrating a configuration of a luminance expansion unit illustrated in FIG. 1;
4 is a diagram for explaining a luminance expansion processing method in the luminance expansion unit shown in FIG. 1; FIG.
5 is a diagram showing a specific example of gain response characteristics with respect to an index value in the gain calculating means shown in FIG.
6 is a specific example of a correction characteristic in the correction characteristic calculation means shown in FIG. 2, (A) shows a characteristic that takes a positive maximum value at intermediate luminance, and (B) shows a characteristic of (A). It is a figure explaining changing with a gain.
7 is a specific example of the correction characteristic in the correction characteristic calculation means shown in FIG. 2, and is a diagram showing the characteristic when the maximum value at the intermediate luminance can be changed from positive to negative.
8A and 8B are diagrams for explaining luminance correction in the luminance expansion unit shown in FIG. 2, in which FIG. 8A shows input / output images in the luminance expansion unit of FIG. 2, and FIG. 8B is a conventional luminance expansion method; An input / output image when applying is shown.
FIG. 9 is a block diagram showing a main configuration of an image display apparatus according to a second embodiment of the present invention.
10 is a block diagram showing a more detailed configuration of the luminance expansion unit shown in FIG. 9;
11A and 11B are diagrams for explaining luminance correction in the luminance expansion unit shown in FIG. 9, where FIG. 11A shows input / output images in the luminance expansion unit of FIG. 2, and FIG. 11B shows a conventional luminance expansion method; An input / output image when applying is shown.
12 is a diagram showing a modification of correction characteristics set by the luminance expansion unit shown in FIG. 2 or FIG.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10,30 ... YUV processing circuit, 20 ... Luminance expansion part, 21 ... Adder, 22 ... D flip-flop circuit, 23 ... Average brightness | luminance calculation means, 24 ... Index value calculation means, 25 ... Gain calculation means, 26 ... Correction characteristic Calculation means, 27 ... Luminance correction means, 40Y, 40U, 40V ... Frame memory, 100 ... YUV processing section, 101, 102 ... Matrix circuit, 103 ... RGB signal processing section, 104 ... Display section, Y ₁ , Y ₂ ... Luminance signal, APL ... Index value, F (F _n-1 , F _n ) ... Frame, AY (AY _n-1 , AY _n ) ... Average luminance value, G ... Gain, 251,252 ... Gain control line.

Claims

Data holding means for temporarily holding input image data for a screen to be subjected to luminance correction;
An index value acquisition unit that calculates an average luminance value of each screen from the image data, and calculates an average luminance value of the screen itself to be subjected to luminance correction as an index luminance value ;
Referring to response function correction strength is a function having a tendency to decrease as the index luminance value increases, it obtains the correction intensity from the index luminance value, the luminance gradation of each screen according to the correction intensity Correction characteristic determining means for determining the correction characteristic of
It said correction characteristic with, images processing apparatus including a luminance correction means for correcting the luminance gradation to image data of the correction target screen once held in the data holding means.

Data holding means for temporarily holding input image data for a screen to be subjected to luminance correction;
The average luminance value of each screen is calculated from the image data, and the average luminance value of the screen itself to be subjected to luminance correction, and the weighted average of the average luminance values of a plurality of screens that are continuous in time series with this screen, Index value obtaining means for obtaining the index brightness value ;
Referring to response function correction strength is a function having a tendency to decrease as the index luminance value increases, it obtains the correction intensity from the index luminance value, the luminance gradation of each screen according to the correction intensity Correction characteristic determining means for determining the correction characteristic of
It said correction characteristic with, images processing apparatus including a luminance correction means for correcting the luminance gradation to image data of the correction target screen once held in the data holding means.

Said data holding means, Ru frame memory der
The image processing apparatus 請 Motomeko 1 or 2 wherein.

The correction intensity is
When the index luminance value is equal to or less than the first threshold value, the maximum value is obtained. If the index luminance value is a value between the first threshold value and the second threshold value, the index luminance value decreases as the index luminance value increases. It takes a value, the index luminance value that Do minimum value is more than the second threshold value
The image processing apparatus 請 Motomeko 1 or 2 wherein.

The correction characteristic is expressed by a function of second order or higher,
The correction strength, change to a negative value from a positive value with increasing the index luminance value
The image processing apparatus 請 Motomeko 1 or 2 wherein.

Data holding means for temporarily holding input image data for a screen to be subjected to luminance correction;
An index value acquisition unit that calculates an average luminance value of each screen from the image data, and calculates an average luminance value of the screen itself to be subjected to luminance correction as an index luminance value ;
Referring to response function correction strength is a function having a tendency to decrease as the index luminance value increases, it obtains the correction intensity from the index luminance value, the luminance gradation of each screen according to the correction intensity Correction characteristic determining means for determining the correction characteristic of
It said correction characteristic using a picture image display apparatus and a brightness correcting unit for correcting the luminance gradation to image data of the correction target screen once held in the data holding means.

Data holding means for temporarily holding input image data for a screen to be subjected to luminance correction;
The average luminance value of each screen is calculated from the image data, and the average luminance value of the screen itself to be subjected to luminance correction, and the weighted average of the average luminance values of a plurality of screens that are continuous in time series with this screen, Index value obtaining means for obtaining the index brightness value ;
Referring to response function correction strength is a function having a tendency to decrease as the index luminance value increases, it obtains the correction intensity from the index luminance value, the luminance gradation of each screen according to the correction intensity Correction characteristic determining means for determining the correction characteristic of
It said correction characteristic using a picture image display apparatus and a brightness correcting unit for correcting the luminance gradation to image data of the correction target screen once held in the data holding means.

The input image data is temporarily held for the screen to be subjected to brightness correction, and the average brightness value of each screen is calculated from the image data, and the average brightness value of the screen itself to be brightness corrected is used as the index brightness. calculated as a value, by referring to the response function is a function having a tendency to correction intensity decreases as the index luminance value increases, it obtains the correction intensity from the indicator brightness value, the screen for each according to the correction intensity Determine the luminance gradation correction characteristics,
Wherein the image data of the correction target picture held temporarily, intends row correction luminance gradation by using the correction characteristic
Images processing method.

The image data to be input is temporarily held for the screen to be subjected to luminance correction, and the average luminance value of each screen is calculated from the image data , and the average luminance value of the screen itself to be subjected to luminance correction, and The weighted average of the average brightness values of multiple screens that are continuous in time with this screen is obtained as the index brightness value, and the response characteristic function, which is a function that the correction intensity tends to decrease as the index brightness value increases, is referred to. Te, we obtain the correction intensity from the indicator brightness value, determining the correction characteristic of the luminance gradation of each screen in accordance with the correction strength,
Wherein the image data of the correction target picture held temporarily, intends row correction luminance gradation by using the correction characteristic
Images processing method.