JP3891928B2 - 表示装置 - Google Patents
表示装置 Download PDFInfo
- Publication number
- JP3891928B2 JP3891928B2 JP2002363687A JP2002363687A JP3891928B2 JP 3891928 B2 JP3891928 B2 JP 3891928B2 JP 2002363687 A JP2002363687 A JP 2002363687A JP 2002363687 A JP2002363687 A JP 2002363687A JP 3891928 B2 JP3891928 B2 JP 3891928B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- histogram
- circuit
- luminance
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、表示装置に係り、特に液晶パネル、ＣＲＴ（Cathode Ray Tube）、プラズマディスプレイパネル(PDP) 、ＥＬパネル（Electro-Luminescence Panel）等の表示デバイスを用いて映像データ（画像データ、テキストデータを含む）を表示するための表示装置に関する。
【０００２】
【従来の技術】
映像信号発生源から入力した映像データを表示デバイスの特性に合わせて表示するための従来技術として、映像の輝度データからヒストグラムを形成し、ガンマ特性をヒストグラムに応じて積極的に補正する技術が特許文献１に開示されている。
【０００３】
【特許文献１】
特開２００１−３４３９５７号公報
【０００４】
【発明が解決しようとする課題】
現在、液晶パネルを用いた表示装置（液晶表示装置）やプラズマディスプレイパネルを用いた表示装置（プラズマディスプレイとも称する）あるいはＥＬパネルを用いた表示装置（ＥＬディスプレイ）は、パーソナルコンピュータなどのテキストや静止画像だけでなく、テレビ映像等の動画をも高画質に表示することが求められている。
【０００５】
一般にテレビ映像に代表される動画映像は、テレビカメラ等で撮影され、放送または媒体を介して提供される映像であり、受信機に一般的に備える陰極線管（以下、ブラウン管とも称する）の表示特性に即した規格で提供される。これは、所謂ガンマ特性と呼ばれるブラウン管の映像信号と明るさの関係を考慮してのことである。しかし、表示特性の異なる液晶表示装置、あるいはプラズマディスプレイといった表示デバイスは、このような放送規格に適した表示特性ではないため、映像信号と明るさの関係、すなわちガンマ特性を放送規格に一致させる必要がある。
【０００６】
また、液晶表示装置やプラズマディスプレイはブラウン管と異なり、ピーク輝度やコントラスト、色再現性の観点から、ブラウン管以上の表示特性を実現することは困難な状況にある。このような表示特性がブラウン管と異なる表示デバイスで忠実な再現性を実現することが課題の一つとなっている。特許文献１に開示された発明も、前記課題を解決すべくなされたものであるが、輝度データに基づくヒストグラムを抽出するのみに留まっており、なおかつグレースケールのみの信号処理に限定されているため、見かけ上のグレースケールのコントラストは改善できるものの、色彩のコントラストや、見かけ上の色再現性を向上させることはできない。また、液晶の場合、応答が数ｍｓから数十ｍｓ要してしまうため、映像の変化に追従できず、映像がぼやけてしまい、これも解決すべき課題となっていた。
【０００７】
本発明は、前記グレースケールのコントラストに加え、色彩のコントラストも同時に向上させ、かつ液晶表示装置等のホールド型表示装置においては、映像の動きによる映像のぼやけを低減する表示装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、本発明は、前記複数の映像フォーマットの映像信号を入力として受けて任意の映像フォーマットの映像信号へ変換するフォーマット変換回路と、複数種類のヒストグラムと複数の画像処理フィルタを有する画像特徴抽出画像処理回路と、前記映像信号の複数フレームを保持し、複数フレーム時間遅延するフレームメモリと、前記フォーマット変換回路と前記画像特徴抽出画像処理回路の動作を制御するデータ処理回路と、 前記映像信号を表示する表示デバイスを備えたことを特徴とする。
【０００９】
すなわち本発明は、１フレームの映像信号において、表示デバイスの各画素に対応したデータの輝度値とその輝度値を示す画素数の分布を表す輝度ヒストグラムと、データの色を表す値とその色を示す画素数の分布を表す色ヒストグラムと、データのエッジ（各画素とその隣接画素間の輝度値の差分）レベルとそのエッジレベルを示す画素数の分布を表すエッジヒストグラムと、動き（連続するフレーム間での各画素の輝度値の差分）レベルとその動きレベルを示す画素数の分布を表す動きヒストグラムを生成する手段と、グレースケールのコントラストを補正するフィルタと、映像の時間変化分を増幅するフィルタと、映像の輝度成分のみを増幅するフィルタと、色差成分のみを変換するフィルタを有する画像特徴抽出画像処理回路と、複数のフレームデータを蓄積し、遅延するフレームメモリと、前記ヒストグラムデータを読み出し、そのヒストグラムデータに基づいて、前記フィルタの組み合わせを選択し、かつ前記フィルタの特性を決定するデータ処理回路と、前記フィルタに処理されたデータを表示する表示デバイス（例えば、液晶パネルやプラズマディスプレイパネル）と複数の映像フォーマットからなる映像信号を前記表示デバイスの映像フォーマットへ変換するフォーマット変換回路から構成される。
【００１０】
上記データ処理回路は、所謂マイコンで構成され、画像特徴抽出画像処理回路で生成される輝度、色、エッジ、動きのヒストグラムから、映像の特徴を抽出し、ヒストグラムパターンとそれに効果的なフィルタパラメータとのデータベースから、適切なフィルタとフィルタパラメータを決定し、画像特徴抽出画像処理回路に内蔵した差分強調フィルタ、コントラスト補正フィルタ、輝度増幅フィルタ、色差変換フィルタを選択し、フィルタパラメータを設定する。画像特徴抽出画像処理回路は前記フィルタパラメータに基づいてデータ処理し、表示デバイスへ映像データを出力する。
【００１１】
この構成により、グレースケールのコントラストのみでなく、色彩のコントラストも同時に向上でき、液晶表示装置等のホールド型表示装置での映像の動きによる映像のぼやけを低減することができる。なお、本発明は上記の構成に限定されるものではなく、本発明の技術思想を逸脱することなく、種々の変更が可能であることは言うまでもない。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について、実施例の図面を参照して詳細に説明する。
〔第１実施例〕
図１は本発明による表示装置の第１実施例の構成を説明するブロック図であり、液晶表示装置、特に液晶テレビを構成した例を示す。図１において、２０１はデータ処理回路（以下、マイコンと称する）、２０２はフォーマット変換回路、２０３は画像特徴抽出画像処理回路（以下、画像抽出処理回路と称する）、２０４はフレームメモリ、２０５は液晶パネルである。また、２０６はマイコン２０１が画像抽出処理回路２０３からデータを読み出すリードアクセスバス、２０７はマイコン２０１が画像抽出処理回路２０３へデータを書き出すライトアクセスバスで、通常リードアクセスバス２０６とライトアクセスバス２０７は入出力バスとしてアクセスするが、図１では説明のため別々に表記している。２１２はライトアクセスバスで、マイコン２０１からフォーマット変換回路202 の動作を設定するために用いる。
【００１３】
また、２０８は入力データバスであり、例えばＲ（赤）、Ｇ（緑）、Ｂ（青）の映像データ及び同期信号を伝送する。２０９は画像抽出処理回路２０３へ入力されるデータバス、２１１は画像抽出処理回路２０３とフレームメモリ２０４間でやりとりするデータバス、２１０は液晶パネルへ入力するデータバスである。フォーマット変換回路２０２は、テレビ信号フォーマット、例えばハイビジョンやＮＴＳＣといったデジタル信号やアナログ信号、周波数、解像度など、放送の規格化された信号を、液晶パネル２０５に表示する信号へ変換する機能を有する回路であり、フレームメモリや複数のアナログ回路、デジタル回路、クロック生成回路等を含む。入力信号を受けたフォーマット変換回路２０２は、マイコン２０１により、データバス２１２を介して設定された解像度や周波数で映像データを再構成し、その映像データを画像抽出処理回路２０３に転送する。
【００１４】
画像抽出処理回路２０３は、前記映像データから数種のヒストグラムを形成し、内部に所持するヒストグラムレジスタに保持する。マイコン２０１はリードアクセスバス２０６を介して前記ヒストグラムデータを読み出し、映像の特徴を抽出できる。また画像抽出処理回路２０３は複数の画像処理フィルタを内蔵しており、映像データにフィルタを施すことができる。画像抽出処理回路２０３に内蔵したフィルタは、マイコン２０１からライトアクセスバス２０７を介して、フィルタの動作を決めるパラメータを設定したり、フィルタを切り替えたりすることができるため、先のヒストグラムから、映像の特徴を抽出後、それに応じて各種フィルタを選択することで、映像に適した、あるいは表示デバイス（ここでは液晶パネル２０５）の特性に応じた画像処理を行うことができる。
【００１５】
画像抽出処理回路２０３は、必要に応じて複数のフレームメモリ２０４を制御し、データバス２１１を介して、フレームデータを蓄積し、遅延データを生成するなど、ヒストグラムや画像処理フィルタで用いるデータを生成する機能も有する。液晶パネル２０５は、例えばＷＸＧＡ（１２８０×７６８）の解像度を有し、ＲＧＢ各８ビットフルカラーの映像を表示できるものである。
【００１６】
図２は本発明の特徴となる図１における画像抽出処理回路２０３の内部構成を説明するブロック図である。図２において、１０１はマイコンインターフェース、１２３はメモリ制御回路、１２５はフィルタ部、１２６はヒストグラム部、１２７はヒストグラム入力データ生成部である。マイコンインターフェース１０１は、各機能をマイコンで制御するインターフェースを提供する。メモリ制御回路１２３は、ＲＧＢ入力データ（例えば、８ビットデータ）をメモリ（図示せず）に蓄積し、1 フレーム期間遅延した遅延フレームデータ（以下、前フレームデータと称す）を各部に出力する。フィルタ部１２５は、マイコンインターフェースを介して設定される変更可能なパラメータと、前フレームデータと現フレームデータを用いて画像処理を行う機能を有しており、本実施例では、差分強調回路１０８、コントラスト補正回路１０９、輝度増幅回路１１０、色差変換回路１１１の４種を搭載している。
【００１７】
ヒストグラム部１２６は、輝度ヒストグラム、色ヒストグラム、エッジヒストグラム、動きヒストグラムの４種のヒストグラムから構成されており、ヒストグラムデータ生成部１２７において、前フレームデータ及び現フレームデータから生成されたデータを用いて各ヒストグラムを作り出す機能を持つ。
【００１８】
本実施例では、画像処理フィルタとして、差分強調回路、コントラスト補正回路、輝度増幅回路、色差変換回路の4 種を用いているが、それらに限られることではないし、そのうちの少なくとも1 つを搭載した例も包含している。また、ヒストグラムに関しても、輝度、色、エッジ、動きの4 種に限られず、またそのうちの少なくとも1 つを搭載した例に関しても同様である。
【００１９】
まず、フィルタ生成部１２５の構成要素についてより詳細に説明する。差分強調回路１０８は、フレームの映像変化（差分）を強調するフィルタで、映像のフレーム変化を強調したデータを出力する。したがって、差分強調回路１０８の出力データは、映像変化がない静止画では常に処理に影響を与えない。また、コントラスト補正回路１０９は例えばガンマ補正、黒伸張や白伸張といった映像のグレースケールのコントラストを補正するフィルタで、静止画に対して影響する。これらの出力データは加算・クランプ回路１１２によって合成後、クランプされ、新しい映像データとなる。ここでクランプとは、差分強調回路１０８及びコントラスト補正回路１０９によって出力されるデータが、ＲＧＢ出力データのビット幅より大きい場合、ＲＧＢ出力データのビット幅で表現できないデータを制限することを言う。
【００２０】
したがって、例えばＲＧＢ出力データ（液晶パネル２０５ に出力するデータ）が８ビットの場合、差分増幅回路１０８、コントラスト補正回路１０９の出力データが２５５以上の場合には２５５で制限し、また０以下の場合には０で制限することを言う。このように、差分強調回路１０８、コントラスト補正回路１０９を経由して、加算・クランプ回路１１２から出力される経路（以下、系統Ａ）は、入力データ（フォーマット変換回路２０２から受けるデータ）が動画及び静止画の双方に作用する。
【００２１】
輝度増幅回路１１０は映像の輝度成分のみを増幅するフィルタ、色差変換回路１１１は映像の色差成分のみを変換するフィルタで、それぞれ出力は輝度データ、色差データである。輝度色差−ＲＧＢ変換回路１１３は、輝度色差データをＲＧＢデータに変換する変換回路で、輝度増幅回路１１０の輝度出力データと色差変換回路１１１の色差出力データからRGB 出力データに変換する。この輝度増幅回路１１０、色差変換回路１１１を経由して輝度色差−ＲＧＢ変換回路１１３から出力される経路（以後系統Ｂ）は、前フレームデータを用いていないため、系統A とは異なり、静止画にのみ影響する。また、色差を自由に変換できるという点でも系統Ａと特徴が異なっている。１１４は前述の処理経路である系統Ａと系統Ｂを切り替える２入力１出力セレクタで、マイコンインターフェース１０１を介し、マイコンから切り替えることができる。このように、フィルタ部１２５は、特徴の異なる処理系統、すなわち系統Ａと系統Ｂから構成され、切り替えて使うことを意図している。
【００２２】
次に、ヒストグラム部１２６の構成について説明する。先に述べたように、ヒストグラム部１２６は輝度、色、エッジ、動きの４種のヒストグラムから成り、それぞれのヒストグラムは図２に示すヒストグラムカウンタ及びヒストグラムレジスタを有している。１１５は輝度ヒストグラムカウンタ、１１９は輝度ヒストグラムカウンタ１１５のカウント値を保持する輝度ヒストグラムレジスタ、１１６は色ヒストグラムカウンタ、１２０は色ヒストグラムカウンタ１１６のカウント値を保持する色ヒストグラムレジスタ、１１７はエッジヒストグラムカウンタ、１２１はエッジヒストグラムカウンタ１１７のカウント値を保持するエッジヒストグラムレジスタ、１１８は動きヒストグラムカウンタ、１２２は動きヒストグラムカウンタ１１８のカウント値を保持する動きヒストグラムレジスタである。
【００２３】
映像データは連続して送られており、ヒストグラム生成中のカウンタ値は時々刻々と変化していることから、それらのカウントデータを前記ヒストグラムカウンタから参照すると正確なデータを抽出できない。そのため、本構成では、１１５〜１１８のカウント値をフレーム分の映像を転送し終えてから次のフレームの映像を転送し始めるまでの期間（垂直帰線期間）内にヒストグラムレジスタ１１９〜１２２にカウント値を保持する構成としている。ヒストグラムレジスタ１１９〜１２２はマイコンインターフェース１０１と接続されているため、少なくとも次のフレームの転送開始時点からこれを介して、最新の有効データを参照可能となる。
【００２４】
次に、ヒストグラムデータ生成部１２７の構成について説明する。ヒストグラムデータ生成部１２７はヒストグラム部１２６で用いる輝度データ、色データ、エッジデータ、動きデータを生成する。映像入力データは通常ＲＧＢデータ（例えば８ビットデータ）として入力されるため、輝度データ、色データ、エッジデータ、動きデータを生成するためにデータを変換する必要がある。１０２はＲＧＢデータを輝度色差データに変換するＲＧＢ−輝度色差変換回路、１０３はＲＧＢデータから輝度データに変換するＲＧＢ−輝度変換回路で、これらによって現フレームデータ（Ｒ０，Ｇ０，Ｂ０）は現フレームの輝度・色差データ（Ｙ０，Ｃｂ０，Ｃｒ０）に、また前フレームデータ（Ｒ１，Ｇ１，Ｂ１）は前フレームの輝度データ（Ｙ１）に変換される。つまり、輝度ヒストグラムやエッジヒストグラムに必要な現フレームの輝度データと、動きヒストグラムに必要な現フレームの輝度データ、前フレームの輝度データが生成されたことになる。
【００２５】
１０４は前記色差データから彩度及び色相に変換する回路、１０５は彩度及び色相から色インデックスデータを生成する回路である。ここで色インデックスとは、各色に対して割り当てられるデータを意味し、例えば赤には４を、青には０をといったデータを指す。色差−彩度色相変換回路１０４、彩度色相−色インデックス変換回路１０５により、色インデックスデータが生成され、色ヒストグラムを形成することができる。１０６はエッジデータ生成回路、１０７は動きデータ生成回路で、前者は現フレームの輝度データを用いて、後者は前フレームと現フレームの輝度データを用いて、それぞれエッジデータ、動きデータを算出する。
【００２６】
さらに、ヒストグラムデータ生成部127 ではヒストグラム生成の対象とする範囲（以下、ウィンドウと呼ぶ）を限定することができるように、ウィンドウ制御回路１２４を搭載している。このウィンドウ制御回路１２４は、ウィンドウをマイコンインターフェースを介して設定でき、画素データがその設定されたウィンドウに該当する領域にある場合には、ヒストグラムカウンタのカウントを許可するイネーブル信号（ＥＮ）を生成し、ヒストグラムカウンタの動作を制御する。このような制御機能を設けることで、特定領域のヒストグラムを形成することができる。
【００２７】
以上が画像抽出処理回路２０３の概略である。これらの機能、つまり画像処理フィルタとヒストグラム生成機能は、例えばフレーム周波数６０Ｈｚで、解像度がＷＸＧＡ（１２８０×７６８）の表示装置を想定すると、通常約８０ＭＨｚ相当で処理する必要があることから、ハードウェアで実現することが現実的である。以下、特に断らない限り、前述した機能は一つのＬＳＩ（Large Scale Integrated circuit）に内蔵したＡＳＩＣ（Application Specific Integrated Circuit ）として実現することを前提に説明を続ける。もちろん、各機能を複数のＬＳＩに分割したり、また他の回路に内蔵したりしても、本発明の本質は失われない。
【００２８】
次に、具体的に画像抽出処理２０３を構成する各回路について詳細に説明する。画像抽出処理回路２０３に内蔵しているヒストグラムは、輝度、色、エッジ、動き、合わせて４種の画像の特徴を抽出できる。そのためには、入力データがＲＧＢデータである場合、輝度データ、色データ、エッジデータ、動きデータへ変換する必要がある。図２で示したように、ヒストグラム生成に必要なデータはヒストグラムデータ生成部１２７で生成する。その構成要素の一つであるＲＧＢ−輝度色差変換回路１０２は、現フレーム映像データ（Ｒ０，Ｇ０，Ｂ０）から輝度・色差データ（Ｙ０，Ｃｂ０，Ｃｒ０）を次の「数１」の変換式にしたがって生成する。
【００２９】
「数１」
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
Ｃｂ＝０．５００×Ｒ−０．４１９×Ｇ−０．０８１×Ｂ＋１２８
Ｃｒ＝−０．１６９×Ｒ−０．３３１×Ｇ＋０．５００×Ｂ＋１２８
ただし、Ｙは輝度データ、Ｃｂ，Ｃｒは色差データであり、ＲＧＢデータ、Ｙ，Ｃｂ，Ｃｒは８ビットを想定している。また「数１」式は乗算器と加減算器で構成されているため、ＬＳＩ化は容易である。
【００３０】
輝度ヒストグラムに用いる輝度データは、「数１」式に示すＹで、図２には現フレーム映像の輝度データＹ０として示している。また、前フレーム映像の輝度データＹ１は、「数１」式のＹのみを導出する回路であるＲＧＢ−輝度変換回路１０３により生成する。
【００３１】
エッジヒストグラムに用いるエッジデータは、現フレームの輝度データＹ０を用いて、各画素とその隣接画素の輝度データより例えば「数２」式で求めることができる。
【００３２】
「数２」
Ｅ（ｉ，ｊ）＝｜Ｙ０（ｉ，ｊ）−（Ｙ０（ｉ，ｊ−１）＋Ｙ０（ｉ，ｊ＋１））２｜
ただし、Ｅ（ｉ，ｊ）はフレーム内にある、垂直位置ｉ、水平位置ｊのエッジデータで、Ｙ０（ｉ，ｊ）は現フレーム映像の垂直位置ｉ、水平位置ｊにおける輝度データ、Ｙ０（ｉ，ｊ−１），Ｙ０（ｉ，ｊ＋１）はＹ０（ｉ，ｊ）の左右隣接画素の輝度データである。また「数２」式は、加減算回路で構成されているため、ＬＳＩ化は容易である。
【００３３】
エッジデータは各画素とその隣接画素との輝度差分に相当する値で特徴づけられるため、演算式内に前記特徴が含まれていれば、「数２」式に限定しなくてもよい。
【００３４】
動きヒストグラムに用いる動きデータは、現フレームの輝度データＹ０と前フレームの輝度データＹ１で例えば次の「数３」の式で求めることができる。
「数３」
Ｍ（ｉ，ｊ）＝｜Ｙ０（ｉ，ｊ）−Ｙ１（ｉ，ｊ）｜
ただし、Ｍ（ｉ，ｊ）はフレーム内にある垂直位置ｉ、水平位置ｊの動きデータで、Ｙ０（ｉ，ｊ）は現フレーム映像の垂直位置ｉ、水平位置ｊにおける輝度データ、Ｙ１（ｉ，ｊ）は前フレームにおけるそれである。また「数３」式は減算回路で構成されているため、ＬＳＩ化が容易である。動きデータは連続するフレーム間での輝度の差分に相当する値で特徴づけられるため、輝度変化のみに着目した数3 に限定せず、色差変化を考慮した演算としてもよい。
【００３５】
色ヒストグラムに用いる色データの生成過程は少し複雑となる。色データは、図１に示すように、ＲＧＢ−輝度色差変換回路１０２によって得られる色差データＣｂ，Ｃｒを用いて算出する。前記色差データＣｂ，Ｃｒから彩度色相変換回路１０４は、理想的には「数４」式によって彩度データを生成し、「数５」によって色相データを生成する。
「数４」
Ｓ＝√（（Ｃｂ−１２８）×（Ｃｂ−１２８）＋（Ｃｒ−１２８）×（Ｃｒ−１２８）
「数５」
Ｈ＝ｔａｎ−１（（Ｃｒ−１２８）／（Ｃｂ−１２８））
【００３６】
「数４」式、「数５」式の演算は複雑であるため、直接演算式をＬＳＩ化することは困難である。そこで、本実施例ではデータ変換テーブルを用いて上記演算を代用した。図３は１６×１６の色差−彩度変換テーブル例、図４は１６×１６の色差−色相変換テーブル例である。変換テーブルは、より詳細であればより正確な変換データを得られるが、回路規模が増大し、ＬＳＩ化が困難となる。したがって、本実施例では、ＬＳＩ化が容易である規模の１６×１６のテーブルとした。
【００３７】
図３の横軸は式で求めたＣｂの値から１２８を引いた絶対値、すなわちＣｂと１２８との距離で、縦軸はＣｒの値から１２８を引いた絶対値、すなわちＣｒと１２８との距離を示す。前記「数４」にもあるように、彩度データＳは（Ｃｒ，Ｃｂ）が無色を示す（１２８，１２８）との距離で表せるため、テーブルデータは(｜Ｃｂ−１２８｜,｜Ｃｒ−１２８｜)が大きいほど、すなわち、テーブルの左下から右上に向かうほど大きな値となっている。テーブルの参照方法について例を示すと、例えば(｜Ｃｂ−１２８｜,｜Ｃｒ−１２８）＝（９０，２３）の場合、｜Ｃｂ−１２８｜、｜Ｃｒ−１２８｜それぞれが７ビットデータで表されたとすると、その上位４ビットは（１１，２）を示し、横軸で１２番目、縦軸で３番目の交差データ９１を彩度値Ｓ０として参照することができる。
【００３８】
一方、図４の横軸は「数５」式で求めたＣｂの値で、縦軸はＣｒの値である。「数５」式にあるように色相データは基準位置からの位相を表しているため、図４のテーブル値は、( Ｃｂ，Ｃｒ）が（１２８，１２８）を中心として、反時計回りに大きくなるように設定している。テーブルの参照方法について例を示すと、Ｃｂ，Ｃｒそれぞれが８ビットデータで、（Ｃｂ，Ｃｒ）＝（２２６，１５１）の場合、上位４ビットは（１４，９）を示すため、図４では横軸１５番目、縦軸１０番目の交差データ１１を色相値Ｈ０として参照できる。
【００３９】
次に、色差−彩度色相変換回路１０４にて変換された現フレームの彩度データＳ０と色相データＨ０は彩度色相−色インデックス変換回路１０５へ転送される。色インデックス変換回路１０５は有色か無色かを判定基準となる彩度境界値と、色分けの判定基準となる色相境界値からデータが何色に対応するかを判別する。
【００４０】
図５は彩度色相データと彩度境界、色相境界から色を判別するための境界を示している。この場合、例として、１２の色相境界と１つの彩度境界で、１２色と無色の計１３色を分割している。各色を表す色インデックスデータは、彩度データが彩度境界ＳＢより内側であれば、色インデックスとして無色を意味するＦ〔ＨＥＸ〕が与えられ、彩度データが彩度境界ＳＢより外側であれば、色相データＨ０が色相境界ＨＢ０〜ＨＢ１の範囲のとき、色インデックスとして０〔ＨＥＸ〕を、ＨＢ１〜ＨＢ２の範囲のとき１〔ＨＥＸ〕をというように、色相データＨ０が２つの色相境界によって挟まれる範囲に対応するデータがインデックス値として割り当てられる。さらにインデックス値を増やせば、より多くの色に分類できることは言うまでもない。また、境界値をマイコンより設定可能とすることで、特定の色の境界を絞ることも可能である。このような過程を経ることで、色ヒストグラムで用いる色インデックスデータを生成することができる。
【００４１】
以上、ヒストグラム入力データ生成回路１２７がヒストグラム部１２６で用いるデータ、すなわち、輝度データ、色データ、エッジデータ、動きデータの生成方法を説明した。
【００４２】
次に、ヒストグラムの対象領域を制御するウィンドウ制御回路１２４について説明する。図１で説明した液晶テレビは、受像する映像信号の解像度と表示デバイスである液晶パネルの解像度が必ずしも一致しない。例えば、アスペクト比がワイドなＷＸＧＡ（１２８０×７６８）の液晶パネルにアスペクト比がワイドでない映像を表示する場合、映像を横に伸ばしてワイドにするか、あるいは、余領域に無効なデータ（例えば黒データ）を挿入してアスペクト比を揃えるなどの処置を施す必要が生じる。後者の場合、無効なデータは映像と全く関係のないデータである場合が多いため、この領域をヒストグラムにカウントすることは意味が無く、むしろ情報として紛らわしい。
【００４３】
ウィンドウ制御はこのような影響を排除することを意図している。図１で、マイコンは表示対象となる液晶パネル２０５の解像度に応じた表示データを再構成するために、フォーマット変換回路２０２を制御する。この際、マイコンは、無効なデータを挿入する必要がある場合には、そのデータをヒストグラムの対象から外すように、画像抽出処理回路２０３にアクセスし、適切なウィンドウ設定をする。画像抽出処理回路２０３内部のウィンドウ制御回路１２４は、前記マイコンのウィンドウ設定に応じてヒストグラムカウンタ１１５〜１１８をイネーブルする信号（ＥＮ）を出力する。つまり、画素データがウィンドウの範囲内であれば、ヒストグラムカウンタ１１５〜１１８をイネーブルにすることでカウントを実行させ、ウィンドウの範囲外であれば、ヒストグラムカウンタ１１５〜１１８をディスエーブルにして動作させないようにする。
【００４４】
以上、ヒストグラムデータ生成回路127 を構成する各回路について説明した。次に、ヒストグラム生成部１２６を構成する各回路について説明する。図６はヒストグラム部１２６を構成するヒストグラムユニットの構成図である。６０１はヒストグラムカウンタ、６０２はヒストグラムレジスタで、それぞれ図２の１１５〜１１８、１１９〜１２２の構成要素である。６０３は条件判定回路、６０４はカウンタで、両者でヒストグラムカウンタ６０１を形成する。ただし、各回路のリセット端子、クロック端子は省略している。６０５は映像データ入力バスで、輝度ヒストグラムでは、輝度データ、色ヒストグラムでは色インデックスデータ、エッジヒストグラムではエッジデータ、動きヒストグラムでは動きデータである。６０６は条件入力バスで、ヒストグラムカウンタがカウントすべき条件が設定される。
【００４５】
条件判定回路６０３は前記ヒストグラム入力バス６０５、条件入力バス６０6より入力されたヒストグラム入力データと条件データを比較し、映像データがカウントすべきデータであると判断した場合にヒストグラムカウンタ６０４をイネーブルする信号を生成する。６０７はカウンタイネーブル信号入力バスで、先に説明したウィンドウ制御等で、カウンタの動作を制御する際に用いる。ヒストグラムカウンタ６０４は、条件判定回路６０３とカウンタイネーブル信号の両者がアクティブの場合に動作する。カウンタのサイズは、例えば解像度ＷＸＧＡ（１２８０×７６８）を対象とすると、１画面に９８３，０４０画素存在するため、２０ビット（１，０４８，５７６画素までカウント可能） 以上必要となる。
【００４６】
本実施例では20ビットのカウンタを想定している。６０８はレジスタロード・カウンタリセット信号入力バスで、ヒストグラムカウンタ６０４のカウントデータをヒストグラムレジスタ６０２へ転送し、それと同時にカウンタをリセットする信号を伝播する。ヒストグラムカウンタ６０４は、この信号により、レジスタ６０２にカウントデータを転送後、リセットされ、再びウィンドウ内のカウント条件に合うヒストグラム入力データをカウントし始め、先に述べた動作を繰り返す。６０９はレジスタ出力バスで、マイコンインターフェース１０１を介し、マイコンにヒストグラムデータ値のアクセスを可能にしている。
【００４７】
図７は図６のヒストグラムユニットを１６個用いてヒストグラムを構成した例を示す。ヒストグラム入力データは全ヒストグラムユニットで共通とし、条件入力を１６通り（条件１〜条件１６）設定する構成としている。ヒストグラムデータ生成部１２７から送られてくるヒストグラム入力データは、条件１〜１６のうち、条件にマッチするヒストグラムユニットのカウンタをイネーブルし、カウント動作を促す。図７の構成を用いれば、ヒストグラムユニットのユニット数や条件を変更するだけで、多種のヒストグラムを構成できる。例えば、１６ユニットの輝度ヒストグラムを構成する場合には、ヒストグラム入力データに輝度データを、条件データ１〜１６にはカウントしたい輝度値をそれぞれ設定すればよい。８ビットの輝度データであれば、上位４ビットをヒストグラム入力データとし、条件データ１〜１６にそれぞれ０〜１５を設定すると、輝度データ０〜１５の場合にはユニット１に、輝度データ１６〜３１の場合にはユニット２に、輝度データ２２４〜２５５の場合にはユニット１６にカウントされ、8 ビット輝度データのヒストグラムが形成される。画像抽出処理回路２０３に搭載した色ヒストグラム、エッジヒストグラム、動きヒストグラムも同様な原理で構成する。
【００４８】
以上がヒストグラム部１２６の各回路の説明である。次にフィルタ部１２５の構成回路について説明する。フィルタ部１２５は、図２に示すように、差分強調回路１０８とコントラスト補正回路１０９から成る系統Ａと、輝度増幅回路１１０と色差変換回路１１１から成る系統Ｂの２種を２入力１出力セレクタ１１４で切り替え可能な構成となっている。差分強調回路１０８は入力データとして現フレームの映像データと前フレームの映像データを受け取り、下記「数６」式に従ってその差分を強調したデータを生成する。ただし、演算はＲＧＢで同じであるため、Ｘで代表している。またＸ０は現フレームの映像データ、Ｘ１は前フレームの映像データを示し、Ｋは差分強調パラメータである。
「数６」
ＤＸ＝Ｋ×（Ｘ０−Ｘ１）
「数６」式は減算器と乗算器で実現できるため、ＬＳＩ化が容易である。
【００４９】
さらに、現フレームデータと前フレームデータの組み合わせにより差分強調パラメータＫを変更することで、フィルタの特性を変えることができる。図８はその例を示しており、現フレームデータと前フレームデータとの組み合わせに従い、図８（ａ）がＫＰ、ＫＭという２種のパラメータを選択する場合、図８（ｂ）Ｋ００〜Ｋ３３の１６種のパラメータを選択する場合の映像データとパラメータの対応を示している。図８の横軸は前フレームデータ、縦軸は現フレームデータを示しており、８ビットデータを想定している。図８（ａ）は、現フレームデータが前フレームデータより大きい場合にはパラメータＫＰを用い、小さい場合にはＫＭを用いることを意図している。式で表すと次の「数７」になる。
【００５０】
「数７」
ＤＸ＝ＫＰ×（Ｘ０−Ｘ１） 〔Ｘ０≧Ｘ１〕
ＤＸ＝ＫＭ×（Ｘ０−Ｘ１） 〔Ｘ０＜Ｘ１〕
【００５１】
図８（ｂ）は現フレームデータと前フレームデータの組み合わせを１６通りに分割し、それぞれで異なるパラメータＫ００〜Ｋ３３を設定できるようにした例である。式で表すと「数８」のようになる。
【００５２】
【００５３】
図９にパラメータ選択と演算回路の構成を示した。図９（ａ）は図８（ａ）のパラメータ設定時、図９（ｂ）は図８（ｂ）のパラメータ設定時の回路構成図である。図９において、９０１は減算器、９０２は増幅器（乗算器）、９３3 は図８（ａ）のパラメータ設定条件に基づきパラメータを選択する信号を生成する条件回路、９０５は図８（ｂ）のパラメータ設定条件に基づきパラメータを選択する条件回路、９０４は２入力１出力セレクタ、９６6 は１６入力１出力セレクタである。条件回路９０３、９０５は、上式に示したように、現フレームデータＸ０と前フレームデータＸ１から、パラメータを選択するためのセレクト信号を、セレクタ９０４、９０６に供給し、該当するパラメータをセレクタ９４4 、９０６が増幅器９０２に設定する。増幅器９２2 は現フレームデータと前フレームデータの組み合わせに対応したパラメータに基づき、減算器９１1 の差分値を増幅し、データＤＸとして出力する。
【００５４】
「数６」式に示した演算は、減算器一つと乗算器一つで実現しており、「数７」式、「数８」式はそのパラメータをデータの条件で変更しているに過ぎない。つまり、本構成は、減算器と乗算器を共通化して、図９以外にも様々に条件とパラメータの組み合わせることで、異なるフィルタを構成できる利点がある。
【００５５】
次に、コントラスト補正回路１０９は、現フレームの映像データを入力として受け、例えば、下記「数９」に従って演算するフィルタである。ただし、演算はＲＧＢ同じであるため、Ｘで代表している。またＸは現フレームの入力映像データ、Ｘ０は入力オフセットデータ、Ｙ０は出力オフセットデータで、Ｋは補正パラメータである。
【００５６】
「数９」
Ｙ＝Ｋ×（Ｘ−Ｘ０）＋Ｙ０
あるいは、以下のように階調ポイントを１７点設定して、その間を補完してデータを生成する次の「数１０」式の演算を用いても良い。ただし、Ｙ０〜Ｙ１６は階調ポイント設定データである。
【００５７】
「数１０」
Ｙ＝
（Ｙ１−Ｙ０）／１６×（Ｘ−０）＋Ｙ０ 〔０≦Ｘ＜１６〕
（Ｙ２−Ｙ１）／１６×（Ｘ−１６）＋Ｙ１ 〔１６≦Ｘ＜３２〕
（Ｙ３−Ｙ２）／１６×（Ｘ−３２）＋Ｙ２ 〔３２≦Ｘ＜４８〕
（Ｙ４−Ｙ３）／１６×（Ｘ−４８）＋Ｙ３ 〔４８≦Ｘ＜６４〕
（Ｙ５−Ｙ４）／１６×（Ｘ−６４）＋Ｙ４ 〔６４≦Ｘ＜８０〕
（Ｙ６−Ｙ５）／１６×（Ｘ−８０）＋Ｙ５ 〔８０≦Ｘ＜９６〕
（Ｙ７−Ｙ６）／１６×（Ｘ−９６）＋Ｙ６ 〔９６≦Ｘ＜１１２〕
（Ｙ８−Ｙ７）／１６×（Ｘ−１１２）＋Ｙ７ 〔１１２≦Ｘ＜１２８〕
（Ｙ９−Ｙ８）／１６×（Ｘ−１２８）＋Ｙ８ 〔１２８≦Ｘ＜１４４〕
（Ｙ１０−Ｙ９）／１６×（Ｘ−１４４）＋Ｙ９〔１４４≦Ｘ＜１６０〕
（Ｙ１１−Ｙ１０）／１６×（Ｘ−１６０）＋Ｙ１０〔１６０≦Ｘ＜１７６〕
（Ｙ１２−Ｙ１１）／１６×（Ｘ−１７６）＋Ｙ１１〔１７６≦Ｘ＜１９２〕
（Ｙ１３−Ｙ１２）／１６×（Ｘ−１９２）＋Ｙ１２〔１９２≦Ｘ＜２０８〕
（Ｙ１４−Ｙ１３）／１６×（Ｘ−２０８）＋Ｙ１３〔２０８≦Ｘ＜２２４〕
（Ｙ１５−Ｙ１４）／１６×（Ｘ−２２４）＋Ｙ１４〔２２４≦Ｘ＜２４０〕
（Ｙ１６−Ｙ１５）／１６×（Ｘ−２４０）＋Ｙ１５〔２４０≦Ｘ＜２５６〕
【００５８】
図１０にコントラスト補正回路１０９の入力データと出力データとの関係を示す。図１０（ａ）が「数９」式に、図１０（ｂ）が「数１０」に対応する。ただし、図１０（ｂ）は入力データ、出力データ共に８ビットで、階調設定が９ポイント時の関係を示している。図１０の点線で示した直線は入力データと出力データが等しい場合に相当し（通常のスルー動作）、比較のために描画している。図１０（ａ）では、線形的に中間調のコントラストを向上させることができ、図１０（ｂ）ではポイント間では線形であるものの、全体として任意の曲線を近似的に形成することで、同様に中間調のコントラストを向上させることが可能となる。
【００５９】
図１１に演算回路構成を示した。図１１（ａ）は図１０（ａ）の入出力関係を生成する補正回路で、図１１（ｂ）は図１０（ａ）の入出力関係を生成する補正回路に対応する。１１０１は減算器、１１０２は増幅器（乗算器）、１１０３は加算器で、１１０４は条件回路、１１０５〜１１０７は８入力１出力セレクタである。図１１（ａ）の補正回路は、まず、減算器１１０１にて入力映像データＸと入力オフセットパラメータＸ０との差をとり、その差分データを増幅器１１０２で増幅する。次に加算器１１０３を用いて増幅されたデータに出力オフセットパラメータＹ０を加算し出力データＹを生成する。図１１（ａ）の入力オフセットパラメータＸ０及び出力オフセットパラメータＹ０はマイコン等から設定可能で、設定値に応じて図１０（ａ）の入出力関係を変化させることができる。
【００６０】
図１１（ｂ）の補正回路は、まず映像入力データＸに応じて、条件回路１１０４がセレクタ１１０５からの映像入力データから減算データを選択し、セレクタ１１０６から乗算データを選択し、セレクタ１１０７から加算データを選択することで、「数１０」式の条件処理を行う。次に、選択されたデータに基づき、減算器１１０１、乗算器１１０２、加算器１１０３を用いて「数１０」の演算を行い、図１０（ｂ）の入出力関係を得ることができる。階調ポイントＹ０〜Ｙ８はマイコンから設定するパラメータで、設定値に応じて図１０（ｂ）の入出力関係を変化させ、任意の階調曲線を生成することができる。
【００６１】
このようにコントラスト補正回路１０９で補正した映像データは、差分強調回路１０８で強調された差分データと、加算・クランプ回路１１２で加算され、出力データ（液晶パネル２０５に入力するデータ）が８ビットの場合には、演算結果を８ビットに制限するクランプ回路を通し、画像抽出処理回路２０３の出力として、液晶パネル２０５に送信される。
【００６２】
次に、セレクタ１１４で選択可能な系統Bのフィルタ、輝度増幅回路１１０、色差変換回路１１１について説明する。図１２は輝度増幅回路１１０の内部構成図で、１２０１は減算回路、１２０２は増幅（乗算）回路、１２０３は加算回路、１２０４は条件回路、１２０５は２入力１出力のセレクタ、１２０６はパラメータテーブル、１２０７は４入力１出力セレクタである。輝度増幅演算は前述のコントラスト補正回路と同じ演算で、各演算パラメータはマイコンからは自由に設定できる。ただし、入力データ、出力データがヒストグラム入力データ生成回路１２７で生成した輝度データであることが異なる。減算回路１２０１は輝度データＸと輝度オフセットパラメータＸ０を入力として受け、その差分を増幅器１２０２へ出力後、増幅器１２０２で増幅された輝度データは、輝度オフセットパラメータＹ０を、加算器１２０３で加算され、輝度増幅データとして、２入力１出力セレクタ１２０５の片方の入力端子に転送される。
【００６３】
セレクタ１２０５のもう片方の入力端子には入力輝度データＸが転送され、セレクタ１２０５は条件回路１２０４のセレクト信号により、いずれかのデータを出力する。条件回路１２０４は輝度データＸと色インデックスデータＣとを入力として受け、色インデックスデータＣがパラメータテーブルに設定してある色インデックスのいずれかに一致しているならば、その色インデックスデータに対応するパラメータを、セレクタ１２０７を切り替えて増幅器１２０２に設定する。
【００６４】
この例では、例えば色インデックスデータＣがＣ１であればＫ１を、Ｃ２であればＫ２を増幅器１２０２に設定し、変換データを生成する。条件回路１２０４は、それと同時にセレクタ１２０５を切り替えて、変換データが出力されるように制御する。パラメータテーブルに色インデックスデータＣと一致するデータがない場合、条件回路１２０４はセレクタ１２０５を切り替えて、入力輝度データＸをそのまま出力し、変換データが出力されないようにする。つまり、入力された色インデックスデータＣが、パラメータテーブルに設定されている色インデックスデータのいずれかに一致する場合にのみ、輝度を増幅させるように機能する。
【００６５】
色差変換回路１１１は、ある特定の色を対象に彩度や色相を変化させるように機能する。図１３は色差変換回路１１１の内部構成図で、１３０１〜１３０４は増幅（乗算）器、１３０５と１３０６は加算器、１３０７と１３０８および１３０８は２入力１出力のセレクタ、１３０９は条件回路、１３１０はパラメータテーブル、１３１１は４入力１出力のセレクタである。増幅器１３０１〜１３０４と１３０５、１３０６で構成する演算は、次の「数１１」式に示すとおりである。
【００６６】
「数１１」
Ｃｂ’＝Ｋ×（Ｃｂ−１２８）＋Ｌ×（Ｃｒ−１２８）＋１２８
Ｃｒ’＝Ｍ×（Ｃｂ−１２８）＋Ｎ×（Ｃｒ−１２８）＋１２８
【００６７】
増幅器のパラメータＫ、Ｌ、Ｍ、Ｎは変更可能で、本実施例では、４種のパラメータ設定が可能な構成としている。４種のパラメータは、マイコンインターフェースを介して、マイコンから設定されたデータから構成されるパラメータテーブル１３１０を４入力１出力セレクタ１３１１により切り替えられる。セレクタ１３１１の切り替え制御は条件回路１３０９のセレクト信号が行う。例えば、条件回路１３０９に入力される色インデックスデータＣがＣ１であれば、そのパラメータＫ１、Ｌ１、Ｍ１、Ｎ１が増幅器１３０１〜１３０４に設定され、変換データを生成する。それと同時に条件回路１３０９は２入力１出力セレクタ１３０７、１３０８を制御し、前記変換データが出力されるようにする。色インデックスデータＣがＣ２、Ｃ３、Ｃ４の場合も同様である。色インデックスデータＣがＣ１〜Ｃ４以外の場合、条件回路１３０９が２入力１出力セレクタ１３０７、１３０８を切り替えて、入力色差データＣｂ、Ｃｒを出力し、変換データを出力しないようにするため、色差変換は行われない。つまり、パラメータテーブル１３１０に設定されている色インデックスデータが入力されてきた場合のみ、色差変換を行う回路となっている。
【００６８】
図１４に色インデックスデータが１である色差データ（ａ）を図１３の変換回路を用いて、色インデックスデータが３である（ｂ）の色差データへ変換する例を示した。変換結果はやはり色差データであるが、色インデックスデータが１から３へ変化し、同時に彩度が強くなっている。
【００６９】
これらの輝度増幅回路１１０、色差変換回路１１１から出力されるデータは、輝度、色差データであるため、ＲＧＢで出力する場合には、輝度色差−ＲＧＢ変換回路１１３を介してＲＧＢデータとし、２入力１出力セレクタ１１４の片方の入力端子へ転送される。先に説明したように、２入力１出力セレクタ１１４は、もう片方の入力端子に差分強調回路１０８、コントラスト補正回路１０９から形成されるデータを得ており、マイコン等からセレクタ１１４を制御することで、どちらかのフィルタを選択して出力する。以上がフィルタ部を構成する各回路の説明である。
【００７０】
次に、以上説明した画像抽出処理回路２０３の機能、すなわちヒストグラム生成及びフィルタ処理機能を用いて、図１の構成におけるマイコンの制御方法について説明する。図１５はその制御フローチャートである。図１５の制御フローは常にフレーム毎にスタートする。まず、画像抽出処理回路２０３で生成したヒストグラムを読み込むため、全ヒストグラムレジスタにリードアクセスする。次に、エッジヒストグラムと動きヒストグラムから、動きの度合いを表す動き度を算出する。ただし、この動き度の算出法は後述する。この動き度が閾値を越えた場合、つまり動きが多い映像の場合、次にその動き期間を測定するため、動き期間カウンタを動作させる。動き継続期間、すなわち動きの多い映像が閾値以上のフレーム期間で続いた場合、静止シーンから動きシーンへ遷移したと判断し、フィルタを系統Ａ、すなわち差分強調回路１０８とコントラスト補正回路１０９から生成されるデータを出力することを決める。
【００７１】
系統Ａのフィルタを用いることを決めたので、フィルタに設定すべきパラメータを算出するため、ヒストグラム解析を行う。ただし、このヒストグラム解析については後述する。ヒストグラム解析は、読み込んだヒストグラムレジスタデータを元に行う。ヒストグラム解析によって映像に適したフィルタパラメータを算出後、画像抽出処理回路２０３内部のフィルタパラメータレジスタに設定する。一度系統Ａを選択すると、動き度が閾値未満となり、その期間が閾値以上継続しなければ、系統Ｂへの切り替えは行わない。しかし、動き度が閾値未満となり、その期間が閾値以上継続した場合、すなわち動きの多い映像から動きの少ない映像へ遷移したと判断した場合には、系統Ｂが選択される。
【００７２】
系統Ｂは、輝度増幅回路１１０、色差変換回路１１１から構成されているため、特定色の輝度、彩度、色相を自由に変換することができ、より木目細かな映像を作り出せる。系統Ｂへ切り替えることを決めた後、各ヒストグラムのレジスタデータを元に、ヒストグラム解析後、特定色を決定し、その輝度、彩度、色相をどのように変換するか、またどの程度変換するかといったパラメータを算出する。算出したパラメータは画像抽出処理回路２０３内部のフィルタパラメータレジスタにアクセスして設定する。このように動き度でフィルタの系統を変更するのには次のような理由がある。
【００７３】
一般に、映像の動き（動き度）が大きい場合には、輝度や色を細かく制御しても、すぐ次の映像に変わってしまうため、その効果が印象に残りにくい。むしろ、動いた部分を強調するほうが、時間軸でのコントラストが向上するため、鮮明に見える。特に、液晶ディスプレイのように、光学応答が数ｍｓから数十ｍｓと遅い場合、液晶が映像の変化に追従できないため、映像変化を強調することで見かけ上応答を高める（オーバードライブする）方が効果的である。そこで、映像の動き度が大きい場合には系統A の差分強調回路とコントラスト補正回路を用い、逆に動き度が小さい場合、すなわち静止画とみなせる場合には、より木目細かな階調制御として、輝度や色を変換するフィルタを用いている。つまり、映像の動きによってまずフィルタ系統を選択し、さらに映像の特徴に応じてフィルタパラメータを設定することで、効果的に映像の印象を向上させることができる。以上が全体の大まかな制御フローである。
【００７４】
次に、制御フロー全体の中の各処理方法、すなわち動き度算出、ヒストグラム解析、パラメータ算出について以下詳細に説明する。まず、動き度の算出方法であるが、画像抽出処理回路２０３には、動きヒストグラムとエッジヒストグラムが内蔵されており、この両者を用いて動き度を計算する。先に説明したとおり、エッジヒストグラムとは、各画素とその隣接画素との輝度差分に相当するデータの度数分布で、差分の大きい画素が多い場合には、エッジの効いたシャープな映像であることが分かるし、逆に差分の小さい画素が多い場合には、エッジの少ない平坦な映像であることが分かる。
【００７５】
また、動きヒストグラムは、前フレームと現フレームの輝度差分に相当するデータの度数分布で、差分の大きい画素が多い場合には、コントラストの高い映像への変化であることが分かるし、差分の小さい画素が多い場合には静止画に近い映像だということが分かる。したがって、動きヒストグラムの分布で動き度がある程度把握することはできる。しかし、完全な静止画であっても、エッジ付近の画素は、輝度がフレーム間で変化しやすいため、ヒストグラムが特定の範囲に完全に集中しない。つまり、エッジの多い静止画では、動き（ゆらぎ）が存在するため、動きヒストグラムのみで動き度を判断するのは妥当でない。そこで、エッジヒストグラムも導入して、動き度を決めることとした。
【００７６】
図１６は動き度を求めるヒストグラムの例で、（ａ）、（ｄ）はそれぞれエッジの少ない静止画映像のエッジヒストグラムと動きヒストグラム、（ｂ）、（ｅ）はそれぞれエッジの多い静止画映像のエッジヒストグラムと動きヒストグラム、（ｃ）、（ｆ）はそれぞれエッジの少ない動画像のエッジヒストグラムと動きヒストグラムである。（ａ）のようにエッジが少なければ、静止画で映像のゆらぎが少なく、（ｄ）のように動きヒストグラムのみで、より確実に静止画像であるという判断が可能であるが、（ｂ）のようにエッジが多くなると、静止画でも映像のゆらぎで（ｅ）のように動きヒストグラムが（ｄ）と比較して分散する方向へ変化する傾向がある。
【００７７】
この場合、（ｃ）のようなエッジの少ない映像が多少動いて（ｆ）の動きヒストグラムとなると、静止画であるか動画であるかの区別がつきにくい。そこで、エッジの度合いに応じて動き易さを求め、動き度を下記「数１２」式を用いて算出した。ただし、Ｍｉは動きヒストグラムの各ヒストグラムユニットのカウントデータ、Ｅｉはエッジヒストグラムの各ヒストグラムユニットのカウントデータ、ｍは動き度を示す。αｉ、βｉは共に、各ヒストグラムユニットのカウント対象範囲における平均値である。「数１２」式を用いて動き度を算出し、図１４に示したフローでフィルタを選択することができる。
【００７８】
「数１２」
ｍ＝( Σαｉ×Ｍｉ )／（Σβｉ×Ｅｉ ）
【００７９】
次に、ヒストグラムデータを用いて、ヒストグラム解析し、各フィルタのフィルタパラメータを算出する方法について説明する。まず、ユーザーの視点について考えると、主としてディスプレイの中心に焦点が集中している場合が多いことが挙げられる。またアスペクト比調節のための無効データ、字幕等の補助映像を考慮すると、少なくとも有効な映像そのものはディスプレイの中心に存在するであろうという経験から、ウィンドウをディスプレイの中央に設定することが望ましい。したがって、まずヒストグラムはディスプレイ中央のデータを対象として形成する。
【００８０】
図１７は前記範囲で形成されたヒストグラムの例を示す。図１７（ａ）は１６レベルの輝度ヒストグラム、図１７（ｂ）は１２色と無色の合わせて計１３色の色ヒストグラムである。図１７のヒストグラムから映像の特徴を以下のように推測できる。
（１）図１７（ａ）から多階調映像で、中間調が多く使われている。
（２）図１７（ｂ）からウィンドウ内の映像に使われている色は主に、４（例えば赤）、５（例えば橙）、８（例えば緑）とＦ（無色）である。
【００８１】
仮に、動き度から静止画と判断した場合には、主として使われている色、つまりこの場合は４（赤）、５（橙）、８（緑）を対象として、図２に示した色差変換回路１１１を用いて色差変換することで映像の鮮明さを強調することができる。図１７は前記３つの主色の彩度を変換した結果を示す。図１７（ａ）は変換前のＣｂ−Ｃｒ座標における３つの主色が形成する領域を、図１７（ｂ）は変換後のそれを示す。データのグラデーションの具合は図１６（ａ）に示す通り、中間調に集中しているものの、全体に分散しているため、三角形で形成される領域に様々な色が点在している可能性が高いと判断できる。
【００８２】
そこで、図１７のように三角形の領域を広く拡張すると、色の再現範囲や、色と色との距離を増加させるため、映像の色のコントラストが向上する。つまり、赤はより赤に、橙はより橙に、緑もより緑に変換され、その合成より形成される色も強調される。また、前記色差変換に加え、さらに図２に示した輝度増幅回路１１０を用いることで、輝度を増幅させ、全体を明るいイメージしてもよい。このように、ヒストグラムにより映像の主となる色を見出し、その主色を色差変換や輝度増幅で、見かけ上、その明るさ、色再現性を向上し、映像を鮮明に映し出すことが可能となる。
【００８３】
ただし、実際には、このような演繹的な自動制御方法は、必ずしも良い映像を生成するとは限らない。そこで、次のように映像のヒストグラムと制御方法に関するデータベースに基づき、制御方法を組み合わせる。図１９は輝度ヒストグラムと色ヒストグラムの代表的なヒストグラムパターンを示す。図１９（ａ）は輝度ヒストグラムのパターン例を、図１９（ｂ）は色ヒストグラムのパターン例を示す。図１９（ａ）の（１）は中間調画素が多く、明るい画素と暗い画素が少ないタイプ、（２）はそれとは逆に、明るい画素及び暗い画素が多く、中間調画素が少ないタイプで、（３）は暗い画素が少なく、明るい画素が多いタイプ、（４）はそれとは逆に、暗い画素が多く、明るい画素が少ないタイプである。
【００８４】
図１９（ｂ）の（１）は多くの色が使われているタイプ、（２）は暖色が多く用いられているタイプ、（３）は寒色が多く用いられているタイプ、（４）が数色の分散した主色が用いられているタイプである。図２０に図１９の輝度、色ヒストグラムの各パターンによって考えられる組み合わせと各フィルタに設定するフィルタパラメータ群の対応をテーブルとして示した。ここで（５）とは、著しく図１９のパターンにマッチしない場合を示す。図２０によると、５×５のマトリクスで形成される組み合わせに対するフィルタパラメータ群は計２５通り存在し、各組み合わせに対するフィルタパラメータ群を図１９との対応に合わせてＰ（ａｉ，ｂｊ）で示している。
【００８５】
フィルタパラメータ群Ｐ（ａｉ，ｂｊ）には、輝度及び色ヒストグラムパターンの組み合わせに適した、図２中の１０８〜１１１に示すフィルタのそれぞれのパラメータが格納されている。Ｐ（ａｉ，ｂｊ）に格納しているフィルタパラメータ群は、様々な映像を対象とするディスプレイに表示した際に、輝度ヒストグラム及び色ヒストグラムと、フィルタパラメータの組み合わせで、最も画質改善に効果がある関係を導出し、データベース化した結果であり、先に述べた演繹的な方法と比較して、統計的に効果が保証されていることを前提としている。ただし、（５）として示したようなどのパターンにも著しく一致しないという映像も存在するため、その場合には先に述べた演繹的な方法で処理する。より適切なパラメータを算出するために、映像のヒストグラムが、できる限りヒットするようにパターン数を増やしたり、前記パターンを基本パターンとして、パターンの組み合わせも考慮してパラメータを補完したりするなど工夫することも可能である。
【００８６】
このように、エッジヒストグラムと動きヒストグラムに基づいて動き度を算出し、その動き度に応じて映像を動画もしくは静止画に分類し、それぞれに適したフィルタを選択後、輝度ヒストグラムと色ヒストグラムのパターンによって、選択したフィルタのパラメータを、統計的に効果が保証されているデータベースから選び出すことで、映像やディスプレイの特性に適した画像処理を施すことができる。
【００８７】
〔第２実施例〕
次に、本発明の第２実施例を説明する。ヒストグラム入力データは、画像抽出処理回路２０３の入力データを元に生成するため、例えば、フォーマット変換回路２０２で出力されるデータがすでにフィルタ処理されている場合には、画像抽出処理回路２０３で生成するヒストグラムはオリジナル映像から生成したものと異なる。フォーマット変換回路には、例えばエッジ強調回路やスケーラー（拡大縮小回路）などの画像処理回路が内蔵されているため、ヒストグラム生成に影響する可能性がある。そこで、第２実施例では、画像処理された入力データを補正してヒストグラムを生成する補正手段を追加した。
【００８８】
「数１３」式は第２実施例のＲＧＢ−輝度色差変換回路で行う演算式で、輝度ゲインＫＹ、色差ゲインＫＣを「数１」式に追加し、輝度データ及び色差データを増減できる演算とした。
【００８９】
「数１３」
Ｙ＝ＫＹ×（０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ）
Ｃｂ＝ＫＣ×（０．５００×Ｒ−０．４１９×Ｇ−０．０８１×Ｂ＋１２８
Ｃｒ＝ＫＣ×（−０．１６９×Ｒ−０．３３１×Ｇ＋０．５００×Ｂ＋１２８
ただし、「数１３」式のＹ、Ｃｂ、Ｃｒデータはヒストグラム入力データにのみ用い、輝度増幅回路１１０、色差変換回路１１１へは「数１」式で求めたＹ、Ｃｂ、Ｃｒデータを用いる。
【００９０】
「数１３」式より、輝度ゲインＫＹを大きくすれば、Ｙは大きなデータとなるため、輝度ヒストグラムは明るい方へ偏る。逆に小さくすれば、暗い方へ偏る。仮に、フォーマット変換回路２０２で映像を明るくするように階調制御を施していた場合、画像抽出処理回路２０３に入力されるデータは、オリジナルデータよりも明るくなっているため、生成したヒストグラムは明るい方へ偏ることになる。そこで、輝度ゲインＫＹを小さくし、その偏りを補正するといった例が挙げられる。
【００９１】
色差の補正も同様で、色差ゲインＫＣを大きくすれば、彩度の高い色差データが生成され、小さくすれば彩度の低い色差データが生成される。色ヒストグラムは彩度境界に基づき有色か無色を判定しているため、色ヒストグラムは色差ゲインＫＣに応じて有色側に偏るか、無色側に偏ることになる。例えば、フォーマット変換回路２０２により、彩度を強調した映像データが画像抽出処理回路２０３に入力されてきた場合、有色側へ偏るため、やはりオリジナルと異なる色ヒストグラムとなる。そこで、色差ゲインＫＣを小さくすることで彩度を補正し、色ヒストグラムの有色側への偏りを補正することができる。
【００９２】
また、エッジ強調された映像が入力される場合にも、「数１４」式のようにエッジゲインＫＥで補正することができる。
「数１４」
Ｅ（ｉ，ｊ）＝ＫＥ×｜Ｙ０（ｉ，ｊ）−（Ｙ０（ｉ，ｊ−１）＋Ｙ０（ｉ，ｊ＋１））／２｜
エッジゲインＫＥは、小さくするとエッジが弱いエッジデータが生成され、大きくするとエッジが強いエッジデータが生成される。したがって、フォーマット変換回路２０２でエッジ強調した際の補正や、画像のゆらぎやノイズを抑えるために、エッジゲインで調整することができ、動き度算出時の影響を低減することができる。
【００９３】
フォーマット変換回路２０２でのエッジ強調やスケーラー処理は、マイコン２０１が制御バス２１２を介して設定するため、その設定値はマイコン側ですでに情報として所持している。したがって、その設定値に対して、画像抽出処理回路203 に設定すべき適切なゲインを推定することは可能である。したがって、フォーマット変換回路２０２で処理された映像データであっても、前記ゲイン調整でデータを補正することでオリジナル映像に近いヒストグラムを得ることができる。
【００９４】
本実施例の機能を用いれば、画像抽出処理回路２０３のヒストグラム機能のみを用いて画像を解析し、フォーマット変換回路２０２のフィルタを使って画質処理を行うことができるため、画像抽出処理回路２０３で余計なフィルタを持つ必要がなくなり、低回路規模で実現できる利点がある。あるいは、フォーマット変換回路２０２がより高性能なフィルタを搭載している場合には、そのフィルタを用いることもできるという、より柔軟性の高いシステムが構成できる。
【００９５】
図２１は本発明を適用した表示装置の一例である液晶テレビ受像機の外観図である。この液晶テレビ受像機は、その表示部に上記本発明の実施例で説明した画像処理機能を有する表示装置が実装され、適宜のスタンド部で直立に保持されている。なお、本発明は図示した形状の液晶テレビ受像機に限らず、動画表示機能を持つパソコン、ディスプレイモニター、その他の表示機器にも同様に適用できることは言うまでもない。
【００９６】
【発明の効果】
以上説明したように、本発明によれば、映像の持つ特徴を輝度、色、エッジ、動きヒストグラムで抽出することで、映像を特徴別に分類でき、各特徴に適したフィルタとそのパラメータを情報化したデータベースを用いて、動き、コントラストを強調するフィルタ、色彩を変換するフィルタで画像処理することで、自動的に画質を向上させることができ、高品質の表示装置を提供できる。
【図面の簡単な説明】
【図１】 本発明による表示装置の実施例のシステム構成を説明するブロック図である。
【図２】 図１における画像特徴抽出画像処理回路内部の構成を説明するブロック図である。
【図３】 本発明の実施例における色差−彩度変換テーブルの説明図である。
【図４】 本発明の実施例における色差−色相変換テーブルの説明図である。
【図５】 本発明の実施例における彩度色相境界図の説明図である。
【図６】 本発明の実施例におけるヒストグラムユニット説明図の説明図である。
【図７】 本発明の実施例における１６ユニットを有するヒストグラムの説明図である。
【図８】 本発明の実施例における差分強調フィルタのデータとパラメータの対応図である。
【図９】 本発明の実施例における差分強調フィルタ回路の説明図である。
【図１０】 本発明の実施例におけるコントラスト補正フィルタによる入出力関係の説明図である。
【図１１】 本発明の実施例におけるコントラスト補正フィルタ回路の説明図である。
【図１２】 本発明の実施例における輝度増幅フィルタ回路の説明図である。
【図１３】 本発明の実施例における色差変換フィルタ回路の説明図である。
【図１４】 本発明の実施例における色差変換の説明図である。
【図１５】 本発明の実施例におけるマイコン制御フローチャートである。
【図１６】 本発明の実施例におけるエッジヒストグラムと動きヒストグラム例の説明図である。
【図１７】 本発明の実施例における輝度ヒストグラムと色ヒストグラム例の説明図である。
【図１８】 本発明の実施例における色差変換の説明図である。
【図１９】 本発明の実施例における輝度ヒストグラムと色ヒストグラムのパターン例の説明図である。
【図２０】 本発明の実施例におけるヒストグラムパターンとフィルタパラメータのデータベース例の説明図である。
【図２１】 本発明を適用した表示装置の一例である液晶テレビの外観図である。
【符号の説明】
１０１…マイコンインターフェース、１０２…ＲＧＢ−輝度色差変換回路、１０３…ＲＧＢ−輝度変換回路、１０４…色差−彩度色相変換回路、１０５…彩度色相−色インデックス変換回路、１０６…エッジデータ生成回路、１０７…動きデータ生成回路、１０８…差分強調回路、１０９…コントラスト補正回路、１１０…輝度増幅回路、１１１…色差変換回路、１１２…加算クランプ回路、１１３…輝度色差−ＲＧＢ変換回路、１１４…２入力１出力セレクタ、１１５…輝度ヒストグラムカウンタ、１１６…色ヒストグラムカウンタ、１１７…エッジヒストグラムカウンタ、１１８…動きヒストグラムカウンタ、１１９…輝度ヒストグラムレジスタ、１２０…色ヒストグラムレジスタ、１２１…エッジヒストグラムレジスタ、１２２…動きヒストグラムレジスタ、１２３…メモリ制御回路、１２４…ウィンドウ制御回路、１２５…フィルタ部、１２６…ヒストグラム部、１２７…ヒストグラム入力データ生成部、２０１…マイコン、２０２…フォーマット変換回路、２０３…画像特徴抽出画像処理回路、２０４…フレームメモリ、２０５…液晶パネル、２０６…データリードバス、２０７…データライトバス、２０８…映像入力バス、２０９…入力データバス、２１０…出力データバス、２１１…データ入出力バス、６０１…ヒストグラムカウンタ、６０２…ヒストグラムレジスタ、６０３…条件回路、６０４…カウンタ、６０５…ヒストグラム入力データバス、６０６…条件入力データバス、６０７…イネーブル信号バス、６０８…レジスタロードバス、６０９…レジスタリードバス、９０１…減算器、９０２…増幅器、９０３…条件回路（ａ）、９０４…２入力１出力セレクタ、９０５…条件回路（ｂ）、９０６…１６入力１出力セレクタ、１１０１…減算器、１１０２…増幅器、１１０３…加算器、１１０４…条件回路、１１０５…８入力１出力セレクタ、１１０６…８入力１出力セレクタ、１１０７…８入力１出力セレクタ、１２０１…減算器、１２０２…増幅器、１２０３…加算器、１２０４…条件回路、１２０５…２入力１出力セレクタ、１２０６…パラメータテーブル、１２０７…４入力１出力セレクタ、１３０１…増幅器、１３０２…増幅器、１３０３…増幅器、１３０４…増幅器、１３０５…加算器、１３０６…加算器、１３０７…２入力１出力セレクタ、１３０８…２入力１出力セレクタ、１３０９…条件回路、１３１０…パラメータテーブル、１３１１…４入力１出力セレクタ。
【発明の属する技術分野】
本発明は、表示装置に係り、特に液晶パネル、ＣＲＴ（Cathode Ray Tube）、プラズマディスプレイパネル(PDP) 、ＥＬパネル（Electro-Luminescence Panel）等の表示デバイスを用いて映像データ（画像データ、テキストデータを含む）を表示するための表示装置に関する。
【０００２】
【従来の技術】
映像信号発生源から入力した映像データを表示デバイスの特性に合わせて表示するための従来技術として、映像の輝度データからヒストグラムを形成し、ガンマ特性をヒストグラムに応じて積極的に補正する技術が特許文献１に開示されている。
【０００３】
【特許文献１】
特開２００１−３４３９５７号公報
【０００４】
【発明が解決しようとする課題】
現在、液晶パネルを用いた表示装置（液晶表示装置）やプラズマディスプレイパネルを用いた表示装置（プラズマディスプレイとも称する）あるいはＥＬパネルを用いた表示装置（ＥＬディスプレイ）は、パーソナルコンピュータなどのテキストや静止画像だけでなく、テレビ映像等の動画をも高画質に表示することが求められている。
【０００５】
一般にテレビ映像に代表される動画映像は、テレビカメラ等で撮影され、放送または媒体を介して提供される映像であり、受信機に一般的に備える陰極線管（以下、ブラウン管とも称する）の表示特性に即した規格で提供される。これは、所謂ガンマ特性と呼ばれるブラウン管の映像信号と明るさの関係を考慮してのことである。しかし、表示特性の異なる液晶表示装置、あるいはプラズマディスプレイといった表示デバイスは、このような放送規格に適した表示特性ではないため、映像信号と明るさの関係、すなわちガンマ特性を放送規格に一致させる必要がある。
【０００６】
また、液晶表示装置やプラズマディスプレイはブラウン管と異なり、ピーク輝度やコントラスト、色再現性の観点から、ブラウン管以上の表示特性を実現することは困難な状況にある。このような表示特性がブラウン管と異なる表示デバイスで忠実な再現性を実現することが課題の一つとなっている。特許文献１に開示された発明も、前記課題を解決すべくなされたものであるが、輝度データに基づくヒストグラムを抽出するのみに留まっており、なおかつグレースケールのみの信号処理に限定されているため、見かけ上のグレースケールのコントラストは改善できるものの、色彩のコントラストや、見かけ上の色再現性を向上させることはできない。また、液晶の場合、応答が数ｍｓから数十ｍｓ要してしまうため、映像の変化に追従できず、映像がぼやけてしまい、これも解決すべき課題となっていた。
【０００７】
本発明は、前記グレースケールのコントラストに加え、色彩のコントラストも同時に向上させ、かつ液晶表示装置等のホールド型表示装置においては、映像の動きによる映像のぼやけを低減する表示装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、本発明は、前記複数の映像フォーマットの映像信号を入力として受けて任意の映像フォーマットの映像信号へ変換するフォーマット変換回路と、複数種類のヒストグラムと複数の画像処理フィルタを有する画像特徴抽出画像処理回路と、前記映像信号の複数フレームを保持し、複数フレーム時間遅延するフレームメモリと、前記フォーマット変換回路と前記画像特徴抽出画像処理回路の動作を制御するデータ処理回路と、 前記映像信号を表示する表示デバイスを備えたことを特徴とする。
【０００９】
すなわち本発明は、１フレームの映像信号において、表示デバイスの各画素に対応したデータの輝度値とその輝度値を示す画素数の分布を表す輝度ヒストグラムと、データの色を表す値とその色を示す画素数の分布を表す色ヒストグラムと、データのエッジ（各画素とその隣接画素間の輝度値の差分）レベルとそのエッジレベルを示す画素数の分布を表すエッジヒストグラムと、動き（連続するフレーム間での各画素の輝度値の差分）レベルとその動きレベルを示す画素数の分布を表す動きヒストグラムを生成する手段と、グレースケールのコントラストを補正するフィルタと、映像の時間変化分を増幅するフィルタと、映像の輝度成分のみを増幅するフィルタと、色差成分のみを変換するフィルタを有する画像特徴抽出画像処理回路と、複数のフレームデータを蓄積し、遅延するフレームメモリと、前記ヒストグラムデータを読み出し、そのヒストグラムデータに基づいて、前記フィルタの組み合わせを選択し、かつ前記フィルタの特性を決定するデータ処理回路と、前記フィルタに処理されたデータを表示する表示デバイス（例えば、液晶パネルやプラズマディスプレイパネル）と複数の映像フォーマットからなる映像信号を前記表示デバイスの映像フォーマットへ変換するフォーマット変換回路から構成される。
【００１０】
上記データ処理回路は、所謂マイコンで構成され、画像特徴抽出画像処理回路で生成される輝度、色、エッジ、動きのヒストグラムから、映像の特徴を抽出し、ヒストグラムパターンとそれに効果的なフィルタパラメータとのデータベースから、適切なフィルタとフィルタパラメータを決定し、画像特徴抽出画像処理回路に内蔵した差分強調フィルタ、コントラスト補正フィルタ、輝度増幅フィルタ、色差変換フィルタを選択し、フィルタパラメータを設定する。画像特徴抽出画像処理回路は前記フィルタパラメータに基づいてデータ処理し、表示デバイスへ映像データを出力する。
【００１１】
この構成により、グレースケールのコントラストのみでなく、色彩のコントラストも同時に向上でき、液晶表示装置等のホールド型表示装置での映像の動きによる映像のぼやけを低減することができる。なお、本発明は上記の構成に限定されるものではなく、本発明の技術思想を逸脱することなく、種々の変更が可能であることは言うまでもない。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について、実施例の図面を参照して詳細に説明する。
〔第１実施例〕
図１は本発明による表示装置の第１実施例の構成を説明するブロック図であり、液晶表示装置、特に液晶テレビを構成した例を示す。図１において、２０１はデータ処理回路（以下、マイコンと称する）、２０２はフォーマット変換回路、２０３は画像特徴抽出画像処理回路（以下、画像抽出処理回路と称する）、２０４はフレームメモリ、２０５は液晶パネルである。また、２０６はマイコン２０１が画像抽出処理回路２０３からデータを読み出すリードアクセスバス、２０７はマイコン２０１が画像抽出処理回路２０３へデータを書き出すライトアクセスバスで、通常リードアクセスバス２０６とライトアクセスバス２０７は入出力バスとしてアクセスするが、図１では説明のため別々に表記している。２１２はライトアクセスバスで、マイコン２０１からフォーマット変換回路202 の動作を設定するために用いる。
【００１３】
また、２０８は入力データバスであり、例えばＲ（赤）、Ｇ（緑）、Ｂ（青）の映像データ及び同期信号を伝送する。２０９は画像抽出処理回路２０３へ入力されるデータバス、２１１は画像抽出処理回路２０３とフレームメモリ２０４間でやりとりするデータバス、２１０は液晶パネルへ入力するデータバスである。フォーマット変換回路２０２は、テレビ信号フォーマット、例えばハイビジョンやＮＴＳＣといったデジタル信号やアナログ信号、周波数、解像度など、放送の規格化された信号を、液晶パネル２０５に表示する信号へ変換する機能を有する回路であり、フレームメモリや複数のアナログ回路、デジタル回路、クロック生成回路等を含む。入力信号を受けたフォーマット変換回路２０２は、マイコン２０１により、データバス２１２を介して設定された解像度や周波数で映像データを再構成し、その映像データを画像抽出処理回路２０３に転送する。
【００１４】
画像抽出処理回路２０３は、前記映像データから数種のヒストグラムを形成し、内部に所持するヒストグラムレジスタに保持する。マイコン２０１はリードアクセスバス２０６を介して前記ヒストグラムデータを読み出し、映像の特徴を抽出できる。また画像抽出処理回路２０３は複数の画像処理フィルタを内蔵しており、映像データにフィルタを施すことができる。画像抽出処理回路２０３に内蔵したフィルタは、マイコン２０１からライトアクセスバス２０７を介して、フィルタの動作を決めるパラメータを設定したり、フィルタを切り替えたりすることができるため、先のヒストグラムから、映像の特徴を抽出後、それに応じて各種フィルタを選択することで、映像に適した、あるいは表示デバイス（ここでは液晶パネル２０５）の特性に応じた画像処理を行うことができる。
【００１５】
画像抽出処理回路２０３は、必要に応じて複数のフレームメモリ２０４を制御し、データバス２１１を介して、フレームデータを蓄積し、遅延データを生成するなど、ヒストグラムや画像処理フィルタで用いるデータを生成する機能も有する。液晶パネル２０５は、例えばＷＸＧＡ（１２８０×７６８）の解像度を有し、ＲＧＢ各８ビットフルカラーの映像を表示できるものである。
【００１６】
図２は本発明の特徴となる図１における画像抽出処理回路２０３の内部構成を説明するブロック図である。図２において、１０１はマイコンインターフェース、１２３はメモリ制御回路、１２５はフィルタ部、１２６はヒストグラム部、１２７はヒストグラム入力データ生成部である。マイコンインターフェース１０１は、各機能をマイコンで制御するインターフェースを提供する。メモリ制御回路１２３は、ＲＧＢ入力データ（例えば、８ビットデータ）をメモリ（図示せず）に蓄積し、1 フレーム期間遅延した遅延フレームデータ（以下、前フレームデータと称す）を各部に出力する。フィルタ部１２５は、マイコンインターフェースを介して設定される変更可能なパラメータと、前フレームデータと現フレームデータを用いて画像処理を行う機能を有しており、本実施例では、差分強調回路１０８、コントラスト補正回路１０９、輝度増幅回路１１０、色差変換回路１１１の４種を搭載している。
【００１７】
ヒストグラム部１２６は、輝度ヒストグラム、色ヒストグラム、エッジヒストグラム、動きヒストグラムの４種のヒストグラムから構成されており、ヒストグラムデータ生成部１２７において、前フレームデータ及び現フレームデータから生成されたデータを用いて各ヒストグラムを作り出す機能を持つ。
【００１８】
本実施例では、画像処理フィルタとして、差分強調回路、コントラスト補正回路、輝度増幅回路、色差変換回路の4 種を用いているが、それらに限られることではないし、そのうちの少なくとも1 つを搭載した例も包含している。また、ヒストグラムに関しても、輝度、色、エッジ、動きの4 種に限られず、またそのうちの少なくとも1 つを搭載した例に関しても同様である。
【００１９】
まず、フィルタ生成部１２５の構成要素についてより詳細に説明する。差分強調回路１０８は、フレームの映像変化（差分）を強調するフィルタで、映像のフレーム変化を強調したデータを出力する。したがって、差分強調回路１０８の出力データは、映像変化がない静止画では常に処理に影響を与えない。また、コントラスト補正回路１０９は例えばガンマ補正、黒伸張や白伸張といった映像のグレースケールのコントラストを補正するフィルタで、静止画に対して影響する。これらの出力データは加算・クランプ回路１１２によって合成後、クランプされ、新しい映像データとなる。ここでクランプとは、差分強調回路１０８及びコントラスト補正回路１０９によって出力されるデータが、ＲＧＢ出力データのビット幅より大きい場合、ＲＧＢ出力データのビット幅で表現できないデータを制限することを言う。
【００２０】
したがって、例えばＲＧＢ出力データ（液晶パネル２０５ に出力するデータ）が８ビットの場合、差分増幅回路１０８、コントラスト補正回路１０９の出力データが２５５以上の場合には２５５で制限し、また０以下の場合には０で制限することを言う。このように、差分強調回路１０８、コントラスト補正回路１０９を経由して、加算・クランプ回路１１２から出力される経路（以下、系統Ａ）は、入力データ（フォーマット変換回路２０２から受けるデータ）が動画及び静止画の双方に作用する。
【００２１】
輝度増幅回路１１０は映像の輝度成分のみを増幅するフィルタ、色差変換回路１１１は映像の色差成分のみを変換するフィルタで、それぞれ出力は輝度データ、色差データである。輝度色差−ＲＧＢ変換回路１１３は、輝度色差データをＲＧＢデータに変換する変換回路で、輝度増幅回路１１０の輝度出力データと色差変換回路１１１の色差出力データからRGB 出力データに変換する。この輝度増幅回路１１０、色差変換回路１１１を経由して輝度色差−ＲＧＢ変換回路１１３から出力される経路（以後系統Ｂ）は、前フレームデータを用いていないため、系統A とは異なり、静止画にのみ影響する。また、色差を自由に変換できるという点でも系統Ａと特徴が異なっている。１１４は前述の処理経路である系統Ａと系統Ｂを切り替える２入力１出力セレクタで、マイコンインターフェース１０１を介し、マイコンから切り替えることができる。このように、フィルタ部１２５は、特徴の異なる処理系統、すなわち系統Ａと系統Ｂから構成され、切り替えて使うことを意図している。
【００２２】
次に、ヒストグラム部１２６の構成について説明する。先に述べたように、ヒストグラム部１２６は輝度、色、エッジ、動きの４種のヒストグラムから成り、それぞれのヒストグラムは図２に示すヒストグラムカウンタ及びヒストグラムレジスタを有している。１１５は輝度ヒストグラムカウンタ、１１９は輝度ヒストグラムカウンタ１１５のカウント値を保持する輝度ヒストグラムレジスタ、１１６は色ヒストグラムカウンタ、１２０は色ヒストグラムカウンタ１１６のカウント値を保持する色ヒストグラムレジスタ、１１７はエッジヒストグラムカウンタ、１２１はエッジヒストグラムカウンタ１１７のカウント値を保持するエッジヒストグラムレジスタ、１１８は動きヒストグラムカウンタ、１２２は動きヒストグラムカウンタ１１８のカウント値を保持する動きヒストグラムレジスタである。
【００２３】
映像データは連続して送られており、ヒストグラム生成中のカウンタ値は時々刻々と変化していることから、それらのカウントデータを前記ヒストグラムカウンタから参照すると正確なデータを抽出できない。そのため、本構成では、１１５〜１１８のカウント値をフレーム分の映像を転送し終えてから次のフレームの映像を転送し始めるまでの期間（垂直帰線期間）内にヒストグラムレジスタ１１９〜１２２にカウント値を保持する構成としている。ヒストグラムレジスタ１１９〜１２２はマイコンインターフェース１０１と接続されているため、少なくとも次のフレームの転送開始時点からこれを介して、最新の有効データを参照可能となる。
【００２４】
次に、ヒストグラムデータ生成部１２７の構成について説明する。ヒストグラムデータ生成部１２７はヒストグラム部１２６で用いる輝度データ、色データ、エッジデータ、動きデータを生成する。映像入力データは通常ＲＧＢデータ（例えば８ビットデータ）として入力されるため、輝度データ、色データ、エッジデータ、動きデータを生成するためにデータを変換する必要がある。１０２はＲＧＢデータを輝度色差データに変換するＲＧＢ−輝度色差変換回路、１０３はＲＧＢデータから輝度データに変換するＲＧＢ−輝度変換回路で、これらによって現フレームデータ（Ｒ０，Ｇ０，Ｂ０）は現フレームの輝度・色差データ（Ｙ０，Ｃｂ０，Ｃｒ０）に、また前フレームデータ（Ｒ１，Ｇ１，Ｂ１）は前フレームの輝度データ（Ｙ１）に変換される。つまり、輝度ヒストグラムやエッジヒストグラムに必要な現フレームの輝度データと、動きヒストグラムに必要な現フレームの輝度データ、前フレームの輝度データが生成されたことになる。
【００２５】
１０４は前記色差データから彩度及び色相に変換する回路、１０５は彩度及び色相から色インデックスデータを生成する回路である。ここで色インデックスとは、各色に対して割り当てられるデータを意味し、例えば赤には４を、青には０をといったデータを指す。色差−彩度色相変換回路１０４、彩度色相−色インデックス変換回路１０５により、色インデックスデータが生成され、色ヒストグラムを形成することができる。１０６はエッジデータ生成回路、１０７は動きデータ生成回路で、前者は現フレームの輝度データを用いて、後者は前フレームと現フレームの輝度データを用いて、それぞれエッジデータ、動きデータを算出する。
【００２６】
さらに、ヒストグラムデータ生成部127 ではヒストグラム生成の対象とする範囲（以下、ウィンドウと呼ぶ）を限定することができるように、ウィンドウ制御回路１２４を搭載している。このウィンドウ制御回路１２４は、ウィンドウをマイコンインターフェースを介して設定でき、画素データがその設定されたウィンドウに該当する領域にある場合には、ヒストグラムカウンタのカウントを許可するイネーブル信号（ＥＮ）を生成し、ヒストグラムカウンタの動作を制御する。このような制御機能を設けることで、特定領域のヒストグラムを形成することができる。
【００２７】
以上が画像抽出処理回路２０３の概略である。これらの機能、つまり画像処理フィルタとヒストグラム生成機能は、例えばフレーム周波数６０Ｈｚで、解像度がＷＸＧＡ（１２８０×７６８）の表示装置を想定すると、通常約８０ＭＨｚ相当で処理する必要があることから、ハードウェアで実現することが現実的である。以下、特に断らない限り、前述した機能は一つのＬＳＩ（Large Scale Integrated circuit）に内蔵したＡＳＩＣ（Application Specific Integrated Circuit ）として実現することを前提に説明を続ける。もちろん、各機能を複数のＬＳＩに分割したり、また他の回路に内蔵したりしても、本発明の本質は失われない。
【００２８】
次に、具体的に画像抽出処理２０３を構成する各回路について詳細に説明する。画像抽出処理回路２０３に内蔵しているヒストグラムは、輝度、色、エッジ、動き、合わせて４種の画像の特徴を抽出できる。そのためには、入力データがＲＧＢデータである場合、輝度データ、色データ、エッジデータ、動きデータへ変換する必要がある。図２で示したように、ヒストグラム生成に必要なデータはヒストグラムデータ生成部１２７で生成する。その構成要素の一つであるＲＧＢ−輝度色差変換回路１０２は、現フレーム映像データ（Ｒ０，Ｇ０，Ｂ０）から輝度・色差データ（Ｙ０，Ｃｂ０，Ｃｒ０）を次の「数１」の変換式にしたがって生成する。
【００２９】
「数１」
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
Ｃｂ＝０．５００×Ｒ−０．４１９×Ｇ−０．０８１×Ｂ＋１２８
Ｃｒ＝−０．１６９×Ｒ−０．３３１×Ｇ＋０．５００×Ｂ＋１２８
ただし、Ｙは輝度データ、Ｃｂ，Ｃｒは色差データであり、ＲＧＢデータ、Ｙ，Ｃｂ，Ｃｒは８ビットを想定している。また「数１」式は乗算器と加減算器で構成されているため、ＬＳＩ化は容易である。
【００３０】
輝度ヒストグラムに用いる輝度データは、「数１」式に示すＹで、図２には現フレーム映像の輝度データＹ０として示している。また、前フレーム映像の輝度データＹ１は、「数１」式のＹのみを導出する回路であるＲＧＢ−輝度変換回路１０３により生成する。
【００３１】
エッジヒストグラムに用いるエッジデータは、現フレームの輝度データＹ０を用いて、各画素とその隣接画素の輝度データより例えば「数２」式で求めることができる。
【００３２】
「数２」
Ｅ（ｉ，ｊ）＝｜Ｙ０（ｉ，ｊ）−（Ｙ０（ｉ，ｊ−１）＋Ｙ０（ｉ，ｊ＋１））２｜
ただし、Ｅ（ｉ，ｊ）はフレーム内にある、垂直位置ｉ、水平位置ｊのエッジデータで、Ｙ０（ｉ，ｊ）は現フレーム映像の垂直位置ｉ、水平位置ｊにおける輝度データ、Ｙ０（ｉ，ｊ−１），Ｙ０（ｉ，ｊ＋１）はＹ０（ｉ，ｊ）の左右隣接画素の輝度データである。また「数２」式は、加減算回路で構成されているため、ＬＳＩ化は容易である。
【００３３】
エッジデータは各画素とその隣接画素との輝度差分に相当する値で特徴づけられるため、演算式内に前記特徴が含まれていれば、「数２」式に限定しなくてもよい。
【００３４】
動きヒストグラムに用いる動きデータは、現フレームの輝度データＹ０と前フレームの輝度データＹ１で例えば次の「数３」の式で求めることができる。
「数３」
Ｍ（ｉ，ｊ）＝｜Ｙ０（ｉ，ｊ）−Ｙ１（ｉ，ｊ）｜
ただし、Ｍ（ｉ，ｊ）はフレーム内にある垂直位置ｉ、水平位置ｊの動きデータで、Ｙ０（ｉ，ｊ）は現フレーム映像の垂直位置ｉ、水平位置ｊにおける輝度データ、Ｙ１（ｉ，ｊ）は前フレームにおけるそれである。また「数３」式は減算回路で構成されているため、ＬＳＩ化が容易である。動きデータは連続するフレーム間での輝度の差分に相当する値で特徴づけられるため、輝度変化のみに着目した数3 に限定せず、色差変化を考慮した演算としてもよい。
【００３５】
色ヒストグラムに用いる色データの生成過程は少し複雑となる。色データは、図１に示すように、ＲＧＢ−輝度色差変換回路１０２によって得られる色差データＣｂ，Ｃｒを用いて算出する。前記色差データＣｂ，Ｃｒから彩度色相変換回路１０４は、理想的には「数４」式によって彩度データを生成し、「数５」によって色相データを生成する。
「数４」
Ｓ＝√（（Ｃｂ−１２８）×（Ｃｂ−１２８）＋（Ｃｒ−１２８）×（Ｃｒ−１２８）
「数５」
Ｈ＝ｔａｎ−１（（Ｃｒ−１２８）／（Ｃｂ−１２８））
【００３６】
「数４」式、「数５」式の演算は複雑であるため、直接演算式をＬＳＩ化することは困難である。そこで、本実施例ではデータ変換テーブルを用いて上記演算を代用した。図３は１６×１６の色差−彩度変換テーブル例、図４は１６×１６の色差−色相変換テーブル例である。変換テーブルは、より詳細であればより正確な変換データを得られるが、回路規模が増大し、ＬＳＩ化が困難となる。したがって、本実施例では、ＬＳＩ化が容易である規模の１６×１６のテーブルとした。
【００３７】
図３の横軸は式で求めたＣｂの値から１２８を引いた絶対値、すなわちＣｂと１２８との距離で、縦軸はＣｒの値から１２８を引いた絶対値、すなわちＣｒと１２８との距離を示す。前記「数４」にもあるように、彩度データＳは（Ｃｒ，Ｃｂ）が無色を示す（１２８，１２８）との距離で表せるため、テーブルデータは(｜Ｃｂ−１２８｜,｜Ｃｒ−１２８｜)が大きいほど、すなわち、テーブルの左下から右上に向かうほど大きな値となっている。テーブルの参照方法について例を示すと、例えば(｜Ｃｂ−１２８｜,｜Ｃｒ−１２８）＝（９０，２３）の場合、｜Ｃｂ−１２８｜、｜Ｃｒ−１２８｜それぞれが７ビットデータで表されたとすると、その上位４ビットは（１１，２）を示し、横軸で１２番目、縦軸で３番目の交差データ９１を彩度値Ｓ０として参照することができる。
【００３８】
一方、図４の横軸は「数５」式で求めたＣｂの値で、縦軸はＣｒの値である。「数５」式にあるように色相データは基準位置からの位相を表しているため、図４のテーブル値は、( Ｃｂ，Ｃｒ）が（１２８，１２８）を中心として、反時計回りに大きくなるように設定している。テーブルの参照方法について例を示すと、Ｃｂ，Ｃｒそれぞれが８ビットデータで、（Ｃｂ，Ｃｒ）＝（２２６，１５１）の場合、上位４ビットは（１４，９）を示すため、図４では横軸１５番目、縦軸１０番目の交差データ１１を色相値Ｈ０として参照できる。
【００３９】
次に、色差−彩度色相変換回路１０４にて変換された現フレームの彩度データＳ０と色相データＨ０は彩度色相−色インデックス変換回路１０５へ転送される。色インデックス変換回路１０５は有色か無色かを判定基準となる彩度境界値と、色分けの判定基準となる色相境界値からデータが何色に対応するかを判別する。
【００４０】
図５は彩度色相データと彩度境界、色相境界から色を判別するための境界を示している。この場合、例として、１２の色相境界と１つの彩度境界で、１２色と無色の計１３色を分割している。各色を表す色インデックスデータは、彩度データが彩度境界ＳＢより内側であれば、色インデックスとして無色を意味するＦ〔ＨＥＸ〕が与えられ、彩度データが彩度境界ＳＢより外側であれば、色相データＨ０が色相境界ＨＢ０〜ＨＢ１の範囲のとき、色インデックスとして０〔ＨＥＸ〕を、ＨＢ１〜ＨＢ２の範囲のとき１〔ＨＥＸ〕をというように、色相データＨ０が２つの色相境界によって挟まれる範囲に対応するデータがインデックス値として割り当てられる。さらにインデックス値を増やせば、より多くの色に分類できることは言うまでもない。また、境界値をマイコンより設定可能とすることで、特定の色の境界を絞ることも可能である。このような過程を経ることで、色ヒストグラムで用いる色インデックスデータを生成することができる。
【００４１】
以上、ヒストグラム入力データ生成回路１２７がヒストグラム部１２６で用いるデータ、すなわち、輝度データ、色データ、エッジデータ、動きデータの生成方法を説明した。
【００４２】
次に、ヒストグラムの対象領域を制御するウィンドウ制御回路１２４について説明する。図１で説明した液晶テレビは、受像する映像信号の解像度と表示デバイスである液晶パネルの解像度が必ずしも一致しない。例えば、アスペクト比がワイドなＷＸＧＡ（１２８０×７６８）の液晶パネルにアスペクト比がワイドでない映像を表示する場合、映像を横に伸ばしてワイドにするか、あるいは、余領域に無効なデータ（例えば黒データ）を挿入してアスペクト比を揃えるなどの処置を施す必要が生じる。後者の場合、無効なデータは映像と全く関係のないデータである場合が多いため、この領域をヒストグラムにカウントすることは意味が無く、むしろ情報として紛らわしい。
【００４３】
ウィンドウ制御はこのような影響を排除することを意図している。図１で、マイコンは表示対象となる液晶パネル２０５の解像度に応じた表示データを再構成するために、フォーマット変換回路２０２を制御する。この際、マイコンは、無効なデータを挿入する必要がある場合には、そのデータをヒストグラムの対象から外すように、画像抽出処理回路２０３にアクセスし、適切なウィンドウ設定をする。画像抽出処理回路２０３内部のウィンドウ制御回路１２４は、前記マイコンのウィンドウ設定に応じてヒストグラムカウンタ１１５〜１１８をイネーブルする信号（ＥＮ）を出力する。つまり、画素データがウィンドウの範囲内であれば、ヒストグラムカウンタ１１５〜１１８をイネーブルにすることでカウントを実行させ、ウィンドウの範囲外であれば、ヒストグラムカウンタ１１５〜１１８をディスエーブルにして動作させないようにする。
【００４４】
以上、ヒストグラムデータ生成回路127 を構成する各回路について説明した。次に、ヒストグラム生成部１２６を構成する各回路について説明する。図６はヒストグラム部１２６を構成するヒストグラムユニットの構成図である。６０１はヒストグラムカウンタ、６０２はヒストグラムレジスタで、それぞれ図２の１１５〜１１８、１１９〜１２２の構成要素である。６０３は条件判定回路、６０４はカウンタで、両者でヒストグラムカウンタ６０１を形成する。ただし、各回路のリセット端子、クロック端子は省略している。６０５は映像データ入力バスで、輝度ヒストグラムでは、輝度データ、色ヒストグラムでは色インデックスデータ、エッジヒストグラムではエッジデータ、動きヒストグラムでは動きデータである。６０６は条件入力バスで、ヒストグラムカウンタがカウントすべき条件が設定される。
【００４５】
条件判定回路６０３は前記ヒストグラム入力バス６０５、条件入力バス６０6より入力されたヒストグラム入力データと条件データを比較し、映像データがカウントすべきデータであると判断した場合にヒストグラムカウンタ６０４をイネーブルする信号を生成する。６０７はカウンタイネーブル信号入力バスで、先に説明したウィンドウ制御等で、カウンタの動作を制御する際に用いる。ヒストグラムカウンタ６０４は、条件判定回路６０３とカウンタイネーブル信号の両者がアクティブの場合に動作する。カウンタのサイズは、例えば解像度ＷＸＧＡ（１２８０×７６８）を対象とすると、１画面に９８３，０４０画素存在するため、２０ビット（１，０４８，５７６画素までカウント可能） 以上必要となる。
【００４６】
本実施例では20ビットのカウンタを想定している。６０８はレジスタロード・カウンタリセット信号入力バスで、ヒストグラムカウンタ６０４のカウントデータをヒストグラムレジスタ６０２へ転送し、それと同時にカウンタをリセットする信号を伝播する。ヒストグラムカウンタ６０４は、この信号により、レジスタ６０２にカウントデータを転送後、リセットされ、再びウィンドウ内のカウント条件に合うヒストグラム入力データをカウントし始め、先に述べた動作を繰り返す。６０９はレジスタ出力バスで、マイコンインターフェース１０１を介し、マイコンにヒストグラムデータ値のアクセスを可能にしている。
【００４７】
図７は図６のヒストグラムユニットを１６個用いてヒストグラムを構成した例を示す。ヒストグラム入力データは全ヒストグラムユニットで共通とし、条件入力を１６通り（条件１〜条件１６）設定する構成としている。ヒストグラムデータ生成部１２７から送られてくるヒストグラム入力データは、条件１〜１６のうち、条件にマッチするヒストグラムユニットのカウンタをイネーブルし、カウント動作を促す。図７の構成を用いれば、ヒストグラムユニットのユニット数や条件を変更するだけで、多種のヒストグラムを構成できる。例えば、１６ユニットの輝度ヒストグラムを構成する場合には、ヒストグラム入力データに輝度データを、条件データ１〜１６にはカウントしたい輝度値をそれぞれ設定すればよい。８ビットの輝度データであれば、上位４ビットをヒストグラム入力データとし、条件データ１〜１６にそれぞれ０〜１５を設定すると、輝度データ０〜１５の場合にはユニット１に、輝度データ１６〜３１の場合にはユニット２に、輝度データ２２４〜２５５の場合にはユニット１６にカウントされ、8 ビット輝度データのヒストグラムが形成される。画像抽出処理回路２０３に搭載した色ヒストグラム、エッジヒストグラム、動きヒストグラムも同様な原理で構成する。
【００４８】
以上がヒストグラム部１２６の各回路の説明である。次にフィルタ部１２５の構成回路について説明する。フィルタ部１２５は、図２に示すように、差分強調回路１０８とコントラスト補正回路１０９から成る系統Ａと、輝度増幅回路１１０と色差変換回路１１１から成る系統Ｂの２種を２入力１出力セレクタ１１４で切り替え可能な構成となっている。差分強調回路１０８は入力データとして現フレームの映像データと前フレームの映像データを受け取り、下記「数６」式に従ってその差分を強調したデータを生成する。ただし、演算はＲＧＢで同じであるため、Ｘで代表している。またＸ０は現フレームの映像データ、Ｘ１は前フレームの映像データを示し、Ｋは差分強調パラメータである。
「数６」
ＤＸ＝Ｋ×（Ｘ０−Ｘ１）
「数６」式は減算器と乗算器で実現できるため、ＬＳＩ化が容易である。
【００４９】
さらに、現フレームデータと前フレームデータの組み合わせにより差分強調パラメータＫを変更することで、フィルタの特性を変えることができる。図８はその例を示しており、現フレームデータと前フレームデータとの組み合わせに従い、図８（ａ）がＫＰ、ＫＭという２種のパラメータを選択する場合、図８（ｂ）Ｋ００〜Ｋ３３の１６種のパラメータを選択する場合の映像データとパラメータの対応を示している。図８の横軸は前フレームデータ、縦軸は現フレームデータを示しており、８ビットデータを想定している。図８（ａ）は、現フレームデータが前フレームデータより大きい場合にはパラメータＫＰを用い、小さい場合にはＫＭを用いることを意図している。式で表すと次の「数７」になる。
【００５０】
「数７」
ＤＸ＝ＫＰ×（Ｘ０−Ｘ１） 〔Ｘ０≧Ｘ１〕
ＤＸ＝ＫＭ×（Ｘ０−Ｘ１） 〔Ｘ０＜Ｘ１〕
【００５１】
図８（ｂ）は現フレームデータと前フレームデータの組み合わせを１６通りに分割し、それぞれで異なるパラメータＫ００〜Ｋ３３を設定できるようにした例である。式で表すと「数８」のようになる。
【００５２】
図９にパラメータ選択と演算回路の構成を示した。図９（ａ）は図８（ａ）のパラメータ設定時、図９（ｂ）は図８（ｂ）のパラメータ設定時の回路構成図である。図９において、９０１は減算器、９０２は増幅器（乗算器）、９３3 は図８（ａ）のパラメータ設定条件に基づきパラメータを選択する信号を生成する条件回路、９０５は図８（ｂ）のパラメータ設定条件に基づきパラメータを選択する条件回路、９０４は２入力１出力セレクタ、９６6 は１６入力１出力セレクタである。条件回路９０３、９０５は、上式に示したように、現フレームデータＸ０と前フレームデータＸ１から、パラメータを選択するためのセレクト信号を、セレクタ９０４、９０６に供給し、該当するパラメータをセレクタ９４4 、９０６が増幅器９０２に設定する。増幅器９２2 は現フレームデータと前フレームデータの組み合わせに対応したパラメータに基づき、減算器９１1 の差分値を増幅し、データＤＸとして出力する。
【００５４】
「数６」式に示した演算は、減算器一つと乗算器一つで実現しており、「数７」式、「数８」式はそのパラメータをデータの条件で変更しているに過ぎない。つまり、本構成は、減算器と乗算器を共通化して、図９以外にも様々に条件とパラメータの組み合わせることで、異なるフィルタを構成できる利点がある。
【００５５】
次に、コントラスト補正回路１０９は、現フレームの映像データを入力として受け、例えば、下記「数９」に従って演算するフィルタである。ただし、演算はＲＧＢ同じであるため、Ｘで代表している。またＸは現フレームの入力映像データ、Ｘ０は入力オフセットデータ、Ｙ０は出力オフセットデータで、Ｋは補正パラメータである。
【００５６】
「数９」
Ｙ＝Ｋ×（Ｘ−Ｘ０）＋Ｙ０
あるいは、以下のように階調ポイントを１７点設定して、その間を補完してデータを生成する次の「数１０」式の演算を用いても良い。ただし、Ｙ０〜Ｙ１６は階調ポイント設定データである。
【００５７】
「数１０」
Ｙ＝
（Ｙ１−Ｙ０）／１６×（Ｘ−０）＋Ｙ０ 〔０≦Ｘ＜１６〕
（Ｙ２−Ｙ１）／１６×（Ｘ−１６）＋Ｙ１ 〔１６≦Ｘ＜３２〕
（Ｙ３−Ｙ２）／１６×（Ｘ−３２）＋Ｙ２ 〔３２≦Ｘ＜４８〕
（Ｙ４−Ｙ３）／１６×（Ｘ−４８）＋Ｙ３ 〔４８≦Ｘ＜６４〕
（Ｙ５−Ｙ４）／１６×（Ｘ−６４）＋Ｙ４ 〔６４≦Ｘ＜８０〕
（Ｙ６−Ｙ５）／１６×（Ｘ−８０）＋Ｙ５ 〔８０≦Ｘ＜９６〕
（Ｙ７−Ｙ６）／１６×（Ｘ−９６）＋Ｙ６ 〔９６≦Ｘ＜１１２〕
（Ｙ８−Ｙ７）／１６×（Ｘ−１１２）＋Ｙ７ 〔１１２≦Ｘ＜１２８〕
（Ｙ９−Ｙ８）／１６×（Ｘ−１２８）＋Ｙ８ 〔１２８≦Ｘ＜１４４〕
（Ｙ１０−Ｙ９）／１６×（Ｘ−１４４）＋Ｙ９〔１４４≦Ｘ＜１６０〕
（Ｙ１１−Ｙ１０）／１６×（Ｘ−１６０）＋Ｙ１０〔１６０≦Ｘ＜１７６〕
（Ｙ１２−Ｙ１１）／１６×（Ｘ−１７６）＋Ｙ１１〔１７６≦Ｘ＜１９２〕
（Ｙ１３−Ｙ１２）／１６×（Ｘ−１９２）＋Ｙ１２〔１９２≦Ｘ＜２０８〕
（Ｙ１４−Ｙ１３）／１６×（Ｘ−２０８）＋Ｙ１３〔２０８≦Ｘ＜２２４〕
（Ｙ１５−Ｙ１４）／１６×（Ｘ−２２４）＋Ｙ１４〔２２４≦Ｘ＜２４０〕
（Ｙ１６−Ｙ１５）／１６×（Ｘ−２４０）＋Ｙ１５〔２４０≦Ｘ＜２５６〕
【００５８】
図１０にコントラスト補正回路１０９の入力データと出力データとの関係を示す。図１０（ａ）が「数９」式に、図１０（ｂ）が「数１０」に対応する。ただし、図１０（ｂ）は入力データ、出力データ共に８ビットで、階調設定が９ポイント時の関係を示している。図１０の点線で示した直線は入力データと出力データが等しい場合に相当し（通常のスルー動作）、比較のために描画している。図１０（ａ）では、線形的に中間調のコントラストを向上させることができ、図１０（ｂ）ではポイント間では線形であるものの、全体として任意の曲線を近似的に形成することで、同様に中間調のコントラストを向上させることが可能となる。
【００５９】
図１１に演算回路構成を示した。図１１（ａ）は図１０（ａ）の入出力関係を生成する補正回路で、図１１（ｂ）は図１０（ａ）の入出力関係を生成する補正回路に対応する。１１０１は減算器、１１０２は増幅器（乗算器）、１１０３は加算器で、１１０４は条件回路、１１０５〜１１０７は８入力１出力セレクタである。図１１（ａ）の補正回路は、まず、減算器１１０１にて入力映像データＸと入力オフセットパラメータＸ０との差をとり、その差分データを増幅器１１０２で増幅する。次に加算器１１０３を用いて増幅されたデータに出力オフセットパラメータＹ０を加算し出力データＹを生成する。図１１（ａ）の入力オフセットパラメータＸ０及び出力オフセットパラメータＹ０はマイコン等から設定可能で、設定値に応じて図１０（ａ）の入出力関係を変化させることができる。
【００６０】
図１１（ｂ）の補正回路は、まず映像入力データＸに応じて、条件回路１１０４がセレクタ１１０５からの映像入力データから減算データを選択し、セレクタ１１０６から乗算データを選択し、セレクタ１１０７から加算データを選択することで、「数１０」式の条件処理を行う。次に、選択されたデータに基づき、減算器１１０１、乗算器１１０２、加算器１１０３を用いて「数１０」の演算を行い、図１０（ｂ）の入出力関係を得ることができる。階調ポイントＹ０〜Ｙ８はマイコンから設定するパラメータで、設定値に応じて図１０（ｂ）の入出力関係を変化させ、任意の階調曲線を生成することができる。
【００６１】
このようにコントラスト補正回路１０９で補正した映像データは、差分強調回路１０８で強調された差分データと、加算・クランプ回路１１２で加算され、出力データ（液晶パネル２０５に入力するデータ）が８ビットの場合には、演算結果を８ビットに制限するクランプ回路を通し、画像抽出処理回路２０３の出力として、液晶パネル２０５に送信される。
【００６２】
次に、セレクタ１１４で選択可能な系統Bのフィルタ、輝度増幅回路１１０、色差変換回路１１１について説明する。図１２は輝度増幅回路１１０の内部構成図で、１２０１は減算回路、１２０２は増幅（乗算）回路、１２０３は加算回路、１２０４は条件回路、１２０５は２入力１出力のセレクタ、１２０６はパラメータテーブル、１２０７は４入力１出力セレクタである。輝度増幅演算は前述のコントラスト補正回路と同じ演算で、各演算パラメータはマイコンからは自由に設定できる。ただし、入力データ、出力データがヒストグラム入力データ生成回路１２７で生成した輝度データであることが異なる。減算回路１２０１は輝度データＸと輝度オフセットパラメータＸ０を入力として受け、その差分を増幅器１２０２へ出力後、増幅器１２０２で増幅された輝度データは、輝度オフセットパラメータＹ０を、加算器１２０３で加算され、輝度増幅データとして、２入力１出力セレクタ１２０５の片方の入力端子に転送される。
【００６３】
セレクタ１２０５のもう片方の入力端子には入力輝度データＸが転送され、セレクタ１２０５は条件回路１２０４のセレクト信号により、いずれかのデータを出力する。条件回路１２０４は輝度データＸと色インデックスデータＣとを入力として受け、色インデックスデータＣがパラメータテーブルに設定してある色インデックスのいずれかに一致しているならば、その色インデックスデータに対応するパラメータを、セレクタ１２０７を切り替えて増幅器１２０２に設定する。
【００６４】
この例では、例えば色インデックスデータＣがＣ１であればＫ１を、Ｃ２であればＫ２を増幅器１２０２に設定し、変換データを生成する。条件回路１２０４は、それと同時にセレクタ１２０５を切り替えて、変換データが出力されるように制御する。パラメータテーブルに色インデックスデータＣと一致するデータがない場合、条件回路１２０４はセレクタ１２０５を切り替えて、入力輝度データＸをそのまま出力し、変換データが出力されないようにする。つまり、入力された色インデックスデータＣが、パラメータテーブルに設定されている色インデックスデータのいずれかに一致する場合にのみ、輝度を増幅させるように機能する。
【００６５】
色差変換回路１１１は、ある特定の色を対象に彩度や色相を変化させるように機能する。図１３は色差変換回路１１１の内部構成図で、１３０１〜１３０４は増幅（乗算）器、１３０５と１３０６は加算器、１３０７と１３０８および１３０８は２入力１出力のセレクタ、１３０９は条件回路、１３１０はパラメータテーブル、１３１１は４入力１出力のセレクタである。増幅器１３０１〜１３０４と１３０５、１３０６で構成する演算は、次の「数１１」式に示すとおりである。
【００６６】
「数１１」
Ｃｂ’＝Ｋ×（Ｃｂ−１２８）＋Ｌ×（Ｃｒ−１２８）＋１２８
Ｃｒ’＝Ｍ×（Ｃｂ−１２８）＋Ｎ×（Ｃｒ−１２８）＋１２８
【００６７】
増幅器のパラメータＫ、Ｌ、Ｍ、Ｎは変更可能で、本実施例では、４種のパラメータ設定が可能な構成としている。４種のパラメータは、マイコンインターフェースを介して、マイコンから設定されたデータから構成されるパラメータテーブル１３１０を４入力１出力セレクタ１３１１により切り替えられる。セレクタ１３１１の切り替え制御は条件回路１３０９のセレクト信号が行う。例えば、条件回路１３０９に入力される色インデックスデータＣがＣ１であれば、そのパラメータＫ１、Ｌ１、Ｍ１、Ｎ１が増幅器１３０１〜１３０４に設定され、変換データを生成する。それと同時に条件回路１３０９は２入力１出力セレクタ１３０７、１３０８を制御し、前記変換データが出力されるようにする。色インデックスデータＣがＣ２、Ｃ３、Ｃ４の場合も同様である。色インデックスデータＣがＣ１〜Ｃ４以外の場合、条件回路１３０９が２入力１出力セレクタ１３０７、１３０８を切り替えて、入力色差データＣｂ、Ｃｒを出力し、変換データを出力しないようにするため、色差変換は行われない。つまり、パラメータテーブル１３１０に設定されている色インデックスデータが入力されてきた場合のみ、色差変換を行う回路となっている。
【００６８】
図１４に色インデックスデータが１である色差データ（ａ）を図１３の変換回路を用いて、色インデックスデータが３である（ｂ）の色差データへ変換する例を示した。変換結果はやはり色差データであるが、色インデックスデータが１から３へ変化し、同時に彩度が強くなっている。
【００６９】
これらの輝度増幅回路１１０、色差変換回路１１１から出力されるデータは、輝度、色差データであるため、ＲＧＢで出力する場合には、輝度色差−ＲＧＢ変換回路１１３を介してＲＧＢデータとし、２入力１出力セレクタ１１４の片方の入力端子へ転送される。先に説明したように、２入力１出力セレクタ１１４は、もう片方の入力端子に差分強調回路１０８、コントラスト補正回路１０９から形成されるデータを得ており、マイコン等からセレクタ１１４を制御することで、どちらかのフィルタを選択して出力する。以上がフィルタ部を構成する各回路の説明である。
【００７０】
次に、以上説明した画像抽出処理回路２０３の機能、すなわちヒストグラム生成及びフィルタ処理機能を用いて、図１の構成におけるマイコンの制御方法について説明する。図１５はその制御フローチャートである。図１５の制御フローは常にフレーム毎にスタートする。まず、画像抽出処理回路２０３で生成したヒストグラムを読み込むため、全ヒストグラムレジスタにリードアクセスする。次に、エッジヒストグラムと動きヒストグラムから、動きの度合いを表す動き度を算出する。ただし、この動き度の算出法は後述する。この動き度が閾値を越えた場合、つまり動きが多い映像の場合、次にその動き期間を測定するため、動き期間カウンタを動作させる。動き継続期間、すなわち動きの多い映像が閾値以上のフレーム期間で続いた場合、静止シーンから動きシーンへ遷移したと判断し、フィルタを系統Ａ、すなわち差分強調回路１０８とコントラスト補正回路１０９から生成されるデータを出力することを決める。
【００７１】
系統Ａのフィルタを用いることを決めたので、フィルタに設定すべきパラメータを算出するため、ヒストグラム解析を行う。ただし、このヒストグラム解析については後述する。ヒストグラム解析は、読み込んだヒストグラムレジスタデータを元に行う。ヒストグラム解析によって映像に適したフィルタパラメータを算出後、画像抽出処理回路２０３内部のフィルタパラメータレジスタに設定する。一度系統Ａを選択すると、動き度が閾値未満となり、その期間が閾値以上継続しなければ、系統Ｂへの切り替えは行わない。しかし、動き度が閾値未満となり、その期間が閾値以上継続した場合、すなわち動きの多い映像から動きの少ない映像へ遷移したと判断した場合には、系統Ｂが選択される。
【００７２】
系統Ｂは、輝度増幅回路１１０、色差変換回路１１１から構成されているため、特定色の輝度、彩度、色相を自由に変換することができ、より木目細かな映像を作り出せる。系統Ｂへ切り替えることを決めた後、各ヒストグラムのレジスタデータを元に、ヒストグラム解析後、特定色を決定し、その輝度、彩度、色相をどのように変換するか、またどの程度変換するかといったパラメータを算出する。算出したパラメータは画像抽出処理回路２０３内部のフィルタパラメータレジスタにアクセスして設定する。このように動き度でフィルタの系統を変更するのには次のような理由がある。
【００７３】
一般に、映像の動き（動き度）が大きい場合には、輝度や色を細かく制御しても、すぐ次の映像に変わってしまうため、その効果が印象に残りにくい。むしろ、動いた部分を強調するほうが、時間軸でのコントラストが向上するため、鮮明に見える。特に、液晶ディスプレイのように、光学応答が数ｍｓから数十ｍｓと遅い場合、液晶が映像の変化に追従できないため、映像変化を強調することで見かけ上応答を高める（オーバードライブする）方が効果的である。そこで、映像の動き度が大きい場合には系統A の差分強調回路とコントラスト補正回路を用い、逆に動き度が小さい場合、すなわち静止画とみなせる場合には、より木目細かな階調制御として、輝度や色を変換するフィルタを用いている。つまり、映像の動きによってまずフィルタ系統を選択し、さらに映像の特徴に応じてフィルタパラメータを設定することで、効果的に映像の印象を向上させることができる。以上が全体の大まかな制御フローである。
【００７４】
次に、制御フロー全体の中の各処理方法、すなわち動き度算出、ヒストグラム解析、パラメータ算出について以下詳細に説明する。まず、動き度の算出方法であるが、画像抽出処理回路２０３には、動きヒストグラムとエッジヒストグラムが内蔵されており、この両者を用いて動き度を計算する。先に説明したとおり、エッジヒストグラムとは、各画素とその隣接画素との輝度差分に相当するデータの度数分布で、差分の大きい画素が多い場合には、エッジの効いたシャープな映像であることが分かるし、逆に差分の小さい画素が多い場合には、エッジの少ない平坦な映像であることが分かる。
【００７５】
また、動きヒストグラムは、前フレームと現フレームの輝度差分に相当するデータの度数分布で、差分の大きい画素が多い場合には、コントラストの高い映像への変化であることが分かるし、差分の小さい画素が多い場合には静止画に近い映像だということが分かる。したがって、動きヒストグラムの分布で動き度がある程度把握することはできる。しかし、完全な静止画であっても、エッジ付近の画素は、輝度がフレーム間で変化しやすいため、ヒストグラムが特定の範囲に完全に集中しない。つまり、エッジの多い静止画では、動き（ゆらぎ）が存在するため、動きヒストグラムのみで動き度を判断するのは妥当でない。そこで、エッジヒストグラムも導入して、動き度を決めることとした。
【００７６】
図１６は動き度を求めるヒストグラムの例で、（ａ）、（ｄ）はそれぞれエッジの少ない静止画映像のエッジヒストグラムと動きヒストグラム、（ｂ）、（ｅ）はそれぞれエッジの多い静止画映像のエッジヒストグラムと動きヒストグラム、（ｃ）、（ｆ）はそれぞれエッジの少ない動画像のエッジヒストグラムと動きヒストグラムである。（ａ）のようにエッジが少なければ、静止画で映像のゆらぎが少なく、（ｄ）のように動きヒストグラムのみで、より確実に静止画像であるという判断が可能であるが、（ｂ）のようにエッジが多くなると、静止画でも映像のゆらぎで（ｅ）のように動きヒストグラムが（ｄ）と比較して分散する方向へ変化する傾向がある。
【００７７】
この場合、（ｃ）のようなエッジの少ない映像が多少動いて（ｆ）の動きヒストグラムとなると、静止画であるか動画であるかの区別がつきにくい。そこで、エッジの度合いに応じて動き易さを求め、動き度を下記「数１２」式を用いて算出した。ただし、Ｍｉは動きヒストグラムの各ヒストグラムユニットのカウントデータ、Ｅｉはエッジヒストグラムの各ヒストグラムユニットのカウントデータ、ｍは動き度を示す。αｉ、βｉは共に、各ヒストグラムユニットのカウント対象範囲における平均値である。「数１２」式を用いて動き度を算出し、図１４に示したフローでフィルタを選択することができる。
【００７８】
「数１２」
ｍ＝( Σαｉ×Ｍｉ )／（Σβｉ×Ｅｉ ）
【００７９】
次に、ヒストグラムデータを用いて、ヒストグラム解析し、各フィルタのフィルタパラメータを算出する方法について説明する。まず、ユーザーの視点について考えると、主としてディスプレイの中心に焦点が集中している場合が多いことが挙げられる。またアスペクト比調節のための無効データ、字幕等の補助映像を考慮すると、少なくとも有効な映像そのものはディスプレイの中心に存在するであろうという経験から、ウィンドウをディスプレイの中央に設定することが望ましい。したがって、まずヒストグラムはディスプレイ中央のデータを対象として形成する。
【００８０】
図１７は前記範囲で形成されたヒストグラムの例を示す。図１７（ａ）は１６レベルの輝度ヒストグラム、図１７（ｂ）は１２色と無色の合わせて計１３色の色ヒストグラムである。図１７のヒストグラムから映像の特徴を以下のように推測できる。
（１）図１７（ａ）から多階調映像で、中間調が多く使われている。
（２）図１７（ｂ）からウィンドウ内の映像に使われている色は主に、４（例えば赤）、５（例えば橙）、８（例えば緑）とＦ（無色）である。
【００８１】
仮に、動き度から静止画と判断した場合には、主として使われている色、つまりこの場合は４（赤）、５（橙）、８（緑）を対象として、図２に示した色差変換回路１１１を用いて色差変換することで映像の鮮明さを強調することができる。図１７は前記３つの主色の彩度を変換した結果を示す。図１７（ａ）は変換前のＣｂ−Ｃｒ座標における３つの主色が形成する領域を、図１７（ｂ）は変換後のそれを示す。データのグラデーションの具合は図１６（ａ）に示す通り、中間調に集中しているものの、全体に分散しているため、三角形で形成される領域に様々な色が点在している可能性が高いと判断できる。
【００８２】
そこで、図１７のように三角形の領域を広く拡張すると、色の再現範囲や、色と色との距離を増加させるため、映像の色のコントラストが向上する。つまり、赤はより赤に、橙はより橙に、緑もより緑に変換され、その合成より形成される色も強調される。また、前記色差変換に加え、さらに図２に示した輝度増幅回路１１０を用いることで、輝度を増幅させ、全体を明るいイメージしてもよい。このように、ヒストグラムにより映像の主となる色を見出し、その主色を色差変換や輝度増幅で、見かけ上、その明るさ、色再現性を向上し、映像を鮮明に映し出すことが可能となる。
【００８３】
ただし、実際には、このような演繹的な自動制御方法は、必ずしも良い映像を生成するとは限らない。そこで、次のように映像のヒストグラムと制御方法に関するデータベースに基づき、制御方法を組み合わせる。図１９は輝度ヒストグラムと色ヒストグラムの代表的なヒストグラムパターンを示す。図１９（ａ）は輝度ヒストグラムのパターン例を、図１９（ｂ）は色ヒストグラムのパターン例を示す。図１９（ａ）の（１）は中間調画素が多く、明るい画素と暗い画素が少ないタイプ、（２）はそれとは逆に、明るい画素及び暗い画素が多く、中間調画素が少ないタイプで、（３）は暗い画素が少なく、明るい画素が多いタイプ、（４）はそれとは逆に、暗い画素が多く、明るい画素が少ないタイプである。
【００８４】
図１９（ｂ）の（１）は多くの色が使われているタイプ、（２）は暖色が多く用いられているタイプ、（３）は寒色が多く用いられているタイプ、（４）が数色の分散した主色が用いられているタイプである。図２０に図１９の輝度、色ヒストグラムの各パターンによって考えられる組み合わせと各フィルタに設定するフィルタパラメータ群の対応をテーブルとして示した。ここで（５）とは、著しく図１９のパターンにマッチしない場合を示す。図２０によると、５×５のマトリクスで形成される組み合わせに対するフィルタパラメータ群は計２５通り存在し、各組み合わせに対するフィルタパラメータ群を図１９との対応に合わせてＰ（ａｉ，ｂｊ）で示している。
【００８５】
フィルタパラメータ群Ｐ（ａｉ，ｂｊ）には、輝度及び色ヒストグラムパターンの組み合わせに適した、図２中の１０８〜１１１に示すフィルタのそれぞれのパラメータが格納されている。Ｐ（ａｉ，ｂｊ）に格納しているフィルタパラメータ群は、様々な映像を対象とするディスプレイに表示した際に、輝度ヒストグラム及び色ヒストグラムと、フィルタパラメータの組み合わせで、最も画質改善に効果がある関係を導出し、データベース化した結果であり、先に述べた演繹的な方法と比較して、統計的に効果が保証されていることを前提としている。ただし、（５）として示したようなどのパターンにも著しく一致しないという映像も存在するため、その場合には先に述べた演繹的な方法で処理する。より適切なパラメータを算出するために、映像のヒストグラムが、できる限りヒットするようにパターン数を増やしたり、前記パターンを基本パターンとして、パターンの組み合わせも考慮してパラメータを補完したりするなど工夫することも可能である。
【００８６】
このように、エッジヒストグラムと動きヒストグラムに基づいて動き度を算出し、その動き度に応じて映像を動画もしくは静止画に分類し、それぞれに適したフィルタを選択後、輝度ヒストグラムと色ヒストグラムのパターンによって、選択したフィルタのパラメータを、統計的に効果が保証されているデータベースから選び出すことで、映像やディスプレイの特性に適した画像処理を施すことができる。
【００８７】
〔第２実施例〕
次に、本発明の第２実施例を説明する。ヒストグラム入力データは、画像抽出処理回路２０３の入力データを元に生成するため、例えば、フォーマット変換回路２０２で出力されるデータがすでにフィルタ処理されている場合には、画像抽出処理回路２０３で生成するヒストグラムはオリジナル映像から生成したものと異なる。フォーマット変換回路には、例えばエッジ強調回路やスケーラー（拡大縮小回路）などの画像処理回路が内蔵されているため、ヒストグラム生成に影響する可能性がある。そこで、第２実施例では、画像処理された入力データを補正してヒストグラムを生成する補正手段を追加した。
【００８８】
「数１３」式は第２実施例のＲＧＢ−輝度色差変換回路で行う演算式で、輝度ゲインＫＹ、色差ゲインＫＣを「数１」式に追加し、輝度データ及び色差データを増減できる演算とした。
【００８９】
「数１３」
Ｙ＝ＫＹ×（０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ）
Ｃｂ＝ＫＣ×（０．５００×Ｒ−０．４１９×Ｇ−０．０８１×Ｂ＋１２８
Ｃｒ＝ＫＣ×（−０．１６９×Ｒ−０．３３１×Ｇ＋０．５００×Ｂ＋１２８
ただし、「数１３」式のＹ、Ｃｂ、Ｃｒデータはヒストグラム入力データにのみ用い、輝度増幅回路１１０、色差変換回路１１１へは「数１」式で求めたＹ、Ｃｂ、Ｃｒデータを用いる。
【００９０】
「数１３」式より、輝度ゲインＫＹを大きくすれば、Ｙは大きなデータとなるため、輝度ヒストグラムは明るい方へ偏る。逆に小さくすれば、暗い方へ偏る。仮に、フォーマット変換回路２０２で映像を明るくするように階調制御を施していた場合、画像抽出処理回路２０３に入力されるデータは、オリジナルデータよりも明るくなっているため、生成したヒストグラムは明るい方へ偏ることになる。そこで、輝度ゲインＫＹを小さくし、その偏りを補正するといった例が挙げられる。
【００９１】
色差の補正も同様で、色差ゲインＫＣを大きくすれば、彩度の高い色差データが生成され、小さくすれば彩度の低い色差データが生成される。色ヒストグラムは彩度境界に基づき有色か無色を判定しているため、色ヒストグラムは色差ゲインＫＣに応じて有色側に偏るか、無色側に偏ることになる。例えば、フォーマット変換回路２０２により、彩度を強調した映像データが画像抽出処理回路２０３に入力されてきた場合、有色側へ偏るため、やはりオリジナルと異なる色ヒストグラムとなる。そこで、色差ゲインＫＣを小さくすることで彩度を補正し、色ヒストグラムの有色側への偏りを補正することができる。
【００９２】
また、エッジ強調された映像が入力される場合にも、「数１４」式のようにエッジゲインＫＥで補正することができる。
「数１４」
Ｅ（ｉ，ｊ）＝ＫＥ×｜Ｙ０（ｉ，ｊ）−（Ｙ０（ｉ，ｊ−１）＋Ｙ０（ｉ，ｊ＋１））／２｜
エッジゲインＫＥは、小さくするとエッジが弱いエッジデータが生成され、大きくするとエッジが強いエッジデータが生成される。したがって、フォーマット変換回路２０２でエッジ強調した際の補正や、画像のゆらぎやノイズを抑えるために、エッジゲインで調整することができ、動き度算出時の影響を低減することができる。
【００９３】
フォーマット変換回路２０２でのエッジ強調やスケーラー処理は、マイコン２０１が制御バス２１２を介して設定するため、その設定値はマイコン側ですでに情報として所持している。したがって、その設定値に対して、画像抽出処理回路203 に設定すべき適切なゲインを推定することは可能である。したがって、フォーマット変換回路２０２で処理された映像データであっても、前記ゲイン調整でデータを補正することでオリジナル映像に近いヒストグラムを得ることができる。
【００９４】
本実施例の機能を用いれば、画像抽出処理回路２０３のヒストグラム機能のみを用いて画像を解析し、フォーマット変換回路２０２のフィルタを使って画質処理を行うことができるため、画像抽出処理回路２０３で余計なフィルタを持つ必要がなくなり、低回路規模で実現できる利点がある。あるいは、フォーマット変換回路２０２がより高性能なフィルタを搭載している場合には、そのフィルタを用いることもできるという、より柔軟性の高いシステムが構成できる。
【００９５】
図２１は本発明を適用した表示装置の一例である液晶テレビ受像機の外観図である。この液晶テレビ受像機は、その表示部に上記本発明の実施例で説明した画像処理機能を有する表示装置が実装され、適宜のスタンド部で直立に保持されている。なお、本発明は図示した形状の液晶テレビ受像機に限らず、動画表示機能を持つパソコン、ディスプレイモニター、その他の表示機器にも同様に適用できることは言うまでもない。
【００９６】
【発明の効果】
以上説明したように、本発明によれば、映像の持つ特徴を輝度、色、エッジ、動きヒストグラムで抽出することで、映像を特徴別に分類でき、各特徴に適したフィルタとそのパラメータを情報化したデータベースを用いて、動き、コントラストを強調するフィルタ、色彩を変換するフィルタで画像処理することで、自動的に画質を向上させることができ、高品質の表示装置を提供できる。
【図面の簡単な説明】
【図１】 本発明による表示装置の実施例のシステム構成を説明するブロック図である。
【図２】 図１における画像特徴抽出画像処理回路内部の構成を説明するブロック図である。
【図３】 本発明の実施例における色差−彩度変換テーブルの説明図である。
【図４】 本発明の実施例における色差−色相変換テーブルの説明図である。
【図５】 本発明の実施例における彩度色相境界図の説明図である。
【図６】 本発明の実施例におけるヒストグラムユニット説明図の説明図である。
【図７】 本発明の実施例における１６ユニットを有するヒストグラムの説明図である。
【図８】 本発明の実施例における差分強調フィルタのデータとパラメータの対応図である。
【図９】 本発明の実施例における差分強調フィルタ回路の説明図である。
【図１０】 本発明の実施例におけるコントラスト補正フィルタによる入出力関係の説明図である。
【図１１】 本発明の実施例におけるコントラスト補正フィルタ回路の説明図である。
【図１２】 本発明の実施例における輝度増幅フィルタ回路の説明図である。
【図１３】 本発明の実施例における色差変換フィルタ回路の説明図である。
【図１４】 本発明の実施例における色差変換の説明図である。
【図１５】 本発明の実施例におけるマイコン制御フローチャートである。
【図１６】 本発明の実施例におけるエッジヒストグラムと動きヒストグラム例の説明図である。
【図１７】 本発明の実施例における輝度ヒストグラムと色ヒストグラム例の説明図である。
【図１８】 本発明の実施例における色差変換の説明図である。
【図１９】 本発明の実施例における輝度ヒストグラムと色ヒストグラムのパターン例の説明図である。
【図２０】 本発明の実施例におけるヒストグラムパターンとフィルタパラメータのデータベース例の説明図である。
【図２１】 本発明を適用した表示装置の一例である液晶テレビの外観図である。
【符号の説明】
１０１…マイコンインターフェース、１０２…ＲＧＢ−輝度色差変換回路、１０３…ＲＧＢ−輝度変換回路、１０４…色差−彩度色相変換回路、１０５…彩度色相−色インデックス変換回路、１０６…エッジデータ生成回路、１０７…動きデータ生成回路、１０８…差分強調回路、１０９…コントラスト補正回路、１１０…輝度増幅回路、１１１…色差変換回路、１１２…加算クランプ回路、１１３…輝度色差−ＲＧＢ変換回路、１１４…２入力１出力セレクタ、１１５…輝度ヒストグラムカウンタ、１１６…色ヒストグラムカウンタ、１１７…エッジヒストグラムカウンタ、１１８…動きヒストグラムカウンタ、１１９…輝度ヒストグラムレジスタ、１２０…色ヒストグラムレジスタ、１２１…エッジヒストグラムレジスタ、１２２…動きヒストグラムレジスタ、１２３…メモリ制御回路、１２４…ウィンドウ制御回路、１２５…フィルタ部、１２６…ヒストグラム部、１２７…ヒストグラム入力データ生成部、２０１…マイコン、２０２…フォーマット変換回路、２０３…画像特徴抽出画像処理回路、２０４…フレームメモリ、２０５…液晶パネル、２０６…データリードバス、２０７…データライトバス、２０８…映像入力バス、２０９…入力データバス、２１０…出力データバス、２１１…データ入出力バス、６０１…ヒストグラムカウンタ、６０２…ヒストグラムレジスタ、６０３…条件回路、６０４…カウンタ、６０５…ヒストグラム入力データバス、６０６…条件入力データバス、６０７…イネーブル信号バス、６０８…レジスタロードバス、６０９…レジスタリードバス、９０１…減算器、９０２…増幅器、９０３…条件回路（ａ）、９０４…２入力１出力セレクタ、９０５…条件回路（ｂ）、９０６…１６入力１出力セレクタ、１１０１…減算器、１１０２…増幅器、１１０３…加算器、１１０４…条件回路、１１０５…８入力１出力セレクタ、１１０６…８入力１出力セレクタ、１１０７…８入力１出力セレクタ、１２０１…減算器、１２０２…増幅器、１２０３…加算器、１２０４…条件回路、１２０５…２入力１出力セレクタ、１２０６…パラメータテーブル、１２０７…４入力１出力セレクタ、１３０１…増幅器、１３０２…増幅器、１３０３…増幅器、１３０４…増幅器、１３０５…加算器、１３０６…加算器、１３０７…２入力１出力セレクタ、１３０８…２入力１出力セレクタ、１３０９…条件回路、１３１０…パラメータテーブル、１３１１…４入力１出力セレクタ。
Claims (9)
- 複数の映像フォーマットの映像信号を表示する表示装置において、
前記複数の映像フォーマットの映像信号を入力として受けて任意の映像フォーマットの映像信号へ変換するフォーマット変換回路と、
複数種類のヒストグラムと複数の画像処理フィルタを有する画像特徴抽出画像処理回路と、
前記映像信号の１フレームを保持し、１フレーム時間遅延するフレームメモリと、
前記フォーマット変換回路と前記画像特徴抽出画像処理回路の動作を制御するデータ処理回路と、
前記映像信号を表示する表示デバイスを備え、
前記データ処理回路は、前記複数種類のヒストグラムに蓄積されたデータのうち、エッジヒストグラムと動きヒストグラムのデータから動き度を算出し、前記動き度に応じて、前記複数のフィルタのうち適切なフィルタの組み合わせを選択し、輝度ヒストグラムと色ヒストグラムのデータからヒストグラムパターンとフィルタ特性とを対応付けるデータベースを元に、前記選択されたフィルタの特性を決定することを特徴とする表示装置。 - 前記複数種類のヒストグラムは、輝度、色、エッジ、動きの少なくとも２つに相当するデータを抽出して生成されることを特徴とする請求項１に記載の表示装置。
- 前記複数種類のヒストグラムは、前記抽出したデータを補正した補正データに基づいて生成されることを特徴とする請求項２に記載の表示装置。
- 前記複数の画像処理フィルタは、少なくともグレースケールのコントラストを変換するフィルタ、映像のフレーム差分を増幅するフィルタ、輝度を変換するフィルタ、色相を変換するフィルタ、彩度を変換するフィルタを備えることを特徴とする請求項１乃至３の何れかに記載の表示装置。
- 前記複数の画像処理フィルタは、フィルタの特性を変更可能であることを特徴とする請求項４に記載の表示装置。
- 前記画像特徴抽出画像処理回路は、前記データ処理回路から複数の内蔵するヒストグラムに蓄積されたデータを読み出し、複数の内蔵するフィルタの動作を設定することが可能であることを特徴とする請求項１乃至５の何れかに記載の表示装置。
- 前記画像特徴抽出画像処理回路は、前記内蔵する複数のヒストグラムの対象とするフレーム内の映像領域を変更することが可能であることを特徴とする請求項６に記載の表示装置。
- 前記画像特徴抽出画像処理回路は、前記内蔵する複数のフィルタを切り替え可能であることを特徴とする請求項７に記載の表示装置。
- 前記データ処理回路は、前記画像特徴抽出画像処理回路から前記複数のヒストグラムに蓄積されたデータを読み出し、前記ヒストグラムのデータに基づいて前記複数のフィルタから適切なフィルタを選択し、かつ適切なフィルタ特性を生成するように前記画像特徴抽出画像処理回路に設定することを特徴とする請求項１乃至８の何れかに記載の表示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002363687A JP3891928B2 (ja) | 2002-12-16 | 2002-12-16 | 表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002363687A JP3891928B2 (ja) | 2002-12-16 | 2002-12-16 | 表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004198479A JP2004198479A (ja) | 2004-07-15 |
| JP3891928B2 true JP3891928B2 (ja) | 2007-03-14 |
Family
ID=32761763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002363687A Expired - Fee Related JP3891928B2 (ja) | 2002-12-16 | 2002-12-16 | 表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3891928B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8428388B2 (en) | 2010-01-29 | 2013-04-23 | Samsung Electronics Co., Ltd | Image generating apparatus and method for emphasizing edge based on image characteristics |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4552397B2 (ja) * | 2003-07-25 | 2010-09-29 | ソニー株式会社 | 画像処理装置およびその方法 |
| JP2006030911A (ja) * | 2004-07-21 | 2006-02-02 | Toshiba Corp | 情報処理装置および表示制御方法 |
| EP1622119A1 (en) * | 2004-07-29 | 2006-02-01 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for power level control and/or contrast control of a display device |
| JP4277773B2 (ja) | 2004-09-21 | 2009-06-10 | 株式会社日立製作所 | 映像表示装置 |
| JP4073477B2 (ja) | 2005-03-25 | 2008-04-09 | 三菱電機株式会社 | 画像処理装置、及び画像表示装置 |
| JP2006295377A (ja) * | 2005-04-07 | 2006-10-26 | Mitsubishi Electric Corp | 映像表示装置 |
| JP4693159B2 (ja) * | 2005-07-20 | 2011-06-01 | 株式会社バンダイナムコゲームス | プログラム、情報記憶媒体及び画像生成システム |
| JP5017836B2 (ja) * | 2005-09-29 | 2012-09-05 | ソニー株式会社 | 画像表示装置および方法、プログラム並びに記録媒体 |
| JP5169132B2 (ja) | 2006-11-10 | 2013-03-27 | セイコーエプソン株式会社 | 画像表示制御装置 |
| JP4850689B2 (ja) * | 2006-12-22 | 2012-01-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム並びに記憶媒体 |
| KR101365444B1 (ko) * | 2007-11-19 | 2014-02-21 | 삼성전자주식회사 | 영상의 해상도의 조정을 통하여 동영상을 효율적으로부호화/복호화하는 방법 및 장치 |
| KR101509244B1 (ko) * | 2008-07-14 | 2015-04-06 | 엘지전자 주식회사 | 영상표시기기 및 그의 제어 방법 |
| JP5159591B2 (ja) * | 2008-12-19 | 2013-03-06 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| WO2011011542A1 (en) * | 2009-07-21 | 2011-01-27 | Integrated Device Technology, Inc. | A method and system for detection and enhancement of video images |
| JP5651340B2 (ja) * | 2010-01-22 | 2015-01-14 | ミツミ電機株式会社 | 画質制御装置、画質制御方法、及び画質制御プログラム |
| JP2015517233A (ja) * | 2012-02-29 | 2015-06-18 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 改善された画像処理およびコンテンツ送達のための画像メタデータ生成 |
| JP5319814B2 (ja) * | 2012-03-22 | 2013-10-16 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
| JP5399578B2 (ja) | 2012-05-16 | 2014-01-29 | シャープ株式会社 | 画像処理装置、動画像処理装置、映像処理装置、画像処理方法、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体 |
-
2002
- 2002-12-16 JP JP2002363687A patent/JP3891928B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8428388B2 (en) | 2010-01-29 | 2013-04-23 | Samsung Electronics Co., Ltd | Image generating apparatus and method for emphasizing edge based on image characteristics |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004198479A (ja) | 2004-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3891928B2 (ja) | 表示装置 | |
| US8131108B2 (en) | Method and system for dynamic contrast stretch | |
| JP4702132B2 (ja) | 画像処理装置、液晶表示装置および色補正方法 | |
| JP3375921B2 (ja) | 入力映像の輝度を維持する画質改善装置及びその方法 | |
| JP4419933B2 (ja) | 画像処理装置、画像表示装置および画像処理方法 | |
| US11915661B2 (en) | Backlight adjusting method of display device, backlight adjusting device and display device | |
| US20110013834A1 (en) | Apparatus and method for feature-based dynamic contrast enhancement | |
| US8280162B2 (en) | Image processing apparatus and recording medium recording image processing program | |
| JP2010500839A (ja) | 画像色域マッピング | |
| JP2008508768A (ja) | 飽和制御されたカラー画像の色相の維持 | |
| JP5089783B2 (ja) | 画像処理装置及びその制御方法 | |
| JP4758999B2 (ja) | 画像処理プログラム、画像処理方法、画像処理装置 | |
| JP6190482B1 (ja) | 表示制御装置、表示装置、テレビジョン受像機、表示制御装置の制御方法、制御プログラム、及び記録媒体 | |
| JP2005025448A (ja) | 信号処理装置、信号処理プログラム、および電子カメラ | |
| Kwon et al. | CAM-based HDR image reproduction using CA–TC decoupled JCh decomposition | |
| JP2002132225A (ja) | 映像信号補正装置およびそれを用いたマルチメディア計算機システム | |
| JP2003348377A (ja) | 画像表示装置および画像処理装置、並びに画像処理方法 | |
| JP4174656B2 (ja) | 画像表示装置および画像処理装置、並びに画像処理方法 | |
| JP2004266757A (ja) | 画像処理装置および方法 | |
| JP2007151094A (ja) | 画像の階調変換装置、プログラム、電子カメラ、およびその方法 | |
| JP2003046807A (ja) | 画像表示装置および画像表示方法 | |
| JP2008193645A (ja) | 明るさ補正装置、その方法、および、表示装置 | |
| JPH077685A (ja) | テレビジョン受像機 | |
| JP2012227917A (ja) | 画像処理回路、半導体装置、画像処理装置 | |
| JP2004112473A (ja) | 階調補正装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040716 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060713 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060808 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061006 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061121 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061205 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111215 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111215 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121215 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131215 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |