JP5332172B2 - 画像表示制御装置 - Google Patents

Description

本発明は、画像表示制御装置等に関する。

特許文献１には、表示画像の輝度信号の補正のために、ルックアップテーブル（ＬＵＴ）を使用する画像補正装置が記載されている。

また、特許文献２には、省電力化のためにバックライトの発光光量を低下させ、一方、液晶表示画面の透過率をできるだけ上げるように画像データを調整する技術が開示されている。
特開２００４−３１０６７１号公報 特開平１１−６５５３１号公報

画像補正のためにルックアップテーブル（ＬＵＴ）を使用すると、演算処理を簡略化することはできるが、メモリアクセスに時間がかかるため、高速性が要求される場合には、高速のハードウエアを用いてリアルタイムで画像補正を実行する必要がある。

しかし、適応的な画像補正を行う場合には、前回フレームの統計値を取得し、取得された統計値を用いて補正係数等を演算し、その補正係数等を用いて次のフレームの画像を補正する、という手順となるため、１フレーム分の画像の入力が完了してから、補正係数が算出されるまで、次のフレームの画像の補正処理を待つ必要が生じる。つまり、補正係数の演算に要する時間分は、動画の画像補正が遅延する。したがって、厳密な意味でのリアルタイム処理は実現できない。

また、単なる画像補正ではなく、省電力化のためのバックライトの適応的な減光と、この減光に伴う画質劣化を防止するための適応的な画像補正とを同時に行う場合は、処理内容が複雑であるため演算量が増加し、リアルタイム処理は、さらに困難となる。

また、省電力化のためのバックライトの適応的な減光と、この減光に伴う画質劣化を防止するための適応的な画像補正とを同時に行う場合に、膨大な演算を高速に行おうとすると、同種のハードウエアを並列に動作させる必要があり、回路の占有面積および消費電力の増大を招く。このことは、例えば、ワンセグ放送のようなストリーミング画像を高画質で再生表示可能な携帯端末の小型化、低消費電力化（電池の長寿命化）の妨げとなる。

本発明は、このような考察に基づいてなされたものである。本発明の幾つかの態様によれば、例えば、統計値に基づく、リアルタイムの動画の画像補正を実現することができる。また、例えば、省電力化のための照明の適応的な減光と、この減光に伴う画質劣化を防止するための適応的な画像補正とを同時に行う場合でも、リアルタイム処理、回路規模の抑制ならびに回路の低消費電力化を実現することができる。

本発明の画像表示制御装置は、動画像の画像信号を補正する画像表示制御装置であって、１フレーム毎に前記画像信号の統計情報を取得する統計情報取得部と、前回フレームの前記統計情報を用いて、画像信号の補正に用いられる補正係数を生成する演算器と、前記補正係数を用いて前記画像信号を補正する画像補正部と、を有し、前記１フレームの一部に有効画素評価領域が設定され、前記統計情報取得部は、前記有効画素領域に対応した前記画像信号についての前記統計情報を取得し、その統計情報の取得が終了すると、前記１フレームの終了を待たずに前記統計情報の取得処理を終了し、取得した前記統計情報を前記演算器に供給し、前記演算器は、前記１フレームが終了するまでの期間において前記統計情報に基づいて前記補正係数を算出し、前記画像補正部は、算出された前記補正係数を用いて、前記動画像の、前記前回フレームの次のフレームの画像信号の補正を実行する。

１フレーム分の画像の統計情報を取得する場合に、そのフレームの一部の画像（例えば、周辺部分の画像）を統計情報の取得対象から外したとしても、得られる統計値の精度には大きな影響はない。そこで、統計情報取得部において、１フレーム分の全画像の統計値の取得を待たずに統計値取得処理を終了させ、１フレームが終了するまでの残りの時間内において、取得された統計値に基づいた補正係数の算出を行う。そして、算出された前記補正係数を用いて、次のフレームの画像信号の補正を実行する。したがって、動画像の各フレームの画像信号が、順次、入力されたとしても、統計値に基づく適正な画像補正を、待ち時間無く実行することができ、画像補正のリアルタイム処理が実現される。

また、本発明の画像表示制御装置の他の態様では、前記統計情報取得部は、前記１フレームの最後の１行分の統計値の取得を行わずに前記統計値の取得処理を終了し、前記演算器（２１８）は、前記１フレームの最後の１行に相当する時間内に前記補正係数の算出を完了させる。

できるだけ多くの画像について統計値を取得するのが望ましいため、最後の１行のみを、統計値の取得対象から除外したものである。また、補正係数の演算態様を工夫すれば、最後の１行に相当する時間内に補正係数を算出することは十分に可能である。本態様では、可能な限り多くの統計値を取得するため、統計値の精度はほとんど低下せず、したがって、リアルタイムかつ高精度の画像補正が実現される。

また、本発明の画像表示制御装置の一態様では、前記演算器は、前記前回フレームの統計情報を用いて、前記画像信号に応じて適応的に画像表示用の照明を減光する調光制御が実行されたときの減光後の照明輝度も演算すると共に、前記照明の減光に伴う画質低下を補償するための前記画像信号の補正に用いられる前記補正係数を生成する。

省電力化のためのバックライトの適応的な減光と、この減光に伴う画質劣化を防止するための適応的な画像補正とを同時に行う場合の画像表示制御に、上述の本発明の技術を適用するものである。減光後の照明輝度の演算と、画像の補正係数の演算とを同時に行う必要があることから演算量は増えるが、演算態様を工夫すれば、高速な演算が可能である。したがって、この場合にも、統計値に基づく適正な画像補正を、待ち時間無く実行することができ、画像補正のリアルタイム処理が実現される。

また、本発明の画像表示制御装置の一態様では、さらに、前記演算器の動作手順を指定するための複数のコードを記憶しているコード記憶部と、前記コード記憶部からの前記コードの出力順を制御するシーケンス指示部と、前記コード記憶部から出力される前記コードをデコードして、前記演算器に供給するための命令およびデータの少なくとも一つを生成するデコーダと、を有する。

照明の適応的な減光処理および画像補正処理を、共通の演算器（共用演算器）によるリアルタイム演算によって実現するものである。その演算によって、画像補正用の補正係数と減光後の照明輝度とがリアルタイムで算出され、算出された補正係数を用いた画像補正が実行される。共用演算器の演算は、信号処理手順をコード化したマイクロコードによって制御される。共用化された演算器を用いることによって、同種のハードウエアを並列に設ける必要なくリアルタイム演算が可能となり、最小の回路、最小の消費電力により、高速な調光制御および画像補正を実現することができる。したがって、例えば、省電力化のための照明の適応的な減光と、この減光に伴う画質劣化を防止するための適応的な画像補正とを同時に行う場合でも、リアルタイム性、回路規模の抑制ならびに低消費電力性を実現することができる。

また、本発明の画像表示制御装置の一態様では、前記演算器は、第１および第２のマルチプレクサと、算術論理演算ユニットと、前記算術論理ユニットの演算結果を振り分ける分配器と、有し、前記デコーダから、前記第１および第２のマルチプレクサに対しては係数が、前記算術論理ユニットに対しては演算命令が、前記分配器に対しては振り分け情報が、各々供給される。

演算器の具体的構成の一例を明確化し、かつ、構成要素の各々にどのような命令あるいはデータが供給されるのかを明確化したものである。すなわち、本態様では、複数のマルチプレクサと、算術論理ユニット（ＡＬＵ）と、分配器とによって共用演算器が構成される。マルチプレクサに対しては演算に用いられる係数が供給され、ＡＬＵには命令（オペコード）が供給され、分配器には、分配先情報が供給される。

また、本発明の画像表示制御装置の他の態様では、前記演算器は、さらに、複数の出力先レジスタと、前記複数の出力先レジスタに蓄積された信号の少なくとも一部を入力側に帰還させる帰還経路と、を有する。

演算器が、演算結果を入力側に戻すための帰還経路を有する点を明確化したものである。これによって、例えば、まず、第１の演算処理によって減光後の照明輝度を求め、その演算結果を入力側に戻して、その求められた照明輝度に基づいて画像の補正係数を求める、というような処理が可能となる。また、演算器が帰還経路をもつことによって、シーンチェンジに伴うフリッカ（視覚的なちらつき）防止のための巡回型（ＩＩＲ）のフィルタ処理を実行することも可能となる。

また、本発明の画像表示制御装置の他の態様では、前記コード記憶部に記憶される前記コードは、前記画像表示用の照明を表示画像に応じて適応的に減光し、かつ前記照明の減光に伴う画質低下を補償するように画像信号を補正するためのプログラミング言語によるアルゴリズムの記述を変換して得られるマイクロコードである。

例えば、高級プログラミング言語で作成されたアルゴリズムを、一括変換してマイクロコードを生成し、ＲＯＭ（読出し専用メモリ）に書き込むことによって、効率的にコードテーブルを作成することができる。アルゴリズム（マイクロコード）を変更することによって、共用演算器による演算内容を、比較的容易に変更することができる。したがって、設計変更に柔軟に対応することができる。

また、本発明の電気光学装置の駆動装置は、本発明の画像表示制御装置を搭載する。
本発明の画像表示制御装置（画像表示制御ＬＳＩ）を、電気光学装置（液晶表示装置を含む）の駆動装置（ドライバ）に搭載するものである。本発明の画像表示制御装置（画像表示制御ＬＳＩ）は、ストリーミング画像のような動画像を処理可能なリアルタイム性、優れた省電力性および小型化が可能である、という特性を備えている。よって、駆動装置（ドライバ）の付加価値が向上する。

また、本発明の電気光学装置の制御装置は、本発明の画像表示制御装置を搭載する。

本発明の画像表示制御装置（画像表示制御ＬＳＩ）を、電気光学装置（液晶表示装置を含む）の制御装置（コントローラ）に搭載するものである。本発明の画像表示制御装置（画像表示制御ＬＳＩ）は、ストリーミング画像のような動画像を処理可能なリアルタイム性、優れた省電力性および小型化が可能である、という特性を備えている。よって、制御装置（コントローラ）の付加価値が向上する。

また、本発明の電気光学装置の駆動制御装置は、本発明の画像表示制御装置を搭載する。

本発明の画像表示制御装置（画像表示制御ＬＳＩ）を、電気光学装置（液晶表示装置を含む）の駆動制御装置（ドライバとコントローラが一体化された装置）に搭載するものである。本発明の画像表示制御装置（画像表示制御ＬＳＩ）は、ストリーミング画像のような動画像を処理可能なリアルタイム性、優れた省電力性および小型化が可能である、という特性を備えている。よって、駆動制御装置（ドライバとコントローラが一体化された装置）の付加価値が向上する。

また、本発明の電子機器は、本発明の画像表示制御装置を搭載する。

例えば、本発明の画像表示制御装置（ＬＳＩ）を携帯端末（携帯電話端末、ＰＤＡ端末、携帯可能なコンピュータを含む）に搭載することによって、ワンセグ放送等のストリーミング画像を高画質で表示することができ、かつ、電池の長寿命化を実現することができる。

本発明の少なくとも一つの実施態様によれば、例えば、以下の効果が得られる。但し、以下の効果が同時に得られるとは限らず、以下の効果の列挙が、本発明を不当に限定する根拠として用いられてはならない。
（１）１フレーム分の全画像の統計値の取得を待たずに統計値取得処理を終了させ、１フレームが終了するまでの残りの時間内において、取得された統計値に基づいた補正係数等の算出を実施することによって、動画像の各フレームの画像信号が、順次、入力されたとしても、統計値に基づく適正な画像補正を、待ち時間無く実行することができ、画像補正のリアルタイム処理が実現される。また、特別な回路を用意する必要がないため、無理なく実施することができる
（２）また、最後の１行のみを、統計値の取得対象から除外し、その１行に相当する時間内に補正係数等の算出を完了させることによって、リアルタイムかつ高精度の画像補正が実現される。
（３）また、省電力化のためのバックライトの適応的な減光と、この減光に伴う画質劣化を防止するための適応的な画像補正とを同時に行う場合の画像表示制御に、本発明の技術を適用することによって、統計値に基づく高度な演算をリアルタイムで実現することができる。
（４）また、マイクロプログラム制御方式の演算器を用いることによって、同種のハードウエアを並列に設けることなくリアルタイム演算が可能となり、最小の回路、最小の消費電力により、高速な適応調光制御および適応画像補正を実現することができる。
（５）また、演算器に帰還経路を設けることによって、減光後の照明輝度を求め、次に、その求められた照明輝度に基づいて画像の補正係数を求める、というような順番が定められた処理が可能となる。また、演算器が帰還経路をもつことによって、シーンチェンジに伴うフリッカ（視覚的なちらつき）防止のための巡回型（ＩＩＲ）のフィルタ処理を実行することも可能となる。
（６）適応的な減光処理および画像補正を同時に実行することによって、画質の低下を最小限に抑制しつつ、照明輝度の適応調光によって消費電力を大幅に削減できる（最大３０％の削減が確認されている）。また、最小限のハードウエアで実現が可能であるため、省スペース化も図ることができる。さらに、ストリーミング映像のような動画像の処理においても、遅延時間がまったく生じず、リアルタイムの高精度な処理が実現される。
（７）本発明によって、液晶表示装置等の駆動装置（ドライバ）、制御装置（コントローラ）、駆動制御装置（ドライバとコントローラとを一体化した装置）の高付加価値化を実現することができる。
（８）本発明の画像表示制御装置（ＬＳＩ）を携帯端末（携帯電話端末、ＰＤＡ端末、携帯可能なコンピュータを含む）に搭載することによって、ワンセグ放送等のストリーミング画像を高画質で表示することができ、かつ、電池の長寿命化を実現することができる。（９）本発明によって、統計値に基づく、リアルタイムの動画の画像補正を実現すると共に、省電力化のための照明の適応的な減光と、この減光に伴う画質劣化を防止するための適応的な画像補正とを同時に行う場合でも、リアルタイム性、回路規模の抑制ならびに低消費電力性を実現することができる。
（１０）本発明によって、高速性（リアルタイム性）、低消費電力性、回路規模の増大の抑制を達成しつつ、照明の適応的な減光と、その減光に伴う画質の低下を補償するための従来にない高精度の画像補正と、を同時に実現することができる。

本発明は、統計値に基づく動画像の補正に広く適用可能である。但し、本発明は、省電力化のための照明の適応的減光と、その減光に基づく画質劣化を補償する画像補正とを同時に行う場合に、そのリアルタイム性を確保する上で重要な技術である。そこで、発明の実施形態について説明する前に、図１〜図６を用いて、表示画像に応じた適応的な調光制御および画像補正の内容について説明する。

（調光制御と画像補正との関係）
図１（Ａ）〜図１（Ｃ）は、本発明の画像表示制御装置（画像表示制御ＬＳＩ）において採用される表示画像に応じた適応的な調光制御および画像補正の内容を説明するための図である。

図１（Ａ）に示されるように、本発明の実施態様では、液晶パネル（ＬＣＤ）１０の適応的な画像補正と、照明（ＬＥＤ：以下、バックライトという）１２の輝度の適応的補正（適応的調光）とを、同時に実行する。図中、Ｇｙ’は、調光有りの場合の強化された画像補正量である。このＧｙ’は、調光無しの場合の画像補正量Ｇｙに、調光に伴う画像補正量の強化分ΔＧｙを加算して得られる。また、Ｇｓは、適応調光に伴うバックライト１２の輝度の補正量である。

図１（Ｂ）は、調光無しの場合の画像補正量Ｇｙを示している。すなわち、Ｇｙは、バックライト１２の輝度を固定した場合の、画像補正量である。例えば、輝度が低い部分には輝度を持ち上げるような補正が実行され、輝度が高すぎる部分には輝度を低下させるような補正が実行される。

図１（Ｃ）は、調光に伴う画像補正量の強化分ΔＧｙを示している。暗い画像は、明るい画像に比べてバックライト１２の減光の影響を受けにくいことから、原則として、暗い画像の場合にバックライト１２の減光量が大きくなる。ただし、減光に伴って表示画像の輝度が低下するため、輝度低下を補償するように画像補正を強化する。調光（Ｇｓ）に伴う画像補正の強化分がΔＧｙである。

本発明では、図１（Ａ）に示されるように、省電力化のためにバックライト１２の減光を積極的に行い、一方、その減光に伴う画質低下を補償するために、通常の画像補正量（Ｇｙ）に、調光（Ｇｓ）に伴う画像補正量の強化分（ΔＧｙ）を上乗せすることによって、最終的な画像補正量Ｇｙが定まる。

（画像補正量の適応調光について）
図２は、１フレームの画像の平均輝度（Ｙａｖｅ）に対する、バックライト削減率、調光無しの場合の画像補正量（Ｇｙ）、調光有りの場合の画像補正量（Ｇｙ’）、調光に伴う画像補正量の強化分（ΔＧｙ）の変化を示す特性図である。

図中、特性線Ａは、バックライト輝度削減率（％）の特性を示し、特性線Ｂは、調光無しの場合の画像補正量（Ｇｙ）の特性を示し、特性線Ｃは、調光有りの場合の画像補正量（Ｇｙ’）の特性を示し、特性線Ｄは、調光に伴う画像補正量の強化分（ΔＧｙ）の特性を示す。

まず、バックライト輝度削減率の変化を示す特性線Ａに着目する。明らかなように、平均輝度（Ｙａｖｅ）が低いほどバックライト輝度削減率が高く、平均輝度（Ｙａｖｅ）が高くなるにつれて、バックライト削減率は低下する。これは、平均輝度が高い画像ほど、バックライトの減光の影響が大きくなるため、平均輝度が低い画像では省電力化を優先させて大きく減光し、平均輝度が高い画像については画質低下の抑制を優先して小さく減光するようにした結果である。

次に、調光無しの場合の画像補正量Ｇｙの変化を示す特性線Ｂに着目する。図示されるように、平均輝度値Gammath1までは、ほぼ定量の輝度持ち上げ補正が実施され、平均輝度値が大きくなると、輝度の持ち上げ量が減少し、平均輝度値Gammath2より平均輝度値が大きくなると、輝度を低下させる補正が実行される。すなわち、基本的には、平均輝度が低い場合には輝度を持ち上げるような補正が実行され、平均輝度が高すぎる場合には輝度を低下させるような補正が実行されることになる。

次に、調光有りの場合の画像補正量Ｇｙ’の変化を示す特性線Ｃに着目する。明らかなように、平均輝度が低いほど画像補正量が大きく、平均輝度が高くなるほど画像補正量は小さくなる。これは、特性線Ｂを基礎として画像補正量が決まることに加えて、大きな減光率が設定される低輝度側における画質低下を防止するために、低輝度側ほど、画像補正量を強化する必要があるからである。

次に、調光に伴う画像補正量の強化分（ΔＧｙ＝Ｇｙ’−Ｇｙ）の変化を示す特性線Ｄに着目する。上述のとおり、調光に伴う画像補正量の強化分ΔＧｙは、低輝度側では増大し、輝度値が増大するにつれて少しずつ低下する。ただし、画像補正量の強化分は、平均輝度値Gammath3付近から緩やかに上昇する。これは、バックライト１２の減光に伴い、高輝度の画像ほど画質低下が懸念されるため、平均輝度が高い画像の輝度低下を抑制するために、画像補正をより強化する必要があるからである。

（省電力性の強弱とΔＧｙの関係）
図３は調光に伴う画像補正量の強化分（ΔＧｙ＝Ｇｙ’−Ｇｙ）の特性線が、バックライトの輝度削減率に応じてどのように変化するかを示す図である。図３中、特性線Ａは省電力強め（バックライト輝度削減率３０％）の場合の特性線を示し、特性線Ｂは省電力弱め（バックライト輝度削減率１０％）の場合の特性線を示し、特性線Ｃは、省電力普通（バックライト輝度削減率２０％）の場合の特性線を示している。

上述のとおり、いずれの特性線も、調光に伴う画像補正量の強化分ΔＧｙが、低輝度側では増大し、輝度値が増大するにつれて少しずつ低下する傾向を示し、だだし、輝度値が高い領域ではΔＧｙは、再び少しずつ上昇する傾向を示す。また、省電力性を強化してバックライトの輝度削減率を大きくするほど、調光に伴う画像補正量の強化分ΔＧｙも増大する。

（彩度の補正強化）
バックライトの減光によって画面の全体にわたって彩度が低下する。そこで、調光の前後における彩度が保存されるように彩度補正を行う。基本的には、以下の式（１）に従って彩度の補正を行う。なお、以下の式では、青彩度（Ｃｂ＝Ｙ−Ｂ）についてのみ示すが、赤彩度（Ｃｒ＝Ｙ−Ｒ）についても同じである。
Ｃｂ[ｃｂ]＝Ｆｃ×Ｇｃ+Ｃｂ・・・・・（１）
上記（１）式において、ｃｂは彩度補正入力色差であり、Ｃｂは彩度補正出力色差であり、Ｇｃは彩度補正量であり、Ｆｃは彩度補正係数曲線である。

図４（Ａ）〜図４（Ｃ）は、彩度補正について説明するための図である。図４（Ａ）は入力色差（ｃｂまたはｃｒ）に対する出力色差（ＣｂまたはＣｒ）を示している。図中、実線で示される特性線と点線で示される直線との差分が、上記（１）式における彩度補正量Ｇｃに相当する。図４（Ｂ）は、入力彩度（ｃｂまたはｃｒ）に対する補正係数（Ｆｃ）の特性を示している。但し、上記（１）式は、調光を考慮しない場合の彩度補正を示しているため、実際には、彩度補正量Ｇｃに、調光に伴う彩度補正強化分ΔＧｃを上乗せする必要がある。ΔＧｃは、調光の前後で平均彩度を等しくするという条件の下で方程式を解くことによって求めることができる。

また、輝度のみを基準として減光量を決定すると、減光が過剰となって赤（Ｒ）や青（Ｂ）の鮮やかさが損なわれる場合がある。すなわち、暗い画像は減光の影響が少ないため、照明の減光量が大きくなるのが原則である。しかし、暗い画像であっても、例えば、画面の中心に大きく鮮やかな薔薇の花がある場合には、その薔薇の花の彩度の低下を抑えるために減光量に制限を課すのが妥当である。ところが、赤（Ｒ）や青（Ｂ）は、輝度（Ｙ）への寄与率が低いために、輝度（Ｙ）だけで判断すると、暗い画像であるとの判断に基づき、照明を過剰に低下させることになる。そこで、このような過剰な減光を防止するために、輝度（Ｙ）だけでなく、彩度（赤彩度（Ｃｒ），青彩度（Ｃｂ））も基準として減光を決定するようにし、輝度と彩度が所定の関係を満たす場合には、彩度を優先させて減光量に制限を課す。これによって、彩度の高い画像では減光が抑制され、表示画像の彩度低下が抑制される。

図４（Ｃ）は、平均輝度と平均彩度との関係で決まる閾値を用いて、減光と彩度保存のいずれを優先させるかを決定する処理を説明するための図である。図示されるように、輝度の平均値と色差（＝彩度）の平均値との関係で決まる閾値を設定し、その閾値を境界として、輝度に基づいて減光を実行するか、彩度に基づいて減光を実行するかを判定する。

図中、斜線で示される領域ＺＰ２は、彩度（ｃｒ，ｃｂ）に基づく調光領域であり、ＺＰ１は、輝度（Ｙ）に基づく調光領域である。例えば、平均輝度値が“６４”の場合、画像が暗いため、輝度だけで判断すれば、減光量がかなり大きくなる。しかし、平均彩度が例えば、“９６”であるとすると、彩度が高い画像であるため、減光によって彩度が低下するのを抑制する必要がある。したがって、このような場合には、彩度を基準として減光量を決定する（輝度を基準とした場合よりも減光量を小さくする）。つまり、輝度を基準とした減光量に、彩度による所定の制限を設け、これによって、彩度を極端に低下させるような過剰な減光を抑制する。

（シーンチェンジに伴うフリッカ防止のためのフィルタ処理）
照明輝度の適応調光と画像補正を、動画の各フレームに行うと、シーンチェンジに伴う照明輝度や画像補正量の急激な変化によって、視覚的なちらつき（フリッカ）が生じる。そこで、フレーム単位で求められた照明補正と画像補正の双方について、各々の特性に適したフィルタ処理を実行する。照明輝度の変化は白と黒の変化であって視覚的に認識しやすいため、時定数の長いフィルタ処理を施し、一方、画像補正量の変化は中間調の変化であって目立ちにくいため、動画のシーンチェンジへの即応性を重視して時定数の短いフィルタ処理を施す。これによって、動画のシーンチェンジに追従した画像補正を実現しつつ、照明の適応補正に伴うフリッカを効果的に抑制することができる。

また、各々のフィルタ処理を独立に実行すると、照明の補正と画像の補正とのバランスが崩れて画質が低下する場合がある。そこで、フレーム単位で求められた照明輝度に対して第１のフィルタ処理を施し、その結果から画像補正量を求め、その画像補正量に対して第２のフィルタ処理を実施する（直列処理を実行する構成の採用）。照明輝度の減光量が算出された後、その減光量に適応した画像補正量が算出されるため、第１および第２のフィルタ処理のバランスが常に確保される。

図５は、本発明の画像表示制御装置の概要およびフィルタ処理の内容を説明するための図であり、図５（Ａ）は画像表示制御装置の全体構成を示すブロック図であり、図５（Ｂ）は（Ａ）に示される構成をより具体的に示すブロック図であり、図５（Ｃ）は調光制御の際に実行されるフィルタ処理の時定数を示す図であり、図５（Ｄ）は画像補正の際に実行されるフィルタ処理の時定数を示す図である。

図５（Ａ）に示されるように、輝度（Ｙ），青彩度（Ｃｂ），赤彩度（Ｃｒ）の平均値の内の最大値（これをＷａｖｅと記載する）が入力され、この入力信号に対して、線形処理（Ｃ）が施されてバックライト輝度（Ｋ）が算出され、そのバックライト輝度（Ｋ）を時定数の長い時間軸フィルタ２２でフィルタリングすることによって、最終のバックライト輝度(減光後のバックライト輝度を示す調光係数)Ｋfltが得られる。時間軸フィルタ２２の特性は、フィルタ係数Ｐにより制御される。フィルタ係数Ｐの値と、画像の平均輝度の変化率（ΔＹａｖｅ）との関係は、図５（Ｃ）のとおりである。

最終バックライト輝度（Ｋflt）に基づいて、画像補正量算出部２４にて、明るさ補正および彩度補正の補正量Ｇｍが算出される。画像補正量Ｇｙｍに対して、時定数が短く設定されている時間軸フィルタ２６によるフィルタリング処理が施され、これによって、最終の画像補正量（Ｇｙ’）が求められる。時間軸フィルタ２６の特性は、フィルタ係数ｑにより制御される。フィルタ係数ｑの値と、画像の平均輝度の変化率（ΔＹａｖｅ）との関係は、図５（Ｄ）のとおりである。

図５（Ｂ）に示されるように、バックライト用の時間軸フィルタ２２は巡回型（ＩＩＲ）フィルタであり、画像補正量用の時間軸フィルタ２６も同様に、巡回型（ＩＩＲ）型フィルタである。バックライト用の時間軸フィルタ２２の伝達関数はＨｂｌ[ｚ]であり、画像補正量用の時間軸フィルタ２６の伝達関数はＨｉｍｇ[Ｚ]である。したがって、画像表示制御装置におけるフィルタ処理の伝達関数は、Ｈｂｌ[ｚ]・Ｈｉｍｇ[Ｚ]によって表される。なお、画像補正用算出部２４は、非線形の伝達関数により実現される。また、図５（Ｂ）において参照符号２８，参照符号３０は遅延素子を示す。

次に、本発明の実施形態について、図面を参照して説明する。

（第１の実施形態）
以下、調光制御と画像補正とを同時に実行する機能をもつ画像表示制御装置を例にとって説明する。但し、上述のとおり、本発明は、これに限定されるものではなく、統計値に基づいて動画像の画像補正を行う場合に、広く適用可能である。

（画像表示制御装置の搭載態様）
図６（Ａ）〜図６（Ｄ）は各々、本発明の画像表示装置の搭載態様を説明するためのブロック図である。

図６（Ａ）では、携帯電話端末（電子機器の一例）１００に画像表示制御装置（画像表示制御ＬＳＩ）が搭載されている。この携帯電話端末１００は、アンテナＡＮと、通信／画像処理部１０２と、ＣＣＤカメラ１０４と、ホストコンピュータ１０６と、画像表示制御装置（画像表示制御ＬＳＩ）１０８と、ドライバ１１０（パネルドライバ１１２とバックライトドライバ１１４を備える）と、表示パネル（例えば液晶パネル（ＬＣＤ））１１６と、バックライト（ＬＥＤ）１１８と、を有する。

図６（Ｂ）では、駆動装置（ドライバ）１１０自体に画像表示制御装置（画像表示制御ＬＳＩ）１０８が搭載され、この画像表示制御装置（画像表示制御ＬＳＩ）１０８には、ホストコンピュータ１０６から画像信号や制御情報が入力される。

図６（Ｃ）では、ドライバ１１０の制御装置（コントローラ）１３０に、画像表示制御装置（画像表示制御ＬＳＩ）１０８が搭載されている。図６（Ｄ）では、駆動制御装置（ドライバとコントローラが一体化されたもの）１４０に、画像表示制御装置（画像表示制御ＬＳＩ）１０８が搭載されている。

本発明の画像表示制御装置（画像表示制御ＬＳＩ）１０８は、ストリーミング画像のような動画像を処理可能なリアルタイム性、優れた省電力性および小型化が可能である、という特性を備えている。よって、本発明の画像表示制御装置(画像表示制御ＬＳＩ)が搭載されることによって、駆動装置（ドライバ）１１０，制御装置（コントローラ）１３０、駆動制御装置（ドライバとコントローラが一体化された装置）ならびに電子機器１００の付加価値が向上する。

（画像表示制御装置の構成）
図７は、本発明の画像表示制御装置（画像表示制御ＬＳＩ）の全体の構成の概要を示すブロック図である。

ここでは、画像表示制御装置１０８は、携帯端末（携帯電話端末、ＰＤＡ端末、携帯可能なコンピュータ端末を含む）に搭載されているものとする。携帯端末は、例えば、ワンセグ放送を受信するアンテナＡＮと、通信／画像処理部１０２と、ホストコンピュータ１０６と、を有する。ホストコンピュータ１０６は、例えば、受信したストリーミング映像信号を、画像表示制御装置１０８に供給する。なお、ＣＣＤカメラにより撮像した画像信号を画像表示制御装置１０８に供給することもできるが（図６（Ａ）参照）、図７では、ＣＣＤカメラは省略している。

図示されるように、画像表示制御装置１０８は、ホストコンピュータ１０６から与えられる画像信号（ＲＧＢ（色信号形式）あるいはＹＵＶ（輝度信号と色差信号の形式））を受け、その画像信号がＲＧＢの場合はＹＵＶの画像信号に変換する画像入力インタフェース（Ｉ／Ｆ）１５０と、ホストコンピュータ１０６から与えられる制御情報を一時的に蓄積するレジスタ１５２と、調光後のバックライト輝度（調光係数Ｋflt）を決定すると共に、減光に伴う画質低下を補償するように画像信号に画像補正処理を施す画像補正コア２００と、ＹＵＶ形式の画像信号をＲＧＢ形式の画像信号に変換する、または、ＹＵＶ形式のまま出力する画像出力インタフェース（Ｉ／Ｆ）１５４と、を有する。

画像補正コア２００は、画像入力インタフェース（Ｉ／Ｆ）１５０から出力されるＹＵＶ形式の画像信号から同期信号を抜き出し、各部の動作タイミングを示すタイミング信号を生成するタイミング部２１０と、演算に必要な統計情報を取得するヒストグラム作成部（統計情報取得部）２１２と、シーケンスカウンタ２１４と、補正アルゴリズムを細分化したマイクロコードを記憶しているコードテーブル２１６と、マイクロコードをデコードして命令とデータを生成するデコーダ２１７と、最小限の回路で構成され、調光と画像補正の各処理に共通に使用される共用演算器２１８と、演算によって生成された画像補正のための補正係数を一時的に蓄積する係数バッファ２２０と、補正係数を用いて画像信号を補正する画像補正部２２２と、を有する。

図８は、ホストコンピュータが画像表示制御装置に供給する制御信号の内容を示す図である。ホストコンピュータ１０６には、通信／画像処理部１０２から、例えば、ＭＰＥＧ４に準拠した画像信号が入力され、また、画像入力インタフェース（Ｉ／Ｆ）３０２からモード情報（例えば、高精細表示モードを指定するモード信号）および画質情報（例えば、ガンマ補正、コントラスト、彩度の強度を示す情報やシーン加重係数情報等）が入力される。

ホストコンピュータ１０６からは、画像信号（ＲＧＢ形式またはＹＵＶ形式）が出力され、また、制御情報としてのガンマ補正強度（Ｌ１），コントラスト強度（Ｌ２），彩度強度（Ｌ３），画像補正用シーン加重係数（Ｌ４），バックライト輝度削減率（省電力程度：Ｌ５）と、バックライト用シーン加重係数（Ｌ６）が出力される。画像補正用シーン加重係数（Ｌ４）およびバックライト用シーン加重係数（Ｌ６）は各々、図５のフィルタ係数Ｐ，Ｑに該当する。

上述の制御情報は、レジスタ１５２に一時的に蓄積された後、共用演算器２１８に供給される。共用演算器２１８は、与えられた制御情報を基にして、デコーダ２１７からの命令やデータを用いて所定の演算を実行して、画像補正のための補正係数およびバックライト輝度（調光係数Ｋflt）を生成する。

図９は、図７に示される画像表示制御装置の具体的な構成を示すブロック図である。図９では、画像補正コア２００の構成をより具体的に記載している。なお、図９において、図７と共通する部分には同じ参照符号を付してある。

図９において、共用演算器２１８は、第１および第２のマルチプレクサ（４００ａ，４００ｂ）と、算術論理演算ユニット（ＡＬＵ）４０２と、算術論理ユニット（ＡＬＵ）の演算結果を振り分ける分配器４０４と、複数の出力先レジスタ（デスティネーションレジスタ）４０６と、を有する。出力先レジスタ４０６は、出力先毎に区分されたレジスタ郡４０８ａ〜４０８ｃにより構成される。また、複数のレジスタ郡４０８ａ〜４０８ｃの各々に蓄積された演算結果の少なくとも一部を、第１および第２のマルチプレクサ（４００ａ，４００ｂ）の入力側に帰還させる帰還経路が形成されている。

以下、図９の画像補正コア２００の各部の機能および動作を具体的に説明する。
ヒストグラム作成部（統計情報取得部）２１２は、１フレーム分の画像信号の統計情報（輝度に関する統計情報および彩度に関する統計情報）を取得する。なお、ヒストグラム作成部（統計情報取得部）２１２の具体的な内部構成については、第３の実施形態において説明する。

コードテーブル（コード記憶部）２１６は、共用演算器２１８の動作手順を指定するための複数のマイクロコードを記憶している。なお、コードテーブル２１６の作成手順については、第２の実施形態において説明する。

シーケンスカウンタ（シーケンス指示部）２１４は、コードテーブル２１６をポインティングし、コードテーブル２１６からのマイクロコードの出力順を制御する。デコーダ２１７は、コードテーブル２１６から順次、出力されるマイクロコードをデコードして、共用演算器に供給するための命令およびデータ（係数等）の少なくとも一つを生成する。

デコーダ２１７からは、第１および第２のマルチプレクサ（４００ａ，４００ｂ）に対して、演算に用いられる係数が供給され、算術論理ユニット（ＡＬＵ）４０２に対して演算命令（オペコード）が供給され、分配器４０４に対して分配先情報（デスティネーション情報）が供給される。

共用演算器２１８は、画像補正用の補正係数と、減光後のバックライト輝度（調光係数Ｋflt）とをリアルタイムに算出する。共用演算器２１８の演算によって、結果的に、図５（Ａ）〜図５（Ｄ）を用いて説明したデジタル信号処理が実行されることになる。また、図２〜図５を用いて説明した、彩度のエンハンス処理、高彩度画像の画質低下の防止のためにバックライト輝度の減光率を制限する処理、ならびに、第１および第２の巡回型フィルタ処理を直列に行う処理が、実質的にすべて実行されることになる。

共用演算器２１８の演算は、上述のとおり、信号処理手順をコード化したマイクロコードによって制御される。共用化された最小限の回路構成の演算器を用いることによって、同種のハードウエアを並列に設ける必要なくリアルタイム演算が可能となる。よって、最小の回路、最小の消費電力により、高速な調光制御および画像補正を実現することができる。

共用演算器２１８の演算結果は、出力先毎に区分されたレジスタ郡４０８ａ〜４０８ｃに一時的に蓄積される。算出されたバックライト輝度（調光係数Ｋflt）は、バックライト（ＬＥＤ）ドライバに向けて出力され、また、補正係数は、係数バッファ４１０に蓄積される。係数バッファ４１０に蓄積された補正係数は、次のフレームの画像信号の入力に同期して画像補正部２２２に供給され、画像の補正（輝度および彩度のエンハンス）が実行される。

また、複数のレジスタ郡４０８ａ〜４０８ｃの各々に蓄積された演算結果の少なくとも一部は、帰還経路を介して、第１および第２のマルチプレクサ（４００ａ，４００ｂ）の入力側に帰還される。これによって、まず、減光後の照明輝度を求め、その演算結果を入力側に戻して、その求められた照明輝度に基づいて画像の補正係数を求める処理が実行される。また、上述の第１および第２の巡回型（ＩＩＲ）のフィルタ処理が実行される。

次に、図９に示されるコードテーブルの作成手順について説明する。図１０は、コードテーブルの作成手順を示す図である。

図１０において、まず、画像表示用のバックライトを表示画像に応じて適応的に減光し、かつバックライトの減光に伴う画質低下を補償するように画像信号を補正するためのプログラミング言語（例えば、高級プログラミング言語）によるアルゴリズム（エンハンス演算アルゴリズム）を用意する(ステップＳ５００)。

次に、プログラミング言語で作成されたアルゴリズムを、一括変換してマイクロコードを生成する（ステップＳ５０２）。

次に、生成されたマイクロコードを、ＲＯＭ（読出し専用メモリ）に書き込む（ステップＳ５０２）。

このようにして、コードテーブル２１６を効率的に作成することができる。また、アルゴリズム（マイクロコード）を変更することによって、共用演算器２１８による演算内容を、比較的容易に変更することができる。したがって、設計変更に柔軟に対応することができる。

次に、ヒストグラム作成部（統計情報取得部）２１２の内部の具体的な構成の一例について説明する。

上述のとおり、本発明の画像表示制御装置では、１フレーム分の画像信号の輝度および彩度に関する統計値を取得し、その統計値に基づいて、バックライト輝度および画像信号（彩度および輝度）を適応的に補正する。また、上述のとおり、画像の補正に際しては、平均輝度が低い画像であっても平均彩度が高い場合には、省電力よりも彩度を優先させて、バックライトの減光率を制限する補正が行われる。このような制御を実行するためには、必要な輝度および彩度の統計値情報を高速に取得する必要がある。

図１１は、図９のヒストグラム作成部（統計情報取得部）の内部の具体的な構成を示す回路図である。図示されるように、輝度ヒストグラム作成のための複数の統計ユニット（ＥＸ０〜ＥＸ２５５）が設けられている。ＥＸ０〜ＥＸ２５５のいずれも同じ回路構成をしている。すなわち、輝度ヒストグラム作成のための複数の統計ユニット（ＥＸ０〜ＥＸ２５５）の各々は、入力される画像信号の輝度値と基準輝度値（この基準輝度値は統計ユニット毎に異なる）とを比較する比較器１と、アップカウンタ２と、アンドゲート３と、統計値バッファ４と、を有する。輝度値は２５６階調とし、各階調に対応する基準輝度値(1)〜(255)の各々が、比較器（ＥＸ０〜ＥＸ２５５）の各々に与えられる。

画像信号の輝度信号（Ｙ）は、各統計ユニット（ＥＸ０〜ＥＸ２５５）に並列に入力され、各比較器１によって、各階調に対応した基準輝度値(1)〜(255)と同時に比較される。各比較器１は、輝度値の一致検出回路として機能し、入力輝度値が基準輝度値と一致したとき、比較器の出力がハイレベルとなり、これにより、アンドゲート３の他方の入力端子に供給される動作クロックが統計値バッファ４に供給される。

統計値バッファ４は、クロックが供給されたタイミングで、アップカウンタ２のカウント値を取り込んでラッチする。このようにして、画像信号に含まれる各画素の輝度値が、階調値毎に分類されてカウントされる。入力画像の輝度値が、各統計ユニットに並列に入力されるため、高速な統計値の取得が可能である。

輝度最大値・最小値検出器５は、各統計ユニット（ＥＸ０〜ＥＸ２５５）のカウント値に基づいて、輝度（Ｙ）の最大値、最小値を求める。また、標準偏差演算部６は、輝度（Ｙ）の分布を示す標準偏差値を算出する。このようにして算出された統計値を用いて、適応的な調光と画像補正が実行される。

また、図１１の下側に示すように、輝度（Ｙ）の平均値を求めるための統計ユニットＥＳ（Ｙ）と、青彩度（Ｃｂ）の平均値を求めるための統計ユニットＥＳ（Ｃｂ）と、赤彩度（Ｃｒ）の平均値を求めるための統計ユニットＥＳ（Ｃｒ）が設けられている。各統計ユニット（ＥＳ（Ｙ），ＥＳ（Ｃｂ），ＥＳ（Ｃｒ））は、同じ構成をしている。

すなわち、各統計ユニット（ＥＳ（Ｙ），ＥＳ（Ｃｂ），ＥＳ（Ｃｒ））は、Ｙ，Ｃｂ，Ｃｒの値を累積加算する加算器（７ａ〜７ｃ）と、累積加算値を蓄積する合計値バッファ（８ａ〜８ｃ）と、を有する。平均値演算部（９ａ〜９ｃ）は各々、輝度（Ｙ）の平均値、彩度（Ｃｂ）の平均値，彩度（Ｃｒ）の平均値を算出して出力する。

図４（Ｃ）にて説明したように、輝度（Ｙ）と彩度（Ｃｂ，Ｃｒ）の関係によって、輝度（Ｙ）あるいは彩度（Ｃｂ，Ｃｒ）のいずれを調光係数算出のためのベースとするのかが選択される。上記の輝度（Ｙ）の平均値、彩度（Ｃｂ）の平均値，彩度（Ｃｒ）の平均値は、このような判断のために用いられる。

また、図１１の左下に示されるアンドゲートＡ１は、各統計ユニット（ＥＸ０〜ＥＸ２５５）に与えられる動作クロックを、統計値有効信号によってゲーティングし、必要に応じてクロック供給を停止することを目的に設けられている。同様に、アンドゲートＡ２は、各統計ユニット（ＥＳ（Ｙ），ＥＳ（Ｃｂ），ＥＳ（Ｃｒ））に与えられる動作クロックを、平均有効信号によってゲーティングし、必要に応じてクロック供給を停止することを目的に設けられている。統計値の取得が不要な場合に、クロック供給を停止して統計値取得動作を停止することによって、消費電力を削減することができる。この点は、図１５を用いて、後述する。

（リアルタイム処理を可能とするための構成）
適応的な画像補正を行う場合には、前回フレームの統計値を取得し、取得された統計値を用いて補正係数を演算し、その補正係数を用いて次のフレームの画像を補正する、という手順となるため、１フレーム分の画像の入力が完了してから、補正係数が算出されるまで、次のフレームの画像の補正処理を待つ必要が生じる。つまり、補正係数の演算に要する時間分は、動画の画像補正が遅延してしまう。

このような遅延を生じさせないために、本発明では、以下の構成を採用する。以下、図１２〜図１４を用いて、リアルタイム処理を可能とするための構成について説明する。

図１２は、ヒストグラム作成部（統計情報取得部）の周囲の主要な構成を抜き出して示すブロック図である。図１２に示すように、ヒストグラム作成部（統計情報取得部）２１２は、ホストコンピュータ１０６から制御情報を与えられると共に、タイミング部２１０からのタイミング情報に基づいて、輝度ヒストグラム等の作成と、統計値情報の演算器への出力とを実行する（ただし、タイミング部２１０は必須のものではなく、ヒストグラム作成部（統計情報取得部）２１２自体が自立的にタイミング信号を生成してもよい）。

ここで、ヒストグラム作成部（統計情報取得部）２１２の統計値取得の終了タイミングを制御することによって、リアルタイム処理が可能なる。

すなわち、ヒストグラム作成部（統計情報取得部）２１２が、１フレーム分の画像の統計情報を取得する場合に、１フレーム分の全画像の統計値の取得を待たずに統計値取得処理を終了させれば、１フレームが終了するまでの残りの時間内において、取得された統計値に基づいた補正係数の算出を行うことが可能となる。

フレームの一部の画像（例えば、周辺部分の画像）を統計情報の取得対象から外したとしても、得られる統計値の精度には大きな影響はなく、統計値の精度は確保することができる。

図１３は、統計値に基づくリアルタイムの画像補正を可能とするための、ヒストグラム作成部（統計情報取得部）におけるタイミング制御の一例を示す図である。図１３の下側に示すように、１フレームの画像には有効評価画素領域Ｚ１が設定され、残りの領域が無効領域Ｚ２となる。統計値の取得対象となる画素は、有効評価画素領域Ｚ１に含まれる画素のみであり、無効領域Ｚ２に含まれる画素は統計値作成の基礎とはならない。

図示されるように、本実施態様では、１フレームの最後の１行を無効領域Ｚ２として設定する。これに限定されるものではないが、できるだけ多くの画像について統計値を取得するのが望ましいため、最後の１行のみを、統計値の取得対象から除外したものである。また、ＬＵＴを使用せずにマイクロプログラム制御の演算回路を用いる構成（図７，図９の構成）を採用することにより超高速の演算が実現できるため、１行分の空時間があれば、減光後の照明輝度と補正係数を求めることが可能である。

図１３において、時刻ｔ１，ｔ１０は、入力画像信号の垂直同期信号（Ｖｓｙｎｃ）のタイミングを示している。時刻ｔ２〜時刻ｔ８までは、有効評価画素領域Ｚ１についての統計値の取得（すなわち、図１１の構成を用いた、統計値のカウント、輝度最大値・最小値、標準偏差値、輝度平均値、青彩度（Ｃｂ）平均値、赤彩度（Ｃｒ）平均値の取得）が実行される。

そして、時刻ｔ８にて、統計値の取得処理を終了する。次に、無効領域である最後の１行（最終行）に相当する時間（時刻ｔ８〜ｔ９）において、取得した統計値に基づいて、例えば、図９の共用演算器２１８が超高速の演算を実施し、バックライト輝度（調光係数Ｋflt）と補正係数を算出する。

時刻ｔ１０に次のフレームが開始されると、図９の画像補正部２２２が、算出された補正係数を用いて画像信号を補正する。すなわち、減光の程度に合わせて、輝度ならびに彩度をエンハンスする画像補正が実行される。

このように、１フレームに相当する期間中に、統計値の取得および補正係数の演算が完了するため、次のフレームが遅延なく入力されても、すぐに画像補正を開始することができ、したがって、動画像のリアルタイム補正が実現される。

なお、上述の説明では、直前のフレームから統計値を取得しているが、直前のフレームと、さらに過去のフレームの双方に基づいて統計値を取得してもよい。

以上説明した動作をまとめると、図１４のようになる。図１４は、統計値取得処理を１フレーム期間の途中で終了させ、１フレーム期間が終了するまでに補正係数と調光係数を算出し、算出された補正係数によって次のフレームの画像を補正する処理の、具体的な処理手順を示すフロー図である。

図１４の処理は、図９の構成を用いて実現されるものとする。図示されるように、まず、ホストコンピュータによって、必要な係数（統計値算出に必要な標準偏差値閾値や最大値最小値閾値等）が設定される（ステップＳＴ７００）。

次に、画像信号（ビデオ信号）が入力される（ステップＳＴ７０１）。次に、最後の１行を除く１フレーム分の画像データに基づいて画像信号の輝度の分布や、輝度の累積値や彩度の累積値を示すヒストグラム（統計値算出の基礎データ）が作成される。（ステップＳＴ７０２）。次に、作成されたヒストグラムから、統計の特徴を示す係数（統計値）が求められる（ステップＳＴ７０３）。次に、求められた統計値が、図９の演算器２１８に供給され、統計値に基づいて、補正係数とバックライト輝度（調光係数）が算出される（ステップＳＴ７０４）。

ＳＴ７０４の処理は、１フレーム期間内に終了する。そして、次のフレームの画像信号の入力が開始され、その画像信号について、補正係数を用いたリアルタイムの画像補正が実施され、また、これと併行して、バックライト輝度（調光係数）がＬＥＤドライバに向けて出力され、また、同時に新たなヒストグラムの生成が開始される（ステップＳＴ７０５）。

このように、本発明によると、全く遅延時間を生じさせることなく、統計値に基づく適応的な動画像の補正を実現することができる。

（発展応用例）
図１５は、消費電力をさらに削減するために、統計値取得動作が不要な場合に、ヒストグラム作成部（統計情報取得部）における統計値のカウント動作を停止させるための構成を示すブロック図である。なお、図１５において、前掲の図面と共通する部分には同じ参照符号を付してある。

図１１で説明したように、ヒストグラム作成部（統計情報取得部）２１２は、動作クロック（ＣＬＫ）をゲーティングするためのアンドゲートＡ１およびＡ２を有する。図１５において、動作クロック（ＣＬＫ）は、タイミング部２１０から供給される。なお、タイミング部２１０は、画像入力インタフェース（Ｉ／Ｆ）に入力される画像信号に含まれる同期クロックを分離することによって、動作クロック（ＣＬＫ）を生成する。

アンドゲートＡ１は、各統計ユニット（ＥＸ０〜ＥＸ２５５）に与えられる動作クロックを統計値有効信号によってゲーティングし、同様に、アンドゲートＡ２は、各統計ユニット（ＥＳ（Ｙ），ＥＳ（Ｃｂ），ＥＳ（Ｃｒ））に与えられる動作クロックを、平均有効信号によってゲーティングする。

統計値有効信号および平均有効信号は、例えば、ホストコンピュータ１０６に備わる輝度変化検出器１０７から出力される。輝度変化検出器１０７は、通信／画像処理部１０２に備わるコーデックから送られてくる動きベクトルに基づいて、連続するフレーム間で、画像に変化が生じているか否かを判定する。

あるいは、通信／画像処理部１０２から送られてくる状態通知信号に基づいて、画像に変化がないことを知ることもできる。例えば、状態通知信号が、一時停止（ストップモーション）モードを示しているときは、動画再生が一時的にストップしており、フレーム間の画像に変化がないと判定することができる。

また、輝度変化検出器１０７は、フレームメモリ１０５の画像データを直接的に監視し、画像の変化の有無を検知することもできる。

輝度変化検出器１０７が、連続するフレーム間で画像の変化がないと判定したときは、新たな統計値の作成は不要なことから、統計値有効信号および平均有効信号をローレベルにして、アンドゲートＡ１およびＡ２からの、動作クロックＱ１およびＱ２の出力を禁止する。これによって、各統計ユニット（ＥＸ０〜ＥＸ２５５，ならびにＥＳ（Ｙ），ＥＳ（Ｃｂ），ＥＳ（Ｃｒ））はカウント動作を停止する。したがって、消費電力をさらに削減することができる。

以上、本発明について実施形態を用いて説明したが、本発明はそれらに限定されるものではなく、本発明の要旨を逸脱しない範囲で種々、変形、応用が可能である。

以上説明したように本発明の少なくとも一つの実施態様によれば、例えば、以下の主要な効果が得られる。但し、以下の効果が同時に得られるとは限らず、以下の効果の列挙が、本発明を不当に限定する根拠として用いられてはならない。
１フレーム分の全画像の統計値の取得を待たずに統計値取得処理を終了させ、１フレームが終了するまでの残りの時間内において、取得された統計値に基づいた補正係数等の算出を実施することによって、動画像の各フレームの画像信号が、順次、入力されたとしても、統計値に基づく適正な画像補正を、待ち時間無く実行することができ、画像補正のリアルタイム処理が実現される。特別な構成が不要であるため、無理なく実施することができる。

また、最後の１行のみを、統計値の取得対象から除外し、その１行に相当する時間内に補正係数等の算出を完了させることによって、リアルタイムかつ高精度の画像補正が実現される。

また、省電力化のためのバックライトの適応的な減光と、この減光に伴う画質劣化を防止するための適応的な画像補正とを同時に行う場合の画像表示制御に、本発明の技術を適用することによって、統計値に基づく高度な演算をリアルタイムで実現することができる。

また、マイクロプログラム制御方式の演算手法を採用することによって、同種のハードウエアを並列に設けることなくリアルタイム演算が可能となり、最小の回路、最小の消費電力により、高速な適応調光制御および適応画像補正を実現することができる。

また、演算器に帰還経路を設けることによって、減光後の照明輝度を求め、次に、その求められた照明輝度に基づいて画像の補正係数を求める、というような順番が定められた処理が可能となる。また、演算器が帰還経路をもつことによって、シーンチェンジに伴うフリッカ（視覚的なちらつき）防止のための巡回型（ＩＩＲ）のフィルタ処理を実行することも可能となる。

また、適応的な減光処理および画像補正を同時に実行することによって、画質の低下を最小限に抑制しつつ、照明輝度の適応調光によって消費電力を大幅に削減できる（最大３０％の削減が確認されている）。また、最小限のハードウエアで実現が可能であるため、省スペース化も図ることができる。さらに、ストリーミング映像のような動画像の処理においても、遅延時間がまったく生じず、リアルタイムの高精度な処理が実現される。

また、本発明によって、液晶表示装置等の駆動装置（ドライバ）、制御装置（コントローラ）、駆動制御装置（ドライバとコントローラとを一体化した装置）の高付加価値化を実現することができる。
本発明の画像表示制御装置（ＬＳＩ）を携帯端末（携帯電話端末、ＰＤＡ端末、携帯可能なコンピュータを含む）に搭載することによって、ワンセグ放送等のストリーミング画像を高画質で表示することができ、かつ、電池の長寿命化を実現することができる。

また、本発明によって、統計値に基づく、リアルタイムの動画の画像補正を実現すると共に、省電力化のための照明の適応的な減光と、この減光に伴う画質劣化を防止するための適応的な画像補正とを同時に行う場合でも、リアルタイム性、回路規模の抑制ならびに低消費電力性を実現することができる。

本発明によって、高速性（リアルタイム性）、低消費電力性、回路規模の増大の抑制を達成しつつ、照明の適応的な減光と、その減光に伴う画質の低下を補償するための従来にない高精度の画像補正と、を同時に実現することができる。

本発明は、画像の統計値に基づいて、動画像をリアルタイムで適応的に補正する場合に有効であり、例えば、ストリーミング再生に対応した画像表示制御装置等として好適である。また、本発明は、表示用の照明の輝度を表示画像に合わせて適応的に減光すると共に、その減光に伴う画質の低下を補償するように画像信号の補正を行う画像表示制御装置（画像表示制御ＬＳＩ）等として有用である。また、本発明は、表示パネルの駆動装置（ドライバ）、表示パネルの制御装置（コントローラ）、表示パネルの駆動制御装置（ドライバとコントローラが一体化された装置）等、携帯端末等の電子機器等としても有用である。

図１（Ａ）〜図１（Ｃ）は、本発明の画像表示制御装置（画像表示制御ＬＳＩ）において採用される表示画像に応じた適応的な調光制御および画像補正の内容を説明するための図である。 １フレームの画像の平均輝度（Ｙａｖｅ）に対する、バックライト削減率、調光無しの場合の画像補正量（Ｇｙ）、調光有りの場合の画像補正量（Ｇｙ’）、調光に伴う画像補正量の強化分（ΔＧｙ）の変化を示す特性図である。 調光に伴う画像補正量の強化分（ΔＧｙ＝Ｇｙ’−Ｇｙ）の特性線が、バックライトの輝度削減率に応じてどのように変化するかを示す図である。 図４（Ａ）〜図４（Ｃ）は、彩度補正について説明するための図である。 本発明の画像表示制御装置の概要およびフィルタ処理の内容を説明するための図であり、図５（Ａ）は画像表示制御装置の全体構成を示すブロック図であり、図５（Ｂ）は図５（Ａ）に示される構成をより具体的に示すブロック図であり、図５（Ｃ）は調光制御の際に実行されるフィルタ処理の時定数を示す図であり、図５（Ｄ）は画像補正の際に実行されるフィルタ処理の時定数を示す図である。 図６（Ａ）〜図６（Ｄ）は各々、本発明の画像表示装置の搭載態様を説明するためのブロック図である。 本発明の画像表示制御装置（画像表示制御ＬＳＩ）の全体の構成の概要を示すブロック図である。 ホストコンピュータが画像表示制御装置に供給する制御信号の内容を示す図である。 図７に示される画像表示制御装置の具体的な構成を示すブロック図である。 コードテーブルの作成手順を示す図である。 図９のヒストグラム作成部（統計情報取得部）の内部の具体的な構成を示す回路図である。 ヒストグラム作成部（統計情報取得部）の周辺の主要な構成を抜き出して示すブロック図である。 統計値に基づくリアルタイムの画像補正を可能とするための、ヒストグラム作成部（統計情報取得部）におけるタイミング制御の一例を示す図である。 統計値取得処理を１フレーム期間の途中で終了させ、１フレーム期間が終了するまでに補正係数と調光係数を算出し、算出された補正係数によって次のフレームの画像を補正する処理の、具体的な処理手順を示すフロー図である。 消費電力をさらに削減するために、統計値取得動作が不要な場合に、ヒストグラム作成部（統計情報取得部）における統計値のカウント動作を停止させるための構成を示すブロック図である。

符号の説明

１００ 携帯電話端末（電子機器）、１０２ 通信／画像処理部、１０４ ＣＣＤカメラ、１０６ ホストコンピュータ、１０８ 画像表示制御装置、１１０ ドライバ、１１２ パネルドライバ、１１４ バックライトドライバ、１１６ 表示パネル、１１８ バックライト（ＬＥＤ）、１５０ 画像入力インタフェース（Ｉ／Ｆ）、１５２ ホストコンピュータからの制御情報を蓄積するレジスタ、１５４ 画像出力インタフェース（Ｉ／Ｆ）、２００ 画像補正コア、２１０ タイミング部、２１２ ヒストグラム作成部(統計情報取得部)、２１４ シーケンスカウンタ、２１６ コードテーブル、２１７ デコーダ、２１８ 共用演算器、２２０ 係数バッファ、２２２ 画像補正部、
４００ａ，４００ｂ、第１および第２のマルチプレクサ、４０２ 算術論理ユニット（ＡＬＵ）、４０４ 分配器、４０６ 分配先レジスタ、４０８ａ〜４０８ｃ 分配先毎に区別されたレジスタ郡、４１０ 係数バッファ

Claims (9)

1. 動画像の画像信号を補正する画像表示制御装置であって、
   １フレーム毎に前記画像信号の統計情報を取得する統計情報取得部と、
   前回フレームの前記統計情報を用いて、画像信号の補正に用いられる補正係数を生成する演算器と、
   前記補正係数を用いて前記画像信号を補正する画像補正部と、
   前記演算器の動作手順を指定するための複数のコードを記憶しているコード記憶部と、
   前記コード記憶部からの前記コードの出力順を制御するシーケンス指示部と、
   前記コード記憶部から出力される前記コードをデコードして、前記演算器に供給するための命令およびデータの少なくとも一つを生成するデコーダと、
   を有し、
   前記演算器は、第１および第２のマルチプレクサと、算術論理演算ユニットと、前記算術論理演算ユニットの演算結果を振り分ける分配器と、有し、
   前記デコーダから、前記第１および第２のマルチプレクサに対しては前記データとして演算に用いられる係数が、前記算術論理演算ユニットに対しては前記命令として演算命令が、前記分配器に対しては前記データとして振り分け情報が、各々供給され、
   前記１フレームの一部に有効画素評価領域が設定され、
   前記統計情報取得部は、前記有効画素評価領域に対応した前記画像信号についての前記統計情報を取得し、その統計情報の取得が終了すると、前記１フレームの終了を待たずに前記統計情報の取得処理を終了し、取得した前記統計情報を前記演算器に供給し、
   前記演算器は、前記１フレームが終了するまでの期間において前記統計情報に基づいて前記補正係数を算出し、
   前記画像補正部は、算出された前記補正係数を用いて、前記動画像の、前記前回フレームの次のフレームの画像信号の補正を実行することを特徴とする画像表示制御装置。
2. 請求項１記載の画像表示制御装置であって、
   前記演算器は、さらに、
   複数の出力先レジスタと、
   前記複数の出力先レジスタに蓄積された信号の少なくとも一部を入力側に帰還させる帰還経路と、
   を有することを特徴とする画像表示制御装置。
3. 請求項１または請求項２記載の画像表示制御装置であって、
   前記統計情報取得部は、前記１フレームの最後の１行分の統計値の取得を行わずに前記統計値の取得処理を終了し、前記演算器は、前記１フレームの最後の１行に相当する時間内に前記補正係数の算出を完了させることを特徴とする画像表示制御装置。
4. 請求項１〜請求項３のいずれか記載の画像表示制御装置であって、
   前記演算器は、前記前回フレームの統計情報を用いて、前記画像信号に応じて適応的に画像表示用の照明を減光する調光制御が実行されたときの減光後の照明輝度も演算すると共に、前記照明の減光に伴う画質低下を補償するための前記画像信号の補正に用いられる前記補正係数を生成することを特徴とする画像表示制御装置。
5. 請求項４記載の画像表示制御装置であって、
   前記コード記憶部に記憶される前記コードは、前記画像表示用の照明を表示画像に応じて適応的に減光し、かつ前記照明の減光に伴う画質低下を補償するように画像信号を補正するためのプログラミング言語によるアルゴリズムの記述を変換して得られるマイクロコードであることを特徴とする画像表示制御装置。
6. 請求項１〜請求項５のいずれか記載の画像表示制御装置を搭載する電気光学装置の駆動装置。
7. 請求項１〜請求項５のいずれか記載の画像表示制御装置を搭載する電気光学装置の制御装置。
8. 請求項１〜請求項５のいずれか記載の画像表示制御装置を搭載する電気光学装置の駆動制御装置。
9. 請求項１〜請求項５のいずれか記載の画像表示制御装置を搭載する電子機器。

Images