JP5476301B2 - 画像特性を調節するための方法 - Google Patents

Description

本発明の実施例は、画像ターゲットトーン曲線の生成および適用のための方法およびシステムを含む。

代表的なディスプレイデバイスは、固定されたレンジの輝度レベルを使用して画像をディスプレイする。多くのディスプレイでは、輝度レンジは２５６のレベルを有し、これらレベルは０〜２５５までの間で均一に離間している。これらレベルに直接マッチするよう、一般に画素値が割り当てられている。

大型ディスプレイを有する多くの電子デバイスでは、ディスプレイが主要なパワー（電力）消費コンポーネントとなっている。例えばラップトップコンピュータでは、ディスプレイは多分システム内の他のコンポーネントのどれよりも多くのパワーを消費する。バッテリー給電デバイスで見られるような、パワーの利用能力が限られている多くのディスプレイは、パワー消費量を管理するのを助けるために限られた数の照明または明るさレベルを使用することができる。システムを電源、例えばＡ／Ｃ電源にプラグインすると、システムはフルパワーのモードを使用でき、バッテリーのパワーで作動するときには省力モードを使用する。

一部のデバイスでは、ディスプレイは省力モードに自動的に入ることができ、このモードでは、パワーを節約するためにディスプレイの照度を下げる。これらデバイスは照度をステップ状に低減する多数の省力モードを有することができる。ディスプレイの照度を低減すると、一般に画質も低下する。最大輝度レベルを低下させると、ディスプレイのダイナミックレンジも低下し、画質のコントラストに影響が出る。従って、通常の省力モードの作動中ではコントラストおよびその他の画質が低下する。

液晶ディスプレイ（ＬＣＤ）またはデジタルマイクロミラーデバイス（ＤＭＤ）のような多くのディスプレイデバイスは、一方向または別方向にバック照明、サイド照明またはフロント照明される光バルブを使用している。ＬＣＤのようなバックライト用の光バルブディスプレイでは、液晶パネルの背面にバックライトが設置される。バックライトはＬＣパネルを通して光を放射し、ＬＣパネルは画像を表示するように光を変調する。カラーディスプレイでは輝度とカラーの双方を変調できる。個々のＬＣピクセルはバックライトからＬＣパネルを透過し、ユーザの眼またはその他の目的物に達する光の量を変調する。一部のケースでは、目的物を電荷結合デバイス（ＣＣＤ）のような光センサとすることができる。

一部のディスプレイは、画像を表示するのに発光器も使用できる。発光ダイオード（ＬＥＤ）ディスプレイおよびプラズマディスプレイのようなこれらディスプレイは、別の光源からの光を反射するのではなく、自ら発光する画素を使用している。

本発明の一部の実施例は、低下した光源照明強度を補償するか、または固定された光源照明レベルで画質を改善するために、光バルブ変調されたピクセルの輝度変調レベルを変えるためのシステムおよび方法を含む。

本発明の一部の実施例は、画像を表示するために発光器を使用するディスプレイと共に使用することもできる。これらディスプレイ、例えば発光ダイオード（ＬＥＤ）ディスプレイおよびプラズマディスプレイは、別の光源からの光を反射するのではなく、自ら光を放出するピクチャーエレメントを使用する。本発明の実施例は、これらデバイスが発生する画像を良くするために使用できる。これら実施例では、特定の画像周波数バンドのダイナミックレンジ、輝度レンジおよびその他の画像サブ分割を増加するために、ピクセルの明るさが調節される。

本発明の一部の実施例では、画像特性に応答してディスプレイの光源を異なるレベルに調節できる。これら光源のレベルが変わるとき、明るさの変化を補償するか、またはその他の方法で画像を良くするように、画像の画素値を調節できる。

本発明の一部の実施例は、光源レベルおよび画像ピクセル値を判断する際の入力として使用される周辺光検出を含む。

本発明の一部の実施例は、ディストーション（Distortion）に関連した光源およびバッテリー消費量制御を含む。

本発明の一部の実施例は、画像トーンスケール補正を発生し、これを適用するためのシステムおよび方法を含む。

本発明の一部の実施例は、カラー忠実度が改善された画像トーンスケール補正をするための方法およびシステムを含む。

本発明の一部の実施例は、ディスプレイ光源照明レベルを選択するための方法およびシステムを含む。

本発明の一部の実施例は、パネルトーン曲線およびターゲットトーン曲線を発展させるための方法およびシステムに関し、これら実施例の一部は、異なるバックライトまたは光源照明レベルに各々の曲線が関連する複数のターゲットトーン曲線を開発するために提供される。これら実施例では、バックライト照明レベルを選択することができ、選択されたバックライト照明レベルに関連するターゲットトーン曲線を、ディスプレイすべき画像に適用できる。一部の実施例では、性能目標（パフォーマンスゴール）はトーン曲線パラメータの選択を行わせる。

添付図面と共に、以下の詳細な説明を検討すれば、本発明の上記およびその他の目的の特徴および利点についてより容易に理解できよう。

従来技術のバックライトＬＣＤシステムを示す図である。 元の画素値とブーストされた画素値との間の関係を示すグラフである。 元の画素値とクリッピングされ、ブーストされた画素値との間の関係を示すグラフである。 種々の画素値変更方式における画素値に関連する輝度レベルを示すグラフである。 種々の変更方式に従った、元の画素値と変更された画素値との関係を示すグラフである。 トーンスケール調節モデルの一例の発生を示す図である。 トーンスケール調節モデルのアプリケーションの一例を示す図である。 トーンスケール調節モデルと利得マップの一例の発生を示す図である。 トーンスケール調節モデルの一例を示すグラフである。 利得マップの一例を示すグラフである。 画像にトーンスケール調節モデルおよび利得マップを適用するプロセス例を示すフローチャートである。 画像のある１つの周波数バンドにトーンスケール調節モデルを適用し、画像の別の周波数バンドに利得マップを適用するプロセス例を示すフローチャートである。 ＭＦＰが変化する際のトーンスケール調節モデルの変化を示すグラフである。 画像に依存するトーンスケールマッピング方法の一例を示すフローチャートである。 画像に依存するトーンスケール選択実施例の一例を示す図である。 画像に依存するトーンスケールマップ計算実施例の一例を示す図である。 光源レベル調節と、画像に依存するトーンスケールマッピングを含む実施例を示すフローチャートである。 光源レベル計算器とトーンスケールマップセレクタとを備えた実施例を示す図である。 光源レベル計算器とトーンスケールマップ計算器とを備えた実施例を示す図である。 光源レベル調節と、光源レベルに依存するトーンスケールマッピングとを備えた実施例を示すフローチャートである。 光源レベル計算器と、光源レベルに依存するトーンスケール計算または選択を含む実施例を示す図である。 元の画像の画素値に対する、トーンスケールの傾きのプロットを示す図である。 別個のクロミナンスチャンネル分析を含む実施例を示す図である。 画像処理モジュールに入力される周辺照明を含む実施例を示す図である。 光源処理モジュールに入力される周辺照明を含む実施例を示す図である。 画像処理モジュールに入力される周辺照明と、デバイスの特性入力とを含む実施例を示す図である。 画像処理モジュールおよび／または光源処理モジュールおよび光源信号ポストプロセッサへの別の周辺照明入力とを含む実施例を示す図である。 光源処理モジュールへの周辺照明入力を含み、処理モジュールはこの入力を画像処理モジュールに送る実施例を示す図である。 画像処理モジュールへの周辺照明入力を含み、処理モジュールはこの入力を光源処理モジュールへ送る実施例を示す図である。 ディストーション適応パワーマネージメントを含む実施例を示す図である。 一定パワーマネージメントを含む実施例を示す図である。 適応パワーマネージメントを含む実施例を示す図である。 一定パワーモデルのパワー消費量と一定ディストーションモデルのパワー消費量の比較を示すグラフである。 一定パワーモデルのディストーションと一定ディストーションモデルのディストーションの比較を示すグラフである。 ディストーション適応パワー管理を含む実施例を示す図である。 ビデオシーケンス例に関する種々のディストーションの限度におけるバックライトパワーレベルを示すグラフである。 パワー／ディストーション曲線の例を示すグラフである。 ディストーション基準に対しパワー消費量を管理する実施例を示すフローチャートである。 ディストーション基準に基づく光源パワーレベル選択を含む実施例を示すフローチャートである。 明るさ保存方法の効果を考慮したディストーション測定を行う実施例を示すフローチャートである。 明るさ保存方法の効果を考慮したディストーション測定を行う実施例を示すフローチャートである。 画像例に対するパワー／ディストーション曲線を示す図である。 固定されたディストーションを示すパワーのプロットを示す図である。 固定されたディストーションを示すディストーションのプロットを示す図である。 トーンスケール調節曲線の一例を示す図である。 図４２に示されたトーンスケール調節曲線のダーク領域のズームイン図である。 別のトーンスケール調節曲線の例を示す図である。 図４４に示されたトーンスケール調節曲線のダーク領域のズームイン図である。 最大カラーチャンネルの画素値に基づく画素値調節を示すフローチャートである。 最大カラーチャンネルの画素値に基づく多数のカラーチャンネルの画素値調節を示すフローチャートである。 カラーチャンネルのうちの１つの画素値特性に基づく多数のカラーチャンネルの画素値調節を示すフローチャートである。 入力として最大カラーチャンネル画素値を受信するトーンスケール発生器を含む、本発明の実施例を示す図である。 周波数分解およびトーンスケール調節によるカラーチャンネル符号の区別を含む、本発明の実施例を示す図である。 周波数分解、カラーチャンネルの区別およびカラー保存クリッピングを含む、本発明の実施例を示す図である。 カラーチャンネルの画素値特性に基づくカラー保存クリッピングを含む、本発明の実施例を示す図である。 ローパス／ハイパス周波数分割および最大カラーチャンネル画素値の選択を含む、本発明の実施例を示す図である。 処理された画像とディスプレイモデルの間の種々の関係を示す図である。 画像の一例に対する画素値のヒストグラムのグラフである。 図５５のヒストグラムに対応するディストーション曲線例のグラフである。 簡単なＤＶＤクリップに最適基準を適用した結果を示す、ビデオフレーム数に対する選択されたバックライトパワーをプロットしたグラフである。 実際のディスプレイの異なるコントラスト比に対して決定される最小ＭＳＥディストーションバックライトの決定を示す図である。 パネルトーン曲線の一例とターゲットトーン曲線を示すグラフである。 省電力コンフィギュレーションのためのパネルトーン曲線の一例とターゲットトーン曲線を示すグラフである。 より低い黒レベルコンフィギュレーションのためのパネルトーン曲線の一例とターゲットトーン曲線を示すグラフである。 明るさエンハンスメントコンフィギュレーションのためのパネルトーン曲線の一例とターゲットトーン曲線を示すグラフである。 黒レベルを下げ、明るさを高めた、エンハンス画像コンフィギュレーションのためのパネルトーン曲線の一例とターゲットトーン曲線を示すグラフである。 黒レベルを改善するための一連のターゲットトーン曲線の例を示すグラフである。 黒レベルを改善し、画像の明るさをエンハンスするための、一連のターゲットトーン曲線の例を示すグラフである。 ターゲットトーン曲線の決定と、ディストーションに関連するバックライト選択を含む実施例を示すフローチャートである。 性能目標に関連したパラメータの選択、ターゲットトーン曲線の決定およびバックライトの選択を含む実施例を示すフローチャートである。 性能目標に関連したターゲットトーン曲線の決定およびバックライト選択を含む実施例を示すフローチャートである。 性能目標に関連し、かつ画像に関連したターゲットトーン曲線の決定およびバックライト選択を含む実施例を示すフローチャートである。

図面を参照することにより、本発明の実施例について最良に理解できよう。図面全体にわたり、同様の部分は同様の番号で示す。添付図面は下記の詳細な説明の一部として援用する。

図面に示し、本明細書に一般的に説明される。本発明の要素は、広範な種々の構成に配置し、設計することができることが容易に理解できよう。従って、本発明の方法およびシステムの実施例の下記のより詳細な説明は、発明の範囲を限定するものではなく、本発明の現時点で好ましい実施例を単に示すにすぎない。

本発明の実施例の要素は、ハードウェア、ファームウェアおよび／またはソフトウェアで具現化できる。本明細書に開示した実施例は、これら形態のうちの１つを述べるにすぎず、当業者であれば、本発明の範囲内でこれら要素をこれら形態のいずれかで実施できることが理解できよう。

光バルブ変調器、例えばＬＣ変調器およびその他の変調器を使用するディスプレイデバイスを、反射型とすることができ、ここで光は（観察者に向いた）前方表面に放射され、変調パネル層を通過した後に観察者に向かって反射される。ディスプレイデバイスは透過型のものもあり、そこでは変調パネル層の背面に向かって光が放射され、変調層を通過して観察者に達するようになっている。一部のディスプレイデバイスは、反射型と透過型とを組み合わせた透過反射型になっている。そこでは、光は変調層を通って背面から前面に通過し、一方、別の光源からの光が変調層の正面から入射した後に反射されるようになっている。これらケースのいずれにおいても、例えば個々のＬＣエレメントのような変調層における要素は、ピクセルの感知される明るさを制御できる。

バックライト、フロントライトおよびサイドライトディスプレイでは、光源を一連の蛍光灯、ＬＥＤアレイまたは他の光源とすることができる。ディスプレイが、通常の約１８インチのサイズよりも大型である場合、光源がデバイスのパワー消費量の大部分を構成する。所定の用途および所定の市場では、パワー消費量を低減することは重要である。しかしながら、パワーを低減することは、光源の光束を低減すること、よってディスプレイの最大の明るさを低減することを意味する。

現在のガンマ補正された光バルブ変調器のグレイレベルの画素値（ＣＶ）と、光源レベルＬ_sourceと、出力光レベルＬ_outに関係する基本的な式は次のとおりである。

ここで、ｇは較正利得（ゲイン）であり、ｄａｒｋは光バルブのダークレベルであり、ａｍｂｉｅｎｔは部屋の条件によって決まるディスプレイに入射する光である。この式から、バックライト光源をｘ％だけ低減すると、光出力もｘ％低下することが分かる。

光バルブの変調値を変更することにより、特にこれら値をブースト（増強）することにより、光源のレベルの低下量を補償できる。実際に、（１−ｘ％）未満の光レベルは正確に再現できるが、光源を追加したり、または光源の強度を増加することなく、（１−ｘ％）を越える光レベルを再現することはできない。

元の光源および低減した光源からの光出力を設定すると、（ｄａｒｋおよびａｍｂｉｅｎｔを０と仮定した場合の）ｘ％の低減に対する画素値を補正するのに使用される基本画素値補正式が得られ、これらの式は次のように示される。Ｌ_reducedは低減したバックライト光源、ＣＶ_boostはブーストした画素値である。

図２Ａはこの調整を示す。図２Ａおよび２Ｂでは、元のディスプレイ値は直線１２に沿った点に対応する。バックライトすなわち光源を省エネモードとし、光源の照明を低減するとき、この光源の照明量の低減に光バルブが対抗できるようにするためには、ディスプレイの画素値をブーストしなければならない。これらブーストされた値は、直線１４に沿った点に一致する。しかしながら、このような調節の結果、画素値１８は、ディスプレイが発生できる値（例えば８ビットディスプレイの場合２５５）よりも大きくなる。従って、これら値は図２Ｂに示されるように、２０でクリップされる。このように調節された画像は色あせた（washed out）ハイライト、不自然な見え方および全体に低い画質に悩まされる。

このような単純な調節モデルを使用すると、低減光源照明モードの間、フルパワー光源で再生されるレベルに等しい輝度レベルで、クリッピングポイント１５よりも低い画素値（この実施例では入力画素値２３０）がディスプレイされることになる。より低いパワーで同じ輝度が再生され、結果として省エネになる。画像の画素値の組をクリッピングポイント１５よりも低い範囲に制限した場合、ユーザにはっきりわかるように省エネモードを作動できる。不幸なことに、値がクリッピングポイント１５を越えると、輝度が低下し、細部が失われる。本発明の実施例は、輝度レンジのハイエンドで生じるクリッピングアーティファクトを低減しながら、明るさを増加する（または省エネモードにおける明るさの低減をなくす）よう、ＬＣＤまたは光バルブ画素値を変えることができるアルゴリズムを提供するものである。

本発明の一部の実施例は、小パワーでディスプレイされる画像輝度を、かなりの範囲の値にわたり、フルパワーでディスプレイされる輝度に一致させることにより、ディスプレイの光源パワーを低減することに関連する明るさの低下を解消する。これら実施例では、出力輝度を特定のファクターで割った光源またはバックライトのパワーの低下を、逆ファクターにより画像データをブーストすることによって補償するものである。

ダイナミックレンジの制限を無視すると、フルパワーでディスプレイされる画像と低パワーでディスプレイされる画像とを同じにすることができる。その理由は、除算（低減された光源の照明に対するもの）と乗算（ブーストされた画素値に対するもの）とが、実質的にかなりの範囲にわたってキャンセルし合うからである。ダイナミックレンジの限界は、画像データの乗算（画素値増加に対する）がディスプレイの最大量を越えるときはいつも、クリッピングアーティファクトを生じさせ得る。ダイナミックレンジの制限によって生じるクリッピングアーティファクトは、画素値の上端部でブーストをロールオフすることによって解消または低減できる。このロールオフは、最大忠実ポイント（ＭＦＰ）でスタートでき、このポイントより上では、輝度は元の輝度に一致しなくなる。

本発明の一部の実施例では、光源の照明量の低減または画像エンハンスメントに対する事実上の低減を補償するために、次の手段を実行する。
１）照明低減パーセントによって光源（バックライト）の低減レベルを決定する。
２）低減パワー出力とフルパワー出力との一致からのロールオフが生じる最大忠実ポイント（ＭＦＰ）を決定する。
３）補償トーンスケール演算子を決定する。
ａ．ＭＦＰより下では、ディスプレイ輝度の低減を補償するように、トーンスケールをブーストする。
ｂ．ＭＦＰより上では、トーンスケールを徐々にロールオフする（一部の実施例では、連続微分値を維持しながらこれを行う）。
４）トーンスケールマッピング演算子を画像に適用する。
５）ディスプレイに送る。

これら実施例の主な利点は、画像の狭いカテゴリーに対してわずかに変化を加えることで、電力節減を達成できることである。（ＭＦＰより上でしか差が発生せず、このような差は、明るさのピークの低減および明るい細部の一部の喪失として生じる。）画像のこれら領域をフルパワーモードから区別できないようにするフルパワーモードと同じ輝度にて、省エネモードでＭＦＰより下の画像の値をディスプレイできる。

本発明の一部の実施例は、パワーの低減およびディスプレイのガンマに依存し、画像データに依存しないトーンスケールマップを使用できる。これら実施例は２つの利点を提供できる。第１に、フレームを別個に処理することに起因するフリッカーアーティファクトが生じないこと、第２にアルゴリズムの実行上の複雑性が低いことである。一部の実施例では、オフラインのトーンスケール設計と、オンラインのトーンスケールマッピングを使用できる。ＭＦＰの仕様により、ハイライトにおけるクリッピングを制御できる。

図３を参照し、本発明の実施例の一部の特徴について説明できる。図３は、いくつかの状況において輝度に対してプロットされた画像の画素値を示すグラフである。鎖線で示された第１の曲線３２は、光源が１００％のパワーで作動したときの元の画素値を示し、一点鎖線の曲線として示された第２の曲線３０は、光源がフルパワーの８０％で作動したときの、元の画素値の輝度を示す。破線で示された第３の曲線３６は、光源がフルパワーの８０％で作動している間、１００％の光源の照明で提供される輝度に一致するように画素値をブーストしたときの輝度を示す。実線で示された第４の曲線３４は、データのハイエンドにおけるクリッピングの効果を減少するためのロールオフ曲線と共に、増加されたデータを示す。

図３に示されるこの実施例では、画素値１８０におけるＭＦＰ３５を使用した。画素値１８０より下では、ブーストされた曲線３４が元の１００％のパワーディスプレイによる輝度出力３２と一致することに留意されたい。１８０より上では、増加した曲線は８０％のディスプレイで可能な最大出力までスムーズに移行する。このスムーズさがクリッピングおよび量子化アーティファクトを低減する。一部の実施例では、ＭＦＰ３５によって示される移行ポイントにおいて、スムーズにマッチするよう、トーンスケール関数を部分ごとに定めることができる。ＭＦＰ３５より下では、ブーストされたトーンスケール関数を使用できる。ＭＦＰ３５より上では、曲線は、ＭＦＰにおいて、ブーストされたトーンスケール曲線の最終点までスムーズに一致し、最大画素値［２５５］における最終点３７に一致する。一部の実施例では、曲線の傾きはＭＦＰ３５におけるブーストされたトーンスケール曲線／ラインの傾きに一致させることができる。このような一致は、ＭＦＰ値における直線関数の微分値と曲線関数の微分値とを等しくすることにより、ＭＦＰ値より下の値での直線の傾きをＭＦＰ値より上の値での曲線の傾きに一致させ、さらにその点における直線関数の値と曲線関数の値を一致させることによって達成される。曲線関数に対する別の制限は、曲線を最大値ポイント［２５５、２５５］３７を通過させるようにすることである。一部の実施例では、曲線の傾きを最大値ポイント３７において０に設定してもよい。一部の実施例では、ＭＦＰ値１８０を、２０％の光源のパワー低減量に対応させることもできる。

本発明の一部の実施例では、最大忠実ポイント（ＭＦＰ）以下での利得ｇと線形関係になるように、トーンスケール曲線を定めることができる。前記ＭＦＰ点以上では、曲線と、その１次微分値とが、ＭＦＰ点で連続になるようにトーンスケールを定めることができる。このような連続性は、トーンスケール関数における以下の形態を意味する。

この利得は次のようにディスプレイのガンマと明るさの低減比（フルパワー（Full Power），低減されたパワー（Reduced Power））によって決定できる。

一部の実施例では、明るさの絶対値の保持とハイライトの細部の保持とをマニュアルでバランスさせることによって、ＭＦＰ値をチューニングできる。

最大ポイントにおいて傾き（Slope）をゼロにするという制限を課すことにより、ＭＦＰを決定できる。このことは次のことを意味する。

一部の実施例では、一実施例に従い、簡単なブーストされたデータ、クリッピングを有するブーストされたデータおよび補正されたデータに対する画素値をそれぞれ計算するのに、次の式を使用できる。

ここで、定数Ａ、ＢおよびＣは、ＭＦＰでスムーズに一致し、曲線がポイント［２５５、２５５］を通過するように選択される。図４にはこれら関数のプロットが示されている。

図４は、元の画素値と調節された画素値の関係を示すプロットである。元のデータライン４０に沿ったポイントとして元の画素値が示されており、このことは、元の値と調節された値が調節されていないオリジナルであるから、それらの関係が１：１であることを示す。本発明の実施例によれば、より高い輝度レベルを示すように、これら値をブーストまたは調節することができる。上記「トーンスケールブースト（Tone Scaleboost）」式による単純なブースト方法の結果、ブーストライン４２に沿った値が得られる。これらの値のディスプレイ結果は、ライン４６としてグラフで示され、かつ「クリップされたトーンスケール」式で数学的に示されるようにクリップが生じるので、調節は曲線４４に沿って最大忠実ポイント４０から最大値ポイント４７まで漸減する。一部の実施例では、この上記関係を「補正されたトーンスケール」式で数学的に記述できる。

このような考え方を使用することにより、１００％のパワーで光源が作動するディスプレイによって示される輝度値を、より低いパワーレベルで光源が作動するディスプレイによって代えることができる。このことは、トーンスケールのブーストにより達成でき、このトーンスケールのブーストは基本的には光源の照度の損失を補償するために、実質的にもっと光バルブを使えるようにする。しかしながら、画素値範囲全体にわたってこれらブーストを単純に適用することは、範囲の上端でクリッピングアーティファクトが生じる結果となる。このようなアーティファクトを防止または減少するために、トーンスケール関数はスムーズにロールオフされる。このロールオフは、ＭＦＰパラメータによって制御できる。ＭＦＰの大きい値は、広い範囲にわたり輝度を一致させるが、画素値の最大のところで視認できる量子化／クリッピングアーティファクトを増加させる。

本発明の実施例は、画素値を調節することにより実施できる。簡単なガンマディスプレイモデルでは、画素値のスケーリングは、異なるスケールファクターによる輝度値のスケーリングを生じさせる。より現実的なディスプレイモデルのもとでこのような関係が成り立つかどうかを判断するために、ガンマオフセット利得（ゲイン）−フレア（ＧＯＧ−Ｆ）モデルを検討する。バックライトパワーをスケーリングすることは、周辺ではなく、ディスプレイの出力にパーセントｐを適用するようなリニアな線形漸減式（Linear reduced equations）に対応する。利得をファクターｐだけ低減することは、利得を変更しないこと及びディスプレイガンマによって決定されるファクターだけデータ、画素値およびオフセットをスケーリングすることと等価である。数学的には、適切に変更することによって乗算係数をパワー関数に挿入できる。このような変形係数は、画素値（ＣＶ）とオフセットの双方を変動させる。

図５を参照し、本発明の一部の実施例について説明する。これらの実施例は、画像処理前にオフラインでトーンスケール調節を設計または計算するか、または画像を処理しながらオンラインで調節を設計し、計算することができる。トーンスケール調節５６は作動のタイミングに係わらず、ディスプレイガンマ５０、効率係数５２および最大忠実ポイント（ＭＦＰ）５４に基づき設計し、計算される。これらの係数はトーンスケール調節モデル５８を生成するために、トーンスケール設計プロセス５６内で処理することができる。トーンスケール調節モデルはアルゴリズム、ルックアップテーブル（ＬＵＴ）または画像データに適用できる他のモデルの形態をとり得る。

調節モデル５８を一旦作成すると、このモデルを画像データに適用できる。図６を参照し、この調節モデルの適用について説明できる。これら実施例では、画像を入力（６２）し、画素値を調節するために画像にトーンスケール調節モデル５８を適用（６４）する。このプロセスの結果、出力画像６６が得られ、この出力画像６６はディスプレイに送られる。トーンスケール調節のアプリケーション６４は、一般にオンラインプロセスであるが、条件が許せば、画像をディスプレイする前に実施される。

本発明の一部の実施例は、例えばＬＥＤディスプレイ、プラズマディスプレイおよび他のタイプのディスプレイのような発光ピクセル変調器を使用して、ディスプレイに表示される画像をエンハンスするためのシステムおよび方法を含む。光源がフルパワーモードまたは他のモードで作動する光バルブピクセル変調器を使用するディスプレイに表示される画像をエンハンスするために、これら同じシステムおよび方法を使用できる。

これら実施例は、前に説明した実施例と同じように作動するが、低減された光源の照度を補償するというよりは、これら実施例は単に光源があたかも減少したかのごとく、あるレンジのピクセルの輝度を単純に高める。このようにすることによって、画像の全体の明るさが改善される。

これら実施例では、かなりの範囲の値にわたって元の画素値がブーストされる。実際の光源の照度が低下しないということを除けば、他の実施例に対しても、上記のようにこの画素値調節を実行できる。従って、画素値の広い範囲にわたり、画像の明るさは著しく増加する。

同じように、図３を参照し、これら実施例の一部について説明できる。これら実施例では、元の画像に対する画素値が、曲線３０に沿った点として示されている。これら値を、より高い輝度レベルを有する値にブーストまたは調節できる。これらブーストされた値は、曲線３４に沿った点として表示でき、曲線３４はゼロ点３３から最大忠実点３５まで延び、次に最大値点３７までテーパオフする。

本発明の一部の実施例は、不鮮明（unsharp）マスキングプロセスを含む。これら実施例の一部では、不鮮明マスキングは空間的に変化する利得を使用でき、この利得は画像の値および変更されたトーンスケール曲線の傾きによって決定される。一部の実施例では、ディスプレイパワーの制限に起因し、画像の明るさを再現できないときでも、利得のアレイを使用することによって画像のコントラストにマッチングすることが可能となる。

本発明の一部の実施例は、次のプロセス手段をとり得る。
１．トーンスケール調節モデルを計算する。
２．ハイパス画像を計算する。
３．利得アレイを計算する。
４．利得によりハイパス画像に重みづけする。
５．ローパス画像と重みづけされたハイパス画像を合計する。
６．その合計をディスプレイに送る。

本発明の別の実施例は、次のプロセス手段をとり得る。
１．トーンスケール調節モデルを計算する。
２．ローパス画像を計算する。
３．画像とローパス画像との間の差として、ハイパス画像を計算する。
４．画像の値および変更されたトーンスケール曲線の傾きを使って利得のアレイを計算する。
５．ハイパス画像を利得で重みづけする。
６．ローパス画像と重みづけされたハイパス画像とを合計する。
７．これをパワーが低減されたディスプレイへ送る。

本発明の一部の実施例を使用することにより、画像の狭いカテゴリー上の小さい変化を伴うだけで、電力節減を達成できる（差はＭＦＰより大きいところで生じるだけであり、明るさのピークの低下と明るい細部の喪失として生じる）。フルパワーと同じ輝度で省エネモードにてＭＦＰより小さい範囲の画像値をディスプレイし、これら画像領域をフルパワーモードの画像領域と区別できないようにできる。本発明の別の実施例は、明るい細部の喪失を低減することにより、このような性能を改善する。

これら実施例は明るい細部を保持するために、空間的に変化する不鮮明マスキングを含むことができる。他の実施例と同じように、オンラインコンポーネントとオフラインコンポーネントの双方を使用できる。一部の実施例では、トーンスケール関数の外に、利得マップを計算することにより、オフラインコンポーネントを拡張できる。利得マップは画像値に基づいて、適用するために不鮮明フィルタ利得を指定できる。トーンスケール関数の傾きを使用することにより、利得マップ値を決定できる。一部の実施例では、特定のポイントＰにおける利得マップ値は、ポイントＰにおけるトーンスケール関数の傾きに対するＭＦＰより下の範囲のトーンスケール関数の傾きの比として計算される。一部の実施例では、ＭＦＰより下の範囲では、トーンスケール関数は線形であるので、利得はＭＦＰより下の範囲では１である。

図７を参照し、本発明の一部の実施例について説明できる。これらの実施例では、画像処理前にトーンスケール調節をオフラインで設計または計算してもよいし、または画像を処理しながらオンラインでトーンスケール調節を設計し、または計算してもよい。トーンスケール調節７６は作動のタイミングに係わらず、ディスプレイのガンマ７０、効率係数７２および最大忠実ポイント（ＭＦＰ）７４の少なくとも１つに基づき設計し、または計算される。これらの係数はトーンスケール調節モデル７８を生成するために、トーンスケール設計プロセス７６内で処理される。トーンスケール調節モデルは、アルゴリズム、ルックアップテーブル（ＬＵＴ）または上記他の実施例を参照して説明したような画像データに適用できる他のモデルの形態をとり得る。これらの実施例では、別の利得マップ７７も計算される（７５）。この利得マップ７７を、例えば周波数レンジのような特定の画像のサブ分割に適用できる。一部の実施例では、画像の周波数分割された部分に利得マップを適用してもよいし、一部の実施例ではハイパス画像のサブ分割に利得マップを適用してもよい。更に、特定の画像周波数レンジまたは他の画像サブ分割に適用してもよい。

図８を参照し、トーンスケール調節モデルの一例について説明できる。これらの実施例では、関数移行ポイント（ＦＴＰ）８４（光源低減補償の実施例で使用されるＭＦＰに類似する）を選択し、ＦＴＰ８４より下の値に対して第１の利得関係８２を提供するように利得関数を選択する。一部の実施例では、この第１利得関係をリニアな関係とすることができるが、他の関係および関数を使って画素値をエンハンスされた画素値に変換してもよい。ＦＴＰ８４より上の範囲では、第２の利得関係８６を使用できる。この第２の利得の関係８６を、ＦＴＰ８４と最大値ポイント８８とを接ぐ関数とすることができる。一部の実施例では、第２の利得関係８６は、ＦＴＰ８４における第１の利得関係８２の値と傾きに一致し、最大値ポイント８８を通る。他の実施例に関してこれまで説明したような別の関係および更に別の関係が、第２の利得関係８６としても働く。

一部の実施例では、図８に示されるようなトーンスケール調節モデルに関連して、利得マップ７７を計算できる。図９を参照し、利得マップの一例７７について説明できる。これらの実施例では、利得マップ関数はトーンスケール調節モデルの傾きの関数としてトーンスケール調節モデル７８と関連する。一部の実施例では、特定の画素値におけるトーンスケール調節モデルの傾きに対するＦＴＰより下の範囲の画素値におけるトーンスケール調節モデルの傾き（Tone Scale Slope）の比により、特定の画素値における利得マップ関数の値を決定する。一部の実施例では、この関係を式１１により数学的に表記できる。

これらの実施例では、利得マップ関数はトーンスケール調節モデルが、リニアなブーストとなるＦＴＰより下の範囲の関数に等しい。ＦＴＰより上の範囲の画素値に対し、利得マップ関数はトーンスケール調節モデルの傾きが漸減するにつれ、急速に増大する。このような利得マップ関数における急俊な増加は、利得マップ関数を適用する画像部分のコントラストをエンハンスする。

ディスプレイパーセント（光源の低下率）８０％、ディスプレイガンマおよび最大忠実ポイント１８０を使って、図８に示されたトーンスケール調節係数および図９に示された利得マップ関数の例を計算した。

本発明の一部の実施例では、トーンスケール調節モデルを適用した後に、不鮮明マスキング演算を行う。これら実施例では、不鮮明マスキング技術によりアーティファクトを低減する。

図１０を参照し、本発明の一部の実施例について説明する。これら実施例では、元の画像１０２を入力し、この画像に対してトーンスケール調節モデル１０３を適用する。この元の画像１０２は、利得マップを生じさせる利得マッピングプロセス１０５への入力としても使用する。次に、ローパスフィルタ１０４を通してトーンスケール調節された画像を処理することにより、ローパス調節された画像が得られる。次に、ハイパス調節された画像を生じるように、トーンスケール調節された画像からローパス調節された画像を減算する（１０６）。次に、利得マップ内の適切な値を、このハイパス調節された画像に対して乗算（１０７）し、利得調節されたハイパス画像を得る。この利得調節されたハイパス画像をローパス調節された画像に加える（１０８）が、ローパス調節された画像は既にトーンスケール調節モデルによって調節されている。このような加算の結果、明るさが増し、高周波コントラストが改善された出力画像１０９が得られる。

これら実施例の一部では、画像の各ピクセルの各コンポーネントに対し、利得マップおよびそのピクセルにおける画像の値から利得の値を決定する。トーンスケール調節モデルを適用する前に、元の画像１０２を使って利得を決定することもできる。ローパス画像に追加する前に、対応する利得値によりハイパス画像の各ピクセルの各コンポーネントをスケーリングしてもよい。利得マップ関数が１であるポイントでは、不鮮明マスキング演算は画像の値を変更しない。利得マップ関数が１を越えるポイントでは、コントラストが増す。

本発明の一部の実施例は、１つの画像を多数の周波数バンドに分解することにより、画素値の明るさを高めるときの上端の画素値におけるコントラストの喪失をアドレスする。一部の実施例では、低パワー設定時の光源輝度の低減を補償するため、または表示される画像の明るさを単に高めるために画像データの明るさを高めるローパスバンドに対してトーンスケール関数を適用する。これと平行して、より低いディスプレイパワーに起因して中間の絶対的な明るさが低下する領域でも、画像のコントラストを保持する。ハイパスバンドに一定の利得を適用する。アルゴリズム例の作動を次のように示すことができる。
１．元の画像の周波数分解を実行する。
２．明るさ保存、すなわちトーンスケールマップをローパス画像に適用する。
３．ハイパス画像に対し、一定の乗数を適用する。
４．ローパス画像とハイパス画像とを合計する。
５．合計の結果をディスプレイに送る。

光源照度低減アプリケーションのために、元の画像のフルパワーディスプレイとプロセス画像の低パワーディスプレイとの測光用の組合せ（match）を作ることにより、オフラインでトーンスケール関数および一定利得を決定できる。明るさエンハンスメントアプリケーションのためにオフラインでトーンスケール関数を決定することもできる。

最も適度なＭＦＰの値に対して、これらの一定のハイパス利得実施例と不鮮明マスキング実施例とは、性能の点でほとんど区別できない。これら一定ハイパス利得の実施例は、不鮮明マスキング実施例と比較して３つの主な利点、すなわちノイズの影響が減少すること、より大きいＭＦＰ／ＦＴＰを使用できること、およびディスプレイシステムで現在使用されている処理手段を使用することを有する。不鮮明マスキング実施例は、トーンスケール曲線の傾きの逆数である利得を使用する。この曲線の傾きが小さいとき、この利得は大きい増幅ノイズを生じさせる。このノイズの増幅は、ＭＦＰ／ＦＴＰのサイズに実際上の限界も課す。第２の利点は、任意のＭＦＰ／ＦＴＰの値に拡張できることである。システム内にアルゴリズムを設置することを検討することから、第３の利点が得られる。一定ハイパス利得実施例と、不鮮明マスキング実施例の双方は、周波数の分解を使用している。一定ハイパス利得実施例は、この演算を最初に実行するが、一部の不鮮明マスキング実施例は、周波数分解を行う前にトーンスケール関数をまず適用する。デコンターリング（de-contouring）のようなシステムの処理は、明るさ保存アルゴリズムの前に周波数分解を実行する。これらの場合、一定ハイパス実施例により周波数分解を使用し、それによって変換手段を除外できるが、一部の不鮮明マスキング実施例は、周波数分解を反転し、トーンスケール関数を適用し、さらに追加的な周波数分解を実行しなければならない。

本発明の一部の実施例はトーンスケール関数を適用する前に空間周波数に基づき画像を分割することにより、上端の画素値におけるコントラストの喪失を防止する。これらの実施例では、画像のローパス（ＬＰ）コンポーネントに対し、ロールオフを有するトーンスケール関数を適用できる。光源照度低減補償アプリケーションでは、このアプリケーションはローパス画像コンポーネントの全部の輝度の組合せ（match）を用意する。これらの実施例では、ハイパス（ＨＰ）コンポーネントを均一にブースト（一定利得）する。周波数分解された信号を必要に応じて再結合し、クリッピングすることができる。ハイパスコンポーネントはトーンスケール関数のロールオフを通過しないので、細部が保存される。ローパストーンスケール関数のスムーズなロールオフは、ブーストされたハイパスコントラストを追加するためのあき高（head room）を保存する。この最終結合で生じ得るクリッピングが、細部を大幅に減少させるとは判断されていない。

図１１を参照し、本発明の一部の実施例について説明できる。これらの実施例は、周波数分割または分解１１１と、ローパストーンスケールマッピング１１２と、一定ハイパス利得またはブースト１１６と、エンハンスされた画像コンポーネントの総和または再結合１１５とを含む。

これら実施例では、入力画像１１０を空間周波数バンド１１１に分解する。２つのバンドを使用する一実施例では、ローパス（ＬＰ）フィルタ１１１を使ってこの分解を実行する。フィルタ１１１を介してＬＰ信号を計算し、元の画像からＬＰ信号を減算（１１３）し、ハイパス（ＨＰ）信号１１８を形成することにより、周波数分割を実行する。一実施例では、この分解のために空間５×５短方形フィルタを使用しているが、別のフィルタも使用できる。

次に、前に説明した実施例と同じように、トーンスケールマッピングを適用することにより、ＬＰ信号を処理できる。一実施例では、この処理をフォトメトリックマッチングＬＵＴによって達成できる。これらの実施例では、ほとんどの細部は既にフィルタリング１１１の際に抽出されているので、前に説明した不鮮明マスキングの実施例と比較して、より大きい値のＭＦＰ／ＦＴＰを使用できる。コントラストを追加するために何らかのあき高を保持しなければならないので、一般にクリッピングを使用すべきではない。

一部の実施例では、上限において、トーンスケール曲線の傾きがゼロとなるように、ＭＦＰ／ＦＴＰを自動的に決定し、設定される。図１２には、このように決定した一連のトーンスケール関数が示されている。これらの実施例では、２５５においてトーンスケール関数が傾き０となるようにＭＦＰ／ＦＴＰの最大値を決定できる。この値は、クリッピングを生じさせない最大のＭＦＰ／ＦＴＰ値である。

図１１を参照して説明した本発明の一部の実施例では、ＨＰ信号１１８を処理することは、ローパス信号を処理するのに使用されるＭＦＰ／ＴＰの選択とは関係なく行われる。パワー／光源照度を低減するとき、または明るさを改善するために画像の画素値を他の方法でブーストするときに、コントラストを維持する一定利得１１６を用いて、ＨＰ信号１１８を処理する。フルおよび低減バックライトパワー（ＢＬ）およびディスプレイガンマによって表されるＨＰ信号の利得１１６の式は、ハイパス利得式（High Pass Gain equation）として以下に示される。利得は一般に小さい（例えば、利得は８０％のパワー低減およびガンマ値２．２に対して１．１である）ので、このＨＰコントラストのブーストは、ノイズに対して影響を受けにくい。

一部の実施例では、トーンスケールマッピング１１２をＬＵＴ処理またはその他の方法によりＬＰ信号に適用し、ＨＰ信号に一定利得１１６を適用して、これら周波数成分を合計（１１５）し、一部のケースではクリッピングすることができる。ＬＰ値に加えられるブーストされたＨＰ値が２５５を越えるときに、クリッピングが必要となる場合がある。このことは一般に、高いコントラストを有する明るさの信号にしか適さない。一部の実施例では、トーンスケールのＬＵＴを構築することにより、ＬＰ信号が上限を越えないように保証する。ＨＰ信号はクリッピングを生じさせることがあるが、クリッピングが生じる場合でも、あるコントラストを維持することによってＨＰ信号の負の値はクリッピングされない。

［光源が画像に依存する実施例]
本発明の一部の実施例では、表示されている画像、前に表示された画像、表示された画像の後で表示すべき画像またはそれらの組み合わせの特性によって、ディスプレイ光源の照明レベルを調節できる。これらの実施例では、画像特性に従ってディスプレイ光源の照明レベルを変えることができる。一部の実施例では、これらの画像特性は、画像輝度レベル、画像クロミナンスレベル、画像ヒストグラム特性およびその他の画像特性を含む。

画像特性を一旦確認すると、１つ以上の画像の属性をエンハンスするために、光源（バックライト）の照明レベルを変えることができる。一部の実施例では、より暗い画像領域またはより明るい画像領域におけるコントラストをエンハンスするように光源レベルを増減してもよい。画像のダイナミックレンジを高めるように、光源の照明レベルを増減してもよい。一部の実施例では、各画像フレームに対する電力消費量を最適にするように、光源のレベルを調節できる。

光源のレベルを一旦変更すると、どんな理由であれ、画像を更に改善するようにトーンスケール調節を使って画像ピクセルの画素値を調節できる。電力を節約するために光源レベルを低減した場合、失われた明るさを再び取り戻すようにピクセルの値を大きくすることができる。特定の輝度レンジにおけるコントラストをエンハンスするように光源のレベルを変更した場合、別のレンジにおける減少したコントラストを補償するために、または特定のレンジを更にエンハンスするために、ピクセルの値を調節できる。

本発明の一部の実施例では、図１３に示されるように、画像の内容に画像トーンスケール調節を依存させることができる。これらの実施例では、画像の特性を判断するために、画像を分析する（１３０）。画像特性として、輝度チャンネル特性、例えば画像の平均輝度である平均ピクチャーレベル（ＡＰＬ）、最大輝度値、最小輝度値、例えば平均ヒストグラム値、最も頻繁なヒストグラムの値、およびその他の値、輝度ヒストグラムデータ、並びにその他の輝度特性を挙げることができる。更に画像特性として、カラー特性、例えば個々のカラーチャンネル（例えばＲＧＢ信号内のＲ、Ｇ＆Ｂ）の特性も挙げることができる。カラーチャンネル固有の画像特性を決定するために、各カラーチャンネルを別個に分析できる。一部の実施例では、各カラーチャンネルに対して別々のヒストグラムを使用してもよい。他の実施例では、画像データの空間分布に関する情報を含むブロブヒストグラムデータを画像特性として使用してもよい。また、画像特性はビデオフレーム間の時間的変化も含むことができる。

画像を一旦分析（１３０）し、特性を決定すると、画像特性の値に基づき、一組のあらかじめ計算されたマップからトーンスケールマップを計算または選択できる（１３２）。バックライト調節を補償するか、または他の方法で画像をエンハンスするために、画像にこのマップを使用（１３４）できる。

図１４を参照して本発明の一部の実施例について説明できる。これら実施例では、画像分析器１４２は、画像１４０を受信し、トーンスケールマップを選択するのに使用できる画像特性を決定する。次に、これら特性をトーンスケールマップセレクタ１４３へ送り、このセレクタは画像特性に基づき適当なマップを決定する。次に、画像１４０に対してマップを使用するために、画像プロセッサ１４５へこのマップ選択を送ることができる。画像プロセッサ１４５はマップ選択および元の画像データを受信し、選択されたトーンスケールマップ１４４を用いて、元の画像を処理し、それによってユーザに表示するために、ディスプレイ１４６へ送られる。調節された画像を発生する。これら実施例では、画像特性に基づき選択するために、１つ以上のトーンスケールマップ１４４を記憶する。これらトーンスケールマップ１４４をあらかじめ計算し、テーブルまたは他のデータフォーマットとして記憶できる。これらトーンスケールマップ１４４は、簡単なガンマ変換テーブル、図５、７、１０および１１を参照してこれまで説明した方法を使って作成したエンハンスメントマップまたは他のマップを含むことができる。

図１５を参照し、本発明の一部の実施例について説明できる。これら実施例では、画像分析器１５２は、画像１５０を受信し、トーンスケールマップを計算するのに使用できる画像特性を決定する。次に、これら特性はトーンスケールマップ計算器１５３へ送られ、この計算器は画像特性に基づき、適切なマップを計算する。計算されたマップは、画像プロセッサ１５５へ送られ、このマップは画像１５０に対して使用される。画像プロセッサ１５５は、計算されたマップ１５４および元の画像データを受信し、トーンスケールマップ１５４を用いて、元の画像を処理し、それによってユーザに表示するためにディスプレイ１５６に送られる。調節された画像を発生する。これら実施例では、画像特性に基づき実質的にリアルタイムでトーンスケールマップ１５４を計算する。計算されたトーンスケールマップ１５４は、簡単なガンマ変換テーブル、図５、７、１０および１１を参照してこれまで説明した方法を使用して作成されたエンハンスメントマップまたは別のマップを含むことができる。

図１６を参照し、本発明の別の実施例について説明する。これら実施例では、光源の照明レベルは画像の内容に依存するが、トーンスケールマップも画像の内容に依存できる。しかしながら、必ずしも光源の計算チャンネルとトーンスケールマップチャンネルとの間で通信がなくてもよい。

これら実施例では、光源またはトーンスケールマップマップ計算に必要な画像特性を決定するために画像を分析する（１６０）。この情報は、画像に適した光源の照明レベル１６１を計算するのに使用される（１６１）。画像を表示するときに光源（例えばバックライト）の変動に対して、この光源のデータをディスプレイへ送る（１６２）。画像特性情報に基づき、トーンスケールマップを選択または計算する場合（１６３）、トーンスケールマップチャネルにも画像特性データを送る。次に、ディスプレイ１６５に送られるエンハンスされた画像を生成するために、画像に対し、マップを適用（１６４）する。光源の信号がエンハンスされた画像データの表示に一致するよう、画像に対して計算された光源信号とエンハンスされた画像データとを同期化させる。

図１７に示されたこれら実施例の一部は、簡単なガンマ変換テーブル、図５、７、１０および１１を参照してこれまで説明した方法を使って作成されたエンハンスマップまたは別のマップを含む、格納されたトーンスケールマップを使用する。これら実施例では、トーンスケールマップおよび光源計算に関係する画像特性を決定するために画像分析器１７２に画像１７０を送る。次にこれら特性は、光源レベル計算器１７７へ送られ、適切な光源照明レベルが決定される。トーンスケールマップセレクタ１７３へも一部の特性を送り、適切なトーンスケールマップ１７４を決定するのに使用する。次に、画像プロセッサ１７５に元の画像１７０およびマップ選択データが送られ、プロセッサは選択されたマップ１７４を検索し、マップ１７４を画像１７０に適用し、エンハンスされた画像を作成する。次に、このエンハンスされた画像はディスプレイ１７６へ送られ、ディスプレイ１７６は光源レベル計算器１７７からの光源レベル信号も受信し、エンハンスされた画像が表示されている間、光源１７９を変調するためにこの信号を使用する。

図１８に示されたこれら実施例の一部は、オンザフライ方式でトーンスケールマップを計算できる。これらマップは、簡単なガンマ変換テーブル、図５、７、１０および１１を参照してこれまで説明した方法を使って作成されたエンハンスマップまたは別のマップを含むことができる。これら実施例では、トーンスケールマップおよび光源計算に関連する画像特性を決定するために画像分析器１８２に画像１８０を送る。次にこれら特性は、適切な光源照度レベルを決定するために、光源計算器１８７へ送られる。一部の特性は、トーンスケールマップ計算器１８３へも送られ、適切なトーンスケールマップ１８４を計算するのに使用される。次に、画像プロセッサ１８５に元の画像１８０および計算されたマップ１８４が送られ、画像プロセッサ１８５は計算されたマップ１８４を画像１８０に適用し、エンハンスされた画像を作成する。次に、このエンハンスされた画像はディスプレイ１８６へ送られ、このディスプレイ１８６は光源計算器１８７からの光源レベル信号も受信し、エンハンスされた画像が表示されている間、光源１８９を変調するためにこの信号を使用する。

図１９を参照し、本発明の一部の実施例について説明できる。これらの実施例では、光源並びにトーンスケールマップの計算および選択に関連する画像特性を決定するために画像を分析（１９０）する。次に、光源照度レベルを計算（１９２）するために、これら特性を使用する。光源照度レベルを使用して、トーンスケール調節マップ１９４を計算または選択する。次に、エンハンスされた画像を作成するために、画像に対してこのマップを適用（１９６）する。次にディスプレイにエンハンスされた画像および光源レベルデータを送る（１９８）。

図２０を参照し、図１９に関連して説明した方法のために使用される装置について説明する。これらの実施例では、画像分析器２０２にて、画像２００を受信し、この分析器で画像特性を決定する。次に、画像分析器２０２は、光源レベルを決定するために、光源計算器２０３へ画像特性データを送る。次に、トーンスケールマップセレクタまたは計算器２０４に光源レベルデータが送られ、セレクタまたは計算器２０４は、光源レベルに基づき、トーンスケールマップを計算または選択する。次に、マップを元の画像に適用するために、元の画像と共に、選択されたマップ２０７または計算されたマップは画像プロセッサ２０５に送ることができる。このプロセスで、画像をディスプレイ中にディスプレイの光源光を変調するのに使用される光源光レベル信号と共にディスプレイ２０６へ送られるエンハンスされた画像を発生する。

本発明の一部の実施例では、光源制御ユニットは画質を維持する光源低減を選択する役割を果たす。光源レベルの選択をガイドするのに、適応ステージにおける画質を保存するための能力の知識を使用する。一部の実施例では、画像が明るいか、または画像が高度に飽和したカラー、例えば画素値２５５を有する青色を含むとき、高い光源レベルが必要であることを認識することが重要である。バックライトレベルを決定するために輝度だけを使用すると、低い輝度だが、大きい画素値、例えば飽和した青色または赤色を有する画像を有するアーティファクトの原因となる。また、一部の実施例では、各カラー平面を検査し、すべてのカラー平面の最大値に基づく判断を行うことができる。一部の実施例では、バックライト設定はクリップされるピクセルの特定の単一パーセンテージに基づいてなされる。図２２に示された別の実施例では、バックライト変調アルゴリズムは２つのパーセンテージ、すなわちクリップされた（Clipped）ピクセル２３６のパーセンテージと歪んだ（Distorted）ピクセル２３５のパーセンテージを使用できる。これら異なる値によるバックライト設定の選択により、トーンスケール計算器がハードなクリップを課すよりもトーンスケール関数をスムーズにロールオフするための余地が可能となる。ある入力画像を仮定し、各カラー平面に対する画素値のヒストグラムを決定する。２つのパーセンテージＰ_Clipped２３６およびＰ_Distorted２３５を仮定し、これらパーセンテージ２２４〜２２６に対応する画素値を決定するために、各カラー平面２２１〜２２３のヒストグラムを検査する。これによって、Ｃ_Clipped（color）２２８およびＣ_Distorted（color）２２７が生じる。異なるカラー平面の間の最大のクリップされた画素値２３４および最大の歪んだ画素値２３３を使用し、バックライト設定２２９を決定できる。この設定により、各カラー平面に対し、せいぜい画素値の指定されたパーセンテージをクリップするか、または歪ませることが保証される。

画素値ＣＶ_Clipped２３４において、２５５でトーンスケール関数がクリップするように、ＢＬパーセンテージを補償し、選択するために使用されるトーンスケール（ＴＳ）関数を検討することによって、バックライト（ＢＬ）パーセンテージを決定する。このトーンスケール関数は値ＣＶ_Distorted（この傾きの値はＢＬの減少量を補償する）より下ではリニアであり、ＣＶ_Clippedより上の画素値に対し、２５５で一定であり、連続した微分値を有する。この微分値を検討すると、より小さい傾きの選択の仕方、従ってＣＶ_Distortedより低い画素値に対し、画像のディストーションを生じさせないバックライトのパワーの選択の仕方が分かる

図２１に示されるＴＳの微分値のプロットでは、値Ｈは未知である。ＴＳがＣＶ_Clippedを２５５にマッピングするには、ＴＳの微分値以下の領域を２５５にしなければならない。このような制限によって我々は下記のようにＨの値を決定できる。

画素値のブーストおよびディスプレイのガンマ並びにディストーションポイントより下の画素値に対する正確な補償のための基準からＢＬパーセンテージを決定する。ＣＶ_Clippedでクリップし、ＣＶ_Distortedより下の無ディストーションからスムーズに移行できるようにするＢＬ（バックライト）比は、次の式で示される。

ＢＬの変動の問題を更に解決するために、ＢＬ比に上限を課す。

ＬＣＤとＢＬとの間で同期がないことを補償するために、上記のように誘導される画像依存ＢＬ信号に対して時間的なローパスフィルタリング２３１を適用できる。図２２にはバックライト変調アルゴリズムの一例の図が示されており、他の実施例では異なるパーセンテージおよび値を使用できる。

トーンスケールマッピングは画像のディストーションを最小にしながら、選択されたバックライト設定を補償できる。上記のようにバックライト選択アルゴリズムは対応するトーンスケールマッピング演算の能力に基づいて設計される。選択されたＢＬレベルにより、指定された第１のパーセンタイル（percentile）より下の画素値に対し、ディストーションを生じることなくバックライトレベルを補償し、指定された第２のパーセンタイルより上の画素値をクリップするトーンスケール関数を可能にする。これら２つの指定されたパーセンタイルによりトーンスケール関数が可能となるが、この関数はディストーションのない領域とクリッピング領域とをスムーズに移動する。

［周辺光を検出する実施例］
本発明の一部の実施例は、周辺照明センサを含み、このセンサは画像処理モジュールおよび／または光源制御モジュールに入力を提供する。これらの実施例では、トーンスケール調節、利得マッピングおよび他の変形を含む画像処理を周辺照明特性に関連させることができる。これら実施例は、周辺照明特性に関連する光源またはバックライト調節も含むことができ、一部の実施例では、単一処理ユニット内で光源と画像処理とを組み合わせることができ、別の実施例では、これら機能を別々のユニットで実行できる。

図２３を参照し、本発明の一部の実施例について説明する。これら実施例では、画像処理方法のための入力として周辺照明センサ２７０を使用できる。一部の実施例では、周辺照明センサ２７０からの入力および光源２６８のレベルに基づき、入力画像２６０を処理できる。光源２６８、例えば節電または他の理由から、ＬＣＤディスプレイパネル２６６を照明するためのバックライトのような光源２６８を変調または調節される。これらの実施例では、画像プロセッサ２６２が周辺照明センサ２７０および光源２６８からの入力を受信し、これら入力に基づき、画像プロセッサ２６２は周辺条件および光源２６８の照度レベルに合うように入力画像を変更する。他の実施例のための上記方法のいずれかに従い、または別の方法により、入力画像２６０を変更できる。一実施例では、減少された光源照度および周辺照明変動に関連し、画像ピクセル値を大きくするために、画像に対してトーンスケールマップが適用される。次に、例えばＬＣＤパネルのようなディスプレイパネル２６６に変更された画像２６４は登録される。一部の実施例では、光源照度レベルは周辺光が少ないときに減少され、又、光源照度の低下を補償するのにトーンスケール調節または他のピクセル値操作技術を使用するときに更にこのレベルを減少できる。一部の実施例では、周辺照明が低下したときに光源照度レベルを低下できる。一部の実施例では、周辺照明が上部スレッショルド値および／または下部のスレッショルド値に達したときに、光源照度レベルが増加される。

図２４を参照し、本発明の更に別の実施例について説明する。これら実施例では、画像処理ユニット２８２で入力画像２８０を受信する。この入力画像２８０の処理は、周辺照明センサ２９０からの入力に依存する。この処理は、光源処理ユニット２９４からの出力にも依存する。一部の実施例では、光源処理ユニット２９４は、周辺照明センサ２９０からの入力を受信でき、一部の実施例は、例えばデバイスのパワー消費モード、デバイスのバッテリー状態またはデバイスのその他の状態を表示するパワーモードインジケータのようなデバイスモードインジケータ２９２からの入力も受信できる。光源処理ユニット２９４は、周辺光状態および／またはデバイス状態を使用し、光源照度レベルを決定し、このレベルを使って、例えばＬＣＤディスプレイ２８６のようなディスプレイを照明する光源２８８を制御する。光源処理ユニットは、画像処理ユニット２８２へ光源照度レベルおよび／または他の情報を送ることもできる。

画像処理ユニット２８２は、入力画像２８０を処理するための処理パラメータを決定するために、光源処理ユニット２９４からの光源情報を使用できる。画像処理ユニット２８２は、画像ピクセル値を調節するためにトーンスケール調節、利得マップまたは他の方法を適用できる。一部の実施例では、この方法は、画像の明るさおよびコントラストを改善し、光源照度の低下を部分的または完全に補償する。画像処理ユニット２８２による処理の結果、調節された画像２８４が得られ、この画像はディスプレイが光源２８８で照明される場合、ディスプレイ２８６へ送られる。

図２５を参照し、本発明の別の実施例について説明する。これら実施例では、画像処理ユニット３０２で入力画像３００を受信する。入力画像３００の処理は、周辺照明センサ３１０からの入力に依存する。この処理は、光源処理ユニット３１４からの出力にも依存する。一部の実施例では、光源処理ユニット３１４は、周辺照明センサ３１０からの入力を受信でき、一部の実施例は、例えばデバイスのパワー消費モード、デバイスのバッテリー状態またはデバイスのその他の状態を表示できるパワーモードインジケータのようなデバイスモードインジケータ３１２からの入力も受信できる。光源処理ユニット３１４は、周辺光状態および／またはデバイス状態を使用し、光源照度レベルを決定し、このレベルを使って、例えばＬＣＤディスプレイ３０６のようなディスプレイを照明する光源３０８を制御する。光源処理ユニットは、画像処理ユニット３０２へ光源照度レベルおよび／または他の情報を送ることもできる。

画像処理ユニット３０２は、入力画像３００を処理するための処理パラメータを決定するために、光源処理ユニット３１４からの光源情報を使用できる。画像処理ユニット３０２は、入力画像３００を処理するための処理パラメータを決定するために周辺照明センサ３１０からの周辺照明情報も使用できる。画像処理ユニット３０２は、画像ピクセル値を調節するためにトーンスケール調節、利得マップまたは他の方法を適用できる。一部の実施例では、この方法は、画像の明るさおよびコントラストを改善し、光源照度の低下を部分的または完全に補償する。画像処理ユニット３０２による処理の結果、調節された画像３０４が得られ、ディスプレイを光源３０８で照明する場合、この画像をディスプレイ３０６へ送ることができる。

図２６を参照し、本発明の別の実施例について説明する。これら実施例では、画像処理ユニット３２２で入力画像３２０を受信する。入力画像３２０の処理は周辺照明センサ３３０からの入力に依存し、この処理は光源処理ユニット３３４からの出力にも依存する。一部の実施例では、周辺照明センサ３３０からの入力を光源処理ユニット３３４が受信し、別の実施例では、画像処理ユニット３２２から周辺情報を受信できる。光源処理ユニット３３４は中間光源照明レベルを決定するのに、周辺光状態および／またはデバイス状態を使用できる。この中間光源照度レベルは、光源ポストプロセッサ３３２へ送られ、このポストプロセッサは、中間光源照度レベルを特定のデバイスのニーズに合わせることができる量子化器、タイミングプロセッサ、または他のモジュールの形態をとり得る。一部の実施例では、光源のポストプロセッサ３３２は、光源３２８のタイプおよび／または、例えばビデオアプリケーションのような撮像アプリケーションによって課されたタイミング制限のために、光源制御信号を調整することができる。次に、ポスト処理された信号は、例えばＬＣＤディスプレイ３２６のようなディスプレイを照明する光源３２８を制御するのに使用できる。光源処理ユニットは、このポスト処理された光源照度レベルおよび／または他の情報を画像処理ユニット３２２へ送ることもできる。

画像処理ユニット３２２は、入力画像３２０を処理するための処理パラメータを決定するために、光源処理ユニット３３４からの光源情報を使用できる。画像処理ユニット３２２は、画像ピクセル値を調節するためにトーンスケール調節、利得マップまたは他の方法を適用できる。一部の実施例では、この方法は、画像の明るさおよびコントラストを改善し、光源照度の低下を部分的または完全に補償する。画像処理ユニット３２２による処理の結果、調節された画像３２４が得られ、ディスプレイ３２６を光源３２８で照明する場合、この画像はディスプレイ３２６へ送られる。

本発明の一部の実施例は、別個の画像分析モジュール３４２、３６２および画像処理モジュール３４３、３６３を含むことができる。これらユニットを単一のコンポーネントまたは単一のチップ上に組み込むことができるが、これらのユニットの相互作用が良くわかるように、別々のモジュールとして図示し、説明する。

図２７を参照し、本発明のこれら実施例の一部について説明する。これらの実施例では、画像分析モジュール３４２で入力画像３４０を受信する。この画像分析モジュールは、画像の特性を決定するために画像を分析し、決定された画像特性は画像処理モジュール３４３および／または光源処理モジュール３５４へ送られる。入力画像３４０の処理は周辺照明センサ３５０からの入力に依存する。一部の実施例では、光源処理モジュール３５４は周辺照明センサ３５０からの入力を受信する。光源処理ユニット３５４は、デバイスの状態またはモードセンサ３５２からの入力も受信できる。光源処理ユニット３５４は、周辺光状態、画像特性および／またはデバイス状態を使用し、光源照度レベルを決定する。この光源照度レベルは、例えばＬＣＤディスプレイ３４６のようなディスプレイを照明する光源３４８へ送られる。光源処理モジュール３５４は、ポスト処理された光源照度レベルおよび／または他の情報を画像処理モジュール３４３へ送ることもできる。

画像処理モジュール３４３は、光源処理モジュール３５４からの光源情報を使用し、入力画像３４０を処理するための処理パラメータを決定できる。画像処理モジュール３４３は、光源処理モジュール３５４を通して周辺照明センサ３５０から送られた周辺照明情報も使用する。この周辺照明情報は入力画像３４０を処理するための処理パラメータを決定するのに使用できる。画像処理モジュール３４３は、画像ピクセル値を調節するためにトーンスケール調節、利得マップまたは他の方法を適用できる。一部の実施例では、この方法は画像の明るさおよびコントラストを改善し、光源照度の低下を部分的または全体に補償する。画像処理モジュール３４３の処理の結果として、調節された画像３４４が得られ、この画像はディスプレイ３４６が光源３４８によって照明できる場合、ディスプレイ３４６へ送られる。

図２８を参照し、本発明の一部の実施例について説明する。これら実施例では、画像分析モジュール３６２により、入力画像３６０を受信する。この画像分析モジュールは、画像特性を決定するために画像を分析でき、決定された画像特性は画像処理モジュール３６３および／または光源処理モジュール３７４へ送られる。入力画像３６０の処理は、周辺照明センサ３７０からの入力に依存し、この処理は、光源処理モジュール３７４からの出力にも依存する。一部の実施例では、画像処理モジュール３６３から周辺情報を受信することができ、この処理モジュールは周辺センサ３７０からの周辺情報を受信できる。この周辺情報は、画像処理モジュール３６３を通って、光源処理モジュール３７４に送られる、および／またはその途中で画像処理モジュールによって処理される。デバイスモジュール３７２から光源処理モジュール３７４へデバイスの状態またはモードを送ることもできる。

光源処理モジュール３７４は、光源照度レベルを決定するために周辺光の状態および／またはデバイスの状態を使用できる。この光源照度レベルはＬＣＤディスプレイ３６６のようなディスプレイを照明する光源３６８を制御するのに使用できる。光源処理ユニット３７４は、画像処理モジュール３６３へ光源照度レベルおよび／または他の情報を送ることもできる。

画像処理モジュール３６３は、光源処理モジュール３７４からの光源情報を使用し、入力画像３６０を処理するための処理パラメータを決定できる。画像処理モジュール３６３は、入力画像３６０を処理するための処理パラメータを決定するために周辺照明センサ３７０からの周辺照明情報を使用することもできる。画像処理モジュール３６３は、画像ピクセル値を調節するためにトーンスケール調節、利得マップまたは他の方法を適用できる。一部の実施例では、この方法は画像の明るさおよびコントラストを改善し、光源照度の低下を部分的または全体に補償する。画像処理モジュール３６３の処理の結果として、調節された画像３６４が得られ、この画像はディスプレイ３６６が光源３６８によって照明できる場合、ディスプレイ３６６へ送られる。

［ディストーション適応パワー管理実施例］
本発明の一部の実施例は、モバイルデバイスおよびアプリケーションを含むディスプレイデバイスの必要パワー、ディスプレイ特性、周辺環境およびバッテリー制限を解決する方法およびシステムを含む。一部の実施例では、３種のアルゴリズム、例えばディスプレイパワー管理アルゴリズム、バックライト変調アルゴリズムおよび明るさ保存（ＢＰ）アルゴリズムが使用される。パワー管理は移動するバッテリー給電デバイスで優先度が高いが、これらシステムおよび方法は、エネルギー保存、熱管理および他の目的のためにパワー管理から利益が得られる他のデバイスにも適用できる。これら実施例では、これらアルゴリズムは相互に作用するが、個々の機能として次の機能を挙げることができる。
・パワー管理−これらのアルゴリズムはパワー消費量を最適にするよう、ビデオコンテンツ内の変動を利用する一連のフレームにわたってバックライトのパワーを管理する。
・バックライト変調−これらのアルゴリズムはパワー消費量を最適にするよう、個々のフレームのために使用するバックライトパワーレベルを選択し、画像内の統計値を利用する。
・明るさ保存−これらのアルゴリズムは低下したバックライトパワーを補償し、アーティファクトを防止しながら、画像の明るさを保存するために、各画像を処理する。

図２９を参照し、本発明の一部の実施例について説明するが、図２９は、これら実施例のコンポーネントの相互作用を示す簡略化されたブロック図を含む。一部の実施例では、パワー管理アルゴリズム４０６はビデオ、画像シーケンスまたは他のディスプレイタスクにわたり、固定されたバッテリーリソース４０２を管理すると共に、画質および／または他の特性を保持しながら、特定の平均パワー消費量を保証できる。バックライト変調アルゴリズム４１０は、パワー管理アルゴリズム４０６からの命令を受け、パワー管理アルゴリズム４０６によって定められた制限を受けるパワーレベルを選択し、各画像を効率的に表示する。明るさ保存アルゴリズム４１４は、選択されたバックライトレベル４１５および可能なクリッピング値４１３を使用し、低下したバックライトを補償するように画像を処理する。

［ディスプレイのパワー管理］
一部の実施例では、ディスプレイのパワー管理アルゴリズム４０６は、ビデオ、画像シーケンスまたは他のディスプレイタスクにわたるパワー使用量の分配を管理できる。一部の実施例では、ディスプレイパワー管理アルゴリズム４０６は、バッテリーの固定されたエネルギーを割り当て、画質を維持しながら、保証された作動寿命を提供する。一部の実施例では、パワー管理アルゴリズムの１つの目標は、バッテリーの寿命に対する保証されたより低い限度を提供し、モバイルデバイスの利用可能性を高めることにある。

［一定パワー管理］
任意の目標を満たすパワー制御の一形態は、所望する寿命を満たす固定されたパワーを選択することである。図３０には、一定パワー管理に基づくシステムを示すシステムブロック図が示されている。必須ポイントは、パワー管理アルゴリズム４３６が初期バッテリーの充電量４３２および所望する寿命４３４だけに基づき、一定のバックライトパワーを選択することである。各画像４４０において、このバックライトレベル４４４のための補償４４２が実行される。

バックライトレベル４４４、従ってパワー消費量は、画像データ４４０に依存しない。一部の実施例は、パワーモードに基づいて行うべきパワーレベルの選択を可能にする多数の一定パワーモードをサポートできる。一部の実施例では、システムの実現を簡単化するのに、画像に依存したバックライト変調を使用できない。別の実施例では、作動モードまたはユーザの好みに基づき、いくつかの一定パワーレベルを設定し、選択できる。一部の実施例は、単一の低減されたパワーレベル、例えば最大パワーの７５％でこの原理を使用する。

［簡単な適応型パワー管理］
図３１を参照し、本発明の一部の実施例について説明する。これらの実施例は、適応型パワー管理アルゴリズム４５６を含み、バックライト変調４６０に起因するパワー低減量４５５が、パワー管理アルゴリズム４５６へフィードバックされ、所望するシステムの寿命を提供しながら、改善された画質を可能にする。

一部の実施例では、下記の式１８に示されるように、時間に対する静的な最大パワーの計算を更新することにより、パワー管理アルゴリズム内に、画像に従属したバックライト変調による省電力を含ませることができる。適応型パワー管理は、バックライト変調アルゴリズム４６０にパワーの上限（ｍＡ）を与えるために、残りの所望する寿命（時間）に対する残りのバッテリーの充電度（ｍＡ／時間）の比を計算することを含むことができる。一般にバックライト変調４６０は、更にパワーを節約するために、この最大値より下の実際のパワーを選択できる。一部の実施例では、バックライト変調に起因する省電力量は、残りのバッテリーの充電量の変化量値または作動中の選択された平均パワー、従って、パワー管理決定の後の影響を通してフィードバックの形態で反映される。

一部の実施例では、バッテリーのステータス情報を入手できないか、またはこの情報が不正確である場合、ディスプレイが使用するエネルギー、すなわち、平均選択パワーに作動時間を乗じたものを計算するか、またはこの値をバッテリーの初期充電量から減算することによって、残存バッテリー充電量を推定できる。

この後者の技術は、バッテリーと相互作用することなく実行できるという利点を有する。

［パワーディストーション管理］
本発明者は、パワー対ディストーションの調整において、多くの画像は同じパワーでも大きく異なるディストーションを呈することを観察した。アンダー露出の写真のように、コントラストの貧弱なぼんやりした画像を、大パワーを使用する結果生じる黒レベルの上昇によって、小さいパワーでも実際に良好にディスプレイすることができる。パワー制御アルゴリズムは、画像のディストーションを直接パワー設定ではなく、バッテリー容量とトレードオフできる。図２９に示された本発明の一部の実施例では、パワー管理技術はバックライト制御アルゴリズム４１０に与えられる最大パワー４０１の外に、最大ディストーション値のようなディストーションパラメータ４０３も含むことができる。これら実施例では、パワー管理アルゴリズム４０６は、そのときの画像のパワー／ディストーション特性の形態でバックライト変調アルゴリズム４１０からのフィードバックを使用できる。一部の実施例では、そのときのフレームのターゲットパワーおよびパワー−ディストーション特性に基づき、最大画像ディストーションは修正される。これら実施例では、実際に選択されたパワーに対するフィードバックの外に、パワー管理アルゴリズムはディストーションターゲット４０３を選択し、提供でき、バッテリーの充電度４０２へのフィードバックの外に、対応する画像ディストーション４０５に対するフィードバックを受信できる。一部の実施例では、パワー制御アルゴリズム内で別の入力、例えば周辺レベル４０８、ユーザの好みおよび作動モード（例えばビデオ、グラフィックス）を使用できる。

本発明の一部の実施例は、ディスプレイの品質を維持しながら、ビデオシーケンスにわたってパワーを最適に割り当てるよう試みることができる。一部の実施例では、所定のビデオシーケンスの間、使用される全パワーと画像のディストーションとのトレードオフ点を選択するために、２つの基準を使用できる。最大画像ディストーションと平均画像ディストーションとを使用できる。一部の実施例では、これらを最小にできる。一部の実施例では、シーケンス内の各画像に対し、同じディストーションを使用することにより、画像シーケンスにわたって最大ディストーションを最小化できる。これら実施例ではパワー管理アルゴリズム４０６は、このディストーション４０３を選択し、バックライト変調アルゴリズム４１０が、このディストーションターゲット４０３を満たすバックライトレベルを選択できるようにする。一部の実施例では、各画像に対して選択されたパワーが、パワーディストーション曲線の傾きを等しくするようになっているとき、平均ディストーションを最小化できる。この場合、パワー管理アルゴリズム４０６は、適切なバックライトレベルを選択するために、バックライト変調アルゴリズム４１０に依存するパワーディストーション曲線の傾きを選択できる。

パワー管理プロセスにおけるディストーションを検討する際に、省電力を示すために、図３２Ａおよび３２Ｂを使用できる。図３２Ａは、画像シーケンスのうちの連続フレームに対する光源のパワーレベルのプロットであり、この図３２Ａは、フレームと一定ディストーショングラフの平均パワー４８２との間で一定のディストーション４８０を維持するのに必要な光源のパワーレベルを示す。図３２Ｂは、画像シーケンスのうちの同じ連続フレームに対する画像ディストーションのプロットである。図３２Ｂは、一定パワー設定を維持することから生じた一定パワーディストーション４８４、シーケンスにわたって一定ディストーションを維持することから生じた一定ディストーションレベル４８８および一定パワーを維持するときの平均一定パワーディストーション４８６を示す。一定パワーレベルは、一定ディストーションの結果の平均パワーに等しくなるように選択されている。従って、双方の方法は同じ平均パワーを使用する。ディストーションを検討することにより、一定パワー４８４は、画像のディストーションに大きな変動を生じさせることが分かった。双方の方法が同じ平均パワーを使用しているにもかかわらず、一定パワー制御の平均ディストーション４８６は、一定ディストーションアルゴリズムのディストーション４８８の１０倍より大きくなることにも留意されたい。

実際に、パワーとディストーションとのトレードオフを評価するには、パワーディストーション関数の各ポイントで、元の画像とパワーが低減された画像との間のディストーションを計算しなければならないので、ビデオシーケンスにわたる最大ディストーションまたは平均ディストーションを最小にしようとする最適化は、あるアプリケーションでは過度に複雑となることが証明される。各ディストーション評価は、バックライトの低減および対応する画像の明るさの補償を計算し、元の画像と比較することを必要とする。従って、一部の実施例は、ディストーション特性を計算し、または評価するためのより簡単な方法を含むことができる。

一部の実施例では、ある近似を使用できる。第１に、式２０が示すように、画像自身ではなく、画像の画素値のヒストグラムから、平均二乗誤差（ＭＳＥ）のようなポイントごとのディストーション（ディストーション）の計量値を計算できることに注目する。この場合、ヒストグラムは３２０×２４０の解像度で、７６８０のサンプルを有する画像とは異なり、２５６の値しか有しない一次元の信号である。この値は、所望すれば、ヒストグラムをサブサンプリングすることによって更に低減できる。

一部の実施例では、実際の補償アルゴリズムを適用するのではなく、補償段階で、クリッピングにより単に画像をスケーリングすることを仮定することにより、近似を行うことができる。一部の実施例では、ディストーション計量値内に黒レベルの上昇項を含ませることも有益である。一部の実施例では、このような項を使用することは、ゼロバックライトで完全にブラックのフレームに対して、最小ディストーションが生じることを意味する。

一部の実施例では、各画素値に対する所定パワーレベルでのディストーションを計算するために、クリッピングと共にリニアブーストによって生じるディストーションが決定される。次に、このディストーションは画素値の周波数によって重みづけされ、指定されたパワーレベルでの平均画像ディストーションを求めるために合計される。これら実施例では、明るさ補償のための簡単なリニアブーストは、画像ディスプレイのための許容できる画質を与えないが、バックライトの変化によって生じる画質のディストーションの推定値を計算するための簡単なソースとして働く。

図３３に示された一部の実施例では、パワー消費量および画像のディストーションの双方を制御するために、パワー管理アルゴリズム５００はバッテリーの充電度５０６および残存寿命５０８だけでなく、画像のディストーション５１０をも追尾する。一部の実施例では、パワー消費量に対する上限５１２およびディストーションターゲット５１１がバックライト変調アルゴリズム５０２に供給される。次に、このバックライト変調アルゴリズム５０２は、パワーの限度およびディストーションターゲットの双方に適合するバックライトレベル５１２を選択する。

［バックライト変調アルゴリズム（ＢＭＡ）］
バックライト変調アルゴリズム５０２は、各画像に対して使用されるバックライトレベルを選択する役割を果たす。この選択は、表示すべき画像およびパワー管理アルゴリズム５００からの信号に基づいてなされる。パワー管理アルゴリズム５００によって供給される最大パワーに関する限度５１２を考慮することにより、望ましい寿命にわたってバッテリー５０６が管理される。一部の実施例では、バックライト変調アルゴリズム５０２は、そのときの画像の統計値に応じたより低いパワーを選択できる。このことが特定の画像でのパワーを節約する源となり得る。

適当なバックライトレベル４１５を一旦選択すると、バックライト４１６は選択されたレベルに設定され、このレベル４１５は明るさ保存アルゴリズム４１４へ与えられ、必要な補償が決定される。一部の画像およびシーケンスに対し、少量の画像のディストーションを認めることにより、必要なバックライトパワーを大幅に低減できる。従って、一部の実施例は、制御された量の画像ディストーションを認めるアルゴリズムを含む。

図３４は、ディストーションのいくつかの許容度に対するフレーム数の関数としてのサンプルＤＶＤクリップでの省電力量を示すグラフである。ディストーションがゼロのピクセルのパーセンテージは１００％から９７％と９５％へ変化し、ビデオクリップにわたる平均パワーが決定された。この平均パワーはそれぞれ９５％から６０％までの範囲であった。従って、ピクセルのうちの５％におけるディストーションを認めることにより、更に３５％パワーを節約できた。このことは、画像にわずかなディストーションを認めることによりパワーを大幅に節約できることを示している。明るさ保存アルゴリズムがわずかなディストーションを認める一方、主観的品質を保持できれば、大幅な省電力を達成できる。

図３０を参照し、本発明の一部の実施例について説明する。これら実施例は、周辺光センサ４３８からの情報も含むことができ、これら実施例はモバイルアプリケーションのために複雑さを低減できる。これら実施例はパワー管理アルゴリズム４３６が供給する静的なヒストグラムパーセント限度およびダイナミックな最大パワー限度を含む。一部の実施例では、一定パワーターゲットを含むことができるが、別の実施例は、より複雑なアルゴリズムを含む。一部の実施例では、カラーコンポーネントの各々のヒストグラムを計算することにより、画像を分析する。特定のパーセントが生じるヒストグラム内の画素値が各カラー平面に対して計算される。一部の実施例では、画素値のリニアブーストがヒストグラムから選択した画素値のクリッピングを生じさせるように、ターゲットバックライトレベルを選択できる。実際のバックライトレベルは、このターゲットレベルの最小値として選択され、バックライトレベルの限度はパワー管理アルゴリズム４３６によって与えられる。これらの実施例は、保証されたパワー制御を提供し、パワー制御限度に達することができた場合、限られた量の画像のディストーションを許容する。

［画像のディストーションに基づく実施例］
本発明の一部の実施例は、パワー管理アルゴリズムが供給するディストーション限度および最大パワー限度を含む。図３２Ｂおよび３４は、所定のバックライトパワーレベルでのディストーション量が画像のコンテンツに応じて大きく変化することを示している。各画像のパワーディストーション挙動の性質をバックライト選択プロセスで利用できる。一部の実施例では、各カラーコンポーネントに対するヒストグラムを計算することにより、そのときの画像を分析できる。式２０のうちの第２の式を利用してパワー値の範囲でのディストーションを計算することによって、ディストーションを定めるパワーディストーション曲線（例えばＭＳＥ）を算出できる。バックライト変調アルゴリズムは、指定されたディストーション限度以下のディストーションをもつ最小のパワーをターゲットレベルとして選択する。このバックライトレベルは、ターゲットレベルの最小値として選択され、バックライトレベルの限度はパワー管理アルゴリズムによって与えられる。更に、選択されたレベルでの画像ディストーションは、ディストーションのフィードバックをガイドするために、パワー管理アルゴリズムに与えられる。パワーディストーション曲線のサンプリング周波数および画像ヒストグラムを、複雑さを制御するために低減することができる。

［明るさ保存（Brightness Preservation（ＢＰ)）］
一部の実施例では、ＢＰアルゴリズムは低下した照度を補償するために、選択されたバックライトレベルに基づき、画像を明るくする。ＢＰアルゴリズムはディスプレイに生じるディストーションを制御し、画質を維持するＢＰアルゴリズムの能力はバックライト変調アルゴリズムがどれだけ多くのパワーを節約できるかを決定する。一部の実施例は、２５５を超える画像クリッピング値をスケーリングすることにより、バックライトの低下を補償する。これらの実施例では、バックライト変調アルゴリズムはパワーを低減するのに慎重でなければならない。そうしないと、不快なクリッピングアーティファクトが生じ、可能な省電力が制限されることになる。一部の実施例は、固定されたパワー低減量にて最も要求されるフレームでの画質を維持するように設計されている。これらの実施例の一部は、単一バックライトレベル（例えば７５％）を補償する。別の実施例は、バックライト変調と共に働くように一般化できる。

明るさ保存（ＢＰ）アルゴリズムの一部の実施例は、バックライトおよび画像データの関数としてディスプレイから出力される輝度の記述を利用できる。このモデルを使用することによって、ＢＰはバックライトの低下を補償するように、画像に対する変更を決定できる。透過反射型ディスプレイの場合、ＢＰモデルはディスプレイの反射特性の記述を含むように変更できる。ディスプレイから出力される輝度は、バックライト、画像データおよび周辺の関数となる。一部の実施例では、ＢＰアルゴリズムは所定の周辺環境におけるバックライトの低減を補償するように、画像に対する変更を決定できる。

［周辺の影響］
実行が制限されているために、一部の実施例はＢＰパラメータを決定するための複雑度が制限されたアルゴリズムを含むことができる。例えばＬＣＤモジュール上で完全に作動するアルゴリズムを開発すると、アルゴリズムに利用できる処理およびメモリが制限される。この例では、一部のＢＰ実施例のために、異なるバックライトと周辺の組み合わせに対し、別のガンマ曲線を発生することが使用される。一部の実施例では、ガンマ曲線の数および分解能に対する制限が必要である。

［パワー／ディストーション曲線］
本発明の一部の実施例は、ビデオシーケンスフレームを含むが、これだけに限定されない、画像に対するパワー／ディストーション特性を把み推定し、計算し、または決定する。図３５は、４つの画像例に対するパワー／ディストーション特性を示すグラフである。図３５では、画像Ｃに対する曲線５２０は、光源パワーバンド全体に対して負の傾きを維持し、画像Ａ、ＢおよびＤに対する曲線５２２、５２４および５２６は、これらが最低値に達するまで負の傾きで低下し、次に正の傾きで上昇する。画像Ａ、ＢおよびＤに対し、光源のパワーを増加すると、実際に曲線が正の傾き５２８を有するような曲線の特定範囲において、実際にディストーションが増加する。このことは、ＬＣＤの漏れまたはビューアーが見る表示された画像が画素値と一貫して異なるようにさせるその他のディスプレイの不規則性（これらだけに限定されない）のような表示特性に起因し得る。

本発明の一部の実施例は、特定の画像または画像タイプに対する適切な光源のパワーレベルを決定するために、これらの特性を使用する。画像に対する適切な光源のパワーレベルを決定するのに使用されるディストーションパラメータの計算時に、表示特性（例えばＬＣＤの漏れ）を考慮することができる。

［方法の例］
図３６を参照し、本発明の一部の実施例について説明する。これら実施例では、パワーバジェット（消費予定量）が確立される（５３０）。このことは、簡単なパワー管理、適応型パワー管理およびこれまで説明した他の方法、またはその他の方法によって実行できる。一般には、パワーバジェットを確立することは、例えばバッテリーの充電量の一部のような固定されたパワーリソースを使用しながら、ビデオファイルの表示のようなディスプレイタスクの完了を可能にするバックライトまたは光源のパワーレベルを推定することを含む。一部の実施例では、パワーバジェットを確立することは、固定された量のパワーでディスプレイタスクを完了できる平均パワーレベルを決定することを含む。

これらの実施例では、初期ディストーション基準５３２も確立できる。パワーバジェットを満たす低減された光源のパワーレベルを推定し、そのパワーレベルにおける画像ディストーションを測定することにより、この初期ディストーション基準を決定できる。このディストーションは補正されていない画像上、上記のような明るさ保存（ＢＰ）技術を使って変更された画像上、または簡略化されたＢＰプロセスで変更された画像上で測定できる。

初期ディストーション基準を一旦確立すると、ディストーション基準を満たすように、表示された画像のディストーション特性を生じさせる光源のパワーレベルを使って、ディスプレイタスクの第１部分を表示できる（５３４）。一部の実施例では、各フレームがディストーション条件を満たすように、ビデオシーケンスの各フレームに対し、光源パワーレベルを選択できる。一部の実施例では、一定のディストーションまたはディストーション範囲を維持し、ディストーションを指定されたレベルよりも低く維持するか、またはディストーション基準を満たすように光源の値を選択できる。

ディスプレイタスクの第１部分を表示するのに使用されたパワーが、パワーバジェット管理パラメータを満たしたかどうかを判断するために、パワー消費量が評価される（５３６）。各画像、ビデオフレーム、または他のディスプレイタスク要素に対して、固定された量を使用することによってパワーを割り当てることができる。一連のディスプレイタスク要素にわたって消費される平均パワーが条件を満たす。各ディスプレイタスク要素に対して消費されるパワーが変化するようにパワーを割り当てることもできる。その他のパワー割り当て方式も使用できる。

ディスプレイタスクの第１部分に対するパワー消費量がパワーバジェット条件を満たしていなかったと、パワー消費量の評価５３６が示しているとき、ディストーション基準を変更できる（５３８）。パワー／ディストーション曲線を推定し、仮定し、計算し、または他の方法で決定することができる一部の実施例では、パワーバジェット条件を満たすのに必要な多少のディストーションを認めるように、ディストーション基準を変更できる。パワー／ディストーション曲線は、画像固有であるが、シーケンスのうちの第１フレームに対する、シーケンス内の画像の一例に対する、またはディスプレイタスクを示す合成された画像に対するパワー／ディストーション曲線を使用することができる。

一部の実施例では、ディスプレイタスクの第１部分に対して、予定されたパワー量以上のパワーが使用され、パワー／ディストーション曲線の傾きが正であるとき、より少ないディストーションしか認めないように、ディストーション基準を変更できる。一部の実施例では、ディスプレイタスクの第１部分に対して、予定されたパワー量以上のパワーが使用され、パワー／ディストーション曲線の傾きが負であるとき、より多くのディストーションを認めるように、ディストーション基準を変更できる。一部の実施例では、ディスプレイタスクの第１部分に対し、予定されたパワー量より少ないパワーが使用され、パワー／ディストーション曲線の傾きが負または正であるとき、より少ないディストーションしか認めないように、ディストーション基準を変更できる。

図３７を参照し、本発明の一部の実施例について説明する。これら実施例は一般に、パワーが限られたバッテリー給電デバイスを含む。これらの実施例では、バッテリーの充電度を推定または測定する（５４０）。ディスプレイタスクのパワー条件も推定または計算される（５４２）。初期の光源パワーレベルも推定または決定される（５４４）。上記一定パワー管理に関して説明したようなバッテリーの充電度およびディスプレイタスクのパワー条件を使って、または他の方法によって、この初期光源パワーレベルを決定できる。

初期光源パワーレベルに対応するディストーション基準を決定することもできる（５４６）。この基準は、初期光源パワーレベルにおいて、画像の一例に対して生じたディストーションの値とすることができる。一部の実施例では、ディストーションの値は補正されていない画像、実際のＢＰアルゴリズムまたは推定されたＢＰアルゴリズムによって変更された画像、または別の画像の例に基づくことができる。

一旦ディストーション基準が決定されると（５４６）、ディスプレイタスクの第１部分が評価され、評価基準を満たすよう、ディスプレイタスクの第１部分のディストーションを生じさせる光源パワーレベルが選択される（５４８）。次に、選択された光源パワーレベルを使ってディスプレイタスクの第１部分が表示され（５５０）、この部分の表示中に消費されるパワーが推定または測定される（５５２）。このパワー消費量がパワー条件を満たさないとき、パワー消費量がパワー条件を満たすようにディストーション基準を変更できる（５５４）。

図３８Ａおよび３８Ｂを参照して本発明の一部の実施例について説明する。これらの実施例では、パワーバジェットを確立し（５６０）、ディストーション基準も確立する（５６２）。これら双方は一般に、例えばビデオシーケンスのような特別のディスプレイタスクに関して設定される。次に、画像、例えばフレームまたはビデオシーケンスのフレームの組を選択する（５６４）。次に、低減された光出力レベルから生じるディストーションがディストーション基準を満たすように、低減された光源のパワーレベルを選択された画像に対して推定する（５６６）。このディストーション計算は、推定された、または実際の明るさ保存（ＢＰ）方法の選択された画像に対する画像値への適用を含むことができる。

次に、低減された光源レベルを補償するために、ＢＰ方法５６８により、選択された画像を変更できる。次に、ＢＰで変更された画像の実際のディストーションが測定され（５７０）、この実際のディストーションがディストーション基準５７２を満たしているかどうかの判断がされる。実際のディストーションがディストーション基準を満たしていない場合、推定プロセス５７４を調節し、低減された光源パワーレベルを推定し直す（５６６）。実際のディストーションがディストーション基準を満たしていない場合、選択された画像表示される（５７６）。実際のディストーションがディストーション基準を満たしている場合、選択された画像が表示される（５７６）。次に、画像表示中のパワー消費量が測定され（５７８）、これとパワーバジェット制限５８０とが比較される。パワー消費量がパワーバジェットの制限を満たしている場合、ディスプレイタスクが終了（５８２）していなければ（この終了のポイントでプロセスは終了する）、次の画像、例えばビデオフレームの連続する組が選択される（５８４）。次の画像が選択されると（５８４）、プロセスはポイントＢまでリターンし、ここで低減された光源のパワーレベルがその画像に対して推定され（５６６）、プロセスは第１画像に関して続行される。

選択された画像に対するパワー消費量がパワーバジェット制限を満たしていない場合（５８０）、上記他の実施例に対して説明したように、ディストーション基準を変更し（５８６）、次の画像を選択する（５８４）。

［改良された黒レベルの実施例］
本発明の一部の実施例は、ディスプレイの黒レベルの改良のためのシステムおよび方法を含む。一部の実施例は、指定されたバックライトレベルを使用し、明るさを維持すると共に黒レベルを改良する。輝度マッチングトーンスケールを発生する。別の実施例は、構成中に黒レベルの改良を含むバックライト変調アルゴリズムを含む。上記実施例の拡張または変更として一部の実施例を実施できる。

［改良された輝度のマッチング（ターゲットにマッチする理想的なディスプレイ）］
上で示した輝度マッチング式、式７を使って、バックライトの低下を補償する画素値のリニアスケーリングを決定する。このことはパワーが７５％まで低下した場合に実験で効果的であることが証明されている。画像に依存するバックライト変調を有する一部の実施例では、ダークフレームに対し、例えば１０％より低くバックライトを大幅に低減できる。これらの実施例では、式７で誘導される画素値のリニアスケーリングは、ダーク値を過剰にブーストできるので適さない。これら方法を使用する実施例は、パワーが低減されたディスプレイでもフルパワー出力を再生できるが、出力を最適にするようには働かないことがある。フルパワーのディスプレイは、高くなった黒レベルを有するので、ダークシーンに対するこのような出力を再生することは、より低いバックライトパワーの設定で可能であった、低減された黒レベルの効果を生じない。これらの実施例では、マッチング基準を変更し、式７で与えられる結果に対する置換式を誘導できる。一部の実施例では、理想的ディスプレイの出力をマッチングする。この理想的ディスプレイは、ゼロ黒レベルと、フルパワーのディスプレイと同じ最大出力、ホワイトレベル＝Ｗとを含むことができる。画素値ｃｖに対するこの理想的（ideal）ディスプレイの一例のレスポンスは、最大出力、すなわちＷ、ディスプレイガンマおよび最大画素値により、式２２で表記できる。

一部の実施例では、ＬＣＤの一例は最大出力Ｗおよびガンマを有することができるが、ゼロでない黒レベルＢを有することはできない。このようなＬＣＤの例は、フルパワー出力に対して上で説明したＧＯＤモデルを使ってモデル化できる。この出力は１００％未満のパワーに対する相対的バックライトパワーでスケールする。式２３に示されるように、フルパワーディスプレイの最大出力Ｗおよび黒レベルＢにより、ゲイン（Gain）およびオフセット（Offset）モデルパラメータを決定できる。

相対的パワーにより、フルパワーの結果をスケーリングすることにより、相対的バックライトパワーＰを有する低減されたパワーのディスプレイの出力を決定できる。

これら実施例では、可能であれば、理想的ディスプレイの出力と実際のディスプレイの出力とが等しくなるように、画素値を変更できる。（理想的出力が、実際の（actual）ディスプレイでの所定のパワーで可能である出力未満であるか、またはそれより大である場合）。

これら実施例はゼロでない黒レベルを有する実際のディスプレイで理想的出力にマッチングさせるための画素値の関係のいくつかの性質を示す。

これら結果は、ディスプレイがゼロの黒レベルを有すると仮定する、すなわちコントラスト比が無限である、別の実施例に対する我々の前の開発例と一致する。

［バックライト変調アルゴリズム］
これらの実施例では、輝度マッチング理論は、所定のパワーでのディスプレイとゼロ黒レベルを有する基準ディスプレイとをマッチングさせることにより、バックライト変調アルゴリズムを決定するために黒レベルの検討事項を含む。これら実施例は、理想的ディスプレイで表示されるときのディストーションと比較し、パワーＰで表示されるときに画像が有するはずのディストーションを決定するために、輝度マッチング理論を使用する。バックライト変調アルゴリズムは、指定された最大ディストーションよりも低いディストーションを結果として生じさせるような最小パワーを選択するために、最大パワー限度と最大ディストーション限度とを使用する。

［パワーディストーション］
一部の実施例において、フルパワーで黒レベルおよび最大の明るさで指定されるターゲットディスプレイおよび表示する画像を与えることによって、所定のパワーＰで画像を表示する際のディストーションを計算できる。限られたパワーディスプレイの明るさよりも大きい値をクリップし、更に理想的な基準の黒レベルよりも低い値をクリップすることにより、理想的基準ディスプレイ上でディスプレイの限られたパワーおよびゼロでない黒レベルをエミュレートできる。画像のディストーションは、元の画像の画素値とクリップされた画素値の間のＭＳＥとして定義できるが、一部の実施例では他のディストーションの尺度も使用できる。

クリッピング補正画像は、式２７で導かれたパワーに依存する画素値クリッピング限度により定義され、式２８で与えられる。

ピクセルドメインにおける理想的なディスプレイ上の画像とパワーＰを有するディスプレイ上の画像との間のディストーションは次のようになる。

このことは、画像の画素値のヒストグラムを使用して計算できることが理解できよう。

式２９に示されるようなこのディストーションの尺度の等価式を誘導するのに、トーンスケール関数の定義を使用できる。

この尺度は、大きい画素値でのクリッピング誤差と、小さい画素値でのクリッピング誤差の重みづけされた合計とを含む。式２９を使って、画像に対するパワー／ディストーション曲線を描くことができる。図３９は、種々の画像例に対するパワー／ディストーション曲線を示すグラフである。図３９は、白色のベタ画像に対するパワー／ディストーションプロット５９０、人のグループの暗い低コントラスト画像に対するパワー／ディストーションプロット５９４、黒のベタ画像に対するパワー／ディストーションプロット５９２、および波に乗っているサーファーの明るい画像に対するパワー／ディストーションプロット５９８を示す。

図３９から分かるように、画像が異なれば、パワーとディストーションの関係が全く異なることがある。極端な場合、ブラックのフレーム５９２は、パワーが１０％まで増加するにつれ、ディストーションが急激に多くなり、バックライトパワーゼロでディストーションが最小である。逆に、ホワイトのフレーム５９０は、１００％のパワーでゼロまで急激に低下するまで、ディストーションが一定割合で低下し、バックライトゼロで最大のディストーションを有する。明るいサーフィンの画像５９８は、パワーが増加するにつれ、ディストーションが定常的に減少することを示している。他の画像５９４は、中間パワーレベルにおいて最小ディストーションを示す。

本発明の一部の実施例は、次のように作動するバックライト変調アルゴリズムを含むことができる。
１．画像のヒストグラムを計算する。
２．画像に対するパワーディストーション関数を計算する。
３．ディストーション限界より下のディストーションを有する最小パワーを計算する。
４．供給されるパワーの上限および下限に基づき、選択されるパワーを（オプションで）制限する。
５．バックライトに対して計算されたパワーを選択する。

図４０および４１を参照して説明した一部の実施例では、ＢＬ変調アルゴリズムによって選択されたバックライトの値６０４をＢＰアルゴリズムに提供し、トーンスケール設計のために使用する。平均パワー６０２とディストーション６０６が示されている。この実験で使用した平均パワー６００での上部境界も示されている。この上部境界よりも平均パワーの使用量はかなり少ないので、バックライト変調アルゴリズムはこの平均限度に等しい固定されたパワーを単に使用するよりも、少ないパワーを使用している。

［スムーズなトーンスケール関数の開発］
本発明の一部の実施例では、スムーズなトーンスケール関数は２つの設計概念を有する。第１は、トーンスケールに対するパラメータは与えられるものとし、これらパラメータを満たすスムーズなトーンスケール関数を決定することである。第２は、デザインパラメータを選択するためのアルゴリズムを含むことである。

［パラメータを仮定するトーンスケールデザイン］
式２６によって定められる画素値の関係は、有効レンジ「ｃｖＭｉｎ、ｃｖＭａｘ］にクリップされるときに、傾きの不連続性を有する。本発明の一部の実施例では、式７におけるブライトエンドで行ったロールオフと同じように、ダークエンドでのスムーズなロールオフを定めることができる。これら実施例は、最大忠実ポイント（ＭＦＰ）および最小忠実ポイント（ＬＦＰ）（これらの間でトーンスケールは式２６に一致する）の双方を仮定する。一部の実施例では、トーンスケールを連続となるように構築し、ＭＦＰとＬＦＰの双方で連続的な１次微分値を有することができる。一部の実施例では、トーンスケールは端部のポイント（ＩｍａｇｅＭｉｎＣＶ、ｃｖＭｉｎ）および（ＩｍａｇｅＭａｘＣＶ、ｃｍＭａｘ）を通過する。一部の実施例では、上端部および下端部の双方において、アフィンブースト（affine boost）から変形できる。更に、固定された限度を使用するのではなく、端部のポイントを決定するために画像の画素値の限度を使用することができる。この構築において、固定された限度を使用することが可能であるが、パワーが大きく低減される場合、問題が生じることがある。一部の実施例では、これら条件は次のように誘導される部分的に２次式のトーンスケールをユニークに定める。

ＬＦＰおよびＭＦＰにおけるトーンスケールの連続性および１次微分から次のことが得られる。

端部ポイントは次のように定数ＡおよびＤを決定する。

一部の実施例では、これら関係式はＭＦＰ／ＬＦＰおよびＩｍａｇｅＭａｘＣＶ／ＩｍａｇｅＭｉｎＣＶが利用できると仮定して、トーンスケールのスムーズな拡張を定める。これは、これらパラメータを選択する必要性をオープンのままとする。別の実施例は、これらデザインパラメータを選択するための方法およびシステムを含む。

［パラメータの選択（ＭＦＰ／ＬＦＰ）］
上記及び関連する出願において説明した本発明の一部の実施例は、２５５に等しいＩｍａｇｅＭａｘＣＶを有するＭＦＰしか提示しておらず、これらの実施例で導入されたＩｍａｇｅＭａｘＣＶの代わりに、ｃｖＭａｘを使用した。これまで説明した実施例は、理想的なディスプレイではなくフルパワーのディスプレイに基づくマッチングに起因して、下端部でリニアトーンスケールを有していた。一部の実施例では、スムーズなトーンスケールが上限、すなわちＩｍａｇｅＭａｘＣＶで傾きゼロを有するようにＭＦＰを選択した。数学的にはＭＦＰを次のように定義した。

この基準に対する解は、ＭＦＰを上部クリッピングポイントおよび最大画素値に関連付ける。

最も控えめなパワー低減、例えばＰ＝８０％の場合、この従来のＭＦＰ選択基準はうまく機能する。パワー低減率が大きい場合、これらの実施例は前に説明した実施例の結果よりも改善できる。

一部の実施例では、大きいパワー低減率に対して適したＭＦＰ選択基準を選択する。式３５内で値ＩｍａｇｅＭａｘＣＶを直接使用すると問題が生じることがある。パワーが小さい画像では、小さい最大画素値を予測する。画像内の最大画素値、すなわちＩｍａｇｅＭａｘＣＶが小さいとわかっている場合、式３５は、ＭＦＰに対して妥当な値を与えるが、ＩｍａｇｅＭａｘＣＶが未知であるか、または大きい場合には妥当でない、例えば負のＭＦＰの値が生じることがある。一部の実施例では、最大画素値が未知であるか、または過度に大きい場合、ＩｍａｇｅＭａｘＣＶに対して別の値を選択し、上記結果に適用される。

一部の実施例では、ＭＦＰが取り得るクリッピングされた値ｘ_highの最小の分数値を定めるパラメータとしてｋを定義できる。次に、式３５によって計算されるＭＦＰが、次のように妥当であるかどうかを判断するために、ｋを使用できる。

計算されたＭＦＰが妥当でなければ、ＭＦＰを最小の妥当な値に定め、ＩｍａｇｅＭａｘＣＶの必要な値を決定できる（式３７）。次に、下記のようにトーンスケールを決定するために、ＭＦＰおよびＩｍａｇｅＭａｘＣＶの値を使用できる。

一部の実施例のＭＦＰ選択のための手段は次のように要約される。
１．ＩｍａｇｅＭａｘＣＶ（または利用できない場合はＣＶＭａｘ）を使って、候補ＭＦＰを計算する。
２．式３６を使って妥当性をテストする。
３．妥当でない場合、クリッピング画素値の分数値ｋに基づき、ＭＦＰを定義する。
４．式３７を使って新しいＩｍａｇｅＭａｘＣＶを計算する。
５．ＭＦＰ、ＩｍａｇｅＭａｘＣＶおよびパワーを使ってスムーズなトーンスケール関数を計算する。
ＩｍａｇｅＭｉｎＣＶおよびｘｌｏｗを使って、ダークエンドでのＬＦＰを選択するために、同様な技術を使用できる。

図４２から４５には、スムーズトーンスケールデザインアルゴリズムおよび自動パラメータ選択に基づくトーンスケールデザインの例が示されている。図４２および４３は、１１％のバックライトパワーレベルを選択した場合の、トーンスケールデザインの一例を示す。ＭＦＰ６１０とＬＦＰ６１２との間のトーンスケールデザインのリニア部分に対応するライン６１６が示されている。トーンスケールデザイン６１４はＭＦＰ６１０より上で及びＬＦＰ６１２より下でライン６１６から離間するようにカーブしているが、ＬＦＰ６１２とＭＦＰ６１０との間でライン６１６に一致している。図４３は図４２のトーンスケールデザインのダーク領域のズームイン画像である。ＬＦＰ６１２は明瞭に見ることができ、トーンスケールデザインのより下の曲線６２０は、リニア延長部６２２から離間するようにカーブしていることが分かる。

図４４および４５は、バックライトレベルを最大パワーの８９％に選択したトーンスケールデザインの一例を示す。図４４は、トーンスケールデザインのリニア部分に一致するライン６３４を示す。このライン６３４は、理想的なディスプレイの応答を示す。トーンスケールデザイン６３６はＭＦＰ６３０よりも上で、及び、ＬＦＰ６３２の下方において、理想的なリニアディスプレイ表示６３４から離間するようにカーブしている（６３６、６３８）。図４５は、トーンスケールデザイン６４２が理想的なディスプレイ延長部６４４から離間するようにカーブしている、ＬＦＰ６４０よりも下のトーンスケールデザイン６３６のダークエンドのズームイン画像である。

本発明の一部の実施例では、理想的なディスプレイ画像と実際のディスプレイ画像との間で誤差計算を変えることによりディストーション計算を修正できる。一部の実施例では、ＭＳＥを歪んだピクセルの合計と置換できる。一部の実施例では、上部領域のクリッピング誤りと下方領域のクリッピング誤差とで異なる重みづけをすることができる。

本発明の一部の実施例は、周辺光センサを含むことができる。周辺光センサを利用できる場合、周辺照明およびスクリーン反射の効果を含むディストーション計量値を修正するのにセンサを使用できる。このセンサを使って、ディストーション計量値、従ってバックライト変調アルゴリズムを変更できる。また、ブラックエンドにおける適切な感知し得るクリッピングポイントを示すことによっても、トーンスケールデザインを制御するために周辺情報を使用できる。

［カラー保存の実施例］
本発明の一部の実施例は、画像の明るさをエンハンスしながら、カラー特性を保存するためのシステムおよび方法を含む。一部の実施例では、明るさ保存は、フルパワーのベタ全域を低減されたパワーディスプレイのより狭いベタ全域にマッピングすることを含む。
一部の実施例では、カラー保存のために異なる方法が使用される。一部の実施例は、輝度ブーストの低減に替えて、カラーの色相／彩度を保存する。

上記一部の非カラー保存実施例は、各カラーチャンネルで輝度マッチを与えるように操作してマッチングする各カラーチャンネルを別個に処理する。これらの非カラー保存実施例では、高度に飽和したカラーまたはハイライトカラーを処理の進行に従い不飽和にしおよび／または色相の変化にすることができる。カラー保存実施例は、これらのカラーのアーティファクトに取り組んでいるが、一部のケースでは、輝度ブーストを若干低減することがある。

一部のカラー保存実施例は、ローパスチャンネルとハイパスチャンネルを再結合するとき、クリッピング動作も利用できる。各カラーチャンネルを別々にクリッピングすると、再びその結果としてカラーが変化することがある。カラー保存クリッピングを使用する実施例では、色相／飽和を維持するためにクリッピング操作を使用できる。場合によっては、このカラー保存クリッピングは、他の非カラー保存実施例の輝度よりも低くクリッピングされた値の輝度を低減し得る。

図４６を参照し、本発明の一部の実施例について説明する。これらの実施例では、入力画像６５０を読み出し、指定されたピクセルロケーションに対する異なるカラーチャンネルに対応する画素値を決定する（６５２）。一部の実施例では、入力画像は画像ファイル内に記録された別個のカラーチャンネル情報を有するフォーマットとすることができる。一実施例では、赤、緑および青（ＲＧＢ）カラーチャンネルによってこの画像を記録できる。別の実施例ではシアン、マゼンタ、イエローおよびブラック（ＣＭＹＫ）フォーマット、Ｌａｖ、ＹＵＶまたは別のフォーマットで記録できる。入力画像は別個の輝度チャンネルを含むフォーマット、例えばＬａｖまたは別個の輝度チャンネルを有しないフォーマット、例えばＲＧＢとすることができる。画像ファイルがすぐに利用できる別個のカラーチャンネルデータを有しないとき、カラーチャンネルデータを有するフォーマットに画像ファイルを変換できる。

各カラーチャンネルに対する画素値が一旦決定されると（６５２）、次にカラーチャンネル画素値の間の最大画素値が決定される（６５４）。この最大画素値を使って、画素値調節モデルのパラメータを決定できる（６５６）。この画素値調節モデルは多数の方法で発生できる。一部の実施例では、トーンスケール調節曲線、利得関数または他の調節モデルを使用できる。一実施例では、低減されたバックライトパワー設定に応答し、画像の明るさをエンハンスするトーンスケール調節曲線を使用できる。一部の実施例では、画素値調節モデルは他の実施例に関連してこれまでに説明したトーンスケール調節曲線を含むことができる。次に、カラーチャンネル画素値の各々に、画素値調節曲線を使用できる（６５８）。これらの実施例では、画素値調節曲線を適用する結果、各カラーチャンネルに同じ利得の値が適用される。一旦調節を実行すると、画像内の各ピクセル６６０に対してプロセスが続く。

図４７を参照し、本発明の一部の実施例について説明する。これら実施例では、入力画像を読み出し（６７０）、最初のピクセルロケーションを選択する（６７２）。選択されたピクセルロケーションに対して最初のカラーチャンネルのための画素値を決定し（６７４）、選択されたピクセルロケーションに対して第２のカラーチャンネルのための画素値を決定する（６７６）。次に、これら画素値を分析し、画素値選択基準に基づき、これら画素値のうちの１つを選択する（６７８）。一部の実施例では、最大画素値を選択してもよい。次に、１つのモデルを生成する（６８０）画素値調節モデル生成器のための入力として、この選択された画素値を使用できる。次に、各チャンネルに対して実質的に等しい利得を適用しながら、第１および第２のカラーチャンネル画素値の双方にこのモデルを適用できる（６８２）。一部の実施例では、調節モデルから得られた利得値をすべてのカラーチャンネルに適用できる。画像全体を処理するまで、プロセスは次のピクセルに進められる（６８４）。

図４８を参照し、本発明の一部の実施例について説明する。これらの実施例では、入力画像をシステムに入力し（６９０）、次に、第１の周波数レンジ画像を作成するために画像をフィルタリングする（６９２）。一部の実施例では、この画像はローパス画像または他の周波数レンジの画像とすることができる。第２の周波数レンジの画像を生成することもできる（６９４）。一部の実施例では、入力画像から第１の周波数レンジの画像を差し引くことにより、第２の周波数レンジの画像を生成してもよい。第１の周波数レンジ画像がローパス（ＬＰ）画像である一部の実施例では、第２の周波数レンジ画像をハイパス（ＨＰ）画像とすることができる。次に、ピクセルロケーションに対し、第１の周波数レンジの画像内の第１のカラーチャンネルに対する画素値を決定し（６９６）、このピクセルロケーションにおいて、第１の周波数レンジの画像内の第２のカラーチャンネルに対する画素値を決定することもできる（６９８）。次に、画素値またはそれらの特性を比較することにより、カラーチャンネル画素値のうちの１つを選択する（７００）。一部の実施例では、最大画素値を選択することができる。次に、選択された画素値を入力として使用し、調節モデルを生成するか、またはこれにアクセスできる（７０２）。この結果、利得乗数が得られるが、この乗数を第１のカラーチャンネル画素値および第２のカラーチャンネル画素値に適用（７０４）できる。

図４９を参照し、本発明の一部の実施例について説明する。これらの実施例では、調節すべきピクセルを識別できるピクセルセレクタ７１２に入力画像７１０が入力される。第１のカラーチャンネル画素値リーダー７１４は、第１カラーチャンネルのための選択されたピクセルに対する画素値を読み出す。第２のカラーチャンネル画素値リーダー７１６もまた、選択されたピクセルロケーションにおける第２のカラーチャンネルに対する画素値を読み出す。これら画素値は、分析モジュール７１８で分析され、このモジュールにて、画素値特性に基づき、画素値のうちの１つを選択する。一部の実施例では最大画素値が選択される。次に、利得値または利得モデルを決定できるモデル生成器７２０またはモデルセレクタにこの選択された画素値は入力される。次に、分析モデル７１８により画素値が選択されたかどうかにかかわらず、双方のカラーチャンネル画素値に対して、この利得値または利得モデルを適用できる（７２２）。一部の実施例では、モデルを適用する際に入力画像にアクセスできる（７２８）。次に、画像内の他のピクセルを繰り返すために、ピクセルセレクタ７１２まで制御を戻す（７２６）。

図５０を参照し、本発明の一部の実施例について説明する。これら実施例では、第１の周波数レンジ画像７３２および第２の周波数レンジ画像７３４を得るために、フィルタ７３０に入力画像７１０を入力する。別個のカラーチャンネル画素値７３６にアクセスできるように、第１周波数レンジ画像を変換することができる。一部の実施例では入力画像は、変換することなくカラーチャンネル画素値にアクセスできる。第１の周波数レンジの第１カラーチャンネル（７３８）に対する画素値を決定し、第１周波数レンジの第２カラーチャンネル（７４０）に対する画素値を決定することができる。

画素値の特性を決定できる画素値特性分析器７４２にこれら画素値は入力される。次に、画素値分析に基づき、画素値のうちの１つを画素値セレクタ７４４が選択できる。この選択は、画素値選択に基づき、利得値または利得マップを発生もしくは選択する調節モデルセレクタまたは生成器７４６へ入力される。次に、調節するピクセルにおいて、双方のカラーチャンネルのための第１周波数レンジ画素値に利得値またはマップを適用（７４８）できる。このプロセスは、第１周波数レンジの画像全体の調節が完了（７５０）するまで、繰り返される。第２周波数レンジの画像７３４にも、利得マップを適用できる（７５３）。一部の実施例では、第２周波数レンジの画像内のすべてのピクセルに一定利得係数を適用できる。一部の実施例では、第１周波数レンジの画像を入力画像７１０のハイパスバージョンとすることができ、調節された第１周波数レンジの画像７５０と調節された第２周波数レンジの画像７５３とを加算するか、または他の方法で組み合わせ（７５４）、調節された出力画像７５６を作成できる。

図５１を参照し、本発明の一部の実施例について説明する。これらの実施例では、画像を多数の周波数レンジの画像に分割するために、フィルタ７６０または他のプロセッサに入力画像７１０を送ることができる。一部の実施例では、フィルタ７６０はローパス（ＬＰ）フィルタと、このＬＰフィルタで作成されたＬＰ画像を入力画像から減算し、ハイパス（ＨＰ）画像を作成するためのプロセッサとを含むことができる。フィルタモジュール７６０は２つ以上の周波数固有の画像７６２、７６４を出力でき、各画像は特定の周波数レンジを有する。第１周波数レンジの画像７６２は、第１カラーチャンネル７６６および第２カラーチャンネル７６８のためのカラーチャンネルデータを有することができる。画素値特性評価器７７０および／または画素値セレクタ７７２に、これらカラーチャンネルのための画素値が送られる。このプロセスの結果、カラーチャンネル画素値のうちの１つが選択される。一部の実施例では、特定のピクセルロケーションに対するカラーチャンネルから最大画素値が選択される。この選択された画素値は調節モード生成器７７４に送ることができ、この発生器は画素値調節モデルを発生する。一部の実施例では、この調節モデルは利得マップまたは利得値を含むことができる。次に、分析中のピクセルのためにカラーチャンネル画素値の各々にこの調節モデルが適用される（７７６）。画像内の各ピクセルに対し、このプロセスを繰り返すことにより、その結果、第１周波数レンジの調節された画像７７８が得られる。

画素値をブーストするように、別個の利得関数７６５によってオプションとして第２周波数レンジの画像７６４を調節してもよい。一部の実施例では、調節を適用しなくてもよい。別の実施例では、第２周波数レンジの画像内のすべての画素値に一定の利得係数を適用できる。この第２周波数レンジの画像を、調節された第１周波数レンジの画像７７８と組み合わせ、調節された、組み合わされた画像７８１を形成できる。

一部の実施例では、第１周波数レンジの画像に対する調節モデルの適用および／または第２周波数レンジの画像に対する利得関数の適用により、一部の画像の画素値がディスプレイデバイスのレンジまたは画像フォーマットを超えることがある。これらのケースでは、画素値を必要なレンジにクリッピングしなければならない。一部の実施例では、カラー保存クリッピングプロセス７８２を使用できる。これらの実施例では、カラー値の間の関係を保存するように、指定された範囲からはずれる画素値はクリッピングされる。一部の実施例では、分析中のピクセルに対する最大カラーチャンネル画素値で除された最大の必要なレンジの値より大きくない乗数を求める。この結果、１未満であって、オーバーサイズの画素値を必要なレンジの最大値に低減する利得係数が得られる。この利得、すなわちクリッピング値をカラーチャンネル画素値のすべてに適用し、すべての画素値を最大値または指定された範囲以下の値に低減しながら、ピクセルのカラーを保存することができる。このようなクリッピングプロセスを適用する結果、指定された範囲内にすべての画素値を有すると共に画素値のカラーの関係を維持する調節された出力画像７８４が得られる。

図５２を参照し、本発明の一部の実施例について説明する。これら実施例では、画素値を指定された範囲に制限しながら、カラーの関係を維持するために、カラー保存クリッピングを使用する。一部の実施例では、図５１を参照して説明した組み合わされた調節画像７８１に、組み合わされた調節画像７９２が対応する。別の実施例では、組み合わされた調節画像７９２は、指定された範囲にクリッピングする必要がある画素値を有する他の任意の画像とすることができる。

これら実施例では、特定されたピクセルロケーションに対し、第１カラーチャンネルの画素値を決定し（７９４）、第２カラーチャンネルの画素値を決定する（７９６）。これらのカラーチャンネルの画素値７９４、７９６を、画素値の特性評価器７９８で評価し、選択すべき（selective）画素値の特性を決定すると共に、カラーチャンネルの画素値を選択する。一部の実施例では、選択すべき標数（characteristic）が最大値となり、より大きい画素値が調節生成器８００のための入力として選択される。この選択された画素値は、クリッピング調節を行う８００ための入力として使用される。一部の実施例では、この調節は最大画素値を指定された範囲内の値に低減する。次に、すべてのカラーチャンネル画素値にこのクリッピング調節が適用される。一実施例では、第１カラーチャンネルおよび第２カラーチャンネルの画素値を同じ率だけ低減し（８０２）、よって２つの画素値の比を保持する。画像内のすべてのピクセルにこのプロセスを適用する結果、指定された範囲内に入る画素値を有する出力画像８０４が得られる。

図５３を参照し、本発明の一部の実施例について説明する。これら実施例では、最大カラーコンポーネントに基づき、３つのすべてのカラーコンポーネントに適用される利得を操作することにより、ＲＧＢドメイン内で方法を実施する。これら実施例では、周波数分割８１２により入力画像８１０を処理する。一実施例では、画像にローパス（ＬＰ）フィルタ８１４を使用し、ＬＰ画像８２０を作成し、次に、このＬＰ画像を入力画像８１０から差し引き、ハイパス（ＨＰ）画像８２６を作成する。一部の実施例では、ＬＰフィルタに空間５×５矩形フィルタを使用できる。ＬＰ画像８２０内の各ピクセルにおいて、最大値または３つのカラーチャンネル（Ｒ、Ｇ＆Ｂ）を選択し（８１６）、これをＬＰ利得マップ８１８に入力する。この利得マップは、その特定のピクセルのためのすべてのカラーチャンネル値に適用すべき適切な利得関数を選択する。一部の実施例では、ｍａｘ（ｒ，ｇ，ｂ）によってインデックスが付けられた１−Ｄ ＬＵＴにより、値［ｒ．ｇ．ｂ］を有するピクセルにおける利得が決定される。ｘで割った値ｘにおける、上記フォトメトリックマッチングトーンスケール曲線の値から値ｘにおける利得を得ることができる。

ＨＰ画像８２６に、利得関数８３４を適用することもできる。一部の実施例では、利得関数８３４を一定の利得ファクターとすることができる。この変更されたＨＰ画像と調節されたＬＰ画像とを組み合わせ（８３０）、出力画像８３２を形成する。一部の実施例では、出力画像８３２は適用範囲外にある画素値を含むことがある。これら実施例では、図５１および５２を参照してこれまで説明したようにクリッピングプロセスを適用できる。

上記本発明の一部の実施例では、最大カラーコンポーネントが、あるパラメータ、例えば最大忠実ポイントよりも低くなっているピクセルに対し、利得がバックライトパワーレベルの低減を補償するように、ＬＰ画像のための画素値調節モデルを設計できる。ローパス利得は、処理されたローパス信号が全域内に留まるように、カラー全域の境界にてスムーズに１にロールオフする。

一部の実施例では、ＨＰ信号の処理を、ローパス信号の処理の選択と独立させることができる。低減されたバックライトパワーを補償する実施例では、パワーを低減する際にコントラストを保存する一定の利得を用いてＨＰ信号を処理できる。フルバックライトパワーおよび低減されたバックライトパワー、およびディスプレイガンマによる関するＨＰ信号利得の式は式５で与えられる。これら実施例では、利得は一般に小さく、すなわち利得は８０％のパワー低減およびガンマ２．２に対して１．１であるので、ＨＰのコントラストのブーストはノイズに対して強い。

一部の実施例では、ＬＰ信号とＨＰ信号の処理の結果を合計し、クリッピングする。最大のコンポーネントが２５５にスケーリングされるように３つの成分すべてを等しくスケーリングすることによって、各ピクセルにおけるＲＧＢサンプルのベクトル全体にクリッピングを適用することができる。実施し、ＬＰ値に加算されるブーストされたＨＰ値が２５５を超えるときにクリッピングが発生し、このクリッピングは特にコントラストだけが大きい明るい信号に関連する。一般に、ＬＵＴ構造によりＬＰ信号が上限を超えないように保証される。ＨＰ信号は合計値においてクリッピングを生じさせるが、ＨＰ信号の負の値は決してクリッピングを生じさせないので、クリッピングが生じても、ある程度のコントラストを維持できる。

本発明の実施例は、画像の明るさを最適にするように試みることができるか、または明るさを増加しながら、カラー保存またはマッチングを最適にすることを試みることができる。一般に輝度またはブライトネス（明るさ）を最大にする際に、カラーシフトのトレードオフがある。カラーシフトを防止するとき、一般に明るさに問題が生じる。本発明の一部の実施例は、下記の式３８に示されるように、各カラーコンポーネントに適用される重み付けされた利得を形成することにより、カラーシフトと明るさとの間のトレードオフをバランスさせることを試みる。

この重み付けされた利得はアルファ０における最大輝度マッチから、アルファ１における最小カラーアーティファクトまで変化する。すべての画素値がＭＦＰパラメータを下回るとき、３つのすべての利得が等しくなることに留意されたい。

［ディスプレイ−モデルに基づく、ディストーションに関連した実施例］
バックライトのスケーリングなる用語は、ＬＣＤバックライトを低減すると共に、同時にＬＣＤへ送られるデータを変更し、バックライトの低減を補償するための技術を意味する。この技術の主点は、バックライトレベルを選択することである。本発明の実施例は、省電力またはダイナミックコントラストを改善するために、バックライト変調を使用してＬＣＤ内のバックライト照明レベルを選択する。この問題を解決するのに使用される方法は、画像に依存した技術と、画像に依存しない技術とに分けることができる。画像に依存した技術は、その後のバックライト補償画像処理によって課されるクリッピング量を制限するという目的を有する。

本発明の一部の実施例は、バックライトレベルを選択するための最適化を使用できる。１つの画像を仮定した場合、最適化ルーチンは、仮想の基準ディスプレイに生じる画像と実際のディスプレイに生じる画像との間のディストーションを最小にするように、バックライトレベルを選択することである。

本発明の実施例の要素を説明するのに次の用語を使用できる。
１．基準ディスプレイモデル：基準ディスプレイモデルは、ＬＣＤのようなディスプレイからの所望する出力を意味する。一部の実施例では、基準ディスプレイモデルはゼロ黒レベルを有する理想的ディスプレイ、またはダイナミックレンジが限られていないディスプレイにのっとるものとする。
２．実際のディスプレイモデル：実際のディスプレイの出力のモデルである。一部の実施例では、異なるバックライトレベルに対して、実際のディスプレイの出力がモデル化され、実際のディスプレイではゼロでない黒レベルを有するものとしてモデル化される。一部の実施例では、バックライト選択アルゴリズムはこのパラメータを通してディスプレイのコントラスト比に依存する。
３．明るさ保存（ＢＰ）：低減されたバックライトレベルを補償するための元画像への処理である。実際のディスプレイ上に現れるであろう画像は、明るくされた画像上の所定のバックライトレベルにおけるディスプレイモデルの出力であり、次のようなケースがある。
・明るさ保存なし：ＬＣＤパネルに、処理されていない画像データを送る。この場合、バックライト選択アルゴリズム。
・リニアブースト明るさ補償。バックライトの低減を補償するために、簡単なアフィン変換を使用して画像を処理する。この簡単な明るさ保存アルゴリズムは、バックライト補償に実際に使用される場合、画質を犠牲にするが、このアルゴリズムはバックライト値を選択するための有効なツールである。
・トーンスケールマッピング：リニアセグメントと非リニアセグメントを含むトーンスケールマップを使用して画像を処理する。クリッピングを制限し、コントラストをエンハンスするためにこれらセグメントが使用される。
４．ディストーション計量値。実際のディスプレイに現れるであろう画像を決定するのに、ディスプレイモデルと明るさ保存アルゴリズムとを使用できる。この出力と基準ディスプレイ上の画像との間のディストーションが次に計算される。一部の実施例では、画素値だけに基づいてディストーションを計算できる。このディストーションは誤差計量値の選択に依存し、一部の実施例では、平均二乗誤差を使用できる。
５．最適化基準。異なる制限を受けることにより、ディストーションを最小にできる。例えば一部の実施例では、次の基準を使用できる。
・ビデオシーケンスの各フレームでのディストーションを最小にする。
・平均バックライト制限を受けた最大ディストーションを最小にする。
・平均バックライト制限を受けた平均ディストーションを最小にする。

［ディスプレイモデル］：
本発明の一部の実施例では、基準ディスプレイモデルと実際のディスプレイモデルの双方に対し、ＧｏＧモデルを使用できる。このモデルは、バックライトレベルに基づいてスケーリングするように変更できる。一部の実施例では、ゼロ黒レベルおよび最大出力Ｗを有する理想ディスプレイとして基準ディスプレイをモデル化できる。実際のディスプレイはフルバックライトで同じ最大出力Ｗを有し、フルバックライトで黒レベルＢを有するものとして実際のディスプレイをモデル化できる。このときコントラスト比はＷ／Ｂである。黒レベルがゼロのとき、このコントラスト比は無限大である。下記の式で最大画素値を示すＣＶ_Maxを使ってこれらモデルを数学的に表示できる。

フルバックライトレベル、すなわちＰ＝１で最大の出力Ｗおよび最小の出力Ｂを有する実際のＬＣＤに対し、相対的バックライトレベルＰでスケーリングするように出力をモデル化する。コントラスト比ＣＲ＝Ｗ／Ｂは、バックライトレベルに無関係である。

［明るさの保存］
この実施例では、単純なブーストおよびクリッピングに基づくＢＰプロセスを使用し、可能な場合にバックライトの低減を補償するためにブーストを選択する。次の誘導式は所定のバックライトで基準ディスプレイと実際のディスプレイとの間で輝度を一致させるトーンスケール変更を示す。実際のディスプレイの最大出力と黒レベルの双方は、バックライトにより徐々に増大する。実際のディスプレイの出力は、スケーリングされた出力の最大値より低く、スケーリングされた黒レベルよりも上となるように限定されていることに注目する。このことは、ゼロおよびＣＶ_Maxに輝度マッチングトーンスケール出力をクリッピングすることに対応する。

ｃｖ’に対するクリッピングの制限は、輝度マッチングのレンジに対するクリッピング限度を意味する。

最小値および最大値が相対的バックライトパワーＰおよび実際のディスプレイのコントラスト比ＣＲ＝Ｗ／Ｂに依存する場合に、トーンスケールは最小値より上であって、かつ最大値より下の画素値に対して出力を一致させる。

［ディストーション計算］
図５４を参照し、本発明の実施例で作成され、使用される種々の変更された画像について説明する。これら変更された画像例の各々を作成する際の入力として、元の画像Ｉ８４０を使用できる。一部の実施例では、理想的な出力Ｙ_Ideal８４４を生じるように、元の入力画像８４０を処理する（８４２）。この理想的画像プロセッサ、すなわち基準ディスプレイ８４２は、理想的ディスプレイが０黒レベルを有すると見なすことができる。この出力、すなわちＹ_Ideal８４４は、基準（理想）ディスプレイで見た元の画像８４０を示す。一部の実施例では、バックライトレベルが与えられたと仮定して、実際のＬＣＤ上で、このバックライトレベルを有する画像を示すことによって生じるディストーションを計算する。

一部の実施例では、画像Ｉ８４０から画像Ｉ’８５０を発生するのに、明るさ保存８４６を使用できる。次に、この画像Ｉ’８５０は、選択されたバックライトレベルと共に実際のＬＣＤプロセッサ８５４へ送られる。この結果生じる出力を、Ｙａｃｔｕａｌと表示する。

基準ディスプレイモデルは入力画像Ｉ＊８５２を使用することにより、実際のディスプレイの出力をエミュレートできる。

実際のＬＣＤ８５４の出力は、画像Ｉ’８５０を得るために元の画像Ｉ８４０を輝度マッチングトーンスケール関数８４６を通過した結果得られる。これはバックライトレベルに依存する基準出力を正確には再現できない。しかしながら、基準ディスプレイ８４２上で実際のディスプレイ出力をエミュレートできる。画像Ｉ＊８５２は、実際のディスプレイ出力をエミュレートするために、基準ディスプレイ８４２へ送られそれによってＹｅｍｕｌａｔｅｄ８６０を作成する画像データを示す。式４３を参照してこれまで説明し、他の場所でも説明したクリッピングポイントによって決定される範囲に対して、画像Ｉ８４０をクリッピングすることにより、画像Ｉ＊８５２を発生する。一部の実施例では、Ｉ^＊を数学的に次のように表示できる。

一部の実施例では、画像Ｉを有する基準ディスプレイの出力と、バックライトレベルＰおよび画像Ｉ’を有する実際のディスプレイの出力との差として、ディストーションを定めることができる。画像Ｉ^＊は基準ディスプレイ上での実際のディスプレイの出力をエミュレートするので、基準ディスプレイと実際のディスプレイとの間のディストーションは、基準ディスプレイにおける画像ＩとＩ^＊との間のディストーションに等しくなる。

双方の画像は基準ディスプレイ上にあるので、ディスプレイの出力を必要としない画像データだけの間でディストーションを測定できる。

［画像ディストーションの測定］
上記分析は、基準ディスプレイでの画像Ｉ８４０の表示と実際のディスプレイでの表示との間のディストーションが、基準ディスプレイでの画像Ｉ８４０の表示とＩ＊８５２の表示との間のディストーションに等しいことを示している。一部の実施例では、画像の間のディストーションを定めるのに、点別のディストーション計量値を使用できる。点別のディストーションｄを仮定すると、画像ＩとＩ^＊との間の差を合計することにより、画像間のディストーションを計算できる。画像Ｉ＊は、輝度マッチをエミュレートするので、誤差は上限と下限におけるクリッピングから成る。一部の実施例では、バックライトパワーに対する画像のディストーションを定めるのに、正規化された画像ヒストグラムｈ（ｘ）を使用できる。

［バックライトとディストーションの関係の曲線］
基準ディスプレイ、実際のディスプレイ、ディストーションの定義および画像を仮定して、バックライトレベルのある範囲でディストーションを計算できる。このディストーションデータを組み合わせると、バックライトとディストーションとの関係を示す曲線が描かれる。暗い小部屋から外を撮った暗いサンプル画像およびゼロ黒レベルを有する理想的ディスプレイモデル、コントラスト比が１０００：１の実際のＬＣＤモデル、および平均二乗誤差ＭＳＥ誤差計量値を使ってバックライトとディストーションの関係を示す曲線を表示できる。図５５は、この画像例に対する画像の画素値のヒストグラムのグラフである。

一部の実施例では、ヒストグラムを使用し、ある範囲のバックライト値に対するディストーションを計算することにより、ディストーション曲線を算出できる。図５６は、図５５のヒストグラムに対応するディストーション曲線の一例のグラフである。この画像例では、低バックライト値において明るさ保存は低減されたバックライトを効果的に補償できないので、その結果、ディストーションが劇的に増加する（８８０）。高いバックライトレベルでは、限られたコントラスト比によって黒レベルは理想的ディスプレイと比較して上昇する（８８２）。最小のディストーション範囲が存在し、一部の実施例では、最小ディストーションアルゴリズムにより、この最小のディストーション８８４を与える最低のバックライトの値が選択される。

［最適化アルゴリズム］
一部の実施例では、図５６に示されているようなディストーション曲線を用いて、バックライト値を選択できる。一部の実施例では、各フレームに対する最小ディストーションパワーが選択される。一部の実施例では、最低ディストーション値がただ１つだけでないとき、この最小ディストーションを与える最小パワー８８４を選択できる。図５７には、簡単なＤＶＤのクリップに、この最適化基準を適用した結果が示されており、この図５７は、ビデオフレームの数に対する選択されたバックライトのパワーを作図したものである。この場合、選択された平均バックライト８９０は、ほぼ５０％である。

［画像依存性］
本発明の一部の実施例の画像の依存性を説明するために、コンテンツが変化するテスト画像例を選択し、ある範囲のバックライト値に対して、これら画像におけるディストーションを計算した。図３９は、これらの画像例に対するバックライト対ディストーション曲線である。図３９は、全黒画像である画像Ａ５９２、全白画像である画像Ｂ５９０、人のグループの暗い写真である画像Ｃ５９４および波の上のサーファーの明るい画像である画像Ｄ５９８のグラフを含む。

曲線の形状は画像のコンテンツに大きく依存することに留意されたい。このことは、バックライトレベルが明るさがなくなることに起因するディストーションと黒レベルが高くなることに起因するディストーションをバランスさせることを予想させるものである。全黒画像５９２は、低いバックライトで最小ディストーションを有し、全白画像５９０はフルバックライトで最小ディストーションを有し、暗い画像５９４は、高い黒レベルと明るさの低減との間の効率的なバランスとして、一定のコントラスト比を使用する中間バックライトレベルで最小ディストーションを有する。

［コントラスト比］
実際のディスプレイの定義にディスプレイのコントラスト比を入れることができる。図５８は、実際のディスプレイの異なるコントラスト比に対する最小ＭＳＥディストーションバックライトを示す。１：１のコントラスト比の９００において、最小ディストーションバックライトは、画像平均信号レベル（ＡＳＬ）に依存する。これとは逆に無限大のコントラスト比（ゼロ黒レベル）では、最小ディストーションバックライトは画像の最大値９０２に依存する。

本発明の一部の実施例では、基準ディスプレイモデルは理想的なゼロ黒レベルを有するディスプレイモデルを含むことができる。一部の実施例では、基準ディスプレイモデルは、明るさモデルによって選択された基準ディスプレイを含むことができ、一部の実施例では、基準ディスプレイモデルは周辺光センサを含むことができる。

本発明の一部の実施例では、実際のディスプレイモデルは有限黒レベルを有する透過型ＧｏＧモデルを含む。一部の実施例では、実際のディスプレイモデルは出力が周辺光およびディスプレイの反射部分の双方に依存するようにモデル化される透過反射型ディスプレイに対するモデルを含む。

本発明の一部の実施例では、バックライト選択プロセスにおける明るさ保存（ＢＰ）は、クリッピングを伴うリニアブーストを含む。別の実施例では、バックライト選択プロセスはスムーズなロールオフを有するトーンスケール演算子および／または２チャンネルＢＰアルゴリズムを含む。

本発明の一部の実施例では、ディストーション値は点ごとに計算された画素値の平均二乗誤差（ＭＳＥ）を含む。一部の実施例では、ディストーション値は絶対値の差の合計、クリッピングされたピクセルの数および／またはヒストグラムに基づくパーセント値を含む点ごとの誤差値を含む。

本発明の一部の実施例では、最適化基準は、各フレーム内のディストーションを最小にするバックライトレベルの選択を含む。一部の実施例では、最適化基準は、最大ディストーションを最小にするか、または平均ディストーションを最小にする平均パワー制限値を含む。

［ＬＣＤのダイナミックコントラストの実施例］
液晶ディスプレイ（ＬＣＤ）は、一般にコントラスト比が限られているという問題がある。例えばバックライトの漏れまたは他の問題により、ディスプレイの黒レベルが高くなることがある。これによって黒領域が黒ではなくグレーに見えることがある。バックライトの変調は、バックライトレベルおよびバックライトの光漏れを減らし、よって黒レベルを低減することにより、この問題を緩和する。しかしながら、この技術は補償を行うことなく用いた場合、ディスプレイの明るさを下げるという望ましくない効果を生じさせる。画像の補償を使って、バックライトを暗くすることに起因して失われたディスプレイの明るさを回復することができる。補償は、一般にフルパワーディスプレイの明るさの回復に限定されている。

上記本発明の一部の実施例は、省電力に焦点を合わせたバックライトの変調を含む。これら実施例では、目標は、より低いバックライトレベルでフルパワー出力を再現することである。このことは、バックライトを暗くすると同時に、画像を明るくすることによって達成できる。黒レベルまたはダイナミックコントラストの改善は、これら実施例における好ましい副次的効果である。これら実施例では、目標は、画質を改善することにある。一部の実施例の結果、次のような画質の改善が得られる。
１．バックライトの低減に起因し、黒レベルが下がること。
２．バックライトを低減することによって生じる漏れが少なくなることに起因し、暗い色の飽和が改善されること。
３．バックライトの低減よりも強力な補償を使用する場合、明るさが改善されること。
４．ダイナミックコントラスト、すなわち明るいフレーム内の最大値割暗いフレーム内の最小値,が改善されること。
５．暗いフレーム内のコントラストが改善されること。

本発明の一部の実施例は、２つの必須技術、すなわちバックライトの選択および画像の補償により、これら利点の１つ以上を達成する。１つの難関は、バックライトおよび補償された画像の双方の明るさが変化するときの、ビデオ内のフリッカーアーティファクトを回避することである。本発明の一部の実施例は、フリッカーの生じる可能性を少なくするために、ターゲットトーン曲線を使用する。一部の実施例では、このターゲットトーン曲線は、（バックライトが固定された）パネルのコントラスト比を超えるコントラスト比を有する。ターゲットトーン曲線は２つの目的に役立つ。第１に、バックライトを選択する際にターゲット曲線を使用できる。第２に、画像の補償を決定するのにターゲット曲線を使用できる。ターゲット曲線は上記画質の特徴に影響を与える。フルバックライトの明るさにおけるピークディスプレイ値から最低バックライトの明るさにおける最小ディスプレイ値まで、ターゲット曲線は延びる。したがって、このターゲット曲線は、フルバックライトの明るさで達成される代表的なディスプレイ値の範囲よりも下に延びる。

一部の実施例では、バックライトの輝度または明るさレベルの選択は、元々のパネルコントラスト比に対応するターゲット曲線のインターバルの選択に対応する。バックライトが変化するにつれ、このインターバルは移動する。フルバックライトにおいて、パネルではターゲット曲線の暗い領域を表示できない。低いバックライトでは、パネルにターゲット曲線の明るい領域を表示できない。一部の実施例では、バックライトを決定するためにパネルトーン曲線、ターゲットトーン曲線およびディスプレイする画像が与えられる。選択されたバックライトを有するパネルのコントラストの範囲がターゲットトーン曲線の画像値の範囲の最もよく近似するよう、バックライトレベルを選択できる。

一部の実施例では、ディスプレイの出力ができるだけターゲット曲線上に来るように、画像を変更または補償する。バックライトが過度に高い場合、ターゲット曲線の暗い領域を達成することはできない。同様に、バックライトが低い場合、ターゲット曲線の明るい領域を達成することはできない。一部の実施例では、補償に対して固定されたターゲットを使用することにより、フリッカーを最小にできる。これら実施例では、バックライトの明るさと画像の補償の双方が変化するが、ディスプレイの出力は固定されているターゲットトーン曲線に近似する。

一部の実施例では、ターゲットトーン曲線は上記画像の改善点のうちの１つ以上を要約したものである。このターゲットトーン曲線により、バックライト選択と画像補償の双方を制御できる。画像を最適に表示するためにバックライトの明るさ選択が実行される。一部の実施例では、指定されたターゲットトーン曲線およびパネルトーン曲線といっしょに、上記ディストーションに基づくバックライト選択アルゴリズムが適用される。

一部の実施例では、式４８ａで示されるように、トーン曲線に対してゲイン−オフセット−ガンマ−フレア（ＧＯＧＦ）モデルが使用される。一部の実施例では、ガンマに対して２．２,オフセットに対し０を使用でき、２つのパラメータ、ゲインとフレアは無視できる。これら２つのパラメータにより、パネルトーン曲線とターゲットトーン曲線の双方を指定できる。一部の実施例では、式４８ｂのように、ゲインは最大の明るさを決定し、コントラスト比は加算フレアを決定する。

パラメトリックモデルトーン曲線が式４８ｂにおいて定義され、式中、ＣＲはディスプレイのコントラスト比であり、Ｍは最大パネル出力であり、ｃは画像の画素値であり、Ｔはトーン曲線値であり、γはガンマの値である。

ダイナミックコントラストの改善を達成するために、ターゲットトーン曲線はパネルトーン曲線と異なる。最も簡単なアプリケーションでは、ターゲットのコントラスト比、すなわちＣＲは、パネルのコントラスト比よりも大きい。次の式４９に、パネルトーン曲線の一例を示す。

ここで、ＣＲはディスプレイのコントラスト比であり、Ｍは最大パネル出力であり、ｃは画像の画素値であり、Ｔはトーン曲線値であり、γはガンマの値である。

次の式５０にターゲットトーン曲線の一例を示す。

ここで、ＣＲはターゲットのコントラスト比であり、Ｍは最大ターゲット出力（例えばフルバックライトの明るさにおける最大パネル出力）であり、ｃは画像の画素値であり、Ｔはトーン曲線値であり、γはガンマの値である。

図６０を参照し、トーン曲線の特徴について説明する。図５９は、水平軸に画素値を示し、垂直軸に相対的輝度を示した対数−対数グラフである。ここには３つのトーン曲線、すなわちパネルトーン曲線１０００と、ターゲットトーン曲線１００１と、指数法則曲線１００２とが示されている。パネルトーン曲線１０００はパネルの黒１００３から最大パネル値１００５まで延び、ターゲットトーン曲線はターゲットの黒１００４から最大ターゲット／パネル値１００５まで延びる。ターゲットの黒１００４は、より低いバックライトの明るさで利益が得られるので、パネルの黒１００３より下になっている。しかしながら、バックライトは所定のフレームに対し１つの明るさレベルしか有することができないので、ターゲットトーン曲線のフルレンジを利用できず、従って、より低いターゲットの黒１００４を得るためにバックライトの明るさを低減するときには、最大ターゲット／パネル値１００５を得ることはできない。本発明の実施例は、ディスプレイされる画像および所望する性能目標に対して最も適したターゲットトーン曲線の範囲を選択する。

異なる優先度を得るために種々のターゲットトーン曲線を発生できる。例えば、省電力が主目的である場合、ターゲット曲線に対するＭおよびＣＲの値をパネルトーン曲線内の対応する値に等しくなるように設定できる。この省電力実施例では、ターゲットトーン曲線はネイティブなパネルトーン曲線に等しい。電力を節約するためにバックライト変調を使用するが、低いバックライト設定では得られない明るい範囲を除けば、ディスプレイされる画像がフルパワーのディスプレイでの画像と実質的に同じとなる。

図６０には、省電力トーン曲線の一例が示されている。これら実施例では、パネルトーン曲線とターゲットトーン曲線とは同一である（１０１０）。バックライトの明るさを低減し、より低いターゲット曲線１０１１を得ることができるが、黒レベル改善の可能性はこれら実施例では使用されない。その代わりに、パネルトーン曲線１０１０にマッチングさせるために画素値の補償により画像の明るさを高められる。省電力のためのバックライトの低減１０１３に起因するパネルの限界点においてこのことが可能でないときは、クリッピングアーティファクトを回避するために補償を丸めることができる（１０１２）。この丸めは、他の実施例に関連してこれまで説明した方法に従って達成できる。一部の実施例では、クリッピングは許容されるか、または画像におけるダイナミックレンジが限られていることに起因し、クリッピングは発生しない。これら実施例では、丸め１０１２が必要でない場合があり、ターゲットトーン曲線は単にレンジの頂部１０１４でパネルトーン曲線に近隣する。

別の実施例において、より低い黒レベルが主な目標であるとき、ターゲット曲線に対するＭの値をパネルトーン曲線内の対応する値に等しく設定されるが、ターゲット曲線のＣＲの値はパネルトーン曲線内の対応する値の４倍に等しく設定される。これら実施例では、黒レベルを下げるようにターゲットトーン曲線を選択する。ディスプレイの明るさはフルパワーディスプレイに対して変更されない。ターゲットトーン曲線はパネルと同じ最大値Ｍを有するが、コントラスト比がより高くなる。上記の例では、コントラスト比がネイティブなパネルのコントラスト比の４倍である。これとは異なり、ターゲットトーン曲線は、そのレンジの頂部で丸め曲線を含む。多分、バックライトを４：１の割合で変調できる。

図６１を参照し、黒レベルの低減を優先的にする一部の実施例について説明する。これら実施例では、例えば式４９を使って上記のようにパネルトーン曲線１０２０を計算する。低減されたバックライトの明るさレベルおよびより高いコントラスト比に対しても、ターゲットトーン曲線１０２１を計算する。このレンジの頂部では、ターゲットトーン曲線１０２４はパネルトーン曲線に沿って延びる。これとは異なり、ターゲットトーン曲線は低減されたバックライトレベルに対するディスプレイ限界１０２２の近くで、クリッピングを低減する丸め曲線１０２３を利用できる。

別の実施例では、より明るい画像が主な目的であるとき、ターゲット曲線のためのＭの値をパネルトーン曲線内の対応する値の１．２倍に等しく設定されるが、ターゲットトーン曲線のＣＲの値をパネルトーン曲線内の対応する値に等しく設定される。同じコントラスト比を維持して明るさを高めるように、ターゲットトーン曲線を選択する。（黒レベルは上昇することに留意されたい。）ターゲットの最大値Ｍはパネルの最大値よりも大きい。この明るさ設定を達成するために画像を明るくするように、画像補償を使用する。

図６２を参照し、画像の明るさを優先する一部の実施例について説明する。これら実施例では、レンジの底部１０３０の近くでは、パネルトーン曲線とターゲットトーン曲線とはほぼ同様である。しかしながら、これら領域よりも上では、パネルトーン曲線１０３２は最大ディスプレイ出力１０３３まで、標準経路を取る。しかしながらターゲットトーン曲線は、この領域内でより明るい画素値を与える、高くなった経路１０３１を取る。レンジの頂部に向って、ターゲット曲線１０３１は丸め曲線１０３５を構成し、この丸め曲線１０３５は、バックライトレベルが低減されることに起因して、ディスプレイがターゲット曲線に追従することができなくなるポイント１０３３までターゲット曲線を丸める。

別の実施例において、黒レベルがより低く、中間レンジがより明るいエンハンスされた画像が主な目標であるとき、ターゲット曲線のためのＭの値はパネルトーン曲線内の対応する値の１．２倍に等しく設定され、ターゲット曲線のためのＣＲの値はパネルトーン曲線内の対応する値の４倍に等しく設定される。明るさを高め、黒レベルを下げるよう、ターゲット曲線を選択する。このターゲット最大値はパネルの最大値Ｍよりも大きく、コントラスト比もパネルのコントラスト比より大きい。このターゲットトーン曲線はバックライト選択および画像補償の双方に影響する。ターゲットの低減された黒レベルを達成するために暗いフレーム内でバックライトを低減する。高められた明るさを得るためにフルバックライトでも画像補償が使用される。

図６３を参照し、画像の明るさおよび低い黒レベルを優先する一部の実施例について説明する。これら実施例では、例えば式４９を使って上記のようにパネルトーン曲線１０４０を計算する。ターゲットトーン曲線１０４１も計算されるが、このターゲットトーン曲線１０４１は、低減されたバックライトレベルを考慮し、より低い黒１０４５で開始される。ターゲットトーン曲線１０４１は、トーンスケールの中間レンジおよび上部レンジで画素値を明るくするために高くなった経路に従うこともできる。バックライトレベルが低減されたディスプレイは、最大ターゲット値１０４２にも、または最大パネル値１０４３にも達することができないので、丸め曲線１０４４が使用される。この丸め曲線１０４４は、バックライト低減パネルの最大値１０４６でターゲットトーン曲線１０４１を終端させることができる。丸め曲線の特性を決定するのに、上記他の実施例に関連して説明した種々の方法を使用できる。

図６４を参照し、本発明の一部の実施例について説明する。これらの実施例では、パネルトーン曲線とターゲットトーン曲線に加え、複数の候補トーン曲線１１２７、１１２８および１１２９を計算し、画像特性、性能目標またはその他の基準に基づき、計算された候補トーン曲線の組から選択を行うことができる。これらの実施例では、高い黒レベルを有するフルバックライトの明るさの状況に対し、パネルトーン曲線を生成できる。ターゲットトーン曲線１１２８は、パネルの黒レベルよりも低い改良された黒レベル１１２１を定義する。パネルトーン曲線とターゲットトーン曲線の間で定義された候補トーン曲線１１２９も生成できる。候補トーン曲線１１２９は、黒レベルの移行領域１１２２を備え、その領域において曲線は黒レベルポイントに移行する。候補曲線１１２７、１１２８および１１２９は、候補トーン曲線のいずれかからの入力ポイントが同じ出力ポイントにマッピングされる共通領域も含む。一部の実施例では、これら候補トーン曲線１１２７、１１２８および１１２９は明るさ丸め曲線１１２６も備え、曲線は、他の実施例に対してこれまで説明したような最大明るさレベル１１２５まで丸められる。画像特性に基づき、候補トーン曲線のこの組から、１つの曲線を選択できる。例えば、限定するわけではないが、より低い黒レベルから多くの極めて暗いピクセルを有する画像は、利益を得ることができ、この画像に対し、暗いバックライトおよびより低い黒レベルを有する曲線１１２８を選択できる。多くの明るいピクセル値を有する画像は、より高い最大の明るさ１１２４を有する曲線１１２７の選択に影響を及ぼす。ビデオシーケンスの各フレームは異なる候補トーン曲線の選択に影響を及ぼす。管理されない場合、異なるトーン曲線を使用することは、シーケンスにおいてフリッカーおよび望ましくないアーティファクトの原因となる。しかしながら、これらの実施例のすべての候補トーン曲線が共用する共通領域１１２３は、時間的な効果を安定化するよう働き、フリッカーおよび同様なアーティファクトを低減する。

図６５を参照し、本発明の一部の実施例について説明する。これらの実施例では、候補トーン曲線１１０５のような候補トーン曲線の一組を生成する。これら候補トーン曲線は異なる黒レベルの移行領域１１０２を含み、これら移行領域は異なるバックライトの明るさレベルに対応する。この候補トーン曲線の集合は、すべてエンハンスされた共通領域１１０１を含む。一部の実施例では、これら曲線は共通領域から最大明るさレベルまで移行する明るさ丸め曲線１１０３も含む。エンハンスされた候補トーン曲線１１０９では、曲線は黒レベルポイント１１０５でスタートし、エンハンスされた共通領域１１０１まで移行し、次に曲線はエンハンスされた共通領域から、丸められた曲線で最大明るさレベル１１０６まで移行する。一部の実施例では、明るさ丸め曲線は存在しないことがある。これらの実施例は、共通領域がパネルトーン曲線よりも上にあるという点で、図６５を参照して説明した実施例と異なっている。このことは、入力ピクセル値をより高い出力値にマッピングし、表示される画像を明るくする。一部の実施例では、画像シーケンスのフレームに対し、エンハンスされた候補トーン曲線のセットを生成し、選択的に使用する。これら実施例は、フリッカーおよび同様なアーティファクトを低減するように働く共通領域を共用する。一部の実施例では、候補トーン曲線のセットおよびエンハンスされた候補トーン曲線のセットを計算し、画像特性および／または性能目標に基づき、選択的に使用できるように格納する。

図６６を参照し、本発明の一部の実施例について説明する。図６６の方法では、ターゲットトーン曲線パラメータを決定する（１０５０）。一部の実施例では、これらパラメータは最大ターゲットパネル出力、ターゲットコントラスト比、および／またはターゲットパネルガンマ値を含む。性能目標を達成するために、画像を調節または補償するのに使用できるターゲットトーン曲線を定めるのに、他のパラメータも使用できる。

これら実施例では、パネルトーン曲線１０５１も計算される。代表的なパネル出力とターゲットトーン曲線との間の差を示すために、パネルトーン曲線が示されている。パネルトーン曲線１０５１はディスプレイに対して使用されるディスプレイパネルの特性に関係しており、基準画像（この基準画像から誤差またはディストーション測定を行うことができる）を作成するために、パネルトーン曲線を使用できる。この曲線１０５１は、所定のディスプレイに対する最大パネル出力Ｍおよびパネルコントラスト比ＣＲに基づき計算できる。一部の実施例では、この曲線は最大パネル出力Ｍ、パネルコントラスト比ＣＲ、パネルガンマ値γおよび画素値Ｃに基づく。

１つ以上のターゲットトーン曲線（ＴＴＣ）を計算できる（１０５２）。一部の実施例では、ＴＴＣのセットが計算され、各TTCは異なるバックライトレベルに基づく。別の実施例では、別のパラメータを変えることができる。一部の実施例では、最大ターゲット出力Ｍおよびターゲットコントラスト比ＣＲを使ってターゲットトーン曲線を計算できる。一部の実施例では、このターゲットトーン曲線は最大ターゲット出力Ｍ、ターゲットコントラスト比ＣＲ、ディスプレイガンマ値γおよび画素値Ｃに基づくことができる。一部の実施例では、ターゲットトーン曲線は画像にとっての望ましい変更を示す。例えばターゲットトーン曲線はより低い黒レベル、より明るい画像領域、補償された領域および／または丸め曲線のうちの１つ以上を示すことができる。ターゲットトーン曲線はルックアップテーブル（ＬＵＴ）として表示でき、ハードウェアまたはソフトウェアによって計算でき、または他の手段によって示される。

バックライトの明るさレベルを決定できる（１０５３）。一部の実施例では、性能目標、例えば省電力、黒レベル基準または他の目標が、バックライトレベル選択に影響を及ぼす。一部の実施例では、処理またはエンハンスされた画像と仮想的基準ディスプレイにディスプレイされる元の画像との間のディストーション又は誤差を最小にするように、バックライトレベルを決定できる。画像の値が極めて暗いとき、画像表示に対してはより低いバックライトレベルが最も適す。画像値が極めて明るいとき、画像表示にはより高いバックライトレベルが最適な選択となる。一部の実施例では、パネルトーン曲線により処理される画像と、種々のＴＴＣで処理された画像とを比較して、適切なＴＴＣおよび対応するバックライトレベルを決定する。

本発明の一部の実施例では、バックライト選択および画像補償選択方法において、特定の性能目標を考慮することもできる。例えば省電力が性能の目標として認識されているとき、より低いバックライトレベルが画像特性の最適化よりも優先される。逆に、画像の明るさが性能目標であるとき、より低いバックライトの優先度はより低くなる。

ターゲットトーン曲線、仮想的基準ディスプレイまたは他の規格に関して、画像の誤差またはディストーションを最小にするように、バックライトレベルを選択できる（１０５３）。一部の実施例では、Ｌｏｕｉｓ Ｊ． Ｋｅｒｏｆｓｋｙによって発明された、「周辺照明入力によりディスプレイ特性をエンハンスするための方法およびシステム」を発明の名称の米国特許出願第１１／３７１，４６６号（本明細書ではこの出願を参考例として援用する）に開示されている方法を使用して、バックライトレベルおよび補償方法を選択することができる。

ターゲットトーン曲線を計算後、ターゲットトーン曲線により画像を調節または補償（１０５４）し、性能目標を達成するか、または低減されたバックライトレベルを補償する。この調節または補償は、ターゲットトーン曲線を参照して行われる。

バックライト選択（１０５３）および補償または調節（１０５４）後、調節されるかまたは補償された画像を、選択されたバックライトレベルで表示できる（１０５５）。

図６７を参照し、本発明の一部の実施例について説明する。これらの実施例では、画像のエンハンスメントまたは処理目標が確立される（１０６０）。この目標は省電力、より低い黒レベル、画像の明るさ設定、トーンスケール調節または他の処理、もしくはエンハンスメント目標を含む。処理またはエンハンスメント目標に基づき、ターゲットトーン曲線パラメータが選択される（１０６１）。一部の実施例では、パラメータ選択を自動化し、エンハンスメントまたは処理目標に基づくことがでる。一部の実施例では、これらパラメータは、最大目標出力Ｍおよびターゲットコントラスト比ＣＲを含む。一部の実施例では、これらパラメータは最大ターゲット出力Ｍ、ターゲットコントラスト比ＣＲ、ディスプレイガンマ比γおよび画素値ｃを含む。

選択されたターゲットトーン曲線パラメータに基づき、ターゲットトーン曲線（ＴＴＣ）を計算（１０６２）できる。一部の実施例では、候補トーン曲線（ＣＴＣ）のセットが計算される。一部の実施例では、このセットは、共通ＣＴＣパラメータの代りに、変化するバックライトレベルに対応する曲線を含むことができる。別の実施例では、他のパラメータを変えることもできる。

バックライトの明るさレベルが選択される（１０６３）。一部の実施例では、画像特性に関してバックライトレベルが選択される。一部の実施例では、性能目標に基づきバックライトレベルが選択される。一部の実施例では、性能目標および画像特性に基づき、バックライトレベルが選択される。一部の実施例では、性能目標または誤差基準にマッチするＣＴＣを選択し、そのＣＴＣに対応するバックライトレベルを使用することによって、バックライトレベルが選択される。

バックライトレベルを一旦選択すると（１０６３）、関連づけによりそのレベルに対応するターゲットトーン曲線を選択する。次に、ターゲットトーン曲線により、画像を調節、エンハンスまたは補償できる（１０６４）。次に、選択されたバックライトレベルを使用し、ディスプレイに調節された画像を表示できる（１０６５）。

図６８を参照し、本発明の一部の実施例について説明する。これら実施例では、画像のディスプレイ性能目標を識別する（１０７０）。これは、ユーザが直接性能目標を選択するユーザインターフェースを通して実行できる。このことは、ユーザが性能目標の優先度を識別するユーザの問い合わせにより実行してもよい。画像分析、ディスプレイのデバイス特性、デバイスの使用履歴または他の情報に基づき、性能目標を自動的に識別することもできる。

性能目標に基づき、ターゲットトーン曲線パラメータを自動的に選択または発生できる（１０７１）。一部の実施例では、これらパラメータは、最大目標出力Ｍおよびターゲットコントラスト比ＣＲを含む。一部の実施例では、これらパラメータは最大ターゲット出力Ｍ、ターゲットコントラスト比ＣＲ、ディスプレイガンマ比γおよび画素値Ｃを含む。

ターゲットトーン曲線パラメータから１つ以上の候補トーン曲線を生成できる（１０７２）。１つの式、一連の式、テーブル（例えばＬＵＴ）または他の表現として、ターゲットトーン曲線もしくは候補トーン曲線を表示できる。

一部の実施例では、各ＣＴＣはバックライトレベルに対応する。基準を満たす対応するＣＴＣを探すことにより、バックライトレベルを選択できる（１０７３）。一部の実施例では、他の方法により、バックライトを選択できる。バックライトをＣＴＣに無関係に選択した場合、そのバックライトレベルに対応するＣＴＣも選択できる。

バックライトレベルと最終ＣＴＣを一旦選択すると（１０７３）、このＣＴＣを画像に適用（１０７４）し、ディスプレイのための画像をエンハンス、補償または他の方法で処理できる。次に、処理されたこの画像を表示する（１０７５）。

図６９を参照し、本発明の一部の実施例について説明する。これら実施例では、画像のディスプレイ性能目標を識別する（１０８０）。このことは、ユーザが性能目標を直接選択するユーザインターフェースを通して実行できる。このことは、ユーザが性能目標の優先度を識別するユーザの問い合わせにより実行してもよい。画像分析、ディスプレイのデバイス特性、デバイスの使用履歴または他の情報に基づき、性能目標を自動的に識別することもできる。画像特性を識別するために画像分析が実行される（１０８１）。

性能目標に基づき、ターゲットトーン曲線パラメータを自動的に選択または発生できる（１０８２）。直接識別されるか、または最大ディスプレイ出力値およびコントラスト比により表わされるバックライトレベルも選択される。一部の実施例では、これらのパラメータは、最大目標出力Ｍおよびターゲットコントラスト比ＣＲを含む。一部の実施例では、これらのパラメータは最大ターゲット出力Ｍ、ターゲットコントラスト比ＣＲ、ディスプレイガンマ比γおよび画素値ｃを含む。

ターゲットトーン曲線パラメータからターゲットトーン曲線を生成できる（１０８３）。ターゲットトーン曲線を１つの式、一連の式、テーブル（例えばＬＵＴ）または他の表現によって表示できる。この曲線を一旦生成すると（１０８３）、この曲線を画像に適用（１０８４）し、表示用の画像をエンハンス、補償または他の方法で処理することができる。次に処理された画像を表示する（１０８５）。

これまで明細書で使用した用語および表現は、発明を説明するために用いたものであり、発明を限定するために用いたものではない。かかる用語および表現の使用にあたり、図示し、かつ説明した特徴事項またはその一部の均等物を排除するものではなく、本発明の範囲は特許請求の範囲のみによって定められるものである。

関連出願
本出願は、２００５年６月１５日に提出された「高周波コントラストのエンハンスメントによりディスプレイ特性をエンハンスするための方法およびシステム」という名称の米国特許出願第１１／１５４，０５３号の一部継続出願である、２００５年９月１２日に提出された「画像固有のトーンスケールの調節および光源制御のための方法およびシステム」という名称の米国特許出願第１１／２２４，７９２号の一部継続出願である、２００５年１２月２日に提出された「ディスプレイ光源の調節を決定するための方法およびシステム」という名称の米国特許出願第１１／２９３，５６２号の一部継続出願である、２００６年８月１７日に提出された「ディスプレイの光源照度レベルを選択するための方法およびシステム」という名称の米国特許出願第１１／４６５，４３６号の一部継続出願である。特許出願第１１／２２４，７９２号は、２００５年６月１５日に提出された「周波数固有のゲインによりディスプレイ特性をエンハンスするための方法およびシステム」という名称の米国特許出願第１１／１５４，０５４号の一部継続出願でもある。特許出願第１１／２２４，７９２号は、２００５年６月１５日に提出された「ディスプレイ特性をエンハンスするための方法およびシステム」という名称の米国特許出願第１１／１５４，０５２号の一部継続出願でもある。特許出願第１１／１５４，０５２号、特許出願第１１／１５４，０５３号および特許出願第１１／１５４，０５４号は、２００５年４月１１日に提出された「コントラストのエンハンスメントによる明るさ保存」という名称の米国仮特許出願第６０／６７０，７４９号の利点を主張し、２００５年３月９日に提出された「バックライトディスプレイの低パワーモードのコントラスト保存および明るさ保存」という名称の米国仮特許出願第６０／６６０，０４９号の利点を主張し、２００４年１２月２日に提出された「バックライトディスプレイにおける省電力モードのための輝度マッチング」という名称の米国仮特許出願第６０／６３２，７７６号の利点を主張し、２００４年１２月２日に提出された「バックライトディスプレイの省電力モードのための明るさ保存」という名称の米国仮特許出願第６０／６３２，７７９号の利点を主張する。特許出願第１１／２２４，７９２号は、２００５年８月２３日に提出された「画像に依存するバックライト変調」という名称の米国仮特許出願第６０／７１０，９２７号の利点も主張する。特許出願第１１／４６５，４３６号は、２００６年６月２６日に提出された「ディストーションに基づく光源変調のためのシステムおよび方法」という名称の米国仮特許出願第６０／８０５，８６３号の利点も主張する。本段落に記載のすべての出願は本明細書において参考のため包含される。

Claims (6)

1. ディスプレイと、該ディスプレイを照明するバックライトと、
   前記ディスプレイに表示させる画像データの画像処理を制御するプロセッサとを有するディスプレイデバイスにより実行される画像特性を調整するための方法であって、
   前記プロセッサが、
   前記ディスプレイに表示する画像データの黒レベル、画像データの低諧調領域における彩度、画像の輝度、ダイナミックコントラスト、フレーム内のコントラスト、省電力、画像分析結果、のいずれかに基づいて性能目標を決定するステップと、
   前記決定した性能目標に基づき、ターゲットとするディスプレイの最大出力、ターゲットとするディスプレイのコントラスト比、およびターゲットとするディスプレイのガンマ値の一または複数を含むターゲットトーン曲線パラメータを決定するステップと、
   前記決定したターゲットトーン曲線パラメータに基づき一組の候補トーン曲線を計算するステップと、
   前記一組の候補トーン曲線のそれぞれを、前記バックライトの照明レベルを示すバックライトレベルに対応付けて計算するステップと、
   前記一組の候補トーン曲線から、前記性能目標を満たす前記バックライトレベルに対応する候補トーン曲線を前記ターゲットトーン曲線として選択するステップと、
   前記選択したターゲットトーン曲線を画像データに適用して、前記ディスプレイに表示することを特徴とする画像特性を調節するための方法。
2. 前記プロセッサは、
   前記性能目標を前記画像分析結果に基づいて決定し、該画像分析結果として、画像データの画素値と表示時にクリップされる画素値とに基づいて決定されるディストーション基準を用いることを特徴とする請求項１に記載の画像特性を調節するための方法。
3. 前記一組の候補トーン曲線は、
   入力画像データの画素値が特定の低い領域で、バックライトレベルに応じて、入力画素値に対する出力値がそれぞれ異なる領域と、バックライトレベルが異なっても入力画素値に対する出力値が共通となる共通領域とを有することを特徴とする請求項１または２に記載の画像特性を調節するための方法。
4. 前記複数の候補トーン曲線の各々は、前記入力画像データの画素値が最も高い特定領域において、入力画像データの画素値に対する出力値の傾きが、入力画像データの画素値が大きくなるに従って徐々に低減する丸め曲線を有することを特徴とする請求項３に記載の画像特性を調節するための方法。
5. 前記プロセッサは、
   前記ディスプレイの所定の特性に基づきパネルトーン曲線を計算し、
   前記一組の候補トーン曲線の前記共通領域を、前記パネルトーン曲線の一部にマッチングさせて生成することを特徴とする請求項３または４に記載の画像特性を調節するための方法。
6. 前記一組の候補トーン曲線は、
   前記共通領域を共有する複数の候補トーン曲線に加えて、複数のエンハンスされた候補トーン曲線を含み、
   前記エンハンスされた候補トーン曲線の各々は、前記バックライトレベルに対応付けられ、入力画像データの画素値が特定の低い領域で、前記バックライトレベルに応じて、入力画素値に対する出力値がそれぞれ異なる領域と、前記バックライトレベルが異なっても 入力画素値に対する出力値が共通となる共通領域とを有し、
   前記エンハンスされた候補トーン曲線の共通領域は、前記エンハンスされていない候補トーン曲線の共通領域よりも高い出力値にマッピングされることを特徴とする請求項３に記載の画像特性を調節するための方法。
   

Images