JP6930821B2 - ビデオ信号の時間フィルターリング - Google Patents

Description

本発明はディスプレイ装置、より具体的には、その様な装置で表示される画像のアーチファクト（artifact)を減少させる二重変調（ｄｕａｌ ｍｏｄｕｌａｔｉｏｎ）ディスプレイ装置及びプロセス及び構造に関する。

・著作権についての通告
この特許出願書類の一部には著作権保護の適用をうける材料が含まれる。著作権所有者は、この内容は米国特許商標庁の特許関連ファイル又は記録に存在するため、何人もこの特許出願書類又は特許の開示内容をファクスにより再生することに異議を唱えない。しかし、それ以外の使用については全ての著作権を留保する。

・関連米国特許出願
本出願は2008年2月13日に出願された米国特許出願第12/030,448に基づく優先権を主張するものであり、同出願の全体は参照により本明細書に組み入れられる。

ダイナミックレンジはある場面の最大輝度部分とある場面の最小輝度部分の強度の比である。例えば、ビデオ映写システムにより投影された画像は最大ダイナミックレンジは３００：１であることもある。人の視覚システムは非常に高いダイナミックレンジを持つ場面の特徴を認識することができる。

例えば、人は明るい昼間に照明の無いガレージの影となっている部分の中を見ることができ、直ぐ隣の陽の当っている場所の輝度がその場面の影の部分の輝度よりも1000倍以上明るいにもかかわらず、影にあるものの詳細を見ることが出来る。その様な場面を現実的に実現するには１０００：１を超えるダイナミックレンジを持つディスプレイが必要となる。「高度なダイナミックレンジ」の用語は８００：１以上のダイナミックレンジを言う。

最新のデジタル画像化システムは、場面のダイナミックレンジがその中で保存される、場面のデジタル表示を捕捉しそして記録することができる。コンピュータ画像化システムは高ダイナミックレンジを持つ画像を合成することができる。最近、ディスプレイシステムは、高ダイナミックレンジをより忠実に再現する方法で画像を表す二重変調システムを採用し始めた。

本発明の発明者は高ダイナミックレンジ ディスプレイ システムで起きるアーチファクト（artifact）、特に異なる解像度の変調器を組み入れる二重変調システムが原因で起きるアーチファクトを減少させる必要があることに気付いた。ある実施の態様においては、本発明はビデオの現在フレームを受け、現在フレームの後方変調信号を計算し、現在フレームの後方変調信号と前フレームの後方変調信号の間の強度の違いを計算し、そして現在フレームの後方変調信号をフィルター限度Ｒにより修飾して、現在フレームの実際の後方変調信号を得るステップを含む方法を提供する。

フィルターリングは、例えば、ビデオが表示されるディスプレイのパフォーマンス特徴及び/又はビデオ信号の特徴である。ある実施の態様においては、ビデオ信号中に場面の変化が検出される場合には、後方変調信号は修飾されない。
他の実施の態様においては、本発明は高ダイナミックレンジディスプレイであり、以下を含む：
前方変調器ユニット、前方変調器ユニットの解像度よりも低い解像度を持つ個々に制御可能な一連のバックライト配列を持ち、変調された光を前方変調ユニットに投影するように構成された後方変調ユニット、後方変調器ユニットに連結され、後方変調信号を作りそれを後方変調器ユニットに送信する様に構成されたコントローラ、そして前記後方変調信号はフレアーレート（flare rate）及び減光レート(dimming rate)の少なくとも一つにより制限される。

ある実施の態様においては、コントローラはさらに、表示されるビデオ中の場面の変化を決定し、そして、場面の変化の間制限されることなく後方変調信号を作るように構成される。

さらに他の実施の態様においては、本発明は光素子の配列の個々に制御可能な光素子のそれぞれに制御信号を提供するように構成されたコントローラであり、前記制御信号はビデオ信号由来の光の量であって、そしてもし、フレアーレート（flare rate）閾値及び減光レート(dimming rate)閾値の少なくとも一つを越える場合は、その強度が制限されるある量の光を含む。

ある実施の態様においては、強度の制限はビデオ画像の領域ごとのベースで実施されるため、ビデオ画像のある一つの領域で強度が制限され、他の領域では制限されないこともあり、そして閾値の少なくとも一つが動的に決定される。

本発明を実施する任意の装置又は方法の一部は好都合なことに汎用コンピュータ、又はネットワークコンピュータでプログラムにより実施することができ、その結果は汎用コンピュータ、又はネットワークコンピュータの何れかに接続されている出力装置に表示するか、出力又は表示するための遠隔装置に送信しても良い。さらに、コンピュータプログラム、データ配列、及び/又は制御信号で表示される本発明の任意の構成要素は、これらに限定されるものではないが、無線放送、及び銅線、光ファイバーケーブル、及び同軸ケーブル等による送信を含む任意の媒体で、任意の周波数で電子信号放送として実施（又は送信）しても良い。

添付された図面に関連付けて検討する場合、以下の詳細な説明を参照することにより、本発明のより完全な理解及び数多くの付随する優位な点をより良く理解することができるであろう。
図１はバックライトモーション エイリアシング（Backlight Motion Aliasing）及び「ウォーキング」(walking)ＬＥＤ問題の原因を示すバックライト照射のパラダイムを示す。 図２は本発明のある実施の態様のあるプロセスのフローチャートである。 図３Ａは本発明のある実施の態様のプロセスを実施するように配置された電子及び/又はコンピュータ部分のブロック略図である。 図３Ｂは本発明のある実施の態様のプロセスを実施するように配置された電子及び/又はコンピュータ部分のブロック略図である。 図４は本発明のある実施の態様の減衰プロセス（damping process）の図解である。 図５はチェッカーボードパターンのバックライト駆動レベルの計算の結果の説明を示す。

本発明は二重変調ディスプレイシステムで表示される画像データ処理の方法に関し、より具体的には（時間）ノイズ及び画像アーチファクトを、一連のビデオフレームの後方変調信号に時間フィルターリングを適用することにより減少させる方法に関する。

低解像度変調バックライトを使用してＬＣＤパネルを照明することは望まれない画像アーチファクトをディスプレイにもたらす。例えば、ＬＣＤが完全に光を遮断することができないため、暗い領域に囲まれた明るい特徴を照明するバックライトは、その特徴の周囲にぼやけたハロー（halo）を作り、その端のコントラストはパネルによるコントラストにより制限される。

もしハローがその特徴の周りで対称的でない場合は、バックライトの低解像度のため、ハローは形を変え、そして対象物の動きに厳格に追随せず、その影響はより明らかになり、対象物が動くとハローによるアーチファクトはより劣悪なものとなる。ハローは対象物が動くとその背後に密着して、引き摺られるように感じられ、そして追いつくために急に対象物より先に飛び出しそして再び対象物の後に引き摺られる様に感じられる。ハローはその形を変えると共に、そのぎこちない動きは歩調をとる行為、又は「ウォーキング（walking)」に似ていると言える。図１は各バックライト10A, 20A及び30Aに重ね合わされた形の各進行（ショット10B, 20B,及び30B)状況、及びハロー（投射（shot）20B及び30Bを参照)を示す。このアーチファクト画像は、もしバックライトの力が移動する特徴のために維持されていない場合は、それは脈打ち及びまた暗くなる傾向があるため、特に顕著に現われることがある。

ウォーキングの効果の根本原因は、バックライト信号中の空間アライアシングに求めることができる。
ある同時代の技術（例えば、Dolby Contrast（登録商標）ディスプレイ）はハローアーチファクトを隠すためにベールする輝度（veiling luminance）の考え方を用いる。黒いLCDピクセルから漏れる光は、ディスプレイのコントラスト限界が観測されない様に、ベールする輝度により起こされる知覚限界よりも低く設計される。しかし、ベールする輝度の方法のみではウォーキング（walking)LED問題を十分解決できない。その理由は、このアーチファクトの根本原因はバックライト信号中の空間アライアシングに関係するからである。したがって、この感知される効果を最小にするために、バックライト駆動レベルを帯域制限された方法（例えば、隣接するバックライトからのより高い空間周波数の転送を防ぎ又は減少させる）で計算する必要があり、帯域制限された方法は、特徴位置、方位、及び強度の小さな変化について、全般の時間に渡ってのみならず単一フレームの中でも安定的である。ダウンサンプル法及び空間平滑化/フィルターリングを使用する後方変調信号を決定するアプローチを、バックライトとLCDの間の解像度の差の感知しうる影響を最小にするために使用してもよい（例えば、Dolby Contrast（登録商標）よるライセンスディスプレイ）。

本発明はノイズ及び時間的アーチファクト（例えば、ウォーキング（walking LED)）時間フィルターリングを、二重変調ディスプレイシステムに表示される一連のビデオフレームの後方変調信号に適応することにより低減させる方法を開示する。個々に変調された光ソースを、LCDパネルを照射するバックライトとして用いる二重変調ディスプレイシステムでは、フィルターリング限界（例えば、フレアーレートR_flare 及び減光レートR_dim)は、全般の時間に亘りバックライト傾斜を平滑にするために連続するビデオフレーム間の任意の個々のバックライト要素（又はバックライト要素の集まり）の強度の最大変化を制御する様に決定されそしてそのために用いられる。時間の限界は、場面の変化フレームが検出された場合は、好ましくは無視すべきである。例えば、場面の変化は、連続するビデオフレームの全体の照明強度の違いを調節可能な閾値Tと比較することにより検出される。代替的に、またビデオ流れ中のメタデータは、特に場面変化を示すのに利用することができる。

場面変化を検出するための種々の方法があることは知られている。殆んどの作業はビデオ圧縮及びビデオ処理でなされている。使用される方法に関わらず、出力画像中の全体の変化が減衰効果の必要性を極めて大きく減少させ又は不必要とさせる、場面の変化又は他の任意のフレームセットでは、本発明の減衰プロセスは無視しても良い。

通常、場面変化の検出のプロセス及び適当な場合は減衰の応用は、全体として又は全バックライトに亘り適用される。しかし、同じタイプのプロセスはまた全般の時間に亘り変化する場面の一部に限定され適用してもよい。場面の一部に適用される場面変化のアルゴリズムはフレームの比較、フレームの発見的技術又は局地的領域及び恐らくはビデオ流中のメタデータに亘る場面部分に基づくこともある。バックライト要素の数に基づき、時間的減衰の計算コストが増大し又は減少することは注目すべきである。より小さいディスプレイ又はバックライトの少ないより大きいディスプレイ（例えば、２００のバックライト要素―例えば、複数のLED又はLEDの集まり）は、多くの（例えば、１４００以上）バックライト要素を持つ同様のサイズのディスプレイよりも極めて少ない計算能力で済む。しかし、時間的減衰の必要はより少数のバックライトで増加する。その理由はエイリアシング効果及び解像度の低減したバックライトに関連するその他の問題は比較的低いバックライト解像度を持つディスプレイで目立つからである（光素子（例えば、非常に広い点の拡大機能（PSF）がアーチファクトを和らげることができ、非常に狭いPSFは局地的コントラストを最大にすることができる）を通して光の空間分布に大きく依存するため、これにより相殺がなされる）。

本発明の代表的な時間減衰アプローチは以下のステップを含む：
（１）現在のフレームを受取る。フレームは、例えば、ビデオデータ流から表示されるフレームである。ビデオデータ流は、例えば、カメラ、記憶メディアソース（DVD, HD-DVD（登録商標）、ブルーレイ（登録商標）、等）、デジタル又は他の放送（例えば、地上波、衛星、無線ネットワークなど）に基づく。
（２）現在のフレームの後方変調信号を算出する。後方変調信号は、例えば、ディスプレイのバックライト中の個々の光（又は光の集まり）の強度レベルを設定するデータを含む。
（３）現在のフレームの後方変調信号を、現在のフレーム及び前の一つのフレーム又は複数のフレームの変調信号の平均（例えば、加重平均）により修飾する。

上の修飾ステップ、ステップ（３）は、異なる形で実現されうる平均を用いる。この平均は2つのフレーム（現在及び前のフレーム）の平均である。
代替的に、前のフレーム（n）及び現在のフレーム（n+1）に亘る加重平均を使用しても良い。

他の実施の態様においては、本発明は以下のステップを含む方法として実施しても良い：
（１）現在のフレームを受取る；
（２）現在のフレームの後方変調信号を計算する；
（３）現在のフレームと前のフレームの各々の後方変調信号の間の強度の差を計算する。この強度の差は、例えば、現在のフレーム中の各バックライト要素を前のフレームの同じバックライト要素の強度から差引くことにより計算する。強度レベルは、例えば、変調信号そのもの、又は変調信号中に含まれるバックライト要素の励起レベル等に基づいて計算することができる（その様な計算は、例えば、バックライト要素中の個々の差に対する可変要素を含み、その様な差は設計又は製造品質等での差であることもある）；
（４a）もし、現在のフレームと前のフレームの各々後方変調信号の強度の差が事前に決められた、又は動的に算出された強度の差の基準（例えば、閾値又はある比率）を超える場合は、現在のフレームの後方変調信号を次前に決められたフイルターリング限界Rにより修飾し、現在のフレームの実際の後方変調信号を得る；
(４b) もし現在のフレームと前のフレームの各々の後方変調信号の強度の差が事前に決められた閾値を超えない場合、ステップ（２）で計算された後方変調信号を、現在のフレームの実際の所望の後方変調信号として利用する。

ステップ（３）、（４a）、及び（４b）はバックライト全体に亘り実施することができ、又はバックライトは各フレームの各領域に適用されるステップ（３）、（４a）、及び（４b）を持つ領域に分割しても良い。ステップが適用される領域の数は動的である。場面は2つの領域に分割しても良く、幾つかの場面は幾つかの領域に効果的に分割しても良く、一方他の場面はより効率的であり、又は、単一の領域として残された場合効果的な結果生み出す。さらに、基準（例えば、閾値及び/又は比率）自体（後方変調信号の強度又は所望の変化に基づいて）動的でありうる。

他の代表的な時間減衰アプローチは図２に示す。ステップ２００で画像を受領する。画像は、例えば、放送又は事前に記録された材料から受領したビデオ中のフレームである。そしてフレームのために所望の後方変調信号２２０が計算される（例えば、ステップ２１０において計算される）。

ステップ２１５において、場面変化の検出が実施される。場面変化の検出は、例えば、所望の後方変調信号２２０を前の後方変調信号（例えば、信号２２５）と比較することにより実施される。この比較は代替的に複数の前のフレーム又は変調信号に渡る統合を含み、これらの前のフレーム又は信号は、例えば、比較においてより期近のフレームがより大きい影響を持つ様に、加重しても良い。もし場面の変化が検出された場合は、所望の後方変調信号は現在のフレームに用いられる（ステップ２３０）。

もし場面の変化が検出されない場合は、所望の後方変調信号と前の後方変調信号が比較される。その比較は、例えば、ステップ２６０に示す様に、前のフレーム（例えば、前の後方変調信号に含まれる）のバックライト要素と現在のフレーム（計算された、所望の後方変調信号に含まれる）の要素を要素毎に比較するものである。その比較の結果は、事前に決定されたフレアーレート（flare rate）（ステップ２６２）又は事前に決定された減光レート(dimming rate)（ステップ２７０）を超えているかを決定するために用いられる。

フレアーレート（flare rate）及び減光レート(dimming rate)は、例えば、減衰処理が実施されるディスプレイの特徴に基づいて設定される。これらのレートは経験的にディスプレイの仕様から、実験による観察から、又はその両方の組み合わせにより決定しても良い。

ある一つの例として、６０HZのリフレシュレート（refresh rate)を持つディスプレイは１０パーセントのフレアーレートを持つこともある。一般的には、１２０HZのリフレシュレートを持つ同様のディスプレイは５パーセントのフレアーレートを持つであろう。

他の実施の態様においては、より低いレートが使用される。例えば、３０HZで５％のレートを持つディスプレイは、十分な黒色から十分な白色になるまでに２０フレーム（約2/3秒）掛かることを暗示する。基準（レート/閾値）の決定に影響を与える他の因子は、要素の数及び次元、光空間特性（PSF）,視聴者の能力及び限界（例えば、人の視覚システム（HVS））及びディスプレイの輝度範囲である。さらに、上で述べた様に、レートはこれらの因子及び内容の全て又はその幾つかに基づいて動的に決定することも出来る。

もしフレアーレートを超える場合、フレアーレートを超える要素の所望の後方変調信号はフレアーレートに制限される（例えば、ステップ２６５を参照）。例えば、２％のフレアーレートを持つ６０HZディスプレイ上で、もし一連のバックライト要素が２％より大きい（例えば、１０から２０％の範囲）フレアーレートを持つ場合、後方変調信号は、これらのフレアー要素が制限されるように修飾される。ある実施の態様においては、制限される量はフレアーレートに等しく、この例の場合は９％である。

減光レート(dimming rate)を超える場合、その減光レート(dimming rate)を超える要素の所望の後方変調信号は、減光（dimness）が制限される（例えば、ステップ２７５を参照）。例えば、４％減光レートを持つディスプレイにおいて、もし一連のバックライト要素が４％より大きい減光レートを持つ場合、後方変調信号は、これらの要素の減光（dimness）が制限される様に修飾される。ある実施の態様においては、制限される量は減光レートに等しく、この例の場合は４％である。

もし、減光レート(dimming rate)及びフレアーレート（flare rate）のいずれをも超えない場合、これらの制限は後方変調信号に適用しても又は適用しなくても良い。フレア又は減光レートの計算のいずれかの制限が組み合わされ、又は組み立てられて現在の後方変調信号を作り出す（ステップ２８０）（組立てには、例えば、任意のフレアーレート及び減光レート制限により所望の後方変調信号を修飾することを含む）。現在の変調信号は、前の後方変調信号２２５を最新の状態にするためにステップ２８２で使用され、それはその後次のフレーム又は表示される画像に関係する計算に使用される。ステップ２８５では輝度マップが計算される。輝度マップは現在の変調信号（フレアーレート又は減光レートの制限が適用された場合）又は所望の後方変調信号（場面変化が検出される場合又はフレアーレート及び減光レートを超えない場合）から構築される。

ステップ２９０では、前方変調信号が生成される。前方変調信号は減衰することなく生成される同じ信号であっても良く、又は好ましくは信号は、部分的に、組み立てられた後方変調信号に基づくのが良い。減衰されたバックライト信号を考慮することにより、LCD値はさらに調整されて、よりアーチファクトの無い画像を生成する。

ある実施の態様においては、本発明は以下のステップを含む：
（１）現在のフレームを受領する；
（２）現在のフレームの所望の後方変調信号を計算すること；
（３）場面の変化の基準（例えば、閾値T）を決定する（調整又は記憶装置から読み出す）（上に述べた比較又は任意の場面検出プロセスを用いても良い）；
（４）現在のフレームの所望の後方変調信号と前のフレームの後方変調信号の間の強度の差を計算する；
（５）ステップ（４）で計算された強度の差が閾値Tを超えるか否かを決定する。もし、超える場合は、現在のフレームの所望の後方変調信号を現在のフレームの実際の後方変調信号として選択し、ステップ（１０）に進む；もしそうでない場合は、ステップ（６）に進む；
（６）フレアーレートR_flare及び減光レートR_dimを決定（調整）する(場面検出及びそれに使用された全てのパラメータはフレアーレート及び減光レートから分離しても良い）；
（７）個々のバックライト要素レベルで、現在のフレームの所望の後方変調信号と前のフレームの後方変調信号の間の強度の差を、要素毎のベースで計算する；
（８）ステップ（７）で計算された強度の差がフレアーレートR_flareを超える要素について、R_flareを用いて現在のフレームの対応する後方変調信号を修飾する；
ステップ（７）で計算された強度の差が減光レートR_dimを超える要素について、R_flareを用いて現在のフレームの対応する後方変調信号を修飾する；
そして
ステップ（７）で計算された強度の差がフレアーレートR_flare及び減光レートR_dimの何れをも超えない要素については、現在のフレームの対応する後方変調信号を修飾すること無くそのまま放置する；
（９）現在のフレームの後方変調信号を全ての要素（集まり）について、修飾されたもの及び修飾されていないものについて現在のフレームの実際の後方変調信号に組立てる；
（１０）前のフレームの後方変調信号を現在のフレームの実際の後方変調信号により最新のものとする。
R_flare及びR_dim比率は、例えば、経験的結果又は実験の観察に基づき固定されたものであるが、上のアルゴリズムは動的フレアー及び減光値を置換するように修飾しても良い。
例えば、ディスプレイはある条件では可変の性能仕様を持っていても良い（例えば、変調の変化が、ほとんど明るい場面の場合に比べて殆んど暗い場面で起きる場合、ディスプレイの作動は異なっていることもある）。これらの条件にマッチするように、R_flare又はR_dimは、ディスプレイの種々変わる性能にマッチするように調整しても良い。その様な調整は公式又は表中のルックアップテーブルにより実行しても良い。代替的な、又は更なる調整は、減衰がまた人の視覚システム（HVS）の能力の特徴にマッチする様にしても良い。この人の視覚システム（HVS）自体は、明るい場面から暗い場面に進む場合に比べて、暗い場面から明るい場面に進む場合の方がより早く調節することができる。したがって、明るい場面から暗い場面に変わる場面の推移では、R_flare又びR_dimは、明るい場面から暗い場面に変わる観察条件での人の目の能力に、よりマッチする値をとることもある。R_flare又び/又はR_dimの調整をする条件下での場面推移の決定は、現在のフレームを一以上の前のフレーム（また潜在的にこれから出てくるフレーム又はこれから出てくるフレームに関する情報(メタデータ)）と比較して行うことができる。お互いに異なるレート及びフレアーレート及び減光レート（動的又は静的）を決定する場合、バックライトの全光のエネルギーは連続して増加又は減少し、潜在的にアーチファクトを生ずる。したがって、潜在的な利益はこのレートを「バランスさせる」ことによって得られることもある。

図３Aは本発明の実施の態様によるプロセスを実施するように配置された電子及び/又はコンピュータ構成部品のブロック図解である。ビデオ入力、例えば、ケーブル/アンテナ３０２、HDMI（登録商標）３０４、及び入力部品３０６は、本図に記載されていない他の電子部品と共に外部装置へのハードウェアによる連結を提供し、そして最終的にビデオ信号３１０を制御盤３２０に提供する。制御盤３２０は電子部品及び/又はコンピュータ（マイクロ）の処理能力の任意の組み合わせを含んでも良い。制御盤３２０は事前処理及び事後処理のための別々の処理グループに分かれていても良く、単一盤（又は各盤の間で適当な通信をする複数の盤）であっても良い。

図３Aで、プログラム可能な装置（例えば、FPGA３３０及び関連メモリー３４０）はビデオ信号３１０の少なくとも一部を処理して上に述べた強度、フレアー及び減光値を決定する。FPGAプログラムをアップロードし、焼いて又はメモリー３４０に記憶させるのはFPGAで実施又は実行され、最終的に後方変調信号となる（図３Aの「後方変調器へ」を参照）。同じプログラムセットの他の部分は前方変調器信号の調整をする様に構成しても良い（図３Aの「前方変調器へ」を参照）。記載した全ての調整はプログラムすることにより実施され、又はその仕事は、FPGA（又は他のプログラム可能な装置）と記載のステップ又は記載のステップ又はその任意の一部又は同等のステップを実行するように特に配置された一組の電子部品の間で分担しても良い。

図３Bは本発明のある実施の態様によるプロセスを実施するように配置された電子及び/又はコンピュータ部品のブロック図解である。図３Bは前方変調信号の調整を集中的に実行するための速度を出すために、より速い処理及び/又はより多くのワイヤで連結した電子装置を含む事前処理盤３５０を含む構成を示す。前記構成は、典型的なHDTV LDCスクリーンを持つ構成と同様に、数百から数千の代表的な低解像度の変調されたバックライトと比べて数百万の調整のための要素を持つ。前方変調器信号の補償及び手配に加えて（図３Ｂの「前方変調器へ」を参照）、信号３６０は「前方処理盤」３５０から「後方処理盤」３７０に送られる。

その後「後方処理盤」３７０は処理装置３８０に読込まれた（例えば、メモリー３９０、又はネットワーク（例えば、インターネット）接続からアップロードされた）プログラムを利用するが、プログラムはファームウエアアップグレードとしてメモリー３９０に取り入れても良く（例えば、既存のディスプレイのためのファームウエアアップグレードとして又はディスプレイ製造ステップの一部として）、ビデオ信号のフレーム間のフレアー及び減光条件を計算し、そして本発明の減衰された後方変調器信号を作り出す。

信号３６０は「後方処理盤」３７０から「前方処理盤」３５０への「フィードバック」（示さず）を伝送するように構成されても良く、そして最終的な後方変調の計算に基づき、もしその様な場合があれば、前方変調の調整を実施しても良い。

代替的に、例えば、それらは「後方処理盤」へ通過するから、その様な調整はビデオ信号の部分から計算しても良い。
さらに上で検討した様に、本発明は、例えば、現在のフレーム及びその前のフレームの統合（例えば、平均化又は加重平均化）に基づくことのできる、多くの代替的方法で実施することも出来る。全ての実施は必ずしも場面変化の検出を含む必要はない。これらの実施は、これに限定されるものではないが、バックライト上の低強度差揺らぎ（「時間ノイズ」）の様なアーチファクトを軽減するために使用しても良い。

上に記述したアプローチは単独で又は一以上の代替的アプローチ（例えば、2以上のフレームに亘る統合（及び加重）と組み合わせた閾値/レートに基づき減衰する）と組み合わせて実施しても良い。これらのアプローチは他の減衰する方法（例えば、帯域制限（band limiting）、エネルギー拡大、空間フィルターリング、又は帯域制限の様な空間的減衰）と組み合わせても良い。

以下に空間減衰アプローチと組み合わせた発明の実施例を示す。「３−D」フィルターの考え方はLewis Johnson及びRobin Atkinsにより開発され、これは空間フィルターリング及び時間フィルターリング（この場合加重平均する）を単段式フィルターに統合する。

現在のDolby Contrast（登録商標）アルゴリズムはバックライト要素（例えば、単一又はLEDの集まり）の駆動値の２段階平滑化を提案する。第一段階は空間傾斜又は一つの集まりから次の集まりまでの明るさの差を制限する。これはビデオフレーム毎にバックライト駆動信号に亘り、空間平滑化フィルター（ガウスフィルター又は同様のフィルター）を使用することにより達成される。第二段階は、一つのフレームから次のフレームへのバックライト要素のフレアー（上昇）及び減光（低下）レートを制限することにより時間傾斜を制限する。

この考え方は2段階アプローチを単一段階フィルターにより置換することであり、そしてこのフィルターは空間及び時間情報に対して同時に作用する。これは、３−D又は３−線形フィルター（tri-linear filter）と呼ばれ、又は他の名称で呼ばれることもある。基本的考え方は、前のバックライトフレーム及び順次その上に積み上げられた現在のフレームを図４に示す様な3次元構造として考えるものである。

図４において、バックライト照射要素４１０は前のフレームの要素１６のバックライト照射強度を示す。バックライト照射要素４２０は現在のフレームの算出された所望のバックライト駆動レベルを表す（そして、アーチファクト問題がなければ、表されたバックライトを用いて現在のフレームの最適なバックライト照射強度を表す）（これは、また所望のバックライト変調信号の結果と考えてもよい。

バックライト照射要素４３０は、前のフレームを考慮することにより、本発明による減衰された所望のバックライト変調を表す。
同じ場面の全ての前のフレームのヒステリシスを含むので単一の前のフレームを、考えることが出来る。代替的なアプローチとしては、前のフレームからの所望のバックライト要素駆動値を用いることである。しかし、この方法を用いると多くのフレーム（凡そ３０）が考慮されねばならず、大きく増大する計算及び記憶のための経費を考慮せねばならない。現在のフレームは、入力画像から得られる最も簡単なダウンサンプル法から得られるLED駆動値である（すなわち、最大値）。結果のLED駆動値は、前の駆動レベルと現在の駆動レベルに同時にフィルターを稼動することにより達成される。以下の実施例では、フィルターは３ｘ３ｘ２のサイズを持っても良く、このサイズは提案された空間フィルターに類似するが３次元である。これは空間及び時間領域の両方で同時に傾斜を平滑化する。

このアプローチの結果は、急速に移動する物体はその最大の明るさを瞬時には達成しないことを示す。ある時間静止している物は所望のレベルまで急速に明るくなる。この速度は人の視覚システムが感知できなくなる容量及び限界にマッチするように調整しても良い。

フィルターを使用するものに代わる物として、上昇及び下降速度の2次元マトリクスを使用することができる。これはこの様に応用された場合、空間及び時間の傾斜を、現在提案されている時間制限フィルターと同様な方法により制限する。

現在の後方変調信号を修飾するためのR_flare 及びR_dimを用いる代替案は、例えば、加算操作（図２のフローチャートで実施されているように、フレアーレートを所望の後方変調信号の適当な部分に加える）又は乗数操作（Dolby Contrast（登録商標）の実施における様に）に基づく。

本発明を他の技術と組み合わせて実施する方法の例として、以下のDolby Contrast（登録商標）の実施の任意の部分が含まれる。
例えば、Dolby Contrast（登録商標）は以下を提供する：
時間アーチファクト（例えば、「ウォーキング」LED効果）を最小にするために、単一フレームと共に全般の時間に亘り、特徴的位置、方位及び強度における小さい変化に関して安定的である帯域制限的方法でバックライト駆動レベルを計算するように注意を払う必要がある。バックライトとLEDの間の解像度の差の感知される効果を最小にするために、バックライト要素の駆動値は、入力画像の特徴が動くにつれて、時間的又は空間的に大きく変化すべきでない。Dolby Contrastのバックライト要素値の計算のための必要条件は3種類ある：
・バックライトからの光エネルギーを節約する
・その特徴と調和する様にバックライトの質量中心を維持する
・計算及びメモリー資源の消費を最小にする。

Dolby Contrast（登録商標）はバックライトエイリアシングの効果を最小にするために3段階プロセスを用いてバックライト要素の駆動値を計算する。最良の画像品質を得るために、またバックライトの同時に高度のコントラストのバランスを達成し、たとえ小さくても、画像中の明るい特徴部分の輝度を維持することが望ましい。図５は、チェッカーボードパターンのバックライト駆動レベルの計算の結果を示す。

以下の定義は以下の１−６の式に適用される：
Lワーク（Lwork）
「作業画像」（working image）である。これはLED解像度と元の入力画像の間の中間の解像度にあるL画像のバージョンである。
L画像(Limage)
「輝度画像」(Luminance image)である。これは元の入力画像のグレイースケール（モノクロ）バージョンである。
Lout
式６−５の場合、Loutは平滑化フィルターの出力画像である。
式６−２の場合、Loutは輝度変換の出力画像である。
Lin
式６−５の場合、Linは平滑化フィルターの入力画像である。
m, n
画像配列の要素の指標
Lt
現在のフレームの計算された集まりの駆動レベル
Lt-1
前のフレームの計算された集まりの駆動レベル
Ln, t
現在のフレームの特定の集まり（n）の駆動レベル
計算の必要性を減らすために、入力画像は空間解像度において、以下の式１に示す簡単でかつ速い「最大」方法を使用して、より低い作業解像度画像L_workに低減させることができる。元の画像から取った領域は入力画像解像度と作業解像度の間の比率により決定される。それらの領域は、バックライトにより生成される全体の光が、ある特徴が移動する間に一定であることを確実にするためように、重ならないようにしなければならない。もしダウンサンプルの手順がエネルギーを節約するものでない場合は、バックライトがその背後に異なる量の光のエネルギーを生成するため、特徴は脈打ちそして暗くなるように見える。Dolby Contrastはバックライトの集りの解像度の2倍の最小作業解像度を使用する。

等式１：Lワーク= 最大(L画像 [領域]) （Lwork＝Limage[region]);
空間アライアシングはまずローパス空間フイルターを作業画像に適用することで対応する。これはハローを対象物に対称的に拡げるためにバックライト傾斜を平滑化する効果を持つ。フィルターのサイズはある特定の実施のためのバックライトのコントラストとバックライトアライアシングの間のバランスを最適化する様に調整しても良い。あるフィルターの例を、２Dガウス分布を用いて、式2に示す。
式２：

バックライト作業画像がバックライトの集まりの解像度にさらにダウンサンプルされる。式３に示す様に、これは平準化をバックライト画像にさらに適用するために平均的ダウンサンプルを用いてなされる。作業画像は集まりの画像の解像度の2倍の解像度を持ち、このプロセスに使用される領域は３ｘ３領域である。

式３：L集まり＝平均値(L画像 [領域]) （Lclusters＝mean(Lwork[region])

Dolby Contrastは全般の時間に亘りバックライト傾斜を平準化するために、更にバックライト駆動レベルの上昇（フレアー）及び下降（減光）比率を限定することにより「ウォーキング」(walking)ＬＥＤ問題に対処する。これは時間フルターリングと呼ばれ、式４−６に表す。フレアー及び減光限界、R_上昇及びR_下降、は連続するビデオフレームの間の任意のバックライトの集まりの強度の最大変化を制御する。時間の制限は、連続する画像処理フレームの強度の差を調整可能な閾値Tと比較することにより突然の場面の変化については無視される。

これらのレートは設計基準又は好みにより調整しても良い。例えば、上の例に記載の比率を使用することは不均一なステップとなることがある（例えば、低い輝度要素は比率が同じでも、高い輝度要素よりもより緩やかに明るく（flare）なる。したがって、ある設計では、これを考慮に入れて、ある要素の輝度レベルの比率に調整することもある。

上で述べたように、減衰及び他の技術の種々の組み合わせを用いることができる。その様な組み合わせには、例えば、以下の時間的減衰実施の任意のものを含んでもよい：
・現在及び前のフレームの間の統合（後方の変調器信号、前方変調器又は両方の変調器に基づく）であり、その場合：
−減衰は常にオンの状態、又は場面の変化が検出されない場合にオンである：
−統合のために潜在的に２より多いフレームが用いられる：
−統合のために潜在的に各フレームで多少の加重（又は可変加重）がなされる
−減衰（フィルターリング）がバックライトの一部の領域又は全体的に適用しても良い
・より進んだ実施の例であり、以下を含む：
−減衰が常にオンの状態又は場面の変化がないことが検出された場合にオンである：
−減衰（フィルターリング）がバックライトの一部の領域又は全体的に適用しても良い；
−LEDフレアー（R_上昇）及び減光（R_下降）の比率又は閾値
・比率又は閾値はR_フレアー及び減光R_減光のそれと同じであっても良い。

・比率又は閾値はR_フレアー及び減光R_減光のそれと異なっても良い
・比率又は閾値は人の視覚システムの容量又は限界に合わせても良い
・比率又は閾値は輝度レベルにより動的に調整しても良い
・比率又は閾値は位置及び/又は特徴サイズの様な空間パラメータにより動的に調整しても良い
・比率又は閾値は他の要因により動的に調整しても良い
−前のフレームの後方変調信号は変化の領域（例えば、変化の領域のみ）で調整しても良い
−前のフィルターの後方変調信号は閾値より低い領域で調整しても良い（例えば、閾値より低い領域においてのみ）
−前のフレームの輝度マップは変化の領域又は重要な変化の領域において調整（再計算）しても良い（例えば、変化の領域又は重要な変化の領域のみにおいて）
・そして混合した実施では、減衰は、
−２以上のフレームにわたり統合したものと組み合わせた閾値/比率に基づく減衰、
−上の方法を他の減衰方法、例えば、空間減衰（帯域制限、エネルギーの広がり）を組み合わされた方法に基づく減衰、である。

更に、その様な実施の例は、本明細書に記載のDolby Contrast（登録商標）の実施の任意の特徴を含む、本明細書の他の実施の態様と共に含んでも良い。
本明細書に記載の種々の実施の態様は一般的に比率を決めるためのフレーム毎の分析に関するが、本発明はまた、全フレーム又はあるフレームの任意の部分（固定又は動的）が現在の減光レート及び/又はフレアーレートを決定するために使用しても良い場合の種々のモードに特に適用しても良い。実際、フレームの一部分のみを受容れ、全ての関連する出力情報を計算し、そしてそのフレームの次の部分に進むことが必要となることもある。メモリー又は帯域幅の制限がこのための通常の理由である。

比率を計算するための種々の実施の態様には以下を含む：
１．全フレームモード：ある全ビデオフレームがコントローラにより受領され、全ての計算が全ビデオフレームに適用され、そして新しいフレームがコントローラに入れられる前に最終の結果が、制御可能な要素に移される。
２．固定部分フレームモード：ある全ビデオフレームの固定部分（例えば、1/3又は1/4）がコントローラにより受領され、全ての計算がこの部分に適用され、次の固定部分がコントローラに読み込まれる前に、最終結果がコントローラ要素に移される。
３．可変の部分的フレームモード：ある全ビデオフレームの可変サイズ部分がコントローラにより受領され、全ての計算がこの部分に適用され、そして次の可変サイズの部分がコントローラに読み込まれる前に、最終結果が制御可能な要素に移される。その部分のサイズは動的に調整され、異なるビデオ緩衝レート、メモリーの必要性、又は他の信号又はハードウェアの制限を補償するために動的に調整することも出来る。
４．スキャンモード：ビデオフレームのデータは連続してコントローラにスキャンされるため、ビデオフレームのある部分は、時間の任意の時期で、コントローラに読み込まれる。入って来る新ピクセル値は、コントローラに既にある最も古い時期に読み込まれた最ピクセルを置換する。

計算は、ピクセル値がスキャンプロセスの間にコントローラからアンロードされる前に、より古いピクセル値の全ての関連情報が、アルゴリズムにより使用されることを確実にする速度で、フレームの一部分又は全ての読み込まれた（load）部分に対して適用される。

本発明は本明細書において主に、変調されたバックライトオ及び前方変調器（例えば、LCDスクリーン又はパネル）を含む二重変調システムに関して記述されており、その様な二重変調システムは本発明の主な実施の態様を含むものであるが、２より多い変調器を持つ変調システムでは、本発明の開示に基づき当業者が、本明細書記載された、同じ又は類似の減衰技術及び/又はプロセスを含む様に修飾することができる。

更に、変調されたバックライトはまた個別の光ソース（例えば、LED）,光ソースの集まり、光弁と組み合わされた光ソース、有機発光ダイオード（OLED）、又はCCFL、HCFLなどの様な他の光ソースを含む任意のタイプの変調されたバックライトであっても良い。

図面に示された本発明の好ましい実施の態様を説明する場合、説明を明快にするために特定の述語が用いられる。しかし、本発明はその様に選択された特定の述語の意味に限定されるものではない。各特定の要素は同様な方法で作動する全ての技術的な同等物を含むと解すべきである。例えば、LEDの集まりについて記述する場合、任意の他の同等な装置、例えば、ランプ、空間変調器、光弁又は本明細書に記載されているか否かを問わず、同等の機能又は容量を持つ他の装置で置換しても良い。更に、本発明の発明者は、現在知られていないが新たに開発された技術もまた本明細書に記載の部品を置換しても良く、しかしそれらは本発明の範囲から逸脱することはないと了解する。他に記載の全てのものは、これに限定されるものではないが、コントローラ、電子部品、プログラム（ソフトウエア、ファームウエア、又は同じ機能を実行する様に構成された電子装置の集り）、バックライト、パネル、LDC,又は他の光弁/変調器、信号、フィルター、プロセスなどを含みこれらもまた、任意の及び全ての利用可能な同等品の観点より考慮されるべきである。

コンピュータ技術分野の当業者にとって明らかであるように、本発明の部分は、従来の汎用又は特定用途のデジタルコンピュータ又は本明細書に開示された教示に従いプログラムされたマイクロプロセッサを用いて都合よく実施することができる。

ソフトウエア分野の当業者にとって明らかであるように、適切なソフトウエアの符号化は、本発明に開示された内容に基づき熟練したプログラマーにより容易に準備することができる。本発明の開示に基づき当業者にとり明らかとなるように、本発明はまた、応用特異の集積回路又は従来の素子回路の適切なネットワークに連結して実施しても良い。

本発明は、コンピュータに本発明の任意のプロセスを実施するように制御し、又は本発明の任意のプロセスを実施するために使用することのできる指示を、記憶させる記憶媒体であるコンピュータプログラム製品を含む。記憶媒体は、フロッピーディスク、ミニディスク（MD）、光ディスク、DVD、HD-DVD、ブルーレイ、CD-ROM、CD又はDVD RW+/−、マイクロドライブ、磁気光ディスク、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、フラシュメモリー装置 (フラシューカード、メモリースチックを含む),磁気又は光カード、SIM カード、MEMS, ナノシステム(分子メモリーICを含む)、RAID装置、リモートデータ記憶/アーカイブ/倉庫,又は指示及び/又はデータを記憶させるに好適な任意のタイプの媒体を含んでも良いがこれに限定されるものではない。

任意のコンピュータ読取可能な媒体に記憶される本発明には、汎用/特定用途のコンピュータ又はマイクロプロセッサの両方のハードウェアを制御し、コンピュータ又はマイクロコンピュータが使用者と又は、本発明の結果を使用する他の機構と相互に情報交換をすることを可能にするためのソフトウエアを含む。その様なソフトウエアには、装置ドライバー、オペレーティングシステム、及び使用者応用ソフトを含むがこれに限定されるものではない。最後にその様なコンピュータ読取可能媒体は上に記載の様に、更に本発明を実施するためのソフトウエアを含む。

汎用/特定用途のコンピュータ又はマイクロプロセッサのプログラム化（ソフトウエア）には、本発明の開示内容を実施するためのソフトウエアモジュールであって、ダウンサンプル、平均化、信号を比較、バックライト値等、ＬＥＤの励起，バックライト、及び/又はバックライトの集まりの励起、減衰信号、ルックアップ又は値の等式による導出、加算、信号及び/又は信号に含まれる強度値を乗算する、及び本発明のプロセスに従い結果を表示し、記憶させ又は通信することを含むがこれに限定されるものではない。

本発明は好適に、本発明の任意の要素、部分、又は特徴及び本明細書に記載のそれらの同等物を含み、又はそれらよりなり、又は実質的にそれらよりなりうる。更に、本明細書に図等により開示された本発明は、特に本明細書に開示されている、いないに関わらず任意の要素がない場合にも実施しても良い。上に記載の教示に照らして明らかに本発明は、多くの修飾及び改変が可能である。したがって、添付の特許請求の範囲において、本発明は、特に本明細書に記載以外の方法によって実施しうることは理解されるべきである。

Claims (5)

1. 光素子のアレイにおける個々に制御可能な複数の光素子の各々に制御信号を提供するように構成されたコントローラであって、前記制御信号の各々はビデオ信号由来の光の量に対応し、もし、前記制御信号がビデオにおける場面変化の基準を超えず、かつフレアー率閾値又は減光率閾値のいずれか一つを越える場合のみ、空間減衰および光の量の時間減衰からなる２段階平滑化を実行するように前記制御信号が強度において修飾され、
   前記制御信号による制御は、各制御可能な光素子の強度の増加を前記フレアー率閾値未満に制限すること、及び各制御可能な光素子の強度の減少を前記減光率閾値未満に制限することのうちの少なくとも一つを含み、
   前記フレアー率閾値及び前記減光率閾値は、個々に調節された値を有し、
   個々の光素子で受領された制御信号は、個々の光素子の位置に対応するビデオの領域中のビデオ信号からの光強度を含み、
   前記制御信号の各々の光強度は、ビデオ信号に、前記光素子の集まりの解像度の２倍の解像度を有するように、該ビデオ信号における画像の領域内の最大値を取得することを含む第１のダウンサンプリングを行うこと、前記第１のダウンサンプリングが行われたビデオ信号に空間フィルターリングを適用すること、および前記空間フィルターリングが適用されたビデオ信号に、前記光素子の集まりの解像度を有するように、平均値を取得するダウンサンプリングを含む第２のダウンサンプリングを行うことによる前記空間減衰、更に時間フィルターリングを行うことによる前記時間減衰によって決定される、前記コントローラ。
2. 請求項１に記載のコントローラであって、現在のフレームおよび複数の前のフレームに亘る前記制御信号の平均を用いて前記制御信号の各々をフレーム毎に修飾する、前記コントローラ。
3. 請求項２に記載のコントローラであって、前記強度の制限はビデオ画像の領域ごとのベースで実施され、前記ビデオ画像のある一つの領域で強度が制限され、他の領域では制限されない、前記コントローラ。
4. 請求項３に記載のコントローラであって、前記領域は前記ビデオ画像の事前に決定された部分及び前記ビデオ画像の動的部分の一つにより決定される、前記コントローラ。
5. 請求項１に記載のコントローラであって、少なくとも一つの閾値が動的に決定される、前記コントローラ。

Images