JP5586831B2 - パルス幅変調（ｐｗｍ）ディスプレイにおけるダークノイズ削減のためのシステムおよび方法 - Google Patents

Description

〈関連出願〉
本出願は、2005年11月に出願された、「PWMディスプレイのためのダークノイズ削減」についての米国仮特許出願第60/626,764号の優先権の恩恵を主張するものであり、該文献はここにその全体において組み込まれる。
〈本発明の分野〉
本発明は、デジタルビデオ画像データを処理するためのシステムおよび方法に、より詳細には空間光変調（SLM: spatial light modulated）ディスプレイにおけるビデオデータを処理するための、表示されるビデオ画像の低輝度部分における知覚可能なダークノイズが削減されるシステムおよび方法に関する。

プラズマディスプレイおよびDLPディスプレイはパルス幅変調（PWM）ディスプレイ型の例である。PWMディスプレイはデジタル的なオンおよびオフのピクセル状態しかもたない。したがって、PWMディスプレイは、各サブフィールド期間に放出される光を積分することによって像を与える。スイッチング周波数が十分高ければ、目はピクセルの時間平均された輝度に反応する。離散的なセットの強度レベルしか生成されることができない。結果として、強度スケールはもはやなめらかではなく、一連の段階として増加する。強度段階は赤、緑、青の三原色チャネルのそれぞれにあてはまる。段階は、結果として得られるあらゆる混色について色相および彩度に量子化誤差を導入する。デジタルレベルの数が多いほど誤差は小さくなる。段階が非常に細かければ、目は飛びやなめらかでないことに気づかない。段階があまり細かくなければ、デジタル的な段階の粒状性は、表示される画像に誤った視覚的強度および輪郭を導入する。こうした効果は、画像内での強度や色の細かなグラデーションにおいて最も目に付くようになる。さらに、低輝度レベル、すなわち低強度では、「オン」のピクセル状態時間はきわめて短く、視覚的には画像ノイズのように知覚されうる。そのようなノイズのことをここではダークノイズと称する。

本発明によれば、パルス幅変調（PWM）ディスプレイにおけるダークノイズ削減のためのシステムおよび方法が提供される。システムは、第一サブフレームに対応する画像の暗い部分についての明補正されたピクセル値を決定する手段と、画像フレームの第二サブフレームに対応する画像の暗い画像部分についての暗補正されたピクセル値を決定する手段とを含む。

本発明についての完全な理解は、付属の図面を参照し、以下の詳細な記述とともに考慮するときに得られうる。

投影画像の解像度を向上させるために、いくつかのPWMディスプレイではいわゆる「ピクセルシフト」技術が用いられている。この技術によれば、画像フレームのピクセルは時間的に少なくとも二つのサブフレームに分割される。この概念は、図４、図５、図６で図的に示されている。図４に示す第一サブフレーム４００は、表示すべきビデオ画像のフレーム６００のピクセル４０１（代表ピクセルを一つ示している）を有している。図５に示す第二サブフレーム５００は、表示すべきビデオ画像の前記フレーム６００のピクセル５０１（代表ピクセルを一つ示している）を有している。図６は、サブフレーム４００のピクセル４０１とサブフレーム５００のピクセル５０１とを有するフレーム６００を示している。フレーム６００は、フレーム６００によって表示されるべきビデオ画像全体を示している。本発明のいくつかの実施形態は、表示すべき各色の画像フレームについて少なくとも二つのサブフレームを含む。しかしながら、本発明の代替的な実施形態は、表示すべき各色の画像フレームについて４つのサブフレーム画像を含む。表示すべきフレームを表現するために４つよりも多いサブフレーム画像を有する本発明のその他の実施形態が構想される。サブ画像は、当該画像フレームの他のサブ画像に対して空間的および時間的にずらして表示面に投影される。

本明細書および付属の特許請求の範囲で使われているところでは、「ディスプレイシステム」の用語は、特に個別に断りのない限り、プロジェクター、投影システム、画像ディスプレイシステム、テレビジョン・システム、ビデオ・モニタ、コンピュータ・モニタ・システムまたは画像フレームのシーケンスを生成するよう構成された他の任意のシステムを指す。該画像フレームのシーケンスが作り出す画像は、静止画像、一連の画像または動画ビデオでありうる。本明細書および付属の特許請求の範囲で使われているところでは、句「画像フレームのシーケンス」「逐次の画像フレーム」および用語「画像」は、特に個別に断りのない限り、静止画像、一連の画像、動画ビデオまたはディスプレイシステムによって表示される他のいかなるものをも指しうる。

図１は、パルス幅変調（PWM）ディスプレイでの使用のためのダークノイズ削減システム１００を示している。ダークノイズ削減システム１００は、入力において、ガンマ補正されたビデオ３の逐次のフレームを受け取る。ガンマ補正されたビデオ３はガンマ補正除去器５に結合される。ガンマ補正除去器５は、入力ビデオデータ３からいっさいのガンマ補正を除去し、出力においてガンマ補正のないビデオデータ７を与える。ガンマ補正除去器５のビデオデータ７のための一つの出力は、ダークピクセル分離器９に結合される。ガンマ補正除去器５のビデオデータ７のためのもう一つの出力は、デルタ値発生器１０２に結合される。デルタ値発生器１０２は、ビデオデータ７の逐次のフレームに対応するデルタ値のフレームを発生させ、保存する。

デルタ値発生器１０２は、画像データ７のフレームを受け取り、デルタ値の対応するフレームを計算する。デルタ値発生器は、フレーム中の各逐次の水平方向ピクセル対（PnとPn+1）を検査することによって動作する。デルタ値発生器１０２は、各フレームについてのデルタ値を、該フレーム中の水平方向の隣接するピクセル間の差を取ることによって形成する。たとえば、水平方向の隣接するピクセル１およびピクセル２の対については、delta_1,2は(p1，p2，1−p1，1−p2)の最小値であると選択される。ここで、p1はピクセル１のピクセル値、p2はピクセル２のピクセル値である。デルタ値はこのようにして、フレーム中の各水平方向ピクセル対について計算される。本発明のある実施形態では、デルタ値発生器１０２のメモリ（図示せず）は、画像データ７の１フレームについて、デルタ値からなる少なくとも一つのフレームを保存する。デルタ値は、ダークノイズ削減プロセッサ１９の第一サブフレームプロセッサ１７および第二サブフレームプロセッサ１９０によって、画像データ７のフレームの暗い画像部分のピクセル１３におけるノイズ削減のための修正されたピクセル値を計算するために使われる。

ガンマ補正除去器５は、画像データ７の逐次のフレーム（ガンマ補正なし）をピクセル分離器９に提供する。ピクセル分離器９に提供される画像データのフレームは、明るい画像部分のピクセル１１と暗い画像部分のピクセル１３を含みうる。ピクセル分離器９は明るい画像部分のピクセル１１を暗い画像部分のピクセル１３から分離する。

ピクセル分離器９はこれを、画像データ７の逐次のフレームを評価することによって行う。フレーム内で（256までのうち）1以上の値をもつピクセルが明るい画像部分のピクセル１１を表すものとして選択される。明るい画像部分のピクセル１１は、ピクセル分離器９によってピクセル位置付け器２１に与えられる。フレーム内で1未満の値をもつピクセルは暗い画像部分のピクセル１３を表すものとして選択される。暗い画像部分のピクセル１３は、ピクセル分離器９によってノイズ削減プロセッサ１９に与えられる。明るい画像部分のピクセル１１は、暗いピクセル分離器９によってピクセル位置付け器２１に与えられる。

図３は、本発明のある実施形態に基づく、ノイズ削減プロセッサ１９を示している。暗い画像部分のピクセル１３が、ダークノイズ削減プロセッサ１９の入力に与えられる。ダークノイズ削減プロセッサ１９は第一サブフレームプロセッサ１７を含む。第一サブフレームプロセッサ１７は、フレームの第一サブ画像に対応する暗い画像部分のピクセル１３を受け取る。第一サブフレームプロセッサ１７は、暗い画像部分のピクセル１３を処理して、明補正された（bright corrected）ピクセル値Pb_nを有するサブフレームを与える。

ダークノイズ削減プロセッサ１９はさらに、第二サブフレームプロセッサ１９０を含む。第二サブフレームプロセッサ１９０は、当該フレームの第二サブフレームに含められるべき暗い画像部分のピクセル１３を受け取る。第二サブフレームプロセッサ１９０は、第二サブフレームに対応する暗い画像ピクセル１３を処理して、暗補正された（dark corrected）ピクセル値Pd_nを、第二サブフレームに含めるために与える。

第一サブフレームプロセッサ１７は、関係式Pb_n＝Pn＋5×（delta_n,n−1＋delta_n,n＋1）に従って明補正されたピクセル値Pb_nを決定する。ここで、Pb_nは第一サブフレームにおけるピクセル値Pnのピクセルnについての補正された値であり、delta_n,n−1は第一サブフレームにおけるピクセルnの値（たとえば図４参照）と第二サブフレームにおけるピクセルn−1（たとえば図５参照）との間の差に対応するデルタ値である。ピクセルn−1は、両方のサブフレームを有するピクセルのフレーム（たとえば図４参照）において、ピクセルnに対して水平方向である向きに隣接しているピクセルであり、ピクセルn＋1は、第二サブフレームにおいて、ピクセルnに対して水平方向で反対向きに隣接しているピクセルである。

第二サブフレームプロセッサ１９０は、関係式Pd_n＝Pn−.5×（delta_n,n−1＋delta_n,n＋1）に従って暗補正されたピクセル値Pd_nを決定する。ここで、Pd_nは第二サブフレームにおける値Pnのピクセルnについての補正された値であり、delta_n,n−1は第二サブフレームにおけるピクセルnの値と第一サブフレームにおけるピクセルn−1との間のデルタである。ピクセルn−1は、ピクセルnに対して水平方向である向きに隣接しているピクセルであり、ピクセルn＋1は、ピクセルに対して水平方向で反対向きに隣接しているピクセルである。

本発明のある実施例によれば、すべてのピクセルが等しい場合、すべてのピクセル対のデルタは等しい。等しいピクセルがたとえば.5線形に満たなければ、暗サブ画像ピクセルは０となり、明サブ画像ピクセルは倍にされる。他方、等しいピクセルがたとえば.5線形を超えていれば、明サブ画像ピクセルは1に等しく、暗サブ画像ピクセルは1未満となり、両者の平均がもとのピクセル値に等しくなる。フラットな画像領域が存在すれば、サブ画像の一方はノイズがない。他方のサブ画像のノイズは、少なくとも、もとのサブ画像のノイズを倍にしたものよりは小さい。結果は、表示される画像における削減されたノイズである。

第一サブフレームプロセッサ１７は、第一サブフレームのピクセル２９をなす明補正されたピクセル値をピクセル位置付け器２１に与え、第二サブフレームプロセッサ１９０は、暗補正された第二サブフレームのピクセル値３１をピクセル位置付け器２１に与える。明補正処理および暗補正処理のための第一および第二サブフレームの選択が任意であることは当業者には明らかであろう。さまざまな実施形態によれば、第一サブフレームまたは第二サブフレームのいずれのピクセルを処理してでも、明補正または暗補正のいずれで補正されたサブフレームを与えることもできる。

ピクセル位置付け器２１は明るい画像部分のピクセル１１、明補正された第一サブフレームのピクセル２９および暗補正された第二サブフレームのピクセル３１を、ビデオフレームの逐次のそれぞれ第一サブフレームおよび第二サブフレーム内におけるそれぞれの対応するピクセル位置に復元する。明補正された第一サブフレームのピクセル２９および暗補正された第二サブフレームのピクセル３１を有するビデオフレームは、画像データ７のビデオフレームに対応する、ダークノイズ補正されたビデオフレームをなす。

ピクセル位置付け器２１はダークノイズ補正されたピクセルデータ２３の逐次のフレームをガンマ補正なしでガンマ補正器２７に与える。ガンマ補正器２７はガンマ補正除去器５によって除去されたガンマ補正を復元する。ガンマ補正器２７は、ダークノイズ補正され、ガンマ補正された出力ビデオ信号１４を与える。

本発明のある代替的な実施形態によれば、二つのサブ画像の代わりに入力ビデオの二つの逐次フレームが上記の原理に基づいて処理される。この実施形態は、入力された逐次フレームの対から二つの異なる型のフレームを生成する。一方の型のフレームはもとのフレームより暗く、他方の型のフレームはもとより明るい。本発明がフレームの逐次のサブ画像に適用されるか逐次のフレームに適用されるかにかかわらず、初期処理は逐次のサブ画像について用いられる処理と同じである。しかしながら、二つの逐次のフレームについては、明るいほうの型のフレームはPbr＝minimum(2×Pnr,1)のように計算される。ここで、Pbrは該明るいほうのフレームのノイズ削減されたピクセルであり、Pnrはフレーム内ノイズ削減後のもとのフレームからのピクセルである。

暗いほうの型のフレームはPdr＝2×Pnr−Pbrのように計算される。ここで、Pdrは該暗いほうのフレームのノイズ削減されたピクセルであり、Pnr、Pbrは上と同じである。本発明のいくつかの実施形態によれば、上記の計算は線形1未満のピクセル値の部分、すなわちピクセル分離器９によって決定される暗いピクセルに対してのみ実行される。

図２は、図１に示した型のダークノイズ削減システムを用いるのに好適な型のパルス幅変調（PWM）ディスプレイシステム１９２の例を示している。該システムがカラー画像フレームを生成するのは、複数の光の色を順に生成し、該光の色を空間的に変調し、該空間的に変調された光の色を投影して画像フレームを形成することによる。光の色は典型的には白色光源をカラーフィルター環、プリズムまたは他の何らかの色フィルターに通すことによって導かれる。

図２に示される実施形態では、ディスプレイシステム２は画像処理ユニット４、光発生器６、空間光変調器８、よろめき装置（wobbling device）１０およびディスプレイ光学系１２を含む。ディスプレイシステム２は画像データ１４を受け取る。画像データ１４は表示されるべき画像１６を定義しており、ディスプレイシステム２は、画像データ１４を使って、表示される画像１６を生成する。画像データ１４の例は、たとえば図１に示したダークノイズ削減システムによって与えられるような、デジタル画像データ、アナログ画像データならびにアナログおよびデジタルデータの組み合わせを含む。

ディスプレイシステム２によって処理されるのは１枚の画像１６として例示され、説明されているが、ディスプレイシステム２によって複数もしくは一連の画像１６または動画ビデオ表示１６が処理されてもよいことは当業者には理解されるであろう。

光発生器６は、特徴的な逐次の色時間期間をもって周期的に変動する色シーケンスをもった複数の光の色を生成するよう構成された任意の装置またはシステムである。周期的色発生器６は、複数の光の色をSLM８にまで渡すようディスプレイ装置２内に配置されている。よろめき装置１０はSLM８からのピクセルをシフトさせて、表示面（図示せず）上で時間的および空間的にずらされた第一および第二のサブフレームからなる表示画像を与える。

図４は、本発明のピクセルシフト実施形態に基づく、ビデオ画像のフレーム６００（図６）の第一サブフレーム４００を有する例示的なピクセル４０１を示している絵的な図である。

図５は、本発明のピクセルシフト実施形態に基づく、ビデオ画像のフレーム６００（図６）の第二サブフレーム５００を有する例示的なピクセル５０１を示している絵的な図である。

図６は、本発明のピクセルシフト実施形態に基づく、図４および図５に示した例示的な第一および第二サブフレーム４００および５００を有するビデオ画像のフレーム６００を示す絵的な図である。

図７は、本発明のある実施形態に基づくノイズ補正回路を示している。ここで、同様の符号は、対応する符号をもつ図１の対応する機能ブロックを示す。

図８は、本発明のある実施形態に基づくダークノイズを補正する方法を示すフローチャートである。本発明の方法によれば、第一ステップ８１１は、ビデオデータの逐次のフレームについて、各フレームにおける暗い画像部分のピクセルから明るい画像部分のピクセルを分離することを含む。第二ステップ８２１は、当該フレームの第一サブフレームに対応する暗い画像部分のピクセルについて、明補正されたピクセル値を決定することを含む。さらなるステップ８２３は、当該フレームの第二サブフレームに対応する暗い画像部分のピクセルについて、暗補正されたピクセル値を決定することを含む。さらなるステップ８５１は、明補正されたピクセル値、暗補正されたピクセル値および明るい画像部分のピクセル値を再び組み合わせて、当該フレームについての第一および第二サブ画像を生成する。さらなるステップ８６０は、第一および第二サブ画像を有するフレームを表示面に投影することを含む。

本発明のいくつかの実施形態によれば、ビデオの逐次のガンマ補正されたフレームからガンマ補正を除去するステップがステップ８１１より前に実行される。本発明のある実施形態によれば、ステップ８２１および８２３は、少なくとも部分的に、ダークノイズ補正すべきビデオのフレームに対応するデルタ値のフレームを生成するステップによって実行される。本発明のある実施形態によれば、デルタ値を生成するこのステップは、はいってくるビデオのフレームにおけるそれぞれの逐次の水平方向のピクセル対（PnとPn+1）を調べることによって、delta_1,2＝minimum(p1，p2，1−p1，1−p2)のように実行される。本発明のある実施形態は、画像データ７の少なくとも一つのフレームについてデルタ値のフレームをメモリに保存するステップを含む。

本発明のある実施形態によれば、画像データ７のピクセルをフレームの明るい画像部分のピクセルからなる明るい画像部分と該フレームの暗い画像部分からのピクセルからなる暗い画像部分に分離する次のステップ８１１は、少なくとも部分的に、画像データ７の逐次のフレームに作用して前記フレーム内で（256までのうち）1以上の値をもつピクセルが明るい画像部分のピクセル１１をなす明るいピクセルとして選択されるようにし、画像データ７の逐次のフレームに作用して前記フレーム内で1未満の値をもつピクセルが暗い画像部分のピクセル１３をなす暗いピクセルとして選択されるようにするステップによって実行される。

ステップ８５１は、ノイズ削減のための補正をされたサブフレーム１のピクセルをノイズ削減のために補正されたサブフレーム２のピクセルおよび明るいピクセルと組み合わせることによって実行される。この組み合わせステップは、表示される画像におけるダークノイズが削減された、ピクセルからなる逐次のフレームを与える。ダークノイズ削減フレームは次いでステップ８６０で図２に示されるようなディスプレイ装置上に表示される。

画像データ７の逐次のフレームの対応する逐次の第一および第二のサブフレームについて、明補正されたピクセル値Pb_nはステップ８２１において、関係式Pb_n＝Pn＋5×（delta_n,n−1＋delta_n,n＋1）に従って決定される。ここで、Pb_nは第一サブフレームにおけるピクセル値Pnのピクセルnについての補正された値であり、delta_n,n−1は第一サブフレームにおけるピクセルnの値（たとえば図４参照）と第二サブフレームにおけるピクセルn−1（たとえば図５参照）との間の差に対応するデルタ値である。ピクセルn−1は、両方のサブフレームを有するピクセルのフレーム（たとえば図４参照）において、ピクセルnに対して水平方向である向きに隣接しているピクセルであり、ピクセルn＋1は、第二サブフレームにおいて、ピクセルnに対して水平方向で反対向きに隣接しているピクセルである。

本発明のある実施形態に基づいて暗補正されたピクセル値Pd_nを決定するステップ８２３は、Pd_n＝Pn−.5×（delta_n,n−1＋delta_n,n＋1）を決定することによって実行される。ここで、Pd_nは第二サブフレームにおける値Pnのピクセルnについての補正された値であり、delta_n,n−1は第二サブフレームにおけるピクセルnの値と第一サブフレームにおけるピクセルn−1との間のデルタである。ピクセルn−1は、ピクセルnに対して水平方向である向きに隣接しているピクセルであり、ピクセルn＋1は、ピクセルに対して水平方向で反対向きに隣接しているピクセルである。

本発明がハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサまたはそれらの組み合わせというさまざまな形において実装されうることは理解しておくべきである。好ましくは、本発明はハードウェアおよびソフトウェアの組み合わせとして実装される。

さまざまな実施形態において、プロセッサはコンピュータプラットフォーム上で実装される。該コンピュータプラットフォームは、一つまたは複数の中央処理ユニット（CPU）、ランダムアクセスメモリ（RAM）および入出力（I/O）インターフェースのようなハードウェアをもつ。該コンピュータプラットフォームはまた、本発明のさまざまな実施形態に基づく方法のステップを実行するためのオペレーティングシステムおよびマイクロ命令コードをも含む。

あるいはまた、本発明の諸部分は、特定用途向け集積回路（ASIC）または現場プログラム可能ゲートアレイ（FPGA）のようなプログラム可能論理デバイス（PLD）内のハードウェア回路において実装されてもよい。

さらに、付属の図面において描かれている構成システムコンポーネントおよび方法ステップのいくつかが好ましくはソフトウェアで実装されるので、システムコンポーネント（または処理ステップ）の間の実際の接続は、本発明がプログラムされる仕方によって変わりうることも理解しておくべきである。ここでの教示が与えられれば、当業者は本発明のこれらの、および同様の実装または構成を考えることができるであろう。

特定の動作要件および環境に適合するよう変形されたその他の修正および変化は当業者には明らかであろうから、本発明は開示の目的のために選ばれた例に限定されるとは考えられない。本発明は本発明の真の精神および範囲からの逸脱とならないあらゆる変化および修正をカバーする。

以上において本発明を説明した。特許状によって保護されることが望まれることは、付属の請求項において呈示される。

本発明のある実施形態に基づく、ダークノイズ除去回路のブロック図表示である。 本発明のさまざまな実施形態に基づく、図１に示した型のダークノイズ削減回路とともに使用するために好適な、例示的なパルス幅変調（PWM）ディスプレイシステムのブロック図表示である。 本発明のある実施形態に基づく、ダークノイズ処理器のブロック図表示である。 本発明のピクセルシフト実施形態に基づく、ビデオ画像のフレームの第一サブフレームをなすピクセルの図的な表示である。 本発明のピクセルシフト実施形態に基づく、ビデオ画像のフレームの第二サブフレームをなすピクセルの図的な表示である。 本発明のピクセルシフト実施形態に基づく、図４および図５に示した第一および第二サブフレームを有するビデオ画像のフレームの図的な表示である。 PWMディスプレイシステムの光エンジンの外部のサブシステムを用いる、本発明の代替的な実施形態のブロック図表現である。 PWMディスプレイシステムの光エンジンの外部のサブシステムを用いる、本発明の代替的な実施形態のブロック図表現である。 本発明のある実施形態に基づくダークノイズを補正するための方法のステップを示すフローチャートである。

Claims (3)

1. パルス幅変調ディスプレイにおけるビデオ・データのフレーム中のピクセルのダークノイズ削減のための方法であって、前記フレームは少なくとも第一のサブフレームおよび第二のサブフレームを含み、当該方法は：
   輝度レベル閾値を基準として使って、ビデオ・データのフレーム中のピクセルを、明るい画像ピクセルまたは暗い画像ピクセルと定義する段階と；
   前記明るい画像ピクセルを前記暗い画像ピクセルから分離する段階と；
   前記暗い画像ピクセルのうちの前記第一のサブフレーム中のピクセルから、補正されるピクセルと少なくとも一つの隣接ピクセルとの間のデルタ値に従って各ピクセルの輝度レベルを増すことによって補正されたピクセルの第一の組を生成する段階と；
   前記暗い画像ピクセルのうちの前記第二のサブフレーム中のピクセルから、補正されるピクセルと少なくとも一つの隣接ピクセルとの間のデルタ値に従って各ピクセルの輝度レベルを減じることによって補正されたピクセルの第二の組を生成する段階と；
   前記第一の組の補正されたピクセル、前記第二の組の補正されたピクセルおよび前記明るい画像ピクセルを組み合わせて補正されたビデオデータのフレームを形成する段階とを含み；
   第一のピクセルと第二のピクセルの間のデルタ値は、少なくとも：
   前記第一のピクセルの輝度値；
   前記第二のピクセルの輝度値；
   前記輝度レベル閾値と前記第一のピクセルの前記輝度値との差；および
   前記輝度レベル閾値と前記第二のピクセルの前記輝度値との差
   を含む一組の値のうちの最小のピクセル輝度値として定義される、
   方法。
2. 前記ビデオ・データが逐次のフレームを含み、当該方法がさらに：
   前記逐次のフレームについての前記補正されたビデオ・データに応答してビデオ画像を表示する段階、
   を有する請求項１記載の方法。
3. 前記輝度レベル閾値が１である、請求項１または２記載の方法。

Images