JP4420607B2 - 画像処理方法および画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、等価入力視覚ノイズのモデルを用いた、例えばデジタルディスプレイなどの各種ディスプレイのビット深さを拡張する画像処理方法およびこれを用いた画像処理装置に関する。
【０００２】
【従来の技術】
この種の画像処理方法は、人間視覚システムの特徴を活用することにより、例えばデジタルディスプレイなどのディスプレイのビット深さを拡張するものである。以下、その従来の技術について説明する。
【０００３】
連続な階調（コントーン（ｃｏｎｔｏｎｅ）ともいう）画像は、最低でも２４ビット／ピクセルを有する。通常のディスプレイでは、各色に対して８ビットが割り当てられる。しかし、より低コストのディスプレイでは１ピクセル当たりに有するビット数が制限される。このような制限の原因は、ビデオランダムアクセスメモリ（ＶＲＡＭ）の容量の制限、ディスプレイ自体の特性、またはある陰極線管（ＣＲＴ）ディスプレイにおいて使用されるデジタル−アナログ変換器（ＤＡＣ）によるものである。
【０００４】
例えば、多くのラップトップコンピュータでは、最高のグレーレベル解像度が「数千色」モードであることが多い。このモードは、１６ビット／ピクセルに対応し、より大きなコンピュータ（より大きなＶＲＡＭを有するコンピュータ）における２４ビット／ピクセルではない。通常、１６ビットでは、５ビットを赤色、６ビットを緑色、５ビットを青色に割り当てる。さらに低品質の製品では、わずか１５ビット／ピクセルが使用され、各色に５ビットが割り当てられる。１色１ピクセル当たりのビット数をビット深さという。
【０００５】
限られたビット深さしかないディスプレイでは、輪郭アーチファクトは滑らかな勾配の領域として見える。例えば、空の一部を含む画像は、空の滑らかな勾配青色領域に目に見える輪郭線が現れる。これらのアーチファクトを低減するための従来技術が提案されている。
【０００６】
Ｌ．Ｇ．Ｒｏｂｅｒｔｓは、パルス符号変調（ＰＣＭ)符号化されて送信される画像に対する輪郭防止の分野において独創的な仕事を行った。これをきっかけに画像圧縮の研究が始まり、画像は７ビット／ピクセルから２または３ビット／ピクセルにまで大きく圧縮できるようになった。この圧縮技術は、振幅量子化によってグレーレベル解像度を低減する。主な歪みは、輪郭をなすアーチファクトであり、ゆっくりと変化する勾配における見かけのエッジとして現れる。
【０００７】
Ｒｏｂｅｒｔｓの技術では、図１の従来例のように、量子化のラスタースキャンの間に、あらかじめ決定された１次元ホワイトノイズシーケンスを加算する。ノイズシーケンスはあらかじめ決定されるので、擬似ランダムノイズと呼ばれることが多い。画質の低下を防止するために、ノイズは、受信後であって、そのノイズが加算されたデータがディスプレイされる前に排除される。減算されるノイズは送信器ノイズと同一であり、位相も同一である。ノイズは輪郭をなすアーチファクトを壊すのに有効である。
【０００８】
この技術が発表された当時は、輪郭をなすアーチファクトの破壊は、実験で観察されるだけであったが、輪郭に沿った要素は、ノイズによってその方向が変化し、視覚システムのための連合野の外部に入力されるからであると理解されてきた。量子化処理は、ノイズを加算し、そして減算する工程の間に行われるので画像中の所定のノイズはそのままにされる。
【０００９】
Ｒｏｂｅｒｔｓの仕事は、圧縮技術としてはほとんど忘れ去られた。デジタルパルス符号変調（ＤＰＣＭ）、離散コサイン変換（ＤＣＴ）、およびウェーブレット圧縮のより新しい技術によって、輪郭アーチファクトのない大規模な圧縮が可能となってきた。このことは、ＤＣＴおよびウェーブレット技術では主に圧縮処理を空間ドメインから周波数ドメインに移すことによって達成される。
【００１０】
Ｒｏｂｅｒｔｓの方法を用いた例として、従来図１に示されるシステムは、ノイズの分布は一様であり、ホワイトノイズである（例えば、特許文献１参照）。また、ノイズが空間および時間の次元の両方でハイパスされる実施形態を含むものがある（例えば、特許文献２参照）。さらに、Ｒｏｂｅｒｔｓの方法のように、システムがノイズを加算するが、受信器においてはノイズを除去しないものがある（例えば、特許文献３）。ノイズは順序づけられたパターンで用いられる。
【００１１】
これらの技術は、通常ディザーと区別するようマイクロディザーと呼ばれる。この用語はより一般にはハーフトーン技術に適用される。ハーフトーンディザーは空間ディザーであるが、マイクロディザーは振幅ディザーである。ハーフトーン技術については、ディスプレイおよび印刷用途の両方において多くの研究がなされてきた。文献は大きくは二つに分類される。ノイズを使用する一般ディザーリング方法および輪郭アーチファクトの除去に特化した方法である。
【００１２】
ディスプレイシステムのための一般ディザーリング方法を用いて、２次元配列を用いた時空間ディザーを行い、他のフレームに対して変更を行う処理を含んでいるものがある（例えば、特許文献４参照）。量子化された画像をディザーマトリクスと比較しているものがある（例えば、特許文献５参照）。ディザーマトリクスは、一度に現れるグレースケールのすべての値を含むので、その大きさは所望のグレースケール解像度に依存する。他の例においてもこの制限が課されることが記載されるものがある（例えば、特許文献６参照）。
【００１３】
他のディザーリング方法は、ディザー配列に対して所定のサイズを有さない。ディザー配列の大きさは位相によって設定され、さらに人間視覚システムの特徴を記載しているものがある（例えば、特許文献７参照）。しかし、特許文献７は、上記特許文献２の１実施形態のように、極めて一般的であり、実質的にディザーリングパターンにおける空間および時間周波数が高いことを意味する。同様に、ディザービットマップを使用して、グレーレベル数の大きな画像がグレーレベル数の小さい出力デバイス上にディスプレイできる方法を記載するものがある（例えば、特許文献８参照）。
【００１４】
人間視覚システムを使用した例が記載されるものがある（例えば、特許文献９参照）。使用されるノイズはハイパスノイズであるが、周波数全体にわたって視覚システムの感度に対して正比例して用いられる。感度が周波数の増加に伴って低下するか、または増加するかは、視る距離およびピクセル解像度に依存する。ほとんどの視る距離およびピクセル解像度について、デジタルナイキスト周波数は３〜５サイクル／度よりも高い１サイクル／度に対応し、これは視覚ＭＴＦの一般のピーク周波数である。この場合、周波数が増加すると感度は低下する。しかし、解像度が低く距離が近いと、その反対が正しくなる。
【００１５】
他の方法はハイパスノイズを使用するかその近似を使用する。ディザーリング配列を、出来たハーフトーンパターンが青色（ハイパス）ノイズを近似するように設計することを記載するものがある（例えば、特許文献１０参照）。
【００１６】
ディザーリングのより一般的な定義を記載するものがある（例えば、特許文献１１参照）。この特許文献１１では、ディザーリングは、所望の色またはレベルに近い二つの色またはグレーレベルのパターンの使用として定義される。目が二つの色またはレベルを平均する場合、それらは所望の色に見える。ディザーリングのために１ビットよりも多く使用する場合、マルチビットディザーリングと呼ぶ。
【００１７】
マルチビットディザーリングのための他の方法は、各ピクセルに対してディザー配列の大きさを制限する。例えば、各ピクセルに対して２×２のディザー配列を使用しているものがある（例えば、特許文献１２参照）。他の技術では、ディザー配列の大きさは所望なグレーレベルの数に基づいている（例えば、特許文献１３参照）。上記特許文献１３は、ディザー配列の大きさが１６×１６であるので２５６レベルとなる。
【００１８】
ディザーリングは上記のような一般の場合および特定の問題に使用される。クリッピングおよびグレースケールエラー機能が問題である場合、マルチビットディザーリングが使用されているものがある（例えば、特許文献１４参照）。
【００１９】
上記で検討された特定のアーチファクトは、輪郭アーチファクトであり、すなわち、ゆっくりと変化する勾配の見かけのエッジである。ディザーリングのようにノイズの加算などのいくつかの技術がこの問題を解決するために使用されてきた。
【００２０】
一つの方法として画像を二つの領域に分割しているものがある（例えば、特許文献１５参照）。その領域の、一方はエッジからなり、他方は非エッジからなる。各分割領域は別々にフィルタリングされる。この発明は、圧縮および展開される画像の後処理のためのものである。
【００２１】
他の技術は、特定の圧縮または展開技術に関連する。例えば、ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）およびＭＰＥＧ２方式における輪郭アーチファクトの解決案を提示しているものがある（例えば、特許文献１６参照）。これらの方式において、輪郭は画像の暗い領域に生じる。この技術では、異なるゲインを領域に与え、捕らえた画像ノイズを大きくしてアーチファクトを破壊する。
【００２２】
輪郭を振幅量子化アーチファクトの特定の例として記載しているものがある（例えば、特許文献１７参照）。この技術は、実験を行い、画像中にすでに存在するノイズに基づいて量子化間隔を決定することを示唆する。ノイズ／量子化の間隔は３／８であると示唆される。
【００２３】
最後に、印刷における輪郭アーチファクトは、二つのチャネルを使用し、一つの層は、大きなドットを生成するチャネルであり、他方は小さなドットを生成するチャネルであることによって解決されることが記載するものがある（例えば、特許文献１８参照）。
【００２４】
【特許文献１】
米国特許第３，２４４，８０８号明細書
【００２５】
【特許文献２】
米国特許第３，５６２，４２０号明細書
【００２６】
【特許文献３】
米国特許第３，７３９，０８２号明細書
【００２７】
【特許文献４】
米国特許第４，２７５，４１１号明細書
【００２８】
【特許文献５】
米国特許第３，９６１，１３４号明細書
【００２９】
【特許文献６】
米国特許第５，１６４，７１７号明細書
【００３０】
【特許文献７】
米国特許第４，７５８，８９３号明細書
【００３１】
【特許文献８】
米国特許第５，３３３，２６０号明細書
【００３２】
【特許文献９】
米国特許第５，６１９，２３０号明細書
【００３３】
【特許文献１０】
米国特許第５，１１１，３１０号明細書
【００３４】
【特許文献１１】
米国特許第４，９５６，６３８号明細書
【００３５】
【特許文献１２】
米国特許第５，１３８，３０３号明細書
【００３６】
【特許文献１３】
米国特許第５，６９６，６０２号明細書
【００３７】
【特許文献１４】
米国特許第５，２０１，０３０号明細書
【００３８】
【特許文献１５】
米国特許第５，２１８，６４９号明細書
【００３９】
【特許文献１６】
米国特許第５，６５１，０７８号明細書
【００４０】
【特許文献１７】
米国特許第５，８０９，１７８号明細書
【００４１】
【特許文献１８】
米国特許第５，９２０，６５３号明細書
【００４２】
【発明が解決しようとする課題】
しかし、これらの方法による問題解決は、いずれにおいてもロバスト（ｒｏｂｕｓｔ）で計算的に簡単なやり方ではない。加えて、必要なビット数はなおも比較的高い。さらにより低いビット深さのディスプレイをより高いレベルを有するディスプレイと同様に見えるようにし、ノイズをより見えにくくする方法は、有用である。
【００４３】
本発明は、上記従来の問題を解決するもので、ディスプレイシステムのディスプレイに合わせてビット深さを拡張することができる画像処理方法およびこれを用いた画像処理装置を提供することを目的とする。
【００４４】
【課題を解決するための手段】
本発明によるディスプレイシステムのビット深さを拡張する方法は、ディスプレイシステムのビット深さを拡張する画像処理方法であって、人間視覚システムノイズから擬似ランダムノイズを生成する工程であって、該擬似ランダムノイズが時空間ディザーリングを生成する、工程と、該擬似ランダムノイズを画像データと組み合わせる工程であって、これによりノイズ補償画像データを生成する、工程と、該ノイズ補償画像データを量子化する工程とを包含し、ディスプレイの時間特性を視覚モデルコントラスト感度関数とともに使用して該時空間ディザーリングを形成し、それにより上記目的が達成される。
【００４５】
前記量子化工程は、さらに前記ノイズ補償画像データのビット表現を低減する工程をさらに包含してもよい。
【００４６】
前記時空間ノイズの生成は、空間および時間次元において分離可能に行われてもよい。
【００４７】
前記時空間ノイズの生成は一つの処理として行われてもよい。
【００４８】
前記擬似ランダムノイズは、３次元配列として格納されてもよい。
【００４９】
前記擬似ランダムノイズは、ガンマ補正空間に時空間ノイズとして格納されてもよい。
【００５０】
前記擬似ランダムノイズは、２次元配列に格納されてもよい。
【００５１】
前記擬似ランダムノイズは、フレーム内で値を繰り返す工程を含んでもよい。
【００５２】
前記擬似ランダムノイズを生成する工程は、前記画像データのフレームよりも小さなサイズを有するディザーフレーム内に該ノイズを生成する工程と、該ディザーフレームを該画像データのフレーム上にタイリングする工程とをさらに包含してもよい。
【００５３】
前記異なるディザーフレームが、前記画像データの各フレームにおいて繰り返すようにタイリングされ、行開始位置でインクリメントされてもよい。
【００５４】
前記異なるディザーフレームが、前記画像データの各フレームにおいて繰り返すようにタイリングされ、フレーム終了位置でインクリメントされてもよい。
【００５５】
ディザー開始フレームは、各画像フレーム内でランダムに置換され、隣接するタイルの時間位相が同期を外れるように繰り返しで逐次処理されてもよい。
【００５６】
ディスプレイの時間特性を使用してディザーフレーム数を決定してもよい。
【００５８】
本発明によるディザーフレームを格納する方法は、本発明の上記画像処理方法におけるディザーフレームを格納する画像処理方法であって、３次元ディザー配列を生成する工程と、該３次元ディザー配列をメモリにマッピングする工程とを包含し、それにより上記目的が達成される。
【００５９】
前記ディザー配列が時空間ディザー配列であってもよい。
【００６０】
前記ディザー配列が相互に空間的にハイパスおよび時間的にハイパスであってもよい。
【００６１】
前記３次元ディザー配列がガンマ補償空間に格納されてもよい。
【００６２】
前記３次元ディザー配列がガウシアン確率密度関数であってもよい。
【００６３】
前記３次元ディザー配列が等輝度ノイズを含んでもよい。
【００６４】
本発明によるディザーを画像データに適用する方法は、本発明の上記画像処理方法におけるディザーを画像データに適用する画像処理方法であって、ディザーフレームを画像データのフレームに適用する工程であって、該ディザーフレームがインデックス位置から始まって順番に空間的に適用され、該ディザーフレームがインデックス位置の間でインクリメントされる、工程と、ディザーフレームを画像データのフレームに空間的に適用する工程とを包含し、それにより上記目的が達成される。
【００６５】
前記インデックス位置は行開始位置にあってもよい。
【００６６】
前記インデックス位置はフレーム終了位置にあってもよい。
【００６７】
本発明によるディスプレイシステムのビット深さを拡張する装置は、本発明の上記画像処理方法を用いてディスプレイシステムのビット深さを拡張する装置であって、人間視覚システムノイズから擬似ランダムノイズを生成する手段であって、該擬似ランダムノイズが時空間ディザーリングを生成する、手段と、該擬似ランダムノイズを画像データと組み合わせる手段であって、これによりノイズ補償画像データを生成する、手段と、該ノイズ補償画像データを量子化する手段とを含み、それにより上記目的が達成される。
【００６８】
本発明によるディザーフレームを格納する装置は、本発明の上記画像処理方法を用いてディザーフレームを格納する装置であって、３次元ディザー配列を生成する手段と、該３次元ディザー配列をメモリにマッピングする手段とを含み、それにより上記目的が達成される。
【００６９】
本発明によるディザーを画像データに適用する装置は、本発明の上記画像処理方法を用いてディザーを画像データに適用する装置であって、ディザーフレームを画像データのフレームに適用する手段であって、該ディザーフレームがインデックス位置から始まって順番に空間的に適用され、該ディザーフレームがインデックス位置の間でインクリメントされる、手段と、ディザーフレームを画像データのフレームに空間的に適用する手段とを含み、それにより上記目的が達成される。
【００７０】
本発明の一つの実施形態は、ディスプレイシステムのビット深さを拡張する方法である。この方法は、人間視覚システムノイズから擬似ランダムノイズを生成する工程を含む。この方法を画像データに用いた場合、ノイズは時空間ディザーリングを生じる。擬似ランダムノイズは、画像データと組み合わされ、ノイズ補償画像データを生成する。次いで、ノイズ補償画像データが量子化される。
【００７１】
【発明の実施の形態】
本発明は、添付の図面を参照して本明細書の開示を読むことによって十分に理解され得る。図１は、Ｒｏｂｅｒｔｓのノイズ変調を送信システムに適用した従来の実施形態を示す。コントーン画像１０（本実施例では６ビット／ピクセル）は、１次元の、所定の、ホワイトノイズシーケンスの、擬似ランダムノイズ１２Ａと組み合わされる。ノイズは、画像データが量子化され（１６）、符号化および送信され（１１）、そして受信および復号化された（１３）後に、減算される（１７）。量子化処理は、加算および減算工程の間に行われるので、画像中にある程度の残留ノイズが残る。
【００７２】
使用した符号化方式は、パルス符号変調（ＰＣＭ）であり、ビット／ピクセルを６から２へ落とした。この方法は、主に圧縮に使用されたが、圧縮技術がより向上するにつれ使用されなくなってきた。デジタルパルス符号変調（ＤＰＣＭ）および離散コサイン変換（ＤＣＴ）は、主に圧縮を空間ドメインから周波数ドメインに移すことによって輪郭アーチファクトを生成せずにより圧縮できるようにする。
【００７３】
しかし、一般に考えられるのは、ビット深さが制限されたディスプレイへの適用である。図２は、ノイズ変調をそのようなディスプレイに適用した実施形態を示す。コントーン画像１０は、擬似ランダムノイズ１２Ａと組み合わされ、ディスプレイデバイス１４へ送信される。組み合わされたデータは、量子化器１６によって量子化され、画面１８上にディスプレイされる。本発明をテストした実験の結果、この技術は輪郭アーチファクトを低減するのに有効であり、特に２５６から６４レベル（８ビット／ピクセルから６ビット／ピクセルへ）にした場合に有効であった。しかし、ノイズを減算できないので画像に目に見えるノイズが残った。
【００７４】
米国特許出願第０９／４２６，１６５号（１９９９年１０月２２日出願）は、図３に示すような、上記の考えをカラー画像にどのように適用するかを示す実施形態を記載する。図３は、視覚システムのカラー等価ノイズモデルを使用する例を示す。このノイズは、一般にはＲＧＢ空間に存在しないので、カラー画像平面へ分離するためにＲＧＢ空間へ変換され、次いで画像のＲＧＢ平面へ付加される。
【００７５】
この方法において、ＨＶＳモデル２４は、三つの異なる擬似ランダムノイズ平面１２ａ〜ｃを生成する色モデルである。このモデルは、輝度チャネルの等価入力モデルおよび視覚システムの二つの等輝度カラーチャネルを含む。これらは、ＣＩＥＬＡＢカラーメトリックのＬ^＊、Ａ^＊、およびＢ^＊に擬似する。加えて、これら三つのチャネルのために異なるＣＳＦ（コントラスト感度関数または人間視覚システムの周波数応答）が使用される。各チャネルは異なるバンド幅および形状を有する。これは、三つの等価入力ノイズ擬似ランダム画像を生成するためのものである。次に、これらは、Ｌ^＊、Ａ^＊、Ｂ^＊ドメインからＲＧＢドメインに変換され、量子化の前に画像に加算される。
【００７６】
上記の静的ディザー（ｄｉｔｈｅｒ；濃淡画像処理）技術は改善の余地がある。改善によって、さらに低いレベルのビットがより高いビットに見えることが可能となり、またはディザーリングノイズがより見えにくくすることが可能である。実際には、これによって、ユーザがディスプレイにもっと近寄って見たとしても輪郭アーチファクトを認識しないことが可能となる。小型画面を有する製品が多くなるにつれ、ユーザが画面を目により近くに寄せる状況が多くなる。時間的に変化する信号をディスプレイする機能を有するディスプレイでは、時空間ディザーを行うのが有効である。
【００７７】
特に、初期の方法で使用するノイズは、ホワイトノイズであり、空間および時間ノイズの両方であり、デジタル周波数ナイキスト限界までのノイズである（０．５サイクル／サンプル；サンプル＝ピクセルまたはフレーム）。このタイプのノイズについて検討する場合は、水平空間周波数ＨＳＦ、垂直空間周波数ＶＳＦ、または時間周波数ＴＦを参照し得る。
【００７８】
上記米国特許第３，５６２，４２０号は、ハイパス空間ノイズを生成し、その極性を交番させる。したがってノイズは１フレーム当たりゼロ平均である。使用する静的ノイズは、より高い時間周波数（特に、ナイキスト周波数）にシフトする。これが改善であるのは、視覚システムのＬＰＦ性質のためにＴＦノイズがより見えにくいからである。視覚モデルはノイズの設計に使用されていない。むしろ、より高い周波数がより見えにくいという一般概念が使用されている。
【００７９】
図４は、ディスプレイシステムにおいて、人間視覚システム感度ノイズに基づいて時空間ディザーリングを使用する実施形態を示す。この例では、ノイズ１２は、従来図３で使用されたノイズとは異なるプロフィールを有する。このノイズは、上記例のように空間のみのディザーリングの代わりに時空間ディザーリングに基づく。
【００８０】
ひと続きの異なるハイパス空間ディザーが１フレームに与えられると、その結果、時空間ディザーはホワイトＴＦスペクトルを有する。これが生じるのはノイズが独立に生成される場合であり、既存の空間ディザーを再配列する技術のほとんどに生じる（上記米国特許第３，７３９，０８２号参照）。
【００８１】
ハイパス空間および時間ノイズを生成する別の方法は、ぼかしマスクから得られる技術を使用する。ここで、時空間ＬＰＦ（ローパス周波数）ノイズがホワイトノイズ供給源から生成される。このＬＰＦ方法が採用されるのは、ＨＰＦ（ハイパス周波数）ノイズよりもＬＰＦノイズを生成するほうが容易であることが多いからである（特に、ハードウェアで行われる場合）。
【００８２】
この相互ＬＰＦ時空間ノイズは、ホワイトノイズから減算される。しかし、この結果得られるノイズは空間的にも時間的にも相互ＨＰＦでない。高い空間周波数で低い時間周波数があるのと同様に、高い時間周波数で低い空間周波数の場合もある（目に見えるちらつきが生じ得る）。
【００８３】
空間および時間の両方で相互にＨＰＦであるスペクトルは、多くの方法で生成され得る。一つの実施形態において、ホワイト時空間スペクトル（空間および時間ナイキスト周波数までホワイトであるもの）は、ＨＰＦノイズだけを残してフィルタリングされ得る。あるいは、いずれの時空間スペクトルについても大きさが置換され得る。空間的および時間的に相互ハイパスの一つの実施例は、図６に図示する。
【００８４】
ホワイト時空間スペクトルをフィルタリングする方法は、３Ｄ画像配列から開始する。ピクセルは、縦横に並び、時間的にはフレームを構成し、ホワイトスペクトルで満たされる。一つの実施形態において、スペクトルは、視覚システムの空間ＣＳＦの逆関数を近似するフィルタによってフレームごとにまず空間的にフィルタリングされるノイズに由来する。その結果は、視覚システムの時間ＣＳＦの逆関数を用いて時間的にフィルタリングされる。近似は、これらのＣＳＦフィルタの各々について使用され得る。例えば、ガウシアンフィルタは、よい一次近似である。
【００８５】
いくつかの実施形態は、アプリケーションで利用され得る正確な大きさに３Ｄ配列を設定する工程、パディングなしにＦＦＴ（高速フーリエ変換）を介してフィルタリングを行う工程を含むので、デジタルフィルタリングのラップアラウンド性質が空間統計において境界不連続（最後のフレームから開始フレームへ行くこと）を起こさない。
【００８６】
別の実施形態において、開始３Ｄ画像配列は、ノイズで満たされなくてもよいが、あらかじめ白くされた乱流中の雪などの動きの複数平面中のテクスチャなどの画像コンテンツで満たされ得る。
【００８７】
大きさ置換を使用する実施形態において、任意の種類の画像コンテンツが開始点となり得、ＦＦＴの後、係数の大きさは逆空間および時間ＣＳＦに比例する値で置換される。係数の位相はそのままにされる。
【００８８】
このノイズを色アプリケーションに拡張するために、一つの実施形態では、二つの独立な時空間配列を生成する。これらは、反対の色信号に適用され、マトリクスを介して一つの無色信号および二つの色信号（Ｌ^＊、Ａ^＊、およびＢ^＊、またはＹ、Ｕ、およびＶなど）から３チャネルＲＧＢ信号に変換される。
【００８９】
図４は、ビット深さが制限されたディスプレイにおいて時空間ディザーリングを使用する方法の一つの実施形態を示す一般的なブロック図である。図からわかるように、画像データは、１０ａ〜ｃでＲＧＢ色チャネルに分割される。時空間ディザー化ノイズを使用する色等価ノイズ視覚モデルは、１２で生成される。上記のように、ノイズは２６でＲＧＢ色空間への変換の前に加算される可能性が高いが、図５のように個々の成分によって加算され得る。
【００９０】
配列の大きさは、システムをどのように実施するかによって重要性が異なる。従来の特許のほとんどは、ディザーパターンは画像より小さな２Ｄ配列である。ディザーパターンは、タイリングと呼ばれる工程において必要とされるように画像において連続に繰り返される。タイリングが使用される場合、タイルサイズが２８でクロップされ、タイルは３０でメモリに格納される。ノイズは３Ｄ配列に格納されるが、２Ｄノイズを変更してノイズがフレームごとに変動する技術を使用しないで、通常は１Ｄとしてメモリにマッピングされる。いくつかの実施例では、以下により詳細に説明されるように、さらなる輪郭を破壊する工程は、フレーム極性リバーサル（ＦＲＣ）３２を使用して達成される。ここで、ノイズの極性は、交番フレームにおいて逆転される。しかし、この工程はオプションである。この結果、最後のノイズプロフィールは、種々の色チャネル画像と組み合わされて量子化される。種々の色チャネル画像データの組み合わせは、加算または減算である。説明の目的のために、組み合わせは、減算、加算、または乗算、および他の形態の組み合わせを含む。量子化は、画像データを表す際に使用されるビット数を低減する形態をとる。
【００９１】
上記のように、タイリングはノイズ配列を実施するかしないかに応じて必要となり得る。時空間ノイズを使用する特許のほとんどは、メモリに格納された空間ノイズの操作によってノイズの時間成分を生成する。すなわち、ノイズは３Ｄ時空間表現で格納されない。しかし、米国特許第６，１４７，６７１号（Ａｇａｒｗａｌ、２０００年１１月１１日発行）は、３Ｄ時空間ノイズを格納する。
【００９２】
図７からわかるように、ノイズは、複数のフレームを有する空間配列として格納される。空間配列は、必要に応じて画像においてタイリングされる。ディザーの異なるフレームは、画像フレームに同期して逐次処理される。ディザーフレームが使い尽くされると、一時的に繰り返し使用される。この方法は、空間タイルが低減する場合に問題が生じる。フレーム内で同じタイルを連続して繰り返すと、個々のタイル内に含まれるノイズまたはパターンよりも見えやすい周期的なパターンが生じ得る。
【００９３】
本発明の一つの実施形態において、ディザー値の時空間配列は、表示されるべき画像シーケンスにおいてタイリングされ得る。ディザー配列は、メモリコストを節約するために画像よりも小さいので、画像シーケンスにおいて空間的および時間的の両方でタイリングされなければならない。好ましい方法は、画像において空間的にディザー配列のフレームを繰り返すように、水平かつ垂直にまたは水平にのいずれかで、逐次処理する、ここで行の開始繰り返し位置またはある他のインデックス位置でステップをインクリメントする。これは、図８のフレームＰ（４０）およびフレームＰ＋１（４２）に示される。これは、一つの画像フレームにおいて同じディザータイルフレームを繰り返すことによって周期的パターンの形成を防止することを意図する。そのような周期的パターンは、一つのタイル内のパターンよりも検出されやすい。この方法は、時空間ディザー配列の視認性を低下させる。
【００９４】
多くの他の実施形態および他の実施においてよりよく動作する別の実施形態もある。例えば、上記実施形態において記載された処理は、別々の工程で空間および時間フィルタリングを行う。これを分離可能空間および時間ディザーリングと呼ぶ。別の方法は、時空間フィルタを使用し、１工程でフィルタリングを行う。これを行う理由は、視覚システムのより正確なモデルは時空間的に分離可能でないからである。
【００９５】
別の実施形態は、ガンマ補正ドメインにノイズを加算し、ディスプレイのハードウェアは逆ガンマ補正、加速的な非線形性を使用する。さらに関連する方法は、生成されたディザーノイズをとり、ガンマ補正画像信号に加算する前にガンマ補正非線形性にかける。これらの合計を逆非線形性にかける。
【００９６】
必ずしも最良の輪郭を破壊する方法ではないが、別の実施形態は、上記のタイルステッピング方式において相互ハイパスディザースペクトルを使用する。このタイプのスペクトルの例は、図６に図式的に示される。ディザーフレームは画像全体に繰り返され、画像フレームに同期して逐次処理される。別の実施形態では、タイルを２Ｄ画像に位置づける際にタイルをランダムに逐次処理する。一旦このパターンを設定すると、フレームは画像フレームに同期して順番に逐次処理される。すなわち、空間的にタイルをランダム化することが可能であるが、時間的順序は所望の時間統計を維持するように保存される。別の実施形態は、格子におけるフレーム終了位置でインクリメントを開始する。
【００９７】
この実施形態は、ディスプレイ時間特性および人間視覚システムの時間特性を使用する。例えば、ＬＣＤの時間的スイッチング時間が使用される。最も遅い時間を使用していくつのフレームが使用されなければいけないかを決定する。より少ないフレームが使用される場合、いくつかのグレーレベル遷移は、ディザー繰り返しの時間的局面の前に決定しない。これにより、変調およびゼロに平均化できないスタックされたピクセルや隔離されたピクセルが生じ得る。時間的スイッチング時間が使用され得る別の方法は、最も速い応答をとり、フーリエ変換し、これを使用してディスプレイの最速の時間ＭＴＦを表現することである。次に、上記のように、ディスプレイの最もよい時間ＭＴＦは視覚システムの時間ＣＳＦと乗算され、逆数をとってディザー配列の時間スペクトル特性を形成する。
【００９８】
本発明で使用される方法のいくつかのさらなる局面を示す。従来のディザー配列のすべてにおいて、ディザー配列は繰り返しのないひと続きの値からなる。本発明のアプリケーションはこの制限を有さない。
【００９９】
すべての従来技術において、ディザーパターンのＰＤＦ（確率密度関数）は一様であり、通常最後の出力量子化ビンの長さを有する。本発明にしたがってフィルタリングを適用した後、ガウシアンＰＤＦとなり、これが一様ＰＤＦに変換されると、所望の統計が変更される。ガウシアンＰＤＦのままだと、空間統計はＰＤＦ形状よりもより重要に見える。これにより、スペクトルの形状を制御する際にフレキシビリティがより大きくなる。
【０１００】
以上、ディスプレイにおけるビット深さの拡張のための画像データのディザーリングのための方法および装置の特定の実施形態を説明した。そのような特定の参照は、特許請求の範囲の請求項に記載されるものを除いて、本発明の範囲を制限するものではない。
【０１０１】
【発明の効果】
以上により、本発明によれば、ディスプレイシステムのディスプレイに合わせてビット深さを拡張することができる画像処理方法および画像処理装置を提供することができる。さらにより低いビット深さのディスプレイをより高いレベルを有するディスプレイと同様に見えるようにし、ノイズをより見えにくくすることができる画像処理方法および画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】Ｒｏｂｅｒｔｓのノイズ変調をディスプレイに適用した従来の実施形態を示す図である。
【図２】ノイズをビット深さを制限したディスプレイシステムに適用した従来の実施形態を示す図である。
【図３】視覚システムノイズをビット深さを制限したディスプレイシステムにおいて使用した従来の実施形態を示す図である。
【図４】本発明による、時空間ディザーリングのための人間視覚システムノイズをビット深さを制限したディスプレイシステムにおいて使用した実施形態を示す図である。
【図５】本発明による、時空間ディザーリングのための人間視覚システムノイズをビット深さを制限したディスプレイシステムにおいて使用した別の実施形態を示す図である。
【図６】相互ハイパスディザースペクトルコンテンツの図式に表現した図である。
【図７】画像データのフレーム上でディザー配列を逐次タイリングする方法の従来の実施形態を示す図である。
【図８】本発明による、画像データのフレーム上でディザー配列を逐次タイリングする方法の実施形態を示す図である。
【符号の説明】
１１ ＰＣＭ符号化および送信（手段）
１２Ａ 擬似ランダムノイズ（生成手段）
１３ 受信およびＰＣＭ復号化（手段）
１６ 量子化器
１６ａ 赤量子化器
１６ｂ 緑量子化器
１６ｃ 青量子化器
１２ 時空間ノイズ（生成手段）
１８ ＲＧＢディスプレイ
２２ 観察者視覚システム
２６ 視覚色からＲＧＢ空間への変換（手段）
２８ タイルサイズのクロップ（手段）

Claims (25)

1. ディスプレイシステムのビット深さを拡張する画像処理方法であって、
   人間視覚システムノイズから擬似ランダムノイズを生成する工程であって、該擬似ランダムノイズが時空間ディザーリングを生成する、工程と、
   該擬似ランダムノイズを画像データと組み合わせる工程であって、これによりノイズ補償画像データを生成する、工程と、
   該ノイズ補償画像データを量子化する工程とを包含し、
   ディスプレイの時間特性を視覚モデルコントラスト感度関数とともに使用して該時空間ディザーリングを形成する画像処理方法。
2. 前記量子化工程は、さらに前記ノイズ補償画像データのビット表現を低減する工程をさらに包含する、請求項１に記載の画像処理方法。
3. 前記時空間ノイズの生成は、空間および時間次元において分離可能に行われる、請求項１に記載の画像処理方法。
4. 前記時空間ノイズの生成は一つの処理として行われる、請求項１に記載の画像処理方法。
5. 前記擬似ランダムノイズは、３次元配列として格納される、請求項１に記載の画像処理方法。
6. 前記擬似ランダムノイズは、ガンマ補正空間に時空間ノイズとして格納される、請求項１に記載の画像処理方法。
7. 前記擬似ランダムノイズは、２次元配列に格納される、請求項１に記載の画像処理方法。
8. 前記擬似ランダムノイズは、フレーム内で値を繰り返す工程を含む、請求項７に記載の画像処理方法。
9. 前記擬似ランダムノイズを生成する工程は、
   前記画像データのフレームよりも小さなサイズを有するディザーフレーム内に該ノイズを生成する工程と、
   該ディザーフレームを該画像データのフレーム上にタイリングする工程とをさらに包含する、請求項１に記載の画像処理方法。
10. 前記異なるディザーフレームが、前記画像データの各フレームにおいて繰り返すようにタイリングされ、行開始位置でインクリメントされる、請求項９に記載の画像処理方法。
11. 前記異なるディザーフレームが、前記画像データの各フレームにおいて繰り返すようにタイリングされ、フレーム終了位置でインクリメントされる、請求項９に記載の画像処理方法。
12. ディザー開始フレームは、各画像フレーム内でランダムに置換され、隣接するタイルの時間位相が同期を外れるように繰り返しで逐次処理される、請求項１に記載の画像処理方法。
13. ディスプレイの時間特性を使用してディザーフレーム数を決定する、請求項１に記載の画像処理方法。
14. 請求項９に記載の画像処理方法におけるディザーフレームを格納する画像処理方法であって、
    ３次元ディザー配列を生成する工程と、
    該３次元ディザー配列をメモリにマッピングする工程とを包含する画像処理方法。
15. 前記ディザー配列が時空間ディザー配列である、請求項１４に記載の画像処理方法。
16. 前記ディザー配列が相互に空間的にハイパスおよび時間的にハイパスである、請求項１４に記載の画像処理方法。
17. 前記３次元ディザー配列がガンマ補償空間に格納される、請求項１４に記載の画像処理方法。
18. 前記３次元ディザー配列がガウシアン確率密度関数である、請求項１４に記載の画像処理方法。
19. 前記３次元ディザー配列が等輝度ノイズを含む、請求項１４に記載の画像処理方法。
20. 請求項１４に記載の画像処理方法におけるディザーを画像データに適用する画像処理方法であって、
    ディザーフレームを画像データのフレームに適用する工程であって、該ディザーフレームがインデックス位置から始まって順番に空間的に適用され、該ディザーフレームがインデックス位置の間でインクリメントされる、工程と、
    ディザーフレームを画像データのフレームに空間的に適用する工程とを包含する画像処理方法。
21. 前記インデックス位置は行開始位置にある、請求項２０に記載の画像処理方法。
22. 前記インデックス位置はフレーム終了位置にある、請求項２０に記載の画像処理方法。
23. 請求項１に記載の画像処理方法を用いてディスプレイシステムのビット深さを拡張する装置であって、
    人間視覚システムノイズから擬似ランダムノイズを生成する手段であって、該擬似ランダムノイズが時空間ディザーリングを生成する、手段と、
    該擬似ランダムノイズを画像データと組み合わせる手段であって、これによりノイズ補償画像データを生成する、手段と、
    該ノイズ補償画像データを量子化する手段と
    を含む、画像処理装置。
24. 請求項１４に記載の画像処理方法を用いてディザーフレームを格納する装置であって、
    ３次元ディザー配列を生成する手段と、
    該３次元ディザー配列をメモリにマッピングする手段と
    を含む、画像処理装置。
25. 請求項２０に記載の画像処理方法を用いてディザーを画像データに適用する装置であって、
    ディザーフレームを画像データのフレームに適用する手段であって、該ディザーフレームがインデックス位置から始まって順番に空間的に適用され、該ディザーフレームがインデックス位置の間でインクリメントされる、手段と、
    ディザーフレームを画像データのフレームに空間的に適用する手段とを含む、画像処理装置。

Images