JP3933669B2 - 画像表示方法 - Google Patents

Description

本発明は、画像表示方法に関し、より詳細には、人間視覚システムのアスペクト比の利用及びディスプレイノイズの使用によってデジタルディスプレイのビット深さを拡張する画像表示方法に関する。

連続階調画像、すなわちコントーン像は、通常最低で画素当たり２４ビットを有している。通常のディスプレイでは、各色に８ビットを割り当てている。しかしながら、低コストのディスプレイは、画素当たりのビット数が制限されている。この制限は、ビデオランダムアクセスメモリ（ＶＲＡＭ）の制限された記憶容量、ディスプレイ自体の特性又は陰極線管（ＣＲＴ）ディスプレイに使用されているディジタル／アナログ変換器（ＤＡＣ）に起因する。

例えば、代表的なラップトップコンピュータの場合、最高の濃度（グレイレベル解像度で、通常“数千色”のモードである。このモードは１画素当たり１６ビットに相当し、大型コンピュータ又はより多くのＶＲＡＭを有するコンピュータにおける画素当たり２４ビットに匹敵する。この１６ビットは通常、赤色に５ビット、緑色に６ビット、青色に５ビットを割り当てる。より低品質の製品の場合は、各色に５ビットを割り当てる１５ビット／画素が用いられる。画素当たりのビット数をビット深さ（ビット深度ともいう）と呼ぶ。

ビット深さが制限されているディスプレイの場合、円滑な階調領域に輪郭線の擬似信号が現れる。例えば、空の部分を含む画像は円滑な階調の空の青色領域に目に見える輪郭線を表示する。これらの擬似信号を除去させる従来技術は次の通りである。

Ｌ．Ｇ．Ｒｏｖｅｒｔｓは、パルス符号変調方式（ＰＣＭ）により符号化し伝送する画像の輪郭線の発生を防止する領域に関し、幾つかの独創的な論文を発表している。これは画像圧縮研究の最初であり、画像を７ビット／画素から２又は３ビット／画素に圧縮するために顕著な成果を収めた。この圧縮技法は、振幅の量子化による濃淡レベル（グレイレベル）解像度の低減を用いた。主要な歪みが擬似輪郭であり、それは緩やかに変化する階調における偽エッジとして報告された。

図２に示した従来技術であるロバートの技法において、予定された１次元の白色雑音系列を量子化前のラスタ走査中の画像に加える。このノイズ系列は予定されているので、擬似ランダム雑音と呼ばれることも多い。画質の低下を避けるために、このノイズを受信後、ノイズが加えられた画像データが表示される前に除去する。差し引かれたノイズは、送信機のノイズと同相であり同一である。このノイズは、擬似輪郭を有効に除去する。

この技法は、発表された時点において、この擬似輪郭の解消は実験的な観察に基づくものであった。しかしながら現在では、ノイズによって輪郭に沿った各要素の配向が変化し、視覚システムの連想フィールドの外に外れることが明らかにされている。量子化プロセスは画像中に若干のノイズを残すが、これは、ノイズの付加と除去のステップ間に発生したものである。

上記の論文は、圧縮技法であったために、大半が無視されてきた。ディジタルパルス符号変調（ＤＰＣＭ）及び離散余弦変換（ＤＣＴ）のより新しい技法により、擬似輪郭を発生させることなく大量の圧縮を可能とした。これらの技法は、主として圧縮プロセスを空間ドメインから周波数ドメインに移行させることにより実現する。

ロバートの方法の応用は、特許文献１と特許文献２に開示されている。１９６６年に発行された上記最初の特許は、図２に示した従来技術と類似のシステムを実装する。この特許において、ノイズの配分は均等であり、白色ノイズであると想定する。上記第２の特許におけるシステムは、ロバートの方法によるノイズを付加するが、受信機側ではノイズを除去しない。この付加ノイズは順序付けられたパターンを示す。

これらの技法は、通常、ハーフトーン技法において一般に使用されている用語ディザと区別するためにマイクロディザと呼ぶ。ハーフトーンディザは、空間ディザであるが、マイクロディザは振幅ディザである。表示装置と印刷装置のハーフトーンについてかなりの研究論文が発表されている。これらの資料は、一般に、ノイズを用いた一般的なディザ法と擬似輪郭の除去を目的としたディザ法の２つの範疇のいずれかに分類される。

ディスプレイシステム用の一般的なディザ法は、１９７６年６月１日発行の特許文献３に記述されている。量子化画像をディザマトリックスと比較する。このディザマトリックスは、１度現れたグレイスケール値を全て含んでおり、従って、そのサイズは所望のグレイスケール解像度に依存する。
その他の例も、１９９２年１１月１７日発行の特許文献４に記述されているように、この制限を受ける。

その他のディザ法は、ディザ配列用の予定されたサイズを持っていない。１９８８年６月１９日発行の特許文献５は、ディザ配列サイズを位相によって誘発させる。さらに、人間視覚システムの特性に関しても記述している。しかしながら、この記述は、ごく一般的なもので、本質的には、ディザリングパターンにおける空間及び時間的周波数が高いことを示しているだけである。

人間視覚システムの特性を利用することは、１９９７年４月８日発行の特許文献６に記述されている。使用されたノイズはハイパスノイズであるが、視覚システムの周波数感度に正比例するものとして使用される。その他のアプローチでは、ハイパスノイズ又はその近似値を使用する。例えば、１９９２年５月５日発行の特許文献７は、結果として得られるハーフトーンパターンが青色（ハイパス）ノイズに近似するようにディザ配列を設計することを提示している。

ディザのさらに一般的な定義が１９９０年９月１１日発行の特許文献８に記述されている。この特許において、ディザリングは所望の色又はレベルに近い２つの色又は濃淡レベルのパターンを用いることであると定義されている。２つの色又はレベルは、目で平均化され、所望の色として現れる。ディザリングのために１ビットより多いビットを使用することをマルチビットディザリングと呼ぶ。

他のマルチビットディザリングは、各画素毎にディザ配列のサイズを制限する。例えば、１９９２年８月１１日発行の特許文献９では、２×２画素当たりのディザ配列を使用している。他の技法では、所望の濃度数に基いてディザ配列のサイズを決定する。１９９７年１２月９日発行の特許文献１０は、２５６のレベルを生じる１６×１６のディザ配列サイズを記述している。

ディザリングは、上記のような一般的な場合と、特別な問題に対して用いられる。クリッピングとグレイスケールの誤差関数が問題であった場合に、マルチビットディザリングが適用された。これは、１９９３年４月６日発行の特許文献１１に記述されている。

上記のように、議論の対象である特別な擬似信号は擬似輪郭であり、緩かに変化する階調に現れる偽エッジである。ディザリングのようにノイズの付加を含む幾つかの技法が、この問題を解決するために用いられてきた。

１つのアプローチは、１９９３年６月８日発行の特許文献１２に記述されているように、画像をエッジと非エッジの２つの領域に区分する。各セグメントは、異るフィルタで処理される。この方法の目的は、圧縮画像と伸張画像の後処理にあった。

他の技法は、特別な圧縮又は伸張技法を目的としている。例えば、１９９７年７月２２日発行の特許文献１３は、ＭＰＥＧ（動画像符号化標準）及びＭＰＥＧ２スキームにおける擬似輪郭を対象としている。これらのスキームにおいて、輪郭は画像の暗い領域に発生する。この技法は、各々の領域に異なる利得を与え、撮影した画像のノイズを高めて擬似信号を解消する。

振幅量子化の擬似信号の特殊例である輪郭線が、１９９８年９月１５日発行の特許文献１４に記述されている。この技法は、実験を実施して量子化間隔を画像中に既に存在するノイズに基いて決定することを提案している。提案によれば、ノイズ／量子化の間隔は３／８とすべきである。

最後に、印刷における擬似輪郭が、１９９９年７月６日発行の特許文献１５に記述されている。２つのチャネルを使用し、１つのチャネル（レイヤ）で大きな点を作り、他のチャネルで小さな点を作る。
米国特許第３，２４４，８０８号 米国特許第３，７３９，０８２号 米国特許第３，９６１，１３４号 米国特許第５，１６４，７１７号 米国特許第４，７５８，８９３号 米国特許第５，６１９，２３０号 米国特許第５，１１１，３１０号 米国特許第４，９５６，６３８号 米国特許第５，１３８，３０３号 米国特許第５，６９６，６０２号 米国特許第５，２０１，０３０号 米国特許第５，２１８，６４９号 米国特許第５，６５１，０７８号 米国特許第５，８０９，１７８号 米国特許第５，９２０，６５３号

しかしながら、これらの方法は、いずれも、確実で簡単な計算方法では問題を解決できない。さらに、ディザリング技法は通常画像の空間解像度を低減させる。

本発明は、上述のごとき実情に鑑みてなされたものであり、計算が簡単であり画像の空間解像度を低減させない、擬似輪郭の除去又は低減方法を利用したディスプレイシステムのビット深さ拡張方法を提供することをその目的とする。

第１の技術手段は、複数の色成分データから成る画像を表示する画像表示方法であって、擬似ランダムノイズ平面を生成するステップと、前記色成分データ毎に異なる量の空間オフセットを生成するステップと、を備え、前記空間オフセットを用いて、前記色成分毎に空間オフセットを異なるようにして前記擬似ランダムノイズ平面を色成分データに付加することを特徴としたものである。

計算が簡単であり画像の空間解像度を低減させずに、擬似輪郭を除去或いは低減することができる。

本発明の１つの実施形態は、ディスプレイ装置の静的ノイズを利用してディスプレイ装置のビット深さを拡張する方法である。この方法は、ディスプレイ装置の静的ノイズを測定することと、それをコントーン（連続階調）画像データから差し引くことを含んでいる。ノイズ補償画像データを次に量子化して表示する。ディスプレイ装置の静的ノイズは、ノイズ補償画像データを元の連続階調画像データに変換する。ノイズの使用により、擬似輪郭が解消され、表示画像には目に見えるノイズは殆ど残らない。

本発明の他の実施形態は、減算する静的ディスプレイノイズの代わりに人間視覚システム（ＨＶＳ）に固有のノイズを用いるか又は擬似ランダムノイズを用いる方法である。さらなる実施形態では両方のタイプのノイズを使用する。ＨＶＳノイズを特にカラーディスプレイに使用するために、幾つかの異なる調整を実施することができる。

図１は本発明によるビット深さが制限されているディスプレイシステムの中の静的ディスプレイノイズを利用する一実施例を示す図、図２は伝送システムにロバートのノイズ変調を用いる従来技術例を示す図である。
図２で示す例の場合は画素当たり６ビットである連続階調（コントーン）画像１０に、１次元の予定された白色ノイズ系列の擬似ランダムノイズ１２を付加する。画像データを量子化器１６にて量子化し、ＰＣＭ符号化及び伝送ブロック１１において符号化・伝送し、受信及びＰＣＭ復号ブロック１３において受信・復号後に、減算器１７においてこのノイズを減算する。量子化プロセスは、付加ステップと減算ステップ間量子化による若干の残差ノイズを画像に残す。

使用した符号化スキームはパルス符号変調（ＰＣＭ）であり、画素（ピクセル）当たりビット数を６から２に減少させた。この研究は、主として圧縮コンテキストに基いていたので、圧縮技法がその後より精錬されたことから主流から外れてしまった。ＤＰＣＭ及び離散余弦変換技術は、主として圧縮を空間ドメインから周波数ドメインに移行させることにより、擬似輪郭を発生させることなく圧縮度を向上させることができる。

しかしながら、全体的なアイデアは、ビット深さが制限されたディスプレイに若干ではあるが応用されている。図３は、これらのディスプレイ装置に対するノイズ変調の適用実施例を示す図である。連続階調画像１０に擬似ランダムノイズ１２を結合し、ディスプレイ装置１４に伝送する。結合データを量子化器１６で量子化しスクリーン１８に表示する。この発明の試験的な実験により、この技法は擬似輪郭の除去に有効であり、２５６のレベル（８ビット／画素）から６４のレベル（６ビット／画素）に移行する際に特に有効であることが明らかにされた。しかしながら、ノイズを減算できないために、得られた画像は目に見えるノイズを有している。

全体として、本発明の目的は、ビット深さに制限のあるディスプレイ装置の画質を改善することである。これは、偽輪郭（false contour）の発生を防止して、量子化よりも低いコントラストの信号を表示させることにより達成する。さらに、目に見えるノイズ（雑音）がディスプレイ装置に現れないようにして、これを実現する。この方法は、画素に関する簡単な付加操作と二次元ノイズ系列の記憶を用いる。別の方法では、二次元ノイズを保管するのではなくリアルタイムで発生させる。幾つかの実施形態においては、人間視覚システムのノイズを考慮に入れ、その考慮の元にそのノイズのパワースペクトルを形成する。

図１は本発明によるビット深さが制限されているディスプレイシステムの中の静的ディスプレイノイズを利用する一実施例を示す図である。ディスプレイ装置１４は、固定パターン誤差２０を測定し、静的ノイズを決定する。このノイズは、図２のコントラスト受信装置での減算ノイズとして扱われる。固定パターン誤差２０を測定するステップから得たノイズ配列は、光単位からディジタルコード値に換算し、擬似ランダムノイズ１２を発生させる。このノイズを量子化前に画像から減算し、ノイズ補償連続階調画像データを生成し、ディスプレイ装置の固有ノイズがこれを相殺する。この代わりに、連続階調画像にノイズの逆数を付加してもよい。両方共、他の技法と同様に、静的ディスプレイノイズを減算する技法と呼ぶ。量子化による小さな残差ノイズが存在するが、このディスプレイ装置は、上記ノイズ補償を略相殺する。

本発明におけるディスプレイノイズは、静的なディスプレイノイズを意味することに留意すべきである。大多数の視聴者は、ディスプレイノイズを、実際には動的なノイズである画像中で連続して変化するノイズと結び付けるが、全てのディスプレイ装置は、装置に関連する静的なノイズを有している。例えば、代表的な陰極線管（ＣＲＴ）ディスプレイは画像を形成するために用いられる蛍光体に関係するノイズを有している。

この測定は、製造される各ディスプレイ装置毎に製造時に実行できる。別の方法では、ディスプレイをモデル化して、ディスプレイの等級又はカテゴリ毎に固有のノイズを測定する。これは、図５に関する記述の際にも適用する。

図４は、本発明によるビット深さが制限されているディスプレイシステムにおいて人間視覚システムのノイズを利用する一実施例を示す図である。ディスプレイノイズに加えて、人間視覚システム（ＨＶＳ）の見解を含ませるような適応化も可能である。人間視覚システム２２は、異なるモデル２４を用いてモデル化することができる。その１例として、コントラスト感度関数（ＣＳＦ）のモデルである簡単な二次元等方性ガウスローパスフィルタを挙げることができる。ディスプレイノイズ１２とＨＶＳノイズ２４の結合を加算値として示している。しかしながら、その結合は、乗算、対数空間における加算、或いはガンマ補正空間における加算のような他の非線形結合であってもよい。

画像に加えられたノイズのパワースペクトルは、周波数の関数としてのＨＶＳ輝度感度に反比例する。前述の米国特許第５，６１９，２３０号に記述されている方法と正反対である。再び、ＨＶＳノイズ又はディスプレイノイズであるノイズの減算ステップで、ノイズ補償画像データを生成する。ＨＶＳノイズは動的なノイズであり、従って、人間視覚システム（ＨＶＳ）２２では完全には消去できない。しかしながら、このノイズは少なくとも部分的に除去され、部分的にノイズ補償画像データを連続階調画像データに変換する。

上述したように、図５は製造状況において生じ得る可能な実装例を示している。固有のディスプレイノイズが仮想ＨＶＳノイズに対して低い場合は、ディスプレイノイズを完全に無視することができ、ＨＶＳノイズのみを画像から減算する。これは、製造制約条件を考慮すれば最も実際的な方法であり、個々のディスプレイノイズの測定を必要としない。擬似ランダムノイズ１２は、その後は、ＨＶＳのノイズモデル２４から供給されるノイズのみから成る。

図１，図４，図５に示す本発明の実施例は、幾つかの点において、特にカラーディスプレイに適応可能である。この方法は、カラーディスプレイに直接適用できるが、特定ディスプレイ装置の特性と設計者の要望に合わせ若干の変更を加えることも可能である。

図６は、無彩色ノイズを用いるＲＧＢカラーディスプレイへの本発明の応用を示す図である。同一ノイズフィールド１２を連続階調画像の全３色平面１０ａ−１０ｃに加える。各色平面は、量子化器１６ａ−ｃで個別に量子化して、ディスプレイスクリーン１８に表示する。この技法の適応化として、輝度信号に対する逆貢献によるＲ，Ｇ及びＢノイズフィールドのスケーリングがある。これは、ＨＶＳモデル２４において生じる。しかしながら、これは、ディスプレイのグレースケールの非線性が補償されていない場合は、欠点となり得る。

図７は、より多くの記憶容量を要するが、ノイズの可視性が低く、輪郭線をより正確に防止することができる方法を示す図である。ここでは、ＨＶＳモデル２４は、３つの異なる擬似ランダムノイズ平面１２ａ−ｃを生成する有彩色モデルである。このモデルは、ＣＩＥＬＡＢ色彩計のＬ＊，Ａ＊及びＢ＊チャネルと類似の視覚システムの輝度チャネルと２つの等輝度色チャネルの等価入力ノイズを含んでいる。さらに、これらの３チャネル用に各々異なる帯域幅と形状を有する異なるＣＳＦを使用する。これは、３つの等価入力ノイズの擬似ランダム画像を生成するためである。これらを、次に、Ｌ＊，Ａ＊，Ｂ＊ドメインからＲＧＢドメインに変換し、量子化前の画像に加える。

この方法の主要な利点の１つは、ノイズが色層から色層まで独立しており、ＲＧＢの加重和により形成された輝度ノイズを、図６に示した実施形態の輝度ノイズより小さくできることである。もう１つの利点は、輝度ＣＳＦに関して低い帯域幅のＣＳＦを有するためにノイズを等輝度Ｒ／Ｇ及びＢ／Ｙ層の高周波数において特に高くできることである。これにより、全３層に対して同一レベルの輪郭除去に対する大きさを減少させることができる。

図８は、図７のシステムの記憶容量問題を克服するために幾つかの効率的な手段を導入した本発明の実装例を示す。ＨＶＳの無彩色モデル２４を使用して、単一ノイズフィールド１２を発生させる。次に、このノイズフィールドを、各層毎に異なる量の空間オフセットを用いるカラー平面１０ａ−ｃに付加する。これにより、３つの層を準独立とし、より低い振幅輝度信号を得る。このノイズは、ローパスではないので、自己相関距離は非常に短く、十分に独立した色ノイズを有する色平面を残す。

画像が得られる形状により、図９に示すようなさらなる実施態様を適用できる。画像がＣＩＥＬＡＢ色成分空間で得られる場合は、例えば、ノイズをＡ＊層（ここでは赤色／緑色等輝度画像１０ｅ）又はＢ＊層（青色／黄色等輝度画像１０ｆ）又は両層に直接加えることができる。これらは、ほぼ、等輝度であるので、輝度信号は発生しない。ＨＶＳは輝度信号に最も敏感であるので、この方法は、最低のノイズ可視性をもつように輪郭線を分散させる。これは、ディスプレイの量子化器１６ａ−ｃに先行するだけでなくＲＧＢマトリックスブロック２６に対する反対色にも先行して実施される。実装設計者は、ＲＧＢマトリックスの反対色でのクリッピングに注意しなければならない。この実装において、補色のノイズ合計は一定ではないが、無彩色成分であるＲ，Ｇ及びＢの加重和は一定である。さらなる適応例においては、図８に示した空間オフセットをさらに適用できる。

カラーディスプレイに関し特に詳述した実施態様は、説明を容易にするために、ＨＶＳノイズに関してのみ記述されたことに留意すべきである。これらの実施形態は、図４の静的ディスプレイノイズ又は固定パターン誤差ノイズ２０をさらに含んでいる。但し、本発明の適用をこのように限定するつもりはない。

静的ディスプレイノイズ，ＨＶＳノイズ又は両ノイズを用いる全体的な手法を適用することにより、ビット深さが制限されているディスプレイのビット深さを有効に拡張することができる。実験結果は、知覚ビット深さが６ビット／画素から８又は９ビット／画素に増大できることを示している。

以上、ディスプレイのビット深さを拡張させる方法と構成に関する特定の実施形態について記述して来たが、かような特別な記述は、特許請求項の規定以外に本発明の範囲に制限を加えることを意図するものではない。

本発明によるビット深さが制限されているディスプレイシステム中の静的ディスプレイノイズを利用する一実施例を示す図である。 ディスプレイ装置に適用されたロバートのノイズ変調の従来技術例を説明する図である。 ビット深さが制限されているディスプレイシステムにノイズを付加する一実施例を示す図である。 本発明によるビット深さが制限されているディスプレイシステムにおいて人間視覚システムのノイズを利用する一実施例を示す図である。 本発明によるビット深さが制限されているディスプレイシステムにおいて人間視覚システムのノイズを利用する一実施例を示す図である。 本発明によるビット深さが制限されているディスプレイシステムにおいて色の特殊ノイズを利用する他の実施例を示す図である。 本発明によるビット深さが制限されているディスプレイシステムにおいて色の特殊ノイズを利用する他の実施例を示す図である。 本発明によるビット深さが制限されているディスプレイシステムにおいて色の特殊ノイズを利用する他の実施例を示す図である。 本発明によるビット深さが制限されているディスプレイシステムにおいて色の特殊ノイズを利用する他の実施例を示す図である。

符号の説明

１０…連続階調画像、１０ａ…赤色連続階調画像、１０ｂ…青色連続階調画像、１０ｃ…緑色連続階調画像、１０ｄ…無彩色連続階調画像、１０ｅ…赤色／緑色等輝度画像、１０ｆ…青色／黄色等輝度画像、１１…ＰＣＭ符号化及び伝送ブロック、１２…擬似ランダムノイズ、１２ａ…擬似ランダムノイズ、１２ｂ…擬似ランダムノイズ、１２ｃ…擬似ランダムノイズ、１３…受信及びＰＣＭ復号ブロック、１４…ディスプレイ装置、１６…量子化器、１６ａ…赤色量子化器（Ｒ量子化器）、１６ｂ…青色量子化器（Ｂ量子化器）、１６ｃ…緑色量子化器（Ｇ量子化器）、１７…減算器、１８…スクリーン、２０…固定パターン誤差、２２…人間視覚システム（ＨＶＳ）、２４…ＨＶＳノイズのモデル、２６…反対色からＲＧＢ画像へのマトリックス。

Claims (1)

1. 複数の色成分データから成る画像を表示する画像表示方法であって、
   擬似ランダムノイズ平面を生成するステップと、
   前記色成分データ毎に異なる量の空間オフセットを生成するステップと、
   を備え、
   前記空間オフセットを用いて、前記色成分毎に空間オフセットを異なるようにして前記擬似ランダムノイズ平面を色成分データに付加することを特徴とする画像表示方法。

Images