JP5343458B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関し、特に、例えば、階調変換後の画像の見た目の画質を向上させることができるようにする画像処理装置、画像処理方法およびプログラムに関する。

例えば、Nビットの画素値の画像（以下、Nビットの画像ともいう）を、Nビットよりも小さいMビットの画素値の画像を表示する表示装置で表示するには、Nビットの画像を、Mビットの画像に変換すること、つまり、画像の階調を変換する階調変換を行う必要がある。

Nビットの画像を、Mビットの画像に階調変換する方法（階調変換方法）としては、例えば、Nビットの画素値の、下位N-Mビットを、単に切り捨てて、Mビットの画素値に量子化する方法がある。

ここで、画像信号を表示装置に表示する際、その画像品質（画質）は画像信号の量子化によって大きな影響を受ける。画像信号の量子化とは、画像信号の各画素の画素値について一定の情報量で表現可能な値に近似することをいう。例えば、各画素の画素値が８ビットにより表現されている場合に、下位４ビットを切り捨てて、上位４ビットに量子化することにより、データ量を半減させることができる。

図１、及び図２を参照して、Nビットの画素値の、下位N-Mビットを切り捨てて、Mビットの画素値に量子化する階調変換方法について説明する。

図１は、グレースケールの８ビットの画像と、その画像のある水平ライン上の画素値とを示している。

図１Ａは、８ビットのグレースケール画像の例を示している。垂直方向に対しては画素値が変わらないが、水平方向に対しては画素値が徐々に変化している。図１Ｂは、図１Ａの画素値を示すグラフであり、横軸は水平方向の座標を表し、縦軸は各座標における画素値を表している。すなわち、この８ビットのグレースケール画像においては、水平方向について左から右に画素値のレベルが１００から２００に徐々に変化している。

図２は、図１の８ビットのグレースケール画像の、下位４ビットを切り捨てて４ビットに量子化した画像と、その画像のある水平ライン上の画素値とを示している。

図２Ａは、図１Ａの８ビットのグレースケール画像について、下位４ビットを切り捨てて、上位４ビットに量子化した画像の例を示している。この場合、画素値が急峻に変化する様子がグレースケール画像においてはっきり読み取れる状態になっている。図２Ｂは、図２Ａの画素値を示すグラフであり、横軸は水平方向の座標を表し、縦軸は各座標における画素値を表している。この図２Ｂのグラフからも、画素値が階段状に急峻に変化する様子がわかる。

ここで、８ビットでは、２５６（＝２⁸）階調を表現することができるが、４ビットでは、１６（＝２⁴）階調しか表現することができない。このため、８ビットのグレースケール画像の下位４ビットを切り捨てて上位４ビットに量子化する階調変換では、階調の変化が帯のように見えるバンディング(banding)が生じる。

このようなバンディングが生じるのを防止し、階調変換後の画像において、階調変換前の画像の階調を擬似的に表現する階調変換方法、すなわち、例えば、上述したように、２５６階調の画像を階調変換して得られる１６階調の画像において、人が画像を見たときに、視覚的に、１６階調で、２５６階調を表現する方法として、例えば、誤差拡散法がある。

すなわち、下位ビットを単純に切り捨てただけでは、表示された画像において量子化誤差が目立ってしまい、画像品質を保つことが困難である。そこで、このような量子化誤差を、人間の視覚特性を考慮して、高域に変調する、画像のΔΣ変調を行う方法が誤差拡散法として知られている。誤差拡散法では、量子化誤差をフィルタリングする２次元フィルタが用いられる。この２次元フィルタとしては、Ｊａｒｖｉｓ，Ｊｕｄｉｃｅ＆Ｎｉｎｋｅのフィルタ（以下、Ｊａｒｖｉｓフィルタと称する。）や、Ｆｌｏｙｄ＆Ｓｔｅｉｎｂｅｒｇのフィルタ（以下、Ｆｌｏｙｄフィルタと称する。）が知られている（例えば、非特許文献１参照。）。

貴家仁志著，「よくわかるディジタル画像処理」，第６版，ＣＱ出版株式会社，２０００年１月，ｐ．１９６−２１３

上述のＪａｒｖｉｓフィルタおよびＦｌｏｙｄフィルタは、表示装置等が十分な解像度を有する場合には量子化誤差を人間の視覚特性で知覚しにくい周波数帯域に変調することができる。しかしながら、表示装置等が十分な解像度を有していない場合、ＪａｒｖｉｓフィルタやＦｌｏｙｄフィルタでは、量子化誤差を人間の視覚特性で知覚しにくい周波数帯域に変調することが困難になる。

すなわち、図３は、人の視覚の空間周波数特性（視覚特性）と、ＪａｒｖｉｓフィルタおよびＦｌｏｙｄフィルタのそれぞれを用いたΔΣ変調によるノイズシェーピングの特性（振幅特性）を示している。

ここで、図３において、特性７１０は、視覚特性を表す。また、特性７２１は、Ｊａｒｖｉｓフィルタを用いたノイズシェーピングの特性を表し、特性７２２は、Ｆｌｏｙｄフィルタを用いたノイズシェーピングの特性を表す。

人間の視覚特性を表現するためには、横軸に空間周波数ｆ［単位：ｃｐｄ（cycle/degree）］、縦軸にコントラスト感度を表すコントラスト感度曲線が用いられる。cpdは、視野角に対する単位角度（視野角１度）あたりで表示できる縞の本数を表す。
例えば、10cpdは、視野角１度の範囲に、白線と黒線のペアが１０ペア見えることを意味し、20cpdは、視野角１度の範囲に、白線と黒線のペアが２０ペア見えることを意味する。

表示装置として例えば最高周波数が１２０ｃｐｄ程度の解像度の高いプリンタを想定すると、図３ＡのようにＪａｒｖｉｓフィルタおよびＦｌｏｙｄフィルタのいずれでも人間の視覚において知覚しにくい周波数帯域に量子化誤差を変調することができる。

しかしながら、表示装置として水平方向１９２０画素×垂直方向１０８０画素の高精細ディスプレイを想定すると、視野角に対する単位角度あたりの最高周波数は約３０ｃｐｄとなる。この場合、図３ＢのようにＪａｒｖｉｓフィルタやＦｌｏｙｄフィルタでは、人間の視覚特性に対して十分感度が低い帯域に量子化誤差を変調することが困難となる。このような事態は、表示装置の解像度によってサンプリング周波数が決まってしまう一方で、人間の視覚特性は固有の値を有することに起因する。

以上のように、ＪａｒｖｉｓフィルタやＦｌｏｙｄフィルタでは、人間の視覚特性に対して十分感度が低い帯域に量子化誤差を変調することが困難なことがあり、その結果、階調変換後の画像の見た目の画質が劣化することがある。

なお、人間の視覚特性に対して感度が低い帯域に量子化誤差を十分に変調させようとした場合、誤差拡散法に用いる２次元フィルタの出力が発散するハンチング現象（hunting phenomena）を生じやすくなることがある。この場合、やはり、階調変換後の画像の見た目の画質が劣化することがある。

本発明はこのような状況に鑑みてなされたものであり、階調変換後の画像の見た目の画質を向上させることができるようにするものである。

本発明の一側面の画像処理装置、又は、プログラムは、画像に、ΔΣ変調を施すことにより、前記画像の階調を変換するΔΣ変調手段を備え、前記ΔΣ変調手段は、量子化誤差をフィルタリングする演算手段と、前記画像の画素値と、前記演算手段の出力とを加算する加算手段と、前記加算手段の出力を量子化し、前記量子化誤差を含む量子化値を、ΔΣ変調の結果として出力する量子化手段と、前記加算手段の出力と、前記加算手段の出力の前記量子化値との差分を演算することにより、前記量子化誤差を求める減算手段とを有し、前記演算手段によるフィルタリングのフィルタ係数は、人の視覚の空間周波数特性のうちの、前記ΔΣ変調が施された画像を表示する表示手段の解像度に対応する空間周波数以下の特性に基づき、前記ΔΣ変調手段によって行われるノイズシェーピングの振幅特性の中域以上の特性が、人の視覚の空間周波数特性の逆の特性になるように決定され、前記ノイズシェーピングの振幅特性は、前記表示手段が表示することができる画像の空間周波数の最高周波数までの周波数帯域の低域又は中域で負になり、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加し、ゲイン1を超える画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムである。

本発明の一側面の画像処理方法は、画像に、ΔΣ変調を施すことにより、前記画像の階調を変換するΔΣ変調手段を備える画像処理装置の前記ΔΣ変調手段が、量子化誤差をフィルタリングする演算手段と、前記画像の画素値と、前記演算手段の出力とを加算する加算手段と、前記加算手段の出力を量子化し、前記量子化誤差を含む量子化値を、ΔΣ変調の結果として出力する量子化手段と、前記加算手段の出力と、前記加算手段の出力の前記量子化値との差分を演算することにより、前記量子化誤差を求める減算手段とを有し、前記加算手段が、前記画像の画素値と、前記演算手段の出力とを加算し、前記量子化手段が、前記加算手段の出力を量子化し、前記量子化誤差を含む量子化値を、ΔΣ変調の結果として出力し、前記減算手段が、前記加算手段の出力と、前記加算手段の出力の前記量子化値との差分を演算することにより、前記量子化誤差を求め、前記演算手段が、前記量子化誤差をフィルタリングし、前記加算手段に出力するステップを含み、前記演算手段によるフィルタリングのフィルタ係数は、人の視覚の空間周波数特性のうちの、前記ΔΣ変調が施された画像を表示する表示手段の解像度に対応する空間周波数以下の特性に基づき、前記ΔΣ変調手段によって行われるノイズシェーピングの振幅特性の中域以上の特性が、人の視覚の空間周波数特性の逆の特性になるように決定され、前記ノイズシェーピングの振幅特性は、前記表示手段が表示することができる画像の空間周波数の最高周波数までの周波数帯域の低域又は中域で負になり、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加し、ゲイン1を超える画像処理方法である。

以上のような一側面においては、前記加算手段が、前記画像の画素値と、前記演算手段の出力とを加算し、前記量子化手段が、前記加算手段の出力を量子化し、前記量子化誤差を含む量子化値を、ΔΣ変調の結果として出力する。そして、前記減算手段が、前記加算手段の出力と、前記加算手段の出力の前記量子化値との差分を演算することにより、前記量子化誤差を求め、前記演算手段が、前記量子化誤差をフィルタリングし、前記加算手段に出力する。この場合において、前記演算手段によるフィルタリングのフィルタ係数は、人の視覚の空間周波数特性のうちの、前記ΔΣ変調が施された画像を表示する表示手段の解像度に対応する空間周波数以下の特性に基づき、前記ΔΣ変調手段によって行われるノイズシェーピングの振幅特性の中域以上の特性が、人の視覚の空間周波数特性の逆の特性になるように決定される。また、前記ノイズシェーピングの振幅特性は、前記表示手段が表示することができる画像の空間周波数の最高周波数までの周波数帯域の低域又は中域で負になり、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加し、ゲイン1を超える。

なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本発明の一側面によれば、階調変換後の画像の見た目の画質を向上させることができる。

次に本発明の実施の形態について図面を参照して詳細に説明する。

［画像処理装置の全体構成例］
図４は、本発明の実施の形態における画像処理装置の一構成例を示す図である。

この画像処理装置は、信号線１０１から２次元画像信号を入力信号ＩＮ（ｘ，ｙ）として入力して、信号線２０９から出力信号ＯＵＴ（ｘ，ｙ）を出力する階調変換装置であり、安定化器１００および階調変調器２００を備える。

階調変調器２００は、ΔΣ変調器を構成しており、量子化誤差（量子化ノイズ）を高周波領域に変調するノイズシェーピング効果を有する。本発明の実施の形態では、視野角に対する単位角度あたりの最高周波数が３０ｃｐｄ程度の場合でも人間の目に知覚されにくい帯域に量子化誤差を十分に変調するように、ΔΣ変調器のノイズシェーピングの特性が決定される。このため、ΔΣ変調器が発散するハンチング現象が生じることがある。このハンチング現象は、同じデータが連続して入力された時に起こりやすい現象であるため、画像処理装置に、安定化器１００を設けて、同じデータが連続した場合にはΔΣ変調器が発散しないような微小なノイズを付加することによりハンチング現象を回避する。

安定化器１００は、固定値検出部１１０と、ランダムノイズ発生部１２０と、スイッチ１３０と、加算器１４０とを備える。また、階調変調器２００は、量子化部２１０と、逆量子化部２２０と、減算器２３０と、フィードバック演算部２４０と、加算器２５０とを備える。安定化器１００の出力は修正信号Ｆ（ｘ，ｙ）として信号線１０９に出力され、階調変調器２００に入力される。

固定値検出部１１０は、入力信号ＩＮ（ｘ，ｙ）に対して、過去の修正信号Ｆ（ｘ，ｙ）と同じデータを有するものであるか否かを比較して、同じデータが固定値として連続して入力されていることを検出するものである。ここで、入力信号IN(x,y)は、階調変換の対象の画像の位置(x,y)の画素の画素値である。

ランダムノイズ発生部１２０は、ランダムノイズを発生するものである。このランダムノイズのノイズレベルは、階調変調器２００のフィードバック演算部２４０のフィルタ係数に依存する。

スイッチ１３０は、固定値検出部１１０によりオン／オフ制御されるスイッチである。スイッチ１３０は、固定値検出部１１０において固定値が検出された場合にランダムノイズ発生部１２０によって発生されたランダムノイズを加算器１４０に供給し、それ以外の場合には加算器１４０にランダムノイズを供給しない。

加算器１４０は、入力信号ＩＮ（ｘ，ｙ）とスイッチ１３０の出力を加算する加算器である。加算器１４０は、スイッチ１３０からランダムノイズが供給されている場合には入力信号ＩＮ（ｘ，ｙ）に対してランダムノイズを加えて修正信号Ｆ（ｘ，ｙ）として出力する。また、加算器１４０は、スイッチ１３０からランダムノイズが供給されていない場合には入力信号ＩＮ（ｘ，ｙ）をそのまま修正信号Ｆ（ｘ，ｙ）として出力する。

量子化部２１０は、加算器２５０の出力を量子化する量子化器である。この量子化部２１０は、例えば加算器２５０から１２ビット幅のデータが入力され、階調変換後の画像を表示する図示せぬ表示装置が８ビットの画像を表示する場合、下位４ビットを切り捨てて、上位８ビットを出力信号ＯＵＴ（ｘ，ｙ）として出力する。ここで、出力信号OUT(x,y)は、階調変換後の画像の位置(x,y)の画素の画素値である。

逆量子化部２２０は、量子化部２１０によって量子化された出力信号ＯＵＴ（ｘ，ｙ）を逆量子化する逆量子化器である。この逆量子化部２２０は、例えば量子化された出力信号ＯＵＴ（ｘ，ｙ）が８ビット幅である場合、下位４ビットに「００００」を埋め込んで（padding）、入力信号IN(x,y)と同様の１２ビット幅データを出力する。

減算器２３０は、加算器２５０の出力と逆量子化部２２０の出力との差分を算出する減算器である。この減算器２３０は、加算器２５０の出力から逆量子化部２２０の出力を減算することにより、量子化部２１０において切り捨てられた量子化誤差Ｑ（ｘ，ｙ）を信号線２３９に出力する。

フィードバック演算部２４０は、減算器２３０から出力された過去の量子化誤差Ｑ（ｘ，ｙ）をフィルタリングする、例えば、２次元フィルタであり、例えば、FIR(Finite Impulse Response)フィルタで構成することができる。

すなわち、フィードバック演算部２４０は、減算器２３０から出力された過去の量子化誤差Ｑ（ｘ，ｙ）に対して、例えば、予め定められたフィルタ係数を乗じてそれらを加算するものである。このフィードバック演算部２４０による積和演算によって算出された値つまり、量子化誤差のフィルタリングの結果は、フィードバック値として加算器２５０に供給される。

加算器２５０は、階調変調器２００に入力された修正信号Ｆ（ｘ，ｙ）に対して、フィードバック演算部２４０によって算出されたフィードバック値をフィードバックするための加算器である。この加算器２５０は、階調変調器２００に入力された修正信号Ｆ（ｘ，ｙ）と、フィードバック演算部２４０によって算出されたフィードバック値とを加算して、その結果を量子化部２１０および減算器２３０に出力する。

この画像処理装置において、階調変調器２００への入力である修正信号Ｆ（ｘ，ｙ）と、 階調変調器２００からの出力である出力信号ＯＵＴ（ｘ，ｙ）とは、以下の式で表される入出力関係を有する。

ＯＵＴ（ｘ，ｙ）＝Ｆ（ｘ，ｙ）−（１−Ｇ）×Ｑ（ｘ，ｙ）
・・・（１）

なお、式（１）において、Gは、フィードバック演算部２４０である２次元フィルタの伝達関数を表す。

式（１）によれば、量子化誤差Ｑ（ｘ，ｙ）は、伝達関数（１−Ｇ）のノイズシェーピングにより、高域に変調される。

［画像処理装置による画素の処理順序］
図５は、本発明の実施の形態における画像信号の各画素の処理順序を示す図である。

ここでは、画像信号の各画素の位置（座標）を、左上の画素（の中心）を基準座標（原点）（０，０）とし、かつ、横軸をx軸とするとともに、縦軸をy軸とする２次元座標系によって表す。なお、隣接する画素どうしの距離は、1であることとする。

図４の画像処理装置は、同図の矢印のように、左から右、上から下へラスタスキャン順に、階調変換前の画像を構成する画素を、処理の対象である注目画素として注目し、処理を行う。すなわち、画像処理装置には、入力信号ＩＮ（０，０）、ＩＮ（１，０）、ＩＮ（２，０）、・・・、ＩＮ（０，１）、ＩＮ（１，１）、ＩＮ（２，１）、・・・が、その順に入力される。

また、固定値検出部１１０やフィードバック演算部２４０では、他の画素を参照する際の所定の領域として、このラスタスキャンの順序が考慮される。例えば、固定値検出部１１０において入力信号ＩＮ（ｘ，ｙ）の固定値を検出する際には、点線で囲まれた領域の１２個の修正信号Ｆ（ｘ−２，ｙ−２）、Ｆ（ｘ−１，ｙ−２）、Ｆ（ｘ，ｙ−２）、Ｆ（ｘ＋１，ｙ−２）、Ｆ（ｘ＋２，ｙ−２）、Ｆ（ｘ−２，ｙ−１）、Ｆ（ｘ−１，ｙ−１）、Ｆ（ｘ，ｙ−１）、Ｆ（ｘ＋１，ｙ−１）、Ｆ（ｘ＋２，ｙ−１）、Ｆ（ｘ−２，ｙ）およびＦ（ｘ−１，ｙ）、すなわち過去の修正信号が参照される。同様に、フィードバック演算部２４０において修正信号Ｆ（ｘ，ｙ）に対応するフィードバック値を算出する際には、点線で囲まれた領域の１２個の量子化誤差Ｑ（ｘ−２，ｙ−２）、Ｑ（ｘ−１，ｙ−２）、Ｑ（ｘ，ｙ−２）、Ｑ（ｘ＋１，ｙ−２）、Ｑ（ｘ＋２，ｙ−２）、Ｑ（ｘ−２，ｙ−１）、Ｑ（ｘ−１，ｙ−１）、Ｑ（ｘ，ｙ−１）、Ｑ（ｘ＋１，ｙ−１）、Ｑ（ｘ＋２，ｙ−１）、Ｑ（ｘ−２，ｙ）およびＱ（ｘ−１，ｙ）、すなわち過去の量子化誤差が参照される。

なお、階調変換前の画像が、輝度信号Ｙ、色差信号ＣｂおよびＣｒ等からなるカラー画像信号の場合、各信号に対して階調変換処理が行われる。すなわち、輝度信号Ｙは単独で階調変換処理が行われ、色差信号ＣｂおよびＣｒについても、それぞれ単独で階調変換処理が行われる。

［固定値検出部１１０の構成例］
図６は、図４の固定値検出部１１０の一構成例を示す図である。

この固定値検出部１１０は、修正画素値供給部１１１と、比較器１１６１乃至１１７２と、論理積演算器１１８とを備えている。

修正画素値供給部１１１は、修正信号Ｆ（ｘ，ｙ）の過去の画素値を供給するものである。この例では、１２個の修正信号Ｆ（ｘ−２，ｙ−２）、Ｆ（ｘ−１，ｙ−２）、Ｆ（ｘ，ｙ−２）、Ｆ（ｘ＋１，ｙ−２）、Ｆ（ｘ＋２，ｙ−２）、Ｆ（ｘ−２，ｙ−１）、Ｆ（ｘ−１，ｙ−１）、Ｆ（ｘ，ｙ−１）、Ｆ（ｘ＋１，ｙ−１）、Ｆ（ｘ＋２，ｙ−１）、Ｆ（ｘ−２，ｙ）およびＦ（ｘ−１，ｙ）が供給されることを想定する。

比較器１１６１乃至１１７２は、修正画素値供給部１１１から供給される修正信号Ｆの画素値のそれぞれと、入力信号ＩＮ（ｘ，ｙ）とを比較して両者の一致を検出するものである。

論理積演算器１１８は、比較器１１６１乃至１１７２の出力の論理積を生成するＡＮＤゲートである。すなわち、この論理積演算器１１８は、比較器１１６１乃至１１７２の全てにおいて一致が検出された場合には真値「１」を、何れかにおいて一致が検出されなかった場合には偽値「０」を、信号線１１９に出力する。

［修正画素値供給部１１１の構成例］
図７は、図６の修正画素値供給部１１１の一構成例を示す図である。

この修正画素値供給部１１１は、メモリ１１１１と、ライト部１１１４と、リード部１１１５および１１１６と、遅延素子１１２１乃至１１３２とを備える。

メモリ１１１１は、ラインメモリ＃０（１１１２）および＃１（１１１３）を備える。ラインメモリ＃０（１１１２）は、垂直方向Ｙ＝（ｙ−２）のラインの修正信号Ｆを保持するメモリである。ラインメモリ＃１（１１１３）は、垂直方向Ｙ＝（ｙ−１）のラインの修正信号Ｆを保持するメモリである。

ライト部１１１４は、メモリ１１１１に修正信号Ｆ（ｘ，ｙ）を書き込むものである。リード部１１１５は、ラインメモリ＃０（１１１２）から垂直方向Ｙ＝（ｙ−２）のラインの修正信号Ｆを１つずつ読み出すものである。リード部１１１５の出力である修正信号Ｆ（ｘ＋２，ｙ−２）は、遅延素子１１２４に入力されるとともに、信号線１１４５を介して比較器１１６５の一方の入力として供給される。また、リード部１１１６は、ラインメモリ＃１（１１１３）から垂直方向Ｙ＝（ｙ−１）のラインの修正信号Ｆを１つずつ読み出すものである。リード部１１１６の出力である修正信号Ｆ（ｘ＋２，ｙ−１）は、遅延素子１１２９に入力されるとともに、信号線１１５０を介して比較器１１７０の一方の入力として供給される。

遅延素子１１２１乃至１１２４は、リード部１１１５の出力を遅延させるシフトレジスタを構成する。すなわち、遅延素子１１２４の出力である修正信号Ｆ（ｘ＋１，ｙ−２）は、遅延素子１１２３に入力されるとともに、信号線１１４４を介して比較器１１６４の一方の入力として供給される。また、遅延素子１１２３の出力である修正信号Ｆ（ｘ，ｙ−２）は、遅延素子１１２２に入力されるとともに、信号線１１４３を介して比較器１１６３の一方の入力として供給される。また、遅延素子１１２２の出力である修正信号Ｆ（ｘ−１，ｙ−２）は、遅延素子１１２１に入力されるとともに、信号線１１４２を介して比較器１１６２の一方の入力として供給される。また、遅延素子１１２１の出力である修正信号Ｆ（ｘ−２，ｙ−２）は、信号線１１４１を介して比較器１１６１の一方の入力として供給される。

遅延素子１１２６乃至１１２９は、リード部１１１６の出力を遅延させるシフトレジスタを構成する。すなわち、遅延素子１１２９の出力である修正信号Ｆ（ｘ＋１，ｙ−１）は、遅延素子１１２８に入力されるとともに、信号線１１４９を介して比較器１１６９の一方の入力として供給される。また、遅延素子１１２８の出力である修正信号Ｆ（ｘ，ｙ−１）は、遅延素子１１２７に入力されるとともに、信号線１１４８を介して比較器１１６８の一方の入力として供給される。また、遅延素子１１２７の出力である修正信号Ｆ（ｘ−１，ｙ−１）は、遅延素子１１２６に入力されるとともに、信号線１１４７を介して比較器１１６７の一方の入力として供給される。また、遅延素子１１２６の出力である修正信号Ｆ（ｘ−２，ｙ−１）は、信号線１１４６を介して比較器１１６６の一方の入力として供給される。

遅延素子１１３１および１１３２は、修正信号Ｆ（ｘ，ｙ）を遅延させるシフトレジスタを構成する。すなわち、遅延素子１１３２の出力である修正信号Ｆ（ｘ−１，ｙ）は、遅延素子１１３１に入力されるとともに、信号線１１５２を介して比較器１１７２の一方の入力として供給される。また、遅延素子１１３１の出力である修正信号Ｆ（ｘ−２，ｙ）は、信号線１１５１を介して比較器１１７１の一方の入力として供給される。

信号線１０９の修正信号Ｆ（ｘ，ｙ）は、ラインメモリ＃０（１１１２）のアドレスｘに格納される。ラスタスキャンの順番で１ライン分の処理が終了すると、ラインメモリ＃０（１１１２）とラインメモリ＃１（１１１３）を交換することにより、ラインメモリ＃０（１１１２）に格納される修正信号は垂直方向Ｙ＝（ｙ−２）のラインに対応し、ラインメモリ＃１（１１１３）に格納される修正信号は垂直方向Ｙ＝（ｙ−１）のラインに対応するようになる。

［フィードバック演算部２４０の構成例］
図８は、図４のフィードバック演算部２４０の一構成例を示す図である。

このフィードバック演算部２４０は、量子化誤差供給部２４１と、乗算器２４６１乃至２４７２と、加算器２４８とを備え、FIRフィルタを構成している。

量子化誤差供給部２４１は、量子化誤差Ｑ（ｘ，ｙ）の過去の値を供給するものである。この例では、１２個の量子化誤差Ｑ（ｘ−２，ｙ−２）、Ｑ（ｘ−１，ｙ−２）、Ｑ（ｘ，ｙ−２）、Ｑ（ｘ＋１，ｙ−２）、Ｑ（ｘ＋２，ｙ−２）、Ｑ（ｘ−２，ｙ−１）、Ｑ（ｘ−１，ｙ−１）、Ｑ（ｘ，ｙ−１）、Ｑ（ｘ＋１，ｙ−１）、Ｑ（ｘ＋２，ｙ−１）、Ｑ（ｘ−２，ｙ）およびＱ（ｘ−１，ｙ）が供給されることを想定する。

乗算器２４６１乃至２４７２は、量子化誤差供給部２４１から供給される量子化誤差Ｑと、フィルタ係数ｇとの乗算を行う乗算器である。この例では、１２個のフィルタ係数を想定し、乗算器２４６１は量子化誤差Ｑ（ｘ−２，ｙ−２）とフィルタ係数ｇ（１，１）の乗算を、乗算器２４６２は量子化誤差Ｑ（ｘ−１，ｙ−２）とフィルタ係数ｇ（２，１）の乗算を、乗算器２４６３は量子化誤差Ｑ（ｘ，ｙ−２）とフィルタ係数ｇ（３，１）の乗算を、乗算器２４６４は量子化誤差Ｑ（ｘ＋１，ｙ−２）とフィルタ係数ｇ（４，１）の乗算を、乗算器２４６５は量子化誤差Ｑ（ｘ＋２，ｙ−２）とフィルタ係数ｇ（５，１）の乗算を、乗算器２４６６は量子化誤差Ｑ（ｘ−２，ｙ−１）とフィルタ係数ｇ（１，２）の乗算を、乗算器２４６７は量子化誤差Ｑ（ｘ−１，ｙ−１）とフィルタ係数ｇ（２，２）の乗算を、乗算器２４６８は量子化誤差Ｑ（ｘ，ｙ−１）とフィルタ係数ｇ（３，２）の乗算を、乗算器２４６９は量子化誤差Ｑ（ｘ＋１，ｙ−１）とフィルタ係数ｇ（４，２）の乗算を、乗算器２４７０は量子化誤差Ｑ（ｘ＋２，ｙ−１）とフィルタ係数ｇ（５，２）の乗算を、乗算器２４７１は量子化誤差Ｑ（ｘ−２，ｙ）とフィルタ係数ｇ（１，３）の乗算を、乗算器２４７２は量子化誤差Ｑ（ｘ−１，ｙ）とフィルタ係数ｇ（２，３）の乗算を、それぞれ行う。

加算器２４８は、乗算器２４６１乃至２４７２の出力を加算する加算器である。この加算器２４８による加算結果は、信号線２４９を介して加算器２５０の一方の入力にフィードバック値として供給される。

［量子化誤差供給部２４１の構成例］
図９は、図８の量子化誤差供給部２４１の一構成例を示す図である。

この量子化誤差供給部２４１は、メモリ２４１１と、ライト部２４１４と、リード部２４１５および２４１６と、遅延素子２４２１乃至２４３２とを備える。

メモリ２４１１は、ラインメモリ＃０（２４１２）および＃１（２４１３）を備える。ラインメモリ＃０（２４１２）は、垂直方向Ｙ＝（ｙ−２）のラインの量子化誤差Ｑを保持するメモリである。ラインメモリ＃１（２４１３）は、垂直方向Ｙ＝（ｙ−１）のラインの量子化誤差Ｑを保持するメモリである。

ライト部２４１４は、メモリ２４１１に量子化誤差Ｑ（ｘ，ｙ）を書き込むものである。リード部２４１５は、ラインメモリ＃０（２４１２）から垂直方向Ｙ＝（ｙ−２）のラインの量子化誤差Ｑを１つずつ読み出すものである。リード部２４１５の出力である量子化誤差Ｑ（ｘ＋２，ｙ−２）は、遅延素子２４２４に入力されるとともに、信号線２４４５を介して乗算器２４６５の一方の入力として供給される。また、リード部２４１６は、ラインメモリ＃１（２４１３）から垂直方向Ｙ＝（ｙ−１）のラインの量子化誤差Ｑを１つずつ読み出すものである。リード部２４１６の出力である量子化誤差Ｑ（ｘ＋２，ｙ−１）は、遅延素子２４２９に入力されるとともに、信号線２４５０を介して乗算器２４７０の一方の入力として供給される。

遅延素子２４２１乃至２４２４は、リード部２４１５の出力を遅延させるシフトレジスタを構成する。すなわち、遅延素子２４２４の出力である量子化誤差Ｑ（ｘ＋１，ｙ−２）は、遅延素子２４２３に入力されるとともに、信号線２４４４を介して乗算器２４６４の一方の入力として供給される。また、遅延素子２４２３の出力である量子化誤差Ｑ（ｘ，ｙ−２）は、遅延素子２４２２に入力されるとともに、信号線２４４３を介して乗算器２４６３の一方の入力として供給される。また、遅延素子２４２２の出力である量子化誤差Ｑ（ｘ−１，ｙ−２）は、遅延素子２４２１に入力されるとともに、信号線２４４２を介して乗算器２４６２の一方の入力として供給される。また、遅延素子２４２１の出力である量子化誤差Ｑ（ｘ−２，ｙ−２）は、信号線２４４１を介して乗算器２４６１の一方の入力として供給される。

遅延素子２４２６乃至２４２９は、リード部２４１６の出力を遅延させるシフトレジスタを構成する。すなわち、遅延素子２４２９の出力である量子化誤差Ｑ（ｘ＋１，ｙ−１）は、遅延素子２４２８に入力されるとともに、信号線２４４９を介して乗算器２４６９の一方の入力として供給される。また、遅延素子２４２８の出力である量子化誤差Ｑ（ｘ，ｙ−１）は、遅延素子２４２７に入力されるとともに、信号線２４４８を介して乗算器２４６８の一方の入力として供給される。また、遅延素子２４２７の出力である量子化誤差Ｑ（ｘ−１，ｙ−１）は、遅延素子２４２６に入力されるとともに、信号線２４４７を介して乗算器２４６７の一方の入力として供給される。また、遅延素子２４２６の出力である量子化誤差Ｑ（ｘ−２，ｙ−１）は、信号線２４４６を介して乗算器２４６６の一方の入力として供給される。

遅延素子２４３１および２４３２は、量子化誤差Ｑ（ｘ，ｙ）を遅延させるシフトレジスタを構成する。すなわち、遅延素子２４３２の出力である量子化誤差Ｑ（ｘ−１，ｙ）は、遅延素子２４３１に入力されるとともに、信号線２４５２を介して乗算器２４７２の一方の入力として供給される。また、遅延素子２４３１の出力である量子化誤差Ｑ（ｘ−２，ｙ）は、信号線２４５１を介して比較器２４７１の一方の入力として供給される。

信号線２３９の量子化誤差Ｑ（ｘ，ｙ）は、ラインメモリ＃０（２４１２）のアドレスｘに格納される。ラスタスキャンの順番で１ライン分の処理が終了すると、ラインメモリ＃０（２４１２）とラインメモリ＃１（２４１３）を交換することにより、ラインメモリ＃０（２４１２）に格納される量子化誤差は垂直方向Ｙ＝（ｙ−２）のラインに対応し、ラインメモリ＃１（２４１３）に格納される量子化誤差は垂直方向Ｙ＝（ｙ−１）のラインに対応するようになる。

［階調変調器２００のノイズシェーピングの特性、及びフィードバック演算部２４０によるフィルタリングのフィルタ係数］
図１０は、人間の視覚特性、および階調変換後の画像を表示する表示装置が表示することができる画像の空間周波数の最高周波数を３０ｃｐｄとした場合の、図４の階調変調器２００のΔΣ変調によるノイズシェーピングの振幅特性を示す図である。

横軸は空間周波数ｆ［ｃｐｄ］を表しており、人間の視覚特性７１０については縦軸がコントラスト感度を表し、ノイズシェーピングの振幅特性７２１、７２２および７３０については縦軸がゲインを表している。

なお、振幅特性７２１と７２２は、それぞれ、図３と同様に、Ｊａｒｖｉｓフィルタを用いたノイズシェーピングの振幅特性と、Ｆｌｏｙｄフィルタを用いたノイズシェーピングの振幅特性を表す。また、振幅特性７３０は、２次元フィルタとしてのフィードバック演算部２４０を用いたノイズシェーピングの振幅特性を表す。

図１０では、人間の視覚特性７１０は、空間周波数ｆが７ｃｐｄ付近でピーク値となり、６０ｃｐｄ付近まで減衰していく。これに対し、図４の階調変調器２００によるノイズシェーピングの振幅特性７３０は、空間周波数ｆが１２ｃｐｄ付近までマイナス方向に減衰し、その後急峻に立ち上がる曲線となっている。すなわち、振幅特性７３０は、表示装置が表示することができる画像の空間周波数の最高周波数の略３分の２までの低域成分の量子化誤差を減少させるようになっており、人間の視覚特性７１０に対して十分感度が低い帯域に量子化誤差を変調している。

なお、従来のＪａｒｖｉｓフィルタおよびＦｌｏｙｄフィルタでは、振幅特性７２１および７２２から、人間の視覚特性７１０に対して十分感度が低い帯域に量子化誤差を変調しきれていないことがわかる。

図４の階調変調器２００を構成するフィードバック演算部２４０によるフィルタリングのフィルタ係数は、階調変調器２００のΔΣ変調によるノイズシェーピングの振幅特性が、図１０の振幅特性７３０となるように決定される。

すなわち、図４の画像処理装置による階調変換後の画像は、図示せぬ表示装置で表示される。したがって、表示装置に表示される画像の画質を向上させる観点からは、人の視覚の空間周波数特性（視覚特性）については、表示装置で表示される画像の最高の空間周波数までを考慮すればよい。

そこで、フィードバック演算部２４０によるフィルタリングのフィルタ係数は、人の視覚の空間周波数特性（視覚特性）のうちの、表示装置の解像度に対応する空間周波数以下の特性に基づいて決定される。

具体的には、表示装置で表示される画像の最高の空間周波数は、表示装置の解像度と、表示装置に表示された画像を視聴するときの、視聴者から表示装置までの距離（以下、視聴距離ともいう）とから、cpdを単位とする空間周波数で得ることができる。

なお、表示装置の垂直方向（縦）の長さをHインチと表すこととすると、視聴距離としては、例えば、2.5Hないし3.0H程度が採用される。

例えば、表示装置が、いわゆるフルHD(High Definition)の画像を表示する横×縦が1920×1080画素の40インチのサイズを有する場合、表示装置で表示される画像の最高の空間周波数は、30cpdとなる。

ここで、表示装置で表示される画像の最高の空間周波数は、表示装置の解像度によって決まるので、以下、適宜、解像度に対応する空間周波数ともいう。

図１０では、表示装置の解像度に対応する空間周波数以下の視覚特性７１０が示されている。

すなわち、図１０では、表示装置の解像度に対応する空間周波数が、例えば、30cpdであるとして、30cpd以下の視覚特性７３０が示されている。

フィードバック演算部２４０によるフィルタリングのフィルタ係数は、図１０の視覚特性７１０に基づき、表示装置の解像度に対応する空間周波数以下の周波数帯域において、階調変調器２００によるノイズシェーピングの中域以上の特性が、図１０の視覚特性７１０の逆の特性になるように決定される。

図１０の振幅特性７３０は、そのようにしてフィルタ係数が決定されたノイズシェーピングの振幅特性を示している。

図１０の振幅特性７３０、すなわち、階調変調器２００によるノイズシェーピングの振幅特性７３０は、表示装置の解像度に対応する空間周波数である30cpdにおいて、利得が最大になり、さらに、（0cpdから）表示装置の解像度に対応する空間周波数までの周波数帯域のうちの、中域以上の特性が、図１０の視覚特性７１０の逆の特性（以下、適宜、逆特性ともいう）、いわば、HPF（High Pass Filter）の特性になっている。

さらに、階調変調器２００によるノイズシェーピングの振幅特性７３０は、高域で、Floydフィルタを用いたノイズシェーピングの振幅特性７２２よりも急峻に増加する。

したがって、図１０の振幅特性７３０を有するノイズシェーピングによれば、階調変換後の画像の画素値（出力信号）OUT(x,y)に含まれる量子化誤差のうちの、人の視覚の感度が低い、より高域の周波数成分は大となり、人の視覚の感度が高い7cpd付近を含む中域の周波数成分は小となる。

その結果、階調変換後の画像に、ノイズとしての量子化誤差が視認されることを防止して、見た目の画質を向上させることができる。

なお、ノイズシェーピングの中域以上の振幅特性は、人の視覚の逆特性に、完全に一致している必要はない。すなわち、ノイズシェーピングの中域以上の振幅特性は、人の視覚の逆特性に類似していればよい。

また、ノイズシェーピングの振幅特性は、その全体を、視覚特性７１０の逆の特性とすることができる。

すなわち、図１０の視覚特性７１０によれば、人の視覚の感度が低い周波数成分としては、高域の周波数成分の他に、低域の周波数成分があり、ノイズシェーピングの振幅特性としては、高域と低域の周波数成分を通過させるような、いわゆるバンドパスフィルタの特性を採用することができる。

但し、ノイズシェーピングの振幅特性として、バンドバスフィルタの特性を採用する場合には、ノイズシェーピングの振幅特性のタップ数が多くなり、装置が大規模化、高コスト化する。

したがって、装置の規模、及びコストの観点等からは、ノイズシェーピングの振幅特性としては、図１０に示した、中域以上の振幅特性が、人の視覚の逆特性のHPFの特性を採用することが望ましい。

なお、図１０において、階調変調器２００によるノイズシェーピングの振幅特性７３０は、高域で、ゲイン1を大きく超えているが、これは、JarvisフィルタやFloydフィルタを用いる場合よりも、高域の量子化誤差を、大きく増幅していることを表す。

また、図１０では、階調変調器２００によるノイズシェーピングの振幅特性７３０は、低域から中域にかけて、ゲインが負になっているが、これにより、フィードバック演算部２４０を、少ないタップ数の２次元フィルタで構成することができる。

すなわち、例えば、階調変調器２００によるノイズシェーピングの振幅特性７３０として、低域及び中域のゲインが0で、高域だけ、ゲインが急峻に増加する振幅特性を実現するには、フィードバック演算部２４０を、多くのタップ数の２次元フィルタで構成する必要がある。

これに対して、階調変調器２００によるノイズシェーピングの振幅特性７３０を、低域又は中域で、ゲインが負になるようにした場合には、少ないタップ数の２次元フィルタ、すなわち、例えば、図８に示した12タップの２次元フィルタ（12個のフィルタ係数g(1,1),g(2,1),g(3,1),g(4,1),g(5,1),g(1,2),g(2,2),g(3,2),g(4,2),g(5,2),g(1,3),g(2,3)のフィルタ）によって、高域のゲインを、Floydフィルタを用いる場合よりも急峻に増加させることができる。

したがって、階調変調器２００を小型に構成することができる。

［階調変換後の画像の説明］
図１１は、図４の画像処理装置による階調変換後の画像の一例を示す図である。

図１１Ａは、図４の画像処理装置によって、図１Ａの８ビットのグレースケール画像を、４ビットの画像に階調変換した階調変換後の画像の例を示している。この例から、４ビットの１６階調により図１Ａと視覚的に同等の階調を表現できていることがわかる。

図１１Ｂは、図１１Ａの画素値を示すグラフであり、横軸は水平方向の座標を表し、縦軸は各座標における画素値を表している。この例では、４ビットに量子化されているため、図２Ｂのグラフに近い階段形状を有しているが、画素値が遷移する部分はドット密度で表現されていることがわかる。

すなわち、８ビットによれば、２５６階調を表現することができるのに対して、４ビットでは、１６階調しか表現することができない。しかしながら、階調変換後の４ビットの画像では、画素値が、ある量子化値Qとなる画素と、その量子化値Qより１だけ大の量子化値Q+1（又は、１だけ小の量子化値Q-1）となる画素との粗密がある粗密領域、つまり、画素値が量子化値Qの画素の割合が多い領域や、画素値が量子化値Q+1の画素が多い領域（画素値が量子化値Q+1の画素の割合が少ない領域や、画素値が量子化値Qの画素が少ない領域）が生じており、その粗密領域の画素値が、人の視覚の積分効果によって、滑らかに変化しているように見える。

その結果、４ビットでは、１６階調しか表現できないのにもかかわらず、階調変換後の４ビットの画像では、階調変換前の８ビットの画像であるかのように、擬似的に、２５６階調を表現することができる。

［画像処理装置の動作］
次に、図４の画像処理装置の動作について図面を参照して説明する。

図１２は、図４の画像処理装置の動作（画像処理方法）を説明するフローチャートである。

本発明の実施の形態では、図５により説明したように、画像信号の左から右、上から下の方向に各画素について処理を行う（ステップＳ９１１）。

すなわち、ステップＳ９１１において、画像処理装置は、そこにラスタスキャン順に供給される画素のうちの、ラスタスキャン順で、まだ、注目画素としていない画素の１つを、注目画素として、安定化器１００に供給して、処理は、ステップＳ９１２に進む。

画像処理装置の全体の処理は、安定化器１００による安定化処理（ステップＳ９１２）と、階調変調器２００による階調変調処理（ステップＳ９１３）に大別される。これらの処理は１画素ずつ行われ、画像信号の最後の画素の処理が終わると、その画像信号に関する処理は終了する（ステップＳ９１４）。

すなわち、ステップＳ９１２では、安定化器１００が、注目画素（の画素値）を対象として、安定化処理を行い、その安定化処理後の注目画素を、階調変調器２００に供給して、処理は、ステップＳ９１３に進む。

ステップＳ９１３では、階調変調器２００が、安定化器１００からの注目画素にΔΣ変調を施すことにより、注目画素について、階調変換後の画素値を求めて出力し、処理は、ステップＳ９１４に進む。

ステップＳ９１４では、図４の画像処理装置は、注目画素が、安定化器１００に供給された最後の画素であるかどうかを判定する。ステップＳ９１４において、注目画素が最後の画素でないと判定された場合、処理は、ステップＳ９１１に戻り、安定化器１００に供給された画素のうちの、ラスタスキャン順で、まだ、注目画素としていない画素が、新たに、注目画素とされ、以下、同様の処理が繰り返される。

また、ステップＳ９１４において、注目画素が最後の画素であると判定された場合、図４の画像処理装置による画像処理は終了する。

［安定化処理の説明］
図１３は、図１２の安定化処理（ステップＳ９１２）を説明するフローチャートである。

固定値検出部１１０では、図６により説明したように、過去の修正信号Ｆの画素値と入力信号ＩＮ（ｘ，ｙ）の画素値とが比較される（ステップＳ９２１）。その結果、同じデータが固定値として連続して入力されていることが検出されると（ステップＳ９２２）、ランダムノイズ発生部１２０によって発生されたランダムノイズがスイッチ１３０を介して入力信号ＩＮ（ｘ，ｙ）に加算される（ステップＳ９２３）。これにより、階調変調器２００におけるハンチング現象が回避される。

すなわち、安定化処理では、ステップＳ９２１において、固定値検出部１１０（図４）が、注目画素の画素値（入力信号IN(x,y)）と、その注目画素の周辺の画素のうちの、既に注目画素となった画素（以下、処理済み周辺画素ともいう）の、加算器１４０からの画素値（修正信号F(x,y)）とを比較して、処理は、ステップＳ９２２に進む。

ステップＳ９２２では、固定値検出部１１０が、ステップＳ９２１での画素値の比較の結果に基づき、注目画素と、処理済み周辺画素との画素値の一致を検出したかどうかを判定する。

ステップＳ９２２において、注目画素と、処理済み周辺画素との画素値の一致を検出したと判定された場合、すなわち、例えば、処理済み周辺画素の画素値としての、図６で説明した12個の修正信号F(x-2,y-2)，F(x-1,y-2)，F(x,y-2)，F(x+1,y-2)，F(x+2,y-2)，F(x-2,y-1)，F(x-1,y-1)，F(x,y-1)，F(x+1,y-1)，F(x+2,y-1)，F(x-2,y)、及びF(x-1,y)のすべてが、注目画素の画素値としての入力信号IN(x,y)に一致している場合、処理は、ステップＳ９２３に進み、固定値検出部１１０は、スイッチ１３０をオンにし、処理は、リターンする。

この場合、ランダムノイズ発生部１２０が発生しているランダムノイズが、スイッチ１３０を介して加算器１４０に供給される。加算器１４０では、注目画素の画素値（IN(x,y)）に、スイッチ１３０を介して供給されるランダムノイズが加算され、その結果得られる加算値が、注目画素の画素値（修正信号F(x,y)）として、固定値検出部１１０と、加算器２５０に出力される。

一方、ステップＳ９２２において、注目画素と、処理済み周辺画素との画素値の一致を検出していないと判定された場合、固定値検出部１１０は、スイッチ１３０をオフにし、処理は、ステップＳ９２３をスキップしてリターンする。

この場合、ランダムノイズ発生部１２０が発生しているランダムノイズは、加算器１４０に供給されない。このため、加算器１４０では、注目画素の画素値（IN(x,y)）が、そのまま、固定値検出部１１０と、加算器２５０に出力される。

［階調変調処理の説明］
図１４は、図１２の階調変調処理（ステップＳ９１３）を説明するフローチャートである。

加算器２５０において、安定化器１００（の加算器１４０）から供給される注目画素の画素値と、フィードバック演算部２４０の出力とが加算され、量子化部２１０と減算器２３０とに出力される（ステップＳ９３０）。

加算器２５０の出力が量子化部２１０によって量子化され（ステップＳ９３１）、出力信号ＯＵＴ（ｘ、ｙ）として出力される。そして、この量子化された出力信号ＯＵＴ（ｘ、ｙ）は逆量子化部２２０によって逆量子化される（ステップＳ９３２）。

量子化部２１０による量子化前の信号と逆量子化部２２０によって逆量子化された信号との差分を、減算器２３０によって求めることによって、量子化誤差Ｑ（ｘ、ｙ）が算出される（ステップＳ９３３）。

このようにして算出された量子化誤差Ｑ（ｘ、ｙ）は蓄積され、図８により説明したように、フィードバック演算部２４０においてフィードバック値の演算に用いられる（ステップＳ９３４）。このようにして演算されたフィードバック値は、加算器２５０にフィードバックされる（ステップＳ９３５）。

すなわち、ステップＳ９３０では、加算器２５０が、安定化器１００（の加算器１４０）から供給される注目画素の画素値と、フィードバック演算部２４０が直前に行った、後述するステップＳ９３４のフィルタリングで得られた値（フィードバック演算部２４０の出力）とを加算し、その結果得られる加算値を、量子化部２１０、及び減算器２３０に出力して、処理は、ステップＳ９３１に進む。

ステップＳ９３１では、量子化部２１０が、加算器２５０の出力である加算値を量子化し、量子化誤差を含む量子化値を、ΔΣ変調の結果（ΔΣ変調による階調変換の結果）として出力して、処理は、ステップＳ９３２に進む。

ステップＳ９３２では、逆量子化部２２０が、量子化部２１０の出力である量子化値を逆量子化し、減算器２３０に出力して、処理は、ステップＳ９３３に進む。

ステップＳ９３３では、減算器２３０が、加算部２５０の出力である加算値と、逆量子化部２２０の出力、すなわち、加算部２５０の出力である加算値の量子化値の逆量子化結果との差分を演算することにより、量子化部２１０の量子化による量子化誤差を求める。さらに、減算器２３０は、量子化誤差を、フィードバック演算部２４０に供給して、処理は、ステップＳ９３３からステップＳ９３４に進む。

ステップＳ９３４では、２次元フィルタであるフィードバック演算部２４０が、減算部２３０からの量子化誤差をフィルタリングし、処理は、ステップＳ９３５に進む。

ステップＳ９３５では、フィードバック演算部２４０が、直前に行ったステップＳ９３４で得られた、量子化誤差のフィルタリングの結果を、加算器２５０に出力し（フィードバックし）、処理は、リターンする。

以上のように、図４の画像処理装置では、ΔΣ変調によるノイズシェーピングの振幅特性の中域以上の特性が、図１０の振幅特性７３０のように、人間の視覚特性７１０の逆の特性になるように、フィードバック演算部２４０によるフィルタリングのフィルタ係数が決定される。したがって、ノイズとしての量子化誤差が視認しにくくなるので、階調変換後の画像の見た目の画質を向上させることができる。

さらに、図４の画像処理装置では、画像にランダムノイズを付加する安定化器１００を設けることにより、階調変調器２００におけるハンチング現象を回避することができる。

これにより、例えば、テレビジョン受像機等の表示装置において、その液晶パネルで表示可能な画素値のビット幅よりも多ビットの画素値の画像を、その多ビット相当の画質で表示することができる。

すなわち、例えば、液晶パネルで表示可能な画素値のビット幅が８ビットでも、１２ビット相当の画質を表現することができる。表示装置に対する入力信号が８ビットでも様々な画像処理によって、８ビット以上のビット長になる。例えば、ノイズリダクションにより８ビットの画像が１２ビットに拡張される。液晶パネルの各画素値のビット幅が８ビットの場合、１２ビットのデータを量子化して８ビットにする必要がある。このとき、図４の画像処理装置によって階調変換を行うことにより、８ビットの液晶パネルで１２ビット相当の画質を表現することができる。また、図４の画像処理装置による階調変換は、伝送路においても同様に適用することができる。例えば、ビデオ機器から表示装置への伝送路が８ビット幅の場合、ビデオ機器にある１２ビットの画像信号を、図４の画像処理装置により８ビット化して、表示装置に転送すれば、表示装置では、１２ビット相当の画質の画像を表示することができる。

［ノイズシェーピングの特性と、フィルタ係数の例］
図１５は、階調変換後の画像を表示する表示装置が表示することができる画像の空間周波数の最高周波数を３０ｃｐｄとした場合の、図４の階調変調器２００のΔΣ変調によるノイズシェーピングの振幅特性とフィルタ係数の第１の例を示している。

すなわち、図１５Ａは、階調変調器２００のΔΣ変調によるノイズシェーピングの振幅特性が、低域又は中域で負になり、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加するように決定された、１２タップの２次元フィルタ（フィードバック演算部２４０）のフィルタ係数の第１の例を示している。

図１５Ａでは、１２タップの２次元フィルタのフィルタ係数として、g(1,1) = -0.0317，g(2,1) = -0.1267，g(3,1) = -0.1900，g(4,1) = -0.1267，g(5,1) = -0.0317，g(1,2) = -0.1267，g(2,2) = 0.2406，g(3,2) = 0.7345，g(4,2) = 0.2406，g(5,2) = -0.1267，g(1,3) = -0.1900，g(2,3) = 0.7345が採用されている。

図１５Ｂは、２次元フィルタのフィルタ係数が図１５Ａに示すようになっている場合の、階調変調器２００のΔΣ変調によるノイズシェーピングの振幅特性を示している。

図１５Ｂのノイズシェーピングの振幅特性では、周波数f=0で、ゲインが0で、低域又は中域で、ゲインが負になり、高域で、ゲインが、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加している。

図１６は、階調変換後の画像を表示する表示装置が表示することができる画像の空間周波数の最高周波数を３０ｃｐｄとした場合の、図４の階調変調器２００のΔΣ変調によるノイズシェーピングの振幅特性とフィルタ係数の第２の例を示している。

すなわち、図１６Ａは、階調変調器２００のΔΣ変調によるノイズシェーピングの振幅特性が、低域又は中域で負になり、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加するように決定された、１２タップの２次元フィルタ（フィードバック演算部２４０）のフィルタ係数の第２の例を示している。

図１６Ａでは、１２タップの２次元フィルタのフィルタ係数として、g(1,1) = -0.0249，g(2,1) = -0.0996，g(3,1) = -0.1494，g(4,1) = -0.0996，g(5,1) = -0.0249，g(1,2) = -0.0996，g(2,2) = 0.2248，g(3,2) = 0.6487，g(4,2) = 0.2248，g(5,2) = -0.0996，g(1,3) = -0.1494，g(2,3) = 0.6487が採用されている。

図１６Ｂは、２次元フィルタのフィルタ係数が図１６Ａに示すようになっている場合の、階調変調器２００のΔΣ変調によるノイズシェーピングの振幅特性を示している。

図１６Ｂのノイズシェーピングの振幅特性では、周波数f=0で、ゲインが0で、低域又は中域で、ゲインが負になり、高域で、ゲインが、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加している。

図１７は、階調変換後の画像を表示する表示装置が表示することができる画像の空間周波数の最高周波数を３０ｃｐｄとした場合の、図４の階調変調器２００のΔΣ変調によるノイズシェーピングの振幅特性とフィルタ係数の第３の例を示している。

すなわち、図１７Ａは、階調変調器２００のΔΣ変調によるノイズシェーピングの振幅特性が、低域又は中域で負になり、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加するように決定された、１２タップの２次元フィルタ（フィードバック演算部２４０）のフィルタ係数の第３の例を示している。

図１７Ａでは、１２タップの２次元フィルタのフィルタ係数として、g(1,1) = -0.0397，g(2,1) = -0.1586，g(3,1) = -0.2379，g(4,1) = -0.1586，g(5,1) = -0.0397，g(1,2) = -0.1586，g(2,2) = 0.2592，g(3,2) = 0.8356，g(4,2) = 0.2592，g(5,2) = -0.1586，g(1,3) = -0.2379，g(2,3) = 0.8356が採用されている。

図１７Ｂは、２次元フィルタのフィルタ係数が図１７Ａに示すようになっている場合の、階調変調器２００のΔΣ変調によるノイズシェーピングの振幅特性を示している。

図１７Ｂのノイズシェーピングの振幅特性では、周波数f=0で、ゲインが0で、低域又は中域で、ゲインが負になり、高域で、ゲインが、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加している。

図１５ないし図１７に示した１２タップの２次元フィルタのフィルタ係数は、負の値を含んでおり、そのために、ノイズシェーピングの振幅特性は、低域又は中域で負になる。このように、ノイズシェーピングの振幅特性を、低域又は中域で負にすることで、高域で急峻に増加するノイズシェーピングの振幅特性を、１２タップという少ないタップ数の２次元フィルタで実現することができる。

なお、図１５ないし図１７に示したフィルタ係数の２次元フィルタを、フィードバック演算部２４０(図４）に採用して行ったシミュレーションによれば、いずれの２次元フィルタについても、見た目の画質が良い、階調変換後の画像を得ることができた。

［コンピュータの構成例］
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図１８は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク５０５やROM５０３に予め記録しておくことができる。

あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体５１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体５１１は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体５１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部５０８で受信し、内蔵するハードディスク５０５にインストールすることができる。

コンピュータは、CPU(Central Processing Unit)５０２を内蔵している。CPU５０２には、バス５０１を介して、入出力インタフェース５１０が接続されており、CPU５０２は、入出力インタフェース５１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部５０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)５０３に格納されているプログラムを実行する。あるいは、また、CPU５０２は、ハードディスク５０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部５０８で受信されてハードディスク５０５にインストールされたプログラム、またはドライブ５０９に装着されたリムーバブル記録媒体５１１から読み出されてハードディスク５０５にインストールされたプログラムを、RAM(Random Access Memory)５０４にロードして実行する。これにより、CPU５０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU５０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース５１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部５０６から出力、あるいは、通信部５０８から送信、さらには、ハードディスク５０５に記録等させる。

ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

すなわち、図４の画像処理装置において、例えば、ハンチング現象を問題としないならば、安定化器１００は、設ける必要がない。

また、図４の画像処理装置のフィードバック演算部２４０であるフィルタとしては、JarvisフィルタやFloydフィルタを採用することが可能である。

８ビットのグレースケール画像の例である。 ８ビットのグレースケール画像を単純に４ビットに量子化した場合の例である。 人間の視覚特性および従来のフィルタによるノイズシェーピングの振幅特性を示す図である。 本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。 画像信号の各画素の処理順序を示す図である。 固定値検出部１１０の一構成例を示すブロック図である。 修正画素値供給部１１１の一構成例を示すブロック図である。 フィードバック演算部２４０の一構成例を示すブロック図である。 量子化誤差供給部２４１の一構成例を示す図である。 空間周波数の最高周波数を３０ｃｐｄとした場合の人間の視覚特性およびフィルタの振幅特性を示す図である。 階調変換結果の一例を示す図である。 画像処理装置の処理手順例を示すフローチャートである。 安定化処理の処理手順例を示すフローチャートである。 階調変調処理の処理手順例を示すフローチャートである。 ノイズシェーピングの振幅特性と、フィルタ係数の第１の例を示す図である。 ノイズシェーピングの振幅特性と、フィルタ係数の第２の例を示す図である。 ノイズシェーピングの振幅特性と、フィルタ係数の第３の例を示す図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

符号の説明

１００ 安定化器， １１０ 固定値検出部， １１１ 修正画素値供給部， １１８ 論理積演算器， １２０ ランダムノイズ発生部， １３０ スイッチ， １４０ 加算器， ２００ 階調変調器， ２１０ 量子化部， ２２０ 逆量子化部， ２３０ 減算器， ２４０ フィードバック演算部， ２４１ 量子化誤差供給部， ２４８，２５０ 加算器， ５０１ バス， ５０２ CPU， ５０３ ROM， ５０４ RAM， ５０５ ハードディスク， ５０６ 出力部， ５０７ 入力部， ５０８ 通信部， ５０９ ドライブ， ５１０ 入出力インタフェース， ５１１ リムーバブル記録媒体， １１１１ メモリ， １１１４ ライト部， １１１５，１１１６ リード部， １１２１ないし１１３２ 遅延素子， １１６１ないし１１７２ 比較器， ２４１１ メモリ， ２４１４ ライト部， ２４１５，２４１６ リード部， ２４２１ないし２４３２ 遅延素子， ２４６１ないし２４７２ 乗算器

Claims (6)

1. 画像に、ΔΣ変調を施すことにより、前記画像の階調を変換するΔΣ変調手段を備え、
   前記ΔΣ変調手段は、
   量子化誤差をフィルタリングする演算手段と、
   前記画像の画素値と、前記演算手段の出力とを加算する加算手段と、
   前記加算手段の出力を量子化し、前記量子化誤差を含む量子化値を、ΔΣ変調の結果として出力する量子化手段と、
   前記加算手段の出力と、前記加算手段の出力の前記量子化値との差分を演算することにより、前記量子化誤差を求める減算手段と
   を有し、
   前記演算手段によるフィルタリングのフィルタ係数は、人の視覚の空間周波数特性のうちの、前記ΔΣ変調が施された画像を表示する表示手段の解像度に対応する空間周波数以下の特性に基づき、前記ΔΣ変調手段によって行われるノイズシェーピングの振幅特性の中域以上の特性が、人の視覚の空間周波数特性の逆の特性になるように決定され、
   前記ノイズシェーピングの振幅特性は、前記表示手段が表示することができる画像の空間周波数の最高周波数までの周波数帯域の低域又は中域で負になり、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加し、ゲイン1を超える
   画像処理装置。
2. 前記演算手段によるフィルタリングのフィルタ係数は、負の値を含み、かつ、前記ΔΣ変調手段によって行われるノイズシェーピングの振幅特性が、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加するように決定される
   請求項１に記載の画像処理装置。
3. 前記演算手段は、１２タップの２次元のFIRフィルタであり、
   左からx番目で、上からy番目のフィルタ係数g(x,y)は、
   g(1,1)=-0.0317，g(2,1)=-0.1267，g(3,1)=-0.1900，g(4,1)=-0.1267，g(5,1)=-0.0317，g(1,2)=-0.1267，g(2,2)=0.2406，g(3,2)=0.7345，g(4,2)=0.2406，g(5,2)=-0.1267，g(1,3)=-0.1900，g(2,3)=0.7345、
   g(1,1)=-0.0249，g(2,1)=-0.0996，g(3,1)=-0.1494，g(4,1)=-0.0996，g(5,1)=-0.0249，g(1,2)=-0.0996，g(2,2)=0.2248，g(3,2)=0.6487，g(4,2)=0.2248，g(5,2)=-0.0996，g(1,3)=-0.1494，g(2,3)=0.6487、
   又は、g(1,1)=-0.0397，g(2,1)=-0.1586，g(3,1)=-0.2379，g(4,1)=-0.1586，g(5,1)=-0.0397，g(1,2)=-0.1586，g(2,2)=0.2592，g(3,2)=0.8356，g(4,2)=0.2592，g(5,2)=-0.1586，g(1,3)=-0.2379，g(2,3)=0.8356
   である
   請求項２に記載の画像処理装置。
4. 画像の、注目している注目画素と、前記注目画素の周辺の画素との画素値の一致を検出する一致検出手段と、
   ランダムノイズを発生するノイズ発生手段と、
   前記画素値の一致が検出されている場合には前記注目画素の前記画素値に前記ランダムノイズを加算した値を前記注目画素の画素値として出力し、それ以外の場合には前記注目画素の画素値をそのまま出力する他の加算手段と
   をさらに備え、
   前記ΔΣ変調手段は、前記他の加算手段の出力に、ΔΣ変調を施す
   請求項１ないし３のいずれかに記載の画像処理装置。
5. 画像に、ΔΣ変調を施すことにより、前記画像の階調を変換するΔΣ変調手段を備える画像処理装置の前記ΔΣ変調手段が、
   量子化誤差をフィルタリングする演算手段と、
   前記画像の画素値と、前記演算手段の出力とを加算する加算手段と、
   前記加算手段の出力を量子化し、前記量子化誤差を含む量子化値を、ΔΣ変調の結果として出力する量子化手段と、
   前記加算手段の出力と、前記加算手段の出力の前記量子化値との差分を演算することにより、前記量子化誤差を求める減算手段と
   を有し、
   前記加算手段が、前記画像の画素値と、前記演算手段の出力とを加算し、
   前記量子化手段が、前記加算手段の出力を量子化し、前記量子化誤差を含む量子化値を、ΔΣ変調の結果として出力し、
   前記減算手段が、前記加算手段の出力と、前記加算手段の出力の前記量子化値との差分を演算することにより、前記量子化誤差を求め、
   前記演算手段が、前記量子化誤差をフィルタリングし、前記加算手段に出力する
   ステップを含み、
   前記演算手段によるフィルタリングのフィルタ係数は、人の視覚の空間周波数特性のうちの、前記ΔΣ変調が施された画像を表示する表示手段の解像度に対応する空間周波数以下の特性に基づき、前記ΔΣ変調手段によって行われるノイズシェーピングの振幅特性の中域以上の特性が、人の視覚の空間周波数特性の逆の特性になるように決定され、
   前記ノイズシェーピングの振幅特性は、前記表示手段が表示することができる画像の空間周波数の最高周波数までの周波数帯域の低域又は中域で負になり、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加し、ゲイン1を超える
   画像処理方法。
6. 画像に、ΔΣ変調を施すことにより、前記画像の階調を変換するΔΣ変調手段として、コンピュータを機能させるためのプログラムであり、
   前記ΔΣ変調手段は、
   量子化誤差をフィルタリングする演算手段と、
   前記画像の画素値と、前記演算手段の出力とを加算する加算手段と、
   前記加算手段の出力を量子化し、前記量子化誤差を含む量子化値を、ΔΣ変調の結果として出力する量子化手段と、
   前記加算手段の出力と、前記加算手段の出力の前記量子化値との差分を演算することにより、前記量子化誤差を求める減算手段と
   を有し、
   前記演算手段によるフィルタリングのフィルタ係数は、人の視覚の空間周波数特性のうちの、前記ΔΣ変調が施された画像を表示する表示手段の解像度に対応する空間周波数以下の特性に基づき、前記ΔΣ変調手段によって行われるノイズシェーピングの振幅特性の中域以上の特性が、人の視覚の空間周波数特性の逆の特性になるように決定され、
   前記ノイズシェーピングの振幅特性は、前記表示手段が表示することができる画像の空間周波数の最高周波数までの周波数帯域の低域又は中域で負になり、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加し、ゲイン1を超える
   プログラム。

Images