JP4577590B2 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

画像処理装置、画像処理方法、及び、プログラム Download PDF

Info

Publication number
JP4577590B2
JP4577590B2 JP2008272169A JP2008272169A JP4577590B2 JP 4577590 B2 JP4577590 B2 JP 4577590B2 JP 2008272169 A JP2008272169 A JP 2008272169A JP 2008272169 A JP2008272169 A JP 2008272169A JP 4577590 B2 JP4577590 B2 JP 4577590B2
Authority
JP
Japan
Prior art keywords
quantization
modulation
data
error
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008272169A
Other languages
English (en)
Other versions
JP2010103697A (ja
Inventor
信 塚本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008272169A priority Critical patent/JP4577590B2/ja
Priority to US12/587,653 priority patent/US8463063B2/en
Priority to AT09173686T priority patent/ATE536051T1/de
Priority to EP09173686A priority patent/EP2180715B1/en
Priority to CN2009102077365A priority patent/CN101729762B/zh
Publication of JP2010103697A publication Critical patent/JP2010103697A/ja
Application granted granted Critical
Publication of JP4577590B2 publication Critical patent/JP4577590B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G09G3/2018—Display of intermediate tones by time modulation using two or more time intervals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G09G3/2059—Display of intermediate tones using error diffusion
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G09G3/2077—Display of intermediate tones by a combination of two or more gradation control methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0428—Gradation resolution change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G09G3/3648—Control of matrices with row and column drivers using an active matrix

Description

本発明は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、階調変換後の見た目の画質を向上させることができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。
例えば、RGB(Red,Green,Blue)が6ビットのLCD(Liquid Crystal Display)（RGBの各値が6ビットの画像を表示することができるLCD）等の、少ないビット数のディスプレイに、RGBが8ビットの画像（RGBの各値が8ビットの画像）等の、多ビットの画像を表示する場合には、画像の階調を変換する階調変換を行う必要がある。
階調変換を行う方法としては、例えば、FRC(Frame Rate Control)処理がある。
FRC処理では、表示のレート（表示レート）が、例えば、表示しようとする画像のフレームレートの4倍等の高い表示レートのディスプレイに、フレームレートがディスプレイの表示レートに一致するように調整された画像が表示される。
すなわち、例えば、いま、8ビットの画像を、6ビットのLCDに表示することとし、8ビットの画像の、あるフレームの、ある画素に注目して、注目しているフレームを注目フレームというとともに、注目している画素を注目画素ということとする。
また、8ビットの画像のフレームレート（又はフィールドレート）が、例えば、60Hzであり、6ビットのLCDの表示レートが、8ビットの画像のフレームレートの、例えば、4倍の240Hzであるとする。
FRC処理では、画像のフレームレートが、ディスプレイの表示レートに一致するように、4倍に制御され、そのフレームレートの制御後の画像が表示される。
すなわち、総和が、注目画素の画素値である8ビットのうちの、下位2(=8-6)ビットに一致する4個(=240Hz/60Hz)の1ビットの値を、(b0,b1,b2,b3)と表す。
また、8ビットの画素値の、下位2ビットを切り捨てた6ビットの値（8ビットの画素値を、単に6ビットに量子化した値）を、Xと表す。
FRC処理では、基本的に、8ビットの画素値が、4個の6ビットの画素値（連続する４フレームの注目画素の位置の画素値）X+b0,X+b1,X+b2,X+b3に変換される。
具体的には、注目画素の8ビットの画素値が、例えば、127(=01111111B)（Bは、その前の値が２の進数であることを表す）である場合には、8ビットの画素値の、下位2ビットを切り捨てた6ビットの値Xは、31(=011111B)となる。
また、総和が、注目画素の8ビットの画素値127(=01111111B)のうちの、下位2ビットである11B(=3)に一致する4個の1ビットの値(b0,b1,b2,b3)としては、例えば、(0B,1B,1B,1B)がある。
したがって、注目画素の8ビットの画素値127(=01111111B)は、4個の6ビットの画素値X+b0=31(=011111B)，X+b1=32(=100000B)，X+b2=32(=100000B)、及び、X+b3=32(=100000B)に変換される。
FRC処理では、フレームレートがLCDの表示レートに一致するように、注目フレームが、４つのフレームに変換される。いま、この４つのフレームを、表示時刻順に、第１、第２、第３、第４のフレームということとすると、FRC処理では、第１ないし第４のフレームそれぞれの注目画素の位置の画素の画素値が、上述の４個の6ビットの画素値31,32,32,32とされる。
そして、FRC処理では、第１ないし第４のフレームが、LCDにおいて、元のフレームレートの4倍の表示レートで表示される。この場合、注目画素の位置では、6ビットの画素値31,32,32,32が、人の視覚で時間方向に積分（加算）され、画素値が127であるかのように見える。
以上のように、FRC処理では、視覚で時間方向の積分が行われるという時間積分効果を利用して、8ビットの画素値である127が、6ビットによって、擬似的に表現される。
なお、FRC処理において、8ビットの画素値を、4個の6ビットの画素値に変換する処理は、例えば、8ビットの画素値と、4個の6ビットの画素値とが対応付けられて記憶されたLUT(Look Up Table)を用いて行われる。
階調変換を行う方法としては、その他、例えば、誤差拡散法がある（例えば、非特許文献１を参照）。
誤差拡散法による階調変換では、注目画素に空間的に近い画素の画素値の量子化誤差であるノイズを、空間周波数の高域にノイズシェーピングし、そのノイズシェーピング後のノイズを、注目画素の画素値に加算する誤差拡散（注目画素の画素値の量子化誤差を、注目画素に空間的に近い画素の画素値に加算する誤差拡散）が行われる。そして、ノイズの加算後の画素値が、所望のビット数に量子化される。
誤差拡散法による階調変換は、空間方向の２次元のΔΣ変調（２次元ΔΣ変調）であり、上述のように、ノイズ（量子化誤差）が加算された後の画素値が量子化される。そのため、その量子化後（階調変換後）の画像では、下位ビットを切り捨てるだけでは一定値となる部分の画素値が、PWM(Pulse Width Modulation)がされたようになる。その結果、階調変換後の画像の階調は、人の視覚で空間方向の積分が行われるという空間積分効果によって、滑らかに変化しているように見える。すなわち、元の画像と同等の階調（例えば、元の画像が、上述したように、8ビットの画像であれば、256(=28)階調）を、擬似的に表現することができる。
また、誤差拡散法では、空間周波数の高域において、人の視覚の感度が低いことを考慮して、画素値に、ノイズシェーピング後のノイズ（量子化誤差）が加算される。これにより、階調変換後の画像にノイズが目立つ程度を低減することができる。
貴家仁志著，「よくわかるディジタル画像処理」，第6版，CQ出版株式会社，2000年1月，p.196-213
誤差拡散法では、上述したように、ノイズシェーピング後のノイズが、画素値に加算されるので、階調変換後の画像にノイズが目立つ程度を低減することができる。しかしながら、画素値に加算されるノイズの量が大であること等に起因して、画素値に加算されるノイズ、つまり、空間方向に誤差拡散されるノイズが、階調変換後の画像において目立つことがある。
階調変換後の画像に、ノイズが目立つことを防止する方法としては、例えば、空間方向に誤差拡散されるノイズの量を小とする方法があるが、それでは、誤差拡散の効果（誤差拡散法の効果）が小となり、見た目の階調が低下することになる。
本発明は、このような状況に鑑みてなされたものであり、階調変換後の画像の見た目の階調を低下させずに、階調変換後の画像に、ノイズが目立つことを防止して、見た目の画質を向上させることができるようにするものである。
本発明の一側面の画像処理装置、又は、プログラムは、画像の画素値と、前記画像の画素値を量子化した量子化値の量子化誤差の空間方向のフィルタリングを行うフィルタ手段の出力とを加算する第１の演算手段と、前記第１の演算手段の出力を量子化し、前記量子化誤差を含む量子化値を、前記画素値のΔΣ変調の結果であるΔΣ変調データとして出力する第１の量子化手段と、前記第１の演算手段の出力と、前記第１の演算手段の出力の前記量子化値との差分を演算することにより、前記量子化誤差を求める第２の演算手段と、前記量子化誤差の一部を量子化し、その量子化により得られる量子化値を、空間方向の誤差拡散を補填するための補填用データとして出力する第２の量子化手段と、前記ΔΣ変調データと前記補填用データとを加算することにより、視覚の時間方向の積分効果を利用して誤差拡散法の効果を生じさせる時間積分効果利用型誤差拡散データを生成する第３の演算手段と、前記量子化誤差と前記補填用データとの差分を、前記ΔΣ変調に用いる量子化誤差であるΔΣ変調用誤差として求める第４の演算手段と、前記ΔΣ変調用誤差の空間方向のフィルタリングを行う前記フィルタ手段とを備える画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムである。
本発明の一側面の画像処理方法は、前記第１の演算手段が、前記画像の画素値と、前記フィルタ手段の出力とを加算する第１の演算ステップと、前記第１の量子化手段が、前記第１の演算手段の出力を量子化し、前記量子化誤差を含む量子化値を、前記ΔΣ変調データとして出力する第１の量子化ステップと、前記第２の演算手段が、前記第１の演算手段の出力と、前記第１の演算手段の出力の前記量子化値との差分を演算することにより、前記量子化誤差を求める第２の演算ステップと、前記第２の量子化手段が、前記量子化誤差の一部を量子化し、前記補填用データを出力する第２の量子化ステップと、前記第３の演算手段が、前記ΔΣ変調データと前記補填用データとを加算することにより、前記時間積分効果利用型誤差拡散データを生成する第３の演算ステップと、前記第４の演算手段が、前記量子化誤差と前記補填用データとの差分を、前記ΔΣ変調用誤差として求める第４の演算ステップと、前記フィルタ手段が、前記ΔΣ変調用誤差の空間方向のフィルタリングを行うフィルタステップとを含む画像処理方法である。
本発明の一側面においては、第１の演算手段において、前記画像の画素値と、フィルタ手段の出力とが加算され、第１の量子化手段において、前記第１の演算手段の出力が量子化され、ΔΣ変調データが出力される。さらに、第２の演算手段において、前記第１の演算手段の出力と、前記第１の演算手段の出力の前記量子化値との差分を演算することにより、前記量子化誤差が求められ、第２の量子化手段において、前記量子化誤差の一部が量子化され、補填用データが出力される。そして、第３の演算手段において、前記ΔΣ変調データと前記補填用データとを加算することにより、時間積分効果利用型誤差拡散データが生成され、第４の演算手段において、前記量子化誤差と前記補填用データとの差分が、ΔΣ変調用誤差として求められる。また、フィルタ手段において、前記ΔΣ変調用誤差の空間方向のフィルタリングが行われる。
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本発明の一側面によれば、階調変換後の画像の見た目の画質を向上させることができる。
［本発明を適用した画像処理装置の一実施の形態の構成例］
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
図１の画像処理装置は、階調変換部１１、及び、ディスプレイ１２から構成され、例えば、TV（テレビジョン受像機）等に適用される。
階調変換部１１には、例えば、RGBの各成分が8ビットの画像のデータが、対象画像のデータとして供給される。階調変換部１１は、そこに供給される8ビットの対象画像のデータ（対象画像データ）を、ディスプレイ１２が表示することができる、例えば、6ビットの画像（RGBの各成分が6ビットの画像）のデータ（画像データ）に変換する階調変換を行い、その階調変換後の6ビットの画像データを、ディスプレイ１２に供給する。
ここで、本実施の形態では、8ビットの対象画像データのフレームレート（又はフィールドレート）が、例えば、60Hzであり、6ビットの画像を表示するディスプレイ１２の表示レートが、8ビットの対象画像データのフレームレートの、例えば、4倍の240Hzであるとする。
階調変換部１１では、8ビットの対象画像データの、6ビットの画像データへの階調変換において、フレームレートの変換（ここでは、フレームレートを、対象画像データのフレームレートである60Hzから、ディスプレイ１２の表示レートに一致する240Hzに変換すること）も行われる。
ディスプレイ１２は、例えば、表示レートが240Hzで、6ビットの画像を表示することができる6ビットのLCDであり、階調変換部１１から供給される6ビットの画像データ（に対応する画像）を表示する。
なお、階調変換部１１において、8ビットの対象画像データの階調変換は、例えば、RGBの各成分ごとに、独立して行われる。
［階調変換部１１の構成例］
図２は、図１の階調変換部１１の構成例を示している。
階調変換部１１は、データ処理部２１、及び、FRC部２２から構成される。
データ処理部２１には、8ビットの対象画像データが供給される。データ処理部２１は、8ビットの対象画像データに、所定のデータ処理を施すことにより、時間積分効果（視覚の時間方向の積分効果）を利用して誤差拡散法の効果を生じさせる時間積分効果利用型誤差拡散データとしての画像データを生成する。
なお、データ処理部２１が、8ビットの対象画像データから生成する時間積分効果利用型誤差拡散データは、（画素値の）ビット数が対象画像データと同一の8ビットの画像データであり、かつ、フレームレートも対象画像データと同一の60Hzの画像データである。
ビット数が8ビットで、フレームレートが60Hzの画像データである時間積分効果利用型誤差拡散データは、データ処理部２１からFRC部２２に供給される。
FRC部２２は、FRC処理によって、データ処理部２１からの、ビット数が8ビットで、フレームレートが60Hzの画像データである時間積分効果利用型誤差拡散データを、ビット数が6ビットで、フレームレートが240Hzの画像データに変換する。そして、FRC部２２は、その画像データを、階調変換後の画像データとして、ディスプレイ１２に供給する。
ここで、データ処理部２１及びFRC部２２は、それぞれ、専用のハードウェアによって実現することもできるし、ソフトウェアによって実現することもできる。
但し、FRC処理は、既に、ハードウェアで実現されているため、FRC部２２としては、その、既存のハードウェアを採用することができる。
なお、FRC部２２を、既存のハードウェアを採用しないで、ソフトウェアで実現する場合には、FRC部２２は、データ処理部２１が扱う画像データの4倍の240Hzのフレームレートの画像データを扱う必要があるため、データ処理部２１の4倍の速度で動作するように構成する必要がある。
［データ処理部２１の構成例］
図３は、図２のデータ処理部２１の構成例を示している。
図３において、データ処理部２１は、演算部３１、量子化部３２、演算部３３及び３４、フィルタ３５、演算部３６、量子化部３７、逆量子化部３８、及び、演算部３９から構成される。
演算部３１には、対象画像データの画素のN(=8)ビットの画素値IN(x,y)が、例えば、ラスタスキャン順に供給される。さらに、演算部３１には、対象画像データの画素値を量子化した量子化値の量子化誤差の空間方向のフィルタリングを行うフィルタ３５の出力が供給される。
演算部３１は、対象画像データの画素値IN(x,y)と、フィルタ３５の出力とを加算し、その結果得られる加算値U(x,y)を、量子化部３２、及び演算部３３に供給（出力）する。
ここで、IN(x,y)は、左からx番目で、上からy番目の画素(x,y)の画素値を表す。また、U(x,y)は、画素値IN(x,y)と、フィルタ３５の出力との加算値を表す。
量子化部３２は、演算部３１の出力である加算値U(x,y)を、対象画像データのビット数N(=8)より少ない、ディスプレイ１２（図１）が表示することができる画像のビット数M(=6)に量子化し、その結果得られるM(=6)ビットの量子化値を、画素値IN(x,y)のΔΣ変調の結果であるΔΣ変調データID(x,y)として出力する。
ここで、図３のデータ処理部２１において、上述の演算部３１、及び、量子化部３２、並びに、後述する演算部３３、及び、フィルタ３５は、ΔΣ変調を行うΔΣ変調器を構成しており、量子化部３２の出力は、演算部３１に供給される画素値IN(x,y)をΔΣ変調した結果となる。
量子化部３２が出力するM(=6)ビットのΔΣ変調データID(x,y)は、演算部３３と、逆量子化部３８とに供給される。
演算部３３は、演算部３１の出力である加算値U(x,y)と、量子化部３２の出力である、加算値U(x,y)の量子化値であるM(=6)ビットのΔΣ変調データID(x,y)との差分U(x,y)-ID(x,y)を演算することにより、量子化値であるΔΣ変調データID(x,y)に含まれる量子化誤差Q(x,y)を求めて出力する。
演算部３３が出力する量子化誤差Q(x,y)は、演算部３４及び３６に供給される。
演算部３４には、演算部３３が出力する量子化誤差Q(x,y)の他、量子化部３７から、量子化誤差Q(x,y)の一部の量子化値である補填用データQt(x,y)が供給される。
演算部３４は、演算部３３からの量子化誤差Q(x,y)と、量子化部３７からの補填用データQt(x,y)との差分Q(x,y)-Qt(x,y)を、ΔΣ変調器でのΔΣ変調に用いる量子化誤差であるΔΣ変調用誤差Qs(x,y)として求め、フィルタ３５に供給する。
フィルタ３５は、例えば、空間方向の２次元（水平方向及び垂直方向）のフィルタリングを行うFIR(Finite Impulse Response)フィルタであり、演算部３４からの量子化誤差であるΔΣ変調用誤差Qs(x,y)の、空間方向のフィルタリングを行う。さらに、フィルタ３５は、そのフィルタリング結果を、演算部３１に供給（出力）する。
ここで、フィルタ３５の伝達関数をGと表すこととする。この場合、量子化部３２が出力するΔΣ変調データID(x,y)は、式（１）で表される。
ID(x,y)＝IN(x,y)-(1-G)k'Q(x,y)
・・・（１）
式（１）では、量子化誤差Q(x,y)が、-(1-G)k'で変調されているが、この-(1-G)k'での変調が、空間方向のΔΣ変調によるノイズシェーピングである。
なお、図３では、ΔΣ変調用誤差Qs(x,y)として、量子化誤差Q(x,y)から、量子化部３７で得られる補填用データQt(x,y)を減算した値が用いられる。
いま、0ないし1の範囲の値の重みをk'で表すこととして、ΔΣ変調用誤差Qs(x,y)が、量子化誤差Q(x,y)を用いて、式Qs(x,y)=k'×Q(x,y)で表されるとする。この場合、図３のデータ処理装置２１では、ノイズとしての量子化誤差Q(x,y)のうちの、重みk'分（ΔΣ変調用誤差Qs(x,y)）だけがΔΣ変調に用いられる（ΔΣ変調によるノイズシェーピングがされる）。
したがって、そのようなΔΣ変調によって得られるΔΣ変調データID(x,y)は、いわば、対象画像データに対して、量子化誤差Q(x,y)のうちの、重みk'分だけの、空間方向の誤差拡散がされたデータとなる。
演算部３６は、演算部３３から供給される量子化誤差Q(x,y)の一部を抽出し、量子化部３７に供給する。すなわち、演算部３６は、例えば、演算部３３からの量子化誤差Q(x,y)に、0ないし1の範囲の値の重みkを乗算することにより、量子化誤差Q(x,y)の一部k×Q(x,y)を抽出し、量子化部３７に供給する。
なお、演算部３６で用いられる重みkと、上述の重みk'とは、一方の値が大であるときに、他方の値が小となる関係を有する。
量子化部３７は、演算部３６からの、量子化誤差Q(x,y)の一部k×Q(x,y)を、N-M(=8-6=2)ビットに量子化する。さらに、量子化部３７は、その結果得られるN-M(=2)ビットの量子化値を、データ処理部２１の後段のFRC部２２（図２）で行われるFRC処理によって、空間方向の誤差拡散を補填するための補填用データQt(x,y)として出力する。
量子化部３７が出力するN-M(=2)ビットの補填用データQt(x,y)は、演算部３４及び３９に供給される。
逆量子化部３８は、量子化部３２からのM(=6)ビットのΔΣ変調データID(x,y)を、元の画素値IN(x,y)のビット数であるN(=8)に逆量子化し、演算部３９に供給する。
すなわち、逆量子化部３８は、M(=6)ビットのΔΣ変調データID(x,y)の下位N-M(=2)ビットに、0を付加することで、N(=8)ビットのΔΣ変調データ（以下、逆量子化ΔΣ変調データともいう）とし、演算部３９に供給する。
演算部３９は、逆量子化部３８からのN(=8)ビットの逆量子化ΔΣ変調データと、量子化部３７からのN-M(=2)ビットの補填用データQt(x,y)とを加算することにより、N(=8)ビットの時間積分効果利用型誤差拡散データOUT(x,y)を生成し、FRC部２２に供給する。
ここで、N(=8)ビットの逆量子化ΔΣ変調データは、M(=6)ビットのΔΣ変調データID(x,y)の下位N-M(=2)ビットに、0を付加したデータである。したがって、逆量子化ΔΣ変調データと、N-M(=2)ビットの補填用データQt(x,y)とを加算して得られるN(=8)ビットの時間積分効果利用型誤差拡散データOUT(x,y)は、M(=6)ビットのΔΣ変調データID(x,y)の下位N-M(=2)ビットに、N-M(=2)ビットの補填用データQt(x,y)を付加したデータとなる。
［階調変換部１１で扱われるデータの説明］
図４を参照して、図２の階調変換部１１で扱われるデータについて説明する。
図４Ａは、データ処理部２１（の演算部３１）に供給される、60Hzのフレームレートの対象画像データの8(=N)ビットの画素値IN(x,y)を示している。
図４Ｂは、データ処理部２１（の演算部３９）において、図４Ａの8ビットの画素値IN(x,y)に対して得られる、60Hzのフレームレートの、8(=N)ビットの時間積分効果利用型誤差拡散データOUT(x,y)を示している。
図３で説明したように、8(=N)ビットの時間積分効果利用型誤差拡散データOUT(x,y)は、6(=M)ビットのΔΣ変調データID(x,y)の下位2(=N-M)ビットに、2(=N-M)ビットの補填用データQt(x,y)を付加したデータとなっている。
図４Ｃは、FRC部２２において、データ処理部２１（の演算部３９）から供給される8(=N)ビットの時間積分効果利用型誤差拡散データOUT(x,y)に対して得られる、240Hzのフレームレートの、階調変換後の画像データの6(=M)ビットの画素値を示している。
前述したように、いま、総和が、8ビットの画素値である時間積分効果利用型誤差拡散データOUT(x,y)のうちの、下位2(=N-M)ビットに一致する4個の1ビットの値を、(b0,b1,b2,b3)と表すこととする。また、8ビットの時間積分効果利用型誤差拡散データOUT(x,y)の、下位2ビットを切り捨てた6ビットの値を、Xと表すこととする。
なお、ここでは、図４Ｂに示したように、8ビットの時間積分効果利用型誤差拡散データOUT(x,y)の下位2ビットは、2ビットの補填用データQt(x,y)であり、その下位2ビットを切り捨てた（残りの）6ビットの値Xは、6ビットのΔΣ変調データID(x,y)である。
FRC処理では、前述したように、8ビットの時間積分効果利用型誤差拡散データOUT(x,y)が、時間的に連続する4フレームの同一位置の4個の6ビットの画素値（連続する４フレームの注目画素の位置の画素値）X+b0,X+b1,X+b2,X+b3に変換される。
ここで、FRC処理で得られる6ビットの画素値X+bi(i=0,1,2,3)のうちの、6ビットの値Xは、時間積分効果利用型誤差拡散データOUT(x,y)の上位6ビットのΔΣ変調データID(x,y)である。
6ビットのΔΣ変調データID(x,y)は、図３で説明したように、対象画像データに対して、量子化誤差Q(x,y)のうちの、重みk'分だけの、空間方向の誤差拡散がされたデータである。
そして、6ビットのΔΣ変調データID(x,y)は、量子化誤差Q(x,y)のうちの、重みk'分だけの空間方向の誤差拡散の効果によって、空間積分効果を利用した、階調変換後の画像の見た目の階調の向上に寄与する。
また、FRC処理で得られる4個の6ビットの画素値X+b0,X+b1,X+b2,X+b3は、ディスプレイ１２（図１）において、240Hzの表示レートで表示されるが、人の視覚では、時間積分効果によって、画素値が、X+b0,X+b1,X+b2,X+b3の総和22×X+b0+b1+b2+b3であるかのように認識される。
ここで、総和22×X+b0+b1+b2+b3のうちの値22×Xは、時間積分効果利用型誤差拡散データOUT(x,y)の上位6ビットのΔΣ変調データID(x,y)（を逆量子化して得られる逆量子化ΔΣ変調データ）に等しい。
したがって、時間積分効果によって得られる総和22×X+b0+b1+b2+b3のうちの値22×Xは、量子化誤差Q(x,y)のうちの、重みk'分だけの空間方向の誤差拡散の効果によって、空間積分効果を利用した、階調変換後の画像の見た目の階調の向上に寄与する。
また、時間積分効果によって得られる総和22×X+b0+b1+b2+b3のうちの値b0+b1+b2+b3は、時間積分効果利用型誤差拡散データOUT(x,y)の下位2ビットの補填用データQt(x,y)に一致する。
補填用データQt(x,y)は、量子化誤差Q(x,y)の一部k×Q(x,y)の2ビットの量子化値であり、上述の重みk'を用いて、式Qt(x,y)=(1-k')×Q(x,y)と表すことができるから、量子化誤差Q(x,y)のうちの、重み1-k'分である。
したがって、時間積分効果によって得られる総和22×X+b0+b1+b2+b3のうちの値b0+b1+b2+b3は、量子化誤差Q(x,y)のうちの、重み1-k'分である。このように、値b0+b1+b2+b3は、量子化誤差Q(x,y)のうちの重み1-k'分であり、値22×Xによる空間方向の誤差拡散（の効果）を、いわば補填する効果がある。
以上のように、補填用データQt(x,y)は、FRC処理後に得られる4個の6ビットの画素値X+b0,X+b1,X+b2,X+b3が、時間積分効果によって、総和22×X+b0+b1+b2+b3であるかのように認識されるときに、値22×X（ΔΣ変調データID(x,y)）による空間方向の誤差拡散を補填する。
したがって、時間積分効果利用型誤差拡散データOUT(x,y)の上位6ビットのΔΣ変調データID(x,y)によって、量子化誤差Q(x,y)のうちの、重みk'分だけの空間方向の誤差拡散の効果が生じる。さらに、時間積分効果利用型誤差拡散データOUT(x,y)の下位2ビットの補填用データQt(x,y)によって、量子化誤差Q(x,y)のうちの、重み1-k'分だけの時間方向のFRCの効果が生じ、その効果によって、空間方向の誤差拡散の効果が補填される。
その結果、時間積分効果利用型誤差拡散データOUT(x,y)によれば、全体として、量子化誤差Q(x,y)のすべての分の空間方向の誤差拡散の効果が生じ、対象画像データを、単に、ΔΣ変調するだけの誤差拡散の場合と同様の見た目の階調を実現することができる（対象画像データを、単に、ΔΣ変調するだけの誤差拡散の場合よりも見た目の階調が低下することを防止することができる）。
さらに、時間積分効果利用型誤差拡散データOUT(x,y)によれば、量子化誤差Q(x,y)のうちの、重みk'分が、空間方向に誤差拡散され、重み1-k'分が、時間方向に連続する4個の画素値X+b0,X+b1,X+b2,X+b3に分配される。
すなわち、ノイズとしての量子化誤差Q(x,y)が、空間方向にのみ誤差拡散されるのではなく、いわば、空間方向と時間方向に分けて拡散（分配）される。したがって、ノイズとしての量子化誤差Q(x,y)が、空間方向にのみ誤差拡散される場合、つまり、対象画像データを、単に、ΔΣ変調するだけの誤差拡散を行う場合と比較して、ディスプレイ１２に表示される階調変換後の画像に、ノイズが目立つことを防止して、見た目の画質を向上させることができる。
図３のデータ処理部２１は、対象画像データから、以上のような、時間積分効果を利用して誤差拡散法の効果を生じさせる時間積分効果利用型誤差拡散データOUT(x,y)を生成する。
［データ処理部２１のデータ処理］
図５を参照して、データ処理部２１が行うデータ処理、すなわち、時間積分効果利用型誤差拡散データOUT(x,y)を生成する生成処理について説明する。
演算部３１は、そこに対象画像データの画素の画素値が供給されるのを待って受信し、画素値が供給された画素を注目画素として、ステップＳ１１において、フィルタ３５の出力を加算する。
すなわち、ステップＳ１１において、演算部３１は、注目画素の画素値と、フィルタ３５が直前に行った、後述するステップＳ１８のフィルタリングで得られた値（フィルタ３５の出力）とを加算し、その結果得られる加算値を、量子化部３２、及び演算部３３に出力して、処理は、ステップＳ１２に進む。
ステップＳ１２では、量子化部３２が、演算部３１の出力である加算値を量子化し、量子化誤差を含む量子化値を、ΔΣ変調データとして、演算部３３と逆量子化部３８に出力して、処理は、ステップＳ１３に進む。
ステップＳ１３では、逆量子化部３８が、量子化部３２からのΔΣ変調データを逆量子化し、逆量子化ΔΣ変調データを、演算部３９に供給して、処理は、ステップＳ１３からステップＳ１４に進む。
ステップＳ１４では、演算部３３が、演算部３１の出力である加算値と、量子化部３２の出力（演算部３１の出力である加算値の量子化値）（ΔΣ変調データ）との差分を演算することにより、量子化部３２の量子化による量子化誤差を求める。さらに、演算部３３は、量子化誤差を、演算部３４及び３６に供給して、処理は、ステップＳ１４からステップＳ１５に進む。
ステップＳ１５では、量子化誤差の一部を量子化することにより、補填用データが生成される。
すなわち、ステップＳ１５では、演算部３６が、演算部３３からの量子化誤差に重みkを乗算することにより、その量子化誤差の一部を抽出し、量子化部３７に供給する。量子化部３７は、演算部３６からの量子化誤差の一部を量子化することにより、量子化誤差の重みk'分である補填用データを生成し、演算部３４及び３９に供給して、処理は、ステップＳ１５からステップＳ１６に進む。
ステップＳ１６では、演算部３９が、逆量子化部３８からの逆量子化ΔΣ変調データと、量子化部３７からの補填用データとを加算することにより、時間積分効果利用型誤差拡散データを生成し、FRC部２２に供給して、処理は、ステップＳ１７に進む。
ステップＳ１７では、演算部３４が、演算部３３からの量子化誤差と、量子化部３７からの補填用データとの差分（量子化誤差の1-k'分）を、ΔΣ変調器でのΔΣ変調に用いる量子化誤差であるΔΣ変調用誤差として求め、フィルタ３５に供給して、処理は、ステップＳ１８に進む。
ステップＳ１８では、フィルタ３５が、演算部３４からのΔΣ変調用誤差の、空間方向のフィルタリングを行い、そのフィルタリング結果を、演算部３１に供給（出力）する。
その後、演算部３１に対して、ラスタスキャン順で、注目画素の次の画素の画素値が供給されるのを待って、処理は、ステップＳ１８からステップＳ１１に戻る。
そして、演算部３１は、ステップＳ１１において、注目画素の次の画素を、新たな注目画素として、その注目画素の画素値と、直前のステップＳ１８で、フィルタ３５から供給されるフィルタリング結果とを加算し、以下、同様の処理が繰り返される。
以上のように、データ処理部２１において、ΔΣ変調データ（逆量子化ΔΣ変調データ）と、補填用データとを含む時間積分効果利用型誤差拡散データを生成することにより、階調変換後の画像の見た目の階調を低下させずに、階調変換後の画像に、ノイズが目立つことを防止して、見た目の画質を向上させることができる。
すなわち、時間積分効果利用型誤差拡散データが、FRC処理されて表示される場合には、時間積分効果利用型誤差拡散データに含まれるΔΣ変調データID(x,y)によって、量子化誤差の重みk'分だけの空間方向の誤差拡散の効果が生じる。さらに、時間積分効果利用型誤差拡散データOUT(x,y)に含まれる補填用データによって、量子化誤差の重み1-k'分だけの時間方向のFRCの効果が生じ、その効果によって、空間方向の誤差拡散の効果が補填される。
したがって、時間積分効果利用型誤差拡散データによれば、全体として、量子化誤差のすべての分の空間方向の誤差拡散の効果が生じ、対象画像データを、単に、ΔΣ変調するだけの誤差拡散の場合と同様の見た目の階調を実現することができる。
また、時間積分効果利用型誤差拡散データによれば、量子化誤差のうちの、重みk'分が、空間方向に誤差拡散され、重み1-k'分が、時間方向に分配されるので、量子化誤差が、空間方向にのみ誤差拡散される場合に比較して、量子化誤差が、ノイズとして目立つことを防止して、見た目の画質を向上させることができる。
なお、データ処理部２１（図３）の演算部３６において、量子化誤差に乗算される重みk（ひいては、重みk'及び1-k'）は、例えば、0.5等の固定値とすることもできるし、ユーザの操作等に応じて変化する可変値とすることもできる。
また、重みkを可変値とする場合には、重みkは、対象画像データを、例えば、フレームごと等に解析し、その解析結果に基づいて設定することができる。
すなわち、データ処理部２１では、対象画像データの注目フレーム（注目画素のフレーム）を解析することで、例えば、注目フレームの動きを検出し、その動きを表す動き情報に基づき、重みkを設定することができる。
ここで、動き情報としては、例えば、注目フレームと、その１フレーム前のフレームとの、同一位置の画素の画素値どうしの差分の絶対値和等を採用することができる。
そして、重みkとしては、例えば、動き情報が大であるほど、小さい値、つまり、注目フレームの動きが大であるほど、小さい値を設定することができる。
データ処理部２１では、重みkが大である場合には、時間方向に分散される量子化誤差が大になるとともに、空間方向に誤差拡散される量子化誤差が小になる。一方、重みkが小である場合には、空間方向に誤差拡散される量子化誤差が大になるとともに、時間方向に分散される量子化誤差が小になる。
注目フレームの動きが大である場合に、時間方向に量子化誤差の多くが分散されると、階調変換後の画像に悪影響を及ぼすことがある。したがって、上述したように、注目フレームの動きが大である場合には、値が小さい重みkを設定し、時間方向に分散される量子化誤差を小にすることで、階調変換後の画像に悪影響を及ぼすことを防止することができる。
［フィルタ３５の具体例］
データ処理部２１のフィルタ３５（図３）としては、例えば、従来の誤差拡散法で用いられているノイズシェーピング用のフィルタを採用することができる。
従来の誤差拡散法で用いられるノイズシェーピング用のフィルタとしては、例えば、Jarvis, Judice & Ninkeのフィルタ（以下、Jarvisフィルタともいう）や、Floyd & Steinbergのフィルタ（以下、Floydフィルタともいう）がある。
図６は、Jarvisフィルタを用いたノイズシェーピングの振幅特性と、Floydフィルタを用いたノイズシェーピングの振幅特性とを示している。
なお、図６では、ノイズシェーピングの振幅特性の他に、人の視覚の空間周波数特性（以下、視覚特性ともいう）を表すコントラスト感度曲線も図示してある。
また、図６において（後述する図７、図８、及び、図１０ないし図１２でも同様）、横軸は、空間周波数を表し、縦軸は、振幅特性についてはゲインを、視覚特性については感度を、それぞれ表す。
ここで、空間周波数の単位は、cpd（cycle/degree）であり、cpdは、視野角の単位角度（視野角１度）の範囲に見える縞模様の数を表す。例えば、10cpdは、視野角１度の範囲に、白線と黒線のペアが１０ペア見えることを意味し、20cpdは、視野角１度の範囲に、白線と黒線のペアが２０ペア見えることを意味する。
階調変換部１１による階調変換後の画像は、最終的には、ディスプレイ１２（図１）で表示されるため、ディスプレイ１２に表示される画像の画質を向上させる観点からは、人の視覚の空間周波数特性については、（0cpdから）ディスプレイ１２で表示される画像の最高の空間周波数までを考慮すればよい。
ディスプレイ１２で表示される画像の最高の空間周波数が、仮に、例えば、120cpd程度等の極めて高い値である場合には、図６に示すように、Jarvisフィルタであっても、また、Floydフィルタであっても、人の視覚の感度が低い、高域の周波数帯域に、ノイズ（量子化誤差）が十分に変調される。
ところで、ディスプレイ１２で表示される画像の最高の空間周波数は、ディスプレイ１２の解像度と、ディスプレイ１２に表示された画像を視聴するときの、視聴者からディスプレイ１２までの距離（以下、視聴距離ともいう）とによって決まる。
いま、ディスプレイ１２の垂直方向（縦）の長さをHインチと表すこととすると、ディスプレイ１２で表示される画像の最高の空間周波数を求めるにあたり、視聴距離としては、例えば、2.5Hないし3.0H程度が採用される。
この場合、例えば、ディスプレイ１２が、いわゆるフルHD(High Definition)の画像を表示する横×縦が1920×1080画素の40インチのサイズの表示画面を有することとすると、ディスプレイ１２で表示される画像の最高の空間周波数は、30cpd程度となる。
図７は、ディスプレイ１２（図１）で表示される画像の最高の空間周波数が、30cpdである場合の、Jarvisフィルタを用いたノイズシェーピングの振幅特性と、Floydフィルタを用いたノイズシェーピングの振幅特性とを示している。
なお、図７では、図６と同様に、視覚特性も図示してある。
ディスプレイ１２で表示される画像の最高の空間周波数が、30cpd程度である場合には、図７に示すように、Jarvisフィルタや、Floydフィルタでは、人の視覚の感度が十分低い、高域の周波数帯域に、ノイズを、十分に変調することが困難である。
したがって、Jarvisフィルタや、Floydフィルタでは、階調変換後の画像に、ノイズが目立って、見た目の画質が劣化することがある。
このように、階調変換後の画像にノイズが目立つことによる、見た目の画質の劣化を低減するには、ノイズシェーピングの振幅特性を、例えば、図８に示すようにする必要がある。
すなわち、図８は、階調変換後の画像にノイズが目立つことによる、見た目の画質の劣化を低減するノイズシェーピング（以下、劣化低減ノイズシェーピングともいう）の振幅特性の例を示している。
ここで、劣化低減ノイズシェーピングを実現するΔΣ変調に用いられるノイズシェーピング用のフィルタを、SBM(Super Bit Mapping)フィルタともいう。
図８では、劣化低減ノイズシェーピング（SBMフィルタを用いたノイズシェーピング）の振幅特性の他、図７に示した視覚特性、Jarvisフィルタを用いたノイズシェーピングの振幅特性、及び、Floydフィルタを用いたノイズシェーピングの振幅特性も、図示してある。
劣化低減ノイズシェーピングの振幅特性においては、中域以上の特性が、視覚特性（コントラスト感度曲線）の形状を、上下逆にした形状（類似した形状を含む）の特性（以下、逆特性ともいう）になっている。
さらに、劣化低減ノイズシェーピングの振幅特性は、高域で、JarvisフィルタやFloydフィルタを用いたノイズシェーピングの振幅特性よりも急峻に増加する特性になっている。
これにより、劣化低減ノイズシェーピングでは、ノイズ（量子化誤差）が、視覚の感度がより低い、JarvisフィルタやFloydフィルタを用いたノイズシェーピングよりも高域に、いわば集中的に変調される。
フィルタ３５（図３）として、SBMフィルタを採用することにより、すなわち、フィルタ３５を用いたノイズシェーピングの振幅特性が、中域以上で、視覚特性の逆特性となり、かつ、高域で、FloydフィルタやJarvisフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加するように、フィルタ３５のフィルタ係数を決定することにより、演算部３１（図３）では、画素値IN(x,y)に対して、視覚の感度が低い高域のノイズ（量子化誤差）が加算されるようになり、その結果、階調変換後の画像に、ノイズ（量子化誤差）が目立つことを防止することができる。
なお、図８において、SBMフィルタを用いたノイズシェーピングの振幅特性は、高域で、ゲイン1を大きく超えているが、これは、JarvisフィルタやFloydフィルタを用いる場合よりも、量子化誤差を、高域で大きく増幅していることを表す。
また、図８では、SBMフィルタを用いたノイズシェーピングの振幅特性は、低域から中域にかけて、ゲインが負になっているが、これにより、SBMフィルタを、少ないタップ数の２次元フィルタで構成することができる。
すなわち、例えば、SBMフィルタを用いたノイズシェーピングの振幅特性として、低域及び中域のゲインが0で、高域だけ、ゲインが急峻に増加する振幅特性を実現する場合には、SBMフィルタは、多タップ（タップ数が多い）の２次元フィルタとなる。
これに対して、SBMフィルタを用いたノイズシェーピングの振幅特性を、低域又は中域で、ゲインが負になるようにした場合には、少ないタップ数の２次元フィルタで、SBMフィルタを構成し、ノイズシェーピングの高域のゲインを、JarvisフィルタやFloydフィルタを用いる場合よりも急峻に増加させることができる。
このようなSBMフィルタを、フィルタ３５として採用することにより、データ処理部２１を小型に構成することができる。
図９は、上述のようなSBMフィルタのフィルタリングに用いられる量子化誤差を示している。
ノイズシェーピングの振幅特性を、低域又は中域で、ゲインが負になるようにした場合には、例えば、注目画素を中心とする5×5画素のうちの、ラスタスキャン順で、既に階調変換がされた12画素（図９に左上がりの斜線を付して示す画素）それぞれの量子化誤差を用いてフィルタリングを行う12タップの２次元フィルタで、SBMフィルタを構成することができる。
なお、そのようなSBMフィルタを、フィルタ３５（図３）として採用した場合には、注目画素の量子化誤差は、注目画素を中心とする5×5画素のうちの、ラスタスキャン順で、これから階調変換がされる画素（これから注目画素となる画素）（図９において、右上がりの斜線を付して示す画素）に誤差拡散される。
［ノイズシェーピングの特性と、フィルタ係数の具体例］
図１０は、階調変換後の画像を表示するディスプレイ１２で表示される画像の空間周波数の最高周波数（最高の空間周波数）を30cpdとした場合の、SBMフィルタを用いたノイズシェーピングの振幅特性とフィルタ係数の第１の例を示している。
すなわち、図１０Ａは、ノイズシェーピングの振幅特性が、低域又は中域で負になり、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加するように決定された、12タップのSBMフィルタのフィルタ係数の第１の例を示している。
図１０Ａでは、12タップのSBMフィルタのフィルタ係数として、g(1,1) = -0.0317，g(2,1) = -0.1267，g(3,1) = -0.1900，g(4,1) = -0.1267，g(5,1) = -0.0317，g(1,2) = -0.1267，g(2,2) = 0.2406，g(3,2) = 0.7345，g(4,2) = 0.2406，g(5,2) = -0.1267，g(1,3) = -0.1900，g(2,3) = 0.7345が採用されている。
ここで、SBMフィルタは、２次元のFIRフィルタである。また、フィルタ係数g(i,j)は、図９で説明した、注目画素を中心とする横×縦が5×5画素における、ラスタスキャン順で、既に階調変換がされた12画素のうちの、左からi番目で，上からj番目の画素の量子化誤差と乗算されるフィルタ係数である。
図１０Ｂは、SBMフィルタのフィルタ係数が図１０Ａに示すようになっている場合の、SBMフィルタを用いたノイズシェーピングの振幅特性を示している。
図１０Ｂのノイズシェーピングの振幅特性では、周波数f=0で、ゲインが0で、低域又は中域で、ゲインが負になり、高域で、ゲインが、Floydフィルタ（及びJarvisフィルタ）を用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加している。
図１１は、階調変換後の画像を表示するディスプレイ１２で表示される画像の空間周波数の最高周波数を30cpdとした場合の、SBMフィルタを用いたノイズシェーピングの振幅特性とフィルタ係数の第２の例を示している。
すなわち、図１１Ａは、SBMフィルタを用いたノイズシェーピングの振幅特性が、低域又は中域で負になり、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加するように決定された、12タップのSBMフィルタのフィルタ係数の第２の例を示している。
図１１Ａでは、12タップのSBMフィルタのフィルタ係数として、g(1,1) = -0.0249，g(2,1) = -0.0996，g(3,1) = -0.1494，g(4,1) = -0.0996，g(5,1) = -0.0249，g(1,2) = -0.0996，g(2,2) = 0.2248，g(3,2) = 0.6487，g(4,2) = 0.2248，g(5,2) = -0.0996，g(1,3) = -0.1494，g(2,3) = 0.6487が採用されている。
図１１Ｂは、SBMフィルタのフィルタ係数が図１１Ａに示すようになっている場合の、SBMフィルタを用いたノイズシェーピングの振幅特性を示している。
図１１Ｂのノイズシェーピングの振幅特性では、周波数f=0で、ゲインが0で、低域又は中域で、ゲインが負になり、高域で、ゲインが、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加している。
図１２は、階調変換後の画像を表示するディスプレイ１２で表示される画像の空間周波数の最高周波数を30cpdとした場合の、SBMフィルタを用いたノイズシェーピングの振幅特性とフィルタ係数の第３の例を示している。
すなわち、図１２Ａは、ノイズシェーピングの振幅特性が、低域又は中域で負になり、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加するように決定された、12タップのSBMフィルタのフィルタ係数の第３の例を示している。
図１２Ａでは、12タップのSBMフィルタのフィルタ係数として、g(1,1) = -0.0397，g(2,1) = -0.1586，g(3,1) = -0.2379，g(4,1) = -0.1586，g(5,1) = -0.0397，g(1,2) = -0.1586，g(2,2) = 0.2592，g(3,2) = 0.8356，g(4,2) = 0.2592，g(5,2) = -0.1586，g(1,3) = -0.2379，g(2,3) = 0.8356が採用されている。
図１２Ｂは、SBMフィルタのフィルタ係数が図１２Ａに示すようになっている場合の、SBMフィルタを用いたノイズシェーピングの振幅特性を示している。
図１２Ｂのノイズシェーピングの振幅特性では、周波数f=0で、ゲインが0で、低域又は中域で、ゲインが負になり、高域で、ゲインが、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加している。
図１０ないし図１２に示した12タップのSBMフィルタのフィルタ係数は、負の値を含んでおり、そのために、ノイズシェーピングの振幅特性は、低域又は中域で負になる。このように、ノイズシェーピングの振幅特性を、低域又は中域で負にすることで、高域で急峻に増加するノイズシェーピングの振幅特性を、12タップという少ないタップ数のSBMフィルタで実現することができる。
なお、図１０ないし図１２に示したフィルタ係数のSBMフィルタを、フィルタ３５に採用して行ったシミュレーションによれば、いずれのSBMフィルタについても、見た目の画質が良い、階調変換後の画像を得ることができた。
以上、本発明を、8ビットの対象画像を、6ビットの画像に階調変換して、6ビットのLCDであるディスプレイ１２に表示する画像処理装置（図１）に適用した場合について説明したが、本発明は、その他、画像の階調変換を行うあらゆる場合に適用可能である。
すなわち、例えば、YUVの各成分が8ビットの画像を、RGBの各成分を画素値として有する画像に変換する色空間変換を行い、その色空間変換によって得られるRGBを画素値として有する画像を、8ビットのLCDに表示する場合において、色空間変換によって、RGBの各成分が、元の8ビットを超える、例えば、16ビットに拡張された画像が得られることがある。この場合、RGBの各成分が16ビットに拡張された画像を、8ビットのLCDで表示することができる8ビットの画像に階調変換する必要があるが、本発明は、そのような階調変換にも適用可能である。
［本発明を適用したコンピュータの構成例］
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図１３は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本実施の形態では、階調変換部１１において、60Hzのフレームレートの8ビットの対象画像データを、最終的には、60Hzの4倍である240Hzのフレームレートの6ビットの階調変換後の画像データに変換するようにしたが、対象画像データがほぼ静止している画像データ（例えば、高速に動く物体が映っていない画像のデータ）である場合には、階調変換部１１では、60Hzのフレームレートの8ビットの対象画像データを、フレームレートが60Hzのままの6ビットの階調変換後の画像データに変換することができる。
すなわち、例えば、図１の画像処理装置が、高速に動く物体が表示される可能性が低い、いわゆるノート型のPC(Personal Computer)等に適用される場合には、階調変換部１１では、データ処理部２１において、60Hzのフレームレートの8ビットの対象画像データの4フレームごとに、そのうちの1フレームについてデータ処理を行うことにより、60Hzの1/4倍のフレームレートの時間積分効果利用型誤差拡散データを生成し、その60Hzの1/4倍のフレームレートの時間積分効果利用型誤差拡散データに、FRC処理を施すことにより、フレームレートが元の60Hzのままの、6ビットの階調変換後の画像データを得ることができる。
この場合、240Hzという高フレームレートの画像データを扱うFRC部２２は不要となり、さらに、ディスプレイ１２としても、240Hzという高表示レートのLCDではなく、表示レートが60HzのLCD等を採用することができる。
本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。 階調変換部１１の構成例を示すブロック図である。 データ処理部２１の構成例を示すブロック図である。 階調変換部１１で扱うデータを説明する図である。 データ処理部２１のデータ処理を説明するフローチャートである。 Jarvisフィルタを用いたノイズシェーピングの振幅特性と、Floydフィルタを用いたノイズシェーピングの振幅特性を示す図である。 Jarvisフィルタを用いたノイズシェーピングの振幅特性と、Floydフィルタを用いたノイズシェーピングの振幅特性を示す図である。 SBMフィルタを用いたノイズシェーピングの振幅特性を示す図である。 フィルタリングに用いられる量子化誤差を示す図である。 SBMフィルタを用いたノイズシェーピングの振幅特性と、フィルタ係数の第１の例を示す図である。 SBMフィルタを用いたノイズシェーピングの振幅特性と、フィルタ係数の第２の例を示す図である。 SBMフィルタを用いたノイズシェーピングの振幅特性と、フィルタ係数の第３の例を示す図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
符号の説明
１１ 階調変換部， １２ ディスプレイ， ２１ データ処理部， ２２ FRC部， ３１ 演算部， ３２ 量子化部， ３３，３４ 演算部， ３５ フィルタ， ３６ 演算部， ３７ 量子化部， ３８ 逆量子化部， ３９ 演算部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体

Claims (8)

  1. 画像の画素値と、前記画像の画素値を量子化した量子化値の量子化誤差の空間方向のフィルタリングを行うフィルタ手段の出力とを加算する第１の演算手段と、
    前記第１の演算手段の出力を量子化し、前記量子化誤差を含む量子化値を、前記画素値のΔΣ変調の結果であるΔΣ変調データとして出力する第１の量子化手段と、
    前記第１の演算手段の出力と、前記第１の演算手段の出力の前記量子化値との差分を演算することにより、前記量子化誤差を求める第２の演算手段と、
    前記量子化誤差の一部を量子化し、その量子化により得られる量子化値を、空間方向の誤差拡散を補填するための補填用データとして出力する第２の量子化手段と、
    前記ΔΣ変調データと前記補填用データとを加算することにより、視覚の時間方向の積分効果を利用して誤差拡散法の効果を生じさせる時間積分効果利用型誤差拡散データを生成する第３の演算手段と、
    前記量子化誤差と前記補填用データとの差分を、前記ΔΣ変調に用いる量子化誤差であるΔΣ変調用誤差として求める第４の演算手段と、
    前記ΔΣ変調用誤差の空間方向のフィルタリングを行う前記フィルタ手段と
    を備える画像処理装置。
  2. 前記画像の画素値がNビットであり、
    前記第１の量子化手段が、Nビットよりも少ないMビットの量子化値を、前記ΔΣ変調データとして出力する
    場合に、
    前記第２の量子化手段は、前記量子化誤差の一部を、N-Mビットに量子化し、N-Mビットの補填用データとして出力し、
    前記第３の演算手段は、Nビットに逆量子化した前記ΔΣ変調データと、N-Mビットの前記補填用データとを加算することにより、Nビットの前記時間積分効果利用型誤差拡散データを生成する
    請求項１に記載の画像処理装置。
  3. Nビットの前記時間積分効果利用型誤差拡散データを、Mビットの画素値に変換する変換処理を、FRC(Frame Rate Control)処理によって行うFRC手段をさらに備える
    請求項２に記載の画像処理装置。
  4. 前記フィルタ手段によるフィルタリングのフィルタ係数は、前記ΔΣ変調によって行われるノイズシェーピングの特性が、中域以上で、人の視覚特性の逆の特性になるように、かつ、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの特性よりも急峻に増加するように決定される
    請求項１に記載の画像処理装置。
  5. 前記フィルタ手段によるフィルタリングのフィルタ係数は、前記ΔΣ変調によって行われるノイズシェーピングの特性が、低域又は中域で負になり、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加するように決定される
    請求項１に記載の画像処理装置。
  6. 前記フィルタ手段によるフィルタリングのフィルタ係数は、負の値を含み、かつ、前記ΔΣ変調によって行われるノイズシェーピングの振幅特性が、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加するように決定される
    請求項１に記載の画像処理装置。
  7. 画像の画素値と、前記画像の画素値を量子化した量子化値の量子化誤差の空間方向のフィルタリングを行うフィルタ手段の出力とを加算する第１の演算手段と、
    前記第１の演算手段の出力を量子化し、前記量子化誤差を含む量子化値を、前記画素値のΔΣ変調の結果であるΔΣ変調データとして出力する第１の量子化手段と、
    前記第１の演算手段の出力と、前記第１の演算手段の出力の前記量子化値との差分を演算することにより、前記量子化誤差を求める第２の演算手段と、
    前記量子化誤差の一部を量子化し、その量子化により得られる量子化値を、空間方向の誤差拡散を補填するための補填用データとして出力する第２の量子化手段と、
    前記ΔΣ変調データと前記補填用データとを加算することにより、視覚の時間方向の積分効果を利用して誤差拡散法の効果を生じさせる時間積分効果利用型誤差拡散データを生成する第３の演算手段と、
    前記量子化誤差と前記補填用データとの差分を、前記ΔΣ変調に用いる量子化誤差であるΔΣ変調用誤差として求める第４の演算手段と、
    前記ΔΣ変調用誤差の空間方向のフィルタリングを行う前記フィルタ手段と
    を備える画像処理装置の
    前記第１の演算手段が、前記画像の画素値と、前記フィルタ手段の出力とを加算する第１の演算ステップと、
    前記第１の量子化手段が、前記第１の演算手段の出力を量子化し、前記量子化誤差を含む量子化値を、前記ΔΣ変調データとして出力する第１の量子化ステップと、
    前記第２の演算手段が、前記第１の演算手段の出力と、前記第１の演算手段の出力の前記量子化値との差分を演算することにより、前記量子化誤差を求める第２の演算ステップと、
    前記第２の量子化手段が、前記量子化誤差の一部を量子化し、前記補填用データを出力する第２の量子化ステップと、
    前記第３の演算手段が、前記ΔΣ変調データと前記補填用データとを加算することにより、前記時間積分効果利用型誤差拡散データを生成する第３の演算ステップと、
    前記第４の演算手段が、前記量子化誤差と前記補填用データとの差分を、前記ΔΣ変調用誤差として求める第４の演算ステップと、
    前記フィルタ手段が、前記ΔΣ変調用誤差の空間方向のフィルタリングを行うフィルタステップと
    を含む画像処理方法。
  8. 画像の画素値と、前記画像の画素値を量子化した量子化値の量子化誤差の空間方向のフィルタリングを行うフィルタ手段の出力とを加算する第１の演算手段と、
    前記第１の演算手段の出力を量子化し、前記量子化誤差を含む量子化値を、前記画素値のΔΣ変調の結果であるΔΣ変調データとして出力する第１の量子化手段と、
    前記第１の演算手段の出力と、前記第１の演算手段の出力の前記量子化値との差分を演算することにより、前記量子化誤差を求める第２の演算手段と、
    前記量子化誤差の一部を量子化し、その量子化により得られる量子化値を、空間方向の誤差拡散を補填するための補填用データとして出力する第２の量子化手段と、
    前記ΔΣ変調データと前記補填用データとを加算することにより、視覚の時間方向の積分効果を利用して誤差拡散法の効果を生じさせる時間積分効果利用型誤差拡散データを生成する第３の演算手段と、
    前記量子化誤差と前記補填用データとの差分を、前記ΔΣ変調に用いる量子化誤差であるΔΣ変調用誤差として求める第４の演算手段と、
    前記ΔΣ変調用誤差の空間方向のフィルタリングを行う前記フィルタ手段と
    して、コンピュータを機能させるためのプログラム。
JP2008272169A 2008-10-22 2008-10-22 画像処理装置、画像処理方法、及び、プログラム Expired - Fee Related JP4577590B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008272169A JP4577590B2 (ja) 2008-10-22 2008-10-22 画像処理装置、画像処理方法、及び、プログラム
US12/587,653 US8463063B2 (en) 2008-10-22 2009-10-09 Image processing apparatus, method and program for gradation conversion
AT09173686T ATE536051T1 (de) 2008-10-22 2009-10-21 Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und programm
EP09173686A EP2180715B1 (en) 2008-10-22 2009-10-21 Image processing apparatus, image processing method, and program
CN2009102077365A CN101729762B (zh) 2008-10-22 2009-10-22 图像处理设备和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008272169A JP4577590B2 (ja) 2008-10-22 2008-10-22 画像処理装置、画像処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2010103697A JP2010103697A (ja) 2010-05-06
JP4577590B2 true JP4577590B2 (ja) 2010-11-10

Family

ID=41571849

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008272169A Expired - Fee Related JP4577590B2 (ja) 2008-10-22 2008-10-22 画像処理装置、画像処理方法、及び、プログラム

Country Status (5)

Country Link
US (1) US8463063B2 (ja)
EP (1) EP2180715B1 (ja)
JP (1) JP4577590B2 (ja)
CN (1) CN101729762B (ja)
AT (1) ATE536051T1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101796566B (zh) * 2007-09-05 2013-05-15 索尼公司 图像处理装置和图像处理方法
CN103119640A (zh) * 2010-09-27 2013-05-22 Jvc建伍株式会社 液晶显示装置、液晶显示元件的驱动装置以及驱动方法
WO2018056726A2 (en) * 2016-09-22 2018-03-29 Lg Electronics Inc. Optical coherence tomography device
US10475402B2 (en) * 2017-01-08 2019-11-12 Canon Kabushiki Kaisha Liquid crystal driving apparatus, image display apparatus, liquid crystal driving method, and liquid crystal driving program
US10580340B2 (en) * 2017-09-19 2020-03-03 HKC Corporation Limited System and method for driving display
US20200005125A1 (en) * 2018-06-27 2020-01-02 International Business Machines Corporation Low precision deep neural network enabled by compensation instructions
US20220247888A1 (en) * 2021-02-03 2022-08-04 Xerox Corporation Utilizing a graininess-based metric to estimate a total colorant limit

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004301976A (ja) * 2003-03-31 2004-10-28 Nec Lcd Technologies Ltd 映像信号処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE68927483T2 (de) * 1988-02-29 1997-04-03 Sony Corp Verfahren und Einrichtung zur Digitalsignalverarbeitung
JP2003316334A (ja) * 2002-04-26 2003-11-07 Hitachi Ltd 表示装置及び表示用駆動回路
EP1565901A2 (en) * 2002-08-19 2005-08-24 Koninklijke Philips Electronics N.V. Video circuit
WO2007135822A1 (ja) * 2006-05-23 2007-11-29 Panasonic Corporation 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路
JP4900812B2 (ja) 2007-04-27 2012-03-21 株式会社トーショー 振動排出カセット

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004301976A (ja) * 2003-03-31 2004-10-28 Nec Lcd Technologies Ltd 映像信号処理装置

Also Published As

Publication number Publication date
EP2180715A2 (en) 2010-04-28
JP2010103697A (ja) 2010-05-06
EP2180715A3 (en) 2010-07-28
CN101729762B (zh) 2012-12-05
US8463063B2 (en) 2013-06-11
EP2180715B1 (en) 2011-11-30
US20100098337A1 (en) 2010-04-22
CN101729762A (zh) 2010-06-09
ATE536051T1 (de) 2011-12-15

Similar Documents

Publication Publication Date Title
JP5206276B2 (ja) 階調変換装置、階調変換方法、及び、プログラム
JP4577590B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP4796064B2 (ja) 量子化した表示システムにおけるガンマ精度の向上
JPH09163162A (ja) 画像処理方法及び装置
JP2010101924A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP5343458B2 (ja) 画像処理装置、画像処理方法およびプログラム
US8760465B2 (en) Method and apparatus to increase bit-depth on gray-scale and multi-channel images (inverse dithering)
JP4577591B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP4721077B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
KR101888442B1 (ko) 표시장치 및 그 영상처리방법
JP2010087977A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2010068368A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP4605283B2 (ja) 画像処理装置、画像処理方法、およびプログラム
EP2169941A1 (en) Gradation conversion device and gradation conversion method
JP2010038968A (ja) 表示制御装置および表示制御方法
JP2010117741A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2010098652A (ja) 画像処理装置、画像処理方法、およびプログラム
KR20180054962A (ko) 표시 장치 및 이의 구동 방법
JP2004271565A (ja) 表示処理方法、表示処理装置、および、表示システム
JPH11112815A (ja) 解像度伸長装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100729

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100811

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees