[本発明を適用した画像処理システムの一実施の形態の全体構成例]
図2は、本発明を適用した画像処理システムの一実施の形態の構成例を示している。
なお、図中、図1の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図2の画像処理システムは、表示用画像生成装置20を有する点で、図1の場合と共通する。但し、図2の画像処理システムは、記憶用画像生成装置10(図1)に代えて、記憶用画像生成装置30が設けられている点で、図1の場合と相違する。
記憶用画像生成装置30は、ΔΣ変調部31を有する。
記憶用画像生成装置30には、例えば、デザイナがメニュー画面の原画像として作成した16ビット画像が供給される。
記憶用画像生成装置30のΔΣ変調部31は、容量や、表示用画像生成装置20での演算量の削減のために、記憶用画像生成装置10に供給される16ビット画像に、ΔΣ変調、すなわち、誤差拡散法による階調変換を施し、その16ビット画像を8ビット画像とする。
ここで、ΔΣ変調では、処理をしようとして注目している画素である注目画素に空間的に近い画素の画素値の量子化誤差であるノイズが、人の視覚の感度が低い空間周波数の高域にノイズシェーピングされる。そして、そのノイズシェーピング後のノイズを、注目画素の画素値に加算する誤差拡散が行われ、ノイズの加算後の画素値が、所望のビット数である8ビットに量子化される。
ΔΣ変調では、上述のように、ノイズ(量子化誤差)が加算された後の画素値が量子化される。そのため、その量子化後(階調変換後)の画像では、下位ビットを切り捨てるだけでは一定値となる部分の画素値が、PWM(Pulse Width Modulation)がされたようになる。その結果、ΔΣ変調後の画像の階調は、人の視覚で空間方向の積分が行われるという空間積分効果によって、滑らかに変化しているように見える。すなわち、元の画像と同等の階調(例えば、元の画像が、上述したように、16ビット画像であれば、216階調)を、擬似的に表現することができる。
なお、詳細については後述するが、ΔΣ変調部31のΔΣ変調によるノイズシェーピングの周波数特性(振幅特性)は、表示用画像生成装置20の信号処理部22で行われる信号処理(所定の信号処理)の周波数特性の逆の特性になっている。
また、ΔΣ変調部31でのΔΣ変調によって得られる画像を、以下、変調画像ともいう。
記憶用画像生成装置30では、ΔΣ変調部31でのΔΣ変調により得られる変調画像としての8ビット画像が、例えば、PNG等の形式の画像ファイルで出力される。
そして、記憶用画像生成装置10が出力する画像ファイルは、表示用画像生成装置20を適用したTVを製造する工場等において、記憶部21に書き込まれる。
[ΔΣ変調部31の構成例]
図3は、図2のΔΣ変調部31の構成例を示している。
図3において、ΔΣ変調部31は、演算部41、量子化部42、演算部43、及び、フィルタ44から構成される。
演算部41には、メニュー画面の原画像である16ビット画像が、ΔΣ変調の対象の画像(以下、対象画像ともいう)として供給される。さらに、演算部41には、対象画像としての16ビット画像の画素値を量子化した量子化値の量子化誤差の空間方向のフィルタリングを行うフィルタ44の出力Pが供給される。
演算部41は、対象画像の画素を、ラスタスキャン順に注目画素とし、注目画素の16ビットの画素値INと、フィルタ44の出力Pとを加算し、その結果得られる加算値Uを、量子化部42、及び演算部43に供給(出力)する。
量子化部42は、演算部41の出力である加算値Uを、対象画像のビット数である16ビットより少ない、例えば、8ビットに量子化し、その結果得られる8ビットの量子化値を、画素値INのΔΣ変調の結果である変調画素値OUTとして出力する。
量子化部42が出力する8ビットの変調画素値OUTは、変調画像としての8ビット画像の画素値になる。さらに、量子化部42が出力する8ビットの変調画素値OUTは、演算部43に供給される。
演算部43は、演算部41の出力である加算値Uと、量子化部42の出力である、加算値Uの量子化値である8ビットの変調画素値OUTとの差分U-OUTを演算することにより、量子化値である変調画素値OUTに含まれる量子化誤差Qを求めて出力する。
演算部43が出力する量子化誤差Qは、フィルタ44に供給される。
フィルタ44は、例えば、空間方向の2次元(水平方向及び垂直方向)のフィルタリングを行うFIR(Finite Impulse Response)フィルタであり、演算部43からの量子化誤差Qの、空間方向のフィルタリングを行う。さらに、フィルタ44は、そのフィルタリング結果(P)を、演算部41に供給(出力)する。
ここで、フィルタ44の伝達関数をGと表すこととすると、量子化部42が出力する変調画素値OUTは、式(1)で表される。
OUT=IN-(1-G)Q
・・・(1)
式(1)では、量子化誤差Qが、-(1-G)で変調されているが、この-(1-G)での変調が、空間方向のΔΣ変調によるノイズシェーピングである。
[フィルタ44の構成例]
図4は、図3のフィルタ44の構成例を示している。
図4において、フィルタ44は、12タップの2次元のFIRフィルタであり、12個の演算部511,3,511,2,511,1,512,3,512,2,512,1,513,2,513,1,514,1,514,2,515,1、及び、515,2、並びに、1個の演算部52等から構成される。
いま、注目画素を中心とする、横×縦が5×5画素のうちの、左からx番目で、上からy番目の画素の量子化誤差を、Q(x,y)と表すこととすると、演算部51x,yには、量子化誤差Q(x,y)が供給される。
すなわち、図4では、演算部51x,yには、注目画素を中心とする、横×縦が5×5画素のうちの、ラスタスキャン順で、注目画素より先に処理される(注目画素にされる)12画素それぞれの量子化誤差Q(x,y)が供給される。
演算部51x,yは、そこに供給される量子化誤差Q(x,y)と、あらかじめ設定されたフィルタ係数a(x,y)とを乗算し、その結果得られる乗算値を、演算部52に供給する。
演算部52は、12個の演算部51x,yそれぞれから供給される乗算値を加算し、その加算値Pを、量子化誤差のフィルタリング結果として、演算部41(図3)に出力する。
図3の演算部41では、以上のように、注目画素を中心とする5×5画素のうちの、ラスタスキャン順で、注目画素より先に処理される12画素それぞれの量子化誤差Q(x,y)を用いて得られるフィルタリング結果が、注目画素の画素値INに加算される。
[記憶用画像生成装置30の処理]
図5を参照して、図2の記憶用画像生成装置30が行う画像処理(記憶用画像生成処理)について説明する。
記憶用画像生成装置30は、そこに16ビット画像のあるフレーム(1画面分)が供給されるのを待って受信する。そして、記憶用画像生成装置30は、ステップS10において、16ビット画像を対象画像としてΔΣ変調を行い、その結果得られる8ビット画像を、変調画像として出力する。
すなわち、記憶用画像生成装置30のΔΣ変調部31(図3)では、演算部41が、そこに対象画像のあるフレームが供給されるのを待って受信し、そのフレームの画素のうちの、ラスタスキャン順で、まだ注目画素としていない画素を、注目画素とする。そして、演算部41は、ステップS11において、注目画素の画素値と、フィルタ44が直前に行った、後述するステップS14のフィルタリングで得られた値(フィルタ44の出力)とを加算し、その結果得られる加算値を、量子化部42、及び演算部43に出力して、処理は、ステップS12に進む。
ステップS12では、量子化部42が、演算部41の出力である加算値を量子化し、量子化誤差を含む量子化値を、変調画像の、注目画素の位置の画素の変調画素値として出力し、処理は、ステップS13に進む。
量子化部42が出力する量子化値である変調画素値は、演算部43に供給される。
演算部43は、ステップS13において、演算部41の出力である加算値と、量子化部42の出力(演算部41の出力である加算値の量子化値)(変調画素値)との差分を演算することにより、量子化部42の量子化による量子化誤差を求める。さらに、演算部43は、量子化誤差を、フィルタ44に供給して、処理は、ステップS13からステップS14に進む。
ステップS14では、フィルタ44が、演算部43からの量子化誤差の、空間方向のフィルタリングを行い、そのフィルタリング結果を、演算部41に供給(出力)する。
その後、演算部41は、ラスタスキャン順で、注目画素の次の画素を、新たな注目画素とする。そして、処理は、ステップS14からステップS11に戻り、新たな注目画素の画素値と、直前のステップS14で、フィルタ44から供給されたフィルタリング結果とを加算し、以下、同様の処理が繰り返される。
なお、ステップS11ないしS14の処理は、記憶用画像生成装置30に16ビット画像が供給されなくなるまで、繰り返し行われる。
[表示用画像生成装置20が適用されたTVの構成例]
次に、図2(及び図1)の表示用画像生成装置20は、例えば、TV等の画像を扱う装置に適用することができる。
図6は、図2の表示用画像生成装置20を適用したTVの構成例を示している。
図6において、TV60は、記憶部61、信号処理部62、階調変換部63、及び、ブレンド部64から構成される。
記憶部61は、図2の記憶部21に対応し、例えば、デザイナがメニュー画面の原画像として作成した16ビット画像にΔΣ変調を施して得られる変調画像としての8ビット画像が格納された画像ファイルを記憶している。
信号処理部62は、図2の信号処理部22に対応し、記憶部61の画像ファイルに格納されたメニュー画面の8ビット画像に必要な信号処理を施し、ブレンド部64に供給する。
ここで、記憶部61の画像ファイルに格納された8ビット画像は、容量等の削減のために、横及び縦のサイズそれぞれが、メニュー画面の原画像である16ビット画像の、例えば、1/2のサイズの画像になっている。
このため、信号処理部62は、記憶部21の画像ファイルに格納されたメニュー画面の8ビット画像に対して、2倍の拡大率で拡大する拡大処理を、信号処理として施し、原画像と同一のサイズの8ビット画像を得て、ブレンド部64に供給する。
階調変換部63は、図2の階調変換部23に対応し、ブレンド部64からの後述する合成画像を、8ビット画像に階調変換し、図示せぬ8ビットディスプレイに供給して表示させる。
ブレンド部64は、信号処理部62から供給されるメニュー画面の8ビット画像と、テレビジョン放送等の番組の画像(以下、コンテンツ画像ともいう)とを合成した合成画像を生成し、階調変換部63に供給する。
すなわち、ブレンド部64は、演算部65,66、及び67から構成され、所定の係数αを用いて、いわゆるαブレンディングを行う。
演算部65には、信号処理部62からのメニュー画面の8ビット画像が供給される。演算部65は、信号処理部62からのメニュー画面の8ビット画像に、αブレンディング用の係数α(αは、0ないし1の範囲の値)を乗算し、その結果得られる乗算値を、演算部67に供給する。
演算部66には、図示せぬチューナ等から、コンテンツ画像が供給される。演算部66は、コンテンツ画像に、係数1-αを乗算し、その結果得られる乗算値を、演算部67に供給する。
演算部67は、演算部65からの乗算値と、演算部66からの乗算値とを加算することにより、コンテンツ画像に、メニュー画面が重畳された合成画像を生成し、階調変換部63に供給する。
以上のように構成されるTV60では、信号処理部62は、記憶部61の画像ファイルに格納されたメニュー画面の8ビット画像に対して、2倍の拡大率で拡大する拡大処理を、信号処理として施し、原画像と同一のサイズの8ビット画像を得て、ブレンド部64に供給する。
ブレンド部64では、演算部65が、信号処理部62からのメニュー画面の8ビット画像と、係数αとを乗算し、その結果得られる乗算値を、演算部67に供給する。さらに、演算部66が、コンテンツ画像に、係数1-αを乗算し、その結果得られる乗算値を、演算部67に供給する。演算部67は、演算部65からの乗算値と、演算部66からの乗算値とを加算することにより、合成画像を生成し、階調変換部63に供給する。
階調変換部63は、ブレンド部64からの合成画像を、8ビット画像に階調変換し、図示せぬ8ビットディスプレイに供給して表示させる。
[記憶用画像生成装置10が適用された画像処理装置の構成例]
次に、表示用画像生成装置20が適用されたTV60の記憶部61に、上述したように、サイズが、メニュー画面の原画像である16ビット画像の1/2のサイズになっている8ビット画像(が格納された画像ファイル)が記憶される場合に、そのような8ビット画像を生成する画像処理装置について説明する。
図7は、図1の記憶用画像生成装置10を適用した画像処理装置の構成例を示している。
図7において、画像処理装置70は、縮小部71と量子化部72から構成される。
縮小部71には、メニュー画面の原画像である16ビット画像が供給される。縮小部71は、メニュー画面の原画像である16ビット画像のサイズを、信号処理部62(図6)での拡大処理の拡大率に対応する縮小率である1/2に従って縮小する。そして、縮小部70は、サイズの縮小によって得られる16ビットの縮小画像(RGBの各成分が16ビットの縮小画像)を、量子化部72に出力する。
量子化部72は、図1の量子化部11に対応し、縮小部71からの16ビットの縮小画像を、8ビットに量子化する。
そして、画像処理装置70は、量子化部72での量子化により得られる8ビットの縮小画像を、画像ファイルに格納して出力する。
[画像処理装置70で扱われる画像、及び、TV60に、画像処理装置70で得られる8ビットの縮小画像が記憶されている場合に、TV60で扱われる画像]
次に、図7の画像処理装置70で扱われる画像、及び、TV60(図6)の記憶部61に、画像処理装置70で得られる8ビットの縮小画像が記憶されている場合に、TV60で扱われる画像について説明する。
図8は、図7の画像処理装置70で扱われる画像を示している。
なお、図8において(後述する図9ないし図12、図18、及び図19でも同様)、横軸は、水平方向(又は垂直方向)に並ぶ画素の位置を表し、縦軸は、画素値を表す。
図8Aは、縮小部71(図7)において、メニュー画面の原画像である16ビット画像のサイズを1/2に縮小することで得られる16ビットの縮小画像を示している。
図8Aの16ビットの縮小画像においては、左から1番目の画素から200番目の画素までの画素値が、100から110に滑らかに(線形に)変化している。
図8Bは、量子化部72(図7)において、図8Aの16ビットの縮小画像を、8ビットに量子化することで得られる8ビットの縮小画像を示している。
図8Bの8ビットの縮小画像においては、左から1番目の画素から200番目の画素までの画素値が、100から110に、階段状に変化しており、量子化部72での量子化によって、階調が、図8Aの16ビットの縮小画像に比較して低下している。すなわち、図8Bの8ビットの縮小画像は、量子化部72での量子化によって、28階調の画像になる。
図9は、図6のTV60の記憶部61に、図8Bの8ビットの縮小画像が記憶されている場合に、TV60で扱われる画像を示している。
すなわち、図9Aは、信号処理部62(図6)において、図8Bの8ビットの縮小画像のサイズを2倍に拡大することで得られる、メニュー画面の原画像と同一のサイズの画像(以下、元サイズ画像ともいう)を示している。
図9Aの元サイズ画像においては、左から1番目の画素から200番目の画素までの2倍の範囲の、左から1番目の画素から400番目の画素までの画素値が、100から109に、階段状に変化しており、図8Bの場合と同様に、量子化部72での量子化によって、階調が、図8Aの16ビットの縮小画像に比較して低下している。
図9Bは、演算部65(図6)において、図9Aの元サイズ画像に、係数αを乗算して得られる画像(以下、α倍画像ともいう)を示している。
すなわち、図9Bは、係数αを、例えば、0.5に設定した場合に、演算部65において得られるα倍画像を示している。
図9Bのα倍画像においては、左から1番目の画素から400番目の画素までの画素値が、図9Aの場合の100から109の0.5(=α)倍である50から54.5に、階段状に変化しており、図8B及び図9Aの場合と同様に、階調が低下している。
図10は、コンテンツ画像を示している。
すなわち、図10Aは、演算部66(図6)に供給されるコンテンツ画像を示している。
図10Aのコンテンツ画像においては、左から1番目の画素から400番目の画素までの画素値が、一定値である60になっている。
図10Bは、演算部66(図6)において、図10Aのコンテンツ画像に、係数1-αを乗算して得られる画像(以下、1-α倍画像ともいう)を示している。
すなわち、図10Bは、係数αを、例えば、図9で説明したように、0.5に設定した場合に、演算部66において得られる1-α倍画像を示している。
図10Bの1-α倍画像においては、左から1番目の画素から400番目の画素までの画素値が、図10Aの場合の60の0.5(=1-α)倍である30になっている。
図11は、演算部67(図6)において、図9Bのα倍画像と、図10Bの1-α倍画像とのαブレンディング(合成)を行うことによって得られる合成画像を示している。
図11の合成画像においては、左から1番目の画素から400番目の画素までの画素値が、50から54.5に階段状に変化する図9Bのα倍画像と、左から1番目の画素から400番目の画素までの画素値が30になっている図10Bの1-α倍画像とが加算されることによって、左から1番目の画素から400番目の画素までの画素値が、80から84.5に、階段状に変化しており、図8B及び図9Aの場合と同様に、階調が低下している。
図12は、図11の合成画像を8ビットに階調変換して得られる階調変換後の画像(以下、階調変換後画像ともいう)を示している。
すなわち、図12Aは、階調変換部63(図6)において、量子化だけによって、図11の合成画像を8ビットに階調変換した場合の、階調変換後画像を示している。
図12Aの階調変換後画像においては、左から1番目の画素から400番目の画素までの画素値が、80から85に、より大きな段差の階段状に変化しており、図11の場合よりも、さらに、階調が低下している。
すなわち、合成画像の生成に用いられた図9Bのα倍画像は、図9Aの元サイズ画像に、係数αとしての0.5(=2-1)を乗算して得られる画像である。そのようなα倍画像(を用いて生成された合成画像)を、量子化だけによって8ビットに階調変換すると、実質的に、27階調の画像になるため、階調が、階調変換前よりも低下する。
図12Bは、階調変換部63(図6)において、ディザリング処理によって、図11の合成画像を8ビットに階調変換した場合の、階調変換後画像を示している。
図12Bの階調変換後画像においては、画素値が、PWMがされたように変化しており、そのように変化する画素値が、視覚の空間積分効果によって、滑らかに変化しているように見える。
すなわち、図12Bの階調変換後画像において、メニュー画面の画像については、記憶部61(図6)に記憶された8ビットの縮小画像と同等の階調が、擬似的に実現される。
しかしながら、図12Bの階調変換後画像において、メニュー画面の画像は、その原画像である16ビット画像と同等の階調の画像にはならない。
なお、上述したように、演算部65(図6)では、画素値が100から109に変化する図9Aの元サイズ画像が、α(=0.5)倍されることで、画素値が50から54.5に変化する図9Bのα倍画像となる。
したがって、図9Bのα倍画像では、画素値の変化が、図9Aの元サイズ画像よりも緩やかになるので、そのようなα倍画像(を用いて生成された合成画像)を階調変換することで得られる階調変換後の合成画像には、バンディングが、より目立ちやすくなる。
すなわち、画素値の変化が緩やかな画像の階調変換後の合成画像では、一定の画素値が長く連続する部分が増加し、階調の変化が帯のように見えるバンディングが目立ちやすくなる。
[記憶用画像生成装置30が適用された画像処理装置の構成例]
階調変換後画像において、メニュー画面の画像を、擬似的に、その原画像である16ビット画像と同等の階調の画像とし、かつ、バンディングの目立たない画像とするには、階調変換の対象の画像、すなわち、ブレンド部64(図6)で得られる合成画像が、16ビット画像と同等の階調の画像になっている必要がある。
そこで、図13は、図2の記憶用画像生成装置30を適用した画像処理装置の構成例を示している。
なお、図中、図7の画像処理装置70と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
すなわち、図13において、画像処理装置80は、縮小部71とΔΣ変調部81から構成される。画像処理装置80は、縮小部71を有する点で、図7の画像処理装置70と共通し、量子化部72に代えて、ΔΣ変調部81が設けられている点で、図7の画像処理装置70と相違する。
ΔΣ変調部81には、縮小部71において、メニュー画面の原画像である16ビット画像のサイズを、信号処理部62(図6)での拡大処理の拡大率に対応する縮小率である1/2に縮小することで得られる16ビットの縮小画像が供給される。
ΔΣ変調部81は、図2のΔΣ変調部31に対応し、縮小部71からの16ビットの縮小画像に、ΔΣ変調を施し、その16ビットの縮小画像を8ビットの縮小画像とする。
そして、画像処理装置80は、ΔΣ変調部81でのΔΣ変調により得られる8ビットの縮小画像を、画像ファイルに格納して出力する。
[ΔΣ変調によるノイズシェーピングの周波数特性]
図13のΔΣ変調部81のΔΣ変調によるノイズシェーピングの周波数特性は、TV60(図6)の信号処理部62で行われる信号処理の周波数特性の逆の特性になっている。
そこで、ΔΣ変調部81のΔΣ変調によるノイズシェーピングの周波数特性について説明するために、信号処理部62で行われる信号処理の周波数特性について説明する。
図6で説明したように、TV60において、信号処理部62は、記憶部61の画像ファイルに格納されたメニュー画面の8ビット画像(8ビットの縮小画像)に対して、2倍の拡大率で拡大する拡大処理を、信号処理として施す。
図14は、そのような拡大処理を信号処理として行う信号処理部62の構成例を示している。
図14において、信号処理部62は、アップサンプル部91と、LPF(Low Pass Filter)92とから構成される。
アップサンプル部91には、記憶部61(図6)の画像ファイルに格納されたメニュー画面の8ビットの縮小画像が供給される。
アップサンプル部91は、8ビットの縮小画像を構成する、隣接する画素どうしの間に、画素値が0値の画素を1個ずつ補間することにより、サイズが2倍になった8ビット画像を生成し、LPF92に供給する。
すなわち、アップサンプル部91は、0値の補間によって、横及び縦の画素数が、いずれも、8ビットの縮小画像の2倍になった画像を生成し、LPF92に供給する。
LPF92は、アップサンプル部91からの画像をフィルタリングすることにより、アップサンプル部91で0値が補間された画素の画素値を、例えば、線形補間し、その結果得られる、メニュー画面の原画像と同一のサイズの画像(元サイズ画像)を、ブレンド部64(図6)に供給する。
以上のように、信号処理部62は、8ビットの縮小画像に、0値を補間し、LPF92によるフィルタリングを行うことにより、画像を2倍の拡大率で拡大する拡大処理(縮小画像を、元のサイズに戻すリサイズの処理)を行う。
ここで、いま、説明を簡単にするために、8ビットの縮小画像の水平方向にだけ注目すると、アップサンプル部91は、8ビットの縮小画像の、水平方向に隣接する画素どうしの間に、画素値が0値の画素を1個ずつ補間することにより、水平方向のサイズが2倍になった画像を生成する。
さらに、アップサンプル部91は、画素値の平均値が変化しないように、水平方向のサイズが2倍になった画像の画素値を2倍にし、LPF92に供給する。
LPF92は、例えば、水平方向に連続する3画素(の画素値)と乗算されるフィルタ係数が、1/4,1/2/,1/4のFIRフィルタであり、アップサンプル部91からの画像を、水平方向にフィルタリングする。これにより、LPF92からは、アップサンプル部91で補間された画素の画素値が線形補間された元サイズ画像が出力される。
信号処理部62が、以上のように、アップサンプル部91及びLPF92で構成される場合には、ΔΣ変調部81(図13)のΔΣ変調によるノイズシェーピングの周波数特性は、LPF92の周波数特性の逆の特性になっている。
すなわち、図15は、LPF92の周波数特性(振幅特性)を示している。
なお、図15において(後述する図16でも同様)、横軸は、LPF92によるフィルタリングの対象となる画像(0値が補間された画像)の画素のサンプリング周波数の1/2を1とする周波数(以下、正規化周波数ともいう)を表す。また、縦軸は、dBを単位とする利得を表す。
ΔΣ変調部81(図13)は、LPF92によるフィルタリングの対象となる画像(0値が補間された画像)(以下、0値補間画像ともいう)のサイズの1/2のサイズの8ビットの縮小画像を対象画像として、ΔΣ変調を行う。
また、ΔΣ変調の対象となる8ビットの縮小画像の画素のサンプリング周波数は、LPF92によるフィルタリングの対象となる0値補間画像の画素のサンプリング周波数の1/2である。
したがって、LPF92によるフィルタリングは、ΔΣ変調の対象となる8ビットの縮小画像については、LPF92の周波数特性の、正規化周波数特性が0.5以下の部分が影響するので、その部分だけを考慮すれば良い。
すなわち、図16は、図15のLPF92の周波数特性のうちの、正規化周波数が0.5以下の部分を示している。
ΔΣ変調部81(図13)のΔΣ変調によるノイズシェーピングの周波数特性は、図16の周波数特性の逆の特性になっている。
図17は、ΔΣ変調部81(図13)のΔΣ変調によるノイズシェーピングの周波数特性(振幅特性)を示している。
なお、図17において、横軸は、ΔΣ変調の対象となる8ビットの縮小画像の画素のサンプリング周波数の1/2を1とする周波数(正規化周波数)を表す。また、縦軸は、dBを単位とする利得を表す。
図17の正規化周波数の1は、図15及び16に示したLPF92(図14)の周波数特性の正規化周波数の0.5に対応する。
図17のノイズシェーピングの周波数特性は、正規化周波数が0のときに、利得が0で、高域(空間周波数の高域)の正規化周波数ほど、利得が大になる特性になっており、図16の周波数特性の(ほぼ)逆の特性になっている。
ここで、ノイズシェーピングの周波数特性は、信号処理部62(図6)の周波数特性、すなわち、ここでは、LPF92(図14)の周波数特性(但し、正規化周波数が0.5以下の部分(図16))の上下を反転した逆の特性に、完全に一致している必要はない。
すなわち、図16の周波数特性によれば、ΔΣ変調の対象となる8ビットの縮小画像については、LPF92によるフィルタリングによって、空間周波数の高域の成分が減衰する。
ΔΣ変調部81(図13)では、LPF92によるフィルタリングによって減衰する(平均化される)高域のノイズ(量子化誤差)を付加することで、LPF92によるフィルタリングによって得られる元サイズ画像が、16ビット画像と同等の階調の画像となるように、ΔΣ変調を行う。
したがって、ΔΣ変調によるノイズシェーピングの周波数特性は、その周波数特性に従ったノイズ(量子化誤差)が、LPF92によるフィルタリングによって(理想的には、完全に)減衰するような特性になっていれば良い。
すなわち、ΔΣ変調によるノイズシェーピングの周波数特性は、LPF92の周波数特性(正規化周波数が0.5以下の部分(図16))の上下を反転した形状に類似した形状の特性になっていれば良い。
ここで、本明細書において、ノイズシェーピングの周波数特性が、信号処理部62(図6)の周波数特性の逆の特性になっているとは、ノイズシェーピングの周波数特性が、信号処理部62の信号処理の周波数特性の逆の特性に完全に一致している場合の他、逆の特性に類似している場合も含まれる。
また、ΔΣ変調部81は、図3のΔΣ変調部31と同様に構成されるが、ΔΣ変調部81のΔΣ変調によるノイズシェーピングの周波数特性は、フィルタ44(図3)の伝達関数G、ひいては、フィルタ44のフィルタ係数によって決まる。
例えば、上述したように、信号処理部62(図6)の信号処理が、画像を、線形補間によって、サイズを2倍に拡大する拡大処理であり、かつ、フィルタ44が、図4に示したように、12タップの2次元のFIRフィルタである場合には、ΔΣ変調部81のΔΣ変調によるノイズシェーピングの周波数特性を、信号処理部62の信号処理の周波数特性の逆の特性にするフィルタ44のフィルタ係数a(x,y)(図4)は、例えば、
a(1,1) = -0.0064,
a(2,1) = -0.0256,
a(3,1) = -0.0384,
a(4,1) = -0.0256,
a(5,1) = -0.0064,
a(1,2) = -0.0256,
a(2,2) = 0.1816,
a(3,2) = 0.4144,
a(4,2) = 0.1816,
a(5,2) = -0.0256,
a(1,3) = -0.0384,
a(2,3) = 0.4144
となる。
[画像処理装置80で扱われる画像、及び、TV60に、画像処理装置80で得られる8ビットの縮小画像が記憶されている場合に、TV60で扱われる画像]
次に、図13の画像処理装置80で扱われる画像、及び、TV60(図6)の記憶部61に、画像処理装置80で得られる8ビットの縮小画像が記憶されている場合に、TV60で扱われる画像について説明する。
図18は、図13の画像処理装置80で扱われる画像を示している。
すなわち、図18は、ΔΣ変調部81(図13)において、縮小部71で得られる図8Aの16ビットの縮小画像にΔΣ変調を施して得られる変調画像としての8ビットの縮小画像を示している。
図18の変調画像としての8ビットの縮小画像においては、画素値が、PWMがされたように変化しており、そのように変化する画素値が、視覚の空間積分効果によって、滑らかに変化しているように見える。
すなわち、図18の変調画像としての8ビットの縮小画像によれば、ΔΣ変調がされる前の16ビットの縮小画像(図8A)と同等の階調が、擬似的に実現される。
図19は、図6のTV60の記憶部61に、図18の8ビットの縮小画像が記憶されている場合に、TV60で扱われる画像を示している。
なお、図19では、左から1番目の画素から400番目の画素までの画素値を示している。
図19Aは、信号処理部62(図6)において、図18の8ビットの縮小画像のサイズを2倍に拡大することで得られる元サイズ画像を示している。
上述したように、信号処理部62(図14)では、0値を補間し、LPF92によるフィルタリングを行う拡大処理としての信号処理が行われる。そして、その信号処理の対象となる図18の8ビットの縮小画像には、LPF92の周波数特性の逆の特性のノイズ(量子化誤差)が付加されている(LPF92の周波数特性の逆の特性の周波数特性のノイズシェーピングを行うΔΣ変調が施されている)。
このため、図18の8ビットの縮小画像に、信号処理部62による拡大処理としての信号処理が施されることにより、その縮小画像に付加されているノイズは減衰する(平均化される)。その結果、信号処理部62による拡大処理としての信号処理によって得られる元サイズ画像は、視覚の空間積分効果によって擬似的に実現される16ビット画像(メニュー画面の原画像)を、いわば復元したかのような画像となる。
図19Bは、係数αを、例えば、0.5として、ブレンド部64(図6)において、図19Aの元サイズ画像に、係数αを乗算して得られる画像(α倍画像)と、図10Bの1-α倍画像との加算を行うことによって得られる合成画像を示している。
図19Bの合成画像は、階調が、図11の合成画像と比較して、高階調の画像になっていることが分かる。
ここで、図19Cは、係数αを0.5として、メニュー画面の原画像である16ビット画像に、係数αを乗算して得られる画像(α倍画像)と、図10Bの1-α倍画像とのαブレンディングを行うことによって得られる、いわば理想的な合成画像を示している。
図19Bの合成画像は、階調が、図11の合成画像よりも、図19Cの理想的な合成画像に近い(類似する)画像になっている。
図19Dは、階調変換部63(図6)において、ディザリング処理によって、図19Bの合成画像を8ビットに階調変換した場合の、階調変換後画像を示している。
図19Dの階調変換後画像においては、画素値が、PWMがされたように変化しており、そのように変化する画素値が、視覚の空間積分効果によって、滑らかに変化しているように見える。
すなわち、階調変換部63(図6)でのディザリング処理による階調変換の対象となる合成画像は、図19Bに示したように、図19Cの理想的な合成画像に近い画像になっており、その理想的な合成画像に近い階調を有する。
そのような合成画像のディザリング処理を行って得られる階調変換後画像によれば、階調変換前の合成画像と同等の階調が、擬似的に(視覚の空間積分効果によって)実現される。
すなわち、図19Dの階調変換後画像において、メニュー画面の画像については、メニュー画面の原画像である16ビット画像とほぼ同等の階調が、擬似的に実現される。
したがって、TV60(図6)において、メニュー画面の画像に、所定の信号処理としての拡大処理が施される場合に、その所定の信号処理としての拡大処理によって得られる画像の階調を向上させることができる。
さらに、階調変換部63(図6)でのディザリング処理による階調変換の対象となる合成画像は、図19Bに示したように、図19Cの理想的な合成画像に近い階調を有するので、その合成画像を階調変換して得られる画像において、図11に示したような、画素値が階段状に変化する合成画像を階調変換した場合に比較して、バンディングが生じることを防止することができる。
以上のように、ノイズシェーピングの周波数特性が、TV60(図6)の信号処理部62の信号処理の周波数特性の逆の特性になっているΔΣ変調を、メニュー画面の原画像を縮小した16ビットの縮小画像に施すことで、変調画像としての8ビットの縮小画像に階調変換し、TV60に記憶させておくことにより、TV60では、特別なハードウェアやソフトウェアを設けずに、メニュー画面の原画像に近い高階調のメニュー画面の画像を表示することが可能となる。
なお、画像処理装置80(図13)では、メニュー画面の画像(原画像)等のUI(User Interface)となる画像の他、実世界を撮影した画像等を、処理の対象とすることができる。
さらに、画像処理装置80では、静止画、及び動画のいずれをも、処理の対象とすることができる。
また、TV60(図6)の信号処理部62の信号処理としての拡大処理は、線形補間以外の、例えば、最近傍補間や、キュービック補間等によって行うことができる。
さらに、信号処理部62の拡大処理としては、画像を、2倍以外の拡大率で拡大する処理を採用することができる。
また、信号処理部62の信号処理は、拡大処理に限定されるものではない。
[本発明を適用したコンピュータの構成例]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図20は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク105やROM103に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体111に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体111は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体111からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部108で受信し、内蔵するハードディスク105にインストールすることができる。
コンピュータは、CPU(Central Processing Unit)102を内蔵している。CPU102には、バス101を介して、入出力インタフェース110が接続されており、CPU102は、入出力インタフェース110を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部107が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)103に格納されているプログラムを実行する。あるいは、また、CPU102は、ハードディスク105に格納されているプログラム、衛星若しくはネットワークから転送され、通信部108で受信されてハードディスク105にインストールされたプログラム、またはドライブ109に装着されたリムーバブル記録媒体111から読み出されてハードディスク105にインストールされたプログラムを、RAM(Random Access Memory)104にロードして実行する。これにより、CPU102は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU102は、その処理結果を、必要に応じて、例えば、入出力インタフェース110を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部106から出力、あるいは、通信部108から送信、さらには、ハードディスク105に記録等させる。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。
また、プログラムは、1のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
10 記憶用画像生成装置, 11 量子化部, 20 表示用画像生成装置, 21 記憶部, 22 信号処理部, 23 階調変換部, 30 記憶用画像生成装置, 31 ΔΣ変調部, 41 演算部, 42 量子化部, 43 演算部, 44 フィルタ, 511,1,512,1,513,1,514,1,515,1,511,2,512,2,513,2,514,2,515,2,511,3,512,3,52 演算部, 61 記憶部, 62 信号処理部, 63 階調変換部, 64 ブレンド部, 65ないし67 演算部, 71 縮小部, 72 量子化部, 81 ΔΣ変調部, 91 アップサンプル部, 92 LPF, 101 バス, 102 CPU, 103 ROM, 104 RAM, 105 ハードディスク, 106 出力部, 107 入力部, 108 通信部, 109 ドライブ, 110 入出力インタフェース, 111 リムーバブル記録媒体