JP3697727B2 - 量子化装置および量子化方法 - Google Patents

Description

【０００１】
【産業上の利用分野】
この発明は、例えばディジタル画像信号を量子化する場合に入力信号値と量子化復号値とで定義される量子化誤差最小規範に対して、さらに視覚特性を考慮した空間変動規範、および／または、時間変動規範を加味するようにした量子化装置および量子化方法に関する。
【０００２】
【従来の技術】
例えば、各画素が８ビットで表されるディジタル画像信号が入力され、各画素を８ビットより少ないビット数で量子化（再量子化）することによって、データ量を圧縮することが行われる。従来この量子化としては、入力信号値と量子化復号値との量子化誤差が最小となるように量子化値が選択されていた。この量子化装置において、入力信号レベルの分布に極端な偏りがない場合、その量子化誤差の積算値は最小となりＳ／Ｎ（Signal/Noise）比は、最良となる。そのため、従来の量子化装置は、Ｓ／Ｎ規範に基づいて量子化値が決定されている。この規範とは、のっとるべき規則を言い、すなわちＳ／Ｎ規範とは、量子化誤差を最小とする量子化値を選択する規則を意味する。
【０００３】
ここで、Ｓ／Ｎ規範Ｑ１は式（１）で表される。Ｌ（ｉ）は入力信号値を表し、Ｌ（ｉ）＾は量子化復号値を表し、ｑ（ｉ）は量子化値を表し、ｎは量子化ビット数を表す。また、一般的な８ビット量子化の入力ディジタル画像信号に対する量子化式と復号式を式（２）、（３）に示す。
【０００４】
Ｑ１＝ＭＩＮ〔｜Ｌ（ｉ）＾−Ｌ（ｉ）｜〕 （１）
ｑ（ｉ）＝Ｌ（ｉ）／（２５５／２ⁿ ） （２）
Ｌ（ｉ）＾＝ｑ（ｉ）・２５５／２ⁿ （３）
【０００５】
式（１）におけるＭＩＮ〔 〕は、〔 〕内の値が最小値となる量子化値を選択することを意味する。入力信号値に対する各量子化値の量子化復号値の量子化誤差を比較し、Ｓ／Ｎ規範Ｑ１に基づいて量子化値が選択される。図５に３ビット量子化の例を示す。従来のＳ／Ｎ規範量子化装置は、入力信号を８階調に量子化し、各量子化区間の中央値を量子化復号値として出力する。
【０００６】
図５によると、入力信号の変化が小さくなる平坦領域において画質劣化が認められる。つまり、入力信号が領域境界レベルを挟み僅かに変動しているにも拘らず、量子化復号値においては、量子化ステップ幅に相当する信号変動に拡大されることになる。このような画質劣化は空間方向と時間方向の両者に発生し、画像のエッジ部分がザラザラと見える、すなわちエッジビジネスや時間的劣化の原因となる。このように、人間の視覚特性を考慮すると、必ずしもＳ／Ｎ規範による量子化が最適とは言えない。特に人間の視覚特性は、入力信号の空間的、あるいは時間的な信号変化に対する感度が高いと考えられるにも拘らず、従来の量子化装置は、入力信号値そのものを基準として量子化を行うため、信号変化に伴う画質劣化が目立つという欠点があった。
【０００７】
このような従来のＳ／Ｎ規範のみに基づく量子化装置の欠点を克服するため、本出願人は、上述のような人間の視覚特性を考慮した新規範Ｑ２を用いた量子化装置を先に提案している（特開平６−１６９２５７号公報参照）。新規範Ｑ２を式（４）に示す。
Ｑ２＝ＭＩＮ〔α〔Ｓ／Ｎ〕＋β〔ΔＳ〕＋γ〔ΔＴ〕〕 （４）
【０００８】
ここで、〔Ｓ／Ｎ〕はＳ／Ｎ評価値を表し、〔ΔＳ〕は空間変動評価値を表し、〔ΔＴ〕は時間変動評価値を表し、さらにα、β、γはそれぞれの重みを表している。この式（４）で表される新規範Ｑ２は、複数の量子化値候補に関して、Ｓ／Ｎ評価値、空間変動評価値および時間変動評価値を重み付け加算した新規範評価値を求め、この評価値を最小とする量子化値候補を出力量子化値として選択する規則である。図６には、空間的に対応するｋフレームと（ｋ−１）フレームの画素配置図を示す。ｋフレームのＬｘ（ｋ）の値を有する画素の量子化を行う場合、新量子化規範Ｑ２で用いられる各評価値は次式で表される。
【０００９】

但し、〔ΔＳ₁ 〕、〔ΔＳ₂ 〕、〔ΔＳ₃ 〕、〔ΔＳ₄ 〕は、次式で定義される。
【００１０】

【００１１】
Ｓ／Ｎ評価値〔Ｓ／Ｎ〕は、従来の量子化装置で評価されるのと同様の量子化誤差である。空間変動評価値〔ΔＳ〕は、空間内の量子化復号値の信号変化量（すなわち、空間内の量子化復号値の傾き）と入力信号の信号変化量（すなわち、空間内の入力信号値の傾き）との比較を行うものである。量子化復号値の信号変化量を算出する場合、既に新規範Ｑ２により決定済みの、過去の画素の量子化値を使用して比較するという処理上の制約がある。図６においては、量子化対象画素Ｌｘ（ｋ）に関し、処理済み画素は近傍４画素Ｌａ（ｋ）、Ｌｂ（ｋ）、Ｌｃ（ｋ）、Ｌｄ（ｋ）であり、これらを使用して〔ΔＳ₁ 〕、〔ΔＳ₂ 〕、〔ΔＳ₃ 〕、〔ΔＳ₄ 〕がそれぞれ求められる。
【００１２】
時間変動評価値〔ΔＴ〕は、量子化対象画素Ｌｘ（ｋ）と同一位置にある前フレームの画素Ｌｘ（ｋ−１）とに関し、入力信号のフレーム間の変化量と量子化復号値のフレーム間の信号変化量とを比較するものである。上述のように式（４）のＭＩＮ〔 〕は、〔 〕内の評価値を最小とする量子化値候補が最終的な量子化値として選択されることを意味する。その結果、従来の量子化装置で問題となる画質劣化が低減される。
【００１３】
その様子を図５に示す。すなわち、従来の量子化装置では、入力信号が量子化境界レベル近傍で僅かに変動している場合、量子化復号値においては量子化ステップ幅に相当する信号変動に拡大されていたが、上述の式（４）に基づく新規範量子化装置においては、この信号変動は抑圧され安定した量子化復号化値が得られる。こうして新規範量子化装置によって、意図した画質改善が達成できる。
【００１４】
【発明が解決しようとする課題】
上述の新規範量子化装置と従来の量子化装置とを比較すると、画質劣化はかなり低減される。しかしながら、新規範量子化の構造に起因する独特な画質劣化が発生する。そのひとつに『時間へばりつき』パターンが挙げられる。この画質劣化は、式（４）における時間変動評価値の寄与率が高すぎる場合に発生する。
【００１５】
すなわち、物体輪郭部のような空間内信号変化が大きい対象が動く場合には、評価値の中で時間変動評価値が大きくなり、入力信号値の時間変化に追従した量子化値が選択される。一方、空間内の信号変化が小さい平坦部分が動いたときでは、時間変動評価値も小さくなる。この平坦部分が動く時には、時間変動評価値の全体の評価値に対する寄与率が適切でないと、動き部分であっても、過去と同じ量子化値が選択され、時間的に変化しない、『時間へばりつき』パターンが発生することになる。より具体的には、画面内の比較的大きな面積の物体が動いた時に、量子化復号値の画像では、その輪郭部は動くが、物体内の平坦部分が動かない現象が生じ、見る者が違和感を持つことになる。
【００１６】
従って、この発明の目的は、新規範による量子化に独特な画質劣化である、上述の『時間へばりつき』現象を防止できる量子化装置および量子化方法を提供することにある。
【００１７】
【課題を解決するための手段】
この発明は、所定の量子化ビット数の入力信号値が供給され、量子化ビット数より少ないｎビットの量子化値を出力する量子化装置において、
入力信号値をｎビットに量子化し、複数の量子化値候補を発生する量子化手段と、
入力信号から動きベクトルを検出する動きベクトル検出手段と、
検出された動きベクトルによって入力信号の動き補償を行う動き補償手段と、
入力信号値と、動き補償手段からの動き補償された過去の画素値と、量子化値候補とが供給される判定手段とからなり、
判定手段は、量子化値候補に関して、入力信号値と量子化値候補の復号値の差であるＳ／Ｎ評価値と、入力信号の空間変動と量子化値候補の復号値の空間変動の差である空間変動評価値と、入力信号値および動き補償された過去の画素値の時間変動と量子化値候補の復号値の時間変動の差である時間変動評価値とを重み付け加算した評価値をそれぞれ求め、評価値を最小とする量子化値候補を出力すべき量子化値として選択的に出力することを特徴とする量子化装置である。
【００１８】
【作用】
入力信号値の時間変化と量子化値候補の量子化復号値の時間変化とを比較し、入力信号値の時間変化と量子化復号値の時間変化の差分を時間変動評価値とする。この場合、時間変化を求めるために使用する過去の画素値として、動き補償画像中のものを使用する。動き補償によって、動きの影響が除去され、同一画素の時間変動に基づいて、評価値を生成できる。これによって、『時間へばりつき』パターンの発生を防止する。
【００１９】
【実施例】
以下、この発明に係る量子化装置の一実施例について説明する。この発明は、時間変動評価値を算出する時に使用される過去の画像に対して動き補償を施す。動き補償は、基本的に現画像と過去画像の間で移動量および移動方向を表す動きベクトルを検出し、過去の画像を動きベクトルによって移動させ、それによって、現画像と過去画像の位置を合わせる処理である。最初に動きベクトルの検出について説明する。
【００２０】
一般的に、動きベクトル検出法には大別して次の３種類が挙げられる。
（１）ブロックマッチング法
（２）勾配法
（３）位相相関法
【００２１】
ブロックマッチング法は、パターンマッチングと同じ発想で、現画像のブロック化された領域が、過去の画像中の何処に存在したか、現画像と過去画像の比較を行う。具体例としては、ブロック内対応画素毎の差分絶対値を加算し、ブロック毎の差分絶対値和（あるいは差分の二乗和）が最小となる位置を動きベクトルとするものである。
【００２２】
ブロックマッチング法を用いるブロックデータの構造例を図１に示す。隣接フレーム間での動きベクトルを検出する場合、空間的に対応する位置にブロック（Ｍ画素×Ｎライン）が設定される。ｋフレーム（現フレーム）とｋ−１フレーム（前フレーム）で探索座標分ずらし、すなわち、水平方向で（Ｘ＋Ｍ）画素、垂直方向で（Ｙ＋Ｎ）ラインずらし、各座標位置においてパターンマッチングを行ない、ブロック毎の差分絶対値和（あるいは差分の二乗和）が最小となる座標位置を検出する。
【００２３】
ｋフレームの座標（ｉ，ｊ) の画素レベルをＬ_K (i,j) 、ｋ−１フレームの座標（ｉ，ｊ) の画素レベルをＬ_k-1 (i,j）とすると、座標（ｘ，ｙ）における評価式の例として式（１２）が挙げられる。
【００２４】
【数１】

【００２５】
図１の例においては、サーチ領域内の各座標についての評価式（式１２）の評価値Ｅを演算する。サーチ点の数はＸ・Ｙ点となる。その中で、評価値Ｅが最小となる座標（ｘ，ｙ）が動きベクトルに対応する。求められた動きベクトルをｖ＝（ｖ_x , ｖ_y ）とすると、ｖ_x ＝−ｘ、ｖ_y ＝−ｙで与えられる。この手法は演算量が膨大となる欠点があるが、検出精度は良いので広く一般的に用いられている。
【００２６】
勾配法は、ある空間傾斜を持つ画素がある位置まで動くと、動き量に応じた時間差分が発生するというモデルに基づく。よって、時間差分を空間傾斜で割算すれば動きベクトルが得られる。勾配法の基本処理を次に示す。
【００２７】
座標（ｘ，ｙ）における画素値をｇ（ｘ，ｙ）とする。
動きベクトルをｖ＝（ｖ_x ，ｖ_y ）とすると、次の時刻の画素値は、ｇ（ｘ−ｖ_x ，ｙ−ｖ_y ）となる。これをテーラー展開すると式（１３）になる。
【００２８】
【数２】

【００２９】
ここで時間差分を式（１４）で表す。
ｄ（ｘ，ｙ）＝ｇ（ｘ−ｖ_x ，ｙ−ｖ_y ）−ｇ（ｘ，ｙ） （１４）
これにより式（１５）が得られる。
ｖ・gradｇ（ｘ，ｙ） 〜 −ｄ（ｘ，ｙ） （１５）
この式（１５）により時間差分と空間勾配から動きベクトルを求めることが出来る。
【００３０】
あるブロック内の画素に対し、最小自乗法を式（１５）に適用しｖについて解くと、式（１６）、式（１７）が得られる。
ｖ_x ＝−（ΣΔ_t Δ_x ）／（ΣΔ_x ² ） （１６）
ｖ_y ＝−（ΣΔ_t Δ_y ）／（ΣΔ_y ² ） （１７）
Δ_t は時間差分、Δ_x は水平勾配、Δ_y は垂直勾配を表す。
【００３１】
更に簡略化することで式（１８）、式（１９）が得られる。
ｖ_x ＝−｛ΣΔ_t sign（Δ_x ）｝／（Σ｜Δ_x ｜） （１８）
ｖ_y ＝−｛ΣΔ_t sign（Δ_y ）｝／（Σ｜Δ_y ｜） （１９）
sign（ ）は符号を表す。
【００３２】
一般的に勾配法による動き量検出には、式（１８）、式（１９）が用いられる。勾配法は演算量は少ないが、動き量が大きくなると検出動きベクトルの精度が落ちるという欠点がある。それは前述のモデルが成り立たなくなるからである。しかしながら、実用上は、反復的に動きベクトルを順次検出していくなど、様々な工夫により精度を得るようにしている。
【００３３】
さらに、位相相関法は、現画像と過去画像の同一位置のブロックデータに対し、各々フーリエ変換を施し、周波数領域で位相のずれ量を検出し、その位相項を逆フリーエ変換を用いて動きベクトル値を検出する手法である。この手法の特徴として、精度を確保するためには、ある程度以上の大きいブロックサイズが要求される。そのためフーリエ変換により演算量が膨大となる。また、一般的に大きいブロックの中には複数の動きが存在し、その識別判定が難しくなるという欠点がある。
【００３４】
以上述べた動きベクトル検出法の何れかを適用し、図２の各ブロック毎に動きベクトルｖ＝（ｖ_x ，ｖ_y ) を検出する。図２に示すように、各ブロックは、ｍ画素×ｎラインの画素数から構成されている。検出された動きベクトルにより動き補償された画素値は、次の式（２０）で与えられる。座標（ｘ，ｙ）における過去の画素値をｇ_k-1 （ｘ，ｙ）、動き補償後の画素値をＧ_k-1 （ｘ，ｙ）とする。
【００３５】
Ｇ_k-1 （ｘ，ｙ）＝ｇ_k-1 （ｘ−ｖ_x ，ｙ−ｖ_y ） （２０）
【００３６】
上述の式（４）における過去の画素値として、この動き補償された画素値を採用することで、物体の動きに依存しない量子化を行なうことができる。これによって、上述したような『時間へばりつき』のような画質劣化を防止することができる。
【００３７】
上述したように、動き補償された画素値を過去の画素値として使用するこの発明の一実施例は、図３のフローチャートに従って量子化値が決定される。基本的には、設定された量子化ビット数ｎで生成可能な全ての線形量子化値ｑ（ｉ）に関し、式（４）で定義される新規範評価値を算出し、その最小値を有する量子化コードを出力値とする。この図３のフローチャートのステップ１において、上述したような方法を使用して動きベクトルが検出される。
【００３８】
次のステップ２において、検出された動きベクトルを使用して、過去の画素に対して動き補償が実行される。これによって、式（４）の各評価値を計算する式が定まる。
【００３９】
そして、ステップ３において、カウンタｑに `０' が設定される。カウンタｑは、量子化値候補と対応している。次のステップ４では、ｑと対応する量子化値候補について、式（４）を使用した評価値の算出がなされる。算出された新規範評価値が登録される。
【００４０】
ステップ５のインクリメントでは、カウンタｑに `＋１' が加算され、ステップ６へ制御が移る。ステップ６のｑ＝Ｎでは、ステップ５（インクリメント）において加算されたカウンタｑがＮと等しいか否かが判別され、ｑ≠Ｎの場合、ステップ４（評価値の算出および登録）へ制御が戻り、ｑ＝Ｎの場合、ステップ７へ制御が移る。すなわち、評価対象の量子化コードの最大値が（Ｎ−１）の場合には、この（Ｎ−１）で設定される回数、ステップ４およびステップ５の処理が繰り返され、カウンタｑがＮに等しくなるとき、ループは終了する。
【００４１】
次に、ステップ７の評価値の最小値検出において、量子化コード候補の内で最小の新規範評価値のを生じさせる量子化コードｑが最終結果として選択される。ステップ８の量子化値ｑ登録において、選択された量子化コードｑが登録され、このフローチャートは終了する。
【００４２】
次に、この発明の量子化装置の処理を実現する一実施例のブロック図を図４に示す。入力端子１１から供給される入力信号値Ｌ（ｉ）、例えば各画素が８ビットに量子化されたディジタル画像信号は、量子化器１２、処理部１３へ供給される。この処理部１３は、動きベクトル検出部１８、動き補償部１５、判定部１６、メモリ部１７から構成され、入力端子１１から供給された入力信号値Ｌ（ｉ）は、量子化器１２、動きベクトル検出部１８、動き補償部１５および判定部１６へ供給される。量子化器１２において、供給された入力信号値Ｌ（ｉ）が８ビットより少ないｎビットへ量子化される。この量子化器１２からは、２ⁿ の数の量子化値候補ｄ１が発生する。
【００４３】
量子化器１２により生成された線形量子化値ｑ（ｉ）は、ｄ１として判定部１６へ供給される。動き補償部１５は、検出された動きベクトルに基づいて、式（２０）で示される動き補償を実行する。動き補償画素値ｄ３が判定部１６へ供給される。
【００４４】
新規範量子化においては、式（４）で定義される新規範Ｑ２が用いられるため、入力信号値Ｌ（ｉ）と決定済み量子化値ｄ０を記憶しておく必要がある。メモリ部１７からは、必要に応じて記憶データｄ０（すなわち、決定済み量子化値）が、判定部１６へ供給される。判定部１６では、上述した図３に示すフローチャートの処理が行われる。すなわち、供給された入力信号値Ｌ（ｉ）、線形量子化値ｄ１、動き補償画素値ｄ３、記憶データｄ０から式（４）の判定が実行され、最終的な量子化値ｑ（ｉ）が選択され、出力端子１４から取り出される。
【００４５】
この新規範量子化装置により、従来の量子化装置の画質劣化を低減し、視覚特性に合致する量子化画像を得ることができる。
【００４６】
図４中の量子化器１２において、全ての量子化値を発生するのと異なり、Ｓ／Ｎ規範に基づいて選択された基準の量子化値を生成し、この量子化値と、その上下の量子化値の３種類の量子化値候補について、判定部１６が新規範評価値をそれぞれ求め、この３個の新規範評価値の中で最小のものと対応する量子化値候補を選択的に出力する構成としても良い。
【００４７】
なお、この発明は、空間変動評価値と時間変動評価値との一方のみを使用して新規範評価値を構成するようにしても良い。例えば、ディジタルオーディオ信号のような場合には、Ｓ／Ｎ評価値と時間変動評価値とを使用した評価値を使用することができる。
【００４８】
【発明の効果】
この発明によれば、視覚特性を考慮した量子化が行えることで、量子化境界レベル近傍の入力信号値の変化が拡大されることによる空間方向、あるいは時間方向の画質劣化を低減することができる。
【００４９】
また、この発明によれば、動き補償がなされた画素値を過去の画素値として使用することによって、評価値を計算するので、動きの影響を評価値の計算から除去することができ、それによって、冒頭に述べたような画質劣化を防止することが可能となる。
【００５０】
さらに、この発明によれば、元の量子化ビット数より少ないビット数でも良好な画像を得ることができ、例えばディジタル入力信号の圧縮を良好に得ることができる。
【図面の簡単な説明】
【図１】動きベクトル検出方法の一例を説明するための略線図である。
【図２】この発明に係る動き量検出のための画面分割の一例を示す略線図である。
【図３】この発明に係る量子化装置の判定部の一実施例の処理を示すフローチャートである。
【図４】この発明に係る量子化装置の一実施例を示すブロック図である。
【図５】入力信号に対して３ビット量子化が行われた一例を示す略線図である。
【図６】画素の配置の一例を示すブロック図である。
【符号の説明】
１２ 量子化器
１３ 処理部
１５ 動き補償部
１６ 判定部
１７ メモリ部
１８ 動きベクトル検出部

Claims (5)

1. 所定の量子化ビット数の入力信号値が供給され、上記量子化ビット数より少ないｎビットの量子化値を出力する量子化装置において、
   入力信号値をｎビットに量子化し、複数の量子化値候補を発生する量子化手段と、
   入力信号から動きベクトルを検出する動きベクトル検出手段と、
   検出された動きベクトルによって上記入力信号の動き補償を行う動き補償手段と、
   上記入力信号値と、上記動き補償手段からの動き補償された過去の画素値と、上記量子化値候補とが供給される判定手段とからなり、
   上記判定手段は、上記量子化値候補に関して、上記入力信号値と上記量子化値候補の復号値の差であるＳ／Ｎ評価値と、上記入力信号の空間変動と上記量子化値候補の復号値の空間変動の差である空間変動評価値と、上記入力信号値および上記動き補償された過去の画素値の時間変動と上記量子化値候補の復号値の時間変動の差である時間変動評価値とを重み付け加算した評価値をそれぞれ求め、上記評価値を最小とする上記量子化値候補を出力すべき量子化値として選択的に出力することを特徴とする量子化装置。
2. 請求項１に記載の量子化装置において、
   上記空間変動評価値が同一フィールドまたは同一フレーム内の入力信号値と復号値とを用いて求められることを特徴とする量子化装置。
3. 請求項１に記載の量子化装置において、
   入力信号がディジタルビデオ信号であって、上記時間変動評価値が現フレームの入力信号値および復号値と前フレームの入力信号を動き補償した画像中の信号値と復号値とを用いて求められることを特徴とする量子化装置。
4. 請求項１に記載の量子化装置において、
   上記量子化手段は、上記Ｓ／Ｎ評価値に基づいて選択された基準の量子化値およびその上下の量子化値を生成し、これらの量子化値候補について、上記判定手段がそれぞれ上記評価値を求めることを特徴とする量子化装置。
5. 所定の量子化ビット数の入力信号値が供給され、上記量子化ビット数より少ないｎビットの量子化値を出力する量子化方法において、
   動きベクトルを検出するステップと、
   上記動きベクトルにより動き補償を行なうステップと、
   上記量子化値の複数の量子化値候補に関して、上記入力信号値と上記量子化値候補の復号値の差であるＳ／Ｎ評価値と、上記入力信号の空間変動と上記量子化値候補の復号値の空間変動の差である空間変動評価値と、上記入力信号値および上記動き補償された過去の画素値の時間変動と上記量子化値候補の復号値の時間変動の差である時間変動評価値とを、重み付け加算した評価値をそれぞれ求めるステップと、
   上記評価値を最小とする上記量子化値候補を出力すべき量子化値として選択的に出力するステップと
   からなることを特徴とする量子化方法。

Images