JP3704740B2 - 量子化装置および量子化方法 - Google Patents
量子化装置および量子化方法 Download PDFInfo
- Publication number
- JP3704740B2 JP3704740B2 JP7828295A JP7828295A JP3704740B2 JP 3704740 B2 JP3704740 B2 JP 3704740B2 JP 7828295 A JP7828295 A JP 7828295A JP 7828295 A JP7828295 A JP 7828295A JP 3704740 B2 JP3704740 B2 JP 3704740B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- weight
- evaluation value
- quantization
- input signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【産業上の利用分野】
この発明は、例えばディジタル画像信号を量子化する場合に入力信号値と量子化復号値とで定義される量子化誤差最小規範に対して、さらに視覚特性を考慮した空間変動規範および／または時間変動規範を加味するようにした量子化装置および量子化方法に関する。
【０００２】
【従来の技術】
例えば、各画素が８ビットで表されるディジタル画像信号が入力され、各画素を８ビットより少ないビット数で量子化（再量子化）することによって、データ量を圧縮することが行われる。従来、この量子化としては、入力信号値と量子化復号値との量子化誤差が最小となるように量子化値が選択されていた。この量子化装置において、入力信号レベルの分布に極端な偏りがない場合、その量子化誤差の積算値は最小となりＳ／Ｎ（Signal/Noise）比は、最良となる。そのため、従来の量子化装置は、Ｓ／Ｎ規範に基づいて量子化値が決定されている。この規範とは、のっとるべき規則を言い、すなわちＳ／Ｎ規範とは、量子化誤差を最小とする量子化値を選択する規則を意味する。
【０００３】
ここで、Ｓ／Ｎ規範Ｑ１は式（１）で表される。Ｌ（ｉ）は入力信号値を表し、Ｌ（ｉ）＾は量子化復号値を表し、ｑ（ｉ）は量子化値を表し、ｎは量子化ビット数を表す。また、一般的な８ビット量子化の入力ディジタル画像信号に対する量子化式と復号式を式（２）、（３）に示す。
【０００４】
Ｑ１＝ＭＩＮ〔｜Ｌ（ｉ）＾−Ｌ（ｉ）｜〕 （１）
ｑ（ｉ）＝Ｌ（ｉ）／（２５５／２n ） （２）
Ｌ（ｉ）＾＝ｑ（ｉ）・２５５／２n （３）
【０００５】
式（１）におけるＭＩＮ〔 〕は、〔 〕内の値が最小値となる量子化値を選択することを意味する。入力信号値に対する各量子化値の量子化復号値の量子化誤差を比較し、Ｓ／Ｎ規範Ｑ１に基づいて量子化値が選択される。図１２に３ビット量子化の例を示す。従来のＳ／Ｎ規範量子化装置は、入力信号を８階調に量子化し、各量子化区間の中央値を量子化復号値として出力する。
【０００６】
図１２によると、入力信号の変化が小さくなる平坦領域において画質劣化が認められる。つまり、入力信号が領域境界レベルを挟み僅かに変動しているにも拘らず、量子化復号値においては、量子化ステップ幅に相当する信号変動に拡大されることになる。このような画質劣化は空間方向と時間方向の両者に発生し、画像のエッジ部分がザラザラと見える、すなわちエッジビジネスや時間的劣化の原因となる。このように、人間の視覚特性を考慮すると、必ずしもＳ／Ｎ規範による量子化が最適とは言えない。特に人間の視覚特性は、入力信号の空間的、あるいは時間的な信号変化に対する感度が高いと考えられるにも拘らず、従来の量子化装置は、入力信号値そのものを基準として量子化を行うため、信号変化に伴う画質劣化が目立つという欠点があった。
【０００７】
このような従来のＳ／Ｎ規範のみに基づく量子化装置の欠点を克服するため、本出願人は、上述のような人間の視覚特性を考慮した新規範Ｑ２を用いた量子化装置を先に提案している（特開平６−１６９２５７号公報参照）。新規範Ｑ２を式（４）に示す。
Ｑ２＝ＭＩＮ〔α〔Ｓ／Ｎ〕＋β〔ΔＳ〕＋γ〔ΔＴ〕〕 （４）
【０００８】
ここで、〔Ｓ／Ｎ〕はＳ／Ｎ評価値を表し、〔ΔＳ〕は空間変動評価値を表し、〔ΔＴ〕は時間変動評価値を表し、さらにα、β、γはそれぞれの重みを表している。この式（４）で表される新規範Ｑ２は、複数の量子化値候補に関して、Ｓ／Ｎ評価値、空間変動評価値および時間変動評価値を重み付け加算した新規範評価値を求め、この評価値を最小とする量子化値候補を出力量子化値として選択する規則である。図１３には、空間的に対応するｋフレームと（ｋ−１）フレームの画素配置図を示す。ｋフレームのＬｘ（ｋ）の値を有する画素の量子化を行う場合、新規範Ｑ２で用いられる各評価値は次式で表される。
【０００９】
〔Ｓ／Ｎ〕＝｜Ｌｘ（ｋ）＾−Ｌｘ（ｋ）｜ （５）
〔ΔＳ〕＝〔ΔＳ1 〕＋〔ΔＳ2 〕＋〔ΔＳ3 〕＋〔ΔＳ4 〕 （６）
〔ΔＴ〕＝｜（Ｌｘ（ｋ）＾−Ｌｘ（ｋ−１）＾）−（Ｌｘ（ｋ）−Ｌｘ（ｋ−１））｜ （７）
但し、〔ΔＳ1 〕、〔ΔＳ2 〕、〔ΔＳ3 〕、〔ΔＳ4 〕は、次式で定義される。
【００１０】
〔ΔＳ1 〕＝｜（Ｌｘ（ｋ）＾−Ｌａ（ｋ）＾）−（Ｌｘ（ｋ）−Ｌａ（ｋ））｜ （８）
〔ΔＳ2 〕＝｜（Ｌｘ（ｋ）＾−Ｌｂ（ｋ）＾）−（Ｌｘ（ｋ）−Ｌｂ（ｋ））｜ （９）
〔ΔＳ3 〕＝｜（Ｌｘ（ｋ）＾−Ｌｃ（ｋ）＾）−（Ｌｘ（ｋ）−Ｌｃ（ｋ））｜ （１０）
〔ΔＳ4 〕＝｜（Ｌｘ（ｋ）＾−Ｌｄ（ｋ）＾）−（Ｌｘ（ｋ）−Ｌｄ（ｋ））｜ （１１）
【００１１】
Ｓ／Ｎ評価値〔Ｓ／Ｎ〕は、従来の量子化装置で評価されるのと同様の量子化誤差である。空間変動評価値〔ΔＳ〕は、空間内の量子化復号値の信号変化量（すなわち、空間内の量子化復号値の傾き）と入力信号の信号変化量（すなわち、空間内の入力信号値の傾き）との比較を行うものである。量子化復号値の信号変化量を算出する場合、既に新規範Ｑ２により決定済みの、過去の画素の量子化値を使用して比較するという処理上の制約がある。図１３においては、量子化対象画素Ｌｘ（ｋ）に関し、処理済み画素は近傍４画素Ｌａ（ｋ）、Ｌｂ（ｋ）、Ｌｃ（ｋ）、Ｌｄ（ｋ）であり、これらを使用して〔ΔＳ1 〕、〔ΔＳ2 〕、〔ΔＳ3 〕、〔ΔＳ4 〕がそれぞれ求められる。
【００１２】
時間変動評価値〔ΔＴ〕は、量子化対象画素Ｌｘ（ｋ）と同一位置にある前フレームの画素Ｌｘ（ｋ−１）とに関し、入力信号のフレーム間の変化量と量子化復号値のフレーム間の信号変化量とを比較するものである。上述のように式（４）のＭＩＮ〔 〕は、〔 〕内の評価値を最小とする量子化値候補が最終的な量子化値として選択されることを意味する。その結果、従来の量子化装置で問題となる画質劣化が低減される。
【００１３】
その様子を図１２に示す。すなわち、従来の量子化装置では、入力信号が量子化境界レベル近傍で僅かに変動している場合、量子化復号値においては量子化ステップ幅に相当する信号変動に拡大されていたが、上述の式（４）に基づく新規範量子化装置においては、この信号変動は抑圧され安定した量子化復号化値が得られる。こうして新規範量子化装置によって、意図した画質改善が達成できる。
【００１４】
【発明が解決しようとする課題】
上述の新規範量子化装置と従来の量子化装置とを比較すると、画質劣化はかなり低減される。しかしながら、新規範量子化の構造に起因する独特な画質劣化が発生する。そのひとつに『時間へばりつき』パターンが挙げられる。この画質劣化は、式（４）における時間変動評価値の寄与率が高すぎる場合に発生する。
【００１５】
すなわち、物体輪郭部のような空間内信号変化が大きい対象が動く場合には、評価値の中で時間変動評価値が大きくなり、入力信号値の時間変化に追従した量子化値が選択される。一方、空間内の信号変化が小さい平坦部分が動いたときでは、時間変動評価値も小さくなる。この平坦部分が動く時には、時間変動評価値の全体の評価値に対する寄与率が適切でないと、動き部分であっても、過去と同じ量子化値が選択され、時間的に変化しない、『時間へばりつき』パターンが発生することになる。より具体的には、画面内の比較的大きな面積の物体が動いた時に、量子化復号値の画像では、その輪郭部は動くが、物体内の平坦部分が動かない現象が生じ、見る者が違和感を持つことになる。
【００１６】
従って、この発明の目的は、新規範による量子化に独特な画質劣化である、上述の『時間へばりつき』現象を防止できる量子化装置および量子化方法を提供することにある。
【００１７】
【課題を解決するための手段】
請求項１に記載の発明は、所定の量子化ビット数の入力信号値が供給され、量子化ビット数より少ないビット数の量子化値を出力する量子化手段と、入力信号値をｍ画素×ｎラインの画素数から構成されるブロックに分割し、分割されたブロック毎に動き量を検出する動き量検出手段と、検出された動き量に応答してブロック毎の重みを決定する重み決定手段と、入力信号値と、量子化手段から出力される量子化値と、重み決定手段から供給される重みとに基づいて、出力される量子化値を判定する判定手段とを有し、判定手段は、量子化手段から出力される複数の量子化値を複数の量子化値候補として復号し、復号した量子化値候補と入力信号値との差であるＳ／Ｎ評価値と、入力信号値の空間変動と量子化値候補の復号値の空間変動の差である空間変動評価値と、入力信号値の時間変動と量子化値候補の復号値の時間変動の差である時間変動評価値とを求め、Ｓ／Ｎ評価値と、空間変動評価値と、時間変動評価値とを重み付け加算した複数の評価値の中から最小となる量子化値候補を検出する処理がなされる評価手段と、複数の量子化値が保持され、保持されている複数の量子化値の中から検出された量子化値候補に応じて量子化値を選択し、出力する選択手段とから構成され、検出された動き量の増加に対して、Ｓ／Ｎ評価値に対する重みは単調増加し、空間変動評価値に対する重みは単調減少し、および／または時間変動評価値に対する重みは単調減少するように変化させるようにしたことを特徴とする量子化装置である。
【００１８】
そして、請求項１１に記載の発明は、所定の量子化ビット数の入力信号値が供給され、量子化ビット数より少ないビット数の量子化値を出力する量子化手段と、入力信号値をｍ画素×ｎラインの画素数から構成されるブロックに分割し、分割されたブロック毎に動き量を検出する動き量検出手段と、検出された動き量に応答してブロック毎の重みを決定する重み決定手段と、入力信号値と、量子化手段から出力される量子化値と、重み決定手段から供給される重みとに基づいて、出力される量子化値を判定する判定手段とを有し、判定手段は、量子化手段から出力される複数の量子化値を複数の量子化値候補として復号し、復号した量子化値候補と入力信号値との差であるＳ／Ｎ評価値と、入力信号値の空間変動と量子化値候補の復号値の空間変動の差である空間変動評価値と、入力信号値の時間変動と量子化値候補の復号値の時間変動の差である時間変動評価値とを求め、Ｓ／Ｎ評価値と、空間変動評価値と、時間変動評価値とを重み付け加算した複数の評価値の中から最小となる量子化値候補を検出する処理がなされる評価手段と、複数の量子化値が保持され、保持されている複数の量子化値の中から検出された量子化値候補に応じて量子化値を選択し、出力する選択手段とから構成され、検出された動き量から得られる画面全体の動き量の増加に対して、Ｓ／Ｎ評価値に対する重みは単調増加し、空間変動評価値に対する重みは単調減少し、および／または時間変動評価値に対する重みは単調減少するように変化させるようにしたことを特徴とする量子化装置である。
【００１９】
さらに、請求項１９に記載の発明は、所定の量子化ビット数の入力信号値が供給され、量子化ビット数より少ないビット数の量子化値を出力する量子化手段と、入力信号値をｍ画素×ｎラインの画素数から構成されるブロックに分割し、分割されたブロック毎の動き量および画面全体の動き量を検出する動き量検出手段と、検出された動き量に応答してブロック毎および画面全体の重みを決定する重み決定手段と、入力信号値と、量子化手段から出力される量子化値と、重み決定手段から供給される重みとに基づいて、出力される量子化値を判定する判定手段とを有し、判定手段は、量子化手段から出力される複数の量子化値を複数の量子化値候補として復号し、復号した量子化値候補と入力信号値との差であるＳ／Ｎ評価値と、入力信号値の空間変動と量子化値候補の復号値の空間変動の差である空間変動評価値と、入力信号値の時間変動と量子化値候補の復号値の時間変動の差である時間変動評価値とを求め、Ｓ／Ｎ評価値と、空間変動評価値と、時間変動評価値とを重み付け加算した複数の評価値の中から最小となる量子化値候補を検出する処理がなされる評価手段と、複数の量子化値が保持され、保持されている複数の量子化値の中から検出された量子化値候補に応じて量子化値を選択し、出力する選択手段とから構成され、検出された動き量の増加に対して、Ｓ／Ｎ評価値に対する重みは単調増加し、空間変動評価値に対する重みは単調減少し、および／または時間変動評価値に対する重みは単調減少するように変化させるようにしたことを特徴とする量子化装置である。
【００２０】
さらにまた、請求項２３に記載の発明は、所定の量子化ビット数の入力信号値が供給され、量子化ビット数より少ないビット数の量子化値を出力する量子化ステップと、入力信号値をｍ画素×ｎラインの画素数から構成されるブロックに分割し、分割されたブロック毎に動き量を検出する動き量検出ステップと、検出された動き量に応答してブロック毎の重みを決定する重み決定ステップと、入力信号値と、量子化ステップから出力される量子化値と、重み決定ステップから供給される重みとに基づいて、出力される量子化値を判定する判定ステップとを有し、判定ステップは、量子化ステップから出力される複数の量子化値を複数の量子化値候補として復号し、復号した量子化値候補と入力信号値との差であるＳ／Ｎ評価値と、入力信号値の空間変動と量子化値候補の復号値の空間変動の差である空間変動評価値と、入力信号値の時間変動と量子化値候補の復号値の時間変動の差である時間変動評価値とを求め、Ｓ／Ｎ評価値と、空間変動評価値と、時間変動評価値とを重み付け加算した複数の評価値の中から最小となる量子化値候補を検出する処理がなされる評価ステップと、複数の量子化値が保持され、保持されている複数の量子化値の中から検出された量子化値候補に応じて量子化値を選択し、出力する選択ステップとから構成され、検出された動き量の増加に対して、Ｓ／Ｎ評価値に対する重みは単調増加し、空間変動評価値に対する重みは単調減少し、および／または時間変動評価値に対する重みは単調減少するように変化させるようにしたことを特徴とする量子化方法である。
【００２１】
【作用】
入力画像から検出される動き量に応じて、各規範の重みを変更することで、『時間へばりつき』パターンの発生を防止する。
【００２２】
【実施例】
以下、この発明に係る量子化装置の一実施例について説明する。この発明は、動き量を検出し、時間変動評価値に対する重みを適切に制御するものである。最初に動き量の検出について説明する。まず、ここで動き量検出法について述べる。一般的には画面中に静止部と動画部が存在するので、局所的な動き量検出を行う必要がある。一例として、図１に示すような画面のブロック分割を導入する。各ブロックは、ｍ画素×ｎラインの画素数から構成されている。このブロック毎に動き量を検出する。
【００２３】
動き量検出方法の第１の例は、時間差分絶対値の積算値により動き量を決定する手段である。ｋフレームの座標（ｘ，ｙ）における入力信号値Ｌx ,y (k)、ｋ−１フレームの入力信号値をＬx ,y (k-1)とすると、時間差分絶対値が式（１２）で定義され、対象ブロックの画素平均時間差分絶対値Ｍが式（１３）で定義される。勿論、必ずしも画素平均化を行う必要はない。
【００２４】
ΔＴx,y ＝Ｌx,y (k) −Ｌx,y (k-1) （１２）
【００２５】
【数１】
【００２６】
この値Ｍに応じて各規範の重みα、β、γを変化させる。基本的には、検出された動き量が大きくなるにつれて、重みβ、γは単調減少する特性とし、最終的には重みαのみ、すなわちＳ／Ｎ規範判定になるように制御される。
【００２７】
動き量検出方法の第２の例は、各画素の空間傾斜で正規化した時間差分絶対値を用いた動き量の決定法である。一般に、空間変動の大きい部分（輪郭部のような空間傾斜の大きい部分）での時間差分絶対値は大きくなる。一方、空間変動の小さい部分（平坦部のような空間傾斜の小さい部分）での時間差分絶対値は小さくなる。そこで、適正な動き量を算出するために、空間傾斜で正規化された時間差分絶対値を使用する。図１３の画素配置図における空間傾斜の算出例を式（１４）〜式（１８）に示す。
【００２８】
ΔＳ＝（｜ΔＳ1 ｜＋｜ΔＳ2 ｜＋｜ΔＳ3 ｜＋｜ΔＳ4 ｜）／４ （１４）
但し、｜ΔＳ1 ｜、｜ΔＳ2 ｜、｜ΔＳ3 ｜、｜ΔＳ4 ｜は、次式で定義されるもので、斜め方向、垂直方向および水平方向の空間傾斜を表す。
【００２９】
｜ΔＳ1 ｜＝｛（Ｌａ（ｋ）−Ｌｘ（ｋ））＋（Ｌｘ（ｋ）−Ｌｈ（ｋ））｝／２ （１５）
｜ΔＳ2 ｜＝｛（Ｌｂ（ｋ）−Ｌｘ（ｋ））＋（Ｌｘ（ｋ）−Ｌｇ（ｋ））｝／２ （１６）
｜ΔＳ3 ｜＝｛（Ｌｃ（ｋ）−Ｌｘ（ｋ））＋（Ｌｘ（ｋ）−Ｌｆ（ｋ））｝／２ （１７）
｜ΔＳ4 ｜＝｛（Ｌｄ（ｋ）−Ｌｘ（ｋ））＋（Ｌｘ（ｋ）−Ｌｅ（ｋ））｝／２ （１８）
【００３０】
このように、算出された座標（ｘ、ｙ）における空間傾斜ΔＳx,y により正規化された画素平均動き量は、式（１９）で得られる。
【００３１】
【数２】
【００３２】
また、空間傾斜が極端に小さい画素においては正規化値が小さくなるため、動き量の感度が敏感になり過ぎる傾向がある。そこで、式（２０）のしきい値処理を導入する。すなわち、
ΔＳx,y ＜しきい値ＴＨ ： ΔＳx,y ＝１．０ （２０）
（ΔＳx,y ≧しきい値ＴＨ ： ΔＳx,y を変更しない。）
このしきい値処理により適正な動き量を算出することが可能となる。
【００３３】
以上の処理により得られる正規化動き量Ｍに応じて、各規範重みα、β、γを変更する。正規化動き量が大きくなるにつれて重みβ、γは単調減少する特性を持たせ、最終的には時間変動規範の寄与が少なくなるように制御する。その特性例を図２に示す。この例では動き量が小さい（０≦Ｍ＜Ｍ０）場合（静止ブロックの場合）、重みγを一定（例えば１．０）に設定し時間変動規範の寄与率を保つ。動き量が（Ｍ０≦Ｍ＜Ｍ１）の範囲では、重みγが単調減少する。図２では、単調減少の曲線が示されているが、直線的なものでも良い。一方、動き量がある値Ｍ１以上では時間変動規範の重みγをゼロとして評価から外す。
【００３４】
更に、式（４）のＳ／Ｎ規範重みαや空間変動規範重みβに関しても、動き量に応じた可変特性を採用する。その特性例を図３および図４にそれぞれ示す。空間変動評価値に対する重みβも、時間変動評価値の重みγと同様に、動き量に対し単調減少特性を示している。動き量が大きいと、重みγが小となり、相対的にβの寄与率が高くなり、その結果、固定パターンの動きが斜め方向に流れるような画質劣化を生じさせる。これを防止するために、重みβも単調減少特性としている。Ｓ／Ｎ評価値の重みαは、動き量に対してゆるやかな単調増加特性を示している。
【００３５】
また、上述の目的の動き量検出法として、所謂、動きベクトルを使用することも可能である。その例を以下に説明する。一般的に、動きベクトル検出法には大きく分類して次の３種類が挙げられる。
（１）ブロックマッチング法
（２）勾配法
（３）位相相関法
【００３６】
ブロックマッチング法は、パターンマッチングと同じ発想で、現画像のブロック化された領域が、過去の画像中の何処に存在したか、現画像と過去画像の比較を行う。具体例としては、ブロック内対応画素毎の差分絶対値を加算し、ブロック毎の差分絶対値和（あるいは差分の二乗和）が最小となる位置を動きベクトルとするものである。
【００３７】
ブロックマッチング法を用いるブロックデータの構造例を図５に示す。隣接フレーム間での動きベクトルを検出する場合、空間的に対応する位置にブロック（Ｍ画素×Ｎライン）が設定される。ｋフレーム（現フレーム）とｋ−１フレーム（前フレーム）で探索座標分ずらし、すなわち、水平方向で（Ｘ＋Ｍ）画素、垂直方向で（Ｙ＋Ｎ）ラインずらし、各座標位置においてパターンマッチングを行ない、ブロック毎の差分絶対値和（あるいは差分の二乗和）が最小となる座標位置を検出する。
【００３８】
ｋフレームの座標(i,j) の画素レベルをＬk (i,j) 、k-1 フレームの座標(i,j) の画素レベルをＬk-1 (i,j）とすると、座標（ｘ，ｙ）における評価式の例として式（２１）が挙げられる。
【００３９】
【数３】
【００４０】
図５の例においては、サーチ領域内の各座標についての評価式（式２１）の評価値Ｅを演算する。サーチ点の数はＸ・Ｙ点となる。その中で、評価値Ｅが最小となる座標（ｘ，ｙ）が動きベクトルに対応する。求められた動きベクトルをｖ＝（ｖx , ｖy ）とすると、ｖx ＝−ｘ、ｖy ＝−ｙで与えられる。この手法は演算量が膨大となる欠点があるが、検出精度は良いので広く一般的に用いられている。
【００４１】
勾配法は、ある空間傾斜を持つ画素がある位置まで動くと、動き量に応じた時間差分が発生するというモデルに基づく。よって、時間差分を空間傾斜で割算すれば動きベクトルが得られる。勾配法の基本処理を次に示す。
【００４２】
座標（ｘ，ｙ）における画素値をｇ（ｘ，ｙ）とする。動きベクトルをｖ＝（ｖx ，ｖy ）とすると、次の時刻の画素値は、ｇ（ｘ−ｖx ，ｙ−ｖy ）となる。これをテーラー展開すると式（２２）になる。
【００４３】
【数４】
【００４４】
ここで時間差分を式（２３）で表す。
ｄ（ｘ，ｙ）＝ｇ（ｘ−ｖx ，ｙ−ｖy ）−ｇ（ｘ，ｙ） （２３）
これにより式（２４）が得られる。
ｖ・gradｇ（ｘ，ｙ） 〜 −ｄ（ｘ，ｙ） （２４）
この式（２４）により時間差分と空間勾配から動きベクトルを求めることが出来る。
【００４５】
あるブロック内の画素に対し、最小自乗法を式（２４）に適用し動きベクトルｖについて解くと、式（２５）、式（２６）が得られる。
ｖx ＝−（ΣΔt Δx ）／（ΣΔx 2 ） （２５）
ｖy ＝−（ΣΔt Δy ）／（ΣΔy 2 ） （２６）
Δt は時間差分、Δx は水平勾配、Δy は垂直勾配を表す。
【００４６】
更に簡略化することで式（２７）、式（２８）が得られる。
ｖx ＝−｛ΣΔt sign（Δx ）｝／（Σ｜Δx ｜） （２７）
ｖy ＝−｛ΣΔt sign（Δy ）｝／（Σ｜Δy ｜） （２８）
sign（ ）は符号を表す。
【００４７】
一般的に勾配法による動き量検出には、式（２７）、式（２８）が用いられる。勾配法の演算量は少ないが、動き量が大きくなると検出動きベクトルの精度が落ちるという欠点がある。それは前述のモデルが成り立たなくなるからである。しかしながら、実用上は、反復的に動きベクトルを順次検出していくなど、様々な工夫により精度を得るようにしている。
【００４８】
さらに、位相相関法は、現画像と過去画像の同一位置のブロックデータに対し、各々フーリエ変換を施し、周波数領域で位相のずれ量を検出し、その位相項を逆フリーエ変換を用いて動きベクトル値を検出する手法である。この手法の特徴として、精度を確保するためには、ある程度以上の大きいブロックサイズが要求される。そのためフーリエ変換により演算量が膨大となる。また、一般的に大きいブロックの中には複数の動きが存在し、その識別判定が難しくなるという欠点がある。
【００４９】
以上述べた動きベクトル検出法の何れかを適用し、図１の各ブロック毎に動きベクトルｖ＝（ｖx ，ｖy ) を検出する。この動きベクトルｖに関して、例えば、式（２９）で定義される動きベクトルノルムＭを動き量とする。
【００５０】
【数５】
【００５１】
この動き量は、前述の時間差分絶対値を使用する手法と比較して、回路の負担は大きいが、精度は高い。そこで、動き量に応じて定義される各規範の重み特性を図２、図３および図４と同様に決定することで、新規範量子化器による画質向上を図ることが可能となる。
【００５２】
上述したように、動き量を検出し、この動き量に応じて各評価値の重みを変更するこの発明の一実施例は、図６のフローチャートに従って量子化値が決定される。基本的には、設定された量子化ビット数ｎで生成可能な全ての線形量子化値ｑ（ｉ）に関し、式（４）で定義される新規範評価値を算出し、その最小値を有する量子化コードを出力値とする。この図６のフローチャートのステップ１において、上述したような方法を使用して動き量がブロック毎に検出される。
【００５３】
次のステップ２において、検出された動き量からそのブロックの重みα、β、γが決定される。例として挙げた図２、図３および図４にそれぞれ示される特性に従って、これらの重みが決定される。
【００５４】
そして、ステップ３において、カウンタｑに０が設定される。カウンタｑは、量子化値候補と対応している。次のステップ４では、ｑと対応する量子化値候補について、式（４）を使用した評価値の算出がなされる。算出された新規範評価値が登録される。
【００５５】
ステップ５のインクリメントでは、カウンタｑに `＋１' が加算され、ステップ６へ制御が移る。ステップ６のｑ＝Ｎでは、ステップ５（インクリメント）において加算されたカウンタｑがＮと等しいか否かが判別され、ｑ≠Ｎの場合、ステップ４（評価値の算出および登録）へ制御が戻り、ｑ＝Ｎの場合、ステップ７へ制御が移る。すなわち、評価対象の量子化コードの最大値が（Ｎ−１）の場合には、この（Ｎ−１）で設定される回数、ステップ４およびステップ５の処理が繰り返され、カウンタｑがＮに等しくなるとき、ループは終了する。
【００５６】
次に、ステップ７の評価値の最小値検出において、量子化コード候補の内で最小の新規範評価値を生じさせる量子化コードｑが最終結果として選択される。ステップ８の量子化値ｑ登録において、選択された量子化コードｑが登録され、このフローチャートは終了する。
【００５７】
次に、この発明の量子化装置の処理を実現する一実施例のブロック図を図７に示す。入力端子１１から供給される入力信号値Ｌ（ｉ）、例えば各画素が８ビットに量子化されたディジタル画像信号は、量子化器１２、新規範処理部１３へ供給される。この新規範処理部１３は、動き量検出部１５、重み決定部１６、判定部１７、メモリ部１８から構成され、入力端子１１から供給された入力信号値Ｌ（ｉ）は、動き量検出部１５、判定部１７およびメモリ部１８へ供給される。量子化器１２において、供給された入力信号値Ｌ（ｉ）が８ビットより少ないｎビットへ量子化される。この量子化器１２からは、２n の数の量子化値候補が発生する。
【００５８】
量子化器１２により生成された線形量子化値ｑ（ｉ）は、ｄ１として判定部１７へ供給される。また、線形量子化値の上下の量子化値も生成され、判定部１７へ供給される。重み決定部１６は、動き量検出部１５により検出された動き量ｄ３に応答してブロック毎の重みを決定する。この重み決定部１６からの重みα、β、γがｄ２として判定部１７へ供給される。
【００５９】
新規範量子化においては、式（４）で定義される新規範Ｑ２が用いられるため、入力信号値Ｌ（ｉ）と決定済み量子化値ｄ０を記憶しておく必要がある。メモリ部１８からは、必要に応じて記憶データｄ０（すなわち、決定済み量子化値）が、判定部１７へ供給される。判定部１７では、上述した図６に示すフローチャートの処理が行われる。すなわち、供給された入力信号値Ｌ（ｉ）、線形量子化値ｄ１、重みｄ２、記憶データｄ０から式（４）の判定が実行され、最終的な量子化値ｑ（ｉ）が選択され、出力端子１４から取り出される。
【００６０】
ここで、上述の動き量検出部１５の一例を図８のブロック図に示す。この例は、時間差分を積算する方式である。入力信号値Ｌ（ｉ）が入力端子１１から供給され、その入力信号値Ｌ（ｉ）は、減算器２１およびメモリ部２２へ供給される。メモリ部２２では、入力信号値Ｌ（ｉ）に対して画素毎の遅延がなされ、その出力ｉ１と入力信号値Ｌ（ｉ）は、減算器２１において、上述の式（１２）で示されるような画素毎の時間差分ｉ２が生成される。時間差分ｉ１は、ＲＯＭ２３により適切な画素データｉ３へ変換され、加算器２４へ供給される。一例として、時間差分ｉ２は、このＲＯＭ２３において、差分値の絶対値化などが施され、画素データｉ３として出力される。
【００６１】
加算器２４では、画素データｉ３とレジスタ２５から供給される積算値ｉ５との加算が行われ、その値ｉ４は、レジスタ２５へ供給される。レジスタ２５では、画素毎に積算値ｉ５がＲＯＭ２６および加算器２４へ供給され、１ブロック毎の画素の積算がなされる。ＲＯＭ２６において、画素毎の平均時間差分値（式１３）などの演算が施され、動き量ｄ３が出力端子２７から取り出される。この動き量ｄ３は、動き量検出部１５から重み決定部１６へ供給される。
【００６２】
そして、重み決定部１６の一例を図９のブロック図に示す。動き量検出部１５から動き量ｄ３が入力端子２７を介して供給され、その動き量ｄ３に基づき上述した図２、図３および図４に示すような特性の各規範の重みが決定される。動き量ｄ３は、ＲＯＭ３１、３２、３３へ供給され、ＲＯＭ３１は、Ｓ／Ｎ規範重みαの特性と対応するテーブルが記憶され、動き量ｄ３に応じて重みαがｄ２として、出力端子３４を介して判定部１７へ供給される。ＲＯＭ３２は、空間変動規範重みβの特性と対応するテーブルが記憶され、動き量ｄ３に応じて重みβがｄ２として、出力端子３５を介して判定部１７へ供給される。同様に、ＲＯＭ３３は、空間変動規範重みγの特性と対応するテーブルが記憶され、動き量ｄ３に応じて重みγがｄ２として、出力端子３６を介して判定部１７へ供給される。すなわち、動き量ｄ３に対応する各重みα、β、γは、ｄ２として、次の判定部１７へ供給される。
【００６３】
次に、判定部１７の一例を図１０のブロック図に示す。先ず、新規範評価部４３において、上述した式（４）の新規範評価値を最小化する量子化値の検出が行われる。ハードワイヤによる検出も可能であるが、ＣＰＵ等を用いた演算による検出でも実行される。この検出のためには、式（４）に必要な様々な信号が要求される。そこで、入力端子１１から入力信号値Ｌ（ｉ）、入力端子４２から量子化器１２からの線形量子化値ｑ（ｉ）がｄ１として、入力端子４１からメモリ部１８からの記憶データｄ０、入力端子３４、３５、３６から規範重みα、β、γがｄ２として新規範評価部４３へ供給される。
【００６４】
新規範評価部４３で用いられる式（４）によると、メモリ部１８には、上述したように入力信号値Ｌ（ｉ）と決定済み量子化値ｑ（ｉ）を記憶しておく必要があり、新規範評価部４３における処理に応じてメモリ部１８からも必要な信号がｄ０として供給される。新規範評価部４３で検出された新規範最小化量子化値の選択コードｉ１１は、選択器４７へ供給される。量子化器１２からのｄ１は、線形量子化値と上下の量子化値も伝送されるので、その３つの量子化値は、最終量子化値候補としてレジスタ４４、４５、４６に保持される。これらの量子化値ｉ１２、ｉ１３、ｉ１４は、選択器４７に入力され、上述の選択コードｉ１１により適切な値が選択され、判定部１７の決定済み量子化値ｑ（ｉ）として出力端子１４から取り出される。
【００６５】
上述のように、供給される映像を図１に示すように幾つかのブロックに分割し、局所的な動き量を検出する一実施例を説明したが、これに対して、供給される映像から大局的な動き量を検出する他の実施例を以下に説明する。また、以下の説明において、上述と重複する説明は省略する。
【００６６】
この実施例は、動き量を検出し、Ｓ／Ｎ評価値、空間変動評価値および／または時間変動評価値に対する重みを適切に制御するものである。そこで、動画像より検出される大局的な動き量に基づき、式（４）の新規範Ｑ２での各規範の重みを変更することで上述した画質劣化の発生を防止する。ここで、大局的な動き量の検出法について述べる。例えば、大局的な動きとして、パンニングやチルトなどのカメラワークによる画面全体の動きを考える。図１に示すように画面全体をｉ・ｊ個の小ブロックに分割し、各小ブロックの動きベクトルを検出する。そして検出された動きベクトルの１画面当りの度数分布表を生成し、他の実施例においては、最も度数の多い動きベクトルを対象画面全体の動きベクトルと判定する。その後、図８と同様に動き量検出がなされる。但し、積算は、１ブロックでなくて１画面全体でなされる。
【００６７】
この他の実施例は、画面全体の動き量に応じて各規範の重みを変更する手法であり、画面全体の動きに応じて全体的な重みを制御する。すなわち、画面内の局所動きに応じて各規範の重みを変更する手法において、画像の局所的な性質により本来の局所動きが検出できなかった場合にも、他の実施例を用いることにより上述のような画質劣化の発生を抑圧することができる。仮に、画面全体に動きがある場合でも、平坦領域での動きの検出は難しい。しかしながら、この手法により画面全体の動き量が検出されれば、平坦領域にも適切な規範重みを適用することが可能となり、所望の量子化を実行することができる。
【００６８】
そして、上述した局所的な動き量と大局的な動き量との両者に応じて各規範重みを変更する。この場合の動き量検出部１５の構成例を図１１のブロック図を用いて説明する。入力端子１１から供給される入力信号値Ｌ（ｉ）は、局所的な動き量がＲＯＭ２６から動き量ｉ６としてメモリ部５７へ供給され、メモリ部５７では、動き量ｉ６に対して、所定の遅延が施された後、ｉ７として最大値選択回路５８へ供給される。また、大局的な動き量は、ＲＯＭ５６から動き量ｉ２６として最大値選択回路５８へ供給され、最大値選択回路５８では、局所的な動き量ｉ７および大局的な動き量ｉ２６の何れか大きい方が選択され、選択された動き量は、動き量ｄ３として動き量検出部１５から重み決定部１６へ出力端子２７を介して供給される。そして、この選択された動き量によって、上述の一実施例と同様に各規範の重みが制御される。
【００６９】
このように、画面全体の動き量検出と、局所的な動き量検出を併用することで、より適切な規範重みの制御が実現できる。以上の特性により、動画面における時間変動規範の寄与率に起因する画質劣化の発生を防止することが可能となる。
【００７０】
なお、この発明は、空間変動評価値と時間変動評価値との一方のみを使用して新規範評価値を構成するようにしても良い。例えば、ディジタルオーディオ信号のような場合には、Ｓ／Ｎ評価値と時間変動評価値とを使用した評価値を使用することができる。
【００７１】
【発明の効果】
この発明によれば、視覚特性を考慮した量子化が行えることで、量子化境界レベル近傍の入力信号値の変化が拡大されることによる空間方向あるいは時間方向の画質劣化を低減することができる。
【００７２】
また、この発明によれば、動き量が大きい場合、時間変動評価値に対する重みγを減少させることによって、重みγの値を適切なものとすることができ、冒頭に述べたような画質劣化を防止することが可能となる。
【００７３】
さらに、この発明によれば、元の量子化ビット数より少ないビット数でも良好な画像を得ることができ、例えばディジタル入力信号の圧縮を良好に得ることができる。
【図面の簡単な説明】
【図１】この発明に係る動き量検出のための画面分割の一例を示す略線図である。
【図２】時間変動評価値に対する重みの動き量に応じた変化の特性例を示す略線図である。
【図３】空間変動評価値に対する重みの動き量に応じた変化の特性例を示す略線図である。
【図４】Ｓ／Ｎ評価値に対する重みの動き量に応じた変化の特性例を示す略線図である。
【図５】動きベクトル検出方法の一例を説明するための略線図である。
【図６】この発明に係る可変重みの新規範量子化装置の判定部の一実施例を示すフローチャートである。
【図７】この発明の新規範量子化装置の一実施例を示すブロック図である。
【図８】この発明に係る動き量検出部の一例を示すブロック図である。
【図９】この発明に係る重み決定部の一例を示すブロック図である。
【図１０】この発明に係る判定部の一例を示すブロック図である。
【図１１】この発明の新規範量子化装置の他の実施例に係る動き量検出部の他の例を示すブロック図である。
【図１２】入力信号に対して３ビット量子化が行われた一例を示す略線図である。
【図１３】画素の配置の一例を示すブロック図である。
【符号の説明】
１２ 量子化器
１３ 新規範処理部
１５ 動き量検出部
１６ 重み決定部
１７ 判定部
１８ メモリ部
【産業上の利用分野】
この発明は、例えばディジタル画像信号を量子化する場合に入力信号値と量子化復号値とで定義される量子化誤差最小規範に対して、さらに視覚特性を考慮した空間変動規範および／または時間変動規範を加味するようにした量子化装置および量子化方法に関する。
【０００２】
【従来の技術】
例えば、各画素が８ビットで表されるディジタル画像信号が入力され、各画素を８ビットより少ないビット数で量子化（再量子化）することによって、データ量を圧縮することが行われる。従来、この量子化としては、入力信号値と量子化復号値との量子化誤差が最小となるように量子化値が選択されていた。この量子化装置において、入力信号レベルの分布に極端な偏りがない場合、その量子化誤差の積算値は最小となりＳ／Ｎ（Signal/Noise）比は、最良となる。そのため、従来の量子化装置は、Ｓ／Ｎ規範に基づいて量子化値が決定されている。この規範とは、のっとるべき規則を言い、すなわちＳ／Ｎ規範とは、量子化誤差を最小とする量子化値を選択する規則を意味する。
【０００３】
ここで、Ｓ／Ｎ規範Ｑ１は式（１）で表される。Ｌ（ｉ）は入力信号値を表し、Ｌ（ｉ）＾は量子化復号値を表し、ｑ（ｉ）は量子化値を表し、ｎは量子化ビット数を表す。また、一般的な８ビット量子化の入力ディジタル画像信号に対する量子化式と復号式を式（２）、（３）に示す。
【０００４】
Ｑ１＝ＭＩＮ〔｜Ｌ（ｉ）＾−Ｌ（ｉ）｜〕 （１）
ｑ（ｉ）＝Ｌ（ｉ）／（２５５／２n ） （２）
Ｌ（ｉ）＾＝ｑ（ｉ）・２５５／２n （３）
【０００５】
式（１）におけるＭＩＮ〔 〕は、〔 〕内の値が最小値となる量子化値を選択することを意味する。入力信号値に対する各量子化値の量子化復号値の量子化誤差を比較し、Ｓ／Ｎ規範Ｑ１に基づいて量子化値が選択される。図１２に３ビット量子化の例を示す。従来のＳ／Ｎ規範量子化装置は、入力信号を８階調に量子化し、各量子化区間の中央値を量子化復号値として出力する。
【０００６】
図１２によると、入力信号の変化が小さくなる平坦領域において画質劣化が認められる。つまり、入力信号が領域境界レベルを挟み僅かに変動しているにも拘らず、量子化復号値においては、量子化ステップ幅に相当する信号変動に拡大されることになる。このような画質劣化は空間方向と時間方向の両者に発生し、画像のエッジ部分がザラザラと見える、すなわちエッジビジネスや時間的劣化の原因となる。このように、人間の視覚特性を考慮すると、必ずしもＳ／Ｎ規範による量子化が最適とは言えない。特に人間の視覚特性は、入力信号の空間的、あるいは時間的な信号変化に対する感度が高いと考えられるにも拘らず、従来の量子化装置は、入力信号値そのものを基準として量子化を行うため、信号変化に伴う画質劣化が目立つという欠点があった。
【０００７】
このような従来のＳ／Ｎ規範のみに基づく量子化装置の欠点を克服するため、本出願人は、上述のような人間の視覚特性を考慮した新規範Ｑ２を用いた量子化装置を先に提案している（特開平６−１６９２５７号公報参照）。新規範Ｑ２を式（４）に示す。
Ｑ２＝ＭＩＮ〔α〔Ｓ／Ｎ〕＋β〔ΔＳ〕＋γ〔ΔＴ〕〕 （４）
【０００８】
ここで、〔Ｓ／Ｎ〕はＳ／Ｎ評価値を表し、〔ΔＳ〕は空間変動評価値を表し、〔ΔＴ〕は時間変動評価値を表し、さらにα、β、γはそれぞれの重みを表している。この式（４）で表される新規範Ｑ２は、複数の量子化値候補に関して、Ｓ／Ｎ評価値、空間変動評価値および時間変動評価値を重み付け加算した新規範評価値を求め、この評価値を最小とする量子化値候補を出力量子化値として選択する規則である。図１３には、空間的に対応するｋフレームと（ｋ−１）フレームの画素配置図を示す。ｋフレームのＬｘ（ｋ）の値を有する画素の量子化を行う場合、新規範Ｑ２で用いられる各評価値は次式で表される。
【０００９】
〔Ｓ／Ｎ〕＝｜Ｌｘ（ｋ）＾−Ｌｘ（ｋ）｜ （５）
〔ΔＳ〕＝〔ΔＳ1 〕＋〔ΔＳ2 〕＋〔ΔＳ3 〕＋〔ΔＳ4 〕 （６）
〔ΔＴ〕＝｜（Ｌｘ（ｋ）＾−Ｌｘ（ｋ−１）＾）−（Ｌｘ（ｋ）−Ｌｘ（ｋ−１））｜ （７）
但し、〔ΔＳ1 〕、〔ΔＳ2 〕、〔ΔＳ3 〕、〔ΔＳ4 〕は、次式で定義される。
【００１０】
〔ΔＳ1 〕＝｜（Ｌｘ（ｋ）＾−Ｌａ（ｋ）＾）−（Ｌｘ（ｋ）−Ｌａ（ｋ））｜ （８）
〔ΔＳ2 〕＝｜（Ｌｘ（ｋ）＾−Ｌｂ（ｋ）＾）−（Ｌｘ（ｋ）−Ｌｂ（ｋ））｜ （９）
〔ΔＳ3 〕＝｜（Ｌｘ（ｋ）＾−Ｌｃ（ｋ）＾）−（Ｌｘ（ｋ）−Ｌｃ（ｋ））｜ （１０）
〔ΔＳ4 〕＝｜（Ｌｘ（ｋ）＾−Ｌｄ（ｋ）＾）−（Ｌｘ（ｋ）−Ｌｄ（ｋ））｜ （１１）
【００１１】
Ｓ／Ｎ評価値〔Ｓ／Ｎ〕は、従来の量子化装置で評価されるのと同様の量子化誤差である。空間変動評価値〔ΔＳ〕は、空間内の量子化復号値の信号変化量（すなわち、空間内の量子化復号値の傾き）と入力信号の信号変化量（すなわち、空間内の入力信号値の傾き）との比較を行うものである。量子化復号値の信号変化量を算出する場合、既に新規範Ｑ２により決定済みの、過去の画素の量子化値を使用して比較するという処理上の制約がある。図１３においては、量子化対象画素Ｌｘ（ｋ）に関し、処理済み画素は近傍４画素Ｌａ（ｋ）、Ｌｂ（ｋ）、Ｌｃ（ｋ）、Ｌｄ（ｋ）であり、これらを使用して〔ΔＳ1 〕、〔ΔＳ2 〕、〔ΔＳ3 〕、〔ΔＳ4 〕がそれぞれ求められる。
【００１２】
時間変動評価値〔ΔＴ〕は、量子化対象画素Ｌｘ（ｋ）と同一位置にある前フレームの画素Ｌｘ（ｋ−１）とに関し、入力信号のフレーム間の変化量と量子化復号値のフレーム間の信号変化量とを比較するものである。上述のように式（４）のＭＩＮ〔 〕は、〔 〕内の評価値を最小とする量子化値候補が最終的な量子化値として選択されることを意味する。その結果、従来の量子化装置で問題となる画質劣化が低減される。
【００１３】
その様子を図１２に示す。すなわち、従来の量子化装置では、入力信号が量子化境界レベル近傍で僅かに変動している場合、量子化復号値においては量子化ステップ幅に相当する信号変動に拡大されていたが、上述の式（４）に基づく新規範量子化装置においては、この信号変動は抑圧され安定した量子化復号化値が得られる。こうして新規範量子化装置によって、意図した画質改善が達成できる。
【００１４】
【発明が解決しようとする課題】
上述の新規範量子化装置と従来の量子化装置とを比較すると、画質劣化はかなり低減される。しかしながら、新規範量子化の構造に起因する独特な画質劣化が発生する。そのひとつに『時間へばりつき』パターンが挙げられる。この画質劣化は、式（４）における時間変動評価値の寄与率が高すぎる場合に発生する。
【００１５】
すなわち、物体輪郭部のような空間内信号変化が大きい対象が動く場合には、評価値の中で時間変動評価値が大きくなり、入力信号値の時間変化に追従した量子化値が選択される。一方、空間内の信号変化が小さい平坦部分が動いたときでは、時間変動評価値も小さくなる。この平坦部分が動く時には、時間変動評価値の全体の評価値に対する寄与率が適切でないと、動き部分であっても、過去と同じ量子化値が選択され、時間的に変化しない、『時間へばりつき』パターンが発生することになる。より具体的には、画面内の比較的大きな面積の物体が動いた時に、量子化復号値の画像では、その輪郭部は動くが、物体内の平坦部分が動かない現象が生じ、見る者が違和感を持つことになる。
【００１６】
従って、この発明の目的は、新規範による量子化に独特な画質劣化である、上述の『時間へばりつき』現象を防止できる量子化装置および量子化方法を提供することにある。
【００１７】
【課題を解決するための手段】
請求項１に記載の発明は、所定の量子化ビット数の入力信号値が供給され、量子化ビット数より少ないビット数の量子化値を出力する量子化手段と、入力信号値をｍ画素×ｎラインの画素数から構成されるブロックに分割し、分割されたブロック毎に動き量を検出する動き量検出手段と、検出された動き量に応答してブロック毎の重みを決定する重み決定手段と、入力信号値と、量子化手段から出力される量子化値と、重み決定手段から供給される重みとに基づいて、出力される量子化値を判定する判定手段とを有し、判定手段は、量子化手段から出力される複数の量子化値を複数の量子化値候補として復号し、復号した量子化値候補と入力信号値との差であるＳ／Ｎ評価値と、入力信号値の空間変動と量子化値候補の復号値の空間変動の差である空間変動評価値と、入力信号値の時間変動と量子化値候補の復号値の時間変動の差である時間変動評価値とを求め、Ｓ／Ｎ評価値と、空間変動評価値と、時間変動評価値とを重み付け加算した複数の評価値の中から最小となる量子化値候補を検出する処理がなされる評価手段と、複数の量子化値が保持され、保持されている複数の量子化値の中から検出された量子化値候補に応じて量子化値を選択し、出力する選択手段とから構成され、検出された動き量の増加に対して、Ｓ／Ｎ評価値に対する重みは単調増加し、空間変動評価値に対する重みは単調減少し、および／または時間変動評価値に対する重みは単調減少するように変化させるようにしたことを特徴とする量子化装置である。
【００１８】
そして、請求項１１に記載の発明は、所定の量子化ビット数の入力信号値が供給され、量子化ビット数より少ないビット数の量子化値を出力する量子化手段と、入力信号値をｍ画素×ｎラインの画素数から構成されるブロックに分割し、分割されたブロック毎に動き量を検出する動き量検出手段と、検出された動き量に応答してブロック毎の重みを決定する重み決定手段と、入力信号値と、量子化手段から出力される量子化値と、重み決定手段から供給される重みとに基づいて、出力される量子化値を判定する判定手段とを有し、判定手段は、量子化手段から出力される複数の量子化値を複数の量子化値候補として復号し、復号した量子化値候補と入力信号値との差であるＳ／Ｎ評価値と、入力信号値の空間変動と量子化値候補の復号値の空間変動の差である空間変動評価値と、入力信号値の時間変動と量子化値候補の復号値の時間変動の差である時間変動評価値とを求め、Ｓ／Ｎ評価値と、空間変動評価値と、時間変動評価値とを重み付け加算した複数の評価値の中から最小となる量子化値候補を検出する処理がなされる評価手段と、複数の量子化値が保持され、保持されている複数の量子化値の中から検出された量子化値候補に応じて量子化値を選択し、出力する選択手段とから構成され、検出された動き量から得られる画面全体の動き量の増加に対して、Ｓ／Ｎ評価値に対する重みは単調増加し、空間変動評価値に対する重みは単調減少し、および／または時間変動評価値に対する重みは単調減少するように変化させるようにしたことを特徴とする量子化装置である。
【００１９】
さらに、請求項１９に記載の発明は、所定の量子化ビット数の入力信号値が供給され、量子化ビット数より少ないビット数の量子化値を出力する量子化手段と、入力信号値をｍ画素×ｎラインの画素数から構成されるブロックに分割し、分割されたブロック毎の動き量および画面全体の動き量を検出する動き量検出手段と、検出された動き量に応答してブロック毎および画面全体の重みを決定する重み決定手段と、入力信号値と、量子化手段から出力される量子化値と、重み決定手段から供給される重みとに基づいて、出力される量子化値を判定する判定手段とを有し、判定手段は、量子化手段から出力される複数の量子化値を複数の量子化値候補として復号し、復号した量子化値候補と入力信号値との差であるＳ／Ｎ評価値と、入力信号値の空間変動と量子化値候補の復号値の空間変動の差である空間変動評価値と、入力信号値の時間変動と量子化値候補の復号値の時間変動の差である時間変動評価値とを求め、Ｓ／Ｎ評価値と、空間変動評価値と、時間変動評価値とを重み付け加算した複数の評価値の中から最小となる量子化値候補を検出する処理がなされる評価手段と、複数の量子化値が保持され、保持されている複数の量子化値の中から検出された量子化値候補に応じて量子化値を選択し、出力する選択手段とから構成され、検出された動き量の増加に対して、Ｓ／Ｎ評価値に対する重みは単調増加し、空間変動評価値に対する重みは単調減少し、および／または時間変動評価値に対する重みは単調減少するように変化させるようにしたことを特徴とする量子化装置である。
【００２０】
さらにまた、請求項２３に記載の発明は、所定の量子化ビット数の入力信号値が供給され、量子化ビット数より少ないビット数の量子化値を出力する量子化ステップと、入力信号値をｍ画素×ｎラインの画素数から構成されるブロックに分割し、分割されたブロック毎に動き量を検出する動き量検出ステップと、検出された動き量に応答してブロック毎の重みを決定する重み決定ステップと、入力信号値と、量子化ステップから出力される量子化値と、重み決定ステップから供給される重みとに基づいて、出力される量子化値を判定する判定ステップとを有し、判定ステップは、量子化ステップから出力される複数の量子化値を複数の量子化値候補として復号し、復号した量子化値候補と入力信号値との差であるＳ／Ｎ評価値と、入力信号値の空間変動と量子化値候補の復号値の空間変動の差である空間変動評価値と、入力信号値の時間変動と量子化値候補の復号値の時間変動の差である時間変動評価値とを求め、Ｓ／Ｎ評価値と、空間変動評価値と、時間変動評価値とを重み付け加算した複数の評価値の中から最小となる量子化値候補を検出する処理がなされる評価ステップと、複数の量子化値が保持され、保持されている複数の量子化値の中から検出された量子化値候補に応じて量子化値を選択し、出力する選択ステップとから構成され、検出された動き量の増加に対して、Ｓ／Ｎ評価値に対する重みは単調増加し、空間変動評価値に対する重みは単調減少し、および／または時間変動評価値に対する重みは単調減少するように変化させるようにしたことを特徴とする量子化方法である。
【００２１】
【作用】
入力画像から検出される動き量に応じて、各規範の重みを変更することで、『時間へばりつき』パターンの発生を防止する。
【００２２】
【実施例】
以下、この発明に係る量子化装置の一実施例について説明する。この発明は、動き量を検出し、時間変動評価値に対する重みを適切に制御するものである。最初に動き量の検出について説明する。まず、ここで動き量検出法について述べる。一般的には画面中に静止部と動画部が存在するので、局所的な動き量検出を行う必要がある。一例として、図１に示すような画面のブロック分割を導入する。各ブロックは、ｍ画素×ｎラインの画素数から構成されている。このブロック毎に動き量を検出する。
【００２３】
動き量検出方法の第１の例は、時間差分絶対値の積算値により動き量を決定する手段である。ｋフレームの座標（ｘ，ｙ）における入力信号値Ｌx ,y (k)、ｋ−１フレームの入力信号値をＬx ,y (k-1)とすると、時間差分絶対値が式（１２）で定義され、対象ブロックの画素平均時間差分絶対値Ｍが式（１３）で定義される。勿論、必ずしも画素平均化を行う必要はない。
【００２４】
ΔＴx,y ＝Ｌx,y (k) −Ｌx,y (k-1) （１２）
【００２５】
【数１】
この値Ｍに応じて各規範の重みα、β、γを変化させる。基本的には、検出された動き量が大きくなるにつれて、重みβ、γは単調減少する特性とし、最終的には重みαのみ、すなわちＳ／Ｎ規範判定になるように制御される。
【００２７】
動き量検出方法の第２の例は、各画素の空間傾斜で正規化した時間差分絶対値を用いた動き量の決定法である。一般に、空間変動の大きい部分（輪郭部のような空間傾斜の大きい部分）での時間差分絶対値は大きくなる。一方、空間変動の小さい部分（平坦部のような空間傾斜の小さい部分）での時間差分絶対値は小さくなる。そこで、適正な動き量を算出するために、空間傾斜で正規化された時間差分絶対値を使用する。図１３の画素配置図における空間傾斜の算出例を式（１４）〜式（１８）に示す。
【００２８】
ΔＳ＝（｜ΔＳ1 ｜＋｜ΔＳ2 ｜＋｜ΔＳ3 ｜＋｜ΔＳ4 ｜）／４ （１４）
但し、｜ΔＳ1 ｜、｜ΔＳ2 ｜、｜ΔＳ3 ｜、｜ΔＳ4 ｜は、次式で定義されるもので、斜め方向、垂直方向および水平方向の空間傾斜を表す。
【００２９】
｜ΔＳ1 ｜＝｛（Ｌａ（ｋ）−Ｌｘ（ｋ））＋（Ｌｘ（ｋ）−Ｌｈ（ｋ））｝／２ （１５）
｜ΔＳ2 ｜＝｛（Ｌｂ（ｋ）−Ｌｘ（ｋ））＋（Ｌｘ（ｋ）−Ｌｇ（ｋ））｝／２ （１６）
｜ΔＳ3 ｜＝｛（Ｌｃ（ｋ）−Ｌｘ（ｋ））＋（Ｌｘ（ｋ）−Ｌｆ（ｋ））｝／２ （１７）
｜ΔＳ4 ｜＝｛（Ｌｄ（ｋ）−Ｌｘ（ｋ））＋（Ｌｘ（ｋ）−Ｌｅ（ｋ））｝／２ （１８）
【００３０】
このように、算出された座標（ｘ、ｙ）における空間傾斜ΔＳx,y により正規化された画素平均動き量は、式（１９）で得られる。
【００３１】
【数２】
また、空間傾斜が極端に小さい画素においては正規化値が小さくなるため、動き量の感度が敏感になり過ぎる傾向がある。そこで、式（２０）のしきい値処理を導入する。すなわち、
ΔＳx,y ＜しきい値ＴＨ ： ΔＳx,y ＝１．０ （２０）
（ΔＳx,y ≧しきい値ＴＨ ： ΔＳx,y を変更しない。）
このしきい値処理により適正な動き量を算出することが可能となる。
【００３３】
以上の処理により得られる正規化動き量Ｍに応じて、各規範重みα、β、γを変更する。正規化動き量が大きくなるにつれて重みβ、γは単調減少する特性を持たせ、最終的には時間変動規範の寄与が少なくなるように制御する。その特性例を図２に示す。この例では動き量が小さい（０≦Ｍ＜Ｍ０）場合（静止ブロックの場合）、重みγを一定（例えば１．０）に設定し時間変動規範の寄与率を保つ。動き量が（Ｍ０≦Ｍ＜Ｍ１）の範囲では、重みγが単調減少する。図２では、単調減少の曲線が示されているが、直線的なものでも良い。一方、動き量がある値Ｍ１以上では時間変動規範の重みγをゼロとして評価から外す。
【００３４】
更に、式（４）のＳ／Ｎ規範重みαや空間変動規範重みβに関しても、動き量に応じた可変特性を採用する。その特性例を図３および図４にそれぞれ示す。空間変動評価値に対する重みβも、時間変動評価値の重みγと同様に、動き量に対し単調減少特性を示している。動き量が大きいと、重みγが小となり、相対的にβの寄与率が高くなり、その結果、固定パターンの動きが斜め方向に流れるような画質劣化を生じさせる。これを防止するために、重みβも単調減少特性としている。Ｓ／Ｎ評価値の重みαは、動き量に対してゆるやかな単調増加特性を示している。
【００３５】
また、上述の目的の動き量検出法として、所謂、動きベクトルを使用することも可能である。その例を以下に説明する。一般的に、動きベクトル検出法には大きく分類して次の３種類が挙げられる。
（１）ブロックマッチング法
（２）勾配法
（３）位相相関法
【００３６】
ブロックマッチング法は、パターンマッチングと同じ発想で、現画像のブロック化された領域が、過去の画像中の何処に存在したか、現画像と過去画像の比較を行う。具体例としては、ブロック内対応画素毎の差分絶対値を加算し、ブロック毎の差分絶対値和（あるいは差分の二乗和）が最小となる位置を動きベクトルとするものである。
【００３７】
ブロックマッチング法を用いるブロックデータの構造例を図５に示す。隣接フレーム間での動きベクトルを検出する場合、空間的に対応する位置にブロック（Ｍ画素×Ｎライン）が設定される。ｋフレーム（現フレーム）とｋ−１フレーム（前フレーム）で探索座標分ずらし、すなわち、水平方向で（Ｘ＋Ｍ）画素、垂直方向で（Ｙ＋Ｎ）ラインずらし、各座標位置においてパターンマッチングを行ない、ブロック毎の差分絶対値和（あるいは差分の二乗和）が最小となる座標位置を検出する。
【００３８】
ｋフレームの座標(i,j) の画素レベルをＬk (i,j) 、k-1 フレームの座標(i,j) の画素レベルをＬk-1 (i,j）とすると、座標（ｘ，ｙ）における評価式の例として式（２１）が挙げられる。
【００３９】
【数３】
図５の例においては、サーチ領域内の各座標についての評価式（式２１）の評価値Ｅを演算する。サーチ点の数はＸ・Ｙ点となる。その中で、評価値Ｅが最小となる座標（ｘ，ｙ）が動きベクトルに対応する。求められた動きベクトルをｖ＝（ｖx , ｖy ）とすると、ｖx ＝−ｘ、ｖy ＝−ｙで与えられる。この手法は演算量が膨大となる欠点があるが、検出精度は良いので広く一般的に用いられている。
【００４１】
勾配法は、ある空間傾斜を持つ画素がある位置まで動くと、動き量に応じた時間差分が発生するというモデルに基づく。よって、時間差分を空間傾斜で割算すれば動きベクトルが得られる。勾配法の基本処理を次に示す。
【００４２】
座標（ｘ，ｙ）における画素値をｇ（ｘ，ｙ）とする。動きベクトルをｖ＝（ｖx ，ｖy ）とすると、次の時刻の画素値は、ｇ（ｘ−ｖx ，ｙ−ｖy ）となる。これをテーラー展開すると式（２２）になる。
【００４３】
【数４】
ここで時間差分を式（２３）で表す。
ｄ（ｘ，ｙ）＝ｇ（ｘ−ｖx ，ｙ−ｖy ）−ｇ（ｘ，ｙ） （２３）
これにより式（２４）が得られる。
ｖ・gradｇ（ｘ，ｙ） 〜 −ｄ（ｘ，ｙ） （２４）
この式（２４）により時間差分と空間勾配から動きベクトルを求めることが出来る。
【００４５】
あるブロック内の画素に対し、最小自乗法を式（２４）に適用し動きベクトルｖについて解くと、式（２５）、式（２６）が得られる。
ｖx ＝−（ΣΔt Δx ）／（ΣΔx 2 ） （２５）
ｖy ＝−（ΣΔt Δy ）／（ΣΔy 2 ） （２６）
Δt は時間差分、Δx は水平勾配、Δy は垂直勾配を表す。
【００４６】
更に簡略化することで式（２７）、式（２８）が得られる。
ｖx ＝−｛ΣΔt sign（Δx ）｝／（Σ｜Δx ｜） （２７）
ｖy ＝−｛ΣΔt sign（Δy ）｝／（Σ｜Δy ｜） （２８）
sign（ ）は符号を表す。
【００４７】
一般的に勾配法による動き量検出には、式（２７）、式（２８）が用いられる。勾配法の演算量は少ないが、動き量が大きくなると検出動きベクトルの精度が落ちるという欠点がある。それは前述のモデルが成り立たなくなるからである。しかしながら、実用上は、反復的に動きベクトルを順次検出していくなど、様々な工夫により精度を得るようにしている。
【００４８】
さらに、位相相関法は、現画像と過去画像の同一位置のブロックデータに対し、各々フーリエ変換を施し、周波数領域で位相のずれ量を検出し、その位相項を逆フリーエ変換を用いて動きベクトル値を検出する手法である。この手法の特徴として、精度を確保するためには、ある程度以上の大きいブロックサイズが要求される。そのためフーリエ変換により演算量が膨大となる。また、一般的に大きいブロックの中には複数の動きが存在し、その識別判定が難しくなるという欠点がある。
【００４９】
以上述べた動きベクトル検出法の何れかを適用し、図１の各ブロック毎に動きベクトルｖ＝（ｖx ，ｖy ) を検出する。この動きベクトルｖに関して、例えば、式（２９）で定義される動きベクトルノルムＭを動き量とする。
【００５０】
【数５】
この動き量は、前述の時間差分絶対値を使用する手法と比較して、回路の負担は大きいが、精度は高い。そこで、動き量に応じて定義される各規範の重み特性を図２、図３および図４と同様に決定することで、新規範量子化器による画質向上を図ることが可能となる。
【００５２】
上述したように、動き量を検出し、この動き量に応じて各評価値の重みを変更するこの発明の一実施例は、図６のフローチャートに従って量子化値が決定される。基本的には、設定された量子化ビット数ｎで生成可能な全ての線形量子化値ｑ（ｉ）に関し、式（４）で定義される新規範評価値を算出し、その最小値を有する量子化コードを出力値とする。この図６のフローチャートのステップ１において、上述したような方法を使用して動き量がブロック毎に検出される。
【００５３】
次のステップ２において、検出された動き量からそのブロックの重みα、β、γが決定される。例として挙げた図２、図３および図４にそれぞれ示される特性に従って、これらの重みが決定される。
【００５４】
そして、ステップ３において、カウンタｑに０が設定される。カウンタｑは、量子化値候補と対応している。次のステップ４では、ｑと対応する量子化値候補について、式（４）を使用した評価値の算出がなされる。算出された新規範評価値が登録される。
【００５５】
ステップ５のインクリメントでは、カウンタｑに `＋１' が加算され、ステップ６へ制御が移る。ステップ６のｑ＝Ｎでは、ステップ５（インクリメント）において加算されたカウンタｑがＮと等しいか否かが判別され、ｑ≠Ｎの場合、ステップ４（評価値の算出および登録）へ制御が戻り、ｑ＝Ｎの場合、ステップ７へ制御が移る。すなわち、評価対象の量子化コードの最大値が（Ｎ−１）の場合には、この（Ｎ−１）で設定される回数、ステップ４およびステップ５の処理が繰り返され、カウンタｑがＮに等しくなるとき、ループは終了する。
【００５６】
次に、ステップ７の評価値の最小値検出において、量子化コード候補の内で最小の新規範評価値を生じさせる量子化コードｑが最終結果として選択される。ステップ８の量子化値ｑ登録において、選択された量子化コードｑが登録され、このフローチャートは終了する。
【００５７】
次に、この発明の量子化装置の処理を実現する一実施例のブロック図を図７に示す。入力端子１１から供給される入力信号値Ｌ（ｉ）、例えば各画素が８ビットに量子化されたディジタル画像信号は、量子化器１２、新規範処理部１３へ供給される。この新規範処理部１３は、動き量検出部１５、重み決定部１６、判定部１７、メモリ部１８から構成され、入力端子１１から供給された入力信号値Ｌ（ｉ）は、動き量検出部１５、判定部１７およびメモリ部１８へ供給される。量子化器１２において、供給された入力信号値Ｌ（ｉ）が８ビットより少ないｎビットへ量子化される。この量子化器１２からは、２n の数の量子化値候補が発生する。
【００５８】
量子化器１２により生成された線形量子化値ｑ（ｉ）は、ｄ１として判定部１７へ供給される。また、線形量子化値の上下の量子化値も生成され、判定部１７へ供給される。重み決定部１６は、動き量検出部１５により検出された動き量ｄ３に応答してブロック毎の重みを決定する。この重み決定部１６からの重みα、β、γがｄ２として判定部１７へ供給される。
【００５９】
新規範量子化においては、式（４）で定義される新規範Ｑ２が用いられるため、入力信号値Ｌ（ｉ）と決定済み量子化値ｄ０を記憶しておく必要がある。メモリ部１８からは、必要に応じて記憶データｄ０（すなわち、決定済み量子化値）が、判定部１７へ供給される。判定部１７では、上述した図６に示すフローチャートの処理が行われる。すなわち、供給された入力信号値Ｌ（ｉ）、線形量子化値ｄ１、重みｄ２、記憶データｄ０から式（４）の判定が実行され、最終的な量子化値ｑ（ｉ）が選択され、出力端子１４から取り出される。
【００６０】
ここで、上述の動き量検出部１５の一例を図８のブロック図に示す。この例は、時間差分を積算する方式である。入力信号値Ｌ（ｉ）が入力端子１１から供給され、その入力信号値Ｌ（ｉ）は、減算器２１およびメモリ部２２へ供給される。メモリ部２２では、入力信号値Ｌ（ｉ）に対して画素毎の遅延がなされ、その出力ｉ１と入力信号値Ｌ（ｉ）は、減算器２１において、上述の式（１２）で示されるような画素毎の時間差分ｉ２が生成される。時間差分ｉ１は、ＲＯＭ２３により適切な画素データｉ３へ変換され、加算器２４へ供給される。一例として、時間差分ｉ２は、このＲＯＭ２３において、差分値の絶対値化などが施され、画素データｉ３として出力される。
【００６１】
加算器２４では、画素データｉ３とレジスタ２５から供給される積算値ｉ５との加算が行われ、その値ｉ４は、レジスタ２５へ供給される。レジスタ２５では、画素毎に積算値ｉ５がＲＯＭ２６および加算器２４へ供給され、１ブロック毎の画素の積算がなされる。ＲＯＭ２６において、画素毎の平均時間差分値（式１３）などの演算が施され、動き量ｄ３が出力端子２７から取り出される。この動き量ｄ３は、動き量検出部１５から重み決定部１６へ供給される。
【００６２】
そして、重み決定部１６の一例を図９のブロック図に示す。動き量検出部１５から動き量ｄ３が入力端子２７を介して供給され、その動き量ｄ３に基づき上述した図２、図３および図４に示すような特性の各規範の重みが決定される。動き量ｄ３は、ＲＯＭ３１、３２、３３へ供給され、ＲＯＭ３１は、Ｓ／Ｎ規範重みαの特性と対応するテーブルが記憶され、動き量ｄ３に応じて重みαがｄ２として、出力端子３４を介して判定部１７へ供給される。ＲＯＭ３２は、空間変動規範重みβの特性と対応するテーブルが記憶され、動き量ｄ３に応じて重みβがｄ２として、出力端子３５を介して判定部１７へ供給される。同様に、ＲＯＭ３３は、空間変動規範重みγの特性と対応するテーブルが記憶され、動き量ｄ３に応じて重みγがｄ２として、出力端子３６を介して判定部１７へ供給される。すなわち、動き量ｄ３に対応する各重みα、β、γは、ｄ２として、次の判定部１７へ供給される。
【００６３】
次に、判定部１７の一例を図１０のブロック図に示す。先ず、新規範評価部４３において、上述した式（４）の新規範評価値を最小化する量子化値の検出が行われる。ハードワイヤによる検出も可能であるが、ＣＰＵ等を用いた演算による検出でも実行される。この検出のためには、式（４）に必要な様々な信号が要求される。そこで、入力端子１１から入力信号値Ｌ（ｉ）、入力端子４２から量子化器１２からの線形量子化値ｑ（ｉ）がｄ１として、入力端子４１からメモリ部１８からの記憶データｄ０、入力端子３４、３５、３６から規範重みα、β、γがｄ２として新規範評価部４３へ供給される。
【００６４】
新規範評価部４３で用いられる式（４）によると、メモリ部１８には、上述したように入力信号値Ｌ（ｉ）と決定済み量子化値ｑ（ｉ）を記憶しておく必要があり、新規範評価部４３における処理に応じてメモリ部１８からも必要な信号がｄ０として供給される。新規範評価部４３で検出された新規範最小化量子化値の選択コードｉ１１は、選択器４７へ供給される。量子化器１２からのｄ１は、線形量子化値と上下の量子化値も伝送されるので、その３つの量子化値は、最終量子化値候補としてレジスタ４４、４５、４６に保持される。これらの量子化値ｉ１２、ｉ１３、ｉ１４は、選択器４７に入力され、上述の選択コードｉ１１により適切な値が選択され、判定部１７の決定済み量子化値ｑ（ｉ）として出力端子１４から取り出される。
【００６５】
上述のように、供給される映像を図１に示すように幾つかのブロックに分割し、局所的な動き量を検出する一実施例を説明したが、これに対して、供給される映像から大局的な動き量を検出する他の実施例を以下に説明する。また、以下の説明において、上述と重複する説明は省略する。
【００６６】
この実施例は、動き量を検出し、Ｓ／Ｎ評価値、空間変動評価値および／または時間変動評価値に対する重みを適切に制御するものである。そこで、動画像より検出される大局的な動き量に基づき、式（４）の新規範Ｑ２での各規範の重みを変更することで上述した画質劣化の発生を防止する。ここで、大局的な動き量の検出法について述べる。例えば、大局的な動きとして、パンニングやチルトなどのカメラワークによる画面全体の動きを考える。図１に示すように画面全体をｉ・ｊ個の小ブロックに分割し、各小ブロックの動きベクトルを検出する。そして検出された動きベクトルの１画面当りの度数分布表を生成し、他の実施例においては、最も度数の多い動きベクトルを対象画面全体の動きベクトルと判定する。その後、図８と同様に動き量検出がなされる。但し、積算は、１ブロックでなくて１画面全体でなされる。
【００６７】
この他の実施例は、画面全体の動き量に応じて各規範の重みを変更する手法であり、画面全体の動きに応じて全体的な重みを制御する。すなわち、画面内の局所動きに応じて各規範の重みを変更する手法において、画像の局所的な性質により本来の局所動きが検出できなかった場合にも、他の実施例を用いることにより上述のような画質劣化の発生を抑圧することができる。仮に、画面全体に動きがある場合でも、平坦領域での動きの検出は難しい。しかしながら、この手法により画面全体の動き量が検出されれば、平坦領域にも適切な規範重みを適用することが可能となり、所望の量子化を実行することができる。
【００６８】
そして、上述した局所的な動き量と大局的な動き量との両者に応じて各規範重みを変更する。この場合の動き量検出部１５の構成例を図１１のブロック図を用いて説明する。入力端子１１から供給される入力信号値Ｌ（ｉ）は、局所的な動き量がＲＯＭ２６から動き量ｉ６としてメモリ部５７へ供給され、メモリ部５７では、動き量ｉ６に対して、所定の遅延が施された後、ｉ７として最大値選択回路５８へ供給される。また、大局的な動き量は、ＲＯＭ５６から動き量ｉ２６として最大値選択回路５８へ供給され、最大値選択回路５８では、局所的な動き量ｉ７および大局的な動き量ｉ２６の何れか大きい方が選択され、選択された動き量は、動き量ｄ３として動き量検出部１５から重み決定部１６へ出力端子２７を介して供給される。そして、この選択された動き量によって、上述の一実施例と同様に各規範の重みが制御される。
【００６９】
このように、画面全体の動き量検出と、局所的な動き量検出を併用することで、より適切な規範重みの制御が実現できる。以上の特性により、動画面における時間変動規範の寄与率に起因する画質劣化の発生を防止することが可能となる。
【００７０】
なお、この発明は、空間変動評価値と時間変動評価値との一方のみを使用して新規範評価値を構成するようにしても良い。例えば、ディジタルオーディオ信号のような場合には、Ｓ／Ｎ評価値と時間変動評価値とを使用した評価値を使用することができる。
【００７１】
【発明の効果】
この発明によれば、視覚特性を考慮した量子化が行えることで、量子化境界レベル近傍の入力信号値の変化が拡大されることによる空間方向あるいは時間方向の画質劣化を低減することができる。
【００７２】
また、この発明によれば、動き量が大きい場合、時間変動評価値に対する重みγを減少させることによって、重みγの値を適切なものとすることができ、冒頭に述べたような画質劣化を防止することが可能となる。
【００７３】
さらに、この発明によれば、元の量子化ビット数より少ないビット数でも良好な画像を得ることができ、例えばディジタル入力信号の圧縮を良好に得ることができる。
【図面の簡単な説明】
【図１】この発明に係る動き量検出のための画面分割の一例を示す略線図である。
【図２】時間変動評価値に対する重みの動き量に応じた変化の特性例を示す略線図である。
【図３】空間変動評価値に対する重みの動き量に応じた変化の特性例を示す略線図である。
【図４】Ｓ／Ｎ評価値に対する重みの動き量に応じた変化の特性例を示す略線図である。
【図５】動きベクトル検出方法の一例を説明するための略線図である。
【図６】この発明に係る可変重みの新規範量子化装置の判定部の一実施例を示すフローチャートである。
【図７】この発明の新規範量子化装置の一実施例を示すブロック図である。
【図８】この発明に係る動き量検出部の一例を示すブロック図である。
【図９】この発明に係る重み決定部の一例を示すブロック図である。
【図１０】この発明に係る判定部の一例を示すブロック図である。
【図１１】この発明の新規範量子化装置の他の実施例に係る動き量検出部の他の例を示すブロック図である。
【図１２】入力信号に対して３ビット量子化が行われた一例を示す略線図である。
【図１３】画素の配置の一例を示すブロック図である。
【符号の説明】
１２ 量子化器
１３ 新規範処理部
１５ 動き量検出部
１６ 重み決定部
１７ 判定部
１８ メモリ部
Claims (23)
- 所定の量子化ビット数の入力信号値が供給され、上記量子化ビット数より少ないビット数の量子化値を出力する量子化手段と、
上記入力信号値をｍ画素×ｎラインの画素数から構成されるブロックに分割し、上記分割されたブロック毎に動き量を検出する動き量検出手段と、
上記検出された動き量に応答して上記ブロック毎の重みを決定する重み決定手段と、
上記入力信号値と、上記量子化手段から出力される量子化値と、上記重み決定手段から供給される重みとに基づいて、出力される量子化値を判定する判定手段とを有し、
上記判定手段は、
上記量子化手段から出力される複数の上記量子化値を複数の量子化値候補として復号し、上記復号した量子化値候補と上記入力信号値との差であるＳ／Ｎ評価値と、上記入力信号値の空間変動と上記量子化値候補の復号値の空間変動の差である空間変動評価値と、上記入力信号値の時間変動と上記量子化値候補の復号値の時間変動の差である時間変動評価値とを求め、上記Ｓ／Ｎ評価値と、上記空間変動評価値と、上記時間変動評価値とを重み付け加算した複数の評価値の中から最小となる上記量子化値候補を検出する処理がなされる評価手段と、
上記複数の量子化値が保持され、保持されている上記複数の量子化値の中から上記検出された量子化値候補に応じて量子化値を選択し、出力する選択手段とから構成され、
上記検出された動き量の増加に対して、上記Ｓ／Ｎ評価値に対する重みは単調増加し、上記空間変動評価値に対する重みは単調減少し、および／または上記時間変動評価値に対する重みは単調減少するように変化させるようにしたことを特徴とする量子化装置。 - 請求項１に記載の量子化装置において、
上記判定手段では、
入力信号の時間差分量に基づいて検出された上記ブロック毎の動き量の増加に対して、上記Ｓ／Ｎ評価値に対する重みは単調増加し、上記空間変動評価値に対する重みは単調減少し、および／または上記時間変動評価値に対する重みは単調減少するように変化させる
ことを特徴とする量子化装置。 - 請求項１に記載の量子化装置において、
上記判定手段では、
空間傾斜で正規化された入力信号の時間差分量に基づいて検出された上記ブロック毎の動き量の増加に対して、上記Ｓ／Ｎ評価値に対する重みは単調増加し、上記空間変動評価値に対する重みは単調減少し、および／または上記時間変動評価値に対する重みは単調減少するように変化させる
ことを特徴とする量子化装置。 - 請求項１に記載の量子化装置において、
上記判定手段では、
しきい値処理を介された、空間傾斜で正規化された入力信号の時間差分量に基づいて検出された上記ブロック毎の動き量の増加に対して、上記Ｓ／Ｎ評価値に対する重みは単調増加し、上記空間変動評価値に対する重みは単調減少し、および／または上記時間変動評価値に対する重みは単調減少するように変化させる
ことを特徴とする量子化装置。 - 請求項１に記載の量子化装置において、
上記判定手段では、
上記ブロック毎に検出された動きベクトルに基づいて検出された上記ブロック毎の動き量の増加に対して、上記Ｓ／Ｎ評価値に対する重みは単調増加し、上記空間変動評価値に対する重みは単調減少し、および／または上記時間変動評価値に対する重みは単調減少するように変化させる
ことを特徴とする量子化装置。 - 請求項１に記載の量子化装置において、
さらに、記憶手段を備え、
上記判定手段から出力される量子化値は、上記記憶手段に格納され、上記記憶手段から読み出されることを特徴とする量子化装置。 - 請求項６に記載の量子化装置において、
上記判定手段では、
上記空間変動評価値および上記時間変動評価値は、上記入力信号値と、上記記憶手段から読み出される上記量子化値の復号値とを使用して求められることを特徴とする量子化装置。 - 請求項１に記載の量子化装置において、
上記判定手段は、さらに復号手段を備え、上記量子化手段から出力される量子化値を復号することを特徴とする量子化装置。 - 請求項１に記載の量子化装置において、
入力信号がディジタルビデオ信号であって、空間変動評価値が同一フィールドまたは同一フレーム内の入力信号値と復号値とを用いて求められる
ことを特徴とする量子化装置。 - 請求項１に記載の量子化装置において、
入力信号がディジタルビデオ信号であって、時間変動評価値が現フレームの入力信号値および復号値と前フレームの入力信号値と復号値とを用いて求められる
ことを特徴とする量子化装置。 - 所定の量子化ビット数の入力信号値が供給され、上記量子化ビット数より少ないビット数の量子化値を出力する量子化手段と、
上記入力信号値をｍ画素×ｎラインの画素数から構成されるブロックに分割し、上記分割されたブロック毎に動き量を検出する動き量検出手段と、
上記検出された動き量に応答して上記ブロック毎の重みを決定する重み決定手段と、
上記入力信号値と、上記量子化手段から出力される量子化値と、上記重み決定手段から供給される重みとに基づいて、出力される量子化値を判定する判定手段とを有し、
上記判定手段は、
上記量子化手段から出力される複数の上記量子化値を複数の量子化値候補として復号し、上記復号した量子化値候補と上記入力信号値との差であるＳ／Ｎ評価値と、上記入力信号値の空間変動と上記量子化値候補の復号値の空間変動の差である空間変動評価値と、上記入力信号値の時間変動と上記量子化値候補の復号値の時間変動の差である時間変動評価値とを求め、上記Ｓ／Ｎ評価値と、上記空間変動評価値と、上記時間変動評価値とを重み付け加算した複数の評価値の中から最小となる上記量子化値候補を検出する処理がなされる評価手段と、
上記複数の量子化値が保持され、保持されている上記複数の量子化値の中から上記検出された量子化値候補に応じて量子化値を選択し、出力する選択手段とから構成され、
上記検出された動き量から得られる画面全体の動き量の増加に対して、上記Ｓ／Ｎ評価値に対する重みは単調増加し、上記空間変動評価値に対する重みは単調減少し、および／または上記時間変動評価値に対する重みは単調減少するように変化させるようにしたことを特徴とする量子化装置。 - 請求項１１に記載の量子化装置において、
上記判定手段では、
入力信号の時間差分量に基づいて検出された画面全体の動き量の増加に対して、上記Ｓ／Ｎ評価値に対する重みは単調増加し、上記空間変動評価値に対する重みは単調減少し、および／または上記時間変動評価値に対する重みは単調減少するように変化させる
ことを特徴とする量子化装置。 - 請求項１１に記載の量子化装置において、
上記判定手段では、
空間傾斜で正規化された入力信号の時間差分量に基づいて検出された画面全体の動き量の増加に対して、上記Ｓ／Ｎ評価値に対する重みは単調増加し、上記空間変動評価値に対する重みは単調減少し、および／または上記時間変動評価値に対する重みは単調減少するように変化させる
ことを特徴とする量子化装置。 - 請求項１１に記載の量子化装置において、
上記判定手段では、
しきい値処理を介された、空間傾斜で正規化された入力信号の時間差分量に基づいて検出された画面全体の動き量の増加に対して、上記Ｓ／Ｎ評価値に対する重みは単調増加し、上記空間変動評価値に対する重みは単調減少し、および／または上記時間変動評価値に対する重みは単調減少するように変化させる
ことを特徴とする量子化装置。 - 請求項１１に記載の量子化装置において、
上記判定手段では、
画面全体から検出された動きベクトルに基づいて検出された画面全体の動き量の増加に対して、上記Ｓ／Ｎ評価値に対する重みは単調増加し、上記空間変動評価値に対する重みは単調減少し、および／または上記時間変動評価値に対する重みは単調減少するように変化させる
ことを特徴とする量子化装置。 - 請求項１１に記載の量子化装置において、
上記判定手段では、
上記空間変動評価値および上記時間変動評価値は、上記入力信号値と、上記記憶手段から読み出される上記量子化値の復号値とを使用して求められることを特徴とする量子化装置。 - 請求項１１に記載の量子化装置において、
入力信号がディジタルビデオ信号であって、空間変動評価値が同一フィールドまたは同一フレーム内の入力信号値と復号値とを用いて求められる
ことを特徴とする量子化装置。 - 請求項１１に記載の量子化装置において、
入力信号がディジタルビデオ信号であって、時間変動評価値が現フレームの入力信号値および復号値と前フレームの入力信号値と復号値とを用いて求められる
ことを特徴とする量子化装置。 - 所定の量子化ビット数の入力信号値が供給され、上記量子化ビット数より少ないビット数の量子化値を出力する量子化手段と、
上記入力信号値をｍ画素×ｎラインの画素数から構成されるブロックに分割し、上記分割されたブロック毎の動き量および画面全体の動き量を検出する動き量検出手段と、
上記検出された動き量に応答して上記ブロック毎および上記画面全体の重みを決定する重み決定手段と、
上記入力信号値と、上記量子化手段から出力される量子化値と、上記重み決定手段から供給される重みとに基づいて、出力される量子化値を判定する判定手段とを有し、
上記判定手段は、
上記量子化手段から出力される複数の上記量子化値を複数の量子化値候補として復号し、上記復号した量子化値候補と上記入力信号値との差であるＳ／Ｎ評価値と、上記入力信号値の空間変動と上記量子化値候補の復号値の空間変動の差である空間変動評価値と、上記入力信号値の時間変動と上記量子化値候補の復号値の時間変動の差である時間変動評価値とを求め、上記Ｓ／Ｎ評価値と、上記空間変動評価値と、上記時間変動評価値とを重み付け加算した複数の評価値の中から最小となる上記量子化値候補を検出する処理がなされる評価手段と、
上記複数の量子化値が保持され、保持されている上記複数の量子化値の中から上記検出された量子化値候補に応じて量子化値を選択し、出力する選択手段とから構成され、
上記検出された動き量の増加に対して、上記Ｓ／Ｎ評価値に対する重みは単調増加し、上記空間変動評価値に対する重みは単調減少し、および／または上記時間変動評価値に対する重みは単調減少するように変化させるようにしたことを特徴とする量子化装置。 - 請求項１９に記載の量子化装置において、
上記判定手段では、
入力信号の時間差分量に基づいて上記画面全体の動き量および上記ブロックの動き量が検出され、検出された上記画面全体の動き量および上記ブロックの動き量の間でより大きい値の動き量を選択し、上記選択された動き量の増加に対して、上記Ｓ／Ｎ評価値に対する重みは単調増加し、上記空間変動評価値に対する重みは単調減少し、および／または上記時間変動評価値に対する重みは単調減少するように変化させる
ことを特徴とする量子化装置。 - 請求項１９に記載の量子化装置において、
入力信号がディジタルビデオ信号であって、空間変動評価値が同一フィールドまたは同一フレーム内の入力信号値と復号値とを用いて求められる
ことを特徴とする量子化装置。 - 請求項１９に記載の量子化装置において、
入力信号がディジタルビデオ信号であって、時間変動評価値が現フレームの入力信号値および復号値と前フレームの入力信号値と復号値とを用いて求められる
ことを特徴とする量子化装置。 - 所定の量子化ビット数の入力信号値が供給され、上記量子化ビット数より少ないビット数の量子化値を出力する量子化ステップと、
上記入力信号値をｍ画素×ｎラインの画素数から構成されるブロックに分割し、上記分割されたブロック毎に動き量を検出する動き量検出ステップと、
上記検出された動き量に応答して上記ブロック毎の重みを決定する重み決定ステップと、
上記入力信号値と、上記量子化ステップから出力される量子化値と、上記重み決定ステップから供給される重みとに基づいて、出力される量子化値を判定する判定ステップとを有し、
上記判定ステップは、
上記量子化ステップから出力される複数の上記量子化値を複数の量子化値候補として復号し、上記復号した量子化値候補と上記入力信号値との差であるＳ／Ｎ評価値と、上記入力信号値の空間変動と上記量子化値候補の復号値の空間変動の差である空間変動評価値と、上記入力信号値の時間変動と上記量子化値候補の復号値の時間変動の差である時間変動評価値とを求め、上記Ｓ／Ｎ評価値と、上記空間変動評価値と、上記時間変動評価値とを重み付け加算した複数の評価値の中から最小となる上記量子化値候補を検出する処理がなされる評価ステップと、
上記複数の量子化値が保持され、保持されている上記複数の量子化値の中から上記検出された量子化値候補に応じて量子化値を選択し、出力する選択ステップとから構成され、
上記検出された動き量の増加に対して、上記Ｓ／Ｎ評価値に対する重みは単調増加し、上記空間変動評価値に対する重みは単調減少し、および／または上記時間変動評価値に対する重みは単調減少するように変化させるようにしたことを特徴とする量子化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7828295A JP3704740B2 (ja) | 1994-10-17 | 1995-03-09 | 量子化装置および量子化方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6-277099 | 1994-10-17 | ||
| JP27709994 | 1994-10-17 | ||
| JP7828295A JP3704740B2 (ja) | 1994-10-17 | 1995-03-09 | 量子化装置および量子化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08172634A JPH08172634A (ja) | 1996-07-02 |
| JP3704740B2 true JP3704740B2 (ja) | 2005-10-12 |
Family
ID=26419357
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7828295A Expired - Lifetime JP3704740B2 (ja) | 1994-10-17 | 1995-03-09 | 量子化装置および量子化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3704740B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100364779B1 (ko) * | 2000-01-11 | 2002-12-16 | 엘지전자 주식회사 | 영상 부호화기에서 움직임 벡터의 부호화 방법 |
| JP4695016B2 (ja) * | 2006-05-11 | 2011-06-08 | 日本電信電話株式会社 | 動画像符号化方法，装置，プログラムおよびその記録媒体 |
| JP5708916B2 (ja) * | 2008-04-30 | 2015-04-30 | 日本電気株式会社 | 画像評価方法、画像評価システム及びプログラム |
| JP5235807B2 (ja) * | 2009-07-23 | 2013-07-10 | 三菱電機株式会社 | ノイズ除去装置 |
-
1995
- 1995-03-09 JP JP7828295A patent/JP3704740B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08172634A (ja) | 1996-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6275532B1 (en) | Video coding device and video decoding device with a motion compensated interframe prediction | |
| US5686973A (en) | Method for detecting motion vectors for use in a segmentation-based coding system | |
| US5598216A (en) | Method and apparatus for encoding/decoding a video signal | |
| EP1503599A2 (en) | Block motion vector estimation | |
| EP0609022A2 (en) | Image encoding apparatus | |
| US20060140279A1 (en) | Image coding apparatus with segment classification and segmentation-type motion prediction circuit | |
| US6430223B1 (en) | Motion prediction apparatus and method | |
| US5793429A (en) | Methods of estimating motion in image data and apparatus for performing same | |
| KR100207390B1 (ko) | 계층적인 움직임 추정기법을 이용하는 음직임 벡터 검출방법 | |
| JPH05328333A (ja) | 動きベクトル検出装置 | |
| EP1757103A1 (en) | Method of searching for a global motion vector. | |
| US20060098886A1 (en) | Efficient predictive image parameter estimation | |
| JP3704740B2 (ja) | 量子化装置および量子化方法 | |
| JP3627279B2 (ja) | 量子化装置および量子化方法 | |
| JP2009077309A (ja) | 動き予測装置および動き予測方法 | |
| JP3629732B2 (ja) | 量子化装置および量子化方法 | |
| JPS6028392A (ja) | 動画像信号の動き内插方式 | |
| JP3697727B2 (ja) | 量子化装置および量子化方法 | |
| KR19980079373A (ko) | 옵티컬 플로우를 예측하는 국부 이장 방법 | |
| JP3941900B2 (ja) | 動きベクトル検出装置 | |
| JP3735875B2 (ja) | 量子化装置および量子化方法 | |
| JPH09307907A (ja) | 動きベクトル検出装置および検出方法 | |
| KR100243862B1 (ko) | 전송되는 비디오 신호의 에러 은폐 방법 및 장치 | |
| JP3901747B2 (ja) | 量子化装置および量子化方法 | |
| JPH08205172A (ja) | 領域分割型動き予測回路、領域分割型動き予測回路内蔵画像符号化装置および領域分割型動き予測画像復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040824 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041025 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041221 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050207 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050308 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050428 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050518 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050705 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050718 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080805 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090805 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100805 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110805 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110805 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120805 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120805 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130805 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |