JP4254147B2 - Image information encoding method and apparatus, program, and recording medium - Google Patents

Description

【００２１】
ここで、式（１）において、Ｆ"[０][０]はＤＣ係数値の量子化代表値を示し、ＱＦ[０][０]はＤＣ係数値の量子化代表値レベル番号を示す。また、intra_dc_multは、ＤＣ係数量子化精度を指定するためにピクチャ単位で設定可能な媒介変数であるintra_dc_precisionに従い、図１３に示す関係で決まる値である。
【００２２】
ここで、ＭＰＥＧ１においては、intra_dc_precisionが０に対応する精度（８ビット精度相当）のみであったが、輝度レベルが緩やかに変化する画像を高画質で符号化するためには、この精度では不十分であった。そこで、ＭＰＥＧ２においては、図１３に示すように、本媒介変数を用いて８〜１１ビット精度相当のＤＣ係数量子化精度を指定することが可能となっている。但し、４：２：２フォーマットでの使用が可能であり画質への要求レベルが高いＨｉｇｈプロファイル以外では、最高１０ビット精度で十分とし、８〜１０ビット精度に制限されている。
【００２３】
また、イントラマクロブロックのその他の係数は、以下の式（２）に従って逆量子化される。
【００２４】
【数７】

【００２５】
ここで、式（２）において、Ｆ"[ｕ][ｖ]は第（ｕ，ｖ）係数値の量子化代表値を示し、ＱＦ[ｕ][ｖ]は第（ｕ，ｖ）係数値の量子化代表値レベル番号を示す。また、ｋの値は、以下の式（３）により定義される。
【００２６】
【数８】

【００２７】
また、上述した式（２）において、Ｗ[ｗ][ｕ][ｖ]及びquantiser_scaleは、それぞれ量子化行列及び量子化スケールを示し、これらの媒介変数によって量子化特性が制御される。
【００２８】
また、媒介変数ｋは、非イントラマクロブロックにおいて、その値がＱＦ[ｕ][ｖ]の符号に応じて１、０、−１となる。例えば、ＱＦ[ｕ][ｖ]が−２、−１、０、１、２である場合のＦ"[ｕ][ｖ]は、それぞれ−５ｍ、−３ｍ、０、３ｍ、５ｍ（ｍは定数）となり、零近傍にデッドゾーンが設けられている。
【００２９】
ところで、量子化行列は、ブロック内での離散コサイン変換係数値間での相対的な量子化精度を設定するために設けられた行列である。この量子化行列を用いることにより、例えば視覚的に劣化の目立ちにくい高域離散コサイン係数値を、視覚的に劣化の目立ちやすい低域離散コサイン係数と比較して粗く量子化するといった処理が可能となり、量子化特性を視覚特性に合致させることができる。なお、量子化行列は、ピクチャ単位で設定することが可能である。
【００３０】
ＭＰＥＧ１及びＭＰＥＧ２の４：２：０フォーマットの場合、イントラマクロブロック用と非イントラマクロブロック用の２種類の量子化行列を設定することができ、４：２：２フォーマット及び４：４：４フォーマットの場合には、さらに輝度信号と色差信号とで独立に合計４種類の量子化行列を設定することができる。なお、Ｗ[ｗ][ｕ][ｖ]におけるｗ（０，１，２，３）は、４種類の行列のうちの１つを意味する。
【００３１】
ここで、ＭＰＥＧ２において定められているイントラマクロブロック及び非イントラマクロブロックの量子化行列のデフォルト値をそれぞれ図１４（Ａ）、（Ｂ）に示す。上述したように、量子化行列は、ユーザがピクチャ単位で設定可能であるが、設定されていない場合にはこのデフォルト値が用いられる。図１４に示すように、デフォルト値ではイントラマクロブロックに対してのみ重みを有している。
【００３２】
なお、MPEG2 Test Model 5（ISO/IEC JTC/SC29/WG11/N0400）においては、非イントラマクロブロックに対して図１５に示すような量子化行列が定義されている。これは、図１４（Ｂ）に示したデフォルト値とは異なり、重みを有した特性となっている。
【００３３】
量子化スケール（quantiser_scale）は、量子化特性のスケーリングを行うことにより発生符号量を制御するための媒介変数であり、ピクチャ単位で設定される媒介変数q_scale_typeと、マクロブロック単位で設定される量子化スケールコードquantiser_scale_codeにより設定される。図１６にこれらの関係を示す。
【００３４】
ここで、q_scale_typeが０の場合には線形量子化となり、ＭＰＥＧ１と同様、quantiser_scale_code（１〜３１）の２倍の値がquantiser_scale（２〜６２）に設定される。
【００３５】
また、q_scale_typeが１の場合には非線形量子化となり、quantiser_scale_code（１〜３１）は、小さい量子化スケールコードではより細かく、大きな量子化スケールコードではより粗くスケーリングすることにより、線形量子化の場合に比べ、広い範囲のquantiser_scale（１〜１１２）に変換される。このモードは、ＭＰＥＧ２において新たに導入されたもので、特に高いレートで符号化する場合に、小さな量子化スケール領域でより細かな量子化スケール制御を行うことや、極めて複雑な画像を符号化する場合に、より粗い量子化スケールを用いることが可能となり、ＭＰＥＧ１と比較して、より安定した符号量制御を実現することができる。
【００３６】
一方、ＪＶＴにおいては、量子化／逆量子化を行うための媒介変数ＱＰには０〜５１の５２の異なる値が使われる。ここで、ＱＰは、値が６増える毎に量子化スケールが２倍になるように設定されている。すなわち、ＱＰが１増す毎に量子化スケールが約１２％増加する。
【００３７】
なお、色差成分に使用されるＱＰ_Ｃは、輝度成分に使用されるＱＰ_Ｙから、以下の表１に示す対照表に従って算出される。以下では、特に断りのない限り、ＱＰ_ＹのことをＱＰと呼ぶことにする。
【００３８】
【表１】

【００３９】
ここで、ＪＶＴにおいては、４×４離散コサイン変換に基づく符号化が行われるが、輝度信号と色差信号とについて、実際には、以下の演算が行われる。すなわち、Ｘ＝（ｘ_００，…．ｘ_３３）を画素値又は差分値とし、Ｙを直交変換係数とした場合に、以下の式（４）に示すような離散コサイン変換に相当する処理が実行される。
【００４０】
【数９】

【００４１】
次に量子化処理として、以下の式（５）に示すような処理が実行される。
【００４２】
【数１０】

【００４３】
ここで、式（５）において、Ｙ_Ｑは量子化された直交変換係数を示し、Ｑは量子化ステップサイズに対応する量子化係数を示す。また、ｆはイントラマクロブロックでは２^{１５＋ＱＰ／６}／３、インターマクロブロックでは２^{１５＋ＱＰ／６}／６とし、量子化される直交変換係数Ｙと同じ正負の符号を持つとする。なお、Ｑは以下に示すように定義されている。
Q[QP%6][i][j]＝quantMat[QP%6][0] for (i,j)＝{(0,0),(0,2),(2,0),(2,2)},
Q[QP%6][i][j]＝quantMat[QP%6][1] for (i,j)＝{(1,1),(1,3),(3,1),(3,3)},
Q[QP%6][i][j]＝quantMat[QP%6][2] otherwise.
quantMat[6][3]＝{{13107, 5243, 8224}, {11651, 4660, 7358}, {10486, 4143, 6554}, {9198, 3687, 5825}, {8322, 3290, 5243}, {7384, 2943, 4660}}
【００４４】
また、量子化後の逆量子化処理として、以下の式（６）に示すような処理が実行される。
【００４５】
【数１１】

【００４６】
ここで、式（６）において、Ｒは逆量子化係数を示し、以下に示すように定義されている。
R[QP%6][i][j]＝dequantMat[QP%6][0] for (i,j)＝{(0,0),(0,2),(2,0),(2,2)},
R[QP%6][i][j]＝dequantMat[QP%6][1] for (i,j)＝{(1,1),(1,3),(3,1),(3,3)},
R[QP%6][i][j]＝dequantMat[QP%6][2] otherwise.
dequantMat[6][3]＝{{10, 16, 13}, {11, 18, 14}, {13, 20, 16}, {14, 23, 18}, {16, 25, 20}, {18, 29, 23}}
【００４７】
次に逆離散コサイン変換処理として、以下の式（７）に示すような処理が実行され、正規化処理として、以下の式（８）に示すような処理が実行される。
【００４８】
【数１２】

【００４９】
最後に、復号された予測残差値Ｘ"（ｉ，ｊ）は、以下の式（９）に示すように、動き補償予測値又は空間予測値Ｐ（ｉ，ｊ）と足し合わされ、０から２５５の範囲にクリッピングされて最終復号画素値が算出される。
【００５０】
【数１３】

【００５１】
ところで、ＪＶＴでは、イントラ１６×１６モードにおいて、輝度信号のＤＣ成分をさらに４×４単位のブロックに集め、アダマール変換を施して圧縮率を向上させている。輝度信号の４×４ＤＣ成分の直交変換及び量子化は、以下の手法に基づいて実行される。
【００５２】
先ず、４×４変換によって算出された直交変換係数の１６個の輝度信号ＤＣ成分が集められて４×４単位の入力マトリックスＸ_Ｄとされ、アダマール変換に相当する処理として、以下の式（１０）に示すような処理が実行される。
【００５３】
【数１４】

【００５４】
次に、量子化処理として、以下の式（１１）に示すような処理が実行される。
【００５５】
【数１５】

【００５６】
また、逆アダマール変換に相当する処理として、以下の式（１２）に示すような処理が実行される。
【００５７】
【数１６】

【００５８】
次に、ＱＰが１２以上である場合には、逆量子化処理として、以下の式（１３）に示すような処理が実行され、ＱＰが１２未満である場合には、逆量子化処理として、以下の式（１４）に示すような処理が実行される。
【００５９】
【数１７】

【００６０】
また、ＪＶＴでは、色差信号のＤＣ成分についても、さらに２×２画素のブロックに集め、アダマール変換を施して圧縮率を向上させている。色差信号の２×２ＤＣ成分の直交変換及び量子化は、以下の手法に基づいて実行される。
【００６１】
先ず、４個の色差ＤＣ成分が集められて２×２画素の入力マトリックスＸ_Ｄとされ、アダマール変換に相当する処理として、以下の式（１５）に示すような処理が実行される。
【００６２】
【数１８】

【００６３】
次に、量子化処理として、以下の式（１６）に示すような処理が実行される。
【００６４】
【数１９】

【００６５】
また、逆アダマール変換に相当する処理として、以下の式（１７）に示すような処理が実行される。
【００６６】
【数２０】

【００６７】
次に、ＱＰが６以上である場合には、逆量子化処理として、以下の式（１８）に示すような処理が実行され、ＱＰが６未満である場合には、逆量子化処理として、以下の式（１９）に示すような処理が実行される。
【００６８】
【数２１】

【００６９】
なお、直交変換及び量子化の一連の処理は、１６ビット演算でオーバーフローが起こらないよう規格化されている。
【００７０】
【発明が解決しようとする課題】
ところで、上述のＪＶＴで規定されている量子化／逆量子化においては、ＭＰＥＧ２で規定されているような、量子化行列を用いた直交変換係数の重み付けや、量子化処理におけるデッドゾーンに関する機能が含まれていないため、視覚特性に基づいた効率的な量子化を行うことができない。
【００７１】
本発明は、このような従来の実情に鑑みて提案されたものであり、視覚特性を考慮したデッドゾーンを設けて量子化することにより、低ビットレートでの高効率な圧縮を実現する画像情報符号化方法及びその装置、並びにそのような画像情報符号化処理をコンピュータに実行させるプログラム及びそのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００７２】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像情報符号化方法は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化方法において、上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して、上記量子化の際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記直交変換係数の成分毎に変更が加えられたデッドゾーンを設定するものであって、上記直交変換の単位となるブロックは、４×４画素からなり、上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記直交変換係数の成分Ｙ（ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ（ｉ，ｊ）＝（２ ^{１５＋ＱＱＰ／６} −ｆ）／Ｑ （ i,j=0,1,2,3 ）
ただし、ｆはイントラマクロブロックでは２ ^{１５＋ＱＱＰ／６} ／３、インターマクロブロックでは２ ^{１５＋ＱＱＰ／６} ／６とし、上記Ｙ（ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ（ｉ，ｊ）が算出され、上記Ｙ（ｉ，ｊ）の絶対値が上記Ｔ（ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ（ｉ，ｊ）の量子化出力が０とされるものである。
また、本発明に係る画像情報符号化方法は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化方法において、上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して所定の変更が加えたデッドゾーンを設定するものであって、上記デッドゾーンは、上記量子化後の輝度信号のＤＣ成分を集めて構成された４×４画素単位のブロックの各ＤＣ成分を量子化する際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記ＤＣ成分毎に変更が加えられ、上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記ＤＣ成分Ｙ _Ｄ （ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ _Ｄ （ｉ，ｊ）＝（２ ^{１６＋ＱＱＰ／６} −２・ｆ）／Ｑ （ i,j=0,1,2,3 ）
ただし、ｆはイントラマクロブロックでは２ ^{１５＋ＱＱＰ／６} ／３、インターマクロブロックでは２ ^{１５＋ＱＱＰ／６} ／６とし、上記Ｙ _Ｄ （ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ _Ｄ （ｉ，ｊ）が算出され、上記Ｙ _Ｄ （ｉ，ｊ）の絶対値が上記Ｔ _Ｄ （ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ _Ｄ （ｉ，ｊ）の量子化出力が０とされるものである。
また、本発明に係る画像情報符号化方法は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化方法において、上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して所定の変更が加えたデッドゾーンを設定するものであって、上記デッドゾーンは、上記量子化後の色差信号のＤＣ成分を集めて構成された２×２画素単位のブロックの各ＤＣ成分を量子化する際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記ＤＣ成分毎に変更が加えられ、上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記ＤＣ成分Ｙ _Ｄ （ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ _Ｄ （ｉ，ｊ）＝（２ ^{１６＋ＱＱＰ／６} −２・ｆ）／Ｑ （ i,j=0,1 ）
ただし、ｆはイントラマクロブロックでは２ ^{１５＋ＱＱＰ／６} ／３、インターマクロブロックでは２ ^{１５＋ＱＱＰ／６} ／６とし、上記Ｙ _Ｄ （ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ _Ｄ （ｉ，ｊ）が算出され、上記Ｙ _Ｄ （ｉ，ｊ）の絶対値が上記Ｔ _Ｄ （ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ _Ｄ （ｉ，ｊ）の量子化出力が０とされるものである。
【００７３】
このような画像情報符号化方法では、量子化の際の量子化ステップサイズに対する仮想的な重み付け処理を考慮して、例えば高域直交変換係数ほど量子化の出力が０となる入力の範囲であるデッドゾーンが広くなるように、直交変換係数の成分毎にデッドゾーンに対して所定の変更が加えられる。
【００７４】
また、上述した目的を達成するために、本発明に係る画像情報符号化装置は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化装置において、上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して、上記量子化の際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記直交変換係数の成分毎に変更が加えられたデッドゾーンを設定するデッドゾーン設定手段を備え、上記直交変換の単位となるブロックは、４×４画素からなり、上記デッドゾーン設定手段は、上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記直交変換係数の成分Ｙ（ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ（ｉ，ｊ）＝（２ ^{１５＋ＱＱＰ／６} −ｆ）／Ｑ （ i,j=0,1,2,3 ）
ただし、ｆはイントラマクロブロックでは２ ^{１５＋ＱＱＰ／６} ／３、インターマクロブロックでは２ ^{１５＋ＱＱＰ／６} ／６とし、上記Ｙ（ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ（ｉ，ｊ）を算出し、上記Ｙ（ｉ，ｊ）の絶対値が上記Ｔ（ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ（ｉ，ｊ）の量子化出力を０とする。
また、本発明に係る画像情報符号化装置は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化装置において、上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して所定の変更を加えたデッドゾーンを設定するデッドゾーン設定手段を備え、上記デッドゾーンは、上記量子化後の輝度信号のＤＣ成分を集めて構成された４×４画素単位のブロックの各ＤＣ成分を量子化する際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記ＤＣ成分毎に変更が加えられ、上記デッドゾーン設定手段は、上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記ＤＣ成分Ｙ _Ｄ （ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ _Ｄ （ｉ，ｊ）＝（２ ^{１６＋ＱＱＰ／６} −２・ｆ）／Ｑ （ i,j=0,1,2,3 ）
ただし、ｆはイントラマクロブロックでは２ ^{１５＋ＱＱＰ／６} ／３、インターマクロブロックでは２ ^{１５＋ＱＱＰ／６} ／６とし、上記Ｙ _Ｄ （ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ _Ｄ （ｉ，ｊ）を算出し、上記Ｙ _Ｄ （ｉ，ｊ）の絶対値が上記Ｔ _Ｄ （ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ _Ｄ （ｉ，ｊ）の量子化出力を０とする。
また、本発明に係る画像情報符号化装置は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化装置において、上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して所定の変更を加えたデッドゾーンを設定するデッドゾーン設定手段を備え、上記デッドゾーンは、上記量子化後の色差信号のＤＣ成分を集めて構成された２×２画素単位のブロックの各ＤＣ成分を量子化する際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記ＤＣ成分毎に変更が加えられ、上記デッドゾーン設定手段は、上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記ＤＣ成分Ｙ _Ｄ （ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ _Ｄ （ｉ，ｊ）＝（２ ^{１６＋ＱＱＰ／６} −２・ｆ）／Ｑ （ i,j=0,1 ）
ただし、ｆはイントラマクロブロックでは２ ^{１５＋ＱＱＰ／６} ／３、インターマクロブロックでは２ ^{１５＋ＱＱＰ／６} ／６とし、上記Ｙ _Ｄ （ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ _Ｄ （ｉ，ｊ）を算出し、上記Ｙ _Ｄ （ｉ，ｊ）の絶対値が上記Ｔ _Ｄ （ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ _Ｄ （ｉ，ｊ）の量子化出力を０とする。
【００７５】
このような画像情報符号化装置は、量子化の際の量子化ステップサイズに対する仮想的な重み付け処理を考慮して、例えば高域直交変換係数ほど量子化の出力が０となる入力の範囲であるデッドゾーンが広くなるように、直交変換係数の成分毎にデッドゾーンに対して所定の変更を加える。
【００７６】
また、本発明に係るプログラムは、上述した画像情報符号化処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【００７７】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、視覚特性を考慮したデッドゾーンを設けて量子化することにより、低ビットレートでの高効率な圧縮を実現する画像情報符号化方法及びその装置に適用したものである。具体的には、本実施の形態における画像情報符号化方法及びその装置では、量子化の際の量子化ステップサイズに対する仮想的な重み付け処理を考慮して、直交変換係数の成分毎にデッドゾーンが算出される。
【００７８】
そこで、以下では、本実施の形態における画像情報符号化方法及びその方法の説明の前に、量子化ステップサイズに対する重み付けを実際に行って量子化及び逆量子化する画像情報符号化装置及び画像情報復号装置について説明する。
【００７９】
先ず、本実施の形態の説明に供する画像情報符号化装置の概略構成を図１に示す。図１に示すように、画像情報符号化装置１０は、Ａ／Ｄ変換部１１と、画面並べ替えバッファ１２と、加算器１３と、直交変換部１４と、量子化部１５と、重み付け部１６と、可逆符号化部１７と、蓄積バッファ１８と、逆量子化部１９と、重み付け部２０と、逆直交変換部２１と、フレームメモリ２２と、動き予測・補償部２３と、レート制御部２４とにより構成されている。
【００８０】
図１において、Ａ／Ｄ変換部１１は、入力された画像信号をデジタル信号に変換する。そして、画面並べ替えバッファ１２は、当該画像情報符号化装置１０から出力される画像圧縮情報のＧＯＰ（Group of Pictures）構造に応じて、フレームの並べ替えを行う。ここで、画面並び替えバッファ１２は、イントラ（画像内）符号化が行われる画像に関しては、フレーム全体の画像情報を直交変換部１４に供給する。直交変換部１４は、画像情報に対して離散コサイン変換又はカルーネン・レーベ変換等の直交変換を施し、得られた直交変換係数を量子化部１５に供給する。
【００８１】
量子化部１５は、直交変換部１４から供給された直交変換係数に対して量子化処理を施す。その際、量子化部１５の構成要素である重み付け部１６は、後述するようにして、直交変換係数の成分毎に、量子化ステップサイズを指定するための媒介変数ＱＰの重み付けを行う。
【００８２】
可逆符号化部１７は、量子化された直交変換係数に対して可変長符号化又は算術符号化等の可逆符号化を施し、符号化された直交変換係数を蓄積バッファ１８に供給して蓄積させる。この符号化された直交変換係数は、画像圧縮情報として出力される。
【００８３】
量子化部１５の挙動は、レート制御部２４によって制御される。また、量子化部１５は、量子化後の直交変換係数を逆量子化部１９に供給し、逆量子化部１９は、その直交変換係数を逆量子化する。その際、逆量子化部１９の構成要素である重み付け部２０は、後述するようにして、量子化された直交変換係数の成分毎に、量子化ステップサイズを指定するための媒介変数ＱＰの重み付けを行う。
【００８４】
逆直交変換部２１は、逆量子化された直交変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ２２に供給して蓄積させる。
【００８５】
一方、画面並び替えバッファ１２は、インター（画像間）符号化が行われる画像に関しては、画像情報を動き予測・補償部２３に供給する。動き予測・補償部２３は、同時に、参照される画像情報をフレームメモリ２２より取り出し、動き予測・補償処理を施して参照画像情報を生成する。
【００８６】
動き予測・補償部２３は、この参照画像情報を加算器１３に供給し、加算器１３は、参照画像情報を当該画像情報との差分信号に変換する。また、動き補償・予測部２３は、同時に動きベクトル情報を可逆符号化部１７に供給する。
【００８７】
可逆符号化部１７は、その動きベクトル情報に対して可変長符号化又は算術符号化等の可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を形成する。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、説明を省略する。
【００８８】
次に、上述した画像情報符号化装置１０から出力された画像圧縮情報を復号する画像情報復号装置の概略構成を図２に示す。図２に示すように、画像情報復号装置３０は、蓄積バッファ３１と、可逆復号部３２と、逆量子化部３３と、重み付け部３４と、逆直交変換部３５と、加算器３６と、画面並べ替えバッファ３７と、Ｄ／Ａ変換部３８と、動き予測・補償部３９と、フレームメモリ４０とにより構成されている。
【００８９】
図２において、蓄積バッファ３１は、入力された画像圧縮情報を一時的に格納した後、可逆復号部３２に転送する。可逆復号部３２は、定められた画像圧縮情報のフォーマットに基づき、画像圧縮情報に対して可変長復号又は算術復号等の処理を施し、量子化された直交変換係数を逆量子化部３３に供給する。また、可逆復号部３２は、当該フレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測・補償部３９に供給する。
【００９０】
逆量子化部３３は、可逆復号部３２から供給された量子化後の直交変換係数を逆量子化し、逆量子化後の直交変換係数を逆直交変換部３５に供給する。その際、逆量子化部３３の構成要素である重み付け部３４は、後述するようにして、量子化された直交変換係数の成分毎に、量子化ステップサイズを指定するための媒介変数ＱＰの重み付けを行う。逆直交変換部３５は、定められた画像圧縮情報のフォーマットに基づき、直交変換係数に対して逆離散コサイン変換又は逆カルーネン・レーベ変換等の逆直交変換を施す。
【００９１】
ここで、当該フレームがイントラ符号化されたものである場合には、逆直交変換部３５は、逆直交変換処理後の画像情報を画面並べ替えバッファ３７に供給する。画面並び替えバッファ３７は、この画像情報を一時的に格納した後、Ｄ／Ａ変換部３８に供給する。Ｄ／Ａ変換部３８は、この画像情報に対してＤ／Ａ変換処理を施して出力する。
【００９２】
一方、当該フレームがインター符号化されたものである場合には、動き予測・補償部３９は、可逆復号処理が施された動きベクトル情報とフレームメモリ４０に格納された画像情報とに基づいて参照画像を生成する。加算器３６は、この参照画像と逆直交変換部３５の出力とを合成する。なお、その他の処理については、イントラ符号化されたフレームと同様であるため、説明を省略する。
【００９３】
ところで、上述したように、画像情報符号化装置１０及び画像情報復号装置３０では、重み付け部１６，２０，３４において、量子化ステップサイズを指定するための媒介変数ＱＰの重み付け処理を行って、量子化及び逆量子化が行われている。そして、この重み付け処理によって、視覚的に劣化の目立ちにくい高域直交変換係数を、視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化することが可能とされる。
【００９４】
そこで、以下では、この重み付け処理について説明する。なお、重み付け部１６，２０，３４の動作原理は同様であるため、以下では重み付け部１６の動作原理についてのみ説明する。
【００９５】
重み付け部１６においては、イントラマクロブロックとインターマクロブロックのそれぞれに対して、デフォルトで、それぞれ図３（Ａ）、（Ｂ）に示すようなＷ_{ｉｎｔｒａ}（ｉ，ｊ）及びＷ_{ｉｎｔｅｒ}（ｉ，ｊ）（i,j=0,1,2,3）に関する情報が含まれている。
【００９６】
また、輝度信号と色差信号のそれぞれに対して、デフォルトで、それぞれ図３（Ａ），（Ｂ）に示すような、Ｗ_ｌｕｍａ（ｉ，ｊ）及びＷ_{ｃｈｒｏｍａ}（ｉ，ｊ）（i,j=0,1,2,3）に関する情報を含むようにすることもできる。
【００９７】
以下では、Ｗ_{ｉｎｔｒａ}（ｉ，ｊ）及びＷ_{ｉｎｔｅｒ}（ｉ，ｊ）、或いはＷ_ｌｕｍａ（ｉ，ｊ）及びＷ_{ｃｈｒｏｍａ}（ｉ，ｊ）に関する処理が同等であるため、特に断りのない限り、これらをＷ（ｉ，ｊ）と表記する。
【００９８】
なお、Ｗ_{ｉｎｔｒａ}（ｉ，ｊ）及びＷ_{ｉｎｔｅｒ}（ｉ，ｊ）、或いはＷ_ｌｕｍａ（ｉ，ｊ）及びＷ_{ｃｈｒｏｍａ}（ｉ，ｊ）は、図３に示したデフォルト値に限定されるものではなく、ユーザがピクチャ単位で設定することが可能である。その際、Ｗ（ｉ，ｊ）の値そのものを出力となる画像圧縮情報に埋め込むことも可能であるが、その差分値を生成し、又は可変長符号化、算術符号化等の可逆符号化方式を用いてその情報量を削減し、出力される画像圧縮情報に埋め込んでもよい。
【００９９】
ここで、重み付け部１６においては、画像圧縮情報中に格納される、マクロブロックごとの量子化のための媒介変数ＱＰを元に、４×４離散コサイン変換係数のそれぞれの成分に対して、以下の式（２０）に示すような変数ＱＱＰ（ｉ，ｊ）が定義される。
【０１００】
【数２２】

【０１０１】
量子化／逆量子化処理に関しては、上述したＪＶＴにおけるＱ（QP%6,i,j）及びＲ（QP%6,i,j）に代え、各成分毎に、Ｑ（QQP%6,i,j）及びＲ（QQP%6,i,j）を用いて、ＪＶＴと同様の処理を行う。
【０１０２】
なお、ＱＰのダイナミックレンジは０〜５１であるが、上述した式（２０）においては、ＱＱＰ（ｉ，ｊ）の値がこのダイナミックレンジから外れる可能性がある。そこで、ＱＱＰ（ｉ，ｊ）の値が５１を超えた場合にはＱＱＰ（ｉ，ｊ）＝５１とし、０を下回った場合にはＱＱＰ（ｉ，ｊ）＝０とする。
【０１０３】
ここで、上述したように、画像情報符号化装置１０及び画像情報復号装置３０においては、デフォルトで使用される重み行列が、輝度信号及び色差信号の双方に対して、以下の式（２１）、（２２）のように定義されている。
【０１０４】
【数２３】

【０１０５】
なお、実際に画像情報符号化装置１０及び画像情報復号装置３０で量子化／逆量子化に用いられる重み行列は必ずしもこの通りではなく、ピクチャ単位でユーザが設定することが可能である。
【０１０６】
この重み行列に関する情報を、画像圧縮情報中に埋め込むための構文の例を図４に示す。図４において、load_intra_quantiser_matrix、load_non_intra_quantiser_matrix、load_chroma_intra_quantiser_matrix、及びload_chroma_non_intra_quantiser_matrixは、それぞれ当該ピクチャで、輝度信号及び色差信号に対するイントラマクロブロック及びインターマクロブロックにおいて、デフォルトで定められた以外の重み行列が用いられるか否かを示す１ビットのフラグであり、その値が１を取るとき、当該ピクチャにおいてはデフォルト以外の重み行列が用いられる。
【０１０７】
例えばload_intra_quantiser_matrixの値が１であった場合、後続のintra_quantiser_matrix[16]において、それぞれの成分が４ビットで表された４×４の重み行列に関する情報が埋め込まれる。
【０１０８】
なお、上述のように、それぞれの成分が必ずしも４ビットである必要はなく、８ビット又は１２ビット等で表されてもよい。
【０１０９】
また、差分を取り、又は可変長符号化若しくは算術符号化等の可逆符号化を施すことにより、intra_quantiser_matrix[16]に関する情報を圧縮してもよい。
【０１１０】
また、上述の説明では、入力としてそれぞれの画素値が８ビットで表される画像情報を対象にしているが、例えばそれぞれの画素値が１０ビットで表される画像情報に対しても拡張可能である。
【０１１１】
以上説明したように、画像情報符号化装置１０及び画像情報復号装置３０によれば、量子化ステップサイズを指定するための媒介変数ＱＰの重み付け処理を行って量子化処理及び逆量子化処理を行うことにより、視覚的に劣化の目立ちにくい高域直交変換係数を、視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化することが可能とされる。
【０１１２】
ここで、上述の説明では、マクロブロックごとの量子化のための媒介変数ＱＰに対して、４×４離散コサイン変換係数のそれぞれの成分について重み行列Ｗ（ｉ，ｊ）を加算し、得られた変数ＱＱＰ（ｉ，ｊ）を用いて量子化処理及び逆量子化処理を行った。しかしながら、このように４×４直交変換係数の全ての成分について重み行列Ｗ（ｉ，ｊ）を定義する例に限定されるものではなく、視覚的に劣化の目立ちやすい低域直交変換係数についてのみ媒介変数ＱＰに対してオフセット値を与え、量子化精度を向上させる処理を行うようにしても構わない。
【０１１３】
このような処理を行う画像情報符号化装置及びこの画像符号化装置から出力された画像圧縮情報を復号する画像情報復号装置の概略構成をそれぞれ図５、図６に示す。
【０１１４】
図５に示すように、画像情報符号化装置５０の基本構成は、先に図１に示した画像情報符号化装置１０と同様とするが、重み付け部１６，２０の代わりに、低域精度変更部５１，５２を備えており、低域直交変換係数の量子化精度を変更する点に特徴を有している。また、図６に示すように、画像情報復号装置６０の基本構成は、先に図２に示した画像情報復号装置３０と同様とするが、重み付け部３４の代わりに、低域精度変更部６１を備えており、低域直交変換係数の逆量子化精度を変更する点に特徴を有している。
【０１１５】
したがって、先に図１、２に示した画像情報符号化装置１０及び画像情報復号装置３０と同様の構成については同一符号を付して詳細な説明を省略し、以下では、低域精度変更部５１，５２，６１における処理について説明する。なお、低域精度変更部５１，５２，６１の動作原理は同様であるため、以下では低域精度変更部５１の動作原理についてのみ説明する。
【０１１６】
低域精度変更部５１においては、画像圧縮情報中に格納される、マクロブロックごとの量子化のための媒介変数ＱＰを元に、４×４離散コサイン変換係数の指定された成分に対して、以下の式（２３）に示すような変数ＱＱＰ（ｉ，ｊ）が定義される。
【０１１７】
【数２４】

【０１１８】
量子化／逆量子化処理に関しては、上述したＪＶＴにおけるＱ（QP%6,i,j）及びＲ（QP%6,i,j）に代え、指定された成分毎に、Ｑ（QQP%6,i,j）及びＲ（QQP%6,i,j）を用いて、ＪＶＴと同様の処理を行う。
【０１１９】
なお、ＱＰのダイナミックレンジは０〜５１であるが、上述した式（２３）においては、ＱＱＰ（ｉ，ｊ）の値がこのダイナミックレンジから外れる可能性がある。そこで、ＱＱＰ（ｉ，ｊ）の値が５１を超えた場合にはＱＱＰ（ｉ，ｊ）＝５１とし、０を下回った場合にはＱＱＰ（ｉ，ｊ）＝０とする。
【０１２０】
ここで、低域精度変更部５１では、予測モード、量子化ステップサイズを変更する直交変換係数、及び量子化ステップサイズの各々の項目の組み合わせに準拠する構文を定義することができる。
【０１２１】
すなわち、例えば予測モードについては、１６×１６予測モード及び／又は４×４予測モード、或いはユーザが指定した上記予測モードの任意の組み合わせについての構文を定義することができる。
【０１２２】
また、量子化ステップサイズを変更する直交変換係数については、例えば図７左の斜線で示すようにＤＣ係数のみを変更するモード１、図７中央の斜線で示すようにＤＣ係数及び低域のＡＣ係数２個を変更するモード２、図７右の斜線で示すようにＤＣ係数及び低域のＡＣ係数５個を変更するモード３、或いはユーザが指定した直交変換係数についての構文を定義することができる。
【０１２３】
また、量子化ステップサイズとしては、デフォルト値（例えば−６）や、ユーザが設定したオフセット値（offset_QP）についての構文を定義することができる。また、ユーザが指定した変数ＱＱＰの絶対値についての構文を定義するようにしても構わない。
【０１２４】
上述した予測モード、量子化ステップサイズを変更する直交変換係数、及び量子化ステップサイズについての情報を画像圧縮情報中に埋め込むための構文の例を図８に示す。なお、構文がこの例に限定されないのは勿論であり、上述した項目の任意の組み合わせに準拠する構文を定義することができる。
【０１２５】
図８において、load_16x16, load_4x4は、それぞれ当該ピクチャで、輝度信号及び色差信号に対するイントラマクロブロック及びインターマクロブロックにおいて、デフォルトで定められた以外の媒介変数ＱＰが用いられるか否かを示す１ビットのフラグであり、その値が１を取るとき、当該ピクチャにおいてはデフォルト以外のＱＰが用いられる。
【０１２６】
例えばload_16x16の値が１であった場合、後続のoffset_QPにおいて、４ビットで表された媒介変数ＱＰのオフセット値に関する情報が埋め込まれる。さらに、後続のcoef_numにおいて、２ビットで表された量子化ステップサイズを変更する直交変換係数に関する情報、例えば上述の図７におけるモード１乃至モード３の何れかに関する情報が埋め込まれる。
【０１２７】
なお、上述のように、それぞれの成分が必ずしも４ビットである必要はなく、８ビット又は１２ビット等で表されてもよい。
【０１２８】
また、絶対値を取り、又は可変長符号化若しくは算術符号化等の可逆符号化を施すことにより、offset_QPに関する情報を圧縮してもよい。
【０１２９】
また、上述の説明では、入力としてそれぞれの画素値が８ビットで表される画像情報を対象にしているが、例えばそれぞれの画素値が１０ビットで表される画像情報に対しても拡張可能である。
【０１３０】
以上説明したように、画像情報符号化装置５０及び画像情報復号装置６０によれば、低域直交変換係数についてのみ、量子化ステップサイズを指定するための媒介変数ＱＰに対してオフセット値（offset_QP）を与えることにより、視覚的に劣化の目立ちやすい低域直交変換係数の量子化精度を上げ、復号画像の画質を向上させることが可能となる。
【０１３１】
ところで、上述の説明では、マクロブロックごとの量子化のための媒介変数ＱＰに対して、４×４離散コサイン変換係数のそれぞれの成分、或いは指定された成分について重み付け処理を行うことで、視覚特性を考慮した量子化を実現しており、重み付け処理機能を有していることを前提としていた。
【０１３２】
しかしながら、ＪＶＴにおいて重み付け処理機能がない場合であっても、以下に説明するように、入力値の零近傍の直交変換係数について視覚特性を考慮したデッドゾーンを算出することによっても、上述と同様の効果を奏することができる。
【０１３３】
このようなデッドゾーン算出処理を行う本発明の実施の形態における画像情報符号化装置の概略構成を図９に示す。図９に示すように、画像情報符号化装置７０の基本構成は、先に図１に示した画像情報符号化装置１０と同様とするが、重み付け部１６，２０の代わりにデッドゾーン算出部７１を備えており、視覚特性を考慮したデッドゾーンを算出する点に特徴を有している。
【０１３４】
したがって、先に図１に示した画像情報符号化装置１０と同様の構成については同一符号を付して詳細な説明を省略し、以下では、このデッドゾーン算出部７１におけるデッドゾーン算出処理についてのみ説明する。
【０１３５】
デッドゾーン算出部７０においては、直交変換係数毎に以下の式（２４）に従ってデッドゾーンの閾値Ｔ（ｉ，ｊ）を求める。
【０１３６】
【数２５】

【０１３７】
ここで、式（２４）において、ｆはイントラマクロブロックでは２^{１５＋ＱＱＰ／６}／３、インターマクロブロックでは２^{１５＋ＱＱＰ／６}／６とし、量子化される直交変換係数Ｙと同じ正負の符号を持つとする。また、ＱＱＰは、前述した重み付け処理で用いたＷ_{ｉｎｔｒａ}（ｉ，ｊ）及びＷ_{ｉｎｔｅｒ}（ｉ，ｊ）（i,j=0,1,2,3）等を用いて、算出したものとする。
【０１３８】
このように算出されたデッドゾーンの閾値Ｔ（ｉ，ｊ）を用いて、入力値Ｙ（ｉ，ｊ）の絶対値がＴ（ｉ，ｊ）の絶対値よりも小さい場合、量子化値Ｙ_Ｑ（ｉ，ｊ）を０とする。
【０１３９】
同様に、輝度のＤＣ成分をさらに４×４単位のブロックに集めてアダマール変換を施した直交変換係数Ｙ_Ｄ（ｉ，ｊ）については、以下の式（２５）に従ってデッドゾーンの閾値Ｔ_Ｄ（ｉ，ｊ）を算出する。また、色差のＤＣ成分をさらに２×２単位のブロックに集めてアダマール変換を施した直交変換係数Ｙ_Ｄ（ｉ，ｊ）については、以下の式（２６）に従ってデッドゾーンの閾値Ｔ_Ｄ（ｉ，ｊ）を算出する。
【０１４０】
【数２６】

【０１４１】
そして、入力値Ｙ_Ｄ（ｉ，ｊ）の絶対値がＴ_Ｄ（ｉ，ｊ）の絶対値よりも小さい場合、量子化値Ｙ_ＤＱ（ｉ，ｊ）を０とする。
【０１４２】
入力値Ｙ（ｉ，ｊ）と量子化値Ｙ_Ｑ（ｉ，ｊ）との対応グラフを図１０に示す。図１０に示すように、本実施の形態の対応グラフ（ａ）におけるデッドゾーンの閾値Ｔ（ｉ，ｊ）は、重み行列Ｗ（ｉ，ｊ）で重み付け処理を行った場合の対応グラフ（ｂ）における量子化値がゼロとなる入力値の範囲において、同様に量子化値がゼロとなるように算出されている。
【０１４３】
以上説明したように、本実施の形態における画像情報符号化装置７０によれば、視覚特性を考慮した重み付け処理のデッドゾーンと同等のデッドゾーンを算出することができ、視覚特性を考慮した量子化処理を行うことが可能となる。
【０１４４】
また、このような視覚特性を考慮したデッドゾーンを算出する手法では、従来通りのＪＶＴ復号器で復号処理を行えるため、処理量の増加を伴わないという利点がある。
【０１４５】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【０１４６】
例えば、本発明による手法は、任意の変換方式に適用可能である。すなわち、演算精度や、整数変換の変換マトリクスに依存せず、同様に適用可能である。
【０１４７】
また、本発明は、変換ブロックのサイズに依存せず、任意のサイズの変換に対して同様に適用可能である。また、４×４，４×８、８×４、８×８，１６×１６の任意のブロックサイズで適応的に周波数変換を行う適応可変ブロックサイズ変換方式にも同様に適用可能である。
【０１４８】
また、本発明、任意の処理をＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【０１４９】
【発明の効果】
以上詳細に説明したように本発明に係る画像情報符号化方法は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化方法において、上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して所定の変更を加えたデッドゾーンを設定するものである。
【０１５０】
このような画像情報符号化方法では、量子化の際の量子化ステップサイズに対する仮想的な重み付け処理を考慮して、例えば高域直交変換係数ほど量子化の出力が０となる入力の範囲であるデッドゾーンが広くなるように、直交変換係数の成分毎にデッドゾーンに対して所定の変更が加えられる。
【０１５１】
これにより、視覚特性を考慮した重み付け処理のデッドゾーンと同等のデッドゾーンを算出することができ、視覚特性を考慮した量子化処理を行うことが可能となる。
【０１５２】
また、本発明に係る画像情報符号化装置は、力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化装置において、上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して所定の変更を加えたデッドゾーンを設定するデッドゾーン設定手段を備える。
【０１５３】
このような画像情報符号化装置は、量子化の際の量子化ステップサイズに対する仮想的な重み付け処理を考慮して、例えば高域直交変換係数ほど量子化の出力が０となる入力の範囲であるデッドゾーンが広くなるように、直交変換係数の成分毎にデッドゾーンに対して所定の変更を加える。
【０１５４】
これにより、視覚特性を考慮した重み付け処理のデッドゾーンと同等のデッドゾーンを算出することができ、視覚特性を考慮した量子化処理を行うことが可能となる。
【０１５５】
また、本発明に係るプログラムは、上述した画像情報符号化処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムプログラムが記録されたコンピュータ読み取り可能なものである。
【０１５６】
このようなプログラム及び記録媒体によれば、上述した画像情報符号化処理をソフトウェアにより実現することができる。
【図面の簡単な説明】
【図１】本実施の形態の説明に供する画像情報符号化装置の概略構成を説明する図である。
【図２】本実施の形態の説明に供する画像情報復号装置の概略構成を説明する図である。
【図３】同画像情報符号化装置の重み付け部に格納されている重み行列のデフォルト値を説明する図であり、同図（Ａ）は、イントラマクロブロック用又は輝度信号用の重み行列を示し、同図（Ｂ）は、非イントラマクロブロック用又は色差信号用の重み行列を示す。
【図４】重み行列に関する情報を画像圧縮情報中に埋め込むための構文の例を説明する図である。
【図５】本実施の形態の説明に供する画像情報符号化装置の概略構成の他の例を説明する図である。
【図６】本実施の形態の説明に供する画像情報復号装置の概略構成の他の例を説明する図である。
【図７】量子化ステップサイズを変更する直交変換係数の例を示す図である。
【図８】予測モード、量子化ステップサイズを変更する直交変換係数、及び量子化ステップサイズについての情報を画像圧縮情報中に埋め込むための構文の例を説明する図である。
【図９】本実施の形態における画像情報符号化装置の概略構成を説明する図である。
【図１０】同画像情報符号化装置の量子化部における入力値と量子化値との対応グラフを示す図である。
【図１１】直交変換と動き補償とにより画像圧縮を実現する従来の画像情報符号化装置の概略構成を説明する図である。
【図１２】直交変換と動き補償により圧縮された画像圧縮情報を復号する従来の画像情報復号装置の概略構成を説明する図である。
【図１３】ＭＰＥＧ２において定められた、intra_dc_precisionと、ビット精度、逆量子化係数及びＤＣ予測リセット値との関係を説明する図である。
【図１４】ＭＰＥＧ２で定められているイントラマクロブロックとインターマクロブロックとに対する量子化行列のデフォルト値を説明する図である。
【図１５】 MPEG2 Test Model 5において定められている非イントラマクロブロックに対する量子化行列を説明する図である。
【図１６】ＭＰＥＧ２における、量子化スケール（quantiser_scale）、ピクチャ単位で設定される媒介変数q_scale_type、及びマクロブロック単位で設定される量子化スケールコードquantiser_scale_codeの関係を説明する図である。
【符号の説明】
１０，５０，７０ 画像情報符号化部、１１ Ａ／Ｄ変換部、１２ 画面並べ替えバッファ、１３ 加算器、１４ 直交変換部、１５ 量子化部、１６ 重み付け部、１７ 可逆符号化部、１８ 蓄積バッファ、１９ 逆量子化部、２０ 重み付け部、２１ 逆直交変換部、２２ フレームメモリ、２３ 動き予測・補償部、２４ レート制御部、３０，６０ 画像情報復号装置、３１ 蓄積バッファ、３２ 可逆復号部、３３ 逆量子化部、３４ 重み付け部、３５ 逆直交変換部、３６ 加算器、３７ 画面並べ替えバッファ、３８ Ｄ／Ａ変換部、３９動き予測・補償部、４０ フレームメモリ、５１，５２，６１ 低域精度変更部、７１ デッドゾーン算出部[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to MPEG (Moving Picture Experts Group), H.264. Receives image information (bitstream) compressed by orthogonal transformation such as discrete cosine transformation or Karhunen-Labe transformation and motion compensation, such as 26x, via network media such as satellite broadcasting, cable TV, or the Internet. Image information encoding method and apparatus used when processing on a storage medium such as an optical disk, a magnetic disk or a flash memory, andProgram andThe present invention relates to a recording medium.
[0002]
[Prior art]
In recent years, MPEG treats image information as digital and compresses it by orthogonal transform such as discrete cosine transform and motion compensation using the unique redundancy of image information for the purpose of efficient transmission and storage of information. And the like are being used for both information distribution at broadcast stations and information reception in general households.
[0003]
In particular, MPEG2 (ISO / IEC 13818-2) is defined as a general-purpose image coding system, and is a standard that covers both interlaced and progressively scanned images, standard resolution images, and high-definition images. And widely used in a wide range of applications for consumer use. By using the MPEG2 compression method, for example, a standard resolution interlaced scanning image having 720 × 480 pixels is 4 to 8 Mbps, and a high resolution interlaced scanning image having 1920 × 1088 pixels is 18 to 22 Mbps. (Bit rate) can be assigned to achieve a high compression rate and good image quality.
[0004]
MPEG2 was mainly intended for high-quality encoding suitable for broadcasting, but did not support encoding methods with a lower code amount (bit rate) than MPEG1, that is, a higher compression rate. With the widespread use of mobile terminals, the need for such an encoding system is expected to increase in the future, and the MPEG4 encoding system has been standardized in response to this need. Regarding the image coding system, the standard was approved as an international standard as ISO / IEC 14496-2 in December 1998.
[0005]
Furthermore, in recent years, standardization of a standard called JVT (ITU-T Q6 / 16 VCEG) has been progressing with the initial purpose of image coding for video conferencing. This JVT is known to achieve higher encoding efficiency than the conventional encoding schemes such as MPEG2 and MPEG4, although a large amount of calculation is required for encoding and decoding. Also, as part of the MPEG4 activity, standardization that realizes higher coding efficiency by incorporating functions that are not supported by JVT based on this JVT is now being performed as Joint Model of Enhanced-Compression Video Coding.
[0006]
Here, FIG. 11 shows a schematic configuration of an image information encoding apparatus that realizes image compression by orthogonal transformation such as discrete cosine transformation or Karhunen-Labe transformation and motion compensation. As illustrated in FIG. 11, the image information encoding device 100 includes an A / D conversion unit 101, a screen rearrangement buffer 102, an adder 103, an orthogonal transformation unit 104, a quantization unit 105, and a lossless encoding. Unit 106, accumulation buffer 107, inverse quantization unit 108, inverse orthogonal transform unit 109, frame memory 110, motion prediction / compensation unit 111, and rate control unit 112.
[0007]
In FIG. 11, an A / D converter 101 converts an input image signal into a digital signal. Then, the screen rearrangement buffer 102 rearranges the frames according to the GOP (Group of Pictures) structure of the compressed image information output from the image information encoding device 100. Here, the screen rearrangement buffer 102 supplies the image information of the entire frame to the orthogonal transform unit 104 regarding the image on which intra (intra-image) encoding is performed. The orthogonal transform unit 104 performs orthogonal transform such as discrete cosine transform or Karhunen-Loeve transform on the image information, and supplies the obtained orthogonal transform coefficient to the quantization unit 105. The quantization unit 105 performs a quantization process on the orthogonal transform coefficient supplied from the orthogonal transform unit 104.
[0008]
The lossless encoding unit 106 performs lossless encoding such as variable length encoding and arithmetic encoding on the quantized orthogonal transform coefficient, and supplies the encoded orthogonal transform coefficient to the accumulation buffer 107 for accumulation. . The encoded orthogonal transform coefficient is output as image compression information.
[0009]
The behavior of the quantization unit 105 is controlled by the rate control unit 112. Further, the quantization unit 105 supplies the quantized orthogonal transform coefficient to the inverse quantization unit 108, and the inverse quantization unit 108 inversely quantizes the orthogonal transform coefficient. The inverse orthogonal transform unit 109 performs inverse orthogonal transform processing on the inversely quantized orthogonal transform coefficients to generate decoded image information, and supplies the information to the frame memory 110 for accumulation.
[0010]
On the other hand, the screen rearrangement buffer 102 supplies image information to the motion prediction / compensation unit 111 for an image on which inter (inter-image) encoding is performed. The motion prediction / compensation unit 111 extracts image information that is referred to at the same time from the frame memory 110 and performs motion prediction / compensation processing to generate reference image information. The motion prediction / compensation unit 111 supplies the reference image information to the adder 103, and the adder 103 converts the reference image information into a difference signal from the image information. In addition, the motion compensation / prediction unit 111 supplies motion vector information to the lossless encoding unit 106 at the same time.
[0011]
The lossless encoding unit 106 performs lossless encoding processing such as variable length encoding or arithmetic encoding on the motion vector information, and forms information to be inserted into the header portion of the image compression information. The other processing is the same as the image compression information subjected to intra coding, and thus description thereof is omitted.
[0012]
Next, a schematic configuration of an image information decoding apparatus corresponding to the above-described image information encoding apparatus 100 is shown in FIG. As illustrated in FIG. 12, the image information decoding device 120 includes an accumulation buffer 121, a lossless decoding unit 122, an inverse quantization unit 123, an inverse orthogonal transform unit 124, an adder 125, and a screen rearrangement buffer 126. , A D / A conversion unit 127, a motion prediction / compensation unit 128, and a frame memory 129.
[0013]
In FIG. 12, the accumulation buffer 121 temporarily stores input image compression information, and then transfers it to the lossless decoding unit 14. The lossless decoding unit 122 performs processing such as variable length decoding or arithmetic decoding on the compressed image information based on the determined format of the compressed image information, and supplies the quantized orthogonal transform coefficient to the inverse quantization unit 123. To do. Further, when the frame is inter-coded, the lossless decoding unit 122 also decodes the motion vector information stored in the header portion of the image compression information, and the information is motion prediction / compensation unit 128. To supply.
[0014]
The inverse quantization unit 123 performs inverse quantization on the quantized orthogonal transform coefficient supplied from the lossless decoding unit 122 and supplies the obtained orthogonal transform coefficient to the inverse orthogonal transform unit 124. The inverse orthogonal transform unit 124 performs inverse orthogonal transform such as inverse discrete cosine transform or inverse Karhunen-Loeve transform on the orthogonal transform coefficient based on the determined format of the image compression information.
[0015]
Here, if the frame is intra-coded, the image information subjected to the inverse orthogonal transform processing is stored in the screen rearrangement buffer 126 and is subjected to D / A conversion in the D / A conversion unit 127. Output after processing.
[0016]
On the other hand, when the frame is inter-coded, the motion prediction / compensation unit 128 refers to the motion vector information subjected to the lossless decoding process and the image information stored in the frame memory 129. An image is generated and supplied to the adder 125. The adder 125 synthesizes the reference image and the output of the inverse orthogonal transform unit 124. The other processing is the same as that of the intra-encoded frame, and thus description thereof is omitted.
[0017]
By the way, in the MPEG2 video standard, the direct definition for quantization is not made, but the detailed definition is made only for inverse quantization. Therefore, when actual quantization is performed, several parameters included in the quantization rule are changed, and the quantization characteristics are changed within the range of the degree of freedom, thereby improving the image quality and visualizing. Encoding that reflects the characteristics is performed. Hereinafter, the inverse quantization process in MPEG2 will be described.
[0018]
In the MPEG2 video standard, in the DC coefficient quantization of an intra macroblock, it is possible to specify the quantization accuracy in units of pictures, and in the quantization of other coefficients, each quantization matrix that can be specified in units of pictures. The quantization accuracy of each coefficient can be controlled by a value obtained by multiplying an element by a quantization scale that can be specified in units of macroblocks.
[0019]
The DC coefficient of the intra macroblock is inversely quantized according to the following equation (1).
[0020]
[Formula 6]

[0021]
Here, in Expression (1), F ″ [0] [0] indicates the quantized representative value of the DC coefficient value, and QF [0] [0] indicates the quantized representative value level number of the DC coefficient value. Also, intra_dc_mult is a value determined by the relationship shown in FIG. 13 according to intra_dc_precision, which is a parameter that can be set in units of pictures in order to specify DC coefficient quantization accuracy.
[0022]
In MPEG1, the intra_dc_precision is only an accuracy corresponding to 0 (equivalent to 8-bit accuracy). However, this accuracy is insufficient to encode an image whose luminance level changes slowly with high image quality. Met. Therefore, in MPEG2, as shown in FIG. 13, it is possible to specify DC coefficient quantization accuracy equivalent to 8 to 11 bit accuracy using this parameter. However, except for the High profile that can be used in the 4: 2: 2 format and has a high level of required image quality, the maximum 10-bit accuracy is sufficient and is limited to the 8-10-bit accuracy.
[0023]
Further, the other coefficients of the intra macroblock are inversely quantized according to the following equation (2).
[0024]
[Expression 7]

[0025]
Here, in Expression (2), F ″ [u] [v] represents the quantized representative value of the (u, v) coefficient value, and QF [u] [v] represents the (u, v) coefficient value. The k representative value level number is defined by the following equation (3).
[0026]
[Equation 8]

[0027]
In the above-described equation (2), W [w] [u] [v] and quantizer_scale indicate a quantization matrix and a quantization scale, respectively, and the quantization characteristics are controlled by these parameters.
[0028]
The parameter k is 1, 0, −1 in the non-intra macroblock depending on the sign of QF [u] [v]. For example, when QF [u] [v] is −2, −1, 0, 1, 2, F ″ [u] [v] is −5 m, −3 m, 0, 3 m, 5 m (m is Constant), and a dead zone is provided near zero.
[0029]
Incidentally, the quantization matrix is a matrix provided for setting the relative quantization accuracy between discrete cosine transform coefficient values in the block. By using this quantization matrix, for example, it is possible to coarsely quantize high-frequency discrete cosine coefficient values that are visually inconspicuous compared with low-frequency discrete cosine coefficients that are visually inconspicuous. The quantization characteristic can be matched with the visual characteristic. Note that the quantization matrix can be set in units of pictures.
[0030]
In the case of the MPEG2 and MPEG2 4: 2: 0 formats, two types of quantization matrices for intra macroblocks and non-intra macroblocks can be set, 4: 2: 2 format and 4: 4: 4 format. In this case, a total of four types of quantization matrices can be set independently for the luminance signal and the color difference signal. Note that w (0, 1, 2, 3) in W [w] [u] [v] means one of four types of matrices.
[0031]
Here, the default values of the quantization matrix of the intra macroblock and the non-intra macroblock defined in MPEG2 are shown in FIGS. 14A and 14B, respectively. As described above, the quantization matrix can be set by the user in units of pictures, but this default value is used when it is not set. As shown in FIG. 14, the default value has a weight only for the intra macroblock.
[0032]
In MPEG2 Test Model 5 (ISO / IEC JTC / SC29 / WG11 / N0400), a quantization matrix as shown in FIG. 15 is defined for a non-intra macroblock. Unlike the default value shown in FIG. 14B, this is a characteristic having a weight.
[0033]
The quantization scale (quantiser_scale) is a parameter for controlling the amount of generated code by scaling the quantization characteristics. The parameter q_scale_type is set for each picture, and the quantization is set for each macroblock. Set by scale code quantiser_scale_code. FIG. 16 shows these relationships.
[0034]
Here, when q_scale_type is 0, linear quantization is performed, and a value twice the quantizer_scale_code (1 to 31) is set to quantizer_scale (2 to 62) as in MPEG1.
[0035]
In addition, when q_scale_type is 1, nonlinear quantization is performed, and quantiser_scale_code (1 to 31) is finer for small quantization scale codes and coarser for large quantization scale codes. In comparison, it is converted into a wide range of quantizer_scale (1-112). This mode is newly introduced in MPEG2, and in particular, when encoding at a high rate, finer quantization scale control is performed in a small quantization scale region, or extremely complicated images are encoded. In this case, a coarser quantization scale can be used, and more stable code amount control can be realized as compared with MPEG1.
[0036]
On the other hand, in JVT, 52 different values of 0 to 51 are used for the parameter QP for performing quantization / inverse quantization. Here, QP is set so that the quantization scale is doubled every time the value increases by six. That is, every time QP increases by 1, the quantization scale increases by about 12%.
[0037]
QP used for color difference components_CIs the QP used for the luminance component_YIs calculated according to the control table shown in Table 1 below. In the following, unless otherwise noted, QP_YWill be referred to as QP.
[0038]
[Table 1]

[0039]
Here, in JVT, encoding based on 4 × 4 discrete cosine transform is performed, but the following calculation is actually performed on the luminance signal and the color difference signal. That is, X = (x₀₀, ... x₃₃) Is a pixel value or difference value, and Y is an orthogonal transform coefficient, a process corresponding to discrete cosine transform as shown in the following equation (4) is executed.
[0040]
[Equation 9]

[0041]
Next, as a quantization process, a process as shown in the following equation (5) is executed.
[0042]
[Expression 10]

[0043]
Here, in equation (5), Y_QIndicates a quantized orthogonal transform coefficient, and Q indicates a quantization coefficient corresponding to the quantization step size. F is 2 for an intra macroblock.^{15 + QP / 6}/ 3, 2 for inter macroblock^{15 + QP / 6}/ 6 and have the same positive / negative sign as the orthogonal transform coefficient Y to be quantized. Q is defined as shown below.
Q [QP% 6] [i] [j] = quantMat [QP% 6] [0] for (i, j) = {(0,0), (0,2), (2,0), (2 , 2)},
Q [QP% 6] [i] [j] = quantMat [QP% 6] [1] for (i, j) = {(1,1), (1,3), (3,1), (3 , 3)},
Q [QP% 6] [i] [j] = quantMat [QP% 6] [2] otherwise.
quantMat [6] [3] = {{13107, 5243, 8224}, {11651, 4660, 7358}, {10486, 4143, 6554}, {9198, 3687, 5825}, {8322, 3290, 5243}, { 7384, 2943, 4660}}
[0044]
Further, as an inverse quantization process after quantization, a process as shown in the following formula (6) is executed.
[0045]
## EQU11 ##

[0046]
Here, in Expression (6), R represents an inverse quantization coefficient and is defined as follows.
R [QP% 6] [i] [j] = dequantMat [QP% 6] [0] for (i, j) = {(0,0), (0,2), (2,0), (2 , 2)},
R [QP% 6] [i] [j] = dequantMat [QP% 6] [1] for (i, j) = {(1,1), (1,3), (3,1), (3 , 3)},
R [QP% 6] [i] [j] = dequantMat [QP% 6] [2] otherwise.
dequantMat [6] [3] = {{10, 16, 13}, {11, 18, 14}, {13, 20, 16}, {14, 23, 18}, {16, 25, 20}, { 18, 29, 23}}
[0047]
Next, processing as shown in the following equation (7) is executed as the inverse discrete cosine transform processing, and processing as shown in the following equation (8) is executed as the normalization processing.
[0048]
[Expression 12]

[0049]
Finally, the decoded prediction residual value X ″ (i, j) is added to the motion compensated prediction value or the spatial prediction value P (i, j) as shown in the following equation (9), The final decoded pixel value is calculated by clipping in the range of 255.
[0050]
[Formula 13]

[0051]
By the way, in the JVT, in the intra 16 × 16 mode, the DC component of the luminance signal is further collected into 4 × 4 unit blocks and subjected to Hadamard transform to improve the compression rate. Orthogonal transformation and quantization of the 4 × 4 DC component of the luminance signal are performed based on the following method.
[0052]
First, 16 luminance signal DC components of orthogonal transform coefficients calculated by 4 × 4 transform are collected to obtain an input matrix X of 4 × 4 units._DAs a process corresponding to the Hadamard transform, a process as shown in the following formula (10) is executed.
[0053]
[Expression 14]

[0054]
Next, as a quantization process, a process as shown in the following formula (11) is executed.
[0055]
[Expression 15]

[0056]
Further, as a process corresponding to the inverse Hadamard transform, a process as shown in the following formula (12) is executed.
[0057]
[Expression 16]

[0058]
Next, when QP is 12 or more, processing as shown in the following equation (13) is performed as inverse quantization processing. When QP is less than 12, as inverse quantization processing, Processing as shown in the following formula (14) is executed.
[0059]
[Expression 17]

[0060]
In JVT, the DC component of the color difference signal is further collected in a 2 × 2 pixel block and subjected to Hadamard transform to improve the compression rate. The orthogonal transformation and quantization of the 2 × 2 DC component of the color difference signal are performed based on the following method.
[0061]
First, four color difference DC components are collected to obtain an input matrix X of 2 × 2 pixels._DAs a process corresponding to the Hadamard transform, a process as shown in the following equation (15) is executed.
[0062]
[Formula 18]

[0063]
Next, as a quantization process, a process as shown in the following equation (16) is executed.
[0064]
[Equation 19]

[0065]
Further, as a process corresponding to the inverse Hadamard transform, a process as shown in the following equation (17) is executed.
[0066]
[Expression 20]

[0067]
Next, when QP is 6 or more, processing as shown in the following equation (18) is executed as inverse quantization processing. When QP is less than 6, as inverse quantization processing, Processing as shown in the following equation (19) is executed.
[0068]
[Expression 21]

[0069]
Note that a series of processes of orthogonal transform and quantization is standardized so that overflow does not occur in 16-bit operations.
[0070]
[Problems to be solved by the invention]
By the way, in the quantization / inverse quantization defined by the above-mentioned JVT, functions related to the weighting of orthogonal transform coefficients using a quantization matrix and the dead zone in the quantization process, as defined in MPEG2. Since it is not included, efficient quantization based on visual characteristics cannot be performed.
[0071]
  The present invention has been proposed in view of such conventional situations, and image information that realizes high-efficiency compression at a low bit rate by providing a dead zone in consideration of visual characteristics and performing quantization. Encoding method and apparatus, and computer to execute such image information encoding processProgram and itsAn object of the present invention is to provide a computer-readable recording medium on which a program is recorded.
[0072]
[Means for Solving the Problems]
  In order to achieve the above-described object, an image information encoding method according to the present invention is an image information encoding method in which an input image signal is blocked and subjected to orthogonal transformation in units of the block to perform quantization. For the dead zone in the quantization step size determined for each component of the orthogonal transform coefficient of the blockIn consideration of the virtual weighting process for the quantization step size at the time of the quantization, a change was made for each component of the orthogonal transform coefficient.Set dead zoneThe block that is a unit of the orthogonal transformation is composed of 4 × 4 pixels, and the orthogonal transformation coefficient component Y (i) is used for the parameter QP for designating the quantization step size Q. , J) using a variable QQP (i, j) obtained by adding the weighting array W (i, j) for each
  T (i, j) = (2 ^{15 + QQP / 6} -F) / Q ( i, j = 0,1,2,3 )
  Where f is 2 for intra macroblocks. ^{15 + QQP / 6} / 3, 2 for inter macroblock ^{15 + QQP / 6} / 6 and has the same positive / negative sign as Y (i, j) above
When the threshold value T (i, j) is calculated and the absolute value of the Y (i, j) is smaller than the absolute value of the T (i, j), the quantum of the Y (i, j) Output is set to 0Is.
  The image information encoding method according to the present invention is an image information encoding method in which an input image signal is blocked and subjected to orthogonal transform in units of blocks to perform quantization. A dead zone in which a predetermined change is added to the dead zone in the quantization step size determined for each component of the orthogonal transform coefficient is set, and the dead zone is a DC of the luminance signal after the quantization Considering a virtual weighting process for the quantization step size when quantizing each DC component of a block of 4 × 4 pixels configured by collecting components, a change is made for each DC component, For the parameter QP for specifying the quantization step size Q, the DC component Y _D Using the variable QQP (i, j) obtained by adding the weighting array W (i, j) for each (i, j),
  T _D (I, j) = (2 ^{16 + QQP / 6} -2 · f) / Q ( i, j = 0,1,2,3 )
  Where f is 2 for intra macroblocks. ^{15 + QQP / 6} / 3, 2 for inter macroblock ^{15 + QQP / 6} / 6 and above Y _D Has the same sign as (i, j)
Threshold T _D (I, j) is calculated and Y _D The absolute value of (i, j) is T _D Y is smaller than the absolute value of (i, j) _D The quantized output of (i, j) is 0.
  The image information encoding method according to the present invention is an image information encoding method in which an input image signal is blocked and subjected to orthogonal transform in units of blocks to perform quantization. A dead zone in which a predetermined change is added to the dead zone in the quantization step size determined for each component of the orthogonal transform coefficient is set, and the dead zone is a DC of the color difference signal after the quantization Considering a virtual weighting process for the quantization step size when quantizing each DC component of a block of 2 × 2 pixels configured by collecting components, a change is made for each DC component, For the parameter QP for specifying the quantization step size Q, the DC component Y _D Using the variable QQP (i, j) obtained by adding the weighting array W (i, j) for each (i, j),
  T _D (I, j) = (2 ^{16 + QQP / 6} -2 · f) / Q ( i, j = 0,1 )
  Where f is 2 for intra macroblocks. ^{15 + QQP / 6} / 3, 2 for inter macroblock ^{15 + QQP / 6} / 6 and above Y _D Has the same sign as (i, j)
Threshold T _D (I, j) is calculated and Y _D The absolute value of (i, j) is T _D Y is smaller than the absolute value of (i, j) _D The quantized output of (i, j) is 0.
[0073]
In such an image information encoding method, in consideration of a virtual weighting process for the quantization step size at the time of quantization, for example, a higher-frequency orthogonal transform coefficient is an input range in which the quantization output is 0. A predetermined change is applied to the dead zone for each component of the orthogonal transform coefficient so that the dead zone becomes wider.
[0074]
  In order to achieve the above-described object, an image information encoding device according to the present invention is an image information encoding device that blocks an input image signal, performs orthogonal transform in units of the block, and performs quantization. During quantization, the dead zone in the quantization step size determined for each component of the orthogonal transform coefficient of the blockIn consideration of the virtual weighting process for the quantization step size at the time of the quantization, a change was made for each component of the orthogonal transform coefficient.Provided with dead zone setting means to set dead zoneThe block which is a unit of the orthogonal transform is composed of 4 × 4 pixels, and the dead zone setting means is configured to generate a component Y of the orthogonal transform coefficient with respect to the parameter QP for designating the quantization step size Q. Using the variable QQP (i, j) obtained by adding the weighting array W (i, j) for each (i, j),
  T (i, j) = (2 ^{15 + QQP / 6} -F) / Q ( i, j = 0,1,2,3 )
  Where f is 2 for intra macroblocks. ^{15 + QQP / 6} / 3, 2 for inter macroblock ^{15 + QQP / 6} / 6 and has the same positive / negative sign as Y (i, j) above
When the threshold value T (i, j) is calculated and the absolute value of the Y (i, j) is smaller than the absolute value of the T (i, j), the quantum of the Y (i, j) Set the output to 0.
  The image information encoding apparatus according to the present invention is an image information encoding apparatus that blocks an input image signal, performs orthogonal transform in units of the block, and performs quantization. A dead zone setting means for setting a dead zone in which a predetermined change is made to the dead zone in the quantization step size determined for each component of the orthogonal transform coefficient, wherein the dead zone is a luminance signal after the quantization Considering a virtual weighting process for the quantization step size when quantizing each DC component of a block of 4 × 4 pixels configured by collecting the DC components, changes are made for each DC component. The dead zone setting means outputs the DC component Y to the parameter QP for designating the quantization step size Q. _D Using the variable QQP (i, j) obtained by adding the weighting array W (i, j) for each (i, j),
  T _D (I, j) = (2 ^{16 + QQP / 6} -2 · f) / Q ( i, j = 0,1,2,3 )
  Where f is 2 for intra macroblocks. ^{15 + QQP / 6} / 3, 2 for inter macroblock ^{15 + QQP / 6} / 6 and above Y _D Has the same sign as (i, j)
Threshold T _D (I, j) is calculated and Y _D The absolute value of (i, j) is T _D Y is smaller than the absolute value of (i, j) _D The quantized output of (i, j) is set to 0.
  The image information encoding apparatus according to the present invention is an image information encoding apparatus that blocks an input image signal, performs orthogonal transform in units of the block, and performs quantization. A dead zone setting unit that sets a dead zone obtained by adding a predetermined change to the dead zone in the quantization step size determined for each component of the orthogonal transform coefficient, and the dead zone includes the color difference signal after the quantization Considering a virtual weighting process for the quantization step size when quantizing each DC component of a block of 2 × 2 pixels configured by collecting the DC components, changes are made for each DC component. The dead zone setting means outputs the DC component Y to the parameter QP for designating the quantization step size Q. _D Using the variable QQP (i, j) obtained by adding the weighting array W (i, j) for each (i, j),
  T _D (I, j) = (2 ^{16 + QQP / 6} -2 · f) / Q ( i, j = 0,1 )
  Where f is 2 for intra macroblocks. ^{15 + QQP / 6} / 3, 2 for inter macroblock ^{15 + QQP / 6} / 6 and above Y _D Has the same sign as (i, j)
Threshold T _D (I, j) is calculated and Y _D The absolute value of (i, j) is T _D Y is smaller than the absolute value of (i, j) _D The quantized output of (i, j) is set to 0.
[0075]
Such an image information encoding device has a range of inputs in which the quantization output becomes 0 as the high-frequency orthogonal transform coefficient in consideration of virtual weighting processing for the quantization step size at the time of quantization, for example. A predetermined change is added to the dead zone for each component of the orthogonal transform coefficient so that the dead zone becomes wider.
[0076]
  Also,A program according to the present invention causes a computer to execute the above-described image information encoding process,The recording medium according to the present invention islike thatA computer-readable program on which the program is recorded.
[0077]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings. In this embodiment, the present invention is applied to an image information encoding method and apparatus for realizing high-efficiency compression at a low bit rate by providing a dead zone in consideration of visual characteristics and performing quantization. It is. Specifically, in the image information coding method and apparatus according to the present embodiment, a dead zone is generated for each orthogonal transform coefficient component in consideration of a virtual weighting process for the quantization step size at the time of quantization. Calculated.
[0078]
Therefore, in the following, before describing the image information encoding method and the method according to the present embodiment, an image information encoding apparatus and image information for performing quantization and inverse quantization by actually weighting the quantization step size. A decoding apparatus will be described.
[0079]
First, FIG. 1 shows a schematic configuration of an image information encoding apparatus used for explaining the present embodiment. As illustrated in FIG. 1, the image information encoding device 10 includes an A / D conversion unit 11, a screen rearrangement buffer 12, an adder 13, an orthogonal transformation unit 14, a quantization unit 15, and a weighting unit 16. A lossless encoding unit 17, a storage buffer 18, an inverse quantization unit 19, a weighting unit 20, an inverse orthogonal transform unit 21, a frame memory 22, a motion prediction / compensation unit 23, and a rate control unit 24. It is comprised by.
[0080]
In FIG. 1, an A / D converter 11 converts an input image signal into a digital signal. Then, the screen rearrangement buffer 12 rearranges frames according to the GOP (Group of Pictures) structure of the compressed image information output from the image information encoding device 10. Here, the screen rearrangement buffer 12 supplies the image information of the entire frame to the orthogonal transform unit 14 for the image on which intra (intra-image) encoding is performed. The orthogonal transform unit 14 performs orthogonal transform such as discrete cosine transform or Karhunen-Loeve transform on the image information, and supplies the obtained orthogonal transform coefficient to the quantization unit 15.
[0081]
The quantization unit 15 performs a quantization process on the orthogonal transform coefficient supplied from the orthogonal transform unit 14. At that time, the weighting unit 16 that is a component of the quantization unit 15 performs weighting of the parameter QP for designating the quantization step size for each component of the orthogonal transform coefficient as described later.
[0082]
The lossless encoding unit 17 performs lossless encoding such as variable length encoding or arithmetic encoding on the quantized orthogonal transform coefficient, and supplies the encoded orthogonal transform coefficient to the accumulation buffer 18 for accumulation. . The encoded orthogonal transform coefficient is output as image compression information.
[0083]
The behavior of the quantization unit 15 is controlled by the rate control unit 24. Further, the quantization unit 15 supplies the quantized orthogonal transform coefficient to the inverse quantization unit 19, and the inverse quantization unit 19 performs inverse quantization on the orthogonal transform coefficient. At that time, the weighting unit 20 as a component of the inverse quantization unit 19 weights the parameter QP for designating the quantization step size for each component of the quantized orthogonal transform coefficient as described later. I do.
[0084]
The inverse orthogonal transform unit 21 performs inverse orthogonal transform processing on the inversely quantized orthogonal transform coefficients to generate decoded image information, and supplies the information to the frame memory 22 for accumulation.
[0085]
On the other hand, the screen rearrangement buffer 12 supplies image information to the motion prediction / compensation unit 23 for an image on which inter (inter-image) encoding is performed. At the same time, the motion prediction / compensation unit 23 extracts the referenced image information from the frame memory 22 and performs motion prediction / compensation processing to generate reference image information.
[0086]
The motion prediction / compensation unit 23 supplies the reference image information to the adder 13, and the adder 13 converts the reference image information into a difference signal from the image information. In addition, the motion compensation / prediction unit 23 supplies motion vector information to the lossless encoding unit 17 at the same time.
[0087]
The lossless encoding unit 17 performs lossless encoding processing such as variable length encoding or arithmetic encoding on the motion vector information, and forms information to be inserted into the header portion of the image compression information. The other processing is the same as the image compression information subjected to intra coding, and thus description thereof is omitted.
[0088]
Next, FIG. 2 shows a schematic configuration of an image information decoding apparatus that decodes the compressed image information output from the image information encoding apparatus 10 described above. As shown in FIG. 2, the image information decoding device 30 includes a storage buffer 31, a lossless decoding unit 32, an inverse quantization unit 33, a weighting unit 34, an inverse orthogonal transform unit 35, an adder 36, a screen, The rearrangement buffer 37, the D / A conversion unit 38, the motion prediction / compensation unit 39, and the frame memory 40 are included.
[0089]
In FIG. 2, the accumulation buffer 31 temporarily stores the input image compression information and then transfers it to the lossless decoding unit 32. The lossless decoding unit 32 performs processing such as variable length decoding or arithmetic decoding on the compressed image information based on the determined format of the compressed image information, and supplies the quantized orthogonal transform coefficient to the inverse quantization unit 33. To do. Further, when the frame is inter-coded, the lossless decoding unit 32 also decodes the motion vector information stored in the header portion of the image compression information, and the information is motion prediction / compensation unit 39. To supply.
[0090]
The inverse quantization unit 33 performs inverse quantization on the orthogonal transform coefficient after quantization supplied from the lossless decoding unit 32 and supplies the orthogonal transform coefficient after inverse quantization to the inverse orthogonal transform unit 35. At that time, the weighting unit 34 as a component of the inverse quantization unit 33 weights the parameter QP for designating the quantization step size for each component of the quantized orthogonal transform coefficient as described later. I do. The inverse orthogonal transform unit 35 performs inverse orthogonal transform such as inverse discrete cosine transform or inverse Karhunen-Labe transform on the orthogonal transform coefficient based on the determined format of the image compression information.
[0091]
Here, if the frame is intra-coded, the inverse orthogonal transform unit 35 supplies the image information after the inverse orthogonal transform process to the screen rearrangement buffer 37. The screen rearrangement buffer 37 temporarily stores the image information and then supplies the image information to the D / A conversion unit 38. The D / A conversion unit 38 performs D / A conversion processing on the image information and outputs it.
[0092]
On the other hand, when the frame is inter-coded, the motion prediction / compensation unit 39 refers to the motion vector information subjected to the lossless decoding process and the image information stored in the frame memory 40. Generate an image. The adder 36 combines the reference image and the output of the inverse orthogonal transform unit 35. The other processing is the same as that of the intra-encoded frame, and thus description thereof is omitted.
[0093]
By the way, as described above, in the image information encoding device 10 and the image information decoding device 30, the weighting units 16, 20, and 34 perform the weighting process of the parameter QP for specifying the quantization step size, and the quantum information And dequantization are performed. By this weighting process, it is possible to coarsely quantize the high-frequency orthogonal transform coefficient that is visually less prominent in comparison with the low-frequency orthogonal transform coefficient that is visually less prominent.
[0094]
Therefore, the weighting process will be described below. Since the operation principle of the weighting units 16, 20, and 34 is the same, only the operation principle of the weighting unit 16 will be described below.
[0095]
In the weighting unit 16, for each of the intra macro block and the inter macro block, a W as shown in FIGS. 3A and 3B is provided by default._intra(I, j) and W_interInformation on (i, j) (i, j = 0,1,2,3) is included.
[0096]
In addition, for each of the luminance signal and the color difference signal, W, as shown in FIGS. 3A and 3B, respectively, by default._luma(I, j) and W_chromaInformation on (i, j) (i, j = 0,1,2,3) can also be included.
[0097]
In the following, W_intra(I, j) and W_inter(I, j) or W_luma(I, j) and W_chromaSince the processes related to (i, j) are equivalent, these are expressed as W (i, j) unless otherwise specified.
[0098]
W_intra(I, j) and W_inter(I, j) or W_luma(I, j) and W_chroma(I, j) is not limited to the default value shown in FIG. 3, but can be set by the user in units of pictures. At that time, it is possible to embed the value of W (i, j) itself in the compressed image information to be output. However, a difference value is generated, or a lossless encoding method such as variable-length encoding or arithmetic encoding. May be used to reduce the amount of information and be embedded in the output compressed image information.
[0099]
Here, the weighting unit 16 performs the following for each component of the 4 × 4 discrete cosine transform coefficient based on the parameter QP for quantization for each macroblock stored in the image compression information. A variable QQP (i, j) as defined in equation (20) is defined.
[0100]
[Expression 22]

[0101]
Regarding the quantization / inverse quantization process, instead of Q (QP% 6, i, j) and R (QP% 6, i, j) in JVT described above, for each component, Q (QQP% 6, i, j) , j) and R (QQP% 6, i, j), the same processing as JVT is performed.
[0102]
Note that the dynamic range of QP is 0 to 51. However, in the above equation (20), the value of QQP (i, j) may be out of this dynamic range. Therefore, QQP (i, j) = 51 when the value of QQP (i, j) exceeds 51, and QQP (i, j) = 0 when the value is less than 0.
[0103]
Here, as described above, in the image information encoding device 10 and the image information decoding device 30, the weighting matrix used by default is the following expression (21) for both the luminance signal and the color difference signal: It is defined as (22).
[0104]
[Expression 23]

[0105]
Note that the weight matrix actually used for quantization / inverse quantization in the image information encoding device 10 and the image information decoding device 30 is not necessarily the same, and can be set by the user in units of pictures.
[0106]
FIG. 4 shows an example of syntax for embedding information on the weight matrix in the image compression information. In FIG. 4, load_intra_quantiser_matrix, load_non_intra_quantiser_matrix, load_chroma_intra_quantiser_matrix, and load_chroma_non_intra_quantiser_matrix indicate whether or not a weight matrix other than that determined by default is used in the intra macroblock and intermacroblock for the luminance signal and the color difference signal, respectively. When the value is 1, a weight matrix other than the default is used in the picture.
[0107]
For example, when the value of load_intra_quantiser_matrix is 1, information regarding a 4 × 4 weight matrix in which each component is represented by 4 bits is embedded in subsequent intra_quantiser_matrix [16].
[0108]
As described above, each component is not necessarily 4 bits, and may be represented by 8 bits or 12 bits.
[0109]
Further, the information about intra_quantiser_matrix [16] may be compressed by taking the difference or performing lossless encoding such as variable length encoding or arithmetic encoding.
[0110]
In the above description, image information in which each pixel value is represented by 8 bits is targeted as input. However, the present invention can be extended to image information in which each pixel value is represented by 10 bits. is there.
[0111]
As described above, according to the image information encoding device 10 and the image information decoding device 30, the quantization process and the inverse quantization process are performed by performing the weighting process of the parameter QP for specifying the quantization step size. As a result, it is possible to coarsely quantize the high-frequency orthogonal transform coefficient, which is visually inconspicuous, as compared with the low-frequency orthogonal transform coefficient, which is visually inconspicuous.
[0112]
Here, in the above description, the weighting matrix W (i, j) is added to each component of the 4 × 4 discrete cosine transform coefficient to the parameter QP for quantization for each macroblock. Quantization processing and inverse quantization processing were performed using the variable QQP (i, j). However, the present invention is not limited to the example in which the weight matrix W (i, j) is defined for all the components of the 4 × 4 orthogonal transform coefficients as described above, but only for the low-frequency orthogonal transform coefficients that are visually noticeable. An offset value may be given to the parameter QP to perform processing for improving quantization accuracy.
[0113]
Schematic configurations of an image information encoding apparatus that performs such processing and an image information decoding apparatus that decodes compressed image information output from the image encoding apparatus are shown in FIGS. 5 and 6, respectively.
[0114]
As shown in FIG. 5, the basic configuration of the image information encoding device 50 is the same as that of the image information encoding device 10 shown in FIG. 1, but the low frequency accuracy is changed instead of the weighting units 16 and 20. Sections 51 and 52, and is characterized in that the quantization accuracy of the low-frequency orthogonal transform coefficient is changed. 6, the basic configuration of the image information decoding device 60 is the same as that of the image information decoding device 30 previously shown in FIG. 2, but the low frequency accuracy changing unit 61 is used instead of the weighting unit 34. And is characterized by changing the inverse quantization accuracy of the low-frequency orthogonal transform coefficient.
[0115]
Therefore, the same components as those of the image information encoding device 10 and the image information decoding device 30 previously shown in FIGS. 1 and 2 are denoted by the same reference numerals, and detailed description thereof is omitted. Processing in 51, 52, and 61 will be described. Since the operating principle of the low frequency accuracy changing units 51, 52 and 61 is the same, only the operating principle of the low frequency accuracy changing unit 51 will be described below.
[0116]
In the low frequency accuracy changing unit 51, based on the parameter QP for quantization for each macroblock stored in the image compression information, for the component designated by the 4 × 4 discrete cosine transform coefficient, A variable QQP (i, j) as shown in the following equation (23) is defined.
[0117]
[Expression 24]

[0118]
As for the quantization / inverse quantization process, instead of Q (QP% 6, i, j) and R (QP% 6, i, j) in the JVT described above, for each specified component, Q (QQP% 6 , i, j) and R (QQP% 6, i, j), the same processing as JVT is performed.
[0119]
Note that the dynamic range of QP is 0 to 51, but in the above-described equation (23), the value of QQP (i, j) may deviate from this dynamic range. Therefore, QQP (i, j) = 51 when the value of QQP (i, j) exceeds 51, and QQP (i, j) = 0 when the value is less than 0.
[0120]
Here, the low frequency accuracy changing unit 51 can define a syntax that conforms to the combination of each item of the prediction mode, the orthogonal transform coefficient for changing the quantization step size, and the quantization step size.
[0121]
That is, for example, for the prediction mode, the syntax for the 16 × 16 prediction mode and / or the 4 × 4 prediction mode, or any combination of the prediction modes specified by the user can be defined.
[0122]
As for the orthogonal transform coefficient for changing the quantization step size, for example, mode 1 in which only the DC coefficient is changed as shown by the hatched line on the left of FIG. It is possible to define a mode 2 for changing two coefficients, a mode 3 for changing five DC coefficients and five low-frequency AC coefficients as shown by the diagonal lines on the right of FIG. 7, or a syntax for orthogonal transform coefficients specified by the user. it can.
[0123]
Further, as the quantization step size, a syntax for a default value (for example, −6) or an offset value (offset_QP) set by the user can be defined. Moreover, you may make it define the syntax about the absolute value of the variable QQP designated by the user.
[0124]
FIG. 8 shows an example of syntax for embedding information about the prediction mode, the orthogonal transform coefficient for changing the quantization step size, and the quantization step size in the image compression information. Of course, the syntax is not limited to this example, and a syntax conforming to any combination of the above-described items can be defined.
[0125]
In FIG. 8, load_16x16 and load_4x4 are 1-bit bits indicating whether or not a parameter QP other than the default is used in the intra macro block and the inter macro block for the luminance signal and the color difference signal, respectively, in the picture. When the flag has a value of 1, a QP other than the default is used in the picture.
[0126]
For example, when the value of load_16x16 is 1, information regarding the offset value of the parameter QP represented by 4 bits is embedded in the subsequent offset_QP. Further, in the subsequent coef_num, information on the orthogonal transform coefficient for changing the quantization step size represented by 2 bits, for example, information on any of modes 1 to 3 in FIG. 7 described above is embedded.
[0127]
As described above, each component is not necessarily 4 bits, and may be represented by 8 bits or 12 bits.
[0128]
In addition, information regarding offset_QP may be compressed by taking an absolute value or performing lossless encoding such as variable length encoding or arithmetic encoding.
[0129]
In the above description, image information in which each pixel value is represented by 8 bits is targeted as input. However, the present invention can be extended to image information in which each pixel value is represented by 10 bits. is there.
[0130]
As described above, according to the image information encoding device 50 and the image information decoding device 60, the offset value (offset_QP) with respect to the parameter QP for specifying the quantization step size only for the low-frequency orthogonal transform coefficient. Thus, it is possible to increase the quantization accuracy of the low-frequency orthogonal transform coefficient, which is visually noticeable for deterioration, and to improve the image quality of the decoded image.
[0131]
By the way, in the above description, the visual characteristic is obtained by performing the weighting process on each component of the 4 × 4 discrete cosine transform coefficient or the designated component with respect to the parameter QP for quantization for each macroblock. It is assumed that quantization considering the above is realized and has a weighting processing function.
[0132]
However, even if there is no weighting processing function in JVT, as described below, it is also possible to calculate a dead zone in consideration of visual characteristics for orthogonal transform coefficients near zero of the input value as described above. There is an effect.
[0133]
FIG. 9 shows a schematic configuration of an image information encoding apparatus according to an embodiment of the present invention that performs such dead zone calculation processing. As shown in FIG. 9, the basic configuration of the image information encoding device 70 is the same as that of the image information encoding device 10 previously shown in FIG. And is characterized in that a dead zone is calculated in consideration of visual characteristics.
[0134]
Therefore, the same components as those of the image information encoding device 10 shown in FIG. 1 are denoted by the same reference numerals and detailed description thereof is omitted, and only the dead zone calculation process in the dead zone calculation unit 71 will be described below. explain.
[0135]
The dead zone calculation unit 70 obtains a dead zone threshold T (i, j) according to the following equation (24) for each orthogonal transform coefficient.
[0136]
[Expression 25]

[0137]
Here, in Expression (24), f is 2 in the intra macroblock.^{15 + QQP / 6}/ 3, 2 for inter macroblock^{15 + QQP / 6}/ 6 and have the same positive / negative sign as the orthogonal transform coefficient Y to be quantized. QQP is the W used in the weighting process described above._intra(I, j) and W_interIt is assumed that (i, j) (i, j = 0,1,2,3) is used for calculation.
[0138]
If the absolute value of the input value Y (i, j) is smaller than the absolute value of T (i, j) using the dead zone threshold T (i, j) calculated in this way, the quantized value Y_QLet (i, j) be 0.
[0139]
Similarly, the orthogonal transform coefficient Y obtained by further collecting the DC component of luminance into blocks of 4 × 4 units and performing Hadamard transform_DFor (i, j), dead zone threshold T according to equation (25) below_D(I, j) is calculated. Further, the orthogonal transform coefficient Y obtained by further collecting the DC components of the color difference into blocks of 2 × 2 units and performing Hadamard transform_DFor (i, j), the dead zone threshold T according to the following equation (26):_D(I, j) is calculated.
[0140]
[Equation 26]

[0141]
And the input value Y_DThe absolute value of (i, j) is T_DIf smaller than the absolute value of (i, j), the quantized value Y_DQLet (i, j) be 0.
[0142]
Input value Y (i, j) and quantized value Y_QA correspondence graph with (i, j) is shown in FIG. As shown in FIG. 10, the dead zone threshold T (i, j) in the correspondence graph (a) of the present embodiment is the correspondence graph (b) when the weighting process is performed with the weighting matrix W (i, j). In the range of the input value where the quantized value becomes zero, the quantized value is similarly calculated to be zero.
[0143]
As described above, according to the image information encoding device 70 in the present embodiment, a dead zone equivalent to the dead zone of the weighting process considering the visual characteristics can be calculated, and the quantization considering the visual characteristics Processing can be performed.
[0144]
In addition, such a method for calculating a dead zone in consideration of visual characteristics has an advantage that the processing amount is not increased because the conventional JVT decoder can perform the decoding process.
[0145]
It should be noted that the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention.
[0146]
For example, the technique according to the present invention can be applied to any conversion method. That is, the present invention can be similarly applied without depending on the calculation accuracy and the conversion matrix of integer conversion.
[0147]
Further, the present invention can be similarly applied to conversion of any size without depending on the size of the conversion block. The present invention is also applicable to an adaptive variable block size conversion method that adaptively performs frequency conversion with any block size of 4 × 4, 4 × 8, 8 × 4, 8 × 8, and 16 × 16.
[0148]
Further, the present invention can realize any processing by causing a CPU (Central Processing Unit) to execute a computer program. In this case, the computer program can be provided by being recorded on a recording medium, or can be provided by being transmitted via the Internet or another transmission medium.
[0149]
【The invention's effect】
As described above in detail, the image information encoding method according to the present invention is an image information encoding method in which an input image signal is blocked and subjected to orthogonal transform in units of the block to perform quantization. In addition, a dead zone is set by adding a predetermined change to the dead zone in the quantization step size determined for each component of the orthogonal transform coefficient of the block.
[0150]
In such an image information encoding method, in consideration of a virtual weighting process for the quantization step size at the time of quantization, for example, a higher-frequency orthogonal transform coefficient is an input range in which the quantization output is 0. A predetermined change is applied to the dead zone for each component of the orthogonal transform coefficient so that the dead zone becomes wider.
[0151]
Thereby, a dead zone equivalent to the dead zone of the weighting process considering the visual characteristics can be calculated, and the quantization process considering the visual characteristics can be performed.
[0152]
Also, the image information encoding apparatus according to the present invention blocks an image of a force image, performs orthogonal transform in units of the block, and performs quantization. There is provided a dead zone setting means for setting a dead zone obtained by adding a predetermined change to the dead zone in the quantization step size determined for each component of the orthogonal transform coefficient.
[0153]
Such an image information encoding device has a range of inputs in which the quantization output becomes 0 as the high-frequency orthogonal transform coefficient in consideration of virtual weighting processing for the quantization step size at the time of quantization, for example. A predetermined change is added to the dead zone for each component of the orthogonal transform coefficient so that the dead zone becomes wider.
[0154]
Thereby, a dead zone equivalent to the dead zone of the weighting process considering the visual characteristics can be calculated, and the quantization process considering the visual characteristics can be performed.
[0155]
  Also,A program according to the present invention causes a computer to execute the above-described image information encoding process,The recording medium according to the present invention islike thatA computer-readable program having a program recorded thereon.
[0156]
  like thisProgram andAccording to the recording medium, the above-described image information encoding process can be realized by software.
[Brief description of the drawings]
BRIEF DESCRIPTION OF DRAWINGS FIG. 1 is a diagram illustrating a schematic configuration of an image information encoding device provided for explanation of the present embodiment.
[Fig. 2] Fig. 2 is a diagram illustrating a schematic configuration of an image information decoding device provided for explanation of the present embodiment.
FIG. 3 is a diagram for explaining a default value of a weighting matrix stored in a weighting unit of the image information encoding device, and FIG. 3A shows a weighting matrix for an intra macroblock or a luminance signal; FIG. 5B shows a weight matrix for a non-intra macroblock or a color difference signal.
FIG. 4 is a diagram for explaining an example of syntax for embedding information relating to a weight matrix in compressed image information.
FIG. 5 is a diagram for explaining another example of a schematic configuration of an image information encoding device for explaining the present embodiment;
FIG. 6 is a diagram for explaining another example of a schematic configuration of an image information decoding apparatus provided for explanation of the present embodiment;
FIG. 7 is a diagram illustrating an example of orthogonal transform coefficients for changing the quantization step size.
FIG. 8 is a diagram for explaining an example of a syntax for embedding information about a prediction mode, an orthogonal transform coefficient for changing a quantization step size, and a quantization step size in image compression information.
FIG. 9 is a diagram illustrating a schematic configuration of an image information encoding device according to the present embodiment.
FIG. 10 is a diagram illustrating a correspondence graph between an input value and a quantization value in a quantization unit of the image information encoding device.
FIG. 11 is a diagram illustrating a schematic configuration of a conventional image information encoding device that realizes image compression by orthogonal transform and motion compensation.
FIG. 12 is a diagram illustrating a schematic configuration of a conventional image information decoding apparatus that decodes compressed image information compressed by orthogonal transform and motion compensation.
FIG. 13 is a diagram for explaining the relationship between intra_dc_precision, bit precision, inverse quantization coefficient, and DC prediction reset value defined in MPEG2.
FIG. 14 is a diagram illustrating default values of quantization matrices for intra macroblocks and inter macroblocks defined in MPEG2.
FIG. 15 is a diagram for explaining a quantization matrix for a non-intra macroblock defined in MPEG2 Test Model 5;
FIG. 16 is a diagram for explaining a relationship among a quantization scale (quantiser_scale), a parameter q_scale_type set in units of pictures, and a quantization scale code quantiser_scale_code set in units of macroblocks in MPEG2.
[Explanation of symbols]
10, 50, 70 Image information encoding unit, 11 A / D conversion unit, 12 screen rearrangement buffer, 13 adder, 14 orthogonal transformation unit, 15 quantization unit, 16 weighting unit, 17 lossless encoding unit, 18 accumulation Buffer, 19 inverse quantization unit, 20 weighting unit, 21 inverse orthogonal transform unit, 22 frame memory, 23 motion prediction / compensation unit, 24 rate control unit, 30, 60 image information decoding device, 31 storage buffer, 32 lossless decoding unit , 33 Inverse quantization unit, 34 Weighting unit, 35 Inverse orthogonal transform unit, 36 Adder, 37 Screen rearrangement buffer, 38 D / A conversion unit, 39 Motion prediction / compensation unit, 40 Frame memory, 51, 52, 61 Low frequency accuracy change unit, 71 dead zone calculation unit

Claims (11)

In an image information encoding method in which an input image signal is blocked and subjected to orthogonal transformation in units of the block to perform quantization,
In the quantization, a virtual weighting process for the quantization step size in the quantization is considered for the dead zone in the quantization step size determined for each component of the orthogonal transform coefficient of the block. Then, a dead zone in which a change is made for each component of the orthogonal transform coefficient is set ,
The block that is the unit of the orthogonal transformation is composed of 4 × 4 pixels,
Obtained by adding an array W (i, j) for weighting for each component Y (i, j) of the orthogonal transform coefficient to the parameter QP for designating the quantization step size Q Using the variable QQP (i, j)
T (i, j) = (2 ^{15 + QQP / 6−} f) / Q ( i, j = 0,1,2,3 )
However, f is an intra macroblock is ^{2 15 + QQP / 6/3} , the inter macroblock and ^{2 15 + QQP / 6/6} , with the Y (i, j) and of the same sign
The threshold value T (i, j) is calculated as
When the absolute value of Y (i, j) is smaller than the absolute value of T (i, j), the quantized output of Y (i, j) is set to 0. Encoding method. The quantization step size Q is
Y (i, j) = {(0,0), (0,2), (2,0), (2,2)} in the case of, Q [QQP% 6] [i] [j] = quantMat [QQP% 6] [0] ,
Y (i, j) = {(1,1), (1,3), (3,1), (3,3)} in the case of, Q [QQP% 6] [i] [j] = quantMat [QQP% 6] [1] ,
Y (i, j) If is other than the above, Q [QQP% 6] [i] [j] = quantMat [QQP% 6] [2] And
the above quantMat Is
quantMat [6] [3] = {{13107, 5243, 8224}, {11651, 4660, 7358}, {10486, 4143, 6554}, {9198, 3687, 5825}, {8322, 3290, 5243}, {7384, 2943, 4660}} Be
The image information encoding method according to claim 1. Intra-picture coding or inter-picture coding is selected for each macroblock as a coding unit including the block, and intra-picture coding is used as a default value of the array W (i, j) or a user-set value in picture units. W for macroblock _intra (I, j) And W for the case of an inter-picture coded macroblock _inter (I, j) The image information encoding method according to claim 1, wherein: Above W _intra (I, j)

And the above W _inter (I, j)

The image information encoding method according to claim 3, wherein: In an image information encoding method in which an input image signal is blocked and subjected to orthogonal transformation in units of the block to perform quantization,
When the quantization is performed, a dead zone in which a predetermined change is made with respect to the dead zone in the quantization step size determined for each component of the orthogonal transform coefficient of the block is set.
The dead zone is a virtual weighting process for the quantization step size when quantizing each DC component of a block of 4 × 4 pixel units configured by collecting DC components of the luminance signal after quantization. In consideration, a change is made for each DC component,
For the parameter QP for specifying the quantization step size Q, the DC component Y _D Using the variable QQP (i, j) obtained by adding the weighting array W (i, j) for each (i, j),
T _D (I, j) = (2 ^{16 + QQP / 6} -2 · f) / Q ( i, j = 0,1,2,3 )
Where f is 2 for intra macroblocks. ^{15 + QQP / 6} / 3, 2 for inter macroblock ^{15 + QQP / 6} / 6 and above Y _D Has the same sign as (i, j)
Threshold T _D (I, j) is calculated,
Y above _D The absolute value of (i, j) is T _D Y is smaller than the absolute value of (i, j) _D The quantized output of (i, j) is set to 0
An image information encoding method characterized by the above. In an image information encoding method in which an input image signal is blocked and subjected to orthogonal transformation in units of the block to perform quantization,
When the quantization is performed, a dead zone in which a predetermined change is made with respect to the dead zone in the quantization step size determined for each component of the orthogonal transform coefficient of the block is set.
The dead zone is a virtual weighting process for the quantization step size when quantizing each DC component of a block of 2 × 2 pixel units configured by collecting DC components of the color difference signals after quantization. In consideration, a change is made for each DC component,
For the parameter QP for specifying the quantization step size Q, the DC component Y _D Using the variable QQP (i, j) obtained by adding the weighting array W (i, j) for each (i, j),
T _D (I, j) = (2 ^{16 + QQP / 6} -2 · f) / Q ( i, j = 0,1 )
Where f is 2 for intra macroblocks. ^{15 + QQP / 6} / 3, 2 for inter macroblock ^{15 + QQP / 6} / 6 and above Y _D Has the same sign as (i, j)
Threshold T _D (I, j) is calculated,
Y above _D The absolute value of (i, j) is T _D Y is smaller than the absolute value of (i, j) _D The quantized output of (i, j) is set to 0
An image information encoding method characterized by the above. In an image information encoding apparatus that blocks an input image signal, performs orthogonal transform in units of the block, and performs quantization,
In the quantization, a virtual weighting process for the quantization step size in the quantization is considered for the dead zone in the quantization step size determined for each component of the orthogonal transform coefficient of the block. And a dead zone setting means for setting a dead zone that has been changed for each component of the orthogonal transform coefficient ,
The block that is the unit of the orthogonal transformation is composed of 4 × 4 pixels,
The dead zone setting means weights the array W (i, j) for each component Y (i, j) of the orthogonal transform coefficient with respect to the parameter QP for designating the quantization step size Q. Using the variable QQP (i, j) obtained by adding
T (i, j) = (2 ^{15 + QQP / 6−} f) / Q ( i, j = 0,1,2,3 )
However, f is an intra macroblock is ^{2 15 + QQP / 6/3} , the inter macroblock and ^{2 15 + QQP / 6/6} , with the Y (i, j) and of the same sign
The threshold value T (i, j) is calculated as
When the absolute value of Y (i, j) is smaller than the absolute value of T (i, j), the quantized output of Y (i, j) is set to 0. Device. In an image information encoding apparatus that blocks an input image signal, performs orthogonal transform in units of the block, and performs quantization,
A dead zone setting means for setting a dead zone obtained by making a predetermined change to the dead zone in the quantization step size determined for each component of the orthogonal transform coefficient of the block at the time of the quantization;
The dead zone is a virtual weighting process for the quantization step size when quantizing each DC component of a block of 4 × 4 pixel units configured by collecting DC components of the luminance signal after quantization. In consideration, a change is made for each DC component,
The dead zone setting means applies the DC component Y to the parameter QP for specifying the quantization step size Q. _D Using the variable QQP (i, j) obtained by adding the weighting array W (i, j) for each (i, j),
T _D (I, j) = (2 ^{16 + QQP / 6} -2 · f) / Q ( i, j = 0,1,2,3 )
Where f is 2 for intra macroblocks. ^{15 + QQP / 6} / 3, 2 for inter macroblock ^{15 + QQP / 6} / 6 and above Y _D Has the same sign as (i, j)
Threshold T _D (I, j) is calculated,
Y above _D The absolute value of (i, j) is T _D Y is smaller than the absolute value of (i, j) _D The quantization output of (i, j) is set to 0
An image information encoding device characterized by the above. In an image information encoding apparatus that blocks an input image signal, performs orthogonal transform in units of the block, and performs quantization,
A dead zone setting means for setting a dead zone obtained by making a predetermined change to the dead zone in the quantization step size determined for each component of the orthogonal transform coefficient of the block at the time of the quantization;
The dead zone is a virtual weighting process for the quantization step size when quantizing each DC component of a block of 2 × 2 pixel units configured by collecting DC components of the color difference signals after quantization. In consideration, a change is made for each DC component,
The dead zone setting means applies the DC component Y to the parameter QP for specifying the quantization step size Q. _D Using the variable QQP (i, j) obtained by adding the weighting array W (i, j) for each (i, j),
T _D (I, j) = (2 ^{16 + QQP / 6} -2 · f) / Q ( i, j = 0,1 )
Where f is 2 for intra macroblocks. ^{15 + QQP / 6} / 3, 2 for inter macroblock ^{15 + QQP / 6} / 6 and above Y _D Has the same sign as (i, j)
Threshold T _D (I, j) is calculated,
Y above _D The absolute value of (i, j) is T _D Y is smaller than the absolute value of (i, j) _D The quantization output of (i, j) is set to 0
An image information encoding device characterized by the above. In a program that causes a computer to execute an image information encoding process that blocks an input image signal, performs orthogonal transformation in units of the block, and performs quantization.
In the quantization, a virtual weighting process for the quantization step size in the quantization is considered for the dead zone in the quantization step size determined for each component of the orthogonal transform coefficient of the block. Then, a dead zone in which a change is made for each component of the orthogonal transform coefficient is set ,
The block that is the unit of the orthogonal transformation is composed of 4 × 4 pixels,
Obtained by adding an array W (i, j) for weighting for each component Y (i, j) of the orthogonal transform coefficient to the parameter QP for designating the quantization step size Q Using the variable QQP (i, j)
T (i, j) = (2 ^{15 + QQP / 6−} f) / Q ( i, j = 0,1,2,3 )
However, f is an intra macroblock is ^{2 15 + QQP / 6/3} , the inter macroblock and ^{2 15 + QQP / 6/6} , with the Y (i, j) and of the same sign
The threshold value T (i, j) is calculated as
When the absolute value of Y (i, j) is smaller than the absolute value of T (i, j), the quantized output of Y (i, j) is set to 0
A program characterized by In a computer-readable recording medium on which a program for causing a computer to execute an image information encoding process that blocks an input image signal, performs orthogonal transformation in units of the block and performs quantization,
In the quantization, a virtual weighting process for the quantization step size in the quantization is considered for the dead zone in the quantization step size determined for each component of the orthogonal transform coefficient of the block. Then, a dead zone in which a change is made for each component of the orthogonal transform coefficient is set ,
The block that is the unit of the orthogonal transformation is composed of 4 × 4 pixels,
Obtained by adding an array W (i, j) for weighting for each component Y (i, j) of the orthogonal transform coefficient to the parameter QP for designating the quantization step size Q Using the variable QQP (i, j)
T (i, j) = (2 ^{15 + QQP / 6−} f) / Q ( i, j = 0,1,2,3 )
However, f is an intra macroblock is ^{2 15 + QQP / 6/3} , the inter macroblock and ^{2 15 + QQP / 6/6} , with the Y (i, j) and of the same sign
The threshold value T (i, j) is calculated as
When the absolute value of the Y (i, j) is smaller than the absolute value of the T (i, j), the quantized output of the Y (i, j) is set to 0. Recorded recording medium.

Images