JP3834880B2 - 情報信号符号化装置、符号化方法、並びに情報信号復号方法 - Google Patents
情報信号符号化装置、符号化方法、並びに情報信号復号方法 Download PDFInfo
- Publication number
- JP3834880B2 JP3834880B2 JP19965896A JP19965896A JP3834880B2 JP 3834880 B2 JP3834880 B2 JP 3834880B2 JP 19965896 A JP19965896 A JP 19965896A JP 19965896 A JP19965896 A JP 19965896A JP 3834880 B2 JP3834880 B2 JP 3834880B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- data
- zero position
- residual signal
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、例えばディジタルオーディオ信号、ディジタル画像信号等のディジタル情報信号の発生データ量を低減するようにした情報信号符号化装置、符号化方法、および情報信号復号方法に関し、特に、ディジタル情報信号を量子化し、量子化情報とともに付加情報を伝送するものに関する。
【０００２】
【従来の技術】
ディジタルオーディオ信号、ディジタル画像信号等の伝送情報量を低減するために、予測符号化が知られている。例えば１次元ＤＰＣＭは、時間または空間方向において、入力サンプル値と予測値との差分（残差）を形成し、２次元ＤＰＣＭは、空間方向において入力サンプル値と予測値との残差を形成する。ディジタル情報信号は、時間方向、空間方向の相関を有しているので、残差信号のレベルがサンプル値よりも小さいものとなる。従って、残差信号を元の量子化ビット数より少ないビット数により再量子化することが可能で、それによって、情報量を圧縮できる。
【０００３】
残差信号を対象とする量子化装置としては、０付近の量子化ステップ幅を細かくし、レベルが大きいほど、量子化ステップ幅を粗くする非線形量子化装置が周知である。この非線形量子化を含めて従来の量子化装置は、発生しうる残差信号の全てのレベルを量子化対象としている。例えばディジタル画像信号の１サンプル（１画素）が８ビットに量子化されている場合、残差信号としては、（−２５５〜＋２５５）の値が存在しうる。従来の量子化装置は、この全範囲を量子化の対象としている。
【０００４】
従来の量子化装置は、発生しうる残差信号の全範囲を量子化の対象とするので、量子化ビット数を少なくした場合には、量子化精度が低下し、量子化ビット数を多くすると発生データ量が多くなる問題があった。その結果、復号した時に、充分な品質のオーディオ信号、画像信号が得られない問題があった。
【０００５】
この問題を解決するために、本願出願人は、残差信号をブロック化することにより残差信号のレベルの分布を集中させ、より少ない量子化ビット数によって再量子化することを可能とする量子化方法を提案している。この方法では、再量子化時の量子化ステップΔと、残差信号の０の値が含まれるコード信号を示すゼロ位置フラグＺＲとを伝送する必要がある。
【０００６】
【発明が解決しようとする課題】
予測符号化によるデータ量の削減と、再量子化によるデータ量の削減の結果、復号信号の品質の低下を招くことなく、伝送データ量の大幅な削減を達成することができる。しかしながら、量子化ステップΔおよびゼロ位置フラグＺＲをブロック毎に伝送することは、データ量の削減を阻害する。
【０００７】
従って、この発明の目的は、これらの付加情報のデータ量の削減を図ることによって、さらに、量子化出力のデータ量の削減が可能な情報信号符号化装置、符号化方法、並びに復号方法を提供することにある。
【０００８】
【課題を解決するための手段】
請求項１の発明は、入力ディジタル情報信号を発生データ量を少なくするように符号化する情報信号符号化装置において、
入力ディジタル情報信号のサンプル値同士の残差信号を生成する残差信号生成手段と、
残差信号をブロック化するブロック化手段と、
ブロック毎に、最大値および最小値を検出し、最大値および最小値から量子化ステップと、量子化出力中の０が含まれるコードを示すゼロ位置フラグを生成するフラグ生成手段と、
量子化ステップの予測値およびゼロ位置フラグの予測値を生成する予測手段と、
量子化復元値で最も０に近い値と実際の０の値との差の値によって、ブロック化された残差信号を補正する補正手段と、
補正手段によって補正された残差信号を量子化ステップの予測値およびゼロ位置フラグの予測値を使用して再量子化する量子化手段と、
量子化出力を伝送する伝送手段と
からなることを特徴とする情報信号符号化装置である。
【０００９】
請求項５の発明は、入力ディジタル情報信号を発生データ量を少なくするように符号化する情報信号符号化方法において、
入力ディジタル情報信号のサンプル値同士の残差信号を生成する残差信号生成ステップと、
残差信号をブロック化するブロック化ステップと、
ブロック毎に、最大値および最小値を検出し、最大値および最小値から量子化ステップと、量子化出力中の０が含まれるコードを示すゼロ位置フラグを生成するフラグ生成ステップと、
量子化ステップの予測値およびゼロ位置フラグの予測値を生成する予測ステップと、
量子化復元値で最も０に近い値と実際の０の値との差の値によって、ブロック化された残差信号を補正する補正ステップと、
補正ステップによって補正された残差信号を量子化ステップの予測値およびゼロ位置フラグの予測値を使用して再量子化する量子化ステップと、
量子化出力を伝送する伝送ステップと
からなることを特徴とする情報信号符号化方法である。
【００１０】
請求項６の発明は、入力ディジタル情報信号から少なくとも第１および第２の階層データを形成し、第１および第２の階層データを符号化して伝送するようにした情報信号符号化装置において、
第１の階層データより解像度がより低い第２の階層データを形成する階層データ形成手段と、
第２の階層データから第１の階層データを予測する予測手段と、
予測されたデータと第１の階層データとの残差信号を形成する残差信号形成手段と、
残差信号をブロック化するブロック化手段と、
ブロック毎に、最大値および最小値を検出し、最大値および最小値から量子化ステップと、量子化出力中の０が含まれるコードを示すゼロ位置フラグを生成するフラグ生成手段と、
量子化ステップの予測値およびゼロ位置フラグの予測値を生成する予測手段と、
量子化復元値で最も０に近い値と実際の０の値との差の値によって、ブロック化された残差信号を補正する補正手段と、
補正手段によって補正された残差信号を量子化ステップの予測値およびゼロ位置フラグの予測値を使用して再量子化する量子化手段と、
量子化出力を伝送する伝送手段と
からなることを特徴とする情報信号符号化装置である。
【００１１】
請求項７の発明は、入力ディジタル情報信号から少なくとも第１および第２の階層データを形成し、第１および第２の階層データを符号化して伝送するようにした情報信号符号化方法において、
第１の階層データより解像度がより低い第２の階層データを形成する階層データ形成ステップと、
第２の階層データから第１の階層データを予測する予測ステップと、
予測されたデータと第１の階層データとの残差信号を形成する残差信号形成ステップと、
残差信号をブロック化するブロック化ステップと、
ブロック毎に、最大値および最小値を検出し、最大値および最小値から量子化ステップと、量子化出力中の０が含まれるコードを示すゼロ位置フラグを生成するフラグ生成ステップと、
量子化ステップの予測値およびゼロ位置フラグの予測値を生成する予測ステップと、
量子化復元値で最も０に近い値と実際の０の値との差の値によって、ブロック化された残差信号を補正する補正ステップと、
補正ステップによって補正された残差信号を量子化ステップの予測値およびゼロ位置フラグの予測値を使用して再量子化する量子化ステップと、
量子化出力を伝送する伝送ステップと
からなることを特徴とする情報信号符号化方法である。
【００１２】
請求項８の発明は、量子化出力中の０が含まれるゼロ位置フラグと、量子化ステップとにより量子化されたデータを復号する情報信号復号方法において、
ゼロ位置フラグおよび量子化ステップを予測する予測ステップと、
ゼロ位置フラグの予測値および量子化ステップの予測値により量子化出力を代表値へ変換する逆量子化ステップと、
逆量子化ステップによって変換された残差信号をブロック分解し、元の順序へ変換する変換ステップとからなることを特徴とする情報信号復号方法である。
【００１３】
この発明では、量子化で使用したゼロ位置フラグＺＲおよび量子化ステップΔを本質的に伝送する必要がない。従って、伝送データ量を一層削減することができる。
【００１４】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。この一実施例では、ビデオ信号が所定のサンプリング周波数でサンプリングされ、各サンプルが所定の量子化ビット数へ変換されたディジタル画像信号に対して、この発明が適用される。図１は、この発明の一実施例のシステムの構成を全体的に示す。
【００１５】
図１において、１２１で示す入力端子にディジタルビデオ信号が供給される。入力信号が減算器１２３に供給され、減算器１２３の出力（残差信号）がブロック化回路１２４および予測器１２２に供給され、予測器１２２で生成された予測信号が減算器１２３に供給される。減算器１２３は、入力信号から予測信号を減算し、予測残差を発生する。この残差信号がブロック化回路１２４に供給され、ラスター走査の順序からブロックの順序のデータへ変換される。ブロック化された残差信号が符号化ユニット１２５に供給される。符号化ユニット１２５は、後述するように、ブロック化された残差信号をより少ないビット数でもって再量子化するとともに、再量子化に使用した量子化ステップΔおよびゼロ位置フラグＺＲのデータ量をクラス分類適応予測を導入することにより削減する。
【００１６】
符号化ユニット１２５の符号化出力がエラー訂正符号エンコーダ１２６に供給され、エラー訂正符号の冗長コードが付加される。エラー訂正符号エンコーダ１２６の出力が変調部１２７に供給される。変調部１２７は、記録、伝送等に適した形態にディジタル信号を変調する。変調部１２７からの出力信号が記録ユニット１２８に供給され、記録ユニット１２８によって記録信号が情報信号記録媒体１２９に記録される。また、伝送路１３０を介してデータを伝送することも可能で、その場合では、記録ユニット１２８の代わりに伝送ユニットが使用される。量子化モードを指示するモード信号も符号化残差信号とともに、記録、あるいは伝送される。情報信号記録媒体１２９は、磁気、光磁気、相変化等を利用したディスク状、あるいはテープ状の記録媒体である。半導体メモリも一種の記録媒体である。
【００１７】
記録媒体１２９からデータを再生ユニット１３１が再生し、または伝送路１３０を介して伝送されたデータが受信される。再生ユニット１３１により再生されたデータが復調部１３２により復調され、復調出力がエラー訂正符号のデコーダ１３３に供給される。このデコーダ１３３は、冗長コードを利用してエラーを訂正し、また、訂正できないで残ったエラーを目立たないように修整する。
【００１８】
エラー訂正デコーダ１３３の出力が復号化ユニット１３４に供給される。復号化ユニット１３４は、後述するように、符号化ユニット１２５と逆に量子化出力を代表値（量子化復元値）に変換する、逆量子化の処理を行う。復号化ユニット１３４は、伝送が省略された量子化ステップ幅Δおよびゼロ位置フラグＺＲをクラス分類適応予測によって復元し、そして、逆量子化の処理を行う。復号化ユニット１３４から復号された残差信号が発生する。この復号残差信号がブロック分解回路１３５に供給される。ブロック分解回路１３５では、ブロック構造がラスター走査の順序に戻される。
【００１９】
復号残差信号が加算回路１３６に供給される。加算回路１３６により復号画像信号が形成され、出力端子１３７に取り出される。また、この復号画像信号が予測器１３８に供給され、予測信号が生成される。予測信号が加算回路１３６に供給される。
【００２０】
図２は、符号化ユニット１２５の一例を示す。ブロック化回路１２４からのブロック化された残差信号が入力端子１に供給される。図３は、残差信号の形成を概略的に示すものである。図３における一つの矩形の領域が１つの画素と対応している。ａ〜ｈのそれぞれは、局部復号された画素値を示し、Ａ〜Ｐは、符号化される前の画素値を示す。画素値Ａに対しての予測値Ａ’は、近傍の局部復号画素値を使用して予測器１２２により生成される。例えば予測値Ａ’は、Ａ’＝４ｃ−３（ｂ−ｆ）、Ａ’＝ｆ＋ｃ−ｂ等の予測式に従って形成される。画素値Ｂ、Ｃ、・・・に対する予測値も同様の予測式によって計算される。一般式で表すと、予測値は、（αａ＋βｂ＋γｆ、但し、α、β、γは定数）により生成される。
【００２１】
減算器１２３では、画素値（例えばＡ）から予測値（例えばＡ’）が減算され、残差信号Δａが生成される。同様に、残差信号Δｂ、Δｃ、・・・が生成される。ブロック化回路１２４では、生成された残差信号がブロック構造に変換される。例えばブロック化回路１２４によって、図３Ａの太線の枠で示すように、（４×４）のブロックと対応する残差信号Δａ〜Δｐのブロックのデータが形成される。なお、ディジタルオーディオ信号を扱う場合には、時間方向の予測値が形成され、１次元の残差信号のブロックが形成される。
【００２２】
残差信号のレベル範囲は、ブロック化することによって、集中度を高めることが可能である。１画素が８ビットのデータの場合では、１画面の全体の残差信号の発生度数の分布は、０を中心として（−２５５〜＋２５５）の範囲のものであり、残差が０の度数が最大となる。しかしながら、ブロックに分割した場合には、残差の度数分布がもとの分布に比してより集中したものとなる。
【００２３】
これは、１画面と比較して小空間のブロック内の残差は、大きな値となるものが確率的に少なく、また、ブロック内では残差の相関が強いことに因る。従って、ブロック化された残差信号を元の量子化ビット数より少ないビット数でもって再量子化することができる。また、ブロック化された残差信号の分布において、必ずしも０の値の度数が最大とならない。例えば、ブロック内で輝度のレベルが例えば対角線方向に除々に変化する場合等では、０の値の度数が最大とならない分布が生じる。なお、残差信号の分布の集中度を高める方法は、ブロック化が一例であって、これ以外の方法も可能である。
【００２４】
図２に戻って、符号化ユニット１２５について説明する。入力端子１からの残差信号が最大値検出回路２、最小値検出回路３、遅延回路４に供給される。最大値検出回路２では、ブロック毎の最大値ＭＡＸが検出され、最小値検出回路３では、ブロック毎の最小値ＭＩＮが検出される。検出された最大値ＭＡＸおよび最小値ＭＩＮがオフセット検出回路５および減算回路７へ供給される。なお、入力残差信号と同期したタイミング生成器６が設けられ、タイミング生成器６によって、残差信号のブロック位置と対応したタイミング信号が生成される。
【００２５】
減算回路７では、ＤＲ＝ＭＡＸ−ＭＩＮの演算によって、ダイナミックレンジＤＲが求められる。ダイナミックレンジＤＲが量子化ステップ計算回路８に供給される。この回路８によって、（Δ＝ＤＲ／２n ）により量子化ステップΔが計算される。
【００２６】
オフセット検出回路５では、後述するように、ブロック化された残差信号、最大値ＭＡＸおよび最小値ＭＩＮが供給され、そのブロックが０の残差信号を含む場合、最大値ＭＡＸと最小値ＭＩＮに応じた複数の量子化復元値の中から最も０に近い量子化復元値が０となるように、データを補正する値、すなわち、オフセットoff が算出され、また、０の値を含む量子化コードを指示するゼロ位置フラグＺＲが検出される。算出されたオフセットoff は、オフセット検出回路５から減算回路９に供給される。
【００２７】
減算回路９には、遅延時間補償用の遅延回路４から残差信号が供給される。減算回路９において、残差信号からオフセットoff が減算される。減算回路９からの修正された残差信号が量子化回路１０に供給される。量子化回路１０では、量子化ステップによって、修正残差信号が再量子化され、量子化出力ｑが量子化回路１０から発生する。
【００２８】
ここで、オフセットoff によりなされるデータの修正について概略的に図４を参照して説明する。上述したように予測符号化により発生し、ブロック化された残差信号は、図４Ａに示すように、そのブロックによってさまざまな偏りを持っている。図４Ａにおいて、ａで示す残差信号は、負側に偏っており、ｂで示す残差信号は、最大度数が０の値と一致したものであり、ｃで示す残差信号は、正側に偏っている。図４Ｂは、あるブロックの残差信号の度数分布を示している。残差信号を量子化する場合では、例えばＭＡＸおよびＭＩＮの間が５等分され、その範囲に属する残差信号に同一のコードが割り当てられる。そのコードは、復元されると、範囲の中央の代表値（矢印で示す）へ変換される。一般的には、コードのビット数がｎの場合、２n の個数の範囲にＭＡＸおよびＭＩＮの間が分割される。
【００２９】
この図４Ｂから分かるように、一般的に残差信号の実際の０の値と量子化復元値の０の値とにずれが生じる。残差信号の０の値を０に復元することは、原信号を復元するために重要である。若し、残差信号の０の値が０に復元されない場合、その誤差が蓄積され、大きな画質劣化の原因となる。好ましくは、予測誤差の累積を防止するために、周期的にリフレッシュ用の原データを伝送するようになされる。
【００３０】
この一実施例では、量子化復元値で最も０に近い値と、実際の０の値の誤差を算出し、その値をオフセットoff として、減算回路９において、残差信号から減算する。この結果、図４Ｂの残差信号が図４Ｃに示すように補正されることになり、残差信号の０が量子化復元値においても０で表現することが可能となる。また、この発明では、伝送データ量を削減するために、ダイナミックレンジ情報（ＤＲ、ＭＩＮ、ＭＡＸ等）を伝送しない。そのため、量子化ステップΔと、量子化出力のどこに０の値が含まれるかを示すゼロ位置フラグＺＲが必要とされる。さらに、この発明では、後述のように、量子化ステップΔおよびゼロ位置フラグＺＲの伝送も省略するものである。
【００３１】
各ブロックのオフセットoff およびゼロ位置フラグＺＲを発生する、オフセット検出回路５の一例を図５に示す。減算器２１に対してブロックの最大値ＭＡＸおよび最小値ＭＩＮが供給され、ＭＡＸ−ＭＩＮの減算によって、ブロックのダイナミックレンジＤＲが算出される。ダイナミックレンジＤＲがゼロ位置検出回路２２、コード検出回路２３および演算回路２５に供給される。ゼロ位置検出回路２２から出力端子２４にゼロ位置フラグＺＲが取り出され、演算回路２５から出力端子２６にオフセットoff が取り出される。
【００３２】
オフセット検出回路５のゼロ位置検出回路２２は、再量子化のビット数ｎとダイナミックレンジＤＲと最小値ＭＩＮとから、下記の式（１）に基づいて、ゼロ位置フラグＺＲを発生する。
〔 〕は、括弧内の値の整数化することを意味する。
【００３３】
オフセット検出回路５のコード検出回路２３は、再量子化のビット数ｎとダイナミックレンジＤＲと最小値ＭＩＮとから、下記の式に基づいて、コードcodeを発生する。
〔 〕は、括弧内の値の整数化することを意味する。
【００３４】
演算回路２５は、ダイナミックレンジＤＲと最小値ＭＩＮとcodeとから、下記の式に基づいて、オフセットoff を発生する。
【００３５】
この発明の一実施例の量子化処理について、図６を参照してより詳細に説明する。図６Ａは、あるブロックの残差信号のレベル範囲を具体的に示す。すなわち、（ＭＩＮ＝−５、ＭＡＸ＝＋３５、ＤＲ＝４０）であり、再量子化のビット数ｎが２とされ、従って、Δ＝４０／２2 ＝１０である。このブロックの残差信号が４個のレベル範囲の何れに含まれるかによって、（００）（０１）（１０）（１１）のコードｑに変換される。ゼロ位置フラグＺＲは、残差信号の０が含まれるコード（００）、またはこのコードを示すものである。各コードと対応する復元値は、各レベル範囲の中央の値（０、＋１０、＋２０、＋３０）である。
【００３６】
量子化は、量子化ステップによって残差信号を除算し、商を整数化する処理である。しかしながら、残差信号のレベル値を除算したのみでは、ブロックの残差信号の相対的値（量子化出力）が決定できない。そのために、基準位置を示すものとして、ゼロ位置フラグＺＲが必要とされる。さらに、図６Ａに示すものと異なり、ブロック化された残差信号のレベル範囲が０を跨がない場合もありうる。残差信号の最小値ＭＩＮが０より大きい場合、残差信号の最大値ＭＡＸが０より小さい場合がそうである。これらの場合では、０の値の残差信号が存在するものとみなして、ゼロ位置フラグＺＲを生成する。
【００３７】
図６Ａに示される残差信号は、残差信号の０の値が量子化復元値の０と一致する。すなわち、off ＝０の例である。図６Ａのように量子化されたデータを伝送する時に、ゼロ位置フラグＺＲと量子化ステップΔとコードｑとを伝送すれば良い。復号側では、コードｑに量子化ステップΔを乗算し、ゼロ位置フラグＺＲで示されるコードの復元値を０とする、逆量子化がなされる。
【００３８】
図６Ｂは、ブロックの残差信号の他の具体的例である。オフセットoff による残差信号の修正を行わないとすると、逆量子化によって、残差信号の−３の値が復元値０とされる。オフセットoff による修正を行うことによって、図６Ｃに示すように、残差信号の０の値を量子化復元値の０と一致させることができる。
【００３９】
上述した量子化の場合では、量子化ステップΔおよびゼロ位置フラグＺＲを伝送する必要がある。この発明の一実施例は、これらの付加情報のデータ量をより削減するものである。すなわち、伝送データ量を削減するために、例外処理を除くと、これらの付加情報を伝送しない。例外処理は、ブロックが画面の周辺部に位置するために、予測に必要な周辺のブロックの付加情報が存在しない場合になされる。例外処理では、生成された量子化ステップΔおよびゼロ位置フラグＺＲを伝送する。
【００４０】
図２に戻って説明すると、量子化回路１０では、オフセットoff により修正された残差信号が量子化ステップΔにより再量子化され、量子化出力ｑが生成される。この場合に使用する量子化ステップおよびゼロ位置フラグは、スイッチング回路１３ａ、１３ｂを介して供給される。スイッチング回路１３ａは、オフセット検出回路５において検出されたゼロ位置フラグＺＲと、クラス分類適応予測回路１２ａにより予測された予測値ＺＲ’とを選択する。スイッチング回路１３ｂは、量子化ステップ計算回路８において計算された量子化ステップΔと、クラス分類適応予測回路１２ｂにより予測された予測値Δ’とを選択する。
【００４１】
スイッチング回路１３ａの出力は、クラス分類適応予測回路１２ａにも供給され、スイッチング回路１３ｂの出力は、クラス分類適応予測１２ｂにも供給される。さらに、オフセット検出回路５からのゼロ位置フラグＺＲがゲート回路１４ａを介してフレーミング回路１５に供給される。量子化ステップ計算回路８の出力Δがゲート回路１４ｂを介してフレーミング回路１５に供給される。フレーミング回路１５には、量子化回路１０の出力ｑも供給される。フレーミング回路９の出力端子１０には、これらの入力データが所定のフレーム構造のデータとして出力される。
【００４２】
スイッチング回路１３ａ、１３ｂ、ゲート回路１４ａ、１４ｂは、接続線の表記が省略されているが、タイミング生成器６からのタイミング信号で制御される。上述したように、量子化の対象のブロックが画面の周辺に位置している場合では、予測に必要な周辺のデータが存在しないために、例外処理がなされる。この例外処理では、スイッチング回路１３ａ、１３ｂが実際のゼロ位置フラグＺＲおよび量子化ステップΔを選択し、また、ゲート回路１４ａ、１４ｂがオンする。例外処理は、画面の周辺位置でなされるので、タイミング生成器６からは、この周辺の位置のブロックを指示するタイミング信号が発生し、このタイミング信号によって、スイッチング回路１３ａ、１３ｂ、ゲート回路１４ａ、１４ｂが制御される。このように、この発明の一実施例では、例外処理では、付加情報（ＺＲ、Δ）を伝送し、通常処理では、付加情報の伝送を省略することができる。
【００４３】
クラス分類適応予測回路１２ａは、スイッチング回路１３ａからのゼロ位置フラグを使用して予測値ＺＲ’を推定する。クラス分類適応予測回路１２ａは、クラス毎に予め学習により求められている予測係数ｘ1 、ｘ2 、ｘ3 が記憶されているメモリを有し、供給されたゼロ位置フラグの周辺のゼロ位置フラグのパターンからクラスを決定し、そのクラスに応じて予測係数ｘ1 、ｘ2 、ｘ3 を読み出す。そして、その読み出された予測係数とすでに供給されているゼロ位置フラグＺＲとを用いて、ゼロ位置フラグＺＲの予測値ＺＲ´を推定する。
【００４４】
例えば、図８Ａの太線で囲まれたブロックのゼロ位置フラグＺＲに対応するゼロ位置フラグの予測値ＺＲ´を推定する時、その推定対象ブロックに対して、垂直方向における１ブロック上に存在するブロック、垂直方向における１ブロック上でかつ水平方向における１ブロック前に存在するブロック（つまり、左斜め上方向に存在するブロック）および水平方向における１ブロック前に存在するブロックのゼロ位置フラグＺＲ1 、ＺＲ2 およびＺＲ3 が使用される。図８は、簡単のため、１画面が（４×６＝２４）ブロックで構成される例を示している。これらの周辺のゼロ位置フラグＺＲ１、ＺＲ２およびＺＲ３のパターンに基づいてクラスが決定され、そのクラスに対応する予め学習により求められている予測係数ｘ1 、ｘ2 、ｘ3 がメモリから読み出される。そして、次の式（３）を用いて、ゼロ位置フラグの予測値ＺＲ´が算出される。
【００４５】
ＺＲ´＝ｘ1 ×ＺＲ1 ＋ｘ2 ×ＺＲ2 ＋ｘ3 ×ＺＲ3 （３）
【００４６】
また、クラス分類適応予測回路１２ｂは、クラス毎に予め学習により求められている予測係数ｙ1 、ｙ2 、ｙ3 とが記憶されているメモリを有し、周辺の量子化ステップのパターンからクラスを決定し、そのクラスに応じて予測係数ｙ1 、ｙ2 、ｙ3 を読み出す。そして、その読み出された予測係数と周辺の量子化ステップから量子化ステップの予測値Δ´を推定する。
【００４７】
例えば、図８Ｂの太線で囲まれたブロックの量子化ステップΔに対応する量子化ステップの予測値Δ´を推定する時、その推定対象ブロックに対して、垂直方向における１ブロック上に存在するブロック、垂直方向における１ブロック上でかつ水平方向における１ブロック前に存在するブロック（つまり、左斜め上方向に存在するブロック）および水平方向における１ブロック前に存在するブロックの量子化ステップΔ１、Δ２およびΔ３が使用される。そして、供給された量子化ステップΔの周辺の量子化ステップΔ１、Δ２およびΔ３のパターンに基づいてクラスが決定され、そのクラスに対応する予め学習により求められている予測係数ｙ1 、ｙ2 、ｙ3 がメモリから読み出される。そして、次の式（４）を用いて、量子化ステップの予測値Δ´が算出される。
【００４８】
Δ´＝ｙ1 ×Δ1 ＋ｙ2 ×Δ2 ＋ｙ3 ×Δ3 （４）
【００４９】
クラス分類適応予測回路１２ａ、１２ｂは、上述したように、予測対象ブロックの周辺のブロックのゼロ位置フラグおよび量子化ステップを使用するので、図８Ｃにおいて斜線で示すように、予測対象ブロックが画面の周辺部に位置する時では、例外処理が必要とされる。これらの周辺のブロックでは、前述のように、実際に求められたゼロ位置フラグＺＲおよび量子化ステップΔが使用される。なお、予測のためにＺＲ４（図８Ａ）、Δ４（図８Ｂ）で示す値を使用しても良い。この場合では、例外処理が必要とされるブロック数がより増加する。
【００５０】
さらに、図７を用いて、クラス分類適応予測回路１２ａの構成について詳細に説明する。入力端子３１からクラス分類適応予測回路１２ａに供給されたゼロ位置フラグは、周辺コード値形成部３２に供給される。周辺コード値形成部３２は、図８Ａに示されるように、予測対象ブロックの周辺に存在する３つのゼロ位置フラグＺＲ１、ＺＲ２およびＺＲ３をクラス分類部３３に供給する。
【００５１】
クラス分類部３３は、３つのゼロ位置フラグＺＲ１、ＺＲ２およびＺＲ３のパターンを検出し、そのパターンに対応するクラスコードを予測係数メモリ３４に供給する。クラス分類部３３は、１ビットＡＤＲＣ等で構成されており、その場合は、３ビットのクラスコードを出力する。予測係数メモリ３４には、予め学習により求められたクラス毎の予測係数が記憶されており、予測係数メモリ３４は、クラスコードをアドレス信号として、そのアドレス信号に対応する予測係数ｘ1 、ｘ2 、ｘ3 を予測演算部３６に供給する。また、予測演算部３６には、遅延部３５を介して３つのゼロ位置フラグＺＲ１、ＺＲ２およびＺＲ３が供給される。予測演算部３５は、予測係数ｘ1 、ｘ2 、ｘ3 および３つのゼロ位置フラグＺＲ１、ＺＲ２およびＺＲ３を用いて、ゼロ位置フラグＺＲの予測値ＺＲ´を算出する。
【００５２】
生成された予測値ＺＲ´は、図２に示されるように、スイッチング回路１３ａに供給される。例外処理では、周辺に必要とするゼロ位置フラグが存在しないので、スイッチング回路１３ａがオフセット検出回路５からのゼロ位置フラグＺＲを選択し、通常処理では、予測されたゼロ位置フラグＺＲ’を選択する。
【００５３】
クラス分類適応予測回路１２ｂは、上述したクラス分類適応予測回路１２ａと同様の構成とされる。すなわち、周辺の３個の量子化ステップΔ１、Δ２、Δ３と、予め学習により求められ、メモリに格納されている予測係数ｙ1 、ｙ2 、ｙ3 とを使用して量子化ステップの予測値Δ’を生成する。生成された予測値Δ´は、図２に示されるように、スイッチング回路１３ｂに供給される。例外処理では、周辺に必要とする量子化ステップが存在しないので、スイッチング回路１３ｂが量子化ステップ計算回路８からの量子化ステップΔを選択し、通常処理では、予測された量子化ステップΔ’を選択する。
【００５４】
次に、上述したクラス分類適応予測回路１２ａ、１２ｂにおいて用いられる予測係数について説明する。この予測係数は、予め学習により作成される。ここでは、ゼロ位置フラグに対応するクラス毎の予測係数ｘ１、ｘ２、ｘ３を生成する際の学習の手順について説明する。予測係数ｘ１、ｘ２、ｘ３は、最小自乗法により生成される。最小自乗法は、以下に述べるように適用される。
【００５５】
学習時における一般化した例として、Ｘを入力データ（ＺＲ1 、ＺＲ2 、ＺＲ3 ）、Ｗを予測係数（ｘ1 、ｘ2 、ｘ3 ）、Ｙを予測値（ＺＲ’）として次式（５）を考える。
観測方程式； ＸＷ＝Ｙ （５）
【００５６】
【数１】
【００５７】
この観測方程式により収集されたデータに対して最小二乗法を適用する。式（１）の例では、ｎ＝３で、ｍが学習データ数となる。式（５）および（６）の観測方程式をもとに、次式（７）の残差方程式を考える。
【００５８】
【数２】
【００５９】
式（７）の残差方程式から、各予測係数ｗi の最確値は、誤差の二乗和を最小にする条件が成り立つ場合と考えられる。誤差の二乗和は、次の数式で示される。
【００６０】
【数３】
【００６１】
すなわち、次式（８）の条件を考慮すれば良いわけである。
【００６２】
【数４】
【００６３】
式（８）のｉに基づく条件を考え、これを満たすｗ1 、ｗ2 、‥‥、ｗn を算出すれば良い。そこで、残差方程式の式（７）から次式（９）が得られる。
【００６４】
【数５】
式（８）と式（９）により次式（１０）が得られる。
【００６５】
【数６】
そして、式（７）と式（１０）から正規方程式として次式（１１）が得られる。
【００６６】
【数７】
【００６７】
式（１１）の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各ｗi の最確値を求めることができる。そして、掃き出し法（Gauss-Jordanの消去法）を用いて連立方程式を解く。したがって、この上述した方法を用いて、予測係数を各クラス毎に求める。
【００６８】
ここで、この最小自乗法を用いた学習をソフトウェアで行う一例を図９のフローチャートを用いて説明する。まず、ステップＳ１の学習データ形成において、予測係数ｗｉを学習するために、既に知られている画像に対応した学習データが生成される。つまり、ゼロ位置フラグの予測値ＺＲ´を推定する場合は、学習対象のゼロ位置フラグＺＲが生成され、量子化ステップの予測値Δ´を推定する場合は、学習対象の量子化ステップΔが生成される。なお、このように学習データを生成する際には、１つの画像のみを用いるのではなく、複数の画像を用いて多数の画像データを生成すれば、より正確な予測係数を得ることができる。
【００６９】
ステップＳ２において、ステップＳ１で生成した学習データの数が予測係数を得るために必要なだけ生成されたか否かを判定する。学習データ数が満たないと判定された場合にはステップＳ３を実行する。ステップＳ３のクラス決定において、学習データをクラス分類する。クラス分類は、まず、３個の周辺コード値からクラスが決定される。３個の周辺コード値は、例えば、その推定対象ブロックに対応する値に対して、垂直方向における１ブロック上に存在するブロックに対応する値、垂直方向における１ブロック上でかつ水平方向における１ブロック前に存在するブロック（つまり、左斜め上方向に存在するブロック）に対応する値および水平方向における１ブロック前に存在するブロックに対応する値である。つまり、クラス分類適応予測回路１２ａ、４６ａでは、上述した３個の周辺位置のブロックのＺＲを使用し、クラス分類適応予測回路１２ｂ、４６ｂでは、上述した３個の周辺位置のブロックのΔを使用する。
【００７０】
次に、ステップＳ４の正規方程式生成において、各クラス毎に式（１１）に示す正規方程式を生成する。データ終了の判定のステップ２において、学習対象データ数の終了が確認されるまで、正規方程式の生成プロセスが繰り返される。
【００７１】
そして、学習対象データ数の終了が確認された場合、このステップＳ２（データ終了）からステップＳ５の予測係数決定へ制御が移る。ステップＳ５（予測係数決定）では、多くの学習データより生成された、クラス毎の式（１１）の正規方程式が解かれる。その連立方程式の解法として、この一例では、上述した掃き出し法が用いられる。こうして得られた各クラス毎の予測係数は、ステップＳ６の予測係数登録において、クラス別にアドレス分割されたＲＯＭ等の記憶部に登録される。このような学習過程により、クラス分類適応予測演算部の予測係数が生成される。
【００７２】
さらに、この発明は、クラス毎に予測係数が記憶された予測係数メモリを設けるとともに、予測係数メモリからの予測係数と周辺コード値とを用いて、予測演算を行う予測演算部を設けて、入力されたコード値に対応する予測値を出力する場合について述べた。しかしながら、この発明はこれに限らず、予測係数メモリと予測演算部に換えて、クラス毎に予測値が記憶された予測値メモリを設けることも可能である。その場合、予測値に記憶される予測値は、予め学習により求められており、クラス分類適用予測部の出力値に対応する。
【００７３】
このような方法は、例えば、本出願人により特開平５−３２８１８５号公報において提案されている。実際に、このような予測値を求める方法として、加重平均を用いた学習方法がある。また、他の方法として、正規化による学習方法がある。
【００７４】
次に、図１０を参照して、図２中の復号化ユニット１３４の一例について説明する。エラー訂正デコーダ１３３からの再生、あるいは受信データが復号化ユニット１３４の入力端子１４１に供給される。フレーム分解回路１４２によって、残差信号のコードｑと、ゼロ位置フラグＺＲと、量子化ステップΔとが分離される。また、タイミング生成器１４３が設けられ、入力データと同期してブロック位置を指示するタイミング信号が生成される。符号化ユニット１２５と同様に、タイミング生成器１４３によってスイッチング回路１４７ａ、１４７ｂを制御するタイミング信号が生成される。
【００７５】
分離されたコードｑが逆量子化回路１４４に供給され、コードｑが逆量子化され、出力端子１４８に復元された代表値が取り出される。この代表値は、オフセットoff により修正されているので、実際の残差信号の０の値と対応して０となる。逆量子化回路１４４に対しては、スイッチング回路１４７ａにより選択されたゼロ位置フラグと、スイッチング回路１４７ｂにより選択された量子化ステップとが供給される。これらの付加情報を使用してコードが代表値に変換される。出力端子１４８に取り出された復号残差信号がブロック分解回路１３５に供給される（図１参照）。
【００７６】
スイッチング回路１４７ａは、通常処理では、クラス分類適応予測回路１４６ａからの予測値ＺＲ’を選択する。スイッチング回路１４７ｂは、通常処理では、クラス分類適応予測回路１４６ａからの予測値Δ’を選択する。クラス分類適応予測回路１４６ａは、符号化ユニット１２５のクラス分類適応予測回路１２ａと同様に、周辺ブロックのゼロ位置フラグを使用して予測値ＺＲ’を生成する。クラス分類適応予測回路１４６ｂは、符号化ユニット１２５のクラス分類適応予測回路１２ｂと同様に、周辺ブロックの量子化ステップを使用して予測値Δ’を生成する。これらのクラス分類適応予測回路１４６ａ、１４６ｂについては、説明の重複を避けるために省略する。
【００７７】
次に、この発明を階層符号化に対して適用した他の実施例について説明する。ここで説明する階層符号化装置は、階層間で予測を行ない、また、階層間データに対し単純な算術式を用いることで、符号化対象画素数の増加を防止することができるものである。
【００７８】
図１１を参照してこの階層符号化方法について説明する。図１１は、一例として第１階層を最下位階層（原画）とし、第４階層を最上位階層とする４階層からなる階層間の模式図を示している。例えば、上位階層データ生成法として、空間的に対応する４画素の下位階層データの平均値を採用する場合、伝送画素数が増加しないようにできる。
【００７９】
すなわち、上位階層データをＭ、下位階層画素値をｘ0 、ｘ1 、ｘ2 、ｘ3 とすると、
Ｍ＝１／４・（ｘ0 ＋ｘ1 ＋ｘ2 ＋ｘ3 ）
によりデータＭが形成される。そして、データＭと、４個のデータの内の例えばｘ3 以外の３個のデータを伝送する。受信あるいは再生側では、
ｘ3 ＝４・Ｍ−（ｘ0 ＋ｘ1 ＋ｘ2 ）
という単純な算術式により非伝送画素ｘ3 を容易に復元することができる。図１１において、斜線の矩形は、非伝送画素を示している。
【００８０】
図１２は、上述した平均化を使用する例えば５階層の階層符号化の構成を示す。第１階層が入力画像の解像度レベルであるとする。この第１階層のブロックサイズは、（１×１）である。第２階層データは、第１階層データの４画素平均により生成される。この例では、第１階層データＸ1 （０）〜Ｘ1 （３）の平均値により、第２階層データＸ2 （０）が生成される。Ｘ2 （０）に隣接する第２階層データＸ2 （１）〜Ｘ2 （３）も同様に第１階層データの４画素平均により生成される。この第２階層のブロックサイズは、（１／２×１／２）である。
【００８１】
さらに、第３階層データは、空間的に対応する第２階層データの４画素平均により生成される。この第３階層のブロックサイズは、（１／４×１／４）である。また、第４階層のデータも同様に第３階層のデータから生成される。この第４階層のブロックサイズは、（１／８×１／８）である。最後に、最上位階層である第５階層データＸ5 （０）が第４階層データＸ4 （０）〜Ｘ4 （３）の平均値により生成される。この第５階層のブロックサイズは、（１／１６×１／１６）である。
【００８２】
上述した符号化対象画素数の増加を防止した階層構造データに対し、上位階層データにクラス分類適応予測を適用することで、下位階層データを予測し、下位階層データとその予測値との差分（すなわち、残差信号）を生成することで伝送データ量の削減を図ることができる。図１３は、そのような符号化ユニットを示す。入力端子４１を介して第１階層データｄ０が入力画像データｄ０として平均化回路４２および減算器４６へ供給される。第１階層データが元の解像度の画像データである。
【００８３】
入力画素データｄ０は、平均化回路４２において、１／４平均処理が実行され、階層データｄ１が生成される。この階層データｄ１は、図１２に示す第２階層データに対応する。生成された階層データｄ１は、平均化回路４３および減算器４７へ供給される。
【００８４】
階層データｄ１に対して、平均化回路４３では、平均化回路４２と同様な処理が施され、階層データｄ２が生成される。この階層データｄ２は、第３階層データに対応する。生成された階層データｄ２は、平均化回路４４および減算器４８へ供給される。また、平均化回路４４でも同様に階層データｄ２に対して１／４平均処理がなされ、階層データｄ３が生成される。この階層データｄ３は、第４階層データに対応する。生成された階層データｄ３は、平均化回路４５および減算器４９へ供給される。さらに、平均化回路４５でも同様に階層データｄ３に対して１／４平均処理がなされ、階層データｄ４が生成される。この階層データｄ４は、第５階層データに対応する。生成された階層データｄ４は、量子化器５４へ供給される。
【００８５】
そして、これら５つの階層データについて階層間で予測が行われる。先ず、第５階層においてなされる圧縮のための量子化処理は、量子化器５４によりなされる。この量子化器５４の出力データｄ２１が可変長符号のエンコーダ７１に供給されると共に、逆量子化器５８へも供給される。エンコーダ７１の出力が出力端子７６に第５階層のデータとして取り出される。符号化データｄ２１が供給された逆量子化器５８の出力データｄ１６がクラス分類適応予測回路６２へ供給される。
【００８６】
クラス分類適応予測回路６２では、データｄ１６を使用して予測処理がなされ、第４階層データの予測値ｄ１２が生成され、この予測値ｄ１２が減算器４９へ供給される。この減算器４９では、平均化回路４４から供給される階層データｄ３と予測値ｄ１２との差分値が求められ、その差分値ｄ８が量子化器５３へ供給される。
【００８７】
差分値ｄ８が供給された量子化器５３では、量子化器５４と同様に量子化ビット数を低減するように、再量子化がなされる。この量子化器５３の出力データが演算器６６および逆量子化器５７へ供給される。この演算器６６では、４画素から１画素を間引く処理が行われる。演算器６６から出力されるデータｄ２０が可変長符号のエンコーダ７０で符号化され、エンコーダ７０の出力が出力端子７５に第４階層の出力データとして取り出される。
【００８８】
クラス分類適応予測回路６２により予測された第４階層データｄ１２と、逆量子化器５７の出力データ（復号残差信号）ｄ１５がクラス分類適応予測回路６１へ供給される。クラス分類適応予測回路６１では、データｄ１２に対してデータｄ１５を加算することによって、第４階層のローカル復号データを形成し、このローカル復号データを使用して予測処理がなされ、第３階層データの予測値ｄ１１が生成され、この予測値ｄ１１が減算器４８へ供給される。この減算器４８では、平均化回路４３から供給されるデータｄ２と予測値ｄ１１との差分値が求められ、その差分値ｄ７が量子化器５２へ供給される。
【００８９】
差分値ｄ７が供給された量子化器５２の出力データが演算器６５および逆量子化器５６へ供給される。この演算器６５では、４画素から１画素を間引く処理が行われる。演算器６５から出力される第３階層データｄ１９が可変長符号のエンコーダ６９に供給され、エンコーダ６９の出力が出力端子７４に第３階層のデータとして取り出される。
【００９０】
クラス分類適応予測回路６１により予測された第３階層データｄ１１と、量子化器５２から符号化データが供給された逆量子化器５６の出力データｄ１４がクラス分類適応予測回路６０へ供給される。クラス分類適応予測回路６０では、データｄ１１に対してデータｄ１４を加算することによって、第３階層のローカル復号データを形成し、このローカル復号データを使用して予測処理がなされ、第２階層データの予測値ｄ１０が生成され、この予測値ｄ１０が減算器４７へ供給される。この減算器４７では、平均化回路４２から供給されるデータｄ１と予測値ｄ１０との差分値が求められ、その差分値ｄ６が量子化器５１へ供給される。
【００９１】
量子化器５１の出力データは、演算器６４および逆量子化器５５へ供給される。この演算器６４では、４画素から１画素を間引く処理が行われる。演算器６４から出力される第２階層データｄ１８が可変長符号のエンコーダ６８に供給され、エンコーダ６８の出力が出力端子７３に第２階層のデータとして取り出される。
【００９２】
クラス分類適応予測回路６０により予測された第２階層データｄ１０と、量子化器５１から符号化データが供給された逆量子化器５５の出力データｄ１３がクラス分類適応予測回路５９へ供給される。クラス分類適応予測回路５９では、データｄ１０に対してデータｄ１３を加算することによって、第２階層のローカル復号データを形成し、このローカル復号データを使用して予測処理がなされ、第１階層データの予測値ｄ９が生成され、この予測値ｄ９が減算器４６へ供給される。この減算器４６では、入力端子４１から供給される入力画素データｄ０と予測値ｄ９との差分値が求められ、その差分値ｄ５が量子化器５０へ供給される。
【００９３】
差分値ｄ５が供給された量子化器５０の出力データは、演算器６３へ供給される。この演算器６３では、４画素から１画素を間引く処理が行われる。演算器６３から出力される第１階層データｄ１７が可変長符号のエンコーダ６７に供給され、エンコーダ６７の出力が出力端子７２に第１階層のデータとして取り出される。
【００９４】
クラス分類適応予測回路５９、６０、６１、６２のそれぞれは、予測しようとする下位階層の画素をその空間的に近傍の複数の画素（上位階層に含まれる）のレベル分布に基づいて予測するものである。これらのクラス分類適応予測回路は、前述した図７と同様の構成とされているきで、その説明は、簡単のため省略する。
【００９５】
上述した一実施例における符号化ユニット１２５（図２参照）と同様の構成が階層符号化のエンコーダ側にも設けられている。つまり、符号化ユニット１２５の構成と同様の構成を量子化器５０、５１、５２、５３、５４がそれぞれ有する。
【００９６】
次に、上述のエンコーダと対応する階層符号化のデコーダ側の構成例を図１４に示す。エンコーダ側で生成された各階層データは、ｄ３０〜ｄ３４として入力端子８１、８２、８３、８４、８５にそれぞれ供給される。そして、可変長符号のデコーダ８６、８７、８８、８９、９０にて可変長符号の復号がなされる。これらのデコーダに対して、逆量子化器９１、９２、９３、９４、９５がそれぞれ接続される。
【００９７】
先ず、第５階層入力データｄ３４は、逆量子化器９５において、エンコーダで施された量子化に対応する復号処理が行われ、画像データｄ３９となり、クラス分類適応予測回路１０７および演算器１０３へ供給される。また画像データｄ３９は、第５階層の画像出力として、出力端子１１２から取り出される。
【００９８】
クラス分類適応予測回路１０７では、第４階層の画像データに対してクラス分類適応予測が施され、第４階層データの予測値ｄ４７が生成される。逆量子化器９４からのデータｄ３８（すなわち、差分値）と予測値ｄ４７とが加算器９９で加算される。加算器９９から画像データｄ４３が演算器１０３へ供給され、演算器１０３では、非伝送画素の値を求めるために、上述した演算が実行され、逆量子化器９５から供給された画像データｄ３９と画像データｄ４３から第４階層の全画素値が復元される。この演算器１０３において、復元された全画素値は、画像データｄ５１として、クラス分類適応予測回路１０６および演算器１０２へ供給される。また画像データｄ５１は、第４階層の出力として、出力端子１１１から取り出される。
【００９９】
クラス分類適応予測回路１０６では、第３階層の画像データに対してクラス分類適応予測が施され、第３階層データの予測値ｄ４６が生成される。逆量子化器９３からのデータｄ３７と予測値ｄ４６とが加算器９８で加算される。加算器９８から画像データｄ４２が演算器１０２へ供給され、演算器１０２により非伝送画素の値が求められ、演算器１０３から供給された画像データｄ５１と画像データｄ４２から第３階層の全画素値が復元される。この演算器１０２において、復元された全画素値は、画像データｄ５０として、クラス分類適応予測回路１０５および演算器１０１へ供給される。また画像データｄ５０は、第３階層の出力として、出力端子１１０から取り出される。
【０１００】
また、クラス分類適応予測回路１０５では、第２階層の画像データに対してクラス分類適応予測が施され、第２階層データの予測値ｄ４５が生成される。逆量子化器９２からのデータｄ３６と予測値ｄ４５とが加算器９７で加算される。加算器９７から画像データｄ４１が演算器１０１へ供給され、演算器１０１により非伝送画素の値が求められ、演算器１０２から供給された画像データｄ５０と画像データｄ４１から第２階層の全画素値が復元される。この演算器１０１において、復元された全画素値は、画像データｄ４９として、クラス分類適応予測回路１０４および演算器１００へ供給される。また画像データｄ４９は、第２階層の出力として、出力端子１０９から取り出される。
【０１０１】
さらに、クラス分類適応予測回路１０４では、第１階層の画像データに対してクラス分類適応予測が施され、第１階層データの予測値ｄ４４が生成される。逆量子化器９１からのデータｄ３５と予測値ｄ４４とが加算器９６で加算される。加算器９６から画像データｄ４０が演算器１００へ供給され、演算器１００により非伝送画素の値が求められ、演算器１０１から供給された画像データｄ４９と画像データｄ４０から第１階層の全画素値が復元される。この演算器１００において、復元された全画素値は、画像データｄ４８として、第１階層の出力として、出力端子１０８から取り出される。クラス分類適応予測回路１０４、１０５、１０６、１０７のそれぞれは、図７に示すのと同様の構成を有している。
【０１０２】
上述した一実施例の復号化ユニット１３４と同様の構成を逆量子化器９１、９２、９３、９４、９５がそれぞれ有する。従って、上述した階層符号化に対してこの発明を適用した他の実施例によっても、上述した一実施例と同様に、ゼロ位置フラグＺＲおよび量子化ステップΔを伝送する必要がなく、伝送データ量をより少なくすることができる。
【０１０３】
【発明の効果】
この発明は、再量子化で発生する量子化値のコードのビット数を減少させるようにした符号化（あるいは量子化）において、伝送する必要がある、付加情報（ＺＲ、Δ）のデータ量を大幅に削減することができ、伝送データ量を一層低減することができる。
【図面の簡単な説明】
【図１】この発明を適用できる記録／再生、あるいは伝送システムの一例のブロック図である。
【図２】この発明の一実施例のブロック図である。
【図３】この発明の一実施例中の残差信号の生成と、そのブロック化の説明に用いる略線図である。
【図４】この発明の一実施例における量子化処理の説明に用いる略線図である。
【図５】この発明の一実施例中のオフセット検出回路の一例のブロック図である。
【図６】この発明の一実施例中の量子化処理の説明に用いる略線図である。
【図７】この発明の一実施例中のクラス分類適応予測回路の構成を示すブロック図である。
【図８】クラス分類適応予測回路の処理を説明するために使用する略線図である。
【図９】クラス分類適応予測回路の係数の学習方法の一例を示すフローチャートである。
【図１０】この発明の一実施例における復号化ユニットのブロック図である。
【図１１】階層符号化の一例の説明に用いる略線図である。
【図１２】階層符号化の一例の説明に用いる略線図である。
【図１３】階層符号化に対してこの発明を適用した他の実施例のエンコード側の構成の一例を示すブロック図である。
【図１４】この発明の他の実施例のデコード側の構成の一例を示すブロック図である。
【符号の説明】
２・・・最大値検出回路，３・・・最小値検出回路，５・・・オフセット検出回路、８・・・量子化ステップ計算回路、１０・・・量子化回路、１２ａ、１２ｂ、１４６ａ、１４６ｂ・・・クラス分類適応予測回路
【発明の属する技術分野】
この発明は、例えばディジタルオーディオ信号、ディジタル画像信号等のディジタル情報信号の発生データ量を低減するようにした情報信号符号化装置、符号化方法、および情報信号復号方法に関し、特に、ディジタル情報信号を量子化し、量子化情報とともに付加情報を伝送するものに関する。
【０００２】
【従来の技術】
ディジタルオーディオ信号、ディジタル画像信号等の伝送情報量を低減するために、予測符号化が知られている。例えば１次元ＤＰＣＭは、時間または空間方向において、入力サンプル値と予測値との差分（残差）を形成し、２次元ＤＰＣＭは、空間方向において入力サンプル値と予測値との残差を形成する。ディジタル情報信号は、時間方向、空間方向の相関を有しているので、残差信号のレベルがサンプル値よりも小さいものとなる。従って、残差信号を元の量子化ビット数より少ないビット数により再量子化することが可能で、それによって、情報量を圧縮できる。
【０００３】
残差信号を対象とする量子化装置としては、０付近の量子化ステップ幅を細かくし、レベルが大きいほど、量子化ステップ幅を粗くする非線形量子化装置が周知である。この非線形量子化を含めて従来の量子化装置は、発生しうる残差信号の全てのレベルを量子化対象としている。例えばディジタル画像信号の１サンプル（１画素）が８ビットに量子化されている場合、残差信号としては、（−２５５〜＋２５５）の値が存在しうる。従来の量子化装置は、この全範囲を量子化の対象としている。
【０００４】
従来の量子化装置は、発生しうる残差信号の全範囲を量子化の対象とするので、量子化ビット数を少なくした場合には、量子化精度が低下し、量子化ビット数を多くすると発生データ量が多くなる問題があった。その結果、復号した時に、充分な品質のオーディオ信号、画像信号が得られない問題があった。
【０００５】
この問題を解決するために、本願出願人は、残差信号をブロック化することにより残差信号のレベルの分布を集中させ、より少ない量子化ビット数によって再量子化することを可能とする量子化方法を提案している。この方法では、再量子化時の量子化ステップΔと、残差信号の０の値が含まれるコード信号を示すゼロ位置フラグＺＲとを伝送する必要がある。
【０００６】
【発明が解決しようとする課題】
予測符号化によるデータ量の削減と、再量子化によるデータ量の削減の結果、復号信号の品質の低下を招くことなく、伝送データ量の大幅な削減を達成することができる。しかしながら、量子化ステップΔおよびゼロ位置フラグＺＲをブロック毎に伝送することは、データ量の削減を阻害する。
【０００７】
従って、この発明の目的は、これらの付加情報のデータ量の削減を図ることによって、さらに、量子化出力のデータ量の削減が可能な情報信号符号化装置、符号化方法、並びに復号方法を提供することにある。
【０００８】
【課題を解決するための手段】
請求項１の発明は、入力ディジタル情報信号を発生データ量を少なくするように符号化する情報信号符号化装置において、
入力ディジタル情報信号のサンプル値同士の残差信号を生成する残差信号生成手段と、
残差信号をブロック化するブロック化手段と、
ブロック毎に、最大値および最小値を検出し、最大値および最小値から量子化ステップと、量子化出力中の０が含まれるコードを示すゼロ位置フラグを生成するフラグ生成手段と、
量子化ステップの予測値およびゼロ位置フラグの予測値を生成する予測手段と、
量子化復元値で最も０に近い値と実際の０の値との差の値によって、ブロック化された残差信号を補正する補正手段と、
補正手段によって補正された残差信号を量子化ステップの予測値およびゼロ位置フラグの予測値を使用して再量子化する量子化手段と、
量子化出力を伝送する伝送手段と
からなることを特徴とする情報信号符号化装置である。
【０００９】
請求項５の発明は、入力ディジタル情報信号を発生データ量を少なくするように符号化する情報信号符号化方法において、
入力ディジタル情報信号のサンプル値同士の残差信号を生成する残差信号生成ステップと、
残差信号をブロック化するブロック化ステップと、
ブロック毎に、最大値および最小値を検出し、最大値および最小値から量子化ステップと、量子化出力中の０が含まれるコードを示すゼロ位置フラグを生成するフラグ生成ステップと、
量子化ステップの予測値およびゼロ位置フラグの予測値を生成する予測ステップと、
量子化復元値で最も０に近い値と実際の０の値との差の値によって、ブロック化された残差信号を補正する補正ステップと、
補正ステップによって補正された残差信号を量子化ステップの予測値およびゼロ位置フラグの予測値を使用して再量子化する量子化ステップと、
量子化出力を伝送する伝送ステップと
からなることを特徴とする情報信号符号化方法である。
【００１０】
請求項６の発明は、入力ディジタル情報信号から少なくとも第１および第２の階層データを形成し、第１および第２の階層データを符号化して伝送するようにした情報信号符号化装置において、
第１の階層データより解像度がより低い第２の階層データを形成する階層データ形成手段と、
第２の階層データから第１の階層データを予測する予測手段と、
予測されたデータと第１の階層データとの残差信号を形成する残差信号形成手段と、
残差信号をブロック化するブロック化手段と、
ブロック毎に、最大値および最小値を検出し、最大値および最小値から量子化ステップと、量子化出力中の０が含まれるコードを示すゼロ位置フラグを生成するフラグ生成手段と、
量子化ステップの予測値およびゼロ位置フラグの予測値を生成する予測手段と、
量子化復元値で最も０に近い値と実際の０の値との差の値によって、ブロック化された残差信号を補正する補正手段と、
補正手段によって補正された残差信号を量子化ステップの予測値およびゼロ位置フラグの予測値を使用して再量子化する量子化手段と、
量子化出力を伝送する伝送手段と
からなることを特徴とする情報信号符号化装置である。
【００１１】
請求項７の発明は、入力ディジタル情報信号から少なくとも第１および第２の階層データを形成し、第１および第２の階層データを符号化して伝送するようにした情報信号符号化方法において、
第１の階層データより解像度がより低い第２の階層データを形成する階層データ形成ステップと、
第２の階層データから第１の階層データを予測する予測ステップと、
予測されたデータと第１の階層データとの残差信号を形成する残差信号形成ステップと、
残差信号をブロック化するブロック化ステップと、
ブロック毎に、最大値および最小値を検出し、最大値および最小値から量子化ステップと、量子化出力中の０が含まれるコードを示すゼロ位置フラグを生成するフラグ生成ステップと、
量子化ステップの予測値およびゼロ位置フラグの予測値を生成する予測ステップと、
量子化復元値で最も０に近い値と実際の０の値との差の値によって、ブロック化された残差信号を補正する補正ステップと、
補正ステップによって補正された残差信号を量子化ステップの予測値およびゼロ位置フラグの予測値を使用して再量子化する量子化ステップと、
量子化出力を伝送する伝送ステップと
からなることを特徴とする情報信号符号化方法である。
【００１２】
請求項８の発明は、量子化出力中の０が含まれるゼロ位置フラグと、量子化ステップとにより量子化されたデータを復号する情報信号復号方法において、
ゼロ位置フラグおよび量子化ステップを予測する予測ステップと、
ゼロ位置フラグの予測値および量子化ステップの予測値により量子化出力を代表値へ変換する逆量子化ステップと、
逆量子化ステップによって変換された残差信号をブロック分解し、元の順序へ変換する変換ステップとからなることを特徴とする情報信号復号方法である。
【００１３】
この発明では、量子化で使用したゼロ位置フラグＺＲおよび量子化ステップΔを本質的に伝送する必要がない。従って、伝送データ量を一層削減することができる。
【００１４】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。この一実施例では、ビデオ信号が所定のサンプリング周波数でサンプリングされ、各サンプルが所定の量子化ビット数へ変換されたディジタル画像信号に対して、この発明が適用される。図１は、この発明の一実施例のシステムの構成を全体的に示す。
【００１５】
図１において、１２１で示す入力端子にディジタルビデオ信号が供給される。入力信号が減算器１２３に供給され、減算器１２３の出力（残差信号）がブロック化回路１２４および予測器１２２に供給され、予測器１２２で生成された予測信号が減算器１２３に供給される。減算器１２３は、入力信号から予測信号を減算し、予測残差を発生する。この残差信号がブロック化回路１２４に供給され、ラスター走査の順序からブロックの順序のデータへ変換される。ブロック化された残差信号が符号化ユニット１２５に供給される。符号化ユニット１２５は、後述するように、ブロック化された残差信号をより少ないビット数でもって再量子化するとともに、再量子化に使用した量子化ステップΔおよびゼロ位置フラグＺＲのデータ量をクラス分類適応予測を導入することにより削減する。
【００１６】
符号化ユニット１２５の符号化出力がエラー訂正符号エンコーダ１２６に供給され、エラー訂正符号の冗長コードが付加される。エラー訂正符号エンコーダ１２６の出力が変調部１２７に供給される。変調部１２７は、記録、伝送等に適した形態にディジタル信号を変調する。変調部１２７からの出力信号が記録ユニット１２８に供給され、記録ユニット１２８によって記録信号が情報信号記録媒体１２９に記録される。また、伝送路１３０を介してデータを伝送することも可能で、その場合では、記録ユニット１２８の代わりに伝送ユニットが使用される。量子化モードを指示するモード信号も符号化残差信号とともに、記録、あるいは伝送される。情報信号記録媒体１２９は、磁気、光磁気、相変化等を利用したディスク状、あるいはテープ状の記録媒体である。半導体メモリも一種の記録媒体である。
【００１７】
記録媒体１２９からデータを再生ユニット１３１が再生し、または伝送路１３０を介して伝送されたデータが受信される。再生ユニット１３１により再生されたデータが復調部１３２により復調され、復調出力がエラー訂正符号のデコーダ１３３に供給される。このデコーダ１３３は、冗長コードを利用してエラーを訂正し、また、訂正できないで残ったエラーを目立たないように修整する。
【００１８】
エラー訂正デコーダ１３３の出力が復号化ユニット１３４に供給される。復号化ユニット１３４は、後述するように、符号化ユニット１２５と逆に量子化出力を代表値（量子化復元値）に変換する、逆量子化の処理を行う。復号化ユニット１３４は、伝送が省略された量子化ステップ幅Δおよびゼロ位置フラグＺＲをクラス分類適応予測によって復元し、そして、逆量子化の処理を行う。復号化ユニット１３４から復号された残差信号が発生する。この復号残差信号がブロック分解回路１３５に供給される。ブロック分解回路１３５では、ブロック構造がラスター走査の順序に戻される。
【００１９】
復号残差信号が加算回路１３６に供給される。加算回路１３６により復号画像信号が形成され、出力端子１３７に取り出される。また、この復号画像信号が予測器１３８に供給され、予測信号が生成される。予測信号が加算回路１３６に供給される。
【００２０】
図２は、符号化ユニット１２５の一例を示す。ブロック化回路１２４からのブロック化された残差信号が入力端子１に供給される。図３は、残差信号の形成を概略的に示すものである。図３における一つの矩形の領域が１つの画素と対応している。ａ〜ｈのそれぞれは、局部復号された画素値を示し、Ａ〜Ｐは、符号化される前の画素値を示す。画素値Ａに対しての予測値Ａ’は、近傍の局部復号画素値を使用して予測器１２２により生成される。例えば予測値Ａ’は、Ａ’＝４ｃ−３（ｂ−ｆ）、Ａ’＝ｆ＋ｃ−ｂ等の予測式に従って形成される。画素値Ｂ、Ｃ、・・・に対する予測値も同様の予測式によって計算される。一般式で表すと、予測値は、（αａ＋βｂ＋γｆ、但し、α、β、γは定数）により生成される。
【００２１】
減算器１２３では、画素値（例えばＡ）から予測値（例えばＡ’）が減算され、残差信号Δａが生成される。同様に、残差信号Δｂ、Δｃ、・・・が生成される。ブロック化回路１２４では、生成された残差信号がブロック構造に変換される。例えばブロック化回路１２４によって、図３Ａの太線の枠で示すように、（４×４）のブロックと対応する残差信号Δａ〜Δｐのブロックのデータが形成される。なお、ディジタルオーディオ信号を扱う場合には、時間方向の予測値が形成され、１次元の残差信号のブロックが形成される。
【００２２】
残差信号のレベル範囲は、ブロック化することによって、集中度を高めることが可能である。１画素が８ビットのデータの場合では、１画面の全体の残差信号の発生度数の分布は、０を中心として（−２５５〜＋２５５）の範囲のものであり、残差が０の度数が最大となる。しかしながら、ブロックに分割した場合には、残差の度数分布がもとの分布に比してより集中したものとなる。
【００２３】
これは、１画面と比較して小空間のブロック内の残差は、大きな値となるものが確率的に少なく、また、ブロック内では残差の相関が強いことに因る。従って、ブロック化された残差信号を元の量子化ビット数より少ないビット数でもって再量子化することができる。また、ブロック化された残差信号の分布において、必ずしも０の値の度数が最大とならない。例えば、ブロック内で輝度のレベルが例えば対角線方向に除々に変化する場合等では、０の値の度数が最大とならない分布が生じる。なお、残差信号の分布の集中度を高める方法は、ブロック化が一例であって、これ以外の方法も可能である。
【００２４】
図２に戻って、符号化ユニット１２５について説明する。入力端子１からの残差信号が最大値検出回路２、最小値検出回路３、遅延回路４に供給される。最大値検出回路２では、ブロック毎の最大値ＭＡＸが検出され、最小値検出回路３では、ブロック毎の最小値ＭＩＮが検出される。検出された最大値ＭＡＸおよび最小値ＭＩＮがオフセット検出回路５および減算回路７へ供給される。なお、入力残差信号と同期したタイミング生成器６が設けられ、タイミング生成器６によって、残差信号のブロック位置と対応したタイミング信号が生成される。
【００２５】
減算回路７では、ＤＲ＝ＭＡＸ−ＭＩＮの演算によって、ダイナミックレンジＤＲが求められる。ダイナミックレンジＤＲが量子化ステップ計算回路８に供給される。この回路８によって、（Δ＝ＤＲ／２n ）により量子化ステップΔが計算される。
【００２６】
オフセット検出回路５では、後述するように、ブロック化された残差信号、最大値ＭＡＸおよび最小値ＭＩＮが供給され、そのブロックが０の残差信号を含む場合、最大値ＭＡＸと最小値ＭＩＮに応じた複数の量子化復元値の中から最も０に近い量子化復元値が０となるように、データを補正する値、すなわち、オフセットoff が算出され、また、０の値を含む量子化コードを指示するゼロ位置フラグＺＲが検出される。算出されたオフセットoff は、オフセット検出回路５から減算回路９に供給される。
【００２７】
減算回路９には、遅延時間補償用の遅延回路４から残差信号が供給される。減算回路９において、残差信号からオフセットoff が減算される。減算回路９からの修正された残差信号が量子化回路１０に供給される。量子化回路１０では、量子化ステップによって、修正残差信号が再量子化され、量子化出力ｑが量子化回路１０から発生する。
【００２８】
ここで、オフセットoff によりなされるデータの修正について概略的に図４を参照して説明する。上述したように予測符号化により発生し、ブロック化された残差信号は、図４Ａに示すように、そのブロックによってさまざまな偏りを持っている。図４Ａにおいて、ａで示す残差信号は、負側に偏っており、ｂで示す残差信号は、最大度数が０の値と一致したものであり、ｃで示す残差信号は、正側に偏っている。図４Ｂは、あるブロックの残差信号の度数分布を示している。残差信号を量子化する場合では、例えばＭＡＸおよびＭＩＮの間が５等分され、その範囲に属する残差信号に同一のコードが割り当てられる。そのコードは、復元されると、範囲の中央の代表値（矢印で示す）へ変換される。一般的には、コードのビット数がｎの場合、２n の個数の範囲にＭＡＸおよびＭＩＮの間が分割される。
【００２９】
この図４Ｂから分かるように、一般的に残差信号の実際の０の値と量子化復元値の０の値とにずれが生じる。残差信号の０の値を０に復元することは、原信号を復元するために重要である。若し、残差信号の０の値が０に復元されない場合、その誤差が蓄積され、大きな画質劣化の原因となる。好ましくは、予測誤差の累積を防止するために、周期的にリフレッシュ用の原データを伝送するようになされる。
【００３０】
この一実施例では、量子化復元値で最も０に近い値と、実際の０の値の誤差を算出し、その値をオフセットoff として、減算回路９において、残差信号から減算する。この結果、図４Ｂの残差信号が図４Ｃに示すように補正されることになり、残差信号の０が量子化復元値においても０で表現することが可能となる。また、この発明では、伝送データ量を削減するために、ダイナミックレンジ情報（ＤＲ、ＭＩＮ、ＭＡＸ等）を伝送しない。そのため、量子化ステップΔと、量子化出力のどこに０の値が含まれるかを示すゼロ位置フラグＺＲが必要とされる。さらに、この発明では、後述のように、量子化ステップΔおよびゼロ位置フラグＺＲの伝送も省略するものである。
【００３１】
各ブロックのオフセットoff およびゼロ位置フラグＺＲを発生する、オフセット検出回路５の一例を図５に示す。減算器２１に対してブロックの最大値ＭＡＸおよび最小値ＭＩＮが供給され、ＭＡＸ−ＭＩＮの減算によって、ブロックのダイナミックレンジＤＲが算出される。ダイナミックレンジＤＲがゼロ位置検出回路２２、コード検出回路２３および演算回路２５に供給される。ゼロ位置検出回路２２から出力端子２４にゼロ位置フラグＺＲが取り出され、演算回路２５から出力端子２６にオフセットoff が取り出される。
【００３２】
オフセット検出回路５のゼロ位置検出回路２２は、再量子化のビット数ｎとダイナミックレンジＤＲと最小値ＭＩＮとから、下記の式（１）に基づいて、ゼロ位置フラグＺＲを発生する。
【００３３】
オフセット検出回路５のコード検出回路２３は、再量子化のビット数ｎとダイナミックレンジＤＲと最小値ＭＩＮとから、下記の式に基づいて、コードcodeを発生する。
【００３４】
演算回路２５は、ダイナミックレンジＤＲと最小値ＭＩＮとcodeとから、下記の式に基づいて、オフセットoff を発生する。
この発明の一実施例の量子化処理について、図６を参照してより詳細に説明する。図６Ａは、あるブロックの残差信号のレベル範囲を具体的に示す。すなわち、（ＭＩＮ＝−５、ＭＡＸ＝＋３５、ＤＲ＝４０）であり、再量子化のビット数ｎが２とされ、従って、Δ＝４０／２2 ＝１０である。このブロックの残差信号が４個のレベル範囲の何れに含まれるかによって、（００）（０１）（１０）（１１）のコードｑに変換される。ゼロ位置フラグＺＲは、残差信号の０が含まれるコード（００）、またはこのコードを示すものである。各コードと対応する復元値は、各レベル範囲の中央の値（０、＋１０、＋２０、＋３０）である。
【００３６】
量子化は、量子化ステップによって残差信号を除算し、商を整数化する処理である。しかしながら、残差信号のレベル値を除算したのみでは、ブロックの残差信号の相対的値（量子化出力）が決定できない。そのために、基準位置を示すものとして、ゼロ位置フラグＺＲが必要とされる。さらに、図６Ａに示すものと異なり、ブロック化された残差信号のレベル範囲が０を跨がない場合もありうる。残差信号の最小値ＭＩＮが０より大きい場合、残差信号の最大値ＭＡＸが０より小さい場合がそうである。これらの場合では、０の値の残差信号が存在するものとみなして、ゼロ位置フラグＺＲを生成する。
【００３７】
図６Ａに示される残差信号は、残差信号の０の値が量子化復元値の０と一致する。すなわち、off ＝０の例である。図６Ａのように量子化されたデータを伝送する時に、ゼロ位置フラグＺＲと量子化ステップΔとコードｑとを伝送すれば良い。復号側では、コードｑに量子化ステップΔを乗算し、ゼロ位置フラグＺＲで示されるコードの復元値を０とする、逆量子化がなされる。
【００３８】
図６Ｂは、ブロックの残差信号の他の具体的例である。オフセットoff による残差信号の修正を行わないとすると、逆量子化によって、残差信号の−３の値が復元値０とされる。オフセットoff による修正を行うことによって、図６Ｃに示すように、残差信号の０の値を量子化復元値の０と一致させることができる。
【００３９】
上述した量子化の場合では、量子化ステップΔおよびゼロ位置フラグＺＲを伝送する必要がある。この発明の一実施例は、これらの付加情報のデータ量をより削減するものである。すなわち、伝送データ量を削減するために、例外処理を除くと、これらの付加情報を伝送しない。例外処理は、ブロックが画面の周辺部に位置するために、予測に必要な周辺のブロックの付加情報が存在しない場合になされる。例外処理では、生成された量子化ステップΔおよびゼロ位置フラグＺＲを伝送する。
【００４０】
図２に戻って説明すると、量子化回路１０では、オフセットoff により修正された残差信号が量子化ステップΔにより再量子化され、量子化出力ｑが生成される。この場合に使用する量子化ステップおよびゼロ位置フラグは、スイッチング回路１３ａ、１３ｂを介して供給される。スイッチング回路１３ａは、オフセット検出回路５において検出されたゼロ位置フラグＺＲと、クラス分類適応予測回路１２ａにより予測された予測値ＺＲ’とを選択する。スイッチング回路１３ｂは、量子化ステップ計算回路８において計算された量子化ステップΔと、クラス分類適応予測回路１２ｂにより予測された予測値Δ’とを選択する。
【００４１】
スイッチング回路１３ａの出力は、クラス分類適応予測回路１２ａにも供給され、スイッチング回路１３ｂの出力は、クラス分類適応予測１２ｂにも供給される。さらに、オフセット検出回路５からのゼロ位置フラグＺＲがゲート回路１４ａを介してフレーミング回路１５に供給される。量子化ステップ計算回路８の出力Δがゲート回路１４ｂを介してフレーミング回路１５に供給される。フレーミング回路１５には、量子化回路１０の出力ｑも供給される。フレーミング回路９の出力端子１０には、これらの入力データが所定のフレーム構造のデータとして出力される。
【００４２】
スイッチング回路１３ａ、１３ｂ、ゲート回路１４ａ、１４ｂは、接続線の表記が省略されているが、タイミング生成器６からのタイミング信号で制御される。上述したように、量子化の対象のブロックが画面の周辺に位置している場合では、予測に必要な周辺のデータが存在しないために、例外処理がなされる。この例外処理では、スイッチング回路１３ａ、１３ｂが実際のゼロ位置フラグＺＲおよび量子化ステップΔを選択し、また、ゲート回路１４ａ、１４ｂがオンする。例外処理は、画面の周辺位置でなされるので、タイミング生成器６からは、この周辺の位置のブロックを指示するタイミング信号が発生し、このタイミング信号によって、スイッチング回路１３ａ、１３ｂ、ゲート回路１４ａ、１４ｂが制御される。このように、この発明の一実施例では、例外処理では、付加情報（ＺＲ、Δ）を伝送し、通常処理では、付加情報の伝送を省略することができる。
【００４３】
クラス分類適応予測回路１２ａは、スイッチング回路１３ａからのゼロ位置フラグを使用して予測値ＺＲ’を推定する。クラス分類適応予測回路１２ａは、クラス毎に予め学習により求められている予測係数ｘ1 、ｘ2 、ｘ3 が記憶されているメモリを有し、供給されたゼロ位置フラグの周辺のゼロ位置フラグのパターンからクラスを決定し、そのクラスに応じて予測係数ｘ1 、ｘ2 、ｘ3 を読み出す。そして、その読み出された予測係数とすでに供給されているゼロ位置フラグＺＲとを用いて、ゼロ位置フラグＺＲの予測値ＺＲ´を推定する。
【００４４】
例えば、図８Ａの太線で囲まれたブロックのゼロ位置フラグＺＲに対応するゼロ位置フラグの予測値ＺＲ´を推定する時、その推定対象ブロックに対して、垂直方向における１ブロック上に存在するブロック、垂直方向における１ブロック上でかつ水平方向における１ブロック前に存在するブロック（つまり、左斜め上方向に存在するブロック）および水平方向における１ブロック前に存在するブロックのゼロ位置フラグＺＲ1 、ＺＲ2 およびＺＲ3 が使用される。図８は、簡単のため、１画面が（４×６＝２４）ブロックで構成される例を示している。これらの周辺のゼロ位置フラグＺＲ１、ＺＲ２およびＺＲ３のパターンに基づいてクラスが決定され、そのクラスに対応する予め学習により求められている予測係数ｘ1 、ｘ2 、ｘ3 がメモリから読み出される。そして、次の式（３）を用いて、ゼロ位置フラグの予測値ＺＲ´が算出される。
【００４５】
ＺＲ´＝ｘ1 ×ＺＲ1 ＋ｘ2 ×ＺＲ2 ＋ｘ3 ×ＺＲ3 （３）
【００４６】
また、クラス分類適応予測回路１２ｂは、クラス毎に予め学習により求められている予測係数ｙ1 、ｙ2 、ｙ3 とが記憶されているメモリを有し、周辺の量子化ステップのパターンからクラスを決定し、そのクラスに応じて予測係数ｙ1 、ｙ2 、ｙ3 を読み出す。そして、その読み出された予測係数と周辺の量子化ステップから量子化ステップの予測値Δ´を推定する。
【００４７】
例えば、図８Ｂの太線で囲まれたブロックの量子化ステップΔに対応する量子化ステップの予測値Δ´を推定する時、その推定対象ブロックに対して、垂直方向における１ブロック上に存在するブロック、垂直方向における１ブロック上でかつ水平方向における１ブロック前に存在するブロック（つまり、左斜め上方向に存在するブロック）および水平方向における１ブロック前に存在するブロックの量子化ステップΔ１、Δ２およびΔ３が使用される。そして、供給された量子化ステップΔの周辺の量子化ステップΔ１、Δ２およびΔ３のパターンに基づいてクラスが決定され、そのクラスに対応する予め学習により求められている予測係数ｙ1 、ｙ2 、ｙ3 がメモリから読み出される。そして、次の式（４）を用いて、量子化ステップの予測値Δ´が算出される。
【００４８】
Δ´＝ｙ1 ×Δ1 ＋ｙ2 ×Δ2 ＋ｙ3 ×Δ3 （４）
【００４９】
クラス分類適応予測回路１２ａ、１２ｂは、上述したように、予測対象ブロックの周辺のブロックのゼロ位置フラグおよび量子化ステップを使用するので、図８Ｃにおいて斜線で示すように、予測対象ブロックが画面の周辺部に位置する時では、例外処理が必要とされる。これらの周辺のブロックでは、前述のように、実際に求められたゼロ位置フラグＺＲおよび量子化ステップΔが使用される。なお、予測のためにＺＲ４（図８Ａ）、Δ４（図８Ｂ）で示す値を使用しても良い。この場合では、例外処理が必要とされるブロック数がより増加する。
【００５０】
さらに、図７を用いて、クラス分類適応予測回路１２ａの構成について詳細に説明する。入力端子３１からクラス分類適応予測回路１２ａに供給されたゼロ位置フラグは、周辺コード値形成部３２に供給される。周辺コード値形成部３２は、図８Ａに示されるように、予測対象ブロックの周辺に存在する３つのゼロ位置フラグＺＲ１、ＺＲ２およびＺＲ３をクラス分類部３３に供給する。
【００５１】
クラス分類部３３は、３つのゼロ位置フラグＺＲ１、ＺＲ２およびＺＲ３のパターンを検出し、そのパターンに対応するクラスコードを予測係数メモリ３４に供給する。クラス分類部３３は、１ビットＡＤＲＣ等で構成されており、その場合は、３ビットのクラスコードを出力する。予測係数メモリ３４には、予め学習により求められたクラス毎の予測係数が記憶されており、予測係数メモリ３４は、クラスコードをアドレス信号として、そのアドレス信号に対応する予測係数ｘ1 、ｘ2 、ｘ3 を予測演算部３６に供給する。また、予測演算部３６には、遅延部３５を介して３つのゼロ位置フラグＺＲ１、ＺＲ２およびＺＲ３が供給される。予測演算部３５は、予測係数ｘ1 、ｘ2 、ｘ3 および３つのゼロ位置フラグＺＲ１、ＺＲ２およびＺＲ３を用いて、ゼロ位置フラグＺＲの予測値ＺＲ´を算出する。
【００５２】
生成された予測値ＺＲ´は、図２に示されるように、スイッチング回路１３ａに供給される。例外処理では、周辺に必要とするゼロ位置フラグが存在しないので、スイッチング回路１３ａがオフセット検出回路５からのゼロ位置フラグＺＲを選択し、通常処理では、予測されたゼロ位置フラグＺＲ’を選択する。
【００５３】
クラス分類適応予測回路１２ｂは、上述したクラス分類適応予測回路１２ａと同様の構成とされる。すなわち、周辺の３個の量子化ステップΔ１、Δ２、Δ３と、予め学習により求められ、メモリに格納されている予測係数ｙ1 、ｙ2 、ｙ3 とを使用して量子化ステップの予測値Δ’を生成する。生成された予測値Δ´は、図２に示されるように、スイッチング回路１３ｂに供給される。例外処理では、周辺に必要とする量子化ステップが存在しないので、スイッチング回路１３ｂが量子化ステップ計算回路８からの量子化ステップΔを選択し、通常処理では、予測された量子化ステップΔ’を選択する。
【００５４】
次に、上述したクラス分類適応予測回路１２ａ、１２ｂにおいて用いられる予測係数について説明する。この予測係数は、予め学習により作成される。ここでは、ゼロ位置フラグに対応するクラス毎の予測係数ｘ１、ｘ２、ｘ３を生成する際の学習の手順について説明する。予測係数ｘ１、ｘ２、ｘ３は、最小自乗法により生成される。最小自乗法は、以下に述べるように適用される。
【００５５】
学習時における一般化した例として、Ｘを入力データ（ＺＲ1 、ＺＲ2 、ＺＲ3 ）、Ｗを予測係数（ｘ1 、ｘ2 、ｘ3 ）、Ｙを予測値（ＺＲ’）として次式（５）を考える。
観測方程式； ＸＷ＝Ｙ （５）
【００５６】
【数１】
この観測方程式により収集されたデータに対して最小二乗法を適用する。式（１）の例では、ｎ＝３で、ｍが学習データ数となる。式（５）および（６）の観測方程式をもとに、次式（７）の残差方程式を考える。
【００５８】
【数２】
式（７）の残差方程式から、各予測係数ｗi の最確値は、誤差の二乗和を最小にする条件が成り立つ場合と考えられる。誤差の二乗和は、次の数式で示される。
【００６０】
【数３】
すなわち、次式（８）の条件を考慮すれば良いわけである。
【００６２】
【数４】
式（８）のｉに基づく条件を考え、これを満たすｗ1 、ｗ2 、‥‥、ｗn を算出すれば良い。そこで、残差方程式の式（７）から次式（９）が得られる。
【００６４】
【数５】
【００６５】
【数６】
【００６６】
【数７】
式（１１）の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各ｗi の最確値を求めることができる。そして、掃き出し法（Gauss-Jordanの消去法）を用いて連立方程式を解く。したがって、この上述した方法を用いて、予測係数を各クラス毎に求める。
【００６８】
ここで、この最小自乗法を用いた学習をソフトウェアで行う一例を図９のフローチャートを用いて説明する。まず、ステップＳ１の学習データ形成において、予測係数ｗｉを学習するために、既に知られている画像に対応した学習データが生成される。つまり、ゼロ位置フラグの予測値ＺＲ´を推定する場合は、学習対象のゼロ位置フラグＺＲが生成され、量子化ステップの予測値Δ´を推定する場合は、学習対象の量子化ステップΔが生成される。なお、このように学習データを生成する際には、１つの画像のみを用いるのではなく、複数の画像を用いて多数の画像データを生成すれば、より正確な予測係数を得ることができる。
【００６９】
ステップＳ２において、ステップＳ１で生成した学習データの数が予測係数を得るために必要なだけ生成されたか否かを判定する。学習データ数が満たないと判定された場合にはステップＳ３を実行する。ステップＳ３のクラス決定において、学習データをクラス分類する。クラス分類は、まず、３個の周辺コード値からクラスが決定される。３個の周辺コード値は、例えば、その推定対象ブロックに対応する値に対して、垂直方向における１ブロック上に存在するブロックに対応する値、垂直方向における１ブロック上でかつ水平方向における１ブロック前に存在するブロック（つまり、左斜め上方向に存在するブロック）に対応する値および水平方向における１ブロック前に存在するブロックに対応する値である。つまり、クラス分類適応予測回路１２ａ、４６ａでは、上述した３個の周辺位置のブロックのＺＲを使用し、クラス分類適応予測回路１２ｂ、４６ｂでは、上述した３個の周辺位置のブロックのΔを使用する。
【００７０】
次に、ステップＳ４の正規方程式生成において、各クラス毎に式（１１）に示す正規方程式を生成する。データ終了の判定のステップ２において、学習対象データ数の終了が確認されるまで、正規方程式の生成プロセスが繰り返される。
【００７１】
そして、学習対象データ数の終了が確認された場合、このステップＳ２（データ終了）からステップＳ５の予測係数決定へ制御が移る。ステップＳ５（予測係数決定）では、多くの学習データより生成された、クラス毎の式（１１）の正規方程式が解かれる。その連立方程式の解法として、この一例では、上述した掃き出し法が用いられる。こうして得られた各クラス毎の予測係数は、ステップＳ６の予測係数登録において、クラス別にアドレス分割されたＲＯＭ等の記憶部に登録される。このような学習過程により、クラス分類適応予測演算部の予測係数が生成される。
【００７２】
さらに、この発明は、クラス毎に予測係数が記憶された予測係数メモリを設けるとともに、予測係数メモリからの予測係数と周辺コード値とを用いて、予測演算を行う予測演算部を設けて、入力されたコード値に対応する予測値を出力する場合について述べた。しかしながら、この発明はこれに限らず、予測係数メモリと予測演算部に換えて、クラス毎に予測値が記憶された予測値メモリを設けることも可能である。その場合、予測値に記憶される予測値は、予め学習により求められており、クラス分類適用予測部の出力値に対応する。
【００７３】
このような方法は、例えば、本出願人により特開平５−３２８１８５号公報において提案されている。実際に、このような予測値を求める方法として、加重平均を用いた学習方法がある。また、他の方法として、正規化による学習方法がある。
【００７４】
次に、図１０を参照して、図２中の復号化ユニット１３４の一例について説明する。エラー訂正デコーダ１３３からの再生、あるいは受信データが復号化ユニット１３４の入力端子１４１に供給される。フレーム分解回路１４２によって、残差信号のコードｑと、ゼロ位置フラグＺＲと、量子化ステップΔとが分離される。また、タイミング生成器１４３が設けられ、入力データと同期してブロック位置を指示するタイミング信号が生成される。符号化ユニット１２５と同様に、タイミング生成器１４３によってスイッチング回路１４７ａ、１４７ｂを制御するタイミング信号が生成される。
【００７５】
分離されたコードｑが逆量子化回路１４４に供給され、コードｑが逆量子化され、出力端子１４８に復元された代表値が取り出される。この代表値は、オフセットoff により修正されているので、実際の残差信号の０の値と対応して０となる。逆量子化回路１４４に対しては、スイッチング回路１４７ａにより選択されたゼロ位置フラグと、スイッチング回路１４７ｂにより選択された量子化ステップとが供給される。これらの付加情報を使用してコードが代表値に変換される。出力端子１４８に取り出された復号残差信号がブロック分解回路１３５に供給される（図１参照）。
【００７６】
スイッチング回路１４７ａは、通常処理では、クラス分類適応予測回路１４６ａからの予測値ＺＲ’を選択する。スイッチング回路１４７ｂは、通常処理では、クラス分類適応予測回路１４６ａからの予測値Δ’を選択する。クラス分類適応予測回路１４６ａは、符号化ユニット１２５のクラス分類適応予測回路１２ａと同様に、周辺ブロックのゼロ位置フラグを使用して予測値ＺＲ’を生成する。クラス分類適応予測回路１４６ｂは、符号化ユニット１２５のクラス分類適応予測回路１２ｂと同様に、周辺ブロックの量子化ステップを使用して予測値Δ’を生成する。これらのクラス分類適応予測回路１４６ａ、１４６ｂについては、説明の重複を避けるために省略する。
【００７７】
次に、この発明を階層符号化に対して適用した他の実施例について説明する。ここで説明する階層符号化装置は、階層間で予測を行ない、また、階層間データに対し単純な算術式を用いることで、符号化対象画素数の増加を防止することができるものである。
【００７８】
図１１を参照してこの階層符号化方法について説明する。図１１は、一例として第１階層を最下位階層（原画）とし、第４階層を最上位階層とする４階層からなる階層間の模式図を示している。例えば、上位階層データ生成法として、空間的に対応する４画素の下位階層データの平均値を採用する場合、伝送画素数が増加しないようにできる。
【００７９】
すなわち、上位階層データをＭ、下位階層画素値をｘ0 、ｘ1 、ｘ2 、ｘ3 とすると、
Ｍ＝１／４・（ｘ0 ＋ｘ1 ＋ｘ2 ＋ｘ3 ）
によりデータＭが形成される。そして、データＭと、４個のデータの内の例えばｘ3 以外の３個のデータを伝送する。受信あるいは再生側では、
ｘ3 ＝４・Ｍ−（ｘ0 ＋ｘ1 ＋ｘ2 ）
という単純な算術式により非伝送画素ｘ3 を容易に復元することができる。図１１において、斜線の矩形は、非伝送画素を示している。
【００８０】
図１２は、上述した平均化を使用する例えば５階層の階層符号化の構成を示す。第１階層が入力画像の解像度レベルであるとする。この第１階層のブロックサイズは、（１×１）である。第２階層データは、第１階層データの４画素平均により生成される。この例では、第１階層データＸ1 （０）〜Ｘ1 （３）の平均値により、第２階層データＸ2 （０）が生成される。Ｘ2 （０）に隣接する第２階層データＸ2 （１）〜Ｘ2 （３）も同様に第１階層データの４画素平均により生成される。この第２階層のブロックサイズは、（１／２×１／２）である。
【００８１】
さらに、第３階層データは、空間的に対応する第２階層データの４画素平均により生成される。この第３階層のブロックサイズは、（１／４×１／４）である。また、第４階層のデータも同様に第３階層のデータから生成される。この第４階層のブロックサイズは、（１／８×１／８）である。最後に、最上位階層である第５階層データＸ5 （０）が第４階層データＸ4 （０）〜Ｘ4 （３）の平均値により生成される。この第５階層のブロックサイズは、（１／１６×１／１６）である。
【００８２】
上述した符号化対象画素数の増加を防止した階層構造データに対し、上位階層データにクラス分類適応予測を適用することで、下位階層データを予測し、下位階層データとその予測値との差分（すなわち、残差信号）を生成することで伝送データ量の削減を図ることができる。図１３は、そのような符号化ユニットを示す。入力端子４１を介して第１階層データｄ０が入力画像データｄ０として平均化回路４２および減算器４６へ供給される。第１階層データが元の解像度の画像データである。
【００８３】
入力画素データｄ０は、平均化回路４２において、１／４平均処理が実行され、階層データｄ１が生成される。この階層データｄ１は、図１２に示す第２階層データに対応する。生成された階層データｄ１は、平均化回路４３および減算器４７へ供給される。
【００８４】
階層データｄ１に対して、平均化回路４３では、平均化回路４２と同様な処理が施され、階層データｄ２が生成される。この階層データｄ２は、第３階層データに対応する。生成された階層データｄ２は、平均化回路４４および減算器４８へ供給される。また、平均化回路４４でも同様に階層データｄ２に対して１／４平均処理がなされ、階層データｄ３が生成される。この階層データｄ３は、第４階層データに対応する。生成された階層データｄ３は、平均化回路４５および減算器４９へ供給される。さらに、平均化回路４５でも同様に階層データｄ３に対して１／４平均処理がなされ、階層データｄ４が生成される。この階層データｄ４は、第５階層データに対応する。生成された階層データｄ４は、量子化器５４へ供給される。
【００８５】
そして、これら５つの階層データについて階層間で予測が行われる。先ず、第５階層においてなされる圧縮のための量子化処理は、量子化器５４によりなされる。この量子化器５４の出力データｄ２１が可変長符号のエンコーダ７１に供給されると共に、逆量子化器５８へも供給される。エンコーダ７１の出力が出力端子７６に第５階層のデータとして取り出される。符号化データｄ２１が供給された逆量子化器５８の出力データｄ１６がクラス分類適応予測回路６２へ供給される。
【００８６】
クラス分類適応予測回路６２では、データｄ１６を使用して予測処理がなされ、第４階層データの予測値ｄ１２が生成され、この予測値ｄ１２が減算器４９へ供給される。この減算器４９では、平均化回路４４から供給される階層データｄ３と予測値ｄ１２との差分値が求められ、その差分値ｄ８が量子化器５３へ供給される。
【００８７】
差分値ｄ８が供給された量子化器５３では、量子化器５４と同様に量子化ビット数を低減するように、再量子化がなされる。この量子化器５３の出力データが演算器６６および逆量子化器５７へ供給される。この演算器６６では、４画素から１画素を間引く処理が行われる。演算器６６から出力されるデータｄ２０が可変長符号のエンコーダ７０で符号化され、エンコーダ７０の出力が出力端子７５に第４階層の出力データとして取り出される。
【００８８】
クラス分類適応予測回路６２により予測された第４階層データｄ１２と、逆量子化器５７の出力データ（復号残差信号）ｄ１５がクラス分類適応予測回路６１へ供給される。クラス分類適応予測回路６１では、データｄ１２に対してデータｄ１５を加算することによって、第４階層のローカル復号データを形成し、このローカル復号データを使用して予測処理がなされ、第３階層データの予測値ｄ１１が生成され、この予測値ｄ１１が減算器４８へ供給される。この減算器４８では、平均化回路４３から供給されるデータｄ２と予測値ｄ１１との差分値が求められ、その差分値ｄ７が量子化器５２へ供給される。
【００８９】
差分値ｄ７が供給された量子化器５２の出力データが演算器６５および逆量子化器５６へ供給される。この演算器６５では、４画素から１画素を間引く処理が行われる。演算器６５から出力される第３階層データｄ１９が可変長符号のエンコーダ６９に供給され、エンコーダ６９の出力が出力端子７４に第３階層のデータとして取り出される。
【００９０】
クラス分類適応予測回路６１により予測された第３階層データｄ１１と、量子化器５２から符号化データが供給された逆量子化器５６の出力データｄ１４がクラス分類適応予測回路６０へ供給される。クラス分類適応予測回路６０では、データｄ１１に対してデータｄ１４を加算することによって、第３階層のローカル復号データを形成し、このローカル復号データを使用して予測処理がなされ、第２階層データの予測値ｄ１０が生成され、この予測値ｄ１０が減算器４７へ供給される。この減算器４７では、平均化回路４２から供給されるデータｄ１と予測値ｄ１０との差分値が求められ、その差分値ｄ６が量子化器５１へ供給される。
【００９１】
量子化器５１の出力データは、演算器６４および逆量子化器５５へ供給される。この演算器６４では、４画素から１画素を間引く処理が行われる。演算器６４から出力される第２階層データｄ１８が可変長符号のエンコーダ６８に供給され、エンコーダ６８の出力が出力端子７３に第２階層のデータとして取り出される。
【００９２】
クラス分類適応予測回路６０により予測された第２階層データｄ１０と、量子化器５１から符号化データが供給された逆量子化器５５の出力データｄ１３がクラス分類適応予測回路５９へ供給される。クラス分類適応予測回路５９では、データｄ１０に対してデータｄ１３を加算することによって、第２階層のローカル復号データを形成し、このローカル復号データを使用して予測処理がなされ、第１階層データの予測値ｄ９が生成され、この予測値ｄ９が減算器４６へ供給される。この減算器４６では、入力端子４１から供給される入力画素データｄ０と予測値ｄ９との差分値が求められ、その差分値ｄ５が量子化器５０へ供給される。
【００９３】
差分値ｄ５が供給された量子化器５０の出力データは、演算器６３へ供給される。この演算器６３では、４画素から１画素を間引く処理が行われる。演算器６３から出力される第１階層データｄ１７が可変長符号のエンコーダ６７に供給され、エンコーダ６７の出力が出力端子７２に第１階層のデータとして取り出される。
【００９４】
クラス分類適応予測回路５９、６０、６１、６２のそれぞれは、予測しようとする下位階層の画素をその空間的に近傍の複数の画素（上位階層に含まれる）のレベル分布に基づいて予測するものである。これらのクラス分類適応予測回路は、前述した図７と同様の構成とされているきで、その説明は、簡単のため省略する。
【００９５】
上述した一実施例における符号化ユニット１２５（図２参照）と同様の構成が階層符号化のエンコーダ側にも設けられている。つまり、符号化ユニット１２５の構成と同様の構成を量子化器５０、５１、５２、５３、５４がそれぞれ有する。
【００９６】
次に、上述のエンコーダと対応する階層符号化のデコーダ側の構成例を図１４に示す。エンコーダ側で生成された各階層データは、ｄ３０〜ｄ３４として入力端子８１、８２、８３、８４、８５にそれぞれ供給される。そして、可変長符号のデコーダ８６、８７、８８、８９、９０にて可変長符号の復号がなされる。これらのデコーダに対して、逆量子化器９１、９２、９３、９４、９５がそれぞれ接続される。
【００９７】
先ず、第５階層入力データｄ３４は、逆量子化器９５において、エンコーダで施された量子化に対応する復号処理が行われ、画像データｄ３９となり、クラス分類適応予測回路１０７および演算器１０３へ供給される。また画像データｄ３９は、第５階層の画像出力として、出力端子１１２から取り出される。
【００９８】
クラス分類適応予測回路１０７では、第４階層の画像データに対してクラス分類適応予測が施され、第４階層データの予測値ｄ４７が生成される。逆量子化器９４からのデータｄ３８（すなわち、差分値）と予測値ｄ４７とが加算器９９で加算される。加算器９９から画像データｄ４３が演算器１０３へ供給され、演算器１０３では、非伝送画素の値を求めるために、上述した演算が実行され、逆量子化器９５から供給された画像データｄ３９と画像データｄ４３から第４階層の全画素値が復元される。この演算器１０３において、復元された全画素値は、画像データｄ５１として、クラス分類適応予測回路１０６および演算器１０２へ供給される。また画像データｄ５１は、第４階層の出力として、出力端子１１１から取り出される。
【００９９】
クラス分類適応予測回路１０６では、第３階層の画像データに対してクラス分類適応予測が施され、第３階層データの予測値ｄ４６が生成される。逆量子化器９３からのデータｄ３７と予測値ｄ４６とが加算器９８で加算される。加算器９８から画像データｄ４２が演算器１０２へ供給され、演算器１０２により非伝送画素の値が求められ、演算器１０３から供給された画像データｄ５１と画像データｄ４２から第３階層の全画素値が復元される。この演算器１０２において、復元された全画素値は、画像データｄ５０として、クラス分類適応予測回路１０５および演算器１０１へ供給される。また画像データｄ５０は、第３階層の出力として、出力端子１１０から取り出される。
【０１００】
また、クラス分類適応予測回路１０５では、第２階層の画像データに対してクラス分類適応予測が施され、第２階層データの予測値ｄ４５が生成される。逆量子化器９２からのデータｄ３６と予測値ｄ４５とが加算器９７で加算される。加算器９７から画像データｄ４１が演算器１０１へ供給され、演算器１０１により非伝送画素の値が求められ、演算器１０２から供給された画像データｄ５０と画像データｄ４１から第２階層の全画素値が復元される。この演算器１０１において、復元された全画素値は、画像データｄ４９として、クラス分類適応予測回路１０４および演算器１００へ供給される。また画像データｄ４９は、第２階層の出力として、出力端子１０９から取り出される。
【０１０１】
さらに、クラス分類適応予測回路１０４では、第１階層の画像データに対してクラス分類適応予測が施され、第１階層データの予測値ｄ４４が生成される。逆量子化器９１からのデータｄ３５と予測値ｄ４４とが加算器９６で加算される。加算器９６から画像データｄ４０が演算器１００へ供給され、演算器１００により非伝送画素の値が求められ、演算器１０１から供給された画像データｄ４９と画像データｄ４０から第１階層の全画素値が復元される。この演算器１００において、復元された全画素値は、画像データｄ４８として、第１階層の出力として、出力端子１０８から取り出される。クラス分類適応予測回路１０４、１０５、１０６、１０７のそれぞれは、図７に示すのと同様の構成を有している。
【０１０２】
上述した一実施例の復号化ユニット１３４と同様の構成を逆量子化器９１、９２、９３、９４、９５がそれぞれ有する。従って、上述した階層符号化に対してこの発明を適用した他の実施例によっても、上述した一実施例と同様に、ゼロ位置フラグＺＲおよび量子化ステップΔを伝送する必要がなく、伝送データ量をより少なくすることができる。
【０１０３】
【発明の効果】
この発明は、再量子化で発生する量子化値のコードのビット数を減少させるようにした符号化（あるいは量子化）において、伝送する必要がある、付加情報（ＺＲ、Δ）のデータ量を大幅に削減することができ、伝送データ量を一層低減することができる。
【図面の簡単な説明】
【図１】この発明を適用できる記録／再生、あるいは伝送システムの一例のブロック図である。
【図２】この発明の一実施例のブロック図である。
【図３】この発明の一実施例中の残差信号の生成と、そのブロック化の説明に用いる略線図である。
【図４】この発明の一実施例における量子化処理の説明に用いる略線図である。
【図５】この発明の一実施例中のオフセット検出回路の一例のブロック図である。
【図６】この発明の一実施例中の量子化処理の説明に用いる略線図である。
【図７】この発明の一実施例中のクラス分類適応予測回路の構成を示すブロック図である。
【図８】クラス分類適応予測回路の処理を説明するために使用する略線図である。
【図９】クラス分類適応予測回路の係数の学習方法の一例を示すフローチャートである。
【図１０】この発明の一実施例における復号化ユニットのブロック図である。
【図１１】階層符号化の一例の説明に用いる略線図である。
【図１２】階層符号化の一例の説明に用いる略線図である。
【図１３】階層符号化に対してこの発明を適用した他の実施例のエンコード側の構成の一例を示すブロック図である。
【図１４】この発明の他の実施例のデコード側の構成の一例を示すブロック図である。
【符号の説明】
２・・・最大値検出回路，３・・・最小値検出回路，５・・・オフセット検出回路、８・・・量子化ステップ計算回路、１０・・・量子化回路、１２ａ、１２ｂ、１４６ａ、１４６ｂ・・・クラス分類適応予測回路
Claims (8)
- 入力ディジタル情報信号を発生データ量を少なくするように符号化する情報信号符号化装置において、
上記入力ディジタル情報信号のサンプル値同士の残差信号を生成する残差信号生成手段と、
上記残差信号をブロック化するブロック化手段と、
上記ブロック毎に、最大値および最小値を検出し、上記最大値および上記最小値から量子化ステップと、量子化出力中の０が含まれるコードを示すゼロ位置フラグを生成するフラグ生成手段と、
上記量子化ステップの予測値および上記ゼロ位置フラグの予測値を生成する予測手段と、
量子化復元値で最も０に近い値と実際の０の値との差の値によって、上記ブロック化された残差信号を補正する補正手段と、
上記補正手段によって補正された残差信号を上記量子化ステップの予測値および上記ゼロ位置フラグの予測値を使用して再量子化する量子化手段と、
上記量子化出力を伝送する伝送手段と
からなることを特徴とする情報信号符号化装置。 - 請求項１に記載の情報信号符号化装置において、
上記予測手段は、
予測しようとするブロックの周辺に、予測に使用するゼロ位置フラグおよび量子化ステップが存在しない場合に、上記最大値および最小値から求められた上記ゼロ位置フラグおよび上記量子化ステップを上記量子化手段に供給すると共に、伝送する、例外処理を行うことを特徴とする情報信号符号化装置。 - 請求項１に記載の情報信号符号化装置において、
上記予測手段は、
予測しようとするブロックの周辺に存在するブロックのゼロ位置フラグによりクラス分類を行い、周辺に存在するブロックのゼロ位置フラグと、
予め学習によって、クラス毎に求められた係数との演算により、ゼロ位置フラグの予測値を生成するクラス分類適応予測手段と、
予測しようとするブロックの周辺に存在するブロックの量子化ステップによりクラス分類を行い、周辺に存在するブロックの量子化ステップと、
予め学習によって、クラス毎に求められた係数との演算により、量子化ステップの予測値を生成するクラス分類適応予測手段と
からなることを特徴とする情報信号符号化装置。 - 請求項１に記載の情報信号符号化装置において、
上記予測手段は、
予測しようとするブロックの周辺に存在するブロックのゼロ位置フラグによりクラス分類を行い、予め学習によって、クラス毎に求められた、ゼロ位置フラグの予測値を生成するクラス分類適応予測手段と、
予測しようとするブロックの周辺に存在するブロックの量子化ステップによりクラス分類を行い、予め学習によって、クラス毎に求められた、量子化ステップの予測値を生成するクラス分類適応予測手段と
からなることを特徴とする情報信号符号化装置。 - 入力ディジタル情報信号を発生データ量を少なくするように符号化する情報信号符号化方法において、
上記入力ディジタル情報信号のサンプル値同士の残差信号を生成する残差信号生成ステップと、
上記残差信号をブロック化するブロック化ステップと、
上記ブロック毎に、最大値および最小値を検出し、上記最大値および上記最小値から量子化ステップと、量子化出力中の０が含まれるコードを示すゼロ位置フラグを生成するフ ラグ生成ステップと、
上記量子化ステップの予測値および上記ゼロ位置フラグの予測値を生成する予測ステップと、
量子化復元値で最も０に近い値と実際の０の値との差の値によって、上記ブロック化された残差信号を補正する補正ステップと、
上記補正ステップによって補正された残差信号を上記量子化ステップの予測値および上記ゼロ位置フラグの予測値を使用して再量子化する量子化ステップと、
上記量子化出力を伝送する伝送ステップとからなることを特徴とする情報信号符号化方法。 - 入力ディジタル情報信号から少なくとも第１および第２の階層データを形成し、上記第１および第２の階層データを符号化して伝送するようにした情報信号符号化装置において、
上記第１の階層データより解像度がより低い上記第２の階層データを形成する階層データ形成手段と、
上記第２の階層データから上記第１の階層データを予測する予測手段と、
上記予測されたデータと上記第１の階層データとの残差信号を形成する残差信号形成手段と、
上記残差信号をブロック化するブロック化手段と、
上記ブロック毎に、最大値および最小値を検出し、上記最大値および上記最小値から量子化ステップと、量子化出力中の０が含まれるコードを示すゼロ位置フラグを生成するフラグ生成手段と、
上記量子化ステップの予測値および上記ゼロ位置フラグの予測値を生成する予測手段と、
量子化復元値で最も０に近い値と実際の０の値との差の値によって、上記ブロック化された残差信号を補正する補正手段と、
上記補正手段によって補正された残差信号を上記量子化ステップの予測値および上記ゼロ位置フラグの予測値を使用して再量子化する量子化手段と、
上記量子化出力を伝送する伝送手段とからなることを特徴とする情報信号符号化装置。 - 入力ディジタル情報信号から少なくとも第１および第２の階層データを形成し、上記第１および第２の階層データを符号化して伝送するようにした情報信号符号化方法において、
上記第１の階層データより解像度がより低い上記第２の階層データを形成する階層データ形成ステップと、
上記第２の階層データから上記第１の階層データを予測する予測ステップと、
上記予測されたデータと上記第１の階層データとの残差信号を形成する残差信号形成ステップと、
上記残差信号をブロック化するブロック化ステップと、
上記ブロック毎に、最大値および最小値を検出し、上記最大値および上記最小値から量子化ステップと、量子化出力中の０が含まれるコードを示すゼロ位置フラグを生成するフラグ生成ステップと、
上記量子化ステップの予測値および上記ゼロ位置フラグの予測値を生成する予測ステップと、
量子化復元値で最も０に近い値と実際の０の値との差の値によって、上記ブロック化された残差信号を補正する補正ステップと、
上記補正ステップによって補正された残差信号を上記量子化ステップの予測値および上記ゼロ位置フラグの予測値を使用して再量子化する量子化ステップと、
上記量子化出力を伝送する伝送ステップとからなることを特徴とする情報信号符号化方法。 - 量子化出力中の０が含まれるゼロ位置フラグと、量子化ステップとにより量子化されたデータを復号する情報信号復号方法において、
上記ゼロ位置フラグおよび上記量子化ステップを予測する予測ステップと、
上記ゼロ位置フラグの予測値および上記量子化ステップの予測値により上記量子化出力を代表値へ変換する逆量子化ステップと、
上記逆量子化ステップによって変換された残差信号をブロック分解し、元の順序へ変換する変換ステップとからなることを特徴とする情報信号復号方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19965896A JP3834880B2 (ja) | 1995-07-28 | 1996-07-10 | 情報信号符号化装置、符号化方法、並びに情報信号復号方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21268595 | 1995-07-28 | ||
| JP7-212685 | 1995-07-28 | ||
| JP19965896A JP3834880B2 (ja) | 1995-07-28 | 1996-07-10 | 情報信号符号化装置、符号化方法、並びに情報信号復号方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09102956A JPH09102956A (ja) | 1997-04-15 |
| JP3834880B2 true JP3834880B2 (ja) | 2006-10-18 |
Family
ID=26511665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19965896A Expired - Lifetime JP3834880B2 (ja) | 1995-07-28 | 1996-07-10 | 情報信号符号化装置、符号化方法、並びに情報信号復号方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3834880B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1124384A1 (en) * | 2000-02-10 | 2001-08-16 | Sony Corporation | Information processing apparatus for compressed image data using class-classification adaptive processing |
| CA2681025C (en) | 2007-03-20 | 2015-10-13 | Fujitsu Limited | Video encoding and decoding apparatus and method using quantization in sub-blocks |
| KR101365444B1 (ko) * | 2007-11-19 | 2014-02-21 | 삼성전자주식회사 | 영상의 해상도의 조정을 통하여 동영상을 효율적으로부호화/복호화하는 방법 및 장치 |
| JP5790722B2 (ja) * | 2013-09-02 | 2015-10-07 | 富士通株式会社 | 動画像符号化方法 |
| JP2021118450A (ja) * | 2020-01-27 | 2021-08-10 | シャープ福山セミコンダクター株式会社 | 復号化装置、及び、符号化装置 |
-
1996
- 1996-07-10 JP JP19965896A patent/JP3834880B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09102956A (ja) | 1997-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3271108B2 (ja) | ディジタル画像信号の処理装置および方法 | |
| EP1646245B1 (en) | Video coding apparatus and decoding apparatus | |
| KR100601743B1 (ko) | 영상 처리 장치 및 방법과, 전송 매체, 전송 방법 및 영상 포맷 | |
| US5966179A (en) | Information signal encoding apparatus, encoding method thereof, information signal decoding method, and information signal record medium thereof | |
| JPS634755B2 (ja) | ||
| US20060098881A1 (en) | Method and apparatus for encoding and decoding image data | |
| KR980013425A (ko) | 화상 코딩 및 디코딩 장치, 및 계층적 코딩 및 디코딩 방법(Image Coding and Decoding using Mapping coefficients cor responding to class information of pixel Blocks) | |
| KR20010112626A (ko) | 화상 데이터 처리 장치 및 화상 데이터 처리 방법 | |
| US4792851A (en) | Method and apparatus for coding motion image signal | |
| EP0820196A2 (en) | Hierarchic image encoding | |
| US5825313A (en) | Information signal encoding apparatus, encoding method thereof, information signal decoding method, and information signal record medium thereof | |
| EP0840516B1 (en) | Apparatus and method for predictive coding and decoding | |
| JP3834880B2 (ja) | 情報信号符号化装置、符号化方法、並びに情報信号復号方法 | |
| US5781238A (en) | Information signal encoding apparatus, encoding method thereof, information signal decoding method, and information signal record medium thereof | |
| JP3629826B2 (ja) | 情報信号符号化装置、符号化方法、並びに情報信号復号方法 | |
| JP3903496B2 (ja) | 画像符号化方法、符号化装置、復号方法および復号装置 | |
| JP3830549B2 (ja) | ディジタル画像信号の階層符号化装置および方法 | |
| JP3496402B2 (ja) | 情報信号符号化装置、符号化方法、並びに情報信号復号方法 | |
| JP3968799B2 (ja) | 情報信号符号化装置、符号化方法、並びに情報信号復号方法 | |
| JP3309639B2 (ja) | 量子化装置および量子化方法 | |
| JP4223577B2 (ja) | 画像符号化装置とその方法、および、画像復号化装置とその方法 | |
| JP4171958B2 (ja) | 画像処理装置及び画像処理方法 | |
| JPH0746548A (ja) | ディジタル画像信号処理装置 | |
| JP3627256B2 (ja) | ディジタル画像信号の受信／再生装置および方法 | |
| JP2888523B2 (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050823 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050913 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060704 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060717 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100804 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110804 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110804 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120804 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120804 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130804 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |