JP3758211B2 - ディジタル画像信号の階層符号化装置および方法、並びに復号装置および方法 - Google Patents
ディジタル画像信号の階層符号化装置および方法、並びに復号装置および方法 Download PDFInfo
- Publication number
- JP3758211B2 JP3758211B2 JP18474195A JP18474195A JP3758211B2 JP 3758211 B2 JP3758211 B2 JP 3758211B2 JP 18474195 A JP18474195 A JP 18474195A JP 18474195 A JP18474195 A JP 18474195A JP 3758211 B2 JP3758211 B2 JP 3758211B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- class
- prediction
- value
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、例えばディジタル画像信号を異なる解像度を表現する複数の信号へ分割し、各信号を符号化して伝送するようにしたディジタル画像信号の階層符号化装置および方法、並びに復号装置および方法に関する。
【０００２】
【従来の技術】
高解像度画像信号を第１の階層（あるいはレベル）として、これより解像度が低い第２の階層の画像信号、第２の階層の画像信号より解像度が低い第３の階層の画像信号、・・・・を形成する符号化（階層符号化と称される）が提案されている。この符号化によれば、複数の階層の画像信号を一つの伝送路（通信路、記録／再生プロセス）を介して伝送し、受信側では、複数の階層とそれぞれ対応するテレビジョンモニタにより伝送画像データを再生することができる。
【０００３】
より具体的には、標準解像度ビデオ信号、ハイビジョン信号等の高解像度ビデオ信号、コンピュータディスプレーの画像データ、画像データベースを高速検索するための低解像度ビデオ信号等が異なる解像度のビデオ信号として存在している。また、解像度の高低以外に、画像の縮小に対しても、かかる階層符号化を応用することが可能である。
【０００４】
先に提案されている階層符号化装置例えばピラミッド符号化と称される符号化装置の一例を図１４に示す（例えば特開昭６３−３０６７８９号公報参照）。この例は、４階層の符号化であり、第１階層の画像信号に対して、画素数が１／４の第２階層の画像信号、画素数が１／１６の第３階層、画素数が１／６４の第４階層（最上位階層）の画像信号を伝送するものである。図１４に示すように、入力端子１に対して、ディジタル画像信号が供給される。この入力画像信号が第１階層の信号である。
【０００５】
入力画像信号が間引きフィルタ２および減算器５に供給される。間引きフィルタ２に対して、間引きフィルタ３、減算器６および補間フィルタ８が接続される。補間フィルタ８の出力信号が減算器５に供給され、減算器５からは、入力信号と補間出力信号との同一位置の画素毎の差分信号が発生する。この差分信号が符号化器１１を介して第１階層用の出力端子１５に取り出される。
【０００６】
間引きフィルタ３に対して、間引きフィルタ４、減算器７および補間フィルタ９が接続される。減算器６では、間引きフィルタ２の出力信号（第２階層の画像信号）から補間フィルタ９の出力信号が減算される。減算器６からの差分信号が符号化器１２を介して第２階層用の出力端子１６に取り出される。減算器７では、間引きフィルタ３の出力信号（第３階層の画像信号）から補間フィルタ１０の出力信号が減算され、差分信号が符号化器１３を介して第３階層用の出力端子１７に取り出される。間引きフィルタ４の出力信号（第４階層の画像信号）が符号化器１４を介して第４階層用の出力端子１８に取り出される。
【０００７】
間引きフィルタ２、３および４のそれぞれは、水平方向および垂直方向において画素数を１／２に間引き、全体として画素数を１／４に減少させるものである。従って、入力画像信号である第１階層の画像信号の画素数を基準として、１／４の画素数の第２階層の画像信号、１／１６の画素数の第３階層の画像信号、１／６４の画素数の第４階層の画像信号が各間引きフィルタ２、３および４によって形成される。一方、補間フィルタ８、９、１０は、水平方向および垂直方向において、画素の内挿を行ない、全体として入力信号の４倍の画素数の補間出力信号を形成する。符号化器１１、１２、１３は、差分信号のデータ量を圧縮する符号化を行い、符号化器１４は、第４階層の画像信号のデータ量を圧縮する符号化を行う。具体的には、ＤＰＣＭ、ＡＤＲＣ等が使用される。
【０００８】
上述の階層符号化装置と対応する階層復号装置を図１５に示す。入力端子２１、２２、２３および２４に、第１、第２、第３および第４階層の入力信号がそれぞれ供給される。これらの入力信号は、復号器２５、２６、２７および２８にそれぞれ供給される。復号器２５〜２８は、符号化器１１〜１４と対応するものである。復号器２５、２６および２７に対して、加算器２９、３０、３１がそれぞれ接続される。
【０００９】
符号化が最下位階層（第１階層）から最上位階層（第４階層）へ向かう順になされるのに対して、復号は、最上位階層（第４階層）から最下位階層（第１階層）へ向かう順になされる。まず、第４階層の画像信号が復号器２８から得られ、これが出力端子３８に取り出される。第４階層の画像信号が補間フィルタ３４に供給され、補間出力信号が形成される。加算器３１では、復号器２７からの第３階層の差分信号と補間フィルタ３４の出力信号とが加算される。従って、加算器３１からは、第３階層の画像信号が得られ、これが出力端子３７に取り出される。
【００１０】
同様に、補間フィルタ３３の補間出力信号と復号器２６からの差分信号とが加算器３０で加算され、第２階層の画像信号が復号され、また、補間フィルタ３２の補間出力信号と復号器２５からの差分信号とが加算器２９で加算され、第１階層の画像信号が復号される。これらの画像信号が出力端子３５および３６にそれぞれ取り出される。このように、階層符号化装置は、間引きによって上位階層を形成し、最上位階層を除く各階層では、上位階層のデータから形成した補間データとの差分信号を生成し、最上位階層のデータとそれ以外の階層の差分データとをそれぞれ符号化している。
【００１１】
【発明が解決しようとする課題】
上述の従来の階層符号化においては、補間フィルタ８、９および１０によって、より上位の階層の信号から下位の階層の信号を補間し、原画像信号と補間信号との差分信号を形成するが、補間フィルタの補間精度が充分ではない。その結果、この差分信号の値が比較的大きく、差分信号を符号化した後でも、伝送データ量が充分に少なくならない。従って、階層表現を得る代わりに、符号化効率の劣化という問題が発生していた。
【００１２】
従って、この発明の目的は、符号化効率の低下が防止されたディジタル画像信号の階層符号化装置および方法、並びに復号装置および方法を提供することにある。
【００１３】
【課題を解決するための手段】
請求項１に記載の発明は、第１階層の画像信号よりも画素数が減少された第２階層の画像信号を形成するための手段と、
第２階層の画像信号から第１階層の画像信号を予測するための予測手段と、
第１階層の画像信号と予測手段からの予測値との差分値を生成するための手段と、
第２階層の画像信号および差分値を伝送するための手段とからなり、
予測手段は、
クラス毎に複数のクラス予測係数が予め格納されたテーブルを有し、第２階層の画像信号中に含まれ、第２階層の画像信号に存在するクラス予測用注目画素に対して空間的および／または時間的に近傍の複数の参照画素とテーブルからのクラス予測係数との積和演算により、第２階層の画像信号のクラス予測用注目画素データの予測値をクラス毎に形成し、クラス予測用注目画素の真値と最も近いクラス予測用注目画素データの予測値を生じさせるクラス予測係数に対応するクラスを選択して、予測手段で予測される第１階層の画像信号の注目画素のクラスとするクラス分類手段と、
決定されたクラス毎に第１階層の画像信号の注目画素に関する予測値を作成するためのデータ予測係数を発生するための予測係数発生手段と、
第２階層の画像信号と予測係数発生手段からのデータ予測係数との積和演算によって、第１階層の画像信号の注目画素に関する予測値を生成するための演算手段とを有し、
予測係数発生手段は、
注目画素に対して空間的および／または時間的に近傍の複数の第２階層の画素の値とデータ予測係数の演算によって、予測値を作成した時に、作成された予測値と注目画素の真値との誤差を最小とするようなクラス毎の予測係数を予め学習によって求めておき、求められた予測係数を発生することを特徴とするディジタル画像信号の階層符号化装置である。
【００１４】
【作用】
上位階層から下位階層の画像信号を形成する時に、予め学習により獲得されたデータ予測係数、予測値あるいは正規化予測値を使用するので、補間フィルタと比べて予測の精度を高くすることができる。従って、原画像信号と予測画像信号との差分信号の値が小さくなり、差分信号のデータ量を減少することができ、符号化効率を上昇できる。クラス分けの精度を高くすることができる。
【００１５】
【実施例】
以下、この発明の一実施例について図面を参照して説明する。図１には、符号化装置の構成例を示す。この実施例は、４階層の符号化であり、第１階層（最下位層）の画像信号に対して、画素数が１／４の第２階層の画像信号、画素数が１／１６の第３階層、画素数が１／６４の第４階層（最上位階層）の画像信号を伝送するものである。入力端子１に対して、ディジタル画像信号が供給される。この入力画像信号が第１階層の信号である。具体的には、放送などによる伝送、ＶＴＲ等からの再生信号が入力端子１に供給される。
【００１６】
入力画像信号が間引きフィルタ２および減算器５に供給される。間引きフィルタ２に対して、間引きフィルタ３、減算器６および予測器４１が接続される。この予測器４１は、後述するように、間引きフィルタ２からの第２階層の画像信号の局所的特徴（クラス）に応じて第１階層の画像信号を出力するマッピングテーブルを含むクラス分類適応予測器である。予測器４１の出力信号が減算器５に供給され、減算器５からは、入力信号と予測信号との同一位置の画素毎の差分信号が発生する。この差分信号が符号化器１１を介して第１階層用の出力端子１５に取り出される。
【００１７】
間引きフィルタ３に対して、間引きフィルタ４、減算器７および予測器４２が接続される。予測器４２は、予測器４１と同様のもので、第３階層の画像信号から第２階層の画像信号を予測する。減算器６では、間引きフィルタ２の出力信号（第２階層の画像信号）から予測器４２の出力信号が減算される。減算器６からの差分信号が符号化器１２を介して第２階層用の出力端子１６に取り出される。減算器７では、間引きフィルタ３の出力信号（第３階層の画像信号）から予測器４３の出力信号が減算され、差分信号が符号化器１３を介して第３階層用の出力端子１７に取り出される。間引きフィルタ４の出力信号（第４階層の画像信号）が符号化器１４を介して第４階層用の出力端子１８に取り出される。
【００１８】
間引きフィルタ２、３および４のそれぞれは、水平方向および垂直方向において画素数を１／２に間引き、全体として画素数を１／４に減少させるものである。従って、入力画像信号（第１階層）の画素数を基準として、１／４の画素数の第２階層の画像信号、１／１６の画素数の第３階層の画像信号、１／６４の画素数の第４階層の画像信号が各間引きフィルタ２、３および４によって形成される。図３は、画素配列を示すもので、ここでは、簡単のために、第１階層から第３階層までを示している。第２階層の画素は、水平および垂直方向で第１階層の２個の画素に対して１個の割合で存在する。第３階層の画素は、水平および垂直方向で第１階層の４個の画素に対して１個の割合で存在する。図示しないが、第４階層の画素は、水平および垂直方向で第１階層の８個の画素に対して１個の割合で存在する。
【００１９】
図４Ａおよび図４Ｂは、間引きフィルタ２、３および４の構成例を示している。図４Ａの例は、帯域制限用のプリフィルタ４７およびサブサンプリング回路４８が入力端子および出力端子間に直列接続されている。図４Ｂは、水平方向の間引きフィルタ４９および垂直方向の間引きフィルタ５０が直列接続された他の例を示す。
【００２０】
さらに、符号化器１１、１２、１３は、差分信号のデータ量を圧縮する符号化を行う。符号化器１４は、第４階層の画像信号のデータ量を圧縮する符号化を行う。具体的には、線形量子化、非線形量子化、またはＡＤＲＣ（ダイナミックレンジ適応符号化）に代表される適応量子化、ＤＰＣＭを採用することができる。
【００２１】
上述の階層符号化装置と対応する階層復号装置を図２に示す。入力端子２１、２２、２３および２４に、第１、第２、第３および第４階層の入力信号がそれぞれ供給される。これらの入力信号は、復号器２５、２６、２７および２８にそれぞれ供給される。復号器２５〜２８は、符号化器１１〜１４と対応するものである。復号器２５、２６および２７に対して、加算器２９、３０、３１がそれぞれ接続される。
【００２２】
復号器２８から出力端子３８へ第４階層の画像信号が出力される。復号器２８に対して予測器４６が接続され、予測器４６によって、第３階層の画像信号が予測される。この予測信号と復号器２７の出力信号とが加算器３１へ供給される。加算器３１から第３階層の画像信号が出力端子３７に取り出される。この第３階層の画像信号が予測器４５に供給され、第２階層の画像信号が予測される。
【００２３】
復号器２６の出力信号と予測器４５により形成された第２階層の出力信号とが加算器３０に供給され、加算器３０から第２階層の画像信号が得られる。第２階層の画像信号が出力端子３６へ取り出され、また、予測器４４に供給される。予測器４４によって形成された第１階層の画像信号が加算器２９において、復号器２５の出力信号と加算され、加算器２９から第１階層の画像信号が得られる。これが出力端子３５に取り出される。このように、符号化が最下位階層（第１階層）から最上位階層（第４階層）へ向かう順になされるのに対して、復号は、最上位階層（第４階層）から最下位階層（第１階層）へ向かう順になされる。
【００２４】
前述した図１４の符号化装置と図１のこの発明による符号化装置とを比較すると、補間フィルタ８、９、１０の代わりにクラス分類適応予測器４１、４２および４３が設けられていることが相違する。復号装置に関しても同様に、補間フィルタ３２、３３および３４に代えて、クラス分類適応予測器４４、４５および４６が設けられていることが相違する。この発明で使用される予測器は、以下に説明するように、補間フィルタと比較すると、その出力信号が原信号とより近いものとできる。従って、原信号と予測信号との差分信号の値をより小さくすることができ、伝送データ量を少なくできる利点がある。
【００２５】
予測器４１〜４３を図５を用い、予測器４１を例に説明する。入力端子９１から供給される第２階層のディジタル画像信号ｄ０は、クラス予測器９２、クラス決定回路９３及び予測演算回路９５に供給される。クラス予測器９２は、各クラスに対応するクラス予測係数と、データ予測係数とが格納されているテーブル９４から供給されるクラス予測係数ｄ２と、第２階層のディジタル画像信号ｄ０とを演算し、第２階層の予測値ｄ１を生成する。この第２階層の予測値ｄ１がクラス決定回路９３に供給される。
【００２６】
クラス決定回路９３は、第２階層の予測値ｄ１と第２階層のディジタル画像信号の真値ｄ０との比較からクラスを決定する。一例として、真値ｄ０との誤差の絶対値が最小の第２階層の予測値ｄ１を生じさせるクラス予測係数と対応するクラスを選択する。例えば、テーブル９４には、０〜ｎ−１のクラス予測係数が格納されている。クラス予測器９２は、最初にクラス０のクラス予測係数を用いて予測値ｄを生成し、クラス決定回路９３はこの予測値と真値ｄ０との誤差の絶対値を求める。以下、それ以外のクラスについても、同様に予測値と真値との誤差の絶対値を求め、この絶対値が最小となるクラスを選択する。テーブル９４は、クラス決定回路９３により選択されたクラスに対応するデータ予測係数ｄ３を予測演算回路９５に出力する。予測演算回路９５は、供給されたデータ予測係数ｄ３と第２階層のデジタル画像信号ｄ０との演算により、第一階層信号の予測値を生成して、出力端子９６に供給する。
【００２７】
図６及び図７を用いて、クラス決定及びデータ予測の一例について説明する。クラス予測器９２は第２階層の予測値ｄ１を、クラス予測器９２に供給される第２階層のデジタル画像信号ｄ０のうち、予測の対象である第２階層画素ｘ８の周囲の第２階層予測タップ領域に含まれる第２階層画素Ｘ０〜Ｘ７，Ｘ９〜Ｘ１６の１６個の画素値、ｘ０〜ｘ７，ｘ９〜ｘ１６と、図７に示されるテーブル９４に格納されている各クラスのクラス予測係数との線形１次結合をとることにより求められる。例えば、クラス０に対応する予測値ｄ１は下記の演算によって生成される。
ｄ１＝k0×x0＋k1・・・＋k7×x7＋k9×x9＋・・・＋k16×x16 （１）
【００２８】
図６の例は、簡単化のために使用する１次元の画素の配列であるが、実際には図３に示されるような２次元の画素配列を用いて予測が行なわれる。このようなクラス分けは、参照画素数が多くても、クラス予測係数のデータ量が極端に増加しない利点がある。このように、求められた各クラスに対応する第２階層の予測値ｄ１は、クラス決定回路９３によって画素ｘ８の真値である画素値ｘ８との値との誤差が求められ、この誤差が最も小さいクラスが選択される。テーブル９４は、図７に示されるような各クラス０〜ｎ−１に対応するｎ組のデータ予測係数のうち、選択されたクラスに対応するデータ予測係数ｄ３を予測演算回路９５に出力する。
【００２９】
予測演算回路９５においてなされる第１階層画素のデータ予測は、供給される第２階層のデジタル画像信号ｄ０のうち予測する第１階層の注目画素の位置の近傍の例えば３個の第２階層画素を使用してなされる。図６の例では、データ予測係数ｄ３をｗ1 ，ｗ2 ，ｗ3 とすると、下記の演算によって、第１階層画素の値ｙ´が生成される。この演算は一例であって、図３に示されるような２次元配列中のより多くの第２階層の画素データを使用しても良い。
ｙ´＝ｗ1 ×ｘ7 ＋ｗ2 ×ｘ8 ＋ｗ3 ×ｘ9 （２）
予測器４２，４３についても同様である。
【００３０】
また、テーブル９４にデータ予測係数の代わりに、各クラス毎のデータ予測値を格納しておくようにしてもよい。この場合には、クラス決定回路９３によって決定されたクラスに対応したデータ予測値と、同じ階層のデータｄ０とを予測演算回路９５で合成し、合成データを出力端子９６に供給する。
【００３１】
また、テーブル９４に正規化されたデータ予測値を格納しておいてもよい。この場合、テーブル９４から供給された正規化データ予測値を用いて予測演算回路９５は予測値を生成し、同じ階層のデータｄ０と合成して合成データを出力端子９６に供給する。正規化は、画素の値からブロック内の基準レベル（最小値、平均値等）を減算し、減算出力をブロックのダイナミックレンジで割る処理である。正規化は、学習時に、画素の値を処理するのと比較して、データ用メモリの容量を低減することができる。
【００３２】
図８は、上述のデータ予測係数、データ予測値、あるいは正規化データ予測値を予め求める学習時の構成を示すものである。入力端子６１にディジタル画像信号（第１階層信号）が供給され、間引きフィルタ６２、６３、６４によって、第２、第３、第４階層信号が形成されるのは、図１の構成と同様である。学習部６５に第１および第２階層信号が供給され、学習部６６に第２および第３階層信号が供給され、学習部６７に第３および第４階層信号が供給される。
【００３３】
学習部６５は、第２階層信号から第１階層信号を予測するためのデータ予測係数、データ予測値、あるいは正規化データ予測値を決定する。学習部６６は、第３階層信号から第２階層信号を予測するためのデータ予測係数等を決定し、学習部６７は、第４階層信号から第３階層信号を予測するためのデータ予測係数等を決定する。これらの学習部６５、６６、６７は、予測器のクラス予測器９２とクラス決定回路９３とテーブル９４を用いたクラス分けと同一のクラス分けを行なうクラス分類回路を含み、クラス毎に決定されたデータ予測係数等がメモリ６８、６９、７０に格納される。このメモリ６８、６９、７０に格納されたデータ予測係数等がテーブル９４にそれぞれ格納される。
【００３４】
図５に示されるテーブル９４にデータ予測係数が格納されている場合、予測演算回路９５では、例えば第１階層の予測値を第２階層のデータから生成するために、注目画素の周辺の３個の画素値ｘ7 ，ｘ8 , ｘ9 が使用される。すなわち、予測係数をｗ1 〜ｗ3 で表すと、
ｙ´＝ｗ1 ×ｘ7 ＋ｗ2 ×ｘ8 ＋ｗ3 ×ｘ9 （３）
の線形１次結合によって、予測演算回路９５が予測値ｙ´を生成する。
【００３５】
テーブル９５に格納されるマッピングテーブルを学習によって獲得するための処理について以下に説明する。図９は、学習をソフトウェア処理で行う時のその動作を示すフローチャートである。
【００３６】
ステップ７１から学習処理の制御が開始され、ステップ７２の学習データ形成では、既知の画像に対応した学習データが形成される。ここで、クラス分類およびデータ予測係数決定のために使用される複数画素の値の最大値および最小値の差である、ダイナミックレンジＤＲがしきい値より小さいものは、学習データとして扱わない制御がなされる。これは、ダイナミックレンジＤＲが小さいデータは、ノイズによる影響が大きいので、学習対象からそのようなブロックのデータを除外するための処理である。ステップ７３のデータ終了では、入力された全データ例えば１フレームのデータの処理が終了していれば、ステップ７６のデータ予測係数決定へ、終了していなければ、ステップ７４のクラス決定へ制御が移る。
【００３７】
ステップ７４のクラス決定は、上述したように、８個の参照画素値を圧縮したコードに基づいて、レベル分布のパターンを調べる処理である。ステップ７５の正規方程式生成では、後述する正規方程式が作成される。
【００３８】
ステップ７３のデータ終了から全データの処理が終了後、制御がステップ７６に移り、ステップ７６のデータ予測係数決定では、後述するように、正規方程式を行列解法を用いて解いて、データ予測係数を決める。ステップ７７のデータ予測係数ストアで、データ予測係数をメモリにストアし、ステップ７８で学習処理の制御が終了する。
【００３９】
図９中のステップ７５（正規方程式生成）およびステップ７６（予測係数決定）の処理をより詳細に説明する。予め線形１次結合式に基づくデータ予測係数を用意するために最小二乗法を用いる。一般的に説明すると、ｘを入力データ、ｗを予測係数、ｙを推定値とすると、次の式が成立する。
観測方程式：ｘｗ＝ｙ （４）
ここで、
【数１】
【００４０】
上述の観測方程式（４）により収集されたデータに最小二乗法を適用する。式（３）において、ｎ＝３、ｍ＝学習データ数となる。ｍ＞ｎの場合、ｗ1 〜ｗn は一意に決まらないので、誤差ベクトルＥを定義して、式（６）の残差方程式を作成する。
【００４１】
【数２】
【００４２】
式（６）の残差方程式から各ｗi の最適値は、次の式を最小にする条件が成り立つ場合が考えられる。
【００４３】
【数３】
【００４４】
【数４】
【００４５】
すなわち、式（７）のｉに基づくｎ個の条件を満たすｗ1 、ｗ2 、・・・、ｗn を算出すれば良い。そこで、残差方程式（６）から式（８）が得られる。
【００４６】
【数５】
【００４７】
式（７）と式（８）から式（９）が得られる。
【００４８】
【数６】
【００４９】
そして、式（６）と式（９）から、正規方程式として次の式（１０）が得られる。
【００５０】
【数７】
【００５１】
正規方程式（１０）は、未知数の個数ｎと同じ方程式を立てることが可能であるので、各ｗi の最適値を求めることができる。そして掃き出し法(Gauss-Jordan の消去法）を用いて連立方程式を解けば、予測係数ｗi が求まる。この予測係数ｗi をクラスコードｃで指示されるメモリのアドレスに格納しておく。
【００５２】
学習処理は、ソフトウェアのみならず、ハードウエアのみで、あるいは部分的にハードウエアを使用して行うことも可能である。
【００５３】
マッピングテーブルとしては、データ予測係数で構成されるものに限らず、予め学習により決定されたクラス毎の、最適なデータ予測値（代表値と称する）が格納されたものを使用しても良い。
【００５４】
代表値を決定するためには、重心法を使用できる。図１０は、この処理を説明するフローチャートである。図１０のステップ８１は、このフローチャートの開始を表し、ステップ８２は、この学習を行うための準備として、クラスの度数カウンタＮ（＊）およびクラスのデータテーブルＥ（＊）の初期化を行うために全ての度数カウンタＮ（＊）および全てのデータテーブルＥ（＊）へ `０' データが書き込まれる。ここで、 `＊' は、全てのクラスを示し、クラスｃ０に対応する度数カウンタは、Ｎ（ｃ０）となり、データテーブルは、Ｅ（ｃ０）となる。ステップ８２（初期化）の制御が終了するとステップ８３へ制御が移る。
【００５５】
ステップ８３は、注目画素を中心とした学習対象画素近傍データから、その注目画素のクラスが決定される。そして、ステップ８４では、学習対象となる例えば第１階層の画素値ｅが検出される。また、このステップ８４では、その画素値ｅが含まれるブロックのダイナミックレンジＤＲが所定のしきい値よりも小さいものは、学習データとして扱わない処理もなされる。
【００５６】
こうしてステップ８３（クラス決定）およびステップ８４（データ検出）から制御がステップ８５へ移り、ステップ８５のデータ加算では、クラスｃのデータテーブルＥ（ｃ）の内容に画素値ｅが加算される。次に、ステップ８６の度数加算において、そのクラスｃの度数カウンタＮ（ｃ）が `＋１' インクリメントされる。
【００５７】
全学習対象画素について、ステップ８３（クラス決定）からステップ８６（度数加算）の制御が終了したか否かを判定するステップ８７では、全データの学習が終了していれば、 `ＹＥＳ' 、すなわちステップ８８へ制御が移り、全データの学習が終了していなければ、 `ＮＯ' 、すなわちステップ８３（クラス決定）へ制御が移り、全データの学習が終了になるまで、繰り返し実行され、全てのクラスの度数カウンタＮ（＊）と対応する全てのクラスのデータテーブルＥ（＊）が生成される。
【００５８】
ステップ８８では、画素値ｅの積算値が保持されている各クラスのデータテーブルＥ（＊）が対応する画素値ｅの出現度数が保持されている各クラスの度数カウンタＮ（＊）で除算され、各クラスの平均値が算出される。この平均値が各クラスの推定値となる。ステップ８９では、ステップ８８において、算出された推定値（平均値）が各クラス毎に登録される。全クラスの推定値の登録が終了すると、制御がステップ９０へ移り、この学習フローチャートの終了となる。上述の手法は、学習対象画素値の分布の平均から推定値が生成されることから、重心法と呼ばれる。
【００５９】
上述の代表値としては、平均値に限らず、正規化予測値を使用することができる。この場合、データ検出のステップ８４において、画素値の代わりに正規化予測値が使用される。すなわち、ブロック内の基準値baseの除去とダイナミックレンジＤＲによる正規化の処理がなされる。入力画素値をｙとすると、（ｙ−base）／ＤＲの演算により入力データが正規化される。正規化予測値の平均化処理がなされ、メモリには、正規化予測値ｇ（ｃ）が格納される。
【００６０】
基準値baseは、例えばブロックの最小値ＭＩＮである。基準値としては、注目画素に近い位置のサンプリング点の画素レベル、ブロック内の画素レベルの平均値等を採用できる。この基準値をbaseと称する。基準値baseは、ブロック内の画素のレベル分布にとっては、共通成分、すなわち、冗長成分であり、基準値baseを除去することにより、レベル方向の冗長度を除去できる。図７中の変換回路５８では、下記の演算によって、補間値ｙ´が生成される。
ｙ´＝ＤＲ×ｇ（ｃ）＋base （１１）
【００６１】
代表値として、正規化予測値を使用しているので、レベルそのものを代表値とするのと比して、メモリの容量の削減、ハードウエアの小規模化を達成することができる。
【００６２】
上述のテーブル９４内のクラス予測係数は、予め学習により決定される。図１１は、クラス予測係数の学習時の処理を示すフローチャートである。クラス予測係数の学習は、上述したデータ予測係数の学習と同様になされる。ステップ１１１から学習処理の制御が開始され、ステップ１１２の学習データ形成では、既知の画像に対応した学習データが形成される。具体的には、上述したように、図６に示すように配列された１７個の画素の配列が一組の学習データとされる。
【００６３】
ステップ１１３のデータ終了では、入力された全データ例えば１フレームのデータの処理が終了していれば、ステップ１１５のクラス予測係数決定へ、終了していなければ、ステップ１１４の正規方程式生成へ制御が移る。ステップ１１４の正規方程式生成では、上述の式（１０）の正規方程式が作成される。
【００６４】
全データの処理が終了後、ステップ１１３のデータ終了から制御がステップ１１５に移り、ステップ１１５の予測係数決定では、式（１０）を行列解法を用いて解いて、クラス予測係数ｋ0 〜ｋ16を決定する。次のステップ１１６において、決定されたクラス予測係数ｋ0 〜ｋ16と第２階層画素の値ｘ0 〜ｘ16との線形１次結合によって、予測値ｘ´（ｄ１）が計算され、この予測ｘ´と真値ｘ8 との間の誤差の絶対値が計算される。誤差の演算は、係数を決定するのに使用した第２階層画素と、それ以外の全ての第２階層画素について行われる。係数を決定するのに使用した第２階層画素について、誤差はきわめて少ない。
【００６５】
次のステップ１１７では、計算された誤差の絶対値としきい値Ｔｈとが比較される。誤差の絶対値がしきい値Ｔｈ未満であるならば、クラス予測係数がクラスｉの係数としてメモリに格納される（ステップ１１８）。そして、ｉ＝ｎかどうかがステップ１１９で決定され、若しそうであるならば、学習処理が終了し、若しそうでない時には、ｉがインクリメントされる（ステップ１２０）。そして、ステップ１１２に戻り、上述の処理が繰り返される。
【００６６】
但し、ステップ１１７において、誤差がしきい値Ｔｈ以上となる第２階層画素のデータが判別され、データ選択のステップ１２１において、学習データとして使用されるものがしきい値Ｔｈ以上の誤差を生じさせたものに限定される。このように、クラス０からｎ−１のそれぞれのクラス予測係数が決定される。
【００６７】
図１１中のステップ１１４（正規方程式生成）およびステップ１１５（予測係数決定）の処理は、上述のデータ予測係数ｗ1 〜ｗn の決定の処理と同様であるので、その説明は、重複を避けるために省略する。
【００６８】
また、第１階層の予測のために代表値（データ予測値）を予め学習により決定する方式の場合には、図１２に示すテーブルが作成される。すなわち、クラス０〜ｎ−１のそれぞれには、上述したクラス予測係数と図１０のフローチャートの処理で決定された代表値（データ予測値）Ｌ０〜Ｌn-1 とが格納されている。
【００６９】
図１３は、クラス分類回路の他の例である。入力ディジタル画像信号が供給される入力端子１９１に対して、クラス分類回路１９２およびアクティビィティークラス分類回路１９３が接続される。クラス分類回路１９２は、上述のクラス予測器９２、クラス決定回路９３、テーブル９４から成り予測式表現を用いたクラス分類を行う。アクティビィティークラス分類回路１９３は、ブロック毎のアクティビィティーに基づくクラス分類を行なう。アクティビィティーの具体的なものは、ブロックのダイナミックレンジ、ブロックデータの標準偏差の絶対値、ブロックデータの平均値に対する各画素の値の差分の絶対値等である。アクティビィティーにより画像の性質が異なる場合があるので、このようなアクティビィティーをクラス分類のパラメータとして使用することによって、クラス分類をより高精度とすることができ、また、クラス分類の自由度を増すことできる。
【００７０】
クラス分類回路１９２および１９３からのクラスコードｃ１およびｃ２がメモリ１９４に対してアドレスとして供給される。このメモリ１９４には、予測器の場合では、学習で得られたデータ予測係数、データ予測値、あるいは正規化データ予測値が格納されている。
【００７１】
【発明の効果】
この発明は、階層符号化において、原画像信号と予測信号との差分信号を形成する時に、マッピングテーブルを使用して予測信号を形成する際、複数の参照画素およびクラス予測係数の線形１次結合によって予測値を生成し、この予測値と真値との誤差が最小のものを検出することによって、クラス分類を行なっている。従って、参照画素数と等しい予測係数を記憶するので、参照画素数を多くしても、クラス分類用テーブルを格納するメモリの容量がそれ程増大しない利点がある。
【図面の簡単な説明】
【図１】この発明の一実施例の符号化装置のブロック図である。
【図２】この発明の一実施例の復号装置のブロック図である。
【図３】階層間の画素数の関係とクラス分類およびデータ予測のための画素の位置を表す略線図である。
【図４】間引きフィルタの構成の一例および他の例のブロック図である。
【図５】予測器の構成の一例を示すブロック図である。
【図６】クラス予測係数を求める処理に使用する画素の配列を示す略線図である。
【図７】クラス予測係数およびデータ予測係数が格納されるテーブルの構成を示す略線図である。
【図８】学習時の構成の概略的ブロック図である。
【図９】データ予測用の係数を決定するための学習をソフトウェア処理で行う時のフローチャートである。
【図１０】代表値を求めるための学習をソフトウェア処理で行う時のフローチャートである。
【図１１】クラス予測係数を決定するための学習をソフトウェア処理で行う時のフローチャートである。
【図１２】クラス予測係数および代表値が格納されるテーブルの構成を示す略線図である。
【図１３】クラス分類回路の他の例のブロック図である。
【図１４】先に提案されている階層符号化装置のブロック図である。
【図１５】先に提案されている階層符号化の復号装置のブロック図である。
【符号の説明】
２，３，４ 間引きフィルタ
４１，４２，４３，４４，４５，４６ 予測器
６５、６６、６７ 学習部
９２ クラス予測器
９３ クラス決定回路
９５ 予測演算回路
【発明の属する技術分野】
この発明は、例えばディジタル画像信号を異なる解像度を表現する複数の信号へ分割し、各信号を符号化して伝送するようにしたディジタル画像信号の階層符号化装置および方法、並びに復号装置および方法に関する。
【０００２】
【従来の技術】
高解像度画像信号を第１の階層（あるいはレベル）として、これより解像度が低い第２の階層の画像信号、第２の階層の画像信号より解像度が低い第３の階層の画像信号、・・・・を形成する符号化（階層符号化と称される）が提案されている。この符号化によれば、複数の階層の画像信号を一つの伝送路（通信路、記録／再生プロセス）を介して伝送し、受信側では、複数の階層とそれぞれ対応するテレビジョンモニタにより伝送画像データを再生することができる。
【０００３】
より具体的には、標準解像度ビデオ信号、ハイビジョン信号等の高解像度ビデオ信号、コンピュータディスプレーの画像データ、画像データベースを高速検索するための低解像度ビデオ信号等が異なる解像度のビデオ信号として存在している。また、解像度の高低以外に、画像の縮小に対しても、かかる階層符号化を応用することが可能である。
【０００４】
先に提案されている階層符号化装置例えばピラミッド符号化と称される符号化装置の一例を図１４に示す（例えば特開昭６３−３０６７８９号公報参照）。この例は、４階層の符号化であり、第１階層の画像信号に対して、画素数が１／４の第２階層の画像信号、画素数が１／１６の第３階層、画素数が１／６４の第４階層（最上位階層）の画像信号を伝送するものである。図１４に示すように、入力端子１に対して、ディジタル画像信号が供給される。この入力画像信号が第１階層の信号である。
【０００５】
入力画像信号が間引きフィルタ２および減算器５に供給される。間引きフィルタ２に対して、間引きフィルタ３、減算器６および補間フィルタ８が接続される。補間フィルタ８の出力信号が減算器５に供給され、減算器５からは、入力信号と補間出力信号との同一位置の画素毎の差分信号が発生する。この差分信号が符号化器１１を介して第１階層用の出力端子１５に取り出される。
【０００６】
間引きフィルタ３に対して、間引きフィルタ４、減算器７および補間フィルタ９が接続される。減算器６では、間引きフィルタ２の出力信号（第２階層の画像信号）から補間フィルタ９の出力信号が減算される。減算器６からの差分信号が符号化器１２を介して第２階層用の出力端子１６に取り出される。減算器７では、間引きフィルタ３の出力信号（第３階層の画像信号）から補間フィルタ１０の出力信号が減算され、差分信号が符号化器１３を介して第３階層用の出力端子１７に取り出される。間引きフィルタ４の出力信号（第４階層の画像信号）が符号化器１４を介して第４階層用の出力端子１８に取り出される。
【０００７】
間引きフィルタ２、３および４のそれぞれは、水平方向および垂直方向において画素数を１／２に間引き、全体として画素数を１／４に減少させるものである。従って、入力画像信号である第１階層の画像信号の画素数を基準として、１／４の画素数の第２階層の画像信号、１／１６の画素数の第３階層の画像信号、１／６４の画素数の第４階層の画像信号が各間引きフィルタ２、３および４によって形成される。一方、補間フィルタ８、９、１０は、水平方向および垂直方向において、画素の内挿を行ない、全体として入力信号の４倍の画素数の補間出力信号を形成する。符号化器１１、１２、１３は、差分信号のデータ量を圧縮する符号化を行い、符号化器１４は、第４階層の画像信号のデータ量を圧縮する符号化を行う。具体的には、ＤＰＣＭ、ＡＤＲＣ等が使用される。
【０００８】
上述の階層符号化装置と対応する階層復号装置を図１５に示す。入力端子２１、２２、２３および２４に、第１、第２、第３および第４階層の入力信号がそれぞれ供給される。これらの入力信号は、復号器２５、２６、２７および２８にそれぞれ供給される。復号器２５〜２８は、符号化器１１〜１４と対応するものである。復号器２５、２６および２７に対して、加算器２９、３０、３１がそれぞれ接続される。
【０００９】
符号化が最下位階層（第１階層）から最上位階層（第４階層）へ向かう順になされるのに対して、復号は、最上位階層（第４階層）から最下位階層（第１階層）へ向かう順になされる。まず、第４階層の画像信号が復号器２８から得られ、これが出力端子３８に取り出される。第４階層の画像信号が補間フィルタ３４に供給され、補間出力信号が形成される。加算器３１では、復号器２７からの第３階層の差分信号と補間フィルタ３４の出力信号とが加算される。従って、加算器３１からは、第３階層の画像信号が得られ、これが出力端子３７に取り出される。
【００１０】
同様に、補間フィルタ３３の補間出力信号と復号器２６からの差分信号とが加算器３０で加算され、第２階層の画像信号が復号され、また、補間フィルタ３２の補間出力信号と復号器２５からの差分信号とが加算器２９で加算され、第１階層の画像信号が復号される。これらの画像信号が出力端子３５および３６にそれぞれ取り出される。このように、階層符号化装置は、間引きによって上位階層を形成し、最上位階層を除く各階層では、上位階層のデータから形成した補間データとの差分信号を生成し、最上位階層のデータとそれ以外の階層の差分データとをそれぞれ符号化している。
【００１１】
【発明が解決しようとする課題】
上述の従来の階層符号化においては、補間フィルタ８、９および１０によって、より上位の階層の信号から下位の階層の信号を補間し、原画像信号と補間信号との差分信号を形成するが、補間フィルタの補間精度が充分ではない。その結果、この差分信号の値が比較的大きく、差分信号を符号化した後でも、伝送データ量が充分に少なくならない。従って、階層表現を得る代わりに、符号化効率の劣化という問題が発生していた。
【００１２】
従って、この発明の目的は、符号化効率の低下が防止されたディジタル画像信号の階層符号化装置および方法、並びに復号装置および方法を提供することにある。
【００１３】
【課題を解決するための手段】
請求項１に記載の発明は、第１階層の画像信号よりも画素数が減少された第２階層の画像信号を形成するための手段と、
第２階層の画像信号から第１階層の画像信号を予測するための予測手段と、
第１階層の画像信号と予測手段からの予測値との差分値を生成するための手段と、
第２階層の画像信号および差分値を伝送するための手段とからなり、
予測手段は、
クラス毎に複数のクラス予測係数が予め格納されたテーブルを有し、第２階層の画像信号中に含まれ、第２階層の画像信号に存在するクラス予測用注目画素に対して空間的および／または時間的に近傍の複数の参照画素とテーブルからのクラス予測係数との積和演算により、第２階層の画像信号のクラス予測用注目画素データの予測値をクラス毎に形成し、クラス予測用注目画素の真値と最も近いクラス予測用注目画素データの予測値を生じさせるクラス予測係数に対応するクラスを選択して、予測手段で予測される第１階層の画像信号の注目画素のクラスとするクラス分類手段と、
決定されたクラス毎に第１階層の画像信号の注目画素に関する予測値を作成するためのデータ予測係数を発生するための予測係数発生手段と、
第２階層の画像信号と予測係数発生手段からのデータ予測係数との積和演算によって、第１階層の画像信号の注目画素に関する予測値を生成するための演算手段とを有し、
予測係数発生手段は、
注目画素に対して空間的および／または時間的に近傍の複数の第２階層の画素の値とデータ予測係数の演算によって、予測値を作成した時に、作成された予測値と注目画素の真値との誤差を最小とするようなクラス毎の予測係数を予め学習によって求めておき、求められた予測係数を発生することを特徴とするディジタル画像信号の階層符号化装置である。
【００１４】
【作用】
上位階層から下位階層の画像信号を形成する時に、予め学習により獲得されたデータ予測係数、予測値あるいは正規化予測値を使用するので、補間フィルタと比べて予測の精度を高くすることができる。従って、原画像信号と予測画像信号との差分信号の値が小さくなり、差分信号のデータ量を減少することができ、符号化効率を上昇できる。クラス分けの精度を高くすることができる。
【００１５】
【実施例】
以下、この発明の一実施例について図面を参照して説明する。図１には、符号化装置の構成例を示す。この実施例は、４階層の符号化であり、第１階層（最下位層）の画像信号に対して、画素数が１／４の第２階層の画像信号、画素数が１／１６の第３階層、画素数が１／６４の第４階層（最上位階層）の画像信号を伝送するものである。入力端子１に対して、ディジタル画像信号が供給される。この入力画像信号が第１階層の信号である。具体的には、放送などによる伝送、ＶＴＲ等からの再生信号が入力端子１に供給される。
【００１６】
入力画像信号が間引きフィルタ２および減算器５に供給される。間引きフィルタ２に対して、間引きフィルタ３、減算器６および予測器４１が接続される。この予測器４１は、後述するように、間引きフィルタ２からの第２階層の画像信号の局所的特徴（クラス）に応じて第１階層の画像信号を出力するマッピングテーブルを含むクラス分類適応予測器である。予測器４１の出力信号が減算器５に供給され、減算器５からは、入力信号と予測信号との同一位置の画素毎の差分信号が発生する。この差分信号が符号化器１１を介して第１階層用の出力端子１５に取り出される。
【００１７】
間引きフィルタ３に対して、間引きフィルタ４、減算器７および予測器４２が接続される。予測器４２は、予測器４１と同様のもので、第３階層の画像信号から第２階層の画像信号を予測する。減算器６では、間引きフィルタ２の出力信号（第２階層の画像信号）から予測器４２の出力信号が減算される。減算器６からの差分信号が符号化器１２を介して第２階層用の出力端子１６に取り出される。減算器７では、間引きフィルタ３の出力信号（第３階層の画像信号）から予測器４３の出力信号が減算され、差分信号が符号化器１３を介して第３階層用の出力端子１７に取り出される。間引きフィルタ４の出力信号（第４階層の画像信号）が符号化器１４を介して第４階層用の出力端子１８に取り出される。
【００１８】
間引きフィルタ２、３および４のそれぞれは、水平方向および垂直方向において画素数を１／２に間引き、全体として画素数を１／４に減少させるものである。従って、入力画像信号（第１階層）の画素数を基準として、１／４の画素数の第２階層の画像信号、１／１６の画素数の第３階層の画像信号、１／６４の画素数の第４階層の画像信号が各間引きフィルタ２、３および４によって形成される。図３は、画素配列を示すもので、ここでは、簡単のために、第１階層から第３階層までを示している。第２階層の画素は、水平および垂直方向で第１階層の２個の画素に対して１個の割合で存在する。第３階層の画素は、水平および垂直方向で第１階層の４個の画素に対して１個の割合で存在する。図示しないが、第４階層の画素は、水平および垂直方向で第１階層の８個の画素に対して１個の割合で存在する。
【００１９】
図４Ａおよび図４Ｂは、間引きフィルタ２、３および４の構成例を示している。図４Ａの例は、帯域制限用のプリフィルタ４７およびサブサンプリング回路４８が入力端子および出力端子間に直列接続されている。図４Ｂは、水平方向の間引きフィルタ４９および垂直方向の間引きフィルタ５０が直列接続された他の例を示す。
【００２０】
さらに、符号化器１１、１２、１３は、差分信号のデータ量を圧縮する符号化を行う。符号化器１４は、第４階層の画像信号のデータ量を圧縮する符号化を行う。具体的には、線形量子化、非線形量子化、またはＡＤＲＣ（ダイナミックレンジ適応符号化）に代表される適応量子化、ＤＰＣＭを採用することができる。
【００２１】
上述の階層符号化装置と対応する階層復号装置を図２に示す。入力端子２１、２２、２３および２４に、第１、第２、第３および第４階層の入力信号がそれぞれ供給される。これらの入力信号は、復号器２５、２６、２７および２８にそれぞれ供給される。復号器２５〜２８は、符号化器１１〜１４と対応するものである。復号器２５、２６および２７に対して、加算器２９、３０、３１がそれぞれ接続される。
【００２２】
復号器２８から出力端子３８へ第４階層の画像信号が出力される。復号器２８に対して予測器４６が接続され、予測器４６によって、第３階層の画像信号が予測される。この予測信号と復号器２７の出力信号とが加算器３１へ供給される。加算器３１から第３階層の画像信号が出力端子３７に取り出される。この第３階層の画像信号が予測器４５に供給され、第２階層の画像信号が予測される。
【００２３】
復号器２６の出力信号と予測器４５により形成された第２階層の出力信号とが加算器３０に供給され、加算器３０から第２階層の画像信号が得られる。第２階層の画像信号が出力端子３６へ取り出され、また、予測器４４に供給される。予測器４４によって形成された第１階層の画像信号が加算器２９において、復号器２５の出力信号と加算され、加算器２９から第１階層の画像信号が得られる。これが出力端子３５に取り出される。このように、符号化が最下位階層（第１階層）から最上位階層（第４階層）へ向かう順になされるのに対して、復号は、最上位階層（第４階層）から最下位階層（第１階層）へ向かう順になされる。
【００２４】
前述した図１４の符号化装置と図１のこの発明による符号化装置とを比較すると、補間フィルタ８、９、１０の代わりにクラス分類適応予測器４１、４２および４３が設けられていることが相違する。復号装置に関しても同様に、補間フィルタ３２、３３および３４に代えて、クラス分類適応予測器４４、４５および４６が設けられていることが相違する。この発明で使用される予測器は、以下に説明するように、補間フィルタと比較すると、その出力信号が原信号とより近いものとできる。従って、原信号と予測信号との差分信号の値をより小さくすることができ、伝送データ量を少なくできる利点がある。
【００２５】
予測器４１〜４３を図５を用い、予測器４１を例に説明する。入力端子９１から供給される第２階層のディジタル画像信号ｄ０は、クラス予測器９２、クラス決定回路９３及び予測演算回路９５に供給される。クラス予測器９２は、各クラスに対応するクラス予測係数と、データ予測係数とが格納されているテーブル９４から供給されるクラス予測係数ｄ２と、第２階層のディジタル画像信号ｄ０とを演算し、第２階層の予測値ｄ１を生成する。この第２階層の予測値ｄ１がクラス決定回路９３に供給される。
【００２６】
クラス決定回路９３は、第２階層の予測値ｄ１と第２階層のディジタル画像信号の真値ｄ０との比較からクラスを決定する。一例として、真値ｄ０との誤差の絶対値が最小の第２階層の予測値ｄ１を生じさせるクラス予測係数と対応するクラスを選択する。例えば、テーブル９４には、０〜ｎ−１のクラス予測係数が格納されている。クラス予測器９２は、最初にクラス０のクラス予測係数を用いて予測値ｄを生成し、クラス決定回路９３はこの予測値と真値ｄ０との誤差の絶対値を求める。以下、それ以外のクラスについても、同様に予測値と真値との誤差の絶対値を求め、この絶対値が最小となるクラスを選択する。テーブル９４は、クラス決定回路９３により選択されたクラスに対応するデータ予測係数ｄ３を予測演算回路９５に出力する。予測演算回路９５は、供給されたデータ予測係数ｄ３と第２階層のデジタル画像信号ｄ０との演算により、第一階層信号の予測値を生成して、出力端子９６に供給する。
【００２７】
図６及び図７を用いて、クラス決定及びデータ予測の一例について説明する。クラス予測器９２は第２階層の予測値ｄ１を、クラス予測器９２に供給される第２階層のデジタル画像信号ｄ０のうち、予測の対象である第２階層画素ｘ８の周囲の第２階層予測タップ領域に含まれる第２階層画素Ｘ０〜Ｘ７，Ｘ９〜Ｘ１６の１６個の画素値、ｘ０〜ｘ７，ｘ９〜ｘ１６と、図７に示されるテーブル９４に格納されている各クラスのクラス予測係数との線形１次結合をとることにより求められる。例えば、クラス０に対応する予測値ｄ１は下記の演算によって生成される。
ｄ１＝k0×x0＋k1・・・＋k7×x7＋k9×x9＋・・・＋k16×x16 （１）
【００２８】
図６の例は、簡単化のために使用する１次元の画素の配列であるが、実際には図３に示されるような２次元の画素配列を用いて予測が行なわれる。このようなクラス分けは、参照画素数が多くても、クラス予測係数のデータ量が極端に増加しない利点がある。このように、求められた各クラスに対応する第２階層の予測値ｄ１は、クラス決定回路９３によって画素ｘ８の真値である画素値ｘ８との値との誤差が求められ、この誤差が最も小さいクラスが選択される。テーブル９４は、図７に示されるような各クラス０〜ｎ−１に対応するｎ組のデータ予測係数のうち、選択されたクラスに対応するデータ予測係数ｄ３を予測演算回路９５に出力する。
【００２９】
予測演算回路９５においてなされる第１階層画素のデータ予測は、供給される第２階層のデジタル画像信号ｄ０のうち予測する第１階層の注目画素の位置の近傍の例えば３個の第２階層画素を使用してなされる。図６の例では、データ予測係数ｄ３をｗ1 ，ｗ2 ，ｗ3 とすると、下記の演算によって、第１階層画素の値ｙ´が生成される。この演算は一例であって、図３に示されるような２次元配列中のより多くの第２階層の画素データを使用しても良い。
ｙ´＝ｗ1 ×ｘ7 ＋ｗ2 ×ｘ8 ＋ｗ3 ×ｘ9 （２）
予測器４２，４３についても同様である。
【００３０】
また、テーブル９４にデータ予測係数の代わりに、各クラス毎のデータ予測値を格納しておくようにしてもよい。この場合には、クラス決定回路９３によって決定されたクラスに対応したデータ予測値と、同じ階層のデータｄ０とを予測演算回路９５で合成し、合成データを出力端子９６に供給する。
【００３１】
また、テーブル９４に正規化されたデータ予測値を格納しておいてもよい。この場合、テーブル９４から供給された正規化データ予測値を用いて予測演算回路９５は予測値を生成し、同じ階層のデータｄ０と合成して合成データを出力端子９６に供給する。正規化は、画素の値からブロック内の基準レベル（最小値、平均値等）を減算し、減算出力をブロックのダイナミックレンジで割る処理である。正規化は、学習時に、画素の値を処理するのと比較して、データ用メモリの容量を低減することができる。
【００３２】
図８は、上述のデータ予測係数、データ予測値、あるいは正規化データ予測値を予め求める学習時の構成を示すものである。入力端子６１にディジタル画像信号（第１階層信号）が供給され、間引きフィルタ６２、６３、６４によって、第２、第３、第４階層信号が形成されるのは、図１の構成と同様である。学習部６５に第１および第２階層信号が供給され、学習部６６に第２および第３階層信号が供給され、学習部６７に第３および第４階層信号が供給される。
【００３３】
学習部６５は、第２階層信号から第１階層信号を予測するためのデータ予測係数、データ予測値、あるいは正規化データ予測値を決定する。学習部６６は、第３階層信号から第２階層信号を予測するためのデータ予測係数等を決定し、学習部６７は、第４階層信号から第３階層信号を予測するためのデータ予測係数等を決定する。これらの学習部６５、６６、６７は、予測器のクラス予測器９２とクラス決定回路９３とテーブル９４を用いたクラス分けと同一のクラス分けを行なうクラス分類回路を含み、クラス毎に決定されたデータ予測係数等がメモリ６８、６９、７０に格納される。このメモリ６８、６９、７０に格納されたデータ予測係数等がテーブル９４にそれぞれ格納される。
【００３４】
図５に示されるテーブル９４にデータ予測係数が格納されている場合、予測演算回路９５では、例えば第１階層の予測値を第２階層のデータから生成するために、注目画素の周辺の３個の画素値ｘ7 ，ｘ8 , ｘ9 が使用される。すなわち、予測係数をｗ1 〜ｗ3 で表すと、
ｙ´＝ｗ1 ×ｘ7 ＋ｗ2 ×ｘ8 ＋ｗ3 ×ｘ9 （３）
の線形１次結合によって、予測演算回路９５が予測値ｙ´を生成する。
【００３５】
テーブル９５に格納されるマッピングテーブルを学習によって獲得するための処理について以下に説明する。図９は、学習をソフトウェア処理で行う時のその動作を示すフローチャートである。
【００３６】
ステップ７１から学習処理の制御が開始され、ステップ７２の学習データ形成では、既知の画像に対応した学習データが形成される。ここで、クラス分類およびデータ予測係数決定のために使用される複数画素の値の最大値および最小値の差である、ダイナミックレンジＤＲがしきい値より小さいものは、学習データとして扱わない制御がなされる。これは、ダイナミックレンジＤＲが小さいデータは、ノイズによる影響が大きいので、学習対象からそのようなブロックのデータを除外するための処理である。ステップ７３のデータ終了では、入力された全データ例えば１フレームのデータの処理が終了していれば、ステップ７６のデータ予測係数決定へ、終了していなければ、ステップ７４のクラス決定へ制御が移る。
【００３７】
ステップ７４のクラス決定は、上述したように、８個の参照画素値を圧縮したコードに基づいて、レベル分布のパターンを調べる処理である。ステップ７５の正規方程式生成では、後述する正規方程式が作成される。
【００３８】
ステップ７３のデータ終了から全データの処理が終了後、制御がステップ７６に移り、ステップ７６のデータ予測係数決定では、後述するように、正規方程式を行列解法を用いて解いて、データ予測係数を決める。ステップ７７のデータ予測係数ストアで、データ予測係数をメモリにストアし、ステップ７８で学習処理の制御が終了する。
【００３９】
図９中のステップ７５（正規方程式生成）およびステップ７６（予測係数決定）の処理をより詳細に説明する。予め線形１次結合式に基づくデータ予測係数を用意するために最小二乗法を用いる。一般的に説明すると、ｘを入力データ、ｗを予測係数、ｙを推定値とすると、次の式が成立する。
観測方程式：ｘｗ＝ｙ （４）
ここで、
【数１】
上述の観測方程式（４）により収集されたデータに最小二乗法を適用する。式（３）において、ｎ＝３、ｍ＝学習データ数となる。ｍ＞ｎの場合、ｗ1 〜ｗn は一意に決まらないので、誤差ベクトルＥを定義して、式（６）の残差方程式を作成する。
【００４１】
【数２】
式（６）の残差方程式から各ｗi の最適値は、次の式を最小にする条件が成り立つ場合が考えられる。
【００４３】
【数３】
【数４】
すなわち、式（７）のｉに基づくｎ個の条件を満たすｗ1 、ｗ2 、・・・、ｗn を算出すれば良い。そこで、残差方程式（６）から式（８）が得られる。
【００４６】
【数５】
式（７）と式（８）から式（９）が得られる。
【００４８】
【数６】
そして、式（６）と式（９）から、正規方程式として次の式（１０）が得られる。
【００５０】
【数７】
正規方程式（１０）は、未知数の個数ｎと同じ方程式を立てることが可能であるので、各ｗi の最適値を求めることができる。そして掃き出し法(Gauss-Jordan の消去法）を用いて連立方程式を解けば、予測係数ｗi が求まる。この予測係数ｗi をクラスコードｃで指示されるメモリのアドレスに格納しておく。
【００５２】
学習処理は、ソフトウェアのみならず、ハードウエアのみで、あるいは部分的にハードウエアを使用して行うことも可能である。
【００５３】
マッピングテーブルとしては、データ予測係数で構成されるものに限らず、予め学習により決定されたクラス毎の、最適なデータ予測値（代表値と称する）が格納されたものを使用しても良い。
【００５４】
代表値を決定するためには、重心法を使用できる。図１０は、この処理を説明するフローチャートである。図１０のステップ８１は、このフローチャートの開始を表し、ステップ８２は、この学習を行うための準備として、クラスの度数カウンタＮ（＊）およびクラスのデータテーブルＥ（＊）の初期化を行うために全ての度数カウンタＮ（＊）および全てのデータテーブルＥ（＊）へ `０' データが書き込まれる。ここで、 `＊' は、全てのクラスを示し、クラスｃ０に対応する度数カウンタは、Ｎ（ｃ０）となり、データテーブルは、Ｅ（ｃ０）となる。ステップ８２（初期化）の制御が終了するとステップ８３へ制御が移る。
【００５５】
ステップ８３は、注目画素を中心とした学習対象画素近傍データから、その注目画素のクラスが決定される。そして、ステップ８４では、学習対象となる例えば第１階層の画素値ｅが検出される。また、このステップ８４では、その画素値ｅが含まれるブロックのダイナミックレンジＤＲが所定のしきい値よりも小さいものは、学習データとして扱わない処理もなされる。
【００５６】
こうしてステップ８３（クラス決定）およびステップ８４（データ検出）から制御がステップ８５へ移り、ステップ８５のデータ加算では、クラスｃのデータテーブルＥ（ｃ）の内容に画素値ｅが加算される。次に、ステップ８６の度数加算において、そのクラスｃの度数カウンタＮ（ｃ）が `＋１' インクリメントされる。
【００５７】
全学習対象画素について、ステップ８３（クラス決定）からステップ８６（度数加算）の制御が終了したか否かを判定するステップ８７では、全データの学習が終了していれば、 `ＹＥＳ' 、すなわちステップ８８へ制御が移り、全データの学習が終了していなければ、 `ＮＯ' 、すなわちステップ８３（クラス決定）へ制御が移り、全データの学習が終了になるまで、繰り返し実行され、全てのクラスの度数カウンタＮ（＊）と対応する全てのクラスのデータテーブルＥ（＊）が生成される。
【００５８】
ステップ８８では、画素値ｅの積算値が保持されている各クラスのデータテーブルＥ（＊）が対応する画素値ｅの出現度数が保持されている各クラスの度数カウンタＮ（＊）で除算され、各クラスの平均値が算出される。この平均値が各クラスの推定値となる。ステップ８９では、ステップ８８において、算出された推定値（平均値）が各クラス毎に登録される。全クラスの推定値の登録が終了すると、制御がステップ９０へ移り、この学習フローチャートの終了となる。上述の手法は、学習対象画素値の分布の平均から推定値が生成されることから、重心法と呼ばれる。
【００５９】
上述の代表値としては、平均値に限らず、正規化予測値を使用することができる。この場合、データ検出のステップ８４において、画素値の代わりに正規化予測値が使用される。すなわち、ブロック内の基準値baseの除去とダイナミックレンジＤＲによる正規化の処理がなされる。入力画素値をｙとすると、（ｙ−base）／ＤＲの演算により入力データが正規化される。正規化予測値の平均化処理がなされ、メモリには、正規化予測値ｇ（ｃ）が格納される。
【００６０】
基準値baseは、例えばブロックの最小値ＭＩＮである。基準値としては、注目画素に近い位置のサンプリング点の画素レベル、ブロック内の画素レベルの平均値等を採用できる。この基準値をbaseと称する。基準値baseは、ブロック内の画素のレベル分布にとっては、共通成分、すなわち、冗長成分であり、基準値baseを除去することにより、レベル方向の冗長度を除去できる。図７中の変換回路５８では、下記の演算によって、補間値ｙ´が生成される。
ｙ´＝ＤＲ×ｇ（ｃ）＋base （１１）
【００６１】
代表値として、正規化予測値を使用しているので、レベルそのものを代表値とするのと比して、メモリの容量の削減、ハードウエアの小規模化を達成することができる。
【００６２】
上述のテーブル９４内のクラス予測係数は、予め学習により決定される。図１１は、クラス予測係数の学習時の処理を示すフローチャートである。クラス予測係数の学習は、上述したデータ予測係数の学習と同様になされる。ステップ１１１から学習処理の制御が開始され、ステップ１１２の学習データ形成では、既知の画像に対応した学習データが形成される。具体的には、上述したように、図６に示すように配列された１７個の画素の配列が一組の学習データとされる。
【００６３】
ステップ１１３のデータ終了では、入力された全データ例えば１フレームのデータの処理が終了していれば、ステップ１１５のクラス予測係数決定へ、終了していなければ、ステップ１１４の正規方程式生成へ制御が移る。ステップ１１４の正規方程式生成では、上述の式（１０）の正規方程式が作成される。
【００６４】
全データの処理が終了後、ステップ１１３のデータ終了から制御がステップ１１５に移り、ステップ１１５の予測係数決定では、式（１０）を行列解法を用いて解いて、クラス予測係数ｋ0 〜ｋ16を決定する。次のステップ１１６において、決定されたクラス予測係数ｋ0 〜ｋ16と第２階層画素の値ｘ0 〜ｘ16との線形１次結合によって、予測値ｘ´（ｄ１）が計算され、この予測ｘ´と真値ｘ8 との間の誤差の絶対値が計算される。誤差の演算は、係数を決定するのに使用した第２階層画素と、それ以外の全ての第２階層画素について行われる。係数を決定するのに使用した第２階層画素について、誤差はきわめて少ない。
【００６５】
次のステップ１１７では、計算された誤差の絶対値としきい値Ｔｈとが比較される。誤差の絶対値がしきい値Ｔｈ未満であるならば、クラス予測係数がクラスｉの係数としてメモリに格納される（ステップ１１８）。そして、ｉ＝ｎかどうかがステップ１１９で決定され、若しそうであるならば、学習処理が終了し、若しそうでない時には、ｉがインクリメントされる（ステップ１２０）。そして、ステップ１１２に戻り、上述の処理が繰り返される。
【００６６】
但し、ステップ１１７において、誤差がしきい値Ｔｈ以上となる第２階層画素のデータが判別され、データ選択のステップ１２１において、学習データとして使用されるものがしきい値Ｔｈ以上の誤差を生じさせたものに限定される。このように、クラス０からｎ−１のそれぞれのクラス予測係数が決定される。
【００６７】
図１１中のステップ１１４（正規方程式生成）およびステップ１１５（予測係数決定）の処理は、上述のデータ予測係数ｗ1 〜ｗn の決定の処理と同様であるので、その説明は、重複を避けるために省略する。
【００６８】
また、第１階層の予測のために代表値（データ予測値）を予め学習により決定する方式の場合には、図１２に示すテーブルが作成される。すなわち、クラス０〜ｎ−１のそれぞれには、上述したクラス予測係数と図１０のフローチャートの処理で決定された代表値（データ予測値）Ｌ０〜Ｌn-1 とが格納されている。
【００６９】
図１３は、クラス分類回路の他の例である。入力ディジタル画像信号が供給される入力端子１９１に対して、クラス分類回路１９２およびアクティビィティークラス分類回路１９３が接続される。クラス分類回路１９２は、上述のクラス予測器９２、クラス決定回路９３、テーブル９４から成り予測式表現を用いたクラス分類を行う。アクティビィティークラス分類回路１９３は、ブロック毎のアクティビィティーに基づくクラス分類を行なう。アクティビィティーの具体的なものは、ブロックのダイナミックレンジ、ブロックデータの標準偏差の絶対値、ブロックデータの平均値に対する各画素の値の差分の絶対値等である。アクティビィティーにより画像の性質が異なる場合があるので、このようなアクティビィティーをクラス分類のパラメータとして使用することによって、クラス分類をより高精度とすることができ、また、クラス分類の自由度を増すことできる。
【００７０】
クラス分類回路１９２および１９３からのクラスコードｃ１およびｃ２がメモリ１９４に対してアドレスとして供給される。このメモリ１９４には、予測器の場合では、学習で得られたデータ予測係数、データ予測値、あるいは正規化データ予測値が格納されている。
【００７１】
【発明の効果】
この発明は、階層符号化において、原画像信号と予測信号との差分信号を形成する時に、マッピングテーブルを使用して予測信号を形成する際、複数の参照画素およびクラス予測係数の線形１次結合によって予測値を生成し、この予測値と真値との誤差が最小のものを検出することによって、クラス分類を行なっている。従って、参照画素数と等しい予測係数を記憶するので、参照画素数を多くしても、クラス分類用テーブルを格納するメモリの容量がそれ程増大しない利点がある。
【図面の簡単な説明】
【図１】この発明の一実施例の符号化装置のブロック図である。
【図２】この発明の一実施例の復号装置のブロック図である。
【図３】階層間の画素数の関係とクラス分類およびデータ予測のための画素の位置を表す略線図である。
【図４】間引きフィルタの構成の一例および他の例のブロック図である。
【図５】予測器の構成の一例を示すブロック図である。
【図６】クラス予測係数を求める処理に使用する画素の配列を示す略線図である。
【図７】クラス予測係数およびデータ予測係数が格納されるテーブルの構成を示す略線図である。
【図８】学習時の構成の概略的ブロック図である。
【図９】データ予測用の係数を決定するための学習をソフトウェア処理で行う時のフローチャートである。
【図１０】代表値を求めるための学習をソフトウェア処理で行う時のフローチャートである。
【図１１】クラス予測係数を決定するための学習をソフトウェア処理で行う時のフローチャートである。
【図１２】クラス予測係数および代表値が格納されるテーブルの構成を示す略線図である。
【図１３】クラス分類回路の他の例のブロック図である。
【図１４】先に提案されている階層符号化装置のブロック図である。
【図１５】先に提案されている階層符号化の復号装置のブロック図である。
【符号の説明】
２，３，４ 間引きフィルタ
４１，４２，４３，４４，４５，４６ 予測器
６５、６６、６７ 学習部
９２ クラス予測器
９３ クラス決定回路
９５ 予測演算回路
Claims (14)
- 第１階層の画像信号よりも画素数が減少された第２階層の画像信号を形成するための手段と、
上記第２階層の画像信号から上記第１階層の画像信号を予測するための予測手段と、
上記第１階層の画像信号と上記予測手段からの予測値との差分値を生成するための手段と、
上記第２階層の画像信号および上記差分値を伝送するための手段とからなり、
上記予測手段は、
クラス毎に複数のクラス予測係数が予め格納されたテーブルを有し、上記第２階層の画像信号中に含まれ、上記第２階層の画像信号に存在するクラス予測用注目画素に対して空間的および／または時間的に近傍の複数の参照画素と上記テーブルからのクラス予測係数との積和演算により、上記第２階層の画像信号のクラス予測用注目画素データの予測値を上記クラス毎に形成し、上記クラス予測用注目画素の真値と最も近い上記クラス予測用注目画素データの予測値を生じさせる上記クラス予測係数に対応するクラスを選択して、上記予測手段で予測される上記第１階層の画像信号の注目画素のクラスとするクラス分類手段と、
上記決定されたクラス毎に上記第１階層の画像信号の注目画素に関する上記予測値を作成するためのデータ予測係数を発生するための予測係数発生手段と、
上記第２階層の画像信号と上記予測係数発生手段からのデータ予測係数との積和演算によって、上記第１階層の画像信号の注目画素に関する上記予測値を生成するための演算手段とを有し、
上記予測係数発生手段は、
上記注目画素に対して空間的および／または時間的に近傍の複数の上記第２階層の画素の値と上記データ予測係数の演算によって、上記予測値を作成した時に、作成された予測値と上記注目画素の真値との誤差を最小とするような上記クラス毎の予測係数を予め学習によって求めておき、求められた上記予測係数を発生することを特徴とするディジタル画像信号の階層符号化装置。 - 請求項１に記載の装置において、
上記予測係数発生手段は、クラス毎のデータ予測係数を格納するメモリ手段を有し、
上記データ予測係数は、予め学習によって得られた、注目画素の空間的および／または時間的に近傍の複数の画素の値と上記データ予測係数の積和演算によって、上記注目画素の値を作成した時に、作成された値と上記注目画素の真値との誤差を最小とするような値であることを特徴とする階層符号化装置。 - 第１階層の画像信号よりも画素数が減少された第２階層の画像信号を形成し、上記第２階層の画像信号から上記第１階層の画像信号を予測し、上記第１階層の画像信号と予測値との差分値を生成し、上記差分値および上記第２階層の画像信号を送信する処理を行うディジタル画像信号の階層符号化に対する復号装置において、
上記第２階層の画像信号と上記差分値を受信する手段と、
上記第２階層の画像信号から上記第１階層の画像信号の予測値を形成するための予測手段と、
上記予測値と受信された上記差分値を加算することによって、上記第１階層の画像信号を形成するための手段とからなり、
上記予測手段は、
クラス毎に複数のクラス予測係数が予め格納されたテーブルを有し、上記第２階層の画像信号中に含まれ、上記第２階層の画像信号に存在するクラス予測用注目画素に対して空間的および／または時間的に近傍の複数の参照画素と上記テーブルからのクラス予測係数との積和演算により、上記第２階層の画像信号のクラス予測用注目画素データの予測値を上記クラス毎に形成し、上記クラス予測用注目画素の真値と最も近い上記クラス予測用注目画素データの予測値を生じさせる上記クラス予測係数に対応するクラスを選択して、上記予測手段で予測される上記第１階層の画像信号の注目画素のクラスとするクラス分類手段と、
上記決定されたクラス毎に上記第１階層の画像信号の注目画素に関する上記予測値を作成するためのデータ予測係数を発生するための予測係数発生手段と、
上記第２階層の画像信号と上記予測係数発生手段からのデータ予測係数との積和演算によって、上記第１階層の画像信号の注目画素に関する上記予測値を生成するための演算手段とを有し、
上記予測係数発生手段は、
上記注目画素に対して空間的および／または時間的に近傍の複数の上記第２階層の画素の値と上記データ予測係数の演算によって、上記予測値を作成した時に、作成された予測値と上記注目画素の真値との誤差を最小とするような上記クラス毎の予測係数を予め学習によって求めておき、求められた上記予測係数を発生することを特徴とするディジタル画像信号の階層符号化の復号装置。 - 請求項３に記載の装置において、
上記予測係数発生手段は、クラス毎のデータ予測係数を格納するメモリ手段を有し、
上記データ予測係数は、予め学習によって得られた、注目画素の空間的および／または時間的に近傍の複数の画素の値と上記データ予測係数の線形１次結合によって、上記注目画素の値を作成した時に、作成された値と上記注目画素の真値との誤差を最小とするような値であることを特徴とする階層符号化の復号装置。 - 第１階層の画像信号よりも画素数が減少された第２階層の画像信号を形成するための手段と、
上記第２階層の画像信号から上記第１階層の画像信号を予測するための予測手段と、
上記第１階層の画像信号と上記予測手段からの予測値との差分値を生成するための手段と、
上記第２階層の画像信号および上記差分値を伝送するための手段とからなり、
上記予測手段は、
クラス毎に複数のクラス予測係数が予め格納されたテーブルを有し、上記第２階層の画像信号中に含まれ、上記第２階層の画像信号に存在するクラス予測用注目画素に対して空間的および／または時間的に近傍の複数の参照画素と上記テーブルからのクラス予測係数との積和演算により、上記第２階層の画像信号のクラス予測用注目画素データの予測値を上記クラス毎に形成し、上記クラス予測用注目画素の真値と最も近い上記クラス予測用注目画素データの予測値を生じさせる上記クラス予測係数に対応するクラスを選択して、上記予測手段で予測される上記第１階層の画像信号の注目画素のクラスとするクラス分類手段と、
上記決定されたクラス毎に上記第１階層の画像信号の注目画素に関する上記予測値を発生するための予測値発生手段とを有し、
上記予測値発生手段は、
上記クラス毎に得られる値の累積値を累積度数で除した値を上記クラス毎の予測値として予め学習によって求めておき、求められた上記予測値を発生することを特徴とするディジタル画像信号の階層符号化装置。 - 請求項５に記載の装置において、
上記予測値発生手段は、クラス毎の予測値を格納するメモリ手段を有し、
学習時にクラス毎に得られる値の累積値を累積度数で除した値がクラス毎の予測値として上記メモリ手段に格納されていることを特徴とする階層符号化装置。 - 請求項５に記載の装置において、
上記予測値発生手段は、クラス毎の予測値を格納するメモリ手段を有し、
学習時に、注目画素を含む複数の画素からなるブロックを形成し、
上記ブロック内のダイナミックレンジによって、上記注目画素の値から上記ブロックの基準値を合成した値を正規化し、
上記正規化された値の累積値を累積度数で除した値がクラス毎の予測値として、上記メモリ手段に格納され、
上記基準値および上記ダイナミックレンジを使用して、上記メモリ手段の出力が予測値に変換されるようにしたことを特徴とする階層符号化装置。 - 第１階層の画像信号よりも画素数が減少された第２階層の画像信号を形成し、上記第２階層の画像信号から上記第１階層の画像信号を予測し、上記第１階層の画像信号と予測値との差分値を生成し、上記差分値および上記第２階層の画像信号を送信する処理を行うディジタル画像信号の階層符号化に対する復号装置において、
上記第２階層の画像信号と上記差分値を受信する手段と、
上記第２階層の画像信号から上記第１階層の画像信号の予測値を形成するための予測手段と、
上記予測値と受信された上記差分値を加算することによって、上記第１階層の画像信号を形成するための手段とからなり、
上記予測手段は、
クラス毎に複数のクラス予測係数が予め格納されたテーブルを有し、上記第２階層の画像信号中に含まれ、上記第２階層の画像信号に存在するクラス予測用注目画素に対して空間的および／または時間的に近傍の複数の参照画素と上記テーブルからのクラス予測係数との積和演算により、上記第２階層の画像信号のクラス予測用注目画素データの予測値を上記クラス毎に形成し、上記クラス予測用注目画素の真値と最も近い上記クラス予測用注目画素データの予測値を生じさせる上記クラス予測係数に対応するクラスを選択して、上記予測手段で予測される上記第１階層の画像信号の注目画素のクラスとするクラス分類手段と、
上記決定されたクラス毎に上記第１階層の画像信号の注目画素に関する上記予測値を発生するための予測値発生手段とを有し、
上記予測値発生手段は、
上記クラス毎に得られる値の累積値を累積度数で除した値を上記クラス毎の予測値として予め学習によって求めておき、求められた上記予測値を発生することを特徴とするディジタル画像信号の階層符号化の復号装置。 - 請求項８に記載の装置において、
上記予測値発生手段は、クラス毎に予測値を格納するメモリ手段を有し、
学習時にクラス毎に得られる値の累積値を累積度数で除した値がクラス毎の予測値として上記メモリ手段に格納されていることを特徴とする階層符号化の復号装置。 - 請求項８に記載の装置において、
上記予測値発生手段は、クラス毎の予測値を格納するメモリ手段を有し、
学習時に、注目画素を含む複数の画素からなるブロックを形成し、
上記ブロック内のダイナミックレンジによって、上記注目画素の値から上記ブロックの基準値を合成した値を正規化し、
上記正規化された値の累積値を累積度数で除した値がクラス毎の予測値として、上記メモリ手段に格納され、
上記基準値および上記ダイナミックレンジを使用して、上記メモリ手段の出力が予測値に変換されるようにしたことを特徴とする階層符号化の復号装置。 - 第１階層の画像信号よりも画素数が減少された第２階層の画像信号を形成するためのステップと、
上記第２階層の画像信号から上記第１階層の画像信号を予測するための予測ステップと、
上記第１階層の画像信号と上記予測ステップからの予測値との差分値を生成するためのステップと、
上記第２階層の画像信号および上記差分値を伝送するためのステップとからなり、
上記予測ステップは、
クラス毎に複数のクラス予測係数が予め格納されたテーブルを有し、上記第２階層の画像信号中に含まれ、上記第２階層の画像信号に存在するクラス予測用注目画素に対して空間的および／または時間的に近傍の複数の参照画素と上記テーブルからのクラス予測係数との積和演算により、上記第２階層の画像信号のクラス予測用注目画素データの予測値を上記クラス毎に形成し、上記クラス予測用注目画素の真値と最も近い上記クラス予測用注目画素データの予測値を生じさせる上記クラス予測係数に対応するクラスを選択して、上記予測ステップで予測される上記第１階層の画像信号の注目画素のクラスとするクラス分類ステップと、
上記決定されたクラス毎に上記第１階層の画像信号の注目画素に関する上記予測値を作成するためのデータ予測係数を発生するための予測係数発生ステップと、
上記第２階層の画像信号と上記予測係数発生ステップで発生したデータ予測係数との積和演算によって、上記第１階層の画像信号の注目画素に関する上記予測値を生成するための演算ステップとを有し、
上記予測係数発生ステップは、
上記注目画素に対して空間的および／または時間的に近傍の複数の上記第２階層の画素の値と上記データ予測係数の演算によって、上記予測値を作成した時に、作成された予測値と上記注目画素の真値との誤差を最小とするような上記クラス毎の予測係数を予め学習によって求めておき、求められた上記予測係数を発生することを特徴とするディジタル画像信号の階層符号化方法。 - 第１階層の画像信号よりも画素数が減少された第２階層の画像信号を形成し、上記第２階層の画像信号から上記第１階層の画像信号を予測し、上記第１階層の画像信号と予測値との差分値を生成し、上記差分値および上記第２階層の画像信号を送信するディジタル画像信号の階層符号化に対する復号方法において、
上記第２階層の画像信号と上記差分値を受信するステップと、
上記第２階層の画像信号から上記第１階層の画像信号の予測値を形成するための予測ステップと、
上記予測値と受信された上記差分値を加算することによって、上記第１階層の画像信号を形成するためのステップとからなり、
上記予測ステップは、
クラス毎に複数のクラス予測係数が予め格納されたテーブルを有し、上記第２階層の画像信号中に含まれ、上記第２階層の画像信号に存在するクラス予測用注目画素に対して空間的および／または時間的に近傍の複数の参照画素と上記テーブルからのクラス予測係数との積和演算により、上記第２階層の画像信号のクラス予測用注目画素データの予測値を上記クラス毎に形成し、上記クラス予測用注目画素の真値と最も近い上記クラス予測用注目画素データの予測値を生じさせる上記クラス予測係数に対応するクラスを選択して、上記予測ステップで予測される上記第１階層の画像信号の注目画素のクラスとするクラス分類ステップと、
上記決定されたクラス毎に上記第１階層の画像信号の注目画素に関する上記予測値を作成するためのデータ予測係数を発生するための予測係数発生ステップと、
上記第２階層の画像信号と上記予測係数発生ステップで発生したデータ予測係数との積和演算によって、上記第１階層の画像信号の注目画素に関する上記予測値を生成するための演算ステップとを有し、
上記予測係数発生ステップは、
上記注目画素に対して空間的および／または時間的に近傍の複数の上記第２階層の画素の値と上記データ予測係数の演算によって、上記予測値を作成した時に、作成された予測値と上記注目画素の真値との誤差を最小とするような上記クラス毎の予測係数を予め学習によって求めておき、求められた上記予測係数を発生することを特徴とするディジタル画像信号の階層符号化の復号方法。 - 第１階層の画像信号よりも画素数が減少された第２階層の画像信号を形成するためのステップと、
上記第２階層の画像信号から上記第１階層の画像信号を予測するための予測ステップと、
上記第１階層の画像信号と上記予測ステップからの予測値との差分値を生成するためのステップと、
上記第２階層の画像信号および上記差分値を伝送するためのステップとからなり、
上記予測ステップは、
クラス毎に複数のクラス予測係数が予め格納されたテーブルを有し、上記第２階層の画像信号中に含まれ、上記第２階層の画像信号に存在するクラス予測用注目画素に対して空間的および／または時間的に近傍の複数の参照画素と上記テーブルからのクラス予測係数との積和演算により、上記第２階層の画像信号のクラス予測用注目画素データの予測値を上記クラス毎に形成し、上記クラス予測用注目画素の真値と最も近い上記クラス予測用注目画素データの予測値を生じさせる上記クラス予測係数に対応するクラスを選択して、上記予測ステップで予測される上記第１階層の画像信号の注目画素のクラスとするクラス分類ステップと、
上記決定されたクラス毎に上記第１階層の画像信号の注目画素に関する上記予測値を発生するための予測値発生ステップとを有し、
上記予測値発生ステップは、
上記クラス毎に得られる値の累積値を累積度数で除した値を上記クラス毎の予測値として予め学習によって求めておき、求められた上記予測値を発生することを特徴とするディジタル画像信号の階層符号化方法。 - 第１階層の画像信号よりも画素数が減少された第２階層の画像信号を形成し、上記第２階層の画像信号から上記第１階層の画像信号を予測し、上記第１階層の画像信号と予測値との差分値を生成し、上記差分値および上記第２階層の画像信号を送信するディジタル画像信号の階層符号化に対する復号方法において、
上記第２階層の画像信号と上記差分値を受信するステップと、
上記第２階層の画像信号から上記第１階層の画像信号の予測値を形成するための予測ステップと、
上記予測値と受信された上記差分値を加算することによって、上記第１階層の画像信号を形成するためのステップとからなり、
上記予測ステップは、
クラス毎に複数のクラス予測係数が予め格納されたテーブルを有し、上記第２階層の画像信号中に含まれ、上記第２階層の画像信号に存在するクラス予測用注目画素に対して空間的および／または時間的に近傍の複数の参照画素と上記テーブルからのクラス予測係数との積和演算により、上記第２階層の画像信号のクラス予測用注目画素データの予測値を上記クラス毎に形成し、上記クラス予測用注目画素の真値と最も近い上記クラス予測用注目画素データの予測値を生じさせる上記クラス予測係数に対応するクラスを選択して、上記予測ステップで予測される上記第１階層の画像信号の注目画素のクラスとするクラス分類ステップと、
上記決定されたクラス毎に上記第１階層の画像信号の注目画素に関する上記予測値を発生するための予測値発生ステップとを有し、
上記予測値発生ステップは、
上記クラス毎に得られる値の累積値を累積度数で除した値を上記クラス毎の予測値として予め学習によって求めておき、求められた上記予測値を発生することを特徴とするディジタル画像信号の階層符号化の復号方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18474195A JP3758211B2 (ja) | 1994-07-19 | 1995-06-28 | ディジタル画像信号の階層符号化装置および方法、並びに復号装置および方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18889694 | 1994-07-19 | ||
| JP6-188896 | 1994-07-19 | ||
| JP18474195A JP3758211B2 (ja) | 1994-07-19 | 1995-06-28 | ディジタル画像信号の階層符号化装置および方法、並びに復号装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0888856A JPH0888856A (ja) | 1996-04-02 |
| JP3758211B2 true JP3758211B2 (ja) | 2006-03-22 |
Family
ID=26502675
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18474195A Expired - Lifetime JP3758211B2 (ja) | 1994-07-19 | 1995-06-28 | ディジタル画像信号の階層符号化装置および方法、並びに復号装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3758211B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3210862B2 (ja) | 1996-06-27 | 2001-09-25 | シャープ株式会社 | 画像符号化装置及び画像復号装置 |
| US6381369B1 (en) | 1996-07-17 | 2002-04-30 | Sony Corporation | Image coding apparatus, image coding method, image decoding method, image decoding apparatus, image data transmitting method and recording medium |
| JP4300436B2 (ja) * | 1998-09-28 | 2009-07-22 | ソニー株式会社 | 画像データ変換装置及び画像データ変換方法 |
| JP2001222702A (ja) * | 2000-02-07 | 2001-08-17 | Sony Corp | 画像処理装置および画像処理方法、並びに記録媒体 |
| JP4517279B2 (ja) * | 2004-01-22 | 2010-08-04 | ソニー株式会社 | 情報処理装置および方法、記録媒体、並びにプログラム |
| DE102005016827A1 (de) | 2005-04-12 | 2006-10-19 | Siemens Ag | Adaptive Interpolation bei der Bild- oder Videokodierung |
| WO2008062687A1 (en) * | 2006-11-24 | 2008-05-29 | Nec Corporation | Coding and decoding device, coding and decoding method and program |
| JP2015536108A (ja) * | 2012-10-07 | 2015-12-17 | ヌメリ リミテッド | 映像圧縮方法 |
-
1995
- 1995-06-28 JP JP18474195A patent/JP3758211B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0888856A (ja) | 1996-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3590996B2 (ja) | ディジタル画像信号の階層符号化および復号装置 | |
| US5663764A (en) | Hierarchical encoding and decoding apparatus for a digital image signal | |
| US5940132A (en) | Image signal converting apparatus | |
| JP4126709B2 (ja) | 画像処理装置および画像処理方法 | |
| JP3271108B2 (ja) | ディジタル画像信号の処理装置および方法 | |
| JP3781203B2 (ja) | 画像信号補間装置及び画像信号補間方法 | |
| JP3912627B2 (ja) | 画像符号化装置および画像符号化方法、並びに伝送方法 | |
| JP3758211B2 (ja) | ディジタル画像信号の階層符号化装置および方法、並びに復号装置および方法 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| KR100591867B1 (ko) | 기억장치및기억방법 | |
| JP3671437B2 (ja) | ディジタル画像信号の処理装置および処理方法 | |
| JP3747970B2 (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法 | |
| JP3912558B2 (ja) | 画像符号化装置および画像符号化方法、並びに記録媒体 | |
| JP4240322B2 (ja) | 係数生成装置及び係数生成方法 | |
| JP3748115B2 (ja) | 画像データ復号装置及び画像データ復号方法 | |
| JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
| JP3912629B2 (ja) | 画像処理システム、画像符号化装置および画像符号化方法、伝送方法、並びに記録媒体 | |
| JP3906770B2 (ja) | ディジタル画像信号処理装置および方法 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP3587188B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3907623B2 (ja) | 映像信号符号化・復号化装置及び符号化・復号化方法 | |
| JP3480461B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3620069B2 (ja) | 信号変換装置および方法 | |
| JP4123452B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4042121B2 (ja) | 画像情報処理装置及び画像情報処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040831 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041029 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050927 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051213 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051226 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110113 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120113 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130113 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |