JP3830549B2

JP3830549B2 - Hierarchical coding apparatus and method for digital image signal

Info

Publication number: JP3830549B2
Application number: JP33954394A
Authority: JP
Inventors: 哲二郎近藤; 泰弘藤森; 健治高橋; 邦雄川口
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-12-28
Filing date: 1994-12-28
Publication date: 2006-10-04
Anticipated expiration: 2021-10-04
Also published as: JPH08186827A

Description

【０００１】
【産業上の利用分野】
この発明は、ディジタル画像信号の階層符号化装置において、メモリの無駄を防ぐことができるディジタル画像信号の階層符号化装置および方法に関する。
【０００２】
【従来の技術】
従来、高能率符号化および復号の例としては、特開昭５４−７４６２３号公報に記載されているＢＴＣ（Block Truncation Coding ）および本出願人が特願平４−１５５７１９号において、提案しているクラス分類適応予測があり、さらに、階層符号化としては、特開昭６３−３０６７８９号公報において提案されているピラミッド符号化などが挙げられる。
【０００３】
このピラミッド符号化とは、高解像度画像信号を第１の階層（あるいはレベル）として、これより解像度が低い第２の階層の画像信号、第２の階層の画像信号より解像度が低い第３の階層の画像信号、・・・を形成する符号化である。このピラミッド符号化によれば、複数の階層の画像信号を一つの伝送路（通信路、記録／再生プロセス）を介して伝送し、受信側では、複数の階層とそれぞれ対応するテレビジョンモニタの何れか一つにより伝送画像データを再生することができる。
【０００４】
より具体的には、標準解像度ビデオ信号、ハイビジョン信号等の高解像度ビデオ信号、コンピュータディスプレイの画像データ、画像データベースを高速検索するための低解像度ビデオ信号等が異なる解像度のビデオ信号として存在している。また、解像度の高低以外に、画像の縮小に対しても、かかる階層符号化を応用することが可能である。
【０００５】
従来のピラミッド符号化のエンコーダ構成例を図１０に、デコーダ構成例を図１１に示す。この例では５段の階層構造が使用されている。処理の基本的な考え方は図１０のエンコーダ側において、間引きフィルタと補間フィルタを使用することで、入力画像信号を解像度の異なる複数の階層画像データに分解する。入力画像に間引きフィルタを多段に施すことにより、逐次、画素数の少ない縮小画像を生成する。
【０００６】
次に、各縮小画像に補間フィルタを適用することで縮小前の各画面サイズまで補間し、各階層画像と補間画像から、信号電力低減のため差分データを生成する。例えば、５階層符号化において面積比が逐次、１、１／４、１／１６、１／６４、１／２５６のように構成される。この差分信号に対し、符号器において圧縮処理が施され、各階層のエンコーダ出力となる。
【０００７】
ここで、従来の階層符号化装置のエンコーダ側の詳細な説明を図１０のブロック図を用いて行う。入力端子１１１を介して原画像データｄ８０として間引き回路１１２および減算器１１６へ供給される。供給された原画像データｄ０は、間引き回路１１２において、水平方向に１／２および垂直方向に１／２づつ画素の間引き処理が実行され、間引きデータｄ８１が生成される。この間引きデータｄ８１は、図２に示す第２階層データに対応する。生成された間引きデータｄ８１は、間引き回路１１３および減算器１１７へ供給される。
【０００８】
間引きデータｄ８１に対して、間引き回路１１３では、上述の間引き回路１１２と同様な処理が施され、間引きデータｄ８２が生成される。この間引きデータｄ８２は、第３階層データに対応する。生成された間引きデータｄ８２は、間引き回路１１４および減算器１１８へ供給される。また、間引き回路１１４でも同様に間引きデータｄ８２に対して上述の間引き回路１１２および１１３と同様な処理が施され、間引きデータｄ８３が生成される。この間引きデータｄ８３は、第４階層データに対応する。生成された間引きデータｄ８３は、間引き回路１１５および減算器１１９へ供給される。さらに、間引き回路１１５でも同様に間引きデータｄ８３に対して上述の間引き回路１１２、１１３および１１４と同様な処理が施され、間引きデータｄ８４が生成される。この間引きデータｄ８４は、第５階層データに対応する。生成された間引きデータｄ８４は、符号化器１２４へ供給される。
【０００９】
そして、これら５つの階層データについて隣接階層間データによる差分演算が行われる。先ず、第５階層においては、何らかの圧縮のための処理が符号化器１２４において、実行される。この符号化器１２４の符号化データｄ１０１は、出力端子１３７を介して伝送されると共に、復号器１２８へも供給される。この符号化データｄ１０１は、第５階層の出力データである。符号化データｄ１０１が供給された復号器１２８において、復号された復号データｄ９６が補間回路１３２へ供給される。補間回路１３２では、供給された復号データｄ９６に対して補間処理がなされ、第４階層データの補間値ｄ９２が生成され、減算器１１９へ供給される。この減算器１１９では、間引き回路１１４から供給される間引きデータｄ８３と補間値ｄ９２との差分値が求められ、その差分値ｄ８８が符号化器１２３へ供給される。
【００１０】
差分値ｄ８８が供給された符号化器１２３では、符号化器１２４と同様に圧縮処理が行われる。この符号化器１２３の符号化データｄ１００は、出力端子１３６を介して伝送されると共に、復号器１２７へ供給される。この符号化データｄ１００は、第４階層の出力データである。符号化器１２３から符号化データｄ１００が供給された復号器１２７において、復号された復号データｄ９５が補間回路１３１へ供給される。補間回路１３１では、供給された復号データｄ９５に対して補間処理がなされ、第３階層データの補間値ｄ９１が生成され、減算器１１８へ供給される。この減算器１１８では、間引き回路１１３から供給される間引きデータｄ８２と補間値ｄ９１との差分値が求められ、その差分値ｄ８７が符号化器１２２へ供給される。
【００１１】
次に、差分値ｄ８７が供給された符号化器１２２では、上述した符号化器と同様な圧縮処理が行われる。この符号化器１２２の符号化データｄ９９は、出力端子１３５を介して伝送されると共に、復号器１２６へ供給される。この符号化データｄ９９は、第３階層の出力データである。符号化器１２２から符号化データｄ９９が供給された復号器１２６において、復号された復号データｄ９４が補間回路１３０へ供給される。補間回路１３０では、供給された復号データｄ９４に対して補間処理がなされ、第２階層データの補間値ｄ９０が生成され、減算器１１７へ供給される。この減算器１１７では、間引き回路１１２から供給される間引きデータｄ８１と補間値ｄ９０との差分値が求められ、その差分値ｄ８６が符号化器１２１へ供給される。
【００１２】
そして、差分値ｄ８６が供給された符号化器１２１では、上述した符号化器と同様な圧縮処理が行われる。この符号化器１２１の符号化データｄ９８は、出力端子１３５を介して伝送されると共に、復号器１２５へ供給される。この符号化データｄ９８は、第２階層の出力データである。符号化器１２１から符号化データが供給された復号器１２５において、復号された復号データｄ９３が補間回路１２９へ供給される。補間回路１２９では、供給された復号データｄ９３に対して補間処理がなされ、第２階層データの補間値ｄ８９が生成され、減算器１１６へ供給される。この減算器１１６では、入力端子１から供給される入力画素データｄ０と補間値ｄ８９との差分値が求められ、その差分値ｄ８５が符号化器１２０へ供給される。また、差分値ｄ８５が供給された符号化器１２０では、上述した符号化器と同様な圧縮処理が行われる。この符号化器１２０の符号化データｄ９７は、出力端子１３５を介して伝送される第１階層の出力データである。
【００１３】
一方、図１１のデコーダ構成例では、図１０に示したエンコーダの逆処理が実行される。デコーダに入力される各階層データは、復号器において復号された後、補間フィルタにおいて各階層画像サイズまで補間され、復号された差分データを加算することで各階層画像を復元する。図１０のエンコーダで生成された各階層データは、デコーダにおいて、ｄ１１０〜ｄ１１４として受信される。先ず、第５階層入力データｄ１１４は、復号器１５０においてエンコーダで施された符号化に対応する復号処理が行われ、通常の画像データｄ１１９となり、補間回路１５８および第５階層の出力となり、出力端子１６３から取り出される。
【００１４】
補間回路１５８では、第５階層の画像データｄ１１９に対して補間処理が施され、第４階層データの補間値ｄ１２３が生成される。第４階層入力データｄ１１３が復号器１４９において復元された画像データｄ１１８と補間値ｄ１２３の加算が加算器１５４で行われる。加算器１５４から加算データｄ１２７が補間回路１５７へ供給されると共に、第４階層の出力となり、出力端子１６２から取り出される。そして、補間回路１５７では、上述と同様に第４階層の画像データｄ１２７に対して補間処理が施され、第３階層データの補間値ｄ１２２が生成される。第３階層入力データｄ１１２が復号器１４８において復元された画像データｄ１１７と補間値ｄ１２２の加算が加算器１５３で行われる。加算器１５３から加算データｄ１２６が補間回路１５６へ供給されると共に、第３階層の出力となり、出力端子１６１から取り出される。
【００１５】
また、補間回路１５６では、上述と同様に第３階層の画像データｄ１２６に対して補間処理が施され、第２階層データの補間値ｄ１２１が生成される。第２階層入力データｄ１１１が復号器１４７において復元された画像データｄ１１６と補間値ｄ１２１の加算が加算器１５２で行われる。加算器１５２から加算データｄ１２５が補間回路１５５へ供給されると共に、第２階層の出力となり、出力端子１６０から取り出される。さらに、補間回路１５５では、上述と同様に第２階層の画像データｄ１２５に対して補間処理が施され、第１階層データの補間値ｄ１２０が生成される。第１階層入力データｄ１１０が復号器１４６において復元された画像データｄ１１５と補間値ｄ１２０の加算が加算器１５１で行われる。加算器１５１から加算データｄ１２４が第１階層の出力となり、出力端子１５９から取り出される。
【００１６】
【発明が解決しようとする課題】
上述した従来の階層符号化では、対象画像を複数の解像度の異なる画像で表現するとが実現される反面、エンコーダ側において複数の画像に分解した上で符号化を施すため、符号化対象画素数が増加し圧縮効率が低下するという問題があった。
【００１７】
従って、この発明の目的は、これらを鑑みて圧縮効率を低下させることなく、高品質の画質を保つことができるディジタル画像信号の階層符号化装置および方法を提供することにある。
【００１８】
【課題を解決するための手段】
請求項１に記載の発明は、入力画像データが供給され、互いに異なる解像度を表現する、少なくとも第１および第２の階層データへ分割し、第１および第２の階層データを伝送するようにしたディジタル画像信号の階層符号化装置において、生成しようとする第２の階層データと空間的に対応する第１の階層のＮ個の画素データの平均値データにより、第２の階層データを形成する平均化手段と、第２の階層データから第１の階層データのＮ個の画素データをクラス分類適応予測を用いることにより予測する予測手段と、予測された第１の階層データのＮ個の画素データと第１の階層のＮ個の画素データとの差分値を符号化する符号化手段と、符号化された第１の階層のＮ個の画素データのうち（Ｎ−１）個の画素データと平均化手段からの第２の階層データの符号化出力とを伝送する出力手段と、を有し、少なくとも第２の階層データからクラス毎に最適な予測値を学習する際に、アクティビティーの小さい画素分布を学習の対象から除外することを特徴とするディジタル画像信号の階層符号化装置である。
請求項５に記載の発明は、入力画像データが供給され、互いに異なる解像度を表現する、少なくとも第１および第２の階層データへ分割し、第１および第２の階層データを伝送するようにしたディジタル画像信号の階層符号化方法において、生成しようとする第２の階層データと空間的に対応する第１の階層のＮ個の画素データの平均値データにより、第２の階層データを形成する形成工程と、第２の階層データから第１の階層データのＮ個の画素データをクラス分類適応予測を用いることにより予測する予測工程と、予測された第１の階層データのＮ個の画素データと第１の階層のＮ個の画素データとの差分値を符号化する符号化工程と、符号化された第１の階層のＮ個の画素データのうち（Ｎ−１）個の画素データと平均値データにより形成される第２の階層データの符号化出力とを伝送する伝送工程と、を有し、少なくとも第２の階層データからクラス毎に最適な予測値を学習する際に、アクティビティーの小さい画素分布を学習の対象から除外することを特徴とするディジタル画像信号の階層符号化方法である。
【００１９】
【作用】
クラス分類適応予測によって、上位階層から下位階層のデータを予測するので高精度の予測が可能である。その結果、差分値を小さくでき、効率の良い圧縮を行うことができる。さらに、平均値に対する差分で他の階層のデータを構成するので、一つの画素データまたは一つの差分データの伝送を省略しても、受信側でこれを復元することができる。従って、各階層のデータを伝送するにもかかわらず、伝送画素数が増加しない。また、デコーダ側で演算時間が短くなり、高速処理ができ、さらに、ハードウェアの規模が小さくて良い利点がある。
【００２０】
【実施例】
以下、この発明のディジタル画像信号の階層符号化装置の一実施例について、図面を参照しながら説明する。先ず、階層間データに対し単純な算術式を用いることで、符号化対象画素数の増加を防止する一例を図１に示す。この図１は、一例として第１階層を最下位階層（原画）とし、第４階層を最上位階層とする４階層からなる階層間の模式図を示している。例えば、上位階層データ生成法として、空間的に対応する４画素の下位階層データの平均化を採用する場合、上位階層データをＭ、下位階層画素値をｘ₀、ｘ₁、ｘ₂、ｘ₃とすると、伝送画素は、４画素のままで良い。
【００２１】
すなわち、Ｍ、ｘ₀、ｘ₁、ｘ₂を用いて、
ｘ₃＝４・Ｍ−（ｘ₀＋ｘ₁＋ｘ₂）（１）
【００２２】
という単純な算術式により非伝送画素ｘ₃を容易に復元することが可能となる。各階層データは、下位階層の４画素平均により生成されている。そこで、例えば図中の斜線部のデータを伝送しなくとも、式（１）により全データを復元することが可能となる。
【００２３】
次に、平均化による階層データの５階層の構成例を図２に示す。第１階層が入力画像の解像度レベルであるとする。この第１階層は、ブロックサイズ（１×１）のデータ構成からなる。第２階層データは、第１階層データの４画素平均により生成される。この例では、第１階層データＸ₁（０）〜Ｘ₁（３）の平均値により、第２階層データＸ₂（０）が生成される。Ｘ₂（０）に隣接する第２階層データＸ₂（１）〜Ｘ₂（３）も同様に第１階層データの４画素平均により生成される。この第２階層は、ブロックサイズ（１／２×１／２）のデータ構成からなる。さらに、第３階層データは、空間的に対応する第２階層データの４画素平均により生成される。上述と同様にこの第３階層は、ブロックサイズ（１／４×１／４）のデータ構成からなる。また、第４階層のデータも同様に第３階層のデータから制御され、そのデータ構成は、ブロックサイズ（１／８×１／８）からなる。最後に、最上位階層である第５階層データＸ₅（０）が、第４階層データＸ₄（０）〜Ｘ₄（３）の平均化により生成される。この第５階層のデータ構成は、ブロックサイズ（１／１６×１／１６）からなる。
【００２４】
上述した符号化対象画素数の増加を防止した階層構造データに対し、上位階層データにクラス分類適応予測を適用することで、下位階層データを予測し、下位階層データとその予測値との差分を生成することで信号電力の削減を図る一実施例を図３に示すブロック図を用いて説明する。この図３は、階層符号化のエンコーダ側の構成例を示す。入力端子１を介して図２に示す第１階層データが入力画像データｄ０として平均化回路２および減算器６へ供給される。入力画素データｄ０は、平均化回路２において、図２に示した２画素×２画素ブロックによる１／４平均処理が実行され、階層データｄ１が生成される。この階層データｄ１は、図２に示す第２階層データに対応する。生成された階層データｄ１は、平均化回路３および減算器７へ供給される。
【００２５】
階層データｄ１に対して、平均化回路３では、上述の平均化回路２と同様な処理が施され、階層データｄ２が生成される。この階層データｄ２は、第３階層データに対応する。生成された階層データｄ２は、平均化回路４および減算器８へ供給される。また、平均化回路４でも同様に階層データｄ２に対して上述の平均化回路２および３と同様な処理が施され、階層データｄ３が生成される。この階層データｄ３は、第４階層データに対応する。階層データｄ３は、平均化回路５および減算器９へ供給される。さらに、平均化回路５でも同様に階層データｄ３に対して上述の平均化回路２、３および４と同様な処理が施され、階層データｄ４が生成される。この階層データｄ４は、第５階層データに対応する。生成された階層データｄ４は、符号化器１４へ供給される。
【００２６】
そして、これら５つの階層データについて隣接階層間データによる差分演算が行われる。先ず、第５階層においては、何らかの圧縮のための処理が符号化器１４において、実行される。この符号化器１４の符号化データｄ２１は、出力端子３１を介して伝送されると共に、復号器１８へも供給される。この符号化データｄ２１は、第５階層のデータである。符号化データｄ２１が供給された復号器１８において、復号された復号データｄ１６がクラス分類適応予測回路２２へ供給される。クラス分類適応予測回路２２では、復号データｄ１６を使用して予測処理がなされ、第４階層データの予測値ｄ１２が生成され、減算器９へ供給される。この減算器９では、平均化回路４から供給される階層データｄ３と予測値ｄ１２との差分値が求められ、その差分値ｄ８が符号化器１３へ供給される。
【００２７】
差分値ｄ８が供給された符号化器１３では、符号化器１４と同様に圧縮処理が行われる。この符号化器１３の符号化データは、演算器２６および復号器１７へ供給される。この演算器２６では、４画素から１画素を間引く処理が行われる。演算器２６から出力される第４階層データｄ２０は、出力端子３０を介して伝送される。符号化器１３から符号化データが供給された復号器１７において、復号された復号データｄ１５がクラス分類適応予測回路２１へ供給される。クラス分類適応予測回路２１では、復号データｄ１５を使用して予測処理がなされ、第３階層データの予測値ｄ１１が生成され、減算器８へ供給される。この減算器８では、平均化回路３から供給される階層データｄ２と予測値ｄ１１との差分値が求められ、その差分値ｄ７が符号化器１２へ供給される。
【００２８】
次に、差分値ｄ７が供給された符号化器１２では、上述した符号化器と同様な圧縮処理が行われる。この符号化器１２の符号化データは、演算器２５および復号器１６へ供給される。この演算器２５では、４画素から１画素を間引く処理が行われる。演算器２５から出力される第３階層データｄ１９は、出力端子２９を介して伝送される。符号化器１２から符号化データが供給された復号器１６において、復号された復号データｄ１４がクラス分類適応予測回路２０へ供給される。クラス分類適応予測回路２０では、復号データｄ１４を使用して予測処理がなされ、第２階層データの予測値ｄ１０が生成され、減算器７へ供給される。この減算器７では、平均化回路２から供給される階層データｄ１と予測値ｄ１０との差分値が求められ、その差分値ｄ６が符号化器１１へ供給される。
【００２９】
そして、差分値ｄ６が供給された符号化器１１では、上述した符号化器と同様な圧縮処理が行われる。この符号化器１１の符号化データは、演算器２４および復号器１５へ供給される。この演算器２４では、４画素から１画素を間引く処理が行われる。演算器２４から出力される第２階層データｄ１８は、出力端子２８を介して伝送される。符号化器１１から符号化データが供給された復号器１５において、復号された復号データｄ１３がクラス分類適応予測回路１９へ供給される。クラス分類適応予測回路１９では、復号データｄ１３を使用して予測処理がなされ、第２階層データの予測値ｄ９が生成され、減算器６へ供給される。この減算器６では、入力端子１から供給される入力画素データｄ０と予測値ｄ９との差分値が求められ、その差分値ｄ５が符号化器１０へ供給される。
【００３０】
また、差分値ｄ５が供給された符号化器１０では、上述した符号化器と同様な圧縮処理が行われる。この符号化器１０の符号化データは、演算器２３へ供給される。この演算器２３では、４画素から１画素を間引く処理が行われる。演算器２３から出力される第１階層データｄ１７は、出力端子２７を介して伝送される。このように、符号化対象画素数の増加を防止した階層符号化において、クラス分類適応予測が適用される。
【００３１】
次に、この発明の一実施例の階層符号化のデコーダ側の構成例を図４に示す。図３に示すエンコーダで生成された各階層データｄ１７〜ｄ２１は、ｄ３０〜ｄ３４として受信される。先ず、第５階層入力データｄ３４は、復号器５０においてエンコーダで施された符号化に対応する復号処理が行われ、画像データｄ３９となり、クラス分類適応予測回路６２および演算器５８へ供給される。また画像データｄ３９は、第５階層の出力として、出力端子６７から取り出される。
【００３２】
クラス分類適応予測回路６２では、第４階層の画像データに対してクラス分類適応予測が施され、第４階層データの予測値ｄ４７が生成される。復号器４９において復号されたデータｄ３８と予測値ｄ４７が加算器５４で加算される。加算器５４から復号画像データｄ４３が演算器５８へ供給され、演算器５８では、式（１）の演算が実行され、復号器５０から供給された画像データｄ３９と画像データｄ４３から第４階層の全画素値が復元される。この演算器５８において、復元された全画素値は、画像データｄ５１として、クラス分類適応予測回路６１および演算器５７へ供給される。また画像データｄ５１は、第４階層の出力として、出力端子６６から取り出される。
【００３３】
そして、クラス分類適応予測回路６１では、上述と同様に第３階層の画像データに対してクラス分類適応予測が施され、第３階層データの予測値ｄ４６が生成される。復号器４８において復号されたデータｄ３７と予測値ｄ４６の加算が加算器５３で行われる。加算器５３から画像データｄ４２が演算器５７へ供給され、演算器５７では、式（１）の演算が実行され、演算器５８から供給された画素データｄ５１と画像データｄ４２から第３階層の全画素値が復元される。この演算器５７において、復元された全画素値は、画像データｄ５０として、クラス分類適応予測回路６０および演算器５６へ供給される。また画像データｄ５０は、第３階層の出力として、出力端子６５から取り出される。
【００３４】
また、クラス分類適応予測回路６０では、上述と同様に第２階層の画像データに対してクラス分類適応予測が施され、第２階層データの予測値ｄ４５が生成される。復号器４７において復号されたデータｄ３６と予測値ｄ４５の加算が加算器５２で行われる。加算器５２から画像データｄ４１が演算器５６へ供給され、演算器５６では、式（１）の演算が実行され、演算器５７から供給された画像データｄ５０と画像データｄ４１から第２階層の全画素値が復元される。この演算器５６において、復元された全画素値は、画像データｄ４９として、クラス分類適応予測回路５９および演算器５５へ供給される。また画像データｄ４９は、第２階層の出力として、出力端子６４から取り出される。
【００３５】
さらに、クラス分類適応予測回路５９では、上述と同様に第１階層の画像データに対してクラス分類適応予測が施され、第１階層データの予測値ｄ４４が生成される。復号器４６において復号されたデータｄ３５と予測値ｄ４４の加算が加算器５１で行われる。加算器５１から画像データｄ４０が演算器５５へ供給され、演算器５５では、式（１）の演算が実行され、演算器５６から供給された画像データｄ４９と画像データｄ４０から第１階層の全画素値が復元される。この演算器５５において、復元された全画素値は、画像データｄ４８として、第１階層の出力として、出力端子６３から取り出される。こうして、符号化対象画素数の増加を防止した階層符号化において、クラス分類適応予測を導入することで符号化効率の向上を図ることが可能となる。
【００３６】
さて、ここで符号化効率の向上のために用いられたクラス分類適応予測について説明を行う。クラス分類適応予測とは、入力信号の特徴に基づき入力信号をいくつかのクラスに分類し、予め用意されたクラス毎の適切な適応予測を実行する手法である。
【００３７】
先ず、クラス分類法の例としては、入力信号（８ビットＰＣＭデータ）に対しクラス生成タップを設定し、入力信号の波形特性によりクラスを生成する手法が挙げられる。信号波形のクラス生成法としては次の例などが提案されている。
１）ＰＣＭデータを直接使用する方法
２）ＡＤＲＣを適用する方法
３）ＤＰＣＭを適用する方法
４）ＢＴＣを適用する方法
５）ＶＱを適用する方法
６）ＤＣＴ（アダマール変換）を適用する方法
【００３８】
ＰＣＭデータを直接使用する場合、クラス分類用に８ビットデータを７画素使用すると、２⁵⁶という膨大な数のクラスに分類される。信号波形の特徴を掴むという意味では理想的ではあるが、回路上の負担は大きく、実用上は問題である。そこで実際はＡＤＲＣ（Adaptive Dynamic Range Coding ）などを適用しクラス数の削減を図る。このＡＤＲＣ、例えば特開昭６１−１４４９８９号公報に記録されているものは、信号圧縮技術として開発された手法であるが、クラス表現に使用することにも適している。基本的には再量子化処理であり、式（２）で示される。
【００３９】
【数１】

但し、ｃ_i：ＡＤＲＣコード
ｙ_i：上位階層画素値
ＭＩＮ：近傍領域内最小値
ＤＲ：近傍領域内ダイナミックレンジ
ｋ：再量子化ビット数
【００４０】
注目画素近傍の数画素に対し式（２）で定義されるＡＤＲＣを用いて生成されるＡＤＲＣコードよりクラス分類を行う。例えば７タップデータに対し１ビットＡＤＲＣを適用すると、７画素のデータから定義されるダイナミックレンジに基づき、７画素中の最小値を除去した上で各タップの画素値を適応的に１ビット量子化するので、１２８クラスに削減することが可能となる。９タップデータに対しても５１２クラスで分類することが可能となる。他に圧縮技術として一般的な、ＤＰＣＭ（予測符号化）、ＢＴＣ（Blok Truncation Coding）、ＶＱ（Vector Quantization ）、ＤＣＴ（Discrete Cosine Transform ）などの周波数領域クラスが挙げられる。
【００４１】
また、クラス分類の性能を更に向上させるため、上位階層データのアクティビティーも考慮した上でクラス分類が行われることがある。アクティビティーの判定法の例としては、クラス分類法にＡＤＲＣを使用した場合、ダイナミックレンジを用いることが多い。また、ＤＰＣＭならば差分絶対値和、ＢＴＣのときは標準偏差の絶対値などが用いられる。また、上記の学習過程において、アクティビティーの小さい学習分布は学習対象からはずす。この理由は、アクティビティーの小さい部分はノイズの影響が大きく、本来のクラスの予測値から外れることが多い。それを学習に入れると予測精度が低下する。これを避けるため、学習においては、アクティビティーの小さい画素分布を除外する。こうして分類されたクラス毎に適応予測を実行するが、適応予測としては予め学習された予測係数を用いた予測演算を行う方式と、重心法により予測値を学習しておく方式が提案されている。
【００４２】
次に、予め学習により生成されたクラス毎の予測係数を用いた予測演算を行う適応予測について説明する。図５Ａ、Ｂに示すように、下位階層の４画素ｘ₀〜ｘ₃から上位階層データｙ₄が生成される場合、上位階層データより下位階層データを予測する。例えば、上位階層データｙ₀〜ｙ₈の９画素により予測タップを構成し、下位階層データｘ´を予測する。このときの予測式の一例を式（３）に示す。
【００４３】
【数２】

但し、ｘ´：下位階層予測値
ｙ_i：上位階層予測タップ画素値
ｗ_i：予測係数
【００４４】
例えば、１ビットＡＤＲＣを図５Ａに示すｙ₀〜ｙ₈の９画素に対して施し５１２クラスに分類した場合、各クラス毎に生成された予測係数と上位階層データとの積和演算により下位階層データを予測する。この例においては、図５Ｂに示すように、ｘ₀〜ｘ₃の４画素がｙ₀〜ｙ₈を使用して予測され、同じクラスであってもｘ₀〜ｘ₃のそれぞれについて、独立に４種類の予測係数が生成される。
【００４５】
ここで、クラス分類適応予測の一例の回路構成を図５Ｃに示す。７１で示す入力端子から入力信号ＩＮがクラス分類部７２および予測演算部７４へ供給される。クラス分類部７２においては、上述のようなクラス分類処理に基づき、入力信号ＩＮに対するクラスｄ６０が生成される。このクラスｄ６０をアドレスとして予測係数ＲＯＭ７３より予測係数ｄ６１が予測演算部７４に供給される。予測演算部７４において、入力信号ＩＮと予測係数ｄ６１を用いて式（３）の予測演算が実行され、出力端子７５を介して演算結果、すなわち予測値が取り出される。
【００４６】
次に、上述した予測係数は、予め学習により生成しておくが、その学習方法について説明する。式（３）の線形一次結合モデルに基づく予測係数を最小自乗法により生成する一例を示す。最小自乗法は次のように適用される。一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを予測値として次の式を考える。
観測方程式：ＸＷ＝Ｙ（４）
【数３】

【００４７】
上述の観測方程式により収集されたデータに最小自乗法を適用する。式（３）の例においては、ｎ＝９、ｍが学習データ数となる。式（４）の観測方程式をもとに、式（６）の残差方程式を考える。
残差方程式：
【数４】

【００４８】
式（６）の残差方程式から、各ｗ_iの最確値は、
【数５】

を最小にする条件が成り立つ場合と考えられる。すなわち、式（７）の条件を考慮すれば良いわけである。
【００４９】
【数６】

式（７）のｉに基づく条件を考え、これを満たすｗ₁、ｗ₂、‥‥、ｗ_nを算出すれば良い。そこで、残差方程式の式（６）から式（８）が得られる。
【００５０】
【数７】

式（７）と式（８）により式（９）が得られる。
【００５１】
【数８】

そして、式（６）と式（９）から正規方程式として式（１０）が得られる。
【００５２】
【数９】

【００５３】
式（１０）の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各ｗ_iの最確値を求めることができる。そして、掃き出し法（Gauss-Jordanの消去法）を用いて連立方程式を解く。
【００５４】
ここで、この最小自乗法を用いた学習をソフトウェアで行う一例を図６のフローチャートに示す。先ず、ステップ８１の学習データ形成では、入力データに対しクラス分類が行われる。ステップ８３のクラス決定において、この例では９画素のデータ変化が検出される。ステップ８４の正規方程式生成では、各クラス毎に式（１０）に示す正規方程式を生成する。このとき一般に、ノイズの影響を排除するため、入力データ変化のアクティビティーが小さいものを学習対象から除外する。この学習プロセスにおいて、多くの学習データが登録された正規方程式が生成される。学習対象データが終了するまで、正規方程式生成プロセスが繰り返される。
【００５５】
すなわち、ステップ８２のデータ終了では、学習対象データ数の終了が確認されるまで上述のプロセスが繰り返される。そして、学習対象データ数の終了が確認された場合、このステップ８２（データ終了）からステップ８５の予測係数決定へ制御が移る。ステップ８５（予測係数決定）では、多くの学習データより生成された、クラス毎の式（１０）の正規方程式が解かれる。その連立方程式の解法として、この一例では、上述した掃き出し法が用いられる。こうして得られた予測係数は、ステップ８６の予測係数登録において、クラス別にアドレス分割されたＲＯＭ等の記憶部に登録される。このような学習過程により、クラス分類適応予測の予測係数が生成される。
【００５６】
次に、クラス分類適応予測の適応処理法として、重心法により予測値を学習するときの手法の一例について説明する。上述のように上位階層データの信号の特徴に基づき分類されたクラス毎に、予め最適補間値を重心法により生成する。例えば、上述したように、図５Ａの９画素に対して、１ビットＡＤＲＣを施すことにより、５１２クラスに分類する場合を考える。図７の学習フローチャートに沿って手順を示す。ステップ９１の初期化では、先ず、全てのクラスの度数カウンタＮ（＊）と、全てのクラスのデータテーブルＥ（＊）を初期化する。ここで、一例として、あるクラスをＣ０とすると、対応する度数カウンタは、Ｎ（Ｃ０）、対応するデータテーブルはＥ（Ｃ０）と定義する。また、＊はクラスの全てを示す。
【００５７】
次に、ステップ９２のクラス検出において、学習対象画素近傍データからクラスＣを決定する。図５Ａに示すように上位階層の９画素がクラス生成用に使用されるとする。このクラス分類手法としては、上述したようにＡＤＲＣの他にも、ＰＣＭ、ＤＰＣＭ、ＢＴＣ、ＶＱ、ＤＣＴなどの表現法が考えられる。また、クラス分類対象データより構成されるブロックのアクティビティーを考慮する場合は、クラス数をアクティビティーによる分類の種類だけ増やしておく。そして、ステップ９３のデータ検出では、この学習対象となる下位階層画素値ｘが検出され、ステップ９４のクラス別データ加算では、クラスＣ毎に検出された下位階層画素値ｘを加算する。すなわち、クラスＣのデータテーブルＥ（＊）を生成する。
【００５８】
そして、ステップ９５のクラス別度数加算では、クラスＣの学習画素の度数カウンタＮ（Ｃ）を＋１インクリメントする。ステップ９６の全データ終了では、これらの処理を学習対象画素について繰り返し実行し、最終的な全てのクラスの度数カウンタＮ（＊）と、対応する全てのクラスのデータテーブルＥ（＊）を生成する。全データが終了していれば、ステップ９７のクラス別平均値算出へ制御が移る。次に、ステップ９７（クラス別平均値算出）では、各クラスのデータテーブルＥ（＊）の内容であるデータ積算値を、対応クラスの度数カウンタＮ（＊）の度数で、除算を実行することで各クラスの平均値を算出する。この値が重心法による各クラスの最適予測値となる。重心法という名称の由来は、学習対象画素値の分布の平均をとることによる。最終的に算出された平均値は、ステップ９８のクラス別平均値登録において、クラス別にアドレス分割されたＲＯＭ等の記憶部に登録される。上述のように学習過程において、ノイズの影響を排除するため、アクティビティーの小さい画素分布は学習対象からはずすことも考えられる。
【００５９】
重心法に基づく学習により生成された最適予測値を用い、クラス分類適応予測により予測処理を実行する一例の回路構成を図８に示す。入力端子１０１を介して供給される上位階層データに対し、クラス分類部１０２では、クラス分類が行われる。このクラス分類に基づいて重心法により予め生成されたクラス毎の最適予測値が保持されているＲＯＭ１０３から予測値が読み出される。このとき、ＲＯＭ１０３のアドレスは、各クラスに対応している。読み出された予測値は、出力端子１０４から取り出される。
【００６０】
ここで、重心法に基づく学習により生成された最適予測値を用い、クラス分類適応予測により予測処理を実行する他の例の回路構成を図９に示す。入力端子１０５を介して供給される上位階層データｄ７０に対し、クラス分類部１０２においてクラス分類が行われる。このクラスは、ｄ７１として後段に伝送される。重心法により予め生成されたクラス毎の最適予測値は、最適予測値ＲＯＭ１０７にクラス別に登録されている。この最適予測値ＲＯＭ１０７のアドレスは、各クラスに対応させる。
【００６１】
上述の図８の構成例においては、上位階層データのアクティビティーを考慮していないが、この例では、上位階層データのアクティビティーを考慮した上でクラス分類が行われる。そこで、アクティビティークラス分類部１０６において、入力された上位階層データｄ７０のブロック毎のアクティビティーに基づくクラス分類を行う。アクティビティーの具体的なものは、上述したようにブロックのダイナミックレンジ、ブロックデータの標準偏差の絶対値、ブロックデータの平均値に対する各画素の値の差分の絶対値等である。アクティビティーにより画像の性質が異なる場合があるので、このようなアクティビティーをクラス分類のパラメータとして使用することによって、クラス分類をより高精度とすることができ、また、クラス分類の自由度を増すことができる。
【００６２】
クラス分類部１０２およびアクティビティークラス分類部１０７によるクラス分類の動作は、先ず、アクティビティークラス分類部１０７によって、ブロックのアクティビティーにより複数のクラスに分け、そのクラス毎にクラス分類部１０２によるクラス分けを行う。クラス分類部１０２およびアクティビティークラス分類部１０７からクラスｄ７１およびｄ７２が最適予測値ＲＯＭ１０７に対してアドレスとして供給され、最適予測値ＲＯＭ１０７から予測下位階層データｄ７３が発生し、出力端子１０８から取り出される。以上の処理により重心法を用いたクラス分類適応予測が実行される。
【００６３】
上述の実施例の具体的な応用例としては、ハイビジョンテレビ静止画像のデータベースを構成した場合、最下位階層データ、すなわち第１階層（原画像）データがハイビジョン解像度の再生データであり、第２階層データが標準解像度の再生データとなり、最上位階層データ、すなわち第５階層データは、高速検索用の低解像度の再生データとなる。
【００６４】
なお、情報量の削減を目的として圧縮符号化を採用する場合には、復号化装置により得られた再生画像データは、入力された原画像データと必ずしも一致しないが、視覚的に劣化を検知できない程度にすることが可能である。また、平均値を形成するのに単純平均値に限らず、加重平均値を形成しても良い。
【００６５】
さらに、この発明は、量子化ステップ幅を制御する等によって、発生情報量を制御するバッファリングの構成を備える階層符号化システムに対しても適用することができる。
【００６６】
【発明の効果】
この発明に依れば、複数の解像度を有する階層符号化を実現することが容易にできる。また、この発明に依れば、圧縮効率の低下しない階層符号化を実現することが容易にできる。さらに、この発明に依れば、画質劣化の少ない階層符号化を実現することができる。
【００６７】
そして、この発明に依れば、従来単に上位階層データに対し、周波数フィルタで画素補間を行い、下位階層データとの差分値を生成していたが、クラス分類適応予測による下位階層データの予測を行うことにより大幅な信号電力の削減を実現することができる。
【図面の簡単な説明】
【図１】この発明に係る階層符号化の一例の説明に用いる略線図である。
【図２】この発明に係る階層符号化の一構成例の説明に用いる略線図である。
【図３】この発明のクラス分類適応予測が使用された階層符号化のエンコード側の一例を示すブロック図である。
【図４】この発明のクラス分類適応予測が使用された階層符号化のデコード側の一例を示すブロック図である。
【図５】この発明に係る予測係数方式を使用するクラス分類適応予測の一例の説明に用いる略線図である。
【図６】この発明に係るクラス分類適応予測の予測係数の係数値を学習する一例を示すフローチャートである。
【図７】この発明に係るクラス分類適応予測の重心法の最適予測値を学習する一例を示すフローチャートである。
【図８】この発明に係る重心法方式を使用するクラス分類適応予測の一例の説明に用いるブロック図である。
【図９】この発明に係る重心法方式において、アクティビティーを使用するクラス分類適応予測の一例の説明に用いるブロック図である。
【図１０】従来の階層符号化のエンコード側の一例を示すブロック図である。
【図１１】従来の階層符号化のデコード側の一例を示すブロック図である。
【符号の説明】
２、３、４、５平均化回路
１０、１１、１２、１３、１４符号化器
１５、１６、１７、１８復号器
１９、２０、２１、２２クラス分類適応予測回路
２３、２４、２５、２６演算器[0001]
[Industrial application fields]
The present invention relates to a digital image signal hierarchical encoding device capable of preventing memory waste in a digital image signal hierarchical encoding device. And methods About.
[0002]
[Prior art]
Conventionally, as examples of high-efficiency encoding and decoding, BTC (Block Truncation Coding) described in JP-A-54-74623 and the present applicant have proposed in Japanese Patent Application No. 4-155719. There is adaptive classification classification, and examples of hierarchical coding include pyramid coding proposed in Japanese Patent Laid-Open No. 63-306789.
[0003]
In this pyramid coding, a high resolution image signal is defined as a first layer (or level), a second layer image signal having a lower resolution, and a third layer having a lower resolution than the second layer image signal. Is an encoding for forming the image signal. According to this pyramid coding, image signals of a plurality of layers are transmitted through one transmission path (communication path, recording / reproduction process), and on the receiving side, any of the television monitors respectively corresponding to the plurality of layers is transmitted. The transmission image data can be reproduced by one of them.
[0004]
More specifically, high-resolution video signals such as standard-definition video signals and high-definition signals, computer display image data, low-resolution video signals for high-speed image database search, etc. exist as video signals of different resolutions. . In addition to high and low resolution, it is possible to apply such hierarchical encoding to image reduction.
[0005]
A conventional encoder configuration example of pyramid coding is shown in FIG. 10, and a decoder configuration example is shown in FIG. In this example, a five-level hierarchical structure is used. The basic concept of processing is to decompose the input image signal into a plurality of hierarchical image data having different resolutions by using a thinning filter and an interpolation filter on the encoder side in FIG. By applying a thinning filter to the input image in multiple stages, a reduced image with a small number of pixels is sequentially generated.
[0006]
Next, an interpolation filter is applied to each reduced image to interpolate to each screen size before reduction, and difference data is generated from each layer image and the interpolated image for signal power reduction. For example, the area ratio is sequentially configured as 1, 1/4, 1/16, 1/64, 1/256 in five-layer coding. The differential signal is subjected to compression processing in the encoder, and becomes an encoder output of each layer.
[0007]
Here, a detailed description on the encoder side of the conventional hierarchical coding apparatus will be given with reference to the block diagram of FIG. The original image data d80 is supplied to the thinning circuit 112 and the subtractor 116 via the input terminal 111. In the thinning circuit 112, the supplied original image data d0 is subjected to pixel thinning processing by 1/2 in the horizontal direction and 1/2 in the vertical direction, and thinning data d81 is generated. This thinned data d81 corresponds to the second hierarchical data shown in FIG. The generated thinning data d81 is supplied to the thinning circuit 113 and the subtractor 117.
[0008]
The thinning circuit 113 performs the same processing as the thinning circuit 112 described above on the thinning data d81 to generate thinning data d82. This thinned data d82 corresponds to the third layer data. The generated thinning data d82 is supplied to the thinning circuit 114 and the subtractor 118. Similarly, in the thinning circuit 114, the thinning data d82 is subjected to the same processing as the above thinning circuits 112 and 113, and thinning data d83 is generated. This thinned data d83 corresponds to the fourth layer data. The generated thinning data d83 is supplied to the thinning circuit 115 and the subtractor 119. Further, in the thinning circuit 115, the thinning data d83 is similarly subjected to the same processing as the thinning circuits 112, 113, and 114, and the thinning data d84 is generated. This thinned data d84 corresponds to the fifth layer data. The generated decimation data d84 is supplied to the encoder 124.
[0009]
Then, a difference calculation is performed on these five hierarchical data using data between adjacent hierarchical layers. First, in the fifth layer, some processing for compression is executed in the encoder 124. The encoded data d101 of the encoder 124 is transmitted via the output terminal 137 and also supplied to the decoder 128. The encoded data d101 is the fifth layer output data. In the decoder 128 to which the encoded data d101 is supplied, the decoded data d96 is supplied to the interpolation circuit 132. In the interpolation circuit 132, interpolation processing is performed on the supplied decoded data d96, and an interpolation value d92 of the fourth layer data is generated and supplied to the subtractor 119. The subtractor 119 obtains a difference value between the thinned data d83 supplied from the thinning circuit 114 and the interpolation value d92, and supplies the difference value d88 to the encoder 123.
[0010]
In the encoder 123 to which the difference value d88 is supplied, the compression process is performed in the same manner as the encoder 124. The encoded data d100 of the encoder 123 is transmitted via the output terminal 136 and supplied to the decoder 127. This encoded data d100 is output data of the fourth layer. In the decoder 127 to which the encoded data d100 is supplied from the encoder 123, the decoded data d95 is supplied to the interpolation circuit 131. In the interpolation circuit 131, interpolation processing is performed on the supplied decoded data d95, and an interpolation value d91 of the third layer data is generated and supplied to the subtractor 118. In the subtractor 118, a difference value between the thinned data d 82 supplied from the thinning circuit 113 and the interpolation value d 91 is obtained, and the difference value d 87 is supplied to the encoder 122.
[0011]
Next, in the encoder 122 to which the difference value d87 is supplied, the same compression process as that of the encoder described above is performed. The encoded data d99 of the encoder 122 is transmitted via the output terminal 135 and supplied to the decoder 126. This encoded data d99 is the output data of the third layer. In the decoder 126 to which the encoded data d99 is supplied from the encoder 122, the decoded data d94 is supplied to the interpolation circuit 130. In the interpolation circuit 130, interpolation processing is performed on the supplied decoded data d94, and an interpolation value d90 of the second layer data is generated and supplied to the subtractor 117. In the subtractor 117, a difference value between the thinned data d 81 supplied from the thinning circuit 112 and the interpolation value d 90 is obtained, and the difference value d 86 is supplied to the encoder 121.
[0012]
Then, the encoder 121 to which the difference value d86 is supplied performs the same compression process as the above-described encoder. The encoded data d98 of the encoder 121 is transmitted via the output terminal 135 and supplied to the decoder 125. The encoded data d98 is output data of the second hierarchy. In the decoder 125 supplied with the encoded data from the encoder 121, the decoded data d93 is supplied to the interpolation circuit 129. In the interpolation circuit 129, interpolation processing is performed on the supplied decoded data d93, and an interpolation value d89 of the second layer data is generated and supplied to the subtractor 116. In the subtractor 116, a difference value between the input pixel data d 0 supplied from the input terminal 1 and the interpolation value d 89 is obtained, and the difference value d 85 is supplied to the encoder 120. In addition, the encoder 120 to which the difference value d85 is supplied performs a compression process similar to that of the encoder described above. The encoded data d97 of the encoder 120 is the first layer output data transmitted via the output terminal 135.
[0013]
On the other hand, in the decoder configuration example of FIG. 11, the reverse processing of the encoder shown in FIG. 10 is executed. Each hierarchical data input to the decoder is decoded by a decoder, then interpolated to each hierarchical image size by an interpolation filter, and each hierarchical image is restored by adding the decoded difference data. Each hierarchical data generated by the encoder of FIG. 10 is received as d110 to d114 at the decoder. First, the fifth layer input data d114 is subjected to a decoding process corresponding to the encoding performed by the encoder in the decoder 150, becomes normal image data d119, becomes an output of the interpolation circuit 158 and the fifth layer, an output terminal 163 is taken out.
[0014]
In the interpolation circuit 158, interpolation processing is performed on the image data d119 of the fifth layer, and an interpolation value d123 of the fourth layer data is generated. The adder 154 adds the image data d118 obtained by restoring the fourth layer input data d113 in the decoder 149 and the interpolation value d123. The addition data d127 is supplied from the adder 154 to the interpolation circuit 157, becomes an output of the fourth layer, and is taken out from the output terminal 162. Then, in the interpolation circuit 157, the interpolation processing is performed on the image data d127 of the fourth hierarchy similarly to the above, and the interpolation value d122 of the third hierarchy data is generated. The adder 153 adds the image data d117 obtained by restoring the third layer input data d112 in the decoder 148 and the interpolation value d122. The addition data d126 is supplied from the adder 153 to the interpolation circuit 156, becomes an output of the third hierarchy, and is taken out from the output terminal 161.
[0015]
Further, the interpolation circuit 156 performs the interpolation process on the third layer image data d126 in the same manner as described above, and generates the interpolation value d121 of the second layer data. The adder 152 performs addition of the image data d116 obtained by restoring the second layer input data d111 in the decoder 147 and the interpolation value d121. The addition data d125 is supplied from the adder 152 to the interpolation circuit 155 and becomes an output of the second hierarchy, and is taken out from the output terminal 160. Further, in the interpolation circuit 155, the interpolation processing is performed on the second layer image data d125 in the same manner as described above, and the interpolation value d120 of the first layer data is generated. The adder 151 adds the image data d115 obtained by restoring the first layer input data d110 in the decoder 146 and the interpolation value d120. The addition data d124 from the adder 151 becomes the output of the first layer and is taken out from the output terminal 159.
[0016]
[Problems to be solved by the invention]
In the conventional hierarchical encoding described above, the target image is expressed as a plurality of images having different resolutions, but on the encoder side, the encoding is performed after being decomposed into a plurality of images. There was a problem that the compression efficiency increased and the compression efficiency decreased.
[0017]
Accordingly, an object of the present invention is to provide a digital image signal hierarchical coding apparatus capable of maintaining high quality image quality without lowering the compression efficiency in view of the above. And methods Is to provide.
[0018]
[Means for Solving the Problems]
According to the first aspect of the present invention, input image data is supplied and divided into at least first and second hierarchical data expressing different resolutions, and the first and second hierarchical data are transmitted. In the hierarchical coding apparatus for digital image signals, an average for forming second layer data by means of average value data of N pixel data of the first layer spatially corresponding to the second layer data to be generated Means for predicting N pixel data of the first hierarchical data from the second hierarchical data by using class classification adaptive prediction, and N pixel data of the predicted first hierarchical data And encoding means for encoding the difference value between the N pixel data of the first hierarchy, (N-1) pixel data among the encoded N pixel data of the first hierarchy, From averaging means And output means for transmitting the encoded output of the second hierarchy data And, when learning the optimal prediction value for each class from at least the second hierarchical data, the pixel distribution with a small activity is excluded from the learning target. This is a hierarchical encoding apparatus for digital image signals.

Claim

5 According to the invention, the digital image signal is supplied with input image data, is divided into at least first and second hierarchical data expressing different resolutions, and transmits the first and second hierarchical data. In the hierarchical encoding method, the second hierarchical data is formed by the average value data of the N pixel data of the first hierarchy spatially corresponding to the second hierarchical data to be generated. And forming process Predicting N pixel data of the first hierarchy data from the second hierarchy data by using class classification adaptive prediction Prediction process to The difference value between the N pixel data of the predicted first layer data and the N pixel data of the first layer is encoded Encoding process The encoded output of the second layer data formed by (N-1) pixel data and the average value data among the N pixel data of the encoded first layer is transmitted. A pixel distribution having a low activity is excluded from the learning target when learning an optimal predicted value for each class from at least the second hierarchical data. This is a hierarchical coding method for digital image signals.
[0019]
[Action]
Since the classification classification adaptive prediction predicts the data from the upper layer to the lower layer, high-precision prediction is possible. As a result, the difference value can be reduced and efficient compression can be performed. Furthermore, since the data of the other layer is constituted by the difference with respect to the average value, even if transmission of one pixel data or one difference data is omitted, this can be restored on the receiving side. Therefore, the number of transmission pixels does not increase in spite of transmitting data of each layer. In addition, there is an advantage that the calculation time is shortened on the decoder side, high-speed processing can be performed, and the hardware scale is small.
[0020]
【Example】
Hereinafter, an embodiment of a digital image signal hierarchical encoding apparatus according to the present invention will be described with reference to the drawings. First, FIG. 1 shows an example in which an increase in the number of encoding target pixels is prevented by using a simple arithmetic expression for inter-layer data. As an example, FIG. 1 shows a schematic diagram between four hierarchies in which the first hierarchy is the lowest hierarchy (original picture) and the fourth hierarchy is the highest hierarchy. For example, in the case of adopting averaging of lower hierarchical data of four pixels corresponding spatially as the upper hierarchical data generation method, the upper hierarchical data is M and the lower hierarchical pixel value is x ₀ , X ₁ , X ₂ , X _Three Then, the number of transmission pixels may be four pixels.
[0021]
That is, M, x ₀ , X ₁ , X ₂ Using,
x _Three = 4 · M- (x ₀ + X ₁ + X ₂ (1)
[0022]
Non-transmission pixel x by a simple arithmetic expression _Three Can be easily restored. Each layer data is generated by averaging four pixels in the lower layer. Therefore, for example, it is possible to restore all data according to equation (1) without transmitting the data in the shaded area in the figure.
[0023]
Next, FIG. 2 shows a configuration example of five layers of hierarchical data by averaging. Assume that the first hierarchy is the resolution level of the input image. This first layer is composed of a data structure of a block size (1 × 1). The second layer data is generated by averaging four pixels of the first layer data. In this example, the first hierarchy data X ₁ (0) to X ₁ Based on the average value of (3), the second hierarchical data X ₂ (0) is generated. X ₂ Second layer data X adjacent to (0) ₂ (1) to X ₂ Similarly, (3) is generated by averaging four pixels of the first layer data. The second hierarchy has a data configuration of block size (1/2 × 1/2). Further, the third layer data is generated by averaging four pixels of the second layer data corresponding spatially. Similar to the above, the third hierarchy has a data structure of a block size (1/4 × 1/4). Similarly, the data of the fourth layer is controlled from the data of the third layer, and the data structure is composed of a block size (1/8 × 1/8). Finally, the fifth hierarchy data X which is the highest hierarchy _Five (0) is the fourth hierarchical data X _Four (0) to X _Four Generated by averaging (3). The data structure of the fifth layer is composed of a block size (1/16 × 1/16).
[0024]
By applying the class classification adaptive prediction to the upper layer data for the hierarchical structure data that prevents the increase in the number of encoding target pixels described above, the lower layer data is predicted, and the difference between the lower layer data and the predicted value is calculated. An embodiment for reducing the signal power by generating will be described with reference to the block diagram shown in FIG. FIG. 3 shows a configuration example on the encoder side of hierarchical encoding. The first hierarchical data shown in FIG. 2 is supplied to the averaging circuit 2 and the subtractor 6 as input image data d0 through the input terminal 1. In the averaging circuit 2, the input pixel data d0 is subjected to 1/4 averaging processing by the 2 pixel × 2 pixel block shown in FIG. 2 to generate hierarchical data d1. This hierarchical data d1 corresponds to the second hierarchical data shown in FIG. The generated hierarchical data d1 is supplied to the averaging circuit 3 and the subtracter 7.
[0025]
The averaging circuit 3 performs the same processing as the above-described averaging circuit 2 on the hierarchical data d1, and generates hierarchical data d2. This hierarchical data d2 corresponds to the third hierarchical data. The generated hierarchical data d2 is supplied to the averaging circuit 4 and the subtracter 8. Similarly, the averaging circuit 4 performs the same processing as the above-described

averaging circuits

2 and 3 on the hierarchical data d2 to generate hierarchical data d3. This hierarchical data d3 corresponds to the fourth hierarchical data. The hierarchical data d3 is supplied to the averaging circuit 5 and the subtracter 9. Further, the averaging circuit 5 similarly performs the same processing as the above-described

averaging circuits

2, 3 and 4 on the hierarchical data d3 to generate hierarchical data d4. This hierarchical data d4 corresponds to the fifth hierarchical data. The generated hierarchical data d4 is supplied to the encoder 14.
[0026]
Then, a difference calculation is performed on these five hierarchical data using data between adjacent hierarchical layers. First, in the fifth layer, some processing for compression is executed in the encoder 14. The encoded data d21 of the encoder 14 is transmitted via the output terminal 31 and also supplied to the decoder 18. The encoded data d21 is the fifth layer data. In the decoder 18 supplied with the encoded data d21, the decoded data d16 is supplied to the class classification adaptive prediction circuit 22. In the class classification adaptive prediction circuit 22, prediction processing is performed using the decoded data d 16, and the predicted value d 12 of the fourth layer data is generated and supplied to the subtracter 9. In the subtracter 9, a difference value between the hierarchical data d3 supplied from the averaging circuit 4 and the predicted value d12 is obtained, and the difference value d8 is supplied to the encoder 13.
[0027]
In the encoder 13 supplied with the difference value d8, the compression process is performed in the same manner as the encoder 14. The encoded data of the encoder 13 is supplied to the calculator 26 and the decoder 17. In this calculator 26, a process of thinning out one pixel from four pixels is performed. The fourth layer data d20 output from the computing unit 26 is transmitted via the output terminal 30. In the decoder 17 to which the encoded data is supplied from the encoder 13, the decoded data d 15 is supplied to the class classification adaptive prediction circuit 21. In the class classification adaptive prediction circuit 21, prediction processing is performed using the decoded data d 15, and the predicted value d 11 of the third layer data is generated and supplied to the subtracter 8. In the subtracter 8, a difference value between the hierarchical data d2 supplied from the averaging circuit 3 and the predicted value d11 is obtained, and the difference value d7 is supplied to the encoder 12.
[0028]
Next, in the encoder 12 to which the difference value d7 is supplied, the same compression process as that of the encoder described above is performed. The encoded data of the encoder 12 is supplied to the arithmetic unit 25 and the decoder 16. In this calculator 25, a process of thinning out one pixel from four pixels is performed. The third layer data d19 output from the calculator 25 is transmitted via the output terminal 29. In the decoder 16 to which the encoded data is supplied from the encoder 12, the decoded data d 14 is supplied to the class classification adaptive prediction circuit 20. In the class classification adaptive prediction circuit 20, prediction processing is performed using the decoded data d 14, and the predicted value d 10 of the second layer data is generated and supplied to the subtracter 7. In the subtracter 7, a difference value between the hierarchical data d 1 supplied from the averaging circuit 2 and the predicted value d 10 is obtained, and the difference value d 6 is supplied to the encoder 11.
[0029]
Then, in the encoder 11 to which the difference value d6 is supplied, the same compression process as that of the encoder described above is performed. The encoded data of the encoder 11 is supplied to the arithmetic unit 24 and the decoder 15. In this calculator 24, a process of thinning out one pixel from four pixels is performed. The second layer data d18 output from the arithmetic unit 24 is transmitted via the output terminal 28. In the decoder 15 supplied with the encoded data from the encoder 11, the decoded data d 13 is supplied to the class classification adaptive prediction circuit 19. In the class classification adaptive prediction circuit 19, prediction processing is performed using the decoded data d 13, and the predicted value d 9 of the second layer data is generated and supplied to the subtracter 6. In the subtracter 6, a difference value between the input pixel data d0 supplied from the input terminal 1 and the predicted value d9 is obtained, and the difference value d5 is supplied to the encoder 10.
[0030]
Further, in the encoder 10 to which the difference value d5 is supplied, the same compression processing as that of the encoder described above is performed. The encoded data of the encoder 10 is supplied to the calculator 23. The calculator 23 performs a process of thinning out one pixel from four pixels. The first layer data d17 output from the computing unit 23 is transmitted via the output terminal 27. Thus, class classification adaptive prediction is applied in hierarchical coding that prevents an increase in the number of pixels to be coded.
[0031]
Next, FIG. 4 shows a configuration example on the decoder side of the hierarchical coding according to one embodiment of the present invention. The hierarchical data d17 to d21 generated by the encoder shown in FIG. 3 are received as d30 to d34. First, the fifth layer input data d34 is subjected to decoding processing corresponding to the encoding performed by the encoder in the decoder 50, becomes image data d39, and is supplied to the class classification adaptive prediction circuit 62 and the calculator 58. The image data d39 is taken out from the output terminal 67 as the output of the fifth hierarchy.
[0032]
In the class classification adaptive prediction circuit 62, class classification adaptive prediction is performed on the image data of the fourth layer, and the predicted value d47 of the fourth layer data is generated. The data d38 decoded by the decoder 49 and the predicted value d47 are added by the adder 54. Decoded image data d43 is supplied from the adder 54 to the computing unit 58, and the computing unit 58 performs the calculation of Expression (1). All pixel values are restored. In this calculator 58, all the restored pixel values are supplied as image data d51 to the class classification adaptive prediction circuit 61 and the calculator 57. The image data d51 is taken out from the output terminal 66 as the output of the fourth hierarchy.
[0033]
In the class classification adaptive prediction circuit 61, the class classification adaptive prediction is performed on the third layer image data in the same manner as described above, and the predicted value d46 of the third layer data is generated. The adder 53 adds the data d37 decoded by the decoder 48 and the predicted value d46. The image data d42 is supplied from the adder 53 to the computing unit 57, and the computing unit 57 executes the calculation of the expression (1). The pixel value is restored. In this calculator 57, all the restored pixel values are supplied as image data d50 to the class classification adaptive prediction circuit 60 and the calculator 56. The image data d50 is taken out from the output terminal 65 as the output of the third hierarchy.
[0034]
Further, in the class classification adaptive prediction circuit 60, the class classification adaptive prediction is performed on the second layer image data in the same manner as described above, and the predicted value d45 of the second layer data is generated. The adder 52 adds the data d36 decoded by the decoder 47 and the predicted value d45. The image data d41 is supplied from the adder 52 to the computing unit 56, and the computing unit 56 performs the calculation of the expression (1). The pixel value is restored. In this computing unit 56, all the restored pixel values are supplied as image data d49 to the class classification adaptive prediction circuit 59 and the computing unit 55. The image data d49 is taken out from the output terminal 64 as the output of the second hierarchy.
[0035]
Further, in the class classification adaptive prediction circuit 59, the class classification adaptive prediction is performed on the first layer image data in the same manner as described above, and the predicted value d44 of the first layer data is generated. The adder 51 adds the data d35 decoded by the decoder 46 and the predicted value d44. The image data d40 is supplied from the adder 51 to the computing unit 55, and the computing unit 55 performs the calculation of Expression (1). The pixel value is restored. In this computing unit 55, all the restored pixel values are taken out from the output terminal 63 as image data d48 as the output of the first layer. In this way, it is possible to improve coding efficiency by introducing class classification adaptive prediction in hierarchical coding in which an increase in the number of pixels to be coded is prevented.
[0036]
Now, the classification classification adaptive prediction used for improving the coding efficiency will be described. The class classification adaptive prediction is a method of classifying an input signal into several classes based on the characteristics of the input signal and executing appropriate adaptive prediction for each class prepared in advance.
[0037]
First, as an example of the class classification method, there is a method in which a class generation tap is set for an input signal (8-bit PCM data) and a class is generated based on the waveform characteristics of the input signal. The following examples have been proposed as methods for generating signal waveform classes.
1) Method of using PCM data directly
2) Method of applying ADRC
3) Method of applying DPCM
4) Method of applying BTC
5) Method of applying VQ
6) Method of applying DCT (Hadamard transform)
[0038]
When using PCM data directly, if 7 pixels of 8-bit data are used for classification, 2 ⁵⁶ It is classified into a huge number of classes. Although it is ideal in terms of grasping the characteristics of the signal waveform, the burden on the circuit is large and practically problematic. Therefore, in actuality, ADRC (Adaptive Dynamic Range Coding) is applied to reduce the number of classes. This ADRC, for example, one recorded in JP-A-61-144989 is a method developed as a signal compression technique, but is also suitable for use in class expression. Basically, it is a re-quantization process, and is expressed by equation (2).
[0039]
[Expression 1]

Where c _i : ADRC code
y _i : Upper layer pixel value
MIN: Minimum value in the neighborhood
DR: Dynamic range in the neighborhood
k: Number of requantization bits
[0040]
Class classification is performed based on an ADRC code generated using ADRC defined by Expression (2) for several pixels near the target pixel. For example, when 1-bit ADRC is applied to 7-tap data, the pixel value of each tap is adaptively 1-bit quantized after removing the minimum value of 7 pixels based on the dynamic range defined from the 7-pixel data. Therefore, it can be reduced to 128 classes. Nine tap data can be classified by 512 classes. Other common compression techniques include frequency domain classes such as DPCM (predictive coding), BTC (Blok Truncation Coding), VQ (Vector Quantization), and DCT (Discrete Cosine Transform).
[0041]
In addition, in order to further improve the performance of class classification, class classification may be performed in consideration of the activity of upper hierarchical data. As an example of an activity determination method, when ADRC is used for a classification method, a dynamic range is often used. Further, the sum of absolute differences is used for DPCM, and the absolute value of standard deviation is used for BTC. Further, in the above learning process, the learning distribution with a small activity is excluded from the learning target. The reason for this is that small parts of activity are greatly affected by noise and often deviate from the predicted values of the original class. When it is put into learning, the prediction accuracy decreases. In order to avoid this, pixel distribution with low activity is excluded in learning. Adaptive prediction is executed for each class classified in this way. As adaptive prediction, a method of performing a prediction calculation using a previously learned prediction coefficient and a method of learning a prediction value by a centroid method are proposed. .
[0042]
Next, adaptive prediction in which prediction calculation is performed using a prediction coefficient for each class generated in advance by learning will be described. As shown in FIGS. 5A and 5B, the lower level 4 pixels x ₀ ~ X _Three To higher hierarchy data y _Four Is generated, lower layer data is predicted than upper layer data. For example, upper layer data y ₀ ~ Y ₈ A prediction tap is composed of 9 pixels, and lower layer data x ′ is predicted. An example of the prediction formula at this time is shown in Formula (3).
[0043]
[Expression 2]

However, x ′: Lower layer predicted value
y _i : Upper layer prediction tap pixel value
w _i : Prediction coefficient
[0044]
For example, a 1-bit ADRC is represented by y shown in FIG. 5A. ₀ ~ Y ₈ When the nine pixels are classified into 512 classes, the lower layer data is predicted by the product-sum operation of the prediction coefficient generated for each class and the upper layer data. In this example, as shown in FIG. ₀ ~ X _Three 4 pixels of y ₀ ~ Y ₈ Even if they are of the same class ₀ ~ X _Three For each of these, four types of prediction coefficients are generated independently.
[0045]
Here, FIG. 5C shows an example of the circuit configuration of the class classification adaptive prediction. An input signal IN is supplied from the input terminal indicated by 71 to the class classification unit 72 and the prediction calculation unit 74. The class classification unit 72 generates a class d60 for the input signal IN based on the class classification process as described above. The prediction coefficient d61 is supplied from the prediction coefficient ROM 73 to the prediction calculation unit 74 using the class d60 as an address. In the prediction calculation unit 74, the prediction calculation of Expression (3) is executed using the input signal IN and the prediction coefficient d61, and the calculation result, that is, the prediction value, is extracted via the output terminal 75.
[0046]
Next, the above-described prediction coefficient is generated by learning in advance, and the learning method will be described. An example of generating a prediction coefficient based on the linear linear combination model of Equation (3) by the method of least squares is shown. The least squares method is applied as follows. As a generalized example, consider the following equation, where X is input data, W is a prediction coefficient, and Y is a predicted value.
Observation equation: XW = Y (4)
[Equation 3]

[0047]
Apply the least squares method to the data collected by the above observation equation. In the example of Expression (3), n = 9 and m is the number of learning data. Consider the residual equation (6) based on the observation equation (4).
Residual equation:
[Expression 4]

[0048]
From the residual equation of equation (6), each w _i The most probable value of is
[Equation 5]

It is considered that the condition for minimizing is satisfied. That is, the condition of equation (7) should be considered.
[0049]
[Formula 6]

Consider a condition based on i in Equation (7), and satisfy w ₁ , W ₂ , ..., w _n May be calculated. Therefore, Equation (8) is obtained from Equation (6) of the residual equation.
[0050]
[Expression 7]

Equation (9) is obtained from Equation (7) and Equation (8).
[0051]
[Equation 8]

Then, Expression (10) is obtained as a normal equation from Expression (6) and Expression (9).
[0052]
[Equation 9]

[0053]
Since the normal equation of the equation (10) can have the same number of equations as the unknown number n, each w _i The most probable value of can be obtained. Then, the simultaneous equations are solved by using the sweep-out method (Gauss-Jordan elimination method).
[0054]
Here, an example in which learning using this least square method is performed by software is shown in the flowchart of FIG. First, in the learning data formation in step 81, class classification is performed on the input data. In the class determination at step 83, a data change of 9 pixels is detected in this example. In the normal equation generation in step 84, a normal equation shown in equation (10) is generated for each class. At this time, generally, in order to eliminate the influence of noise, those having a small input data change activity are excluded from the learning target. In this learning process, a normal equation in which a lot of learning data is registered is generated. The normal equation generation process is repeated until the learning target data is completed.
[0055]
That is, at the end of the data in step 82, the above process is repeated until the end of the number of learning target data is confirmed. When the end of the number of learning target data is confirmed, the control shifts from step 82 (data end) to the prediction coefficient determination of step 85. In step 85 (prediction coefficient determination), the normal equation of equation (10) for each class generated from a lot of learning data is solved. As a method for solving the simultaneous equations, in this example, the above-described sweeping method is used. The prediction coefficient obtained in this way is registered in a storage unit such as a ROM which is divided into addresses by class in the prediction coefficient registration in step 86. Through such a learning process, a prediction coefficient for class classification adaptive prediction is generated.
[0056]
Next, as an adaptive processing method for class classification adaptive prediction, an example of a method for learning a prediction value by the centroid method will be described. As described above, an optimal interpolation value is generated in advance by the centroid method for each class classified based on the signal characteristics of the upper layer data. For example, as described above, consider a case where the 9 pixels in FIG. 5A are classified into 512 classes by performing 1-bit ADRC. A procedure is shown along the learning flowchart of FIG. In the initialization of step 91, first, the frequency counters N (*) of all classes and the data tables E (*) of all classes are initialized. As an example, if a certain class is C0, the corresponding frequency counter is defined as N (C0), and the corresponding data table is defined as E (C0). * Indicates all classes.
[0057]
Next, in class detection in step 92, class C is determined from the learning target pixel neighborhood data. As shown in FIG. 5A, it is assumed that nine pixels in the upper layer are used for class generation. As this classification method, in addition to ADRC as described above, expression methods such as PCM, DPCM, BTC, VQ, and DCT are conceivable. In addition, when considering the activity of a block composed of class classification target data, the number of classes is increased by the type of classification by activity. In the data detection in step 93, the lower layer pixel value x to be learned is detected. In the class-by-class data addition in step 94, the lower layer pixel value x detected for each class C is added. That is, the class C data table E (*) is generated.
[0058]
In the class-wise frequency addition in step 95, the frequency counter N (C) of the learning pixel of class C is incremented by +1. At the end of all data in step 96, these processes are repeatedly executed for the learning target pixel to generate final frequency counters N (*) for all classes and data tables E (*) for all corresponding classes. . If all the data has been completed, the control shifts to class 97 average value calculation in step 97. Next, in step 97 (average value calculation for each class), the data integrated value that is the content of the data table E (*) of each class is divided by the frequency of the frequency counter N (*) of the corresponding class. To calculate the average value of each class. This value is the optimum predicted value for each class by the centroid method. The origin of the name centroid method is based on taking the average of the distribution of learning target pixel values. The finally calculated average value is registered in a storage unit such as a ROM that is address-divided by class in the class average value registration in step 98. As described above, in order to eliminate the influence of noise in the learning process, the pixel distribution with a small activity may be removed from the learning target.
[0059]
FIG. 8 shows an example of a circuit configuration in which prediction processing is executed by class classification adaptive prediction using the optimal prediction value generated by learning based on the centroid method. The class classification unit 102 performs class classification on the upper layer data supplied via the input terminal 101. Based on this class classification, the predicted value is read from the ROM 103 that holds the optimal predicted value for each class generated in advance by the center of gravity method. At this time, the address of the ROM 103 corresponds to each class. The read predicted value is taken out from the output terminal 104.
[0060]
Here, FIG. 9 shows another example of the circuit configuration in which the prediction process is executed by the class classification adaptive prediction using the optimum prediction value generated by learning based on the centroid method. The class classification unit 102 performs class classification on the upper layer data d70 supplied via the input terminal 105. This class is transmitted downstream as d71. The optimal prediction value for each class generated in advance by the center of gravity method is registered in the optimal prediction value ROM 107 for each class. The address of the optimum predicted value ROM 107 is associated with each class.
[0061]
In the configuration example of FIG. 8 described above, the activity of the upper hierarchy data is not considered, but in this example, the classification is performed in consideration of the activity of the upper hierarchy data. Therefore, the activity class classification unit 106 performs class classification based on the activity for each block of the input upper layer data d70. Specific examples of the activity include the dynamic range of the block, the absolute value of the standard deviation of the block data, the absolute value of the difference between the values of each pixel with respect to the average value of the block data, as described above. Since the nature of the image may vary depending on the activity, using such an activity as a parameter for class classification can make the class classification more precise and increase the degree of freedom of class classification. it can.
[0062]
In the operation of class classification by the class classification unit 102 and the activity class classification unit 107, first, the activity class classification unit 107 divides the class into a plurality of classes according to the activity of the block, and the class classification unit 102 classifies each class. Classes d71 and d72 are supplied as addresses from the class classification unit 102 and the activity class classification unit 107 to the optimum predicted value ROM 107, and predicted lower layer data d73 is generated from the optimum predicted value ROM 107 and taken out from the output terminal 108. The classification classification adaptive prediction using the centroid method is executed by the above processing.
[0063]
As a specific application example of the above-described embodiment, when a high-definition television still image database is configured, the lowest layer data, that is, the first layer (original image) data is reproduction data of high-definition resolution, and the second layer The data becomes reproduction data of standard resolution, and the highest hierarchy data, that is, the fifth hierarchy data becomes low resolution reproduction data for high-speed search.
[0064]
When compression encoding is employed for the purpose of reducing the amount of information, the reproduced image data obtained by the decoding device does not necessarily match the input original image data, but cannot visually detect deterioration. It is possible to make a degree. Further, the formation of the average value is not limited to the simple average value, and a weighted average value may be formed.
[0065]
Furthermore, the present invention can be applied to a hierarchical coding system having a buffering configuration for controlling the amount of generated information by controlling the quantization step width.
[0066]
【The invention's effect】
According to the present invention, it is possible to easily realize hierarchical encoding having a plurality of resolutions. Further, according to the present invention, it is possible to easily realize hierarchical encoding that does not decrease the compression efficiency. Furthermore, according to the present invention, it is possible to realize hierarchical coding with little image quality degradation.
[0067]
According to the present invention, conventionally, pixel interpolation is performed on the upper layer data by a frequency filter to generate a difference value from the lower layer data, but the lower layer data is predicted by the class classification adaptive prediction. By doing so, a significant reduction in signal power can be realized.
[Brief description of the drawings]
FIG. 1 is a schematic diagram used for explaining an example of hierarchical encoding according to the present invention;
FIG. 2 is a schematic diagram used for explaining a configuration example of hierarchical encoding according to the present invention;
FIG. 3 is a block diagram illustrating an example of an encoding side of hierarchical coding in which class classification adaptive prediction according to the present invention is used.
FIG. 4 is a block diagram showing an example of a decoding side of hierarchical coding in which class classification adaptive prediction of the present invention is used.
FIG. 5 is a schematic diagram used for explaining an example of class classification adaptive prediction using the prediction coefficient method according to the present invention.
FIG. 6 is a flowchart showing an example of learning coefficient values of prediction coefficients of adaptive classification classification according to the present invention.
FIG. 7 is a flowchart showing an example of learning an optimal prediction value of the center-of-gravity method for adaptive classification classification according to the present invention.
FIG. 8 is a block diagram used for explaining an example of class classification adaptive prediction using the centroid method according to the present invention.
FIG. 9 is a block diagram used for explaining an example of class classification adaptive prediction using an activity in the centroid method according to the present invention.
FIG. 10 is a block diagram illustrating an example of an encoding side of conventional hierarchical encoding.
FIG. 11 is a block diagram illustrating an example of a decoding side of conventional hierarchical encoding.
[Explanation of symbols]
2, 3, 4, 5 averaging circuit
10, 11, 12, 13, 14 Encoder
15, 16, 17, 18 Decoder
19, 20, 21, 22 Class classification adaptive prediction circuit
23, 24, 25, 26

Claims

Hierarchical coding apparatus for digital image signal to which input image data is supplied and divided into at least first and second hierarchical data expressing different resolutions and transmitting the first and second hierarchical data In
Averaging means for forming the second hierarchical data from average value data of N pixel data of the first hierarchy spatially corresponding to the second hierarchical data to be generated;
Prediction means for predicting N pixel data of the first hierarchy data from the second hierarchy data by using class classification adaptive prediction;
Encoding means for encoding a difference value between the predicted N pixel data of the first hierarchy data and the N pixel data of the first hierarchy;
Output means for transmitting (N-1) pixel data of the encoded N pixel data of the first hierarchy and the encoded output of the second hierarchy data from the averaging means ; Have
A hierarchical coding apparatus for digital image signals, characterized in that, when learning an optimal predicted value for each class from at least the second hierarchical data, a pixel distribution having a low activity is excluded from learning targets .

The hierarchical encoding device for digital image signals according to claim 1 ,
In the above prediction hand stage,
Means for generating a class in consideration of at least the activity of the second hierarchical data;
Memory means for storing the acquired the optimum predicted value in advance by learning,
Means for generating the optimal predictors corresponding to the class,
Hierarchical encoding apparatus or Ranaru digital image signal.

The hierarchical encoding apparatus for digital image signals according to claim 2 ,
On SL when learning the optimum prediction value from the second hierarchical data for each class, hierarchical encoding apparatus in a digital image signal you and performing learning by gravity method.

The hierarchical encoding device for digital image signals according to claim 1 ,
In the above prediction hand stage,
A hierarchical coding apparatus for digital image signals, characterized in that ADRC is applied to pixel values of the second hierarchical data to perform class classification and reduce the number of bits representing the class.

Hierarchical encoding method of digital image signal to which input image data is supplied and which is divided into at least first and second hierarchical data expressing different resolutions and transmitting the first and second hierarchical data In
The average value data of N pixel data of the first hierarchy and the second hierarchy data and the spatially corresponding to be generated, a formation step of forming the second layer data,
A prediction step of predicting N pixel data of the first hierarchical data from the second hierarchical data by using class classification adaptive prediction;
An encoding step of encoding a difference value between the predicted N pixel data of the first hierarchy data and the N pixel data of the first hierarchy;
A transmission step of transmitting (N-1) pixel data of the encoded N pixel data of the first hierarchy and an encoded output of the second hierarchy data formed by the average value data And having
A hierarchical encoding method for a digital image signal, wherein a pixel distribution having a low activity is excluded from a learning target when learning an optimal predicted value for each class from at least the second hierarchical data .

6. The hierarchical encoding method of a digital image signal according to claim 5 ,
The prediction process is
A class generation step of generating a class in consideration of at least the activity of the second hierarchical data;
From the storage means acquired the optimum predicted value is stored in advance by learning, the prediction value read step of reading the best predictors corresponding to the class,
Hierarchical coding method of digital image signal, comprising a.

The digital image signal hierarchical encoding method according to claim 6 ,
When learning the optimum prediction value for each class from the top Symbol second hierarchical data, the hierarchical encoding method of the digital image signal, characterized in that to perform the learning by gravity method.

6. The hierarchical encoding method of a digital image signal according to claim 5 ,
The prediction process is
A hierarchical encoding method for a digital image signal, wherein class classification is performed by applying ADRC to pixel values of the second hierarchical data, and the number of bits expressing the class is reduced.