JPH08186827A

JPH08186827A - ディジタル画像信号の階層符号化装置

Info

Publication number: JPH08186827A
Application number: JP33954394A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Yasuhiro Fujimori; 泰弘藤森; Kenji Takahashi; 健治高橋; Kunio Kawaguchi; 邦雄川口
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-12-28
Filing date: 1994-12-28
Publication date: 1996-07-16
Anticipated expiration: 2021-10-04
Also published as: JP3830549B2

Abstract

(57)【要約】【目的】第１階層の画像信号に関する差分信号の値を
小さくし、差分信号の伝送データ量の圧縮効率を向上す
る。【構成】第１階層の入力画像データｄ０から平均化回
路２によって、平均化された第２階層の階層データｄ１
が形成される。平均化回路３により、第３階層の階層デ
ータｄ２を形成し、平均化回路４では、第４階層の階層
データｄ３を形成する。さらに、平均化回路５におい
て、第５階層の階層データｄ４を形成し、その階層デー
タｄ４は、符号化器１４において、符号化され第５階層
データｄ２１として、出力される。また、第５階層デー
タｄ２１は、復号器１８およびクラス分類適応予測回路
２２を介して、符号化データｄ１２と階層データｄ３の
差分値ｄ８を減算器９から符号化器１３へ供給し、演算
器２６を介して第４階層データｄ２０として、出力され
る。同様な処理を施すことにより、第３階層データｄ１
９、第２階層データｄ１８および第１階層データｄ１７
が出力される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、ディジタル画像信号
の階層符号化装置において、メモリの無駄を防ぐことが
できるディジタル画像信号の階層符号化装置に関する。

【０００２】

【従来の技術】従来、高能率符号化および復号の例とし
ては、特開昭５４−７４６２３号公報に記載されている
ＢＴＣ（Block Truncation Coding ）および本出願人が
特願平４−１５５７１９号において、提案しているクラ
ス分類適応予測があり、さらに、階層符号化としては、
特開昭６３−３０６７８９号公報において提案されてい
るピラミッド符号化などが挙げられる。

【０００３】このピラミッド符号化とは、高解像度画像
信号を第１の階層（あるいはレベル）として、これより
解像度が低い第２の階層の画像信号、第２の階層の画像
信号より解像度が低い第３の階層の画像信号、・・・を
形成する符号化である。このピラミッド符号化によれ
ば、複数の階層の画像信号を一つの伝送路（通信路、記
録／再生プロセス）を介して伝送し、受信側では、複数
の階層とそれぞれ対応するテレビジョンモニタの何れか
一つにより伝送画像データを再生することができる。

【０００４】より具体的には、標準解像度ビデオ信号、
ハイビジョン信号等の高解像度ビデオ信号、コンピュー
タディスプレイの画像データ、画像データベースを高速
検索するための低解像度ビデオ信号等が異なる解像度の
ビデオ信号として存在している。また、解像度の高低以
外に、画像の縮小に対しても、かかる階層符号化を応用
することが可能である。

【０００５】従来のピラミッド符号化のエンコーダ構成
例を図１０に、デコーダ構成例を図１１に示す。この例
では５段の階層構造が使用されている。処理の基本的な
考え方は図１０のエンコーダ側において、間引きフィル
タと補間フィルタを使用することで、入力画像信号を解
像度の異なる複数の階層画像データに分解する。入力画
像に間引きフィルタを多段に施すことにより、逐次、画
素数の少ない縮小画像を生成する。

【０００６】次に、各縮小画像に補間フィルタを適用す
ることで縮小前の各画面サイズまで補間し、各階層画像
と補間画像から、信号電力低減のため差分データを生成
する。例えば、５階層符号化において面積比が逐次、
１、１／４、１／１６、１／６４、１／２５６のように
構成される。この差分信号に対し、符号器において圧縮
処理が施され、各階層のエンコーダ出力となる。

【０００７】ここで、従来の階層符号化装置のエンコー
ダ側の詳細な説明を図１０のブロック図を用いて行う。
入力端子１１１を介して原画像データｄ８０として間引
き回路１１２および減算器１１６へ供給される。供給さ
れた原画像データｄ０は、間引き回路１１２において、
水平方向に１／２および垂直方向に１／２づつ画素の間
引き処理が実行され、間引きデータｄ８１が生成され
る。この間引きデータｄ８１は、図２に示す第２階層デ
ータに対応する。生成された間引きデータｄ８１は、間
引き回路１１３および減算器１１７へ供給される。

【０００８】間引きデータｄ８１に対して、間引き回路
１１３では、上述の間引き回路１１２と同様な処理が施
され、間引きデータｄ８２が生成される。この間引きデ
ータｄ８２は、第３階層データに対応する。生成された
間引きデータｄ８２は、間引き回路１１４および減算器
１１８へ供給される。また、間引き回路１１４でも同様
に間引きデータｄ８２に対して上述の間引き回路１１２
および１１３と同様な処理が施され、間引きデータｄ８
３が生成される。この間引きデータｄ８３は、第４階層
データに対応する。生成された間引きデータｄ８３は、
間引き回路１１５および減算器１１９へ供給される。さ
らに、間引き回路１１５でも同様に間引きデータｄ８３
に対して上述の間引き回路１１２、１１３および１１４
と同様な処理が施され、間引きデータｄ８４が生成され
る。この間引きデータｄ８４は、第５階層データに対応
する。生成された間引きデータｄ８４は、符号化器１２
４へ供給される。

【０００９】そして、これら５つの階層データについて
隣接階層間データによる差分演算が行われる。先ず、第
５階層においては、何らかの圧縮のための処理が符号化
器１２４において、実行される。この符号化器１２４の
符号化データｄ１０１は、出力端子１３７を介して伝送
されると共に、復号器１２８へも供給される。この符号
化データｄ１０１は、第５階層の出力データである。符
号化データｄ１０１が供給された復号器１２８におい
て、復号された復号データｄ９６が補間回路１３２へ供
給される。補間回路１３２では、供給された復号データ
ｄ９６に対して補間処理がなされ、第４階層データの補
間値ｄ９２が生成され、減算器１１９へ供給される。こ
の減算器１１９では、間引き回路１１４から供給される
間引きデータｄ８３と補間値ｄ９２との差分値が求めら
れ、その差分値ｄ８８が符号化器１２３へ供給される。

【００１０】差分値ｄ８８が供給された符号化器１２３
では、符号化器１２４と同様に圧縮処理が行われる。こ
の符号化器１２３の符号化データｄ１００は、出力端子
１３６を介して伝送されると共に、復号器１２７へ供給
される。この符号化データｄ１００は、第４階層の出力
データである。符号化器１２３から符号化データｄ１０
０が供給された復号器１２７において、復号された復号
データｄ９５が補間回路１３１へ供給される。補間回路
１３１では、供給された復号データｄ９５に対して補間
処理がなされ、第３階層データの補間値ｄ９１が生成さ
れ、減算器１１８へ供給される。この減算器１１８で
は、間引き回路１１３から供給される間引きデータｄ８
２と補間値ｄ９１との差分値が求められ、その差分値ｄ
８７が符号化器１２２へ供給される。

【００１１】次に、差分値ｄ８７が供給された符号化器
１２２では、上述した符号化器と同様な圧縮処理が行わ
れる。この符号化器１２２の符号化データｄ９９は、出
力端子１３５を介して伝送されると共に、復号器１２６
へ供給される。この符号化データｄ９９は、第３階層の
出力データである。符号化器１２２から符号化データｄ
９９が供給された復号器１２６において、復号された復
号データｄ９４が補間回路１３０へ供給される。補間回
路１３０では、供給された復号データｄ９４に対して補
間処理がなされ、第２階層データの補間値ｄ９０が生成
され、減算器１１７へ供給される。この減算器１１７で
は、間引き回路１１２から供給される間引きデータｄ８
１と補間値ｄ９０との差分値が求められ、その差分値ｄ
８６が符号化器１２１へ供給される。

【００１２】そして、差分値ｄ８６が供給された符号化
器１２１では、上述した符号化器と同様な圧縮処理が行
われる。この符号化器１２１の符号化データｄ９８は、
出力端子１３５を介して伝送されると共に、復号器１２
５へ供給される。この符号化データｄ９８は、第２階層
の出力データである。符号化器１２１から符号化データ
が供給された復号器１２５において、復号された復号デ
ータｄ９３が補間回路１２９へ供給される。補間回路１
２９では、供給された復号データｄ９３に対して補間処
理がなされ、第２階層データの補間値ｄ８９が生成さ
れ、減算器１１６へ供給される。この減算器１１６で
は、入力端子１から供給される入力画素データｄ０と補
間値ｄ８９との差分値が求められ、その差分値ｄ８５が
符号化器１２０へ供給される。また、差分値ｄ８５が供
給された符号化器１２０では、上述した符号化器と同様
な圧縮処理が行われる。この符号化器１２０の符号化デ
ータｄ９７は、出力端子１３５を介して伝送される第１
階層の出力データである。

【００１３】一方、図１１のデコーダ構成例では、図１
０に示したエンコーダの逆処理が実行される。デコーダ
に入力される各階層データは、復号器において復号され
た後、補間フィルタにおいて各階層画像サイズまで補間
され、復号された差分データを加算することで各階層画
像を復元する。図１０のエンコーダで生成された各階層
データは、デコーダにおいて、ｄ１１０〜ｄ１１４とし
て受信される。先ず、第５階層入力データｄ１１４は、
復号器１５０においてエンコーダで施された符号化に対
応する復号処理が行われ、通常の画像データｄ１１９と
なり、補間回路１５８および第５階層の出力となり、出
力端子１６３から取り出される。

【００１４】補間回路１５８では、第５階層の画像デー
タｄ１１９に対して補間処理が施され、第４階層データ
の補間値ｄ１２３が生成される。第４階層入力データｄ
１１３が復号器１４９において復元された画像データｄ
１１８と補間値ｄ１２３の加算が加算器１５４で行われ
る。加算器１５４から加算データｄ１２７が補間回路１
５７へ供給されると共に、第４階層の出力となり、出力
端子１６２から取り出される。そして、補間回路１５７
では、上述と同様に第４階層の画像データｄ１２７に対
して補間処理が施され、第３階層データの補間値ｄ１２
２が生成される。第３階層入力データｄ１１２が復号器
１４８において復元された画像データｄ１１７と補間値
ｄ１２２の加算が加算器１５３で行われる。加算器１５
３から加算データｄ１２６が補間回路１５６へ供給され
ると共に、第３階層の出力となり、出力端子１６１から
取り出される。

【００１５】また、補間回路１５６では、上述と同様に
第３階層の画像データｄ１２６に対して補間処理が施さ
れ、第２階層データの補間値ｄ１２１が生成される。第
２階層入力データｄ１１１が復号器１４７において復元
された画像データｄ１１６と補間値ｄ１２１の加算が加
算器１５２で行われる。加算器１５２から加算データｄ
１２５が補間回路１５５へ供給されると共に、第２階層
の出力となり、出力端子１６０から取り出される。さら
に、補間回路１５５では、上述と同様に第２階層の画像
データｄ１２５に対して補間処理が施され、第１階層デ
ータの補間値ｄ１２０が生成される。第１階層入力デー
タｄ１１０が復号器１４６において復元された画像デー
タｄ１１５と補間値ｄ１２０の加算が加算器１５１で行
われる。加算器１５１から加算データｄ１２４が第１階
層の出力となり、出力端子１５９から取り出される。

【００１６】

【発明が解決しようとする課題】上述した従来の階層符
号化では、対象画像を複数の解像度の異なる画像で表現
するとが実現される反面、エンコーダ側において複数の
画像に分解した上で符号化を施すため、符号化対象画素
数が増加し圧縮効率が低下するという問題があった。

【００１７】従って、この発明の目的は、これらを鑑み
て圧縮効率を低下させることなく、高品質の画質を保つ
ことができるディジタル画像信号の階層符号化装置を提
供することにある。

【００１８】

【課題を解決するための手段】この発明は、入力画像デ
ータが供給され、この入力画像データと異なる解像度を
表現する、少なくとも第１および第２の階層データへ分
割し、第１および第２の階層データを伝送するようにし
たディジタル画像信号の階層符号化装置において、第１
の階層のＮ個の画素データの平均値データにより、第２
の階層データを形成するための平均化手段と、第２の階
層データから第１の階層データを予測する手段と、予測
された第１の階層データと第１の階層データとの差分値
を符号化する符号化手段と、第１の階層の（Ｎ−１）個
のデータと符号化手段からの第２の階層データの符号化
出力とを伝送するために出力する手段とからなるディジ
タル画像信号の階層復号化装置である。

【００１９】

【作用】クラス分類適応予測によって、上位階層から下
位階層のデータを予測するので高精度の予測が可能であ
る。その結果、差分値を小さくでき、効率の良い圧縮を
行うことができる。さらに、平均値に対する差分で他の
階層のデータを構成するので、一つの画素データまたは
一つの差分データの伝送を省略しても、受信側でこれを
復元することができる。従って、各階層のデータを伝送
するにもかかわらず、伝送画素数が増加しない。また、
デコーダ側で演算時間が短くなり、高速処理ができ、さ
らに、ハードウェアの規模が小さくて良い利点がある。

【００２０】

【実施例】以下、この発明のディジタル画像信号の階層
符号化装置の一実施例について、図面を参照しながら説
明する。先ず、階層間データに対し単純な算術式を用い
ることで、符号化対象画素数の増加を防止する一例を図
１に示す。この図１は、一例として第１階層を最下位階
層（原画）とし、第４階層を最上位階層とする４階層か
らなる階層間の模式図を示している。例えば、上位階層
データ生成法として、空間的に対応する４画素の下位階
層データの平均化を採用する場合、上位階層データを
Ｍ、下位階層画素値をｘ₀、ｘ₁、ｘ₂、ｘ₃とする
と、伝送画素は、４画素のままで良い。

【００２１】すなわち、Ｍ、ｘ₀、ｘ₁、ｘ₂を用い
て、ｘ₃＝４・Ｍ−（ｘ₀＋ｘ₁＋ｘ₂）（１）

【００２２】という単純な算術式により非伝送画素ｘ₃
を容易に復元することが可能となる。各階層データは、
下位階層の４画素平均により生成されている。そこで、
例えば図中の斜線部のデータを伝送しなくとも、式
（１）により全データを復元することが可能となる。

【００２３】次に、平均化による階層データの５階層の
構成例を図２に示す。第１階層が入力画像の解像度レベ
ルであるとする。この第１階層は、ブロックサイズ（１
×１）のデータ構成からなる。第２階層データは、第１
階層データの４画素平均により生成される。この例で
は、第１階層データＸ₁（０）〜Ｘ₁（３）の平均値に
より、第２階層データＸ₂（０）が生成される。Ｘ
₂（０）に隣接する第２階層データＸ₂（１）〜Ｘ
₂（３）も同様に第１階層データの４画素平均により生
成される。この第２階層は、ブロックサイズ（１／２×
１／２）のデータ構成からなる。さらに、第３階層デー
タは、空間的に対応する第２階層データの４画素平均に
より生成される。上述と同様にこの第３階層は、ブロッ
クサイズ（１／４×１／４）のデータ構成からなる。ま
た、第４階層のデータも同様に第３階層のデータから制
御され、そのデータ構成は、ブロックサイズ（１／８×
１／８）からなる。最後に、最上位階層である第５階層
データＸ₅（０）が、第４階層データＸ₄（０）〜Ｘ₄
（３）の平均化により生成される。この第５階層のデー
タ構成は、ブロックサイズ（１／１６×１／１６）から
なる。

【００２４】上述した符号化対象画素数の増加を防止し
た階層構造データに対し、上位階層データにクラス分類
適応予測を適用することで、下位階層データを予測し、
下位階層データとその予測値との差分を生成することで
信号電力の削減を図る一実施例を図３に示すブロック図
を用いて説明する。この図３は、階層符号化のエンコー
ダ側の構成例を示す。入力端子１を介して図２に示す第
１階層データが入力画像データｄ０として平均化回路２
および減算器６へ供給される。入力画素データｄ０は、
平均化回路２において、図２に示した２画素×２画素ブ
ロックによる１／４平均処理が実行され、階層データｄ
１が生成される。この階層データｄ１は、図２に示す第
２階層データに対応する。生成された階層データｄ１
は、平均化回路３および減算器７へ供給される。

【００２５】階層データｄ１に対して、平均化回路３で
は、上述の平均化回路２と同様な処理が施され、階層デ
ータｄ２が生成される。この階層データｄ２は、第３階
層データに対応する。生成された階層データｄ２は、平
均化回路４および減算器８へ供給される。また、平均化
回路４でも同様に階層データｄ２に対して上述の平均化
回路２および３と同様な処理が施され、階層データｄ３
が生成される。この階層データｄ３は、第４階層データ
に対応する。階層データｄ３は、平均化回路５および減
算器９へ供給される。さらに、平均化回路５でも同様に
階層データｄ３に対して上述の平均化回路２、３および
４と同様な処理が施され、階層データｄ４が生成され
る。この階層データｄ４は、第５階層データに対応す
る。生成された階層データｄ４は、符号化器１４へ供給
される。

【００２６】そして、これら５つの階層データについて
隣接階層間データによる差分演算が行われる。先ず、第
５階層においては、何らかの圧縮のための処理が符号化
器１４において、実行される。この符号化器１４の符号
化データｄ２１は、出力端子３１を介して伝送されると
共に、復号器１８へも供給される。この符号化データｄ
２１は、第５階層のデータである。符号化データｄ２１
が供給された復号器１８において、復号された復号デー
タｄ１６がクラス分類適応予測回路２２へ供給される。
クラス分類適応予測回路２２では、復号データｄ１６を
使用して予測処理がなされ、第４階層データの予測値ｄ
１２が生成され、減算器９へ供給される。この減算器９
では、平均化回路４から供給される階層データｄ３と予
測値ｄ１２との差分値が求められ、その差分値ｄ８が符
号化器１３へ供給される。

【００２７】差分値ｄ８が供給された符号化器１３で
は、符号化器１４と同様に圧縮処理が行われる。この符
号化器１３の符号化データは、演算器２６および復号器
１７へ供給される。この演算器２６では、４画素から１
画素を間引く処理が行われる。演算器２６から出力され
る第４階層データｄ２０は、出力端子３０を介して伝送
される。符号化器１３から符号化データが供給された復
号器１７において、復号された復号データｄ１５がクラ
ス分類適応予測回路２１へ供給される。クラス分類適応
予測回路２１では、復号データｄ１５を使用して予測処
理がなされ、第３階層データの予測値ｄ１１が生成さ
れ、減算器８へ供給される。この減算器８では、平均化
回路３から供給される階層データｄ２と予測値ｄ１１と
の差分値が求められ、その差分値ｄ７が符号化器１２へ
供給される。

【００２８】次に、差分値ｄ７が供給された符号化器１
２では、上述した符号化器と同様な圧縮処理が行われ
る。この符号化器１２の符号化データは、演算器２５お
よび復号器１６へ供給される。この演算器２５では、４
画素から１画素を間引く処理が行われる。演算器２５か
ら出力される第３階層データｄ１９は、出力端子２９を
介して伝送される。符号化器１２から符号化データが供
給された復号器１６において、復号された復号データｄ
１４がクラス分類適応予測回路２０へ供給される。クラ
ス分類適応予測回路２０では、復号データｄ１４を使用
して予測処理がなされ、第２階層データの予測値ｄ１０
が生成され、減算器７へ供給される。この減算器７で
は、平均化回路２から供給される階層データｄ１と予測
値ｄ１０との差分値が求められ、その差分値ｄ６が符号
化器１１へ供給される。

【００２９】そして、差分値ｄ６が供給された符号化器
１１では、上述した符号化器と同様な圧縮処理が行われ
る。この符号化器１１の符号化データは、演算器２４お
よび復号器１５へ供給される。この演算器２４では、４
画素から１画素を間引く処理が行われる。演算器２４か
ら出力される第２階層データｄ１８は、出力端子２８を
介して伝送される。符号化器１１から符号化データが供
給された復号器１５において、復号された復号データｄ
１３がクラス分類適応予測回路１９へ供給される。クラ
ス分類適応予測回路１９では、復号データｄ１３を使用
して予測処理がなされ、第２階層データの予測値ｄ９が
生成され、減算器６へ供給される。この減算器６では、
入力端子１から供給される入力画素データｄ０と予測値
ｄ９との差分値が求められ、その差分値ｄ５が符号化器
１０へ供給される。

【００３０】また、差分値ｄ５が供給された符号化器１
０では、上述した符号化器と同様な圧縮処理が行われ
る。この符号化器１０の符号化データは、演算器２３へ
供給される。この演算器２３では、４画素から１画素を
間引く処理が行われる。演算器２３から出力される第１
階層データｄ１７は、出力端子２７を介して伝送され
る。このように、符号化対象画素数の増加を防止した階
層符号化において、クラス分類適応予測が適用される。

【００３１】次に、この発明の一実施例の階層符号化の
デコーダ側の構成例を図４に示す。図３に示すエンコー
ダで生成された各階層データｄ１７〜ｄ２１は、ｄ３０
〜ｄ３４として受信される。先ず、第５階層入力データ
ｄ３４は、復号器５０においてエンコーダで施された符
号化に対応する復号処理が行われ、画像データｄ３９と
なり、クラス分類適応予測回路６２および演算器５８へ
供給される。また画像データｄ３９は、第５階層の出力
として、出力端子６７から取り出される。

【００３２】クラス分類適応予測回路６２では、第４階
層の画像データに対してクラス分類適応予測が施され、
第４階層データの予測値ｄ４７が生成される。復号器４
９において復号されたデータｄ３８と予測値ｄ４７が加
算器５４で加算される。加算器５４から復号画像データ
ｄ４３が演算器５８へ供給され、演算器５８では、式
（１）の演算が実行され、復号器５０から供給された画
像データｄ３９と画像データｄ４３から第４階層の全画
素値が復元される。この演算器５８において、復元され
た全画素値は、画像データｄ５１として、クラス分類適
応予測回路６１および演算器５７へ供給される。また画
像データｄ５１は、第４階層の出力として、出力端子６
６から取り出される。

【００３３】そして、クラス分類適応予測回路６１で
は、上述と同様に第３階層の画像データに対してクラス
分類適応予測が施され、第３階層データの予測値ｄ４６
が生成される。復号器４８において復号されたデータｄ
３７と予測値ｄ４６の加算が加算器５３で行われる。加
算器５３から画像データｄ４２が演算器５７へ供給さ
れ、演算器５７では、式（１）の演算が実行され、演算
器５８から供給された画素データｄ５１と画像データｄ
４２から第３階層の全画素値が復元される。この演算器
５７において、復元された全画素値は、画像データｄ５
０として、クラス分類適応予測回路６０および演算器５
６へ供給される。また画像データｄ５０は、第３階層の
出力として、出力端子６５から取り出される。

【００３４】また、クラス分類適応予測回路６０では、
上述と同様に第２階層の画像データに対してクラス分類
適応予測が施され、第２階層データの予測値ｄ４５が生
成される。復号器４７において復号されたデータｄ３６
と予測値ｄ４５の加算が加算器５２で行われる。加算器
５２から画像データｄ４１が演算器５６へ供給され、演
算器５６では、式（１）の演算が実行され、演算器５７
から供給された画像データｄ５０と画像データｄ４１か
ら第２階層の全画素値が復元される。この演算器５６に
おいて、復元された全画素値は、画像データｄ４９とし
て、クラス分類適応予測回路５９および演算器５５へ供
給される。また画像データｄ４９は、第２階層の出力と
して、出力端子６４から取り出される。

【００３５】さらに、クラス分類適応予測回路５９で
は、上述と同様に第１階層の画像データに対してクラス
分類適応予測が施され、第１階層データの予測値ｄ４４
が生成される。復号器４６において復号されたデータｄ
３５と予測値ｄ４４の加算が加算器５１で行われる。加
算器５１から画像データｄ４０が演算器５５へ供給さ
れ、演算器５５では、式（１）の演算が実行され、演算
器５６から供給された画像データｄ４９と画像データｄ
４０から第１階層の全画素値が復元される。この演算器
５５において、復元された全画素値は、画像データｄ４
８として、第１階層の出力として、出力端子６３から取
り出される。こうして、符号化対象画素数の増加を防止
した階層符号化において、クラス分類適応予測を導入す
ることで符号化効率の向上を図ることが可能となる。

【００３６】さて、ここで符号化効率の向上のために用
いられたクラス分類適応予測について説明を行う。クラ
ス分類適応予測とは、入力信号の特徴に基づき入力信号
をいくつかのクラスに分類し、予め用意されたクラス毎
の適切な適応予測を実行する手法である。

【００３７】先ず、クラス分類法の例としては、入力信
号（８ビットＰＣＭデータ）に対しクラス生成タップを
設定し、入力信号の波形特性によりクラスを生成する手
法が挙げられる。信号波形のクラス生成法としては次の
例などが提案されている。１）ＰＣＭデータを直接使用する方法２）ＡＤＲＣを適用する方法３）ＤＰＣＭを適用する方法４）ＢＴＣを適用する方法５）ＶＱを適用する方法６）ＤＣＴ（アダマール変換）を適用する方法

【００３８】ＰＣＭデータを直接使用する場合、クラス
分類用に８ビットデータを７画素使用すると、２⁵⁶とい
う膨大な数のクラスに分類される。信号波形の特徴を掴
むという意味では理想的ではあるが、回路上の負担は大
きく、実用上は問題である。そこで実際はＡＤＲＣ（Ad
aptive Dynamic Range Coding ）などを適用しクラス数
の削減を図る。このＡＤＲＣ、例えば特開昭６１−１４
４９８９号公報に記録されているものは、信号圧縮技術
として開発された手法であるが、クラス表現に使用する
ことにも適している。基本的には再量子化処理であり、
式（２）で示される。

【００３９】

【数１】但し、ｃ_i：ＡＤＲＣコードｙ_i：上位階層画素値ＭＩＮ：近傍領域内最小値ＤＲ：近傍領域内ダイナミックレンジｋ：再量子化ビット数

【００４０】注目画素近傍の数画素に対し式（２）で定
義されるＡＤＲＣを用いて生成されるＡＤＲＣコードよ
りクラス分類を行う。例えば７タップデータに対し１ビ
ットＡＤＲＣを適用すると、７画素のデータから定義さ
れるダイナミックレンジに基づき、７画素中の最小値を
除去した上で各タップの画素値を適応的に１ビット量子
化するので、１２８クラスに削減することが可能とな
る。９タップデータに対しても５１２クラスで分類する
ことが可能となる。他に圧縮技術として一般的な、ＤＰ
ＣＭ（予測符号化）、ＢＴＣ（Blok Truncation Codin
g）、ＶＱ（VectorQuantization ）、ＤＣＴ（Discrete
Cosine Transform ）などの周波数領域クラスが挙げら
れる。

【００４１】また、クラス分類の性能を更に向上させる
ため、上位階層データのアクティビティーも考慮した上
でクラス分類が行われることがある。アクティビティー
の判定法の例としては、クラス分類法にＡＤＲＣを使用
した場合、ダイナミックレンジを用いることが多い。ま
た、ＤＰＣＭならば差分絶対値和、ＢＴＣのときは標準
偏差の絶対値などが用いられる。また、上記の学習過程
において、アクティビティーの小さい学習分布は学習対
象からはずす。この理由は、アクティビティーの小さい
部分はノイズの影響が大きく、本来のクラスの予測値か
ら外れることが多い。それを学習に入れると予測精度が
低下する。これを避けるため、学習においては、アクテ
ィビティーの小さい画素分布を除外する。こうして分類
されたクラス毎に適応予測を実行するが、適応予測とし
ては予め学習された予測係数を用いた予測演算を行う方
式と、重心法により予測値を学習しておく方式が提案さ
れている。

【００４２】次に、予め学習により生成されたクラス毎
の予測係数を用いた予測演算を行う適応予測について説
明する。図５Ａ、Ｂに示すように、下位階層の４画素ｘ
₀〜ｘ₃から上位階層データｙ₄が生成される場合、上
位階層データより下位階層データを予測する。例えば、
上位階層データｙ₀〜ｙ₈の９画素により予測タップを
構成し、下位階層データｘ´を予測する。このときの予
測式の一例を式（３）に示す。

【００４３】

【数２】但し、ｘ´：下位階層予測値ｙ_i：上位階層予測タップ画素値ｗ_i：予測係数

【００４４】例えば、１ビットＡＤＲＣを図５Ａに示す
ｙ₀〜ｙ₈の９画素に対して施し５１２クラスに分類し
た場合、各クラス毎に生成された予測係数と上位階層デ
ータとの積和演算により下位階層データを予測する。こ
の例においては、図５Ｂに示すように、ｘ₀〜ｘ₃の４
画素がｙ₀〜ｙ₈を使用して予測され、同じクラスであ
ってもｘ₀〜ｘ₃のそれぞれについて、独立に４種類の
予測係数が生成される。

【００４５】ここで、クラス分類適応予測の一例の回路
構成を図５Ｃに示す。７１で示す入力端子から入力信号
ＩＮがクラス分類部７２および予測演算部７４へ供給さ
れる。クラス分類部７２においては、上述のようなクラ
ス分類処理に基づき、入力信号ＩＮに対するクラスｄ６
０が生成される。このクラスｄ６０をアドレスとして予
測係数ＲＯＭ７３より予測係数ｄ６１が予測演算部７４
に供給される。予測演算部７４において、入力信号ＩＮ
と予測係数ｄ６１を用いて式（３）の予測演算が実行さ
れ、出力端子７５を介して演算結果、すなわち予測値が
取り出される。

【００４６】次に、上述した予測係数は、予め学習によ
り生成しておくが、その学習方法について説明する。式
（３）の線形一次結合モデルに基づく予測係数を最小自
乗法により生成する一例を示す。最小自乗法は次のよう
に適用される。一般化した例として、Ｘを入力データ、
Ｗを予測係数、Ｙを予測値として次の式を考える。観測方程式：ＸＷ＝Ｙ（４）

【数３】

【００４７】上述の観測方程式により収集されたデータ
に最小自乗法を適用する。式（３）の例においては、ｎ
＝９、ｍが学習データ数となる。式（４）の観測方程式
をもとに、式（６）の残差方程式を考える。残差方程式：

【数４】

【００４８】式（６）の残差方程式から、各ｗ_iの最確
値は、

【数５】を最小にする条件が成り立つ場合と考えられる。すなわ
ち、式（７）の条件を考慮すれば良いわけである。

【００４９】

【数６】式（７）のｉに基づく条件を考え、これを満たすｗ₁、
ｗ₂、‥‥、ｗ_nを算出すれば良い。そこで、残差方程
式の式（６）から式（８）が得られる。

【００５０】

【数７】式（７）と式（８）により式（９）が得られる。

【００５１】

【数８】そして、式（６）と式（９）から正規方程式として式
（１０）が得られる。

【００５２】

【数９】

【００５３】式（１０）の正規方程式は、未知数の数ｎ
と同じ数の方程式を立てることが可能であるので、各ｗ
_iの最確値を求めることができる。そして、掃き出し法
（Gauss-Jordanの消去法）を用いて連立方程式を解く。

【００５４】ここで、この最小自乗法を用いた学習をソ
フトウェアで行う一例を図６のフローチャートに示す。
先ず、ステップ８１の学習データ形成では、入力データ
に対しクラス分類が行われる。ステップ８３のクラス決
定において、この例では９画素のデータ変化が検出され
る。ステップ８４の正規方程式生成では、各クラス毎に
式（１０）に示す正規方程式を生成する。このとき一般
に、ノイズの影響を排除するため、入力データ変化のア
クティビティーが小さいものを学習対象から除外する。
この学習プロセスにおいて、多くの学習データが登録さ
れた正規方程式が生成される。学習対象データが終了す
るまで、正規方程式生成プロセスが繰り返される。

【００５５】すなわち、ステップ８２のデータ終了で
は、学習対象データ数の終了が確認されるまで上述のプ
ロセスが繰り返される。そして、学習対象データ数の終
了が確認された場合、このステップ８２（データ終了）
からステップ８５の予測係数決定へ制御が移る。ステッ
プ８５（予測係数決定）では、多くの学習データより生
成された、クラス毎の式（１０）の正規方程式が解かれ
る。その連立方程式の解法として、この一例では、上述
した掃き出し法が用いられる。こうして得られた予測係
数は、ステップ８６の予測係数登録において、クラス別
にアドレス分割されたＲＯＭ等の記憶部に登録される。
このような学習過程により、クラス分類適応予測の予測
係数が生成される。

【００５６】次に、クラス分類適応予測の適応処理法と
して、重心法により予測値を学習するときの手法の一例
について説明する。上述のように上位階層データの信号
の特徴に基づき分類されたクラス毎に、予め最適補間値
を重心法により生成する。例えば、上述したように、図
５Ａの９画素に対して、１ビットＡＤＲＣを施すことに
より、５１２クラスに分類する場合を考える。図７の学
習フローチャートに沿って手順を示す。ステップ９１の
初期化では、先ず、全てのクラスの度数カウンタＮ
（＊）と、全てのクラスのデータテーブルＥ（＊）を初
期化する。ここで、一例として、あるクラスをＣ０とす
ると、対応する度数カウンタは、Ｎ（Ｃ０）、対応する
データテーブルはＥ（Ｃ０）と定義する。また、＊はク
ラスの全てを示す。

【００５７】次に、ステップ９２のクラス検出におい
て、学習対象画素近傍データからクラスＣを決定する。
図５Ａに示すように上位階層の９画素がクラス生成用に
使用されるとする。このクラス分類手法としては、上述
したようにＡＤＲＣの他にも、ＰＣＭ、ＤＰＣＭ、ＢＴ
Ｃ、ＶＱ、ＤＣＴなどの表現法が考えられる。また、ク
ラス分類対象データより構成されるブロックのアクティ
ビティーを考慮する場合は、クラス数をアクティビティ
ーによる分類の種類だけ増やしておく。そして、ステッ
プ９３のデータ検出では、この学習対象となる下位階層
画素値ｘが検出され、ステップ９４のクラス別データ加
算では、クラスＣ毎に検出された下位階層画素値ｘを加
算する。すなわち、クラスＣのデータテーブルＥ（＊）
を生成する。

【００５８】そして、ステップ９５のクラス別度数加算
では、クラスＣの学習画素の度数カウンタＮ（Ｃ）を＋
１インクリメントする。ステップ９６の全データ終了で
は、これらの処理を学習対象画素について繰り返し実行
し、最終的な全てのクラスの度数カウンタＮ（＊）と、
対応する全てのクラスのデータテーブルＥ（＊）を生成
する。全データが終了していれば、ステップ９７のクラ
ス別平均値算出へ制御が移る。次に、ステップ９７（ク
ラス別平均値算出）では、各クラスのデータテーブルＥ
（＊）の内容であるデータ積算値を、対応クラスの度数
カウンタＮ（＊）の度数で、除算を実行することで各ク
ラスの平均値を算出する。この値が重心法による各クラ
スの最適予測値となる。重心法という名称の由来は、学
習対象画素値の分布の平均をとることによる。最終的に
算出された平均値は、ステップ９８のクラス別平均値登
録において、クラス別にアドレス分割されたＲＯＭ等の
記憶部に登録される。上述のように学習過程において、
ノイズの影響を排除するため、アクティビティーの小さ
い画素分布は学習対象からはずすことも考えられる。

【００５９】重心法に基づく学習により生成された最適
予測値を用い、クラス分類適応予測により予測処理を実
行する一例の回路構成を図８に示す。入力端子１０１を
介して供給される上位階層データに対し、クラス分類部
１０２では、クラス分類が行われる。このクラス分類に
基づいて重心法により予め生成されたクラス毎の最適予
測値が保持されているＲＯＭ１０３から予測値が読み出
される。このとき、ＲＯＭ１０３のアドレスは、各クラ
スに対応している。読み出された予測値は、出力端子１
０４から取り出される。

【００６０】ここで、重心法に基づく学習により生成さ
れた最適予測値を用い、クラス分類適応予測により予測
処理を実行する他の例の回路構成を図９に示す。入力端
子１０５を介して供給される上位階層データｄ７０に対
し、クラス分類部１０２においてクラス分類が行われ
る。このクラスは、ｄ７１として後段に伝送される。重
心法により予め生成されたクラス毎の最適予測値は、最
適予測値ＲＯＭ１０７にクラス別に登録されている。こ
の最適予測値ＲＯＭ１０７のアドレスは、各クラスに対
応させる。

【００６１】上述の図８の構成例においては、上位階層
データのアクティビティーを考慮していないが、この例
では、上位階層データのアクティビティーを考慮した上
でクラス分類が行われる。そこで、アクティビティーク
ラス分類部１０６において、入力された上位階層データ
ｄ７０のブロック毎のアクティビティーに基づくクラス
分類を行う。アクティビティーの具体的なものは、上述
したようにブロックのダイナミックレンジ、ブロックデ
ータの標準偏差の絶対値、ブロックデータの平均値に対
する各画素の値の差分の絶対値等である。アクティビテ
ィーにより画像の性質が異なる場合があるので、このよ
うなアクティビティーをクラス分類のパラメータとして
使用することによって、クラス分類をより高精度とする
ことができ、また、クラス分類の自由度を増すことがで
きる。

【００６２】クラス分類部１０２およびアクティビティ
ークラス分類部１０７によるクラス分類の動作は、先
ず、アクティビティークラス分類部１０７によって、ブ
ロックのアクティビティーにより複数のクラスに分け、
そのクラス毎にクラス分類部１０２によるクラス分けを
行う。クラス分類部１０２およびアクティビティークラ
ス分類部１０７からクラスｄ７１およびｄ７２が最適予
測値ＲＯＭ１０７に対してアドレスとして供給され、最
適予測値ＲＯＭ１０７から予測下位階層データｄ７３が
発生し、出力端子１０８から取り出される。以上の処理
により重心法を用いたクラス分類適応予測が実行され
る。

【００６３】上述の実施例の具体的な応用例としては、
ハイビジョンテレビ静止画像のデータベースを構成した
場合、最下位階層データ、すなわち第１階層（原画像）
データがハイビジョン解像度の再生データであり、第２
階層データが標準解像度の再生データとなり、最上位階
層データ、すなわち第５階層データは、高速検索用の低
解像度の再生データとなる。

【００６４】なお、情報量の削減を目的として圧縮符号
化を採用する場合には、復号化装置により得られた再生
画像データは、入力された原画像データと必ずしも一致
しないが、視覚的に劣化を検知できない程度にすること
が可能である。また、平均値を形成するのに単純平均値
に限らず、加重平均値を形成しても良い。

【００６５】さらに、この発明は、量子化ステップ幅を
制御する等によって、発生情報量を制御するバッファリ
ングの構成を備える階層符号化システムに対しても適用
することができる。

【００６６】

【発明の効果】この発明に依れば、複数の解像度を有す
る階層符号化を実現することが容易にできる。また、こ
の発明に依れば、圧縮効率の低下しない階層符号化を実
現することが容易にできる。さらに、この発明に依れ
ば、画質劣化の少ない階層符号化を実現することができ
る。

【００６７】そして、この発明に依れば、従来単に上位
階層データに対し、周波数フィルタで画素補間を行い、
下位階層データとの差分値を生成していたが、クラス分
類適応予測による下位階層データの予測を行うことによ
り大幅な信号電力の削減を実現することができる。

【図面の簡単な説明】

【図１】この発明に係る階層符号化の一例の説明に用い
る略線図である。

【図２】この発明に係る階層符号化の一構成例の説明に
用いる略線図である。

【図３】この発明のクラス分類適応予測が使用された階
層符号化のエンコード側の一例を示すブロック図であ
る。

【図４】この発明のクラス分類適応予測が使用された階
層符号化のデコード側の一例を示すブロック図である。

【図５】この発明に係る予測係数方式を使用するクラス
分類適応予測の一例の説明に用いる略線図である。

【図６】この発明に係るクラス分類適応予測の予測係数
の係数値を学習する一例を示すフローチャートである。

【図７】この発明に係るクラス分類適応予測の重心法の
最適予測値を学習する一例を示すフローチャートであ
る。

【図８】この発明に係る重心法方式を使用するクラス分
類適応予測の一例の説明に用いるブロック図である。

【図９】この発明に係る重心法方式において、アクティ
ビティーを使用するクラス分類適応予測の一例の説明に
用いるブロック図である。

【図１０】従来の階層符号化のエンコード側の一例を示
すブロック図である。

【図１１】従来の階層符号化のデコード側の一例を示す
ブロック図である。

【符号の説明】２、３、４、５平均化回路１０、１１、１２、１３、１４符号化器１５、１６、１７、１８復号器１９、２０、２１、２２クラス分類適応予測回路２３、２４、２５、２６演算器

───────────────────────────────────────────────────── フロントページの続き (72)発明者川口邦雄東京都品川区北品川６丁目７番35号ソニー株式会社内

Claims

【特許請求の範囲】

【請求項１】入力画像データが供給され、この入力画
像データと異なる解像度を表現する、少なくとも第１お
よび第２の階層データへ分割し、上記第１および第２の
階層データを伝送するようにしたディジタル画像信号の
階層符号化装置において、上記第１の階層のＮ個の画素データの平均値データによ
り、上記第２の階層データを形成するための平均化手段
と、上記第２の階層データから上記第１の階層データを予測
する手段と、予測された上記第１の階層データと上記第１の階層デー
タとの差分値を符号化する符号化手段と、上記第１の階層の（Ｎ−１）個のデータと上記符号化手
段からの第２の階層データの符号化出力とを伝送するた
めに出力する手段とからなるディジタル画像信号の階層
復号化装置。
【請求項２】入力画像データが供給され、この入力画
像データと異なる解像度を表現する、少なくとも第１お
よび第２の階層データへ分割し、上記第１および第２の
階層データを伝送するようにしたディジタル画像信号の
階層符号化装置において、上記第１の階層のＮ個の画素データの平均値データによ
り、上記第２の階層データを形成するための平均化手段
と、伝送された上記第２の階層データから上記第１の階層デ
ータをクラス分類適応予測を用いることにより予測する
クラス分類適応予測手段と、上記クラス分類適応予測手段により予測された上記第１
の階層データと上記第１の階層データとの差分値を符号
化する符号化手段と、上記第１の階層の（Ｎ−１）個のデータと上記符号化手
段からの第２の階層データの符号化出力とを伝送するた
めに出力する手段とからなるディジタル画像信号の階層
符号化装置。
【請求項３】請求項２に記載のディジタル画像信号の
階層符号化装置において、上記クラス分類適応予測手段では、上記第２の階層デー
タからクラスを生成する手段と、予め学習により獲得された予測係数値を格納した記憶手
段と、生成された上記クラスに基づいて、上記記憶手段から上
記予測係数値を読み出す手段と、読み出された上記予測係数値を用いて上記クラスに対応
した予測式の演算から最適な予測値を生成する手段と、上記第１の階層データと上記予測値の演算を行う手段と
からなるディジタル画像信号の階層符号化装置。
【請求項４】請求項２に記載のディジタル画像信号の
階層符号化装置において、上記クラス分類適応予測手段では、上記第２の階層デー
タからクラスを生成する手段と、上記クラスに対応した線形一次結合式により最適な予測
値を生成する手段と、上記第１の階層データと上記予測値の演算を行う手段と
からなるディジタル画像信号の階層符号化装置。
【請求項５】請求項２に記載のディジタル画像信号の
階層符号化装置において、上記クラス分類適応予測手段では、上記第２の階層デー
タからクラス毎に予測係数値を学習する際に、上記クラスのアクティビティーの小さい画素を学習の対
象から除外することを特徴とするディジタル画像信号の
階層符号化装置。
【請求項６】請求項２に記載のディジタル画像信号の
階層符号化装置において、上記クラス分類適応予測手段では、上記第２の階層デー
タからクラスを生成する手段と、予め学習により獲得された最適な予測値を格納した記憶
手段と、上記クラスに対応した最適な上記予測値を生成する手段
と、上記第１の階層データと上記予測値の演算を行う手段と
からなるディジタル画像信号の階層符号化装置。
【請求項７】請求項２に記載のディジタル画像信号の
階層符号化装置において、上記クラス分類適応予測手段では、上記第２の階層デー
タからクラス毎に最適な予測値を学習する際に、重心法による学習を行う手段とからなるディジタル画像
信号の階層符号化装置。
【請求項８】請求項２に記載のディジタル画像信号の
階層符号化装置において、上記クラス分類適応予測手段では、上記第２の階層デー
タからクラス毎に最適な予測値を学習する際に、上記クラスのアクティビティーの小さい画素を学習の対
象から除外することを特徴とするディジタル画像信号の
階層符号化装置。
【請求項９】請求項２に記載のディジタル画像信号の
階層符号化装置において、上記クラス分類適応予測手段では、第２の階層データの
画素値にＡＤＲＣを適用することによりクラス分類を行
い、上記クラスを表現するビット数を削減する手段を特
徴とするディジタル画像信号の階層符号化装置。