JPH08204969A

JPH08204969A - ディジタル画像信号の階層符号化装置

Info

Publication number: JPH08204969A
Application number: JP2736295A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Yasuhiro Fujimori; 泰弘藤森; Kenji Takahashi; 健治高橋; Kunio Kawaguchi; 邦雄川口
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-01-23
Filing date: 1995-01-23
Publication date: 1996-08-09
Anticipated expiration: 2021-05-31
Also published as: JP3781797B2

Abstract

(57)【要約】【目的】符号化の効率を向上させ、複数の解像度を有
する画像信号を伝送できる。【構成】第１階層の入力画像データｄ０から間引き回
路２によって、間引き処理された第２階層の階層データ
ｄ１が形成される。同様に間引き回路３では第３階層の
階層データｄ２、間引き回路４では第４階層の階層デー
タｄ３、間引き回路５では第５階層の階層データｄ４を
形成する。入力階層データｄ０は、符号化器６におい
て、符号化され第１階層のデータとして、伝送される。
その符号化データｄ５は、復号器１１およびクラス分類
適応予測回路１５を介して、減算器１９において、ｄ１
から予測値ｄ７が減算され、その減算値ｄ８が符号化器
７へ供給される。符号化器７からの符号化データｄ９
は、第２階層の階層のデータとして、伝送される。同様
な処理により、第３階層の符号化データｄ１３、第４階
層の符号化データｄ１７、第５階層の符号化データｄ２
１が伝送される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、ディジタル画像信号
の階層符号化装置において、メモリの無駄を防ぐことが
できるディジタル画像信号の階層符号化装置に関する。

【０００２】

【従来の技術】従来、高能率符号化および復号の例とし
ては、特開昭５４−７４６２３号公報に記載されている
ＢＴＣ（Block Truncation Coding ）および本出願人が
特願平４−１５５７１９号において、提案しているクラ
ス分類適応予測があり、さらに、階層符号化としては、
特開昭６３−３０６７８９号公報において提案されてい
るピラミッド符号化などが挙げられる。

【０００３】階層符号化とは、高解像度画像信号を第１
の階層（あるいはレベル）として、これより解像度が低
い第２の階層の画像信号、第２の階層の画像信号より解
像度が低い第３の階層の画像信号、・・・を形成する符
号化である。この階層符号化によれば、複数の階層の画
像信号を一つの伝送路（通信路、記録／再生プロセス）
を介して伝送し、受信側では、複数の階層とそれぞれ対
応するテレビジョンモニタの何れか一つにより伝送画像
データを再生することができる。

【０００４】より具体的には、標準解像度ビデオ信号、
ハイビジョン信号等の高解像度ビデオ信号、コンピュー
タディスプレイの画像データ、画像データベースを高速
検索するための低解像度ビデオ信号等が異なる解像度の
ビデオ信号として存在している。また、解像度の高低以
外に、画像の縮小に対しても、かかる階層符号化を応用
することが可能である。

【０００５】従来の階層符号化のエンコーダ構成例を図
８に、デコーダ構成例を図９に示す。この例では５段の
階層構造が使用されている。例えば、５階層符号化にお
いて面積比が逐次、１、１／４、１／１６、１／６４、
１／２５６のように構成される。処理の基本的な考え方
は図８のエンコーダ側において、間引きフィルタと補間
フィルタを使用することで、入力画像信号を解像度の異
なる複数の階層画像データに分解する。入力画像に間引
きフィルタを多段に施すことにより、逐次、画素数の少
ない縮小画像を生成する。

【０００６】ここで、従来の階層符号化装置のエンコー
ダ側の詳細な説明を図８のブロック図を用いて行う。入
力端子１１１を介して原画像データｄ８０として間引き
回路１１２および符号化器１１６へ供給される。符号化
器１１６では、何らかの圧縮のための処理が原画像デー
タｄ８０に対して実行され、生成された第１階層の符号
化データｄ８５が出力端子１２１を介して伝送される。

【０００７】間引き回路１１２では、供給された原画像
データｄ８０に対して、水平方向に１／２および垂直方
向に１／２づつ画素の間引き処理が実行され、間引きデ
ータｄ８１が生成される。この間引きデータｄ８１は、
第２階層データに対応する。生成された間引きデータｄ
８１は、間引き回路１１３および符号化器１１７へ供給
される。符号化器１１７では、上述と同様の処理が原画
像データｄ８１に対して実行され、生成された第２階層
の符号化データｄ８６が出力端子１２２を介して伝送さ
れる。

【０００８】また、間引きデータｄ８１に対して、間引
き回路１１３では、上述の間引き回路１１２と同様な処
理が施され、間引きデータｄ８２が生成される。この間
引きデータｄ８２は、第３階層データに対応する。生成
された間引きデータｄ８２は、間引き回路１１４および
符号化器１１８へ供給される。符号化器１１８では、上
述と同様の処理が原画像データｄ８２に対して実行さ
れ、生成された第３階層の符号化データｄ８７が出力端
子１２３を介して伝送される。

【０００９】そして、間引き回路１１４でも同様に間引
きデータｄ８２に対して上述の間引き回路１１２および
１１３と同様な処理が施され、間引きデータｄ８３が生
成される。この間引きデータｄ８３は、第４階層データ
に対応する。生成された間引きデータｄ８３は、間引き
回路１１５および符号化器１１９へ供給される。符号化
器１１９では、上述と同様の処理が原画像データｄ８３
に対して実行され、生成された第４階層の符号化データ
ｄ８８が出力端子１２４を介して伝送される。

【００１０】さらに、間引き回路１１５でも同様に間引
きデータｄ８３に対して上述の間引き回路１１２、１１
３および１１４と同様な処理が施され、間引きデータｄ
８４が生成される。この間引きデータｄ８４は、第５階
層データに対応する。生成された間引きデータｄ８４
は、符号化器１２０へ供給される。符号化器１２０で
は、上述と同様の処理が原画像データｄ８４に対して実
行され、生成された第５階層の符号化データｄ８９が出
力端子１２５を介して伝送される。

【００１１】一方、図９のデコーダ構成例では、図８に
示したエンコーダの逆処理が実行される。図８のエンコ
ーダで生成された各階層データｄ８５〜ｄ８９は、デコ
ーダにおいて、ｄ１１０〜ｄ１１４として受信される。
先ず、入力端子１３１から供給される第１階層入力デー
タｄ１００は、復号器１３６においてエンコーダで施さ
れた符号化に対応する復号処理が行われ、通常の画像デ
ータｄ１０５となり、第１階層の出力となり、出力端子
１４１から取り出される。

【００１２】入力端子１３２から供給される第２階層入
力データｄ１０１は、復号器１３７においてエンコーダ
で施された符号化に対応する復号処理が行われ、通常の
画像データｄ１０６となり、第２階層の出力となり、出
力端子１４２から取り出される。また、入力端子１３３
から供給される第３階層入力データｄ１０２は、復号器
１３８においてエンコーダで施された符号化に対応する
復号処理が行われ、通常の画像データｄ１０７となり、
第３階層の出力となり、出力端子１４３から取り出され
る。

【００１３】さらに、入力端子１３４から供給される第
４階層入力データｄ１０３は、復号器１３９においてエ
ンコーダで施された符号化に対応する復号処理が行わ
れ、通常の画像データｄ１０８となり、第４階層の出力
となり、出力端子１４４から取り出される。そして、入
力端子１３５から供給される第５階層入力データｄ１０
４は、復号器１４０においてエンコーダで施された符号
化に対応する復号処理が行われ、通常の画像データｄ１
０９となり、第５階層の出力となり、出力端子１４５か
ら取り出される。

【００１４】

【発明が解決しようとする課題】上述した従来の階層符
号化では、対象画像を複数の解像度の異なる画像で表現
することが実現される反面、エンコーダ側において複数
の画像に分解した上で符号化を施すため、階層数に応じ
て符号化対象画素数が増加し圧縮効率が低下するという
問題があった。

【００１５】従って、この発明の目的は、これらを鑑み
て圧縮効率を低下させることなく、複数の解像度を有す
る階層を伝送することができるディジタル画像信号の階
層符号化装置を提供することにある。

【００１６】

【課題を解決するための手段】この発明は、入力画像デ
ータが供給され、この入力画像データと異なる解像度を
表現する、少なくとも第１および第２の階層データへ分
割し、第１および第２の階層データを伝送するようにし
たディジタル画像信号の階層符号化装置において、第１
の階層の画素を間引くことにより、第２の階層データを
形成するための間引き手段と、第１の階層データから第
２の階層データを予測する手段と、予測された第２の階
層データと第２の階層データとの差分値を符号化する符
号化手段と第１および第２の階層データの符号化出力と
を伝送するために出力する手段とからなるディジタル画
像信号の階層符号化装置である。

【００１７】

【作用】クラス分類適応予測によって、下位階層から上
位階層のデータを予測し、その予測データと上位階層デ
ータとの差分を形成し、また、予測方式としてクラス分
類適応予測を使用することによって効率の良い圧縮を行
うことができる。

【００１８】

【実施例】以下、この発明のディジタル画像信号の階層
符号化装置の一実施例について、図面を参照しながら説
明する。先ず、圧縮効率を向上させるために、下位階層
データから上位階層データを予測し、上位階層データと
その予測値との差分を符号化する実施例を説明する。こ
こで、下位階層データとは、画素数の多い階層データで
あり、上位階層データとは、下位階層データに対して間
引き処理を行うことにより画素数が間引かれた階層デー
タを指す。

【００１９】図１は、階層符号化のエンコーダ側の構成
例を示す。入力端子１を介して第１階層データが入力画
像データｄ０として間引き回路２および符号化器６へ供
給される。入力画像データｄ０は、間引き回路２におい
て、上述したように水平方向に１／２の画素の間引きが
行われると共に、垂直方向にも１／２の画素の間引きが
行われる。すなわち、第１階層の入力画像データｄ０に
対して、面積比で１／４に間引き処理が実行され、階層
データｄ１が生成される。この階層データｄ１は、図２
に示す第２階層データに対応する。生成された階層デー
タｄ１は、間引き回路３および減算器１９へ供給され
る。

【００２０】階層データｄ１に対して、間引き回路３で
は、上述の間引き回路２と同様な処理が施され、第１階
層の入力画像データｄ０に対して、面積比で１／１６に
間引き処理が実行され、階層データｄ２が生成される。
この階層データｄ２は、第３階層データに対応する。生
成された階層データｄ２は、間引き回路４および減算器
２０へ供給される。また、間引き回路４でも同様に階層
データｄ２に対して上述の間引き回路２および３と同様
な処理が施され、第１階層の入力画像データｄ０に対し
て、面積比で１／６４に間引き処理が実行され、階層デ
ータｄ３が生成される。この階層データｄ３は、第４階
層データに対応する。階層データｄ３は、間引き回路５
および減算器２１へ供給される。さらに、間引き回路５
でも同様に階層データｄ３に対して上述の間引き回路
２、３および４と同様な処理が施され、第１階層の入力
画像データｄ０に対して、面積比で１／２５６に間引き
処理が実行され、階層データｄ４が生成される。この階
層データｄ４は、第５階層データに対応する。生成され
た階層データｄ４は、減算器２２へ供給される。

【００２１】そして、これら５つの階層データについて
隣接階層間データによる差分演算が行われる。先ず、第
１階層においては、高能率圧縮符号化、可変長符号化等
の何らかの圧縮のための処理が符号化器６において、実
行される。この符号化器６の符号化データｄ５は、出力
端子２７を介して伝送されると共に、復号器１１へも供
給される。この符号化データｄ５は、第１階層のデータ
である。符号化データｄ５が供給された復号器１１にお
いて、復号された復号データｄ６がクラス分類適応予測
回路１５へ供給される。クラス分類適応予測回路１５で
は、復号データｄ６を使用して予測処理がなされ、第２
階層データの予測値ｄ７が生成され、減算器１９へ供給
される。この減算器１９では、間引き回路２から供給さ
れる階層データｄ１と予測値ｄ７との差分値が求めら
れ、その差分値ｄ８が符号化器７へ供給される。

【００２２】差分値ｄ８が供給された符号化器７では、
符号化器６と同様に圧縮処理が行われる。この符号化器
７の符号化データｄ９は、復号器１２へ供給される。こ
の符号化データｄ９は、第２階層データとして出力端子
２８を介して伝送される。符号化器７から符号化データ
が供給された復号器１２において、復号された復号デー
タｄ１０がクラス分類適応予測回路１６へ供給される。
クラス分類適応予測回路１６では、復号データｄ１０を
使用して予測処理がなされ、第３階層データの予測値ｄ
１１が生成され、減算器２０へ供給される。この減算器
２０では、間引き回路３から供給される階層データｄ２
と予測値ｄ１１との差分値が求められ、その差分値ｄ１
２が符号化器８へ供給される。

【００２３】次に、差分値ｄ１２が供給された符号化器
８では、上述した符号化器と同様な圧縮処理が行われ
る。この符号化器８の符号化データｄ１３は、復号器１
３へ供給される。この符号化データｄ１３は、第３階層
データとして出力端子２９を介して伝送される。符号化
器８から符号化データｄ１３が供給された復号器１３に
おいて、復号された復号データｄ１４がクラス分類適応
予測回路１７へ供給される。クラス分類適応予測回路１
７では、復号データｄ１４を使用して予測処理がなさ
れ、第４階層データの予測値ｄ１５が生成され、減算器
２１へ供給される。この減算器２１では、間引き回路４
から供給される階層データｄ３と予測値ｄ１５との差分
値が求められ、その差分値ｄ１６が符号化器９へ供給さ
れる。

【００２４】そして、差分値ｄ１６が供給された符号化
器９では、上述した符号化器と同様な圧縮処理が行われ
る。この符号化器９の符号化データｄ１７は、復号器１
４へ供給される。この符号化データｄ１７は、第４階層
データとして出力端子３０を介して供給される。符号化
器９から符号化データｄ１７が供給された復号器１４に
おいて、復号された復号データｄ１８がクラス分類適応
予測回路１８へ供給される。クラス分類適応予測回路１
８では、復号データｄ１８を使用して予測処理がなさ
れ、第５階層データの予測値ｄ１９が生成され、減算器
２２へ供給される。この減算器２２では、間引き回路５
から供給される階層データｄ４と予測値ｄ１９との差分
値が求められ、その差分値ｄ２０が符号化器１０へ供給
される。

【００２５】また、差分値ｄ２０が供給された符号化器
１０では、上述した符号化器と同様な圧縮処理が行われ
る。この符号化器１０の符号化データｄ２１は、第５階
層データとして出力端子３１を介して伝送される。この
ように、符号化対象画素数の増加を防止した階層符号化
において、クラス分類適応予測が適用される。

【００２６】次に、この発明の一実施例の階層符号化の
デコーダ側の構成例を図２に示す。図１に示すエンコー
ダで生成された第１〜第５の各階層の符号化データｄ
５、ｄ９、ｄ１３、ｄ１７、ｄ２１は、ｄ３０〜ｄ３４
として受信される。先ず、入力端子４１から供給される
第１階層入力データｄ３０は、復号器４６においてエン
コーダで施された符号化に対応する復号処理が行われ、
画像データｄ３５となり、クラス分類適応予測回路５１
へ供給される。また画像データｄ３９は、第１階層の出
力として、出力端子５９から取り出される。

【００２７】クラス分類適応予測回路５１では、第１階
層の画像データに対してクラス分類適応予測が施され、
第２階層データの予測値ｄ４０が生成される。復号器４
７において復号されたデータｄ３６と予測値ｄ４０が加
算器５５で加算される。加算器５５から画像データｄ４
１がクラス分類適応予測回路５２へ供給される。また画
像データｄ４１は、第４階層の出力として、出力端子６
０から取り出される。

【００２８】そして、クラス分類適応予測回路５２で
は、上述と同様に第２階層の画像データに対してクラス
分類適応予測が施され、第３階層データの予測値ｄ４２
が生成される。復号器４８において復号されたデータｄ
３７と予測値ｄ４２の加算が加算器５６で行われる。加
算器５６から画像データｄ４３がクラス分類適応予測回
路５３へ供給される。また画像データｄ４３は、第３階
層の出力として、出力端子６１から取り出される。

【００２９】また、クラス分類適応予測回路５３では、
上述と同様に第３階層の画像データに対してクラス分類
適応予測が施され、第４階層データの予測値ｄ４４が生
成される。復号器４９において復号されたデータｄ３８
と予測値ｄ４４の加算が加算器５７で行われる。加算器
５７から画像データｄ４５がクラス分類適応予測回路５
４へ供給される。また画像データｄ４５は、第４階層の
出力として、出力端子６２から取り出される。

【００３０】さらに、クラス分類適応予測回路５４で
は、上述と同様に第４階層の画像データに対してクラス
分類適応予測が施され、第５階層データの予測値ｄ４６
が生成される。復号器５０において復号されたデータｄ
３９と予測値ｄ４６の加算が加算器５８で行われる。加
算器５８から画像データｄ４７が第５階層の出力とし
て、出力端子６３から取り出される。これらにより、最
終的に画素数の異なる５階層の復元画像を並列に得るこ
とができる。また、符号化対象画素数の増加を防止した
階層符号化において、クラス分類適応予測を導入するこ
とで符号化効率の向上を図ることが可能となる。

【００３１】さて、ここで符号化効率の向上のために用
いられたクラス分類適応予測について説明を行う。クラ
ス分類適応予測とは、入力信号の特徴に基づき入力信号
をいくつかのクラスに分類し、予め用意されたクラス毎
の適切な適応予測を実行する手法であり、画質劣化の少
ない圧縮効率の高い階層符号化を実現することができる
ものである。

【００３２】先ず、クラス分類法の例としては、入力信
号（８ビットＰＣＭデータ）に対しクラス生成タップを
設定し、入力信号の波形特性によりクラスを生成する手
法が挙げられる。信号波形のクラス生成法としては次の
例などが提案されている。１）ＰＣＭデータを直接使用する方法２）ＡＤＲＣを適用する方法３）ＤＰＣＭを適用する方法４）ＢＴＣを適用する方法５）ＶＱを適用する方法６）ＤＣＴ（アダマール変換）を適用する方法

【００３３】ＰＣＭデータを直接使用する場合、クラス
分類用に８ビットデータを７画素使用すると、２⁵⁶とい
う膨大な数のクラスに分類される。信号波形の特徴を掴
むという意味では理想的ではあるが、回路上の負担は大
きく、実用上は問題である。そこで実際はＡＤＲＣ（Ad
aptive Dynamic Range Coding ）などを適用しクラス数
の削減を図る。このＡＤＲＣ、例えば特開昭６１−１４
４９８９号公報に記載されているものは、信号圧縮技術
として開発された手法であるが、クラス表現に使用する
ことにも適している。基本的には再量子化処理であり、
式（１）で示される。

【００３４】

【数１】但し、ｃ_i：ＡＤＲＣコードｙ_i：上位階層画素値ＭＩＮ：近傍領域内最小値ＤＲ：近傍領域内ダイナミックレンジｋ：再量子化ビット数

【００３５】注目画素近傍の数画素に対し式（１）で定
義されるＡＤＲＣを用いて生成されるＡＤＲＣコードよ
りクラス分類を行う。例えば７タップデータに対し１ビ
ットＡＤＲＣを適用すると、７画素のデータから定義さ
れるダイナミックレンジに基づき、７画素中の最小値を
除去した上で各タップの画素値を適応的に１ビット量子
化するので、１２８クラスに削減することが可能とな
る。他に圧縮技術として一般的な、ＤＰＣＭ（予測符号
化）、ＢＴＣ（Blok Truncation Coding）、ＶＱ（Vect
or Quantization ）、ＤＣＴ（Discrete Cosine Transf
orm ）などの周波数領域クラスが挙げられる。

【００３６】また、クラス分類の性能を更に向上させる
ため、下位階層データのアクティビティーも考慮した上
でクラス分類が行われることがある。アクティビティー
の判定法の例としては、クラス分類法にＡＤＲＣを使用
した場合、ダイナミックレンジを用いることが多い。ま
た、ＤＰＣＭならば差分絶対値和、ＢＴＣのときは標準
偏差の絶対値などが用いられる。また、上記の学習過程
において、アクティビティーの小さい学習分布は学習対
象からはずす。この理由は、アクティビティーの小さい
部分はノイズの影響が大きく、本来のクラスの予測値か
ら外れることが多い。それを学習に入れると予測精度が
低下する。これを避けるため、学習においては、アクテ
ィビティーの小さい画素分布を除外する。こうして分類
されたクラス毎に適応予測を実行するが、適応予測とし
ては予め学習された予測係数を用いた予測演算を行う方
式と、重心法により予測値を学習しておく方式が提案さ
れている。

【００３７】次に、予め学習により生成されたクラス毎
の予測係数を用いた予測演算を行う適応予測について説
明する。図３Ａ、Ｂに示すように、下位階層の４画素ｘ
₀〜ｘ₃から上位階層データｙ₄が生成される場合、下
位階層データより上位階層データを予測する。例えば、
下位階層データｘ₀〜ｘ₁₅の１６画素により予測タップ
を構成し、上位階層データｙ´を予測する。このときの
予測式の一例を式（２）に示す。

【００３８】

【数２】但し、ｙ´：上位階層予測値ｘ_i：下位階層予測タップ画素値ｗ_i：予測係数

【００３９】例えば、１ビットＡＤＲＣによって、図３
Ａに示すある画素をクラス分類した場合、各クラス毎に
生成された予測係数と下位階層データとの積和演算によ
り上位階層データを予測する。この例においては、図３
Ｂに示すように、ｘ₀〜ｘ₁₅の１６画素よりｙ₄が予測
される。

【００４０】ここで、クラス分類適応予測の一例の回路
構成を図３Ｃに示す。７１で示す入力端子から入力信号
ＩＮがクラス分類部７２および予測演算部７４へ供給さ
れる。クラス分類部７２においては、上述のようなクラ
ス分類処理に基づき、入力信号ＩＮに対するクラスｄ６
０が生成される。このクラスｄ６０をアドレスとして予
測係数ＲＯＭ７３より予測係数ｄ６１が予測演算部７４
に供給される。予測演算部７４において、入力信号ＩＮ
と予測係数ｄ６１を用いて式（２）の予測演算が実行さ
れ、出力端子７５を介して演算結果、すなわち予測値が
取り出される。

【００４１】次に、上述した予測係数は、予め学習によ
り生成しておくが、その学習方法について説明する。式
（２）の線形一次結合モデルに基づく予測係数を最小自
乗法により生成する一例を示す。最小自乗法は次のよう
に適用される。一般化した例として、Ｘを入力データ、
Ｗを予測係数、Ｙを予測値として次の式を考える。観測方程式：ＸＷ＝Ｙ（３）

【数３】

【００４２】上述の観測方程式により収集されたデータ
に最小自乗法を適用する。式（２）の例においては、ｎ
＝１６、ｍが学習データ数となる。式（３）の観測方程
式をもとに、式（５）の残差方程式を考える。残差方程式：

【数４】

【００４３】式（５）の残差方程式から、各ｗ_iの最確
値は、

【数５】を最小にする条件が成り立つ場合と考えられる。すなわ
ち、式（６）の条件を考慮すれば良いわけである。

【００４４】

【数６】式（６）のｉに基づく条件を考え、これを満たすｗ₁、
ｗ₂、‥‥、ｗ_nを算出すれば良い。そこで、残差方程
式の式（５）から式（７）が得られる。

【００４５】

【数７】式（６）と式（７）により式（８）が得られる。

【００４６】

【数８】そして、式（５）と式（８）から正規方程式として式
（９）が得られる。

【００４７】

【数９】

【００４８】式（９）の正規方程式は、未知数の数ｎと
同じ数の方程式を立てることが可能であるので、各ｗ_i
の最確値を求めることができる。そして、掃き出し法
（Gauss-Jordanの消去法）を用いて連立方程式を解く。

【００４９】ここで、この最小自乗法を用いた学習をソ
フトウェアで行う一例を図４のフローチャートに示す。
先ず、ステップ８１の学習データ形成では、入力データ
に対しクラス分類が行われる。ステップ８３のクラス決
定において、この例では１６画素のデータ変化が検出さ
れる。ステップ８４の正規方程式生成では、各クラス毎
に式（９）に示す正規方程式を生成する。このとき一般
に、ノイズの影響を排除するため、入力データ変化のア
クティビティーが小さいものを学習対象から除外する。
この学習プロセスにおいて、多くの学習データが登録さ
れた正規方程式が生成される。学習対象データが終了す
るまで、正規方程式生成プロセスが繰り返される。

【００５０】すなわち、ステップ８２のデータ終了で
は、学習対象データ数の終了が確認されるまで上述のプ
ロセスが繰り返される。そして、学習対象データ数の終
了が確認された場合、このステップ８２（データ終了）
からステップ８５の予測係数決定へ制御が移る。ステッ
プ８５（予測係数決定）では、多くの学習データより生
成された、クラス毎の式（９）の正規方程式が解かれ
る。その連立方程式の解法として、この一例では、上述
した掃き出し法が用いられる。こうして得られた予測係
数は、ステップ８６の予測係数登録において、クラス別
にアドレス分割されたＲＯＭ等の記憶部に登録される。
このような学習過程により、クラス分類適応予測の予測
係数が生成される。

【００５１】次に、クラス分類適応予測の適応処理法と
して、重心法により予測値を学習するときの手法の一例
について説明する。上述のように下位階層データの信号
の特徴に基づき分類されたクラス毎に、予め最適補間値
を重心法により生成する。例えば、上述したように、図
３Ｂの下位階層を用いて、１ビットＡＤＲＣを施すこと
により、クラス分類する場合を考える。図５の学習フロ
ーチャートに沿って手順を示す。ステップ９１の初期化
では、先ず、全てのクラスの度数カウンタＮ（＊）と、
全てのクラスのデータテーブルＥ（＊）を初期化する。
ここで、一例として、あるクラスをＣ０とすると、対応
する度数カウンタは、Ｎ（Ｃ０）、対応するデータテー
ブルはＥ（Ｃ０）と定義する。また、＊はクラスの全て
を示す。

【００５２】次に、ステップ９２のクラス検出におい
て、学習対象画素近傍データからクラスＣを決定する。
このクラス分類手法としては、上述したようにＡＤＲＣ
の他にも、ＰＣＭ、ＤＰＣＭ、ＢＴＣ、ＶＱ、ＤＣＴな
どの表現法が考えられる。また、クラス分類対象データ
より構成されるブロックのアクティビティーを考慮する
場合は、クラス数をアクティビティーによる分類の種類
だけ増やしておく。そして、ステップ９３のデータ検出
では、この学習対象となる上位階層画素値ｙが検出さ
れ、ステップ９４のクラス別データ加算では、クラスＣ
毎に検出された上位階層画素値ｙを加算する。すなわ
ち、クラスＣのデータテーブルＥ（＊）を生成する。

【００５３】そして、ステップ９５のクラス別度数加算
では、クラスＣの学習画素の度数カウンタＮ（Ｃ）を＋
１インクリメントする。ステップ９６の全データ終了で
は、これらの処理を学習対象画素について繰り返し実行
し、最終的な全てのクラスの度数カウンタＮ（＊）と、
対応する全てのクラスのデータテーブルＥ（＊）を生成
する。全データが終了していれば、ステップ９７のクラ
ス別平均値算出へ制御が移る。次に、ステップ９７（ク
ラス別平均値算出）では、各クラスのデータテーブルＥ
（＊）の内容であるデータ積算値を、対応クラスの度数
カウンタＮ（＊）の度数で、除算を実行することで各ク
ラスの平均値を算出する。この値が重心法による各クラ
スの最適予測値となる。重心法という名称の由来は、学
習対象画素値の分布の平均をとることによる。最終的に
算出された平均値は、ステップ９８のクラス別平均値登
録において、クラス別にアドレス分割されたＲＯＭ等の
記憶部に登録される。上述のように学習過程において、
ノイズの影響を排除するため、アクティビティーの小さ
い画素分布は学習対象からはずすことも考えられる。

【００５４】重心法に基づく学習により生成された最適
予測値を用い、クラス分類適応予測により予測処理を実
行する一例の回路構成を図６に示す。入力端子１０１を
介して供給される下位階層データに対し、クラス分類部
１０２では、クラス分類が行われる。このクラス分類に
基づいて重心法により予め生成されたクラス毎の最適予
測値が保持されているＲＯＭ１０３から予測値が読み出
される。このとき、ＲＯＭ１０３のアドレスは、各クラ
スに対応している。読み出された予測値は、出力端子１
０４から取り出される。

【００５５】ここで、重心法に基づく学習により生成さ
れた最適予測値を用い、クラス分類適応予測により予測
処理を実行する他の例の回路構成を図７に示す。入力端
子１０５を介して供給される下位階層データｄ７０に対
し、クラス分類部１０２においてクラス分類が行われ
る。このクラスは、ｄ７１として後段に伝送される。重
心法により予め生成されたクラス毎の最適予測値は、最
適予測値ＲＯＭ１０７にクラス別に登録されている。こ
の最適予測値ＲＯＭ１０７のアドレスは、各クラスに対
応させる。

【００５６】上述の図６の構成例においては、下位階層
データのアクティビティーを考慮していないが、この例
では、下位階層データのアクティビティーを考慮した上
でクラス分類が行われる。そこで、アクティビティーク
ラス分類部１０６において、入力された下位階層データ
ｄ７０のブロック毎のアクティビティーに基づくクラス
分類を行う。アクティビティーの具体的なものは、上述
したようにブロックのダイナミックレンジ、ブロックデ
ータの標準偏差の絶対値、ブロックデータの平均値に対
する各画素の値の差分の絶対値等である。アクティビテ
ィーにより画像の性質が異なる場合があるので、このよ
うなアクティビティーをクラス分類のパラメータとして
使用することによって、クラス分類をより高精度とする
ことができ、また、クラス分類の自由度を増すことがで
きる。

【００５７】クラス分類部１０２およびアクティビティ
ークラス分類部１０７によるクラス分類の動作は、先
ず、アクティビティークラス分類部１０７によって、ブ
ロックのアクティビティーにより複数のクラスに分け、
そのクラス毎にクラス分類部１０２によるクラス分けを
行う。クラス分類部１０２およびアクティビティークラ
ス分類部１０７からクラスｄ７１およびｄ７２が最適予
測値ＲＯＭ１０７に対してアドレスとして供給され、最
適予測値ＲＯＭ１０７から予測上位階層データｄ７３が
発生し、出力端子１０８から取り出される。以上の処理
により重心法を用いたクラス分類適応予測が実行され
る。

【００５８】上述の実施例の具体的な応用例としては、
ハイビジョンテレビ静止画像のデータベースを構成した
場合、最下位階層データ、すなわち第１階層（原画像）
データがハイビジョン解像度の再生データであり、第２
階層データが標準解像度の再生データとなり、最上位階
層データ、すなわち第５階層データは、高速検索用の低
解像度の再生データとなる。

【００５９】なお、情報量の削減を目的として圧縮符号
化を採用する場合には、復号化装置により得られた再生
画像データは、入力された原画像データと必ずしも一致
しないが、視覚的に劣化を検知できない程度にすること
が可能である。また、平均値を形成するのに単純平均値
に限らず、加重平均値を形成しても良い。

【００６０】さらに、この発明は、量子化ステップ幅を
制御する等によって、発生情報量を制御するバッファリ
ングの構成を備える階層符号化システムに対しても適用
することができる。

【００６１】

【発明の効果】この発明に依れば、複数の解像度を有す
る階層符号化を実現することが容易にできる。また、こ
の発明に依れば、差分を符号化するので、圧縮効率の低
下しない階層符号化を実現することが容易にできる。さ
らに、この発明に依れば、クラス分類適応予測を用いる
ことによって、予測精度が向上でき、従って、画質劣化
の少ない階層符号化を実現することができる。これと共
に、この発明に依れば、クラス分類適応予測による上位
階層データの予測を行うことにより大幅な信号電力の削
減を実現することができる。

【図面の簡単な説明】

【図１】この発明のクラス分類適応予測が使用された階
層符号化のエンコード側の一例を示すブロック図であ
る。

【図２】この発明のクラス分類適応予測が使用された階
層符号化のデコード側の一例を示すブロック図である。

【図３】この発明に係る予測係数方式を使用するクラス
分類適応予測の一例の説明に用いる略線図である。

【図４】この発明に係るクラス分類適応予測の予測係数
の係数値を学習する一例を示すフローチャートである。

【図５】この発明に係るクラス分類適応予測の重心法の
最適予測値を学習する一例を示すフローチャートであ
る。

【図６】この発明に係る重心法方式を使用するクラス分
類適応予測の一例の説明に用いるブロック図である。

【図７】この発明に係る重心法方式において、アクティ
ビティーを使用するクラス分類適応予測の一例の説明に
用いるブロック図である。

【図８】従来の階層符号化のエンコード側の一例を示す
ブロック図である。

【図９】従来の階層符号化のデコード側の一例を示すブ
ロック図である。

【符号の説明】２、３、４、５間引き回路６、７、８、９、１０符号化器１１、１２、１３、１４復号器１５、１６、１７、１８クラス分類適応予測回路

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 7/32 (72)発明者川口邦雄東京都品川区北品川６丁目７番35号ソニー株式会社内

Claims

【特許請求の範囲】

【請求項１】入力画像データが供給され、この入力画
像データと異なる解像度を表現する、少なくとも第１お
よび第２の階層データへ分割し、上記第１および第２の
階層データを伝送するようにしたディジタル画像信号の
階層符号化装置において、上記第１の階層の画素を間引くことにより、上記第２の
階層データを形成するための間引き手段と、上記第１の階層データから上記第２の階層データを予測
する手段と、予測された上記第２の階層データと上記第２の階層デー
タとの差分値を符号化する符号化手段と上記第１および
第２の階層データの符号化出力とを伝送するために出力
する手段とからなるディジタル画像信号の階層符号化装
置。
【請求項２】入力画像データが供給され、この入力画
像データと異なる解像度を表現する、少なくとも第１お
よび第２の階層データへ分割し、上記第１および第２の
階層データを伝送するようにしたディジタル画像信号の
階層符号化装置において、上記第１の階層の画素を間引くことにより、上記第２の
階層データを形成するための間引き手段と、伝送された上記第１の階層データから上記第２の階層デ
ータをクラス分類適応予測を用いることにより予測する
クラス分類適応予測手段と、上記クラス分類適応予測手段により予測された上記第１
の階層データと上記第１の階層データとの差分値を符号
化する符号化手段と、上記第１および第２の階層データの符号化出力とを伝送
するために出力する手段とからなるディジタル画像信号
の階層符号化装置。
【請求項３】請求項２に記載のディジタル画像信号の
階層符号化装置において、上記クラス分類適応予測手段では、上記第１の階層デー
タからクラスを生成する手段と、予め学習により獲得された予測係数値を格納した記憶手
段と、生成された上記クラスに基づいて、上記記憶手段から上
記予測係数値を読み出す手段と、読み出された上記予測係数値を用いて上記クラスに対応
した予測式の演算から最適な予測値を生成する手段と、上記第２の階層データと上記予測値の演算を行う手段と
からなるディジタル画像信号の階層符号化装置。
【請求項４】請求項３に記載のディジタル画像信号の
階層符号化装置において、上記クラス分類適応予測手段では、上記第１の階層デー
タからクラスを生成する手段と、上記クラスに対応した線形一次結合式により最適な予測
値を生成する手段と、上記第２の階層データと上記予測値の演算を行う手段と
からなるディジタル画像信号の階層符号化装置。
【請求項５】請求項３に記載のディジタル画像信号の
階層符号化装置において、上記クラス分類適応予測手段では、上記第１の階層デー
タからクラス毎に予測係数値を学習する際に、上記クラスのアクティビティーの小さい画素を学習の対
象から除外することを特徴とするディジタル画像信号の
階層符号化装置。
【請求項６】請求項２に記載のディジタル画像信号の
階層符号化装置において、上記クラス分類適応予測手段では、上記第１の階層デー
タからクラスを生成する手段と、予め学習により獲得された最適な予測値を格納した記憶
手段と、上記クラスに対応した最適な上記予測値を生成する手段
と、上記第２の階層データと上記予測値の演算を行う手段と
からなるディジタル画像信号の階層符号化装置。
【請求項７】請求項６に記載のディジタル画像信号の
階層符号化装置において、上記クラス分類適応予測手段では、上記第１の階層デー
タからクラス毎に最適な予測値を学習する際に、重心法による学習を行う手段とからなるディジタル画像
信号の階層符号化装置。
【請求項８】請求項６に記載のディジタル画像信号の
階層符号化装置において、上記クラス分類適応予測手段では、上記第１の階層デー
タからクラス毎に最適な予測値を学習する際に、上記クラスのアクティビティーの小さい画素を学習の対
象から除外することを特徴とするディジタル画像信号の
階層符号化装置。
【請求項９】請求項２に記載のディジタル画像信号の
階層符号化装置において、上記クラス分類適応予測手段では、第１の階層データの
画素値を直接適用することによりクラス分類を行い、上
記クラスを表現するビット数を削減する手段を特徴とす
るディジタル画像信号の階層符号化装置。
【請求項１０】請求項２に記載のディジタル画像信号
の階層符号化装置において、上記クラス分類適応予測手段では、第１の階層データの
画素値に圧縮符号化を適用することによりクラス分類を
行い、上記クラスを表現するビット数を削減する手段を
特徴とするディジタル画像信号の階層符号化装置。