JPH0888856A

JPH0888856A - ディジタル画像信号の階層符号化および復号装置

Info

Publication number: JPH0888856A
Application number: JP18474195A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Yasuhiro Fujimori; 泰弘藤森
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-07-19
Filing date: 1995-06-28
Publication date: 1996-04-02
Anticipated expiration: 2021-03-22
Also published as: JP3758211B2

Abstract

(57)【要約】【目的】階層符号化において、クラス分類適応予測に
より予測値を生成する時に、クラス予測係数を格納する
ためのメモリの容量の低減を図る。【構成】第１階層の画像信号から、間引きフィルタ
２、３、４によって、画素数が１／４、１／１６、１／
６４とそれぞれ減少された第２、第３および第４階層の
画像信号が形成される。第４階層の画像信号と、減算器
５、６、７からの差分信号とが伝送される。予測信号
は、予測器４１、４２、４３で形成される。これらの予
測器は、予め学習によっで獲得されたテーブルを含む。
このテーブルは、クラス毎に予測係数、予測値、または
正規化予測値が規定されたものである。クラス決定時に
は、クラス予測係数と参照画素の値との線形１次結合に
より注目画素に関して予測値を形成する。全クラスにつ
いて計算された予測値と所定の画素の真値との誤差の中
の最小値を検出する。この最小値と対応するクラスが注
目画素のクラスとして決定される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、例えばディジタル画
像信号を異なる解像度を表現する複数の信号へ分割し、
各信号を符号化して伝送するようにしたディジタル画像
信号の階層符号化装置および階層復号化装置に関する。

【０００２】

【従来の技術】高解像度画像信号を第１の階層（あるい
はレベル）として、これより解像度が低い第２の階層の
画像信号、第２の階層の画像信号より解像度が低い第３
の階層の画像信号、・・・・を形成する符号化（階層符
号化と称される）が提案されている。この符号化によれ
ば、複数の階層の画像信号を一つの伝送路（通信路、記
録／再生プロセス）を介して伝送し、受信側では、複数
の階層とそれぞれ対応するテレビジョンモニタにより伝
送画像データを再生することができる。

【０００３】より具体的には、標準解像度ビデオ信号、
ハイビジョン信号等の高解像度ビデオ信号、コンピュー
タディスプレーの画像データ、画像データベースを高速
検索するための低解像度ビデオ信号等が異なる解像度の
ビデオ信号として存在している。また、解像度の高低以
外に、画像の縮小に対しても、かかる階層符号化を応用
することが可能である。

【０００４】先に提案されている階層符号化装置例えば
ピラミッド符号化と称される符号化装置の一例を図１４
に示す（例えば特開昭６３−３０６７８９号公報参
照）。この例は、４階層の符号化であり、第１階層の画
像信号に対して、画素数が１／４の第２階層の画像信
号、画素数が１／１６の第３階層、画素数が１／６４の
第４階層（最上位階層）の画像信号を伝送するものであ
る。図１４に示すように、入力端子１に対して、ディジ
タル画像信号が供給される。この入力画像信号が第１階
層の信号である。

【０００５】入力画像信号が間引きフィルタ２および減
算器５に供給される。間引きフィルタ２に対して、間引
きフィルタ３、減算器６および補間フィルタ８が接続さ
れる。補間フィルタ８の出力信号が減算器５に供給さ
れ、減算器５からは、入力信号と補間出力信号との同一
位置の画素毎の差分信号が発生する。この差分信号が符
号化器１１を介して第１階層用の出力端子１５に取り出
される。

【０００６】間引きフィルタ３に対して、間引きフィル
タ４、減算器７および補間フィルタ９が接続される。減
算器６では、間引きフィルタ２の出力信号（第２階層の
画像信号）から補間フィルタ９の出力信号が減算され
る。減算器６からの差分信号が符号化器１２を介して第
２階層用の出力端子１６に取り出される。減算器７で
は、間引きフィルタ３の出力信号（第３階層の画像信
号）から補間フィルタ１０の出力信号が減算され、差分
信号が符号化器１３を介して第３階層用の出力端子１７
に取り出される。間引きフィルタ４の出力信号（第４階
層の画像信号）が符号化器１４を介して第４階層用の出
力端子１８に取り出される。

【０００７】間引きフィルタ２、３および４のそれぞれ
は、水平方向および垂直方向において画素数を１／２に
間引き、全体として画素数を１／４に減少させるもので
ある。従って、入力画像信号である第１階層の画像信号
の画素数を基準として、１／４の画素数の第２階層の画
像信号、１／１６の画素数の第３階層の画像信号、１／
６４の画素数の第４階層の画像信号が各間引きフィルタ
２、３および４によって形成される。一方、補間フィル
タ８、９、１０は、水平方向および垂直方向において、
画素の内挿を行ない、全体として入力信号の４倍の画素
数の補間出力信号を形成する。符号化器１１、１２、１
３は、差分信号のデータ量を圧縮する符号化を行い、符
号化器１４は、第４階層の画像信号のデータ量を圧縮す
る符号化を行う。具体的には、ＤＰＣＭ、ＡＤＲＣ等が
使用される。

【０００８】上述の階層符号化装置と対応する階層復号
装置を図１５に示す。入力端子２１、２２、２３および
２４に、第１、第２、第３および第４階層の入力信号が
それぞれ供給される。これらの入力信号は、復号器２
５、２６、２７および２８にそれぞれ供給される。復号
器２５〜２８は、符号化器１１〜１４と対応するもので
ある。復号器２５、２６および２７に対して、加算器２
９、３０、３１がそれぞれ接続される。

【０００９】符号化が最下位階層（第１階層）から最上
位階層（第４階層）へ向かう順になされるのに対して、
復号は、最上位階層（第４階層）から最下位階層（第１
階層）へ向かう順になされる。まず、第４階層の画像信
号が復号器２８から得られ、これが出力端子３８に取り
出される。第４階層の画像信号が補間フィルタ３４に供
給され、補間出力信号が形成される。加算器３１では、
復号器２７からの第３階層の差分信号と補間フィルタ３
４の出力信号とが加算される。従って、加算器３１から
は、第３階層の画像信号が得られ、これが出力端子３７
に取り出される。

【００１０】同様に、補間フィルタ３３の補間出力信号
と復号器２６からの差分信号とが加算器３０で加算さ
れ、第２階層の画像信号が復号され、また、補間フィル
タ３２の補間出力信号と復号器２５からの差分信号とが
加算器２９で加算され、第１階層の画像信号が復号され
る。これらの画像信号が出力端子３５および３６にそれ
ぞれ取り出される。このように、階層符号化装置は、間
引きによって上位階層を形成し、最上位階層を除く各階
層では、上位階層のデータから形成した補間データとの
差分信号を生成し、最上位階層のデータとそれ以外の階
層の差分データとをそれぞれ符号化している。

【００１１】

【発明が解決しようとする課題】上述の従来の階層符号
化においては、補間フィルタ８、９および１０によっ
て、より上位の階層の信号から下位の階層の信号を補間
し、原画像信号と補間信号との差分信号を形成するが、
補間フィルタの補間精度が充分ではない。その結果、こ
の差分信号の値が比較的大きく、差分信号を符号化した
後でも、伝送データ量が充分に少なくならない。従っ
て、階層表現を得る代わりに、符号化効率の劣化という
問題が発生していた。

【００１２】従って、この発明の目的は、符号化効率の
低下が防止されたディジタル画像信号の階層符号化およ
び復号装置を提供することにある。

【００１３】

【課題を解決するための手段】請求項１に記載の発明
は、第１階層の画像信号よりも画素数が減少された第２
階層の画像信号を形成するための回路と、第２階層の画
像信号から第１階層の画像信号を予測するための予測回
路と、第１階層の画像信号と予測回路からの予測値との
差分値を生成するための回路と、第２階層の画像信号お
よび差分値を伝送するための回路とからなり、予測回路
は、クラス毎に複数のクラス予測係数が予め格納された
テーブルを有し、第２階層の画像信号中に含まれ、注目
画素に対して空間的および／または時間的に近傍の複数
の参照画素とテーブルからのクラス予測係数の１次結合
により、第２階層の画像信号の注目画素データの予測値
を形成し、注目画素の真値と最も近い予測値を生じさせ
るクラス予測係数に対応するクラスを選択して、注目画
素のクラスとするクラス分類回路と、決定されたクラス
毎に注目画素に関する予測値を作成するためのデータ予
測係数を発生するための予測係数発生回路と、第２階層
の画像信号と予測係数発生回路からのデータ予測係数に
基づいて、注目画素に関する予測値を生成するための演
算回路とを有することを特徴とするディジタル画像信号
の階層符号化装置である。

【００１４】

【作用】上位階層から下位階層の画像信号を形成する時
に、予め学習により獲得されたデータ予測係数、予測値
あるいは正規化予測値を使用するので、補間フィルタと
比べて予測の精度を高くすることができる。従って、原
画像信号と予測画像信号との差分信号の値が小さくな
り、差分信号のデータ量を減少することができ、符号化
効率を上昇できる。クラス分けの精度を高くすることが
できる。

【００１５】

【実施例】以下、この発明の一実施例について図面を参
照して説明する。図１には、符号化装置の構成例を示
す。この実施例は、４階層の符号化であり、第１階層
（最下位層）の画像信号に対して、画素数が１／４の第
２階層の画像信号、画素数が１／１６の第３階層、画素
数が１／６４の第４階層（最上位階層）の画像信号を伝
送するものである。入力端子１に対して、ディジタル画
像信号が供給される。この入力画像信号が第１階層の信
号である。具体的には、放送などによる伝送、ＶＴＲ等
からの再生信号が入力端子１に供給される。

【００１６】入力画像信号が間引きフィルタ２および減
算器５に供給される。間引きフィルタ２に対して、間引
きフィルタ３、減算器６および予測器４１が接続され
る。この予測器４１は、後述するように、間引きフィル
タ２からの第２階層の画像信号の局所的特徴（クラス）
に応じて第１階層の画像信号を出力するマッピングテー
ブルを含むクラス分類適応予測器である。予測器４１の
出力信号が減算器５に供給され、減算器５からは、入力
信号と予測信号との同一位置の画素毎の差分信号が発生
する。この差分信号が符号化器１１を介して第１階層用
の出力端子１５に取り出される。

【００１７】間引きフィルタ３に対して、間引きフィル
タ４、減算器７および予測器４２が接続される。予測器
４２は、予測器４１と同様のもので、第３階層の画像信
号から第２階層の画像信号を予測する。減算器６では、
間引きフィルタ２の出力信号（第２階層の画像信号）か
ら予測器４２の出力信号が減算される。減算器６からの
差分信号が符号化器１２を介して第２階層用の出力端子
１６に取り出される。減算器７では、間引きフィルタ３
の出力信号（第３階層の画像信号）から予測器４３の出
力信号が減算され、差分信号が符号化器１３を介して第
３階層用の出力端子１７に取り出される。間引きフィル
タ４の出力信号（第４階層の画像信号）が符号化器１４
を介して第４階層用の出力端子１８に取り出される。

【００１８】間引きフィルタ２、３および４のそれぞれ
は、水平方向および垂直方向において画素数を１／２に
間引き、全体として画素数を１／４に減少させるもので
ある。従って、入力画像信号（第１階層）の画素数を基
準として、１／４の画素数の第２階層の画像信号、１／
１６の画素数の第３階層の画像信号、１／６４の画素数
の第４階層の画像信号が各間引きフィルタ２、３および
４によって形成される。図３は、画素配列を示すもの
で、ここでは、簡単のために、第１階層から第３階層ま
でを示している。第２階層の画素は、水平および垂直方
向で第１階層の２個の画素に対して１個の割合で存在す
る。第３階層の画素は、水平および垂直方向で第１階層
の４個の画素に対して１個の割合で存在する。図示しな
いが、第４階層の画素は、水平および垂直方向で第１階
層の８個の画素に対して１個の割合で存在する。

【００１９】図４Ａおよび図４Ｂは、間引きフィルタ
２、３および４の構成例を示している。図４Ａの例は、
帯域制限用のプリフィルタ４７およびサブサンプリング
回路４８が入力端子および出力端子間に直列接続されて
いる。図４Ｂは、水平方向の間引きフィルタ４９および
垂直方向の間引きフィルタ５０が直列接続された他の例
を示す。

【００２０】さらに、符号化器１１、１２、１３は、差
分信号のデータ量を圧縮する符号化を行う。符号化器１
４は、第４階層の画像信号のデータ量を圧縮する符号化
を行う。具体的には、線形量子化、非線形量子化、また
はＡＤＲＣ（ダイナミックレンジ適応符号化）に代表さ
れる適応量子化、ＤＰＣＭを採用することができる。

【００２１】上述の階層符号化装置と対応する階層復号
装置を図２に示す。入力端子２１、２２、２３および２
４に、第１、第２、第３および第４階層の入力信号がそ
れぞれ供給される。これらの入力信号は、復号器２５、
２６、２７および２８にそれぞれ供給される。復号器２
５〜２８は、符号化器１１〜１４と対応するものであ
る。復号器２５、２６および２７に対して、加算器２
９、３０、３１がそれぞれ接続される。

【００２２】復号器２８から出力端子３８へ第４階層の
画像信号が出力される。復号器２８に対して予測器４６
が接続され、予測器４６によって、第３階層の画像信号
が予測される。この予測信号と復号器２７の出力信号と
が加算器３１へ供給される。加算器３１から第３階層の
画像信号が出力端子３７に取り出される。この第３階層
の画像信号が予測器４５に供給され、第２階層の画像信
号が予測される。

【００２３】復号器２６の出力信号と予測器４５により
形成された第２階層の出力信号とが加算器３０に供給さ
れ、加算器３０から第２階層の画像信号が得られる。第
２階層の画像信号が出力端子３６へ取り出され、また、
予測器４４に供給される。予測器４４によって形成され
た第１階層の画像信号が加算器２９において、復号器２
５の出力信号と加算され、加算器２９から第１階層の画
像信号が得られる。これが出力端子３５に取り出され
る。このように、符号化が最下位階層（第１階層）から
最上位階層（第４階層）へ向かう順になされるのに対し
て、復号は、最上位階層（第４階層）から最下位階層
（第１階層）へ向かう順になされる。

【００２４】前述した図１４の符号化装置と図１のこの
発明による符号化装置とを比較すると、補間フィルタ
８、９、１０の代わりにクラス分類適応予測器４１、４
２および４３が設けられていることが相違する。復号装
置に関しても同様に、補間フィルタ３２、３３および３
４に代えて、クラス分類適応予測器４４、４５および４
６が設けられていることが相違する。この発明で使用さ
れる予測器は、以下に説明するように、補間フィルタと
比較すると、その出力信号が原信号とより近いものとで
きる。従って、原信号と予測信号との差分信号の値をよ
り小さくすることができ、伝送データ量を少なくできる
利点がある。

【００２５】予測器４１〜４３を図５を用い、予測器４
１を例に説明する。入力端子９１から供給される第２階
層のディジタル画像信号ｄ０は、クラス予測器９２、ク
ラス決定回路９３及び予測演算回路９５に供給される。
クラス予測器９２は、各クラスに対応するクラス予測係
数と、データ予測係数とが格納されているテーブル９４
から供給されるクラス予測係数ｄ２と、第２階層のディ
ジタル画像信号ｄ０とを演算し、第２階層の予測値ｄ１
を生成する。この第２階層の予測値ｄ１がクラス決定回
路９３に供給される。

【００２６】クラス決定回路９３は、第２階層の予測値
ｄ１と第２階層のディジタル画像信号の真値ｄ０との比
較からクラスを決定する。一例として、真値ｄ０との誤
差の絶対値が最小の第２階層の予測値ｄ１を生じさせる
クラス予測係数と対応するクラスを選択する。例えば、
テーブル９４には、０〜ｎ−１のクラス予測係数が格納
されている。クラス予測器９２は、最初にクラス０のク
ラス予測係数を用いて予測値ｄを生成し、クラス決定回
路９３はこの予測値と真値ｄ０との誤差の絶対値を求め
る。以下、それ以外のクラスについても、同様に予測値
と真値との誤差の絶対値を求め、この絶対値が最小とな
るクラスを選択する。テーブル９４は、クラス決定回路
９３により選択されたクラスに対応するデータ予測係数
ｄ３を予測演算回路９５に出力する。予測演算回路９５
は、供給されたデータ予測係数ｄ３と第２階層のデジタ
ル画像信号ｄ０との演算により、第一階層信号の予測値
を生成して、出力端子９６に供給する。

【００２７】図６及び図７を用いて、クラス決定及びデ
ータ予測の一例について説明する。クラス予測器９２は
第２階層の予測値ｄ１を、クラス予測器９２に供給され
る第２階層のデジタル画像信号ｄ０のうち、予測の対象
である第２階層画素ｘ８の周囲の第２階層予測タップ領
域に含まれる第２階層画素Ｘ０〜Ｘ７，Ｘ９〜Ｘ１６の
１６個の画素値、ｘ０〜ｘ７，ｘ９〜ｘ１６と、図７に
示されるテーブル９４に格納されている各クラスのクラ
ス予測係数との線形１次結合をとることにより求められ
る。例えば、クラス０に対応する予測値ｄ１は下記の演
算によって生成される。ｄ１＝k₀×x₀＋k₁・・・＋k₇×x₇＋k₉×x₉＋・・・＋k₁₆×x₁₆ （１）

【００２８】図６の例は、簡単化のために使用する１次
元の画素の配列であるが、実際には図３に示されるよう
な２次元の画素配列を用いて予測が行なわれる。このよ
うなクラス分けは、参照画素数が多くても、クラス予測
係数のデータ量が極端に増加しない利点がある。このよ
うに、求められた各クラスに対応する第２階層の予測値
ｄ１は、クラス決定回路９３によって画素ｘ８の真値で
ある画素値ｘ８との値との誤差が求められ、この誤差が
最も小さいクラスが選択される。テーブル９４は、図７
に示されるような各クラス０〜ｎ−１に対応するｎ組の
データ予測係数のうち、選択されたクラスに対応するデ
ータ予測係数ｄ３を予測演算回路９５に出力する。

【００２９】予測演算回路９５においてなされる第１階
層画素のデータ予測は、供給される第２階層のデジタル
画像信号ｄ０のうち予測する第１階層の注目画素の位置
の近傍の例えば３個の第２階層画素を使用してなされ
る。図６の例では、データ予測係数ｄ３をｗ₁ ，ｗ₂ ，
ｗ₃ とすると、下記の演算によって、第１階層画素の値
ｙ´が生成される。この演算は一例であって、図３に示
されるような２次元配列中のより多くの第２階層の画素
データを使用しても良い。ｙ´＝ｗ₁ ×ｘ₇ ＋ｗ₂ ×ｘ₈ ＋ｗ₃ ×ｘ₉ （２）予測器４２，４３についても同様である。

【００３０】また、テーブル９４にデータ予測係数の代
わりに、各クラス毎のデータ予測値を格納しておくよう
にしてもよい。この場合には、クラス決定回路９３によ
って決定されたクラスに対応したデータ予測値と、同じ
階層のデータｄ０とを予測演算回路９５で合成し、合成
データを出力端子９６に供給する。

【００３１】また、テーブル９４に正規化されたデータ
予測値を格納しておいてもよい。この場合、テーブル９
４から供給された正規化データ予測値を用いて予測演算
回路９５は予測値を生成し、同じ階層のデータｄ０と合
成して合成データを出力端子９６に供給する。正規化
は、画素の値からブロック内の基準レベル（最小値、平
均値等）を減算し、減算出力をブロックのダイナミック
レンジで割る処理である。正規化は、学習時に、画素の
値を処理するのと比較して、データ用メモリの容量を低
減することができる。

【００３２】図８は、上述のデータ予測係数、データ予
測値、あるいは正規化データ予測値を予め求める学習時
の構成を示すものである。入力端子６１にディジタル画
像信号（第１階層信号）が供給され、間引きフィルタ６
２、６３、６４によって、第２、第３、第４階層信号が
形成されるのは、図１の構成と同様である。学習部６５
に第１および第２階層信号が供給され、学習部６６に第
２および第３階層信号が供給され、学習部６７に第３お
よび第４階層信号が供給される。

【００３３】学習部６５は、第２階層信号から第１階層
信号を予測するためのデータ予測係数、データ予測値、
あるいは正規化データ予測値を決定する。学習部６６
は、第３階層信号から第２階層信号を予測するためのデ
ータ予測係数等を決定し、学習部６７は、第４階層信号
から第３階層信号を予測するためのデータ予測係数等を
決定する。これらの学習部６５、６６、６７は、予測器
のクラス予測器９２とクラス決定回路９３とテーブル９
４を用いたクラス分けと同一のクラス分けを行なうクラ
ス分類回路を含み、クラス毎に決定されたデータ予測係
数等がメモリ６８、６９、７０に格納される。このメモ
リ６８、６９、７０に格納されたデータ予測係数等がテ
ーブル９４にそれぞれ格納される。

【００３４】図５に示されるテーブル９４にデータ予測
係数が格納されている場合、予測演算回路９５では、例
えば第１階層の予測値を第２階層のデータから生成する
ために、注目画素の周辺の３個の画素値ｘ₇，ｘ_{8 ,}ｘ
₉が使用される。すなわち、予測係数をｗ₁ 〜ｗ₃ で表
すと、ｙ´＝ｗ₁ ×ｘ₇＋ｗ₂ ×ｘ₈＋ｗ₃ ×ｘ₉ （３）の線形１次結合によって、予測演算回路９５が予測値ｙ
´を生成する。

【００３５】テーブル９５に格納されるマッピングテー
ブルを学習によって獲得するための処理について以下に
説明する。図９は、学習をソフトウェア処理で行う時の
その動作を示すフローチャートである。

【００３６】ステップ７１から学習処理の制御が開始さ
れ、ステップ７２の学習データ形成では、既知の画像に
対応した学習データが形成される。ここで、クラス分類
およびデータ予測係数決定のために使用される複数画素
の値の最大値および最小値の差である、ダイナミックレ
ンジＤＲがしきい値より小さいものは、学習データとし
て扱わない制御がなされる。これは、ダイナミックレン
ジＤＲが小さいデータは、ノイズによる影響が大きいの
で、学習対象からそのようなブロックのデータを除外す
るための処理である。ステップ７３のデータ終了では、
入力された全データ例えば１フレームのデータの処理が
終了していれば、ステップ７６のデータ予測係数決定
へ、終了していなければ、ステップ７４のクラス決定へ
制御が移る。

【００３７】ステップ７４のクラス決定は、上述したよ
うに、８個の参照画素値を圧縮したコードに基づいて、
レベル分布のパターンを調べる処理である。ステップ７
５の正規方程式加算では、後述する正規方程式が作成さ
れる。

【００３８】ステップ７３のデータ終了から全データの
処理が終了後、制御がステップ７６に移り、ステップ７
６のデータ予測係数決定では、後述するように、正規方
程式を行列解法を用いて解いて、データ予測係数を決め
る。ステップ７７のデータ予測係数ストアで、データ予
測係数をメモリにストアし、ステップ７８で学習処理の
制御が終了する。

【００３９】図９中のステップ７５（正規方程式生成）
およびステップ７６（予測係数決定）の処理をより詳細
に説明する。予め線形１次結合式に基づくデータ予測係
数を用意するために最小二乗法を用いる。一般的に説明
すると、ｘを入力データ、ｗを予測係数、ｙを推定値と
すると、次の式が成立する。観測方程式：ｘｗ＝ｙ（４）ここで、

【数１】

【００４０】上述の観測方程式（４）により収集された
データに最小二乗法を適用する。式（３）において、ｎ
＝３、ｍ＝学習データ数となる。ｍ＞ｎの場合、ｗ₁ 〜
ｗ_nは一意に決まらないので、誤差ベクトルＥを定義し
て、式（６）の残差方程式を作成する。

【００４１】

【数２】

【００４２】式（６）の残差方程式から各ｗ_iの最適値
は、次の式を最小にする条件が成り立つ場合が考えられ
る。

【００４３】

【数３】

【００４４】

【数４】

【００４５】すなわち、式（７）のｉに基づくｎ個の条
件を満たすｗ₁ 、ｗ₂ 、・・・、ｗ_nを算出すれば良
い。そこで、残差方程式（６）から式（８）が得られ
る。

【００４６】

【数５】

【００４７】式（７）と式（８）から式（９）が得られ
る。

【００４８】

【数６】

【００４９】そして、式（６）と式（９）から、正規方
程式として次の式（１０）が得られる。

【００５０】

【数７】

【００５１】正規方程式（１０）は、未知数の個数ｎと
同じ方程式を立てることが可能であるので、各ｗ_iの最
適値を求めることができる。そして掃き出し法(Gauss-J
ordan の消去法）を用いて連立方程式を解けば、予測係
数ｗ_iが求まる。この予測係数ｗ_iをクラスコードｃで
指示されるメモリのアドレスに格納しておく。

【００５２】学習処理は、ソフトウェアのみならず、ハ
ードウエアのみで、あるいは部分的にハードウエアを使
用して行うことも可能である。

【００５３】マッピングテーブルとしては、データ予測
係数で構成されるものに限らず、予め学習により決定さ
れたクラス毎の、最適なデータ予測値（代表値と称す
る）が格納されたものを使用しても良い。

【００５４】代表値を決定するためには、重心法を使用
できる。図１０は、この処理を説明するフローチャート
である。図１０のステップ８１は、このフローチャート
の開始を表し、ステップ８２は、この学習を行うための
準備として、クラスの度数カウンタＮ（＊）およびクラ
スのデータテーブルＥ（＊）の初期化を行うために全て
の度数カウンタＮ（＊）および全てのデータテーブルＥ
（＊）へ `０' データが書き込まれる。ここで、 `＊'
は、全てのクラスを示し、クラスｃ０に対応する度数カ
ウンタは、Ｎ（ｃ０）となり、データテーブルは、Ｅ
（ｃ０）となる。ステップ８２（初期化）の制御が終了
するとステップ８３へ制御が移る。

【００５５】ステップ８３は、注目画素を中心とした学
習対象画素近傍データから、その注目画素のクラスが決
定される。そして、ステップ８４では、学習対象となる
例えば第１階層の画素値ｅが検出される。また、このス
テップ８４では、その画素値ｅが含まれるブロックのダ
イナミックレンジＤＲが所定のしきい値よりも小さいも
のは、学習データとして扱わない処理もなされる。

【００５６】こうしてステップ８３（クラス決定）およ
びステップ８４（データ検出）から制御がステップ８５
へ移り、ステップ８５のデータ加算では、クラスｃのデ
ータテーブルＥ（ｃ）の内容に画素値ｅが加算される。
次に、ステップ８６の度数加算において、そのクラスｃ
の度数カウンタＮ（ｃ）が `＋１' インクリメントされ
る。

【００５７】全学習対象画素について、ステップ８３
（クラス決定）からステップ８６（度数加算）の制御が
終了したか否かを判定するステップ８７では、全データ
の学習が終了していれば、 `ＹＥＳ' 、すなわちステッ
プ８８へ制御が移り、全データの学習が終了していなけ
れば、 `ＮＯ' 、すなわちステップ８３（クラス決定）
へ制御が移り、全データの学習が終了になるまで、繰り
返し実行され、全てのクラスの度数カウンタＮ（＊）と
対応する全てのクラスのデータテーブルＥ（＊）が生成
される。

【００５８】ステップ８８では、画素値ｅの積算値が保
持されている各クラスのデータテーブルＥ（＊）が対応
する画素値ｅの出現度数が保持されている各クラスの度
数カウンタＮ（＊）で除算され、各クラスの平均値が算
出される。この平均値が各クラスの推定値となる。ステ
ップ８９では、ステップ８８において、算出された推定
値（平均値）が各クラス毎に登録される。全クラスの推
定値の登録が終了すると、制御がステップ９０へ移り、
この学習フローチャートの終了となる。上述の手法は、
学習対象画素値の分布の平均から推定値が生成されるこ
とから、重心法と呼ばれる。

【００５９】上述の代表値としては、平均値に限らず、
正規化予測値を使用することができる。この場合、デー
タ検出のステップ８４において、画素値の代わりに正規
化予測値が使用される。すなわち、ブロック内の基準値
baseの除去とダイナミックレンジＤＲによる正規化の処
理がなされる。入力画素値をｙとすると、（ｙ−base）
／ＤＲの演算により入力データが正規化される。正規化
予測値の平均化処理がなされ、メモリには、正規化予測
値ｇ（ｃ）が格納される。

【００６０】基準値baseは、例えばブロックの最小値Ｍ
ＩＮである。基準値としては、注目画素に近い位置のサ
ンプリング点の画素レベル、ブロック内の画素レベルの
平均値等を採用できる。この基準値をbaseと称する。基
準値baseは、ブロック内の画素のレベル分布にとって
は、共通成分、すなわち、冗長成分であり、基準値base
を除去することにより、レベル方向の冗長度を除去でき
る。図７中の変換回路５８では、下記の演算によって、
補間値ｙ´が生成される。ｙ´＝ＤＲ×ｇ（ｃ）＋base （１１）

【００６１】代表値として、正規化予測値を使用してい
るので、レベルそのものを代表値とするのと比して、メ
モリの容量の削減、ハードウエアの小規模化を達成する
ことができる。

【００６２】上述のテーブル９４内のクラス予測係数
は、予め学習により決定される。図１１は、クラス予測
係数の学習時の処理を示すフローチャートである。クラ
ス予測係数の学習は、上述したデータ予測係数の学習と
同様になされる。ステップ１１１から学習処理の制御が
開始され、ステップ１１２の学習データ形成では、既知
の画像に対応した学習データが形成される。具体的に
は、上述したように、図６に示すように配列された１７
個の画素の配列が一組の学習データとされる。

【００６３】ステップ１１３のデータ終了では、入力さ
れた全データ例えば１フレームのデータの処理が終了し
ていれば、ステップ１１５のクラス予測係数決定へ、終
了していなければ、ステップ１１４の正規方程式生成へ
制御が移る。ステップ１１４の正規方程式生成では、上
述の式（１０）の正規方程式が作成される。

【００６４】全データの処理が終了後、ステップ１１３
のデータ終了から制御がステップ１１５に移り、ステッ
プ１１５の予測係数決定では、式（１０）を行列解法を
用いて解いて、クラス予測係数ｋ₀ 〜ｋ₁₆を決定する。
次のステップ１１６において、決定されたクラス予測係
数ｋ₀ 〜ｋ₁₆と第２階層画素の値ｘ₀ 〜ｘ₁₆との線形１
次結合によって、予測値ｘ´（ｄ１）が計算され、この
予測ｘ´と真値ｘ₈ との間の誤差の絶対値が計算され
る。誤差の演算は、係数を決定するのに使用した第２階
層画素と、それ以外の全ての第２階層画素について行わ
れる。係数を決定するのに使用した第２階層画素につい
て、誤差はきわめて少ない。

【００６５】次のステップ１１７では、計算された誤差
の絶対値としきい値Ｔｈとが比較される。誤差の絶対値
がしきい値Ｔｈ未満であるならば、クラス予測係数がク
ラスｉの係数としてメモリに格納される（ステップ１１
８）。そして、ｉ＝ｎかどうかがステップ１１９で決定
され、若しそうであるならば、学習処理が終了し、若し
そうでない時には、ｉがインクリメントされる（ステッ
プ１２０）。そして、ステップ１１２に戻り、上述の処
理が繰り返される。

【００６６】但し、ステップ１１７において、誤差がし
きい値Ｔｈ以上となる第２階層画素のデータが判別さ
れ、データ選択のステップ１２１において、学習データ
として使用されるものがしきい値Ｔｈ以上の誤差を生じ
させたものに限定される。このように、クラス０からｎ
−１のそれぞれのクラス予測係数が決定される。

【００６７】図１１中のステップ１１４（正規方程式生
成）およびステップ１１５（予測係数決定）の処理は、
上述のデータ予測係数ｗ₁ 〜ｗ_nの決定の処理と同様で
あるので、その説明は、重複を避けるために省略する。

【００６８】また、第１階層の予測のために代表値（デ
ータ予測値）を予め学習により決定する方式の場合に
は、図１２に示すテーブルが作成される。すなわち、ク
ラス０〜ｎ−１のそれぞれには、上述したクラス予測係
数と図１０のフローチャートの処理で決定された代表値
（データ予測値）Ｌ０〜Ｌn-1 とが格納されている。

【００６９】図１３は、クラス分類回路の他の例であ
る。入力ディジタル画像信号が供給される入力端子１９
１に対して、クラス分類回路１９２およびアクティビィ
ティークラス分類回路１９３が接続される。クラス分類
回路１９２は、上述のクラス予測器９２、クラス決定回
路９３、テーブル９４から成り予測式表現を用いたクラ
ス分類を行う。アクティビィティークラス分類回路１９
３は、ブロック毎のアクティビィティーに基づくクラス
分類を行なう。アクティビィティーの具体的なものは、
ブロックのダイナミックレンジ、ブロックデータの標準
偏差の絶対値、ブロックデータの平均値に対する各画素
の値の差分の絶対値等である。アクティビィティーによ
り画像の性質が異なる場合があるので、このようなアク
ティビィティーをクラス分類のパラメータとして使用す
ることによって、クラス分類をより高精度とすることが
でき、また、クラス分類の自由度を増すことできる。

【００７０】クラス分類回路１９２および１９３からの
クラスコードｃ１およびｃ２がメモリ１９４に対してア
ドレスとして供給される。このメモリ１９４には、予測
器の場合では、学習で得られたデータ予測係数、データ
予測値、あるいは正規化データ予測値が格納されてい
る。

【００７１】

【発明の効果】この発明は、階層符号化において、原画
像信号と予測信号との差分信号を形成する時に、マッピ
ングテーブルを使用して予測信号を形成する際、複数の
参照画素およびクラス予測係数の線形１次結合によって
予測値を生成し、この予測値と真値との誤差が最小のも
のを検出することによって、クラス分類を行なってい
る。従って、参照画素数と等しい予測係数を記憶するの
で、参照画素数を多くしても、クラス分類用テーブルを
格納するメモリの容量がそれ程増大しない利点がある。

【図面の簡単な説明】

【図１】この発明の一実施例の符号化装置のブロック図
である。

【図２】この発明の一実施例の復号装置のブロック図で
ある。

【図３】階層間の画素数の関係とクラス分類およびデー
タ予測のための画素の位置を表す略線図である。

【図４】間引きフィルタの構成の一例および他の例のブ
ロック図である。

【図５】予測器の構成の一例を示すブロック図である。

【図６】クラス予測係数を求める処理に使用する画素の
配列を示す略線図である。

【図７】クラス予測係数およびデータ予測係数が格納さ
れるテーブルの構成を示す略線図である。

【図８】学習時の構成の概略的ブロック図である。

【図９】データ予測用の係数を決定するための学習をソ
フトウェア処理で行う時のフローチャートである。

【図１０】代表値を求めるための学習をソフトウェア処
理で行う時のフローチャートである。

【図１１】クラス予測係数を決定するための学習をソフ
トウェア処理で行う時のフローチャートである。

【図１２】クラス予測係数および代表値が格納されるテ
ーブルの構成を示す略線図である。

【図１３】クラス分類回路の他の例のブロック図であ
る。

【図１４】先に提案されている階層符号化装置のブロッ
ク図である。

【図１５】先に提案されている階層符号化の復号装置の
ブロック図である。

【符号の説明】

２，３，４間引きフィルタ４１，４２，４３，４４，４５，４６予測器６５、６６、６７学習部９２クラス予測器９３クラス決定回路９５予測演算回路

Claims

【特許請求の範囲】

【請求項１】第１階層の画像信号よりも画素数が減少
された第２階層の画像信号を形成するための手段と、上記第２階層の画像信号から上記第１階層の画像信号を
予測するための予測手段と、上記第１階層の画像信号と上記予測手段からの予測値と
の差分値を生成するための手段と、上記第２階層の画像信号および上記差分値を伝送するた
めの手段とからなり、上記予測手段は、クラス毎に複数のクラス予測係数が予め格納されたテー
ブルを有し、上記第２階層の画像信号中に含まれ、注目
画素に対して空間的および／または時間的に近傍の複数
の参照画素と上記テーブルからのクラス予測係数の１次
結合により、上記第２階層の画像信号の注目画素データ
の予測値を形成し、上記注目画素の真値と最も近い上記
予測値を生じさせる上記クラス予測係数に対応するクラ
スを選択して、上記注目画素のクラスとするクラス分類
手段と、上記決定されたクラス毎に注目画素に関する上記予測値
を作成するためのデータ予測係数を発生するための予測
係数発生手段と、上記第２階層の画像信号と上記予測係数発生手段からの
データ予測係数に基づいて、上記注目画素に関する上記
予測値を生成するための演算手段とを有することを特徴
とするディジタル画像信号の階層符号化装置。
【請求項２】第１階層の画像信号よりも画素数が減少
された第２階層の画像信号を形成し、上記第２階層の画
像信号から上記第１階層の画像信号を予測し、上記第１
階層の画像信号と予測値との差分値を生成し、上記差分
値および上記第２階層の画像信号を送信するディジタル
画像信号の階層符号化の復号装置において、上記第２階層の画像信号と上記差分値を受信する手段
と、上記第２階層の画像信号から上記第１階層の画像信号の
予測値を形成するための予測手段と、上記予測値と受信された上記差分値を加算することによ
って、上記第１階層の画像信号を形成するための手段と
からなり、上記予測手段は、クラス毎に複数のクラス予測係数が予め格納されたテー
ブルを有し、上記第２階層の画像信号中に含まれ、注目
画素に対して空間的および／または時間的に近傍の複数
の参照画素と上記テーブルからのクラス予測係数の１次
結合により、上記第２階層の画像信号の注目画素データ
の予測値を形成し、上記注目画素の真値と最も近い上記
予測値を生じさせる上記クラス予測係数に対応するクラ
スを選択して、上記注目画素のクラスとするクラス分類
手段と、上記決定されたクラス毎に上記注目画素に関する予測値
を作成するためのデータ予測係数を発生するための予測
係数発生手段と、上記第２階層の画像信号と上記予測係数発生手段からの
データ予測係数に基づいて、上記注目画素に関する上記
予測値を生成するための演算手段とを有することを特徴
とするディジタル画像信号の階層符号化の復号装置。
【請求項３】請求項１、または請求項２に記載の装置
において、上記予測係数発生手段は、クラス毎のデータ予測係数を
格納するメモリ手段を有し、上記データ予測係数は、予め学習によって得られた、注
目画素の空間的および／または時間的に近傍の複数の画
素の値と上記データ予測係数の線形１次結合によって、
上記注目画素の値を作成した時に、作成された値と上記
注目画素の真値との誤差を最小とするような値であるこ
とを特徴とする装置。
【請求項４】第１階層の画像信号よりも画素数が減少
された第２階層の画像信号を形成するための手段と、上記第２階層の画像信号から上記第１階層の画像信号を
予測するための予測手段と、上記第１階層の画像信号と上記予測手段からの予測値と
の差分値を生成するための手段と、上記第２階層の画像信号および上記差分値を伝送するた
めの手段とからなり、上記予測手段は、クラス毎に複数のクラス予測係数が予め格納されたテー
ブルを有し、上記第２階層の画像信号中に含まれ、注目
画素に対して空間的および／または時間的に近傍の複数
の参照画素と上記テーブルからのクラス予測係数の１次
結合により、上記第２階層の画像信号の注目画素データ
の予測値を形成し、上記注目画素の真値と最も近い上記
予測値を生じさせる上記クラス予測係数に対応するクラ
スを選択して、上記注目画素のクラスとするクラス分類
手段と、上記決定されたクラス毎に上記注目画素に関する上記予
測値を発生するための予測値発生手段とを有することを
特徴とするディジタル画像信号の階層符号化装置。
【請求項５】第１階層の画像信号よりも画素数が減少
された第２階層の画像信号を形成し、上記第２階層の画
像信号から上記第１階層の画像信号を予測し、上記第１
階層の画像信号と予測値との差分値を生成し、上記差分
値および上記第２階層の画像信号を送信するディジタル
画像信号の階層符号化の復号装置において、上記第２階層の画像信号と上記差分値を受信する手段
と、上記第２階層の画像信号から上記第１階層の画像信号の
予測値を形成するための予測手段と、上記予測値と受信された上記差分値を加算することによ
って、上記第１階層の画像信号を形成するための手段と
からなり、上記予測手段は、クラス毎に複数のクラス予測係数が予め格納されたテー
ブルを有し、上記第２階層の画像信号中に含まれ、注目
画素に対して空間的および／または時間的に近傍の複数
の参照画素と上記テーブルからのクラス予測係数の１次
結合により、上記第２階層の画像信号の注目画素データ
の予測値を形成し、上記注目画素の真値と最も近い上記
予測値を生じさせる上記クラス予測係数に対応するクラ
スを選択して、上記注目画素のクラスを決定するための
クラス分類手段と、上記決定されたクラス毎に上記注目画素に関する上記予
測値を発生するための予測値発生手段とを有することを
特徴とするディジタル画像信号の階層符号化の復号装
置。
【請求項６】請求項４、または請求項５に記載の装置
において、上記予測値発生手段は、クラス毎に予測値を格納するメ
モリ手段を有し、学習時にクラス毎に得られる値の累積値を累積度数で除
した値がクラス毎の予測値として上記メモリ手段に格納
されていることを特徴とする装置。
【請求項７】請求項４、または請求項５に記載の装置
において、上記予測値発生手段は、クラス毎の予測値を格納するメ
モリ手段を有し、学習時に、注目画素を含む複数の画素からなるブロック
を形成し、上記ブロック内のダイナミックレンジによって、上記注
目画素の値から上記ブロックの基準値を合成した値を正
規化し、上記正規化された値の累積値を累積度数で除した値がク
ラス毎の予測値として、上記メモリ手段に格納され、上記基準値および上記ダイナミックレンジを使用して、
上記メモリ手段の出力が予測値に変換されるようにした
ことを特徴とする装置。