JPH07107474A

JPH07107474A - 画像符号化方法

Info

Publication number: JPH07107474A
Application number: JP27320693A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Yasuhiro Fujimori; 泰弘藤森; Kunio Kawaguchi; 邦雄川口
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-10-04
Filing date: 1993-10-04
Publication date: 1995-04-21
Anticipated expiration: 2017-10-21
Also published as: JP3337167B2

Abstract

(57)【要約】【目的】本発明は、画像符号化方法において、画像デー
タを階層符号化する際における圧縮効率を向上するもの
である。【構成】画像データを順次再帰的に異なる複数の解像度
でなる複数の階層データに分割して符号化する際に、解
像度の最も低い最上位階層データを除く階層データの所
定のブロツクについてブロツクアクテイビテイを判定す
る。次に下位下層データに対する分割処理の判定基準で
あるしきい値をブロツクアクテイビテイに対応するブロ
ツク度数の分布状況から設定し、伝送量を増減すること
により圧縮効率が低下しないようにする。

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。産業上の利用分野従来の技術（図１７及び図１８）発明が解決しようとする課題（図１７及び図１８）課題を解決するための手段（図１〜図１０）作用（図１〜図１０）実施例（１）階層符号化の原理（図１〜図３）（２）画像符号化装置の全体構成（図４）（３）階層符号化エンコーダ部（図５及び図６）（４）発生情報量制御部（図７〜図１６）（５）他の実施例発明の効果

【０００２】

【産業上の利用分野】本発明は画像符号化方法に関し、
例えば所定の画像データを異なる解像度でなる複数の画
像データに分割符号化する画像符号化装置に適用して好
適なものである。

【０００３】

【従来の技術】従来、この種の画像符号化装置として、
入力画像データをピラミツド符号化等の階層符号化の手
法を用いて階層的に符号化するものがある（特願平5-14
2836号公報）。この階層符号化装置においては、高解像
度の入力画像データを第１の階層データとして、この第
１の階層データよりも解像度が低い第２の解像データ、
さらに第２の解像データよりも解像度が低い第３の階層
データ、……を順次再帰的に形成し、これら複数の階層
データを１つの通信路や記録再生経路でなる伝送路で伝
送する。

【０００４】またこのとき複数の階層データを復号化す
る画像復号化装置では、複数の階層データについて全て
復号化することに加えて、それぞれに対応するテレビジ
ヨンモニタの解像度等により、何れかの階層データのう
ち所望の１つを選択して復号化し得る。このように階層
化された複数の階層データから所望の階層データのみに
ついて復号化することにより必要最小限の伝送データ量
により所望の画像データを得ることができる。

【０００５】ここで図１７に示すように、この階層符号
化として例えば４階層の符号化を実現する画像符号化装
置では、それぞれ３段分の間引きフイルタ２、３、４と
補間フイルタ５、６、７とを有し、入力画像データＤ１
について各段の間引きフイルタ２、３、４によつて順次
解像度の低い縮小画像データＤ２、Ｄ３、Ｄ４を形成す
ると共に補間フイルタ５、６、７により縮小画像データ
Ｄ２、Ｄ３、Ｄ４を縮小前の解像度に戻す。

【０００６】各間引きフイルタ２〜４の出力Ｄ２〜Ｄ４
及び各補間フイルタ５〜７の出力Ｄ５〜Ｄ７はそれぞれ
差分回路８、９、１０に入力され、これにより差分デー
タＤ８、Ｄ９、Ｄ１０が生成される。この結果、画像符
号化装置１においては、階層データのデータ量を低減す
ると共に信号電力を低減する。ここでこの差分データＤ
８〜Ｄ１０及び縮小画像データＤ４は、入力画像データ
Ｄ１に対して、それぞれ面積が１、1/4 、1/16、1/64の
サイズとなつている。

【０００７】それぞれの差分回路８〜１０より得られる
差分データＤ８〜Ｄ１０及び間引きフイルタ４より得ら
れる縮小画像データＤ４は各符号器１１、１２、１３、
１４によつて圧縮処理され、この結果、各符号器１１、
１２、１３、１４から解像度の異なる第１、第２、第３
及び第４の階層データＤ１１、Ｄ１２、Ｄ１３及びＤ１
４が所定の順序で伝送路に送出される。

【０００８】このようにして伝送される第１〜第４の階
層データＤ１１〜Ｄ１４は、図１８に示す画像復号化装
置によつて復号される。すなわち第１〜第４の階層デー
タＤ１１〜Ｄ１４は、それぞれ復号器２１、２２、２
３、２４によつて復号され、この結果、まず復号器２４
からは第４の階層データＤ２４が出力される。

【０００９】また復号器２３の出力は加算回路２９にお
いて補間フイルタ２６より得られる第４の階層データＤ
２４の補間データと加算され、これにより第３の階層デ
ータＤ２３が復元される。同様にして復号器２２の出力
は加算回路３０において補間フイルタ２７より得られる
第３の階層データＤ２３の補間データと加算され、これ
により第２の階層データＤ２２が復元される。さらに復
号器２１の出力は加算回路３１において補間フイルタ２
８より得られる第２の階層データＤ２２の補間データと
加算され、これにより第１の階層データＤ２１が復元さ
れる。

【００１０】

【発明が解決しようとする課題】ところがかかる階層符
号化方法を実現する画像符号化装置においては、入力画
像データを複数の階層データに分割して符号化するた
め、必然的に階層成分だけデータ量が増加し、その分階
層符号化を用いない高能率符号化方法に比較して圧縮率
が低下するという問題がある。また圧縮効率を向上しよ
うとした場合、各階層データ間に適用される量子化器に
よつて画質劣化が発生する問題がある。

【００１１】本発明は以上の点を考慮してなされたもの
で、画像データを階層符号化する際に圧縮効率を向上し
得ると共に画質劣化を低減し得る画像符号化方法及び画
像符号化装置を提案しようとするものである。

【００１２】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、画像データを順次再帰的に異なる
複数の解像度でなる複数の階層データＤ３１〜Ｄ３５に
分割して符号化すると共に、解像度が低い上位階層デー
タＤ３５の判定結果に基づいて最下位階層Ｄ３１までの
分割処理に制限を加える画像符号化方法において、隣接
階層間で空間的に対応するブロツクＸj(i)の分割処理の
選択により発生情報量を目標値に制御するとき、各階層
間で定義されるブロツクアクテイビテイＡＣＴを全階層
に渡り検出し、当該検出結果に基づくブロツク度数分布
表を用いて最適制御値を検出するようにする。

【００１３】また本発明においては、ブロツクＸj(i)の
分割処理の選択により発生情報量の削減を行う際、発生
情報量を目標値に制御するとき、各階層間で定義される
ブロツクアクテイビテイＡＣＴを全階層に渡り検出し、
当該検出結果に基づき生成されるブロツク度数分布表に
関し、各階層において上位階層でのブロツクアクテイビ
テイの履歴に基づいて最適制御値を検出するようにす
る。

【００１４】また本発明においては、最適制御値が決定
するまで、階層符号化のエンコーダ４０Ａに入力される
データＤ３１を待機状態に制御し、最適制御値が決定し
たとき入力データＤ３１を階層符号するようにする。

【００１５】また本発明においては、複数階層のブロツ
クアクテイビテイにより構成される度数分布表を用いた
最適制御値検出過程において、各階層ごとに独立に制御
しきい値ＴＨを設定するようにする。

【００１６】また本発明においては、複数階層のブロツ
クアクテイビテイにより構成される度数分布表を用いた
最適制御値検出過程において、各階層ごとに独立に制御
しきい値ＴＨを設定する際、各階層ごとの制御しきい値
の組み合わせを予め用意し、当該組み合わせの中から最
適制御値を検出するようにする。

【００１７】また本発明においては、複数階層のブロツ
クアクテイビテイＡＣＴにより構成される度数分布表を
用いた最適制御値検出過程において、度数分布表へのデ
ータ登録終了後、ブロツクアクテイビテイＡＣＴの値に
より積算型度数分布表を作成し、最適制御値検出時間を
短縮化するようにする。

【００１８】また本発明においては、度数分布表にブロ
ツクを登録する際、度数分布表のブロツクアクテイビテ
イ値ＡＣＴに制限ＬＭＴを設定し、当該制限値以上のブ
ロツクアクテイビテイを有するブロツクを所定の座標に
登録し、必要メモリ量を削減するようにする。

【００１９】また本発明においては、画像データを順次
再帰的に異なる複数の解像度でなる複数の階層データに
分割して符号化すると共に、解像度が低い上位階層デー
タの判定結果に基づいて最下位階層までの分割処理に制
限を加える画像符号化方法において、隣接階層間で空間
的に対応するブロツクの分割処理の選択により発生情報
量を目標値に制御するとき、各階層間で定義されるブロ
ツクアクテイビテイを全階層に渡り検出し、当該検出結
果に基づくブロツク度数分布表を用いて最適制御値を検
出し、検出結果が得られたとき、所定のメモリＭ１に待
機した画像データを符号化するようにする。

【００２０】

【作用】画像データＤ３１を順次再帰的に異なる複数の
解像度でなる複数の階層データＤ３１〜Ｄ３５に分割し
て符号化する際に、解像度の最も低い最上位階層データ
を除く階層データの所定のブロツクについてブロツクア
クテイビテイＰを判定することとし、下位下層データに
対する分割処理の判定基準である閾値ＴＨをブロツクア
クテイビテイＰに対応するブロツク度数の分布に基づい
て設定することにより、圧縮効率の低下しない画像デー
タの階層符号化を実現することができる。

【００２１】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【００２２】（１）階層符号化の原理図１は全体として本発明による階層符号化の原理とし
て、例えば高品位テレビジヨン信号等の静止画像を階層
符号化して圧縮する原理を示す。この階層符号化では下
位階層データの単純な算術平均で上位階層データを作る
ことで、情報量の増加を伴わない階層構造を実現する。
また上位階層から下位階層の復号についてはブロツク毎
のアクテイビテイに基づいて適応的に分割を制御するこ
とで、平坦部分の情報量を削減する。さらに下位階層の
ために行う差分信号の符号化では、その量子化特性を上
位階層のアクテイビテイに基づいて、付加コードなしに
ブロツク毎に切り替えることにより高能率化を実現す
る。

【００２３】すなわちこの階層符号化の階層構造では、
まず入力される高品位テレビジヨン信号を下位階層と
し、この下位階層の２ライン×２画素の小ブロツク中の
４画素Ｘ1 〜Ｘ4 について、次式

【数１】で表される算術平均を取り、その値ｍを上位階層の値と
する。この下位階層では、次式

【数２】で示すように、上位階層との差分値を３画素分だけ用意
することで、元々の４画素データと同じ情報量で階層構
造を構成する。

【００２４】一方下位階層の復号に際しては３画素Ｘ1
〜Ｘ3 は、次式

【数３】で表すように上位階層の平均値ｍにそれぞれの差分値Δ
Ｘi を加えて復号値Ｅ〔Ｘi 〕を求め、残つた１画素
は、次式

【数４】で表すように上位階層の平均値ｍから下位階層の３個の
復号値を引く事で復号値Ｅ〔Ｘ4 〕を決定する。ここ
で、Ｅ〔・〕は復号値を意味する。

【００２５】ここでこの階層符号化においては、上位階
層から下位階層へは解像度が階層毎に４倍になるが、平
坦部ではこの分割を禁止する事で冗長度を削減してい
る。なおこの分割の有無を指示するためのフラグが１ビ
ツト、ブロツク単位で用意される。下位階層での分割の
必要性の判断は局所的なアクテイビテイとして、例えば
差分データの最大値で判断する。

【００２６】ここで階層符号化の例としてＩＴＥのＨＤ
標準画像（Ｙ信号）を用い、５階層符号化した場合の適
応分割結果を図２に示す。最大差分データに対する閾値
を変化させた時の各階層の画素数を本来の画素数に対す
る割合を示すが、空間相関に基づく冗長度削減のようす
が分かる。削減効率は画像によつて変わるが最大差分デ
ータに対する閾値を１〜６と変化させると、平均的な削
減率は28〜69〔％〕になる。

【００２７】実際上上位階層の解像度を４倍にして下位
階層を作り、そのとき下位階層では上位階層データから
の差分データを符号化することで、信号レベル幅を有効
に削減できる。図２について上述した階層符号化による
５階層の場合を、図３に示すが、ここでは階層を下位か
ら数えて第１〜５階層と名付けた。

【００２８】原画像の８ビツトＰＣＭデータに比べて、
信号レベル幅の削減が見られる。特に画素数の多い第１
〜４階層は差分信号なので、大幅な削減が達成でき、以
降の量子化で効率が向上する。図３の表からわかるよう
に削減効率の絵柄への依存性は少なく、全ての絵に対し
て有効である。

【００２９】また下位階層の平均値で上位階層を作る事
で、エラー伝播をブロツク内にとめながら、下位階層を
上位階層の平均値からの差分に変換する事で、効率の良
さも合わせ持つ事ができる。実際上階層符号化では同一
空間的位置での階層間のアクテイビテイには相関があ
り、上位階層の量子化結果から下位階層の量子化特性を
決定する事で、付加コードを必要としない適応量子化器
を実現できる。

【００３０】実際上、上述した５段階の階層構造に基づ
いて画像を階層符号化してマルチ解像度で表現し、階層
構造を利用した適応分割及び適応量子化を行う事で、各
種ＨＤ標準画像（８ビツトのＹ／ＰB ／ＰR ）を約１／
８に圧縮することができる。また適応分割のために用意
されるブロツク毎の付加コードは、圧縮効率の向上のた
めに各階層でランレングス符号化が行われる。このよう
にして、各階層で充分な画質の画像が得られ、最終的な
最下位階層も視覚的劣化のない良好な画像を得ることが
できる。

【００３１】（２）画像符号化装置の全体構成図４において、４０は本発明による画像符号化装置を示
し、入力画像データＤ１を階層符号化して出力する階層
符号化エンコーダ部４０Ａと階層符号化エンコーダ部４
０Ａにおける発生情報量が目標値を達成するように制御
する発生情報量制御部４０Ｂとによつて構成されてい
る。

【００３２】階層符号化エンコーダ部４０Ａはデータ遅
延用のメモリ（図示せず）とエンコーダとによつて構成
されている。このうちメモリは発生情報量制御部４０Ｂ
において最適制御値が決定されるまでの間、エンコード
処理が実行されないようにデータを遅延できるよう入力
段に設けられている。

【００３３】一方、発生情報量制御部４０Ｂは入力画像
データを入力して処理対象データに適合した閾値ＴＨを
決定するようになされており、階層符号化エンコーダ部
４０Ａにおいて入力画像データが効率良く符号化される
ように決定された最適制御値をエンコーダに伝送するよ
うになされている。いわゆるフイードフオワード型のバ
ツフアリングの構成である。この構成により正確な発生
情報量制御とフイードフオワード型バツフアリングによ
つて発生する時間遅れを排除することができるようにな
されている。

【００３４】ここで階層間差分値に基づき定義されるブ
ロツクアクテイビテイにより、下位階層での分割処理の
選択が行われる。すなわち下位階層の２×２の４画素よ
り上位階層データが構成され、ブロツクが定義される。

【００３５】すなわち上位階層データをＸ０（ｉ＋１）
とし、下位階層データをＸｊ（ｉ）とすると、階層間差
分符号値ΔＸｊ（ｉ）＝Ｘ０（ｉ＋１）−Ｘｊ（ｉ）と
なる。但しｊ＝０〜３である。またブロツクアクテイビ
テイ決定関数をＧ（・）とするとブロツクアクテイビテ
イＡＣＴ＝Ｇ（ΔＸｊ（ｉ））となる。

【００３６】また上記階層判定フラグＦＬＧ（０：分割
中止、１：分割継続）とすると、ＦＬＧ＝０の場合、下
位階層の分割を中止し、ＡＣＴ≧しきい値ＴＨかつＦＬ
Ｇ＝１の場合、下位階層の分割を実行し、ＡＣＴ＜しき
い値ＴＨかつＦＬＧ＝１の場合、下位階層の分割を中止
する。

【００３７】この階層での分割判定終了後、分割判定結
果を判定フラグＦＬＧとして定義後、次の下位階層へ伝
搬させる。このようにＦＬＧ＝０の場合は、下位階層で
の分割は行われない。

【００３８】（３）階層符号化エンコーダ部階層符号化エンコーダ部４０Ａは図５に示す構成でな
り、この例の場合、５階層に分けて処理する。

【００３９】まず入力画像データＤ３１が第１の差分回
路４１及び第１の平均化回路４２に入力される。第１の
平均化回路４２は、入力画像データＤ３１（すなわち第
１階層データ（最下位階層データ））の４画素平均によ
り第２階層データＤ３２を生成する。この実施例の場
合、第１の平均化回路４２は、図６（Ｄ）及び（Ｅ）に
示すように、入力画像データＤ３１の４画素Ｘ1(1)〜Ｘ
4(1)から第２階層データＤ２の画素Ｘ1(2)を生成する。

【００４０】また第２階層データＤ３２の画素Ｘ1(2)に
隣接する画素Ｘ2(2)〜Ｘ4(2)も同様に第１階層データＤ
３１の４画素平均を求めることにより生成される。

【００４１】第２階層データＤ３２は第２の差分回路４
３及び第２の平均化回路４４に入力され、第２の平均化
回路４４は、第２階層データＤ３２の４画素平均により
第３階層データＤ３３を生成する。例えば、図６（Ｃ）
及び（Ｄ）に示す第２階層データＤ３２の画素Ｘ1(2)〜
Ｘ4(2)から第３階層データＤ３３の画素Ｘ1(3)が生成さ
れると共に、画素Ｘ1(3)に隣接する画素Ｘ2(3)〜Ｘ4(3)
も同様に第２階層データＤ３２の４画素平均により生成
される。

【００４２】第３階層データＤ３３は第３の差分回路４
５及び第３の平均化回路４６に入力され、第３の平均化
回路４６は上述の場合と同様に第３階層データＤ３３の
４画素平均により図６（Ｂ）及び（Ｃ）に示すように、
画素Ｘ1(4)〜Ｘ4(4)でなる第４階層データＤ３４を生成
する。

【００４３】第４階層データＤ４４は第４の差分回路４
７及び第４の平均化回路４８に入力され、第４の平均化
回路４８は、第４階層データＤ３４の４画素平均により
最上位階層となる第５階層データＤ３５を生成する。す
なわち図６（Ａ）及び（Ｂ）に示すように、第４階層デ
ータＤ３４の４画素Ｘ1(4)〜Ｘ4(4)を平均化することに
より第５階層データＤ３５の画素Ｘ1(5)が生成される。

【００４４】ここで第１〜第５階層データＤ３１〜Ｄ３
５のブロツクサイズは、最下位階層である第１階層デー
タＤ３１のブロツクサイズを１ライン×１画素とする
と、第２階層データＤ３２は１／２ライン×１／２画
素、第３階層データＤ３３は１／２ライン×１／４画
素、第４階層データＤ３４は１／８ライン×１／８画
素、最上位階層データである第５階層データＤ３５は１
／１６ライン×１／１６画素となる。

【００４５】階層符号化エンコーダ部４０Ａは、これら
第１〜第５の階層データＤ３１〜Ｄ３５のうち最上位の
階層データ（すなわち第５の階層データＤ３５）から順
に再帰的処理を繰り返して隣接する２つの階層データ間
の差分を差分回路４１、４３、４５、４７において求
め、差分データのみを符号器５１〜５５によつて圧縮符
号化する。これにより階層符号化エンコーダ部４０Ａは
伝送路に伝送される情報量を圧縮するようになされてい
る。

【００４６】このような圧縮条件を最適に保つため階層
符号化エンコーダ部４１は、各階層ごとに得られた伝送
データＤ５１〜Ｄ５５を復号器５６〜５９によつて復号
する。

【００４７】このうち最上位の階層に対応する復号器５
９は符号器５５において圧縮符号化された第５の階層デ
ータＤ３５に対応する復号データＤ４８を伝送データＤ
５５から復号し、これを第４階層の差分回路４７に与え
る。

【００４８】これに対して他の復号器５１〜５４は、そ
れぞれ分割／非分割処理の有無を示すフラグに基づいて
復号動作を切換える。すなわち分割処理がなされている
場合には、伝送データＤ５２〜Ｄ５４として伝送される
差分データから復号処理によつて上位の階層データ（す
なわち第４、第３、第２の階層データ）を復号して第３
階層の差分回路４５、第２階層の差分回路４３、第１の
階層データ４１にそれぞれ与えるようになされている。
これにより各差分回路４１、４３、４５、４７からは隣
接する階層間についての差分データＤ４１、Ｄ４２、Ｄ
４３、Ｄ４４が得られることになる。

【００４９】また各階層に対応する符号器５１〜５５は
これら差分回路４１、４３、４５、４７や平均化回路４
８によつて得られた差分データＤ４１、Ｄ４２、Ｄ４
３、Ｄ４４又は第５の階層データＤ３５を入力し、各ブ
ロツクについて得られるアクテイビテイに対するしきい
値の判定と分割選択処理を実行する。このとき符号器５
１〜５５は、処理対象が分割ブロツクの場合、階層間で
得られた差分データをそのまま圧縮符号化し、同時に各
ブロツクについての分割判定フラグをつけて伝送する。

【００５０】これに対して符号器５１〜５５は、処理対
象が非分割ブロツクの場合、このブロツクは受信側にお
いて上位階層データから複合されるものとして符号対象
から除外する。因にこの場合にも各ブロツクについての
分割判定フラグは付けて伝送される。これら５組の符号
器５１〜５５から出力される第１〜第５の階層圧縮符号
化データが所定の伝送路に送出される。

【００５１】次に階層符号化エンコーダ部４０Ａによる
具体的な信号処理を説明する。まず階層間差分値に基づ
くブロツクアクテイビテイにより、階層間差分値に対す
る処理を選択する場合を考える。また各ブロツクは２ラ
イン×２画素より構成されるものとする。

【００５２】ここでは各画素のデータ値をＸとし、デー
タ値Ｘの階層をサフイツクスで表す。すなわち上位の階
層データをＸ(0)i+1とするとき、隣接する下位階層デー
タはＸj(i)（ｊ＝０〜３）である。また階層間の差分符
号値はΔＸj(i)（ｊ＝０〜３）であり、階層符号化エン
コーダ部４０Ａはこの差分符号値を圧縮符号化するので
ある。

【００５３】各階層における符号器５１〜５５による圧
縮符号化処理は各ブロツクについて得られたブロツクア
クテイビテイＰと閾値データＤ５７とを比較し、比較結
果によつて処理を選択する。すなわちブロツクアクテイ
ビテイＰが閾値ＴＨ以上の場合には下位階層について順
次分割処理するのに対し、ブロツクアクテイビテイＰが
しきい値ＴＨ未満の場合には下位階層についての分割処
理を中止する。

【００５４】これによりブロツクアクテイビテイＰが低
い領域については上位の階層データしか送らずに済み、
伝送情報量を削減できるのである。また伝送路を挟んで
これらのデータを受信する画像データ復号装置は、順に
送られてくる伝送データのうち上位階層データを用いて
ブロツクアクテイビテイの低い領域では下位階層データ
を上位階層データで復元する。一方、ブロツクアクテイ
ビテイが高い領域では階層間差分復号値と上位階層デー
タを加算することでデータを復元する。

【００５５】この分割又は非分割の判定結果に対しては
１ビツトの判定フラグが導入されている。このフラグに
よつて各ブロツクについての判定結果を指示することが
可能となる。この判定フラグは各階層のブロツク毎に１
ビツトづつ必要となるが、画質を考慮した場合、有効で
ある。

【００５６】（４）発生情報量制御部一方、発生情報量制御部４０Ｂは、図７に示すように構
成されている。発生情報量制御部４０Ｂは、入力画像デ
ータＤ３１を平均値回路４２、４４、４６、４８を順次
介して１／４平均化することにより解像度の異なる５階
層の画像データを生成する。続いて差分データとして伝
送される画像データの各階層毎の発生情報量を求めるた
め、１階層上の階層画像データＤ３２、Ｄ３３、Ｄ３４
及びＤ３５と各階層の画像データＤ３１、Ｄ３２、Ｄ３
３及びＤ３４との差を各差分回路６１、６２、６３及び
６４において求める。

【００５７】これら各差分回路６１、６２、６３及び６
４から出力される差分データは階層符号化エンコーダ部
４０Ａにおける階層処理によつて得られる各階層の差分
データとみなすことができる。アクテイビテイ検出回路
６５、６６、６７及び６８は第１階層〜第４階層の画像
データにそれぞれ対応し、各階層の各ブロツクについて
アクテイビテイを求めてこれを対応する度数分布表６９
〜７２に登録するようになされている。

【００５８】また第５階層の画像データについては最上
位の階層データであり、差分データとしてではなく直接
伝送されるため各ブロツクについてのダイナミツクレン
ジがそのまま度数分布表７３に登録される。

【００５９】これは上述のエンコーダ部４０Ａにおいて
実行される圧縮処理に対応するデータの度数を計測す
る。例えば第５階層データＤ３５に対してＡＤＲＣ等の
圧縮処理が施される場合は、ＡＤＲＣブロツクのダイナ
ミツクレンジがデータとして登録される。

【００６０】次に、第４階層データＤ３４及び第５階層
データＤ３５から差分データＤ６４が生成される。当該
差分データＤ６４に関し、ブロツクアクテイビテイがア
クテイビテイ検出回路６８において検出される。ここで
検出されたブロツクアクテイビテイＤ６８は度数分布表
７２に登録される。

【００６１】第３階層データＤ３３及び第４階層データ
Ｄ３４から差分データＤ６３が生成される。差分データ
Ｄ６３に関し、ブロツクアクテイビテイがアクテイビテ
イ検出回路６７において検出される。ここで検出された
ブロツクアクテイビテイＤ６７は度数分布表７１に登録
される。このとき第４階層でのしきい値判定結果におい
てブロツク分割続行判定を受けたブロツクのみに関し、
第３階層ではブロツク分割判定を行う。

【００６２】従つて度数分布表７１は第４階層でのブロ
ツクアクテイビテイＤ６８と第３階層でのブロツクアク
テイビテイＤ６７の２変数により座標が決定されるブロ
ツク数を示す度数分布表となる。

【００６３】また第２階層データＤ３２と第３階層デー
タＤ３３から差分データＤ６２が生成され、アクテイビ
テイ検出回路６６においてブロツクアクテイビテイＤ６
６が出力される。検出されたブロツクアクテイビテイＤ
６６は度数分布表７０に登録される。第２階層において
は、第４階層、第３階層でブロツク分割続行判定を受け
たブロツクのみに関し、ブロツク分割判定を行う。

【００６４】従つて度数分布表７０は第４階層でのブロ
ツクアクテイビテイＤ６８と第３階層でのブロツクアク
テイビテイＤ６７と第２階層でのブロツクアクテイビテ
イＤ６６の３変数から座標が決定されるブロツク度数分
布表となる。

【００６５】最後に第１階層データＤ３１と第２階層デ
ータＤ３２から差分データＤ６１が生成され、アクテイ
ビテイ検出回路６５においてブロツクアクテイビテイＤ
６５が出力される。検出されたブロツクアクテイビテイ
Ｄ６５は度数分布表６９に登録される。第１階層におい
ては、第４階層、第３階層及び第２階層でブロツク分割
続行判定を受けたブロツクのみに関し、ブロツク分割判
定を行う。

【００６６】従つて度数分布表６９は第４階層でのブロ
ツクアクテイビテイＤ６８と第３階層でのブロツクアク
テイビテイＤ６７と第２階層でのブロツクアクテイビテ
イＤ６６と第１階層でのブロツクアクテイビテイＤ６５
の４変数から構成される。

【００６７】こうして生成された度数分布表６９〜７３
を用いて発生情報量制御が実行される。各度数分布表と
後段の制御部７４は双方向の信号路Ｄ６９〜Ｄ７３によ
つて接続されている。

【００６８】制御部７４においては、まず各度数分布表
に対するしきい値が各度数分布表に伝送される。各度数
分布表においては、しきい値に対応する発生情報量が検
出される。この各度数分布表における発生情報量は、信
号路Ｄ６９〜Ｄ７３を通して制御部７４に伝送される。

【００６９】制御部７４においては、受信した各度数分
布表における発生情報量を統合し、制御対象となる総発
生情報量を算出する。この総発生情報量と目標値を比較
し、比較結果により目標値を満たすようにしきい値が変
更される。再び更新されたしきい値は制御部７４より、
信号路Ｄ６９〜Ｄ７３を会して各度数分布表に伝送され
る。またこれに対応する発生情報量が再び制御部７４に
伝送される。

【００７０】以上の処理を繰り返し、最終的に目標値を
達成する制御結果Ｄ５７が決定される。決定された発生
情報量制御値Ｄ５７は階層符号化エンコーダ部４０Ａに
伝送される。

【００７１】この情報量制御処理期間中は、制御対象と
なるデータはエンコーダ部４０Ａに含まれるメモリＭ１
により待機させられる。このようなフイードフオワード
型バツフアリングの構成を用いることにより、対象デー
タに適合したしきい値を決定することができ、効率の良
い符号化を実現し得る。

【００７２】ここでは情報量制御用の度数分布表６９〜
７３について説明する。図８（Ａ）〜（Ｅ）はそれぞれ
最上位の階層データ（第５の階層データ）〜最下位の階
層データ（第１の階層データ）について得られたブロツ
クアクテイビテイの度数分布表を示している。ここで図
８（Ａ）に示す第５の階層についての度数分布表に関し
ては、対象データが差分データではないためダイナミツ
クレンジによる度数分布表が生成される。例えばＰＣＭ
符号化を適用する場合には符号化されたブロツクについ
てのダイナミツクレンジが登録されることになる。

【００７３】一方、他の度数分布表６９〜７２は対象デ
ータが差分データであり、各度数分布表について与えら
れているしきい値ＴＨ１、ＴＨ２、ＴＨ３、ＴＨ４以上
のブロツクアクテイビテイを有するブロツクが分割対象
ブロツクとなる。

【００７４】従つて各階層においてしきい値以上のブロ
ツクアクテイビテイを有するブロツクの数を算出すれば
発生情報量を算出することができる。次に発生情報量の
算出例を説明する。発生情報量の算出のためには各階層
における分割判定しきい値以上のブロツク数を計測する
必要があるが、この実施例において対象となる判定フラ
グ伝搬法による階層符号化における発生情報量制御で
は、上位階層におといて分割中止判定を受けたブロツク
を下位階層での判定対象から除去する必要がある。

【００７５】また各階層においては分割判定を行うため
に、ブロツクアクテイビテイに対するしきい値を導入す
る。ここで第１階層における分割対象ブロツク内画素数
和をＭ１、また第１階層データの量子化ビツト数をＱ
１、第１階層の判定フラグビツト数をＮ１とすると、第
１階層における発生情報量Ｉ１は、次式

【数５】によつて与えることができる。

【００７６】この（５）式における第１項において各ビ
ツト数が４倍されているのは、この例の場合、各ブロツ
クが２ライン×２画素に分割されているからである。ま
た第１項において３／４倍しているのは上位階層値が下
位階層値の平均値より生成されるという構造において、
上位階層値と伝送される下位階層値３画素を用いて算術
式により下位階層の４番目の非伝送画素値が復元できる
という性質を反映しているからである。因に第２項にお
いて、第１階層におけるブロツク数をＮ1 が加算されて
いるのは分割判定フラグとして各ブロツクごとに１ビツ
ト付加して伝送することを示している。

【００７７】同様に、第２、第３、第４の階層について
も、各階層における分割対象ブロツク内画素数和をＭ
２、Ｍ３、Ｍ４とし、各階層での量子化ビツト数をＱ
２、Ｑ３、Ｑ４、各階層での判定フラグビツト数をＮ
２、Ｎ３、Ｎ４とすると、各階層における発生情報量Ｉ
ｋ（ｋ＝２、３、４）は、次式

【数６】によつて与えることができる。

【００７８】これら第１〜第４階層についての発生情報
量Ｉ１〜Ｉ４及び第５階層についての発生情報量Ｉ５を
用いると、階層符号化エンコーダ部４０Ａの符号化処理
によつて生じる総発生情報量Ｉは、次式

【数７】のように各階層ごとの発生情報量の和として求めること
ができる。

【００７９】ここで各階層の発生情報量に判定フラグの
ビツト数が加算されるが、このフラグの情報量は上位階
層で分割処理が実行されたブロツク数に等しい。すなわ
ち上位階層において分割処理が中止されたブロツクは、
下位階層においては分割判定対象から除外することを意
味している。各ブロツクの空間的位置は、上位階層から
の判定フラグの履歴により各階層において特定すること
が可能である。

【００８０】ここで個々の度数分布表について説明す
る。上述のように、最上位階層データの度数分布表は圧
縮方式に依存するので、一意には決まらない。しかし、
度数分布表などの手段を用いて、発生情報量を制御でき
る。

【００８１】次に、第４階層データに関しては、ブロツ
クアクテイビテイＡＣＴ４に対するブロツク度数が登録
されている。図９（Ａ）に示す第５階層度数分布表に対
して、図９（Ｂ）の第４階層度数分布表を用いること
で、容易に閾値ＴＨ４に対する発生情報量を算出するこ
とができる。閾値ＴＨ４以上のブロツクが分割対象とな
るので、閾値以上のブロツク数和を求めることにより、
第４階層における発生情報量を算出する。

【００８２】次に、第３階層の度数分布表の例を図１０
に示す。判定フラグ伝播法においては、上位階層で分割
中止判定を受けたブロツクを判定対象から除外する。そ
こで、第３階層ブロツクアクテイビテイＡＣＴ３と、第
４階層ブロツクアクテイビテイＡＣＴ４の２変数で定義
される度数分布表を導入する。

【００８３】すなわち、第４階層の閾値ＴＨ４以上で、
第３階層の閾値ＴＨ３以上のブロツク度数を求める。こ
の操作は、図１０の度数分布表において、ＡＣＴ４軸で
は閾値ＴＨ４以上、ＡＣＴ３軸では閾値ＴＨ３以上のブ
ロツク度数を算出することで、上記の条件を満たす第３
階層における発生情報量の算出を行うことができる。

【００８４】次に、第２階層、第１階層の度数分布表の
例を図１１に示す。第３階層の度数分布表と同じ考え方
に従い、多変数により定義される度数分布表を生成す
る。

【００８５】第２階層においては、第２階層、第３階
層、第４階層のそれぞれのブロツクアクテイビテイＡＣ
Ｔ２、ＡＣＴ３、ＡＣＴ４で定義されるブロツクを度数
分布表に登録する。この状態を図１１（Ａ）に示す。第
２階層では、ＡＣＴ４軸では閾値ＴＨ４以上、ＡＣＴ３
軸では閾値ＴＨ３以上、ＡＣＴ２軸では閾値ＴＨ２以上
のブロツク度数を算出することで、第２階層における発
生情報量を算出する。

【００８６】第１階層においては、第１階層、第２階
層、第３階層及び第４階層のそれぞれのブロツクアクテ
イビテイＡＣＴ１、ＡＣＴ２、ＡＣＴ３及びＡＣＴ４で
定義されるブロツクを度数分布表に登録する。この状態
を図１１（Ｂ）に示す。第１階層の場合は、ＡＣＴ４軸
では閾値ＴＨ４以上、ＡＣＴ３軸では閾値ＴＨ３以上、
ＡＣＴ２軸では閾値ＴＨ２以上のブロツク度数を算出す
ることで、第１階層における発生情報量を算出する。

【００８７】以上の５種類の度数分布表を用いて、閾値
に対する発生情報量を算出し、目標情報量に合致する制
御を行なうことができる。ここで発生情報量制御に用い
られる各階層の閾値については、各階層毎に独立に変更
する手法がある。

【００８８】例えば、各階層毎に予め目標情報量を設定
しておき、各階層毎に独立に閾値を変更して目標情報量
に合致する制御を行なう手法である。また、別の手法と
しては、各階層の閾値の組み合わせを予め用意してお
き、制御順序に従い、その閾値組み合わせを適用するこ
とで、制御の簡素化を図る手法も考えられる。

【００８９】ここで上述の各階層における度数分布表を
用いた発生情報量制御手法において、各階層では、上位
階層の分割判定結果を考慮しつつ、各階層のブロツクア
クテイビテイが閾値以上のブロツク度数を算出すること
で最適制御値を検出した。この閾値以上のブロツク度数
算出時間の高速化を図るため、ブロツク度数が登録され
た度数分布表を積算型度数分布表に再構成することがで
きる。

【００９０】この積算型度数分布表の例を図１３に示
す。すなわちブロツクアクテイビテイを登録した結果、
図１２に示す度数分布表例が得られたとする。この場合
説明の簡素化のため、ブロツクアクテイビテイが１変数
の例を示す。上述の度数分布表では、第４階層のものと
同じである。

【００９１】積算型度数分布表は、図１２の度数分布表
のブロツクアクテイビテイの最大値に対応するブロツク
度数から開始し、より小さいブロツクアクテイビテイ値
に対応するブロツク度数に積算演算を施し、それぞれの
積算結果を度数分布表に登録し直す構造をもつ。

【００９２】この処理を数式で表現すると次式

【数８】によつて表される。但しＳＵＭ（・）は積算ブロツク度
数を表し、Ｎ（・）は度数分布表におけるブロツク度数
を表し、ａｃｔは積算度数分布表におけるブロツクアク
テイビテイ変数を表し、ＡＣＴは度数分布表におけるブ
ロツクアクテイビテイ変数を表し、ｎは度数分布表にお
ける変数最大値を表す。

【００９３】（８）式の意味することは、ブロツクアク
テイビテイ値アドレスのブロツク度数を読み出し、上位
ブロツクアクテイビテイ値までの積算値に加算した結果
を、そのブロツクアクテイビテイ値アドレスに書き込
む、という処理である。この結果図１３に示す積算型度
数分布表を得る。この積算型度数分布表においては、図
１２の斜線部のブロツク度数和が、閾値ＴＨ座標データ
Ｉに対応する。

【００９４】この積算型度数分布表により、閾値ＴＨを
変更するたびに、毎回、図１２の斜線部のブロツク度数
和を計算する必要はなくなる。すなわち、積算型度数分
布表の閾値に対応する積算ブロツク度数を出力すること
でブロツク度数和の算出が実現される。

【００９５】また図１０の第３階層度数分布表は、２変
数の場合を示しており、（８）式を拡張することで積算
型度数分布表が生成され、次式、

【数９】を得る。但し、ＳＵＭ（・）は積算ブロツク度数を表
し、Ｎ（・）は度数分布表におけるブロツク度数を表
し、ａｃｔ３は積算度数分布表における第３階層対応変
数を表し、ａｃｔ４は積算度数分布表における第４階層
対応変数を表し、ＡＣＴ３は度数分布表における第３階
層変数を表し、ＡＣＴ４は度数分布表における第４階層
変数を表し、ｎは度数分布表における変数最大値を表
す。

【００９６】（９）式に従つて生成される積算型度数分
布表においては、第３階層の判定閾値ＴＨ３、第４階層
の判定閾値ＴＨ４のアドレスに対応する積算ブロツク度
数が、閾値ＴＨ３以上かつ判定閾値ＴＨ４以上のブロツ
ク度数和を示す。こうして第３階層における発生情報量
を算出することが可能となる。

【００９７】図１１の第２階層、第１階層の度数分布表
に関しても、積算型度数分布表を用いることでブロツク
度数和算出時間を短縮することができる。これらの場合
は、ブロツクアクテイビテイ変数の数が増えるので、積
算回数は多くなる。

【００９８】まず、第２階層の場合の演算式を次式

【数１０】によつて表す。但し、ＳＵＭ（・）は積算ブロツク度数
を表し、Ｎ（・）は度数分布表におけるブロツク度数を
表し、ａｃｔ２は積算度数分布表における第２階層対応
変数を表し、ａｃｔ３は積算度数分布表における第３階
層対応変数を表し、ａｃｔ４は積算度数分布表における
第４階層対応変数を表し、ＡＣＴ２は度数分布表におけ
る第２階層変数を表し、ＡＣＴ３は度数分布表における
第３階層変数を表し、ＡＣＴ４は度数分布表における第
４階層変数を表す。

【００９９】（１０）式に従い生成される積算型度数分
布表においては、第２階層の判定閾値ＴＨ２、第３階層
の判定閾値ＴＨ３、第４階層の判定閾値ＴＨ４のアドレ
スに対応する積算ブロツク度数が、閾値ＴＨ２以上かつ
閾値ＴＨ３以上かつ判定閾値ＴＨ４以上のブロツク度数
和を示す。

【０１００】こうして第２階層における発生情報量を算
出することが可能となる。最後に、図１１（Ｂ）に示す
第１階層の度数分布表に関する処理を述べる。この場
合、ブロツクアクテイビテイ変数が４種類になるので、
最も積算演算回数は多くなる。ここで第１階層の場合の
演算式を次式

【数１１】によつて表す。但し、ＳＵＭ（・）は積算ブロツク度数
を表し、Ｎ（・）は度数分布表におけるブロツク度数を
表し、ａｃｔ１は積算度数分布表における第１階層対応
変数を表し、ａｃｔ２は積算度数分布表における第２階
層対応変数を表し、ａｃｔ３は積算度数分布表における
第３階層対応変数を表し、ａｃｔ４は積算度数分布表に
おける第４階層対応変数を表し、ＡＣＴ１は度数分布表
における第１階層変数を表し、ＡＣＴ２は度数分布表に
おける第２階層変数を表し、ＡＣＴ３は度数分布表にお
ける第３階層変数を表し、ＡＣＴ４は度数分布表におけ
る第４階層変数を表す。

【０１０１】（１１）式で生成される積算型度数分布表
においては、第１階層の判定閾値ＴＨ１、第２階層の判
定閾値ＴＨ２、第３階層の判定閾値ＴＨ３、第４階層の
判定閾値ＴＨ４のアドレスに対応する積算ブロツク度数
が、閾値ＴＨ１以上、閾値ＴＨ２以上、閾値ＴＨ３以上
かつ閾値ＴＨ４以上のブロツク度数和を示す。こうして
第１階層における発生情報量も算出される。

【０１０２】この処理の結果、（６）式による各階層に
おける分割対象ブロツク数に基づく発生情報量の算出が
実現される。以上の積算型度数分布表の導入により、発
生情報量制御時間を大幅に短縮することが可能となる。
この積算型度数分布表に対し、さらに発生情報量制御時
間を短縮する方法を示す。

【０１０３】この提案で使用される積算型度数分布表
は、分割判定閾値に対する発生情報量の算出に用いられ
る。ここで実際の閾値処理においては、画質劣化の観点
から実用上、大きな判定閾値を使用することができな
い。そこで、ブロツクアクテイビテイ値をクリツプした
度数分布表を作成することを提案する。その様子を図１
４及び図１５に示す。

【０１０４】図１４に示すように、ブロツクアクテイビ
テイ値をＬＭＴでクリツプすると、ＬＭＴ以上のブロツ
ク度数は度数分布表においては全てＬＭＴに登録され
る。その結果、図のようにＬＭＴでのブロツク度数が大
きくなる。算出すべきブロツク度数和は斜線部である。

【０１０５】この度数分布表に対する積算型度数分布表
を、図１４に示す。（８）式〜（１１）式に示される積
算演算は、ブロツクアクテイビテイ値の最大値ｎではな
く、ブロツクアクテイビテイ値ＬＭＴより０までの区間
で行なわれる。

【０１０６】算出すべきブロツク度数和は、閾値ＴＨの
座標の積算ブロツク度数Ｉである。この例に示されるよ
うに、図１３と同じ結果が得られる。度数分布表のブロ
ツクアクテイビテイ値にクリツプを導入することによ
り、積算型度数分布表作成時間の短縮化及び度数分布表
メモリ空間の小型化を実現し得る。

【０１０７】この手法を適用する枠としては、各階層毎
にクリツプ値ＬＭＴを変える場合と、各階層全てクリツ
プ値ＬＭＴを固定にする場合の、２種類が考えられる。
前者は各階層の階層間差分値分布に明らかな違いがある
時に用いられ、後者は各階層の階層間差分値分布が大差
無い時に用いられる。

【０１０８】因に、図１６は階層符号化処理のフローチ
ヤートを示し、ステツプＳＰ２において階層番号を記憶
する階層カウンタＩに「４」が登録され、この階層化の
枠が決定される。

【０１０９】さらにステツプＳＰ３において発生情報量
演算によつて階層データが生成され、ステツプＳＰ４に
おいて各ブロツクアクテイビテイが検出される。このア
クテイビテイに対してステツプＳＰ５において図１０に
おいて上述した多次元度数分布表を作成及び登録するこ
とにより発生情報量制御が行われ、最適制御値が決定さ
れる。

【０１１０】さらにステツプＳＰ６においてエンコーダ
側でこの制御値に基づいて階層符号化が実行される。す
なわち始めに最上位階層である５階層データに対し、符
号化及び復合化が行われる。この結果が下位階層におけ
る処理の初期値となり、ステツプＳＰ７において下位階
層との階層間差分値が生成される。さらにステツプＳＰ
８において冗談において決定された発生情報量制御値に
基づいて下位階層での分割選択及び符号化が実行され
る。

【０１１１】各階層処理の後、ステツプＳＰ９において
階層カウンタＩをデクリメントする。そしてステツプＳ
Ｐ１０において階層カウンタＩの内容に対し、終了判定
が施される。未終了の場合は、さらに下位階層処理を続
行する。全階層の処理を終了した場合、ループを抜けて
ステツプＳＰ１１において処理を終了する。

【０１１２】以上の発生情報量制御により、画質劣化の
少ない圧縮効率の高い階層符号化を行なうことができ
る。

【０１１３】（５）他の実施例なお上述の実施例においては、ブロツクアクテイビテイ
Ｐを各ブロツクについて上位の階層データについて得ら
れた復号データと下位の階層データとの差分値の最大値
で判断する場合について述べたが、本発明はこれに限ら
ず、ブロツク内における平均誤差や絶対値和、また標準
偏差やｎ乗和、さらにはしきい値以上のデータ度数によ
つて判断しても良い。

【０１１４】さらに上述の実施例においては、符号器に
おいて画像データをＰＣＭ符号化する場合について述べ
たが、本発明はこれに限らず、他の符号化方式、例えば
直交符号化方式を適用しても良い。

【０１１５】さらに上述の実施例においては、各階層に
ついて得られた度数分布表のしきい値について複数の組
み合わせをＲＯＭに格納しておき、発生情報量が最も目
標値に近くなるしきい値の組み合わせを求める場合につ
いて述べたが、本発明はこれに限らず、各階層毎独立に
設定できるようにしても良い。

【０１１６】さらに上述の実施例においては、最下位の
階層データを２ライン×２画素づつ平均値を求めて上位
の階層の画像データを求める場合について述べたが、本
発明はこれに限らず、他の組み合わせによつて平均値を
求めるようにしても良い。

【０１１７】

【発明の効果】上述のように本発明によれば、画像デー
タを順次再帰的に異なる複数の解像度でなる複数の階層
データに分割して符号化する際に、階層データの所定の
ブロツクについてブロツクアクテイビテイを判定し、下
位階層データに対する分割処理の判定基準であるしきい
値をブロツクアクテイビテイに対応するブロツクの度数
分布から設定することにより、圧縮効率の低下しない画
像データの階層符号化方法を容易に実現することができ
る。

【図面の簡単な説明】

【図１】本発明による画像符号化方法の原理の説明に供
する略線図である。

【図２】本発明における画像符号化方法によつて適応分
割された撮像画像の処理結果を示す表である。

【図３】本発明における画像符号化方法によつて得られ
る各階層ごとの信号レベルを示す表である。

【図４】本発明による画像符号化装置の一実施例を示す
ブロツク図である。

【図５】階層符号化エンコーダ部を示すブロツク図であ
る。

【図６】階層構造の説明に供する略線図である。

【図７】発生情報量制御部を示すブロツク図である。

【図８】各階層の度数分布表を示す特性曲線図である。

【図９】度数分布表例を示す特性曲線図である。

【図１０】度数分布表例を示す特性曲線図である。

【図１１】度数分布表例を示す特性曲線図である。

【図１２】度数分布表を示す特性曲線図である。

【図１３】積算型度数分布表を示す特性曲線図である。

【図１４】クリツプ値を使用した度数分布表を示す特性
曲線図である。

【図１５】クリツプ値を使用した積算型度数分布表を示
す特性曲線図である。

【図１６】階層符号化の処理手順を示すフローチヤート
である。

【図１７】従来のピラミツド符号化エンコーダの構成を
示すブロツク図である。

【図１８】従来の階層復号化装置を示すブロツク図であ
る。

【符号の説明】

４０……階層符号化装置、４０Ａ……階層符号化エンコ
ーダ部、４０Ｂ……発生情報量制御部、４１、４３、４
５、４７、６１、６２、６３、６４……差分回路、４
２、４４、４６、４６……平均化回路、５１、５２、５
３、５４、５５……符号器、５６、５７、５８、５９…
…復号器、６５、６６、６７、６８……アクテイビテイ
検出回路、６９、７０、７１、７２、７３……度数分布
表、７４……制御部。

【手続補正書】

【提出日】平成６年１１月２４日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正内容】

【書類名】明細書

【発明の名称】画像符号化方法

【特許請求の範囲】

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。産業上の利用分野従来の技術（図１９及び図２０）発明が解決しようとする課題（図１９及び図２０）課題を解決するための手段（図１〜図１２）作用（図１〜図１２）実施例（１）階層符号化の原理（図１〜図３）（２）画像符号化装置の全体構成（図４）（３）階層符号化エンコーダ部（図５〜図８）（４）発生情報量制御部（図９〜図１８）（５）他の実施例発明の効果

【０００２】

【０００３】

【従来の技術】従来、この種の画像符号化装置として、
入力画像データをピラミツド符号化等の階層符号化の手
法を用いて階層的に符号化するものがある（特願平５−
１４２８３６号公報）。この階層符号化装置において
は、高解像度の入力画像データを第１の階層データとし
て、この第１の階層データよりも解像度が低い第２の解
像データ、さらに第２の解像データよりも解像度が低い
第３の階層データ、……を順次再帰的に形成し、これら
複数の階層データを通信路や記録再生経路でなる伝送路
で伝送する。

【０００４】またこのとき複数の階層データを復号化す
る画像復号化装置では、複数の階層データについて全て
復号化しても良く、またそれぞれに対応するテレビジヨ
ンモニタの解像度等により、何れかの階層データのうち
所望の１つを選択して復号化しても良い。このように階
層化された複数の階層データから所望の階層データのみ
について復号化することにより必要最小限の伝送データ
量により所望の画像データを得ることができる。

【０００５】ここで図１９に示すように、この階層符号
化として例えば４階層の符号化を実現する画像符号化装
置では、それぞれ３段分の間引きフイルタ２、３、４と
補間フイルタ５、６、７とを有し、入力画像データＤ１
について各段の間引きフイルタ２、３、４によつて順次
解像度の低い縮小画像データＤ２、Ｄ３、Ｄ４を形成す
ると共に補間フイルタ５、６、７により縮小画像データ
Ｄ２、Ｄ３、Ｄ４を縮小前の解像度に戻す。

【０００６】各間引きフイルタ２〜４の出力Ｄ２〜Ｄ４
及び各補間フイルタ５〜７の出力Ｄ５〜Ｄ７はそれぞれ
差分回路８、９、１０に入力され、これにより差分デー
タＤ８、Ｄ９、Ｄ１０が生成される。この結果、画像符
号化装置１においては、階層データのデータ量を低減す
ると共に信号電力を低減する。ここでこの差分データＤ
８〜Ｄ１０及び縮小画像データＤ４は、入力画像データ
Ｄ１に対して、それぞれ面積が１、１／４、１／１６、
１／６４のサイズとなつている。

【０００８】このようにして伝送される第１〜第４の階
層データＤ１１〜Ｄ１４は、図２０に示す画像復号化装
置によつて復号される。すなわち第１〜第４の階層デー
タＤ１１〜Ｄ１４は、それぞれ復号器２１、２２、２
３、２４によつて復号され、この結果、まず復号器２４
からは第４の階層データＤ２４が出力される。

【００１０】

【００１２】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、画像データを順次再帰的に異なる
複数の解像度でなる複数の階層データＤ３１〜Ｄ３５に
分割して符号化すると共に、解像度が低い上位階層デー
タＤ３５の判定結果に基づいて最下位階層Ｄ３１までの
分割処理に制限を加える画像符号化方法において、隣接
階層間で空間的に対応するブロツクＸｊ（ｉ）の分割処
理の選択により発生情報量を目標値に制御するとき、各
階層間で定義されるブロツクアクテイビテイＡＣＴを全
階層に渡り検出し、当該検出結果に基づくブロツク度数
分布表を用いて最適制御値を検出するようにする。

【００１３】また本発明においては、ブロツクＸｊ
（ｉ）の分割処理の選択により発生情報量の削減を行う
際、発生情報量を目標値に制御するとき、各階層間で定
義されるブロツクアクテイビテイＡＣＴを全階層に渡り
検出し、当該検出結果に基づき生成されるブロツク度数
分布表に関し、各階層において上位階層でのブロツクア
クテイビテイの履歴に基づいて最適制御値を検出するよ
うにする。

【００２０】

【００２１】

【００２２】（１）階層符号化の原理図１は全体として本発明による階層符号化の原理とし
て、例えば高品位テレビジヨン信号等の静止画像を階層
符号化して圧縮する原理を示す。この階層符号化では下
位階層データの単純な算術平均で上位階層データを作
り、伝送すべき下位階層データを減少させて、情報量の
増加を伴わない階層構造を実現する。また上位階層から
下位階層の復号についてはブロツク毎のアクテイビテイ
に基づいて適応的に分割を制御することで、平坦部分の
情報量を削減する。さらに下位階層のために行う差分信
号の符号化では、その量子化特性を上位階層のアクテイ
ビテイに基づいて、付加コードなしにブロツク毎に切り
替えることにより高能率化を実現する。

【００２３】すなわちこの階層符号化の階層構造では、
まず入力される高品位テレビジヨン信号を下位階層と
し、この下位階層の２ライン×２画素の小ブロツク中の
４画素Ｘ１〜Ｘ４について、次式

【００２４】一方下位階層の復号に際しては３画素Ｘ１
〜Ｘ３は、次式

【数３】で表すように上位階層の平均値ｍにそれぞれの差分値Δ
Ｘｉを加えて復号値Ｅ〔Ｘｉ〕を求め、残つた１画素
は、次式

【数４】で表すように上位階層の平均値ｍから下位階層の３個の
復号値を引く事で復号値Ｅ〔Ｘ４〕を決定する。ここ
で、Ｅ〔・〕は復号値を意味する。

【００２６】ここで階層符号化の例としてＩＴＥのＨＤ
標準画像（Ｙ信号）を用い、５階層符号化した場合の適
応分割結果を図２に示す。最大差分データに対する閾値
を変化させた時の各階層の画素数を本来の画素数に対す
る割合を示すが、空間相関に基づく冗長度削減のようす
が分かる。削減効率は画像によつて変わるが最大差分デ
ータに対する閾値を１〜６と変化させると、平均的な削
減率は２８〜６９〔％〕になる。

【００２９】また下位階層の平均値で上位階層を作る事
で、エラー伝播をブロツク内にとめながら、下位階層を
上位階層の平均値からの差分に変換する事で、効率の良
さも合わせ持つ事ができる。実際上階層符号化では同一
空間的位置での階層間のアクテイビテイには相関があ
り、上位階層の量子化結果から下位階層の量子化特性を
決定する事で、受信側に逆量子化のための量子化情報を
伝送する必要のない（但し、初期値を除く）適応量子化
器を実現できる。

【００３０】実際上、上述した５段階の階層構造に基づ
いて画像を階層符号化してマルチ解像度で表現し、階層
構造を利用した適応分割及び適応量子化を行う事で、各
種ＨＤ標準画像（８ビツトのＹ／ＰＢ／ＰＲ）を約１／
８に圧縮することができる。また適応分割のために用意
されるブロツク毎の付加コードは、圧縮効率の向上のた
めに各階層でランレングス符号化が行われる。このよう
にして、各階層で充分な画質の画像が得られ、最終的な
最下位階層も視覚的劣化のない良好な画像を得ることが
できる。

【００３５】ここでアクテイビテイとは、上位階層デー
タに対応する下位階層データ領域を「ブロツク」と定義
した場合の、所定ブロツク内の階層間差分データの最大
値、平均値、絶対値和、標準偏差又はｎ乗和等で表され
る相関値である。すなわちアクテイビテイが低い場合に
は、このブロツクは平坦なブロツクということができ
る。

【００３６】すなわち上位階層データをＸ０（ｉ＋１）
とし、下位階層データをＸｊ（ｉ）とすると、階層間差
分符号値ΔＸｊ（ｉ）＝Ｘ０（ｉ＋１）−Ｘｊ（ｉ）と
なる。但しｊ＝０〜３である。またブロツクアクテイビ
テイ決定関数をＧ（・）とするとブロツクアクテイビテ
イＡＣＴ＝Ｇ（ΔＸｊ（ｉ））となる。

【００３７】また上記階層判定フラグＦＬＧ（０：分割
中止、１：分割継続）とすると、ＦＬＧ＝０の場合、下
位階層の分割を中止し、ＡＣＴ≧しきい値ＴＨかつＦＬ
Ｇ＝１の場合、下位階層の分割を実行し、ＡＣＴ＜しき
い値ＴＨかつＦＬＧ＝１の場合、下位階層の分割を中止
する。

【００３８】この階層での分割判定終了後、分割判定結
果を判定フラグＦＬＧとして定義後、次の下位階層へ伝
搬させる。このようにＦＬＧ＝０の場合は、下位階層で
の分割は行われない。

【００３９】（３）階層符号化エンコーダ部階層符号化エンコーダ部４０Ａは図５に示す構成でな
り、この例の場合、５階層に分けて処理する。

【００４０】まず入力画像データＤ３１が第１の差分回
路４１及び第１の平均化回路４２に入力される。第１の
平均化回路４２は、入力画像データＤ３１（すなわち第
１階層データ（最下位階層データ））の４画素平均によ
り第２階層データＤ３２を生成する。この実施例の場
合、第１の平均化回路４２は、図６（Ｄ）及び（Ｅ）に
示すように、入力画像データＤ３１の４画素Ｘ１（１）
〜Ｘ４（１）から第２階層データＤ２の画素Ｘ１（２）
を生成する。

【００４１】また第２階層データＤ３２の画素Ｘ１
（２）に隣接する画素Ｘ２（２）〜Ｘ４（２）も同様に
第１階層データＤ３１の４画素平均を求めることにより
生成される。

【００４２】第２階層データＤ３２は第２の差分回路４
３及び第２の平均化回路４４に入力され、第２の平均化
回路４４は、第２階層データＤ３２の４画素平均により
第３階層データＤ３３を生成する。例えば、図６（Ｃ）
及び（Ｄ）に示す第２階層データＤ３２の画素Ｘ１
（２）〜Ｘ４（２）から第３階層データＤ３３の画素Ｘ
１（３）が生成されると共に、画素Ｘ１（３）に隣接す
る画素Ｘ２（３）〜Ｘ４（３）も同様に第２階層データ
Ｄ３２の４画素平均により生成される。

【００４３】第３階層データＤ３３は第３の差分回路４
５及び第３の平均化回路４６に入力され、第３の平均化
回路４６は上述の場合と同様に第３階層データＤ３３の
４画素平均により図６（Ｂ）及び（Ｃ）に示すように、
画素Ｘ１（４）〜Ｘ４（４）でなる第４階層データＤ３
４を生成する。

【００４４】第４階層データＤ４４は第４の差分回路４
７及び第４の平均化回路４８に入力され、第４の平均化
回路４８は、第４階層データＤ３４の４画素平均により
最上位階層となる第５階層データＤ３５を生成する。す
なわち図６（Ａ）及び（Ｂ）に示すように、第４階層デ
ータＤ３４の４画素Ｘ１（４）〜Ｘ４（４）を平均化す
ることにより第５階層データＤ３５の画素Ｘ１（５）が
生成される。

【００４５】ここで第１〜第５階層データＤ３１〜Ｄ３
５のブロツクサイズは、最下位階層である第１階層デー
タＤ３１のブロツクサイズを１ライン×１画素とする
と、第２階層データＤ３２は１／２ライン×１／２画
素、第３階層データＤ３３は１／２ライン×１／４画
素、第４階層データＤ３４は１／８ライン×１／８画
素、最上位階層データである第５階層データＤ３５は１
／１６ライン×１／１６画素となる。

【００４６】階層符号化エンコーダ部４０Ａは、これら
第１〜第５の階層データＤ３１〜Ｄ３５のうち最上位の
階層データ（すなわち第５の階層データＤ３５）から順
に再帰的処理を繰り返して隣接する２つの階層データ間
の差分を差分回路４１、４３、４５、４７において求
め、差分データのみを符号器５１〜５５によつて圧縮符
号化する。これにより階層符号化エンコーダ部４０Ａは
伝送路に伝送される情報量を圧縮するようになされてい
る。また階層符号化エンコーダ４０Ａは、（２）式につ
いて上述したように、符号器５１〜５４により、上位階
層１画素に対応する下位階層４画素のうち１画素を減ら
すことにより、伝送データ量を削減する。

【００４７】このような圧縮条件を最適に保つため階層
符号化エンコーダ部４１は、各階層ごとに得られた伝送
データＤ５１〜Ｄ５５を復号器５６〜５９によつて復号
する。

【００４８】このうち最上位の階層に対応する復号器５
９は符号器５５において圧縮符号化された第５の階層デ
ータＤ３５に対応する復号データＤ４８を伝送データＤ
５５から復号し、これを第４階層の差分回路４７に与え
る。

【００４９】これに対して他の復号器５１〜５４は、そ
れぞれ分割／非分割処理の有無を示すフラグに基づいて
復号動作を切換える。すなわち分割処理がなされている
場合には、伝送データＤ５２〜Ｄ５４として伝送される
差分データから復号処理によつて上位の階層データ（す
なわち第４、第３、第２の階層データ）を復号して第３
階層の差分回路４５、第２階層の差分回路４３、第１の
階層データ４１にそれぞれ与えるようになされている。
これにより各差分回路４１、４３、４５、４７からは隣
接する階層間についての差分データＤ４１、Ｄ４２、Ｄ
４３、Ｄ４４が得られることになる。

【００５０】実際上、復号器５８、５７、５６は、図７
に示すように構成されている。ここでは簡単化のため復
号器５８について説明する。復号器５８は復号化回路５
８Ａに第４階層圧縮符号化データＤ５４を受けてこれを
復号する。この結果復号化回路５８Ａからは、例えば図
６に示すＸ１（４）−Ｘ１（５）、Ｘ２（４）−Ｘ１
（５）、Ｘ３（４）−Ｘ１（５）の出力値が得られる。
この出力値は続く加算回路５８Ｂにおいて復元データＤ
４８と加算されることによりＸ１（４）、Ｘ２（４）、
Ｘ３（４）の出力値が得られる。差分値生成回路５８Ｃ
はＸ１（４）、Ｘ２（４）、Ｘ３（４）及びＸ１（５）
を用いて、（４）式に基づく演算を施すことにより非伝
送画素Ｘ４（４）を生成する。従つて続く合成回路５８
Ｄからは、差分前の第４階層データＸ１（４）、Ｘ２
（４）、Ｘ３（４）及びＸ４（４）が生成され、これが
差分回路４５に与えられる。

【００５１】また各階層に対応する符号器５１〜５５は
これら差分回路４１、４３、４５、４７や平均化回路４
８によつて得られた差分データＤ４１、Ｄ４２、Ｄ４
３、Ｄ４４又は第５の階層データＤ３５を入力し、各ブ
ロツクについて得られるアクテイビテイに対するしきい
値の判定と分割選択処理を実行する。このとき符号器５
１〜５５は、処理対象が分割ブロツクの場合、階層間で
得られた差分データをそのまま圧縮符号化し、同時に各
ブロツクについての分割判定フラグをつけて伝送する。

【００５２】これに対して符号器５１〜５５は、処理対
象が非分割ブロツクの場合、このブロツクは受信側にお
いて上位階層データから生成されるものとして符号化対
象から除外する。因にこの場合にも各ブロツクについて
の分割判定フラグは付けて伝送される。これら５組の符
号器５１〜５５から出力される第１〜第５の階層圧縮符
号化データが所定の伝送路に送出される。

【００５３】この場合の符号器５４、５３、５２は、そ
れぞれブロツクの分割又は非分割に用いたしきい値判定
結果情報Ｊ１、Ｊ２、Ｊ３を隣接する下位階層の符号器
５３、５２、５１に送出する。これにより階層符号化エ
ンコーダ部４０Ａは、一旦ブロツク分割を中止したブロ
ツクについてはそれ以降の下位階層では全て分割を中止
するようになされている。実際上、符号器５１〜５４は
図８に示すように構成されている。図８では簡単化する
ため符号器５２及び５３の構成について示す。

【００５４】符号器５３は差分データＤ４３を符号化回
路５３Ａ及び分割制御部５３Ｂのアクテイビテイ検出回
路５３Ｃに入力する。アクテイビテイ検出回路５３Ｃ
は、差分データＤ４３の所定ブロツク毎のアクテイビテ
イを検出し、これにより得た検出結果を続くしきい値判
定回路５３Ｄに与える。しきい値判定回路５３Ｄは各ブ
ロツク毎のアクテイビテイ検出結果をしきい値データＤ
５７と比較し、これにより得た判定結果をしきい値判定
結果情報Ｊ２として符号化回路５３Ａ及び隣接する下位
階層の符号器５２に送出する。符号化回路５３Ａはしき
い値判定結果情報Ｊ２に基づき、アクテイビテイの高い
ブロツクについては圧縮符号化して伝送し、これに対し
てアクテイビテイの低いブロツクについては伝送しな
い。

【００５５】ここでアクテイビテイ検出回路５３Ｃ及び
しきい値判定回路５３Ｄは隣接する上位階層の符号器５
４から出力されたしきい値判定結果情報Ｊ１を受け、当
該しきい値判定結果情報Ｊ１がブロツクの分割を行うこ
とを表すものであつた場合には、アクテイビテイ検出及
びしきい値判定結果を実行する。これに対してしきい値
判定結果情報Ｊ１がブロツクの非分割を表すものであつ
た場合には、それに対応するブロツクについてはアクテ
イビテイ検出及びしきい値判定を行わないと共に、しき
い値判定回路５３Ｄからブロツクの非分割を表すしきい
値判定結果情報Ｊ２を出力する。

【００５６】符号器５２も同様に、アクテイビテイ検出
回路５２Ｃ及びしきい値判定回路５２Ｄが隣接する上位
階層の符号器５３からブロツクの分割を表すしきい値判
定結果情報Ｊ２を受けた場合には、対応するブロツクに
ついてのアクテイビテイ検出及びしきい値判定を実行す
るのに対し、ブロツクの非分割を表すしきい値判定結果
情報Ｊ２を受けた場合には、アクテイビテイ検出及びし
きい値判定を行わないと共に、しきい値判定回路５２Ｄ
からブロツクの非分割を表すしきい値判定結果情報Ｊ３
を出力する。このように階層符号化エンコーダ部４０Ａ
においては、一旦ブロツクの非分割判定結果を得ると、
それに対応するブロツクについてはそれ以降の下位階層
ではブロツク分割しない（すなわち符号化しない）よう
になされている。

【００５７】次に階層符号化エンコーダ部４０Ａによる
具体的な信号処理を説明する。まず階層間差分値に基づ
くブロツクアクテイビテイにより、階層間差分値に対す
る処理を選択する場合を考える。また各ブロツクは２ラ
イン×２画素より構成されるものとする。

【００５８】ここでは各画素のデータ値をＸとし、デー
タ値Ｘの階層をサフイツクスで表す。すなわち上位の階
層データをＸ（０）ｉ＋１とするとき、隣接する下位階
層データはＸｊ（ｉ）（ｊ＝０〜３）である。また階層
間の差分符号値はΔＸｊ（ｉ）（ｊ＝０〜３）であり、
階層符号化エンコーダ部４０Ａはこの差分符号値を圧縮
符号化するのである。

【００５９】各階層における符号器５１〜５５による圧
縮符号化処理は各ブロツクについて得られたブロツクア
クテイビテイＰと閾値データＤ５７とを比較し、比較結
果によつて処理を選択する。すなわちブロツクアクテイ
ビテイＰが閾値ＴＨ以上の場合には下位階層について順
次分割処理するのに対し、ブロツクアクテイビテイＰが
しきい値ＴＨ未満の場合には下位階層についての分割処
理を中止する。

【００６０】これによりブロツクアクテイビテイＰが低
い領域については上位の階層データしか送らずに済み、
伝送情報量を削減できるのである。また伝送路を挟んで
これらのデータを受信する画像データ復号装置は、順に
送られてくる伝送データのうち上位階層データを用いて
ブロツクアクテイビテイの低い領域では下位階層データ
を上位階層データで復元する。一方、ブロツクアクテイ
ビテイが高い領域では階層間差分復号値と上位階層デー
タを加算することでデータを復元する。

【００６１】この分割又は非分割の判定結果に対しては
１ビツトの判定フラグが導入されている。このフラグに
よつて各ブロツクについての判定結果を指示することが
可能となる。この判定フラグは各階層のブロツク毎に１
ビツトづつ必要となるが、画質を考慮した場合、有効で
ある。

【００６２】（４）発生情報量制御部一方、発生情報量制御部４０Ｂは、図９に示すように構
成されている。発生情報量制御部４０Ｂは、入力画像デ
ータＤ３１を平均値回路４２、４４、４６、４８を順次
介して１／４平均化することにより解像度の異なる５階
層の画像データを生成する。続いて差分データとして伝
送される画像データの各階層毎の発生情報量を求めるた
め、１階層上の階層画像データＤ３２、Ｄ３３、Ｄ３４
及びＤ３５と各階層の画像データＤ３１、Ｄ３２、Ｄ３
３及びＤ３４との差を各差分回路６１、６２、６３及び
６４において求める。

【００６３】これら各差分回路６１、６２、６３及び６
４から出力される差分データは階層符号化エンコーダ部
４０Ａにおける階層処理によつて得られる各階層の差分
データとみなすことができる。アクテイビテイ検出回路
６５、６６、６７及び６８は第１階層〜第４階層の画像
データにそれぞれ対応し、各階層の各ブロツクについて
アクテイビテイを求めてこれを対応する度数分布表６９
〜７２に登録するようになされている。

【００６４】ここで度数分布表の生成過程では、エンコ
ーダ部の伝送データ量を正確に把握するために、上位階
層１画素に対応する下位階層４画素のうち実際にエンコ
ーダによる伝送対象である３画素を用いるようになされ
ている。

【００６５】また第５階層の画像データについては最上
位の階層データであり、差分データとしてではなく直接
伝送されるため各ブロツクについてのダイナミツクレン
ジがそのまま度数分布表７３に登録される。

【００６６】これは上述のエンコーダ部４０Ａにおいて
実行される圧縮処理に対応するデータの度数を計測す
る。例えば第５階層データＤ３５に対し、ＰＣＭ符号化
による圧縮処理がなされる場合、各ブロツクについて与
えられるダイナミツクレンジがデータとして登録され、
圧縮処理方法としてＡＤＲＣ（適応ダイナミツクレンジ
符号化（ＵＳＰ−４７０３３５２））を適用する場合に
はＡＤＲＣブロツクのＤＲが登録される。

【００６７】次に、第４階層データＤ３４及び第５階層
データＤ３５から差分データＤ６４が生成される。当該
差分データＤ６４に関し、ブロツクアクテイビテイがア
クテイビテイ検出回路６８において検出される。ここで
検出されたブロツクアクテイビテイＤ６８は度数分布表
７２に登録される。

【００６８】第３階層データＤ３３及び第４階層データ
Ｄ３４から差分データＤ６３が生成される。差分データ
Ｄ６３に関し、ブロツクアクテイビテイがアクテイビテ
イ検出回路６７において検出される。ここで検出された
ブロツクアクテイビテイＤ６７は度数分布表７１に登録
される。このとき第４階層でのしきい値判定結果におい
てブロツク分割続行判定を受けたブロツクのみに関し、
第３階層ではブロツク分割判定を行う。

【００６９】従つて度数分布表７１は第４階層でのブロ
ツクアクテイビテイＤ６８と第３階層でのブロツクアク
テイビテイＤ６７の２変数により座標が決定されるブロ
ツク数を示す度数分布表となる。

【００７０】また第２階層データＤ３２と第３階層デー
タＤ３３から差分データＤ６２が生成され、アクテイビ
テイ検出回路６６においてブロツクアクテイビテイＤ６
６が出力される。検出されたブロツクアクテイビテイＤ
６６は度数分布表７０に登録される。第２階層において
は、第４階層、第３階層でブロツク分割続行判定を受け
たブロツクのみに関し、ブロツク分割判定を行う。

【００７１】従つて度数分布表７０は第４階層でのブロ
ツクアクテイビテイＤ６８と第３階層でのブロツクアク
テイビテイＤ６７と第２階層でのブロツクアクテイビテ
イＤ６６の３変数から座標が決定されるブロツク度数分
布表となる。

【００７２】最後に第１階層データＤ３１と第２階層デ
ータＤ３２から差分データＤ６１が生成され、アクテイ
ビテイ検出回路６５においてブロツクアクテイビテイＤ
６５が出力される。検出されたブロツクアクテイビテイ
Ｄ６５は度数分布表６９に登録される。第１階層におい
ては、第４階層、第３階層及び第２階層でブロツク分割
続行判定を受けたブロツクのみに関し、ブロツク分割判
定を行う。

【００７３】従つて度数分布表６９は第４階層でのブロ
ツクアクテイビテイＤ６８と第３階層でのブロツクアク
テイビテイＤ６７と第２階層でのブロツクアクテイビテ
イＤ６６と第１階層でのブロツクアクテイビテイＤ６５
の４変数から構成される。

【００７４】こうして生成された度数分布表６９〜７３
を用いて発生情報量制御が実行される。各度数分布表と
後段の制御部７４は双方向の信号路Ｄ６９〜Ｄ７３によ
つて接続されている。

【００７５】制御部７４においては、まず各度数分布表
に対するしきい値が各度数分布表に伝送される。各度数
分布表においては、しきい値に対応する発生情報量が検
出される。この各度数分布表における発生情報量は、信
号路Ｄ６９〜Ｄ７３を通して制御部７４に伝送される。

【００７６】制御部７４においては、受信した各度数分
布表における発生情報量を統合し、制御対象となる総発
生情報量を算出する。この総発生情報量と目標値を比較
し、比較結果により目標値を満たすようにしきい値が変
更される。再び更新されたしきい値は制御部７４より、
信号路Ｄ６９〜Ｄ７３を介して各度数分布表に伝送され
る。またこれに対応する発生情報量が再び制御部７４に
伝送される。

【００７７】以上の処理を繰り返し、最終的に目標値を
達成する制御結果Ｄ５７が決定される。決定された発生
情報量制御値Ｄ５７は階層符号化エンコーダ部４０Ａに
伝送される。

【００７８】この情報量制御処理期間中は、制御対象と
なるデータはエンコーダ部４０Ａに含まれるメモリＭ１
により待機させられる。このようなフイードフオワード
型バツフアリングの構成を用いることにより、対象デー
タに適合したしきい値を決定することができ、効率の良
い符号化を実現し得る。

【００７９】ここでは情報量制御用の度数分布表６９〜
７３について説明する。図１０（Ａ）〜（Ｅ）はそれぞ
れ最上位の階層データ（第５の階層データ）〜最下位の
階層データ（第１の階層データ）について得られたブロ
ツクアクテイビテイの度数分布表を示している。ここで
図１０（Ａ）に示す第５の階層についての度数分布表に
関しては、対象データが差分データではないためダイナ
ミツクレンジによる度数分布表が生成される。例えばＰ
ＣＭ符号化を適用する場合には符号化されたブロツクに
ついてのダイナミツクレンジが登録されることになる。

【００８０】一方、他の度数分布表６９〜７２は対象デ
ータが差分データであり、各度数分布表について与えら
れているしきい値ＴＨ１、ＴＨ２、ＴＨ３、ＴＨ４以上
のブロツクアクテイビテイを有するブロツクが分割対象
ブロツクとなる。

【００８１】従つて各階層においてしきい値以上のブロ
ツクアクテイビテイを有するブロツクの数を算出すれば
発生情報量を算出することができる。次に発生情報量の
算出例を説明する。発生情報量の算出のためには各階層
における分割判定しきい値以上のブロツク数を計測する
必要があるが、この実施例において対象となる判定フラ
グ伝搬法による階層符号化における発生情報量制御で
は、上位階層におといて分割中止判定を受けたブロツク
を下位階層での判定対象から除去する必要がある。

【００８２】また各階層においては分割判定を行うため
に、ブロツクアクテイビテイに対するしきい値を導入す
る。ここで第１階層における分割対象ブロツク内画素数
和をＭ１、また第１階層データの量子化ビツト数をＱ
１、第１階層の判定フラグビツト数をＮ１とすると、第
１階層における発生情報量１１は、次式

【数５】によつて与えることができる。

【００８３】この（５）式における第１項において各ビ
ツト数が４倍されているのは、この例の場合、各ブロツ
クが２ライン×２画素に分割されているからである。ま
た第１項において３／４倍しているのは上位階層値が下
位階層値の平均値より生成されるという構造において、
上位階層値と伝送される下位階層値３画素を用いて算術
式により下位階層の４番目の非伝送画素値が復元できる
という性質を反映しているからである。因に第２項にお
いて、第１階層におけるブロツク数をＮ１が加算されて
いるのは分割判定フラグとして各ブロツクごとに１ビツ
ト付加して伝送することを示している。

【００８４】同様に、第２、第３、第４の階層について
も、各階層における分割対象ブロツク内画素数和をＭ
２、Ｍ３、Ｍ４とし、各階層での量子化ビツト数をＱ
２、Ｑ３、Ｑ４、各階層での判定フラグビツト数をＮ
２、Ｎ３、Ｎ４とすると、各階層における発生情報量Ｉ
ｋ（ｋ＝２、３、４）は、次式

【数６】によつて与えることができる。

【００８５】これら第１〜第４階層についての発生情報
量ＩＩ〜Ｉ４及び第５階層についての発生情報量Ｉ５を
用いると、階層符号化エンコーダ部４０Ａの符号化処理
によつて生じる総発生情報量Ｉは、次式

【００８６】ここで各階層の発生情報量に判定フラグの
ビツト数が加算されるが、このフラグの情報量は上位階
層で分割処理が実行されたブロツク数に等しい。すなわ
ち上位階層において分割処理が中止されたブロツクは、
下位階層においては分割判定対象から除外することを意
味している。各ブロツクの空間的位置は、上位階層から
の判定フラグの履歴により各階層において特定すること
が可能である。

【００８７】ここで個々の度数分布表について説明す
る。上述のように、最上位階層データの度数分布表は圧
縮方式に依存するので、一意には決まらない。しかし、
度数分布表などの手段を用いて、発生情報量を制御でき
る。

【００８８】次に、第４階層データに関しては、ブロツ
クアクテイビテイＡＣＴ４に対するブロツク度数が登録
されている。図１１（Ａ）に示す第５階層度数分布表に
対して、図１１（Ｂ）の第４階層度数分布表を用いるこ
とで、容易に閾値ＴＨ４に対する発生情報量を算出する
ことができる。閾値ＴＨ４以上のブロツクが分割対象と
なるので、閾値以上のブロツク数和を求めることによ
り、第４階層における発生情報量を算出する。

【００８９】次に、第３階層の度数分布表の例を図１２
に示す。判定フラグ伝播法においては、上位階層で分割
中止判定を受けたブロツクを判定対象から除外する。そ
こで、第３階層ブロツクアクテイビテイＡＣＴ３と、第
４階層ブロツクアクテイビテイＡＣＴ４の２変数で定義
される度数分布表を導入する。

【００９０】すなわち、第４階層の閾値ＴＨ４以上で、
第３階層の閾値ＴＨ３以上のブロツク度数を求める。こ
の操作は、図１２の度数分布表において、ＡＣＴ４軸で
は閾値ＴＨ４以上、ＡＣＴ３軸では閾値ＴＨ３以上のブ
ロツク度数を算出することで、上記の条件を満たす第３
階層における発生情報量の算出を行うことができる。

【００９１】次に、第２階層、第１階層の度数分布表の
例を図１３に示す。第３階層の度数分布表と同じ考え方
に従い、多変数により定義される度数分布表を生成す
る。

【００９２】第２階層においては、第２階層、第３階
層、第４階層のそれぞれのブロツクアクテイビテイＡＣ
Ｔ２、ＡＣＴ３、ＡＣＴ４で定義されるブロツクを度数
分布表に登録する。この状態を図１３（Ａ）に示す。第
２階層では、ＡＣＴ４軸では閾値ＴＨ４以上、ＡＣＴ３
軸では閾値ＴＨ３以上、ＡＣＴ２軸では閾値ＴＨ２以上
のブロツク度数を算出することで、第２階層における発
生情報量を算出する。

【００９３】第１階層においては、第１階層、第２階
層、第３階層及び第４階層のそれぞれのブロツクアクテ
イビテイＡＣＴ１、ＡＣＴ２、ＡＣＴ３及びＡＣＴ４で
定義されるブロツクを度数分布表に登録する。この状態
を図１３（Ｂ）に示す。第１階層の場合は、ＡＣＴ４軸
では閾値ＴＨ４以上、ＡＣＴ３軸では閾値ＴＨ３以上、
ＡＣＴ２軸では閾値ＴＨ２以上のブロツク度数を算出す
ることで、第１階層における発生情報量を算出する。

【００９４】以上の５種類の度数分布表を用いて、閾値
に対する発生情報量を算出し、目標情報量に合致する制
御を行なうことができる。ここで発生情報量制御に用い
られる各階層の閾値については、各階層毎に独立に変更
する手法がある。

【００９５】例えば、各階層毎に予め目標情報量を設定
しておき、各階層毎に独立に閾値を変更して目標情報量
に合致する制御を行なう手法である。また、別の手法と
しては、各階層の閾値の組み合わせを予め用意してお
き、制御順序に従い、その閾値組み合わせを適用するこ
とで、制御の簡素化を図る手法も考えられる。

【００９６】ここで上述の各階層における度数分布表を
用いた発生情報量制御手法において、各階層では、上位
階層の分割判定結果を考慮しつつ、各階層のブロツクア
クテイビテイが閾値以上のブロツク度数を算出すること
で最適制御値を検出した。この閾値以上のブロツク度数
算出時間の高速化を図るため、ブロツク度数が登録され
た度数分布表を積算型度数分布表に再構成することがで
きる。

【００９７】この積算型度数分布表の例を図１５に示
す。すなわちブロツクアクテイビテイを登録した結果、
図１４に示す度数分布表例が得られたとする。この場合
説明の簡素化のため、ブロツクアクテイビテイが１変数
の例を示す。上述の度数分布表では、第４階層のものと
同じである。

【００９８】積算型度数分布表は、図１４の度数分布表
のブロツクアクテイビテイの最大値に対応するブロツク
度数から開始し、より小さいブロツクアクテイビテイ値
に対応するブロツク度数に積算演算を施し、それぞれの
積算結果を度数分布表に登録し直す構造をもつ。

【００９９】この処理を数式で表現すると次式

【０１００】（８）式の意味することは、ブロツクアク
テイビテイ値アドレスのブロツク度数を読み出し、上位
ブロツクアクテイビテイ値までの積算値に加算した結果
を、そのブロツクアクテイビテイ値アドレスに書き込
む、という処理である。この結果図１５に示す積算型度
数分布表を得る。この積算型度数分布表においては、図
１４の斜線部のブロツク度数和が、閾値ＴＨ座標データ
１に対応する。

【０１０１】この積算型度数分布表により、閾値ＴＨを
変更するたびに、毎回、図１４の斜線部のブロツク度数
和を計算する必要はなくなる。すなわち、積算型度数分
布表の閾値に対応する積算ブロツク度数を出力すること
でブロツク度数和の算出が実現される。

【０１０２】また図１２の第３階層度数分布表は、２変
数の場合を示しており、（８）式を拡張することで積算
型度数分布表が生成され、次式、

【０１０３】（９）式に従つて生成される積算型度数分
布表においては、第３階層の判定閾値ＴＨ３、第４階層
の判定閾値ＴＨ４のアドレスに対応する積算ブロツク度
数が、閾値ＴＨ３以上かつ判定閾値ＴＨ４以上のブロツ
ク度数和を示す。こうして第３階層における発生情報量
を算出することが可能となる。

【０１０４】図１３の第２階層、第１階層の度数分布表
に関しても、積算型度数分布表を用いることでブロツク
度数和算出時間を短縮することができる。これらの場合
は、ブロツクアクテイビテイ変数の数が増えるので、積
算回数は多くなる。

【０１０５】まず、第２階層の場合の演算式を次式

【０１０６】（１０）式に従い生成される積算型度数分
布表においては、第２階層の判定閾値ＴＨ２、第３階層
の判定閾値ＴＨ３、第４階層の判定閾値ＴＨ４のアドレ
スに対応する積算ブロツク度数が、閾値ＴＨ２以上かつ
閾値ＴＨ３以上かつ判定閾値ＴＨ４以上のブロツク度数
和を示す。

【０１０７】こうして第２階層における発生情報量を算
出することが可能となる。最後に、図１３（Ｂ）に示す
第１階層の度数分布表に関する処理を述べる。この場
合、ブロツクアクテイビテイ変数が４種類になるので、
最も積算演算回数は多くなる。ここで第１階層の場合の
演算式を次式

【０１０８】（１１）式で生成される積算型度数分布表
においては、第１階層の判定閾値ＴＨ１、第２階層の判
定閾値ＴＨ２、第３階層の判定閾値ＴＨ３、第４階層の
判定閾値ＴＨ４のアドレスに対応する積算ブロツク度数
が、閾値ＴＨ１以上、閾値ＴＨ２以上、閾値ＴＨ３以上
かつ閾値ＴＨ４以上のブロツク度数和を示す。こうして
第１階層における発生情報量も算出される。

【０１０９】この処理の結果、（６）式による各階層に
おける分割対象ブロツク数に基づく発生情報量の算出が
実現される。以上の積算型度数分布表の導入により、発
生情報量制御時間を大幅に短縮することが可能となる。
この積算型度数分布表に対し、さらに発生情報量制御時
間を短縮する方法を示す。

【０１１０】この提案で使用される積算型度数分布表
は、分割判定閾値に対する発生情報量の算出に用いられ
る。ここで実際の閾値処理においては、画質劣化の観点
から実用上、大きな判定閾値を使用することができな
い。そこで、ブロツクアクテイビテイ値をクリツプした
度数分布表を作成することを提案する。その様子を図１
６及び図１７に示す。

【０１１１】図１６に示すように、ブロツクアクテイビ
テイ値をＬＭＴでクリツプすると、ＬＭＴ以上のブロツ
ク度数は度数分布表においては全てＬＭＴに登録され
る。その結果、図のようにＬＭＴでのブロツク度数が大
きくなる。算出すべきブロツク度数和は斜線部である。

【０１１２】この度数分布表に対する積算型度数分布表
を、図１６に示す。（８）式〜（１１）式に示される積
算演算は、ブロツクアクテイビテイ値の最大値ｎではな
く、ブロツクアクテイビテイ値ＬＭＴより０までの区間
で行なわれる。

【０１１３】算出すべきブロツク度数和は、閾値ＴＨの
座標の積算ブロツク度数Ｉである。この例に示されるよ
うに、図１５と同じ結果が得られる。度数分布表のブロ
ツクアクテイビテイ値にクリツプを導入することによ
り、積算型度数分布表作成時間の短縮化及び度数分布表
メモリ空間の小型化を実現し得る。

【０１１４】この手法を適用する枠としては、各階層毎
にクリツプ値ＬＭＴを変える場合と、各階層全てクリツ
プ値ＬＭＴを固定にする場合の、２種類が考えられる。
前者は各階層の階層間差分値分布に明らかな違いがある
時に用いられ、後者は各階層の階層間差分値分布が大差
無い時に用いられる。

【０１１５】因に、図１８は階層符号化処理のフローチ
ヤートを示し、ステツプＳＰ２において階層番号を記憶
する階層カウンタ１に「４」が登録され、この階層化の
枠が決定される。

【０１１６】さらにステツプＳＰ３において発生情報量
演算によつて階層データが生成され、ステツプＳＰ４に
おいて各ブロツクアクテイビテイが検出される。このア
クテイビテイに対してステツプＳＰ５において図１２に
おいて上述した多次元度数分布表を作成及び登録するこ
とにより発生情報量制御が行われ、最適制御値が決定さ
れる。

【０１１７】さらにステツプＳＰ６においてエンコーダ
側でこの制御値に基づいて階層符号化が実行される。す
なわち始めに最上位階層である５階層データに対し、符
号化及び復号化が行われる。この結果が下位階層におけ
る処理の初期値となり、ステツプＳＰ７において下位階
層との階層間差分値が生成される。さらにステツプＳＰ
８において上位において決定された発生情報量制御値に
基づいて下位階層での分割選択及び符号化が実行され
る。

【０１１８】各階層処理の後、ステツプＳＰ９において
階層カウンタＩをデクリメントする。そしてステツプＳ
Ｐ１０において階層カウンタＩの内容に対し、終了判定
が施される。未終了の場合は、さらに下位階層処理を続
行する。全階層の処理を終了した場合、ループを抜けて
ステツプＳＰ１１において処理を終了する。

【０１１９】以上の発生情報量制御により、画質劣化の
少ない圧縮効率の高い階層符号化を行なうことができ
る。

【０１２０】（５）他の実施例なお上述の実施例においては、ブロツクアクテイビテイ
Ｐを各ブロツクについて上位の階層データについて得ら
れた復号データと下位の階層データとの差分値の最大値
で判断する場合について述べたが、本発明はこれに限ら
ず、ブロツク内における平均誤差や絶対値和、また標準
偏差やｎ乗和、さらにはしきい値以上のデータ度数によ
つて判断しても良い。

【０１２１】さらに上述の実施例においては、符号器に
おいて画像データをＰＣＭ符号化する場合について述べ
たが、本発明はこれに限らず、他の符号化方式、例えば
直交符号化方式を適用しても良い。

【０１２２】さらに上述の実施例においては、各階層に
ついて得られた度数分布表のしきい値について複数の組
み合わせをＲＯＭに格納しておき、発生情報量が最も目
標値に近くなるしきい値の組み合わせを求める場合につ
いて述べたが、本発明はこれに限らず、各階層毎独立に
設定できるようにしても良い。

【０１２３】さらに上述の実施例においては、最下位の
階層データを２ライン×２画素づつ平均値を求めて上位
の階層の画像データを求める場合について述べたが、本
発明はこれに限らず、他の組み合わせによつて平均値を
求めるようにしても良い。

【０１２４】

【図面の簡単な説明】

【図２】本発明における画像符号化方法によつて適応分
割された撮像画像の処理結果を示す図表である。

【図３】本発明における画像符号化方法によつて得られ
る各階層ごとの信号レベルを示す図表である。

【図６】階層構造の説明に供する略線図である。

【図７】復号器の構成を示すブロツク図である。

【図８】符号器の構成を示すブロツク図である。

【図９】発生情報量制御部を示すブロツク図である。

【図１０】各階層の度数分布表を示す特性曲線図であ
る。

【図１１】度数分布表例を示す特性曲線図である。

【図１２】度数分布表例を示す特性曲線図である。

【図１３】度数分布表例を示す特性曲線図である。

【図１４】度数分布表を示す特性曲線図である。

【図１５】積算型度数分布表を示す特性曲線図である。

【図１６】クリツプ値を使用した度数分布表を示す特性
曲線図である。

【図１７】クリツプ値を使用した積算型度数分布表を示
す特性曲線図である。

【図１８】階層符号化の処理手順を示すフローチヤート
である。

【図１９】従来のピラミツド符号化エンコーダの構成を
示すブロツク図である。

【図２０】従来の階層復号化装置を示すブロツク図であ
る。

【符号の説明】４０……階層符号化装置、４０Ａ……階層符号化エンコ
ーダ部、４０Ｂ……発生情報量制御部、４１、４３、４
５、４７、６１、６２、６３、６４……差分回路、４
２、４４、４６、４６……平均化回路、５１、５２、５
３、５４、５５……符号器、５６、５７、５８、５９…
…復号器、６５、６６、６７、６８……アクテイビテイ
検出回路、６９、７０、７１、７２、７３……度数分布
表、７４……制御部。

【手続補正２】

【補正対象書類名】図面

【補正対象項目名】全図

【補正方法】変更

【補正内容】

【図１】

【図２】

【図３】

【図４】

【図６】

【図５】

【図８】

【図１０】

【図７】

【図１１】

【図１２】

【図１４】

【図９】

【図１３】

【図１５】

【図１６】

【図１７】

【図１８】

【図１９】

【図２０】

Claims

【特許請求の範囲】

【請求項１】画像データを順次再帰的に異なる複数の解
像度でなる複数の階層データに分割して符号化すると共
に、解像度が低い上位階層データの判定結果に基づいて
最下位階層までの分割処理に制限を加える画像符号化方
法において、隣接階層間で空間的に対応するブロツクの分割処理の選
択により発生情報量を目標値に制御するとき、各階層間
で定義されるブロツクアクテイビテイを全階層に渡り検
出し、当該検出結果に基づくブロツク度数分布表を用い
て最適制御値を検出するようにしたことを特徴とする画
像符号化方法。
【請求項２】上記ブロツクの分割処理の選択により発生
情報量の削減を行う際、発生情報量を目標値に制御するとき、各階層間で定義さ
れるブロツクアクテイビテイを全階層に渡り検出し、当
該検出結果に基づき生成されるブロツク度数分布表に関
し、各階層において上位階層でのブロツクアクテイビテ
イの履歴に基づいて最適制御値を検出するようにしたこ
とを特徴とする請求項１に記載の画像符号化方法。
【請求項３】上記最適制御値が決定するまで、階層符号
化のエンコーダに入力されるデータを待機状態に制御
し、上記最適制御値が決定したとき上記入力データを階
層符号するようにしたことを特徴とする請求項１に記載
の画像符号化方法。
【請求項４】上記複数階層のブロツクアクテイビテイに
より構成される度数分布表を用いた最適制御値検出過程
において、上記各階層ごとに独立に制御しきい値を設定するように
したことを特徴とする請求項１に記載の画像符号化方
法。
【請求項５】上記複数階層のブロツクアクテイビテイに
より構成される度数分布表を用いた最適制御値検出過程
において、各階層ごとに独立に制御しきい値を設定する際、各階層
ごとの制御しきい値の組み合わせを予め用意し、当該組
み合わせの中から最適制御値を検出するようにしたこと
を特徴とする請求項１に記載の画像符号化方法。
【請求項６】上記複数階層のブロツクアクテイビテイに
より構成される度数分布表を用いた最適制御値検出過程
において、上記度数分布表へのデータ登録終了後、ブロツクアクテ
イビテイの値により積算型度数分布表を作成し、最適制
御値検出時間を短縮化することを特徴とする請求項１に
記載の画像符号化方法。
【請求項７】上記度数分布表にブロツクを登録する際、
度数分布表のブロツクアクテイビテイ値に制限を設定
し、当該制限値以上のブロツクアクテイビテイを有する
ブロツクを所定の座標に登録し、必要メモリ量を削減す
るようにしたことを特徴とする請求項１に記載の画像符
号化方法。
【請求項８】画像データを順次再帰的に異なる複数の解
像度でなる複数の階層データに分割して符号化すると共
に、解像度が低い上位階層データの判定結果に基づいて
最下位階層までの分割処理に制限を加える画像符号化方
法において、隣接階層間で空間的に対応するブロツクの分割処理の選
択により発生情報量を目標値に制御するとき、各階層間
で定義されるブロツクアクテイビテイを全階層に渡り検
出し、当該検出結果に基づくブロツク度数分布表を用い
て最適制御値を検出し、上記検出結果が得られたとき、所定のメモリに待機した
上記画像データを符号化するようにしたことを特徴とす
る画像符号化方法。