JP3337160B2 - 画像処理方法及び画像処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術（図１１及び図１２） 発明が解決しようとする課題 課題を解決するための手段（図６〜図９） 作用（図２及び図３） 実施例（図１〜図１０） （１）階層符号化の原理（図１〜図３） （２）全体構成（図４） （３）階層符号化エンコーダ部４０Ａ（図５及び図６） （３−１）ブロツク構成（図５及び図６） （３−２）処理 （４）発生情報量制御部４０Ｂ（図７〜図９） （４−１）ブロツク構成（図７） （４−２）度数分布表（図８） （４−３）処理（図９） （５）他の実施例（図１０） 発明の効果

【０００２】

【産業上の利用分野】本発明は画像処理方法及び画像処
理装置に関し、例えば所定の画像データを異なる解像度
でなる複数の画像データに分割符号化する画像符号化装
置に適用して好適なものである。

【０００３】

【従来の技術】従来、この種の画像符号化装置として、
入力画像データをピラミツド符号化等の階層符号化の手
法を用いて階層的に符号化するものがある。この階層符
号化装置においては、高解像度の入力画像データを第１
の階層データとして、この第１の階層データよりも解像
度が低い第２の解像データ、さらに第２の解像データよ
りも解像度が低い第３の階層データ、……を順次再帰的
に形成し、これら複数の階層データを１つの通信路や記
録再生経路でなる伝送路で伝送する。

【０００４】またこのとき複数の階層データを復号化す
る画像復号化装置では、複数の階層データについて全て
復号化することに加えて、それぞれに対応するテレビジ
ヨンモニタの解像度等により、何れかの階層データのう
ち所望の１つを選択して復号化し得る。このように階層
化された複数の階層データから所望の階層データのみに
ついて復号化することにより必要最小限の伝送データ量
により所望の画像データを得ることができる。

【０００５】ここで図１１に示すように、この階層符号
化として例えば４階層の符号化を実現する画像符号化装
置１では、それぞれ３段分の間引きフイルタ２、３、４
と補間フイルタ５、６、７とを有し、入力画像データＤ
１について各段の間引きフイルタ２、３、４によつて順
次解像度の低い縮小画像データＤ２、Ｄ３、Ｄ４を形成
すると共に補間フイルタ５、６、７により縮小画像デー
タＤ２、Ｄ３、Ｄ４を縮小前の解像度に戻す。

【０００６】各間引きフイルタ２〜４の出力Ｄ２〜Ｄ４
及び各補間フイルタ５〜７の出力Ｄ５〜Ｄ７はそれぞれ
差分回路８、９、１０に入力され、これにより差分デー
タＤ８、Ｄ９、Ｄ１０が生成される。この結果、画像符
号化装置１においては、階層データのデータ量を低減す
ると共に信号電力を低減する。ここでこの差分データＤ
８〜Ｄ１０及び縮小画像データＤ４は、入力画像データ
Ｄ１に対して、それぞれ面積が１、1/4 、1/16、1/64の
サイズとなつている。

【０００７】それぞれの差分回路８〜１０より得られる
差分データＤ８〜Ｄ１０及び間引きフイルタ４より得ら
れる縮小画像データＤ４は各符号器１１、１２、１３、
１４によつて圧縮処理され、この結果、各符号器１１、
１２、１３、１４から解像度の異なる第１、第２、第３
及び第４の階層データＤ１１、Ｄ１２、Ｄ１３及びＤ１
４が所定の順序で伝送路に送出される。

【０００８】このようにして伝送される第１〜第４の階
層データＤ１１〜Ｄ１４は、図１２に示す画像復号化装
置によつて復号される。すなわち第１〜第４の階層デー
タＤ１１〜Ｄ１４は、それぞれ復号器２１、２２、２
３、２４によつて復号され、この結果、まず復号器２４
からは第４の階層データＤ２４が出力される。

【０００９】また復号器２３の出力は加算回路２９にお
いて補間フイルタ２６より得られる第４の階層データＤ
２４の補間データと加算され、これにより第３の階層デ
ータＤ２３が復元される。同様にして復号器２２の出力
は加算回路３０において補間フイルタ２７より得られる
第３の階層データＤ２３の補間データと加算され、これ
により第２の階層データＤ２２が復元される。さらに復
号器２１の出力は加算回路３１において補間フイルタ２
８より得られる第２の階層データＤ２２の補間データと
加算され、これにより第１の階層データＤ２１が復元さ
れる。

【００１０】

【発明が解決しようとする課題】ところがかかる階層符
号化方法を実現する画像符号化装置においては、入力画
像データを複数の階層データに分割して符号化するた
め、必然的に階層成分だけデータ量が増加するという問
題がある。

【００１１】本発明は以上の点を考慮してなされたもの
で、画像データを階層符号化した場合でも伝送するデー
タ量を低減し得る画像処理方法及び画像処理装置を提案
しようとするものである。

【００１２】

【課題を解決するための手段】かかる課題を解決するた
めに本発明においては、解像度の最も低い最上位階層情
報Ｄ３５から解像度の最も高い最下位階層情報Ｄ３1で
なる複数の階層情報Ｄ３１〜Ｄ３５からなる画像データ
Ｄ３１を処理する画像処理方法において、各階層の階層
情報Ｄ３１〜Ｄ３５に対して、複数の画素からなる各ブ
ロツクについてのブロツクアクテイビテイＰを判定する
第１のステツプと、各階層の階層情報Ｄ３１〜Ｄ３５の
各ブロツクについて、階層に応じて異なる値に設定され
た閾値ＴＨと第１のステツプで判定されたブロツクアク
テイビテイＰとを比較し、当該閾値ＴＨよりもブロツク
アクテイビテイＰが小さくなる比較結果が得られたブロ
ツクについては、当該ブロツクに対応する階層情報を非
伝送とする制御を行う第２のステツプとを設けるように
した。

【００１３】また本発明においては、解像度の最も低い
最上位階層情報Ｄ３５から解像度の最も高い最下位階層
情報Ｄ３１でなる複数の階層情報Ｄ３１〜Ｄ３５からな
る画像データＤ３１を処理する画像処理装置４０におい
て、各階層の階層情報Ｄ３１〜Ｄ３５に対して、複数の
画素からなる各ブロツクについてのブロツクアクテイビ
テイＰを判定するブロツクアクテイビテイ判定手段４０
Ａと、各階層の階層情報Ｄ３１〜Ｄ３５の各ブロツクに
ついて、階層に応じて異なる値に設定された閾値ＴＨと
ブロツクアクテイビテイ判定手段４０Ａで判定されたブ
ロツクアクテイビテイＰとを比較し、当該閾値ＴＨより
もブロツクアクテイビテイＰが小さくなる比較結果が得
られたブロツクについては、当該ブロツクに対応する階
層情報を非伝送とする制御を行う制御手段４０Ｂとを設
けるようにした。

【００１４】

【作用】画像データを順次再帰的に異なる複数の解像度
でなる複数の階層データに分割して符号化する際に、解
像度の最も低い最上位階層データを除く階層データの所
定のブロツクについてブロツクアクテイビテイを判定
し、各階層ごと設定された閾値とブロツクアクテイビテ
イとの比較結果に基づいてブロツク分割処理を制御する
ことにより、人間の視覚特性を考慮した階層符号化方法
を実現することができる。

【００１５】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【００１６】（１）階層符号化の原理 図１は全体として本発明による階層符号化の原理とし
て、例えば高品位テレビジヨン信号等の静止画像を階層
符号化して圧縮する場合を示す。この階層符号化では下
位階層データの単純な算術平均で上位階層データを作る
ことで、情報量の増加を伴わない階層構造を実現する。
また上位階層から下位階層の復号についてはブロツク毎
のアクテイビテイに基づいて適応的に分割を制御するこ
とで平坦部分の情報量を削減する。さらに下位階層のた
めに行う差分信号の符号化では、その量子化特性を上位
階層のアクテイビテイに基づいて、付加コードなしにブ
ロツク毎に切り替えることで高能率化を実現する。

【００１７】すなわちこの階層符号化の階層構造では、
まず入力される高品位テレビジヨン信号を下位階層と
し、この下位階層の２ライン×２画素の小ブロツク中の
４画素Ｘ1 〜Ｘ4 について、次式

【数１】 で表される算術平均を取り、その値ｍを上位階層の値と
する。この下位階層では、次式

【数２】 で示すように、上位階層との差分値を３画素分だけ用意
することで、元々の４画素データと同じ情報量で階層構
造を構成する。

【００１８】一方下位階層の復号に際しては３画素Ｘ1
〜Ｘ3 は、次式

【数３】 で表すように上位階層の平均値ｍにそれぞれの差分値Δ
Ｘi を加えて復号値Ｅ〔Ｘi 〕を求め、残つた１画素
は、次式

【数４】 で表すように上位階層の平均値ｍから下位階層の３個の
復号値を引く事で復号値Ｅ〔Ｘ4 〕を決定する。ここ
で、Ｅ〔 〕は復号値を意味する。

【００１９】ここでこの階層符号化においては、上位階
層から下位階層へは解像度が階層毎に４倍になるが、平
坦部ではこの分割を禁止する事で冗長度を削減してい
る。なおこの分割の有無を指示するためのフラグが１ビ
ツト、ブロツク単位で用意される。下位階層での分割の
必要性の判断は局所的なアクテイビテイとして、例えば
差分データの最大値で判断する。

【００２０】ここで階層符号化の例としてＩＴＥのＨＤ
標準画像（Ｙ信号）を用い、５階層符号化した場合の適
応分割結果を図２に示す。最大差分データに対する閾値
を変化させた時の各階層の画素数を本来の画素数に対す
る割合を示すが、空間相関に基づく冗長度削減のようす
が分かる。削減効率は画像によつて変わるが最大差分デ
ータに対する閾値を１〜６と変化させると、平均的な削
減率は28〜69〔％〕になる。

【００２１】実際上、下位階層の解像度を４分の１倍に
して上位階層を作り、そのとき下位階層では上位階層デ
ータからの差分データを符号化することで、信号レベル
幅を有効に削減できる。図２について上述した階層符号
化による５階層の場合を、図３に示すが、ここでは階層
を下位から数えて第１〜５階層と名付けた。

【００２２】原画像の８ビツトＰＣＭデータに比べて、
信号レベル幅の削減が見られる。特に画素数の多い第１
〜４階層は差分信号なので、大幅な削減が達成でき、以
降の量子化で効率が向上する。図３の表から分かるよう
に削減効率の絵柄への依存性は少なく、全ての絵に対し
て有効である。

【００２３】また下位階層の平均値で上位階層を作るこ
とで、エラー伝播をブロツク内にとめながら、下位階層
を上位階層の平均値からの差分に変換することで、効率
の良さも合わせ持つことができる。実際上階層符号化で
は同一空間的位置での階層間のアクテイビテイには相関
があり、上位階層の量子化結果から下位階層の量子化特
性を決定することで、付加コードを必要としない適応量
子化器を実現できる。

【００２４】実際上、上述した５段階の階層構造に基づ
いて画像を階層符号化してマルチ解像度で表現し、階層
構造を利用した適応分割及び適応量子化を行うことで、
各種ＨＤ標準画像（８ビツトのＹ／ＰB ／ＰR ）を約１
／８に圧縮することができる。また適応分割のために用
意されるブロツク毎の付加コードは、圧縮効率の向上の
ために各階層でランレングス符号化が行われる。このよ
うにして、各階層で充分な画質の画像が得られ、最終的
な最下位階層も視覚的劣化のない良好な画像を得ること
ができる。

【００２５】（２）全体構成 図４において、４０は本発明による画像符号化装置を示
し、入力画像データＤ１を階層符号化して出力する階層
符号化エンコーダ部４０Ａと階層符号化エンコーダ部４
０Ａにおける発生情報量が目標値を達成するように制御
する発生情報量制御部４０Ｂとによつて構成されてい
る。

【００２６】また画像符号化装置４０は人間の視覚特性
を考慮して符号化できるように各階層ごとの閾値を設定
できるようになされている。これにより広い面積に影響
を及ぼす上位階層の画像データについてはブロツクの分
割処理を選択させる一方、狭い面積にしか影響を及ぼさ
ない下位階層の画像データについてはブロツクの分割処
理を選択させないといつた各階層に応じた分割処理を実
現できるようになされている。

【００２７】ここで階層符号化エンコーダ部４０Ａはデ
ータ遅延用のメモリ（図示せず）とエンコーダとによつ
て構成されている。このうちメモリは発生情報量制御部
４０Ｂにおいて最適制御値が決定されるまでの間、エン
コード処理が実行されないようにデータを遅延できるよ
う入力段に設けられている。

【００２８】一方、発生情報量制御部４０Ｂは入力画像
データを入力して処理対象データに適合した閾値ＴＨを
決定するようになされており、階層符号化エンコーダ部
４０Ａにおいて入力画像データが効率良く符号化される
ように決定された最適制御値をエンコーダに伝送するよ
うになされている。いわゆるフイードフオワード型のバ
ツフアリングの構成である。この構成により正確な発生
情報量制御とフイードフオワード型バツフアリングによ
つて発生する時間遅れを排除することができるようにな
されている。

【００２９】（３）階層符号化エンコーダ部４０Ａ （３−１）ブロツク構成 階層符号化エンコーダ部４０Ａは図５に示す構成でな
り、この例の場合、５階層に分けて処理する。まず入力
画像データＤ３１が第１の差分回路４１及び第１の平均
化回路４２に入力される。第１の平均化回路４２は、入
力画像データＤ３１（すなわち第１階層データ（最下位
階層データ））の４画素平均により第２階層データＤ３
２を生成する。この実施例の場合、第１の平均化回路４
２は、図６（Ｄ）及び（Ｅ）に示すように、入力画像デ
ータＤ３１の４画素Ｘ1(1)〜Ｘ4(1)から第２階層データ
Ｄ２の画素Ｘ1(2)を生成する。

【００３０】また第２階層データＤ３２の画素Ｘ1(2)に
隣接する画素Ｘ2(2)〜Ｘ4(2)も同様に第１階層データＤ
３１の４画素平均により生成される。第２階層データＤ
３２は第２の差分回路４３及び第２の平均化回路４４に
入力され、第２の平均化回路４４は、第２階層データＤ
３２の４画素平均により第３階層データＤ３３を生成す
る。例えば、図６（Ｃ）及び（Ｄ）に示す第２階層デー
タＤ３２の画素Ｘ1(2)〜Ｘ4(2)から第３階層データＤ３
３の画素Ｘ1(3)が生成されると共に、画素Ｘ1(3)に隣接
する画素Ｘ2(3)〜Ｘ4(3)も同様に第２階層データＤ３２
の４画素平均により生成される。

【００３１】第３階層データＤ３３は第３の差分回路４
５及び第３の平均化回路４６に入力され、第３の平均化
回路４６は上述の場合と同様に第３階層データＤ３３の
４画素平均により図６（Ｂ）及び（Ｃ）に示すように、
画素Ｘ1(4)〜Ｘ4(4)でなる第４階層データＤ３４を生成
する。第４階層データＤ４４は第４の差分回路４７及び
第４の平均化回路４８に入力され、第４の平均化回路４
８は、第４階層データＤ３４の４画素平均により最上位
階層となる第５階層データＤ３５を生成する。すなわち
図６（Ａ）及び（Ｂ）に示すように、第４階層データＤ
３４の４画素Ｘ1(4)〜Ｘ4(4)を平均化することにより第
５階層データＤ３５の画素Ｘ1(5)が生成される。

【００３２】ここで第１〜第５階層データＤ３１〜Ｄ３
５のブロツクサイズは、最下位階層である第１階層デー
タＤ３１のブロツクサイズを１ライン×１画素とする
と、第２階層データＤ３２は１／２ライン×１／２画
素、第３階層データＤ３３は１／４ライン×１／４画
素、第４階層データＤ３４は１／８ライン×１／８画
素、最上位階層データである第５階層データＤ３５は１
／１６ライン×１／１６画素となる。

【００３３】階層符号化エンコーダ部４０Ａは、これら
第１〜第５の階層データＤ３１〜Ｄ３５のうち最上位の
階層データ（すなわち第５の階層データＤ３５）から順
に再帰的処理を繰り返して隣接する２つの階層データ間
の差分を差分回路４１、４３、４５、４７において求
め、差分データのみを符号器５１〜５５によつて圧縮符
号化する。これにより階層符号化エンコーダ部４０Ａは
伝送路に伝送される情報量を圧縮するようになされてい
る。

【００３４】このような圧縮条件を最適に保つため階層
符号化エンコーダ部４１は、各階層ごとに得られた伝送
データＤ５１〜Ｄ５５を復号器５６〜５９によつて復号
する。このうち最上位の階層に対応する復号器５９は符
号器５５において圧縮符号化された第５の階層データＤ
３５に対応する復号データＤ４８を伝送データＤ５５か
ら復号し、これを第４階層の差分回路４７に与える。

【００３５】これに対して他の復号器５１〜５４は、そ
れぞれ分割／非分割処理の有無を示すフラグに基づいて
復号動作を切換える。すなわち分割処理がなされている
場合には、伝送データＤ５２〜Ｄ５４として伝送される
差分データから復号処理によつて上位の階層データ（す
なわち第４、第３、第２の階層データ）を復号して第３
階層の差分回路４５、第２階層の差分回路４３、第１の
階層データ４１にそれぞれ与えるようになされている。
これにより各差分回路４１、４３、４５、４７からは隣
接する階層間についての差分データＤ４１、Ｄ４２、Ｄ
４３、Ｄ４４が得られることになる。

【００３６】また各階層に対応する符号器５１〜５５は
これら差分回路４１、４３、４５、４７や平均化回路４
８によつて得られた差分データＤ４１、Ｄ４２、Ｄ４
３、Ｄ４４又は第５の階層データＤ３５を入力し、各ブ
ロツクについて得られるアクテイビテイに対する閾値の
判定と分割選択処理を実行する。このとき符号器５１〜
５５は、処理対象が分割ブロツクの場合、階層間で得ら
れた差分データをそのまま圧縮符号化し、同時に各ブロ
ツクについての分割判定フラグをつけて伝送する。

【００３７】これに対して符号器５１〜５５は、処理対
象が非分割ブロツクの場合、このブロツクは受信側にお
いて上位階層データから復号されるものとして符号対象
から除外する。因にこの場合にも各ブロツクについての
分割判定フラグは付けて伝送される。これら５組の符号
器５１〜５５から出力される第１〜第５の階層圧縮符号
化データが所定の伝送路に送出される。

【００３８】（３−２）処理 次に階層符号化エンコーダ部４０Ａによる具体的な信号
処理を説明する。まず階層間差分値に基づくブロツクア
クテイビテイにより、階層間差分値に対する処理を選択
する場合を考える。また各ブロツクは２ライン×２画素
より構成されるものとする。

【００３９】ここでは各画素のデータ値をＸとし、デー
タ値Ｘの階層をサフイツクスで表す。すなわち上位の階
層データをＸi+1(0)とするとき、隣接する下位階層デー
タはＸi(j)（ｊ＝０〜３）である。また階層間の差分符
号値はΔＸi(j)（ｊ＝０〜３）であり、階層符号化エン
コーダ部４０Ａはこの差分符号値を圧縮符号化するので
ある。

【００４０】各階層における符号器５１〜５５による圧
縮符号化処理は各ブロツクについて得られたブロツクア
クテイビテイＰと閾値データＤ５７とを比較し、比較結
果によつて処理を選択する。すなわちブロツクアクテイ
ビテイＰが閾値ＴＨ以上の場合には下位階層について順
次分割処理するのに対し、ブロツクアクテイビテイＰが
閾値ＴＨ未満の場合には下位階層についての分割処理を
中止する。

【００４１】これによりブロツクアクテイビテイＰが低
い領域については上位の階層データしか送らずに済み、
伝送情報量を削減できるのである。また伝送路を挟んで
これらのデータを受信する画像データ復号装置は、順に
送られてくる伝送データのうち上位階層データを用いて
ブロツクアクテイビテイＰの低い領域では下位階層デー
タを上位階層データで復元する。一方、ブロツクアクテ
イビテイＰが高い領域では階層間差分復号値と上位階層
データを加算することでデータを復元する。

【００４２】この分割又は非分割の判定結果に対しては
１ビツトの判定フラグが導入されている。このフラグに
よつて各ブロツクについての判定結果を指示することが
可能となる。この判定フラグは各階層のブロツク毎に１
ビツトづつ必要となるが、画質を考慮した場合、有効で
ある。因にこの実施例における階層符号化方式では、こ
の判定フラグをそれ以降の下位階層での判定には反映さ
せないものとする。またこの判定フラグはランレングス
符号化等によつて符号化され、符号化コードと共に伝送
される。

【００４３】（４）発生情報量制御部４０Ｂ （４−１）ブロツク構成 一方、発生情報量制御部４０Ｂは、図７に示すように構
成されている。この発生情報量制御部４０Ｂは、階層符
号化エンコーダ部４０Ａが画質を劣化させることなく効
率的に画像データを符号化処理できるようにするため、
分割／非分割の選択基準となる各階層についての閾値Ｔ
Ｈ１〜ＴＨ４の組み合わせを設定し、これを階層符号化
エンコーダ部４０Ａに閾値データＤ５７として出力する
ものである。

【００４４】発生情報量制御部４０Ｂは、入力画像デー
タＤ３１を平均値回路４２、４４、４６、４８を順次介
しての解像度の異なる５階層の画像データを生成する。
続いて差分データとして伝送される画像データの各階層
毎の発生情報量を求めるため、１階層上の階層画像デー
タＤ３２、Ｄ３３、Ｄ３４及びＤ３５と各階層の画像デ
ータＤ３１、Ｄ３２、Ｄ３３及びＤ３４との差を各差分
回路６１、６２、６３及び６４において求める。

【００４５】これら各差分回路６１、６２、６３及び６
４から出力される差分データは階層符号化エンコーダ部
４０Ａにおける階層処理によつて得られる各階層の差分
データとみなすことができる。アクテイビテイ検出回路
６５、６６、６７及び６８は第１階層〜第４階層の画像
データにそれぞれ対応し、各階層の各ブロツクについて
ブロツクアクテイビテイを求めてこれを対応する度数分
布表６９〜７２に登録するようになされている。また第
５階層の画像データについては最上位の階層データであ
り、差分データとしてではなく直接伝送されるため各ブ
ロツクについてのダイナミツクレンジがそのまま度数分
布表７３に登録される。

【００４６】制御部７４はこれら５組の度数分布表６９
〜７３と双方向の信号路で接続されており、下位階層を
分割又は非分割か否かの判断基準となるブロツクアクテ
イビテイＰの閾値ＴＨ１〜ＴＨ５の組み合わせをＲＯＭ
に格納している。制御部７４はこれらの組を度数分布表
６９〜７３に与えて、当該閾値に対して生じるであろう
発生情報量を各階層ごとに読み出し、これら全ての発生
情報量を基に全体としての総発生情報量を求める。そし
て総発生情報量が目標値を達成するまで最適な閾値を求
め、得られた閾値を制御データとして階層符号化エンコ
ーダ部４０Ａに与えるようになされている。

【００４７】また制御部７４は階層毎に画像信号データ
の性質や人間の視覚特性を考慮して階層符号化エンコー
ダ部４０Ａに与える制御データを調整し、最適な閾値を
与えることができるようになされている。これにより受
信側において再生された画質について主観的な画質の向
上がみこまれる。

【００４８】（４−２）度数分布表 ここでは情報量制御用の度数分布表６９〜７３について
説明する。図８（Ａ）〜（Ｅ）はそれぞれ最上位の階層
データ（第５の階層データ）〜最下位の階層データ（第
１の階層データ）について得られたブロツクアクテイビ
テイの度数分布表を示している。ここで図８（Ａ）に示
す第５の階層についての度数分布表に関しては、対象デ
ータが差分データではないためダイナミツクレンジによ
る度数分布表が生成される。例えばＰＣＭ符号化を適用
する場合には符号化されたブロツクについてのダイナミ
ツクレンジが登録されることになる。

【００４９】一方、他の度数分布表６９〜７２は対象デ
ータが差分データであり、各度数分布表について与えら
れている閾値ＴＨ１、ＴＨ２、ＴＨ３、ＴＨ４以上のブ
ロツクアクテイビテイを有するブロツクが分割対象ブロ
ツクとなる。従つて各階層において閾値以上のブロツク
アクテイビテイを有するブロツクの数を算出すれば発生
情報量を算出することができる。

【００５０】次に発生情報量の算出例を説明する。ここ
で第１階層におけるブロツク数をＮ1 、またブロツクア
クテイビテイが閾値ＴＨ１より大きい分割対象ブロツク
数をＮ1'とし、その際における量子化ビツト数をＱ１と
すると、第１階層における発生情報量Ｉ１は、次式

【数５】 によつて与えることができる。

【００５１】この（５）式における第１項において各ビ
ツト数が４倍されているのは、この例の場合、各ブロツ
クが２ライン×２画素に分割されているからである。ま
た第１項において３／４倍しているのは上位階層値が下
位階層値の平均値より生成されるという構造において、
上位階層値と伝送される下位階層値３画素を用いて算術
式により下位階層の４番目の非伝送画素値が復元できる
という性質を反映しているからである。因に第２項にお
いて、第１階層におけるブロツク数をＮ1 が加算されて
いるのは分割判定フラグとして各ブロツクごとに１ビツ
ト付加して伝送することを示している。

【００５２】同様に、第２、第３、第４の階層について
も、各階層におけるブロツク数をＮ2 、Ｎ3 、Ｎ4 と
し、またブロツクアクテイビテイが閾値ＴＨ２、ＴＨ
３、ＴＨ４より大きい分割対象ブロツク数をＮ2'、Ｎ
3'、Ｎ4'として、その際における量子化ビツト数をＱ
２、Ｑ３、Ｑ４とすると、各階層における発生情報量Ｉ
ｋ（ｋ＝２、３、４）は、次式

【数６】 によつて与えることができる。

【００５３】これら第１〜第４階層についての発生情報
量Ｉ１〜Ｉ４及び第５階層についての発生情報量Ｉ５を
用いると、階層符号化エンコーダ部４０Ａの符号化処理
によつて生じる総発生情報量Ｉは、次式

【数７】 のように各階層ごとの発生情報量の和として求めること
ができる。

【００５４】（４−３）処理 発生情報量制御部４０Ｂは、階層符号化エンコーダ部４
０Ａと同様、入力画像データＤ３１を入力し、これを平
均化回路４２によつて２ライン×２画素ごとに平均値が
求められ、画素数を１／４に減少させて解像度を落と
す。続いてこの階層データＤ３２についても同様に平均
化回路４３、４６、４８を順に介することにより、それ
ぞれ画素数を１／４に減少させて解像度を落とす。

【００５５】発生情報量制御部４０Ｂは、このように複
数の解像度の画像データのうち最上位（すなわち解像度
が最も低い）の階層データＤ３５を度数分布表７３に与
え、第５の階層データＤ３５における各ブロツクのアク
テイビテイＰの度数を登録する。これは前述の階層符号
化エンコーダ部４０Ａで実行される圧縮処理に対応する
データの度数の計測である。例えば第５階層データＤ３
５に対し、ＰＣＭ符号化による圧縮処理がなされる場
合、各ブロツクについて与えられるダイナミツクレンジ
がデータとして登録される。

【００５６】次に第４の階層データＤ３４と第５の階層
データＤ３５との差分から差分データＤ６４が得られ
る。アクテイビテイ検出回路６８はこの差分データＤ６
４についてアクテイビテイを検出し、アクテイビテイデ
ータＤ６８として度数分布表７２に登録する。同様に下
位の階層データＤ３３、Ｄ３２、Ｄ３１のそれぞれにつ
いて求められた各ブロツクのアクテイビテイＰをアクテ
イビテイデータＤ６７、Ｄ６６、Ｄ６５として度数分布
表７１、７０、６９に順に登録する。

【００５７】制御部７４は図９に示すＲＯＭテーブルか
ら各階層について設定されている分割／非分割設定用の
閾値ＴＨ１、ＴＨ２……ＴＨ５についての組み合わせを
番号の若い組（ＱNO1 ）から順に読み出す。続いて各閾
値ＴＨ１、ＴＨ２……ＴＨ５に対して大きな値のアクテ
イビテイＰを有するブロツク度数を各階層について度数
分布表６９〜７３から読み出し、各階層について各閾値
に対する発生情報量を検出する。

【００５８】制御部７４は各階層の度数分布表６９〜７
３について求められた発生情報量を統合し、階層符号化
エンコーダ４０Ａにおける符号化の結果生じるであろう
総発生情報量を算出する。制御部７４はこの発生情報量
と目標値とを比較し、目標値との差が大きい場合には目
標値を満たす閾値の組み合わせを求めるため次の番号
（ＱNO2 ）の閾値ＴＨ１、ＴＨ２……ＴＨ５の組に移
る。以後、総発生情報量が目標値に達成するまで上述の
処理を繰り返し、目標値に最も近い総発生量が得られる
閾値ＴＨ１、ＴＨ２……ＴＨ５の組を得、これを閾値デ
ータＤ５７として階層符号化エンコーダ４０Ａに出力す
る。

【００５９】以上の構成によれば、複数の解像度を有す
る階層符号化を容易に実現することができる。また階層
符号化エンコーダ４０Ａから符号化されて出力される伝
送画像データの総発生情報量はほぼ目標値に一致させる
ことができ、圧縮効率の低下しない符号化を実現するこ
とができる。さらに画質劣化の少ない階層符号化を実現
することができる。さらに階層符号化の際における発生
情報量の管理を従来に比して一段と容易にすることがで
きる。また各階層ごとの画像信号データの性質や人間の
視覚特性を考慮して最適な閾値を設定できることによ
り、一律に閾値を設定する場合に比して受け手側におけ
る主観的な画質を一段と向上させることができる。

【００６０】（５）他の実施例 なお上述の実施例においては、ブロツクアクテイビテイ
を各ブロツクについて上位の階層データについて得られ
た復号データと下位の階層データとの差分値の最大値で
判断する場合について述べたが、本発明はこれに限ら
ず、ブロツク内における平均誤差や絶対値和、また標準
偏差やｎ乗和、さらには閾値以上のデータ度数によつて
判断しても良い。

【００６１】また上述の実施例においては、各階層毎に
得られた度数分布表をそのまま利用する場合について述
べたが、本発明はこれに限らず、度数分布表から積算型
の度数分布表を作成してこれを発生情報量の計算に用い
ても良い。すなわち各階層ごとに度数分布表を生成した
後、ブロツクアクテイビテイの上位の値から各ブロツク
アクテイビテイの値までのブロツク度数について累積加
算値を求め、各累積加算値を各ブロツクアクテイビテイ
の値に対応するアドレスに書き込んで積算型の度数分布
を作成するようにしても良い。すると各ブロツクアクテ
イビテイに対応する度数はそのブロツクアクテイビテイ
以上の値をもつブロツク度数の積算値となる。

【００６２】このように予め積算型度数分布表を生成す
れば、各閾値に対応するブロツク度数積算値を算出する
ことは不要となり、単なるメモリの閾値アドレスの読み
出しによつてブロツク度数積算値の算出を可能とするこ
とができ、算出に要する時間を大幅に削減することがで
きる。

【００６３】さらに上述の実施例においては、各階層ご
と異なる値に設定された閾値とブロツクアクテイビテイ
とを比較し、ブロツクの分割／非分割を判定する場合に
ついて述べたが、本発明はこれに限らず、各階層ごと異
なる値に設定された閾値と階層間におけるデータの差分
値とを比較し、比較結果に基づいてブロツクの分割／非
分割を判定するようにしても良い。

【００６４】さらに上述の実施例においては、符号器に
おいて画像データをＰＣＭ符号化する場合について述べ
たが、本発明はこれに限らず、他の符号化方式、例えば
直交符号化方式を適用しても良い。

【００６５】さらに上述の実施例においては、各階層に
ついて得られた度数分布表の閾値について複数の組み合
わせをＲＯＭに格納しておき、発生情報量が最も目標値
に近くなる閾値の組み合わせを求める場合について述べ
たが、本発明はこれに限らず、各階層毎独立に設定でき
るようにしても良い。

【００６６】さらに上述の実施例においては、最下位の
階層データを２ライン×２画素づつ平均値を求めて上位
の階層の画像データを求める場合について述べたが、本
発明はこれに限らず、他の組み合わせによつて平均値を
求めるようにしても良い。

【００６７】

【発明の効果】上述のように本発明によれば、解像度の
最も低い最上位階層情報から解像度の最も高い最下位階
層情報でなる複数の階層情報からなる画像データを処理
する画像処理方法において、各階層の階層情報に対し
て、複数の画素からなる各ブロツクについて、ブロツク
アクテイビテイを判定し、各階層の階層情報の各ブロツ
クについて、階層に応じて異なる値に設定された閾値と
第１のステツプで判定されたブロツクアクテイビテイと
を比較し、当該比較結果に基づいて、各階層情報のブロ
ツクに伝送、非伝送を制御するようにしたことにより、
全ての階層データを送らないにもかかわらずほとんど画
質劣化なく復号できると共に、画像データを階層符号化
した場合でも伝送するデータ量を低減し得る画像処理方
法及び画像処理装置を実現できる。

【図面の簡単な説明】

【図１】本発明による画像符号化方法の原理の説明に供
する略線図である。

【図２】本発明における画像符号化方法によつて適応分
割された撮像画像の処理結果を示す表である。

【図３】本発明における画像符号化方法によつて得られ
る各階層ごとの信号レベルを示す表である。

【図４】本発明による画像符号化装置の一実施例を示す
ブロツク図である。

【図５】階層符号化エンコーダ部を示すブロツク図であ
る。

【図６】階層構造の説明に供する略線図である。

【図７】発生情報量制御部を示すブロツク図である。

【図８】各階層の度数分布表を示す特性曲線図である。

【図９】各階層について得られる閾値の組み合わせを示
す表である。

【図１０】積算型度数分布表を示す特性曲線図である。

【図１１】従来における階層符号化装置を示すブロツク
図である。

【図１２】従来における階層復号化装置を示すブロツク
図である。

【符号の説明】

４０……階層符号化装置、４０Ａ……階層符号化エンコ
ーダ部、４０Ｂ……発生情報量制御部、４１、４３、４
５、４７、６１、６２、６３、６４……差分回路、４
２、４４、４６、４６……平均化回路、５１、５２、５
３、５４、５５……符号器、５６、５７、５８、５９…
…復号器、６５、６６、６７、６８……アクテイビテイ
検出回路、６９、７０、７１、７２、７３……度数分布
表、７４……制御部。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 H04N 1/41 - 1/419

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】解像度の最も低い最上位階層情報から解像
   度の最も高い最下位階層情報でなる複数の階層情報から
   なる画像データを処理する画像処理方法において、 各階層の上記階層情報に対して、複数の画素からなる各
   ブロツクについてのブロツクアクテイビテイを判定する
   第１のステツプと、 上記各階層の上記階層情報の各ブロツクについて、上記
   階層に応じて異なる値に設定された閾値と上記第１のス
   テツプで判定された上記ブロツクアクテイビテイとを比
   較し、当該閾値よりも上記ブロツクアクテイビテイが小
   さくなる比較結果が得られた上記ブロツクについては、
   当該ブロツクに対応する上記階層情報を非伝送とする制
   御を行う第２のステツプとを具えることを特徴とする画
   像処理方法。
2. 【請求項２】上記閾値よりも上記ブロツクアクテイビテ
   イが小さくなる比較結果が得られた際に非伝送と制御さ
   れる上記階層情報は、当該比較結果が得られた上記ブロ
   ツクの上記階層情報よりも下位の上記階層情報である こ
   とを特徴とする請求項１に記載の画像処理方法。
3. 【請求項３】 解像度の最も低い最上位階層情報から解像
   度の最も高い最下位階層情報でなる複数の階層情報から
   なる画像データを処理する画像処理装置において、 各階層の上記階層情報に対して、複数の画素からなる各
   ブロツクについてのブロツクアクテイビテイを判定する
   ブロツクアクテイビテイ判定手段と、 上記各階層の上記階層情報の各ブロツクについて、上記
   階層に応じて異なる値に設定された閾値とブロツクアク
   テイビテイ判定手段で判定された上記ブロツクアクテイ
   ビテイとを比較し、当該閾値よりも上記ブロツクアクテ
   イビテイが小さくなる比較結果が得られた上記ブロツク
   については、当該ブロツクに対応する上記階層情報を非
   伝送とする制御を行う制御手段とを具えることを特徴と
   する画像処理装置。
4. 【請求項４】 上記閾値よりも上記ブロツクアクテイビテ
   イが小さくなる比較結果が得られた際に非伝送と制御さ
   れる上記階層情報は、当該比較結果が得られた上記ブロ
   ツクの上記階層情報よりも下位の上記階層情報である こ
   とを特徴とする請求項３に記載の画像処理装置。