JP3356338B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術（図１４及び図１５） 発明が解決しようとする課題 課題を解決するための手段（図６〜図９） 作用（図１〜図３） 実施例（図１〜図１０） （１）階層符号化の原理（図１〜図３） （２）全体構成（図４） （３）階層符号化エンコーダ部４０Ａ（図５及び図６） （３−１）ブロツク構成（図５及び図６） （３−２）処理 （４）発生情報量制御部４０Ｂ（図７〜図９） （４−１）ブロツク構成（図７） （４−２）度数分布表（図８） （４−３）処理（図９） （５）他の実施例（図１０〜図１３） 発明の効果

【０００２】

【産業上の利用分野】本発明は画像処理装置及び画像処
理方法に関し、例えば所定の画像データを異なる解像度
をもつ複数の画像データに分割符号化する画像符号化装
置に適用して好適なものである。

【０００３】

【従来の技術】従来、この種の画像符号化装置として、
入力画像データをピラミツド符号化等の階層符号化の手
法を用いて階層的に符号化するものがある（特願平5-14
2836号公報）。この階層符号化装置においては、高解像
度の入力画像データを第１の階層データとして、この第
１の階層データよりも解像度が低い第２の解像データ、
さらに第２の解像データよりも解像度が低い第３の階層
データ、……を順次再帰的に形成し、これら複数の階層
データを通信路や記録再生経路でなる伝送路で伝送す
る。

【０００４】またこのとき複数の階層データを復号化す
る画像復号化装置では、複数の階層データについて全て
復号化しても良く、またそれぞれに対応するテレビジヨ
ンモニタの解像度等により、何れかの階層データのうち
所望の１つを選択して復号化しても良い。このように階
層化された複数の階層データから所望の階層データのみ
について復号化することにより必要最小限の伝送データ
量により所望の画像データを得ることができる。

【０００５】ここで図１４に示すように、この階層符号
化として例えば４階層の符号化を実現する画像符号化装
置１では、それぞれ３段分の間引きフイルタ２、３、４
と補間フイルタ５、６、７とを有し、入力画像データＤ
１について各段の間引きフイルタ２、３、４によつて順
次解像度の低い縮小画像データＤ２、Ｄ３、Ｄ４を形成
すると共に補間フイルタ５、６、７により縮小画像デー
タＤ２、Ｄ３、Ｄ４を縮小前の解像度に戻す。

【０００６】各間引きフイルタ２〜４の出力Ｄ２〜Ｄ４
及び各補間フイルタ５〜７の出力Ｄ５〜Ｄ７はそれぞれ
差分回路８、９、１０に入力され、これにより差分デー
タＤ８、Ｄ９、Ｄ１０が生成される。この結果、画像符
号化装置１においては、階層データのデータ量を低減す
ると共に信号電力を低減する。ここでこの差分データＤ
８〜Ｄ１０及び縮小画像データＤ４は、入力画像データ
Ｄ１に対して、それぞれ面積が１、1/4 、1/16、1/64の
サイズとなつている。

【０００７】それぞれの差分回路８〜１０より得られる
差分データＤ８〜Ｄ１０及び間引きフイルタ４より得ら
れる縮小画像データＤ４は各符号器１１、１２、１３、
１４によつて圧縮処理され、この結果、各符号器１１、
１２、１３、１４から解像度の異なる第１、第２、第３
及び第４の階層データＤ１１、Ｄ１２、Ｄ１３、Ｄ１４
が所定の順序で伝送路に送出される。

【０００８】このようにして伝送される第１〜第４の階
層データＤ１１〜Ｄ１４は、図１４に示す画像復号化装
置によつて復号される。すなわち第１〜第４の階層デー
タＤ１１〜Ｄ１４は、それぞれ復号器２１、２２、２
３、２４によつて復号され、この結果、まず復号器２４
からは第４の階層データＤ２４が出力される。

【０００９】また復号器２３の出力は加算回路２９にお
いて補間フイルタ２６より得られる第４の階層データＤ
２４の補間データと加算され、これにより第３の階層デ
ータＤ２３が復元される。同様にして復号器２２の出力
は加算回路３０において補間フイルタ２７より得られる
第３の階層データＤ２３の補間データと加算され、これ
により第２の階層データＤ２２が復元される。さらに復
号器２１の出力は加算回路３１において補間フイルタ２
８より得られる第２の階層データＤ２２の補間データと
加算され、これにより第１の階層データＤ２１が復元さ
れる。

【００１０】

【発明が解決しようとする課題】ところがかかる階層符
号化方法を実現する画像符号化装置においては、入力画
像データを複数の階層データに分割して符号化するた
め、必然的に階層成分だけデータ量が増加するという問
題がある。

【００１１】本発明は以上の点を考慮してなされたもの
で、画像データを階層符号化した場合でも伝送するデー
タ量を低減し得る画像処理装置及び画像処理方法を提案
しようとするものである。

【００１２】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、解像度の最も低い最上位階層情報
Ｄ３５から解像度の最も高い最下位階層情報Ｄ３１まで
の複数の階層情報Ｄ３１〜Ｄ３５からなる画像データＤ
３１を処理する画像処理装置４０であつて、所定の階層
の階層情報Ｄ３１〜Ｄ３４に対して、複数の画素からな
る各ブロツクについて、アクテイビテイＰを判定する判
定手段６５〜６８と、階層の各ブロツクについて、アク
テイビテイＰが所定の閾値ＴＨ１〜ＴＨ４未満のときに
ブロツクの階層情報Ｄ３１〜Ｄ３４の伝送をしないこと
を示すフラグを設定するフラグ設定手段６５〜６８と、
階層毎に、アクテイビテイＰに対応するブロツクの度数
の分布を求める分布算出手段６９〜７３と、閾値ＴＨ１
〜ＴＨ４を、当該閾値以上のブロツクの度数を発生情報
量として算出して当該発生情報量が予め定められた目標
値に近くなるように、最適な値に設定する閾値設定手段
７４と、フラグに基づいて、各階層情報の各ブロツク毎
に伝送、非伝送を制御する制御手段５１〜５５とを有す
る。

【００１３】また本発明のフラグ設定手段６５〜６８
は、アクテイビテイＰが所定の閾値ＴＨ１〜ＴＨ４未満
のブロツクの、対応する下位階層のブロツクについて、
当該対応する下位階層のブロツクの階層情報Ｄ３１〜Ｄ
３４の伝送をしないことを示すフラグを設定する。さら
に、本発明の判定手段６５〜６８は、最上階層情報Ｄ３
５を除く階層のブロツクのアクテイビテイＰを判定す
る。

【００１４】さらに、本発明の上位階層情報を除く階層
情報は、隣接する上位階層情報との差分である階層間差
分データである。さらに、本発明においては、アクテイ
ビテイＰとして、所定ブロツク内の階層情報の最大値、
平均値、絶対値和、標準偏差又はｎ乗和のうち少なくと
も１つを用いるようにする。

【００１５】さらに、本発明の閾値設定手段７４は、度
数の分布を保持し、上位の階層のアクテイビテイＰの値
から各アクテイビテイＰに対応する度数の累積加算値を
求め、累積加算値からそれぞれ各アクテイビテイＰに対
応する積算型度数を求めて閾値Ｐを設定する。さらに、
閾値設定手段７４は、予め設定されている各階層毎の閾
値の組み合わせから、発生情報量が予め定められた目標
値に近くなるように前記組み合わせを選択する。

【００１６】さらに、本発明においては、階層情報Ｄ５
１〜Ｄ５５及びフラグを伝送する手段を有する。

【００１７】

【作用】解像度の最も低い最上位階層データＤ３５を除
く階層データＤ３１〜Ｄ３４を所定のブロツクについて
ブロツクアクテイビテイＰを判定することとし、下位階
層データに対する分割処理の判定基準である閾値ＴＨ１
〜ＴＨ４をブロツクアクテイビテイＰに対応するブロツ
ク係数の分布に基づいて設定することにより、画像デー
タＤ３１〜Ｄ３５を階層符号化した場合でも伝送するデ
ータ量を低減することができ、かくして全ての階層デー
タを送らないにもかかわらず殆ど画質劣化なく復号でき
る画像処理装置及び画像処理方法を実現することができ
る。

【００１８】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【００１９】（１）階層符号化の原理 図１は全体として本発明による階層符号化の原理とし
て、例えば高品位テレビジヨン信号等の静止画像を階層
符号化して圧縮する場合を示す。この階層符号化では下
位階層データの単純な算術平均で上位階層データを作
り、伝送すべき下位階層データを減少させて、情報量の
増加を伴わない階層構造を実現する。また上位階層から
下位階層の復号についてはブロツク毎のアクテイビテイ
に基づいて適応的に分割を制御することで平坦部分の情
報量を削減する。さらに下位階層のために行う差分信号
の符号化では、その量子化特性を上位階層のアクテイビ
テイに基づいて、付加コードなしにブロツク毎に切り替
えることで高能率化を実現する。

【００２０】すなわちこの階層符号化の階層構造では、
まず入力される高品位テレビジヨン信号を下位階層と
し、この下位階層の２ライン×２画素の小ブロツク中の
４画素Ｘ1 〜Ｘ4 について、次式

【数１】 ｍ＝（Ｘ1 ＋Ｘ2 ＋Ｘ3 ＋Ｘ4 ）／４ ……（１） で表される算術平均を取り、その値ｍを上位階層の値と
する。この下位階層では、次式

【数２】 ΔＸi ＝Ｘi −ｍ （ただし ｉ＝１〜３） ……（２） で示すように、上位階層との差分値を３画素分だけ用意
することで、元々の４画素データと同じ情報量で階層構
造を構成する。

【００２１】一方下位階層の復号に際しては３画素Ｘ1
〜Ｘ3 は、次式

【数３】 Ｅ〔Ｘi 〕＝ΔＸi ＋ｍ （但し ｉ＝１〜３） ……（３） で表すように、上位階層の平均値ｍにそれぞれの差分値
ΔＸi を加えて復号値Ｅ〔Ｘi 〕を求め、残つた１画素
は、次式

【数４】 Ｅ〔Ｘ4 〕＝ｍ×４−Ｅ〔Ｘ1 〕−Ｅ〔Ｘ2 〕−Ｅ〔Ｘ3 〕 ……（４） で表すように、上位階層の平均値ｍから下位階層の３個
の復号値を引く事で復号値Ｅ〔Ｘ4 〕を決定する。ここ
で、Ｅ〔 〕は復号値を意味する。

【００２２】ここでこの階層符号化においては、上位階
層から下位階層へは解像度が階層毎に４倍になるが、平
坦部ではこの分割を禁止する事で冗長度を削減してい
る。なおこの分割の有無を指示するためのフラグが１ビ
ツト、ブロツク単位で用意される。下位階層での分割の
必要性の判断は局所的なアクテイビテイとして、例えば
差分データの最大値で判断する。

【００２３】ここで階層符号化の例としてＩＴＥのＨＤ
標準画像（Ｙ信号）を用い、５階層符号化した場合の適
応分割結果を図２に示す。最大差分データに対する閾値
を変化させた時の各階層の画素数を本来の画素数に対す
る割合を示すが、空間相関に基づく冗長度削減の様子が
分かる。削減効率は画像によつて変わるが最大差分デー
タに対する閾値を１〜６と変化させると、平均的な削減
率は28〜69〔％〕になる。

【００２４】実際上、下位階層データの解像度を４分の
１にして上位階層データを作り、そのとき下位階層では
上位階層データからの差分データを符号化することで、
信号レベル幅を有効に削減できる。図２について上述し
た階層符号化による５階層の場合を、図３に示すが、こ
こでは階層を下位から数えて第１〜５階層と名付けた。

【００２５】原画像の８ビツトＰＣＭデータに比べて、
信号レベル幅の削減が見られる。特に画素数の多い第１
〜４階層は差分信号なので、大幅な削減が達成でき、以
降の量子化で効率が向上する。図３の表から分かるよう
に削減効率の絵柄への依存性は少なく、全ての絵に対し
て有効である。

【００２６】また下位階層の平均値で上位階層を作るこ
とで、エラー伝播をブロツク内にとめながら、下位階層
を上位階層の平均値からの差分に変換することで、効率
の良さも合わせ持つことができる。実際上階層符号化で
は同一空間的位置での階層間のアクテイビテイには相関
があり、上位階層の量子化結果から下位階層の量子化特
性を決定することで、受信側に逆量子化のための量子化
情報を伝送する必要のない（ただし初期値を除く）適応
量子化器を実現できる。

【００２７】実際上、上述した５段階の階層構造に基づ
いて画像を階層符号化してマルチ解像度で表現し、階層
構造を利用した適応分割及び適応量子化を行うことで、
各種ＨＤ標準画像（８ビツトのＹ／ＰB ／ＰR ）を約１
／８に圧縮することができる。また適応分割のために用
意されるブロツク毎の付加コードは、圧縮効率の向上の
ために各階層でランレングス符号化が行われる。このよ
うにして、各階層で充分な画質の画像が得られ、最終的
な最下位階層も視覚的劣化のない良好な画像を得ること
ができる。

【００２８】（２）全体構成 図４において、４０は本発明による画像符号化装置を示
し、入力画像データＤ１を階層符号化して出力する階層
符号化エンコーダ部４０Ａと階層符号化エンコーダ部４
０Ａにおける発生情報量が目標値を達成するように制御
する発生情報量制御部４０Ｂとによつて構成されてい
る。階層符号化エンコーダ部４０Ａはデータ遅延用のメ
モリ（図示せず）とエンコーダとによつて構成されてい
る。このうちメモリは発生情報量制御部４０Ｂにおいて
最適制御値が決定されるまでの間、エンコード処理が実
行されないようにデータを遅延できるよう入力段に設け
られている。

【００２９】一方、発生情報量制御部４０Ｂは入力画像
データＤ１を入力して処理対象データに適合した閾値Ｔ
Ｈを決定するようになされており、階層符号化エンコー
ダ部４０Ａにおいて入力画像データが効率良く符号化さ
れるように決定された最適制御値をエンコーダに伝送す
るようになされている。いわゆるフイードフオワード型
のバツフアリングの構成である。この構成により正確な
発生情報量制御とフイードフオワード型バツフアリング
によつて発生する時間遅れを排除することができるよう
になされている。

【００３０】（３）階層符号化エンコーダ部４０Ａ （３−１）ブロツク構成 階層符号化エンコーダ部４０Ａは図５に示す構成でな
り、この例の場合、５階層に分けて処理する。まず入力
画像データＤ３１が第１の差分回路４１及び第１の平均
化回路４２に入力される。第１の平均化回路４２は、入
力画像データＤ３１（すなわち第１階層データ（最下位
階層データ））の４画素平均により第２階層データＤ３
２を生成する。この実施例の場合、第１の平均化回路４
２は、図６（Ｄ）及び（Ｅ）に示すように、入力画像デ
ータＤ３１の４画素Ｘ1(1)〜Ｘ4(1)から、その４画素平
均を求めることにより、第２階層データＤ２の画素Ｘ1
(2)を生成する。

【００３１】また第２階層データＤ３２の画素Ｘ1(2)に
隣接する画素Ｘ2(2)〜Ｘ4(2)も同様に第１階層データＤ
３１の４画素平均を求めることにより生成される。第２
階層データＤ３２は第２の差分回路４３及び第２の平均
化回路４４に入力され、第２の平均化回路４４は、第２
階層データＤ３２の４画素平均により第３階層データＤ
３３を生成する。例えば、図６（Ｃ）及び（Ｄ）に示す
第２階層データＤ３２の画素Ｘ1(2)〜Ｘ4(2)から第３階
層データＤ３３の画素Ｘ1(3)が生成されると共に、画素
Ｘ1(3)に隣接する画素Ｘ2(3)〜Ｘ4(3)も同様に第２階層
データＤ３２の４画素平均により生成される。

【００３２】第３階層データＤ３３は第３の差分回路４
５及び第３の平均化回路４６に入力され、第３の平均化
回路４６は上述の場合と同様に第３階層データＤ３３の
４画素平均により図６（Ｂ）及び（Ｃ）に示すように、
画素Ｘ1(4)〜Ｘ4(4)でなる第４階層データＤ３４を生成
する。第４階層データＤ４４は第４の差分回路４７及び
第４の平均化回路４８に入力され、第４の平均化回路４
８は、第４階層データＤ３４の４画素平均により最上位
階層となる第５階層データＤ３５を生成する。すなわち
図６（Ａ）及び（Ｂ）に示すように、第４階層データＤ
３４の４画素Ｘ1(4)〜Ｘ4(4)を平均化することにより第
５階層データＤ３５の画素Ｘ1(5)が生成される。

【００３３】ここで第１〜第５階層データＤ３１〜Ｄ３
５のブロツクサイズは、最下位階層である第１階層デー
タＤ３１のブロツクサイズを１ライン×１画素とする
と、第２階層データＤ３２は１／２ライン×１／２画
素、第３階層データＤ３３は１／２ライン×１／４画
素、第４階層データＤ３４は１／８ライン×１／８画
素、最上位階層データである第５階層データＤ３５は１
／１６ライン×１／１６画素となる。

【００３４】階層符号化エンコーダ部４０Ａは、これら
第１〜第５の階層データＤ３１〜Ｄ３５のうち最上位の
階層データ（すなわち第５の階層データＤ３５）から順
に再帰的処理を繰り返して隣接する２つの階層データ間
の差分を差分回路４１、４３、４５、４７において求
め、差分データのみを符号器５１〜５５によつて圧縮符
号化する。これにより階層符号化エンコーダ部４０Ａは
伝送路に伝送される情報量を圧縮するようになされてい
る。また階層符号化エンコーダ部４０Ａは、（２）式に
ついて上述したように、符号器５１〜５４により、上位
階層１画素に対応する下位階層４画素のうち１画素を減
らすことにより、伝送データ量を低減する。

【００３５】このような圧縮条件を最適に保つため階層
符号化エンコーダ部４０Ａは、各階層ごとに得られた伝
送データＤ５２〜Ｄ５５を復号器５６〜５９によつて復
号する。このうち最上位の階層に対応する復号器５９は
符号器５５において圧縮符号化された第５の階層データ
Ｄ３５に対応する復号データＤ４８を伝送データＤ５５
から復号し、これを第４階層の差分回路４７に与える。

【００３６】これに対して他の復号器５６〜５８は、そ
れぞれ分割／非分割処理の有無を示すフラグに基づいて
復号動作を切換える。すなわち分割処理がなされている
場合には、伝送データＤ５４〜Ｄ５２として伝送される
差分データから復号処理によつて上位の階層データ（す
なわち第４、第３、第２の階層データ）を復号して第３
階層の差分回路４５、第２階層の差分回路４３、第１の
階層データ４１にそれぞれ与えるようになされている。
これにより各差分回路４１、４３、４５、４７からは隣
接する階層間についての差分データＤ４１、Ｄ４２、Ｄ
４３、Ｄ４４が得られることになる。

【００３７】また各階層に対応する符号器５１〜５５は
これら差分回路４１、４３、４５、４７や平均化回路４
８によつて得られた差分データＤ４１、Ｄ４２、Ｄ４
３、Ｄ４４又は第５の階層データＤ３５を入力し、各ブ
ロツクについて得られるアクテイビテイに対するしきい
値の判定と分割選択処理を実行する。このとき符号器５
１〜５５は、処理対象が分割ブロツクの場合、階層間で
得られた差分データをそのまま圧縮符号化し、同時に各
ブロツクについての分割判定フラグをつけて伝送する。

【００３８】これに対して符号器５１〜５５は、処理対
象が非分割ブロツクの場合、このブロツクは受信側にお
いて上位階層データから復号されるものとして符号対象
から除外する。因にこの場合にも各ブロツクについての
分割判定フラグは付けて伝送される。これら５組の符号
器５１〜５５から出力される第１〜第５の階層圧縮符号
化データＤ５１〜Ｄ５５は所定の伝送路に送出される。

【００３９】（３−２）処理 次に階層符号化エンコーダ部４０Ａによる具体的な信号
処理を説明する。まず階層間差分値に基づくブロツクア
クテイビテイにより、階層間差分値に対する処理を選択
する場合を考える。また各ブロツクは２ライン×２画素
より構成されるものとする。

【００４０】ここでは各画素のデータ値をＸとし、デー
タ値Ｘの階層をサフイツクスで表す。すなわち上位の階
層データをＸi+1(0)とするとき、隣接する下位階層デー
タはＸi(j)（ｊ＝０〜３）である。また階層間の差分符
号値はΔＸi(j)（ｊ＝０〜３）であり、階層符号化エン
コーダ部４０Ａはこの差分符号値を圧縮符号化するので
ある。

【００４１】各階層における符号器５１〜５５による圧
縮符号化処理は各ブロツクについて得られたブロツクア
クテイビテイＰと閾値データＤ５７とを比較し、比較結
果によつて処理を選択する。すなわちブロツクアクテイ
ビテイＰが閾値ＴＨ以上の場合には下位階層について順
次分割処理するのに対し、ブロツクアクテイビテイＰが
しきい値ＴＨ未満の場合には下位階層についての分割処
理を中止する。

【００４２】これによりブロツクアクテイビテイＰが低
い領域については上位の階層データしか送らずに済み、
伝送情報量を削減できるのである。また伝送路を挟んで
これらのデータを受信する画像データ復号装置は、順に
送られてくる伝送データのうち上位階層データを用いて
ブロツクアクテイビテイの低い領域では下位階層データ
を上位階層データで復元する。一方、ブロツクアクテイ
ビテイが高い領域では階層間差分復号値と上位階層デー
タを加算することでデータを復元する。

【００４３】この分割又は非分割の判定結果に対しては
１ビツトの判定フラグが導入されている。このフラグに
よつて各ブロツクについての判定結果を指示することが
可能となる。この判定フラグは各階層のブロツク毎に１
ビツトづつ必要となるが、画質を考慮した場合、有効で
ある。因にこの実施例における階層符号化方式では、こ
の判定フラグをそれ以降の下位階層での判定には反映さ
せないものとする。

【００４４】（４）発生情報量制御部４０Ｂ （４−１）ブロツク構成 一方、発生情報量制御部４０Ｂは、図７に示すように構
成されている。この発生情報量制御部４０Ｂは、階層符
号化エンコーダ部４０Ａが画質を劣化させることなく効
率的に画像データを符号化処理できるようにするため、
分割／非分割の選択基準となる各階層についてのしきい
値ＴＨ１〜ＴＨ４の組み合わせを設定し、これを階層符
号化エンコーダ部４０Ａにしきい値データＤ５７として
出力するものである。

【００４５】発生情報量制御部４０Ｂは、入力画像デー
タＤ３１を平均化回路４２、４４、４６、４８を順次介
して１／４平均化することにより解像度の異なる５階層
の画像データを生成する。続いて差分データとして伝送
される画像データの各階層毎の発生情報量を求めるた
め、１階層上の階層画像データＤ３２、Ｄ３３、Ｄ３４
及びＤ３５と各階層の画像データＤ３１、Ｄ３２、Ｄ３
３及びＤ３４との差を各差分回路６１、６２、６３及び
６４において求める。

【００４６】これら各差分回路６１、６２、６３及び６
４から出力される差分データは階層符号化エンコーダ部
４０Ａにおける階層処理によつて得られる各階層の差分
データとみなすことができる。アクテイビテイ検出回路
６５、６６、６７及び６８は第１階層〜第４階層の画像
データにそれぞれ対応し、各階層の各ブロツクについて
アクテイビテイを求めてこれを対応する度数分布表６９
〜７２に登録するようになされている。ここで度数分布
表の生成過程では、エンコーダ部の伝送データ量を正確
に把握するために、上位階層１画素に対応する下位階層
４画素のうち実際にエンコーダによる伝送対象である３
画素を用いるようになされている。

【００４７】また第５階層の画像データについては最上
位の階層データであり、差分データとしてではなく直接
伝送されるため各ブロツクについてのダイナミツクレン
ジがそのまま度数分布表７３に登録される。制御部７４
はこれら５組の度数分布表６９〜７３と双方向の信号路
で接続されており、下位階層を分割／非分割をするか否
かの判断基準となるブロツクアクテイビテイのしきい値
ＴＨ１〜ＴＨ４の組み合わせをＲＯＭに格納している。

【００４８】制御部７４はこれらの組を度数分布表６９
〜７３に与えて、当該しきい値に対して生じるであろう
発生情報量を各階層ごとに読み出し、これら全ての発生
情報量を基に全体としての総発生情報量を求める。そし
て総発生情報量が目標値を達成するまで最適なしきい値
を求め、得られたしきい値を制御データＤ５７として階
層符号化エンコーダ部４０Ａに与えるようになされてい
る。また制御部７４は階層毎に画像信号データの性質や
人間の視覚特性を考慮して階層符号化エンコーダ部４０
Ａに与える制御データを調整し、最適なしきい値を与え
ることができるようになされている。これにより受信側
において再生された画質について主観的な画質の向上が
みこまれる。

【００４９】（４−２）度数分布表 ここでは情報量制御用の度数分布表６９〜７３について
説明する。図８（Ａ）〜（Ｅ）はそれぞれ最上位の階層
データ（第５の階層データ）〜最下位の階層データ（第
１の階層データ）について得られたブロツクアクテイビ
テイの度数分布表を示している。ここで図８（Ａ）に示
す第５の階層についての度数分布表に関しては、対象デ
ータが差分データではないためダイナミツクレンジによ
る度数分布表が生成される。例えば第５階層データＤ３
５に対し、ＰＣＭ符号化による圧縮処理がなされる場
合、各ブロツクについて与えられるダイナミツクレンジ
がデータとして登録され、圧縮処理方法としてＡＤＲＣ
（適応ダイナミツクレンジ符号化（ＵＳＰ−４７０３３
５２））を適用する場合にはＡＤＲＣブロツクのＤＲが
登録される。

【００５０】一方、他の度数分布表６９〜７２は対象デ
ータが差分データであり、各度数分布表について与えら
れているしきい値ＴＨ１、ＴＨ２、ＴＨ３、ＴＨ４以上
のブロツクアクテイビテイを有するブロツクが分割対象
ブロツクとなる。従つて各階層においてしきい値以上の
ブロツクアクテイビテイを有するブロツクの数を算出す
れば発生情報量を算出することができる。

【００５１】次に発生情報量の算出例を説明する。ここ
で第１階層におけるブロツク数をＮ1 、またブロツクア
クテイビテイがしきい値ＴＨ１より大きい分割対象ブロ
ツク数をＮ1'とし、その際における量子化ビツト数をＱ
１とすると、第１階層における発生情報量Ｉ１は、次式

【数５】 Ｉ１＝４・Ｑ１・Ｎ1'・（３／４）＋Ｎ1 ……（５） によつて与えることができる。

【００５２】この（５）式における第１項において各ビ
ツト数が４倍されているのは、この例の場合、各ブロツ
クが２ライン×２画素に分割されているからである。ま
た第１項において３／４倍しているのは上位階層値が下
位階層値の平均値より生成されるという構造において、
上位階層値と伝送される下位階層値３画素を用いて算術
式により下位階層の４番目の非伝送画素値が復元できる
という性質を反映しているからである。因に第２項にお
いて、第１階層におけるブロツク数をＮ1 が加算されて
いるのは分割判定フラグとして各ブロツクごとに１ビツ
ト付加して伝送することを示している。

【００５３】同様に、第２、第３、第４の階層について
も、各階層におけるブロツク数をＮ2 、Ｎ3 、Ｎ4 と
し、またブロツクアクテイビテイがしきい値ＴＨ２、Ｔ
Ｈ３、ＴＨ４より大きい分割対象ブロツク数をＮ2'、Ｎ
3'、Ｎ4'として、その際における量子化ビツト数をＱ
２、Ｑ３、Ｑ４とすると、各階層における発生情報量Ｉ
ｋ（ｋ＝２、３、４）は、次式

【数６】 Ｉｋ＝４・Ｑｋ・Ｎk'・（３／４）＋Ｎk ……（６） によつて与えることができる。

【００５４】これら第１〜第４階層についての発生情報
量Ｉ１〜Ｉ４及び第５階層についての発生情報量Ｉ５を
用いると、階層符号化エンコーダ部４０Ａの符号化処理
によつて生じる総発生情報量Ｉは、次式

【数７】 Ｉ＝Ｉ１＋Ｉ２＋Ｉ３＋Ｉ４＋Ｉ５ ……（７） のように各階層ごとの発生情報量の和として求めること
ができる。

【００５５】（４−３）処理 発生情報量制御部４０Ｂは、階層符号化エンコーダ部４
０Ａと同様、入力画像データＤ３１を入力し、これを平
均化回路４２によつて２ライン×２画素ごとに平均値が
求められ、画素数を１／４に減少させて解像度を落と
す。続いてこの階層データＤ３２についても同様に平均
化回路４３、４６、４８を順に介することにより、それ
ぞれ画素数を１／４に減少させて解像度を落とす。

【００５６】発生情報量制御部４０Ｂは、このように複
数の解像度の画像データのうち最上位（すなわち解像度
が最も低い）の階層データＤ３５を度数分布表７３に与
え、第５の階層データＤ３５における各ブロツクのブロ
ツクアクテイビテイＰの度数を登録する。これは前述の
階層符号化エンコーダ部４０Ａで実行される圧縮処理に
対応するデータの度数の計測である。例えば第５階層デ
ータＤ３５に対し、ＰＣＭ符号化による圧縮処理がなさ
れる場合、各ブロツクについて与えられるダイナミツク
レンジがデータとして登録される。

【００５７】次に第４の階層データＤ３４と第５の階層
データＤ３５との差分から差分データＤ６４が得られ
る。アクテイビテイ検出回路６８はこの差分データＤ６
４についてアクテイビテイを検出し、アクテイビテイデ
ータＤ６８として度数分布表７２に登録する。同様に下
位の階層データＤ３３、Ｄ３２、Ｄ３１のそれぞれにつ
いて求められた各ブロツクのブロツクアクテイビテイＰ
をアクテイビテイデータＤ６７、Ｄ６６、Ｄ６５として
度数分布表７１、７０、６９に順に登録する。

【００５８】制御部７４は図９に示すＲＯＭテーブルか
ら各階層について設定されている分割／非分割設定用の
しきい値ＴＨ１、ＴＨ２……ＴＨ４についての組み合わ
せを番号の若い組（ＱNO1 ）から順に読み出す。続いて
各しきい値ＴＨ１、ＴＨ２……ＴＨ４に対して大きな値
のブロツクアクテイビテイＰを有するブロツク度数を各
階層について度数分布表６９〜７３から読み出し、各階
層について各しきい値に対する発生情報量を検出する。

【００５９】制御部７４は各階層の度数分布表６９〜７
３について求められた発生情報量を統合し、階層符号化
エンコーダ４０Ａにおける符号化の結果生じるであろう
総発生情報量を算出する。制御部７４はこの発生情報量
と目標値とを比較し、目標値との差が大きい場合には目
標値を満たすしきい値の組み合わせを求めるため次の番
号（ＱNO2 ）のしきい値ＴＨ１、ＴＨ２……ＴＨ４の組
に移る。以後、総発生情報量が目標値に達成するまで上
述の処理を繰り返し、目標値に最も近い総発生量が得ら
れるしきい値ＴＨ１、ＴＨ２……ＴＨ４の組を得、これ
をしきい値データＤ５７として階層符号化エンコーダ４
０Ａに出力する。

【００６０】以上の構成によれば、複数の解像度を有す
る階層符号化を容易に実現することができる。また階層
符号化エンコーダ４０Ａから符号化されて出力される伝
送画像データの総発生情報量はほぼ目標値に一致させる
ことができ、圧縮効率の低下しない符号化を実現するこ
とができる。さらに画質劣化の少ない階層符号化を実現
することができる。さらに階層符号化の際における発生
情報量の管理を従来に比して一段と容易にすることがで
きる。

【００６１】（５）他の実施例 なお上述の実施例においては、ブロツクアクテイビテイ
Ｐを各ブロツクについて上位の階層データについて得ら
れた復号データと下位の階層データとの差分値の最大値
で判断する場合について述べたが、本発明はこれに限ら
ず、ブロツク内における平均誤差や絶対値和、また標準
偏差やｎ乗和、さらにはしきい値以上のデータ度数によ
つて判断しても良い。

【００６２】また上述の実施例においては、各階層毎に
得られた度数分布表をそのまま利用する場合について述
べたが、本発明はこれに限らず、度数分布表から積算型
の度数分布表を作成してこれを発生情報量の計算に用い
ても良い。

【００６３】すなわちブロツクアクテイビテイを登録し
た結果、図１０に示すような度数分布表が得られたとす
ると、ブロツクアクテイビテイの最大値に対応する度数
より下位の値へ積算演算を行い、それぞれの結果を図１
１に示すような積算型度数分布表に登録する。

【００６４】この処理を数式で表現すると、ｋをブロツ
クアクテイビテイ値（ｋ＝０〜最大値）、Ｎ（・）を各
ブロツクアクテイビテイ値でのブロツク度数とすると、
次式、

【数８】 Ｎ（ｋ−１）＝Ｎ（ｋ−１）＋Ｎ（ｋ） ……（８） となる。

【００６５】この式は、ブロツクアクテイビテイ値アド
レスのブロツク度数を読み出し、上位ブロツクアクテイ
ビテイ値までの積算値に加算した結果を、そのブロツク
アクテイビテイ値アドレスに書き込むことを意味してい
る。

【００６６】この結果により得られる積算型度数分布表
（図１１）においては、図１０の斜線部のブロツク度数
和がしきい値ＴＨ座標データＩに対応する。この積算型
度数分布表により、しきい値ＴＨを変更するたびに、毎
回斜線部（図１０）のブロツク度数和を計算する必要が
なくなる。

【００６７】すなわち各階層ごとに度数分布表を生成し
た後、ブロツクアクテイビテイの上位の値から各ブロツ
クアクテイビテイの値までのブロツク度数について累積
加算値を求め、各累積加算値を各ブロツクアクテイビテ
イの値に対応するアドレスに書き込んで積算型の度数分
布を作成することにより、各ブロツクアクテイビテイに
対応する度数はそのブロツクアクテイビテイ以上の値を
もつブロツク度数の積算値となる。

【００６８】このように予め積算型度数分布表を生成す
れば、各しきい値に対応するブロツク度数積算値を算出
することは不要となり、単なるメモリのしきい値アドレ
スの読み出しによつてブロツク度数積算値の算出を可能
とすることができ、算出に要する時間を大幅に削減する
ことができる。

【００６９】ここで実際のしきい値処理においては、画
質が劣化することを回避するために大きな判定しきい値
を使用することが困難である。従つてブロツクアクテイ
ビテイ値をクリツプした度数分布表を作成するようにし
ても良い。

【００７０】すなわち図１２に示すようにブロツクアク
テイビテイ値をＬＭＴでクリツプすると、当該ＬＭＴ以
上のブロツク度数は度数分布表においては全てＬＭＴに
登録される。この結果、図１２のようにＬＭＴでのブロ
ツク度数が大きくなる。ここで算出すべきブロツク度数
和は斜線部である。

【００７１】この度数分布表に対する積算型度数分布表
を図１３に示す。この場合、上述の（８）式の積算演算
はブロツクアクテイビテイ値の最大値ではなく、ブロツ
クアクテイビテイ値ＬＭＴより０までの区間で行われ
る。算出すべきブロツク度数和は、しきい値ＴＨの座標
の積算ブロツク度数Ｉである。このように図１１に示し
た場合と同様の結果が得られる。かくして積算型度数分
布表作成時間の短縮化を実現し得ると共に度数分布表メ
モリを一段と小型化することができる。

【００７２】因に、クリツプ値ＬＭＴを設定する場合、
第１の方法として各階層ごとにクリツプ値ＬＭＴを変え
る方法、及び第２の方法として各階層全てにおいてクリ
ツプ値ＬＭＴを固定値にする方法が考えられ、第１の方
法は各階層の階層間差分値分布に明らかな違いがある場
合に用いられ、第２の方法は各階層の階層間差分分布が
大差無い場合に用いられる。

【００７３】さらに上述の実施例においては、符号器に
おいて画像データをＰＣＭ符号化する場合について述べ
たが、本発明はこれに限らず、他の符号化方式、例えば
直交符号化方式を適用しても良い。

【００７４】さらに上述の実施例においては、各階層に
ついて得られた度数分布表のしきい値について複数の組
み合わせをＲＯＭに格納しておき、発生情報量が最も目
標値に近くなるしきい値の組み合わせを求める場合につ
いて述べたが、本発明はこれに限らず、各階層毎独立に
設定できるようにしても良い。

【００７５】さらに上述の実施例においては、最下位の
階層データを２ライン×２画素づつ平均値を求めて上位
の階層の画像データを求める場合について述べたが、本
発明はこれに限らず、他の組み合わせによつて平均値を
求めるようにしても良い。

【００７６】

【発明の効果】上述のように本発明によれば、解像度の
最も低い最上位階層情報から解像度の最も高い最下位階
層情報でなる複数の階層情報からなる画像データを処理
する画像処理装置及び画像処理方法において、解像度の
最も低い最上位階層データを除く階層データを所定のブ
ロツクについてブロツクアクテイビテイを判定すること
とし、下位階層データに対する分割処理の判定基準であ
る閾値をブロツクアクテイビテイに対応するブロツク係
数の分布に基づいて設定することにより、画像データを
階層符号化した場合でも伝送するデータ量を低減するこ
とができ、かくして全ての階層データを送らないにもか
かわらず殆ど画質劣化なく復号できる画像処理装置及び
画像処理方法を実現することができる。

【図面の簡単な説明】

【図１】本発明の画像処理方法による画像符号化方法の
原理の説明に供する略線図である。

【図２】本発明における画像符号化方法によつて適応分
割された撮像画像の処理結果を示す表である。

【図３】本発明における画像符号化方法によつて得られ
る各階層ごとの信号レベルを示す表である。

【図４】本発明の画像処理方法による画像符号化装置の
一実施例を示すブロツク図である。

【図５】階層符号化エンコーダ部を示すブロツク図であ
る。

【図６】階層構造の説明に供する略線図である。

【図７】発生情報量制御部を示すブロツク図である。

【図８】各階層の度数分布表を示す特性曲線図である。

【図９】各階層について得られるしきい値の組み合わせ
を示す表である。

【図１０】積算型度数分布表を示す特性曲線図である。

【図１１】積算型度数分布表を示す特性曲線図である。

【図１２】度数分布表を示す特性曲線図である。

【図１３】積算型度数分布表を示す特性曲線図である。

【図１４】従来の階層符号化装置を示すブロツク図であ
る。

【図１５】従来の階層復号化装置を示すブロツク図であ
る。

【符号の説明】

４０……階層符号化装置、４０Ａ……階層符号化エンコ
ーダ部、４０Ｂ……発生情報量制御部、４１、４３、４
５、４７、６１、６２、６３、６４……差分回路、４
２、４４、４６、４６……平均化回路、５１、５２、５
３、５４、５５……符号器、５６、５７、５８、５９…
…復号器、６５、６６、６７、６８……アクテイビテイ
検出回路、６９、７０、７１、７２、７３……度数分布
表、７４……制御部。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims (9)

(57)【特許請求の範囲】
1. 【請求項１】解像度の最も低い最上位階層情報から解像
   度の最も高い最下位階層情報までの複数の階層情報から
   なる画像データを処理する画像処理装置であつて、 所定の階層の階層情報に対して、 複数の画素からなる各
   ブロツクについて、アクテイビテイを判定する判定手段
   と、前記階層の各ブロツクについて、前記アクテイビテイが
   所定の閾値未満のときに前記ブロツクの階層情報の伝送
   をしないことを示すフラグを設定するフラグ設定手段
   と、 前記階層毎に、前記アクテイビテイに対応する前記ブロ
   ツクの度数の分布を求める分布算出手段と、 前記閾値を、当該閾値以上の前記ブロツクの度数を発生
   情報量として算出して当該発生情報量が予め定められた
   目標値に近くなるように、最適な値に設定する閾値設定
   手段と、 前記フラグに基づいて、各階層情報の各ブロツク毎に伝
   送、非伝送を 制御する制御手段とを具えることを特徴と
   する画像処理装置。
2. 【請求項２】前記フラグ設定手段は、前記アクテイビテ
   イが所定の閾値未満の前記ブロツクの、対応する下位階
   層のブロツクについて、当該対応する下位階層のブロツ
   クの階層情報の伝送をしないことを示すフラグを設定す
   ることを特徴とする請求項１に記載の画像処理装置。
3. 【請求項３】 前記判定手段は、前記最上位階層情報を除
   く階層のブロツクのアクテイビテイを判定することを特
   徴とする請求項１に記載の画像処理装置。
4. 【請求項４】 前記上位階層情報を除く前記階層情報は、
   隣接する上位階層情報との差分である階層間差分データ
   であることを特徴とする請求項１に記載の画像処理装
   置。
5. 【請求項５】 前記アクテイビテイとして、前記所定ブロ
   ツク内の前記階層情報の最大値、平均値、絶対値和、標
   準偏差又はｎ乗和のうち少なくとも１つを用いるように
   したことを特徴とする請求項１に記載の画像処理装置。
6. 【請求項６】 前記閾値設定手段は、前記度数の分布を保
   持し、上位の階層のアクテイビテイの値から各アクテイ
   ビテイに対応する前記度数の累積加算値を求め、前記累
   積加算値からそれぞれ各アクテイビテイに対応する積算
   型度数を求めて前記閾値を設定することを特徴とする請
   求項１に記載に記載の画像処理装置。
7. 【請求項７】 前記閾値設定手段は、予め設定されている
   各階層毎の閾値の組み合わせから、前記発生情報量が予
   め定められた目標値に近くなるように前記組み合わせを
   選択することを特徴とする請求項１に記載の画像処理装
   置。
8. 【請求項８】 前記階層情報及び前記フラグを伝送する手
   段を有することを特徴とする請求項１に記載の画像処理
   装置。
9. 【請求項９】 解像度の最も低い最上位階層情報から解像
   度の最も高い最下位階層情報までの複数の階層情報から
   なる画像データを処理する画像処理方法であつて、 所定の階層の階層情報に対して、 複数の画素からなる各
   ブロツクについて、アクテイビテイを判定し、 前記階層の各ブロツクについて、前記アクテイビテイが
   所定の閾値未満のときに前記ブロツクの階層情報の伝送
   をしないことを示すフラグを設定し、 前記階層毎に、前記アクテイビテイに対応する前記ブロ
   ツクの度数の分布を求め、 前記閾値を、当該閾値以上の前記ブロツクの度数を発生
   情報量として算出して 当該発生情報量が予め定められた
   目標値に近くなるように、最適な値に設定し、 前記フラグに基づいて、各階層情報の各ブロツク毎に伝
   送、非伝送を制御する ことを特徴とする画像処理方法。