JP3337158B2 - 画像処理方法及び画像処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術（図８及び図９） 発明が解決しようとする課題（図８及び図９） 課題を解決するための手段（図１〜図７） 作用（図１〜図７） 実施例（図１〜図７） （１）階層符号化の原理（図１〜図３） （２）実施例の画像符号化装置（図４〜図６） （３）他の実施例（図７） 発明の効果

【０００２】

【産業上の利用分野】本発明は画像処理方法及び画像処
理装置に関し、例えば所定の画像データを異なる解像度
でなる複数の画像データに分割して符号化する画像符号
化装置に適用し得る。

【０００３】

【従来の技術】従来、この種の画像符号化装置として、
入力画像データをピラミツド符号化等の階層符号化の手
法を用いて階層的に符号化するものがある。この画像符
号化装置においては、高解像度の入力画像データを第１
の階層データとして、この第１の階層データよりも解像
度が低い第２の階層データ、さらに第２の階層データよ
りも解像度が低い第３の階層データ、……を順次再帰的
に形成し、これら複数の階層データを通信路や記録再生
経路でなる伝送路で伝送する。

【０００４】またこの複数の階層データを復号化する画
像復号化装置では、複数の階層データについて全て復号
化しても良く、またそれぞれに対応するテレビジヨンモ
ニタの解像度等により、何れかの階層データをうち所望
の１つを選択して復号化しても良い。これにより、階層
化された複数の階層データから所望の階層データのみに
ついて復号化することにより、必要最小限の伝送データ
量で所望の画像データを得ることもできる。

【０００５】ここで、図８に示すように、この階層符号
化として例えば４階層の符号化を実現する画像符号化装
置１では、それぞれ３段分の間引きフイルタ２、３、４
と補間フイルタ５、６、７とを有し、入力画像データＤ
１について各段の間引きフイルタ２、３、４によつて順
次解像度の低い縮小画像データＤ２、Ｄ３、Ｄ４を形成
すると共に補間フイルタ５、６、７により縮小画像デー
タＤ２、Ｄ３、Ｄ４を縮小前の解像度に戻す。

【０００６】各間引きフイルタ２〜４の出力Ｄ２〜Ｄ４
及び各補間フイルタ５〜７の出力Ｄ５〜Ｄ７はそれぞれ
差分回路８、９、１０に入力され、これにより差分デー
タＤ８、Ｄ９、Ｄ１０が生成される。この結果画像符号
化装置１においては、階層データのデータ量を低減する
と共に信号電力を低減する。ここでこの差分データＤ８
〜Ｄ１０及び縮小画像データＤ４は、入力画像データＤ
１に対して、それぞれ面積が例えば１、１／４、１／１
６、１／６４倍のサイズに選定されている。

【０００７】それぞれの差分回路８〜１０より得らる差
分データＤ８〜Ｄ１０及び間引きフイルタ４より得る縮
小画像データＤ４は、各符号器１１、１２、１３、１４
によつて符号化されて圧縮処理が施され、この結果各符
号器１１、１２、１３、１４から解像度の異なる第１、
第２、第３及び第４の階層データＤ１１、Ｄ１２、Ｄ１
３及びＤ１４が、所定の順序で伝送路に送出される。

【０００８】このようにして伝送される第１〜第４の階
層データＤ１１〜Ｄ１４は、図９に示す画像復号化装置
によつて復号される。すなわち第１〜第４の階層データ
Ｄ１１〜Ｄ１４は、それぞれ復号器２１、２２、２３、
２４によつて復号され、この結果まず復号器２４からは
第４の階層データＤ２４が出力される。

【０００９】また復号器２３の出力は加算回路２９にお
いて補間フイルタ２６より得られる第４の階層データＤ
２４の補間データと加算され、これにより第３の階層デ
ータＤ２３が復元される。同様にして復号器２２の出力
は加算回路３０において補間フイルタ２７より得られる
第３の階層データＤ２３の補間データと加算され、これ
により第２の階層データＤ２２が復元される。さらに復
号器２１の出力は加算回路３１において補間フイルタ２
８より得られる第２の階層データＤ２２の補間データと
加算され、これにより第１階層データＤ２１が復元され
る。

【００１０】

【発明が解決しようとする課題】ところがかかる階層符
号化方法を実現する画像符号化装置においては、入力画
像データを複数の階層データに分割して符号化するた
め、必然的に階層成分だけデータ量が増加するという問
題がある。

【００１１】本発明は以上の点を考慮してなされたもの
で、画像データを階層符号化する際に圧縮効率を向上し
得ると共に画質劣化を低減し得る画像処理方法及び画像
処理装置を提案しようとするものである。

【００１２】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、解像度の最も低い最上位階層情報
から解像度の最も高い最下位階層情報でなる複数の階層
情報からなる画像データを処理する画像処理方法におい
て、所定の階層の階層情報に対して、複数の画素からな
る各ブロツクについてブロツクアクテイビテイを判定
し、所定の階層の階層情報の各ブロツクについて、ブロ
ツクアクテイビテイが所定の閾値未満の時に、所定の階
層の階層情報より下位側の対応するブロツクの階層情報
の伝送をしないことを示す分割中止フラグを設定し、当
該分割中止フラグに基づいて、各階層情報の各ブロツク
毎に伝送、非伝送を制御するようにした。

【００１３】また本発明においては、分割中止フラグが
設定された下位側の対応するブロツクの階層情報につい
て、下位側の対応するブロツクの階層情報のいずれかの
ブロツクアクテイビテイが所定の閾値以上のとき、分割
中止フラグを分割継続フラグに変更するようにした。

【００１４】さらに本発明においては、最上位階層情報
を除く階層情報のブロツクアクテイビテイを判定するよ
うにした。

【００１５】また本発明においては、解像度の最も低い
最上位階層情報から解像度の最も高い最下位階層情報で
なる複数の階層情報からなる画像データのうち、所定の
階層の階層情報に対して、複数の画素からなる各ブロツ
クについて、ブロツクアクテイビテイを判定し、所定の
階層の階層情報の各ブロツクについて、ブロツクアクテ
イビテイが所定の閾値未満の時に、所定の階層の階層情
報より下位側の対応するブロツクの階層情報の伝送をし
ないことを示す分割中止フラグを設定し、分割中止フラ
グに基づいて、各階層情報の各ブロツク毎に伝送、非伝
送を制御することで伝送された一部の階層情報と分割中
止フラグに対応する判定フラグとに基づいて、複数の階
層情報全体を復号する画像処理方法において、判定フラ
グに基づいて伝送されたか否かを示す伝送中止フラグを
検出し、伝送中止フラグ及び一部の階層情報に基づいて
階層情報全体を復号するようにした。

【００１６】さらに本発明においては、伝送中止フラグ
に基づいて、伝送がされなかつた階層情報に対応してダ
ミー情報を発生することで階層情報全体を復号するよう
にした。

【００１７】また本発明においては、解像度の最も低い
最上位階層情報から解像度の最も高い最下位階層情報で
なる複数の階層情報からなる画像データを処理する画像
処理装置において、所定の階層の階層情報に対して、複
数の画素からなる各ブロツクについて、ブロツクアクテ
イビテイを判定するブロツクアクテイビテイ判定手段
と、所定の階層の階層情報の各ブロツクについて、ブロ
ツクアクテイビテイが所定の閾値未満の時に、所定の階
層の階層情報より下位側の対応するブロツクの階層情報
の伝送をしないことを示す分割中止フラグを設定するフ
ラグ設定手段と、分割中止フラグに基づいて、各階層情
報の各ブロツク毎に伝送、非伝送を制御する制御手段と
を設けた。

【００１８】さらに本発明においては、フラグ設定手段
は、分割中止フラグが設定された下位側の対応するブロ
ツクの階層情報について、下位側の対応するブロツクの
階層情報のいずれかのブロツクアクテイビテイが所定の
閾値以上のとき、分割中止フラグを分割継続フラグに変
更するようにした。

【００１９】さらに本発明においては、ブロツクアクテ
イビテイ判定手段は、最上位階層情報を除く階層情報の
ブロツクアクテイビテイを判定するようにした。

【００２０】また本発明においては、解像度の最も低い
最上位階層情報から解像度の最も高い最下位階層情報で
なる複数の階層情報からなる画像データのうち、所定の
階層の階層情報に対して、複数の画素からなる各ブロツ
クについてブロツクアクテイビテイを判定し、所定の階
層の階層情報の各ブロツクについて、ブロツクアクテイ
ビテイが所定の閾値未満の時に、所定の階層の階層情報
より下位側の対応するブロツクの階層情報の伝送をしな
いことを示す分割中止フラグを設定し、当該分割中止フ
ラグに基づいて、各階層情報の各ブロツク毎に伝送、非
伝送を制御することで伝送された一部の階層情報と分割
中止フラグに対応する判定フラグとに基づいて、複数の
階層情報全体を復号する画像処理装置において、判定フ
ラグに基づいて、伝送されたか否かを示す伝送中止フラ
グを検出する伝送中止フラグ検出手段と、伝送中止フラ
グ及び一部の階層情報に基づいて、階層情報全体を復号
する復号手段とを設けた。

【００２１】さらに本発明においては、復号手段は伝送
中止フラグに基づいて、伝送がされなかつた階層情報に
対応してダミー情報を発生することで階層情報全体を復
号するようにした。

【００２２】

【作用】階層情報のブロツクのブロツクアクテイビテイ
を判定し、ブロツクアクテイビテイが所定の閾値未満の
時に、下位側のブロツクの階層情報の伝送をしないこと
を示す分割中止フラグを設定し、当該分割中止フラグに
基づいて、各階層情報の各ブロツク毎に伝送、非伝送を
制御するようにしたことにより、階層情報のブロツクア
クテイビテイに従つて不要なブロツクの符号化データを
伝送しないようにし得る。

【００２３】また、分割中止フラグが設定された下位側
の対応するブロツクの階層情報について、下位側の対応
するブロツクの階層情報のいずれかのブロツクアクテイ
ビテイが所定の閾値以上のとき、分割中止フラグを分割
継続フラグに変更するようにしたことにより、階層情報
のブロツクアクテイビテイに従つてブロツクの必要性を
判断し、画質の劣化を未然に防止し得る。

【００２４】また、復号時において伝送中止フラグを検
出し、当該伝送中止フラグに基づいて、伝送されなかつ
た階層情報に対応したダミー情報を発生し、当該ダミー
情報及び伝送された階層情報に基づいて階層情報全体を
復号するようにしたことにより、全ての階層情報を伝送
しないにもかかわらず、ほとんど画質劣化なく画像を復
号することができる。

【００２５】

【００２６】

【００２７】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【００２８】（１）階層符号化の原理 図１は全体として本発明による階層符号化の原理とし
て、例えば高品位テレビジヨン信号等の静止画像を階層
符号化して圧縮する場合を示す。この階層符号化では下
位階層データの単純な算術平均で上位階層データを作
り、伝送すべき下位階層データを減少させて、情報量の
増加を伴わない階層構造を実現する。また上位階層デー
タから下位階層データの復号についてはブロツク毎のア
クテイビテイに基づいて適応的に分割を制御すること
で、平坦部分の情報量を削減する。さらに下位階層デー
タのために行う階層間差分データの符号化では、その量
子化特性を上位階層データのアクテイビテイに基づい
て、付加コードなしにブロツク毎に切り替える事で高能
率化を実現する。

【００２９】すなわちこの階層符号化の階層構造では、
まず入力される高品位テレビジヨン信号を最下位階層デ
ータとし、この最下位階層データの２ライン×２画素の
小ブロツク中の４画素Ｘ_１〜Ｘ_４について、次式

【数１】 で表される算術平均を取り、その値ｍを上位階層データ
の値とする。この下位階層データでは、次式

【数２】 で示すように、上位階層データとの階層間差分データを
３画素分だけ用意する事で、元々の４画素データと同じ
情報量で階層構造を構成する。

【００３０】一方下位階層データの復号に際しては３画
素Ｘ_１〜Ｘ_３は、次式

【数３】 で表すように上位階層データの平均値ｍにそれぞれの階
層間差分データΔＸ_ｉを加えて復号値Ｅ〔Ｘ_ｉ〕を求
め、残つた１画素は、次式

【数４】 で表すように上位階層データの平均値ｍから下位階層デ
ータの３個の復号値を引くことで復号値Ｅ〔Ｘ_４〕を決
定する。なおＥ〔〕は復号値を意味する。

【００３１】ここでこの階層符号化においては、上位階
層から下位階層へは解像度が階層毎に４倍になるが、平
坦部ではこの分割を禁止することで冗長度を削減してい
る。なおこの分割の有無を指示するためのフラグが１ビ
ツト、ブロツク単位で用意される。下位階層での分割の
必要性の判断は局所的なアクテイビテイとして、例えば
階層間差分データの最大値で判断する。

【００３２】この階層符号化の例としてＩＴＥのＨＤ標
準画像（Ｙ信号）を用い、５階層に分割して符号化した
場合の適応分割結果を、図２に示す。図中では最大階層
間差分データに対する閾値を変化させたときの各階層の
画素数の本来の画素数に対する割合を示すが、空間相関
に基づく冗長度削減のようすがわかる。削減効率は画像
によつて変わるが最大階層間差分データに対する閾値を
１〜６と変化させると、平均的な削減率は２８〜６９
〔％〕になる。

【００３３】実際上下位階層データの解像度を４分の１
倍にして上位階層データを作り、そのとき下位階層デー
タでは上位階層データからの階層間差分データを符号化
することで、信号レベル幅を有効に削減できる。図２に
ついて上述した階層符号化による５階層の場合を、図３
に示すが、ここでは階層を下位から数えて第１〜５階層
としている。原画像の８ビツトＰＣＭデータに比べて、
信号レベル幅が削減されていることがわかる。特に画素
数の多い第１〜４階層は階層間差分データなので、大幅
な削減が達成でき、以降の量子化で効率が向上する。図
３の表からわかるように削減効率の絵柄への依存性は少
なく、全ての絵に対して有効である。

【００３４】また下位階層データの平均値で上位階層デ
ータを作る事で、エラー伝播をブロツク内に留めなが
ら、下位階層データを上位階層データの平均値からの差
分に変換する事で、効率の良さをも合わせ持たせること
ができる。実際上階層符号化では同一空間的位置での階
層間のアクテイビテイには相関があり、上位階層データ
の量子化結果から下位階層データの量子化特性を決定す
る事で、受信側に逆量子化のための量子化情報を伝送す
る必要のない（但し、初期値を除く）適応量子化器を実
現できる。

【００３５】実際上、上述した５段階の階層構造に基づ
いて画像を階層符号化して複数の解像度で表現し、階層
構造を利用した適応分割及び適応量子化を行うことで、
各種ＨＤ標準画像（８ビツトのＹ／Ｐ_Ｂ／Ｐ_Ｒ）を約１
／８に圧縮することができる。また適応分割のために用
意されるブロツク毎の付加コードは、圧縮効率の向上の
ために各階層でランレングス符号化が行われる。このよ
うにして各階層で充分な画質の画像が得られ、最終的な
最下位階層も視覚的劣化のない良好な画像を得ることが
できる。

【００３６】（２）実施例の画像符号化装置 図４において、４０は全体として本発明による画像符号
化装置を示し、例えば高品位テレビジヨン信号等の静止
画像でなる入力画像データＤ３１を、上述した階層符号
化として、５階層に分割すると共にこの結果得られる最
下位階層データと４階層分の階層間差分データと符号化
する。実際上画像符号化装置４０においては、入力画像
データＤ３１が第１の差分回路４１及び第１の平均化回
路４２に入力される。

【００３７】第１の平均化回路４２は、図５に示すよう
に、最下位階層としての第１階層データでなる入力画像
データＤ３１の４画素Ｘ１（１）〜Ｘ４（１）から、第
２階層データＤ３２の画素Ｘ１（２）を生成する。この
第２の階層データＤ３２の画素Ｘ１（２）に隣接する画
素Ｘ２（２）〜Ｘ４（２）も同様に第１階層データＤ３
１の４画素平均により生成される。また第２階層データ
Ｄ３２は第２の差分回路４３及び第２の平均化回路４４
に入力される。第２の平均化回路４４は、例えば第２階
層データＤ３２の画素Ｘ１（２）〜Ｘ４（２）の４画素
平均により、第３階層データＤ３３の画素Ｘ１（３）を
生成する。この第３階層データＤ３３の画素Ｘ１（３）
に隣接する画素Ｘ２（３）〜Ｘ４（３）も同様に第２階
層データＤ３２の４画素平均により生成される。

【００３８】さらに第３階層データＤ３３は第３の差分
回路４５及び第３の平均化回路４６に入力される。第３
の平均化回路４６も、上述と同様に第３階層データＤ３
３の画素Ｘ１（３）〜Ｘ４（３）の４画素平均により、
第４階層データＤ３４の画素Ｘ１（４）〜Ｘ４（４）を
生成する。この第４階層データＤ３４は第４の差分回路
４７及び第４の平均化回路４８に入力される。第４の平
均化回路４８も、上述と同様に第４階層データＤ３４の
画素Ｘ１（４）〜Ｘ４（４）の４画素平均により、最上
位階層となる第５階層データＤ３５を生成する。

【００３９】実際上この第１〜第５階層データＤ３１〜
Ｄ３５のブロツクサイズは、最下位階層である第１階層
データＤ３１のブロツクサイズを１×１とすると、第２
階層データＤ３２は１／２×１／２、第３階層データＤ
３３は１／４×１／４、第４階層データＤ３４は１／８
×１／８、最上位階層データである第５階層データＤ３
５は１／１６×１／１６となる。

【００４０】このようにして５つの階層データＤ３１〜
Ｄ３５のうち最上位階層の第５階層データＤ３５以外の
第１〜第４階層データは、（２）式について上述したよ
うに、第１、第２、第３及び第４の差分回路４１、４
３、４５、４７で互いに差分演算され、この演算結果が
階層間差分データＤ４０、Ｄ４１、Ｄ４２、Ｄ４３とし
て生成される。

【００４１】なお実際には、先ず第４の差分回路４７に
おいて第５階層データＤ３５と第４階層データ３４とが
差分演算されて、第４階層の階層間差分データＤ４３が
生成され、次に第３の差分回路４５において第４階層デ
ータＤ３４と第３階層データＤ３３とが差分演算され
て、第３階層の階層間差分データＤ４２が生成される。
さらに次に第２の差分回路４３において第３階層データ
Ｄ３３と第２階層データＤ３２とが差分演算されて、第
２階層の階層間差分データＤ４１が生成され、最後に第
１の差分回路４１において第２階層データＤ３２と第１
階層データＤ３１とが差分演算されて、第１階層の階層
間差分データＤ４０が生成される。

【００４２】このようにこの実施例の画像符号化装置４
０においては、第５階層データＤ３５、第４階層〜第１
階層の階層間差分データＤ４３〜Ｄ４０をこの順序で順
次生成する。このとき画像符号化装置４０においては、
（２）式について上述したように、上位階層データに対
して下位階層データを関連付けて生成したことにより、
符号化対象としての画素数を増加させないようになさ
れ、これにより画像データを複数階層に分解して符号化
する場合でも圧縮効率の低下を回避し得るようになされ
ている。

【００４３】これらの階層間差分データＤ４０〜Ｄ４３
は、それぞれ分割制御回路５０、５１、５２、５３に入
力される。この分割制御回路５０〜５３は、階層間差分
データＤ４０〜Ｄ４３内の所定ブロツクが平坦な部分か
否かを表すブロツクアクテイビテイの閾値Ｔｈａとの判
定を上位階層の階層間差分データＤ４３〜Ｄ４０から順
次行い、以下の階層間差分データＤ４２〜Ｄ４０を伝送
するか否かを決定する。例えば第４階層の階層間差分デ
ータＤ４３のブロツク内のアクテイビテイをＡとしたと
き、次式

【数５】 を満足するならば、画像データが平坦な部分であり劣化
が発生し難いブロツクであると判定して、伝送しない旨
の判定フラグＦを設定する。

【００４４】これと共に分割制御回路５３は、第３階層
の分割制御回路５２に制御信号Ｃ３を送出する。この結
果第３階層の分割制御回路５２は階層間差分データＤ４
２の伝送を無条件に中止する。なお第３、第２階層の分
割制御回路５２は伝送の無条件中止を表す制御信号Ｃ
３、Ｃ２を受け取ると、これをそれぞれそのまま下位の
分割制御回路５１、５０へ制御信号Ｃ２、Ｃ１として送
出する。これにより分割制御回路５３〜５０の制御によ
つて、下位の全て階層の階層間差分データＤ４２〜Ｄ４
０の伝送が無条件に中止される。

【００４５】このようにして、分割制御回路５０〜５３
から送出される各階層の階層間差分データＤ４０〜Ｄ４
３は、符号器５４〜５７に送出される。また最上位階層
の第５階層データＤ３５はそのまま符号器５８に送出さ
れる。符号器５４〜５７は、差分データの符号化に適し
た非線形符号化の手法によつて、階層間差分データＤ４
０〜Ｄ４３を圧縮符号化し、これにより第１〜第４階層
圧縮符号化データＤ４５〜Ｄ４８が生成される。また符
号器５８は平均値データでなる画像データの符号化に適
した線形符号化の手法によつて、第５階層データＤ３５
を圧縮符号化し、これにより第５階層圧縮符号化データ
Ｄ４９が生成される。

【００４６】また各分割制御回路５０〜５３より送出さ
れる判定フラグＦは制御コード発生回路５９に入力され
る。これにより制御コード発生回路５９は、各階層及び
各ブロツク毎の判定フラグＦで構成された制御コードＤ
５０を発生する。この制御コードＤ５０は、第１〜第５
階層圧縮符号化データＤ４５〜Ｄ４９と共にランレング
ス符号化等で符号化され、符号化コードとして伝送され
る。

【００４７】なおこのようにして伝送される第１〜第５
階層圧縮符号化データＤ４５〜Ｄ４９と制御コードＤ５
０とは、図６に示す画像復号化装置６０で復号化され
る。すなわち第１〜第５階層圧縮符号化データＤ４５〜
Ｄ４９は、それぞれ符号器５４〜５８の符号化と逆の復
号化手法を有する復号器６１〜６５に入力される。この
結果復号器６１〜６４でそれぞれ復号された第１〜第４
階層の階層間差分データＤ５１〜Ｄ５４が、それぞれ第
１〜第４階層の分割制御回路７０〜７３を通じて、第１
〜第４の加算器７５〜７８に入力される。

【００４８】また第５階層圧縮符号化データＤ４９は復
号器６５で復号され、この結果得られる第５階層データ
Ｄ５５が、そのまま出力されると共に第４の加算回路７
８に入力される。第４の加算回路７８は第５階層データ
Ｄ５５と第４階層の階層間差分データＤ５４とを加算し
て第４階層データＤ５９を復元し、これを出力すると共
に第３の加算回路７７に送出する。

【００４９】同様にして第３の加算回路７７は復元され
た第４階層データＤ５９と第３階層の階層間差分データ
Ｄ５３とを加算して第３階層データＤ５８を復元し、こ
れを出力すると共に第２の加算回路７６に送出する。以
下同様にして第２、第１の加算回路７６、７５から、第
２階層データＤ５７、第１階層データＤ５６が復元さ
れ、このようにして第１〜第４、第５階層データＤ５６
〜Ｄ５９、Ｄ５５が出力される。

【００５０】なお制御コードＤ５０は制御コード解析回
路６６に入力される。制御コード解析回路６６は、入力
される制御コードＤ５０に基づいて階層間差分データの
伝送中止が発生したか否かを解析し、この解析結果を伝
送中止フラグＦとして分割制御回路７０〜７３に送出す
る。分割制御回路７０〜７３は入力される伝送中止フラ
グＦに基づいて、階層間差分データの伝送中止が発生し
たことを検出すると、階層間差分データに代えて、例え
ばダミーデータとして値「０」の階層間差分データを発
生し、これを加算回路７５〜７８に送出する。

【００５１】このようにして、画像符号化装置４０で階
層間差分データのブロツクアクテイビテイに従つて、不
要なブロツクの階層間差分データを伝送せずに、伝送中
止を表す制御データのみを伝送するようにしたことによ
り、画像復号化装置６０で制御データに基づいて階層デ
ータを確実に復元することができる。

【００５２】以上の構成によれば、最上位階層を除く各
階層の階層間差分データの所定ブロツクについてブロツ
クアクテイビテイを判定し、ブロツクアクテイビテイが
所定の閾値未満のとき、隣接下位階層の階層間差分デー
タでブロツクに対応する複数の下位ブロツクの判定フラ
グとして分割中止フラグを設定すると共に、複数の下位
ブロツクのブロツクアクテイビテイの判定及び複数の下
位ブロツクの伝送を中止し、ブロツク毎の判定フラグを
符号化コードと共に伝送するようにしたことにより、階
層間差分データのブロツクアクテイビテイに従つて不要
なブロツクの符号化データを伝送しないようにし得、符
号量を減少させ符号化データの圧縮効率を向上し得る画
像符号化方法及び画像符号化装置を実現できる。

【００５３】（３）他の実施例 なお上述の実施例においては、階層間差分データのブロ
ツクでブロツクアクテイビテイを判定し、ブロツクアク
テイビテイが所定のしきい値未満のとき、下位の階層に
分割中止を指示する制御信号Ｃ１、Ｃ２、Ｃ３を送出す
ると共に、下位の階層間差分データでブロツクに対応す
る複数の下位ブロツクの判定フラグとして分割中止フラ
グを設定して伝送を中止した場合について述べたが、本
発明はこれに限らず、図７に示すようにブロツクアクテ
イビテイが所定のしきい値未満のとき、下位の階層に分
割中止を指示する制御信号Ｃ１、Ｃ２、Ｃ３を送出する
と共に、下位の階層間差分データでブロツクに対応する
複数の下位ブロツクの判定フラグとして一旦分割中止フ
ラグを設定し、この複数の下位ブロツクのいずれかのブ
ロツクのブロックアクテイビテイが所定のしきい値以上
のとき、上位階層の分割制御回路５１、５２又は５３に
分割をし直す制御信号Ｃ４、Ｃ５、Ｃ６を送出すると共
に、分割中止フラグを分割継続フラグに変更し、ブロツ
ク毎の判定フラグを符号化コードと共に伝送するように
しても良い。

【００５４】因に、これを実現するためには、図４につ
いて上述した画像符号化装置において、分割制御回路で
全て階層間差分データについてブロツクアクテイビテイ
の判定を行い、上位の分割制御回路から伝送中止の制御
データが入力された場合でも、ブロツクアクテイビテイ
が閾値以上であることを検出した場合には、下位の分割
制御回路から上位の分割制御回路に対して伝送中止を伝
送継続に変える指示を送出するようにすれば良い。

【００５５】また上述の実施例においては、画像データ
を順次再帰的に異なる複数の解像度でなる複数の階層デ
ータに分割し、解像度の最も低い最上位階層データと、
その最上位階層データを除く各階層データ及び隣接上位
階層データの差分値でなる複数階層分の階層間差分デー
タとを符号化する場合について述べたが、本発明はこれ
に限らず、画像データを順次再帰的に異なる複数の解像
度でなる複数の階層データに分割して符号化する場合に
も適用し得る。この場合、ブロツクアクテイビテイの判
定も階層間差分データに代えて、階層データのブロツク
について行うようにすれば、上述の実施例と同様の効果
を実現できる。

【００５６】また上述の実施例においては、ブロツクア
クテイビテイとしてブロツク内の最大値と閾値との判定
を行う場合について述べたが、本発明はこれに限らず、
ブロツクアクテイビテイとして、ブロツク内の平均値、
絶対値和、標準偏差、ｎ乗和等と閾値との判定を行うよ
うにして良く、さらにブロツク内で所定の閾値を越えた
データの度数を用いるようにしても、上述の実施例と同
様の効果を実現できる。

【００５７】また上述の実施例においては、複数の階層
データに分割する際、画像データ又は隣接下位階層デー
タの所定ブロツク毎の算術平均より順次隣接上位階層デ
ータを再帰的に形成するようにした場合について述べた
が、本発明はこれに限らず、所定の重み付けして平均を
取るような加重平均によつて、隣接上位階層データを再
帰的に形成するようにして良く、さらに間引き等他の手
法によつて上位階層データを再帰的に形成するような場
合にも適用し得る。

【００５８】また上述の実施例においては、ブロツク内
のブロツクアクテイビテイを判定して、下位階層のデー
タの伝送を中止するようにした場合について述べたが、
伝送を中止するか否かはブロツクアクテイビテイに限ら
す、他の画像データの性質を用いるようにしても良く、
このように画像データの性質に対応して適応的なブロツ
クの分割を実行するようにすれば、符号化効率を改善し
得る。

【００５９】

【発明の効果】上述のように本発明によれば、階層情報
のブロツクのブロツクアクテイビテイを判定し、ブロツ
クアクテイビテイが所定の閾値未満の時に、下位側のブ
ロツクの階層情報の伝送をしないことを示す分割中止フ
ラグを設定し、当該分割中止フラグに基づいて、各階層
情報の各ブロツク毎に伝送、非伝送を制御するようにし
たことにより、階層情報のブロツクアクテイビテイに従
つて不要なブロツクの符号化データを伝送しないように
して、画像データを階層符号化した場合でも伝送するデ
ータ量を低減し得る画像処理方法及び画像処理装置を実
現できる。

【００６０】また、分割中止フラグが設定されたブロツ
クの下位側の対応するブロツクの階層情報について、下
位側の対応するブロツクの階層情報のいずれかのブロツ
クアクテイビテイが所定の閾値以上のとき、分割中止フ
ラグを分割継続フラグに変更するようにしたことによ
り、階層情報のブロツクアクテイビテイに従つてブロツ
クの必要性を判断し、画質の劣化を未然に防止し得る画
像処理方法及び画像処理装置を実現できる。

【００６１】また、復号時において伝送中止フラグを検
出し、当該伝送中止フラグに基づいて、伝送されなかつ
た階層情報に対応したダミー情報を発生し、当該ダミー
情報及び伝送された階層情報に基づいて階層情報全体を
復号するようにしたことにより、全ての階層情報を伝送
しないにもかかわらず、ほとんど画質劣化なく画像を復
号することができる画像処理方法及び画像処理装置を実
現できる。

【００６２】

【００６３】

【図面の簡単な説明】

【図１】本発明による画像符号化方法及び画像符号化装
置の原理として階層符号化の説明に供する略線図であ
る。

【図２】その階層符号化を用いたＨＤ標準画像の適応分
割結果を示す図表である。

【図３】その階層符号化を用いたＨＤ標準画像の各階層
の信号レベルの標準偏差を示す図表である。

【図４】本発明による画像符号化方法及び画像符号化装
置の一実施例の画像符号化装置を示すブロツク図であ
る。

【図５】階層符号化における階層データの構造を示す略
線図である。

【図６】実施例の画像符号化装置に応じた画像復号化装
置を示すブロツク図である。

【図７】他の実施例の画像符号化装置の構成を示すブロ
ツク図である。

【図８】従来のピラミツド符号化方法を用いた画像符号
化装置を示すブロツク図である。

【図９】図８の画像符号化装置に応じた画像復号化装置
を示すブロツク図である。

【符号の説明】

４０……画像符号化装置、４１、４３、４５、４７……
減算器、４２、４４、４６、４８……平均化回路、５
０、５１、５２、５３、７０、７１、７２、７３……分
割制御回路、５４、５５、５６、５７、５８……符号
器、５９……制御コード発生回路、６１、６２、６３、
６４、６５……復号器、７５、７６、７７、７８……加
算器、６６……制御コード解析回路。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭62−101183（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 H04N 1/41 - 1/419

Claims (22)

(57)【特許請求の範囲】
1. 【請求項１】解像度の最も低い最上位階層情報から解像
   度の最も高い最下位階層情報でなる複数の階層情報から
   なる画像データを処理する画像処理方法において、 所定の階層の階層情報に対して、複数の画素からなる各
   ブロツクについて、ブロツクアクテイビテイを判定する
   第１のステツプと、 上記所定の階層の階層情報の各ブロツクについて、上記
   ブロツクアクテイビテイが所定の閾値未満の時に、上記
   所定の階層の階層情報より下位側の対応するブロツクの
   階層情報の伝送をしないことを示す分割中止フラグを設
   定する第２のステツプと、 上記分割中止フラグに基づいて、各階層情報の各ブロツ
   ク毎に伝送、非伝送を制御する第３のステツプと を具え
   ることを特徴とする画像処理方法。
2. 【請求項２】上記第２のステツプでは、上記分割中止フ
   ラグが設定された上記下位側の対応するブロツクの階層
   情報について、上記下位側の対応するブロツクの階層情
   報のいずれかの上記ブロツクアクテイビテイが上記所定
   の閾値以上のとき、上記分割中止フラグを分割継続フラ
   グに変更する をことを特徴とする請求項１に記載の画像
   処理方法。
3. 【請求項３】上記第１のステツプでは、上記最上位階層
   情報を除く階層情報のブロツクアクテイビテイを判定す
   る ことを特徴とする請求項１に記載の画像処理方法。
4. 【請求項４】上記第１のステツプでは、所定の画像デー
   タから上記複数の階層情報を生成する ことを特徴とする
   請求項１に記載の画像処理方法。
5. 【請求項５】上記第１のステツプでは、上記階層情報及
   び上記分割中止フラグに対応するブ ロツク毎の判定フラ
   グを伝送する ことを特徴とする請求項１に記載の画像処
   理方法。
6. 【請求項６】上記最上位階層情報を除く上記階層情報
   は、隣接する上記階層情報との差分である階層間差分デ
   ータである。 ことを特徴とする請求項１に記載の画像処
   理方法。
7. 【請求項７】解像度の最も低い最上位階層情報から解像
   度の最も高い最下位階層情報でなる複数の階層情報から
   なる画像データのうち、所定の階層の階層情報に対し
   て、複数の画素からなる各ブロツクについて、ブロツク
   アクテイビテイを判定し、上記所定の階層の階層情報の
   各ブロツクについて、上記ブロツクアクテイビテイが所
   定の閾値未満の時に、上記所定の階層の階層情報より下
   位側の対応するブロツクの階層情報の伝送をしないこと
   を示す分割中止フラグを設定し、上記分割中止フラグに
   基づいて、各階層情報の各ブロツク毎に伝送、非伝送を
   制御することで伝送された一部の階層情報と分割中止フ
   ラグに対応する判定フラグとに基づいて、上記複数の階
   層情報全体を復号する画像処理方法において、 上記判定フラグに基づいて、伝送されたか否かを示す伝
   送中止フラグを検出する第１のステツプと、 上記伝送中止フラグ及び上記一部の階層情報に基づい
   て、上記階層情報全体を復号する第２のステツプと を具
   えることを特徴とする画像処理方法。
8. 【請求項８】上記第２のステツプでは、上記伝送中止フ
   ラグに基づいて、伝送がされなかつた階層情報に対応し
   てダミー情報を発生することで、上記階層情報全体を復
   号する ことを特徴とする請求項７に記載の画像処理方
   法。
9. 【請求項９】上記複数の階層情報に分割する際、上記画
   像データ又は隣接下位階層情報の所定ブロツク毎の加重
   平均より順次隣接上位階層情報を再帰的に形成するよう
   にし た ことを特徴とする請求項１、請求項２、請求項
   ３、請求項４、請求項５、請求項６、請求項７又は請求
   項８に記載の画像処理方法。
10. 【請求項１０】上記ブロツクアクテイビテイとして、上
    記所定ブロツク内の上記階層情報又は上記階層間差分情
    報の最大値、平均値、絶対値和、標準偏差又はｎ乗和を
    用いるようにした ことを特徴とする請求項１、請求項
    ２、請求項３、請求項４、請求項５、請求項６、請求項
    ７、請求項８又は請求項９に記載の画像処理方法。
11. 【請求項１１】上記ブロツクアクテイビテイの判定は、
    上記所定ブロツク内の上記階層情報又は上記階層間差分
    情報が所定の閾値を越えた情報数を用いるようにした こ
    とを特徴とする請求項１、請求項２、請求項３、請求項
    ４、請求項５、請求項６、請求項７、請求項８又は請求
    項９に記載の画像処理方法。
12. 【請求項１２】解像度の最も低い最上位階層情報から解
    像度の最も高い最下位階層情報でなる複数の階層情報か
    らなる画像データを処理する画像処理装置において、 所定の階層の階層情報に対して、複数の画素からなる各
    ブロツクについて、ブロツクアクテイビテイを判定する
    ブロツクアクテイビテイ判定手段と、 上記所定の階層の階層情報の各ブロツクについて、上記
    ブロツクアクテイビテイが所定の閾値未満の時に、上記
    所定の階層の階層情報より下位側の対応するブロツクの
    階層情報の伝送をしないことを示す分割中止フラグを設
    定するフラグ設定手段と、 上記分割中止フラグに基づいて、各階層情報の各ブロツ
    ク毎に伝送、非伝送を制御する制御手段と を具えること
    を特徴とする画像処理装置。
13. 【請求項１３】上記フラグ設定手段は、上記分割中止フ
    ラグが設定された上記下位側の対応するブロツクの階層
    情報について、上記下位側の対応するブロツクの階層情
    報のい ずれかの上記ブロツクアクテイビテイが上記所定
    の閾値以上のとき、上記分割中止フラグを分割継続フラ
    グに変更する をことを特徴とする請求項１２に記載の画
    像処理装置。
14. 【請求項１４】上記ブロツクアクテイビテイ判定手段
    は、上記最上位階層情報を除く階層情報のブロツクアク
    テイビテイを判定する ことを特徴とする請求項１２に記
    載の画像処理装置。
15. 【請求項１５】所定の画像データから上記複数の階層情
    報を生成する階層情報生成手段 を具えることを特徴とす
    る請求項１２に記載の画像処理装置。
16. 【請求項１６】上記階層情報及び上記分割中止フラグに
    対応するブロツク毎の判定フラグを伝送する伝送手段 を
    具えることを特徴とする請求項１２に記載の画像処理装
    置。
17. 【請求項１７】上記最上位階層情報を除く上記階層情報
    は、隣接する上記階層情報との差分である階層間差分デ
    ータである ことを特徴とする請求項１２に記載の画像処
    理装置。
18. 【請求項１８】解像度の最も低い最上位階層情報から解
    像度の最も高い最下位階層情報でなる複数の階層情報か
    らなる画像データのうち、所定の階層の階層情報に対し
    て、複数の画素からなる各ブロツクについて、ブロツク
    アクテイビテイを判定し、上記所定の階層の階層情報の
    各ブロツクについて、上記ブロツクアクテイビテイが所
    定の閾値未満の時に、上記所定の階層の階層情報より下
    位側の対応するブロツクの階層情報の伝送をしないこと
    を示す分割中止フラグを設定し、上記分割中止フラグに
    基づいて、各階層情報の各ブロツク毎に伝送、非伝送を
    制御することで伝送された一部の階層情報と分割中止フ
    ラグに対応する判定フラグとに基づいて、上記複数の階
    層情報全体を復号する画像処理装置において、 上記判定フラグに基づいて、伝送されたか否かを示す伝
    送中止フラグを検出す る伝送中止フラグ検出手段と、 上記伝送中止フラグ及び上記一部の階層情報に基づい
    て、上記階層情報全体を復号する復号手段と を具えるこ
    とを特徴とする画像処理装置。
19. 【請求項１９】上記復号手段は、上記伝送中止フラグに
    基づいて、伝送がされなかつた階層情報に対応してダミ
    ー情報を発生することで、上記階層情報全体を復号する
    ことを特徴とする請求項１８に記載の画像処理装置。
20. 【請求項２０】上記複数の階層情報に分割する際、上記
    画像データ又は隣接下位階層情報の所定ブロツク毎の加
    重平均より順次隣接上位階層情報を再帰的に形成するよ
    うにした ことを特徴とする請求項１２、請求項１３、請
    求項１４、請求項１５、請求項１６、請求項１７、請求
    項１８又は請求項１９に記載の画像処理装置。
21. 【請求項２１】上記ブロツクアクテイビテイとして、上
    記所定ブロツク内の上記階層情報又は上記階層間差分情
    報の最大値、平均値、絶対値和、標準偏差又はｎ乗和を
    用いるようにした ことを特徴とする請求項１２、請求項
    １３、請求項１４、請求項１５、請求項１６、請求項１
    ７、請求項１８、請求項１９又は請求項２０に記載の画
    像処理装置。
22. 【請求項２２】上記ブロツクアクテイビテイの判定は、
    上記所定ブロツク内の上記階層情報又は上記階層間差分
    情報が所定の閾値を越えた情報数を用いるようにした こ
    とを特徴とする請求項１２、請求項１３、請求項１４、
    請求項１５、請求項１６、請求項１７、請求項１８、請
    求項１９又は請求項２０に記載の画像処理装置。