JP3934687B2 - 画像データ復号方法及びその装置 - Google Patents

Description

【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図１３及び図１４）
発明が解決しようとする課題
課題を解決するための手段（図１０〜図１２）
作用（図１０〜図１２）
実施例
（１）階層符号化の原理（図１〜図３）
（２）実施例の階層符号化装置（図４〜図９）
（２−１）構成
（２−２）分割処理
（３）実施例の画像復号化装置（図１０〜図１２）
（３−１）構成
（３−２）平滑化処理
（４）実施例の動作（図１０〜図１２）
（５）実施例の効果（図１０及び図１１）
（６）他の実施例
発明の効果
【０００２】
【産業上の利用分野】
本発明は画像データ復号方法及びその装置に関し、特に階層符号化データを復号する場合に適用して好適なものである。
【０００３】
【従来の技術】
従来、入力画像データから解像度の異なる複数階層分の画像データを作成し、これを符号化する画像符号化装置がある。この種の画像符号化装置は、入力画像データをピラミツド符号化等の階層符号化の手法を用いて階層的に符号化するようになされている。すなわちこの画像符号化装置においては、高解像度の入力画像データを第１の階層データとして、この第１の階層データよりも解像度が低い第２の解像データ、さらに第２の解像データよりも解像度が低い第３の階層データ、……を順次再帰的に形成し、これら複数の階層データを１つの通信路や記録再生経路でなる伝送路で伝送する。
【０００４】
またこの複数の階層データを復号化する画像復号化装置では、複数の階層データについて全て復号化しても良く、またそれぞれに対応するテレビジョンモニタの解像度等により、何れかの階層データのうち所望の１つを選択して復号化してもよい。これにより階層化された複数の階層データから所望の階層データのみについて復号化することにより、必要最小限の伝送データ量で所望の画像データを得ることもできる。
【０００５】
図１３に示すように、この階層符号化として例えば４階層の符号化を実現する画像符号化装置１では、それぞれ３段分の間引きフイルタ２、３、４と補間フイルタ５、６、７とを有し、入力画像データＤ１について各段の間引きフイルタ２、３、４によつて順次解像度の低い縮小画像データＤ２、Ｄ３、Ｄ４を形成すると共に補間フイルタ５、６、７により縮小画像データＤ２、Ｄ３、Ｄ４を縮小前の解像度に戻す。
【０００６】
各間引きフイルタ２〜４の出力Ｄ２〜Ｄ４及び各補間フイルタ５〜７の出力Ｄ５〜Ｄ７はそれぞれ差分回路８、９、１０に入力され、これにより差分データＤ８、Ｄ９、Ｄ１０が生成される。この結果画像符号化装置１においては、階層データのデータ量を低減すると共に信号電力を低減する。ここでこの差分データＤ８〜Ｄ１０及び縮小画像データＤ４はそれぞれ面積が１、１／４、１／１６、１／６４のサイズとなつている。
【０００７】
各差分回路８〜１０より得られる差分データＤ８〜Ｄ１０及び間引きフイルタ４より得られる縮小画像データＤ４は、各符号器１１、１２、１３、１４によつて符号化されて圧縮処理が施され、この結果各符号器１１、１２、１３、１４から解像度の異なる第１、第２、第３及び第４の階層データＤ１１、Ｄ１２、Ｄ１３及びＤ１４が、所定の順序で伝送路に送出される。
【０００８】
このようにして伝送される第１〜第４の階層データＤ１１〜Ｄ１４は、図１４に示す画像復号化装置２０によつて復号される。すなわち第１〜第４の階層データＤ１１〜Ｄ１４は、それぞれ復号器２１、２２、２３、２４によつて復号され、この結果復号器２４からは第４の階層データＤ２４が出力される。
【０００９】
また復号器２３の出力は加算回路２９において補間フイルタ２６より得られる第４の階層データＤ２４の補間データと加算され、これにより第３の階層データＤ２３が復元される。同様にして復号器２２の出力は加算回路３０において補間フイルタ２７より得られる第３の階層データＤ２３の補間データと加算され、これにより第２の階層データＤ２２が復元される。さらに復号器２１の出力は加算回路３１において補間フイルタ２８より得られる第２の階層データＤ２２の補間データと加算され、これにより第１の階層データＤ２１が復元される。
【００１０】
【発明が解決しようとする課題】
ところが、かかる階層符号化方法を実現する画像符号化装置においては、入力画像データを複数の階層データに分割して符号化するため、必然的に階層成分だけデータ量が増加し、その分階層符号化を用いない高能率符号化方式に比して圧縮効率が低下する。また圧縮効率を向上しようとした場合、復号側で画質劣化が発生する問題がある。
【００１１】
本発明は以上の点を考慮してなされたもので、画像データを階層符号化して伝送した場合に、画質劣化を低減し得る画像データ復号方法及び装置を提案しようとするものである。
【００１２】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、解像度の高い下位階層の所定ブロツク毎の解像度を低減することにより、当該ブロツクに対応する解像度の低い上位階層でのブロツクを生成するようにして、下位階層から順に順次解像度の異なる複数の階層画像データＤ３１〜Ｄ３５を生成し、アクテイビテイが低いブロツクに空間的に対応する１階層下のブロツクのデータを符号化対象から除いて当該複数の階層画像データＤ３１〜Ｄ３５を符号化する画像符号化装置４０により得られた階層符号化データＤ５１〜Ｄ５５を復号する画像データ復号装置６０において、階層符号化データＤ５１〜Ｄ５５を復号するとともに、上記符号化対象から除かれたブロツクのデータを、空間的に対応する１階層上のブロツクのデータで置き換えて階層復号データＤ６１〜Ｄ６４を生成する階層データ復号手段６１〜６５と、階層復号データＤ６１〜Ｄ６４のブロツク内でのレベル変動を第１の閾値と比較することにより、ブロツク内のレベル変動を検出するブロツク内レベル変動検出手段１０１と、ブロツクと他のブロツクとを跨がる画素間のレベル変動を第２の閾値と比較することにより、ブロツクを跨る画素間のレベル変動を検出するブロツク間レベル変動検出手段１０２と、ブロツク内のレベル変動が第１の閾値未満のとき、ブロツクを跨る画素間のレベル変動が第２の閾値よりも小さい画素のみを用いてブロツク境界を平滑化処理する平滑化手段１００とを設けた。
【００１３】
また本発明においては、平滑化手段７０〜７３は、所望のブロツク内でのレベル変動を検出するレベル検出手段１０１を更に備え、当該所望のブロツク内のレベル変動が所定の閾値未満のとき、当該所望のブロツクのブロツク境界を平滑化するようにする。
【００１４】
【作用】
復号手段６１〜６５により復号された階層復号データＤ６１〜Ｄ６４について、ブロツク内のレベル変動が第１の閾値未満のとき、当該ブロツクと他のブロツクとの間に跨がる画素間のレベル変動が第２の閾値よりも小さい画素のみを用いてブロツク境界を平滑化処理を行うようにすることにより、ブロツク境界近傍にエツジ等の重要な情報が存在する場合でも、当該重要な情報を保存して平滑化による画質劣化を回避しつつ、ブロツク境界に現れる疑似輪郭を有効に除去して、階層符号化に伴う画質劣化を低減することができる。
【００１５】
さらに、所望のブロツク内のレベル変動が所定の閾値未満のとき、当該所望のブロツクのブロツク境界を平滑化するようにすることにより、ブロツク境界近傍にエツジ等の重要な情報が存在する場合でも、当該重要な情報を保存して平滑化による画質劣化を回避しつつ、ブロツク境界に現れる疑似輪郭を有効に除去して、階層符号化に伴う画質劣化を低減することができる。
【００１６】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００１７】
（１）階層符号化の原理
図１は全体として本発明による階層符号化の原理として、例えば高品位テレビジヨン信号等の静止画像を階層符号化して圧縮する原理を示す。この階層符号化では下位階層データの単純な算術平均で上位階層データを作り、伝送すべき下位階層データを減少させて、情報量の増加を伴わない階層構造を実現する。また上位階層から下位階層の復号についてはブロツク毎のアクテイビテイに基づいて適応的に分割を制御することで、平坦部分の情報量を削減する。さらに下位階層のために行う差分信号の符号化では、その量子化特性を上位階層のアクテイビテイに基づいて、付加コードなしにブロツク毎に切り替えることにより高能率化を実現する。
【００１８】
すなわちこの階層符号化の階層構造では、まず入力される高品位テレビジヨン信号を下位階層とし、この下位階層の２ライン×２画素の小ブロツク中の４画素Ｘ１〜Ｘ４について、次式
【数１】

で表される算術平均を取り、その値ｍを上位階層の値とする。この下位階層では、次式
【数２】

で示すように、上位階層との差分値を３画素分だけ用意することで、元々の４画素データと同じ情報量で階層構造を構成する。
【００１９】
一方下位階層の復号に際しては３画素Ｘ１〜Ｘ３は、次式
【数３】

で表すように上位階層の平均値ｍにそれぞれの差分値ΔＸｉを加えて復号値Ｅ〔Ｘｉ〕を求め、残つた１画素は、次式
【数４】

で表すように上位階層の平均値ｍから下位階層の３個の復号値を引く事で復号値Ｅ〔Ｘ４〕を決定する。ここで、Ｅ〔 〕は復号値を意味する。
【００２０】
ここでこの階層符号化においては、上位階層から下位階層に向かうに従つて１つのブロツクを４つに分割するため、これに伴つてデータ量が階層毎に４倍になるが、平坦部ではこの分割を禁止する事で冗長度を削減している。なおこの分割の有無を指示するためのフラグが１ビツト、ブロツク単位で用意される。下位階層での分割の必要性の判断は局所的なアクテイビテイとして、例えば差分データの最大値で判断する。
【００２１】
ここで階層符号化の例としてＩＴＥのＨＤ標準画像（Ｙ信号）を用い、５階層符号化した場合の適応分割結果を図２に示す。最大差分データに対する閾値を変化させた時の各階層の画素数を本来の画素数に対する割合を示すが、空間相関に基づく冗長度削減のようすが分かる。削減効率は画像によつて変わるが最大差分データに対する閾値を１〜６と変化させると、平均的な削減率は２８〜６９〔％〕になる。
【００２２】
実際上上位階層の解像度を４倍にして下位階層を作り、このとき下位階層では上位階層データからの差分データを符号化することで、信号レベル幅を有効に削減できる。図２について上述した階層符号化による５階層の場合を、図３に示すが、ここでは階層を下位から数えて第１〜５階層と名付けた。
【００２３】
原画像の８ビツトＰＣＭデータに比べて、信号レベル幅の削減が見られる。特に画素数の多い第１〜４階層は差分信号なので、大幅な削減が達成でき、以降の量子化で効率が向上する。図３の表からわかるように削減効率の絵柄への依存性は少なく、全ての絵に対して有効である。
【００２４】
また下位階層の平均値で上位階層を作る事で、エラー伝播をブロツク内にとめながら、下位階層を上位階層の平均値からの差分に変換する事で、効率の良さも合わせ持つ事ができる。実際上階層符号化では同一空間的位置での階層間のアクテイビテイには相関があり、上位階層の量子化結果から下位階層の量子化特性を決定する事で、受信側に逆量子化のための量子化情報を伝送する必要のない（但し、初期値を除く）適応量子化器を実現できる。
【００２５】
実際上、上述した５段階の階層構造に基づいて画像を階層符号化してマルチ解像度で表現し、階層構造を利用した適応分割及び適応量子化を行う事で、各種ＨＤ標準画像（８ビツトのＹ／ＰＢ／ＰＲ）を約１／８に圧縮することができる。また適応分割のために用意されるブロツク毎の付加コードは、圧縮効率の向上のために各階層でランレングス符号化が行われる。このようにして、各階層で充分な画質の画像が得られ、最終的な最下位階層でも視覚的劣化のない良好な画像を得ることができる。
【００２６】
（２）実施例の階層符号化装置
（２−１）構成
図４において、４０は階層符号化装置を示し、入力画像データＤ３１を階層符号化して出力する階層符号化エンコーダ部４０Ａと当該階層符号化エンコーダ部４０Ａにおける発生情報量が目標値となるように制御する発生情報量制御部４０Ｂとにより構成されている。
階層符号化エンコーダ部４０Ａはデータ遅延用のメモリＭ１（図５）とエンコーダによつて構成されている。このうちメモリＭ１は発生情報量制御部４０Ｂにおいて最適制御値が決定されるまでの間、エンコード処理が実行されないようにデータを遅延できるよう入力段に設けられている。
【００２７】
一方、発生情報量制御部４０Ｂは入力画像データＤ３１を入力して処理対象データに適合した最適制御値Ｓ１を設定し、これを階層符号化エンコーダ部４０Ａに送出することにより、当該階層符号化エンコーダ部４０Ａで効率の良い符号化ができるようになされている。所謂フイードフオワード型のバツフアリング構成である。
【００２８】
階層符号化エンコーダ部４０Ａは図５に示す構成でなり、この例の場合、５階層の解像度の異なる圧縮符号化画像データＤ５１〜Ｄ５５を生成するようになされている。
【００２９】
まず入力画像データＤ３１がメモリＭ１を介して第１の差分回路４１及び第１の平均化回路４２に入力される。第１の平均化回路４２は、入力画像データＤ３１（すなわち第１階層データ（最下位階層データ））の４画素平均により第２階層データＤ３２を生成する。この実施例の場合、第１の平均化回路４２は、図６（Ｄ）及び（Ｅ）に示すように、入力画像データＤ３１の４画素Ｘ１（１）〜Ｘ４（１）から第２階層データＤ２の画素Ｘ１（２）を生成する。
【００３０】
また第２階層データＤ３２の画素Ｘ１（２）に隣接する画素Ｘ２（２）〜Ｘ４（２）も同様に第１階層データＤ３１の４画素平均を求めることにより生成される。
第２階層データＤ３２は第２の差分回路４３及び第２の平均化回路４４に入力され、第２の平均化回路４４は、第２階層データＤ３２の４画素平均により第３階層データＤ３３を生成する。例えば、図６（Ｃ）及び（Ｄ）に示す第２階層データＤ３２の画素Ｘ１（２）〜Ｘ４（２）から第３階層データＤ３３の画素Ｘ１（３）が生成されると共に、画素Ｘ１（３）に隣接する画素Ｘ２（３）〜Ｘ４（３）も同様に第２階層データＤ３２の４画素により生成される。
【００３１】
第３階層データＤ３３は第３の差分回路４５及び第３の平均化回路４６に入力され、第３の平均化回路４６は上述の場合と同様に第３階層データＤ３３の４画素平均により図６（Ｂ）及び（Ｃ）に示すように、画素Ｘ１（４）〜Ｘ４（４）でなる第４階層データＤ３４を生成する。
第４階層データＤ４４は第４の差分回路４７及び第４の平均化回路４８に入力され、第４の平均化回路４８は、第４階層データＤ３４の４画素平均により最上位階層となる第５階層データＤ３５を生成する。すなわち図６（Ａ）及び（Ｂ）に示すように、第４階層データＤ３４の４画素Ｘ１（４）〜Ｘ４（４）を平均化することにより第５階層データＤ３５の画素Ｘ１（５）が生成される。
【００３２】
ここで第１〜第５階層データＤ３１〜Ｄ３５のブロツクサイズは、最下位階層である第１階層データＤ３１のブロツクサイズを１ライン×１画素とすると、第２階層データＤ３２は１／２ライン×１／２画素、第３階層データＤ３３は１／４ライン×１／４画素、第４階層データＤ３４は１／８ライン×１／８画素、最上位階層データである第５階層データＤ３５は１／１６ライン×１／１６画素となる。
【００３３】
階層符号化エンコーダ部４０Ａは、これら第１〜第５の階層データＤ３１〜Ｄ３５のうち最上位の階層データ（すなわち第５階層データＤ３５）から順に再帰的処理を繰り返して隣接する２つの階層データ間の差分を差分回路４１、４３、４５、４７において求め、差分データのみを符号器５１〜５５によつて圧縮符号化する。これにより階層符号化エンコーダ部４０Ａは伝送路に伝送される情報量を圧縮するようになされている。また階層符号化エンコーダ４０Ａは、（２）式について上述したように、符号器５１〜５４により、上位階層１画素に対応する下位階層４画素のうち１画素を減らすことにより、伝送データを削減する。
このような圧縮条件を最適に保つため階層符号化エンコーダ部４０Ａは、各階層ごとに得られた圧縮符号化データＤ５１〜Ｄ５５を復号器５６〜５９によつて復号する。
【００３４】
すなわち最上位の階層に対応する復号器５９は符号器５５において圧縮符号化された圧縮符号化データＤ５５を復元して第５階層データＤ３５に対応する復号データＤ４８を得、これを第４の差分回路４７に与える。
【００３５】
これに対して復号器５８は圧縮符号化データＤ５４を復元して第４階層データＤ４４と同様の復元データＤ４７を得、これを第３の差分回路４５に与える。同様にして復号器５７は圧縮符号化データＤ５３を復元して第３階層データＤ４３と同様の復元データＤ４６を得、これを第２の差分回路４３に与える。また復号器５６は圧縮符号化データＤ５２を復元して第２階層データＤ４２と同様の復元データＤ４５を得、これを第１の差分回路４１に与える。
【００３６】
実際上、復号器５８、５７、５６は、図７に示すように構成されている。ここでは簡単化のため復号器５８について説明する。復号器５８は復号化回路５８Ａに第４階層圧縮符号化データＤ５４を受けてこれを復号する。この結果復号化回路５８Ａからは、例えば図６に示すＸ１（４）−Ｘ１（５）、Ｘ２（４）−Ｘ１（５）、Ｘ３（４）−Ｘ１（５）の出力値が得られる。この出力値は続く加算回路５８Ｂにおいて復元データＤ４８と加算されることによりＸ１（４）、Ｘ２（４）、Ｘ３（４）の出力値から得られる。差分値生成回路５８ＣはＸ１（４）、Ｘ２（４）、Ｘ３（４）及びＸ１（５）を用いて、（４）式に基づく演算を施すことにより非伝送画素Ｘ４（４）を生成する。従つて続く合成回路５８Ｄからは、差分前の第４階層データＸ１（４）、Ｘ２（４）、Ｘ３（４）、Ｘ４（４）が生成され、これが差分回路４５に与えられる。
【００３７】
各差分回路４１、４３、４５、４７により得られた階層間差分データＤ４１〜Ｄ４４はそれぞれ符号器５１〜５４によつて圧縮符号化される。このとき各符号器５１〜５４は、各ブロツクのアクテイビテイを所定の閾値と比較する。
ここでアクテイビテイとは、上位階層データに対応する下位階層データ領域を「ブロツク」と定義した場合の、各階層間差分データＤ４１〜Ｄ４４の所定ブロツクのブロツク内最大誤差、ブロツク内平均誤差、ブロツク内絶対値和、ブロツク内標準偏差、ブロツク内ｎ乗和又はブロツク内の閾値以上のデータ度数等を表わすを表わす相関値である。すなわちアクテイビテイが低い場合には、このブロツクは平坦なブロツクということができる。
【００３８】
このとき符号器５１〜５４は、ブロックアクテイビテイが所定の閾値よりも高い場合には、このブロックを分割ブロックとし、当該ブロツクと空間的に対応する隣接下位階層ブロツクでの分割処理を選択する。例えば符号器５４において分割処理が選択されたブロツクについては、続く符号器５３でこのブロツクに対応する階層間差分データＤ４３をそのまま圧縮符号化し、同時にこのブロツクが分割ブロツクであることを表わす分割判定フラグをつけて伝送する。
【００３９】
これに対して符号器５１〜５４は、ブロツクアクテイビテイが所定未満の場合には、このブロツクを非分割ブロツクとし、当該ブロツクと空間的に対応する隣接下位階層ブロツクでの分割処理を中止する。例えば符号器５４において分割中止と判定されたブロツクについては、続く符号器５３において、このブロツクに対応する階層間差分データＤ４３に関しては符号化対象から除外し、同時にこのブロツクが非分割ブロツクであるとを表わす非分割判定フラグを付けて伝送する。この非分割ブロツクは復号装置側において上位階層データに置き換えられる。
【００４０】
ここで符号器５１、５２、５３及び５４は図８に示すように構成されている。図８では簡単化するため符号器５２及び５３の構成について示す。
すなわち差分データＤ４２、Ｄ４３はそれぞれ符号器５２、５３の符号化回路５２Ａ、５３Ａに入力される。また差分データＤ４２、Ｄ４３はそれぞれ、分割制御部５２Ｂ、５３Ｂのアクテイビテイ検出回路５２Ｃ、５３Ｃに入力される。アクテイビテイ検出回路５２Ｃ、５３Ｃは差分データＤ４２、Ｄ４３の所定ブロツク毎のアクテイビテイを検出し、これにより得た検出結果を続くしきい値判定回路５２Ｄ、５３Ｄに与える。しきい値判定回路５２Ｄ、５３Ｄは各ブロツク毎のアクテイビテイ検出結果を発生情報量制御部４０Ｂからのしきい値データＤ５７と比較し、これにより得た判定結果を符号化回路５２Ａ、５３Ａに送出する。符号化回路５２Ａ、５３Ａはしきい値判定結果に基づき、アクテイビテイの高いブロツクについては圧縮符号化して伝送し、これに対してアクテイビテイの低いブロツクについては伝送しない。
【００４１】
（２−２）分割処理
次に階層符号化エンコーダ部４０Ａによる具体的な信号処理を説明する。
階層符号化エンコーダ部４０Ａにおいては、上述したように階層間差分データＤ４１〜Ｄ４４の所定ブロツク毎のブロツクアクテイビテイに基づいて分割選択処理を実行する。また実施例の場合、各ブロツクは２ライン×２画素より構成されるものとする。
【００４２】
ここでは各画素のデータ値をＸとし、データ値Ｘの階層をサフイツクスで表す。すなわち上位の階層データをＸｉ＋１（０）とするとき、隣接する下位階層データはＸｉ（ｊ）（ｊ＝０〜３）と表わすことができる。従つて階層間差分データ値ΔＸｉ（ｊ）は、次式、
【数５】

によつて表わすことができる。
【００４３】
符号器５１〜５４は各ブロツクについてブロツクアクテイビテイと閾値とを比較し、当該比較結果に基づいてこのブロツクを下位階層で分割するか、又は分割しないかを選択する。
すなわち符号器５１〜５４においては、ブロツクアクテイビテイが閾値以上の場合には下位階層での分割を実行し、これに対してブロツクアクテイビテイが閾値未満の場合には下位階層での分割を中止する。
【００４４】
これにより階層符号化装置４０においては、ブロツクアクテイビテイが低いブロツクについてはこのブロツクに対応する隣接下位階層のデータを送らずに済み、この分伝送情報量を削減できるようになされている。因に、分割又は非分割の判定結果を示す判定フラグとしては１ビツトの判定フラグが用いらている。
【００４５】
各符号器５１〜５４でブロツクアクテイビテイ判定の際に用いられる閾値は、発生情報量制御部４０Ｂから送出される最適制御値Ｓ１に応じて設定される。すなわち閾値の値が大きくなるに従つて非分割ブロツク（非伝送ブロツク）が増えることにより伝送情報量は少なくなる。
このように階層符号化エンコーダ部４０Ａにおいては、解像度の低い上位階層データから順に圧縮符号化すると共に、このとき各階層データの所定ブロツク毎にアクテイビテイを判定し、当該アクテイビテイの低いブロツクに対しては隣接下位階層でこのブロツクに対応する画像データを送らないようになされている。
【００４６】
また実施例における階層符号化方式では、判定フラグをそれ以降の下位階層での判定には反映させない方式が用いられている（以下これを独立判定法と呼ぶ）。すなわち独立判定法では、各階層独立に、毎回閾値判定に基づく分割選択処理を行う。例えば一旦非分割判定がなされたブロツクにおいても、続く下位階層において再びアクテイビテイの判定を行い、ここで再び分割するか分割しないかを選択する。この結果独立判定法を用いた階層符号化方式においては、上位階層での下位階層の判定フラグの影響を受けないことにより、画質劣化の少ない階層符号化が実現できる。
【００４７】
ここで、図９は階層符号化装置４０による階層符号化処理のフローチヤートを示し、ステツプＳＰ２において階層番号を記憶する階層カウンタ１に「４」が登録され、この階層符号化の枠が決定される。
【００４８】
さらにステツプＳＰ３において発生情報量制御部４０Ｂが発生情報量演算をすることにより階層データが生成され、続くステツプＳＰ４において各ブロツクアクテイビテイが検出される。発生情報量制御部４０Ｂはこのアクテイビテイに基づいてステツプＳＰ５において最適制御値Ｓ１を決定する。
【００４９】
さらにステツプＳＰ６において階層符号化エンコーダ部４０Ａで最適制御値Ｓ１に基づいて階層符号化が実行される。すなわち始めに最上位階層である５階層データに対し、符号化及び復号化が行われる。この結果が下位階層における処理の初期値となり、ステツプＳＰ７において下位階層との階層間差分値が生成される。さらにステツプＳＰ８においてステツプＳＰ５において決定された最適制御値Ｓ１に基づいて下位階層での分割選択及び符号化が実行される。
【００５０】
各階層処理の後、ステツプＳＰ９において階層カウンタＩをデクリメントする。そしてステツプＳＰ１０において階層カウンタ１の内容に対し、終了判定が施される。未終了の場合は、さらに下位階層処理を続行する。全階層の処理を終了した場合、ループを抜けてステツプＳＰ１１において当該階層符号化処理を終了する。
【００５１】
（３）実施例の画像復号化装置
（３−１）構成
このように分割判定フラグと共に伝送される第１〜第５階層の圧縮符号化データＤ５１〜Ｄ５５は、図１０に示すような画像復号化装置６０によつて復号化される。すなわち第１〜第５階層圧縮符号化データＤ５１〜Ｄ５５は、それぞれ符号器５７、５５、５３、５１及び４９の符号化と逆の復号化手法を有する復号器６１、６２、６３、６４及び６５に入力される。この結果復号器６１〜６４でそれぞれ復号された第１〜第４階層の階層間差分データＤ５６〜Ｄ５９が、それぞれ第１〜第４の加算回路６６〜６９に入力される。
【００５２】
また第５階層圧縮符号化データＤ５５は復号器６５で復号され、この結果得られる第５階層データＤ６０が、そのまま出力されると共に第４の加算回路６９に送出される。第４の加算回路６９は第５階層データＤ６０と第４階層の階層間差分データＤ５９とを加算して第４階層データＤ６４を復元し、これを第４の後処理回路７３に送出すると共に第３の加算回路６８に送出する。
【００５３】
同様にして第３の加算回路６８は第４階層データＤ６４と第３階層の階層間差分データＤ５８とを加算して第３階層データＤ６３を復元し、これを第３の後処理回路７２に送出すると共に第２の加算回路６７に送出する。以下同様にして第２及び第１の加算回路６７及び６６によつて、第２階層データＤ６２及び第１階層データＤ６１が復元され、これらがそれぞれ第２及び第１の後処理回路７１及び７０に送出される。
【００５４】
第１〜第４の後処理回路７０〜７３は、それぞれ各階層データＤ６１〜Ｄ６４の内容を吟味した上で、適応的に平滑化処理を施すことにより、ブロツク境界での疑似輪郭を除去するようになされている。
すなわち上述した階層符号化装置４０では、階層間ブロック分割処理を導入しているため、ブロツク分割の際に用いる閾値によつては、ブロツク境界に沿つて疑似輪郭が発生する場合がある。従つて第１〜第４の後処理回路７０〜７３は、このようにして複号側で発生する疑似輪郭を平滑化処理によつて有効に除去して平滑化データＤ７１〜Ｄ７４を生成する。
【００５５】
（３−２）平滑化処理
ここで後処理回路７０〜７３は、図１１に示すように構成されている。後処理回路７０〜７３は、それぞれ同様の構成でなることにより以下後処理回路７０について説明する。
後処理回路７０は、加算回路６６から出力された第１階層データＤ６１を平滑化回路１００、閾値判定回路１０１及び１０２に入力する。
【００５６】
閾値判定回路１０１は、第１階層データＤ６１のブロツク内データ変動（すなわちブロツク内アクテイビテイ）を求め、これを所定の閾値と比較し、当該比較結果を比較結果信号Ｓ２として平滑化回路１００に送出する。
また閾値判定回路１０２は、第１階層データＤ６１のブロツク境界でのブロツク間データ差分を求め、これを所定の閾値と比較し、当該比較結果を比較結果信号Ｓ３として平滑化回路１００に送出する。
平滑化回路１００は比較結果信号Ｓ２及びＳ３に基づいて平滑化処理を施す画素を選択する。
【００５７】
実際上、後処理回路７０は図１２（Ａ）に示すような第１階層データＤ６１を入力する。このとき例えば画素ｘ０〜ｘ３でなるブロツクが平滑処理対象ブロツクであるとすると、閾値判定回路１０１によつて、次式、
【数６】

を計算することにより、このブロツクのブロツクアクテイビテイＤ＿ＡＣＴを求める。ここで（６）式におけるＭは、図１２（Ｂ）に示すように画素ｘ０〜ｘ３の平均値である。
【００５８】
閾値判定回路１０１は、このブロツクアクテイビテイＤ＿ＡＣＴを所定の閾値Ｄ＿ＴＨと比較する。閾値判定回路１０１は、ブロツクアクテイビテイＤ＿ＡＣＴが閾値Ｄ＿ＴＨ以上の場合、平滑化回路１００に対して、平滑化処理を中止することを表わす比較結果信号Ｓ２を送出する。これに対して閾値判定回路１０１はブロツクアクテイビテイＤ＿ＡＣＴが閾値Ｄ＿ＴＨ未満の場合、平滑化処理回路１００に対して、平滑化処理を実行することを表わす比較結果信号Ｓ２を送出する。
【００５９】
平滑化回路１００は、閾値判定回路１０１から平滑化処理を実行する比較結果信号Ｓ２が与えられたとき、次式、
【数７】

【数８】

【数９】

【数１０】

を実行することにより、平滑化データＸ０〜Ｘ３を生成する。
【００６０】
ここでＡＶＥ（・）は閾値判定付き平均化処理関数を表す。この平均化処理関数ＡＶＥ（・）の例としては、例えば平滑化データＸ０を求める際、各画素ｘ０、ｙ０、ｙ１、ｙ１１が所定の閾値Ｌに対して、次式、
【数１１】

かつ
【数１２】

かつ
【数１３】

の関係にあるとき、平滑化データＸ０を、次式
【数１４】

に基づいて算出するものが用いられている。
実施例の場合、この各画素ｘ０、ｙ０、ｙ１、ｙ１１間の関係と閾値Ｌとの比較判定を、閾値判定回路１０２によつて実行するようになされており、平滑化回路１００は、閾値判定回路１０２の比較結果信号Ｓ３に基づいて、平均演算に用いる画素を選択するようになされている。
【００６１】
かくして後処理回路７０〜７３では、上位階層の空間内周辺データによる平滑化データＤ７１〜Ｄ７４を生成する際に、単純に平均演算を行うのではなく、上位階層の空間内周辺データに閾値判定による画素選択を行つている。これにより画像復号化装置６０においては、非分割ブロツク近傍にエツジなどが存在する場合でも、平均演算による画質劣化を有効に回避して、ブロツク間の疑似輪郭を除去することができる。
【００６２】
（４）実施例の動作
以上の構成において、画像復号化装置６０は、受信する分割判定フラグに基づいて、非分割ブロツクに対しては、各復号器６１〜６４の出力を０とすると共に上位階層データを加算器６６〜６９の出力とすることで非分割ブロツクデータを上位階層データで置き換えるようになされている。
【００６３】
ところが、この非分割ブロツクデータの復号画像において、図６に示した階層データ生成法に起因する疑似輪郭が発生することがある。例えば、空などのレベル変化が小さい画像においては、各ブロツクが非分割判定を受けることが多い。すなわち上位階層データで置き換えられる場合が多い。このとき復元画像においては、隣接ブロツク間のレベル差が僅かであつても、ブロツク境界位置には疑似輪郭がしばしば認められ、これが大きな画質劣化となる。
【００６４】
実施例の階層符号化においては、階層符号化装置４０側では大きな分割閾値を設定するほど圧縮率を向上させることができる。しかしながら、画像復号装置６０側では、階層符号化装置４０側の分割閾値が大きい程隣接ブロツク間（すなわち分割ブロツクと非分割ブロツク間）のレベル差が拡大し、画質劣化が顕著となる。
これを回避するため、画像復号化装置６０においては、復元された階層データＤ６１〜Ｄ６４に対して、後処理回路７０〜７３により平滑処理を施すことにより、ブロツク境界での疑似輪郭を抑制する。
【００６５】
またこのとき後処理回路７０〜７３は、ブロツク内アクテイビテイ及びブロツク境界でのブロツク間差分を所定の閾値と比較して、平滑処理の選択を行う。この結果画像復号化装置６０では、エツジ等の重要な画素情報を保存することができる。かくして画像復号化装置６０においては、分割ブロツクと非分割ブロツク間で生じる疑似輪郭を有効に回避し得、これにより画質劣化を低減することができる。
また画像復号化装置６０においては、階層符号化装置４０側で大きな分割閾値を設定した場合でも、平滑化処理をすることより画質劣化を低減することができる。従つて階層符号化装置４０において分割閾値として大きな値を用いることができ、この分一段と圧縮効率を向上させることができる。
【００６６】
かくして、画像復号化装置６０を用いれば、階層符号化装置４０によりブロツクアクテイビテイに基づいてブロツク分割した圧縮効率の良い画像データを、画質劣化を抑制した状態で復元することができる。
【００６７】
（５）実施例の効果
以上の構成によれば、復号された階層データＤ６１〜Ｄ６４を平滑処理する後処理回路７０〜７３を設けたことにより、ブロツク境界での疑似輪郭を抑制し得る。
またブロツク内アクテイビテイＤ＿ＡＣＴ及びブロツク境界でのブロツク間差分を所定の閾値と比較し、当該比較結果に応じて平滑処理の選択を行うようにしたことにより、重要な画素を保存しながら疑似輪郭を有効に抑制できる。この結果適応分割された圧縮効率の良い圧縮符号化データＤ５１〜Ｄ５５から画質劣化の少ない復元画像データＤ５５及びＤ７１〜Ｄ７４を得ることができる。
【００６８】
（６）他の実施例
なお上述の実施例においては、本発明による画像データ復号方法を、各階層独立に毎回閾値判定して分割処理を行う独立判定法によつて分割処理された圧縮符号化データＤ５１〜Ｄ５５を復号化する際に適用した場合について述べたが、本発明はこれに限らず、上位階層での分割判定により一旦下位階層の分割を中止したとき、これ以降の下位階層の分割を中止する階層符号化方法により得られた複数階層分の圧縮符号化データを復号する際に適用した場合にも、上述の実施例と同様の効果を得ることができる。
また本発明はこれに限らず、階層符号化方式において、階層データ内に解像度の異なる複数のブロツクが存在するような場合に広く適用することができる。
【００６９】
【発明の効果】
上述のように本発明によれば、解像度の高い下位階層の所定ブロツク毎の解像度を低減することにより、当該ブロツクに対応する解像度の低い上位階層でのブロツクを生成するようにして、下位階層から順に順次解像度の異なる複数の階層画像データを生成し、アクテイビテイが低いブロツクに空間的に対応する１階層下のブロツクのデータを符号化対象から除いて当該複数の階層画像データを符号化する画像符号化装置により得られた階層符号化データを復号する画像データ復号装置において、復号手段により復号された階層復号データについて、ブロツク内のレベル変動が第１の閾値未満のとき、当該ブロツクと他のブロツクとの間に跨がる画素間のレベル変動が第２の閾値よりも小さい画素のみを用いてブロツク境界を平滑化処理を行うようにすることにより、ブロツク境界近傍にエツジ等の重要な情報が存在する場合でも、当該重要な情報を保存して平滑化による画質劣化を回避しつつ、ブロツク境界に現れる疑似輪郭を有効に除去して、階層符号化に伴う画質劣化を低減することができる。
【００７０】
また本発明によれば、所望のブロツク内のレベル変動が所定の閾値未満のとき、当該所望のブロツクのブロツク境界を平滑化するようにすることにより、ブロツク境界近傍にエツジ等の重要な情報が存在する場合でも、当該重要な情報を保存して平滑化による画質劣化を回避しつつ、ブロツク境界に現れる疑似輪郭を有効に除去して、階層符号化に伴う画質劣化を低減することができる。
【図面の簡単な説明】
【図１】階層符号化装置によつて生成される階層データの説明に供する略線図である。
【図２】ＨＤ標準画像における適応分割結果を示す図表である。
【図３】ＨＤ標準画像における各階層の信号レベルの標準偏差を示す図表である。
【図４】実施例による階層符号化装置を示すブロツク図である。
【図５】階層符号化エンコーダ部を示すブロツク図である。
【図６】階層構造の説明に供する略線図である。
【図７】復号器の構成を示すブロツク図である。
【図８】符号器の構成を示すブロツク図である。
【図９】階層符号化処理を示すフローチヤートである。
【図１０】本発明による画像復号化装置の一実施例を示すブロツク図である。
【図１１】後処理部の構成を示すブロツク図である。
【図１２】平滑化回路の動作の説明に供する略線図である。
【図１３】従来のピラミツド符号化方法を用いた画像符号化装置を示すブロツク図である。
【図１４】図１３の画像符号化装置により生成された圧縮符号化データを復号する従来の画像復号装置を示すブロツク図である。
【符号の説明】
４０……階層符号化装置、６０……画像復号化装置、７０〜７３……後処理回路、１００……平滑化回路、１０１、１０２……閾値判定回路、Ｄ５１〜Ｄ５５……圧縮符号化データ、Ｄ６０〜Ｄ６４……階層データ、Ｄ７１〜Ｄ７４、Ｘ０〜Ｘ３……平滑化データ、ｍ０〜ｍ７……空間内周辺データ。

Claims (2)

1. 解像度の高い下位階層の所定ブロツク毎の解像度を低減することにより、当該ブロツクに対応する解像度の低い上位階層でのブロツクを生成するようにして、下位階層から順に順次解像度の異なる複数の階層画像データを生成し、アクテイビテイが低いブロツクに空間的に対応する１階層下のブロツクのデータを符号化対象から除いて当該複数の階層画像データを符号化する画像符号化装置により得られた階層符号化データを復号する画像データ復号方法において、
   上記階層符号化データを復号するとともに、上記符号化対象から除かれたブロツクのデータを、空間的に対応する１階層上のブロツクのデータで置き換えて階層復号データを生成する階層データ復号ステツプと、
   上記階層復号データの上記所定のブロツク内でのレベル変動を第１の閾値と比較することにより、ブロツク内のレベル変動を検出するブロツク内レベル変動検出ステツプと、
   上記所定のブロツクと他のブロツクとを跨がる画素間のレベル変動を第２の閾値と比較することにより、上記ブロツクを跨る画素間のレベル変動を検出するブロツク間レベル変動検出ステツプと、
   上記所定のブロツク内のレベル変動が上記第１の閾値未満のとき、当該所定のブロツクと他のブロツクとの間に跨がる画素間のレベル変動が上記第２の閾値よりも小さい画素のみを用いて、上記階層復号データの当該所定のブロツクのブロツク境界を平滑化処理する平滑化処理ステツプと
   を具えることを特徴とする画像データ復号方法。
2. 解像度の高い下位階層の所定ブロツク毎の解像度を低減することにより、当該ブロツクに対応する解像度の低い上位階層でのブロツクを生成するようにして、下位階層から順に順次解像度の異なる複数の階層画像データを生成し、アクテイビテイが低いブロツクに空間的に対応する１階層下のブロツクのデータを符号化対象から除いて当該複数の階層画像データを符号化する画像符号化装置により得られた階層符号化データを復号する画像データ復号装置において、
   上記階層符号化データを復号するとともに、上記符号化対象から除かれたブロツクのデータを、空間的に対応する１階層上のブロツクのデータで置き換えて階層復号データを生成する階層データ復号手段と、
   上記階層復号データの上記所定のブロツク内でのレベル変動を第１の閾値と比較することにより、ブロツク内のレベル変動を検出するブロツク内レベル変動検出手段と、
   上記所望のブロツクと他のブロツクとを跨がる画素間のレベル変動を第２の閾値と比較することにより、ブロツクを跨る画素間のレベル変動を検出するブロツク間レベル変動検出手段と、
   上記所定のブロツク内のレベル変動が上記第１の閾値未満のとき、当該所定のブロツクと他のブロツクとの間に跨がる画素間のレベル変動が上記第２の閾値よりも小さい画素のみを用いて、上記階層復号データの当該所定のブロツクのブロツク境界を平滑化処理する平滑化手段と
   を具えることを特徴とする画像データ復号装置。

Images