JP4111644B2 - 埋め込み符号化／復号化方法及びシステム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、埋め込み符号化／復号化方法及びシステムに関し、より詳細には、画像等を圧縮／伸長する際に圧縮効率を改善し実装を簡素化した埋め込み符号化／復号化方法及びシステムに関する。
【０００２】
【従来の技術】
埋め込み符号化は、符号化ビットストリームを切り捨てることだけで圧縮率を調整することができるので、順次画像伝送，インターネット・ブラウジング，スケーラブル画像及び動画データベース，ディジタルカメラ，低遅延画像通信等の多数のアプリケーションにおいて魅力的な方法である。インターネットの画像ブラウジングを例に取れば、埋め込み符号化は、サーバに高画質圧縮ビットストリームのたった１つのコピーを蓄積させることができる。
【０００３】
ユーザの需要、チャネル周波数帯域条件、ブラウザモニタの画質に応じて、選択可能な量の圧縮ビットストリームがブラウザに配送される。ブラウジングの初期段階において、画像は粗い画質で検索できるので、ユーザが多数の画像を速覧し興味を引く内容を選択できる。選択した画像は次に高画質レベルで全部ダウンロードする。ダウンロードプロセス中、画質は段々と更新される。ユーザは画質が満足のいく状態になり次第、ダウンロードプロセスを取り消すことができる。
【０００４】
シャピロ（Ｊ．Ｍ．Ｓｈａｐｉｒｏ）は、１９９３年１２月のＩＥＥＥの信号処理部会会報第４１巻１２号３４４５−３４６２頁に掲載された論文“ウェーブレット係数のゼロツリーを用いる埋め込み画像符号化（Embedded Image Coding Using Zerotrees Of Wavelet Coefficients）”において埋め込みゼロツリーウェーブレットアルゴリズム（ＥＺＷ）を記述している。
【０００５】
【発明が解決しようとする課題】
埋め込み画像符号化ビットストリームは任意の時点において終了または切り捨てることができる。これにより、復号された画像は実際に使用した符号化ビット数に関して妥当で良好な画質を常に維持できる。ゼロツリーシンボルは複数のサブバンドにわたる係数を含んでいる。従って、実装装置において、符号化器はゼロツリー構造を確立するために多数のサブバンドを横断しなければならず、コーディクは大きな蓄積容量を必要とする。さらに、サブバンド横断ゼロツリーのシンボルは空間的にスケーラブルな画像符号化の場合に無効であり、即ち、より粗い解像度の画像のみを復号するには役立たない。
【０００６】
セッド（Ａ．Ｓａｉｄ）とパールマン（Ｗ．Ｐｅａｒｌｍａｎ）の階層ツリー符号化アルゴリズムにおける集合分離（ＳＰＩＨＴ）は、ＥＺＷを改善したものである。このＳＰＩＨＴは、セッドとパールマンの文献“階層ツリーにおける集合分離に基づく新しい高速で高効率の画像コーディク（A New, Fast and Efficient Image Codec Based on Set Partitioning）”（１９９６年６月のＩＥＥＥの動画技術用の回路及びシステム部会会報第６巻３号，２４３−２５０頁）に記載されている。
【０００７】
ＳＰＩＨＴは、符号化時に、３つのリスト、即ち、有意でない集合のリスト（ＬＩＳ）と有意でない画素のリスト（ＬＩＰ）と有意な画素のリスト（ＬＳＰ）を保持し処理する。算術エントロピ符号化によるＳＰＩＨＴは、ＥＺＷより高性能である。さらに、ＳＰＩＨＴの１モードはハフマン符号または算術符号のような明らかな可変長符号化（ＬＶＣ）を用いることなく高い圧縮効率を達成できる。しかしながら、高ビットレートにおいては、ＳＰＩＨＴが構築するリストは非常に大きくなり、メモリ容量を消費する。従って、その実装は高価となる。
【０００８】
チュイ（Ｃ．Ｃｈｕｉ）及びイー（Ｒ．Ｙｉ）は、米国特許第５，７４３，１１６号公報“疎データセットの入れ子型区分符号化システム及び方法（System and method for nested split coding of sparse data sets）”において、入れ子型区分符号化のアルゴリズムを提案している。入れ子型符号化は、データブロック中の変換係数を符号化する。このアルゴリズムは、高速であり実装も安価であるが、多くのアプリケーションにおいて有効な埋め込み機能を持っていない。
【０００９】
本発明は、上述のごとき実状に鑑みてなされたものであり、ＥＷＺやＳＰＩＨＴのような符号化／復号化技法の圧縮効率のさらなる向上と実装の簡素化をその目的とする。本発明は、特に、４分木埋め込み画像符号化技法をビットプレーン符号化技法と組み合わせて使用して効率の良い簡素化された埋め込み画像符号化システムを提供することをその目的とする。
【００１０】
【課題を解決するための手段】
簡単な４分木法は、各々の順次量子化レベルにおいて変換係数を有意、非有意又は更新係数として認定する。本発明においては、４分木技法は、従来の符号化器に使用されているゼロツリーまたは階層ツリーに代えて使用される。４分木はサブバンド内に限定できるので、品質スケーラビリティに加えて空間スケーラビリティを達成する。符号化器は符号化時にリストを保持しないので、符号化器用の蓄積装置に対する要求条件が軽減される。
【００１１】
本発明による４分木埋め込み符号化器は、多ビットプレーンに延伸する値をそれぞれ持つ、画像係数の２次元アレイを入力とする。係数は、或る特定数のルート（根）ブロックにセグメント化される。このセグメント化は画像全体を１つのルートブロックとするか、或いは予め区分されたサブバンド（１つのサブバンドは初期ルートブロックである）とするか、或いは画面全体を多数の予め特定したブロックとすることができる。ブロックは、ブロックの現ビットプレーンまたはより上位のビットプレーンにビット“１”が存在する場合または存在する場合にのみ有意であるとみなされる。符号化器は、ビットプレーン毎に最上位ビットプレーンから最下位ビットプレーンまで処理を進める。ビットプレーン毎に、符号化器は、各ルートブロックが３つのケースのどれに当たるかをチェックする。
【００１２】
ブロックがそれまでのビットプレーンにおいて既に有意であった第１のケースでは、符号化器は４つのサブブロック（４分ブロック（ｑｕａｄｒａｎｔｓ））の処理に進む。ブロックが現ビットプレーンにおいて有意になった第２のケースでは、符号化器は、ビット"１"を符号化し、次に、ブロックの４分ブロックの処理に進む。ブロックが有意でない第３のケースでは、符号化器はビット"０"を符号化して現ビットプレーンにおけるそのブロックの符号化を終える。
【００１３】
符号化器が各４分ブロックに移行する場合、各サブブロック（４分ブロック）毎に同じ動作を反復する。４分ブロックの有意情報はハフマンまたは算術符号化器によって、任意にエントロピ符号化するか、単純に、ビットストリームに直接送ることができる。
【００１４】
４分ブロックが単一係数のサイズに到達次第、現ビットプレーンにおける現係数のビットを符号化し、係数が有意であれば、その右後ろに符号ビットを符号化する。４分ブロックの区分符号化は、より有意でないビットプレーン毎に予定の符号化ビット数または予定画質に到達するまで反復する。
【００１５】
本発明は、複数のビットプレーンに延伸する値を有するデータアレイ用の埋め込み符号化装置において、前記データアレイ中に１セットの初期ルートブロックをセットする手段と、１つ以上の有意ビットを有するビットプレーン中の前記初期ルートブロックを有意ブロックとして認定し、非有意ビットのみを有するビットプレーン中の前記初期ルートブロックを非有意ブロックとして認定する手段と、有意ブロックを、分割されたブロックが、非有意ビットのみを有するか或いは単一係数を含むまで分割する手段と、非有意ブロックと分割されたブロックを表す符号化値のビットストリームを出力することにより、個々の前記ビットプレーンを符号化する手段と、を備えたことを特徴としたものである。
【００２０】
本発明は、さらに、前記データアレイの全ての値に対し前記ビットプレーンの最有意（最上位）ビットに対応する値を出力することにより、符号化を初期化することを特徴としたものである。
【００２１】
本発明は、さらに、前記初期ルートブロックは、当初から前記データアレイの全ての値を包含する１つのルートブロックを有することを特徴としたものである。
【００２２】
本発明は、さらに、前記初期ルートブロックは、当初から同一サイズの複数のルートブロックを有することを特徴としたものである。
【００２３】
本発明は、さらに、前記初期ルートブロックは、当初から異なるサイズの複数のルートブロックを有することを特徴としたものである。
【００２４】
本発明は、さらに、カラー画像であるディジタル画像を、該カラー画像のクロミナンス画像成分と輝度画像成分を係数に変換し、前記輝度の係数と、異なるクロミナンス係数とを初期ルートブロックに分解して、各初期ルートブロックを符号化することを特徴としたものである。
【００２５】
本発明は、さらに、前記輝度係数とクロミナンス係数が共に類似サブバンドに配置されるように、前記輝度画像成分を前記クロミナンス画像成分と共に変換し、類似サブバンド中の前記輝度係数と前記クロミナンス係数を同じ初期ルートブロックに分解することを特徴としたものである。
【００２６】
本発明は、さらに、前記データアレイは、画像をウェーブレット変換することにより生成した変換係数を有することを特徴としたものである。
【００２７】
本発明は、さらに、前記初期ルートブロックは、サブバンド当たり１つの初期ルートブロックを有することを特徴としたものである。
【００２８】
本発明は、さらに、先に走査したビットプレーンに対するブロックの有意性と非有意性を認定するビット値を蓄積し、該蓄積されたビット値を現在走査しているビットプレーンの値と比較し、該現在走査されているビットプレーン中のブロックの新有意性と旧有意性と非有意性を決定することを特徴としたものである。
【００２９】
本発明は、さらに、上述の埋め込み符号化装置により符号化された符号化係数を復号する埋め込み符号の復号装置において、ルートブロックをゼロで初期化する手段と、最上位ビットプレーンを、復号するか、或いは前記変換から必然的に推定する手段と、該最上位ビットプレーンから最下位ビットプレーンまでルートブロックを走査し、現ブロックを現ビットプレーン値中の１つのルートブロックにセットする手段と、前記現ブロックを新有意ブロック又は旧有意ブロック又は非有意ブロックとして認定する手段と、符号化入力ビットが、前記現ブロックが新有意ブロックであって１つの係数だけを含んでいることを示している場合に、現ビットプレーン値と符号化符号ビットに従って前記現ブロックに対する係数値を導出する手段と、前記現ブロックが旧有意ブロックであって１つの係数だけを含んでいる場合に、符号化更新ビットを入力し、前記現ビットプレーン値と前記更新ビットに従って前記現ブロックに対する前記係数値を更新する手段と、前記現ブロックが有意ブロックであって１つ以上の係数を含んでいる場合に、前記現ブロックをサブブロックに分割し、該サブブロックを前記現ブロックとして順次再定義する手段と、を備えたことを特徴としたものである。
【００３０】
本発明は、さらに、前記現ブロックが有意になる場合に、ｓｉｇｎを前記符号化符号ビット、２^kを前記ビットプレーン値として、前記新有意係数値はＣ_ij＝（ｓｉｇｎ）・１.５・２^kであることを特徴としたものである。
【００３１】
本発明は、さらに、前記旧有意係数値は、ｂ_refを前記符号化更新ビットとして、Ｃ_ij＝Ｓｉｇｎ（Ｃ_ij）・（｜Ｃ_ij｜−（−１）^bref・２^k-1）であることを特徴としたものである。
【００３２】
本発明は、さらに、前記現ブロックは、前記符号化入力ビットが“１”の場合には新有意ブロックであり、前記符号化入力ビットが“０”の場合には非有意ブロックであり、前記係数値が先に復号されたビットプレーンにおいて既に有意な場合には旧有意ブロックであることを特徴としたものである。
【００３３】
本発明は、画像を、異なるビットプレーン上にビットを有する１セットの係数に変換する変換装置と、前記係数を受信する手段と、１つ以上の有意係数を有する各ビットプレーン中の有意ブロックと非有意係数のみを有する非有意ブロックとを認定する手段と、前記有意ブロックを、分割されたブロックが非有意係数のみを有するか或いは単一係数を含むまで分割する手段と、前記非有意ブロックと前記分割されたブロックとを表す符号化値を生成する手段と、を有し、各ビットプレーンを符号化する埋め込み符号化装置と、を備えたことを特徴としたものである。
【００３５】
本発明は、さらに、前記埋め込み符号化装置からの符号化値を受信する蓄積装置または通信チャネルを備えたことを特徴としたものである。
【００３６】
本発明は、さらに、前記埋め込み符号化装置からの符号化値を入力し、現ブロックが新有意ブロックであって１つの係数だけを有する場合に、現ビットプレーン値と前記符号化符号ビットに従って、係数値を生成する手段と、前記埋め込み符号化装置からの更新ビットを入力し、前記現ブロックが旧有意ブロックであって１つの係数だけを有する場合に、前記現ビットプレーンの値と前記更新ビットに従って、前記係数値を更新する手段と、前記現ブロックを更に小ブロックに分割し、該小ブロックを順次現ブロックとして再定義し、前記小ブロックが新有意係数として認定された場合に新係数を生成し、前記サブブロックが旧有意係数として認定された場合に現存の係数値を更新する手段と、を有する埋め込み復号装置を備えたことを特徴としたものである。
【００３７】
本発明は、４分木埋め込み符号化方法において、複数ビットプレーンに延伸する値を持つ画像係数の２次元アレイを導出し、前記複数ビットプレーンの各ビットプレーン毎に対する画像係数の２次元アレイをルートブロックにセグメント化し、非有意係数のみを有するブロックを認定して、該認定ブロックを表す符号化値を出力し、１つ以上の有意係数を有する前記ブロックをより小さい４分ブロックに分割し、非有意ビットのみを有する４分ブロックを繰り返し認定して、該認定された小さい４分ブロックを表す符号化値を出力し、１つ以上の有意係数を有する前記小さい４分ブロックを更に小さい４分ブロックに、単一係数のみを含む４分ブロックになるまで、反復分割して、前記単一係数の符号化値を出力し、予定符号化ビット数に達するまで各下位ビットプレーンへの降順で４分ブロックの前記セグメント化、符号化及び分解を反復することを特徴としたものである。
【００３８】
【発明の実施の形態】
４分木符号化技法は、正規の分割により生じる可変サイズブロックを符号化するための有効な方法として広く用いられてきた。４分木符号化は、シュリバン（Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ）とベーカ（Ｒ．Ｌ．Ｂａｋｅｒ）の論文“画像及び動画の効率的な４分木符号化（Efficient Quadtree Coding of Images and Video）”（１９９４年５月発行のＩＥＥＥの画像処理部会会報、第３巻３号の３２７−３３１頁に掲載）及びストロバック（Ｐ．Ｓｔｒｏｂａｃｈ）の論文“画像の４分木構造の帰納的プレーン分割符号化（Quadtree-Structured Recursive Plane Decomposition Coding of Images”（１９９１年６月発行のＩＥＥＥの信号処理部会会報、第３９巻６号の１３８０−１３９７頁に掲載）に記述されている。本発明においては、４分木及びビットプレーン方式を組み合わせて、より簡素な埋め込み画像符号化方法を提供する。
【００３９】
図１は、本発明の実施形態における４分木埋め込み符号化器と復号器を示すブロック図である。符号化器／復号器システム１２は、原ディジタル画像１４を受信する符号化器１６を含んでいる。この符号化器１６は、原画像１４を変換係数に変換する変換器１８を含んでいる。本発明による４分木埋め込み符号化器２０は、変換器１８からの係数を符号化する。この４分木埋め込み符号化器２０からの符号化されたビットは、蓄積装置に蓄積されるか、或いは、通信チャネル２２により伝送される。
【００４０】
復号器２４は、符号化器１６で実行された符号化プロセスを逆に実行する。復号器２４は、本発明による４分木埋め込み復号器２６を含んでおり、この復号器が蓄積装置または通信チャネル２２からの符号化データを復号する。逆変換器２８は復号された係数ビットストリームを再構築画像３０に変換する。
【００４１】
変換器１８は画像信号エネルギを少数の変換係数に集中させる。４分木埋め込み符号化器２０は、これらの係数をかなり高い効率で符号化できる。変換器１８はエネルギ圧縮特性を有する任意の変換器で有り得る。例えば、この変換器１８は離散コサイン変換（ＤＣＴ）またはウェーブレット変換（ＷＴ）方式であってよい。説明のためにウェーブレット変換を用いるが、４分木埋め込み符号化器はＤＣＴ係数にも同様に容易に適用できる。この４分木埋め込み符号化器は、変換器１８と組み合わせて使用する必要はない。例えば、この４分木埋め込み符号化器を画像またはテキストデータに直接使用してもよい。４分木埋め込み符号化器２０と組み合わせて符号化を追加実施して、画像ビットストリームを更に圧縮することができる。例えば、ハフマンまたは算術符号化体系を４分木埋め込み符号化器２０に組み込ことができる。４分木埋め込み符号化は、２つの主要な原理、即ち、（１）ビットプレーン方式と、（２）４分木表現（または符号化方法）に基づく。
【００４２】
（ビットプレーン方式）
図２は、従来技術による変換係数と関連ビットプレーンを示す図である。従来技術においては、量子化により各変換係数を符号化するビット数が決定され、次に無損失エントロピ符号化技法により量子化係数を符号化する。図２を参照し、１次元ウェーブレット変換係数３２を例に説明する。各行３３は、変換係数３２の１つに対する符号値の２進表現である。各係数の最上位ビットｂ₁は、左端のビットである。従来の符号化方法では、符号化を要する係数３２のビット数を決定する。一例を挙げれば、５ビットの符号化精度が要求される場合、係数３２のビットｂ₁乃至ｂ₅を各行毎に符号化する。
【００４３】
ビットプレーン方式は、通常、明らかな量子化ステップを持たない。最上位のビットから始め、最上位の（最も有意な）ビットプレーンを符号化し、次位の（次に有意な）ビットプレーンを次々に符号化して行く。予め特定した数の符号化ビットまたは所望の画質に到達するまでビットプレーンを符号化する。図２の例で説明すると、ビットプレーン方式は、縦列中のビットを縦列毎に、ｂ₁ビットプレーン中のビットから始め、次にｂ₂ビットプレーンのビットへと符号化を進めて行く。
【００４４】
この符号化方法の利点は、埋め込み特性である。各係数の最上位部が最初に符号化されるので、ビットストリームの符号化を任意に終了またはビットストリームを切り捨てて、画像を妥当な画質で再構成することができる。
【００４５】
（４分木符号化）
４分木符号化方法は、２次元可変サイズ領域を効率よく表現する。１画像領域はその領域内のエレメントが或る共通の特性を持つように形成される。領域は、共通の近傍を帰納的に結合するボトムアップ方式、或いは、領域を異なるサブ領域に帰納的に分割して行くトップダウン方式の何れかで形成することができる。４分木表現は、簡素（低オーバーヘッド）であるが、最終可変サイズ領域を記述するために固定した幾分制限された構造を提供する。これは分解・統治方法に類似した階層的データ構造と帰納的分割原理と密接に関連している。
【００４６】
図３は、先行技術による画像領域の４分木表現を示す図である。４分木表現中の各ブロックは、分割が必要で且つ分割が帰納的になし得る場合は、常に４個の同一サイズのサブブロックに区分される。図３の左上に８×８ブロック３６が示されている。全８×８ブロック３６をルートブロックと記述する。本例の場合、親ルートブロック３６中の数字のすべてが同じでないので、ルートブロック３６を４個の４×４サブブロック３８に更に分解する。サブブロック３８は、親ブロック３８中の数字がすべて同じでなければ、更に４個の小サブブロック４０に分割できる。さらなる分割の必要が無くなるか或いは最小可能ブロックサイズに達するまで上述の分割を帰納的に繰り返す。
【００４７】
図３の右側に、ルートブロック３６から枝分かれした４分木３４が示されている。この４分木３４は、内部の（節）ノード４１を表すために"１"を用い、葉（リーフ）４２を表すために“０”を用いたビットストリームで表現することができる。４分木３４の走査は、用途に応じて幅方向または深度方向を先に行なう。１つのノードから別れた４つのサブブロックの走査順序もまた任意である。
【００４８】
図４は、４つの画像領域のＺ字型走査を示す図で、通常の走査順序は、図に示すように、１行づつ左上から右下への順序となる。この走査は、Ｚ字型走査とも呼ばれている。各葉４２の共通の特徴を記述する記述子は、葉を示す"０"の右後に付けるか、或いは、ツリー全体の全ての枝別れ点を示すビットストリームの後に纏めて付けることができる。図３の例では、深度優先走査とＺ字型サブブロック走査を行って、ビットプレーンのルートブロック３６を次のように記述する。
1111110101110000 100000100 00 110100010000
【００４９】
１エレメントのサブブロックに到達した場合は、それは常に葉であるから葉を示す“０”を送る必要はない。最初の１６ビットは、ビットプレーンのルートブロック３６の左上の４分ブロックを表す第１枝４４を符号化するために使用される。次の９ビット“１０００００１００”は、第２枝４６を符号化するために使用される。第２枝４６を表す９ビットの場合、最初のビット“１”は上方右側の４分ブロックが４個のサブ４分ブロックに分裂していることを示す。次のビット対“００”はサブ４分ブロック５２が全てゼロであることを示し、その次のビット対“００”はサブ４分ブロック５４が全てゼロであることを示している。次のビット対“０１”は第３のサブ４分ブロック５６が全て１であることを示し、最後の２個の“０”は第４のサブ４分ブロック５８が全てゼロであることを示している。
【００５０】
ビットストリーム中の２６と２７番目のビットは、両方ともゼロであり、全てゼロを含む左下の４分ブロックを表している。２８〜３９番目のビットは、右下の４分ブロックを表している。このルートブロック３６を各行毎に符号化すると６４ビットを要するのに対し、この４分木表現では３９ビットで全ルートブロック３６を記述できる。４分木表現３４は、大きい領域、例えば疎アレイを形成するように群集する傾向をもつ共通特性の成分により、２次元アレイ３６を効率よく表現することができる。
【００５１】
（４分木埋め込み符号化）
図１中の４分木埋め込み符号化器２０は、ビットプレーン方式と２次元４分木方式の両方の原理を組み込むことによりさらに効率的に画像を符号化する。変換後、係数をルートブロックにセグメント化する。このセグメント化は、画像全体を包含する１つのルートブロックとするか、或いは１つのサブバンドが初期ルートブロックとなる予め区分されたサブバンド或いは多数の予め特定したサイズのブロックで画像全体をカバーすることができる。全体として、ルートブロックのサイズは異なっていても同一であってもよい。又、ルートブロックは、変換構造（例えば、ウェーブレット変換におけるサブバンド構造）と無関係に決めることができ、変換構造に応じて決定することもできる。
【００５２】
考慮すべき条件は、（１）ルートブロック内の係数はできるだけ多くの相互関係を有し、（２）高い効率を達成するためにルートブロックが妥当なサイズを有することである。
【００５３】
変換係数は、その絶対値が現在走査されているビットプレーンの値より大きいかまたは等しい場合或いはその場合にのみ有意である。ブロックは、ブロック内の少なくとも１つの係数が有意である場合或いはその場合にのみ有効である。４分木埋め込み符号化器２０（図１）は非有意ブロックを効率よく符号化するために４分木表現を使用する。
【００５４】
符号化はビットプレーン毎に最上位ビットプレーンから最下位ビットプレーンまで実施する。最上位ビットプレーン値２^Mは、２^M+1＞Ｃ_max≧２^M（Ｃ_maxは全係数値中の最大の絶対値）に従って検出できる。変換オペレーションからエクストラビットの精度と原画像ビットの深度から最大可能なＭ値を必然的に導出することもまた可能である。例えば、原画像がビット深度Ｌを有し、画像値の範囲が−２^L-1から2^L-1であり、係数生成に用いた変換器がハールのフィルタを用いたウェーブレット変換器であるとすると、レベルｋにおけるウェーブレット係数の最大絶対値は２^L+k-1である。本例の場合、Ｍを次にＭ＝Ｌ＋ｋ−２にセットする。Ｍを全係数中の最大絶対値Ｃ_maxから決定する場合、Ｍを符号化し復号器に伝送しなければならない。しかしながら、Ｍが最大可能値から必然的に導出する場合は、伝送する必要はない。
【００５５】
２^N×２^Nのブロックの符号化の場合を仮定する。このブロックはルートブロックである。ビットプレーンｋ＝Ｍから始め、各ブロック（即ち、サブブロック）毎に現在走査されているビットプレーン値（即ち、しきい値）２^kに関するその有意性（重要度）をチェックする。各ブロックを３つのケース、即ち、（１）有意でないブロック、（２）新たな有意ブロック及び（３）旧（前の）有意ブロックの中の１つに分類する。ブロックが非有意であれば、ビット“０”を出力する。この場合はさらなる分割は不要である。新有意ブロックであれば、ビット“１”を出力する。旧有意ブロックの場合、その情報は先の反復により既に得られているので特定する必要はない。
【００５６】
（新または旧）有意ブロックは、１係数でない限り、常に４つのサブブロックに分割する。新有意係数に達すると、その符号ビットを、有意性を示すビット"１"の右後ろに出力する。先に符号化されている情報から既知である旧有意係数に至った場合は、現在走査されているビットプレーンに対応するその絶対値のビット、更新ビットと称するビットを出力する。１ビットプレーンを完全に符号化後、ｋ値を１だけ減じ、次のビットプレーンを走査し符号化する。全プロセスは所望数の符号化ビットまたは所望の画質に到達次第停止する。
【００５７】
図５は、図１における４分木埋め込み符号化器の動作を説明するためのフロー図である。図５を参照し、４分木埋め込み符号化につき詳述する。
（ステップ６０）
最大絶対値と対応する最上位ビットプレーン２^Mを検出する。Ｍが必然的に導出されたものでなければ、Ｍに対するコードを出力する。Ｍは４ビットまたは５ビットの固定長２値符号語で符号化することができる。ｋの値をＭにセットし、現ブロック（ＣＢ）をルートブロックの１つにセットする。
（ステップ６２）
現ブロック（ＣＢ）の最大絶対値をＶ_maxと表示する。現ブロックを２^kに関して有意度をチェックする。
（ステップ６４）
現ブロックが有意ブロックでない、即ち、Ｖ_max＜２^kである場合は、ステップ６６でビット“０”を出力し、ステップ８２に進む。
（ステップ６８）
現ブロックが新しい有意ブロックである、即ち、２^k+1＞Ｖ_max≧２^kである場合は、ステップ７４でビット“１”を出力する。
【００５８】
（ステップ７６）
現ブロック（ＣＢ）が１個の係数しか含んでいない場合、ステップ８０で符号ビットを出力し、ステップ８２に進む。
（ステップ７８）
もしそうでなければ、現ブロックを４つのサブブロックに分割し、各ブロックについて、それを現ブロックとして再定義し、ステップ６２に移行する。
（ステップ７０）
現ブロックが旧有意ブロックである、即ち、Ｖ_max≧２^k+1である場合は、１係数だけを含んでいるか否かをチェックする。
（ステップ７２）
１係数だけであれば、更新ビットを出力しステップ８２に進む。
（ステップ７８）
もしそうでなければ、現ブロックを４つのサブブロックに分割し、各ブロックについて、それを現ブロックとして規定し、ステップ６２に移行する。
【００５９】
（ステップ８２）
もし未完ブロックがあれば、ステップ８４で現ブロックを次のブロックにセットし、ステップ６２に移行する。もしそうでなければ、ステップ８６に進む。
（ステップ８６）
もしｋ＝０であれば、ステップ８８で停止する。もしそうでなければ、ステップ９０で、ｋ＝ｋ−１にセットし、現ブロックをルートブロックにセットし、ステップ６２に移行する。Ｍが符号化されれば、Ｍの符号化ビットがその情報を供給するので、ルートブロックの有意性を示すビット“１”の出力をステップ７４で省略できる。
【００６０】
ブロックが新有意ブロックか、旧有意ブロックか、或いは非有意ブロックかを決定する他の方法がある。例えば、レジスタを用いて先に走査されたビットプレーンにおいて有意になったブロックを認定する。４分木埋め込み符号化器は、現ビットプレーンブロック中のビット値を関連レジスタ値と比較する。もしレジスタ値が、ブロックが以前は非有意ブロックであり、現ビットプレーンにおけるブロックのどのビット値も“１”であることを示していれば、そのブロックは新有意ブロックである。レジスタ値は反転し、次からそのブロックが現有意ブロックであることを示す。この符号化器は次に反転レジスタ値を用いてそのブロックを次のビットプレーンにおける旧有意ブロックとして認定する。
【００６１】
図６及び図７は、複数ビットプレーンに対する４分木埋め込み符号化器の動作を説明するための図で、図５で説明した符号化のスキームを図示したものである。図６を参照する。ブロックの縦列は、縦線９２で示され、１変換係数を示している。ブロック９４，９６，９８及び１００の各々の水平群はビットプレーンを表している。４つのビットプレーン９４，９６，９８，１００があり、従って、どの係数の場合の最大絶対値も１５である。空ボックスは“０”のビット値を表しており、“１”を持つボックスは“１”のビット値を表している。
【００６２】
破線を付けて示したビットの２×２ブロック９１について先ず説明する。このブロック９１はルートブロックである。係数ルートブロック９１内の最大絶対値を決定しＣ_maxとして表す。最上位のビットプレーン９４の値は２^Mであり、Ｍ＝３である。ｋ＝Ｍ＝３から開始し、ビットプレーンの各ブロックとそのサブブロックを必要に応じて２^k＝８に関して有意性をチェックする。現ブロック９１の最大絶対値をＶ_max＝１５と表現する。現ブロック９１の有意性を２^k＝８に関してチェックする。現ブロック９１は、２^k+1＞Ｖ_max≧２^kである（または、ビットプレーンブロック９１中にビット“１”がある）ので新有意ブロックと規定し、ビット“１”（１０９）を出力する。
【００６３】
現ブロック９１は複数の係数を含んでいるので、４つのサブブロック１０２，１０４，１０６及び１０８に分割する。サブブロック１０２から始め各ブロックを現ブロックとして定義する。現ブロック１０２の最大絶対値は、Ｖ_max＝１５である。現ブロック１０２は、２^k+1＞Ｖ_max≧２^kであるので新有意ブロックであり、ビット“１”（１１０）を出力する。現ブロック１０２は１係数しか含んでいないので、符号ビット（１１２）を出力する。
【００６４】
ビットプレーン９４には未完ブロックが残っているので、現ブロックをブロック１０４にセットする。ブロック１０４の最大絶対値はＶ_max＝７である。Ｖ_max＜２^kであるのでゼロ（１１４）を出力する。同様に、サブブロック１０６に対して“０”ビット（１１６）を出力し、サブブロック１０８に対して“０”ビット（１１８）を出力する。
【００６５】
次のブロック９３は点線をつけて示してあり、次の現ブロックとしてセットする。現ブロック９３の最大絶対値はＶ_max＝３である。Ｖ_max＜２^kであるので現ブロックは有意でなく、“０”ビット（１２０）を出力する。現ブロックを、ビットプレーン９３内の左下ブロック９５にセットする。“０”ビット（１２２）が左下ブロック９５を表している。“０”ビット（１２４）はビットプレーン９３内の右下ブロック９７を表している。この時点で、ビットプレーン９４の符号化は終了する。ビットプレーン値をｋ＝ｋ−１＝２に減値し、現ブロックを、図７に示すようにビットプレーン９６内の次のルートブロック１２６にセットする。
【００６６】
図７を参照すると、新しい現ブロック１２６の最大絶対値は、Ｖ_max＝１５のままである。現ブロック１２６は複数の係数を含んでおり、Ｖ_max≧２^k+1であるので旧有意ブロックである。従って、現ブロック１２６を４つのサブブロック１２８，１３０，１３２及び１３４に分割する。サブブロック１２８から始め各サブブロックを順次現ブロックとして再定義する。現ブロック１２８の最大絶対値は、Ｖ_max＝１５であり、Ｖ_max≧２^k+1であるので旧有意ブロックと定義する。しかしながら、サブブロック１２８は、１係数しか含んでいないので、更新ビット（１３６）を出力する。
【００６７】
次の現ブロック１３０の最大絶対値は、Ｖ_max＝７である。現ブロックの有意性を２^k＝４に関してチェックする。２^k+1＞Ｖ_max≧２^kであるので現ブロック１３０は新しい有意ブロックであり、従って“１”ビット（１３８）を出力する。現ブロック１３０は１係数しか含んでいないので、符号ビット（１４０）を出力する。次のサブブロック１３２も新有効ビットであり、“１”ビットと符号ビット（１４２）を出力する。同様に、次のサブブロック１３４を“１”ビットと符号ビット（１４４）に符号化する。次の現ブロック１４６は、点線を付けて示してあり、全て“０”ビットである。従って、“０”ビット（１４８）を出力する。
【００６８】
ビットプレーン９６の残りを符号化ビットストリーム１５０中に出力する。同様にして、ビットプレーン９８を符号化ビットストリーム１５２として出力し、ビットプレーン１００を符号化ビットストリーム１５４として出力する。
【００６９】
図６及び図７に示した変換画像全体を少数の初期ブロックに分解することができる。図５のステップ６０を各ブロックに対して実行し、最大絶対値を明示して送付することができる。代わりに、変換画像全体につき１つの最大絶対値を送ることもできる。ｋの値は、何れの場合でも、画像全体の最大絶対値に従ってセットされる。残りのステップを各ビットプレーンのブロック毎に実行する。各々のブロックの最大絶対値を送る場合は、これらのブロックの有意性を指定するビットを省略することができる。
【００７０】
４分木埋め込み符号化器の出力ビットストリームをハフマンまたは算術エントロピ符号化器によりさらに符号化することができる。
【００７１】
（４分木埋め込みビットストリームの復号）
図８は、図１における４分木埋め込み復号器の動作を説明するためのフロー図である。４分木埋め込み復号器２４（図１）の動作を図８を参照し説明する。復号プロセスは図５に示した符号化手順と類似である。
【００７２】
（ステップ１６０）
ルートブロック中の全ての係数を０で初期化して、Ｍを復号する。ｋの値をＭにセットし、現ブロック（ＣＢ）をルートブロックにセットする。
（ステップ１６２）
現ブロックが既に有意なブロックであるかどうかをチェックする。既に有意なブロックであれば、ステップ１６４に進み、そうでなければ、ステップ１７０において１ビット（ｂで表す）を入力する。
（ステップ１７２）
もしｂ＝０であれば、現ブロックは有意でなく、ステップ１７８に進む。もしｂ＝１ならば、現ブロックは新しい有意ブロックである。
（ステップ１７４）
現ブロックが１つの係数だけを含んでいる場合は、ステップ１７６で、その符号ビットを入力し、その係数（（ｉ，ｊ）を係数の座標とし、Ｃ_ijと表示する）の現在値を、Ｃ_ij＝Ｓｉｇｎ（Ｃ_ij）・１.５・２^kによりセットする。その後ステップ１７８にステップに進む。
【００７３】
（ステップ１６８）
もし、複数の係数を含んでいれば、現ブロックを４つのサブブロックに分割し各サブブロックを現ブロックとして再定義する。ステップ１６２に移行する。
（ステップ１６４）
現ブロックは旧有意ブロックである。ブロックが１係数のみを含んでいるかチェックする。
（ステップ１６６）
ブロックが１係数のみを含んでいる場合は、更新ビット（ｂ_ref）を入力し、現在値をＣ_ij＝Ｓｉｇｎ（Ｃ_ij）・（｜Ｃ_ij｜−（−１）^bref・２^k-1）により更新する。次に、ステップ１７８に進む。
（ステップ１６８）
ブロックが複数の係数を含んでいる場合は、現ブロックを４つのサブブロックに分割して各サブブロックを現ブロックとして再定義し、ステップ１６２に移行する。
（ステップ１７８）
もし未完ブロックがあれば、ステップ１８０で現ブロックを次のブロックにセットし、ステップ１６２に移行する。もしそうでなければ、ステップ１８２に進む。
（ステップ１８２）
もしｋ＝０であれば、ステップ１８４で停止する。もしそうでなければ、ステップ１８６で、ｋ＝ｋ−１にセットし、現ブロックをルートブロックにセットし、ステップ１６２に移行する。
【００７４】
各係数の値が符号化ビットストリームを切り捨てることができるように導出されたものであれば、各係数は現量子化ビンの中央に設置する。
【００７５】
図９は、独立した輝度領域及びクロミナンス領域に割り当てられた、４分木埋め込み符号化の初期ルートブロックを示す図である。カラー画像を符号化する場合、適当なクロミナンス変換を先ず適用し、カラー画像を１枚の輝度画像（Ｙ）と２枚のクロミナンス画像（Ｃ₁とＣ₂）に変換する。図９は、輝度画像Ｙに関して４：１：１の比率でダウンサンプリングされた２枚のクロミナンス画像Ｃ₁とＣ₂を示したものである。但し、任意のサンプリング比率を使用することができる。図９の画像の３つの色成分は、個別に（ウェーブレット）変換される。画像Ｙ，Ｃ₁，Ｃ₂の各々の係数は、個別の初期ルートブロックに分解される。例えば、各々の画像を８×８のルートブロックに最初から分解することもできる。４つの初期ルートブロックが１６×１６の全体画像を、１ルートブロックが８×８の画像Ｃ₁を、１ルートブロックが８×８の画像Ｃ₂をカバーする。しかしながら、初期ルートブロックのサイズは、同一画像の異なるサブバンドに対し変更でき、或いは、画像Ｙ，Ｃ₁，Ｃ₂に対し異なるサイズとすることができる。
【００７６】
図１０は、輝度及びクロミナンスの結合領域に割り当てられた、４分木埋め込み符号化の初期ルートブロックを示す図である。大きな矩形画像は３成分画像Ｙ，Ｃ₁，Ｃ₂を一緒に合わせることにより形成される。Ｙ，Ｃ₁とＣ₂の画像を共に、Ｙ，Ｃ₁，Ｃ₂の各々の成分に対する係数１９２が同一のウェーブレットサブバンドに配置されるように変換する。変換係数１９２を次に若干数の初期ルートブロックに分解する。ルートブロックは、異なるＹ，Ｃ₁及びＣ₂の成分の係数を含むことができる。図１０に示す係数１９２は８×８の初期ルートブロック１９４に分解される。しかしながら、初期ルートブロックのために選択されたサイズは、異なるサブバンドサイズまたは複数のサブバンドをカバーするために変更することができる。Ｙ，Ｃ₁及びＣ₂の画像の類似した成分を一緒に符号化するので、効率のよい符号化を実現できる。
【００７７】
以上、本発明の原理を好ましい実施形態により説明してきたが、本発明はかような原理から逸脱することなく、構成及び細部を変更できることは明らかである。
【００７８】
【発明の効果】
本発明によれば、４分木技法が従来の符号化器に使用されているゼロツリーまたは階層ツリーに代えて使用され、４分木はサブバンド内に限定できるので、品質スケーラビリティに加えて空間スケーラビリティを達成できる。さらに、符号化器は符号化時にリストを保持しないので、符号化器用の蓄積装置に対する要求条件が軽減できる。
【００７９】
本発明によれば、埋め込み特性により、各係数の最上位部が最初に符号化されるので、ビットストリームの符号化を任意に終了またはビットストリームを切り捨てて、画像を妥当な画質で再構成することができる。
【図面の簡単な説明】
【図１】本発明の実施形態における４分木埋め込み符号化器と復号器を示すブロック図である。
【図２】従来技術による変換係数と関連ビットプレーンを示す図である。
【図３】従来技術による画像領域の４分木表現を示す図である。
【図４】４つの画像領域のＺ字型走査を示す図である。
【図５】図１における４分木埋め込み符号化器の動作を説明するためのフローチャートである。
【図６】複数ビットプレーンに対する４分木埋め込み符号化器の動作を示す図である。
【図７】複数ビットプレーンに対する４分木埋め込み符号化器の動作を示す図である。
【図８】図１における４分木埋め込み復号器の動作を説明するためのフロー図である。
【図９】独立した輝度領域及びクロミナンス領域に割り当てられた、４分木埋め込み符号化の初期ルートブロックを示す図である。
【図１０】輝度及びクロミナンスの結合領域に割り当てられた、４分木埋め込み符号化の初期ルートブロックを示す図である。
【符号の説明】
１４…原画像、１６…符号化器、１８…変換器、２０…４分木埋め込み符号化器、２２…蓄積装置又はチャネル、２４…復号器、２６…４分木埋め込み復号器、２８…逆変換器、３０…再構築画像、３２…１次元ウェーブレット変換係数、９１，９３，９５，９７…ブロック、９４，９６，９８，１００…ビットプレーン、１０２，１０４，１０６，１０８…サブブロック、１０９，１１０…ビット“１”、１１２…符号ビット、１１４，１１６，１１８，１２０，１２２，１２４…“０”ビット。

Claims (18)

1. 複数のビットプレーンに延伸する値を有するデータアレイ用の埋め込み符号化装置において、
   前記データアレイ中に１セットの初期ルートブロックをセットする手段と、
   １つ以上の有意ビットを有するビットプレーン中の前記初期ルートブロックを有意ブロックとして認定し、非有意ビットのみを有するビットプレーン中の前記初期ルートブロックを非有意ブロックとして認定する手段と、
   有意ブロックを、分割されたブロックが、非有意ビットのみを有するか或いは単一係数を含むまで分割する手段と、
   非有意ブロックと分割されたブロックを表す符号化値のビットストリームを出力することにより、個々の前記ビットプレーンを符号化する手段と、を備えたことを特徴とする埋め込み符号化装置。
2. 前記データアレイの全ての値に対し前記ビットプレーンの最上位ビットに対応する値を出力することにより、符号化を初期化することを特徴とする請求項１に記載の埋め込み符号化装置。
3. 前記初期ルートブロックは、当初から前記データアレイの全ての値を包含する１つのルートブロックを有することを特徴とする請求項１に記載の埋め込み符号化装置。
4. 前記初期ルートブロックは、当初から同一サイズの複数のルートブロックを有することを特徴とする請求項１に記載の埋め込み符号化装置。
5. 前記初期ルートブロックは、当初から異なるサイズの複数のルートブロックを有することを特徴とする請求項１に記載の埋め込み符号化装置。
6. カラー画像であるディジタル画像を、該カラー画像のクロミナンス画像成分と輝度画像成分を係数に変換し、前記輝度の係数と、異なるクロミナンス係数とを初期ルートブロックに分解して、各初期ルートブロックを符号化することを特徴とする請求項１に記載の埋め込み符号化装置。
7. 前記輝度係数とクロミナンス係数が共に類似サブバンドに配置されるように、前記輝度画像成分を前記クロミナンス画像成分と共に変換し、類似サブバンド中の前記輝度係数と前記クロミナンス係数を同じ初期ルートブロックに分解することを特徴とする請求項６に記載の埋め込み符号化装置。
8. 前記データアレイは、画像をウェーブレット変換することにより生成した変換係数を有することを特徴とする請求項１に記載の埋め込み符号化装置。
9. 前記初期ルートブロックは、サブバンド当たり１つの初期ルートブロックを有することを特徴とする請求項８に記載の埋め込み符号化装置。
10. 先に走査したビットプレーンに対するブロックの有意性と非有意性を認定するビット値を蓄積し、該蓄積されたビット値を現在走査しているビットプレーンの値と比較し、該現在走査されているビットプレーン中のブロックの新有意性と旧有意性と非有意性を決定することを特徴とする請求項１に記載の埋め込み符号化装置。
11. 請求項１記載の埋め込み符号化装置により符号化された符号化係数を復号する埋め込み符号の復号化装置において、
    ルートブロックをゼロで初期化する手段と、
    最上位ビットプレーンを、復号するか、或いは前記変換から必然的に推定する手段と、
    該最上位ビットプレーンから最下位ビットプレーンまでルートブロックを走査し、現ブロックを現ビットプレーン値中の１つのルートブロックにセットする手段と、
    前記現ブロックを新有意ブロック又は旧有意ブロック又は非有意ブロックとして認定する手段と、
    符号化入力ビットが、前記現ブロックが新有意ブロックであって１つの係数だけを含んでいることを示している場合に、現ビットプレーン値と符号化符号ビットに従って前記現ブロックに対する係数値を導出する手段と、
    前記現ブロックが旧有意ブロックであって１つの係数だけを含んでいる場合に、符号化更新ビットを入力し、前記現ビットプレーン値と前記更新ビットに従って前記現ブロックに対する前記係数値を更新する手段と、
    前記現ブロックが有意ブロックであって１つ以上の係数を含んでいる場合に、前記現ブロックをサブブロックに分割し、該サブブロックを前記現ブロックとして順次再定義する手段と、を備えたことを特徴とする埋め込み符号の復号化装置。
12. 前記現ブロックが有意になる場合に、ｓｉｇｎを前記符号化符号ビット、２^kを前記ビットプレーン値として、前記新有意の係数値はＣ_{i ｊ}＝（ｓｉｇｎ）・１.５・２^kであることを特徴とする請求項１１に記載の埋め込み符号の復号装置。
13. 前記旧有意の係数値は、ｂ_refを前記符号化更新ビットとして、Ｃ_ij＝Ｓｉｇｎ（Ｃ_ij）・（｜Ｃ_ij｜−（−１）^bref・２^{ｋ -1}）であることを特徴とする請求項１１に記載の埋め込み符号の復号化装置。
14. 前記現ブロックは、前記符号化入力ビットが“１”の場合には新有意ブロックであり、前記符号化入力ビットが“０”の場合には非有意ブロックであり、前記係数値が先に復号されたビットプレーンにおいて既に有意な場合には旧有意ブロックであることを特徴とする請求項１１に記載の埋め込み符号の復号化装置。
15. 画像を、異なるビットプレーン上にビットを有する１セットの係数に変換する変換装置と、
    前記係数を受信する手段と、１つ以上の有意係数を有する各ビットプレーン中の有意ブロックと非有意係数のみを有する非有意ブロックとを認定する手段と、前記有意ブロックを、分割されたブロックが非有意係数のみを有するか或いは単一係数を含むまで分割する手段と、前記非有意ブロックと前記分割されたブロックとを表す符号化値を生成する手段と、を有し、各ビットプレーンを符号化する埋め込み符号化装置と、を備えたことを特徴とするシステム。
16. 前記埋め込み符号化装置からの符号化値を受信する蓄積装置または通信チャネルを備えたことを特徴とする請求項１５に記載のシステム。
17. 前記埋め込み符号化装置からの符号化値を入力し、現ブロックが新有意ブロックであって１つの係数だけを有する場合に、現ビットプレーン値と前記符号化符号ビットに従って、係数値を生成する手段と、
    前記埋め込み符号化装置からの更新ビットを入力し、前記現ブロックが旧有意ブロックであって１つの係数だけを有する場合に、前記現ビットプレーン値と前記更新ビットに従って、前記係数値を更新する手段と、
    前記現ブロックを更に小ブロックに分割し、該小ブロックを順次現ブロックとして再定義し、前記小ブロックが新有意係数として認定された場合に新係数を生成し、前記サブブロックが旧有意係数として認定された場合に現存の係数値を更新する手段と、を有する埋め込み復号装置を備えたことを特徴とする請求項１５に記載のシステム。
18. ４分木埋め込み符号化方法において、
    複数ビットプレーンに延伸する値を持つ画像係数の２次元アレイを導出し、
    前記複数ビットプレーンの各ビットプレーン毎に対する画像係数の２次元アレイをルートブロックにセグメント化し、
    非有意係数のみを有するブロックを認定して、該認定ブロックを表す符号化値を出力し、
    １つ以上の有意係数を有する前記ブロックをより小さい４分ブロックに分割し、
    非有意ビットのみを有する４分ブロックを繰り返し認定して、該認定された小さい４分ブロックを表す符号化値を出力し、
    １つ以上の有意係数を有する前記小さい４分ブロックを更に小さい４分ブロックに、単一係数のみを含む４分ブロックになるまで、反復分割して、前記単一係数の符号化値を出力し、
    予定符号化ビット数に達するまで各下位ビットプレーンへの降順で４分ブロックの前記セグメント化、符号化及び分解を反復することを特徴とする４分木埋め込み符号化方法。

Images