JP4430845B2 - 画像データを処理するための方法およびシステム - Google Patents

Description

【０００１】
本発明は一般に画像データの処理に関する。特に本発明は、圧縮のための静止画像データの符号化および復号化に適用される。本発明の１つの用途は、移動通信システムにおける画像データの蓄積および伝送である。
【０００２】
デジタル画像は大量のデータを含む傾向があり、種々の画像の用途で使用できるように、このデータを効率的に圧縮すべきである。これらの用途には蓄積が含まれ、これはデジタルカメラ中の数枚の画像から、画像アーカイバル用ライブラリにおける数千枚の画像までさまざまである。用途には画像伝送も含まれ、これはインターネットだけでなく、移動および無線通信も含まれる。従って、これらの用途を実現するため、いくつかの圧縮法が開発されてきた。圧縮手法の効率は、主にそれが扱う用途に依存する。移動通信システムについては、圧縮手法は、移動電話の記憶容量が小さいことおよび伝送チャネルの容量が制約されていることを考慮すべきである。
【０００３】
図１には、典型的な画像圧縮および転送システム１００のブロック図が例示してある。最初、デジタル化された入力画像データＹが、変換機能１０２によりｗ（Ｙ）に変換（マッピング）される。これは、画像が画素値（例えば、輝度およびクロミナンス）によって表される空間領域から、空間周波数領域への変換の形をとることができる。典型的には、そのような変換を受けた後、画像データは今度は変換領域における係数、例えば、離散コサイン変換（ＤＣＴ）の係数として表現される。次に、変換領域における係数は、あらかじめ決定されたレベルｑ（ｗ）に量子化される（１０４）。量子化されたデータはさらに符号化される（１０６）。この段階で、画像データは、圧縮された形になっている。この圧縮データは、蓄積用に用いることができ、それゆえに、チャネル１１０は、画像を保持するデバイスのストレージディスクとの接続となり得る。圧縮データは伝送用に用いることができ、その場合、チャネル１１０は、移動または無線通信あるいはインターネット伝送に用いられるチャネルとし得る。システムの拡張（受信）部分において、信号ｅ（ｑ）はチャネルから受信され、復号器１２０において復号され、次いで逆量子化（１２２）および逆変換（１２４）されて、結果的に画像データＹが得られる。
【０００４】
上述の段階が、画像圧縮および復元に用いられるコーデックの基本構成要素を形成している。コーデックという用語は、画像データの符号化および復号化ができる画像コーディング用システムまたは装置に与えられた名称である。コーデックは、それらが提供する機能性およびそれらが提供する性能に従って評価できる。例えば、移動通信環境において、あるコーデックが以下のものを提供するなら、そのコーデックはより優れていることになる。
− ある利用可能なデータ転送速度のもとで考え得る最高の画質。
− 画質のプログレッシブ（改善）性。これは、符号化および復号化の過程で、画質が、その表示において用いられる画素当たりのビット数が増加することにより徐々に向上できることを意味する。
− 解像度のプログレッシブ性。これは、符号化および復号化の過程で、画像の空間解像度が徐々に向上できること意味する。
− 実装が複雑でないこと。
− 伝送の間に起こり得るエラーに対する復元力。
【０００５】
画像圧縮に一般的に用いられるいくつかの従来技術の方法がある。最も広く用いられているのは、国際標準化機構（ＩＳＯ）により公表された規格、すなわちＪＰＥＧ（Joint Photographic Experts Group）である。ＪＰＥＧ画像圧縮規格は４つのパートを含んでいる。最もよく知られておりかつ最も一般的に使われているのは、ＪＰＥＧベースラインとして知られている第１パートである。しかしながら低ビットレートで適用された場合の性能が低いことに加え、この圧縮システムは上記の機能性を提供できない。ＪＰＥＧベースラインの欠点を克服するため、いくつかの解決策が提案されてきた。これらの方法を以下に簡略に説明する。
【０００６】
いわゆる埋め込み型（embedded）離散コサイン変換法を用いることは従来公知である。この方法においては、画像は、８×８画素ブロックに適用された離散コサイン変換により変換される。量子化は、符号化部分に埋め込まれた逐次的方法により実行される。符号化は、コンテキストベースの算術符号化を用いて実行されるが、これによりメモリーおよび計算における複雑性がより高くなる。さらに、この方法は、ブロックベースであり、それゆえ、低ビットレートでは、後処理フィルタの使用を必要とするブロックアーチファクト（擬像）を生じる。従って、これは移動通信にとって好ましい解決策ではない。この方法についてのさらなる詳細は、参考文献［１］に見ることができる。
【０００７】
いわゆるウェーブレットトレリス符号化量子化を用いることも従来公知である。このアルゴリズムは４つの段階から成っている。すなわち、画像データのウェーブレット変換、変換されたデータのバンド（周波数帯域）の分類およびビット割り当てであり、分類はデータの統計を計算することによって得られる。分類に基づき、変換係数の量子化がトレリス方式で実行される。トレリス量子化はトレリス変調として知られる技術から採用されており、このトレリス変調は、レベル間の遷移についての制約のある一定のビットレートにおいて許される量子化レベル数を２回使用可能にするものである。その後、量子化された係数は、ビットプレーン中で、コンテキストベースの算術符号器により符号化される。この解決策は、移動用途には非常に複雑であり、低ビットレートでは高性能を提供できない。この方法についての詳細は参考文献［２］に見られる。
【０００８】
さらなる従来技術の解決策は、マルチスレッショルドウェーブレット符号化と呼ばれる。この方法では、ウェーブレット変換は画像データに適用される。量子化は変換されたデータの各バンドについて逐次かつ独立して実行され、そのためマルチスレッショルドという名称になっている。その場合、符号化はコンテキストベース算術符号化を用いて実行され、これは複雑さをより高めるものであり、従って移動通信用には好まれない。この方法についての詳細は参考文献［３］に見られる。
【０００９】
さらなる従来技術の解決策は、４分木ベースのエントロピー符号化と呼ばれる。この方法では、画像データはウェーブレット変換され、次いで変換領域内の係数が２ⁿ×２ⁿの画素ブロックに分割される。各ブロックは、次に４つのクワドラント（４分区画）に分割して符号化される。各クワドラントは再度４つのクワドラントに分割されて符号化され、もはや分割できなくなるまでこれを繰り返してクワドラントの木を形成し、それゆえ、４分木という名称になっている。最初のレベルにおいて、ブロックの最大係数を得るのに必要なビット数が送られ、次に、各クワドラントについて、ブロックの最大係数およびクワドラントの最大係数の差が決定される。この方法の利点は、この方法で必要とされる計算がより少ないことおよびエントロピー符号化の複雑さが低いことである。しかしながら、この方法に伴う問題点は、このアルゴリズムが、前述のような、移動用途の場合の重要な特徴である画質または解像度のプログレッシブ性が提供できないことである。この方法についての詳細は参考文献［４］に見られる。
【００１０】
さらなる従来技術の解決策は、コンパクト４分木ベースサブバンド画像符号化スキームである。画像圧縮のためのこの従来技術の方法は、参考文献［５］に記載されている。この方法はウェーブレット変換を用い、次に、量子化は符号化に埋め込まれる。各量子化レベルについて、４分木ベースの方法がバンドの符号化に用いられる。バンド中の有意性マップ（量子化レベルより係数が高い領域）は、そのノードの表現用の以下の３つの符号を用いる４分木法により符号化される。
− 「Ｘ」は、過去の量子化シュレッショルドで符号化された少なくとも１つの係数を有する４分木ブロックに対応する。
− 「１」は、少なくとも１つの有意係数がそのブロックの非有意係数と混合されている４分木ブロックに対応する。
− 「０」は、ブロック全体が非有意である４分木ブロックに対応する。
【００１１】
これらの符号の１つはデータから暗黙のうちに得られる。なぜならば、領域における有意係数の存在は、全体の領域を到来するビットプレーンについて有意であるとみなすことを暗示しているからである。従って、この方法は、バンド中のデータが高度に相関していることを暗黙のうちに仮定している。しかしながらこの場合はそうではない。なぜならば、復元（すなわち、変換）がデータの相関を低下させるからである。さらに、このスキームはエラーが存在するとうまく機能しない。なぜなら、個別のサンプルに関連する間違った決定が領域全体を歪ませるからである。このケースでは、現在のビットプレーンに関する情報が前のビットプレーンから得られるので、エラーも１つのビットプレーンから別のものへ伝播する。
【００１２】
従って、計算の複雑性およびメモリー容量の要求が小さいながら高画質が維持されるような画像圧縮方法とシステムを提供することが本発明の目的である。引用した従来技術の方法の問題点を解消し、前述した画像処理のための要件を満たすことも本発明の目的である。
【００１３】
本発明の目的は、ウェーブレット変換、逐次近似量子化および４分木符号化に基づく画像処理手順を提供することによって実現される。４分木符号化は、好ましくは、４分木ブロック内の係数の有意性を２つの符号によって符号化する段階を含む。
【００１４】
本発明は従来技術の方法に勝る重要な利点を提供する。この解決策は大量のデータ処理や記憶容量を必要としない。それにもかかわらず、従来技術の解決策に比較し、所定のビットレートで高い画質をもたらす。本発明による解決策は、画質および解像度におけるプログレッシブ性も提供する。
【００１５】
本発明の方法は、どのような分類またはレート割り当も実行しないので、量子化プロセスを符号化部分に埋め込みかつサブバンドスキッピングを可能にする。符号化は単純な４分木フォームで実行され、算術符号化は必要とされない。これらの利点により、この新しい解決策が移動通信にとって理想的なものになっている。
【００１６】
本発明による方法は、
ａ）入力画像データをサブバンドに変換する段階と、
ｂ）変換された画像データを、逐次近似量子化を用いて符号化してビットストリームを生成する段階であって、逐次近似は符号化プロセス中に埋め込まれている段階と、
ｃ）ビットストリームを有意性情報と共に４分木ベース方法を用いて符号化し、符号および詳細情報をビットストリームに含める段階とを含むことを特徴とする。
【００１７】
本発明はまた、ビットストリームを処理して画像データにするための方法に適用され、そこでは、ビットストリームは、有意性、符号および詳細情報を含み、前記方法は、
− ４分木ベース法によりビットストリームから有意性情報を復号し、かつビットストリームから符号および詳細情報を取り出す段階と、
− 復号されたデータの逆逐次近似量子化法を実行する段階と、
− 復号および逆量子化されたされたビットストリームから画像データを生成する逆変換を実行する段階と、を含むことを特徴とする。
【００１８】
本発明はさらに、画像データを処理するためのシステムに適用され、該システムは、
ａ）入力画像データを、種々のサブバンドへ変換するための手段と、
ｂ）変換された画像データを逐次近似量子化を用いて符号化してビットストリームを生成するための手段であって、前記逐次近似は符号化プロセス内に埋め込まれている、手段と、
ｃ）４分木ベース法を用いて有意性情報をビットストリーム中へ符号化し、符号および詳細情報をビットストリームに含めるための手段と、を含むことを特徴とする。
【００１９】
本発明は、ビットストリームを処理して画像データにするためのシステムにも適用され、そこでは、ビットストリームは、有意性、符号および詳細情報を含み、前記システムは、
− ４分木ベース法によりビットストリームから有意性情報を復号し、かつビットストリームから符号および詳細情報を取り出すための手段と、
− 復号されたデータの逆逐次近似量子化法を実行するための手段と、
− 復号および逆量子化されたされたビットストリームから画像データを生成する逆変換を実行するための手段と、を含むことを特徴とする。
【００２０】
本発明はさらに、画像処理システムに適用され、該システムは、画像データの処理および転送のために、
− 入力画像データを、種々のサブバンドへ変換するための手段と、
− 変換された画像データを逐次近似量子化を用いて符号化してビットストリームを生成するための手段であって、前記逐次近似は符号化プロセス内に埋め込まれている手段と、
− ４分木ベース法を用いて有意性情報をビットストリームへ符号化し、符号および詳細情報をビットストリームに含めるための手段と、
− ４分木ベース法を用いて有意性情報をビットストリームから復号し、符号および詳細情報をビットストリームから取り出すための手段と、
− 復号されたデータの逆逐次近似量子化を提供するための手段と、
− 画像データを生成するために逆転換を実行するための手段と、を含むことを特徴とする。
【００２１】
本発明の好ましい実施形態は、従属クレーム中に示してある。
【００２２】
本文中における「通信システム」という用語は、情報を転送するためのどのようなシステムをも意味する。本文中における「移動離通信システム」という用語は一般に、システムのサービスエリア内で移動局のユーザーが動いている時に、移動局（ＭＳ）とシステムの固定部分との間の無線通信接続を可能にするどのような通信システムをも意味する。典型的な移動通信システムは、公衆陸上移動通信網（ＰＬＭＮ）である。本特許の出願時点で使用されている移動通信システムの大部分は、たとえばＧＳＭシステム（汎欧州デジタル移動電話）としてよく知られている第２世代のシステムに属している。本発明は、次世代すなわち第３世代の移動通信システムにも同様にうまく適用される。現在標準化作業中のＵＭＴＳ（ユニバーサル移動通信システム）として知られるシステムを１例としてあげる。しかしながら、通信が本発明にとって適切な用途ではあるけれども、本発明が通信環境にどのようにも限定されるものではないことに留意すべきである。
【００２３】
以下では、本発明を添付図面を用いてさらに詳細に説明する。
【００２４】
図１は従来技術の説明においてすでに説明した。以下では、本発明を最初に図２を参照して基本レベルで説明し、次に図２〜図４を参照してより詳細に説明する。最後に、本発明による通信装置を図５を参照して説明する。
【００２５】
図２は、本発明による画像処理のためのシステムの例示的な実施形態を示す。画像データの変換のため、ブロック２０２、すなわち離散的ウェーブレット変換が画像に適用される。ウェーブレット変換についての詳細は参考文献［６］に見られる。次に、決定されたレベルＱ（W）への係数の量子化は、逐次近似量子化法２０４を用いて実行される。符号化される符号の数を減少させるため、係数はレベルにマッピングされる。量子化レベルは、図３に説明されるように、各量子化段階でより細かくなる。前の量子化段階の結果を蓄積するため、メモリーブロック２０８が用いられる。各量子化ラウンドの結果は、量子化レベルに関して係数の有意性についてのバイナリ符号で情報を送ることによって、受け取り順に（オンザフライ）で符号化される（２０６）。量子化レベルに関して係数の有意性を表しているバイナリ符号の系列は、転送チャネル２１０へ渡される。チャネル２１０から受信された信号Ｅは次に、受信器の復号器で復号される（２２０）。信号はさらに逆量子化（２２２）され、さらに逆変換（２２４）されて、結果として画像データ
【００２６】
【外１】

【００２７】
を得る。メモリーブロック２２８は、前に受信されたデータを次の量子化段階の画像データに加算するために用いられる。この方法により、符号化が開始した時にオンザフライで復号が可能になること、すなわち、復号の開始前に、ビットストリーム全体が受信されるのを待つ必要がないということに留意すべきである。このとことは、符号化手順が完了する前に復号を開始できることを意味している。大きな画像が送信される場合に、この特徴は有利になる。符号器が符号化および復号器へのビットの送信を開始すれば、復号器は待機することなしに復号を開始することができる。言い換えると、符号器と復号器は実質的に平行して作動し、従って、画像の符号化、伝送および復号に伴う遅延を減少させることになる。
【００２８】
図３は２レベルのウェーブレット変換を用いたウェーブレット領域への変換後の画像データの表示を示すものである。各レベルは、高−高バンドＨＨ、低−高バンドＬＨ、高−低バンドＨＬおよび低−低バンドＬＬを含んでいる。ＬＨバンドが水平エッジに関する情報を含んでいること、ＨＬバンドが垂直エッジの検出に適していること、そしてＨＨバンドが対角線方向のほとんどの属性を含んでいることが知られている。ＬＬバンドは実質的に原画像のより粗いバージョンである。これは分解の次のレベルへさらに渡される。本発明がこの分解方法に限定されるものでなく、他の多くの分解スキームが代わりに用い得ることに留意すべきである。
【００２９】
図３は、画像が変換領域において２レベルのウェーブレット分解においてどのように走査され得るかを示すものである。しかしながら、この方法は、典型的な画像ブロックサイズまで、どのようなレベル数へも拡張できる。典型的な画像ブロックサイズは、通常は１６×１６画素以上であるが、ブロックサイズはより小さくてもよい。ウェーブレット領域において、係数はそれらの大きさの順に逐次量子化される。これは符号化スキームに埋め込まれる。実際面では、このことは、量子化レベルより高い係数が、量子化レベルより小さい係数の前に送られることを意味する。ある特定のビットレートで最高の画質を提供しようとする場合に、または画質にプログレッシブ性を付与しようとする場合に、このことは非常に重要である。なぜならば、ビットストリームがあるポイントで切り詰められても、これによりそのポイントにおける最高の係数が受信器に送信されたこと、すなわち他の係数よりも歪みを減少する最も重要な情報が最初に送信されたことが保証される。従って、エラーが最小になる。利用可能なビット量に応じて、量子化プロセスはより細かい量子化段階まで逐次実行される。最初の段階については、ウェーブレット係数の非常に粗い量子化係数Ｑ₁が得られる。１つの量子化段階は、変換係数ｗ_iの値が変換係数の最大絶対値Ｃ_maxの半分より高いか低いかを識別するだけである。
【００３０】
【数１】

【００３１】
従って、この段階は、所定の量子化値に関して有意な係数を記録することに等しい。もし係数が有意、例えば、量子化段階値以上であれば、その符号も決定および転送され、さらに、その係数は量子化値との差の絶対値により置き換えられる。
【００３２】
復号器における対応する再構成ルールは以下の通りである。
【００３３】
【数２】

【００３４】
次に、量子化の第２段階が開始される。そこでは、上記の手順は、前の量子化値の半分である量子化値Ｑ₂を用いて、すでに有意ではない係数に適用される。このプロセスは、望むだけ／利用可能なビット数に適切なだけの量子化段階を用いて繰り返すことができる。量子化レベルがより細かくされるにつれて、前に有意としてマークされた係数を更新することが必要である。更新は、新しい量子化段階サイズに関する係数についての情報を伝送することによってなされる。「１」／「０」は、その係数が付加的段階サイズより大きい／小さいことを意味し、従ってその値の量子化段階サイズの半分の増大／減少が実行されることを意味する。この手順は各量子化レベルについて繰り返される。これは、逐次近似量子化を実現する好ましい方法である。
【００３５】
有意性情報は、前述の従来技術の手法と異なる４分木方式で転送される。すべてのレベルでのウェーブレット係数については、このアルゴリズムにおける最大の４分区画はバンド自身である（ＬＬ、ＬＨ、ＨＬまたはＨＨ）。バンドは、４分木法で、以下の２つの符号を用いて量子化レベルについて符号化される。
− 「１」は、このクワドラントが少なくとも１つの有意係数を有することを意味する。
− 「０」は、このクワドラントが非有意であることを示す。
もしあるクワドラントが有意であれば、これはさらに４つのクワドラントに分割され、各クワドラントは上述のように符号化される。このプロセスは、分割がもはやできなくなるまで繰り返される。すなわち、１画素クワドラントに達する。このように、クワドラントの画素に相関は全く課されず、ハフマン符号化を有意性情報の符号化に用いることができ、この有意性情報は次に伝送チャネル２１０に送り得る。この方法により、もし非有意なら、１つの符号によって、領域全体またはバンドを符号化することができ、これゆえ、サブバンドスキッピングという用語は、本発明の方法のこの特徴を説明するために用いられる。
【００３６】
図４ａ、図４ｂ、図４ｃ、図４ｄには、１例として、４つのレベルにおいて係数７５を量子化するプロセスが示してある。図４ａは、１つの量子化値＝０を有する量子化レベル０を示す。従って、係数７５は、値０に量子化される。図４ｂは、２つの量子化値、すなわち０と６０を有する量子化レベル１を示す。従って、係数７５は６０に量子化される。図４ｃは、４つの量子化値、すなわち０、３０、５０、７０を有する量子化レベル２を示す。従って、係数７５は、今度は７０に量子化される。最後に、図４ｄは、８つの量子化値、すなわち０、１５、２５、３５、４５、５５、６５、７５を有する量子化レベル３を示す。従って、係数７５は値７５に量子化される。
【００３７】
図５には、移動局５００のような、本発明による通信装置のブロック図が示してある。図５には、セルラー通信システムとの接続も示してある。通信装置は、基地局から無線周波数信号を受信するためのアンテナ５０１を有している。受信されたＲＦ信号は、スイッチ５０２によってＲＦ受信器５１１に導かれ、そこでＲＦ信号は増幅され、デジタル信号に変換される。その後、信号はブロック５１２において検出されて復調される。復調器のタイプは、通信システムの無線インタフェースに依存する。ＱＡＭ復調器またはＲＡＫＥ結合器が含まれ得る。解読およびデインターリーブはブロック５１３において実行される。この後、信号は信号タイプ（通話／画像／データ）に従って処理される。もし受信データが画像データであれば、信号処理ブロックは、図２のブロック２２０〜２２８で説明した機能を実行する。受信され再構成された画像データYはディスプレイ装置上に示すことができ、あるいはその画像はビデオモニタなどの別個の装置と連結し得る。画像データはメモリー５０４中に蓄積することもできる。メモリー５０４に蓄積されたプログラムに従って制御装置５０３が受信器ブロックを制御する。
【００３８】
データ伝送においては、信号のタイプに応じて制御装置５０３が信号処理ブロック５３３を制御する。もし入力信号が画像データであれば、図２のブロック２０２〜２０８のように、本発明の方法により、信号処理ブロック５３３がそのデータを処理する。ブロック５２１は、その信号について、暗号化およびインターリーブさらに実行する。バーストは、ブロック５２２において、符号化されたデータから形成される。バーストは、ブロック５２３においてさらに変調および増幅される。ＲＦ信号は、伝送するために、スイッチ５０２を介してアンテナ５０１へ導かれる。処理および伝送ブロックも、制御装置５０３により制御される。
【００３９】
図５はさらに、画像データビットストリームの転送において用いられるセルラー通信システムの部分を示している。ＲＦ信号の伝送および受信は、基地局５５１とアンテナ５５０によりなされる。基地局は、無線ネットワークコントローラ５５２および移動通信用交換機（ｍｓｃ）５５３へのデータ転送接続を有している。ＭＳＣは、他の無線ネットワークコントローラ、位置情報レジスタ（ＨＬＲ）５５４および公衆電話交換網（ＰＳＴＮ）にも接続されている。
【００４０】
通信装置における情報処理は、マイクロプロセッサの形の信号処理装置およびメモリー回路の形の記憶装置において行われる。そのような配置は、それ自体で、移動局および固定ネットワーク要素の技術から公知である。公知の通信装置を本発明による通信装置に変えるためには、信号処理装置に指示して上記操作を実行するための機械可読指示のセットをメモリー手段中に格納する必要がある。メモリー手段中でのそのような指示の構成および格納には、本特許出願の教示するものと組み合わせた場合、当業者の能力内にある公知技術を必要とする。
【００４１】
上で述べたように、本発明には、本発明を移動通信用途に理想的なものにするいくつかの有利な特徴がある。すなわち、
− 大半の符号化が単に比較のみを必要とするので、従来技術の方法に比べて算術計算の必要量が少ないこと、
− 分類またはレート割り当てが全く不要なこと、
− 記憶容量の要求が低いこと、
− 引用文献［５］に記載されるような同様の計算の複雑性を有する従来技術の解決策に対して、出力信号雑音比（ＰＳＮＲ）が０．１〜０．５ｄＢ改善されることである。
【００４２】
上記では、本発明による解決策の１実施形態を説明した。本発明による原理は、例えば実装の細部および使用範囲を変えることにより、特許請求の範囲により定義される範囲内で、修正し得ることは当然である。
【００４３】
［引用文献］
［１］ISO/IEC JTC１ SC29/WG1 N610
［２］ISO/IEC JTC１ SC29/WG1 N632
［３］ISO/IEC JTC１ SC29/WG1 N665
［４］ISO/IEC JTC１ SC29/WG1 N638
［５］SPIE Vol. 3021,"A region of Interest (ROI) Based Wavelet Compression Scheme for Medical Images：「医用画像のための関心領域（ＲＯＩ）をベースにしたウェーブレット圧縮スキーム」", Shin et al., Department of Computer Science, Texas A&M University
［６］Wavelets and Signal Processing （ウェーブレットおよび信号処理）, Olivier Rioul and Martin Vetterli, IEEE Signal Processing Magazine, October 1991, pp. 14-36

【図面の簡単な説明】
【図１】 従来の公知の画像転送システムを例示する。
【図２】 本発明による画像処理のためのシステムを例示する。
【図３】 画像データのウェーブレット復元を例示する。
【図４ａ】 量子化レベル０、１、２、３それぞれにおける係数の量子化を例示する。
【図４ｂ】 量子化レベル０、１、２、３それぞれにおける係数の量子化を例示する。
【図４ｃ】 量子化レベル０、１、２、３それぞれにおける係数の量子化を例示する。
【図４ｄ】 量子化レベル０、１、２、３それぞれにおける係数の量子化を例示する。
【図５】 通信装置および該装置の通信システムへの接続を例示する。

Claims (43)

1. 画像データを処理するための方法であって、
   ａ）入力画像データを複数のサブバンドに変換し、各サブバンドに変換された画像データが変換係数のセットを含み、前記変換係数のセットの各々の係数が正負符号と数値とを含む工程と、
   ｂ）変換された画像データを、前回の量子化結果を記憶するメモリーを使用した逐次近似量子化により量子化してビットストリームを生成し、前記逐次近似量子化を、各サブバンドの前記変換係数が該サブバンドの量子化段階値すなわち量子化スレッショルドに対して有意であるか非有意であるかの比較によって行なう工程と、
   ｃ）前記逐次近似量子化で得られた正負符号と数値を含む有意性情報を、４分木法でビットストリームに符号化し、逐次近似量子化された変換係数がプログレッシブ性を有する順序で配列されて符号化ビットストリームに埋め込まれる工程と、
   前記各サブバンドレベルにおける逐次近似量子化工程において、
   ｄ）あるサブバンドにおいて、そのサブバンドの量子化スレッショルドに対して有意な少なくとも１つの変換係数が存在するかどうかを決定する工程と、
   ｅ）そのサブバンドに少なくとも１つの量子化スレッショルドに対して有意な変換係数が存在するときに、第１の有意性値を表示する工程と、
   ｆ）そのサブバンドに量子化スレッショルドに対して有意な変換係数が存在しないときに、第２の有意性値を表示する工程と、
   ｇ）前記サブバンドにおいて、量子化スレッショルドに対して有意な少なくとも１つの変換係数が存在するときに、そのサブバンドをさらに４つのクワドラントに分割し、前記ｄ）〜ｇ）の工程を、さらなる分割が不可能になるか、または不要になるまで繰り返す画像処理の工程と、
   を含む方法。
2. 工程ａ）がウェーブレット変換を用いて実行されることを特徴とする請求項１記載の方法。
3. 工程ｃ）が、前記有意性情報を実質的に２つの符号で符号化する工程を含むことを特徴とする請求項１または２記載の方法。
4. 単独の、前もって決定された符号を転送することにより、サブバンドをスキップする工程を含むことを特徴とする請求項１、２または３記載の方法。
5. 前記符号化されたビットストリームを伝送チャネル（２１０）中を伝送することを含むことを特徴とする請求項１、２、３または４記載の方法。
6. 前記変換画像データが変換係数ｗiの集合を含み、変換係数ｗiの前記集合の各々は１つの符号と１つの値とで表示されることを特徴とする請求項１、２、３、４または５記載の方法。
7. 工程ｂ）で実行される前記逐次近似量子化が多数の逐次量子化レベルを含み、各量子化レベルはそれぞれに関連付けられた量子化スレッショルドを有すること、および前記多数の逐次量子化レベルの第１のレベルにおいて、
   前記多数の逐次量子化レベルの前記第１のレベルにおける前記変換係数の集合の量子化において使用されるべき量子化スレッショルドを定義する工程と、
   前記変換係数ｗiの集合の１つの変換係数の値を前記量子化スレッショルドと比較する工程と、
   前記変換係数の値が前記量子化スレッショルド以上であれば、前記変換係数が前記量子化スレッショルドに関して有意であることを第１の有意性値を用いて表示し、該第１の有意性値は前記変換係数の符号を表示し、さらに前記変換係数の値を、その値と前記量子化スレッショルドとの差の絶対値に等しい値で置き換える工程と、
   前記変換係数の値が前記量子化スレッショルド未満であれば、前記変換係数が前記量子化スレッショルドに関して非有意であることを第２の有意性値を用いて表示する工程と、が実行されることを特徴とする請求項６記載の方法。
8. 変換係数ｗiの前記集合から係数の最大の絶対値Ｃmaxを求め、変換係数ｗiの前記集合の量子化に使用されるべき前記量子化スレッショルドをＣmaxの半分に等しい値に設定する工程を含むことを特徴とする請求項７に記載の方法。
9. 前記第１のレベルに続く前記多数の逐次量子化の各後続レベルにおいて、
   前記多数の逐次量子化レベルの前記後続レベルにおける変換係数ｗiの前記集合の量子化において使用されるべき新しい量子化スレッショルドを定義する工程であって、前記新しい量子化スレッショルドが、前記多数の逐次量子化レベルの直前のレベルにおいて使用された量子化スレッショルドよりも小さいものである工程と、
   前記直前のレベルにおいて非有意として表示された変換係数の値を前記新しい量子化スレッショルドと比較する工程と、
   前記直前のレベルで非有意として表示された前記変換係数の値が前記新しい量子化スレッショルド以上であれば、前記変換係数が前記新しい量子化スレッショルドに関して有意であることを第１の有意性値を用いて表示し、該第１の有意性値は前記変換係数の符号を表示し、さらに前記変換係数の値を、その値と新しい量子化スレッショルドとの差の絶対値に等しい値で置き換える工程と、
   前記直前のレベルで非有意として表示された前記変換係数の値が前記新しい量子化スレッショルド未満であれば、前記変換係数が、前記新しい量子化スレッショルドに関して非有意であることを前記第２の有意性値を用いて表示する工程と、が実行されることを特徴とする請求項７または８に記載の方法。
10. 前記第１の有意性値が１でありかつ前記第２の有意性値が０であることを特徴とする請求項７、８または９に記載の方法。
11. 前記直前のレベルにおいて有意と表示された変換係数の値を前記新しい量子化スレッショルドと比較する工程と、
    前記変換係数の値が新しい量子化スレッショルドよりも大きい場合に、第１の詳細値を前記変換係数と関連付ける工程と、
    前記変換係数の値が新しい量子化スレッショルドよりも小さい場合に、第２の詳細値を前記変換係数と関連付ける工程と、をさらに含むことを特徴とする請求項９または１０に記載の方法。
12. 前記第１の詳細値が１であり、かつ前記第２の詳細値が０であることを特徴とする、請求項１１に記載の方法。
13. 前記多数の逐次近似量子化レベルのいずれかについて、
    ａ）１つのサブバンドが、前記量子化レベルについて定義された量子化スレッショルドに関して有意である少なくとも１つの変換係数を含んでいるかどうかを決定する工程と、
    ｂ）前記サブバンドが、前記量子化スレッショルドに関して有意である少なくとも１つの変換係数を含んでいる場合に、前記符号化ビットストリーム中に、前記サブバンドが少なくとも１つの有意な変換係数を含んでいることを第３の有意性値を用いて表示する工程と、
    ｃ）前記サブバンドが、前記量子化スレッショルドに関して有意である変換係数を含んでいない場合に、前記符号化ビットストリーム中に、前記サブバンドが有意な変換係数を含んでいないことを第４の有意性値を用いて表示する工程と、
    ｄ）前記サブバンドが、前記量子化スレッショルドに関して有意である少なくとも１つの変換係数を含んでいる場合に、前記サブバンドを４つのクワドラントに分割し、かつ該４つのクワドラントの各々について、それ以上の分割が不可能になるまで、または所望の分割レベルに達するまで、工程ａ）〜ｄ）を繰り返す工程と、を含むことを特徴とする、請求項７、８、９、１０、１１または１２記載の方法。
14. 前記４つのクワドラントの各々について、
    ｉ）１つのクワドラントが、前記量子化レベルについて定義された量子化スレッショルドに関して有意である少なくとも１つの変換係数を含んでいるかどうかを決定する工程と、
    ii）前記クワドラントが、前記量子化スレッショルドに関して有意である少なくとも１つの変換係数を含んでいる場合に、前記符号化ビットストリーム中に、前記クワドラントが少なくとも１つの有意な変換係数を含んでいることを第３の有意性値を用いて表示する工程と、
    iii）前記クワドラントが、前記量子化スレッショルドに関して有意である変換係数を含んでいない場合に、前記符号化ビットストリーム中に、前記クワドラントが有意な変換係数を含んでいないことを第４の有意性値を用いて表示する工程と、
    iv）前記クワドラントが、前記量子化スレッショルドに関して有意である少なくとも１つの変換係数を含んでいる場合に、前記クワドラントをさらに４つのクワドラントに分割し、かつ該４つのクワドラントの各々について、それ以上の分割が不可能になるまで、または所望の分割レベルに達するまで、工程ｉ）〜iv）を繰り返す工程と、を含むことを特徴とする請求項１３記載の方法。
15. 前記第３の有意性値が１であり、かつ前記第２の有意性値が０であることを特徴とする請求項１３または１４記載の方法。
16. 逐次近似量子化が、前記サブバンドの各々について実行されることを特徴とする請求項６、７、８、９、１０、１１、１２、１３、１４または１５記載の方法。
17. 請求項１４に記載の工程が、前記第１の量子化レベルから始まる量子化スレッショルドサイズの順番で実行され、それにより、前記サブバンドまたはクワドラントにおける前記変換係数のサイズに従って順番付けられた有意性情報を伴う符号化ビットストリームを形成することを特徴とする請求項１４、１５または１６記載の方法。
18. ビットストリームを処理して画像データにする方法であって、前記ビットストリームが、有意性、符号および詳細情報を含む方法において、
    ａ）４分木をベースとした方法により前記ビットストリームから有意性情報を復号し、前記ビットストリームから符号および詳細情報を取り出す工程（２２０）と、
    ｂ）前記復号されたデータの逆逐次近似量子化を実行する工程（２２２、２２８）と、
    ｃ）前記復号および逆量子化されたビットストリームから画像データを生成するために逆変換を行なう工程（２２４）とを含むことを特徴とする方法。
19. 前記有意性情報が、実質的に２つの符号から復号されることを特徴とする請求項１８記載の方法。
20. 前もって決定された符号が、スキップされたサブバンドとして決定されることを特徴とする請求項１８または１９記載の方法。
21. 前記符号化ビットストリームが伝送チャネル（２１０）から受信されることを特徴とする請求項１８、１９または２０記載の方法。
22. 工程ｂ）で実行される前記逆逐次近似が、変換係数について再構成された値を形成する工程を含むことを特徴とする請求項１８、１９、２０または２１記載の方法。
23. 工程ｂ）で実行される前記逆逐次近似量子化が多数の逐次量子化レベルを含み、各量子化レベルはそれぞれに関連付けられた量子化スレッショルドを有していることを特徴とする請求項１８、１９、２０、２１または２２記載の方法。
24. 前記詳細情報が第１の詳細値と第２の詳細値とを含んでおり、前記第１および第２の詳細値は所定の変換係数と関連付けられており、かつ前記量子化レベルの所定の１つに対応する前記量子化スレッショルドに関する前記変換係数の再構成値を記述しており、さらに
    前記第１の詳細値が前記ビットストリームから取り出された場合に、前記変換係数の再構成値を、前記量子化スレッショルドの半分に等しい量だけ増加する工程と、
    前記第２の詳細値が前記ビットストリームから取り出された場合に、前記変換係数の再構成値を、前記量子化スレッショルドの半分に等しい量だけ減少させる工程と、を含むことを特徴とする請求項２３に記載の方法。
25. 画像データを処理するためのシステムであって、
    ａ）入力画像データを複数のサブバンドに変換し、各サブバンドに変換された画像データが変換係数のセットを含み、前記変換係数のセットの各々の係数が正負符号と数値とを含む工程を行なう手段と、
    ｂ）変換された画像データを、前回の量子化結果を記憶するメモリーを使用した逐次近似量子化により量子化してビットストリームを生成し、前記逐次近似量子化を、各サブバンドの前記変換係数が該サブバンドの量子化段階値すなわち量子化スレッショルドに対して有意であるか非有意であるかの比較によって行なう手段と、
    ｃ）前記逐次近似量子化で得られた正負符号と数値を含む有意性情報を、４分木法でビットストリームに符号化し、逐次近似量子化された変換係数がプログレッシブ性を有する順序で配列されて符号化ビットストリームに埋め込まれる工程を行なう手段と、
    前記各サブバンドレベルにおける逐次近似量子化手段において、
    ｄ）あるサブバンドにおいて、そのサブバンドの量子化スレッショルドに対して有意な少なくとも１つの変換係数が存在するかどうかを決定する工程を行なう手段と、
    ｅ）そのサブバンドに少なくとも１つの量子化スレッショルドに対して有意な変換係数が存在するときに、第１の有意性値を表示する工程を行なう手段と、
    ｆ）そのサブバンドに量子化スレッショルドに対して有意な変換係数が存在しないときに、第２の有意性値を表示する工程を行なう手段と、
    ｇ）前記サブバンドにおいて、量子化スレッショルドに対して有意な少なくとも１つの変換係数が存在するときに、そのサブバンドをさらに４つのクワドラントに分割し、前記ｄ）〜ｇ）の工程を、さらなる分割が不可能になるか、または不要になるまで繰り返す画像処理の工程を行なう手段と、
    を含むシステム。
26. 前記有意性情報を、４分木をベースとした方法を用いて前記ビットストリームへ符号化するための手段（２０６）は、前記有意性情報を実質的に２つの符号で符号化するための手段を含むことを特徴とする請求項２５記載のシステム。
27. 前記システムが、単独の前もって決定された符号によって、スキップされたサブバンドを符号化するための手段を含むことを特徴とする請求項２５または２６記載のシステム。
28. データ転送チャネル内を伝送されるべき画像情報を処理するための通信装置（５００）の一部であり、該通信装置が、前記符号化ビットストリームを前記データ転送チャネルに伝送するための手段（５２１、５２２、５２３、５０２、５０１）をさらに含むことを特徴とする請求項２５、２６または２７記載のシステム。
29. 前記変換画像データが変換係数ｗiの集合を含み、変換係数ｗiの前記集合の各々が１つの符号および１つの値によって代表されることを特徴とする請求項２５、２６、２７または２８記載のシステム。
30. 前記逐次近似量子化は、多数の逐次量子化レベルにおいて実施されるように配置されており、各量子化レベルは関連付けられた量子化スレッショルドを有しており、
    前記多数の逐次量子化レベルの第１のレベルで前記変換係数ｗiの集合を量子化する際に用いられる前記量子化スレッショルドを定義するための手段と、
    前記変換係数ｗiの集合の１つの変換係数の値を、前記量子化スレッショルドと比較するための手段と、
    前記変換係数の値が前記量子化スレッショルド以上であれば、前記変換係数が前記量子化スレッショルドに関して有意であることを第１の有意性値を用いて表示するための手段と、
    前記変換係数の前記値が前記量子化スレッショルド以上であれば、前記変換係数の前記符号を表示するための手段と、
    前記変換係数の前記値が前記量子化スレッショルド以上であれば、前記変換係数の前記値を、その値と前記量子化スレッショルドとの差の絶対値に等しい値で置き換えるための手段と、
    変換係数の前記集合の前記値が前記量子化スレッショルド未満であれば、前記変換係数が前記量子化スレッショルドに関して非有意であることを第２の有意性値を用いて表示するための手段と、を含むことを特徴とする請求項２９記載のシステム。
31. 前記第１のレベルに続く前記多数の逐次量子化レベルにおける前記変換係数ｗiの集合の量子化において用いられる新しい量子化スレッショルドを定義するための手段であって、前記新しい量子化スレッショルドが、前記多数の逐次量子化レベルの直前のレベルで用いられた量子化スレッショルドよりも小さいものである手段と、
    前記直前のレベルにおいて非有意と表示された前記変換係数の値を前記新しい量子化スレッショルドと比較するための手段と、
    前記変換係数の前記値が前記新しい量子化スレッショルド以上であれば、前記変換係数が前記新しい量子化スレッショルドに関して有意であることを前記第１の有意性値を用いて表示するための手段と、
    前記変換係数の前記値が前記新しい量子化スレッショルド以上であれば、前記変換係数の前記符号を表示するための手段と、
    前記変換係数の前記値が前記新しい量子化スレッショルド以上であれば、前記変換係数の前記値を、その値と前記新しい量子化スレッショルドとの差の絶対値に等しい値で置き換えるための手段と、
    前記変換係数の前記値が前記新しい量子化スレッショルド未満であれば、前記変換係数が前記新しい量子化スレッショルドに関して非有意であることを前記第２の有意性値を用いて表示するための手段と、をさらに含むことを特徴とする請求項３０記載のシステム。
32. 前記直前のレベルにおいて有意と表示された変換係数の値を前記新しい量子化スレッショルドと比較するための手段と、
    値が前記新しい量子化スレッショルドよりも大きい変換係数に対して第１の詳細値を関連付けるための手段と、
    値が前記新しい量子化スレッショルドよりも小さい変換係数に対して第２の詳細値を関連付けるための手段と、をさらに含むことを特徴とする請求項３１記載のシステム。
33. １つのサブバンドを４つのクワドラントに分割し、１つのクワドラントをさらに４つのクワドラントに分割し、それ以上の分割が不可能になるまで、または所望の分割レベルに達するまで分割するための手段と、
    １つのサブバンドまたは１つのクワドラントが、所定の量子化スレッショルドに関して有意な変換係数を含んでいるかどうかを決定するための手段と、
    前記サブバンドまたはクワドラントが、前記所定の量子化スレッショルドに関して有意な変換係数を含んでいれば、前記符号化ビットストリーム中に、前記サブバンドまたはクワドラントが有意な変換係数を含んでいることを第３の有意性値を用いて表示するための手段と、
    前記サブバンドまたはクワドラントが、前記所定の量子化スレッショルドに関して有意な変換係数を含んでいなければ、前記符号化ビットストリーム中に、前記サブバンドまたはクワドラントが有意な変換係数を含んでいないことを第４の有意性値を用いて表示するための手段と、を含むことを特徴とする、請求項３０、３１または３２記載のシステム。
34. ビットストリームを処理して画像データにするためのシステムであって、前記ビットストリームは、有意性情報、符号および詳細情報を含むシステムにおいて、
    ４分木をベースとした方法により前記ビットストリームから有意性情報を復号し、前記ビットストリームから符号および詳細情報を取り出すための手段（２２０）と、
    前記復号されたデータの逆逐次近似量子化を実行するための手段（２２２、２２８）と、
    前記復号および逆量子化されたビットストリームから画像データを生成するために逆変換を行なうための手段（２２４）と、を含むことを特徴とする方法。
35. 前記有意性情報を、４分木をベースとした方法を用いて前記ビットストリームから復号するための前記手段（２２０）は、前記有意性情報を実質的に２つの符号から復号するための手段を含むことを特徴とする請求項３４記載のシステム。
36. 前記システムは、前もって決定された単独の符号を、スキップされたサブバンドとして解釈するための手段を含むことを特徴とする請求項３４または３５記載のシステム。
37. データ転送チャネルから受信された画像情報を処理するための通信装置（５００）の一部であり、該通信装置は、前記符号化ビットストリームを前記データ転送チャネルから受信するための手段（５０１、５０２、５１１、５１２、５１３）をさらに含むことを特徴とする請求項３４、３５または３６記載のシステム。
38. 前記復号データの逆逐次近似量子化を提供するための前記手段（２２２、２２８）は、変換係数について再構成値を形成するための手段を含むことを特徴とする請求項３４、３５、３６または３７記載のシステム。
39. 前記復号データの逆逐次近似量子化を提供するための前記手段（２２２、２２８）は、多数の逐次量子化レベルにおいて逆逐次近似量子化を実行するための手段を含み、各量子化レベルは関連付けられた量子化スレッショルドを有していることを特徴とする、請求項３４、３５、３６、３７または３８記載のシステム。
40. 前記詳細情報は、第１の詳細値と第２の詳細値とを含み、前記第１および第２の詳細値は所定の変換係数と関連付けられており、かつ前記量子化レベルの任意の１つに対応する量子化スレッショルドに関して前記変換係数の前記再構成値を記述しており、
    前記第１の詳細値が前記ビットストリームから取り出された場合には、前記変換係数の前記再構成値を、前記量子化スレッショルドの半分に等しい量だけ増加させるための手段と、
    前記第２の詳細値が前記ビットストリームから取り出された場合には、前記変換係数の前記再構成値を、前記量子化スレッショルドの半分に等しい量だけ減少させるための手段と、をさらに含むことを特徴とする請求項３９に記載のシステム。
41. 画像処理システムであって、画像データの処理および転送のため、
    ａ）入力画像データを複数のサブバンドに変換し、各サブバンドに変換された画像データが変換係数のセットを含み、前記変換係数のセットの各々の係数が正負符号と数値とを含む工程を行なう手段と、
    ｂ）変換された画像データを、前回の量子化結果を記憶するメモリーを使用した逐次近似量子化により量子化してビットストリームを生成し、前記逐次近似量子化を、各サブバンドの前記変換係数が該サブバンドの量子化段階値すなわち量子化スレッショルドに対して有意であるか非有意であるかの比較によって行なう手段と、
    ｃ）前記逐次近似量子化で得られた正負符号と数値を含む有意性情報を、４分木法でビットストリームに符号化し、逐次近似量子化された変換係数がプログレッシブ性を有する順序で配列されて符号化ビットストリームに埋め込まれる工程を行なう手段と、
    前記各サブバンドレベルにおける逐次近似量子化手段において、
    ｄ）あるサブバンドにおいて、そのサブバンドの量子化スレッショルドに対して有意な少なくとも１つの変換係数が存在するかどうかを決定する工程を行なう手段と、
    ｅ）そのサブバンドに少なくとも１つの量子化スレッショルドに対して有意な変換係数が存在するときに、第１の有意性値を表示する工程を行なう手段と、
    ｆ）そのサブバンドに量子化スレッショルドに対して有意な変換係数が存在しないときに、第２の有意性値を表示する工程を行なう手段と、
    ｇ）前記サブバンドにおいて、量子化スレッショルドに対して有意な少なくとも１つの変換係数が存在するときに、そのサブバンドをさらに４つのクワドラントに分割し、前記ｄ）〜ｇ）の工程を、さらなる分割が不可能になるか、または不要になるまで繰り返す画像処理の工程を行なう手段と、
    前記有意性情報を、４分木をベースとした方法を用いて前記ビットストリームから復号し、かつ前記符号および詳細情報を前記ビットストリームから取り出すための手段（２２０）と、
    前記復号データの逆逐次近似量子化を実行するための手段（２２２、２２８）と、
    画像データを生成するために、逆変換を実行するための手段（２２４）と、を含むことを特徴とするシステム。
42. ４分木をベースとする方法によって前記有意性情報を前記ビットストリームへ符号化する手段（２０６）は、前記有意性情報を実質的に２つの符号で符号化するための手段を含むことを特徴とする請求項４１に記載の画像情報処理システム。
43. 前記画像情報処理システムは、通信システムの一部であり、かつ伝送チャネル中を前記符号化ビットストリームを転送するための手段（５０１〜５３３）を含むことを特徴とする請求項４２または４３に記載の画像情報処理システム。

Images