JP4215269B2 - 領域ベースのスケーラブルな画像コーディング - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は一般的に画像コーディングに関し、特に、スケーラブルで、コンテントベースであり、ランダムにアクセス可能なデジタル静止画像を圧縮させたり伸長させたりすることに関する。
【０００２】
【従来の技術】
インターネットとデジタルマルチメディアアプリケーションが急速に発展した結果、通常莫大で処理しにくい生の画像データファイルを圧縮形式にする新たな画像コーディングツールが強く要求されるようになってきた。しかしながら、圧縮処理後のビットストリームのコンパクト性だけが開発者が新たなコーディングツールを考案する際に要求されるわけではではない。エンドユーザとアプリケーションは、スケーラビリティ、エラー対応性やコンテントベースのアクセス可能性などの特徴をより要求するようになってきている。
【０００３】
写真や映画は人間の目に映る３次元の物体を２次元に投影したものである。２次元の物体を記録する方法は「連続的」もしくは「アナログ的」再生である。デジタル画像は、これらのアナログ画像を非連続的に表したものであり、こうしたアナログ画像は様々な色や明暗度を表すドットや写真要素（ピクセル）の並び方によって構成される。コンピュータモニターやテレビモニターにおいて、デジタル画像はガラススクリーンに投影されたピクセルによって表現され、その画像をオペレーターが見る。ある特定の画像を描写するピクセル数を解像度という。例えば、ある一つの物体を描写するのに使うピクセル数が多くなるにつれて解像度は高くなる。
【０００４】
中位解像度のモノクロ画像（白黒画像は"グレースケール"という）は横列６４０ピクセルからなる。通常の画像は、横に４８０ピクセル、縦に６４０ピクセルの列を含む。従って、ピクセル６４０×４８０一画像には合計３０７，２００ピクセルが表示される。モノクロ画像の各ピクセルを描写するのに１バイトを必要とすると（黒、白両方の場合において）、単に黒や白の画像を描写するのに合計３０７，２００バイトが必要となる。中度のグレースケール画像は暗度を描写するのに異なるレベルの解像度を使うため、８ビットもしくはグレー２５６レベルを使う。従って、結果として生じる画像ファイルはより膨大となる。
【０００５】
カラー画像において、一画像における各ピクセルのカラーは典型的には３つの変数（赤（Ｒ）、緑（Ｇ）と青（Ｂ））によって決定される。これら３変数を様々な割合で混ぜると、様々なカラーのスペクトルをコンピュータに表示することができる。この３カラーの１カラーを表す際のバラエティが増えれば増えるほどより多くのカラーを表示することができる。例えば、明暗度２５６の赤を表現するために８ビット数が必要となる。つまり、このカラーの値範囲は０−２５５ということになる。従って、１ピクセルを表示する際必要なビットの合計は２４ビットとなる（赤、緑、青各８ビットの形式、これは一般にＲＧＢ８８８形式という）。従って、ＲＧＢピクチャーは赤、緑と青の３階層を有し、このピクチャーにおける各ピクセルのカラー範囲は０−１６．７８、すなわち、Ｒ×Ｇ×Ｂ＝２５６×２５６×２５６である。従って、６４０×４８０ピクセルのスタンダードカラー画像は、約７．４メガビットのデータが記憶・表示されるコンピュータシステムを必要とする。この数字は、縦解像度、横解像度と全カラー範囲を表現するために必要なビット数を掛けることによって求められる（６４０×４８０×２４＝７，３７２，８００ビット）。
【０００６】
一般的に手に入る標準ハードウェアは、速度も早く、予算的にも入手しやすくなっているが、この大きさのファイルを検索する際には速度が遅くなり扱いにくくなる。この問題は、特に、対話方式のアプリケーションとインターネット使用の際に顕著である。対話方式のアプリケーションでは、マルチメディアのデータを非常に早い速度で多面的に処理することが要求される。カラー画像ファイルは、常に膨大な大きさであることから、現実的で対話形式のコンピュータアプリケーションを開発する際に速度が遅くなる要因となっている。インターネットの場合、エンドユーザとアプリケーションは、速度が遅いモデムその他送信メディアによってさらに速度が遅くなってしまう。例えば、現在１秒間に電話線上に伝達される情報量は３３,６００ビット毎秒である。これは通常の電話会社で使用される実際のワイヤーと交換機能によっておこる。従って、７,３７２,８００ビットのデータをもつ、シングル、全色ＲＧＢ８８８ ６４０×４８０ピクセルのページの場合、このボーレートで転送するのにおよそ３分半を要するであろう。
【０００７】
画像データを圧縮する方法は多く存在し、また当業者によく知られている。これらの方法のいくつかは「ロスレス（損失のない）」圧縮として知られている。つまり、こうした方法は、データをデコーディング・伸長する際、そのオリジナルデータを損失・紛失せずに復元する。しかし、これらデータの縮小率が比較的小さいので、こうしたロスレス技術は画像圧縮技術に対して存在する需要の全てを満たすことができない。一方、転換不可能で、「ロッシィ（損失のある）」とよばれる圧縮方法がその他に存在する。こうした転換不可能の方法では莫大な圧縮が可能であるが、データの損失が生じる。画像ファイルでは、実際、画像のある局面を除去することによって高度の圧縮率が得られる。通常、この局面は人間の目では感受し、見ることができない。コーディングの後、逆の工程が縮小データに働き、オリジナル画像の適当な複写が伸長、復元される。さらに、ロッシイ圧縮技術は、データ圧縮や画像迫真性を多様に混在させるためにロスレス方法と組み合わせて使うこともできる。
【０００８】
圧縮したビットストリームの密集度を測定するには、圧縮前の画像データの大きさに対するストリームの大きさが通常使われる。密集度を量的に表すためには圧縮率またはビット率が使われる。
圧縮率＝（オリジナル画像のバイトの合計）／（圧縮画像に必要なバイトの合計）
及び
ビット率＝（伸長に必要なバイトの合計）／（オリジナル画像のピクセル数）
【０００９】
一般に、圧縮率が高くなるほど（あるいはビット率が低くなるほど）、圧縮されたビットストリームの密集度は高くなる。密集度の問題はデータ圧縮技術において常に主要な問題であった。
【００１０】
圧縮画像ファイルの最も普及した形式の１つとしてＧＩＦ形式がある。ＧＩＦは「グラフィック画像形式」の省略で、コンプサーブ社によって開発された。ＧＩＦは、顧客がダイヤルアップで相手に画像を送信し、この際別のコンピュータハードウェアプラットフォームを使用している相手でも画像を送信できる方法を提供した。これは比較的古い形式であり、２５６色のパレット（２４ビットカラーに対し８ビットのもの）を処理するよう設計されたものである。ＧＩＦが開発された際、これはまさに個人使用コンピュータの最先端をいくものであった。
【００１１】
このＧＩＦ形式は色値を判別するのに８ビットカラールックアップテーブル（ＣＬＵＴとも呼ばれる）を使用する。オリジナル画像が８ビット、グレースケール写真の場合、ＧＩＦ形式は圧縮されたロスレス画像ファイルを生み出す。グレースケール画像は通常グレー２５６レベルしか持たない。圧縮を行うためには、ＧＩＦファイルを保存しながら情報を圧縮する、「ランレンクスエンコーディング（ＲＬＥ）」機能を使用する。もしオリジナルファイルが２４ビットカラーのグラフィック画像であるとしたら、これはまず８ビットＣＬＵＴにマップ化され、その後ＲＬＥを使って圧縮される。この場合の損失はオリジナルの２４ビット（１千６７０万）カラーを８ビット（２５６カラー）ＣＬＵＴに再マップ化する際に生じる。そして、ＲＬＥエンコーディングは再マップ化された８ビット画像と同様の、しかし同一ではない圧縮前の画像を再現する。ＲＬＥは、ピクセル線における彩色の変化が多い場合、画像を圧縮する方法としては非効率的である。同一色のピクセル列がある場合、もしくは非常に少ない色数が使用される場合にこのＲＬＥは効率的な方法となる。
【００１２】
他の静止イメージ形式のデファクトスタンダードとして、ＪＰＥＧフォーマットがある。なお、ＪＰＥＧとはＪｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐを表す。ここで、ＪＰＥＧは、最終ファイルを作成するために損失（不可逆）圧縮方法を使う。このＪＰＥＧファイルは、ＧＩＦ関連のファイルよりもさらに圧縮可能であり、ＧＩＦフォーマットで使用される８ビットテーブルよりも深みのある色を維持することができる。また、たいていのＪＰＥＧ圧縮ソフトウェアは、ユーザにイメージ品質と圧縮量との選択肢を提供する。ここで、圧縮比率１０：１においては、たいていのイメージがオリジナルとほとんど同じであり高品質のフルカラー表示を維持することができる。また、圧縮比率１００：１においては、濃淡にむらのでる人為構造が入りやすくなる傾向があり、この人為構造は実質上の品質を減退させる。さらに、ＪＥＰＧはイメージ圧縮においてＲＬＥだけを使用するＧＩＦと異なり、最終ファイルを作成するために革新的なツールのセットを使用する。
【００１３】
まず、ＪＰＥＧはイメージの輝度とクロミナンスに基づいて、オリジナカラースペースから正常化されたカラースペース（不可逆プロセス）へとイメージを変化させる。なお、輝度は明度に関する情報に対応し、クロミナンスは色合いに関する情報に対応する。ここで、人間の目は、色或いは色相の変化よりも明度の変化にいっそう敏感であるというテスト結果がある。このデータは、８×８ピクセルブロックによってレコードされる。この８×８ピクセルブロックはディスクリート・コサイン・トランスフォーム（ＤＣＴ）を使用しているが、これも若干のイメージの損失を引き起こす。これらディスクリートエリア内で効率良くイメージを再試行し、目的のファイルを作成するために、（コーディングスキームだけでなく）標準的なＲＬＥコーディングを使用する。なお、コーディング比率が高いとそれだけ多くのイメージの損失につながり、人為構造の８×８ピクセルはさらに目立つようになる。
【００１４】
技術進歩における必要条件の１つとして、技術が拡大縮小可能性の特徴／特質を有するということがあげられる。拡大縮小可能性は、圧縮されたビットストリームが最終送信端末において部分的に解読及び利用されることができる程度を測定する。この革新的プロセスの必要性を満たすにあたり、拡大縮小可能性がデジタルイメージコーディング技術における新段階のための基本的な必要条件になった。一般に、拡大縮小可能性のピクセル精度及び空間解像度に関しては、静止イメージ圧縮のための基本的な２つの必要条件である。
【００１５】
イメージへの忠実度を保証すると共に拡大縮小可能性を達成するため、近年のイメージ圧縮技術の開発に"ウェーブレット"に基づくマルチリゾリューションデコンポジションが組み込まれた。ウェーブレットは数学的機能であり、第二次世界大戦後に初めて広くアカデミックなアプリケーションとして考究された。ウェーブレットという名前は、基本原理（基礎関数）――或いは"マザーウェーブレット"は通常ゼロへ調整し、そのためにｘ軸について"ウェーブ"するという事実に由来する。ウェーブレットが正規直交或いは対称であるのと同様に、他の特徴は直或いは逆ウェーブレット変換の速く簡単な演算を確実にする。例えば、解読においては特に役立つ。
【００１６】
ウェーブレットベース変換における他の重要な利点として、ウェーブレットによって多種のシグナル或いはイメージがコンパクトに表示されるということがある。例えば、不連続のイメージや鮮明なスパイクイメージは、通常サイン或いはコサインが同じ精度を成し遂げるために置いた関数の基礎より少ないウェーブレット基礎関数をとる。すなわち、ウェーブレットベースの方法は、より高いイメージ圧縮比率を達成できる可能性を持つことを意味する。同精度において、ウェーブレット係数から再構築されるイメージはフーリエ(サイン或いはコサイン)変換を使って得られたイメージよりも精度が高い。すなわち、ウェーブレットシームは、人間の視覚システムがより対応し易いイメージを作成することができる。
【００１７】
ウェーブレットは、イメージをオリジナルの粗雑で低解像度のバージョンへ変換する。また、イメージに緻密な詳細を加える一連のエンハンスメント（Ｅｎｈａｎｃｅｍｅｎｔ）へと変換する。このマルチリゾリューション特性は、拡大縮小可能性及びグレースフル・デグラデーションを必要とするネットワークによって結ばれたアプリケーションに適する。例えば、混成ネットワークは２８.８モデム接続と中間のすべてだけでなく、非常に高帯域な部分を含むことがある。そこで、同じビデオ信号をネットワーク全域へ送信し、緻密な詳細を落とした低解像度イメージを低帯域ネットワーク部分へ送信することが適切である。ウェーブレットは、ネットワーク全域へ広がる高プライオリティパケット内の粗雑で低解像度イメージをラップすることによってこのアプリケーションに適する。低プライオリティパケットに属するエンハンスメントは、低帯域ネットワーク部分内で落とされるのが好ましい。
【００１８】
このコード化されたイメージのマルチリゾリューション特性は、無線ネットワーク或いは低効率ネットワークのようなノイズが多い通信チャンネル内のグレースフル・デグラデーションをサポートする。また、低解像度ベースイメージを包含する高プライオリティパケットは、エラーが起こりエンハンスメント（Ｅｎｈａｎｃｅｍｅｎｔ)が放棄される間に再転送される。
【００１９】
内容ベースコーディング及びアクセスビリティー（Ａｃｃｅｓｓｉｂｉｌｉｔｙ)は、イメージ圧縮領域における新しい特質である。しかしながら、イメージの特定領域を指定して操作する機能は、ＪＰＥＧのような以前に発表されたコーディングテクニックではサポートされてない。同様に、内容ベースランダムアクセスビリティーは新ウェーブレットベーステクノロジーにおいて必要とされる機能でもない。この特徴を必要とするエンドユーザーアプリケーションは、マルチメディアデータベース問合わせ、インターネットサーバークライアント対話、イメージ内容作成及び編集、遠隔医学診断、そして対話型娯楽、等である。
【００２０】
マルチメディアデータベースへの内容ベース問合せは、メカニズムのサポートを必要とする。このメカニズムは、目的とする対象物が存在するイメージ材料の位置を示す機能を有する。インターネット或いはローカルディスクサイトへの内容ベースハイパーリンクは、イメージ内で望ましいオブジェクトを作成する。このイメージは、インフォメーションナビゲーションへのエントリーポイントとして供給される。内容ベースエディットは、オブジェクト指向或いは領域ベースの方法内で、コンテンツプロデューサーにイメージ材料特質を操作させることを可能にする。内容ベース対話は、デジタルコンテンツ加入者或いは遠隔地の研究者がそれぞれの領域や嗜好に基づくイメージ情報の伝達をコントロールすることを可能にする。つまり、この内容ベースアクセスビリティは、語義上意味をなす視覚オブジェクトにイメージデータ表現、説明、扱い、又は検索の基盤として使われる。
【００２１】
【発明が解決しようとする課題及び手段】
本発明の目的は、画像圧縮において領域ベースのコーディングを提供することである。本発明の観点によれば、スケーラブルでコンテントへのアクセスが可能な圧縮ビットストリームを作成するための、デジタル静止画像をエンコーディングおよびデコーディングする領域ベースの方法であって、生画像データを分解し、多重解像度サブイメージの階層に順序付ける工程と、処理対象領域を決定する工程と、処理対象領域を認識するため、領域マスクを定義する工程と、処理対象領域用に領域マスクをエンコーディングする工程と、解像度の後続レベル用に領域マスクを決定する工程と、多重解像度係数の大きさに基づいて領域データをスキャンし、プログレッシブにソートする工程とを有する方法が提供される。
【００２２】
本発明の異なる他の観点によれば、スケーラブルでコンテントへのアクセスが可能な圧縮ビットストリームを作成するための、デジタル静止画像をエンコーディングおよびデコーディングする領域ベースの装置であって、生画像データを分解し、多重解像度サブイメージの階層内に順序付ける手段と、処理対象領域を決定する手段と、処理対象領域を認識するため、領域マスクを定義する手段と、処理対象領域用に領域マスクをエンコーディングする手段と、解像度の後続レベル用に領域マスクを決定する手段と、多重解像度係数の大きさに基づいて領域データをスキャンし、プログレッシブにソートする手段とを有する装置が提供される。
【００２３】
本発明のさらに異なる別の観点によれば、スケーラブルでコンテントへのアクセスが可能な圧縮ビットストリームを作成するための、デジタル静止画像をエンコーディングおよびデコーディングする領域ベースのシステムであって、生画像データを分解し、多重解像度サブイメージの階層内に順序付ける工程と、処理対象領域を決定する工程と、処理対象領域を認識するため、領域マスクを定義する工程と、処理対象領域用に領域マスクをエンコーディングする工程と、解像度の後続レベル用に領域マスクを決定する工程と、多重解像度係数の大きさに基づいて領域データをスキャンし、プログレッシブにソートする工程とを有するシステムが提供される。
【００２４】
【発明の実施の形態】
図１は、画像データ圧縮のための方法およびシステムの全体的なアーキテクチャを示す。本発明の好適な実施形態では、生の画像データがビットマップ画像システムに入力されると、このデータは本発明のシステムを通過して圧縮ビットストリームとしてこのシステムを出る。
【００２５】
圧縮エンコーディング処理における第１のステップは、生データを多重解像度分解階層（略称ＭＤＨ）へ変換または分解することである。本発明の好適な実施形態では、この分解を行なうため、離散ウェーブレット変換を適用しているが、他の変換も利用可能であり、本発明で同様に利用できる。さらに、この解像度ベースの分解は、生の画像データのコンテントアクセスが可能な圧縮を行なう際、必ずしも実行する必要はない。本発明は、多数の異なるフォーマットでのデータ処理が可能なモジュラーアーキテクチャに基づいている。
【００２６】
この好適な実施形態における多重解像度分解の次の段階は、ＭＤＨデータの領域フォーマッティングおよび領域コーディングである。ただし、このステップは生の画像データ、または各種の技術を使って多重解像度階層へ変換されたデータに適用できる。本システムのこのステップは、２つの構成要素、すなわち領域階層の形成または決定と、これら領域の形状の後続コーディングとに分けられる。このデータは、本発明のシステムの次の段階に移行する多重領域データチャンネルを形成する。
【００２７】
データがその「領域の」優先順位に基づいてコード化されると、エンドユーザ用にスケーラビリティを保持するため、そのデータは再びソートされなければならない。「領域化された」データのプログレッシブソーティングは、効率的に、また圧縮性を加えてデータを編成し、画像の忠実度と、スケーラビリティと、コンテントベースのアクセス可能度とを保持するための、このシステム独自の新しい方法である。
【００２８】
システムのソート段階が完了すると、データのエントロピーコーディングが行われる。エントロピーコーディングは、データ圧縮で損失を伴わない方法として当該技術で広く知られている。これは統計的な予測方法に基づいたもので、さらに最終的なデータストリームのサイズ小型化に寄与する。
【００２９】
最後に、直前の処理ステップにより生じた異なるタイプのデータの流れを管理するため、多重化（略称ＭＵＸ）モジュールが組み込まれる。本発明のマルチプレクサを使うと、プログレッシブな送信制御により、ユーザはデコンプレッサ（解凍ソフトウェア）へ送られるデータの「ビットバジェット（ビット予算）」を設定することができる。この機能は、データ送信に利用できる資源、またはエンドユーザの処理用に利用可能な資源が限られている場合に制限を受ける。多重化後、結果として得られる圧縮ビットストリームは多様な媒体を介して本発明のデコーディング構成要素へ送信が可能となる。
【００３０】
図２は、本発明の生の画像データのエンコーディングにおける第１ステップの説明図である。前記の説明のとおり、生画像データの分解または変換に利用できる方法は色々のものがあり、したがって、様々な異なるレベルの解像度が採用され得る。ただし、ここで留意すべき点は、これがスケーラブルな変換のために適切な階層を達成するために行われるという点である。現在利用可能な変換のタイプには、ウェーブレット、ＫＬ変換、ウェーブレットパッケージ変換、リフティングスキーム、ウィンドウ付きフーリエ変換、離散コサイン変換などがある。なお、本発明の好適な実施形態で特に使用されたウェーブレットはリフティングスキームに基づいたものであるが、当該技術の技術者は、本発明のこのアーキテクチャが他のウェーブレットまたはエンドユーザの特定の目的でデザインされた他の変換も潜在的にサポートすることに注意する必要がある。
【００３１】
図２は、前記好適な実施形態に係るウェーブレットを使った、データセットＩｘ，ｙの多重解像度ベース変換から得られる典型的な結果を示している。このテスト画像「リナ（女性の名前）」は、解像度のレベルに基づいたデータ階層に変換され、かつ３つの空間方向で表示されている。これが「多重解像度分解階層」つまりＭＤＨデータセットである。本発明では、デフォルトで、３若しくは５の異なるレベルの分解が行なわれる。図２では、各解像度レベルにおいて、ＨＬ、ＨＨ、およびＬＨで示される３空間方向が示されており、ここで、ＨＬは、水平面で高域スキャン、垂直面で低域スキャンを行うことを意味し、ＨＨは両面で高域スキャンを行なうことを意味し、ＬＨは水平面で低域スキャン、垂直面で高域スキャンを行なうことを意味している。両面で低域スキャンを行うＬＬは、どの解像度レベルでも意味を持たない情報となるが、階層内の後続解像度レベル（より高い若しくは低い解像度のレベル）では解釈される可能性もある。
【００３２】
前述の方法でデータが分解および編成された後の処理ステップは、前述のコンテントアクセス度（コンテンツへの良アクセス性）を実現するためのデータのコーディングである。この目的を達成するため、本発明ではまず「処理対象領域」を定義し、次に「マスク」を定義、記述し、さらにその情報をエンコードして圧縮データストリームの一部にする。
【００３３】
このシステムの、この段階を実行するために開発された重要な概念は、幾何学的プログレッシブコーディングである。スケーラビリティを維持しつつ領域ベースのコーディングを行なうには、順序Ｖ（解像度係数の大きさ（マグニチュード）の、すなわち前記ＭＤＨデータ）を複数の領域データ（すなわち関係Ｒ）に関連付けることが不可欠である。これは、図３のコーディングセットへの幾何学的アプローチにつながる。従来技術の混合アプローチ（左）では、サンプル値（変換係数面で０）を使い、より高レベルの解像度におけるゼロ（０）のグループの発生確率を予測する。これに基づき、コンパクトな表示が実現される。ただし、同時に、低レベルの解像度における変換エラーが各レベルの予測に一層深刻な波及効果を及ぼすことには注意が必要である。
【００３４】
本発明で採用されている幾何学的アプローチ（右）では、表現の小型化は、大きなサンプル（ゼロ）のセットをカバーする幾何学形状を使用してこの形状をコーディングすることにより達成される。このアプローチでは、ＭＤＨ内の興味のある処理対象領域は領域及び曲線などの幾何学的オブジェクトの形で表わされ、これらの幾何学的オブジェクトを記述するため定式化したコンパクトなコードが構成される。幾何学的オブジェクトのこのコンパクト化コーディングでは、図４に示した１の主曲線Ｃ（leading-one Curve C）が使われている。この定式化およびコーディングの方法の利点は、領域の詳細な記述、これらの領域のコンパクトな表現、および前記タイプの変換エラーに対する堅牢性などである。
【００３５】
このようにして、ＭＤＨに係数｛Ｃｉｊ｝のサブセットが与えられた場合、係数絶対値の分布は、これらがスキャンされた順序に関係なく、３つの部分を持つ（図４）。前記の主曲線Ｃは、最も重要なビットから検索された場合、すべての係数のバイナリ表現のうち最初の非ゼロビットで構成される。修正区域は、前記に後続するすべての係数のバイナリビットからなる。ゼロ区域は、前記主曲線の前にある全係数内のすべてのゼロから構成される。このようにして、全係数の数がｎ＊Ｎビットで、修正区域の領域が｜ｘ｜ビットで、ゼロ区域の領域が｜０｜ビットである場合は、曲線Ｃの長さがＮであるため、｜ｘ｜＋｜０｜＝（ｎ−１）＊Ｎビットとなる。
【００３６】
このデータのコーディングで情報の損失を防ぐには、曲線Ｃと修正区域の情報を正確に記録しなければならない。データ小型化の観点におけるエンコーダのパフォーマンスは、ゼロ区域をコード化する能力、または曲線Ｃをコード化する能力により決定される。順序Ｖの観点におけるスケーラビリティを実現するため、曲線Ｃの高さは増加しないと仮定される。これは、以下に説明するプログレッシブな部分ソート処理を通じて実現される。
【００３７】
多重（複数）領域データを作成した処理の最初に戻るが、本発明の好適な実施形態で処理対象領域を決定する方法は３つある。図５では、本システムが以下をサポートしていることがわかる。
【００３８】
１．ユーザ定義の領域。このスキームでは、領域は対話型処理（つまり、マウスなどの入力デバイスによりユーザが処理対象領域を指定する場所）または異なる別のアプリケーションプログラムにより決定される。次に、「マスク」はこのユーザ定義領域に基づき構成化される（この領域構成方法は図５ａを参照）。
【００３９】
２．タイリング。タイリングスキームでは、標準のサイズからなるピクセルブロックが前記領域を形成するために割り当てられる。例としてＪＰＥＧでは、８×８ブロックがタイリングによる指定領域として考えられる。タイリングは、コンピュータ支援デザインまたは製造企業などにより生成された非常に大サイズの画像を取り扱う場合には、領域の形成に適切な方法であると考えられる（この領域定式化におけるタイリング方法は、図５ｂを参照）。
【００４０】
３．自動領域構成（この自動処理は図５ｃに示されている）。この自動領域階層構成においては、ＭＤＨデータまたはオリジナルの画像データは、幾何学的領域の階層へとセグメント化される。この発明では、変換−ドメインのセグメント化スキームが開発された。この処理の好適な実施形態では、ＭＤＨデータの絶対値または「領域の重要度」を測定することにより、ＭＤＨデータが空間的に分離された領域にセグメント化される。ここで、領域の重要度とは、興味のある処理対象領域における全係数の全体的な重要度のグループ測定値を意味する。この発明では、平均的な重要度および重み付き重要度の２タイプの領域の重要度が考慮されている。平均的な領域の重要度は、その領域における全係数の係数重要度の平均値を指し、重み付き領域の重要度は、その領域における全係数の係数重要度の重み付き平均値を指す。
【００４１】
本発明の自動領域構成は、次の２つのセグメンテーションアルゴリズムのどちらかにより行われる。第１のアルゴリズム、完全対数スキームでは、ＭＤＨデータを順次順序付けるためしきい値２^ｎ−１、２^ｎ−２、...、２^０が使われる。ここで、ＭＤＨ係数の最大値は（Ｉ｜Ｃｉｊ｜）<２^ｎであることが知られている。
【００４２】
第２のセグメンテーションアルゴリズムは、部分対数スキームに基づいている。このスキームでは、専門知識のあるユーザが決定した特定の２のべき乗のみがしきい値として使われる。
【００４３】
前記いずれかのスキームによりＭＤＨデータのしきい値処理を行なった後、ＭＤＨ面の各空間位置が、対応するしきい値と関連付けられた一意のラベルでマークされる。このようにして、スキームに「ｎ」個のしきい値が使われる場合、ＭＤＨ面全体はｎ＋１個の識別可能なラベルでマークされる。また、このラベルのセットが領域マスクを形成する。
【００４４】
図５（ｃ）は、画像リナの自動セグメンテーションの結果を示している。多重解像度分解の段階で生成されたＭＤＨ係数は、このように３つの範囲に分けられる。本発明の好適な実施形態では、これらの範囲はそれぞれ０〜１５、１６〜３１および３２〜６４である。
【００４５】
ここでＭＤＨデータ構造が多重（複数）解像度レベルおよび多重（複数）空間配向性（方向性）を含むことを想起すると、ＭＤＨデータのセグメンテーションは共通のマスクセットをすべての解像度レベルおよびすべての配向（方向）に適用することにより実現される可能性がある。すなわち、各方向で全解像度レベルの共通マスクを維持しつつ、異なるマスクを異なる方向に適用するか、異なるマスクを異なる解像度レベルに適用し、任意の解像度レベルで全方向の共通マスクを維持するか、あるいは異なるマスクを異なる解像度と異なる方向とに適用する。
【００４６】
本発明の好適な実施形態では、異なる方向の間で自己類似性があるため、第１のアプローチを採用している。すべての解像度レベルにおいて、セットＨＨ１、ＨＬ１、およびＬＨ１に境界情報（模様が複雑な領域、またはハイコントラストな領域の情報）が含まれる。一般に、セットＨＨ、ＨＬ、およびＬＨは異なる方向においてバンドパス特徴を捉えているので、どのセットもそれ１つではその解像度レベルでの境界の記述を完了することができない。境界「イベント」の適切な決定は、前記３つの配向性のいずれかでイベントが発生した際に行なわれなければならない。従って、解像度レベル１における一般的な重要度テストでは、以下の動作が使用される。
Ｈ１＝ｍａｘ｛ＨＨ１，ＨＬ１，ＬＨ１｝
【００４７】
すなわち、領域の重要度は、その位置における３つの方向の各最大値のうち、最も大きい値により決定される。
【００４８】
このかわりにＨ１＝ａ＊ＨＨ１＋ｂ＊ＨＬ１＋ｃ＊ＬＨ１（ここで、ａ＋ｂ＋ｃ＝ｌ）とすることもできる。
【００４９】
その他、共通マスクを異なる解像度および異なる配向性に適用するのは、異なる解像度レベルでの自己類似性、およびマスク１つだけの計算効率上の理由などによる。つまり、共通マスク１つだけの計算は、一般に複数マスクでの計算よりも経済的に優れているためである。
【００５０】
領域形状コーディングは、領域形成ステップで作成される領域マスクのための正確でコンパクトなコードを発見するために行われる。形状コードのコンパクトさと正確さは、どちらもコーディングシステム全体の効率に直接影響を及ぼす。本発明のアーキテクチャでは、多重（複数）形状コーディングスキームがサポートされているが、好適な実施形態では、次のＤＣＴベースの領域チャンネルが使われている。
【００５１】
このスキームでは、領域マスクはフーリエ変換特性によりコード化される。周波数ドメインに低域フィルタを適用することにより、高精度および少数のＤＣＴ係数で多重領域マスクの全体形状をエンコードすることができる。図６は、ＤＣＴでコード化された領域マスクを画像リナに適用した図例を示している。マスクの記述にＤＣＴ変換を使うことにより、著しい圧縮効果が得られる。
【００５２】
ＭＰＨデータの場合、最高の解像度レベルで共通マスクを生成する際、ＤＣＴが１つだけ使われる。それより低い解像度レベルの他のマスクは、ダウンサンプリングにより実現される。図７は、領域構成段階から領域ベースのデータリストのコーディングまでのデータの流れを示したものである。アルゴリズムＡ５０と呼ばれるこの処理は、ボトムアップで領域階層形成を行なう方法であり、以下のステップを含む。
【００５３】
（１） Ｈ１＝ｍａｘ｛ＬＨ１，ＨＬ１，ＨＨ１｝を計算する。すなわち、
ｋ＝１〜Ｎについて、Ｈ１［ｋ］＝ｍａｘ（ＬＨ１［ｋ］，ＨＬ１［ｋ］，ＨＨ１［ｋ］）
【００５４】
（２） 領域形成スキームを共通の重要なマスクＨ１に適用し、パーティションマスクＭ１を取得する。
【００５５】
（３） 低域フィルタをＤＣＴ変換されたマスクＭ１に適用し、Ｍ_１'を取得する。
【００５６】
（４） ダウンサンプリング値Ｍ１'を使って、より低い解像度レベルでのマスクＭ_２、Ｍ_３、…、Ｍ_Ｌを取得する（以下のアルゴリズムＡ５１を参照）。
【００５７】
（５） マスク｛Ｍ_１'，Ｍ_２，…，Ｍ_Ｌ｝を各係数層に適用し、ＭＤＨを各領域にセグメント化する。
【００５８】
上記のステップ（３）後、最高の解像度レベル（Ｍ１）におけるマスクをそれより低い解像度レベルで使用するために変換する処理は、図８に示されたアルゴリズムＡ５１により実行される。
【００５９】
アルゴリズム Ａ５１：マスクのダウンサンプリング
θ１>θ２>θ３と仮定する。Ｍ１内の領域はθ値によりラベリングされていると仮定する。
For (I=2, 3,…, b)
For (all x and y of Mi)
Mi (x, y) = max {Mi-1(2x, 2y), Mi-1(2x, 2y+l), Mi-1(2x+1, 2y), Mi-1(2x+2,2y+2) }
【００６０】
この他にも低解像度レベル用にマスクを取得する方法はあるが、前記ダウンサンプリングアルゴリズム（Ａ５１）は異なる解像度レベルで正確に領域の形状を維持する。さらに、前記のアルゴリズムは計算効率もよい。
【００６１】
再度図１を参照すると、ここでの場合、データはすでに多重解像度分解と領域構成および領域コーディングとの両方を経ている。この段階で、データはそのグラフィックコンテンルに基づき再編成されているが、領域セグメンテーション処理は異なる解像度レベルですべての方向につき領域の形状を維持する一方、異なるレベルおよび異なる配向性について対応する領域における係数の値範囲は維持しない。すなわち、前記関係Ｒは異なる解像度レベルおよびすべての配向性で受け継がれるが、順序Ｖは一般に正確に維持されない。プログレッシブソーティングの目的は、すべての領域チャンネルについて順序Ｖを再確立することである。
【００６２】
データのプログレッシブソーティングにおける第１ステップは、領域形成および領域コーディングにより生成された領域のスキャンである。このデータはスキャンされるに従い、ＭＤＨ係数に対応するリストがスキャン処理時に際作成される。当該技術の技術者には自明なことであるが、スキャンされ、線形リストに変換されるデータの性質に応じて領域データの最適なスキャン方法が決定され、スキャンの効率性が高められる。
【００６３】
一般に、スキャンの順序には２つのタイプが考えられる。これらは、線形スキャンおよび「領域縮小」の原理に基づいたスキャンである。本発明の好適な実施形態ではソフトウェアスイッチが使われて、どちらのスキャン方法が採用されるかが決定される。このスイッチはデータの性質を特徴づけ、次に適切な方法を採用および実施する。
【００６４】
領域形成および領域コーディングにより生成されたデータをスキャンする第１の方法は、単純な線形解析および各係数のリスト作成である。この方法では、これらの係数は、領域データの最上行の最も左の位置から１行ごとに下降し、最下行の最も右の位置へとスキャンされる。この方法が特定の領域に適用された例が図９（ａ）に示されている。この線形スキャン法は実施が容易であるが、この方法ではデータ固有の降順または昇順の情報が破壊され、最終結果としてのビットストリームのコンパクトさを失うかもしれないという大きな問題がある。これは、山峰などの風景または同様な輪郭形状を伴う画像の場合に起こる。ただし、細かいパターンを持つ領域、および値の変化が緩やかな領域の場合は、線形スキャンは比較的効率的な可能性がある。
【００６５】
領域ベースの係数をスキャンする第２の方法は、領域縮小の原理に基づいたものである。この方法は図９（ｂ）に示されており、数学的な内容は以下のアルゴリズムＡ６２に示されている。
【００６６】
アルゴリズム Ａ６２
Input: label L, mask [m][n], inBuf [m][n];
Output outBuf [N]
ステップ１． K=0
J0 = min {J: mask [I][J] = L};
J1 = max {J: mask [I][J] = L};
ステップ２． While (J0 < J1) do
{
ステップ２．１． For (J=J0; J<=J1; J++) {
While ((Find I0 = left {I: mask [J][I] = L}) = true) d
o
{
Find I1 = right {I: mask [J][I] = L});
Append inBuf [J][I0] to outBuf [K++];
Mask [J][I0] = NIL:
If(I1 <>I0)
Append inBuf [J][I1] to outBuf [K++];
Mask [J][I1] = NIL;
}
}
}
ステップ２．２． (Update J0 and J1.)
J0 = min {J: mask [J][I] =
11 = max {J: mask [J][I] =
}
【００６７】
図１０は、さらに領域縮小処理を図示したものである。山峰の風景など多くの場合、このスキャンの領域縮小方法は効果的および効率的にデータの大きさの順序を維持できる可能性がある。
【００６８】
領域Ｒに対する線形リストＬを生成する際どのようなスキャン方式が採用されても、順序Ｖを確立するためにソーティング（並び替え）を実行する必要がある。本発明では、主曲線のレベルまでの部分順序付けが採用されている。従って、リストＬ＝｛Ｃ１、Ｃ２、Ｃｍ｝、すなわち分解係数について前記で生成されたリストが与えられた場合、以下のプログレッシブなコーディングアルゴリズムが実行される。
【００６９】
アルゴリズムＡ６２０ プログレッシブソーティング
ステップ１． Ｌ内の各Ｃｉにつき、ｎ番目のｍｓｂ（Ｃｉ）を出力する。
ステップ２． ｍｓｂ＝１であるアイテムにつき、ｍｓｂの次の値を出力し、そのアイテムをＬから取り除く。
ステップ３． ｎ＝ｎ−１とし、ステップ１．へ戻る。
【００７０】
このアルゴリズムは完全でなく部分的に、リスト「Ｌ」を２乗までソートする。これは、出力データリストが与えられた任意の位置で切り捨てられる可能性があるが、デコーダは大部分の有用な情報を得ることができるという点でプログレッシブな処理である。最後に、これはリストＬを拡張しない。つまり、完全でデータを損失しないようＬをソートするため、ソート後の出力の全体長はＬに等しい。
【００７１】
前記アルゴリズムＡ６２０は、多数のアイテムが著しく小さい値を持つ場合に非効率的になる。このイベントでは、各アイテムのバイナリ表現において顕著な量のビットバジェットが主曲線前の０に費やされる。次のアルゴリズムでは、しきい値「ｂ」を決定して使用し、これらの低い値係数を高い値係数から分離することによりパフォーマンスが向上する。
【００７２】
アルゴリズム Ａ６２１ バイパーティションプログレッシブソーティング
ステップ１． 所定の０<＝ｂ<＝ｎにつき、Ｌの各Ｃｉで｜Ｃｉ｜<２^ｂかどうかをチェックし、しきい値を越えるものについてはＬ１へ出力し、しきい値より小さいものについてはＬ２へ出力する。
ステップ２． Ｌ１のアイテムにｎからアルゴリズムＡ６２０を適用する。
ステップ３． Ｌ２のアイテムにｂからアルゴリズムＡ６２０を適用する。
【００７３】
プログレッシブソーティングには２つの基本要件がある。（１）ソーティング処理の出力ビットストリームがデコードされる場合、データはＶの降順で作成されなければならない。（２）データの一部が再構築されるよう、ビットストリームが切り捨てられる場合、再構築されたデータの情報量を最大にしなければならない。
【００７４】
エントロピーコーディング
再び図１を参照すると、このシステムにおける次のステップはデータのエントロピーコーディングである。エントロピーコーディングは、データ圧縮の際データの損失を伴わない方法として当該技術で広く知られている。これは、バイナリコードがデータを維持する特性と、同様なデータ列の繰り返しとに基づいている。また、予測の方法に基づいたものでもある。本発明では、２つの異なる方法のエントロピーエンコーディングが使われている。これは、本発明のプログレッシブソーティングの結果得られる２タイプのデータの統計的な性質のためである。Ｂ型データは先行する１の曲線を形成するデータで、Ａ型データは先行する１の曲線より下の修正区域におけるすべてのデータを指す。
【００７５】
多重化
エンコーダシステムの多重化機能およびデコーダシステムの逆多重化機能は、柔軟性のあるビットレートと質の高い圧縮画像を提供する対話型手段を持つエンコーダおよびデコーダを備えている。
【００７６】
ビットバジェット制御におけるこの双方向性は、エンコーダとデコーダのどちらもビットバジェットの決定および割り当て処理に対する制御手段を持つためである。圧縮ビットストリームのビット総数を決定するため、マルチプレクサではベースビットバジェット（ＢＢＢ）が指定および使用される。逆多重化処理では、デコーディングビットバジェット（ＤＢＢ）を使用して、デコーディング前にさらに選択的にビットストリームを切り捨てることができる。
【００７７】
マルチプレクサの各機能は図１２に示すとおりで、代表的なものには以下がある。
【００７８】
（１）画像全体をエンコーディングするため、与えられたベースビットバジェット（ＢＢＢ）で各解像度レベルおよび領域チャンネルのビットバジェットを決定する。
【００７９】
（２）異なるチャンネルから単一ビットストリームへデータをインターリーブする。端数切り捨て後、異なる領域、異なる方向及び異なる解像度レベルから並び替え、端数切捨てられたデータは一緒にパックされて最終的なビットストリームとなる。図１１に示すように、このデータパックのデフォルト順序は次のとおりである。
【００８０】
ａ．異なる解像度レベルにおけるデータは、最低の解像度から最高の解像度へ、すなわちレベル５→レベル４→レベル３→レベル２→レベル１の順でパックされる。
【００８１】
ｂ．各解像度レベル内で、３つの空間方向に対して特に優先的な順序は指定されない。デフォルトで、データはＨＬ→ＬＨ→ＨＨの順にスキャンされる。
【００８２】
ｃ．与えられた解像度レベルにおける特定の方向内で、領域は最高領域ラベルから最低ラベルの順にスキャンされる。
【００８３】
本発明の好適な実施形態では、圧縮ビットストリームが作成された後、画像の再生を可能にするデコーディング処理が行われる。ビットバジェットおよび圧縮ビットストリームの作成仮定で採用されたステップに応じ、オリジナルの画像は完全な忠実度で、または一部の情報を欠いて生の画像データに復元される。
【００８４】
本システムのエンコーディング側のマルチプレクサを補足するため、図１３に示すとおり、本発明では逆多重化構成要素がデコーディング側に含まれている。本発明の好適な実施形態は、ユーザが本システムのデコーディングの際に独自のビットバジェットを決定でき、可能性として任意の決定値でデータを切り捨てることもできるという追加機能を持つ。この「デコーディングビットバジェット」は、図１０に示すとおり、逆多重化ステップの前に決定される。
【００８５】
図１４は、本システムのデコーディングのその他の部分を示している。このデコーディング処理では、主として単に本システムのエンコーディングの逆のステップがたどられる。
【００８６】
デマルチプレクサ（図１４）の機能は以下のとおりである。
【００８７】
（１）圧縮ビットストリームを別個のデータリストに解凍する。
【００８８】
（２）デコーディングビットバジェット（ＤＢＢ）をデータリストの切り捨てに適用する。空間領域の点でスケーラビリティの全スペクトルをカバーするため、空間解像度、ピクセル精度、空間配向性、ビットバジェット制御スキームのセットが設計されている。
【００８９】
本発明は、本発明の要旨を変更しない範囲で、種々の変形が可能である。
【図面の簡単な説明】
【図１】 図１は、本発明のシステムとアーキテクチャに係る詳しい複数パスでの伸長を示す図。
【図２】 図２は、イメージ"レナ"についてウェーブレットベースの変換を用いることで得られた複数解像度デコンプレッション階層を示す図。
【図３】 図３は、対象領域をコーディングするためのこの発明の幾何学的アプローチの概略を示す図。
【図４】 図４は、対象領域をコーディングするのに適用される"リーディング・ワン"のコンセプトを描く図。
【図５】 図５は、スチルイメージ"レナ"に適用される３つのタイプの領域形成スキームを示す図。
【図６】 図６は、スチルイメージ"レナ"に適用されるDCTを利用した重要な領域のコーディングを示す図。
【図７】 図７は、領域階層形成の方法を示すフロー図。
【図８】 図８は、アルゴリズムＡ５１の動作及び連続する解像度レベルのための領域マスクのダウンサンプリングを示すフロー図。
【図９】 図９は、領域エンコードされたデータをスキャンするための２つの異なる方法を示す図。
【図１０】 図１０は、領域縮小方法を用いた領域データの好ましいスキャン方法を示すフロー図。
【図１１】 図１１は、圧縮側システムのマルチプレクサ内でデータがパックされる順序を示す詳細なフロー図。
【図１２】 図１２は、圧縮システムのマルチプレクサの内部アーキテクチャを示すフロー図。
【図１３】 図１３は、伸長側のシステムの逆マルチプレクサの内部アーキテクチャを示すフロー図。
【図１４】 図１４は、伸長システム及びアーキテクチャの詳細な複数パスのフロー図。

Claims (28)

1. デジタル静止画像（１０）を領域ベースでエンコーディングし、スケーラブルでコンテンツへのアクセスが可能な圧縮ビットストリーム（６０）を作成するための方法であって、
   前記デジタル静止画像の生画像データを多重解像度サブイメージを有する多重解像度分解階層に分解し（２０）、前記多重解像度サブイメージを順序付けする工程であって、前記多重解像度サブイメージは大きさ（マグニチュード）を有する多重解像度係数を含むものである、工程と、
   処理対象領域を決定する工程（３０）と、
   第１レベルの解像度の処理対象領域を特定するための領域マスクを定義する工程（３０）と、
   前記第１レベルの解像度の処理対象領域の領域マスクを幾何学的プログレッシブエンコーディングを使ってエンコーディングする工程（４０）と、
   解像度の後続レベル用の領域マスクを決定し、この領域マスクをエンコーディングする工程と、
   多重解像度係数の大きさに基づいて、エンコードされた領域マスクをスキャンしプログレッシブにソートする工程（５０）と、
   前記圧縮ビットストリームを構成する工程であって、前記圧縮ビットストリームは前記エンコードされソートされた領域マスクを含むものである、工程と、
   を有する方法。
2. 請求項１記載の方法において、前記多重解像度サブイメージの階層は、ウェーブレット変換に基づき作成されるものである。
3. 請求項１記載の方法において、前記多重解像度サブイメージの階層は、フーリエベースの変換に基づき作成されるものである。
4. 請求項１記載の方法において、前記多重解像度サブイメージの階層は、生画像データを使って作成されるものである。
5. 請求項１記載の方法において、前記処理対象領域は、自動工程により決定されるものである。
6. 請求項１記載の方法において、前記処理対象領域は、ユーザ定義により決定されるものである。
7. 請求項１記載の方法において、前記幾何学的プログレッシブエンコーディングは、フーリエ変換を使用するものである。
8. 請求項１記載の方法において、前記幾何学的プログレッシブは、ウェーブレット変換を使用するものである。
9. 請求項１記載の方法において、領域ベースのデータは、多重解像度係数のリストを作成するため、線形にスキャンされる。
10. 請求項１記載の方法において、領域ベースのデータは、多重解像度係数のリストを作成するため、領域縮小プロトコルを使ってスキャンされる。
11. 請求項１記載の方法において、前記多重解像度係数のリストは、プログレッシブな部分ソート体系を使ってソートされる。
12. 請求項１記載の方法において、前記多重解像度係数のリストは、所定のパーティションに基づいて分割されたデータを使ったプログレッシブなソート体系によりソートされる。
13. 請求項１記載の方法は、さらにエントロピーコーディングの最適な手段を決定するソフトウェアスイッチの工程を有する。
14. 請求項１記載の方法は、異なる領域及び解像度チャンネルからの圧縮データを統合ビットストリームにアセンブルすることにより、エンコーダ及びデコーダの両方が、選択的及びインタラクティブに、ビットバジェット及び圧縮画像の質を制御できるようにする、多重化プロトコルの工程をさらに有する。
15. デジタル静止画像を領域ベースでエンコーディングし、スケーラブルでコンテンツへのアクセスが可能な圧縮ビットストリームを作成する装置であって、前記装置は、
    前記デジタル静止画像の生画像データを多重解像度サブイメージを有する多重解像度分解階層に分解し、前記多重解像度サブイメージを順序付けする手段であって、前記多重解像度サブイメージは大きさ（マグニチュード）を有する多重解像度係数を含むものである、手段と、
    処理対象領域を決定する手段と、
    第１レベルの解像度の処理対象領域を特定するための領域マスクを定義する手段と、
    前記第１レベルの解像度の処理対象領域の領域マスクを幾何学的プログレッシブエンコーディングを使ってエンコーディングする手段と、
    解像度の後続レベル用に領域マスクを決定し、前記領域マスクをエンコーディングする手段と、
    多重解像度係数の大きさ（マグニチュード）に基づいて前記エンコードされた領域マスクをスキャンし、プログレッシブにソートする手段と、
    前記圧縮ビットストリームを構成する手段であって、前記圧縮されたビットストリームは前記ソートされエンコードされた領域マスクを含む、手段と、
    を有する装置。
16. 請求項１５記載の装置において、前記多重解像度サブイメージの階層は、ウェーブレット変換に基づき作成されるものである。
17. 請求項１５記載の装置において、前記多重解像度サブイメージの階層は、フーリエベースの変換に基づき作成されるものである。
18. 請求項１５記載の装置において、前記多重解像度サブイメージの階層は、生画像データを使って作成されるものである。
19. 請求項１５記載の装置において、前記処理対象領域は、自動工程により決定されるものである。
20. 請求項１５記載の装置において、前記処理対象領域は、ユーザにより決定されるものである。
21. 請求項１５記載の装置において、前記幾何学的プログレッシブエンコーディングは、フーリエ変換を使用するものである。
22. 請求項１５記載の装置において、前記幾何学的プログレッシブエンコーディングは、ウェーブレット変換を使用するものである。
23. 請求項１５記載の装置において、領域ベースのデータは、多重解像度係数のリストを作成するため、線形にスキャンされるものである。
24. 請求項１５記載の装置において、領域ベースのデータは、多重解像度係数のリストを作成するため、領域縮小プロトコルを使ってスキャンされるものである。
25. 請求項１５記載の装置において、前記多重解像度係数のリストは、プログレッシブな部分ソート体系を使ってソートされるものである。
26. 請求項１５記載の装置において、前記多重解像度係数のリストは、所定のパーティションに基づいて分割されたデータを使ったプログレッシブなソート体系によりソートされるものである。
27. 請求項１５記載の装置は、エントロピーコーディングの最適な手段を決定するソフトウェアスイッチを使用するものである。
28. 請求項１５記載の装置は、異なる領域及び解像度チャンネルからの圧縮データを統合ビットストリームにアセンブルすることにより、エンコーダ及びデコーダの両方が、選択的及びインタラクティブに、ビットバジェット及び圧縮画像の質を制御できるようにする、多重化手段をさらに有するものである。

Images