JP3597779B2 - 画像を圧縮及び圧縮解除する方法及び装置 - Google Patents
画像を圧縮及び圧縮解除する方法及び装置 Download PDFInfo
- Publication number
- JP3597779B2 JP3597779B2 JP2000538313A JP2000538313A JP3597779B2 JP 3597779 B2 JP3597779 B2 JP 3597779B2 JP 2000538313 A JP2000538313 A JP 2000538313A JP 2000538313 A JP2000538313 A JP 2000538313A JP 3597779 B2 JP3597779 B2 JP 3597779B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- interest
- bit
- coefficient
- transform coefficients
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【０００１】
発明の背景
発明の属する技術分野：
近年のコンピュータ及び及びコンピュータネットワークは、コンピュータ間及びコンピュータ・記憶装置間でかなりの量の情報が転送されることを可能とする。コンピュータがローカル記憶装置、例えばローカルハードドライブ又はローカルフロッピードライブ、にアクセスするとき、かなりの量の情報に迅速にアクセスすることができる。しかしながら、ワイドエリアネットワーク（ＷＡＮ）、インターネット、又は無線通信チャネル（セルラー電話網等）等を介して遠隔記憶場所からのデータにアクセスしようとするとき、データ転送速度はかなり遅い。従って、大きなファイルを転送することはかなりの時間を要する。更に、大きいファイルの格納には貴重な限られた記憶空間が使用される。写真のような画像及び同様のグラフィックな画像は一般的に大きいファイルであると考えられ、これは従来では画像は画像中の各画像素子即ち画素上に情報を必要とするためである。従って、写真及び同様のグラフィックな画像は一般的に１メガバイト上の記憶空間を必要とし、従って遅いネットワーク通信上でかなりの送信時間を必要とする。従って、近年では写真のような画像を格納するために必要とされる記憶空間の量を減少させるため、写真のような画像を圧縮するための多くのプロトコル及び標準が開発されている。圧縮方法は、本質的には原画像の数学的又は統計的な近似を形成する。
【０００２】
圧縮方法は、２つの別々のカテゴリに大きく分類することができる。損失のある圧縮方法は、画像の忠実度が幾らか損失される方法であり、換言すれば、再生された画像をよく調べると画像の忠実度の損失があるものである。損失のない圧縮方法は、復号化の後に原画像が正確に再生されるものである。本発明は、最初に画像を符号化又は圧縮するユーザ又はシステム、又は、符号化側との対話を通じて画像データを受信し復号化するユーザ又はシステムによる関心領域の選択に基づいて、画像の一部又は部分が再生された画像の中で画像の他の部分よりも高いレベルの忠実度で圧縮されうる効率的な画像圧縮のための方法及び装置に関連する。
【０００３】
従来技術の説明：
現在一般的に普及している画像を圧縮するための標準には、ＪＰＥＧ又は「Ｊ−ｐｅｇ」標準と称されるものがある。この標準は「Ｔｈｅ Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ」と称される委員会によって開発され、静止画像を記憶又はネットワーク送信のために圧縮するのに一般的に使用されている。Ｓａｉｄ及びＰｅａｒｌｍａｎによる最近の論文には、階層木における集合分割（ＳＰＩＨＴ）に基づく新しい符号化及び復号化方法が記載されている。これについては、Ｓａｉｄ及びＰｅａｒｌｍａｎによるＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ， ｖｏｌ．６， ｎｏ．３（１９９６年６月）及びＳａｉｄ及びＰｅａｒｌｍａｎによるＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ｖｏｌ．５， ｎｏ．９（１９９６年９月）を参照のこと。これらの論文の内容はここに参照として組み入れられる。参照される上記論文は、汎用コンピュータ上にロードされ実行されたときに方法を行なうコンピュータソフトウエアを開示し、ビット精度による損失のある圧縮及び同一の埋め込まれたビットストリーム内での損失のない圧縮を行なう整数ウェーブレット変換を利用する装置、又は単一の埋め込まれたビットストリームの中でビット精度による損失のある圧縮を行なう非整数ウェーブレット変換を利用する装置を形成する。
【０００４】
複数の個々の画素を表わす２次元配列として最初に格納される画像は、順次的な画像送信のために変換係数に従ってビットに優先度を付ける。最も重要な情報は、部分集合分割を用いた所与の閾値に関して有意性のある要素又は有意性のない要素を決定することによって選択される。Ｓａｉｄ及びＰｅａｒｌｍａｎによって開示された順次的送信スキームは、各変換係数の大きさに基づいて最初に送信されるべき最も重要な情報を選択する。変換がユニタリ変換であれば、大きさが大きいほど、係数は平均平方誤差（ＭＳＥ，Ｄｍｓｅ（））、即ち、（ｉ，ｊ）は画素の座標であり、従ってｐは画素の値を表わすとすると、
【０００５】
【数１】
についてみた場合により多くの情報を運ぶ。２次元配列ｃは、Ω（・）はユニタリ階層サブバンド変換を表わすとすると、ｃ＝Ω（ｐ）に従って符号化される。Ｓａｉｄ及びＰｅａｒｌｍａｎは、各画素の座標及び値が、符号化のために要素が整数として扱われることを可能とする比較的少ないビットを有する固定点バイナリ形式によって表わされると想定する。再構成される画像ｐは、
【０００６】
【外１】
を０に設定し、画像を
【０００７】
【数２】
として計算することによって表わされる。
【０００８】
Ｎは画素数であり、従って上述の平均平方誤差歪みについての計算が行われうる。数学的な仮定を用いると、平均平方誤差歪みの尺度は
【０００９】
【数３】
だけ減少することが知られている。このことは、画素値がそれらの２進表現によってランク付けされ、最上位ビット（ＭＢＳ）が最初に送信されることをかのうとし、また、より大きな大きさを有する画素係数がより多くの情報内容を有するため最初に送信されることを可能とする。符号化器によって使用されるアルゴリズムは、特定の画素座標に対して最大の画素値を表わす値を送信し、画素座標をウェーブレット変換係数値によってソートし、ソート回数及び詳細化回数を用いて様々な係数の最上位ビットを出力することによって、送信される画素座標の小さな部分を用いて高質な再構成画像を与える。ユーザはソート及び詳細化に使用されるビットの数を設定することによって所望のレート又は歪みを設定しうる。
【００１０】
発明の概要
本発明は、画像の関心領域（ＲＯＩ）即ち或る領域が強調されるよう送信又は記憶のために画像を符号化し、符号化された画像を送信の後又は記憶装置からの取り出しの後に復号化する方法及び装置を提供する。
【００１１】
符号化方法は、ディジタル画像データ中の１つ以上の関心領域を選択する段階及び各領域について優先度を指定する段階を含む。画像全体の画素値のウェーブレット変換を行なうことによりウェーブレットの変換係数が得られ、各関心領域に対応する変換係数が識別される。各関心領域の変換係数は、変換係数に対してより多くのビットが割り当てられるか又は変換係数の符号化順序を繰り上げるよう、これらの変換係数をスケールアップすることによって強調される。各関心領域の変換係数をスケールアップした後、画像全体の変換係数に対して量子化が行なわれ、量子化インデックスが得られる。或いは、各関心領域に対応する量子化された変換係数の量子化インデックスは、各関心領域に割り当てられた優先度に従ってスケールアップされる。画像全体に対して量子化を行なった後、各関心領域がスケールアップされる。変換係数の量子化インデックスは、符号化の順序付け又は各関心領域に対するスケールアップといった符号化方法に基づいてエントロピー符号化され、データビットストリームが形成される。ビットストリームヘッダが形成され、データビットストリームはビットストリームヘッダに付けられる。エントロピー符号化は、変換係数の量子化インデックスの２進表現の各ビットフィールドに対して行なわれる。
【００１２】
復号化方法は、データビットストリームからビットストリームヘッダを分離する段階と、ビットストリームヘッダから、１つ以上の関心領域の座標、各領域の優先度、画像のサイズ、及びウェーブレット分解レベルの数といった記述を復号化する段階を含む。１つ以上の関心領域の記述によって指定される１つ以上の関心領域に対応するウェーブレットの変換係数が識別され、データストリームは、化ｋ関心領域に対応する変換係数の識別された結果及び各関心領域に割り当てられた優先度によって決定される復号化順序に従ってエントロピー復号化される。これにより変換係数の量子化インデックスを含む一組のサブバンドが形成される。逆量子化された変換係数又は各関心領域に対応する変換係数の量子化インデックスがスケールダウンされる。符号化器においてスケールアップが行われた後に量子化が行なわれるという順序であれば、画像全体の変換係数の逆量子化が行なわれた後に各関心領域の量子化された変換係数のスケールダウンが行なわれる。符号化器において量子化が行なわれた後にスケールアップが行われるという順序であれば、各関心領域の量子化インデックスがスケールダウンされた後に画像全体の量子化インデックスが逆量子化される。いずれの場合も、量子化インデックスに対して逆量子化を行なうことにより量子化された変換係数が得られる。逆量子化された変換係数に対して逆ウェーブレット変換を行なうことにより画像全体の画素値が形成される。
【００１３】
本発明では、ディジタル画像は２次元ディジタルデータであってもよいし、音声データ、心電図データ、地震波データといった１次元ディジタルデータであってもよい。データが１次元データである場合、２次元データの各次元に適用されるウェーブレット変換、サブバンド、ＲＯＩ係数識別又は逆ウェーブレット変換に基づく段階及び手段は、データの単一の次元に対してのみ適用される。
【００１４】
望ましい実施例の詳細な説明
以下、本発明の実施例について添付の図面を参照して説明する。本発明はユーザによって指定される関心領域が画像の残りよりも高い忠実度で符号化されるよう強調される画像圧縮を行なう方法及び装置に関する。強調は符号化方法の最初から又は途中から生じうる。符号化の途中から生ずる場合、符号化が行なわれている間に符号化されたビットストリームの部分を受信する受信側における使用によって強調が開始されうる。関心領域の強調は、再構成画像上の関心領域の周りに人工的な境界を生じさせないよう変換係数ドメインで行なわれる。量子化の後に変換係数に対して強調が行なわれる実施例では、関心領域が連続的な再構成の早い段階で再構成されうるよう、関心領域に対応する量子化インデックスの情報の順序が変更される。従って、関心領域は低いビットレートでより高い忠実度で再構成される。関心領域に対する強調は量子化インデックスのビットフィールドが符号化される順序を変更させるだけであるため、強調によって情報の損失が生ずることはない。また、情報の順序の変更は、各係数レベルだけでなく各係数ビットフィールドにも適用可能であり、これにより画像の特定部分の質が改善されるだけでなく、画像の各部分が再構成される符号化順序を柔軟に変更させる。本発明の他の実施例では、量子化の前に変換係数を強調する。この実施例は、他の態様のように柔軟な機能を与えないが、任意のビットレートにおいて計算の複雑性の増加を最小限にして、関心領域を画像の残りよりも高い忠実度で再構成することを可能とする。
【００１５】
図１は、画像中の選択された関心領域に対する強調を、関心領域に対してより多くのビットを割り当てること、又は、符号化過程において関心領域を関心領域の外側の領域よりも早い段階で符号化することによって行なう画像を圧縮する方法を示す図である。符号化方法１００は、入力ディジタル画像の画素値に対してウェーブレット変換を行なうステップ１０１を含み、それにより入力画像は変換係数からなる一組のサブバンドによって表わされる。ステップ１０１の後に、ビット割当てステップ１０２及び量子化ステップ１０３が続く。ステップ１０２において、係数当たりのビット数（即ち係数の表現精度）が各サブバンドの変換係数に対して割り当てられ、変換係数より高い分散又はより高いエネルギーを有するサブバンドに対して係数当たりにより多くのビットが割り当てられ、より小さな量子化ステップサイズ割り当てられたのと同等であるよう、ディジタル値を有する変換係数が決定される。しかしながら、各サブバンド又は全てのサブバンドに対する係数当たりのビット数が所定であれば、ステップ１０２は実行されない。割り当てられた係数当たりのビット数はステップ１０３において使用される。ステップ１０３において、各サブバンドの変換係数に対して量子化が行なわれ、各サブバンドの変換係数は各サブバンドに対する割り当てられた係数当たりのビット数即ち量子化ステップサイズによって指定される表現精度を有する量子化インデックスによって表わされる。ステップ１０３を通じて、低下された又は同じ変換係数値の表現精度を有する変換係数を表わす量子化インデックスが得られる。得られた量子化インデックスはＲＯＩ（関心領域）係数スケーリングステップ１０７へ入力される。
【００１６】
ステップ１０１、１０２及び１０３の前、後、又は一緒に、関心領域選択ステップ１０４、ＲＯＩ係数識別ステップ１０５、及びＲＯＩ座標記述ステップ１０６が実行される。ステップ１０４において、入力画像上で関心領域が選択され、選択された関心領域の座標がステップ１０５及び１０６に入力される。ステップ１０５において、各サブバンド中の選択された関心領域に対応するウェーブレット変換係数、即ちＲＯＩ係数が識別され、ウェーブレット変換係数を含む各サブバンド中のＲＯＩ係数を強調することによって画像中の選択された関心領域が強調される。変換係数が各関心領域に対応するか関心領域の外側の領域に対応するかを示すＲＯＩ係数の識別結果（即ち係数のカテゴリ）は、ステップ１０７へ入力される。ＲＯＩ座標記述ステップ１０６において、ＲＯＩ座標情報を有効に送信又は記憶するために、選択された関心領域の座標が符号化され、それにより復号化器は再構成画像中においてどの関心領域が強調されるために選択されるかが分かる。ＲＯＩ記述情報は送信ステップ１０９においてビットストリーム中のヘッダビットに付加される。
【００１７】
ＲＯＩ係数スケーリングステップ１０７において、ＲＯＩ係数の量子化インデックスが関心領域に割り当てられた優先度によって指定される左ビットシフト値（Ｓ）によってスケールアップされ、ＲＯＩ係数のインデックスが実際の値よりも大きい値を有するかのように符号化されるよう、ステップ１０３から入力される量子化インデックスのうち、関心領域に対応する変換係数の量子化インデックスのみが強調される。従って、これらは続くエントロピー符号化ステップ１０８において、所与のビットレートでより多くのビットで符号化されるか、又は、符号化過程のより早い段階で符号化される。そのうちの幾つかがスケールアップされている量子化インデックスは、係数のカテゴリ、ステップ１０５において形成されたＲＯＩ係数の識別結果、スケールアップのために使用される優先度（左ビットシフト値，Ｓ）と共にステップ１０８へ入力される。
【００１８】
エントロピー符号化ステップ１０９において、量子化インデックスの２値表現の各ビット要素に対してエントロピー符号化が行なわれ、それにより符号化されたデータストリームが形成され、このデータストリームは、量子化インデックスのより高いビット重要度レベルにおけるビットフィールドから発生される符号化されたビットが、より低いビット重要度レベルのビットフィールドから発生される他の符号化ビットよりもビットストリームのより早い部分に配置されるよう形成される。換言すれば、量子化インデックスの２値表現の各ビットフィールドに対するエントロピー符号化は、最も高いビット重要度レベル（最上位ビット）のビットフィールドが最初に符号化され、ビット重要度レベルの降順のビットフィールドはビット重要度レベルの降順で符号化されるよう行なわれる。エントロピー符号化ステップは任意のビットレートで終了又は中止されえ、即ち、符号化されたビットストリームに対するビット割当量が使い尽くされたとき、符号化されたビットストリームの受信側又は記憶側が更なるビットを必要としてないとき、符号化側のユーザ又はシステムがステップを終了又は中止させるようとするとき、又は受信側のユーザ又はシステムがステップを終了又は中止させるようとするときである。
【００１９】
符号化器は、ＲＯＩ係数の量子化インデックスの一番下からＳ個の最低のビット重要度レベルのビットフィールドを符号化することを開始し、これは、Ｓの左ビットシフトによるＲＯＩ係数のスケールアップの前は存在しないこれらのビットフィールドは情報を運ばないためである。或いはこれらの一番下からＳ個のビットフィールドを符号化することを回避するための計算上の費用を減少させるために、均一に０によって埋められる値を有するフィールドは、関心領域の外側の領域の量子化インデックスの一番下からＳ個のビットフィールドと共に符号化されうるが、符号化されたビットレートは増加される。ＲＯＩ係数の量子化インデックスの一番上からＳ個のビットフィールドは、同じサブバンド中の関心領域の外側の領域の量子化インデックスのビットフィールドを符号化することなく、排他的に符号化される。或いは、関心領域の一番上からＳ個のビットフィールドを選択するために符号化するための計算上の費用を減少させるため、これらのビットフィールドは、均一に０によって埋められる値を有する関心領域の外側の領域のビットフィールドと共に符号化されうるが、符号化されたビットレートは増加される。
【００２０】
ステップ１０８における望ましい符号化技術は、２進算術符号化技術といったビット平面符号化、又は、ＳＰＩＨＴ符号化技術といったゼロ木符号化である。ビット平面符号化技術では、各サブバンドの或るビット重要度レベルにおける全てのビットフィールドが同じ符号化段階で符号化される。これらのビットフィールドが符号化された後、他のビット重要度レベルの他のビットフィールドが符号化される。多くの場合、より高いビット重要度レベルのビットフィールドは、同一のサブバンド中のより低いビット重要度レベルのビットフィールドよりも早く符号化される。そのような場合、より高いビット重要度レベルにおけるビットフィールドの符号化結果は、より低いビット重要度レベルにおけるビットフィールドの符号化のために使用されうる。ゼロ木符号化技術では、各量子化インデックスのより高いビット重要度レベルにおけるビットフィールドは、各量子化インデックスにおけるより低いビット重要度レベルにおけるビットフィールドより常に早く符号化されるが、同一の量子化インデックスのより低いビット重要度レベルにおけるビットフィールドの幾つかは、他の量子化インデックスのより高いビット重要度レベルにおけるビットフィールドよりも早く符号化される。ステップ１０８において形成される符号化されたデータは送信ステップ１０９へ送られ、送信又は記憶されるべきビットストリームにデータビット又はヘッダビットが付加される。
【００２１】
割り当てられた係数当たりのビット数が変換係数の表現精度よりも小さいサブバンドでは、各変換係数は、量子化された変換係数の値が表わされる精度よりも小さい表現精度を有する量子化インデックスによって表わされる。割り当てられた係数当たりのビット数が変換係数の値の表現精度と同じであるサブバンドでは、各変換係数が量子化されず、各係数値自体がＲＯＩ係数スケーリングステップ１０７に与えられる量子化インデックスとして見なされうる。本発明は、より大きな変換係数がより大きな量子化インデックスによって表わされる全ての種類の量子化スキームに適用されうる。本発明の望ましい量子化は、スカラー量子化又はトレリス符号化された量子化である。スカラー量子化の場合、変換係数は一組の閾値に対する係数の大きさに基づいてインデックスへ量子化される。トレリス符号化された量子化では、変換係数はそれら自体の大きさだけでなく量子化器の状態に基づいてインデックスへ量子化される。
【００２２】
図３Ａ乃至３Ｆ中、ＲＯＩ係数スケーリングステップ１０７が示される。ＲＯＩ係数スケーリングは、各サブバンド、全てのサブバンド又は、幾つかのグループのサブバンド毎に変換係数の量子化インデックスに対して行なわれる。スケーリングが各サブバンドで行なわれる場合、各サブバンドは関心領域に対する量子化インデックスに対する優先度（左ビットシフト値，Ｓ）を含まない異なる優先度に対して割り当てられうる。選択された関心領域がサブバンドのうちの幾つかのみから再構成された画像中で強調される必要がある場合、ＲＯＩ係数スケーリングは選択されたサブバンドにおいてのみ実行される必要がある（即ち、画像のより低い空間解像度のものが再構成されるとき、目標空間解像度を再構成するために必要でないサブバンド中のＲＯＩ係数はスケールアップされない）。以下、例えば全てのサブバンド又はサブバンドの幾つかのグループの関心領域の量子化インデックスに対して同じ優先度値を割り当てることによって、全てのサブバンド又はサブバンドの幾つかのグループ毎に実行されるＲＯＩ係数スケーリングとして一般化されうる各サブバンドのＲＯＩ係数スケーリングについて説明する。
【００２３】
この概念について説明するため、以下のような参照記号を用いるものとする。１つのサブバンド（サブバンド［ｋ］）における変換係数をＹ（ｊ）と示し、但しｊ（０＜＝ｊ＜Ｊ）は変換係数の座標を表わすものとする。サブバンド［ｋ］中の変換係数Ｙ（ｊ）に対応する量子化インデックスをＺ（ｊ）と示す。ステップ１０２における割り当てられた係数当たりのビット数をＮと示す。量子化インデックスＺ（ｊ）の２進表現を、ｂＮ−１（ｊ），ｂＮ−２（ｊ），．．．，ｂ０（ｊ）と示す（但し、ｂｋ（ｊ），但し０＜＝ｋ＜Ｎ，は０又は１であり、ｂＮ−１（ｊ）はＺ（ｊ）の最も高いビット重要度レベルにおけるビットフィールドである）。量子化インデックスＺ（ｊ）の２進表現は以下の式、
によって表わされる。（ＲＯＩ係数スケーリングが実行される前、ｂｎ（ｊ）は２ｎのビット重要度におけるビット値を表わす。）
変換係数が関心領域に対応すると識別されるとき（即ちＲＯＩ係数）、Ｙ（ｊ）但しｊ＝ｊｓ，ｊｓ＋１，，，，，及びｊｅ、量子化インデックスＺ（ｊ）、但しｊ＝ｊｓ，…，ｊｅはサブバンド［ｋ］中のステップ１０７においてスケールアップされるべきＲＯＩ係数である。選択された関心領域に割り当てられた優先度が左シフトビット値，Ｓ，であれば、量子化インデックスＺ（ｊｓ），．．，Ｚ（ｊｅ）はＺ（ｊｓ）．．，Ｚ（ｊｅ）へスケールアップされ、即ち、
【００２４】
【数４】
となる。
【００２５】
Ｓの左ビットシフトによるスケーリングの結果、（ａ１）対応するインデックスの大きさは２Ｓ倍大きくなる。換言すれば、各ビットフィールドのビット重要度レベル（ｓ＿ｌｅｖｅｌ）はＳだけ大きくなる（ｓ＿ｌｅｖｅｌ＝Ｎ−１ ――＞ ｓ＿ｌｅｖｅｌ＝Ｎ＋Ｓ−１，ｓ＿ｌｅｖｅｌ＝Ｎ−２ ――＞ ｓ＿ｌｅｖｅｌ＝Ｎ＋Ｓ−２，ｓ＿ｌｅｖｅｌ＝０ ――＞ ｓ＿ｌｅｖｅｌ＝Ｓ）。各ビットフィールドがビット重要度レベルの降順で符号化される場合、スケールアップされたインデックスの各一番上のＳビットフィールドは同一のサブバンド中の任意の他のビットフィールドよりも早く符号化される。換言すれば、（ａ２）スケールアップされたインデックス中のより多くのビットフィールドが符号化過程のより早い段階で符号化される。（ａ３）ビット平面符号化が使用される場合、符号化は同じビット重要度レベルのビットフィールドからなる各ビット平面に対して行なわれる。各サブバンドでは、各ビット平面は望ましくはビット重要度レベルの降順で、又は他の順で行なわれる。サブバンドに亘る各ビット平面の符号化順序は、各サブバンド中の符号化順序を追従することによって任意に指定されうる。同一サブバンドにおける各ビット平面の符号化順序の例を以下に示す。
【００２６】
【数５】
最大の左ビットシフト値Ｓｍａｘは、サブバンドに割り当てられた係数当たりのビット数、全てのサブバンドに割り当てられたもののうちの最大の係数当たりのビット数、サブバンド中の最大のビット重要度レベル、又は全てのサブバンドの最大のビット重要度レベルによって決定される。Ｓｍａｘよりも大きい左ビットシフト値が指定されれば、Ｓｍａｘに調整されうる。この場合、左ビットシフト値は常に以下の範囲、０＜＝Ｓ＜＝Ｓｍａｘ（Ｓｍａｘ＝Ｎ，０：関心領域に対する優先度なし）にある。Ｓｍａｘに上限がなくとも、本発明は符号化されたビットレートの小さい増加又は計算費用の小さい増加で作用する。
【００２７】
最大の左ビットシフト又は最大の左ビットシフトよりも大きい値が選択されれば、関心領域に対応する量子化インデックスの全てのビットフィールドは、同一サブバンド中の関心領域の外側の領域に対応する量子化インデックスの全てのビットフィールドと異なるビット重要度レベルを有する。従って、関心領域の全てのビットフィールドと関心領域の外側の領域の全てのビットフィールドとは、別々に符号化される。換言すれば、関心領域の量子化インデックスと関心領域の外側の領域の量子化インデックスとは、エントロピー符号化器において別々に符号化される。
【００２８】
左ビットシフト値が最大値よりも小さく０よりも大きければ、関心領域に対応する量子化インデックスの一番上からＳ個のビットフィールドは同一のサブバンド中の関心領域の外側の領域の量子化インデックスの全てのビットフィールドとは別に符号化され、関心領域に対応する量子化インデックスの残りのＮ−Ｓ個のビットフィールドは同一サブバンド中の残りのインデックスの一番上からＮ−Ｓ個のビットフィールドと共に同じ符号化段階において符号化され、関心領域の外側の領域に対応するインデックスの残りのＳ個のビットフィールドは関心領域の全てのビットフィールドとは別に符号化される。換言すれば、左ビットシフトが最大値よりも小さく０よりも大きい場合は、関心領域の量子化インデックス及び関心領域の外側の領域の量子化インデックスは、エントロピー符号化器において符号化されるべく部分的に分離される。
【００２９】
ＲＯＩ係数スケーリングの望ましい方法は、（ｅ１）関心領域に対応する量子化インデックスの値をスケールアップすること、（ｅ２）関心領域に関連するビットフィールドのビット重要度レベルをスケールアップすること、（ｅ３）符号化順序を再割り当てすることである。（ｅ１）、（ｅ２）及び（ｅ３）は、夫々上述の（ａ１）、（ａ２）、及び（ａ３）に対応する。ステップ１０７における（ｅ１）、ｅ２）及びｅ３）のいずれかを用いたＲＯＩの係数スケールアップの結果は、エントロピー符号化のステップ１０８において行なわれるエントロピー符号化を管理するために、選択された関心領域に対する優先度及びステップ１０８における関心領域に対応する係数の識別結果と共に使用される。
【００３０】
図４Ａ及び４Ｂ中、複数の関心領域が異なる優先度で強調される場合のＲＯＩ係数が図示される。各選択された領域が同じ強調レベルで強調される場合、各関心領域に対応する量子化インデックスは同じ左ビットシフト値でスケールアップされる。この場合、同じＲＯＩ係数スケーリングが任意の関心領域に対応する量子化インデックスに対して図３Ａ乃至３Ｆに示されるのと同じ方法で行われる。各選択された領域がそれ自体の優先度で強調される場合、図３Ａ乃至３Ｆに示されるスケールアップは各関心領域に対して行なわれねばならない。この場合、領域選択器ステップ１０４において選択される各関心領域に対応する変換係数は、ＲＯＩ係数識別ステップ１０５において識別され別のカテゴリへ分類される。この分類において、幾つかの関心領域に対応する変換係数のうち、全ての選択された関心領域のうち最も高い優先度が割り当てられた関心領域に対応する係数について探される。各関心領域に割り当てられたカテゴリ及び優先度に基づいて、図３Ａ乃至３Ｆに示されるのと同様に、各関心領域に対してＲＯＩ係数スケーリングが行なわれる。
【００３１】
図５Ａ乃至５Ｃ中、符号化の途中からのＲＯＩ係数スケーリングが図示される。図３Ａ乃至３Ｆ、４Ａ及び４Ｂに示されるＲＯＩ係数スケーリング方法の実施例が、量子化インデックスの値をスケールアップするか、量子化インデックスの各ビットフィールドのビット重要度レベルをスケールアップするか、又は量子化インデックスの各ビットフィールドの符号化順序を再割り当てするのに対して、図５Ａ乃至５Ｃに開示されるＲＯＩスケーリング方法の実施例は、関心領域の量子化インデックスの値の部分（量子化インデックス中の幾つかのビットフィールドからなる値）をスケールアップするか、量子化インデックスの幾つかのビットフィールド中のビット重要度レベルをスケールアップするか、又は量子化インデックスの幾つかのビットフィールドの符号化順序を割り当てる。換言すれば、図３Ａ乃至３Ｆ、４Ａ及び４ＢのＲＯＩ係数スケーリング方法が、関心領域に対する変換係数の量子化インデックス中の全てのビットフィールドを使用して関心領域を強調するのに対して、図５Ａ乃至５ＣのＲＯＩ係数スケーリング方法は関心領域の量子化インデックス中のビットフィールドのうちの幾つかを用いて関心領域を強調する。どのビット重要度レベル又はどの符号化段階においてＲＯＩ係数スケーリングが用いられるのかという面以外は、以下説明されるＲＯＩ係数スケーリングは図３Ａ乃至３Ｆ、４Ａ及び４ＢのＲＯＩ係数スケーリング方法と同じ方法を用いる。
【００３２】
図５Ａ乃至５ＣのＲＯＩ係数スケーリング方法では、変換係数の全ての量子化インデックスのビットフィールドのうちの幾つかはスケールアップされない。これらのビットフィールドは、一番上から幾つかのビットフィールド、一番下から幾つかのビットフィールド、又は中央の幾つかのビットフィールドでありうる。この場合、ＲＯＩ係数スケーリングが用いられないビットフィールドから発生される符号化されたビットストリームは、関心領域を扱わない復号化方法によって復号化されうる。各サブバンド中の一番上から幾つかのビットフィールドがＲＯＩスケーリングを用いずに符号化されるとき、符号化されたビットストリームが符号化過程中に受信側へ送信され、符号化器が受信器からフィードバック信号を受信する場合は、関心領域の選択及びその優先度の選択は受信側によって指定されうる。受信側のユーザは、符号化器からの入来する符号化されたビットストリームから部分的に再構成される画像の関心領域及び優先度を指定し、符号化器に対して関心領域の座標情報及び優先度をフィードバックしうる。すると、符号化器は符号化過程の途中にＲＯＩスケーリングを開始する。
【００３３】
図５Ａ乃至５Ｃの主題について説明するため、図３Ａ乃至３ＦのＲＯＩ係数スケーリングを開示するのに使用されるのと同じ用語を用いる。１つのサブバンド（サブバンド［ｋ］）における変換係数をＹ（ｊ）と示し、但しｊ（０＜＝ｊ＜Ｊ）は変換係数の座標を表わすものとする。サブバンド［ｋ］中の変換係数Ｙ（ｊ）に対応する量子化インデックスをＺ（ｊ）と示す。ステップ１０２における割り当てられた係数当たりのビット数をＮと示す。量子化インデックスＺ（ｊ）の２進表現を、ｂＮ−１（ｊ），ｂＮ−２（ｊ），．．．，ｂ０（ｊ）と示す（但し、ｂｋ（ｊ），但し０＜＝ｋ＜Ｎ−１，は０又は１である。左ビットシフトスケーリング値はＳによって表わされ、ＲＯＩ係数スケーリングが使用されないビット重要度レベルの数はＰによって示される。一番上からＰ個のビット平面がＲＯＩ係数スケーリングをもちいずれに符号化されるとき、量子化インデックスＺ（ｊ）の２進表現は以下の式、
によって表わされる。Ｚ（ｊ）は、Ｚ１（ｊ）及びＺ２（ｊ）の組合せによって表わされ、Ｚ１（ｊ）はＺ（ｊ）のそのままの部分であり、Ｚ２（ｊ）はスケールアップされるべき部分である。
【００３４】
【数６】
ステップ１０５において関心領域に対応するとして識別される変換係数がＹ（ｊ）、但しｊ＝ｊｓ，ｊｓ＋１，…，及びｊｅ、であり、ステップ１０７においてスケールアップされるべき対応する量子化インデックスがＺ（ｊ）、但しｊ＝ｊｓ，…，ｊｅであるとすると、
Ｚ（ｊｓ），…，Ｚ（ｊｅ）の量子化インデックスのスケーリング可能な部分Ｚ２（）はＺ２ｓ（ｊｓ），…，Ｚ２ｓ（ｊｅ）であるようスケールアップされ、即ち、
【００３５】
【数７】
となる。
【００３６】
符号化の途中からＲＯＩ係数スケーリングする場合、Ｚ（ｊｓ），…，及びＺ（ｊｅ）は、Ｚ（ｊｓ）＝｛Ｚ１（ｊｓ），Ｚ２（ｊｓ）｝，…，及びＺ（ｊｅ）＝｛Ｚ１（ｊｓ），Ｚ２（ｊｅ）｝から、Ｚｓ（ｊｓ）＝｛Ｚ１（ｊｓ），Ｚ２ｓ（ｊｓ）｝，…，及びＺｓ（ｊｅ）＝｛Ｚ１（ｊｅ），Ｚ２ｓ（ｊｅ）｝へ変換される。図５Ａ乃至５Ｃに示されるＲＯＩ係数スケーリング方法では、Ｚ８ｊ）ではなくＳ２（ｊ）が図３Ａ乃至３Ｆ、４Ａ及び４Ｂに示されるのと同じスケーリング方法によってスケールアップされる。
【００３７】
最大左ビットシフトスケーリング値Ｓｍａｘは、サブバンドに割り当てられた係数当たりのビット数Ｎと、ＲＯＩ係数スケーリングを用いずに符号化される各量子化インデックス中のビットフィールドの数Ｐによって決定される。この場合、左ビットシフト値Ｓは以下の範囲、０＜＝Ｓ＜＝Ｓｍａｘ（Ｓｍａｘ＝Ｎ−Ｐ，０：関心領域に対する優先度なし）にある。
【００３８】
最大左ビットシフトＳｍａｘ＝Ｎ−Ｐが選択されれば、関心領域に対応する量子化インデックスの一番下からＮ−Ｐ個のビットフィールドは、同一のサブバンド中の関心領域の外側の領域に対応する量子化インデックスの一番下からＮ−Ｐ個のビットフィールドから分離される。このように、関心領域に対応する一番下からＮ−Ｐ個のビットフィールドと関心領域の外側の領域に対応する一番下からＮ−Ｐ個のビットフィールドは別々に符号化される。
【００３９】
左ビットシフト値が最大値よりも小さく０よりも大きければ、（Ｐ＋１）番目に高い重要度レベルから（Ｐ＋Ｓ）番目に高いビット重要度レベルまでの関心領域に対する量子化インデックスのＳ個のビットフィールドは、関心領域の外側の領域に対する全てのビットフィールドから分離される（本例では、一番高い重要度レベルはＭＳＢであり、Ｎ番目に高い重要度レベルはＬＳＢである）。関心領域に対応する量子化インデックスの残りのＮ−Ｐ−Ｓ個のビットフィールドは、各ビット重要度レベルにおける関心領域の外側の領域に対するＮ−Ｐ−Ｓ個のビットフィールドと共に符号化される。残りのＳ個のビットフィールド、関心領域の外側の領域に対する量子化インデックス中の一番下からＳ個のビットフィールドは、関心領域に対する全てのビットフィールドから分離される。
【００４０】
図６Ａ乃至６Ｃ中、多数の関心領域が符号化の異なる段階から異なる優先度で強調されるＲＯＩ係数スケーリング方法が図示される。この技術は図５Ａ乃至５Ｃを参照して記載される符号化の墓場からＲＯＩ係数スケーリング方法を繰り返し適用して、幾つかの量子化インデックスが図３Ａ乃至３Ｆ，４Ａ乃至４Ｆ，５Ａ乃至５Ｃに図示される方法によって最初から、又は符号化過程のいずれかの段階から既にスケールアップされている符号化過程の途中から他の関心領域を強調することに等しい。この方法は、符号化過程の途中において異なる関心領域を加えること又は既に選択されている関心領域の領域を拡張すること、又は、領域を幾つかの部分へ分割し各部分に対して異なる優先度を割り当てることによって符号化過程の異なる段階から部分毎に選択された関心領域を再構成することを可能とする。この場合もまた、受信側における符号化過程及び復号化過程が相互作用的に行われば、他の関心領域の選択及びその優先度の選択は受信側においてなされうる。
【００４１】
図７Ａ乃至７Ｄ中、ビット平面に基づく符号化器が用いられた場合のＲＯＩ係数スケーリングステップ１０７を通じた量子化インデックスのエントロピー符号化ステップ０８が図示される。本発明の特徴は、各ビット重要度レベルにおけるビット平面符号化器への入力である一組の量子化インデックスを変更すること、又は、ステップ１０７におけるＲＯＩ係数スケーリングの結果を用いて各量子化インデックス中のビットフィールドの符号化順序を変更することである。ＲＯＩ係数スケーリングの結果は、ビット平面符号化器によって符号化される各ビット平面と、各ビット平面の符号化順序とを決める。最も簡単なアプローチは、各ビット平面のビット重要度レベルに基づいて符号化順序を決定することである。他のアプローチは、係数の各カテゴリに対応して各ビット平面に対する符号化順序を別々に決定することである。例えば、関心領域に対応する係数からなるビット平面についての符号化順序は、関心領域の外側の領域に対応する係数からなるビット平面についての符号化順序とは別々に決定されうる。係数の各カテゴリに対して別々の符号化順序が使用されれば、各カテゴリに亘る符号化順序は任意に選択されえ、画像全体に対する符号化順序はより柔軟に選択されうる。ビット平面符号化器が、他のビット平面の符号化の結果又は情報を使用せずに各ビット平面を符号化する場合、各ビット平面の符号化順序は任意でありうる。本実施例で用いられるビット平面符号化器は２進算術符号化器といった２進エントロピー符号化器でありうる。ビット平面符号化は、各サブバンド中で画成される各ビット平面に対して、又は、サブバンドの各グループ中で画成される各ビット平面上で、望ましくは全てのサブバンド中で画成される各ビット平面上で実行されうる。
【００４２】
図７Ａ乃至７Ｄは、図３Ａ乃至３Ｆ、４Ａ及び４Ｂに図示されるようにＲＯＩ係数スケーリングが各ビットフィールドに対して用いられるように、各サブバンドにおいてビット平面符号化が行なわれる場合を示す図である。ＲＯＩ符号化は、符号化の最初から開始される。図７Ａ乃至７Ｄのエントロピー符号化では、ステップ１０７におけるＲＯＩ係数スケーリングによって決定されるビット重要度レベルと同じビット重要度レベルを有する変換係数の量子化インデックスの各ビットフィールドはグループ化され、ビット平面を形成する。或いは、ステップ１０７において同じ符号化又は情報順序が割り当てられた各ビットフィールドは、同一ビット平面へグループ化される。係数当たりのビット数（即ちインデックスの表現精度）がＮであり、選択された領域即ち関心領域の優先度がＳ（０＜＝Ｓ＜＝Ｎ）であるとき、ビット平面の数はＮ＋Ｓとなる。一番高い方からＳ個のビット重要度レベルにおけるビットフィールドからなるＳ個のビット平面は、関心領域の係数に関連する。次にＮ−Ｓ個のビット重要度レベルにおけるビットフィールドからなる次のＮ−Ｓ個のビット平面は、画像全体の係数に関連する。一番下からＳ個のビット重要度レベルにおけるビット要素からなる一番最後からＳ個のビット平面は、関心領域の外側の領域の係数に関連する。各ビット平面は、ビット平面符号化器によってビット平面毎に符号化される。より高い重要度レベルのビット平面は、より低い重要度レベルのビット平面よりも符号化過程の早い段階において符号化される。各ビット平面の符号化されたビットストリームは、符号化されたビットストリームの発生された部分がどのビット重要度レベルを表わすのかを識別するために使用される符号化タグに付加される。タグは、優先度、即ち、選択された関心領域に対する左ビットシフト値と共に、ビット部分が関心領域のみを示すのか、画像全体を示すのか、又は関心領域の外側の領域を示すのかを示す。
【００４３】
関心領域に対する優先度が最大であるとき、Ｎ、各ビット平面から発生される各ビット部分は、関心領域、又は関心領域の外側の領域のいずれかからなる。優先度が最大であるとき、関心領域に対するビット平面、及び残りの領域に対するビット平面は別々に符号化される。また、符号化順序と、関心領域と残りの領域との間の符号化されたビットストリームのビット部分の順序は任意であり得る。
【００４４】
各ビット平面の符号化において使用されるビットの数を計数すること、及び、関心領域、関心領域の外側の領域、又はその両方についてのビットの使用の限度が超過されたときに符号化過程を終了させることにより、関心領域及び関心領域の外側の領域に対して割り当てられたビットの数はより正確に制御される。関心領域に対する優先度が最大であれば、関心領域と残りの領域に対して割り当てられるビットの数は別々に制御されうる。
【００４５】
関心領域に対応するビットフィールドのみからなるビット平面、又は、関心領域の外側の領域に対応するビットフィールドのみからなるビット平面を符号化するとき、各ビット平面中のビットフィールドは、１次元信号に対するコンテキストモデル化を用いてエントロピー符号化されるよう１次元信号へ順序付けられるか、又は、２次元信号に対するコンテキストモデル化を用いて符号化されるよう２次元信号として維持される。各ビットフィールドが２次元信号として符号化される場合、関心領域の外側の座標上のビットフィールド又は関心領域の内側の座標上のビットフィールドは、幾つかのビット重要度レベルでは同一のビット平面上に存在しない。符号化されたビットレートを増加させないよう、これらの座標は符号化過程において符号化されるためにスキップされる。或いは、かかる座標をスキップするための計算上の複雑性を減少させるため、これらの座標は符号化中はスキップされないが、０の値のビットフィールドを有するかのように符号化される。これらの０値は、復号化過程中に排除される。０の代わりに、想定される値として１が使用されうる。
【００４６】
関心領域の優先度は、エントロピー符号化ステップ中に変更されうる。１つの例としては、エントロピー符号化ステップ中に関心領域に対する優先度を減少させることがある。即ち、関心領域に対して使用されるビット又はビットレートが所定の値に達すると、残る符号化過程のために関心領域を強調しないよう、優先度値が減少される。或いは、ウェーブレットドメインにおける関心領域の推定ＭＳＥ又はピーク信号対雑音比（ＰＳＮＲ）値が所定の値に達すると、優先度値が減少されうる。優先度が復号化側からのフィードバックによって制御されれば、推定ＭＳＥ又はＰＳＮＲが使用されるだけでなく、部分的に再構成された画像上で計算されるＭＳＥ又はＰＳＮＲもまた使用されうる。関心領域の優先度を、ビットレート、ＭＳＥ、ＰＳＮＲ又は、関心領域の圧縮性能に関連する他の尺度（例えばビットレート対ＭＳＥ）に基づいて制御することにより、符号化又は復号化システムが最も適したＲＯＩ符号化戦略を決めることが可能となる。更に、符号化側又は復号化側におけるユーザが戦略について決定することができる。ＲＯＩ符号化戦略は、ＲＯＩ係数スケーリングがいつ、どれだけ実行されるか、エントロピー符号化器によって符号化される関心領域及び残りの画像に対してどれだけのビットレートが割り当てられるか、関心領域の符号化過程がいつ終了されるか、及び関心領域の符号化及び復号化に使用される任意の他の情報について決める。
【００４７】
図８Ａ乃至８Ｃ中、ビット平面符号化が各サブバンド中で実行され、ＲＯＩ係数スケーリングが図５Ａ乃至５Ｃ及び図６Ａ乃至６Ｃに示されるよう（ＲＯＩ符号化が符号化の途中から開始する）一番下から幾つかのビット重要度レベルのビットフィールドに対してのみ使用される場合が示される。サブバンドに割り当てられる係数当たりのビット数（即ちインデックスの表現精度）がＮである場合、ＲＯＩ係数スケーリングは量子化インデックスの一番上からＰ個のビット平面の後に使用され、選択された領域即ち関心領域に対する優先度はＳ（０＜Ｓ＝Ｎ−Ｐ）であり、サブバンド中のビット平面の数はＰ＋Ｎ―Ｐ＋Ｓ＝Ｎ＋Ｓである。一番上からＰ個のビット平面は、各量子化インデックス中の一番上からＰ個のビット要素からなる。従って、一番上のＰ個のビット平面は画像全体を表わす。各量子化インデックスの一番下からＮ−Ｐ個のビットフィールドから、図６Ａ乃至６Ｃに示されるのと同じ方法（ステップ１０７においてスケールアップされた後に同じビット重要度レベルのビット要素をグループ化する）でＮ−Ｐ＋Ｓ個のビット平面が形成される。即ち、Ｎ−Ｐ＋Ｓ個のビット平面のうち一番上からＳ個のビット平面は、選択された領域即ち関心領域を表わし、次のＮ−Ｐ−Ｓ個のビット平面は画像全体を表わし、最後のＳ個のビット平面は関心領域の外側の領域を表わす。ＲＯＩ係数スケーリングが用いられないＰ個のビット平面は、各サブバンド中の一番上からＰ個のビット平面である必要はない。これらは、一番下からＰ個のビット平面又は中央のＰ個のビット平面でありうる。一番下からＰ個のビット平面である場合、各量子化インデックス中の一番上からＮ−Ｐ個のビット平面に対して、図３Ａ乃至３ＦのようなＲＯＩ係数スケーリング及び図７Ａ乃至７Ｄのようなエントロピー符号化が実行される。
【００４８】
図７Ａ乃至７Ｄに示されるように、各ビット平面に対する符号化されたビットストリーム又は各ビット平面の符号化されたビット部分はタグに付加され、サブバンドの符号化されたビットストリームを形成するよう連結される。また、各ビット平面中で使用されるビットの数を計数すること、又は、画像全体を表わす一番上からＰ個のビット平面で使用されるビットの数を計数するために、関心領域を表わす次の一番上からＳ個のビット平面、画像全体を表わす次のＮ−Ｐ−Ｓ個のビット平面、関心領域の外側の領域を表わす残りのＳ個のビット平面、関心領域の外側のため及び残る領域のために使用されうる多数のビットがより正確に制御されうる。
【００４９】
ＲＯＩ係数が生ずるビット重要度レベルは、エントロピー符号化過程中に、ビットレート、ウェーブレットドメイン中の推定ＭＳＥ又はＰＳＮＲ、及び関心領域の優先度によって肢愛知されうる。ＲＯＩ係数スケーリング技術を用いずに幾つかのビット平面を符号化するために使用されるビットレートが或る値に達する場合、スケーリング技術は、現在符号化されているビット平面の直後に符号化されるビット平面からより高い優先度で使用され始める。関心領域を表わすビット平面を符号化するために使用されるビットレートが他のある値に達すると、関心領域を残る符号化過程のために強調しないよう関心領域に対する優先度は低くされる。ＲＯＩ係数スケーリングがどのビット平面から使用されるか、関心領域に対する優先度がどのビット平面から低くされるかを決めるため、ビットレートの代わりに、画像全体又は関心領域に対してウェーブレットドメイン中で推定されたＭＳＥ値が使用されうる。
【００５０】
ビット割り当てステップ１０２において、各サブバンドに割り当てられた係数当たりのビット数が決められ、画像全体に対する所与のビットレートにおいて再構成された画像全体の歪みが減少される。各サブバンド中の各係数に対する係数当たりのビット数又はビットレートは、変換係数のより高い分散又はより高いエネルギーを有するサブバンドに対して係数当たりより多くのビットが割り当てられるよう決められる。量子化ステップ１０３に対して与えられるビット割り当ての結果は、各サブバンド中の係数当たりのビット数、量子化ステップサイズ、又はステップ１０３において量子化スキームを選択するためのパラメータでありうる。各サブバンド中で係数当たりのビット数、量子化ステップサイズ、又は量子化スキームが所定であれば、例えば損失のない符号化が実現されるとき、ビット割り当ては行なわれない。
【００５１】
領域選択器ステップ１０４において、ユーザによってディスプレイ上に表示された画像上で１つ以上の関心領域が選択される。表示された画像は、符号化されるべき完全な空間解像度の画像、又は画像のより低い解像度の変形のうちの１つである。画像のより低い解像度の変形において領域の選択が行われれば、符号化されるべき完全な解像度の画像中の対応する１つ以上の領域の座標を使用して、完全な解像度の画像中の関心領域に対応する変換係数が識別される。領域の選択は、自動目標認識システムが一組の規準に基づいて１つ以上の関心領域を画成する方法によっても実行されうる。自動目標認識システムは、関心領域を識別するために様々なアプローチを使用しうる。例えば、画像中の関心となる対象を識別するためにパターン認識ソフトウエアが使用されうる。
【００５２】
ＲＯＩ座標記述ステップ１０６では、各関心領域を記述するための座標は、画像の符号化されたビットストリームのオーバーヘッド情報として有効に送信又は記憶されるよう符号化される。選択された関心領域が矩形である場合、矩形の対角線の両端の２つの座標によって領域が記述される。選択された関心領域が円形であれば、円の中心座標と半径の長さによって領域が記述される。選択された１つ以上の領域が幾つかの矩形又は円形を結合したものである場合、各矩形又は円形は上述の方法で記述される。選択された関心領域が任意の形状であれば、領域の境界はチェーン符号化方法又はオブジェクト符号化方法といった任意の形状符号化方法によって符号化される。
【００５３】
送信器ステップ１０９において、エントロピー符号化ステップ１０８において発生された符号化されたビットストリームの部分は任意の順序で順序付けられる。符号化されたデータが画像のより低い解像度の変形が最も再構成される頻度が高いディスプレイ環境へ送信される場合、空間解像度に関連付けられる符号化されたビットストリームの部分は、より高い空間解像度に関連付けられる符号化されたビットストリームの部分よりも、符号化されたビットストリーム全体のより早い部分に順序付けられる。このビットストリームの部分の順序付けは、エントロピー符号化ステップにおいてビット部分が発生される符号化順序とビット部分の送信順序とが異なる場合は、ビット部分を再順序付けする。
【００５４】
ＲＯＩ係数識別段階１０５では、画像ドメイン中で選択された関心領域に対応する変換係数は、画像ドメインから変換ドメインへの逆ウェーブレット変換をトレースすること、又は、変換係数に対して行なわれるフィルタリング及びアップサンプリングによってどの変換係数から各画素値が再構成されるかを識別するために逆ウェーブレット変換手段をトレースすることによって識別される。この識別過程では、フィルタ係数は何の役割も果たさない。代わりに、フィルタ長及びフィルタサポート領域が使用される。フィルタサポート範囲が大きいほど、画像中の画素に対応する変換係数の数は大きくなる。この識別過程はウェーブレット変換の各レベルを通じて行われる。また、この識別は画像の各次元（垂直方向又は水平方向）又はサブバンドに沿って実行される。或いは、識別は、フィルタリング及びダウンサンプリングを含むウェーブレット変換の各レベルを通じた画像ドメインから変換ドメインへの順方向ウェーブレット変換をトレースすることによって実行されうる。
【００５５】
ここで、画像をＸ（ｋ０）、但し０＜＝ｋ０＜Ｋと示すものとする。１番目のレベルの分解された低域通過サブバンドはＬ１（ｋＬ１）、高域通過サブバンドはＨ１（ｋＨ１）、但し０＜＝ｋＬ１、ｋＨ１＜ｋ／２、と示し、２番目のレベルの分解された低域通過サブバンドはＬ２（ｋＬ２）、高域通過サブバンドはＨ２（ｋＨ２）、但し０＜＝ｋＬ２、ｋＨ２＜ｋ／２２、と示し、，…，Ｎ番目のレベルの分解された低域通過サブバンドはＬＮ（ｋＬＮ）、高域通過サブバンドはＨＮ（ｋＨＮ）、但し０＜＝ｋＬＮ、ｋＨＮ＜ｋ／２Ｎ、と示すものとする。従って、ウェーブレット変換、マレット型ウェーブレット分解、又は二項ウェーブレット分解は、Ｘが１レベル逆ウェーブレット変換によってＬ１及びＨ１から再構成され、Ｌ１がＬ２及びＨ２から再構成される、以下同様に再構成されてゆくものである。このように、ＸはＨ１，Ｈ２，．．．，ＨＮから再構成され、Ｌ１，Ｌ２．．．及びＬＮ−１はウェーブレット変換の各レベル及び逆ウェーブレット変換が実行されるのに使用されるサブバンドである。ｋ０＝ｋ０＿Ｒ（ｋ０＿Ｒｓ＜＝ｋ０＿Ｒ＜＝ｋ０＿Ｒｅ）が選択された関心領域中の画素である場合（但し、ｋ０＿Ｒは関心領域中の画素の座標であり、ｋ０＿Ｒｓ及びｋ０＿Ｒｅは関心領域の境界上の画素の座標であり、ｋ０＿Ｒは関心領域上の単一の画素でありえ（即ちｋ０＿Ｒ＝ｋ０＿Ｒｓ＝ｋ０＿Ｒｅ）、以下の説明では画像及び関心領域は１次元信号であると想定され、従って、ｋ０＿Ｒｓは関心領域中で最小の座標であり、ｋ０＿Ｒｅは関心領域中で最大の領域である）、Ｘ（ｋ０＿Ｒ）に対応する変換係数は、Ｌ１（）及びＨ１（）において、
Ｌ１（）におけるＲＯＩ係数：ｋＬ１＿Ｒｓ＜＝ｋＬ１＜＝ｋＬ１＿Ｒｅ
Ｈ１（）におけるＲＯＩ係数：ｋＨ１＿Ｒｓ＜＝ｋＨ１＜＝ｋＨ１＿Ｒｅ
として識別される。
【００５６】
すると、１番目のレベルの分解された低域通過信号Ｌ１（ｋＬ１）が画像であり、ｋＬ１＿Ｒｓ＜＝ｋＬ１＜＝ｋＬ１＿Ｒｅは関心領域であると想定すると、ｋＬ１＿Ｒｓ＜＝ｋＬ１＜＝ｋＬ１＿Ｒｅである場合にＬ１（ｋＬ１）に対応する変換係数は、Ｌ２（）及びＨ２（）において識別される。
【００５７】
Ｌ２（）におけるＲＯＩ係数：ｋＬ２＿Ｒｓ＜＝ｋＬ２＜＝ｋＬ２＿Ｒｅ
Ｈ２（）におけるＲＯＩ係数：ｋＨ２＿Ｒｓ＜＝ｋＨ２＜＝ｋＨ２＿Ｒｅ
である。
【００５８】
この過程は、サブバンドＬＮ及びＨＮが画像Ｘ（）中の画素ｋ０＿ＲについてのＲＯＩ係数識別を完了するまで繰り返される。
【００５９】
上述のように、ＲＯＩ係数識別は、選択された関心領域中の各画素について別々に実行されうる。このように、ＲＯＩ係数識別は関心領域の形状とは無関係である。しかしながら、この識別過程は関心領域中の全ての画素に対して実行される必要はない。実際、この識別過程は、図９に示されるように、関心領域の境界上の画素に対してのみ、また、関心領域の境界から１画素内側に配置される画素に対してのみ実行される。各画素に対応する変換係数の数はアップサンプリング（１番目のレベルの逆ウェーブレット変換の都度、フィルタリングを実行する前に各係数間に０を挿入すること）、又はダウンサンプリング（１番目のレベルの逆ウェーブレット変換の都度、フィルタリングが実行された後、１つおきに係数が排除されること）によって画素の位置に基づいて変更されうるため、境界上の画素に対応する変換係数は各サブバンド中のＲＯＩ係数からなる領域に対応する境界上にはないことがある。代わりに、関心領域の境界から１画素内側に配置される画素に対応する変換係数が各サブバンド中の対応する領域の境界上にありうる。境界上の画素及び境界から１画素内側の画素は、各サブバンド中の対応する領域の境界を形成する変換係数を識別するために必要且つ十分である。或いは、低域通過フィルタ及び高域通過フィルタの両方が偶数のフィルタ長を有する場合、各サブバンド中の対応する領域の境界を形成する変換係数を識別するために、境界上の画素のみが使用される。
【００６０】
境界及び境界から１画素内側の識別結果に基づき、残りの変換係数は、各サブバンド中の対応する領域の境界の各係数を選択することによって識別される。
【００６１】
Ｘ（ｋ０）（ｋ０＿Ｒｓ＜＝ｋ０＜＝ｋ０＿Ｒｅ）は選択された関心領域中の画素であると想定する（ｋ０＿Ｒｓ及びｋ０＿Ｒｅは関心領域の境界上の画素の座標であり、即ち関心領域中の最小の座標であり、ｋ０＿Ｒｅは他の関心領域の境界上の画素の座標であり、以下の説明では画像及び関心領域は１次元信号であると想定され、ｋ０＿Ｒｓは関心領域中で最小の座標であり、ｋ０＿Ｒｅは関心領域中で最大の領域である）。
【００６２】
対応する領域の左境界は、以下のように識別され、即ち、Ｘ（ｋ０＿Ｒｓ）に対応する変換係数は、Ｌ１（）及びＨ１（）において、
Ｌ１（）におけるＲＯＩ係数：ｋｓＬ１＿Ｒｓ＜＝ｋＬ１＜＝ｋｓＬ１＿Ｒｅ
Ｈ１（）におけるＲＯＩ係数：ｋｓＨ１＿Ｒｓ＜＝ｋＨ１＜＝ｋｓＨ１＿Ｒｅ
として識別される。
【００６３】
また、Ｘ（ｋ０＿Ｒｓ―１）に対応する変換係数は、
Ｌ１（）におけるＲＯＩ係数：ｋｓＬ１＿Ｒ’ｓ＜＝ｋＬ１＜＝ｋｓＬ１＿Ｒ’ｅ
Ｈ１（）におけるＲＯＩ係数：ｋｓＨ１＿Ｒ’ｓ＜＝ｋＨ１＜＝ｋｓＨ１＿Ｒ’ｅ
として識別される。
【００６４】
ｋｓＬ１＿ＲｓとｋｓＬ１＿Ｒ’ｓのうちの小さいほうがＬ（）における対応する領域の左境界上にあり、ｋｓＨ１＿ＲｓとｋｓＨ１＿Ｒ’ｓのうちの小さいほうがＨ（）における対応する領域の左境界上にある。
【００６５】
対応する領域の右境界は、以下のように識別され、即ち、Ｘ（ｋ０＿Ｒｅ）に対応する変換係数は、Ｌ１（）及びＨ１（）において、
Ｌ１（）におけるＲＯＩ係数：ｋｅＬ１＿Ｒｓ＜＝ｋＬ１＜＝ｋｅＬ１＿Ｒｅ
Ｈ１（）におけるＲＯＩ係数：ｋｅＨ１＿Ｒｓ＜＝ｋＨ１＜＝ｋｅＨ１＿Ｒｅ
として識別される。
【００６６】
また、Ｘ（ｋ０＿Ｒｅ―１）に対応する変換係数は、
Ｌ１（）におけるＲＯＩ係数：ｋｅＬ１＿Ｒ’ｓ＜＝ｋＬ１＜＝ｋｅＬ１＿Ｒ’ｅ
Ｈ１（）におけるＲＯＩ係数：ｋｅＨ１＿Ｒ’ｓ＜＝ｋＨ１＜＝ｋｅＨ１＿Ｒ’ｅ
として識別される。
【００６７】
ｋｅＬ１＿ＲｅとｋｅＬ１＿Ｒ’ｅのうちの大きいほうがＬ（）における対応する領域の右境界上にあり、ｋｅＨ１＿ＲｅとｋｅＨ１＿Ｒ’ｅのうちの大きいほうがＨ（）における対応する領域の右境界上にある。
【００６８】
或いは、ＲＯＩ係数識別は、関心領域中の各画素に対して実行される。関心領域中の各画素に対応する一組の変換係数は、画素に対して行なわれる一組のウェーブレット変換又は画素値を再構成する一組の逆ウェーブレット変換をトレースすることによって識別される。関心領域中の各画素に対応する各サブバンド中の識別された係数の組は、関心領域に対応する係数カテゴリに属するサブカテゴリへ分類され、それにより識別結果は、関心領域全体をスケールアップ及びスケールダウン又は再構成するために使用されると共に、関心領域の任意の部分をスケールアップ及びスケールダウン又は再構成するために使用されうる。幾つかの識別された係数は、ウェーブレット変換又は逆ウェーブレット変換において使用される低域通過フィルタ又は高域通過フィルタの重なり合いにより、複数のサブカテゴリに属する。各識別された係数が対応する画素の数に基づいて、各サブカテゴリはサブサブカテゴリへ分割されうる。最終的には、各識別された係数は、関心領域中で係数に対してどの画素及びいくつの画素が対応するかを示す属性を有しうる。この属性は、関心領域中の画素に加えて、関心領域の外側のいくつの画素が係数に対して対応するかを示しうる。
【００６９】
図１０Ａ乃至１０Ｂに示されるように、ウェーブレット変換は、フィルタ係数がｇＡ（ｋ）である低域通過フィルタと、フィルタ係数がｆＡ（ｋ）である高域通過フィルタと、画素又は変換係数を一つおきに排除するダウンサンプリング器とによって達成される。１次元信号に対する１レベルウェーブレット変換とは、信号Ｘを低域通過サブバンドＬ及び高域通過サブバンドＨへ分解することである。低域通過サブバンドＬは、信号Ｘに対して低域通過フィルタリングを適用し、低域通過フィルタリングされた信号に対してダウンサンプリングを行なうことによって得られる。高域通過サブバンドＨは、信号Ｘに対して高域通過フィルタリングを適用し、高域通過フィルタリングされた信号に対してダウンサンプリングを行なうことによって得られる。
【００７０】
信号が画像といった２次元信号であれば、１レベル分解とは、Ｘ上の１次元信号に対する１レベル分解を、水平方向又は垂直方向に行なってＬ及びＨを得ることである。すると、１次元信号に対する同じ分解が他の方向でＬ及びＨに対して実行され、ＬＬ１及びＬＨ１と、ＨＬ１及びＨＨ１とが得られる。ＬＬ１に対して同じ分解が実行されれば、ＬＬ２，ＬＨ２，ＨＬ２，ＨＨ２が得られ、ＸはＬＬ２，ＬＨ２，ＨＬ２，ＨＨ２，ＬＨ１，ＨＬ１及びＨＨ１へ分解される。
【００７１】
ＬＬサブバンドに対してのみ１レベル分解を実行することによって全ての分解がなされるサブバンド分解は、マレットウェーブレット分解、又は単にウェーブレット分解と称される。１レベル分解が各サブバンドに対して等しく繰り返されるサブバンド分解は、ｓｐａｃｌウェーブレット分解と称される。１レベル分解が各サブバンドに対して任意に繰り返されるサブバンド分解は、ウェーブレットパケット分解と称される。
【００７２】
逆ウェーブレット変換は、各画素又は係数間に０を挿入するアップサンプリング器と、フィルタ係数がｇＳ（ｋ）である低域通過フィルタと、フィルタ係数がｆＳ（ｋ）である高域通過フィルタとによって達成される。１次元信号に対する１レベルウェーブレット組立とは、低域通過サブバンドＬ及び高域通過サブバンドＨを信号Ｘへ組み立てることである。この１レベル組立では、Ｌは、２でアップサンプリングされ、低域通過フィルタを通され、Ｈは２でアップサンプリングされ、低域通過フィルタを通され、アップサンプリングされフィルタリングされたＬ及びＨは加算されてＸを組み立てる。この１レベル組立は各分解されたサブバンドに対して実行され、任意のレベル及び任意のタイプの逆ウェーブレット変換を実行する。
【００７３】
図２中、図１において選択された関心領域が強調されて符号化された画像の圧縮解除方法が図示される。図２中、復号化方法２００は、ヘッダビット及びデータビットからなる符号化されたビットストリームを受信する受信器ステップ２０１を含む。ステップ２０１に続いて、領域座標復号化ステップ２０２及びエントロピー復号化ステップ２０４がある。ステップ２０２において、領域座標の符号化されたデータが復号化され、再構成画像中で強調されて再構成されるべき関心領域（ＲＯＩ）の座標が得られる。復号化されたＲＯＩ座標は、ＲＯＩ係数識別ステップ２０３に与えられ、関心領域に対応するウェーブレット変換係数が識別される。ＲＯＩ係数識別結果は、エントロピー復号化ステップ２０４及びＲＯＩ係数逆スケーリングステップ２０５において使用される。
【００７４】
エントロピー復号化ステップ２０４において、受信器ステップ２０１において受信されたデータビットを伴う入来ビットストリームに対してエントロピー復号化が行なわれる。復号化されたビットは、各変換係数の量子化インデックスの２進表現の各ビットフィールドについて得られる。各量子化インデックスでは、より高いビット重要度レベルのビットフィールドが、より低いビット重要度のビットフィールドよりも早く符号化される。換言すれば、エントロピー復号化は、ビット重要度の降順で量子化インデックス中の各ビットフィールドを得るために実行される。関心領域に対応する係数としてどの量子化インデックスがスケールアップされるかを知るために、エントロピー復号化過程はステップ２０３におけるＲＯＩ係数識別結果を参照し、受信器ステップ２０１において受信されたヘッダビットから関心領域に割り当てられた優先度値を取り出す。ステップ２０４において使用されるエントロピー復号化器は、ビット平面復号化技術又はＳＰＩＨＴ復号化技術を用いる。エントロピー符号化がビット平面符号化技術によってなされる場合、復号化は対応するビット平面復号化技術によってなされねばならない。エントロピー符号化がＳＰＩＨＴ符号化技術によってなされる場合、復号化はＳＰＩＨＴ復号化技術によってなされねばならない。エントロピー復号化されたビットは、量子化インデックスの２進表現のビットフィールド値として編成され、量子化インデックスとしてＲＯＩ係数逆スケーリングステップ２０５に与えられる。
【００７５】
ステップ２０５において、関心領域に対応する量子化インデックスは、ステップ２０６において量子化インデックスに対する逆量子化を行なうためにスケールダウンされる。符号化過程においてスケールアップされた量子化インデックスは、符号化過程において用いられた値と同じ量のビットシフト値の値だけスケールダウンされるため、スケールダウン中には情報は失われない。どの量子化インデックスがスケールダウンされるかは、ステップ２０３におけるＲＯＩ係数識別によって与えられ、インデックスがどれだけのビットシフトだけスケールダウンされるかはステップ２０１において受信されるヘッダビットから取り出される。
【００７６】
逆量子化ステップ２０６において、量子化インデックスに対して逆量子化が行なわれ、各サブバンド中の逆量子化された変換係数が得られる。逆量子化スキームは、ヘッダビットから取り出されうる量子化ステップサイズ、係数当たりのビット数、又は量子化テーブルによって指定される。
【００７７】
逆ウェーブレット変換ステップ２０７において、各サブバンド中の逆量子化された変換係数に対して逆ウェーブレット変換が行なわれ、再構成された画像が得られる。ウェーブレット分解レベルの数及びウェーブレット分解の種類は、ステップ２０１において符号化されたビットストリームから取り出されたヘッダビットによって与えられる。数及び種類は、符号化器において使用されるものと同じでなくてはならない。
【００７８】
領域座標復号化ステップ２０２において、符号化方法１００中のＲＯＩ座標記述ステップ１０６において形成された関心領域の座標に関する符号化されたデータが復号化され、ＲＯＩ座標が得られる。ステップは、ステップ１０６のＲＯＩ座標記述を逆の順に行なうことによって実行される。換言すれば、ステップ２０２は、ステップ１０６を、ステップ１０６の出力がステップ２０２への入力となり、ステップ１０６への入力がステップ２０２の出力となるよう実行することである。復号化されたビットストリーム中で多数の関心領域が強調される場合、ステップ２０２は各関心領域についての座標を復号化する。
【００７９】
ＲＯＩ係数識別段階２０３において、符号化方法１００中のステップ１０５と同じ過程が実行される。復号化側において同じ過程が繰り返される理由は、符号化されたビットストリーム中の選択された関心領域を指定する情報は、ステップ２０２への入力として与えられる画像ドメインの記述の形式の方が、ステップ２０３を通して得られるウェーブレットドメインの記述の形式よりも効率的に送信又は保存されうるためである。符号化されたビットストリーム中の選択中に多数の関心領域が存在する場合、各関心領域に対応するＲＯＩ系巣が識別され、各カテゴリへ分類される。
【００８０】
エントロピー復号化ステップ２０４において、ステップ１０８のエントロピー符号化において発生された符号化されたビットストリームが復号化される。ステップ１０８においてビット平面符号化器が用いられる場合、ステップ２０４において対応するビット平面復号化器が用いられる。ステップ２０４は、符号化方法１００のステップ１０８のエントロピー符号化を逆の順でエントロピー復号化を行なうことである。この復号化器は、符号化の異なる段階から開始する多数の関心領域を異なる優先度で、ＲＯＩ符号化が符号化の最初から開始し、ＲＯＩ符号化が符号化の途中から開始するよう扱うことができる。
【００８１】
ステップ２０４において、符号化されたビットストリームは、各サブバンドについての符号化タグを探すことにより各サブバンドについての一組のビットストリームへ分割される。すると、各サブバンドについての各ビットストリームは、各ビット平面についての符号化タグを探すことにより各ビット平面についての一組のビットストリームへ分離される。各ビット平面についての各ビットストリームは、ビット平面復号化器によってエントロピー復号化される。ビット平面復号化は、ビット重要度レベルの降順に行なわれる。各サブバンド中のビット平面の数は、各サブバンドについて係数当たりのビット数の加算及び関心領域に割り当てられた優先度（左ビットシフト値）によって与えられる。各復号化されたビットがどのビットフィールドに割り当てられるかは、ステップ２０３において得られたＲＯＩ係数識別結果とビット平面の数及び関心領域に対する優先度によって決められる。
【００８２】
各サブバンドに対するビットレートは、ステップ２０４において制御されうる。最も簡単な方法は、各サブバンドについてのビットストリームを所望のビットレート又は所望のビット数で切り捨てることである。関心領域に対する優先度制御及び符号化側において関心領域を強調する開始段階を指定することにより、所与のビットレートにおける関心領域及び残りの画像についてのビット割り当ては、各サブバンドについてのストリームの切り捨てと共におおまかに制御することができる。しかしあんがら、関心領域を表わす一組のビット平面のストリームについてのビットレートが１つのレート制御器で制御される場合（１）、関心領域及び残りの画像の両方を表わす一組のビット平面のストリームについてのビットレートが１つのレート制御器で制御される場合（２）、及び、関心領域の外側の領域を表わす一組のビット平面のストリームについてのビットレートが他のレート制御器で制御される場合（３）、関心領域及び残りの画像に割り当てられたビットレートは、画像全体に対して所与のビットレートでより正確に制御される。関心領域に対する優先度が最大であれば、全てのビット平面は関心領域又は残りの画像のいずれかを表わす。このように、（１）及び（３）についてレート制御器を与えることにより、ビット精度によって、関心領域についてのビットレートを制御すること、及び残りの画像のレートを制御することが可能となる。
【００８３】
ＲＯＩ係数逆スケーリングステップ２０５において、関心領域に対応する量子化インデックスの値又は関心領域に対応する量子化インデックスのビット重要度レベルは、スケールダウンされる。
【００８４】
このステップの詳細は、ステップ１０７への入力がステップ２０５への出力であり、ステップ１０７の出力がステップ２０５への入力であり、ステップ１０７におけるスケールアップがステップ２０５におけるスケールダウンに対応することを除き、符号化方法１００におけるＲＯＩ係数スケーリングステップ１０７と同じである。また、ステップ１０７における符号化順序はステップ２０５における復号化順序に対応する。
【００８５】
逆量子化ステップ２０６において、符号化方法１００中のステップ１０３において使用される量子化スキームによって量子化された変換係数を復元する逆量子化スキームが使用される。量子化が符号化器においてスカラー量子化によって行なわれれば、逆量子化はスカラー逆量子化によって行なわれねばならない。量子化がトレリス符号化された量子化によって行なわれれば、逆量子化はトレリス符号化された逆量子化によって行なわれねばならない。逆量子化の表現レベルは、量子化器における決定レベルの中点でありえ、又は各サブバンドについて量子化インデックス値の分布を想定することによって計算される決定レベルの重心でありうる。量子化が符号化器において行われない場合であっても、整数ウェーブレット変換が用いられ、符号化及び復号化の両方が損失がないよう実行される場合を除き、復号化器において逆量子化が行なわれる。符号化が損失がないよう行なわれ、復号化がいくらかの損失を伴って行なわれる場合、量子化は符号化過程において行なわれず、復号化過程において逆量子化が行なわれる。
【００８６】
逆ウェーブレット変換ステップ２０７において、符号化方法１００中のステップ１０１において用いられたウェーブレット変換によって分解される画像を再構成する逆ウェーブレット変換が用いられる。
【００８７】
図１１中、関心領域に対して関心領域の外側の領域よりも多くのビットを割り当てることにより画像中の選択された関心領域を強調した画像圧縮方法が図示される。この符号化方法と図１の方法の主な差異は、この方法では変換係数に対して量子化が行なわれる前にＲＯＩ係数スケーリングが行なわれることである。図１のステップと異なるステップは、ＲＯＩ係数スケーリングステップ及びエントロピー符号化ステップである。残りのステップは同じである。
【００８８】
図１１中、符号化方法１１００は、入力ディジタル画像の画素値に対してウェーブレット変換を行なうステップ１１０１を含み、それにより入力画像は変換係数からなる一組のサブバンドによって表わされる。ステップ１１０１の後に、ビット割当てステップ１１０２及びＲＯＩ係数スケーリングステップ１００３が続く。ステップ１１０２において、各サブバンドの変換係数に対して割り当てられる係数当たりのビット（係数当たりのビット数）（即ち係数の表現精度）決められる。同様に、各サブバンドに対する量子化ステップサイズが決められうる。割り当てられる係数当たりのビット数又は各サブバンドについての量子化ステップサイズが所定である場合、ステップ１１０２は実行されない。割り当てられた係数当たりのビット数は量子化ステップ１１０７において使用される。ステップ１１０２においてステップ１１０１によって与えられる変換係数に基づいてビット割り当てを行なう代わりに、ステップ１１０３を通じてスケールアップされた変換係数に基づいてビット割り当てが行われうる。
【００８９】
ステップ１１０１、１１０２及び１１０３の前、後、又は一緒に、関心領域選択ステップ１１０４、ＲＯＩ係数識別ステップ１１０５、及びＲＯＩ座標記述ステップ１１０６が実行される。ステップ１１０４において、入力画像上で関心領域が選択され、選択された関心領域選択の座標がステップ１１０５及び１１０６に入力される。ステップ１１０５において、各サブバンド中の選択された関心領域に対応するウェーブレット変換係数、即ちＲＯＩ係数が識別され、ウェーブレット変換係数を含む各サブバンド中のＲＯＩ係数を強調することによって画像中の選択された関心領域が強調される。変換係数が各関心領域に対応するか関心領域の外側の領域に対応するかを示すＲＯＩ係数の識別結果（即ち係数のカテゴリ）は、ステップ１１０３へ入力される。ＲＯＩ座標記述ステップ１１０６において、ＲＯＩ座標情報を有効に送信又は記憶するために、選択された関心領域の座標が符号化される。
【００９０】
ＲＯＩ係数スケーリングステップ１１０３において、ステップ１１０３から供給される変換係数、即ち関心領域に対応する変換係数のみが、選択された関心領域に割り当てられたスケーリング値で係数値を乗算することによって強調される。スケーリングにより、関心領域に対応する変換係数は、量子化ステップ１１０７においてより多くのビットで量子化され、他の変換係数よりも詳細に表わされる。左ビットシフト値がスケーリング値として使用される場合、対応する変換係数は係数値の左ビットシフトによって強調される。ステップ１１０５において形成されるＲＯＩ係数の識別結果は、どの係数をスケールアップするかを選択するために使用される。ステップ１１０３においてスケールアップされた変換係数を含む全ての変換係数は、量子化されるべく量子化ステップ１１０７に与えられる。続く段階は、どの係数がスケールアップされるかとは無関係である。均一な量子化器が使用され、関心領域のスケーリング値が量子化ステップサイズ又は整数値によって乗算されたステップサイズであれば、ＲＯＩ係数スケーリングは量子化ステップの後になされうる。この場合、符号化方法１１００は、図１の方法と同様である。
【００９１】
ステップ１１０７において、量子化は各サブバンド中の変換係数に対して行なわれ、割り当てられた係数当たりのビット数又は各サブバンドについての量子化ステップサイズによって指定される表現精度を有する量子化インデックスで各サブバンドの変換係数が表わされる。ステップ１１０７を通じて、変換係数値の減少された又は同じ表現精度を有する変換係数を表わす量子化インデックスが得られる。得られた量子化インデックスは、エントロピー符号化ステップ１１０８へ与えられる。
【００９２】
エントロピー符号化ステップ１１０８において、量子化インデックスの２値表現の各ビット要素に対してエントロピー符号化が行なわれ、それにより符号化されたデータストリームが形成され、このデータストリームは、量子化インデックスのより高いビット重要度レベルにおけるビットフィールドから発生される符号化されたビットが、より低いビット重要度レベルのビットフィールドから発生される他の符号化ビットよりもビットストリームのより早い部分に配置されるよう形成される。各サブバンド中の変換係数の各ビットフィールドの符号化順序は、符号化技術によって異なる。ステップ１１０８における望ましい符号化技術は、２進算術符号化技術といったビット平面符号化、又は、ＳＰＩＨＴ符号化といったゼロ木符号化技術である。
【００９３】
送信器ステップ１１０９において、画像のサイズ、ウェーブレット分解レベルの数、各サブバンドについての係数当たりのビット数又は量子化ステップサイズ、ＲＯＩ記述情報、及び関心領域に割り当てられた優先度又は左ビットシフト値といったヘッダビットは、エントロピー符号化器によって形成されるデータビットに付加される。付加されたデータは、符号化ビットストリームとして送信又は記憶される。
【００９４】
多数の関心領域を強調しようとするとき、ステップ１１０４において多数の関心領域が識別され、ステップ１１０５において各関心領域に対応するＲＯＩ係数が識別され異なるカテゴリへ分類され、ステップ１１０６において各関心領域又は全ての関心領域についての座標が符号化される。多数の関心領域についてのステップ１１０４、１１０５、１１０６は、多数の関心領域についての符号化方法１００（図１）のステップ１０４、１０５、１０６と同じである。ステップ１１０３において、各カテゴリ中の変換係数の値は、それら地震のスケーリング値によってスケールアップされる（各関心領域に割り当てられたスケーリング値によって乗算される）。結果として、各関心領域は異なって強調されて符号化されえ、各関心領域の画質は別々に制御されうる。
【００９５】
図１２中、選択された関心領域が強調されて図１１の符号化方法によって符号化された画像の圧縮解除の方法が示される。図１２の復号化方法と図２の復号化方法の重要な差異は、図１２ではＲＯＩ係数逆スケーリングが行なわれる前に逆量子化が行なわれるのに対して、図２ではＲＯＩ係数逆スケーリングの後に逆量子化が行なわれることである。図２のステップとは異なるステップは、エントロピー復号化ステップ及びＲＯＩ係数逆スケーリングステップである。残りのステップは同じである。
【００９６】
図１２中、復号化方法１２００は、ヘッダビット及びデータビットからなる符号化されたビットストリームを受信する受信器ステップ１２０１を含む。ステップ１２０１に続いて、領域座標復号化ステップ１２０２及びエントロピー復号化ステップ１２０４がある。ステップ１２０２において、領域座標の符号化されたデータが復号化され、再構成画像中で強調されて再構成されるべき関心領域（ＲＯＩ）の座標が得られる。復号化されたＲＯＩ座標は、ＲＯＩ係数識別ステップ１２０３に与えられ、関心領域に対応するウェーブレット変換係数が識別される。ＲＯＩ係数識別結果は、ＲＯＩ係数逆スケーリングステップ１２０６において使用される。
【００９７】
エントロピー復号化ステップ１２０４において、受信器ステップ１２０１において受信されたデータビットを伴う入来ビットストリームに対してエントロピー復号化が行なわれる。復号化されたビットは、各変換係数の量子化インデックスの２進表現の各ビットフィールドについて得られる。各量子化インデックスでは、より高いビット重要度レベルのビットフィールドが、より低いビット重要度のビットフィールドよりも早く符号化される。ステップ１２０４において使用されるエントロピー復号化器は、ビット平面復号化技術又はＳＰＩＨＴ復号化技術を用いる。エントロピー符号化がビット平面符号化技術によってなされる場合、復号化は対応するビット平面復号化技術によってなされねばならない。エントロピー符号化がＳＰＩＨＴ符号化技術によってなされる場合、復号化はＳＰＩＨＴ復号化技術によってなされねばならない。エントロピー復号化されたビットは、量子化インデックスの２進表現のビットフィールド値として編成され、量子化インデックスとして逆量子化ステップ１２０５に与えられる。
【００９８】
逆量子化ステップ１２０５において、量子化インデックスに対して逆量子化が行なわれ、各サブバンド中の逆量子化された変換係数が得られる。逆量子化スキームは、ヘッダビットから取り出されうる量子化ステップサイズ、係数当たりのビット数、又は量子化テーブルによって指定される。
【００９９】
ステップ１２０６において、再構成された画像上で強調されるべき関心領域に対応する変換係数の値がスケールダウンされる。スケールダウンは、対応する変換係数の値を、受信器ステップ１２０１において受信されたヘッダビットから取り出されたスケーリング値によって割り算することによって行なわれる。スケーリング値が左ビットシフト値によって指定されるとき、係数値に対してスケーリング値によって右ビットシフトを行なうことによってスケールダウンがなされる。
【０１００】
逆ウェーブレット変換ステップ１２０７において、各サブバンド中の変換係数に対して逆ウェーブレット変換が行なわれ、再構成された画像が得られる。ウェーブレット分解レベルの数及びウェーブレット分解の種類は、ステップ１２０１において符号化されたビットストリームから取り出されたヘッダビットによって与えられる。数及び種類は、符号化器において使用されるものと同じでなくてはならない。
【０１０１】
多数の関心領域を強調しようとする場合、受信器ステップ１２０１から受信されたヘッダビットに基づいて、ステップ１２０３において、各関心領域に対応するＲＯＩ係数が識別される。ＲＯＩ係数識別結果及びヘッダビットによって与えられる各関心領域に割り当てられた優先度又はスケーリング値に基づいて、各関心領域に対応する変換係数は各関心領域の優先度によってスケールダウンされる。
【０１０２】
図１３は、符号化及び復号化がブロック毎に行なわれる関心領域符号化を示す図である。この符号化及び復号化スキームでは、画像は、矩形、方形、線、又は矩形、方形、及び線のうちの幾つか又は全ての組合せの形状の一組のブロック（即ち画像の小さい部分）へ分割され、各ブロックは符号化器への別々の入力又は復号化器への別々の出力として扱われる。関心領域の外側の各ブロックは、ＲＯＩ機能を用いず（ＲＯＩ係数を識別せず、スケールアップを実行せず）に、図１又は図１１に示される符号化方法によって符号化される。ブロックが関心領域の外側にあることを識別する符号化タグは、関心領域の外側のブロックに対する符号化されたビットストリームに付加される。関心領域の内側の各ブロックもまたＲＯＩ機能を用いずに符号化され、或いは関心領域の内側のブロックはＲＯＩ係数スケーリングといったＲＯＩ機能を用いて符号化されうる。ブロックが関心領域の内側にあることを識別する符号化タグは、関心領域の内側のブロックに対する符号化されたビットストリームに付加される。関心領域の境界に重なり合う各ブロックは、ＲＯＩ機能と共に図１又は図１１の符号化方法によって符号化される。関心領域の境界を識別する符号化タグは、関心領域の境界に重なり合うブロックに対する符号化されたビットストリームに付加される。各ブロックに対するビットレートは、関心領域中のブロックに最も高いビットレートが割り当てられ、関心領域に重なり合うブロックに次に高いビットレートが割り当てられ、関心領域の外側のブロックに最も低いビットレートが割り当てられるよう割り当てられる。或いは、符号化側及び復号化側における計算上の複雑性を減少させるため、関心領域の境界に重なり合うブロックは、関心領域中の画素の数、関心領域中の画素の割合、又は任意の他の規準に従って、関心領域の内側のブロック又は関心領域の外側のブロックとみなされる。
【０１０３】
各ブロックに対する各ビットストリームは、各ブロックが符号化されるよう画像全体に対する符号化されたビットストリームへ整列されるか、又は、関心領域の内側にあるブロックに対するビットストリームが最初に整列され、関心領域の境界に重なり合うブロックに対するビットストリームが次に整列され、関心領域の外側にあるブロックに対するビットストリームが最後に整列されうる。後者の場合、各ブロックに対する符号化タグは、画像中の位置を指定する位置情報を有さねばならない。
【０１０４】
各ブロックに対するビット部分に割り当てられる符号化タグに基づいて、復号化は、図２の復号化方法によって行なわれるか（図１の符号化方法が用いられた場合）、図１２の復号化方法によって行なわれる（図１１の符号化方法が用いられた場合）。関心領域の内側又は外側のブロックを示すタグに先行されるビット部分に対しては、復号化はＲＯＩ機能を用いずに実行される。関心領域の内側のブロックの符号化がＲＯＩ係数スケーリングといったＲＯＩ機能を用いて行なわれれば、関心領域の内側のブロックの復号化はＲＯＩ機能によってなされる必要がある。関心領域に重なり合うブロックを示すタグによって先行されるビット部分に対しては、復号化はＲＯＩ機能によって実行される。
【０１０５】
デフォルトにより、所与のビットレートで関心領域の内側のブロックに最も高いビットレートが割り当てられ、関心領域に重なり合うブロックに次に高いビットレートが割り当てられ、関心領域の外側のブロックに最も低いビットレートが割り当てられるよう割り当てられる。しかしながら、各ブロックに対するビットレートは別々に制御されうる。復号化側がより高い忠実度で関心領域として指定されなかった領域を再構成しようとする場合、新たに画成された領域内のブロックにより高いビットレートが割り当てられる。
【０１０６】
図１又は図１１のようにサブバンド分類が符号化器において用いられれば、各サブバンドは変換係数を含む幾つかのシーケンスへ分類される。各サブバンド中でＲＯＩ係数スケーリングを実行する代わりに、ＲＯＩ係数スケーリングは量子化インデックス又は各シーケンス中の変換係数に対して実行されうる。エントロピー符号化はまた、各シーケンスのスケールアップされた結果に対して実行される。符号化方法は、各シーケンスが図１又は図１１の符号化方法中の各サブバンドであると想定されれば、図１の方法又は図１１の方法でありうる。シーケンスに基づく技術は、各シーケンスをサブバンドから各シーケンスが発生された後のサブバンドであると扱うことによって、全ての種類のＲＯＩ係数スケーリング技術を用いて図１及び図１１の符号化方法に適用される。
【０１０７】
画像の符号化されたビットストリームが、サブバンド分類技術を用いる符号化方法によって発生されるとき、エントロピー復号化及びＲＯＩ係数係数逆スケーリングが行われ、それにより係数を含む各シーケンスが得られる。すると、同一のサブバンドから生ずる幾つかのシーケンスは、逆ウェーブレット変換が実行されうるよう、各サブバンドへ逆分類される。各シーケンスに対する各ビット部分が各サブバンドに対するビット部分であると想定されれば、復号化は図２又は図１２による復号化方法によってなされる。符号化方法と同様、図２又は図１２に示される復号化方法は、各シーケンスを逆ウェーブレット変換を実行するためにサブバンドに対してシーケンスが形成されるまで各ステップにおける各サブバンドであると扱うことによって、サブバンド分類技術と共に使用されうる。
【０１０８】
図１又は図１１に示される符号化方法における各サブバンド又は各シーケンス中の各係数ブロックに対してエントロピー符号化がなされるとき、図３Ａ乃至図６ＣによるＲＯＩ係数スケーリング方法及び図７Ａ乃至８Ｃによるエントロピー符号化方法は、各係数ブロックに対して実行される。各係数ブロックに対してエントロピー符号化を実行するため、各サブバンド又は各係数シーケンスは係数ブロックへ分割される。各サブバンド又はシーケンスは、同一の形状又は異なる形状のブロックへ分割されうる。ブロックは、矩形、方形、又は線、或いは、矩形、方形、及び線の幾つか又は全ての組合せでありうる。各ブロックを扱うための計算上の複雑性を減少させるため、全てのサブバンドは同一の形状の等しい数のブロックを有するか、又は、同一の形状の等しいサイズのブロックを有しうる。各ブロックは別々に符号化される。関心領域に対応しないブロックは、ＲＯＩ係数スケーリング方法を用いずに符号化される。ブロックが関心領域の外側にあることを示す符号化タグは、ブロックの符号化されたビットストリームに付加される。関心領域に対応するブロックはＲＯＩ係数スケーリング方法を用いて符号化される。ブロックが関心領域に対応することを示す符号化タグは、ブロックの符号化されたビットストリームに付加される。符号化タグは、ブロック中の全ての係数が関心領域に対応すること、又は、ブロック中の幾つかの係数が関心領域に対応することを示しうる。ブロック中の全ての係数が関心領域に対応する場合、符号化はＲＯＩ係数スケーリング方法を用いずに行なわれうる。
【０１０９】
或いは関心領域に対応する係数及び関心領域の外側の領域に対応する係数を有するブロックは、関心領域にのみ属する係数を有するブロックとして、又は関心領域の外側の領域にのみ属する係数を有するブロックとして分類されうる。分類は関心領域に対応する係数の数、関心領域に対応する係数の数と各ブロック中の係数数の比率、又は任意の他の規準に基づく。全てのブロックに対する符号化は、ＲＯＩ係数スケーリング方法を用いずになされる。実際、各ブロックの符号化されたビットストリームを関心領域に対するストリーム又は関心領域の外側の領域に対するストリームのいずれかとして区別する符号化タグは、各ブロックの符号化されたビットストリームに付加され、それにより復号化器はどのビット部分が関心領域に対応するかを特定できる。
【０１１０】
エントロピー符号化が各サブバンド又はシーケンス中の各係数ブロックに対して行なわれる場合、符号化側において使用されるエントロピー符号化方法及びＲＯＩ係数スケーリング方法に対応する図２又は図１２において使用されるようなエントロピー復号化方法及びＲＯＩ係数逆スケーリング方法は各ブロックに対してなされる。この復号化の場合、符号化側において指定されていない関心領域又は復号化側によってのみ指定される関心領域は、画像の残りよりも高い忠実度で再構成されうるか、又は選択的に再構成されうる。新たに指定された関心領域に基づいて、関心領域に対応する変換係数は図９の方法によって指定される。新たに画成された関心領域に対応する係数を含む係数ブロックは、サブバンド中の他のブロックよりも高いビットレートで再構成される。関心領域に対応する係数のみを含む係数ブロックには、最も高いビットレートが割り当てられる。関心領域に対応する係数のみを含む係数ブロック及び関心領域の外側の領域に対応する係数のみを含む係数ブロックには、同じビットレート、より低いビットレート、又は最も低いビットレートが割り当てられる。関心領域に対応する係数を含まない係数ブロックには、最も低いビットレートが割り当てられる。ブロックに０ビットが割り当てられれば、ブロックは画像を再構成するためには使用されない。
【０１１１】
各ブロックに対するビット割り当ては、各ブロック中の関心領域に対応する係数の数に基づいてより正確に実行されうる。ブロック中の関心領域に対応する係数の数が大きいほど、ブロックには画像を再構成するためのより多くのビットレートが割り当てられる。ビット割り当ては、関心領域又は画像全体を再構成するときの各係数の重要性の度合いを表わす任意の規準によってなされうる。例えば、各係数の重要性の度合いは、係数が関心領域に対応するか否か、係数によって関心領域中のいくつの画素が表わされるか、係数によって表わされる画素の何パーセントが関心領域に属するかに基づいて決められうる。これらの規準の全て又は幾つかは、各ブロック中の関心領域に対応する係数の数と共に使用され、係数ブロックに割り当てられるべきビットのレートの数が決定される。
【０１１２】
係数ブロックの符号化又は復号化の順序は、各ブロックについての規準を用いてビット又はビットレートを割り当てる代わりに、より高いビットレートが割り当てられるブロックに対して早い復号化又は符号化の順序を与えることによって決められうる。任意の他の順序が、各ブロックに対する規準に基づいて決められうる。
【０１１３】
図１４は本発明によるデータを符号化する他の方法を示すフローチャートである。方法は、画像に対応するディジタル画像データを与える供給ステップ１３０から開始する。ステップ１３２において、ユーザによって画像中の関心領域が選択される。しかしながら、本発明はまた、自動目標認識システムが一組の規準に基づいて関心領域を決める方法も含む。自動目標認識システムは、関心領域を識別するために様々なアプローチを使用しうる。例えば、画像中の関心となる対象を識別するために、パターン認識ソフトウエアが使用されうる。画像上で関心領域が選択された後、ステップ１３４において、ディジタル画像データに対してウェーブレット変換が行われ、係数を含む一組のサブバンドが得られる。上述のように、係数を得るために、マレット型ウェーブレット変換、ｓｐａｃｌ型ウェーブレット変換、パケット型ウェーブレット変換等といった多くの様々なタイプのウェーブレット変換が使用されうる。ステップ１３６において、選択された関心領域に対応する係数が識別される。ステップ１３８において、少なくとも１つの係数カテゴリが関心領域を表わすディジタル画像データに対応するよう、係数が順序づけられる。ステップ１４０において、係数は、順序付けられたカテゴリに従ってエントロピー符号化される。係数を関心領域に対応するカテゴリへ順序づけることにより、画像の異なる領域を別々に処理し圧縮することが可能となる。これは、画像の大部分が比較的特徴のない背景からなる場合に特に有用である。
【０１１４】
関心領域が圧縮される度合いを決めるには幾つかの異なったアプローチがある。１つのアプローチは、ユーザに圧縮の度合いを選択させることである。図１５に示される他のアプローチは、ステップ１４２において画像を表わすディジタルデータを符号化するために使用されるビットの総数を決めることである。ステップ１４４において、画像の様々な領域について優先度が決められる。ステップ１４６及び１４８において、画像の様々な領域を領域の優先度に従って符号化するために、高い優先度の領域が低い優先度の領域よりも正確に再構成されるよう、ビットの総数からビットが割り当てられる。一般的に、送信装置は一組のビットレートを有し、このビットレートでビットストリームを送信する。本発明によれば、ステップ１５０において、送信されるべきビットストリームの部分は画像の高い優先度の領域を送信するために割り当てられる。例えば、ビットストリームが１０００毎秒のレートで送信される場合、画像の高い優先度の領域を表わす符号化されたデータを送信するために８００ビット毎秒が割り当てられ、低い優先度の領域を表わす符号化されたデータを送信するために２００ビット毎秒が割り当てられうる。ステップ１５０においてビットストリームの一部が高い優先度の符号化されたデータを送信するために割り当てられると、ステップ１５２においてビットストリームは遠隔場所へ送信される。画像の高い優先度の領域に対応する全ての符号化されたデータが送信されると、ステップ１５４においてビットストリーム全体が画像のより低い優先度の領域を表わす符号化されたデータを送信するために割り当てられる。
【０１１５】
図１６は、本発明の符号化装置の１つの実施例を示すブロック図である。画像データ６００はウェーブレット変換器６０２に供給される。ウェーブレット変換器６０２は、画像データ６００のウェーブレット変換を行ない、それにより係数を含むサブバンドが得られる。関心領域係数識別器６０４は、関心領域の座標と、ウェーブレット変換器６０２からの係数を含むサブバンドを受信し、関心領域に対応する係数を識別する。
【０１１６】
上述のように、関心領域に対応するウェーブレット変換から得られる係数の識別は、画像ドメインからウェーブレットドメインへの逆ウェーブレット変換をトレースすることによって達成される。このようにして、各画素を再構成されるために使用される一組のウェーブレット変換係数が別々に識別されうる。従って、関心領域の係数の識別は関心領域の形状とは無関係であり、関心領域は接続されていない領域からなるものであってもよい。サブバンド分類器６０８は、係数を分類し、分類マップ６１０を生成する。分類された係数は、量子化器６１２とレート割当て装置６１８に送信される。レート割当て装置６１８は各係数クラスに量子化ステップサイズを割り当て、このレートを量子化器６１２に与える。レート割当て装置６１８はまた、各サブバンドクラスに割り当てられた量子化ステップサイズに関する情報を含む量子化テーブルを生成する。量子化器６１２は係数を量子化し、エントロピー符号化器６１４に量子化された係数を与える。エントロピー符号化器６１４は、量子化された係数を、エントロピー符号化器６１４に与えられた関心領域に関する受信された優先度情報６１６によって符号化する。エントロピー符号化器６１４の出力は符号化されたビットストリーム６２２である。
【０１１７】
図１７は、本発明の復号化器の１つの実施例を示すブロック図である。符号化されたビットストリーム６２２及び関心領域の優先度情報６１６は、エントロピー復号化器６２４によって受信される。エントロピー復号化器６２４は、逆量子化器６２６に与えられる量子化された出力を生成する。逆量子化器６２６はまた、量子化テーブル６２０に基づいてレート逆割当て器６２８から量子化情報を受信する。逆量子化器６２６は、サブバンド逆分類器６３０へ送信される係数を生成する。サブバンド逆分類器６３０は、受信された分類マップに従って係数を逆分類し、逆ウェーブレット変換器６３０に与えられる一組のサブバンドを生成する。逆ウェーブレット変換器６３０は、画像を再構成するために使用されうる画像データ６３２を得るためにサブバンドに対して逆ウェーブレット変換を行なう。
【０１１８】
図１８は、画像を符号化し符号化されたデータを受信側８０２へ送信する送信側８００と、画像を受信し表示する受信側８０２とを含む装置の実施例を示す図である。送信側８００は、関心領域機能を有する符号化器８０４を有する。最初に、符号化器８０４は画像の低解像度、低忠実度、及び低ビットレートの変形を符号化し、符号化された変形を送信装置８０６へ送信する。送信装置８０６は、符号化された信号を、受信側８０２に配置される受信装置８０８へ送信する。送信は、有線伝送路を介して、又は無線によって達成されうる。受信側８０２の受信装置８０８は符号化された信号を受信し、これを関心領域機能を有する復号化器８１０に与える。復号化器８１０は画像を復号化し、これをユーザに対して表示するディスプレイ８１２へ送信する。受信側８０２は、ユーザが表示された画像上で関心領域を選択することを可能とする関心領域選択器８１４を有する。受信側８０２はまた、ユーザが関心領域を符号化するときの優先度を選択することを可能とする関心領域優先度選択器８１６を有する。例えば、優先度は、関心領域が損失なしに再構成されるよう選択されうる。関心領域及び優先度が選択されると、関心領域選択器８１４及び優先度選択器８１６は、選択に関する情報を復号化器８１０及び送信装置８１８に与える。送信装置は、この情報を送信側８００上の受信装置８２０にフィードバックする。受信装置８２０は情報を受信し、これを符号化器８０４に与える。符号化器８０４は選択された関心領域を情報に従って優先度により符号化し、符号化された関心領域情報を上述のように受信側８０２に送信する。この過程は、ユーザが以前の関心領域の検査に基づいて関心領域を再び画成しうるよう繰り返されうる。このように、上述の実施例は、受信側のユーザが対話式に関心領域の符号化を決めることを可能とする。
【０１１９】
本発明の他の適用は、上述の関心領域の概念をディジタルカメラに組み込むことを含む。かかる適用では、関心領域及び領域を符号化する規準は、ディジタルカメラのユーザによってビューファインダ又はカメラのディスプレイ上で選択される。カメラは規準に従って関心領域中の情報を記録する。高い解像度又は忠実度を有する選択された関心領域のみを記録することにより、ディジタル画像を格納するために必要な記憶空間の量は減少されうる。殆どのディジタルカメラ中の記憶空間は非常に制限されているため、かかる適用は非常に有益である。
【０１２０】
また、上述の符号化の方法及び装置は、ディジタル式に再生された動画に対しても適用されうることが認識される。例えば、画像のリアルタイム再生を可能とするために送信されるビットストリームの選択された部分は、結果としての動画中で関心領域を送信するためにのみ使用されうる。更に、関心領域の次元及び位置は、動画が進行するにつれ絶えず変更されうる。
【０１２１】
本発明の上述の説明は例示的なものである。本発明による関心領域の選択及び再構成は他の圧縮方法と共に使用されてもよく、上述の様々な手段は当業者によって周知の多数の等価物を有することが理解されるべきである。本発明の範囲は添付の請求項に記載される。
【図面の簡単な説明】
【図１】画像中の選択された関心領域に対してより多くのビットを割り当てることに関心領域を強調する画像圧縮方法を示す図である。
【図２】選択されたＲＯＩを強調して符号化された画像を圧縮解除する方法を示す図である。
【図３Ａ】ＲＯＩ係数をスケーリングする方法を示す図である。
【図３Ｂ】ＲＯＩ係数をスケーリングする方法を示す図である。
【図３Ｃ】ＲＯＩ係数をスケーリングする方法を示す図である。
【図３Ｄ】ＲＯＩ係数をスケーリングする方法を示す図である。
【図３Ｅ】ＲＯＩ係数をスケーリングする方法を示す図である。
【図３Ｆ】ＲＯＩ係数をスケーリングする方法を示す図である。
【図４Ａ】多数の関心領域が異なる優先度で強調されるＲＯＩ係数スケーリング方法を示す図である。
【図４Ｂ】多数の関心領域が異なる優先度で強調されるＲＯＩ係数スケーリング方法を示す図である。
【図５Ａ】ＲＯＩを強調するためにＲＯＩの量子化インデックス中のビット要素のうちの幾つかを用いるＲＯＩ係数スケーリング方法を示す図である。
【図５Ｂ】ＲＯＩを強調するためにＲＯＩの量子化インデックス中のビット要素のうちの幾つかを用いるＲＯＩ係数スケーリング方法を示す図である。
【図５Ｃ】ＲＯＩを強調するためにＲＯＩの量子化インデックス中のビット要素のうちの幾つかを用いるＲＯＩ係数スケーリング方法を示す図である。
【図６Ａ】多数の関心領域が異なる優先度で符号化の異なる段階から強調されるＲＯＩ係数スケーリング方法を示す図である。
【図６Ｂ】多数の関心領域が異なる優先度で符号化の異なる段階から強調されるＲＯＩ係数スケーリング方法を示す図である。
【図６Ｃ】多数の関心領域が異なる優先度で符号化の異なる段階から強調されるＲＯＩ係数スケーリング方法を示す図である。
【図７Ａ】ＲＯＩ係数スケーリングによって決められる符号化戦略下での量子化インデックスをビット平面に基づく符号化器でエントロピー符号化を示す図である。
【図７Ｂ】ＲＯＩ係数スケーリングによって決められる符号化戦略下での量子化インデックスをビット平面に基づく符号化器でエントロピー符号化を示す図である。
【図７Ｃ】ＲＯＩ係数スケーリングによって決められる符号化戦略下での量子化インデックスをビット平面に基づく符号化器でエントロピー符号化を示す図である。
【図７Ｄ】ＲＯＩ係数スケーリングによって決められる符号化戦略下での量子化インデックスをビット平面に基づく符号化器でエントロピー符号化を示す図である。
【図８Ａ】ＲＯＩ係数スケーリングが幾つかのビット重要度レベルにおけるビットフィールドに対してのみ使用される各サブバンドにおいてビット平面符号化が行なわれる場合を示す図である。
【図８Ｂ】ＲＯＩ係数スケーリングが幾つかのビット重要度レベルにおけるビットフィールドに対してのみ使用される各サブバンドにおいてビット平面符号化が行なわれる場合を示す図である。
【図８Ｃ】ＲＯＩ係数スケーリングが幾つかのビット重要度レベルにおけるビットフィールドに対してのみ使用される各サブバンドにおいてビット平面符号化が行なわれる場合を示す図である。
【図９】関心領域の境界上の画素及び関心領域の境界の１画素内側にある画素に対してのみ識別情報が行なわれる場合を示す図である。
【図１０Ａ】フィルタ係数がｇＡ（ｋ）の低域通過フィルタ及びフィルタ係数がｆＡ（ｋ）の高域通過フィルタと、画素又は変換係数を１つおきに除去するダウンサンプリング器とを用いて達成されるウェーブレット変換を示す図である。
【図１０Ｂ】フィルタ係数がｇＡ（ｋ）の低域通過フィルタ及びフィルタ係数がｆＡ（ｋ）の高域通過フィルタと、画素又は変換係数を１つおきに除去するダウンサンプリング器とを用いて達成されるウェーブレット変換を示す図である。
【図１１】変換係数からなる一組のサブバンドで入力画像を表わす符号化方法を示す図である。
【図１２】選択された関心領域を強調して図１１の符号化方法によって符号化された画像を圧縮解除する方法を示す図である。
【図１３】符号化及び復号化がブロック毎に行なわれる場合のＲＯＩ符号化を示す図である。
【図１４】本発明によるデータを符号化する他の方法を示すフローチャートである。
【図１５】画像を表わすディジタルデータを符号化するために使用されるビット総数を決めるためのアプローチを示す図である。
【図１６】本発明の符号化装置の実施例を示すブロック図である。
【図１７】本発明の復号化装置の実施例を示すブロック図である。
【図１８】画像を符号化し符号化されたデータを受信側へ送信する送信側と、画像を受信し表示する受信側とを含む装置の実施例を示す図である。
発明の背景
発明の属する技術分野：
近年のコンピュータ及び及びコンピュータネットワークは、コンピュータ間及びコンピュータ・記憶装置間でかなりの量の情報が転送されることを可能とする。コンピュータがローカル記憶装置、例えばローカルハードドライブ又はローカルフロッピードライブ、にアクセスするとき、かなりの量の情報に迅速にアクセスすることができる。しかしながら、ワイドエリアネットワーク（ＷＡＮ）、インターネット、又は無線通信チャネル（セルラー電話網等）等を介して遠隔記憶場所からのデータにアクセスしようとするとき、データ転送速度はかなり遅い。従って、大きなファイルを転送することはかなりの時間を要する。更に、大きいファイルの格納には貴重な限られた記憶空間が使用される。写真のような画像及び同様のグラフィックな画像は一般的に大きいファイルであると考えられ、これは従来では画像は画像中の各画像素子即ち画素上に情報を必要とするためである。従って、写真及び同様のグラフィックな画像は一般的に１メガバイト上の記憶空間を必要とし、従って遅いネットワーク通信上でかなりの送信時間を必要とする。従って、近年では写真のような画像を格納するために必要とされる記憶空間の量を減少させるため、写真のような画像を圧縮するための多くのプロトコル及び標準が開発されている。圧縮方法は、本質的には原画像の数学的又は統計的な近似を形成する。
【０００２】
圧縮方法は、２つの別々のカテゴリに大きく分類することができる。損失のある圧縮方法は、画像の忠実度が幾らか損失される方法であり、換言すれば、再生された画像をよく調べると画像の忠実度の損失があるものである。損失のない圧縮方法は、復号化の後に原画像が正確に再生されるものである。本発明は、最初に画像を符号化又は圧縮するユーザ又はシステム、又は、符号化側との対話を通じて画像データを受信し復号化するユーザ又はシステムによる関心領域の選択に基づいて、画像の一部又は部分が再生された画像の中で画像の他の部分よりも高いレベルの忠実度で圧縮されうる効率的な画像圧縮のための方法及び装置に関連する。
【０００３】
従来技術の説明：
現在一般的に普及している画像を圧縮するための標準には、ＪＰＥＧ又は「Ｊ−ｐｅｇ」標準と称されるものがある。この標準は「Ｔｈｅ Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ」と称される委員会によって開発され、静止画像を記憶又はネットワーク送信のために圧縮するのに一般的に使用されている。Ｓａｉｄ及びＰｅａｒｌｍａｎによる最近の論文には、階層木における集合分割（ＳＰＩＨＴ）に基づく新しい符号化及び復号化方法が記載されている。これについては、Ｓａｉｄ及びＰｅａｒｌｍａｎによるＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ， ｖｏｌ．６， ｎｏ．３（１９９６年６月）及びＳａｉｄ及びＰｅａｒｌｍａｎによるＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ｖｏｌ．５， ｎｏ．９（１９９６年９月）を参照のこと。これらの論文の内容はここに参照として組み入れられる。参照される上記論文は、汎用コンピュータ上にロードされ実行されたときに方法を行なうコンピュータソフトウエアを開示し、ビット精度による損失のある圧縮及び同一の埋め込まれたビットストリーム内での損失のない圧縮を行なう整数ウェーブレット変換を利用する装置、又は単一の埋め込まれたビットストリームの中でビット精度による損失のある圧縮を行なう非整数ウェーブレット変換を利用する装置を形成する。
【０００４】
複数の個々の画素を表わす２次元配列として最初に格納される画像は、順次的な画像送信のために変換係数に従ってビットに優先度を付ける。最も重要な情報は、部分集合分割を用いた所与の閾値に関して有意性のある要素又は有意性のない要素を決定することによって選択される。Ｓａｉｄ及びＰｅａｒｌｍａｎによって開示された順次的送信スキームは、各変換係数の大きさに基づいて最初に送信されるべき最も重要な情報を選択する。変換がユニタリ変換であれば、大きさが大きいほど、係数は平均平方誤差（ＭＳＥ，Ｄｍｓｅ（））、即ち、（ｉ，ｊ）は画素の座標であり、従ってｐは画素の値を表わすとすると、
【０００５】
【数１】
【０００６】
【外１】
【０００７】
【数２】
【０００８】
Ｎは画素数であり、従って上述の平均平方誤差歪みについての計算が行われうる。数学的な仮定を用いると、平均平方誤差歪みの尺度は
【０００９】
【数３】
【００１０】
発明の概要
本発明は、画像の関心領域（ＲＯＩ）即ち或る領域が強調されるよう送信又は記憶のために画像を符号化し、符号化された画像を送信の後又は記憶装置からの取り出しの後に復号化する方法及び装置を提供する。
【００１１】
符号化方法は、ディジタル画像データ中の１つ以上の関心領域を選択する段階及び各領域について優先度を指定する段階を含む。画像全体の画素値のウェーブレット変換を行なうことによりウェーブレットの変換係数が得られ、各関心領域に対応する変換係数が識別される。各関心領域の変換係数は、変換係数に対してより多くのビットが割り当てられるか又は変換係数の符号化順序を繰り上げるよう、これらの変換係数をスケールアップすることによって強調される。各関心領域の変換係数をスケールアップした後、画像全体の変換係数に対して量子化が行なわれ、量子化インデックスが得られる。或いは、各関心領域に対応する量子化された変換係数の量子化インデックスは、各関心領域に割り当てられた優先度に従ってスケールアップされる。画像全体に対して量子化を行なった後、各関心領域がスケールアップされる。変換係数の量子化インデックスは、符号化の順序付け又は各関心領域に対するスケールアップといった符号化方法に基づいてエントロピー符号化され、データビットストリームが形成される。ビットストリームヘッダが形成され、データビットストリームはビットストリームヘッダに付けられる。エントロピー符号化は、変換係数の量子化インデックスの２進表現の各ビットフィールドに対して行なわれる。
【００１２】
復号化方法は、データビットストリームからビットストリームヘッダを分離する段階と、ビットストリームヘッダから、１つ以上の関心領域の座標、各領域の優先度、画像のサイズ、及びウェーブレット分解レベルの数といった記述を復号化する段階を含む。１つ以上の関心領域の記述によって指定される１つ以上の関心領域に対応するウェーブレットの変換係数が識別され、データストリームは、化ｋ関心領域に対応する変換係数の識別された結果及び各関心領域に割り当てられた優先度によって決定される復号化順序に従ってエントロピー復号化される。これにより変換係数の量子化インデックスを含む一組のサブバンドが形成される。逆量子化された変換係数又は各関心領域に対応する変換係数の量子化インデックスがスケールダウンされる。符号化器においてスケールアップが行われた後に量子化が行なわれるという順序であれば、画像全体の変換係数の逆量子化が行なわれた後に各関心領域の量子化された変換係数のスケールダウンが行なわれる。符号化器において量子化が行なわれた後にスケールアップが行われるという順序であれば、各関心領域の量子化インデックスがスケールダウンされた後に画像全体の量子化インデックスが逆量子化される。いずれの場合も、量子化インデックスに対して逆量子化を行なうことにより量子化された変換係数が得られる。逆量子化された変換係数に対して逆ウェーブレット変換を行なうことにより画像全体の画素値が形成される。
【００１３】
本発明では、ディジタル画像は２次元ディジタルデータであってもよいし、音声データ、心電図データ、地震波データといった１次元ディジタルデータであってもよい。データが１次元データである場合、２次元データの各次元に適用されるウェーブレット変換、サブバンド、ＲＯＩ係数識別又は逆ウェーブレット変換に基づく段階及び手段は、データの単一の次元に対してのみ適用される。
【００１４】
望ましい実施例の詳細な説明
以下、本発明の実施例について添付の図面を参照して説明する。本発明はユーザによって指定される関心領域が画像の残りよりも高い忠実度で符号化されるよう強調される画像圧縮を行なう方法及び装置に関する。強調は符号化方法の最初から又は途中から生じうる。符号化の途中から生ずる場合、符号化が行なわれている間に符号化されたビットストリームの部分を受信する受信側における使用によって強調が開始されうる。関心領域の強調は、再構成画像上の関心領域の周りに人工的な境界を生じさせないよう変換係数ドメインで行なわれる。量子化の後に変換係数に対して強調が行なわれる実施例では、関心領域が連続的な再構成の早い段階で再構成されうるよう、関心領域に対応する量子化インデックスの情報の順序が変更される。従って、関心領域は低いビットレートでより高い忠実度で再構成される。関心領域に対する強調は量子化インデックスのビットフィールドが符号化される順序を変更させるだけであるため、強調によって情報の損失が生ずることはない。また、情報の順序の変更は、各係数レベルだけでなく各係数ビットフィールドにも適用可能であり、これにより画像の特定部分の質が改善されるだけでなく、画像の各部分が再構成される符号化順序を柔軟に変更させる。本発明の他の実施例では、量子化の前に変換係数を強調する。この実施例は、他の態様のように柔軟な機能を与えないが、任意のビットレートにおいて計算の複雑性の増加を最小限にして、関心領域を画像の残りよりも高い忠実度で再構成することを可能とする。
【００１５】
図１は、画像中の選択された関心領域に対する強調を、関心領域に対してより多くのビットを割り当てること、又は、符号化過程において関心領域を関心領域の外側の領域よりも早い段階で符号化することによって行なう画像を圧縮する方法を示す図である。符号化方法１００は、入力ディジタル画像の画素値に対してウェーブレット変換を行なうステップ１０１を含み、それにより入力画像は変換係数からなる一組のサブバンドによって表わされる。ステップ１０１の後に、ビット割当てステップ１０２及び量子化ステップ１０３が続く。ステップ１０２において、係数当たりのビット数（即ち係数の表現精度）が各サブバンドの変換係数に対して割り当てられ、変換係数より高い分散又はより高いエネルギーを有するサブバンドに対して係数当たりにより多くのビットが割り当てられ、より小さな量子化ステップサイズ割り当てられたのと同等であるよう、ディジタル値を有する変換係数が決定される。しかしながら、各サブバンド又は全てのサブバンドに対する係数当たりのビット数が所定であれば、ステップ１０２は実行されない。割り当てられた係数当たりのビット数はステップ１０３において使用される。ステップ１０３において、各サブバンドの変換係数に対して量子化が行なわれ、各サブバンドの変換係数は各サブバンドに対する割り当てられた係数当たりのビット数即ち量子化ステップサイズによって指定される表現精度を有する量子化インデックスによって表わされる。ステップ１０３を通じて、低下された又は同じ変換係数値の表現精度を有する変換係数を表わす量子化インデックスが得られる。得られた量子化インデックスはＲＯＩ（関心領域）係数スケーリングステップ１０７へ入力される。
【００１６】
ステップ１０１、１０２及び１０３の前、後、又は一緒に、関心領域選択ステップ１０４、ＲＯＩ係数識別ステップ１０５、及びＲＯＩ座標記述ステップ１０６が実行される。ステップ１０４において、入力画像上で関心領域が選択され、選択された関心領域の座標がステップ１０５及び１０６に入力される。ステップ１０５において、各サブバンド中の選択された関心領域に対応するウェーブレット変換係数、即ちＲＯＩ係数が識別され、ウェーブレット変換係数を含む各サブバンド中のＲＯＩ係数を強調することによって画像中の選択された関心領域が強調される。変換係数が各関心領域に対応するか関心領域の外側の領域に対応するかを示すＲＯＩ係数の識別結果（即ち係数のカテゴリ）は、ステップ１０７へ入力される。ＲＯＩ座標記述ステップ１０６において、ＲＯＩ座標情報を有効に送信又は記憶するために、選択された関心領域の座標が符号化され、それにより復号化器は再構成画像中においてどの関心領域が強調されるために選択されるかが分かる。ＲＯＩ記述情報は送信ステップ１０９においてビットストリーム中のヘッダビットに付加される。
【００１７】
ＲＯＩ係数スケーリングステップ１０７において、ＲＯＩ係数の量子化インデックスが関心領域に割り当てられた優先度によって指定される左ビットシフト値（Ｓ）によってスケールアップされ、ＲＯＩ係数のインデックスが実際の値よりも大きい値を有するかのように符号化されるよう、ステップ１０３から入力される量子化インデックスのうち、関心領域に対応する変換係数の量子化インデックスのみが強調される。従って、これらは続くエントロピー符号化ステップ１０８において、所与のビットレートでより多くのビットで符号化されるか、又は、符号化過程のより早い段階で符号化される。そのうちの幾つかがスケールアップされている量子化インデックスは、係数のカテゴリ、ステップ１０５において形成されたＲＯＩ係数の識別結果、スケールアップのために使用される優先度（左ビットシフト値，Ｓ）と共にステップ１０８へ入力される。
【００１８】
エントロピー符号化ステップ１０９において、量子化インデックスの２値表現の各ビット要素に対してエントロピー符号化が行なわれ、それにより符号化されたデータストリームが形成され、このデータストリームは、量子化インデックスのより高いビット重要度レベルにおけるビットフィールドから発生される符号化されたビットが、より低いビット重要度レベルのビットフィールドから発生される他の符号化ビットよりもビットストリームのより早い部分に配置されるよう形成される。換言すれば、量子化インデックスの２値表現の各ビットフィールドに対するエントロピー符号化は、最も高いビット重要度レベル（最上位ビット）のビットフィールドが最初に符号化され、ビット重要度レベルの降順のビットフィールドはビット重要度レベルの降順で符号化されるよう行なわれる。エントロピー符号化ステップは任意のビットレートで終了又は中止されえ、即ち、符号化されたビットストリームに対するビット割当量が使い尽くされたとき、符号化されたビットストリームの受信側又は記憶側が更なるビットを必要としてないとき、符号化側のユーザ又はシステムがステップを終了又は中止させるようとするとき、又は受信側のユーザ又はシステムがステップを終了又は中止させるようとするときである。
【００１９】
符号化器は、ＲＯＩ係数の量子化インデックスの一番下からＳ個の最低のビット重要度レベルのビットフィールドを符号化することを開始し、これは、Ｓの左ビットシフトによるＲＯＩ係数のスケールアップの前は存在しないこれらのビットフィールドは情報を運ばないためである。或いはこれらの一番下からＳ個のビットフィールドを符号化することを回避するための計算上の費用を減少させるために、均一に０によって埋められる値を有するフィールドは、関心領域の外側の領域の量子化インデックスの一番下からＳ個のビットフィールドと共に符号化されうるが、符号化されたビットレートは増加される。ＲＯＩ係数の量子化インデックスの一番上からＳ個のビットフィールドは、同じサブバンド中の関心領域の外側の領域の量子化インデックスのビットフィールドを符号化することなく、排他的に符号化される。或いは、関心領域の一番上からＳ個のビットフィールドを選択するために符号化するための計算上の費用を減少させるため、これらのビットフィールドは、均一に０によって埋められる値を有する関心領域の外側の領域のビットフィールドと共に符号化されうるが、符号化されたビットレートは増加される。
【００２０】
ステップ１０８における望ましい符号化技術は、２進算術符号化技術といったビット平面符号化、又は、ＳＰＩＨＴ符号化技術といったゼロ木符号化である。ビット平面符号化技術では、各サブバンドの或るビット重要度レベルにおける全てのビットフィールドが同じ符号化段階で符号化される。これらのビットフィールドが符号化された後、他のビット重要度レベルの他のビットフィールドが符号化される。多くの場合、より高いビット重要度レベルのビットフィールドは、同一のサブバンド中のより低いビット重要度レベルのビットフィールドよりも早く符号化される。そのような場合、より高いビット重要度レベルにおけるビットフィールドの符号化結果は、より低いビット重要度レベルにおけるビットフィールドの符号化のために使用されうる。ゼロ木符号化技術では、各量子化インデックスのより高いビット重要度レベルにおけるビットフィールドは、各量子化インデックスにおけるより低いビット重要度レベルにおけるビットフィールドより常に早く符号化されるが、同一の量子化インデックスのより低いビット重要度レベルにおけるビットフィールドの幾つかは、他の量子化インデックスのより高いビット重要度レベルにおけるビットフィールドよりも早く符号化される。ステップ１０８において形成される符号化されたデータは送信ステップ１０９へ送られ、送信又は記憶されるべきビットストリームにデータビット又はヘッダビットが付加される。
【００２１】
割り当てられた係数当たりのビット数が変換係数の表現精度よりも小さいサブバンドでは、各変換係数は、量子化された変換係数の値が表わされる精度よりも小さい表現精度を有する量子化インデックスによって表わされる。割り当てられた係数当たりのビット数が変換係数の値の表現精度と同じであるサブバンドでは、各変換係数が量子化されず、各係数値自体がＲＯＩ係数スケーリングステップ１０７に与えられる量子化インデックスとして見なされうる。本発明は、より大きな変換係数がより大きな量子化インデックスによって表わされる全ての種類の量子化スキームに適用されうる。本発明の望ましい量子化は、スカラー量子化又はトレリス符号化された量子化である。スカラー量子化の場合、変換係数は一組の閾値に対する係数の大きさに基づいてインデックスへ量子化される。トレリス符号化された量子化では、変換係数はそれら自体の大きさだけでなく量子化器の状態に基づいてインデックスへ量子化される。
【００２２】
図３Ａ乃至３Ｆ中、ＲＯＩ係数スケーリングステップ１０７が示される。ＲＯＩ係数スケーリングは、各サブバンド、全てのサブバンド又は、幾つかのグループのサブバンド毎に変換係数の量子化インデックスに対して行なわれる。スケーリングが各サブバンドで行なわれる場合、各サブバンドは関心領域に対する量子化インデックスに対する優先度（左ビットシフト値，Ｓ）を含まない異なる優先度に対して割り当てられうる。選択された関心領域がサブバンドのうちの幾つかのみから再構成された画像中で強調される必要がある場合、ＲＯＩ係数スケーリングは選択されたサブバンドにおいてのみ実行される必要がある（即ち、画像のより低い空間解像度のものが再構成されるとき、目標空間解像度を再構成するために必要でないサブバンド中のＲＯＩ係数はスケールアップされない）。以下、例えば全てのサブバンド又はサブバンドの幾つかのグループの関心領域の量子化インデックスに対して同じ優先度値を割り当てることによって、全てのサブバンド又はサブバンドの幾つかのグループ毎に実行されるＲＯＩ係数スケーリングとして一般化されうる各サブバンドのＲＯＩ係数スケーリングについて説明する。
【００２３】
この概念について説明するため、以下のような参照記号を用いるものとする。１つのサブバンド（サブバンド［ｋ］）における変換係数をＹ（ｊ）と示し、但しｊ（０＜＝ｊ＜Ｊ）は変換係数の座標を表わすものとする。サブバンド［ｋ］中の変換係数Ｙ（ｊ）に対応する量子化インデックスをＺ（ｊ）と示す。ステップ１０２における割り当てられた係数当たりのビット数をＮと示す。量子化インデックスＺ（ｊ）の２進表現を、ｂＮ−１（ｊ），ｂＮ−２（ｊ），．．．，ｂ０（ｊ）と示す（但し、ｂｋ（ｊ），但し０＜＝ｋ＜Ｎ，は０又は１であり、ｂＮ−１（ｊ）はＺ（ｊ）の最も高いビット重要度レベルにおけるビットフィールドである）。量子化インデックスＺ（ｊ）の２進表現は以下の式、
変換係数が関心領域に対応すると識別されるとき（即ちＲＯＩ係数）、Ｙ（ｊ）但しｊ＝ｊｓ，ｊｓ＋１，，，，，及びｊｅ、量子化インデックスＺ（ｊ）、但しｊ＝ｊｓ，…，ｊｅはサブバンド［ｋ］中のステップ１０７においてスケールアップされるべきＲＯＩ係数である。選択された関心領域に割り当てられた優先度が左シフトビット値，Ｓ，であれば、量子化インデックスＺ（ｊｓ），．．，Ｚ（ｊｅ）はＺ（ｊｓ）．．，Ｚ（ｊｅ）へスケールアップされ、即ち、
【００２４】
【数４】
【００２５】
Ｓの左ビットシフトによるスケーリングの結果、（ａ１）対応するインデックスの大きさは２Ｓ倍大きくなる。換言すれば、各ビットフィールドのビット重要度レベル（ｓ＿ｌｅｖｅｌ）はＳだけ大きくなる（ｓ＿ｌｅｖｅｌ＝Ｎ−１ ――＞ ｓ＿ｌｅｖｅｌ＝Ｎ＋Ｓ−１，ｓ＿ｌｅｖｅｌ＝Ｎ−２ ――＞ ｓ＿ｌｅｖｅｌ＝Ｎ＋Ｓ−２，ｓ＿ｌｅｖｅｌ＝０ ――＞ ｓ＿ｌｅｖｅｌ＝Ｓ）。各ビットフィールドがビット重要度レベルの降順で符号化される場合、スケールアップされたインデックスの各一番上のＳビットフィールドは同一のサブバンド中の任意の他のビットフィールドよりも早く符号化される。換言すれば、（ａ２）スケールアップされたインデックス中のより多くのビットフィールドが符号化過程のより早い段階で符号化される。（ａ３）ビット平面符号化が使用される場合、符号化は同じビット重要度レベルのビットフィールドからなる各ビット平面に対して行なわれる。各サブバンドでは、各ビット平面は望ましくはビット重要度レベルの降順で、又は他の順で行なわれる。サブバンドに亘る各ビット平面の符号化順序は、各サブバンド中の符号化順序を追従することによって任意に指定されうる。同一サブバンドにおける各ビット平面の符号化順序の例を以下に示す。
【００２６】
【数５】
【００２７】
最大の左ビットシフト又は最大の左ビットシフトよりも大きい値が選択されれば、関心領域に対応する量子化インデックスの全てのビットフィールドは、同一サブバンド中の関心領域の外側の領域に対応する量子化インデックスの全てのビットフィールドと異なるビット重要度レベルを有する。従って、関心領域の全てのビットフィールドと関心領域の外側の領域の全てのビットフィールドとは、別々に符号化される。換言すれば、関心領域の量子化インデックスと関心領域の外側の領域の量子化インデックスとは、エントロピー符号化器において別々に符号化される。
【００２８】
左ビットシフト値が最大値よりも小さく０よりも大きければ、関心領域に対応する量子化インデックスの一番上からＳ個のビットフィールドは同一のサブバンド中の関心領域の外側の領域の量子化インデックスの全てのビットフィールドとは別に符号化され、関心領域に対応する量子化インデックスの残りのＮ−Ｓ個のビットフィールドは同一サブバンド中の残りのインデックスの一番上からＮ−Ｓ個のビットフィールドと共に同じ符号化段階において符号化され、関心領域の外側の領域に対応するインデックスの残りのＳ個のビットフィールドは関心領域の全てのビットフィールドとは別に符号化される。換言すれば、左ビットシフトが最大値よりも小さく０よりも大きい場合は、関心領域の量子化インデックス及び関心領域の外側の領域の量子化インデックスは、エントロピー符号化器において符号化されるべく部分的に分離される。
【００２９】
ＲＯＩ係数スケーリングの望ましい方法は、（ｅ１）関心領域に対応する量子化インデックスの値をスケールアップすること、（ｅ２）関心領域に関連するビットフィールドのビット重要度レベルをスケールアップすること、（ｅ３）符号化順序を再割り当てすることである。（ｅ１）、（ｅ２）及び（ｅ３）は、夫々上述の（ａ１）、（ａ２）、及び（ａ３）に対応する。ステップ１０７における（ｅ１）、ｅ２）及びｅ３）のいずれかを用いたＲＯＩの係数スケールアップの結果は、エントロピー符号化のステップ１０８において行なわれるエントロピー符号化を管理するために、選択された関心領域に対する優先度及びステップ１０８における関心領域に対応する係数の識別結果と共に使用される。
【００３０】
図４Ａ及び４Ｂ中、複数の関心領域が異なる優先度で強調される場合のＲＯＩ係数が図示される。各選択された領域が同じ強調レベルで強調される場合、各関心領域に対応する量子化インデックスは同じ左ビットシフト値でスケールアップされる。この場合、同じＲＯＩ係数スケーリングが任意の関心領域に対応する量子化インデックスに対して図３Ａ乃至３Ｆに示されるのと同じ方法で行われる。各選択された領域がそれ自体の優先度で強調される場合、図３Ａ乃至３Ｆに示されるスケールアップは各関心領域に対して行なわれねばならない。この場合、領域選択器ステップ１０４において選択される各関心領域に対応する変換係数は、ＲＯＩ係数識別ステップ１０５において識別され別のカテゴリへ分類される。この分類において、幾つかの関心領域に対応する変換係数のうち、全ての選択された関心領域のうち最も高い優先度が割り当てられた関心領域に対応する係数について探される。各関心領域に割り当てられたカテゴリ及び優先度に基づいて、図３Ａ乃至３Ｆに示されるのと同様に、各関心領域に対してＲＯＩ係数スケーリングが行なわれる。
【００３１】
図５Ａ乃至５Ｃ中、符号化の途中からのＲＯＩ係数スケーリングが図示される。図３Ａ乃至３Ｆ、４Ａ及び４Ｂに示されるＲＯＩ係数スケーリング方法の実施例が、量子化インデックスの値をスケールアップするか、量子化インデックスの各ビットフィールドのビット重要度レベルをスケールアップするか、又は量子化インデックスの各ビットフィールドの符号化順序を再割り当てするのに対して、図５Ａ乃至５Ｃに開示されるＲＯＩスケーリング方法の実施例は、関心領域の量子化インデックスの値の部分（量子化インデックス中の幾つかのビットフィールドからなる値）をスケールアップするか、量子化インデックスの幾つかのビットフィールド中のビット重要度レベルをスケールアップするか、又は量子化インデックスの幾つかのビットフィールドの符号化順序を割り当てる。換言すれば、図３Ａ乃至３Ｆ、４Ａ及び４ＢのＲＯＩ係数スケーリング方法が、関心領域に対する変換係数の量子化インデックス中の全てのビットフィールドを使用して関心領域を強調するのに対して、図５Ａ乃至５ＣのＲＯＩ係数スケーリング方法は関心領域の量子化インデックス中のビットフィールドのうちの幾つかを用いて関心領域を強調する。どのビット重要度レベル又はどの符号化段階においてＲＯＩ係数スケーリングが用いられるのかという面以外は、以下説明されるＲＯＩ係数スケーリングは図３Ａ乃至３Ｆ、４Ａ及び４ＢのＲＯＩ係数スケーリング方法と同じ方法を用いる。
【００３２】
図５Ａ乃至５ＣのＲＯＩ係数スケーリング方法では、変換係数の全ての量子化インデックスのビットフィールドのうちの幾つかはスケールアップされない。これらのビットフィールドは、一番上から幾つかのビットフィールド、一番下から幾つかのビットフィールド、又は中央の幾つかのビットフィールドでありうる。この場合、ＲＯＩ係数スケーリングが用いられないビットフィールドから発生される符号化されたビットストリームは、関心領域を扱わない復号化方法によって復号化されうる。各サブバンド中の一番上から幾つかのビットフィールドがＲＯＩスケーリングを用いずに符号化されるとき、符号化されたビットストリームが符号化過程中に受信側へ送信され、符号化器が受信器からフィードバック信号を受信する場合は、関心領域の選択及びその優先度の選択は受信側によって指定されうる。受信側のユーザは、符号化器からの入来する符号化されたビットストリームから部分的に再構成される画像の関心領域及び優先度を指定し、符号化器に対して関心領域の座標情報及び優先度をフィードバックしうる。すると、符号化器は符号化過程の途中にＲＯＩスケーリングを開始する。
【００３３】
図５Ａ乃至５Ｃの主題について説明するため、図３Ａ乃至３ＦのＲＯＩ係数スケーリングを開示するのに使用されるのと同じ用語を用いる。１つのサブバンド（サブバンド［ｋ］）における変換係数をＹ（ｊ）と示し、但しｊ（０＜＝ｊ＜Ｊ）は変換係数の座標を表わすものとする。サブバンド［ｋ］中の変換係数Ｙ（ｊ）に対応する量子化インデックスをＺ（ｊ）と示す。ステップ１０２における割り当てられた係数当たりのビット数をＮと示す。量子化インデックスＺ（ｊ）の２進表現を、ｂＮ−１（ｊ），ｂＮ−２（ｊ），．．．，ｂ０（ｊ）と示す（但し、ｂｋ（ｊ），但し０＜＝ｋ＜Ｎ−１，は０又は１である。左ビットシフトスケーリング値はＳによって表わされ、ＲＯＩ係数スケーリングが使用されないビット重要度レベルの数はＰによって示される。一番上からＰ個のビット平面がＲＯＩ係数スケーリングをもちいずれに符号化されるとき、量子化インデックスＺ（ｊ）の２進表現は以下の式、
【００３４】
【数６】
Ｚ（ｊｓ），…，Ｚ（ｊｅ）の量子化インデックスのスケーリング可能な部分Ｚ２（）はＺ２ｓ（ｊｓ），…，Ｚ２ｓ（ｊｅ）であるようスケールアップされ、即ち、
【００３５】
【数７】
【００３６】
符号化の途中からＲＯＩ係数スケーリングする場合、Ｚ（ｊｓ），…，及びＺ（ｊｅ）は、Ｚ（ｊｓ）＝｛Ｚ１（ｊｓ），Ｚ２（ｊｓ）｝，…，及びＺ（ｊｅ）＝｛Ｚ１（ｊｓ），Ｚ２（ｊｅ）｝から、Ｚｓ（ｊｓ）＝｛Ｚ１（ｊｓ），Ｚ２ｓ（ｊｓ）｝，…，及びＺｓ（ｊｅ）＝｛Ｚ１（ｊｅ），Ｚ２ｓ（ｊｅ）｝へ変換される。図５Ａ乃至５Ｃに示されるＲＯＩ係数スケーリング方法では、Ｚ８ｊ）ではなくＳ２（ｊ）が図３Ａ乃至３Ｆ、４Ａ及び４Ｂに示されるのと同じスケーリング方法によってスケールアップされる。
【００３７】
最大左ビットシフトスケーリング値Ｓｍａｘは、サブバンドに割り当てられた係数当たりのビット数Ｎと、ＲＯＩ係数スケーリングを用いずに符号化される各量子化インデックス中のビットフィールドの数Ｐによって決定される。この場合、左ビットシフト値Ｓは以下の範囲、０＜＝Ｓ＜＝Ｓｍａｘ（Ｓｍａｘ＝Ｎ−Ｐ，０：関心領域に対する優先度なし）にある。
【００３８】
最大左ビットシフトＳｍａｘ＝Ｎ−Ｐが選択されれば、関心領域に対応する量子化インデックスの一番下からＮ−Ｐ個のビットフィールドは、同一のサブバンド中の関心領域の外側の領域に対応する量子化インデックスの一番下からＮ−Ｐ個のビットフィールドから分離される。このように、関心領域に対応する一番下からＮ−Ｐ個のビットフィールドと関心領域の外側の領域に対応する一番下からＮ−Ｐ個のビットフィールドは別々に符号化される。
【００３９】
左ビットシフト値が最大値よりも小さく０よりも大きければ、（Ｐ＋１）番目に高い重要度レベルから（Ｐ＋Ｓ）番目に高いビット重要度レベルまでの関心領域に対する量子化インデックスのＳ個のビットフィールドは、関心領域の外側の領域に対する全てのビットフィールドから分離される（本例では、一番高い重要度レベルはＭＳＢであり、Ｎ番目に高い重要度レベルはＬＳＢである）。関心領域に対応する量子化インデックスの残りのＮ−Ｐ−Ｓ個のビットフィールドは、各ビット重要度レベルにおける関心領域の外側の領域に対するＮ−Ｐ−Ｓ個のビットフィールドと共に符号化される。残りのＳ個のビットフィールド、関心領域の外側の領域に対する量子化インデックス中の一番下からＳ個のビットフィールドは、関心領域に対する全てのビットフィールドから分離される。
【００４０】
図６Ａ乃至６Ｃ中、多数の関心領域が符号化の異なる段階から異なる優先度で強調されるＲＯＩ係数スケーリング方法が図示される。この技術は図５Ａ乃至５Ｃを参照して記載される符号化の墓場からＲＯＩ係数スケーリング方法を繰り返し適用して、幾つかの量子化インデックスが図３Ａ乃至３Ｆ，４Ａ乃至４Ｆ，５Ａ乃至５Ｃに図示される方法によって最初から、又は符号化過程のいずれかの段階から既にスケールアップされている符号化過程の途中から他の関心領域を強調することに等しい。この方法は、符号化過程の途中において異なる関心領域を加えること又は既に選択されている関心領域の領域を拡張すること、又は、領域を幾つかの部分へ分割し各部分に対して異なる優先度を割り当てることによって符号化過程の異なる段階から部分毎に選択された関心領域を再構成することを可能とする。この場合もまた、受信側における符号化過程及び復号化過程が相互作用的に行われば、他の関心領域の選択及びその優先度の選択は受信側においてなされうる。
【００４１】
図７Ａ乃至７Ｄ中、ビット平面に基づく符号化器が用いられた場合のＲＯＩ係数スケーリングステップ１０７を通じた量子化インデックスのエントロピー符号化ステップ０８が図示される。本発明の特徴は、各ビット重要度レベルにおけるビット平面符号化器への入力である一組の量子化インデックスを変更すること、又は、ステップ１０７におけるＲＯＩ係数スケーリングの結果を用いて各量子化インデックス中のビットフィールドの符号化順序を変更することである。ＲＯＩ係数スケーリングの結果は、ビット平面符号化器によって符号化される各ビット平面と、各ビット平面の符号化順序とを決める。最も簡単なアプローチは、各ビット平面のビット重要度レベルに基づいて符号化順序を決定することである。他のアプローチは、係数の各カテゴリに対応して各ビット平面に対する符号化順序を別々に決定することである。例えば、関心領域に対応する係数からなるビット平面についての符号化順序は、関心領域の外側の領域に対応する係数からなるビット平面についての符号化順序とは別々に決定されうる。係数の各カテゴリに対して別々の符号化順序が使用されれば、各カテゴリに亘る符号化順序は任意に選択されえ、画像全体に対する符号化順序はより柔軟に選択されうる。ビット平面符号化器が、他のビット平面の符号化の結果又は情報を使用せずに各ビット平面を符号化する場合、各ビット平面の符号化順序は任意でありうる。本実施例で用いられるビット平面符号化器は２進算術符号化器といった２進エントロピー符号化器でありうる。ビット平面符号化は、各サブバンド中で画成される各ビット平面に対して、又は、サブバンドの各グループ中で画成される各ビット平面上で、望ましくは全てのサブバンド中で画成される各ビット平面上で実行されうる。
【００４２】
図７Ａ乃至７Ｄは、図３Ａ乃至３Ｆ、４Ａ及び４Ｂに図示されるようにＲＯＩ係数スケーリングが各ビットフィールドに対して用いられるように、各サブバンドにおいてビット平面符号化が行なわれる場合を示す図である。ＲＯＩ符号化は、符号化の最初から開始される。図７Ａ乃至７Ｄのエントロピー符号化では、ステップ１０７におけるＲＯＩ係数スケーリングによって決定されるビット重要度レベルと同じビット重要度レベルを有する変換係数の量子化インデックスの各ビットフィールドはグループ化され、ビット平面を形成する。或いは、ステップ１０７において同じ符号化又は情報順序が割り当てられた各ビットフィールドは、同一ビット平面へグループ化される。係数当たりのビット数（即ちインデックスの表現精度）がＮであり、選択された領域即ち関心領域の優先度がＳ（０＜＝Ｓ＜＝Ｎ）であるとき、ビット平面の数はＮ＋Ｓとなる。一番高い方からＳ個のビット重要度レベルにおけるビットフィールドからなるＳ個のビット平面は、関心領域の係数に関連する。次にＮ−Ｓ個のビット重要度レベルにおけるビットフィールドからなる次のＮ−Ｓ個のビット平面は、画像全体の係数に関連する。一番下からＳ個のビット重要度レベルにおけるビット要素からなる一番最後からＳ個のビット平面は、関心領域の外側の領域の係数に関連する。各ビット平面は、ビット平面符号化器によってビット平面毎に符号化される。より高い重要度レベルのビット平面は、より低い重要度レベルのビット平面よりも符号化過程の早い段階において符号化される。各ビット平面の符号化されたビットストリームは、符号化されたビットストリームの発生された部分がどのビット重要度レベルを表わすのかを識別するために使用される符号化タグに付加される。タグは、優先度、即ち、選択された関心領域に対する左ビットシフト値と共に、ビット部分が関心領域のみを示すのか、画像全体を示すのか、又は関心領域の外側の領域を示すのかを示す。
【００４３】
関心領域に対する優先度が最大であるとき、Ｎ、各ビット平面から発生される各ビット部分は、関心領域、又は関心領域の外側の領域のいずれかからなる。優先度が最大であるとき、関心領域に対するビット平面、及び残りの領域に対するビット平面は別々に符号化される。また、符号化順序と、関心領域と残りの領域との間の符号化されたビットストリームのビット部分の順序は任意であり得る。
【００４４】
各ビット平面の符号化において使用されるビットの数を計数すること、及び、関心領域、関心領域の外側の領域、又はその両方についてのビットの使用の限度が超過されたときに符号化過程を終了させることにより、関心領域及び関心領域の外側の領域に対して割り当てられたビットの数はより正確に制御される。関心領域に対する優先度が最大であれば、関心領域と残りの領域に対して割り当てられるビットの数は別々に制御されうる。
【００４５】
関心領域に対応するビットフィールドのみからなるビット平面、又は、関心領域の外側の領域に対応するビットフィールドのみからなるビット平面を符号化するとき、各ビット平面中のビットフィールドは、１次元信号に対するコンテキストモデル化を用いてエントロピー符号化されるよう１次元信号へ順序付けられるか、又は、２次元信号に対するコンテキストモデル化を用いて符号化されるよう２次元信号として維持される。各ビットフィールドが２次元信号として符号化される場合、関心領域の外側の座標上のビットフィールド又は関心領域の内側の座標上のビットフィールドは、幾つかのビット重要度レベルでは同一のビット平面上に存在しない。符号化されたビットレートを増加させないよう、これらの座標は符号化過程において符号化されるためにスキップされる。或いは、かかる座標をスキップするための計算上の複雑性を減少させるため、これらの座標は符号化中はスキップされないが、０の値のビットフィールドを有するかのように符号化される。これらの０値は、復号化過程中に排除される。０の代わりに、想定される値として１が使用されうる。
【００４６】
関心領域の優先度は、エントロピー符号化ステップ中に変更されうる。１つの例としては、エントロピー符号化ステップ中に関心領域に対する優先度を減少させることがある。即ち、関心領域に対して使用されるビット又はビットレートが所定の値に達すると、残る符号化過程のために関心領域を強調しないよう、優先度値が減少される。或いは、ウェーブレットドメインにおける関心領域の推定ＭＳＥ又はピーク信号対雑音比（ＰＳＮＲ）値が所定の値に達すると、優先度値が減少されうる。優先度が復号化側からのフィードバックによって制御されれば、推定ＭＳＥ又はＰＳＮＲが使用されるだけでなく、部分的に再構成された画像上で計算されるＭＳＥ又はＰＳＮＲもまた使用されうる。関心領域の優先度を、ビットレート、ＭＳＥ、ＰＳＮＲ又は、関心領域の圧縮性能に関連する他の尺度（例えばビットレート対ＭＳＥ）に基づいて制御することにより、符号化又は復号化システムが最も適したＲＯＩ符号化戦略を決めることが可能となる。更に、符号化側又は復号化側におけるユーザが戦略について決定することができる。ＲＯＩ符号化戦略は、ＲＯＩ係数スケーリングがいつ、どれだけ実行されるか、エントロピー符号化器によって符号化される関心領域及び残りの画像に対してどれだけのビットレートが割り当てられるか、関心領域の符号化過程がいつ終了されるか、及び関心領域の符号化及び復号化に使用される任意の他の情報について決める。
【００４７】
図８Ａ乃至８Ｃ中、ビット平面符号化が各サブバンド中で実行され、ＲＯＩ係数スケーリングが図５Ａ乃至５Ｃ及び図６Ａ乃至６Ｃに示されるよう（ＲＯＩ符号化が符号化の途中から開始する）一番下から幾つかのビット重要度レベルのビットフィールドに対してのみ使用される場合が示される。サブバンドに割り当てられる係数当たりのビット数（即ちインデックスの表現精度）がＮである場合、ＲＯＩ係数スケーリングは量子化インデックスの一番上からＰ個のビット平面の後に使用され、選択された領域即ち関心領域に対する優先度はＳ（０＜Ｓ＝Ｎ−Ｐ）であり、サブバンド中のビット平面の数はＰ＋Ｎ―Ｐ＋Ｓ＝Ｎ＋Ｓである。一番上からＰ個のビット平面は、各量子化インデックス中の一番上からＰ個のビット要素からなる。従って、一番上のＰ個のビット平面は画像全体を表わす。各量子化インデックスの一番下からＮ−Ｐ個のビットフィールドから、図６Ａ乃至６Ｃに示されるのと同じ方法（ステップ１０７においてスケールアップされた後に同じビット重要度レベルのビット要素をグループ化する）でＮ−Ｐ＋Ｓ個のビット平面が形成される。即ち、Ｎ−Ｐ＋Ｓ個のビット平面のうち一番上からＳ個のビット平面は、選択された領域即ち関心領域を表わし、次のＮ−Ｐ−Ｓ個のビット平面は画像全体を表わし、最後のＳ個のビット平面は関心領域の外側の領域を表わす。ＲＯＩ係数スケーリングが用いられないＰ個のビット平面は、各サブバンド中の一番上からＰ個のビット平面である必要はない。これらは、一番下からＰ個のビット平面又は中央のＰ個のビット平面でありうる。一番下からＰ個のビット平面である場合、各量子化インデックス中の一番上からＮ−Ｐ個のビット平面に対して、図３Ａ乃至３ＦのようなＲＯＩ係数スケーリング及び図７Ａ乃至７Ｄのようなエントロピー符号化が実行される。
【００４８】
図７Ａ乃至７Ｄに示されるように、各ビット平面に対する符号化されたビットストリーム又は各ビット平面の符号化されたビット部分はタグに付加され、サブバンドの符号化されたビットストリームを形成するよう連結される。また、各ビット平面中で使用されるビットの数を計数すること、又は、画像全体を表わす一番上からＰ個のビット平面で使用されるビットの数を計数するために、関心領域を表わす次の一番上からＳ個のビット平面、画像全体を表わす次のＮ−Ｐ−Ｓ個のビット平面、関心領域の外側の領域を表わす残りのＳ個のビット平面、関心領域の外側のため及び残る領域のために使用されうる多数のビットがより正確に制御されうる。
【００４９】
ＲＯＩ係数が生ずるビット重要度レベルは、エントロピー符号化過程中に、ビットレート、ウェーブレットドメイン中の推定ＭＳＥ又はＰＳＮＲ、及び関心領域の優先度によって肢愛知されうる。ＲＯＩ係数スケーリング技術を用いずに幾つかのビット平面を符号化するために使用されるビットレートが或る値に達する場合、スケーリング技術は、現在符号化されているビット平面の直後に符号化されるビット平面からより高い優先度で使用され始める。関心領域を表わすビット平面を符号化するために使用されるビットレートが他のある値に達すると、関心領域を残る符号化過程のために強調しないよう関心領域に対する優先度は低くされる。ＲＯＩ係数スケーリングがどのビット平面から使用されるか、関心領域に対する優先度がどのビット平面から低くされるかを決めるため、ビットレートの代わりに、画像全体又は関心領域に対してウェーブレットドメイン中で推定されたＭＳＥ値が使用されうる。
【００５０】
ビット割り当てステップ１０２において、各サブバンドに割り当てられた係数当たりのビット数が決められ、画像全体に対する所与のビットレートにおいて再構成された画像全体の歪みが減少される。各サブバンド中の各係数に対する係数当たりのビット数又はビットレートは、変換係数のより高い分散又はより高いエネルギーを有するサブバンドに対して係数当たりより多くのビットが割り当てられるよう決められる。量子化ステップ１０３に対して与えられるビット割り当ての結果は、各サブバンド中の係数当たりのビット数、量子化ステップサイズ、又はステップ１０３において量子化スキームを選択するためのパラメータでありうる。各サブバンド中で係数当たりのビット数、量子化ステップサイズ、又は量子化スキームが所定であれば、例えば損失のない符号化が実現されるとき、ビット割り当ては行なわれない。
【００５１】
領域選択器ステップ１０４において、ユーザによってディスプレイ上に表示された画像上で１つ以上の関心領域が選択される。表示された画像は、符号化されるべき完全な空間解像度の画像、又は画像のより低い解像度の変形のうちの１つである。画像のより低い解像度の変形において領域の選択が行われれば、符号化されるべき完全な解像度の画像中の対応する１つ以上の領域の座標を使用して、完全な解像度の画像中の関心領域に対応する変換係数が識別される。領域の選択は、自動目標認識システムが一組の規準に基づいて１つ以上の関心領域を画成する方法によっても実行されうる。自動目標認識システムは、関心領域を識別するために様々なアプローチを使用しうる。例えば、画像中の関心となる対象を識別するためにパターン認識ソフトウエアが使用されうる。
【００５２】
ＲＯＩ座標記述ステップ１０６では、各関心領域を記述するための座標は、画像の符号化されたビットストリームのオーバーヘッド情報として有効に送信又は記憶されるよう符号化される。選択された関心領域が矩形である場合、矩形の対角線の両端の２つの座標によって領域が記述される。選択された関心領域が円形であれば、円の中心座標と半径の長さによって領域が記述される。選択された１つ以上の領域が幾つかの矩形又は円形を結合したものである場合、各矩形又は円形は上述の方法で記述される。選択された関心領域が任意の形状であれば、領域の境界はチェーン符号化方法又はオブジェクト符号化方法といった任意の形状符号化方法によって符号化される。
【００５３】
送信器ステップ１０９において、エントロピー符号化ステップ１０８において発生された符号化されたビットストリームの部分は任意の順序で順序付けられる。符号化されたデータが画像のより低い解像度の変形が最も再構成される頻度が高いディスプレイ環境へ送信される場合、空間解像度に関連付けられる符号化されたビットストリームの部分は、より高い空間解像度に関連付けられる符号化されたビットストリームの部分よりも、符号化されたビットストリーム全体のより早い部分に順序付けられる。このビットストリームの部分の順序付けは、エントロピー符号化ステップにおいてビット部分が発生される符号化順序とビット部分の送信順序とが異なる場合は、ビット部分を再順序付けする。
【００５４】
ＲＯＩ係数識別段階１０５では、画像ドメイン中で選択された関心領域に対応する変換係数は、画像ドメインから変換ドメインへの逆ウェーブレット変換をトレースすること、又は、変換係数に対して行なわれるフィルタリング及びアップサンプリングによってどの変換係数から各画素値が再構成されるかを識別するために逆ウェーブレット変換手段をトレースすることによって識別される。この識別過程では、フィルタ係数は何の役割も果たさない。代わりに、フィルタ長及びフィルタサポート領域が使用される。フィルタサポート範囲が大きいほど、画像中の画素に対応する変換係数の数は大きくなる。この識別過程はウェーブレット変換の各レベルを通じて行われる。また、この識別は画像の各次元（垂直方向又は水平方向）又はサブバンドに沿って実行される。或いは、識別は、フィルタリング及びダウンサンプリングを含むウェーブレット変換の各レベルを通じた画像ドメインから変換ドメインへの順方向ウェーブレット変換をトレースすることによって実行されうる。
【００５５】
ここで、画像をＸ（ｋ０）、但し０＜＝ｋ０＜Ｋと示すものとする。１番目のレベルの分解された低域通過サブバンドはＬ１（ｋＬ１）、高域通過サブバンドはＨ１（ｋＨ１）、但し０＜＝ｋＬ１、ｋＨ１＜ｋ／２、と示し、２番目のレベルの分解された低域通過サブバンドはＬ２（ｋＬ２）、高域通過サブバンドはＨ２（ｋＨ２）、但し０＜＝ｋＬ２、ｋＨ２＜ｋ／２２、と示し、，…，Ｎ番目のレベルの分解された低域通過サブバンドはＬＮ（ｋＬＮ）、高域通過サブバンドはＨＮ（ｋＨＮ）、但し０＜＝ｋＬＮ、ｋＨＮ＜ｋ／２Ｎ、と示すものとする。従って、ウェーブレット変換、マレット型ウェーブレット分解、又は二項ウェーブレット分解は、Ｘが１レベル逆ウェーブレット変換によってＬ１及びＨ１から再構成され、Ｌ１がＬ２及びＨ２から再構成される、以下同様に再構成されてゆくものである。このように、ＸはＨ１，Ｈ２，．．．，ＨＮから再構成され、Ｌ１，Ｌ２．．．及びＬＮ−１はウェーブレット変換の各レベル及び逆ウェーブレット変換が実行されるのに使用されるサブバンドである。ｋ０＝ｋ０＿Ｒ（ｋ０＿Ｒｓ＜＝ｋ０＿Ｒ＜＝ｋ０＿Ｒｅ）が選択された関心領域中の画素である場合（但し、ｋ０＿Ｒは関心領域中の画素の座標であり、ｋ０＿Ｒｓ及びｋ０＿Ｒｅは関心領域の境界上の画素の座標であり、ｋ０＿Ｒは関心領域上の単一の画素でありえ（即ちｋ０＿Ｒ＝ｋ０＿Ｒｓ＝ｋ０＿Ｒｅ）、以下の説明では画像及び関心領域は１次元信号であると想定され、従って、ｋ０＿Ｒｓは関心領域中で最小の座標であり、ｋ０＿Ｒｅは関心領域中で最大の領域である）、Ｘ（ｋ０＿Ｒ）に対応する変換係数は、Ｌ１（）及びＨ１（）において、
Ｌ１（）におけるＲＯＩ係数：ｋＬ１＿Ｒｓ＜＝ｋＬ１＜＝ｋＬ１＿Ｒｅ
Ｈ１（）におけるＲＯＩ係数：ｋＨ１＿Ｒｓ＜＝ｋＨ１＜＝ｋＨ１＿Ｒｅ
として識別される。
【００５６】
すると、１番目のレベルの分解された低域通過信号Ｌ１（ｋＬ１）が画像であり、ｋＬ１＿Ｒｓ＜＝ｋＬ１＜＝ｋＬ１＿Ｒｅは関心領域であると想定すると、ｋＬ１＿Ｒｓ＜＝ｋＬ１＜＝ｋＬ１＿Ｒｅである場合にＬ１（ｋＬ１）に対応する変換係数は、Ｌ２（）及びＨ２（）において識別される。
【００５７】
Ｌ２（）におけるＲＯＩ係数：ｋＬ２＿Ｒｓ＜＝ｋＬ２＜＝ｋＬ２＿Ｒｅ
Ｈ２（）におけるＲＯＩ係数：ｋＨ２＿Ｒｓ＜＝ｋＨ２＜＝ｋＨ２＿Ｒｅ
である。
【００５８】
この過程は、サブバンドＬＮ及びＨＮが画像Ｘ（）中の画素ｋ０＿ＲについてのＲＯＩ係数識別を完了するまで繰り返される。
【００５９】
上述のように、ＲＯＩ係数識別は、選択された関心領域中の各画素について別々に実行されうる。このように、ＲＯＩ係数識別は関心領域の形状とは無関係である。しかしながら、この識別過程は関心領域中の全ての画素に対して実行される必要はない。実際、この識別過程は、図９に示されるように、関心領域の境界上の画素に対してのみ、また、関心領域の境界から１画素内側に配置される画素に対してのみ実行される。各画素に対応する変換係数の数はアップサンプリング（１番目のレベルの逆ウェーブレット変換の都度、フィルタリングを実行する前に各係数間に０を挿入すること）、又はダウンサンプリング（１番目のレベルの逆ウェーブレット変換の都度、フィルタリングが実行された後、１つおきに係数が排除されること）によって画素の位置に基づいて変更されうるため、境界上の画素に対応する変換係数は各サブバンド中のＲＯＩ係数からなる領域に対応する境界上にはないことがある。代わりに、関心領域の境界から１画素内側に配置される画素に対応する変換係数が各サブバンド中の対応する領域の境界上にありうる。境界上の画素及び境界から１画素内側の画素は、各サブバンド中の対応する領域の境界を形成する変換係数を識別するために必要且つ十分である。或いは、低域通過フィルタ及び高域通過フィルタの両方が偶数のフィルタ長を有する場合、各サブバンド中の対応する領域の境界を形成する変換係数を識別するために、境界上の画素のみが使用される。
【００６０】
境界及び境界から１画素内側の識別結果に基づき、残りの変換係数は、各サブバンド中の対応する領域の境界の各係数を選択することによって識別される。
【００６１】
Ｘ（ｋ０）（ｋ０＿Ｒｓ＜＝ｋ０＜＝ｋ０＿Ｒｅ）は選択された関心領域中の画素であると想定する（ｋ０＿Ｒｓ及びｋ０＿Ｒｅは関心領域の境界上の画素の座標であり、即ち関心領域中の最小の座標であり、ｋ０＿Ｒｅは他の関心領域の境界上の画素の座標であり、以下の説明では画像及び関心領域は１次元信号であると想定され、ｋ０＿Ｒｓは関心領域中で最小の座標であり、ｋ０＿Ｒｅは関心領域中で最大の領域である）。
【００６２】
対応する領域の左境界は、以下のように識別され、即ち、Ｘ（ｋ０＿Ｒｓ）に対応する変換係数は、Ｌ１（）及びＨ１（）において、
Ｌ１（）におけるＲＯＩ係数：ｋｓＬ１＿Ｒｓ＜＝ｋＬ１＜＝ｋｓＬ１＿Ｒｅ
Ｈ１（）におけるＲＯＩ係数：ｋｓＨ１＿Ｒｓ＜＝ｋＨ１＜＝ｋｓＨ１＿Ｒｅ
として識別される。
【００６３】
また、Ｘ（ｋ０＿Ｒｓ―１）に対応する変換係数は、
Ｌ１（）におけるＲＯＩ係数：ｋｓＬ１＿Ｒ’ｓ＜＝ｋＬ１＜＝ｋｓＬ１＿Ｒ’ｅ
Ｈ１（）におけるＲＯＩ係数：ｋｓＨ１＿Ｒ’ｓ＜＝ｋＨ１＜＝ｋｓＨ１＿Ｒ’ｅ
として識別される。
【００６４】
ｋｓＬ１＿ＲｓとｋｓＬ１＿Ｒ’ｓのうちの小さいほうがＬ（）における対応する領域の左境界上にあり、ｋｓＨ１＿ＲｓとｋｓＨ１＿Ｒ’ｓのうちの小さいほうがＨ（）における対応する領域の左境界上にある。
【００６５】
対応する領域の右境界は、以下のように識別され、即ち、Ｘ（ｋ０＿Ｒｅ）に対応する変換係数は、Ｌ１（）及びＨ１（）において、
Ｌ１（）におけるＲＯＩ係数：ｋｅＬ１＿Ｒｓ＜＝ｋＬ１＜＝ｋｅＬ１＿Ｒｅ
Ｈ１（）におけるＲＯＩ係数：ｋｅＨ１＿Ｒｓ＜＝ｋＨ１＜＝ｋｅＨ１＿Ｒｅ
として識別される。
【００６６】
また、Ｘ（ｋ０＿Ｒｅ―１）に対応する変換係数は、
Ｌ１（）におけるＲＯＩ係数：ｋｅＬ１＿Ｒ’ｓ＜＝ｋＬ１＜＝ｋｅＬ１＿Ｒ’ｅ
Ｈ１（）におけるＲＯＩ係数：ｋｅＨ１＿Ｒ’ｓ＜＝ｋＨ１＜＝ｋｅＨ１＿Ｒ’ｅ
として識別される。
【００６７】
ｋｅＬ１＿ＲｅとｋｅＬ１＿Ｒ’ｅのうちの大きいほうがＬ（）における対応する領域の右境界上にあり、ｋｅＨ１＿ＲｅとｋｅＨ１＿Ｒ’ｅのうちの大きいほうがＨ（）における対応する領域の右境界上にある。
【００６８】
或いは、ＲＯＩ係数識別は、関心領域中の各画素に対して実行される。関心領域中の各画素に対応する一組の変換係数は、画素に対して行なわれる一組のウェーブレット変換又は画素値を再構成する一組の逆ウェーブレット変換をトレースすることによって識別される。関心領域中の各画素に対応する各サブバンド中の識別された係数の組は、関心領域に対応する係数カテゴリに属するサブカテゴリへ分類され、それにより識別結果は、関心領域全体をスケールアップ及びスケールダウン又は再構成するために使用されると共に、関心領域の任意の部分をスケールアップ及びスケールダウン又は再構成するために使用されうる。幾つかの識別された係数は、ウェーブレット変換又は逆ウェーブレット変換において使用される低域通過フィルタ又は高域通過フィルタの重なり合いにより、複数のサブカテゴリに属する。各識別された係数が対応する画素の数に基づいて、各サブカテゴリはサブサブカテゴリへ分割されうる。最終的には、各識別された係数は、関心領域中で係数に対してどの画素及びいくつの画素が対応するかを示す属性を有しうる。この属性は、関心領域中の画素に加えて、関心領域の外側のいくつの画素が係数に対して対応するかを示しうる。
【００６９】
図１０Ａ乃至１０Ｂに示されるように、ウェーブレット変換は、フィルタ係数がｇＡ（ｋ）である低域通過フィルタと、フィルタ係数がｆＡ（ｋ）である高域通過フィルタと、画素又は変換係数を一つおきに排除するダウンサンプリング器とによって達成される。１次元信号に対する１レベルウェーブレット変換とは、信号Ｘを低域通過サブバンドＬ及び高域通過サブバンドＨへ分解することである。低域通過サブバンドＬは、信号Ｘに対して低域通過フィルタリングを適用し、低域通過フィルタリングされた信号に対してダウンサンプリングを行なうことによって得られる。高域通過サブバンドＨは、信号Ｘに対して高域通過フィルタリングを適用し、高域通過フィルタリングされた信号に対してダウンサンプリングを行なうことによって得られる。
【００７０】
信号が画像といった２次元信号であれば、１レベル分解とは、Ｘ上の１次元信号に対する１レベル分解を、水平方向又は垂直方向に行なってＬ及びＨを得ることである。すると、１次元信号に対する同じ分解が他の方向でＬ及びＨに対して実行され、ＬＬ１及びＬＨ１と、ＨＬ１及びＨＨ１とが得られる。ＬＬ１に対して同じ分解が実行されれば、ＬＬ２，ＬＨ２，ＨＬ２，ＨＨ２が得られ、ＸはＬＬ２，ＬＨ２，ＨＬ２，ＨＨ２，ＬＨ１，ＨＬ１及びＨＨ１へ分解される。
【００７１】
ＬＬサブバンドに対してのみ１レベル分解を実行することによって全ての分解がなされるサブバンド分解は、マレットウェーブレット分解、又は単にウェーブレット分解と称される。１レベル分解が各サブバンドに対して等しく繰り返されるサブバンド分解は、ｓｐａｃｌウェーブレット分解と称される。１レベル分解が各サブバンドに対して任意に繰り返されるサブバンド分解は、ウェーブレットパケット分解と称される。
【００７２】
逆ウェーブレット変換は、各画素又は係数間に０を挿入するアップサンプリング器と、フィルタ係数がｇＳ（ｋ）である低域通過フィルタと、フィルタ係数がｆＳ（ｋ）である高域通過フィルタとによって達成される。１次元信号に対する１レベルウェーブレット組立とは、低域通過サブバンドＬ及び高域通過サブバンドＨを信号Ｘへ組み立てることである。この１レベル組立では、Ｌは、２でアップサンプリングされ、低域通過フィルタを通され、Ｈは２でアップサンプリングされ、低域通過フィルタを通され、アップサンプリングされフィルタリングされたＬ及びＨは加算されてＸを組み立てる。この１レベル組立は各分解されたサブバンドに対して実行され、任意のレベル及び任意のタイプの逆ウェーブレット変換を実行する。
【００７３】
図２中、図１において選択された関心領域が強調されて符号化された画像の圧縮解除方法が図示される。図２中、復号化方法２００は、ヘッダビット及びデータビットからなる符号化されたビットストリームを受信する受信器ステップ２０１を含む。ステップ２０１に続いて、領域座標復号化ステップ２０２及びエントロピー復号化ステップ２０４がある。ステップ２０２において、領域座標の符号化されたデータが復号化され、再構成画像中で強調されて再構成されるべき関心領域（ＲＯＩ）の座標が得られる。復号化されたＲＯＩ座標は、ＲＯＩ係数識別ステップ２０３に与えられ、関心領域に対応するウェーブレット変換係数が識別される。ＲＯＩ係数識別結果は、エントロピー復号化ステップ２０４及びＲＯＩ係数逆スケーリングステップ２０５において使用される。
【００７４】
エントロピー復号化ステップ２０４において、受信器ステップ２０１において受信されたデータビットを伴う入来ビットストリームに対してエントロピー復号化が行なわれる。復号化されたビットは、各変換係数の量子化インデックスの２進表現の各ビットフィールドについて得られる。各量子化インデックスでは、より高いビット重要度レベルのビットフィールドが、より低いビット重要度のビットフィールドよりも早く符号化される。換言すれば、エントロピー復号化は、ビット重要度の降順で量子化インデックス中の各ビットフィールドを得るために実行される。関心領域に対応する係数としてどの量子化インデックスがスケールアップされるかを知るために、エントロピー復号化過程はステップ２０３におけるＲＯＩ係数識別結果を参照し、受信器ステップ２０１において受信されたヘッダビットから関心領域に割り当てられた優先度値を取り出す。ステップ２０４において使用されるエントロピー復号化器は、ビット平面復号化技術又はＳＰＩＨＴ復号化技術を用いる。エントロピー符号化がビット平面符号化技術によってなされる場合、復号化は対応するビット平面復号化技術によってなされねばならない。エントロピー符号化がＳＰＩＨＴ符号化技術によってなされる場合、復号化はＳＰＩＨＴ復号化技術によってなされねばならない。エントロピー復号化されたビットは、量子化インデックスの２進表現のビットフィールド値として編成され、量子化インデックスとしてＲＯＩ係数逆スケーリングステップ２０５に与えられる。
【００７５】
ステップ２０５において、関心領域に対応する量子化インデックスは、ステップ２０６において量子化インデックスに対する逆量子化を行なうためにスケールダウンされる。符号化過程においてスケールアップされた量子化インデックスは、符号化過程において用いられた値と同じ量のビットシフト値の値だけスケールダウンされるため、スケールダウン中には情報は失われない。どの量子化インデックスがスケールダウンされるかは、ステップ２０３におけるＲＯＩ係数識別によって与えられ、インデックスがどれだけのビットシフトだけスケールダウンされるかはステップ２０１において受信されるヘッダビットから取り出される。
【００７６】
逆量子化ステップ２０６において、量子化インデックスに対して逆量子化が行なわれ、各サブバンド中の逆量子化された変換係数が得られる。逆量子化スキームは、ヘッダビットから取り出されうる量子化ステップサイズ、係数当たりのビット数、又は量子化テーブルによって指定される。
【００７７】
逆ウェーブレット変換ステップ２０７において、各サブバンド中の逆量子化された変換係数に対して逆ウェーブレット変換が行なわれ、再構成された画像が得られる。ウェーブレット分解レベルの数及びウェーブレット分解の種類は、ステップ２０１において符号化されたビットストリームから取り出されたヘッダビットによって与えられる。数及び種類は、符号化器において使用されるものと同じでなくてはならない。
【００７８】
領域座標復号化ステップ２０２において、符号化方法１００中のＲＯＩ座標記述ステップ１０６において形成された関心領域の座標に関する符号化されたデータが復号化され、ＲＯＩ座標が得られる。ステップは、ステップ１０６のＲＯＩ座標記述を逆の順に行なうことによって実行される。換言すれば、ステップ２０２は、ステップ１０６を、ステップ１０６の出力がステップ２０２への入力となり、ステップ１０６への入力がステップ２０２の出力となるよう実行することである。復号化されたビットストリーム中で多数の関心領域が強調される場合、ステップ２０２は各関心領域についての座標を復号化する。
【００７９】
ＲＯＩ係数識別段階２０３において、符号化方法１００中のステップ１０５と同じ過程が実行される。復号化側において同じ過程が繰り返される理由は、符号化されたビットストリーム中の選択された関心領域を指定する情報は、ステップ２０２への入力として与えられる画像ドメインの記述の形式の方が、ステップ２０３を通して得られるウェーブレットドメインの記述の形式よりも効率的に送信又は保存されうるためである。符号化されたビットストリーム中の選択中に多数の関心領域が存在する場合、各関心領域に対応するＲＯＩ系巣が識別され、各カテゴリへ分類される。
【００８０】
エントロピー復号化ステップ２０４において、ステップ１０８のエントロピー符号化において発生された符号化されたビットストリームが復号化される。ステップ１０８においてビット平面符号化器が用いられる場合、ステップ２０４において対応するビット平面復号化器が用いられる。ステップ２０４は、符号化方法１００のステップ１０８のエントロピー符号化を逆の順でエントロピー復号化を行なうことである。この復号化器は、符号化の異なる段階から開始する多数の関心領域を異なる優先度で、ＲＯＩ符号化が符号化の最初から開始し、ＲＯＩ符号化が符号化の途中から開始するよう扱うことができる。
【００８１】
ステップ２０４において、符号化されたビットストリームは、各サブバンドについての符号化タグを探すことにより各サブバンドについての一組のビットストリームへ分割される。すると、各サブバンドについての各ビットストリームは、各ビット平面についての符号化タグを探すことにより各ビット平面についての一組のビットストリームへ分離される。各ビット平面についての各ビットストリームは、ビット平面復号化器によってエントロピー復号化される。ビット平面復号化は、ビット重要度レベルの降順に行なわれる。各サブバンド中のビット平面の数は、各サブバンドについて係数当たりのビット数の加算及び関心領域に割り当てられた優先度（左ビットシフト値）によって与えられる。各復号化されたビットがどのビットフィールドに割り当てられるかは、ステップ２０３において得られたＲＯＩ係数識別結果とビット平面の数及び関心領域に対する優先度によって決められる。
【００８２】
各サブバンドに対するビットレートは、ステップ２０４において制御されうる。最も簡単な方法は、各サブバンドについてのビットストリームを所望のビットレート又は所望のビット数で切り捨てることである。関心領域に対する優先度制御及び符号化側において関心領域を強調する開始段階を指定することにより、所与のビットレートにおける関心領域及び残りの画像についてのビット割り当ては、各サブバンドについてのストリームの切り捨てと共におおまかに制御することができる。しかしあんがら、関心領域を表わす一組のビット平面のストリームについてのビットレートが１つのレート制御器で制御される場合（１）、関心領域及び残りの画像の両方を表わす一組のビット平面のストリームについてのビットレートが１つのレート制御器で制御される場合（２）、及び、関心領域の外側の領域を表わす一組のビット平面のストリームについてのビットレートが他のレート制御器で制御される場合（３）、関心領域及び残りの画像に割り当てられたビットレートは、画像全体に対して所与のビットレートでより正確に制御される。関心領域に対する優先度が最大であれば、全てのビット平面は関心領域又は残りの画像のいずれかを表わす。このように、（１）及び（３）についてレート制御器を与えることにより、ビット精度によって、関心領域についてのビットレートを制御すること、及び残りの画像のレートを制御することが可能となる。
【００８３】
ＲＯＩ係数逆スケーリングステップ２０５において、関心領域に対応する量子化インデックスの値又は関心領域に対応する量子化インデックスのビット重要度レベルは、スケールダウンされる。
【００８４】
このステップの詳細は、ステップ１０７への入力がステップ２０５への出力であり、ステップ１０７の出力がステップ２０５への入力であり、ステップ１０７におけるスケールアップがステップ２０５におけるスケールダウンに対応することを除き、符号化方法１００におけるＲＯＩ係数スケーリングステップ１０７と同じである。また、ステップ１０７における符号化順序はステップ２０５における復号化順序に対応する。
【００８５】
逆量子化ステップ２０６において、符号化方法１００中のステップ１０３において使用される量子化スキームによって量子化された変換係数を復元する逆量子化スキームが使用される。量子化が符号化器においてスカラー量子化によって行なわれれば、逆量子化はスカラー逆量子化によって行なわれねばならない。量子化がトレリス符号化された量子化によって行なわれれば、逆量子化はトレリス符号化された逆量子化によって行なわれねばならない。逆量子化の表現レベルは、量子化器における決定レベルの中点でありえ、又は各サブバンドについて量子化インデックス値の分布を想定することによって計算される決定レベルの重心でありうる。量子化が符号化器において行われない場合であっても、整数ウェーブレット変換が用いられ、符号化及び復号化の両方が損失がないよう実行される場合を除き、復号化器において逆量子化が行なわれる。符号化が損失がないよう行なわれ、復号化がいくらかの損失を伴って行なわれる場合、量子化は符号化過程において行なわれず、復号化過程において逆量子化が行なわれる。
【００８６】
逆ウェーブレット変換ステップ２０７において、符号化方法１００中のステップ１０１において用いられたウェーブレット変換によって分解される画像を再構成する逆ウェーブレット変換が用いられる。
【００８７】
図１１中、関心領域に対して関心領域の外側の領域よりも多くのビットを割り当てることにより画像中の選択された関心領域を強調した画像圧縮方法が図示される。この符号化方法と図１の方法の主な差異は、この方法では変換係数に対して量子化が行なわれる前にＲＯＩ係数スケーリングが行なわれることである。図１のステップと異なるステップは、ＲＯＩ係数スケーリングステップ及びエントロピー符号化ステップである。残りのステップは同じである。
【００８８】
図１１中、符号化方法１１００は、入力ディジタル画像の画素値に対してウェーブレット変換を行なうステップ１１０１を含み、それにより入力画像は変換係数からなる一組のサブバンドによって表わされる。ステップ１１０１の後に、ビット割当てステップ１１０２及びＲＯＩ係数スケーリングステップ１００３が続く。ステップ１１０２において、各サブバンドの変換係数に対して割り当てられる係数当たりのビット（係数当たりのビット数）（即ち係数の表現精度）決められる。同様に、各サブバンドに対する量子化ステップサイズが決められうる。割り当てられる係数当たりのビット数又は各サブバンドについての量子化ステップサイズが所定である場合、ステップ１１０２は実行されない。割り当てられた係数当たりのビット数は量子化ステップ１１０７において使用される。ステップ１１０２においてステップ１１０１によって与えられる変換係数に基づいてビット割り当てを行なう代わりに、ステップ１１０３を通じてスケールアップされた変換係数に基づいてビット割り当てが行われうる。
【００８９】
ステップ１１０１、１１０２及び１１０３の前、後、又は一緒に、関心領域選択ステップ１１０４、ＲＯＩ係数識別ステップ１１０５、及びＲＯＩ座標記述ステップ１１０６が実行される。ステップ１１０４において、入力画像上で関心領域が選択され、選択された関心領域選択の座標がステップ１１０５及び１１０６に入力される。ステップ１１０５において、各サブバンド中の選択された関心領域に対応するウェーブレット変換係数、即ちＲＯＩ係数が識別され、ウェーブレット変換係数を含む各サブバンド中のＲＯＩ係数を強調することによって画像中の選択された関心領域が強調される。変換係数が各関心領域に対応するか関心領域の外側の領域に対応するかを示すＲＯＩ係数の識別結果（即ち係数のカテゴリ）は、ステップ１１０３へ入力される。ＲＯＩ座標記述ステップ１１０６において、ＲＯＩ座標情報を有効に送信又は記憶するために、選択された関心領域の座標が符号化される。
【００９０】
ＲＯＩ係数スケーリングステップ１１０３において、ステップ１１０３から供給される変換係数、即ち関心領域に対応する変換係数のみが、選択された関心領域に割り当てられたスケーリング値で係数値を乗算することによって強調される。スケーリングにより、関心領域に対応する変換係数は、量子化ステップ１１０７においてより多くのビットで量子化され、他の変換係数よりも詳細に表わされる。左ビットシフト値がスケーリング値として使用される場合、対応する変換係数は係数値の左ビットシフトによって強調される。ステップ１１０５において形成されるＲＯＩ係数の識別結果は、どの係数をスケールアップするかを選択するために使用される。ステップ１１０３においてスケールアップされた変換係数を含む全ての変換係数は、量子化されるべく量子化ステップ１１０７に与えられる。続く段階は、どの係数がスケールアップされるかとは無関係である。均一な量子化器が使用され、関心領域のスケーリング値が量子化ステップサイズ又は整数値によって乗算されたステップサイズであれば、ＲＯＩ係数スケーリングは量子化ステップの後になされうる。この場合、符号化方法１１００は、図１の方法と同様である。
【００９１】
ステップ１１０７において、量子化は各サブバンド中の変換係数に対して行なわれ、割り当てられた係数当たりのビット数又は各サブバンドについての量子化ステップサイズによって指定される表現精度を有する量子化インデックスで各サブバンドの変換係数が表わされる。ステップ１１０７を通じて、変換係数値の減少された又は同じ表現精度を有する変換係数を表わす量子化インデックスが得られる。得られた量子化インデックスは、エントロピー符号化ステップ１１０８へ与えられる。
【００９２】
エントロピー符号化ステップ１１０８において、量子化インデックスの２値表現の各ビット要素に対してエントロピー符号化が行なわれ、それにより符号化されたデータストリームが形成され、このデータストリームは、量子化インデックスのより高いビット重要度レベルにおけるビットフィールドから発生される符号化されたビットが、より低いビット重要度レベルのビットフィールドから発生される他の符号化ビットよりもビットストリームのより早い部分に配置されるよう形成される。各サブバンド中の変換係数の各ビットフィールドの符号化順序は、符号化技術によって異なる。ステップ１１０８における望ましい符号化技術は、２進算術符号化技術といったビット平面符号化、又は、ＳＰＩＨＴ符号化といったゼロ木符号化技術である。
【００９３】
送信器ステップ１１０９において、画像のサイズ、ウェーブレット分解レベルの数、各サブバンドについての係数当たりのビット数又は量子化ステップサイズ、ＲＯＩ記述情報、及び関心領域に割り当てられた優先度又は左ビットシフト値といったヘッダビットは、エントロピー符号化器によって形成されるデータビットに付加される。付加されたデータは、符号化ビットストリームとして送信又は記憶される。
【００９４】
多数の関心領域を強調しようとするとき、ステップ１１０４において多数の関心領域が識別され、ステップ１１０５において各関心領域に対応するＲＯＩ係数が識別され異なるカテゴリへ分類され、ステップ１１０６において各関心領域又は全ての関心領域についての座標が符号化される。多数の関心領域についてのステップ１１０４、１１０５、１１０６は、多数の関心領域についての符号化方法１００（図１）のステップ１０４、１０５、１０６と同じである。ステップ１１０３において、各カテゴリ中の変換係数の値は、それら地震のスケーリング値によってスケールアップされる（各関心領域に割り当てられたスケーリング値によって乗算される）。結果として、各関心領域は異なって強調されて符号化されえ、各関心領域の画質は別々に制御されうる。
【００９５】
図１２中、選択された関心領域が強調されて図１１の符号化方法によって符号化された画像の圧縮解除の方法が示される。図１２の復号化方法と図２の復号化方法の重要な差異は、図１２ではＲＯＩ係数逆スケーリングが行なわれる前に逆量子化が行なわれるのに対して、図２ではＲＯＩ係数逆スケーリングの後に逆量子化が行なわれることである。図２のステップとは異なるステップは、エントロピー復号化ステップ及びＲＯＩ係数逆スケーリングステップである。残りのステップは同じである。
【００９６】
図１２中、復号化方法１２００は、ヘッダビット及びデータビットからなる符号化されたビットストリームを受信する受信器ステップ１２０１を含む。ステップ１２０１に続いて、領域座標復号化ステップ１２０２及びエントロピー復号化ステップ１２０４がある。ステップ１２０２において、領域座標の符号化されたデータが復号化され、再構成画像中で強調されて再構成されるべき関心領域（ＲＯＩ）の座標が得られる。復号化されたＲＯＩ座標は、ＲＯＩ係数識別ステップ１２０３に与えられ、関心領域に対応するウェーブレット変換係数が識別される。ＲＯＩ係数識別結果は、ＲＯＩ係数逆スケーリングステップ１２０６において使用される。
【００９７】
エントロピー復号化ステップ１２０４において、受信器ステップ１２０１において受信されたデータビットを伴う入来ビットストリームに対してエントロピー復号化が行なわれる。復号化されたビットは、各変換係数の量子化インデックスの２進表現の各ビットフィールドについて得られる。各量子化インデックスでは、より高いビット重要度レベルのビットフィールドが、より低いビット重要度のビットフィールドよりも早く符号化される。ステップ１２０４において使用されるエントロピー復号化器は、ビット平面復号化技術又はＳＰＩＨＴ復号化技術を用いる。エントロピー符号化がビット平面符号化技術によってなされる場合、復号化は対応するビット平面復号化技術によってなされねばならない。エントロピー符号化がＳＰＩＨＴ符号化技術によってなされる場合、復号化はＳＰＩＨＴ復号化技術によってなされねばならない。エントロピー復号化されたビットは、量子化インデックスの２進表現のビットフィールド値として編成され、量子化インデックスとして逆量子化ステップ１２０５に与えられる。
【００９８】
逆量子化ステップ１２０５において、量子化インデックスに対して逆量子化が行なわれ、各サブバンド中の逆量子化された変換係数が得られる。逆量子化スキームは、ヘッダビットから取り出されうる量子化ステップサイズ、係数当たりのビット数、又は量子化テーブルによって指定される。
【００９９】
ステップ１２０６において、再構成された画像上で強調されるべき関心領域に対応する変換係数の値がスケールダウンされる。スケールダウンは、対応する変換係数の値を、受信器ステップ１２０１において受信されたヘッダビットから取り出されたスケーリング値によって割り算することによって行なわれる。スケーリング値が左ビットシフト値によって指定されるとき、係数値に対してスケーリング値によって右ビットシフトを行なうことによってスケールダウンがなされる。
【０１００】
逆ウェーブレット変換ステップ１２０７において、各サブバンド中の変換係数に対して逆ウェーブレット変換が行なわれ、再構成された画像が得られる。ウェーブレット分解レベルの数及びウェーブレット分解の種類は、ステップ１２０１において符号化されたビットストリームから取り出されたヘッダビットによって与えられる。数及び種類は、符号化器において使用されるものと同じでなくてはならない。
【０１０１】
多数の関心領域を強調しようとする場合、受信器ステップ１２０１から受信されたヘッダビットに基づいて、ステップ１２０３において、各関心領域に対応するＲＯＩ係数が識別される。ＲＯＩ係数識別結果及びヘッダビットによって与えられる各関心領域に割り当てられた優先度又はスケーリング値に基づいて、各関心領域に対応する変換係数は各関心領域の優先度によってスケールダウンされる。
【０１０２】
図１３は、符号化及び復号化がブロック毎に行なわれる関心領域符号化を示す図である。この符号化及び復号化スキームでは、画像は、矩形、方形、線、又は矩形、方形、及び線のうちの幾つか又は全ての組合せの形状の一組のブロック（即ち画像の小さい部分）へ分割され、各ブロックは符号化器への別々の入力又は復号化器への別々の出力として扱われる。関心領域の外側の各ブロックは、ＲＯＩ機能を用いず（ＲＯＩ係数を識別せず、スケールアップを実行せず）に、図１又は図１１に示される符号化方法によって符号化される。ブロックが関心領域の外側にあることを識別する符号化タグは、関心領域の外側のブロックに対する符号化されたビットストリームに付加される。関心領域の内側の各ブロックもまたＲＯＩ機能を用いずに符号化され、或いは関心領域の内側のブロックはＲＯＩ係数スケーリングといったＲＯＩ機能を用いて符号化されうる。ブロックが関心領域の内側にあることを識別する符号化タグは、関心領域の内側のブロックに対する符号化されたビットストリームに付加される。関心領域の境界に重なり合う各ブロックは、ＲＯＩ機能と共に図１又は図１１の符号化方法によって符号化される。関心領域の境界を識別する符号化タグは、関心領域の境界に重なり合うブロックに対する符号化されたビットストリームに付加される。各ブロックに対するビットレートは、関心領域中のブロックに最も高いビットレートが割り当てられ、関心領域に重なり合うブロックに次に高いビットレートが割り当てられ、関心領域の外側のブロックに最も低いビットレートが割り当てられるよう割り当てられる。或いは、符号化側及び復号化側における計算上の複雑性を減少させるため、関心領域の境界に重なり合うブロックは、関心領域中の画素の数、関心領域中の画素の割合、又は任意の他の規準に従って、関心領域の内側のブロック又は関心領域の外側のブロックとみなされる。
【０１０３】
各ブロックに対する各ビットストリームは、各ブロックが符号化されるよう画像全体に対する符号化されたビットストリームへ整列されるか、又は、関心領域の内側にあるブロックに対するビットストリームが最初に整列され、関心領域の境界に重なり合うブロックに対するビットストリームが次に整列され、関心領域の外側にあるブロックに対するビットストリームが最後に整列されうる。後者の場合、各ブロックに対する符号化タグは、画像中の位置を指定する位置情報を有さねばならない。
【０１０４】
各ブロックに対するビット部分に割り当てられる符号化タグに基づいて、復号化は、図２の復号化方法によって行なわれるか（図１の符号化方法が用いられた場合）、図１２の復号化方法によって行なわれる（図１１の符号化方法が用いられた場合）。関心領域の内側又は外側のブロックを示すタグに先行されるビット部分に対しては、復号化はＲＯＩ機能を用いずに実行される。関心領域の内側のブロックの符号化がＲＯＩ係数スケーリングといったＲＯＩ機能を用いて行なわれれば、関心領域の内側のブロックの復号化はＲＯＩ機能によってなされる必要がある。関心領域に重なり合うブロックを示すタグによって先行されるビット部分に対しては、復号化はＲＯＩ機能によって実行される。
【０１０５】
デフォルトにより、所与のビットレートで関心領域の内側のブロックに最も高いビットレートが割り当てられ、関心領域に重なり合うブロックに次に高いビットレートが割り当てられ、関心領域の外側のブロックに最も低いビットレートが割り当てられるよう割り当てられる。しかしながら、各ブロックに対するビットレートは別々に制御されうる。復号化側がより高い忠実度で関心領域として指定されなかった領域を再構成しようとする場合、新たに画成された領域内のブロックにより高いビットレートが割り当てられる。
【０１０６】
図１又は図１１のようにサブバンド分類が符号化器において用いられれば、各サブバンドは変換係数を含む幾つかのシーケンスへ分類される。各サブバンド中でＲＯＩ係数スケーリングを実行する代わりに、ＲＯＩ係数スケーリングは量子化インデックス又は各シーケンス中の変換係数に対して実行されうる。エントロピー符号化はまた、各シーケンスのスケールアップされた結果に対して実行される。符号化方法は、各シーケンスが図１又は図１１の符号化方法中の各サブバンドであると想定されれば、図１の方法又は図１１の方法でありうる。シーケンスに基づく技術は、各シーケンスをサブバンドから各シーケンスが発生された後のサブバンドであると扱うことによって、全ての種類のＲＯＩ係数スケーリング技術を用いて図１及び図１１の符号化方法に適用される。
【０１０７】
画像の符号化されたビットストリームが、サブバンド分類技術を用いる符号化方法によって発生されるとき、エントロピー復号化及びＲＯＩ係数係数逆スケーリングが行われ、それにより係数を含む各シーケンスが得られる。すると、同一のサブバンドから生ずる幾つかのシーケンスは、逆ウェーブレット変換が実行されうるよう、各サブバンドへ逆分類される。各シーケンスに対する各ビット部分が各サブバンドに対するビット部分であると想定されれば、復号化は図２又は図１２による復号化方法によってなされる。符号化方法と同様、図２又は図１２に示される復号化方法は、各シーケンスを逆ウェーブレット変換を実行するためにサブバンドに対してシーケンスが形成されるまで各ステップにおける各サブバンドであると扱うことによって、サブバンド分類技術と共に使用されうる。
【０１０８】
図１又は図１１に示される符号化方法における各サブバンド又は各シーケンス中の各係数ブロックに対してエントロピー符号化がなされるとき、図３Ａ乃至図６ＣによるＲＯＩ係数スケーリング方法及び図７Ａ乃至８Ｃによるエントロピー符号化方法は、各係数ブロックに対して実行される。各係数ブロックに対してエントロピー符号化を実行するため、各サブバンド又は各係数シーケンスは係数ブロックへ分割される。各サブバンド又はシーケンスは、同一の形状又は異なる形状のブロックへ分割されうる。ブロックは、矩形、方形、又は線、或いは、矩形、方形、及び線の幾つか又は全ての組合せでありうる。各ブロックを扱うための計算上の複雑性を減少させるため、全てのサブバンドは同一の形状の等しい数のブロックを有するか、又は、同一の形状の等しいサイズのブロックを有しうる。各ブロックは別々に符号化される。関心領域に対応しないブロックは、ＲＯＩ係数スケーリング方法を用いずに符号化される。ブロックが関心領域の外側にあることを示す符号化タグは、ブロックの符号化されたビットストリームに付加される。関心領域に対応するブロックはＲＯＩ係数スケーリング方法を用いて符号化される。ブロックが関心領域に対応することを示す符号化タグは、ブロックの符号化されたビットストリームに付加される。符号化タグは、ブロック中の全ての係数が関心領域に対応すること、又は、ブロック中の幾つかの係数が関心領域に対応することを示しうる。ブロック中の全ての係数が関心領域に対応する場合、符号化はＲＯＩ係数スケーリング方法を用いずに行なわれうる。
【０１０９】
或いは関心領域に対応する係数及び関心領域の外側の領域に対応する係数を有するブロックは、関心領域にのみ属する係数を有するブロックとして、又は関心領域の外側の領域にのみ属する係数を有するブロックとして分類されうる。分類は関心領域に対応する係数の数、関心領域に対応する係数の数と各ブロック中の係数数の比率、又は任意の他の規準に基づく。全てのブロックに対する符号化は、ＲＯＩ係数スケーリング方法を用いずになされる。実際、各ブロックの符号化されたビットストリームを関心領域に対するストリーム又は関心領域の外側の領域に対するストリームのいずれかとして区別する符号化タグは、各ブロックの符号化されたビットストリームに付加され、それにより復号化器はどのビット部分が関心領域に対応するかを特定できる。
【０１１０】
エントロピー符号化が各サブバンド又はシーケンス中の各係数ブロックに対して行なわれる場合、符号化側において使用されるエントロピー符号化方法及びＲＯＩ係数スケーリング方法に対応する図２又は図１２において使用されるようなエントロピー復号化方法及びＲＯＩ係数逆スケーリング方法は各ブロックに対してなされる。この復号化の場合、符号化側において指定されていない関心領域又は復号化側によってのみ指定される関心領域は、画像の残りよりも高い忠実度で再構成されうるか、又は選択的に再構成されうる。新たに指定された関心領域に基づいて、関心領域に対応する変換係数は図９の方法によって指定される。新たに画成された関心領域に対応する係数を含む係数ブロックは、サブバンド中の他のブロックよりも高いビットレートで再構成される。関心領域に対応する係数のみを含む係数ブロックには、最も高いビットレートが割り当てられる。関心領域に対応する係数のみを含む係数ブロック及び関心領域の外側の領域に対応する係数のみを含む係数ブロックには、同じビットレート、より低いビットレート、又は最も低いビットレートが割り当てられる。関心領域に対応する係数を含まない係数ブロックには、最も低いビットレートが割り当てられる。ブロックに０ビットが割り当てられれば、ブロックは画像を再構成するためには使用されない。
【０１１１】
各ブロックに対するビット割り当ては、各ブロック中の関心領域に対応する係数の数に基づいてより正確に実行されうる。ブロック中の関心領域に対応する係数の数が大きいほど、ブロックには画像を再構成するためのより多くのビットレートが割り当てられる。ビット割り当ては、関心領域又は画像全体を再構成するときの各係数の重要性の度合いを表わす任意の規準によってなされうる。例えば、各係数の重要性の度合いは、係数が関心領域に対応するか否か、係数によって関心領域中のいくつの画素が表わされるか、係数によって表わされる画素の何パーセントが関心領域に属するかに基づいて決められうる。これらの規準の全て又は幾つかは、各ブロック中の関心領域に対応する係数の数と共に使用され、係数ブロックに割り当てられるべきビットのレートの数が決定される。
【０１１２】
係数ブロックの符号化又は復号化の順序は、各ブロックについての規準を用いてビット又はビットレートを割り当てる代わりに、より高いビットレートが割り当てられるブロックに対して早い復号化又は符号化の順序を与えることによって決められうる。任意の他の順序が、各ブロックに対する規準に基づいて決められうる。
【０１１３】
図１４は本発明によるデータを符号化する他の方法を示すフローチャートである。方法は、画像に対応するディジタル画像データを与える供給ステップ１３０から開始する。ステップ１３２において、ユーザによって画像中の関心領域が選択される。しかしながら、本発明はまた、自動目標認識システムが一組の規準に基づいて関心領域を決める方法も含む。自動目標認識システムは、関心領域を識別するために様々なアプローチを使用しうる。例えば、画像中の関心となる対象を識別するために、パターン認識ソフトウエアが使用されうる。画像上で関心領域が選択された後、ステップ１３４において、ディジタル画像データに対してウェーブレット変換が行われ、係数を含む一組のサブバンドが得られる。上述のように、係数を得るために、マレット型ウェーブレット変換、ｓｐａｃｌ型ウェーブレット変換、パケット型ウェーブレット変換等といった多くの様々なタイプのウェーブレット変換が使用されうる。ステップ１３６において、選択された関心領域に対応する係数が識別される。ステップ１３８において、少なくとも１つの係数カテゴリが関心領域を表わすディジタル画像データに対応するよう、係数が順序づけられる。ステップ１４０において、係数は、順序付けられたカテゴリに従ってエントロピー符号化される。係数を関心領域に対応するカテゴリへ順序づけることにより、画像の異なる領域を別々に処理し圧縮することが可能となる。これは、画像の大部分が比較的特徴のない背景からなる場合に特に有用である。
【０１１４】
関心領域が圧縮される度合いを決めるには幾つかの異なったアプローチがある。１つのアプローチは、ユーザに圧縮の度合いを選択させることである。図１５に示される他のアプローチは、ステップ１４２において画像を表わすディジタルデータを符号化するために使用されるビットの総数を決めることである。ステップ１４４において、画像の様々な領域について優先度が決められる。ステップ１４６及び１４８において、画像の様々な領域を領域の優先度に従って符号化するために、高い優先度の領域が低い優先度の領域よりも正確に再構成されるよう、ビットの総数からビットが割り当てられる。一般的に、送信装置は一組のビットレートを有し、このビットレートでビットストリームを送信する。本発明によれば、ステップ１５０において、送信されるべきビットストリームの部分は画像の高い優先度の領域を送信するために割り当てられる。例えば、ビットストリームが１０００毎秒のレートで送信される場合、画像の高い優先度の領域を表わす符号化されたデータを送信するために８００ビット毎秒が割り当てられ、低い優先度の領域を表わす符号化されたデータを送信するために２００ビット毎秒が割り当てられうる。ステップ１５０においてビットストリームの一部が高い優先度の符号化されたデータを送信するために割り当てられると、ステップ１５２においてビットストリームは遠隔場所へ送信される。画像の高い優先度の領域に対応する全ての符号化されたデータが送信されると、ステップ１５４においてビットストリーム全体が画像のより低い優先度の領域を表わす符号化されたデータを送信するために割り当てられる。
【０１１５】
図１６は、本発明の符号化装置の１つの実施例を示すブロック図である。画像データ６００はウェーブレット変換器６０２に供給される。ウェーブレット変換器６０２は、画像データ６００のウェーブレット変換を行ない、それにより係数を含むサブバンドが得られる。関心領域係数識別器６０４は、関心領域の座標と、ウェーブレット変換器６０２からの係数を含むサブバンドを受信し、関心領域に対応する係数を識別する。
【０１１６】
上述のように、関心領域に対応するウェーブレット変換から得られる係数の識別は、画像ドメインからウェーブレットドメインへの逆ウェーブレット変換をトレースすることによって達成される。このようにして、各画素を再構成されるために使用される一組のウェーブレット変換係数が別々に識別されうる。従って、関心領域の係数の識別は関心領域の形状とは無関係であり、関心領域は接続されていない領域からなるものであってもよい。サブバンド分類器６０８は、係数を分類し、分類マップ６１０を生成する。分類された係数は、量子化器６１２とレート割当て装置６１８に送信される。レート割当て装置６１８は各係数クラスに量子化ステップサイズを割り当て、このレートを量子化器６１２に与える。レート割当て装置６１８はまた、各サブバンドクラスに割り当てられた量子化ステップサイズに関する情報を含む量子化テーブルを生成する。量子化器６１２は係数を量子化し、エントロピー符号化器６１４に量子化された係数を与える。エントロピー符号化器６１４は、量子化された係数を、エントロピー符号化器６１４に与えられた関心領域に関する受信された優先度情報６１６によって符号化する。エントロピー符号化器６１４の出力は符号化されたビットストリーム６２２である。
【０１１７】
図１７は、本発明の復号化器の１つの実施例を示すブロック図である。符号化されたビットストリーム６２２及び関心領域の優先度情報６１６は、エントロピー復号化器６２４によって受信される。エントロピー復号化器６２４は、逆量子化器６２６に与えられる量子化された出力を生成する。逆量子化器６２６はまた、量子化テーブル６２０に基づいてレート逆割当て器６２８から量子化情報を受信する。逆量子化器６２６は、サブバンド逆分類器６３０へ送信される係数を生成する。サブバンド逆分類器６３０は、受信された分類マップに従って係数を逆分類し、逆ウェーブレット変換器６３０に与えられる一組のサブバンドを生成する。逆ウェーブレット変換器６３０は、画像を再構成するために使用されうる画像データ６３２を得るためにサブバンドに対して逆ウェーブレット変換を行なう。
【０１１８】
図１８は、画像を符号化し符号化されたデータを受信側８０２へ送信する送信側８００と、画像を受信し表示する受信側８０２とを含む装置の実施例を示す図である。送信側８００は、関心領域機能を有する符号化器８０４を有する。最初に、符号化器８０４は画像の低解像度、低忠実度、及び低ビットレートの変形を符号化し、符号化された変形を送信装置８０６へ送信する。送信装置８０６は、符号化された信号を、受信側８０２に配置される受信装置８０８へ送信する。送信は、有線伝送路を介して、又は無線によって達成されうる。受信側８０２の受信装置８０８は符号化された信号を受信し、これを関心領域機能を有する復号化器８１０に与える。復号化器８１０は画像を復号化し、これをユーザに対して表示するディスプレイ８１２へ送信する。受信側８０２は、ユーザが表示された画像上で関心領域を選択することを可能とする関心領域選択器８１４を有する。受信側８０２はまた、ユーザが関心領域を符号化するときの優先度を選択することを可能とする関心領域優先度選択器８１６を有する。例えば、優先度は、関心領域が損失なしに再構成されるよう選択されうる。関心領域及び優先度が選択されると、関心領域選択器８１４及び優先度選択器８１６は、選択に関する情報を復号化器８１０及び送信装置８１８に与える。送信装置は、この情報を送信側８００上の受信装置８２０にフィードバックする。受信装置８２０は情報を受信し、これを符号化器８０４に与える。符号化器８０４は選択された関心領域を情報に従って優先度により符号化し、符号化された関心領域情報を上述のように受信側８０２に送信する。この過程は、ユーザが以前の関心領域の検査に基づいて関心領域を再び画成しうるよう繰り返されうる。このように、上述の実施例は、受信側のユーザが対話式に関心領域の符号化を決めることを可能とする。
【０１１９】
本発明の他の適用は、上述の関心領域の概念をディジタルカメラに組み込むことを含む。かかる適用では、関心領域及び領域を符号化する規準は、ディジタルカメラのユーザによってビューファインダ又はカメラのディスプレイ上で選択される。カメラは規準に従って関心領域中の情報を記録する。高い解像度又は忠実度を有する選択された関心領域のみを記録することにより、ディジタル画像を格納するために必要な記憶空間の量は減少されうる。殆どのディジタルカメラ中の記憶空間は非常に制限されているため、かかる適用は非常に有益である。
【０１２０】
また、上述の符号化の方法及び装置は、ディジタル式に再生された動画に対しても適用されうることが認識される。例えば、画像のリアルタイム再生を可能とするために送信されるビットストリームの選択された部分は、結果としての動画中で関心領域を送信するためにのみ使用されうる。更に、関心領域の次元及び位置は、動画が進行するにつれ絶えず変更されうる。
【０１２１】
本発明の上述の説明は例示的なものである。本発明による関心領域の選択及び再構成は他の圧縮方法と共に使用されてもよく、上述の様々な手段は当業者によって周知の多数の等価物を有することが理解されるべきである。本発明の範囲は添付の請求項に記載される。
【図面の簡単な説明】
【図１】画像中の選択された関心領域に対してより多くのビットを割り当てることに関心領域を強調する画像圧縮方法を示す図である。
【図２】選択されたＲＯＩを強調して符号化された画像を圧縮解除する方法を示す図である。
【図３Ａ】ＲＯＩ係数をスケーリングする方法を示す図である。
【図３Ｂ】ＲＯＩ係数をスケーリングする方法を示す図である。
【図３Ｃ】ＲＯＩ係数をスケーリングする方法を示す図である。
【図３Ｄ】ＲＯＩ係数をスケーリングする方法を示す図である。
【図３Ｅ】ＲＯＩ係数をスケーリングする方法を示す図である。
【図３Ｆ】ＲＯＩ係数をスケーリングする方法を示す図である。
【図４Ａ】多数の関心領域が異なる優先度で強調されるＲＯＩ係数スケーリング方法を示す図である。
【図４Ｂ】多数の関心領域が異なる優先度で強調されるＲＯＩ係数スケーリング方法を示す図である。
【図５Ａ】ＲＯＩを強調するためにＲＯＩの量子化インデックス中のビット要素のうちの幾つかを用いるＲＯＩ係数スケーリング方法を示す図である。
【図５Ｂ】ＲＯＩを強調するためにＲＯＩの量子化インデックス中のビット要素のうちの幾つかを用いるＲＯＩ係数スケーリング方法を示す図である。
【図５Ｃ】ＲＯＩを強調するためにＲＯＩの量子化インデックス中のビット要素のうちの幾つかを用いるＲＯＩ係数スケーリング方法を示す図である。
【図６Ａ】多数の関心領域が異なる優先度で符号化の異なる段階から強調されるＲＯＩ係数スケーリング方法を示す図である。
【図６Ｂ】多数の関心領域が異なる優先度で符号化の異なる段階から強調されるＲＯＩ係数スケーリング方法を示す図である。
【図６Ｃ】多数の関心領域が異なる優先度で符号化の異なる段階から強調されるＲＯＩ係数スケーリング方法を示す図である。
【図７Ａ】ＲＯＩ係数スケーリングによって決められる符号化戦略下での量子化インデックスをビット平面に基づく符号化器でエントロピー符号化を示す図である。
【図７Ｂ】ＲＯＩ係数スケーリングによって決められる符号化戦略下での量子化インデックスをビット平面に基づく符号化器でエントロピー符号化を示す図である。
【図７Ｃ】ＲＯＩ係数スケーリングによって決められる符号化戦略下での量子化インデックスをビット平面に基づく符号化器でエントロピー符号化を示す図である。
【図７Ｄ】ＲＯＩ係数スケーリングによって決められる符号化戦略下での量子化インデックスをビット平面に基づく符号化器でエントロピー符号化を示す図である。
【図８Ａ】ＲＯＩ係数スケーリングが幾つかのビット重要度レベルにおけるビットフィールドに対してのみ使用される各サブバンドにおいてビット平面符号化が行なわれる場合を示す図である。
【図８Ｂ】ＲＯＩ係数スケーリングが幾つかのビット重要度レベルにおけるビットフィールドに対してのみ使用される各サブバンドにおいてビット平面符号化が行なわれる場合を示す図である。
【図８Ｃ】ＲＯＩ係数スケーリングが幾つかのビット重要度レベルにおけるビットフィールドに対してのみ使用される各サブバンドにおいてビット平面符号化が行なわれる場合を示す図である。
【図９】関心領域の境界上の画素及び関心領域の境界の１画素内側にある画素に対してのみ識別情報が行なわれる場合を示す図である。
【図１０Ａ】フィルタ係数がｇＡ（ｋ）の低域通過フィルタ及びフィルタ係数がｆＡ（ｋ）の高域通過フィルタと、画素又は変換係数を１つおきに除去するダウンサンプリング器とを用いて達成されるウェーブレット変換を示す図である。
【図１０Ｂ】フィルタ係数がｇＡ（ｋ）の低域通過フィルタ及びフィルタ係数がｆＡ（ｋ）の高域通過フィルタと、画素又は変換係数を１つおきに除去するダウンサンプリング器とを用いて達成されるウェーブレット変換を示す図である。
【図１１】変換係数からなる一組のサブバンドで入力画像を表わす符号化方法を示す図である。
【図１２】選択された関心領域を強調して図１１の符号化方法によって符号化された画像を圧縮解除する方法を示す図である。
【図１３】符号化及び復号化がブロック毎に行なわれる場合のＲＯＩ符号化を示す図である。
【図１４】本発明によるデータを符号化する他の方法を示すフローチャートである。
【図１５】画像を表わすディジタルデータを符号化するために使用されるビット総数を決めるためのアプローチを示す図である。
【図１６】本発明の符号化装置の実施例を示すブロック図である。
【図１７】本発明の復号化装置の実施例を示すブロック図である。
【図１８】画像を符号化し符号化されたデータを受信側へ送信する送信側と、画像を受信し表示する受信側とを含む装置の実施例を示す図である。
Claims (28)
- 複数の画素についての値及び座標に関するデータを含むディジタル画像データを供給する段階と、
上記ディジタル画像データによって表わされる画像の関心領域を選択する段階と、
上記ディジタル画像データを、上記関心領域に対応するディジタル画像データが上記関心領域の外側の領域に対応するディジタル画像データよりも高い優先度を有するよう、２つの優先度カテゴリによってソートし優先度を付す段階と、
上記関心領域に対応するディジタル画像データが上記関心領域の外側の領域よりも高い優先度で送信されるよう、上記ソートされ優先度が付されたディジタル画像データを遠隔場所へ送信する段階とを有し、
上記ディジタル画像データをソートし優先度を付す段階において、
変換係数を得るために上記ディジタル画像データ中の全ての画素値に対してウェーブレット変換を行ない、
上記関心領域に対応する上記変換係数を識別し、
上記関心領域に対応する上記変換係数をスケールアップすることによって上記関心領域に対応する上記変換係数を強調し、
上記スケールアップされた変換係数を含む上記変換係数を順序づけ、
上記変換係数をエントロピー符号化してビットストリームを形成する画像圧縮方法。 - 複数の画素についての値及び座標に関するデータを含むディジタル画像データを供給する段階と、
上記ディジタル画像データによって表わされる画像の関心領域を選択する段階と、
上記ディジタル画像データを、上記関心領域に対応するディジタル画像データが上記関心領域の外側の領域に対応するディジタル画像データよりも高い優先度を有するよう、２つの優先度カテゴリによってソートし優先度を付す段階と、
上記関心領域に対応するディジタル画像データが上記関心領域の外側の領域よりも高い優先度で送信されるよう、上記ソートされ優先度が付されたディジタル画像データを遠隔場所へ送信する段階とを有し、
上記ソートされ優先度が付されたディジタル画像データを遠隔場所へ送信する段階において、
変換係数を得るために上記ディジタル画像データ中の全ての画素値に対してウェーブレット変換を行ない、
上記関心領域に対応するソートされ優先度が付されたディジタル画像データを上記関心領域が上記関心領域の外側の領域よりも高い忠実度で再構成されうるよう送信し、上記より高い忠実度は上記関心領域に対応するディジタル画像データをソートし優先度を付す段階によって与えられる画像圧縮方法。 - 画像を表わすディジタルデータを符号化する方法であって、
少なくとも１つの画像についての値及び座標に関するデータを含むディジタル画像データをコンピュータ読み取り可能な形式で供給する段階と、
上記ディジタル画像データによって表わされる画像の少なくとも１つの関心領域を選択する段階と、
上記ディジタル画像データに対して、マレット型ウェーブレット変換、ｓｐａｃｌ型ウェーブレット変換、及びパケット型ウェーブレット変換からなる群から選択されるウェーブレット変換を実行して、変換係数を含むサブバンドを得る段階と、
上記少なくとも１つの選択された関心領域に対応する変換係数を識別する段階と、
各関心領域に対して優先度を指定する段階と、
各サブバンド中の上記変換係数を少なくとも１つのシーケンスへ分類する段階と、
各変換係数シーケンスにビットレートを割り当てる段階と、
上記割り当てられたレートに基づいて選択される量子化スキームによって各シーケンス中の上記変換係数を量子化する段階と、
各関心領域について指定される上記優先度に基づいて各関心領域に対応する上記量子化 された変換係数からなるビット平面のビット重要度レベルをスケールアップする段階と、
上記変換係数の上記スケールアップされたビット重要度レベルに基づいて量子化された変換係数からなるビット平面の符号化の順序を変更する段階と、
上記変更された符号化順序によって上記量子化された変換係数のビット平面をエントロピー符号化して、ディジタル画像データの符号化されたビットストリームを発生させる段階とを有する方法。 - 目標空間解像度画像中に最も高い忠実度で再構成されるよう上記関心領域を符号化するのに必要且つ十分な係数を識別する段階を更に有する、請求項３記載の方法。
- 上記関心領域に対応する係数を識別する段階において、
上記関心領域の境界上の画素を識別し、
上記ウェーブレット変換及び逆ウェーブレット変換を実行する低域通過フィルタ及び高域通過フィルタのうちの少なくとも一方が奇数フィルタ長を有する場合、上記画像の垂直方向又は水平方向のいずれかに沿って上記関心領域から１画素だけ内側の画素を識別し、
画像ドメインから各サブバンドドメインへの、上記ウェーブレット変換及び逆ウェーブレット変換のうちの一方の入力−出力関係をトレースして、上記段階において識別された上記画素に対応する上記変換係数を識別し、
上記段階における上記識別された係数に基づいて各サブバンドドメインの中の対応する関心領域の境界を形成し、
各サブバンド中の上記境界によって囲まれる係数を上記関心領域に対応する係数として識別する、請求項３記載の方法。 - 上記関心領域に対応する係数を識別する段階において、
上記画素に対して実行される一組のウェーブレット変換及び画素値を再構成する一組の逆ウェーブレット変換のうちの一方の入力−出力関係をトレースすることによって上記関心領域に対応する一組の変換係数を識別し、
各画素に対応する一組の変換係数が識別されうるよう係数識別結果を形成する、請求項３記載の方法。 - 上記ビット平面をエントロピー符号化する段階において、
多数のビットの形式の符号化された情報を発生し、
変換係数の各シーケンス中の上記関心領域に対応する変換係数のみからなるビット平面を表わすため、同じシーケンス中の全ての変換係数からなる上記ビット平面を表わすため、及び、上記関心領域を再構成するための多数のビットと上記関心領域の外側の領域を再構成するための多数のビットが別々に制御されるよう同じシーケンス中の上記関心領域の外側の領域に対応する上記変換係数からなる上記ビット平面を表わすために、多数のビットを別々に割り当て、
上記ビット平面の符号化されたビット部分を、上記関心領域を表わす或る一連のビット部分が上記関心領域の外側の領域を表わすビット部分よりも早い送信段階で送信されるよう割り当てる、請求項３記載の方法。 - 上記関心領域を選択する段階において、上記画像中の複数の関心領域を選択し、各領域に優先度を割り当て、
上記各サブバンド中の上記変換係数を少なくとも１つのシーケンスへ分類する段階において、少なくとも１つのシーケンスが上記複数の関心領域の夫々に対応するよう上記関心領域を分類する、請求項３記載の方法。 - 上記ディジタル画像にウェーブレット変換を実行する段階において、上記画像を、幾つかのブロックが上記関心領域の内側の画素のみを含み、幾つかのブロックが上記関心領域の外側の画素のみを含み、幾つかのブロックが上記関心領域の内側の画素及び上記関心領域の外側の画素を含むよう、矩形画素ブロックへ分割し、各矩形画素ブロックに対してウェーブレット変換を実行し、
上記方法は更に、
上記関心領域に含まれるべき全矩形画素ブロックを選択し、上記関心領域と上記関心領域の外側の領域の間の境界が存在する矩形ブロックの中の上記関心領域に含まれるべき画 素を個々に選択することによって、上記関心領域を決める段階と、
完全に上記関心領域の中にある矩形画素ブロックに対応する全ての変換係数のビット重要度レベルをスケールアップし、上記関心領域の境界に重なり合うブロック中の関心領域に属する画素に対応する上記変換係数のビット重要度レベルを上記関心領域に割り当てられた優先度に基づいてスケールアップする段階と、
上記関心領域の境界に重なり合うブロック中の上記量子化された変換係数のビット平面の所定の符号化順序を上記関心領域の内側の変換係数のビット重要度レベルをスケールアップすることに基づいて変更する段階と、
上記関心領域の境界に重なり合わないブロック中の上記量子化された変換係数のビット平面を上記所定の符号化順序に従ってエントロピー符号化し、上記関心領域の境界に重なり合うブロック中の上記量子化された変換係数のビット平面を上記変更された符号化順序に従って符号化する段階と、
上記全てのブロックのビット平面の符号化されたビットシーケンスの順序を、上記関心領域に割り当てられた優先度値によって上記関心領域の内側のブロック中のビット平面のビットシーケンスの順序に対して高い優先度が与えられるよう調整し、上記関心領域の外側のブロック中及び上記関心領域に重なり合うブロック中の上記ビット平面のビットシーケンスの順序がディジタルデータの符号化されたビットストリームを発生するための上記対応するブロックの符号化順序と同じであるよう調整する段階とを更に有する、請求項３記載の方法。 - 上記エントロピー符号化段階において、上記関心領域の外側の領域に関する情報が上記関心領域に間する情報よりも多く失われるよう上記係数に対してデータ圧縮を行なう、請求項３記載の方法。
- 画像を表わし上記画像の少なくとも１つの関心領域に関連するディジタルデータを含む情報をコンピュータ読み取り可能な形式で受信する段階と、
上記１つの関心領域に関する情報に従って上記符号化されたビットストリームから再構成されるべき画像中の少なくとも１つの関心領域の位置を確認する段階と、
指定された関心領域に対応するディジタルデータを識別する段階と、
上記符号化されたビットストリームの復号化順序を各関心領域に割り当てられた優先度に基づいて変更する段階と、
上記符号化されたビットストリームを上記変更された復号化順序に従ってエントロピー復号化して、同じビット重要度レベルを有する量子化された変換係数に対応するビット平面を得る段階と、
各関心領域に対応する量子化された変換係数を含む上記ビット平面のビット重要度レベルをスケールダウンして、上記量子化された変換係数の元のビット重要度レベルを得る段階と、
上記量子化された変換係数を逆量子化スキームに従って逆量子化して変換係数のシーケンスを得る段階と、
上記変換係数のシーケンスを一組のサブバンドへ逆分類する段階と、
上記サブバンドに対して、マレット型変換、ｓｐａｃｌ型変換、及びパケット型変換からなる群から選択される逆ウェーブレット変換を実行して、上記ディジタル画像データを再構成する段階とを含む、画像を表わす情報を復号化する方法。 - 上記符号化されたビットストリームの部分をエントロピー符号化して上記関心領域に対応する変換係数のみからなるビット平面を得るため、同じシーケンス中の全ての変換係数からなる上記ビット平面を得るため、及び、上記関心領域を再構成するための多数のビットと上記関心領域の外側の領域を再構成するための多数のビットが別々に制御されるよう同じシーケンス中の上記関心領域の外側の領域の変換係数からなる上記ビット平面の残りを得るために、多数のビットを別々に識別する段階と、
上記受信された符号化されたビットストリームの部分を、上記関心領域を表わす或る一連のビット部分が上記関心領域の再構成の早い段階で復号化されるよう整列させる段階とを更に有する、請求項１１記載の方法。 - 上記情報を受信する段階において、上記関心領域に対応する情報が上記関心領域の外側の領域に対応する情報が受信されるレートよりも速いレートで受信されるよう上記情報を受信する、請求項１１記載の方法。
- 上記関心領域に対応するディジタルデータを識別する段階において、
上記情報によって表わされる上記画像中の複数の関心領域に対応するディジタルデータを識別し、 上記複数の関心領域の夫々に対応する優先度を決定し、
各領域の決定された優先度に依存して上記複数の関心領域を再構成することに
よって上記画像を再構成する、請求項１１記載の方法。 - 上記ディジタル画像データの上記符号化されたビットストリームは上記画像中の矩形画素ブロックを表わす符号化されたビット平面の組からなり、
上記方法は更に、
上記関心領域に割り当てられた上記優先度値に基づいて上記関心領域の上記境界に重なり合う矩形ブロックについての符号化されたビット平面の復号化順序を変更する段階と、
１つの復号化順序に従って上記関心領域の境界に重なり合わない上記矩形ブロックについての符号化されたビット平面をエントロピー復号化し、上記変更された復号化順序に従って上記関心領域の境界に重なり合う矩形ブロックについての符号化されたビット平面をエントロピー復号化して、各シーケンス中に同じビット重要度レベルの上記量子化された変換係数からなるビット平面を得る段階と、
上記関心領域の境界に重なり合うブロック中の上記関心領域に対応する上記量子化された変換係数のみからなる上記ビット平面のビット重要度レベルを上記関心領域に割り当てられた優先度値に従ってスケールダウンし、上記ビット平面の元のビット重要度レベルを得る段階と、
量子化された変換係数を含む各サブバンド組に逆ウェーブレット変換を実行して上記ディジタル画像中の各矩形ブロックを再構成する段階とを有する、請求項１１記載の方法。 - 複数の画素についての値及び座標に関するデータを含む情報を受信する受信手段と、
上記情報によって表わされる上記画像中の少なくとも１つの関心領域を選択する選択手段と、
上記ディジタル画像データに対して、マレット型ウェーブレット変換、ｓｐａｃｌ型ウェーブレット変換、及びパケット型ウェーブレット変換からなる群から選択されるウェーブレット変換を実行して係数を含むサブバンドを得るウェーブレットに基づくビット平面符号化器手段と、
上記少なくとも１つの関心領域に対応する係数を識別する識別手段と、
上記係数を、少なくとも１つのカテゴリは関心領域を表わす係数に対応し、少なくとも１つのカテゴリは関心領域の外側の領域に対応するよう、複数のカテゴリに従って順序づける順序づけ手段と、
上記係数を、上記係数が置かれたカテゴリに従って符号化して、上記符号化された係数を表わす多数のビットを得るエントロピー符号化手段と、
ビットストリーム中のビットを遠隔場所へ、ビットの対応する係数カテゴリに依存して上記ビットが送信されるよう送信する送信手段とを含む、
画像を表わす情報を符号化する符号化装置。 - 各係数カテゴリを表わすために使用される所定の多数のビットを割り当て、上記カテゴリを表わすために割り当てられる多数のビットは、上記画像の関心領域が上記関心領域の外側の画像領域よりも高い忠実度で再構成されうるよう、上記画像の関心領域に対応する、ビット割り当て手段と、
上記関心領域に対応する係数カテゴリに対応するビットを送信するために単位時間当たりに送信されるビットストリームの固定のビット部分を割り当てるビットストリーム割り当て手段とを更に有する、請求項１６記載の符号化装置。 - 上記複数の関心領域を選択する選択手段は上記複数の関心領域の夫々に対応する優先度を割り当てる優先度割り当て手段を更に有し、上記エントロピー符号化手段 は、係数カテゴリが対応する上記画像中の上記複数の関心領域に割り当てられる優先度に依存するよう上記係数カテゴリを符号化する優先度符号化手段を更に有する、請求項１６記載の符号化装置。
- 上記順序づけ手段は、上記係数をカテゴリによって順序づけるブロック順序づけ手段を更に有し、幾つかの係数カテゴリはブロック中の全ての画素が上記関心領域の内側であるか又は上記関心領域の外側である上記画像中の矩形画素ブロックに対応する情報を含み、幾つかの係数カテゴリはブロック中の幾つかの画素が上記関心領域の内側にあり幾つかの画素が上記関心領域の外側にある上記画像中の矩形画素ブロックに対応する情報を含む、請求項１６記載の符号化装置。
- 複数の画素についての値及び座標に関するデータを含む情報を受信する受信手段と、
上記受信手段から上記情報を受信し、上記画像の領域に対応して、少なくとも１つのカテゴリが上記画像中の関心領域を表わす情報に対応し、少なくとも１つのカテゴリが上記画像中の上記関心領域の外側の領域を表わす情報に対応するような、少なくとも２つの情報カテゴリを識別する識別手段と、
上記情報カテゴリに従って上記情報をエントロピー復号化するエントロピー復号化手段と、
上記画像の領域が再構成される方法が上記領域を表わす情報カテゴリに依存するよう上記エントロピー復号化された情報から逆ウェーブレット変換を用いて上記画像を再構成する再構成手段とを含む、
画像を表わす情報を受信し復号化する復号化装置。 - 上記受信された情報はビットストリームの形状であり、単位時間当たりに受信される上記ビットストリーム中のビットの固定部分は上記関心領域に対応し、
上記再構成手段は、上記関心領域の外側の画像領域よりも速く上記関心領域の外側の領域よりも高い忠実度で上記関心領域を再構成する、請求項２０記載の復号化装置。 - 上記受信手段は、上記関心領域の外側の画像領域に対応する情報を受信する前に上記関心領域に対応する情報を受信する、請求項２３記載の復号化装置。
- 上記識別手段は、
上記情報によって表わされる上記画像中の複数の関心領域に対応する複数のカテゴリを識別する多数関心領域識別手段と、
上記複数の関心領域の夫々に対応する優先度を決定する優先度決定手段とを更に有し、
上記再構成手段は上記各領域の優先度に依存して上記複数の関心領域を再構成する、請求項２０記載の復号化装置。 - 上記識別手段は更に、各ブロック中の全ての画素が上記関心領域の内側又は関心領域の外側にある上記画像中の矩形画素ブロックに対応する情報を含む情報カテゴリと、各ブロック中の幾つかの画素が上記関心領域の内側にあり幾つかの画素が上記関心領域の外側にある上記画像中の矩形画素ブロックに対応する情報を含む情報カテゴリとを識別する矩形画素ブロック識別手段を更に含む、請求項２０記載の復号化装置。
- 画像を表わすディジタル画像データを符号化する方法であって、
上記ディジタル画像データによって表わされる画像中の少なくとも１つの関心領域を選択する段階と、
上記ディジタル画像データに対してウェーブレット変換を行なって変換係数を得る段階と、
上記関心領域に対応する上記変換係数を識別する段階と、
上記少なくとも１つの関心領域に対して優先度を割り当てる段階とを有する方法。 - 上記関心領域に対応する上記変換係数をスケールアップすることによって上記関心領域に対応する上記変換係数を強調する段階と、
上記スケールアップされた変換係数を含む上記変換係数を順序づける段階と、
上記スケールアップされた変換係数を含む上記変換係数を量子化する段階と、
上記変換係数を符号化してビットストリームを形成するエントロピー符号化段階とを更 に有する、請求項２５記載の方法。 - 上記変換係数を量子化して量子化インデックスを得る段階と、
上記関心領域に対応する量子化インデックスをスケールアップすることによって上記関心領域に対応する量子化インデックスを強調する段階と、
上記スケールアップされた量子化インデックスを含む上記量子化を順序づける段階と、
上記量子化インデックスをエントロピー符号化してビットストリームを形成する段階とを更に有する、請求項２５記載の方法。 - 画像を表わすディジタル画像データを生成するディジタルカメラであって、
画像を表わすディジタル画像データを生成するディジタル画像データ生成手段と、
上記ディジタル画像データによって表わされる画像中の関心領域を選択する選択手段と、
上記ディジタル画像データに対してウェーブレット変換を行なって変換係数を得るウェーブレット変換手段と、
上記少なくとも１つの関心領域に対応する変換係数を識別する識別手段と、
上記変換係数を、少なくとも１つのカテゴリが上記関心領域を表わす係数に対応し、少なくとも１つのカテゴリが上記関心領域の外側の領域を表わす係数に対応する複数のカテゴリに従って順序付ける順序付け手段と、
上記変換係数を符号化し、それにより上記関心領域に対応する変換係数が、上記画像中の関心領域が上記関心領域の外側の画像領域よりも正確に再構成されるよう符号化される、符号化手段と、
上記符号化された変換係数を格納する記憶手段とを有する、ディジタルカメラ。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US80381198A | 1998-03-20 | 1998-03-20 | |
| US9803811 | 1998-03-20 | ||
| PCT/US1998/019065 WO1999049412A1 (en) | 1998-03-20 | 1998-09-15 | Method and apparatus for compressing and decompressing images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002508606A JP2002508606A (ja) | 2002-03-19 |
| JP3597779B2 true JP3597779B2 (ja) | 2004-12-08 |
Family
ID=25187487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000538313A Expired - Lifetime JP3597779B2 (ja) | 1998-03-20 | 1998-09-15 | 画像を圧縮及び圧縮解除する方法及び装置 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP3597779B2 (ja) |
| KR (1) | KR100714903B1 (ja) |
| CN (1) | CN100481946C (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7525463B2 (en) * | 2003-04-17 | 2009-04-28 | Droplet Technology, Inc. | Compression rate control system and method with variable subband processing |
| CN1655620B (zh) | 2004-02-09 | 2010-09-22 | 三洋电机株式会社 | 图像显示装置 |
| JP4514464B2 (ja) * | 2004-02-09 | 2010-07-28 | 三洋電機株式会社 | 画像符号化装置および画像復号装置、ならびにそれらを利用可能な画像表示装置および方法 |
| US7720295B2 (en) | 2004-06-29 | 2010-05-18 | Sanyo Electric Co., Ltd. | Method and apparatus for coding images with different image qualities for each region thereof, and method and apparatus capable of decoding the images by adjusting the image quality |
| JP4656912B2 (ja) | 2004-10-29 | 2011-03-23 | 三洋電機株式会社 | 画像符号化装置 |
| US8768084B2 (en) * | 2005-03-01 | 2014-07-01 | Qualcomm Incorporated | Region-of-interest coding in video telephony using RHO domain bit allocation |
| US8693537B2 (en) * | 2005-03-01 | 2014-04-08 | Qualcomm Incorporated | Region-of-interest coding with background skipping for video telephony |
| US7724972B2 (en) * | 2005-03-01 | 2010-05-25 | Qualcomm Incorporated | Quality metric-biased region-of-interest coding for video telephony |
| CN101346997B (zh) * | 2005-12-28 | 2015-01-14 | 英特尔公司 | 用户敏感信息适应性视频代码转换的方法、系统和设备 |
| US9106914B2 (en) | 2006-05-25 | 2015-08-11 | Thomson Licensing | Method and system for weighted encoding |
| JP4841504B2 (ja) * | 2007-05-31 | 2011-12-21 | 三洋電機株式会社 | 画像符号化装置および方法 |
| JP5100311B2 (ja) * | 2007-10-29 | 2012-12-19 | キヤノン株式会社 | 動画像データ送信方法、通信装置、及びプログラム |
| KR101885258B1 (ko) | 2010-05-14 | 2018-08-06 | 삼성전자주식회사 | 비디오 신호의 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치 |
| JP2010206847A (ja) * | 2010-06-23 | 2010-09-16 | Sanyo Electric Co Ltd | 画像処理装置 |
| JP2012186616A (ja) * | 2011-03-04 | 2012-09-27 | Sony Corp | 情報処理装置、情報処理方法、及び、プログラム |
| JP5639228B2 (ja) * | 2013-06-18 | 2014-12-10 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | 重み付け符号化する方法及びシステム |
| CN104301731B (zh) * | 2014-10-24 | 2017-04-26 | 湘潭大学 | 一种反馈式图像质量分层方法 |
| CN108076345A (zh) * | 2016-11-09 | 2018-05-25 | 阿里巴巴集团控股有限公司 | 多视角视频帧的编码方法、传输方法、装置、计算机 |
| CN112313954A (zh) | 2018-06-28 | 2021-02-02 | 苹果公司 | 视频编码系统 |
| DE102018221920A1 (de) * | 2018-12-17 | 2020-06-18 | Robert Bosch Gmbh | Inhaltsadaptive verlustbehaftete Kompression von Messdaten |
| CN110827399A (zh) * | 2019-11-11 | 2020-02-21 | 四川航天神坤科技有限公司 | 一种三维模型数据压缩方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5663763A (en) * | 1992-10-29 | 1997-09-02 | Sony Corp. | Picture signal encoding method and apparatus and picture signal decoding method and apparatus |
| KR0119276B1 (ko) * | 1993-12-15 | 1997-09-30 | 양승택 | 영상복원용 역양자화 회로 |
-
1998
- 1998-03-20 CN CNB2004100747088A patent/CN100481946C/zh not_active Expired - Lifetime
- 1998-09-15 JP JP2000538313A patent/JP3597779B2/ja not_active Expired - Lifetime
- 1998-09-15 KR KR1020067016781A patent/KR100714903B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| CN1592419A (zh) | 2005-03-09 |
| KR100714903B1 (ko) | 2007-05-04 |
| KR20060106930A (ko) | 2006-10-12 |
| JP2002508606A (ja) | 2002-03-19 |
| CN100481946C (zh) | 2009-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1732029B1 (en) | A method and apparatus for image encoding | |
| JP3597779B2 (ja) | 画像を圧縮及び圧縮解除する方法及び装置 | |
| US6801665B1 (en) | Method and apparatus for compressing and decompressing images | |
| JP4511788B2 (ja) | タイル型ウェーブレット状変換及び希薄データコード化に基づく多解像度像データ管理システム及び方法 | |
| US6891973B1 (en) | Lossy/lossless region-of-interest image coding | |
| JP2003533912A (ja) | イメージ・データ再利用を伴う／伴わない複数解像度イメージ上のスケーラブル・グラフィックス・イメージ描画 | |
| US6327392B1 (en) | Method of visual progressive coding | |
| Chee | Survey of progressive image transmission methods | |
| EP0944262B1 (en) | A method of progressive coding according to visual significance | |
| EP1095519B1 (en) | Region-based scalable image coding | |
| Munteanu et al. | Wavelet based image compression for telemedicine | |
| Choraś | JPEG 2000 Image Coding Standard-A Review and Applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20031218 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040810 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040909 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080917 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090917 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100917 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100917 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110917 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110917 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120917 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120917 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130917 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |