JP4377088B2

JP4377088B2 - 異なった見る条件及び解像度に関連する情報を有する階層へ編成される圧縮ディジタル画像を生成する方法

Info

Publication number: JP4377088B2
Application number: JP2001157381A
Authority: JP
Inventors: エルジョシーラジャン; ヴィーブラウアーバーナード; ヴィーラバーニマジッド; エイパラルスキーケネス
Original assignee: イーストマンコダックカンパニー
Priority date: 2000-05-26
Filing date: 2001-05-25
Publication date: 2009-12-02
Anticipated expiration: 2021-05-25
Also published as: EP1158773A3; JP2002057903A; US6785423B1; EP1158773A2

Description

【０００１】
【発明の属する技術分野】
本発明は、異なった見る条件及び解像度に関する情報を有する階層へ編成される圧縮ディジタル画像を生成する方法に関する。
【０００２】
【従来の技術】
サブバンド又はウェーブレットビット平面符号化は、２０００年３月のISO/IEC JTC1/SC29 WG1 N1646, JPEG2000 Part I Final Committee Draft, Version 1.0に記載されるように、提案されているＪＰＥＧ２０００において用いられている。ＪＰＥＧ２０００符号化器は、画像を解像度の階層構造へと分解し、解像度に対応する圧縮されたデータは多数の品質階層へと更に分割される。任意の解像度において、圧縮されたビットストリームに対して更なる階層を追加することにより、その解像度とそれよりも高い解像度において再構成される画像の視覚的な品質が改善される。ＪＰＥＧ２０００標準は、圧縮されたビットストリームを編成し順序付けるための非常に柔軟な枠組みを提供する。例えば、圧縮されたビットストリームは、解像度−階層−成分−位置プログレッシブ又は階層−解像度−成分−位置プログレッシブでありうる。このようなビットストリームは、夫々、解像度スケーラブル及び品質スケーラブルであるともいえる。圧縮されたビットストリームを意図される用途に適するよう配置するのは個々のＪＰＥＧ２０００符号化器にまかされる。
【０００３】
圧縮されたビットストリームが解像度−階層−成分−位置プログレッシブに配置され、解像度プログレッシブである場合、より低い解像度の画像に対応する全ての階層は、より高い解像度に対応する階層よりも早くにビットストリーム中に現れる。一方、圧縮されたビットストリームが階層−解像度−成分−位置プログレッシブに配置され、階層プログレッシブである場合、全ての解像度レベルからのより低いインデックスを有する階層は、より高いインデックスを有する階層よりも早いビットストリーム中に現れる。このように、圧縮されたビットストリームが同時に解像度プログレッシブであり階層プログレッシブであることは可能ではない。しかし、幾つかの適用では、これらの２つのモードを組み合わせることが必要でありうる。
【０００４】
例えば、４つの視覚品質レベルを有するディジタルカメラについて考える。画像は１５３６×１０２４画素の解像度で捕捉されるが、２つの低い視覚品質レベルでは画像は次に低い解像度７６８×５１２画素で記憶されるとする。画像が最も高い視覚品質レベルで圧縮されるが、メモリ制約により、画像を最も低い品質レベルで記憶するよう、圧縮されたビットストリームを切り捨てることが必要であるという利用シナリオについて考える。オリジナルの圧縮されたビットストリームが階層プログレッシブに配置されていれば、切り捨てられたビットストリームは高い（１５３６×１０２４）解像度からの幾つかの階層をやはり含む。最も低い視覚品質レベルでは画像は７６８×５１２の解像度で記憶されるため、これはメモリ空間の無駄である。同様に、最も高い視覚品質レベルに対応する圧縮されたビットストリームが解像度プログレッシブに配置され、同じ解像度で次に低い視覚品質レベルに切り捨てられると想定する。この場合、切り捨てられたビットストリームは、所望の視覚品質レベルを達成するのに必要でない７６８×５１２解像度からの階層を含みうる。
【０００５】
また、ディジタルカメラが多くの画像をフラッシュメモリカード上に格納し、限られたダイナミックレンジの例えばカラー液晶ディスプレイ（ＬＣＤ）といった画像ディスプレイを含む場合について考える。ＬＣＤは、ユーザが関心画像の位置を見つけることを可能とするよう同時に幾つかの（例えば１９２×１２８解像度の）「サムネイル」画像を表示する。次に、選択されたサムネイル画像のうちの１つの単一の（例えば３８４×２５６解像度の）「スクリーンネイル」画像を表示する。この場合、ファイルが階層プログレッシブに配置されていれば、より低い解像度の画像のために必要とされるデータのみの位置を見つけるためにより高い（１５３６×１０２４）解像度からの幾つかの階層をスキップするには時間がかかる。データが解像度プログレッシブに配置されていれば、低いダイナミックレンジのカメラのＬＣＤ上に許容可能な画像を与えるために必要でない１９２×１２８解像度レベル及び３８４×２５６解像度レベルからの幾つかの階層をスキップするには時間がかかる。結果として、画像を復号化するために必要とされる時間は遅く、ディスプレイは、要求されるほどは、新しい画像を表示するためにユーザコマンドに対して応答的でない。
【０００６】
【発明が解決しようとする課題】
従って、本発明は、ビットストリームが階層プログレッシブな順序で部分解像度スケーラビリティを与えるように、圧縮されたＪＰＥＧ２０００ビットストリームの階層を形成する方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
この目的は、異なった見る条件及び解像度に従って抽出されうる情報を有する階層へ編成される圧縮ディジタルデータを入力ディジタル画像から生成する方法であって、
（ａ）入力ディジタル画像を分解して夫々が複数のサブバンド係数を有する複数のサブバンドを生じさせ、
（ｂ）上記分解された入力ディジタル画像の各サブバンドの複数のサブバンド係数を量子化して各サブバンドの各サブバンド係数についての量子化された出力値を生じさせ、
（ｃ）各サブバンドのサブバンド係数の量子化された出力値から少なくとも１つのビット平面を形成し、
（ｄ）各サブバンドが他のサブバンドとは独立にエントロピー符号化されるよう、少なくとも一のパスで各サブバンドの各ビット平面をエントロピー符号化して、各パスに対応する圧縮されたビットストリームを生成し、
（ｅ）各予測される視覚品質レベルに対して選択可能な見る条件及び解像度を与えることによって多数の予測される視覚品質レベルを指定する視覚品質テーブルを与え、
（ｆ）ユーザが各圧縮された画像について異なる所望の見る条件及び解像度を選択しうるよう、視覚品質テーブル中に与えられる予想視覚品質レベルを満たすために必要な最小のパスの組と対応する圧縮されたビットストリームを識別し、
（ｇ）上記圧縮されたビットストリームを、視覚品質テーブル中で指定された最も低い予想視覚品質から最も高い予想視覚品質レベルへ順序付けて圧縮されたディジタル画像を生成し、各階層は、より低い視覚品質階層には含まれていない予想視覚品質レベルに対応する識別された最小の組からのパスと対応する圧縮されたビットストリームを含む方法によって達成される。
【０００８】
【発明の実施の形態】
以下、添付の図面を参照して本発明の望ましい実施例について説明する。本願には図示されていない追加的な構造についての説明がなされている場合もある。そのような構造についての説明がされているが図示されていない場合は、図示されていないということはそのような設計が本願の範囲から排除されると考えられるべきではない。
【０００９】
本発明は、ディジタル画像の圧縮に関する。従来技術で周知の他の技術もあるが、本発明はＪＰＥＧ２０００画像圧縮標準に関する技術について説明するものとする。提案されるＪＰＥＧ２０００画像圧縮標準は、復号化器が圧縮されたビットストリームをどのように解釈すべきかについて指定しているため、全てのＪＰＥＧ２０００符号化器には幾らかの内在的な制約がある。例えば、ＪＰＥＧ２０００標準のＰａｒｔＩでは、ある種のウェーブレットフィルタのみが使用されうる。エントロピー符号化器もまた固定である。これらの方法は、ISO/IEC JTC1/SC29 WG1 N1646, JPEG2000 Part I Final Committee Draft, Version 1.0, March 2000に記載されている。従って、本願は、特に、本発明によるアルゴリズムの一部をなすか、より直接的に協働する属性に関連する。本願に特に図示又は説明されない属性は、ISO/IEC JTC1/SC29 WG1 N1646, JPEG2000 Part I Final Committee Draft, Version 1.0, March 2000から、又は他の従来技術で公知のものから選択されうる。以下の説明では、本発明の望ましい実施例は通常はソフトウエアプログラムとして実施されるが、当業者によればかかるソフトウエアと等価のものがハードウエア中に構築されうることが容易に認識されよう。以下説明するようなシステム及び方法では、本発明を実施するために必要な全てのかかるソフトウエア実施は従来通りであり、かかる技術の通常の知識の範囲内である。本発明がコンピュータプログラムとして実施される場合、プログラムは、例えば磁気ディスク（例えばフロッピーディスク）又は磁気テープといった磁気記憶媒体、光ディスク、光テープ又は機械読み取り可能なバーコードといった光学記憶媒体、ランダムアクセスメモリ（ＲＡＭ）又は読み出し専用メモリ（ＲＯＭ）といった固体電子記憶装置、又はコンピュータプログラムを格納するのに使用される任意の他の物理的な装置又は媒体を含む、従来のコンピュータ読み出し可能な記憶媒体に格納されうる。
【００１０】
ここで添付の図面に例として示される本発明の望ましい実施例を参照する。本発明は望ましい実施例について説明されているが、本発明はこれらの実施例に限定されるものではない。逆に、本発明は、請求の範囲に定義される本発明の精神及び範囲に含まれうる全ての変形、変更、及び等価物を網羅するものであることが意図される。
【００１１】
図１は、本発明によるＪＰＥＧ２０００画像符号化器のフローチャートを示す図である。ディジタル画像（１０１）は、解析フィルタによるサブバンド分解（１０２）を受け、サブバンド係数（１０３）についての画像表現が生成される。画像が多数の成分（例えばＲＧＢ）を有する場合、サブバンド分解段階（１０２）の前に、輝度・クロミナンス変換を適用してＹＣｂＣｒ表現に変換することができる。また、画像の各成分を多数のタイルへ分割することが可能である。しかし、この望ましい実施例では、完全な画像からなる単一のタイルのみが使用される。サブバンド係数（１０３）は、符号ブロック分割ユニット（１０４）によって矩形ブロックへ分割され、１つ以上の符号ブロック（１０５）が生成される。当業者は、単一の符号ブロックのみが使用されている場合はサブバンド係数を分割することが必要でないことを認識するであろう。
【００１２】
各符号ブロックは適当な量子化ステップサイズ（１０９）を用いて符号ブロック圧縮ユニット（１０６）によって圧縮され、圧縮された符号ブロック（１０７）及びバイト計数テーブル（１０８）が生成される。各符号ブロックについて、圧縮された符号ブロック（１０７）及びバイト計数テーブル、ＴａｂｌｅＢ（１０８）は、階層形成及び順序づけ決定ユニット（１１１）に与えられる。階層形成及び順序づけ決定ユニット（１１１）の他の入力は、その符号ブロックを量子化するために使用される量子化ステップサイズ（１０９）と、所望の視覚品質レベル、意図される解像度、及び夫々の視覚品質レベルについての見る条件のパラメータについての情報を含むテーブルＴａｂｌｅＱ（１１０）とである。各符号ブロックについて、階層形成及び順序づけ決定ユニット（１１１）は、各階層に幾つの符号化パスが含まれねばならないかを決定し、階層化され圧縮された符号ブロック（１１２）とテーブルＴａｂｌｅＬ（１１３）とを生成する。ＴａｂｌｅＬは、符号化パスの数とその符号ブロックの各階層中の対応するバイトについての情報を格納する。階層形成及び順序づけ決定ユニット（１１１）はまた、ビットストリーム全体が階層プログレッシブに配置されるべきであることを指定する。
【００１３】
階層化された圧縮された符号ブロック（１１２）と、及びＴａｂｌｅＬ（１１３）と、順序付け情報とは、ＪＰＥＧ２０００ビットストリームオーガナイザ（１１４）に供給され、ＪＰＥＧ２０００に準拠する符号化されたディジタル画像（１１５）が生成される。マスタテーブル発生器（１１６）は、ＴａｂｌｅＭＬ（１１７）を生成し、そのｉ番目のエントリは最初からｉ個の階層に対応する圧縮されたデータを表わすために必要とされるバイトの数を指定する。この情報はまた圧縮されたビットストリームに含まれるが、幾つかの適用では、情報からビットストリームをパーズする必要がないよう、情報を別々に記憶することが有利である。
【００１４】
図１の各ブロックについて以下詳述する。画像は、解析フィルタ（１０２）によるサブバンド分解を受ける。１つのレベルの分解は、画像を４つのサブバンド、即ちＬＬ，ＨＬ，ＬＨ，ＨＨへ分割する。最初の文字は、水平方向に用いられるフィルタリングの種類を示す。次の文字は、垂直方向に用いられるフィルタリングの種類を示す。例えば、帯域ＨＬは、水平方向の高域通過フィルタリングと垂直方向の低域通過フィルタリングの結果として生ずるものである。オクターブ分解では、ＬＬ帯域は繰り返し分割される。望ましい実施例では、Ｒレベルのオクターブ分解が用いられる。図２は、３つのレベルのオクターブ分解の例を示す図である。サブバンドは、最も低い周波数から最も高い周波数へ番号付けされる。Ｒレベル分解は、（Ｒ＋１）の解像度と（３Ｒ＋１）のサブバンド、Ｓ_０，Ｓ_１，．．．，Ｓ_３Ｒを発生する。解像度ｒ（０≦ｒ≦Ｒ）の画像は、サブバンドＳ_０，Ｓ_１，．．．，Ｓ_３ｒから再構成されうる。元の画像の寸法が１０２４×１０２４であり、分解が３レベルオクターブであれば、解像度０、１、２、及び３の画像は、夫々、１２８×１２８、２５６×２５６、５１２×５１２、及び１０２４×１０２４の寸法を有する。
【００１５】
図１に示される符号ブロック分割ユニット（１０４）は、各サブバンドを多数の矩形の符号ブロックへ分割する。図３は、符号ブロック圧縮ユニット（１０６）をより詳細に示す図である。各符号ブロックは、スカラ量子化器（２０１）によって量子化され、量子化された係数（２０２）のインデックスの符号（ｓｉｇｎ）・大きさ表現が生成される。望ましくは、デッドゾーンを有する均一スカラ量子化器が使用される。図４Ａ及び図４Ｂは、この量子化器についての決定閾値及び再構成レベルを示す図である。図４Ａは、ステップサイズΔについての決定閾値及び再構成レベルを示す図である。図４Ｂは、ステップサイズ２Δについての決定閾値及び再構成レベルを示す図である。望ましい実施例では、再構成レベルは常に量子化間隔の中心にある。しかし、当業者によれば、これは必須ではないことが明らかとなろう。例えば、再構成レベルはゼロに向かって偏ってもよい。所与のサブバンド中の全ての符号ブロックについて同じ基本の量子化ステップサイズが使用されうる。ここで、サブバンドｉについてのステップサイズをΔ_iとする。尚、最大量子化誤差Ｅ_maxがΔ_iであるゼロの欄を除き、最大量子化誤差Ｅ_maxは（Δ_i／２）である。サブバンド解析及び合成フィルタが可逆的であれば（R. Calderbank, I. Daubechies, W. Sweldens, and B.-L. Yeo, "Wavelet Transform that Maps Integers to Integers," Applied and Computational Harmonic Analysis, vol. 5, no.3, pp. 332-369, 1998）、量子化のステップは完全になくされてもよい。
【００１６】
処理されるブロックはサブバンドｉから得られたものであると想定する。すると、ブロックからのサンプルは、上述のようにステップサイズがΔ_iの均一スカラ量子化器によって量子化される。量子化された係数のインデックスの大きさが、Ａ_iビットの一定の精度で表わされるとする。ビットは１，２，．．．，Ａ_iでインデックス付けされ、インデックス１は最上位ビット（ＭＳＢ）に対応し、Ａ_iは最下位ビット（ＬＳＢ）に対応するものとする。符号ブロックのｋ番目のビット平面は、その符号ブロックからの全ての量子化された係数の大きさ表現からのｋ番目のビットからなる。使用されるスカラ量子化器の１つの興味深い性質は、サブバンドｉからの量子化された係数のインデックスの大きさ表現からのｋの最下位ビットを捨てること又はゼロとすることは、ステップサイズが２^kΔ_iである係数のスカラ量子化と等しいことである。このように、最後のｋのビット平面に対応するデータが捨てられる符号ブロックに対応する圧縮されたビットストリームが切り捨てられる場合、符号ブロックのより粗い量子化されたバージョンを再構成することが可能である。これは埋め込み（ｅｍｂｅｄｄｉｎｇ）性質として知られている。復号化器における再構成のために量子化された係数のインデックスの大きさ表現のｋのビット平面がなくされた場合、ステップサイズが２^kΔ_iである量子化器のための再構成レベルが使用される。
【００１７】
エントロピー符号化のために、符号化器のビット平面は、先行するビット平面のいずれかが有意であるか現在のビット平面が少なくとも１つの非ゼロビットを有する場合に有意であるものとする。エントロピー符号化器（２０３）は、１つ以上の符号化パスにおいて符号ブロックについて各ビット平面を符号化する。例えば、最上位ビット平面は、単一の符号化パスを用いて符号化される。符号ブロックの残るビット平面は、３つの符号化パスを用いて符号化される。ＪＰＥＧ２０００では、ＭＱ算術符号化器がエントロピー符号化器として使用される。テーブル発生ユニット（２０４）は、各符号ブロックについてバイト計数テーブル（１０８）を発生する。テーブル中のｍ番目のエントリは、ビットストリーム中の符号ブロックの１，２，．．．，ｍの符号化パスを含むために必要なバイト数に対応する。
【００１８】
階層形成及び順序づけ決定ユニット（１１１）は、ＴａｂｌｅＱ（１１０）によって指定される視覚品質基準を満たすよう各階層に含まれるべき符号化パスの数を決定する。ＴａｂｌｅＱ（１１０）は、所望の視覚品質レベルについての兵法を格納する。ｊ番目の行の１番目の列のエントリＴａｂｌｅＱ［ｊ］［１］は、視覚品質レベルｊで画像が格納される解像度を示す。２番目の列のエントリＴａｂｌｅＱ［ｊ］［２］は、視覚品質レベルｊに適用可能な見る条件のパラメータを指定する。以下に説明するように、見る条件のパラメータは各サブバンドで使用されるべき有効量子化ステップサイズを決め、従って再構成された画像についての視覚品質レベルを決定する。各符号ブロックについての階層のＬは、ＴａｂｌｅＱ中の視覚品質レベルの数に等しい。
【００１９】
所与の視覚品質レベル及び対応する見る条件について、各サブバンドについて、階層形成及び順序づけ決定ユニット（１１１）は、再構成画像中の丁度認識可能な（just noticeable）歪みを生じさせる量子化ステップサイズを計算する。これは、人間の視覚系（ＨＶＳ）の２次元コントラスト感度関数（ＣＳＦ）を用いて行なわれる。ここに参照として組み入れられるJones et al., "Comparative study of wavelet and DCT decomposition with equivalent quantization and encoding strategies for medical images", Proc. SPIE Medical Imaging '95, vol. 2431, pp. 571-582に記載されるＣＳＦモデルは、人間の視覚系の感度を２次元（２Ｄ）空間周波数の関数としてモデル化し、例えば、ビュー距離、光レベル、色、画像サイズ、偏心率、ディスプレイの雑音レベル等の多数のパラメータに依存する。ＣＳＦの周波数依存性は、一般的には視覚対辺のサイクル／度数を用いて表わされる。ＣＳＦは、所与のビュー距離（即ち、見る人から表示される画像までの距離）については、例えばサイクル／ｍｍといった他の単位へマップされうる。
【００２０】
サブバンドｉについての２次元ＣＳＦ値は、ＶＣを意図されるビュー距離、周囲光レベル、ディスプレイ雑音レベル、及びディスプレイの１インチ当たりドット数（ｄｐｉ）を含む見る条件のパラメータとし、Ｆ_iをサブバンドｉに関連付けられる２次元空間周波数（サイクル／ｍｍで表わす）とすると、ＣＳＦ（Ｆ_i，ＶＣ）と表わされる。望ましい実施例では、Ｆ_iはサブバンドｉに公称に関連付けられる周波数範囲の中心であるよう選択される。Jones外の論文に記載されるように、サブバンドｉがデッドゾーンを有する均一なスカラ量子化器によって量子化される場合、ビュー距離Ｖにおいて再構成される画像中に「丁度認識可能（just noticeable）な歪み」を生じさせるステップサイズＱ_i（ＶＣ）は、
【００２１】
【数１】

であり、但し、ＭＴＦ（Ｆ_i）は周波数Ｆ_iにおけるディスプレイのＭＴＦであり、であり、Ｃは表示装置の符号値当たりのコントラストであり、Ｇはサブバンドｉの係数の１の符号値の変化に対する再構成された画像のコントラストの変化を表わす利得係数である。利得係数は、サブバンドのレベル及び向きと、サブバンド合成フィルタとに依存する。Jones外の論文と比較すると、分母に０．５の係数がない。これは、最大の生じうる歪みＥ_maxが、デッドゾーンのない均一なスカラ量子化器ではステップサイズの半分であるのに対して、デッドゾーンを有する均一なスカラ量子化器ではステップサイズに等しいためである。
【００２２】
見る条件のパラメータは、各視覚品質レベルに対して予め指定される。より高い視覚品質レベルで記憶される画像は、一般的には精密さを更に必要とする条件下で、例えばより小さい意図されるビュー距離で見られる。幾つかの場合は、見る条件パラメータは実際の見る条件に正確に対応しないことがある。例えば、ディジタルカメラが１２．７×１７．７８センチメートル（５×７インチ）の印画を作成するのに十分な解像度で捕捉されるとする。更に、その解像度について、３つの視覚品質レベル、即ち、「良い」、「より良い」、「最も良い」が与えられているとする。印画が２５．４センチメートル（１０インチ）のビュー距離で見られる場合、最も良い品質のために意図されるビュー距離は２５．４センチメートル（１０インチ）となるよう指定される。残る２つの視覚品質レベルについてのビュー距離は、より高い値に設定され、例えばより良い視覚品質については３０．４８センチメートル（１２インチ）、良い視覚品質については４０．６４センチメートル（１６インチ）に設定される。残る全ての見る条件のパラメータは、３つの品質レベルについて同じである。これは、良い視覚品質とよりよい視覚品質については、更に高い量子化ステップサイズを生じさせ、再構成された画像に閾値超過量子化アーティファクトを生じさせる。最も良い視覚品質レベルで再構成された画像の視覚的な歪みは、丁度認識可能である。同様に、より低い視覚品質レベルを与えるために、ディスプレイ雑音レベルは、他の見る条件のパラメータを同じに保ちつつ、実際の値よりも増加されうる。
【００２３】
ここで、ステップサイズΔ_ｉで量子化されたサブバンドｉからの符号ブロックについて考える。符号ブロックについてのｍの符号化パスが圧縮されたビットストリームに含まれ、符号ブロックはｍの符号化パスから再構成されるとする。Ｌ_ｍａｘを元の符号ブロックと再構成された符号ブロックとの間の最大絶対差であるとする。符号ブロックは、Ｅ_ｍａｘのステップサイズのデッドゾーンを有する均一スカラ量子化器によって量子化されたものであると考えられる。サブバンドｉからの符号ブロックについて、符号化階層１，２，．．．，（ｊ−１）にＰ_{（ｊ−１）}の符号化パスが含まれており、ビットストリーム中の最初のｊの階層を含めることによって視覚品質レベルｊに達する（又は超過する）ために、階層ｊに含まれるべき符号化パスの数を決定する必要があるとする。再構成された画像中の丁度認識可能な歪みを生じさせる量子化ステップサイズＱ_ｉ（ＶＣ_ｊ）が計算される。ここで、ＶＣ_ｊは、視覚品質レベルｊにおける見る条件パラメータを指すものとする。すると、符号化パスＰ_{（ｊ−１）}，Ｐ_{（ｊ−１）}＋１，．．．等について、有効量子化ステップサイズが計算される。パスＰにおいて、有効量子化ステップサイズＱ_ｉ（ＶＣ_ｊ）が以下になるとすると、Ｐ_ｊはｍに設定される。これは、符号ブロックのｊ番目の階層において、（ｍ−Ｐ_{（ｊ−１）}）の追加的な符号化パスが必要とされることを意味する。この処理は、各サブバンドからの符号ブロックについて、また、各視覚品質レベルについて繰り返される。
【００２４】
符号ブロック中の幾つかの階層は、データを含まなくともよい。例えば、画像が視覚品質レベル３で記憶され、対応する解像度をｒとする。サブバンドｉからの符号ブロックについて、階層３に含まれるべき符号化パスの数が決定されるとする。上述のように、ｉが３ｒよりも大きいとすると、サブバンドｉは解像度ｒで画像を再構成する必要はない。従って、サブバンドｉに属する符号ブロックの階層３にはデータは含まれない。
【００２５】
図５は、階層形成及び順序決定ユニット（１１１）のフローチャートを示す図である。符号ブロックについての階層の数をＬとし、符号ブロックについての符号化パスの総数をＰとする。階層形成及び順序決定ユニットの入力は、（１）Ｌのエントリを有する視覚品質テーブルＴａｂｌｅＱ（１１０）、（２）元の符号ブロック（１０５）、（３）その符号ブロックに対応する圧縮されたビットストリーム（１０７）、及び（４）その符号ブロックについてのバイト計数テーブルＴａｂｌｅＢ（１０８）である。階層形成及び順序ユニット（１１１）は、Ｌ行と２列を有するテーブルＴａｂｌｅＬ（１１３）を発生する。行ｊの１番目のエントリは階層ｊに属する符号化パスの数を示し、２番目のエントリはその符号ブロックの階層ｊ中のバイト数を示す。
【００２６】
初期化ユニット（５０１）は、ｊ、ｍ、及び累積パス数ＣＰをゼロに初期化する。また、最大絶対誤差Ｅ_ｍａｘをその符号ブロックについての量子化された計数のインデックスの最大絶対値に初期化する。ステップ（５０２）において、ｊは１ずつインクリメントされる。次に、比較ユニット（５０３）はｊと階層数Ｌとを比較する。ｊがＬよりも大きければ、全ての階層が形成されており、ＴａｂｌｅＬ（１１３）を書き出した後に、方法は終了する。そうでなければ、方法は続く。ステップ（５０４）において、解像度ｒはＴａｂｌｅＱ［ｊ］［１］に設定される。第２の比較ユニット（５０５）は、符号化ブロックが属するサブバンドｉのインデックスを３ｒと比較する。
【００２７】
ｉが３ｒよりも大きければ、サブバンドｉは画像を解像度ｒで再構成するためには必要でない。方法はステップ（５１０）へ進み、ＴａｂｌｅＬのｊ番目の行は０に設定される。これは、符号ブロックからの符号化パスは階層ｊに含まれないことを示す。ｉが３ｒ以下であれば、他の比較ユニット（５０６）はＥ_ｍａｘを、視覚品質レベルｊに対応する見る条件パラメータに対する丁度認識可能な歪みを生じさせる量子化ステップサイズＱ_ｉ（ＶＣ_ｊ）と比較する。Ｅ_ｍａｘがＱ_ｉ（ＶＣ_ｊ）以下であれば、ステップ（５１０）へ進み、ｍを含むｍまでの全ての符号化パスが階層ｊに含まれる。Ｅ_ｍａｘがＱ_ｉ（ＶＣ_ｊ）よりも小さければ、ｍはパスの総数Ｐと比較される（５０７）。ｍがＰ以上であれば、ステップ（５１０）へ進む。ｍがｐよりも小さければ、ｍは１ずつインクリメントされる（５０８）。
【００２８】
次に、符号ブロックは最初のｍの符号化パスに対応する圧縮されたデータを用いて再構成され、元の符号ブロックと再構成された符号ブロックとの間の最大絶対差Ｅ_ｍａｘが見つけられる（５０９）。その後、ステップ（５０６）に戻る。ステップ（５１０）において、ＴａｂｌｅＬ［ｊ］［１］は（ｍ−ＣＰ）に設定され、ＴａｂｌｅＬ［ｊ］［２］は（ＴａｂｌｅＢ［ｍ］−Ｔａｂｌｅ［ＣＰ］）に設定される。また、累積的なパスの数はｍに設定される。次に、ステップ（５０２）に戻る。このように、ステップ５０６乃至５０９は、視覚品質テーブルＴａｂｌｅＱ（１１０）に与えられた各予想される視覚的な質のレベルを満たすのに必要な最小のパスの組と対応する圧縮されたビットストリームとを識別する効果を有する。
【００２９】
符号ブロックを量子化するために使用されるステップサイズは、符号ブロックについての全ての符号化パスがビットストリームに含まれるとき、視覚品質テーブルＴａｂｌｅＱ（１１０）中で指定される最大品質レベルに達するか超過するよう、十分に小さい必要がある。
【００３０】
図６は、階層の形成について更なる制約が課された階層形成及び順序決定ユニットの他の実施例を示す図である。この制約は、ブロックについての階層境界がビット平面境界と一致せねばならないということである。上述のように、ステップサイズΔで量子化された符号ブロックの係数のインデックスの大きさをＡビットの一定の精度で表わすとする。ビットを１，．．．，Ａでインデックス付けするものとし、インデックス１は最上位ビット（ＭＳＢ）を表わす。ここで、符号ブロックのｋの最下位ビット平面は廃棄するものとする。すると、符号ブロックについての量子化ステップサイズは（２^ｋΔ）であり、対応する閾値ビュー距離はＫ^−１（２^ｋΔ）である。上述のように元の符号ブロックと再構成された符号ブロックの間の最大絶対誤差Ｅ_ｍａｘを計算する代わりに、Ｅ_ｍａｘを２^ｋΔとする。
【００３１】
他の実施例では、初期化ユニット（６０１）もまた、ｋを０へ初期化する。ステップ６０２乃至６０６は、ステップ５０２乃至５０６と同じである。ステップ６０７において、ｋを符号ブロックについてのビット平面の総数であるＡと比較する。ｋがＡ以上であれば、ステップ６１０へ進む。ｋがＡ以上でなければ、ステップ６０８においてｋを１ずつインクリメントし、ｍが最初ｋのビット平面を表わすのに必要とされる符号化パスの数を表すよう、ｍを更新する。ステップ６０９において、最初のｋのビット平面（２^{（Ａ−ｋ）}Δ）のみを保持することに対応する有効ステップサイズが計算され、Ｅ_ｍａｘはこの値に設定される。ステップ６１０はステップ５１０と同じである。このように、ステップ６０６乃至６０９は、パスと、視覚品質テーブル（２１０）の中に与えられる各予想視覚品質レベルを満たすのに必要な対応する圧縮されたビットストリームの最小の組を識別する効果を有する。
【００３２】
図７は、本発明の他の実施例を示す図である。ＪＰＥＧ２０００符号化器によって生成される圧縮されたビットストリーム（７０１）はＪＰＥＧ２０００ビットストリームパーザ（７１８）を通され、各符号ブロック（７１９）に対応する圧縮されたビットストリームが生成される。ビットストリームパーザはまた、量子化ステップサイズ（７０９）についての情報を抽出する。各圧縮された符号ブロックビットストリームは、エントロピー復号化器（７０２）を通され、量子化されたサブバンド係数（７０３）が再構成される。ステップ７０４乃至７１７は、対応するステップ１０４乃至１１７と全く同じである。元のＪＰＥＧ２０００ビットストリームを生成するために用いられる基本量子化ステップサイズが粗ければ、視覚品質テーブル（７１０）から全ての視覚品質レベルを達成することは可能ではないことがある。
【００３３】
本発明は、図８に示されるディジタルスチルカメラ３００に組み込まれうる。ディジタルスチルカメラ３００は、着脱可能なメモリカード３３０に格納されるディジタル画像を生成する。ディジタルスチルカメラ３００は、ズーム及びフォーカスモータ駆動３１０を有するズームレンズ３１２と調整可能なアパーチャ及びシャッタ（図示せず）とを含む。ユーザは、光学ビューファインダ３１１とズームレンズ制御スイッチ３７２（図９参照）を用いて画像を構図する。ズームレンズ３１２は、周知のＢａｙｅｒカラーフィルタパターンを用いて、例えばシングルチップカラーＣＣＤイメージセンサといったイメージセンサ３１４上にシーン（図示せず）からの光を合焦する。イメージセンサ３１４は、クロックドライバ３０６によって制御される。ズーム及びフォーカスモータ３１０とクロックドライバ３０６は、制御プロセッサ及びタイミング発生器回路３０４によって供給される制御信号によって制御される。ユーザが撮影のためにシャッタボタン３７４を押すと、制御プロセッサ及びタイミング発生器３０４は自動フォーカス及び自動露光検出器３０８から入力を受け取り、フラッシュ３０２を制御する。イメージセンサ３１４からのアナログ出力信号は、アナログ信号処理（ＡＳＰ）及びアナログ・ディジタル（Ａ／Ｄ）変換器回路３１６によって増幅されディジタルデータへ変換される。ディジタルデータは、ＤＲＡＭバッファメモリ３１８に格納され、続いてフラッシュＥＰＲＯＭメモリでありうるファームウエアメモリ３２８に格納されたファームウエアによって制御されるプロセッサ３２０によって処理される。
【００３４】
処理されたディジタル画像ファイルは、ディジタル画像ファイルを着脱可能なメモリカード３３０に格納するメモリカードインタフェース３２４に与えられる。プロセッサ３２０は、色補間を行ない、次に色及び階調補正を行ない、レンダリングされたｓＲＧＢ画像データを生成する。レンダリングされたｓＲＧＢ画像データは上述のような方法を用いて圧縮され、着脱可能なメモリカード３３０上にＪＰＥＧ２０００画像ファイルとして格納される。プロセッサ３２０は、「スクリーンネイル」の大きさの画像を形成し、これはＲＡＭメモリ３２６に格納され、ユーザのレビュー用に捕捉された画像を表示するカラーＬＣＤ画像ディスプレイ３３２へ供給される。カラーＬＣＤ画像ディスプレイ３３２に表示されるグラフィックユーザインタフェースは、図９に示されるユーザインタフェーススイッチ３８０，３８１，３８２，３８３，３８４，及び３８６によって制御される。スイッチ３８６を捕捉（Ｃａｐｔｕｒｅ）位置とすることによって一連の画像を撮影した後、捕捉された画像がカラーＬＣＤ画像ディスプレイ３３２上でレビューされうるよう、スイッチ３８６はレビュー（Ｒｅｖｉｅｗ）位置に動かされる。
【００３５】
上述の例では、ディジタルスチルカメラ３００は、１９２×１２８（サムネイル）解像度と３８４×２５６（スクリーンネイル）解像度において２つの視覚品質レベル（例えば、「良い」及び「最も良い」）を有する。更に、ディジタルスチルカメラ３００は、７６８×５１２（電子メール）解像度と１５３６×１０２４（印刷）解像度の夫々に３つの視覚品質レベル（「良い」、「より良い」、「最も良い」）を有する。すると、ＪＰＥＧ２０００符号化器によって発生される圧縮された画像は、望ましい実施例によれば１０の品質レベルを有する。ＪＰＥＧ２０００復号化器は、「良い」１９２×１２８のサムネイル画像を表示するために最初の品質階層のみを復号化しうる。同様に、ＪＰＥＧ２０００復号化器は、「最も良い」３８４×２５６の画像を得るために最初の３の品質階層を復号化しうる。
【００３６】
一連の画像が撮影され、着脱可能なメモリカード３３０上に格納されると、着脱可能なメモリカード３３０はユーザのホストコンピュータ３４０内のメモリカードリーダ（図示せず）の中に挿入されうる。或いは、インタフェースケーブル３４２は、ディジタルスチルカメラ３００中のホストインタフェース３２２とホストコンピュータ３４０中の対応するカメラインタフェースとの間を接続するために使用されうる。インタフェースケーブル３４２は、例えば周知のユニバーサルシリアルバス（ＵＳＢ）インタフェース使用に準拠しうる。
【００３７】
最初に、ユーザは「より良い」品質の７６８×５１２の解像度の画像をダウンロードしようと望みうる。その場合、ディジタルスチルカメラ３００からホストコンピュータ３４０へ最初の６つの品質階層のみが転送される。これは、画像を電子メールで送信するのに十分でありうる。本発明は、ユーザによって指定される品質及び解像度を得るために必要な品質階層のみを転送することによってダウンロードにかかる時間を減少させる。ユーザは、最も高い可能な品質で画像を印刷したいと決定しうる。その場合、ディジタルスチルカメラ３００からホストコンピュータ３４０へ残る４つの品質階層が転送される。
【００３８】
【発明の効果】
本発明は、最も高い視覚品質レベルに対応する圧縮されたビットストリームが任意の他の視覚品質レベルを達成するために切り捨てられうるという利点がある。本発明はまた、切り捨てられたビットストリームが、その視覚品質レベルのために意図される解像度において画像を表わすのに必要な階層のみを含むという利点を有する。
【図面の簡単な説明】
【図１】本発明による画像符号化器のフローチャートを示す図である。
【図２】３レベルオクターブサブバンド分解によって形成される解像度階層構造を示す図である。
【図３】図１の符号ブロック圧縮ユニットを示すブロック図である。
【図４Ａ】デッド・ゾーンを有する均一スカラ量子化器についてステップサイズがΔである場合の決定閾値と再構成レベルのグラフを示す図である。
【図４Ｂ】デッド・ゾーンを有する均一スカラ量子化器についてステップサイズが２Δである場合の決定閾値と再構成レベルのグラフを示す図である。
【図５】図１の「階層形成及び順序決定ユニット」のフローチャートを示す図である。
【図６】図１の「階層形成及び順序づけ決定ユニット」の他の実施例のフローチャートを示す図である。
【図７】階層プログレッシブな順序付けで部分的な解像度スケーラビリティを与えるために圧縮ビットストリームを再構成するためのフローチャートを示す図である。
【図８】本発明を用いることができるディジタルカメラ及びディジタルコンピュータを含むディジタルカメラシステムを示すブロック図である。
【図９】図８に示される液晶ディスプレイ（ＬＣＤ）を含むディジタルカメラの背面を示す図である。
【符号の説明】
１０１ディジタル画像
１０２解析フィルタによるサブバンド分解
１０３サブバンド係数
１０４符号ブロック分割ユニット
１０５符号ブロック
１０６符号ブロック圧縮ユニット
１０７圧縮された符号ブロック
１０８バイト計数テーブル
１０９量子化ステップサイズ
１１０ＴＡＢＬＥＱ
１１１階層形成及び順序決定ユニット
１１２階層化された圧縮された符号ブロック
１１３ＴＡＢＬＥＬ
１１４ビットストリームオーガナイザ
１１５符号化されたディジタル画像
１１６マスタテーブル発生器
１１７ＴＡＢＬＥＭＬ

Claims

異なった見る条件及び解像度に従って抽出されうる情報を有する階層へ編成される圧縮ディジタルデータを入力ディジタル画像から生成する方法であって、
（ａ）入力ディジタル画像を分解して夫々が複数のサブバンド係数を有する複数のサブバンドを生じさせ、
（ｂ）上記分解された入力ディジタル画像の各サブバンドの複数のサブバンド係数を量子化して各サブバンドの各サブバンド係数についての量子化された出力値を生じさせ、
（ｃ）各サブバンドのサブバンド係数の量子化された出力値から少なくとも１つのビット平面を形成し、
（ｄ）各サブバンドが他のサブバンドとは独立にエントロピー符号化されるよう、少なくとも一のパスで各サブバンドの各ビット平面をエントロピー符号化して、各パスに対応する圧縮されたビットストリームを生じさせ、
（ｅ）各予測される視覚品質レベルに対して選択可能な見る条件及び解像度を与えることによって多数の予測される視覚品質レベルを指定する視覚品質テーブルを与え、
（ｆ）ユーザが各圧縮された画像について異なる所望の見る条件及び解像度を選択しうるよう、視覚品質テーブル中に与えられる予想視覚品質レベルを満たすために必要な最小のパスの組と対応する圧縮されたビットストリームを識別し、
（ｇ）上記圧縮されたビットストリームを、視覚品質テーブル中で指定された最も低い予想視覚品質から最も高い予想視覚品質レベルへ順序付けて圧縮されたディジタル画像を生成し、各階層は、より低い視覚品質階層には含まれていない予想視覚品質レベルに対応する識別された最小の組からのパスと対応する圧縮されたビットストリームを含む方法。
各サブバンドの各ビット平面の各パスに対応する圧縮されたビットストリームについてのバイト数を含むバイト計数テーブルを生成する段階を更に含み、上記順序付け段階（ｇ）において各予想視覚品質レベルを満足するのに十分なバイト数を識別するために上記バイト計数テーブルを用いる、請求項１記載の方法。
異なった見る条件及び解像度に従って抽出されうる情報を有する階層へ編成される圧縮ディジタルデータを入力ディジタル画像から生成する方法であって、
（ａ）入力ディジタル画像を分解して夫々が複数のサブバンド係数を有する複数のサブバンドを生じさせ、
（ｂ）上記分解された入力ディジタル画像の各サブバンドの複数のサブバンド係数を量子化して各サブバンドの各サブバンド係数についての量子化された出力値を生じさせ、
（ｃ）各サブバンドを複数の符号ブロックへ分割し、
（ｄ）各サブバンドの各符号ブロックのサブバンド係数の量子化された出力値から少なくとも１つのビット平面を形成し、
（ｅ）各符号ブロックが他の符号ブロックとは独立にエントロピー符号化されるよう、少なくとも一のパスで各サブバンドの各符号ブロックの各ビット平面をエントロピー符号化して、各パスに対応する圧縮されたビットストリームを生じさせ、
（ｆ）各予測視覚品質レベルに対して選択可能な見る条件及び解像度を与えることによって多数の予測視覚品質レベルを指定する視覚品質テーブルを与え、
（ｇ）ユーザが各圧縮された画像について異なる所望の見る条件及び解像度を選択しうるよう、視覚品質テーブル中に与えられる予想視覚品質レベルを満たすために必要な最小のパスの組と対応する圧縮されたビットストリームを識別し、
（ｈ）上記圧縮されたビットストリームを、視覚品質テーブル中で指定された最も低い予想視覚品質から最も高い予想視覚品質レベルへ順序付けて圧縮されたディジタル画像を生成し、各階層は、より低い視覚品質階層には含まれていない予想視覚品質レベルに対応する識別された最小の組からのパスと対応する圧縮されたビットストリームを含む方法。
各サブバンドの各ビット平面の各パスに対応する圧縮されたビットストリームについてのバイト数を含むバイト計数テーブルを生成する段階を更に含み、上記順序付け段階（ｇ）において各予想視覚品質レベルを満足するのに十分なバイト数を識別するために上記バイト計数テーブルを用いる、請求項３記載の方法。
シーンの画像を捕捉し、異なる所望の見る条件及び解像度に従って抽出されうる情報を有する階層へ編成される圧縮されたディジタル画像を入力ディジタル画像から生成するためのディジタルカメラであって、
（ａ）シーンの画像を捕捉し、上記シーンを表わすディジタル画像を生じさせるイメージセンサ手段と、
（ｂ）上記ディジタル画像を処理して処理されたディジタル画像を与える手段と、
（ｃ）上記処理されたディジタル画像を分解して夫々が複数のサブバンド係数を有する複数のサブバンドを生じさせる手段と、
（ｄ）上記分解されたディジタル画像の各サブバンドの複数のサブバンド係数を量子化して各サブバンドの各サブバンド係数についての量子化された出力値を生じさせる手段と、
（ｅ）各サブバンドを複数の符号ブロックへ分割する手段と、
（ｆ）各サブバンドの各符号ブロックのサブバンド係数の量子化された出力値から少なくとも１つのビット平面を形成し、
（ｇ）各符号ブロックが他の符号ブロックとは独立にエントロピー符号化されるよう、少なくとも一のパスで各サブバンドの各符号ブロックの各ビット平面をエントロピー符号化して、各パスに対応する圧縮されたビットストリームを生成し、
（ｈ）各予測視覚品質レベルに対して選択可能な見る条件及び解像度を与えることによって多数の予測視覚品質レベルを指定する視覚品質テーブルを与え、
（ｉ）ユーザが各圧縮された画像について異なる所望の見る条件及び解像度を選択しうるよう、視覚品質テーブル中に与えられる予想視覚品質レベルを満たすために必要な最小のパスの組と対応する圧縮されたビットストリームを識別し、
（ｊ）上記圧縮されたビットストリームを、視覚品質テーブル中で指定された最も低い予想視覚品質から最も高い予想視覚品質レベルへ順序付けて圧縮されたディジタル画像を生成し、各階層は、より低い視覚品質階層には含まれていない予想視覚品質レベルに対応する識別された最小の組からのパスと対応する圧縮されたビットストリームを含み、
（ｋ）上記圧縮されたディジタル画像を格納する記憶手段とを含むディジタルカメラ。