JP3792067B2 - 画像の視覚的プログレッシブ符号化方法 - Google Patents
画像の視覚的プログレッシブ符号化方法 Download PDFInfo
- Publication number
- JP3792067B2 JP3792067B2 JP11402899A JP11402899A JP3792067B2 JP 3792067 B2 JP3792067 B2 JP 3792067B2 JP 11402899 A JP11402899 A JP 11402899A JP 11402899 A JP11402899 A JP 11402899A JP 3792067 B2 JP3792067 B2 JP 3792067B2
- Authority
- JP
- Japan
- Prior art keywords
- visual
- image
- encoding
- importance
- vpc
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
- H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Description
【０００１】
【発明の属する技術分野】
本発明は、ビデオ画像における埋め込み符号化（embedded coding）方法に関し、特に埋め込み符号化の画質を向上させ、埋め込み符号化に柔軟な視覚的制御を与える方法に関する。
【０００２】
【従来の技術】
埋め込み符号化においては、符号化ビットストリームを切り縮め、種々のビットレート範囲で使用することが出来る。高いビットレートの視覚条件又は外観は、低いビットレートの視覚条件又は外観と本質的に異なる。視覚的プログッレシブコーディング（visual progressive coding（ＶＰＣ））は、より良い主観的画質を全てのビットレート範囲にわたって得られるように全ての符号化ビットレートに対し視覚条件を調整するための機構と方法を提供する。視覚の重み付け（visual weighting）が埋め込み画像の主観的画質を向上させる有効な手段であることは証明されている。視覚される波長帯域内で係数に対するビットの割り当てを増やし、視覚されない波長帯域内で係数に対するビットの割り当てを少なくする視覚的重み付けは、人間の目により多く感知される特徴を強調し、画像の主観的画質を向上させる。従来、画像の重み付けは次の2つ方法のいずれかで実施されている。即ち、視覚系のコントラスト感度関数（contrast sensitivity function（ＣＳＦ））モデルを用い、変換係数を式（１）で乗徐算し、重み付けた係数ｆ i,j （キャップ）をエントロピー符号化する方法、又は式（２）によりＣＳＦ関数の逆数により量子化ステップサイズを調整する方法による。
【０００３】
【数１】
【０００４】
式（１）及び式（２）共、固定視覚重み付けスキームとして知られており、式中のｆi,jとｆi,j（キャップ）は各々視覚重み付けしない変換係数と視覚重み付けした変換係数であり、ｘi,jは量子化された係数であり、ｉは周波数帯域を示し、ｊは帯域ｉ内の位置である。ｑは前記帯域ｉに関連した量子化ステップサイズであり、重みに反比例するように調節される。Ｑは量子化器である。ｗiは係数ｘiの周波数成分と視覚条件に関連して重み付けファクタである。重みｗiは前記視覚系のコントラスト視感度関数（ＣＳＦ）モデルと画像を見る距離から導き出せる。多くの埋め込みスキーム（embedding shemes)に式（１）による実行例を用いる場合、量子化操作は行わない。通常、視覚重み付けファクタｗiは符号化プロセス中で固定であると仮定される。かようなスキームは固定視覚重み付けとして知られている。ＪＰＥＧのような量子化操作を明らかに含むスキームの場合、式（２）による操作はより簡単であり広く使用されている。固定視覚重み付けの実行は簡単なので、視覚的に最適な符号化に関して現在行われている研究は殆んど、先に引用した文献に記述されているように、視距離からの重み付けファクタｗiの導出に向けられている。
【０００５】
要約すると、符号化は、（Ａ）変換及びエントロピー符号化の２段階操作または（Ｂ）変換、量子化及びエントロピー符号化の３段階操作で実施出来る。（Ａ）による方法は埋め込み符号器に多く用いられる。上記２種類の符号化の場合、固定視覚重み付けを個別に実施する必要がある。即ち、（Ａ）による方法の場合は式（１）による実施を要し、（Ｂ）による方法の場合は式（２）による実施を要する。
【０００６】
画像の符号化における最近の成果の１つは、埋め込み符号化（embedded coding)である。埋め込みゼロツリーウェーブレット符号化“（Embedded zero tree Wavelet coding（ＥＺＷ））J.Shapiro、“Embedded image coding using zero tree of wavelet coefficients（ウェーブレット係数のゼロツリーを用いた埋め込み画像符号化）”（ＩＥＥＥ会報、On Signal Processing（信号処理）、４１巻、3445-3462頁、１９９３年）のような埋め込み符号器は、後続処理段において切り捨てることが出来、視覚的に認知できる画像を表示するために復号化可能な符号化ビットストリームを生成する能力を有する。この埋め込み符号器はインターネット画像のブラウジング、画像データベース、デジタルカメラ等に主として用いられる。
【０００７】
一例としてインターネット画像のブラウジングにこの埋め込み符号化を用いると、圧縮画像の１バージョンだけを中央データベースに保管すれば良い。ユーザは、低い忠実度で多数の画像を迅速にブラウジングができるよう最初は各画像毎にビットストリームの小さな部分だけを要求する。興味のある画像を発見した時に、ユーザはビットストリームの残りを要求し、完全な分解能の忠実な画像を得る。ＥＺＷ技法は、画像をビットプレーン毎に符号化し、各ビットプレーン内でゼロツリー構造を用いて重要でない係数を組にし、効率良く符号化する。
【０００８】
埋め込み符号化の分野において他にも多数の文献が刊行されており、多数の特許が認められている。この分野において良く知られている文献の１つに、D.TaubmanとA.Zakhorにより提案された階層化ゼロ符号化法がある（Multirate 3-D subband coding of video，ＩＥＥＥ会報、画像処理、第３巻５号、１９９４年９月、572-588頁）。ここでは階層化ゼロ符号化（Layered Zero Coding）（ＬＺＣ））と呼ばれている埋め込み符号化法が記述されている。この方式は、変換された係数を文脈適応算術符号化を用いてビットプレーン毎に符号化するものである。これは、ＥＺＷより優れた速度歪み性能を達成するが、しかし、この文献は人間の視覚特性については何も触れていない。すぐれた性能に加え、ＬＺＣで生成した符号化ビットストリームを編成して、画質又は分解能を向上させることが出来、埋め込みプロセスに柔軟性を付加する。
【０００９】
階層ツリーにおける設定区画（ＳＰＩＨＴ）がA.SaidとW.Pearlmanによって提案されている（“A new, fast and efficient image codec based on set partitioning in hierarchical trees（階層ツリーにおける設定区画に基づく新しい高速高能率のイメージコーデック）”、ＩＥＥＥ会報、On Circuit and System for Video Technology（ビデオ技術用回路とシステム）、第６巻３号、１９９６年６月、243-250頁)。このＳＰＩＨＴは重要でない係数の集団を再規定し、ＥＺＷとの比較で、より優れた成果を達成する。さらに、或るモードのＳＰＩＨＴはエントロピー符号器を不要とし、符号器と復号器を非常に簡単に出来る。しかしながら、人間の視覚特性は何も考慮されていない。
【００１０】
H.WangとC.J.Kuoは文献“A multi-threshold wavelet coder（ＭＴＷＣ）for high fidelity image（高忠実度画像用多しきい値ウェーブレット）”（ＩＥＥＥ International Conference On Image Processing（ＩＥＥＥ画像処理に関する国際会議）、１９９７年）中に、最大しきい値でウェーブレット係数を最初に符号化することによりＬＺＣをこえる改善をもたらすスキームを開示している。この方式においても人間の視覚特性は考慮されていない。
【００１１】
J.Li及びS.Leiは、“An Embedded Still image coder with rate-distortion optimization（速度歪みを最適化する埋め込み静止画像コーダ）”（ＳＰＩＥ、Visual Communication and Image Processing（画像通信と画像処理）、第３３０９巻、36-47頁、サンホセ、１９９８年１月)に、最大速度歪み勾配、即ち使用符号化ビット当たりの最大歪み減少値で符号化単位を最初に符号化することにより、埋め込み符号器の性能を最適化するスキームを開示している。ここでは速度歪みを最適化した符号器（rate-distortion optimized embedding coder（ＲＤＥ））が開示されており、この符号器はなだらかな速度歪み曲線を有し、ＳＰＩＨＴとＬＺＣの性能を改善する。しかし、この方式も人間の視覚系に関して考慮していない。
【００１２】
Jones，Daly，Gaborski及びRabbaniは、“Comprative study of wavelet and DCT decompositions with equivalent quantization and encoding strategies fro medical images（ウェーブレットと等値量子化によるＤＣＴ分解の比較研究と医用画像の符号化戦略）”（ＳＰＩＥＶ，２３４１，proceedings of Conference Medical Imaging（医用画像会議の会報）、571-582頁、１９９５年）に、視覚的重みの計算方法を開示している。
A.Wastonの米国特許No.5,426,512、Image data compression having minimum perceptual error（最小知覚誤差を持つ画像データ圧縮）は、圧縮される画像によるＤＣＴ量子化マトリックスに適応またはカスタム化する方法を開示している。
A.Wastonの米国特許No.5,629,780、Image data compression having minimum perceptual error（最小知覚誤差を持つ画像データ圧縮）は、輝度とコントラスト技法およびエラープーリング技法により視覚マスキングを用いて量子化マトリックスを調節する方法を記述している。
【００１３】
Daly他の米国特許No.4,780,761、Digital image compression and transmission system visually waighted transform coefficients（デジタル画像圧縮・伝送システムの視覚的重み付け変換係数）は人間の視覚系感度の二次元モデルに従い、変換係数を量子化する方法を開示している。この人間の視覚系のモデルは、水平又は垂直方向の空間周波数に対する感度よりも斜め方向の空間周波数に対する感度が低く、これを利用して画像の圧縮度を高めることを特徴としている。モデルは、固定視覚条件で使用している。
【００１４】
A.Bovior他の米国特許No.5,144,688、Method and apparatus for visual pattern image cording（視覚パターンによる画像符号化方法と装置）はサブバンドの圧縮システムを記述している。画像を複数のサブバンドに分割する。サブバンドフィルタの特性、量子化器の誤差分布及び人間の視覚系の特性に基づき知覚マトリックスを決定する。この知覚マトリックスを用い、各サブバンド信号の符号化に使用される量子化器を調節する。この教示も固定視覚条件に対してなされている。
Hopkinsの米国特許No.4,939,645、Method and apparatus to reduce transform compression visual artifacts in medical images（医用画像における変換圧縮の視覚的人為要素の減少方法と装置）は、デジタル画像をブロックに区分し、人間の目の重要な視覚的反応に従って個別に符号化するデジタル画像符号化・復号化方法を記述している。符号化は、各区画内のデジタル数から平均輝度値を計算抽出し、合成残像ブロック内の視覚的に知覚出来るエッジ位置を検出することにより達成される。視覚的に知覚できるエッジがブロック内にあれば、各エッジブロック内のエッジの反対側における勾配値と方向を計算し適正に符号化する。ブロック内に知覚できるエッジが含まれていない場合は、そのブロックは均等輝度ブロックとして符号化する。復号化においては、符号化平均輝度値、勾配の大きさ、及びパターンコードを受信し、これらの３つの指示値を組合わせて最初のデジタル画像と同様な配置となるように復号化することが必要である。視覚条件は固定である。
【００１５】
J.Sapiroの米国特許No.5,321,776、Date compression system including successive approximation quantizer（遂次近似量子化器を含むデータ圧縮システム）は、遂次洗練量子化（successive refinement quantization）とエントロピー符号化（entropy coding）によるデータ圧縮を容易にするデータ圧縮システムを記述している。生成され圧縮されたビットストリームは、任意の時点で切り捨てても知覚可能な画像を生成出来る。ビットストリームは、画質の漸次改善を達成する。即ち、切り捨て点における平均二乗誤差を最小化するように配列される。このスキームも人間の視覚特性を考慮していない。
【００１６】
固定した視覚的重み付けは、視覚系のコントラスト感度関数（ＣＳＦ）のモデルを用いて変換係数を乗徐算することにより埋め込み符号器に容易に組込むことが出来る。しかしながら、埋め込み符号器の場合、符号化ビットストリームは若干遅れた時点で切り捨てられ、埋め込み段階が異なれば視覚条件はかなり異なる。低いビットレートにおいて、圧縮画像の画質は貧しく、詳細な画像の特徴は得られない。画像は通常比較的遠い距離をおいて目視され、観察者は全体的な特徴に関心を持つ。受信ビット数が増えれば増える程、画像の画質は向上し、観察者は全体的な特徴だけでなく画像の細部にも関心をもつことが出来る。画像はより近い距離で観察され、画像分析がなされるか或いは検査のため拡大され、視覚距離も短くなる。かように、異なる視覚条件が、異なる埋め込み段階において要求される。
【００１７】
（発明の要約）
画像の視覚的画質を漸次向上させる符号化方法は、画像を１組の変換係数に変換し、この変換係数の組を、同一の視覚特性を有する変換係数群を各々含む複数バンドに分割し、各バンドに１組のアクティブな重みを割り当て、符号化単位を生成し、１組の符号化単位の候補を特定し、各符号化単位候補の重要度を決定し、最大の視覚的重要度を有する複数の符号化単位候補を符号化し前記のアクティブな重みを更新するステップを含む。
【００１８】
【発明が解決しようとする課題】
この本発明の目的は、ユーザが完全な分解能の高画質画像を要求する前に低分解能・低画質の画像を見ることが出来る符号化方法を提供することである。
本発明の他の目的は、視覚的画質を漸次向上させる符号化方法を速度歪みを最適化した埋め込み技術に適用することである。
本発明のさらなる目的は、視覚的画質を漸次向上させる符号化方法をサブバンド又はＤＣＴインデックスレベルにおいて適用することである。
これらの目的及び他の諸目的並びに諸利益は以下の説明を図面を参照して読めば明瞭となろう。
【００１９】
【発明の実施の形態】
ここに記述する発明は、視覚的プログレッシブコーディング方法（ＶＰＣ）と命名した視覚的重み付け方法である。ＶＰＣは先行技術のように変換係数に重みを乗算したり或いは重みに反比例する量子化ステップサイズに調整したりすることはない。代わりに、埋め込みの順番を変えるために重みを用いる。多数の重みをＶＰＣ符号化プロセスに用いることが出来、各時点で新しい組の重みがアクティブであり、ＶＰＣは新しい重みに従って残りのビットストリームの順序を変更する。新しい重みは既に符号化したビットストリームの順番に影響しない。ＶＰＣは現にある埋め込み符号器を用いて実施することができ、完全な埋め込み符号化に柔軟な視覚的調整を加えることが出来る。
【００２０】
ＶＰＣは埋め込み符号化の主観的画質を改善する。埋め込み符号化において、符号化ビットストリームは後処理時に切り捨てることができ、それでも知覚出来る画像を復号化出来る。高ビットレートにおける視覚条件は低ビットレートでの視覚条件と非常に異なる。本発明による視覚的プログレッシブコーディング方法は、より良い主観的画質を得るために全符号ビットレートにわたって視覚条件を調整する方法を提供する。
【００２１】
埋め込み符号化された画像が或る特定の距離から観察される場合、視覚的重み付けは変換係数に重みｗiを乗ずることにより符号器に容易に組込むことが出来る。しかしながら、見る条件が異なれば、異なる埋め込み段階を要する。埋め込み機能を用いた画像データベースへの照会を例にとると、圧縮ビットストリームの１バージョンのみが中央データベースに保管される。ユーザは、多数の画像を低分解能・低忠実度で、例えば画像当たり１６分の１のスクリーンで迅速にブラウジングを行うために、最初は各画像共極く小部分のビットストリームを要求する。興味を引く画像が見つかると、ユーザは全スクリーン分解能でその画像を見る。ユーザはその画像に満足すれば、分析のために完全無欠な圧縮画像を要求し印刷する。照会プロセス中には視覚条件が変化する。受信ビットレートが増大するにつれて、画像は拡大されるか或いは接近して観察される。低ビットレートでは、画像は通常比較的遠い距離をおいて観察される。この場合、圧縮画像の画質が低く詳細な画像の特徴はいずれにしても得られないので、ユーザは画像の全体的な特徴に興味をおいている。画像の画質は受信ビットレートが増すにつれて向上し、ユーザは全体的な特徴だけでなく画像の細部にも関心を持つようになる。画像をより近い距離で見るようになると、画像分析操作が行われ、或いは引き伸ばされて点検され、その分視距離は減少する。前述した式（１）又は式（２）のいずれかを用いて重みを変えて実施するのは、重みが変わる度に毎回、係数に新しい重みを乗じるか再度量子化しなければならず不都合である。さらに、そのような実施例では、重みが変わる度にその都度エントロピー符号器に送る係数の二進表現を変更するので、変化する統計値のために次のエントロピー符号器の性能が低下する。
【００２２】
主観的な視覚的重み付けは、符号化された画像の主観的画質を向上させる効果的な方法であることは証明されている。図１を参照し、先行技術による視覚的重み付け方式のフローチャート１０を説明する。画像１２の従来の視覚的重み付けは、次の２つの方法のいずれか、即ち、視覚系のコントラスト感度関数（ＣＳＦ）モデルにブロック１４の変換係数を、視覚的重み付けブロック１６に示すように乗除算する方法（１）か、またはブロック１８の量子化操作で視覚的重み付けを累積する方法（２）のいずれかにより実施する。
【００２３】
重み付けられた係数はブロック２０でエントロピー符号化される。画像は先ずブロック２２でエントロピー復号化され、ブロック２４で重み係数が逆量子化され、ブロック２６で逆重み付けされ、ブロック２８で逆変換され、出力画像３０が得られる。これに代わり、重みに反比例するように量子化ステップサイズを調節する逆量子化により視覚的重み付けを累積することが出来る。
【００２４】
低ビットレートの場合、画像の全体的な特徴のみに関心が集まり、画像も比較的遠い距離から観察される。細部の特徴はビットレートが十分でないので得られない。しかしながら、高ビットレートの場合、画像は詳細に検査され、比較的近い距離から観察される。画像は分析のためにさらに拡大される。かように、埋め込み段階が異なると、異なる視覚的重み付けが要求される。埋め込みプロセス中に視覚的重み付けファクタを調節出来る公知の埋め込み符号器は無い。
【００２５】
調節可能な埋め込み符号器用シンタクス及び特殊な装置について説明する。シンタクスは重み付けファクタを埋め込みプロセスにおいて調節可能にする。かような符号器は視覚的プログレッシブコーダ（ＶＰＣ）と呼ばれ、そのプロセスも視覚的プログレッシブコーディングプロセス（ＶＰＣ）と呼ばれる。ＶＰＣの幾つかの実施例について記述する。
【００２６】
視覚的プログレッシブコーディング方法（ＶＰＣ）
ＶＰＣは埋め込みプロセス中の視覚的重み付けファクタの柔軟な調節を可能にする。ＶＰＣのこの機能性により、符号器は低いビットレートにおける視覚的重み付けの利点を生かし、低域係数により多数のビットを割り当て、画像全体的の外観を改善する。高ビットレートの場合、ＶＰＣは次第にこの重み付けを止めてより柔軟な視覚条件に適応させ、高周波画像の細部を維持する。ＶＰＣは埋め込み符号化の主観的画質を向上させる。視覚的重みにより係数を乗除算したり又は視覚的重みにより量子化ステップサイズを調整するのではなく、ＶＰＣは視覚的重みに従って埋め込み順位を調整する。言い換えれば、ＶＰＣは符号化の内容ではなく符号化の順位を制御する視覚的重み付けを用いる。
【００２７】
視覚的プログレッシブコーディング方法（ＶＰＣ）の実施
ＶＰＣにおいて、画像は先ず１組の係数に変換される。ここでの変換は、ＤＣＴ（離散コサイン変換）、ウェーブレット又は偶数（Ｅｖｅｎ）ウェーブレットパケットであって良い。ＶＰＣにおいては、一般性を失うことなく、１つのバンドを同一の視覚特性を有する変換係数群と定義する。ウェーブレット／ウェーブレットパケットの変換において、１つのバンドは１つのウェーブレット／ウェーブレットパケットのサブバンドであり、ＤＣＴの場合は１つのバンドは同じＤＣＴ基底を有する全ての係数を含む。変換係数はｆi,jのように添字される。ここで、ｉはバンドを示し、ｊはバンドの位置を示す。変換係数ｆi,jの２進表示は次の通りである。
±ｂ1,ｂ2,ｂ3,…,ｂn,…ｂL … 式（３）
【００２８】
ここで、ｂ1は最上位ビットであり、ｂLは最下位ビットであり、ｂu（ｆi,j）はｕ番目の最上位ビットもしくは係数ｆi,jのｕ番目の符号化層である。変換により生じたサンプルビット配列を図２に示す。ビット配列の各行は変換係数を示しており、ビット配列の列は符号化層を示している。最上位ビットは左端の列に位置し、最下位ビットは右端の列に位置する。上位ビットｂu（ｆi,j）は常に下位ビットｂv（ｆi,j）（ｕ＜ｖの場合）より先に符号化されなければならないことは明らかである。bu（ｆi,j）は、最上位の未符号化ビットであれば、即ち、同じ係数ｂv（ｆi,j）のより上位のビット（ｖ＝１，…，ｕ−１）が全て符号化されていれば候補ビットとして表示される。所定の時点において、符号器は候補ビットの集合の中から次に符号化するビットを選択しなければならない。係数は、その符号化されたビットのいずれかがゼロでなければ重要であり、全てゼロであれば重要でないと見なされる。重要でない係数の候補ビットは重要度の特定モード（mode of significance identification）で符号化され、重要な係数の候補ビットは洗練モード（mode of refinement）で符号化される。重要度の特定と洗練に関しては後述する。
【００２９】
従来の符号器とこの埋め込み符号器はビット配列を符号化する順番が異なる。従来のＪＰＥＧまたはＭＰＥＧのような符号器は、先ず量子化の精度を決定し又は同様に各係数毎に符号化するビット数を決定してから、係数毎に符号化する。前記のビット配列を例にとると、従来の符号化は通常図２の３２のような配列である。図2の例の場合、ｗ0からｗ7までの列はビットプレーンｂ1〜ｂ7を含んでいる。各列には＋または−の符号が付けられている。
【００３０】
従来の符号化と異なり、埋め込み符号化は図３の３４に示すように、画像をビットプレーン単位又は列単位で符号化する。埋め込み符号化のビットストリームは、各係数の最も重要な部分を最初に符号化するので途中で切り捨てても妥当な画質が維持される。復号画像の画質はビットの受信数が増すにつれて徐々に向上するので順次画像伝送にも適している。
ＶＰＣの場合、多数の視覚的重みの組が存在する。
ｗ（ 0 ）＝｛ｗ0 （ 0 ）,ｗ1 （ 0 ）;…,ｗn （ 0 ）｝；
ｗ（ 1 ）＝｛ｗ0 （ 1 ）,ｗ1 （ 1 ）;…,ｗn （ 1 ）｝；
・ ・ ・
ｗ（ m ）＝｛ｗ0 （ m ）,ｗ1 （ m ）;…,ｗn （ m ）｝． … 式（４）
ＶＰＣのこのような一連の重みの他に、変換操作直後に任意に使用される全体の重みの組ｗｇは次の通りである。
ｗg＝｛ｗg0,ｗg1,…,ｗｇn｝ … 式（５）
この全体的な重みの組は固定した視覚的重み付けで実施される。所定の時点において、アクティブな重みｗと表わされる１組の重みが実施される。
ｗ=｛ｗ0,ｗ1,…,ｗn｝ … 式（６）
【００３１】
ここで、ｗ i はバンドｉに対するアクティブな重みである。ＶＰＣの重要なコンセプトは、実施式（１）の変換係数を重み付けするのではなく、或いは、実施化式（２）の重みに反比例するように量子化を調節するのではなく、重みを使用して埋め込みの順番を制御することである。ＶＰＣにおける再順序付けの最小の単位は符号化単位（coding unit（ＣＵ））として知られており、ｋを添字する。符号化単位は、ＶＰＣを実施するための特別な埋め込みスキームによって異なる。符号化単位候補は候補ビットのみから成る符号化単位（ＣＵ）であると定義される。ＣＵ候補のみを符号化することが出来るので、ＶＰＣの操作はアクティブな重みに従ってＣＵ候補を順序づけることである。新しい重み付けの組がアクティブである場合、ＶＰＣは残るＣＵに対し新しい符号化順序を編成する。既に符号化されたＣＵの符号化順序は新しい重みによって影響されない。この重みによる再順位付け戦略により、ＶＰＣ符号器は埋め込みプロセス中に多数の重みの組を編入することが出来る。
【００３２】
本発明によるＶＰＣ方法の全体的操作のフローチャート４０を図４に示す。入力画像１２を受信し、この画像を変換して符号化単位（ＣＵ）を生成する（ブロック４２）。変換後、全体的な重み付けの組ｗgがある場合、これを実施式（１）又は（２）のいずれかを用いた、固定視覚重み付け法により適用する。アクティブな重みの組ｗを初期化し、変換係数のビットをグループ化して符号化単位（ＣＵ）を生成する。ＶＰＣはＣＵ候補を特定し、各々のＣＵ候補の重要度ｓkを決定する（ブロック４４）。重要度ｓkは視覚的重み付けをしない埋め込み順位に関する大きさの値である。その後、ＣＵの重要度にその重みを乗算してＣＵの視覚的な重要度Ｖskを決定する（ブロック４６）。
【００３３】
【数２】
【００３４】
式中、ＷiはＣＵが存在する帯域のアクティブな重みである。ＶＰＣは最大の視覚的重要度を有するＣＵを符号化する（ブロック４８）。１つのＣＵの符号化が終了すると、新しいＣＵ候補が出現する。ＶＰＣは新しく出現した複数のＣＵ候補の重要度と視覚的重要度（The largest Visual significance）を評価し、最大の視覚的重要度を有するＣＵを符号化する。そして重みを更新すべきか否かの決定をなす（ブロック５０）。更新すべきであれば、次のステップに移行する。更新すべきでないなら、同一の重みを用いてブロック４４からのステップを繰り返す。アクティブな重みは何時でも変えることが出来（ブロック５２）、新しい重みがアクティブになると、残りのＣＵの埋め込み順位にのみ影響する。重みの変更は、符号器と復号器の間で折衝決定されねばならない。幾つかの有効な方法があるが、ＶＰＣのシンタクスとして後述する。上記の符号化プロセスは、或る終了判定基準が満たされるまで反復される（ブロック５４)。例えば、全てのＣＵが符号化され、即ち、符号化が無損失状態に達したか、最終符号化レートが達成されたか、或いは符号化歪みが或る特定のしきい値に達するまで反復される。その後、プロセスは終了する（ブロック５６）。前記の終了判定基準が満たされない場合は、前記プロセスをブロック４４から反復する。
【００３５】
個別ビットにおける視覚的画質の向上：視覚的プログレッシブ方式による速度歪み最適化埋め込み符号化（ＶＰＣ ＲＤＥ）
速度歪み最適化埋め込み法（ＲＤＥ）は、前述のように、LiとLeiによって開発された。ＲＤＥの場合、符号化単位（ＣＵ）は１つの変換係数ｆi,jの単一ビットｂu(ｆi,j)である。ＲＤＥは候補ビットを、予想速度歪み勾配（Ｒ−Ｄ勾配（Rate-Distortion（Ｒ−Ｄ）slope)）の順番、即ち符号化ビット当たりの歪み減少順に符号化する。
【００３６】
【数３】
【００３７】
計算を容易にするために、ルックアップテーブルを開発し、各候補ビット毎のＲ−Ｄ勾配の計算を、符号化層、重要度状態および算術符号化コンテキスト（arithmetic coding context）をインデックスとして一回のルックアップテーブル操作だけで済むようにしている。速度歪みを最適化する埋め込み（ＲＤＥ）のためのＶＰＣを実施するために、符号化単位（ＣＵ），即ち係数の個別ビットを視覚的重要度の降順で符号化する。ＣＵの重要度はＲ−Ｄ勾配の平方根として定義する。
ｓij＝√slope i j … 式（９）
【００３８】
Ｒ−Ｄ勾配はエネルギー減少の測定値あるので、この平方根を適用する。一方、１符号化単位（ＣＵ）の重要度は大きさの測定値である。ＣＵの個数は非常に多いので、ＣＵは厳密な探索はされず、また、最大の視覚的重要度では符号化されず、代わりに、しきい値近似法が適用される。
【００３９】
１組の低減するしきい値をγ0＞γ1＞…γn＞…として定義する。代表的なしきい値列は反復毎にファクタαだけ減少する。
γn＝γ0・α-n … 式（１０）
ＶＰＣ ＲＤＥは変換係数を多数回走査し、ｎ回の走査で、γnを越える視覚的重要度をもつ全てのＣＵを符号化する。アクティブな重みはバンドｉの範囲内では同一であるので，各係数の視覚的重要度を計算して現在のしきい値と比較する代わりに，バンドｉに対するしきい値を逆に重み付けする。
【００４０】
【数４】
【００４１】
γ′iより大きい重要度を有する全ての候補ビットを符号化する。ＶＰＣ ＲＤＥのステップは次の通りである。
ステップ１：画像変換
ステップ２：固定視覚重み付け：可能ならば全体的な重みｗｇを加える。
ステップ３：最初のしきい値γ＝γ0とアクティブな重みｗを設定する。
ステップ４：走査して符号化する。
画像は、最初に最低分解能バンドから最高分解能バンドまで各帯域内をラスタ線の順序で走査する。バンドｉの場合、（１１）式によって重み付きのしきい値γ′ i が計算される。各候補ビットについて、そのＲ−Ｄ勾配を、符号化層と重要度状態と算術符号化コンテキストをインデックスとしたルックアップテーブルの操作を用いてLiとLeiの文献に記載されているように決定する。候補ビットのＲ−Ｄ勾配を、調節したしきい値γ′iと比較し、その調節したしきい値より大きいＲ−Ｄ勾配を持つビットのみを符号化する。
ステップ５：必要に応じアクティブな重みを更新する。
ステップ６：しきい値を減少させる。画像全体を走査した後、しきい値をファクタαだけ減少させる（γ←γ／α）。ステップ４に戻り、ユーザが選択した最終ビットレート、例えば２.０ｂｐｐに達する等の終了条件が満たされるまで符号化は継続実行される。
【００４２】
サブバンド又はＤＣＴインデックスレベルにおける視覚的プログレッシブコーディング
Taubman及びZakhorが提案した階層ゼロ符号化（ＬＺＣ）のようなビットプレーン方式、Zandi他の提案せる可逆埋め込みウェーブレット符号器による圧縮（compression with reversible embedded warvelets（ＣＲＥＷ））、及びWangとKuoの提案する複数しきい値ウェーブレット符号器（multi-threshold wavelet coder（ＭＴＷＣ））の場合、ＶＰＣの符号化単位（ＣＵ）はベースバンドであり、同一符号化層内及び同一バンドの全てのビットを含んでおり、そのビット構成はすでにＭＴＷＣ内に存在している。ＣＵを拡大することにより、再配列の粒度が増大するが、実現化はより容易となり、符号器の大部分は同一のままである。この範疇のＶＰＣの実施は、ＪＰＥＧ２０００ＶＭ２におけるＶＰＣの実施化として以下のように説明出来る。１つのバンドビットプレーン内で、ビットをさらに部分的ビットプレーン又は３つのサブモデル、即ち、（１）現係数は重要でないがその近傍の係数は重要である予測重要度モード（predicted significance mode）と、（２）現係数が重要である洗練モード（refinement mode）と、（３）現係数も近傍の全ての係数も重要でない予測非重要度モード（predicted insignificance mode)に分類する。１つのバンドにおいて、符号器は常に最重要ビットプレーンから最低重要度ビットプレーンに処理を進め、１つのビットプレーンにおいて、符号器は常に先ず予測重要度モードで符号化し、次に洗練モードで符号化し、最後に非重要度モードで符号化する。ＶＰＣを実施するために、符号化単位（ＣＵ）を１ビットプレーンの１サブモードとして規定し、ＣＵをアクティブな重みに従って最配列する。ＶＰＣを可能にするＪＰＥＧ２０００ＶＭ２は下記のように実施する。
【００４３】
ステップ１：画像を変換する。
ステップ２：スカラー量子化器またはトレリス符号化量子化器（ＴＣＱ）により量子化し、可能ならば全体的な重みｗｇで固定視覚的重み付けをする。
ステップ３：最初のアクティブな重みｗを設定する。
ステップ４：各符号単位（ＣＵ）候補毎に重要度ｓkを計算する。
ｓk＝３1/2・２-n k 予測重要度モードの場合
ｓk＝１・２-n k 洗練モードの場合
ｓk＝（０.９６） 1/2 ・２-n k 予測非重要度モードの場合 … 式（１２）
ここで、ｎ kは現符号化層である。定数３1/2，１及び０.９６1/2は異なる符号化モードのＲ−Ｄ勾配を概算によって、また、視覚的プログレッションを用いない場合の埋め込み順序を維持するように選定される。
ステップ５：式（７）に従って各ＣＵ候補の視覚的重要度を計算する。
ステップ６：最大の視覚的重要度を有するＣＵ候補を符号化する。ＣＵの数が比較的少ないので、変更重みを符号化する代わりに、ＪＰＥＧ２０００ＶＭ２はＣＵの順序を符号化する。１つのＣＵを符号化する前に、そのＣＵを特定するタグを符号化する。１つのバンド内における符号化順序は１つだけなので、タグはＣＵが含まれているバンドを特定するだけで良い。
ステップ７：必要に応じアクティブな重みを更新する。符号化は、終了条件が満たされるまで継続実行される。
【００４４】
マルチバンドの符号化単位を有する埋め込み方式の場合の視覚的プログレシッブコーディング（ＶＰＣ）方法
複数バンドにまたがる係数を有するシンボルの符号化を含む階層ツリー（Set Partitions In Hierarchical Trees（ＳＰＩＨＴ））内の設定区分においてＶＰＣを実施する方法について記述する。この実施法はＥＺＷのような他の類似埋め込み方式にも一般化出来る。階層ツリー（ＳＰＩＨＴ）内に三種類の符号化シンボル、即ち、非重要画素のリスト（list of insignificant pixels（ＬＩＰ））、重要画素のリスト（list of significant pixels（ＬＳＰ））、及び非重要組のリスト（list of insignificant sets（ＬＩＳ)）が存在する。ＬＩＰとＬＳＰの構成要素は各々１つの係数の１つのビットである。ＬＩＳの構成要素には、複数の帯域にまたがる同一層における重要でないビットの３つの集団を含んでいる。ＶＰＣの再配列の最小単位である符号化単位（ＣＵ）は、ＬＩＰ，ＬＳＰ又はＬＩＳの１つの要素であると規定する。ＣＵは多数なので、前述のＶＰＣ ＲＤＥと同様なしきい値による処理を採用する。ＳＰＩＨＴによるＶＰＣの符号化手順は次の通りである。
【００４５】
ステップ１：画像を変換する。
ステップ２：可能ならばグローバルな重み（global weights）ｗｇで固定の視覚的重み付けをする。
ステップ３：最初の初期しきい値γ＝γ0を設定しアクティブな重みｗを設定する。
ステップ４：トラバースして符号化する。ＶＰＣはＬＩＳ，ＬＩＰおよびＬＳＰを縦覧横断し、各ＣＵの重要度と視覚的重要度を評定し、しきい値γより大きい重要度を有するＣＵを符号化する。ＣＵの重要度は量子化のステップサイズと符号化モードによって計算する。
ｓk＝１.９・２-n k ＬＩＳ構成要素の場合 … 式（１３）
ｓk＝３1/2・２-n k ＬＩＰ構成要素の場合
ｓk＝１・２-n k ＬＳＰ構成要素の場合
【００４６】
ここで、ｎ kはまだＣＵの符号化層である。定数１.９、３1/2及び１は異なる符号化モードのＲ−Ｄ勾配を再び概算によって、また、視覚的プログレッションを用いない場合の埋め込み順序を維持するように定められている。ＣＵの視覚的重要度は、ＣＵの重要度にその重みを乗じて定める。１ビットのＣＵ（ＬＩＰ又はＬＳＰ）の場合、その重みは、画素が存在するバンドｉのアクティブな重みｗiである。複数のバンドにまたがる重要でないビットのツリーを含むＬＩＳの構成要素のＣＵ場合、その重みは最も感度の強い視覚バンドに従って式（１４）のように計算するか、或いは、加重和として式（１５）のように計算することが出来る。
【００４７】
【数５】
【００４８】
式中のＰｃはバンドｃ（ｃ＝０,…,Ｌ）に存在する画素数を意味する。式（１４）の方法は、ＣＵの視覚的な画質を保証できるのでより好適である。
計算した視覚的重要度を現しきい値と比較し、しきい値を越える重要度を有するＣＵのみを符号化する。ＣＵの符号化はSaidとPearlmanが記述した規則に厳格に従っている。
ステップ５：必要に応じアクティブな重みを更新する。
ステップ６：しきい値を減少させる。ＬＩＳ，ＬＩＰ及びＬＳＰを走査後、しきい値γをファクタαだけ減少させ（γ←γ／α）、ステップ４に戻る。終了条件が満たされるまで符号化は継続実行される。
【００４９】
ＶＰＣのビットストリームシンタクス
ＶＰＣの場合、復号器はアクティブな重みの変更について知らされねばならないが、これには、３通りの方法がある。第１の方法は、デフォルト重み値の変更戦略を符号器と復号器間で折衝出来るようにすることである。このデフォルト重みのアプローチは復号器へ送られるオーバーヘッドを除去するが、デフォルト重みの個数が制限されるので視覚的進展の柔軟さが制限される。
【００５０】
より一般的な方法は、符号器に埋め込み時の重み変更、即ち視覚条件の変更を制御させ、復号器は符号器の指示に従って重みを受信し更新するだけとする。これには２通りの方法がある。符号化単位（ＣＵ）の個数が少ない場合、ＪＰＥＧ２０００ＶＭ２におけるＶＰＣの実施の様に、ＣＵの埋め込み順序を指定するタグを符号化出来る。これが、アクティブな重みの変更を知らせる第１の方法を構成する。
【００５１】
或る特定の符号器の場合、付加タグは、次のＣＵを符号化するために必要なビット数を特定することが要求される。ＣＵの数が多い場合、通常の方法では正規の間隔で視覚マーク（ＶＭ）を明示的に伝送し、重みが変更されたか否かを復号器に知らせる。これが、アクティブな重みの変更を知らせる第２の方法を構成する。
【００５２】
図５に視覚マーク（ＶＭ）６０のシンタクスを示す。ＶＭは、重みが変更されたか否かを示す１ビットのシンボルＭにより先導される。Ｍが０であれば、先の重みがアクティブである。Ｍが１の場合、ＶＰＣは全てのバンドについて重みを更新する。かようなシンタクスは重みの変更がない場合にオーバヘッドを最小にする。重み更新に関する事前折衝の間隔は、符号器と復号器間で事前に取り決めておく。これは、例えば、１バンドビットプレーンを符号化後または全画像を走査後に実施出来る。重み更新間隔が長ければ長い程、重み更新のためのオーバヘッドは短いが、重み変更の粒度は粗くなる。
【００５３】
視覚マークのシンタクスは、複数バンドにまたがる係数を持つＣＵがない特別な場合に、画質と空間のスケーラビリティを維持出来る。画質のスケーラビリティの場合、最初の重みは一様に１に設定し、重みが変わっていないことを示す視覚マーク０を重み更新間隔ごとに伝送する。空間スケーラビリティを実施するために、最低分解能に対する重みを全て１に設定し、残りの分解能に対する重みを全て０に設定する。かような重みを使用すれば最低分解能範囲外に存在する係数の視覚的重要度が０になり、ＶＰＣは最低分解能の係数のみを符号化出来る。最低分解能の全係数の全ビットプレーンを符号化後、ＶＰＣは次の最低分解能の処理に進む。この新しい分解能の重みを１に設定し、残りの分解能の重みを０に設定する。新しい分解能の全係数を符号化した後、ＶＰＣはより高い分解能の処理に進む。プロセスは全ての係数を符号化するまで継続実行される。
【００５４】
実験結果
実験結果を得るために使用したシミュレーションソフトウェアはＪＰＥＧ２０００ＶＭ２であり、非視覚的重み付けモード（non-visual weghting mode（ＮＷ））、固定視覚的重み付けモード（fixed visual weighting mode（ＶＷ））及び視覚的プログレッションモード（visual progression mode（ＶＰＣ））で実施した。試験画像は図６に示した自転車の画像であり、寸法は２０４８×２５６０である。
【００５５】
この画像を画素当たり１.０ビットで圧縮し、０.１２５ｂｐｐおよび１.０ｂｐｐで各々埋め込み／復号化した。固定視覚的重み付けの場合、画像は１４インチ（３５センチ）の距離をおいて観察されると想定し、コントラスト視感度関数（ＣＳＦ）の視覚的重みはJones他の提案になる方法（以後Jones法と記す）に従い計算する。同じＣＳＦ重みを０.１２５ｂｐｐ以前のＶＰＣにおいて使用し、その後、重みを一様に１に設定する。結果画像を図７，図８及び図９に示す。符号化画像のピーク信号対雑音比（ＰＳＮＲ）と実行値誤差（ＲＭＳＥ）を参考までに表１に示すが、ＰＳＮＲ及びＲＭＳＥは視覚画質における良好な測定尺度を提供するものではない。
【００５６】
図７は、０.１２５ｂｐｐの復号画像で、ＮＷ，ＶＰＣ及びＶＷの各モードで符号化した画像を各々図７（ａ），図７（ｂ），図７（ｃ）に示してある。図７（ｂ）のＶＰＣ符号化画像の主観的画質は、図７（ａ）のＮＷ符号化画像の主観的画質より優れており、図７（ｃ）のＶＷ符号化画像の主観的画質に近い。人間の目に認識されやすい周波数成分を強調することにより、ＶＰＣ符号化画像はより明瞭に見え、自転車の車輪回りのリンギングアーチファクトも少ない。背景の縞模様はＶＰＣとＶＷ符号化画像においてより明瞭である。
【００５７】
１.０ｂｐｐで完全に復号した画像を図８に示す。図８（ａ），図８（ｂ）及び図８（ｃ）は各々ＮＷ，ＶＰＣ及びＶＷで復号した画像であるが全て視覚的画質は近似である。しかしながら、高ビットレートの場合、ユーザは画像を拡大して詳しく見たいと思うであろう。図９に示すように画像を４倍に拡大すると、ＶＷ符号化画像９ｃはよりスムーズで、シャープなエッジ周辺のリンギングアーチファクトがより強くなるが、ＶＣＰ符号化画像９ａ及びＮＷ符号化画像９ｂはかようなアーチファクトは僅かである。高ビットレートの場合、ＶＰＣの重みによる再順位付け戦略は、画像を近距離で見られるように徐々に視覚的重み付けを無くして行くことを可能にする。ＶＷ符号化画像はかような柔軟性を持たない。
【００５８】
ＶＰＣ法により符号化した画像は、埋め込み時の視覚的重みをより柔軟に調節出来るようにする。低いビットレートでの視覚的重み付けの利点を生かし、低域パス係数により多くのビットを割り当て画像全体の外観を向上させる。高ビットレートにおいては、より柔軟な視覚条件に適応して高周波画像の細部を確保するために視覚的重み付けを停止する。ＶＰＣは埋め込み符号化画像の主観的画質を向上させる。
【００５９】
【表１】
【００６０】
以上、視覚的プログレッシブコーディング方法とその種々の変形例について説明してきたが、これらは好適な実施例とその代案であり、請求項に規定された本発明の範囲から離れることなく、さらなる変更と修正をなし得ることは理解出来よう。
【図面の簡単な説明】
【図１】代表的な符号化フレームワークにおける先行技術による重み付けを示すブロック図である。
【図２】従来の符号化方法のビット配列と符号化順序を示す図である。
【図３】本発明による符号化方法のビット配列と符号化順序を示す図である。
【図４】本発明の符号化方法のブロック図である。
【図５】本発明に用いられるシンタクスを示す図である。
【図６】原画像を示す図である。
【図７】本発明により処理された画像を示す図である。
【図８】本発明により処理された画像を示す図である。
【図９】本発明により処理された画像を示す図である。
【符号の説明】
１２…画像、１４…変換、１６…視覚的重み付け、１８…量子化、２０…エントロピー符号化、２２…エントロピー復号化、２４…逆量子化、２６…逆重み付け、２８…逆変換、３０…出力画像、４０…フローチャート、４２…変換，符号化単位（ＣＵ）の生成、４４…各ＣＵ候補の重要度の決定、４６…視覚的重要度の決定、４８…最大の視覚的重要度を有するＣＵの符号化、５０…重み更新（？）、５２…重み変更、５４…終了（？）、５６…終了。
【発明の属する技術分野】
本発明は、ビデオ画像における埋め込み符号化（embedded coding）方法に関し、特に埋め込み符号化の画質を向上させ、埋め込み符号化に柔軟な視覚的制御を与える方法に関する。
【０００２】
【従来の技術】
埋め込み符号化においては、符号化ビットストリームを切り縮め、種々のビットレート範囲で使用することが出来る。高いビットレートの視覚条件又は外観は、低いビットレートの視覚条件又は外観と本質的に異なる。視覚的プログッレシブコーディング（visual progressive coding（ＶＰＣ））は、より良い主観的画質を全てのビットレート範囲にわたって得られるように全ての符号化ビットレートに対し視覚条件を調整するための機構と方法を提供する。視覚の重み付け（visual weighting）が埋め込み画像の主観的画質を向上させる有効な手段であることは証明されている。視覚される波長帯域内で係数に対するビットの割り当てを増やし、視覚されない波長帯域内で係数に対するビットの割り当てを少なくする視覚的重み付けは、人間の目により多く感知される特徴を強調し、画像の主観的画質を向上させる。従来、画像の重み付けは次の2つ方法のいずれかで実施されている。即ち、視覚系のコントラスト感度関数（contrast sensitivity function（ＣＳＦ））モデルを用い、変換係数を式（１）で乗徐算し、重み付けた係数ｆ i,j （キャップ）をエントロピー符号化する方法、又は式（２）によりＣＳＦ関数の逆数により量子化ステップサイズを調整する方法による。
【０００３】
【数１】
式（１）及び式（２）共、固定視覚重み付けスキームとして知られており、式中のｆi,jとｆi,j（キャップ）は各々視覚重み付けしない変換係数と視覚重み付けした変換係数であり、ｘi,jは量子化された係数であり、ｉは周波数帯域を示し、ｊは帯域ｉ内の位置である。ｑは前記帯域ｉに関連した量子化ステップサイズであり、重みに反比例するように調節される。Ｑは量子化器である。ｗiは係数ｘiの周波数成分と視覚条件に関連して重み付けファクタである。重みｗiは前記視覚系のコントラスト視感度関数（ＣＳＦ）モデルと画像を見る距離から導き出せる。多くの埋め込みスキーム（embedding shemes)に式（１）による実行例を用いる場合、量子化操作は行わない。通常、視覚重み付けファクタｗiは符号化プロセス中で固定であると仮定される。かようなスキームは固定視覚重み付けとして知られている。ＪＰＥＧのような量子化操作を明らかに含むスキームの場合、式（２）による操作はより簡単であり広く使用されている。固定視覚重み付けの実行は簡単なので、視覚的に最適な符号化に関して現在行われている研究は殆んど、先に引用した文献に記述されているように、視距離からの重み付けファクタｗiの導出に向けられている。
【０００５】
要約すると、符号化は、（Ａ）変換及びエントロピー符号化の２段階操作または（Ｂ）変換、量子化及びエントロピー符号化の３段階操作で実施出来る。（Ａ）による方法は埋め込み符号器に多く用いられる。上記２種類の符号化の場合、固定視覚重み付けを個別に実施する必要がある。即ち、（Ａ）による方法の場合は式（１）による実施を要し、（Ｂ）による方法の場合は式（２）による実施を要する。
【０００６】
画像の符号化における最近の成果の１つは、埋め込み符号化（embedded coding)である。埋め込みゼロツリーウェーブレット符号化“（Embedded zero tree Wavelet coding（ＥＺＷ））J.Shapiro、“Embedded image coding using zero tree of wavelet coefficients（ウェーブレット係数のゼロツリーを用いた埋め込み画像符号化）”（ＩＥＥＥ会報、On Signal Processing（信号処理）、４１巻、3445-3462頁、１９９３年）のような埋め込み符号器は、後続処理段において切り捨てることが出来、視覚的に認知できる画像を表示するために復号化可能な符号化ビットストリームを生成する能力を有する。この埋め込み符号器はインターネット画像のブラウジング、画像データベース、デジタルカメラ等に主として用いられる。
【０００７】
一例としてインターネット画像のブラウジングにこの埋め込み符号化を用いると、圧縮画像の１バージョンだけを中央データベースに保管すれば良い。ユーザは、低い忠実度で多数の画像を迅速にブラウジングができるよう最初は各画像毎にビットストリームの小さな部分だけを要求する。興味のある画像を発見した時に、ユーザはビットストリームの残りを要求し、完全な分解能の忠実な画像を得る。ＥＺＷ技法は、画像をビットプレーン毎に符号化し、各ビットプレーン内でゼロツリー構造を用いて重要でない係数を組にし、効率良く符号化する。
【０００８】
埋め込み符号化の分野において他にも多数の文献が刊行されており、多数の特許が認められている。この分野において良く知られている文献の１つに、D.TaubmanとA.Zakhorにより提案された階層化ゼロ符号化法がある（Multirate 3-D subband coding of video，ＩＥＥＥ会報、画像処理、第３巻５号、１９９４年９月、572-588頁）。ここでは階層化ゼロ符号化（Layered Zero Coding）（ＬＺＣ））と呼ばれている埋め込み符号化法が記述されている。この方式は、変換された係数を文脈適応算術符号化を用いてビットプレーン毎に符号化するものである。これは、ＥＺＷより優れた速度歪み性能を達成するが、しかし、この文献は人間の視覚特性については何も触れていない。すぐれた性能に加え、ＬＺＣで生成した符号化ビットストリームを編成して、画質又は分解能を向上させることが出来、埋め込みプロセスに柔軟性を付加する。
【０００９】
階層ツリーにおける設定区画（ＳＰＩＨＴ）がA.SaidとW.Pearlmanによって提案されている（“A new, fast and efficient image codec based on set partitioning in hierarchical trees（階層ツリーにおける設定区画に基づく新しい高速高能率のイメージコーデック）”、ＩＥＥＥ会報、On Circuit and System for Video Technology（ビデオ技術用回路とシステム）、第６巻３号、１９９６年６月、243-250頁)。このＳＰＩＨＴは重要でない係数の集団を再規定し、ＥＺＷとの比較で、より優れた成果を達成する。さらに、或るモードのＳＰＩＨＴはエントロピー符号器を不要とし、符号器と復号器を非常に簡単に出来る。しかしながら、人間の視覚特性は何も考慮されていない。
【００１０】
H.WangとC.J.Kuoは文献“A multi-threshold wavelet coder（ＭＴＷＣ）for high fidelity image（高忠実度画像用多しきい値ウェーブレット）”（ＩＥＥＥ International Conference On Image Processing（ＩＥＥＥ画像処理に関する国際会議）、１９９７年）中に、最大しきい値でウェーブレット係数を最初に符号化することによりＬＺＣをこえる改善をもたらすスキームを開示している。この方式においても人間の視覚特性は考慮されていない。
【００１１】
J.Li及びS.Leiは、“An Embedded Still image coder with rate-distortion optimization（速度歪みを最適化する埋め込み静止画像コーダ）”（ＳＰＩＥ、Visual Communication and Image Processing（画像通信と画像処理）、第３３０９巻、36-47頁、サンホセ、１９９８年１月)に、最大速度歪み勾配、即ち使用符号化ビット当たりの最大歪み減少値で符号化単位を最初に符号化することにより、埋め込み符号器の性能を最適化するスキームを開示している。ここでは速度歪みを最適化した符号器（rate-distortion optimized embedding coder（ＲＤＥ））が開示されており、この符号器はなだらかな速度歪み曲線を有し、ＳＰＩＨＴとＬＺＣの性能を改善する。しかし、この方式も人間の視覚系に関して考慮していない。
【００１２】
Jones，Daly，Gaborski及びRabbaniは、“Comprative study of wavelet and DCT decompositions with equivalent quantization and encoding strategies fro medical images（ウェーブレットと等値量子化によるＤＣＴ分解の比較研究と医用画像の符号化戦略）”（ＳＰＩＥＶ，２３４１，proceedings of Conference Medical Imaging（医用画像会議の会報）、571-582頁、１９９５年）に、視覚的重みの計算方法を開示している。
A.Wastonの米国特許No.5,426,512、Image data compression having minimum perceptual error（最小知覚誤差を持つ画像データ圧縮）は、圧縮される画像によるＤＣＴ量子化マトリックスに適応またはカスタム化する方法を開示している。
A.Wastonの米国特許No.5,629,780、Image data compression having minimum perceptual error（最小知覚誤差を持つ画像データ圧縮）は、輝度とコントラスト技法およびエラープーリング技法により視覚マスキングを用いて量子化マトリックスを調節する方法を記述している。
【００１３】
Daly他の米国特許No.4,780,761、Digital image compression and transmission system visually waighted transform coefficients（デジタル画像圧縮・伝送システムの視覚的重み付け変換係数）は人間の視覚系感度の二次元モデルに従い、変換係数を量子化する方法を開示している。この人間の視覚系のモデルは、水平又は垂直方向の空間周波数に対する感度よりも斜め方向の空間周波数に対する感度が低く、これを利用して画像の圧縮度を高めることを特徴としている。モデルは、固定視覚条件で使用している。
【００１４】
A.Bovior他の米国特許No.5,144,688、Method and apparatus for visual pattern image cording（視覚パターンによる画像符号化方法と装置）はサブバンドの圧縮システムを記述している。画像を複数のサブバンドに分割する。サブバンドフィルタの特性、量子化器の誤差分布及び人間の視覚系の特性に基づき知覚マトリックスを決定する。この知覚マトリックスを用い、各サブバンド信号の符号化に使用される量子化器を調節する。この教示も固定視覚条件に対してなされている。
Hopkinsの米国特許No.4,939,645、Method and apparatus to reduce transform compression visual artifacts in medical images（医用画像における変換圧縮の視覚的人為要素の減少方法と装置）は、デジタル画像をブロックに区分し、人間の目の重要な視覚的反応に従って個別に符号化するデジタル画像符号化・復号化方法を記述している。符号化は、各区画内のデジタル数から平均輝度値を計算抽出し、合成残像ブロック内の視覚的に知覚出来るエッジ位置を検出することにより達成される。視覚的に知覚できるエッジがブロック内にあれば、各エッジブロック内のエッジの反対側における勾配値と方向を計算し適正に符号化する。ブロック内に知覚できるエッジが含まれていない場合は、そのブロックは均等輝度ブロックとして符号化する。復号化においては、符号化平均輝度値、勾配の大きさ、及びパターンコードを受信し、これらの３つの指示値を組合わせて最初のデジタル画像と同様な配置となるように復号化することが必要である。視覚条件は固定である。
【００１５】
J.Sapiroの米国特許No.5,321,776、Date compression system including successive approximation quantizer（遂次近似量子化器を含むデータ圧縮システム）は、遂次洗練量子化（successive refinement quantization）とエントロピー符号化（entropy coding）によるデータ圧縮を容易にするデータ圧縮システムを記述している。生成され圧縮されたビットストリームは、任意の時点で切り捨てても知覚可能な画像を生成出来る。ビットストリームは、画質の漸次改善を達成する。即ち、切り捨て点における平均二乗誤差を最小化するように配列される。このスキームも人間の視覚特性を考慮していない。
【００１６】
固定した視覚的重み付けは、視覚系のコントラスト感度関数（ＣＳＦ）のモデルを用いて変換係数を乗徐算することにより埋め込み符号器に容易に組込むことが出来る。しかしながら、埋め込み符号器の場合、符号化ビットストリームは若干遅れた時点で切り捨てられ、埋め込み段階が異なれば視覚条件はかなり異なる。低いビットレートにおいて、圧縮画像の画質は貧しく、詳細な画像の特徴は得られない。画像は通常比較的遠い距離をおいて目視され、観察者は全体的な特徴に関心を持つ。受信ビット数が増えれば増える程、画像の画質は向上し、観察者は全体的な特徴だけでなく画像の細部にも関心をもつことが出来る。画像はより近い距離で観察され、画像分析がなされるか或いは検査のため拡大され、視覚距離も短くなる。かように、異なる視覚条件が、異なる埋め込み段階において要求される。
【００１７】
（発明の要約）
画像の視覚的画質を漸次向上させる符号化方法は、画像を１組の変換係数に変換し、この変換係数の組を、同一の視覚特性を有する変換係数群を各々含む複数バンドに分割し、各バンドに１組のアクティブな重みを割り当て、符号化単位を生成し、１組の符号化単位の候補を特定し、各符号化単位候補の重要度を決定し、最大の視覚的重要度を有する複数の符号化単位候補を符号化し前記のアクティブな重みを更新するステップを含む。
【００１８】
【発明が解決しようとする課題】
この本発明の目的は、ユーザが完全な分解能の高画質画像を要求する前に低分解能・低画質の画像を見ることが出来る符号化方法を提供することである。
本発明の他の目的は、視覚的画質を漸次向上させる符号化方法を速度歪みを最適化した埋め込み技術に適用することである。
本発明のさらなる目的は、視覚的画質を漸次向上させる符号化方法をサブバンド又はＤＣＴインデックスレベルにおいて適用することである。
これらの目的及び他の諸目的並びに諸利益は以下の説明を図面を参照して読めば明瞭となろう。
【００１９】
【発明の実施の形態】
ここに記述する発明は、視覚的プログレッシブコーディング方法（ＶＰＣ）と命名した視覚的重み付け方法である。ＶＰＣは先行技術のように変換係数に重みを乗算したり或いは重みに反比例する量子化ステップサイズに調整したりすることはない。代わりに、埋め込みの順番を変えるために重みを用いる。多数の重みをＶＰＣ符号化プロセスに用いることが出来、各時点で新しい組の重みがアクティブであり、ＶＰＣは新しい重みに従って残りのビットストリームの順序を変更する。新しい重みは既に符号化したビットストリームの順番に影響しない。ＶＰＣは現にある埋め込み符号器を用いて実施することができ、完全な埋め込み符号化に柔軟な視覚的調整を加えることが出来る。
【００２０】
ＶＰＣは埋め込み符号化の主観的画質を改善する。埋め込み符号化において、符号化ビットストリームは後処理時に切り捨てることができ、それでも知覚出来る画像を復号化出来る。高ビットレートにおける視覚条件は低ビットレートでの視覚条件と非常に異なる。本発明による視覚的プログレッシブコーディング方法は、より良い主観的画質を得るために全符号ビットレートにわたって視覚条件を調整する方法を提供する。
【００２１】
埋め込み符号化された画像が或る特定の距離から観察される場合、視覚的重み付けは変換係数に重みｗiを乗ずることにより符号器に容易に組込むことが出来る。しかしながら、見る条件が異なれば、異なる埋め込み段階を要する。埋め込み機能を用いた画像データベースへの照会を例にとると、圧縮ビットストリームの１バージョンのみが中央データベースに保管される。ユーザは、多数の画像を低分解能・低忠実度で、例えば画像当たり１６分の１のスクリーンで迅速にブラウジングを行うために、最初は各画像共極く小部分のビットストリームを要求する。興味を引く画像が見つかると、ユーザは全スクリーン分解能でその画像を見る。ユーザはその画像に満足すれば、分析のために完全無欠な圧縮画像を要求し印刷する。照会プロセス中には視覚条件が変化する。受信ビットレートが増大するにつれて、画像は拡大されるか或いは接近して観察される。低ビットレートでは、画像は通常比較的遠い距離をおいて観察される。この場合、圧縮画像の画質が低く詳細な画像の特徴はいずれにしても得られないので、ユーザは画像の全体的な特徴に興味をおいている。画像の画質は受信ビットレートが増すにつれて向上し、ユーザは全体的な特徴だけでなく画像の細部にも関心を持つようになる。画像をより近い距離で見るようになると、画像分析操作が行われ、或いは引き伸ばされて点検され、その分視距離は減少する。前述した式（１）又は式（２）のいずれかを用いて重みを変えて実施するのは、重みが変わる度に毎回、係数に新しい重みを乗じるか再度量子化しなければならず不都合である。さらに、そのような実施例では、重みが変わる度にその都度エントロピー符号器に送る係数の二進表現を変更するので、変化する統計値のために次のエントロピー符号器の性能が低下する。
【００２２】
主観的な視覚的重み付けは、符号化された画像の主観的画質を向上させる効果的な方法であることは証明されている。図１を参照し、先行技術による視覚的重み付け方式のフローチャート１０を説明する。画像１２の従来の視覚的重み付けは、次の２つの方法のいずれか、即ち、視覚系のコントラスト感度関数（ＣＳＦ）モデルにブロック１４の変換係数を、視覚的重み付けブロック１６に示すように乗除算する方法（１）か、またはブロック１８の量子化操作で視覚的重み付けを累積する方法（２）のいずれかにより実施する。
【００２３】
重み付けられた係数はブロック２０でエントロピー符号化される。画像は先ずブロック２２でエントロピー復号化され、ブロック２４で重み係数が逆量子化され、ブロック２６で逆重み付けされ、ブロック２８で逆変換され、出力画像３０が得られる。これに代わり、重みに反比例するように量子化ステップサイズを調節する逆量子化により視覚的重み付けを累積することが出来る。
【００２４】
低ビットレートの場合、画像の全体的な特徴のみに関心が集まり、画像も比較的遠い距離から観察される。細部の特徴はビットレートが十分でないので得られない。しかしながら、高ビットレートの場合、画像は詳細に検査され、比較的近い距離から観察される。画像は分析のためにさらに拡大される。かように、埋め込み段階が異なると、異なる視覚的重み付けが要求される。埋め込みプロセス中に視覚的重み付けファクタを調節出来る公知の埋め込み符号器は無い。
【００２５】
調節可能な埋め込み符号器用シンタクス及び特殊な装置について説明する。シンタクスは重み付けファクタを埋め込みプロセスにおいて調節可能にする。かような符号器は視覚的プログレッシブコーダ（ＶＰＣ）と呼ばれ、そのプロセスも視覚的プログレッシブコーディングプロセス（ＶＰＣ）と呼ばれる。ＶＰＣの幾つかの実施例について記述する。
【００２６】
視覚的プログレッシブコーディング方法（ＶＰＣ）
ＶＰＣは埋め込みプロセス中の視覚的重み付けファクタの柔軟な調節を可能にする。ＶＰＣのこの機能性により、符号器は低いビットレートにおける視覚的重み付けの利点を生かし、低域係数により多数のビットを割り当て、画像全体的の外観を改善する。高ビットレートの場合、ＶＰＣは次第にこの重み付けを止めてより柔軟な視覚条件に適応させ、高周波画像の細部を維持する。ＶＰＣは埋め込み符号化の主観的画質を向上させる。視覚的重みにより係数を乗除算したり又は視覚的重みにより量子化ステップサイズを調整するのではなく、ＶＰＣは視覚的重みに従って埋め込み順位を調整する。言い換えれば、ＶＰＣは符号化の内容ではなく符号化の順位を制御する視覚的重み付けを用いる。
【００２７】
視覚的プログレッシブコーディング方法（ＶＰＣ）の実施
ＶＰＣにおいて、画像は先ず１組の係数に変換される。ここでの変換は、ＤＣＴ（離散コサイン変換）、ウェーブレット又は偶数（Ｅｖｅｎ）ウェーブレットパケットであって良い。ＶＰＣにおいては、一般性を失うことなく、１つのバンドを同一の視覚特性を有する変換係数群と定義する。ウェーブレット／ウェーブレットパケットの変換において、１つのバンドは１つのウェーブレット／ウェーブレットパケットのサブバンドであり、ＤＣＴの場合は１つのバンドは同じＤＣＴ基底を有する全ての係数を含む。変換係数はｆi,jのように添字される。ここで、ｉはバンドを示し、ｊはバンドの位置を示す。変換係数ｆi,jの２進表示は次の通りである。
±ｂ1,ｂ2,ｂ3,…,ｂn,…ｂL … 式（３）
【００２８】
ここで、ｂ1は最上位ビットであり、ｂLは最下位ビットであり、ｂu（ｆi,j）はｕ番目の最上位ビットもしくは係数ｆi,jのｕ番目の符号化層である。変換により生じたサンプルビット配列を図２に示す。ビット配列の各行は変換係数を示しており、ビット配列の列は符号化層を示している。最上位ビットは左端の列に位置し、最下位ビットは右端の列に位置する。上位ビットｂu（ｆi,j）は常に下位ビットｂv（ｆi,j）（ｕ＜ｖの場合）より先に符号化されなければならないことは明らかである。bu（ｆi,j）は、最上位の未符号化ビットであれば、即ち、同じ係数ｂv（ｆi,j）のより上位のビット（ｖ＝１，…，ｕ−１）が全て符号化されていれば候補ビットとして表示される。所定の時点において、符号器は候補ビットの集合の中から次に符号化するビットを選択しなければならない。係数は、その符号化されたビットのいずれかがゼロでなければ重要であり、全てゼロであれば重要でないと見なされる。重要でない係数の候補ビットは重要度の特定モード（mode of significance identification）で符号化され、重要な係数の候補ビットは洗練モード（mode of refinement）で符号化される。重要度の特定と洗練に関しては後述する。
【００２９】
従来の符号器とこの埋め込み符号器はビット配列を符号化する順番が異なる。従来のＪＰＥＧまたはＭＰＥＧのような符号器は、先ず量子化の精度を決定し又は同様に各係数毎に符号化するビット数を決定してから、係数毎に符号化する。前記のビット配列を例にとると、従来の符号化は通常図２の３２のような配列である。図2の例の場合、ｗ0からｗ7までの列はビットプレーンｂ1〜ｂ7を含んでいる。各列には＋または−の符号が付けられている。
【００３０】
従来の符号化と異なり、埋め込み符号化は図３の３４に示すように、画像をビットプレーン単位又は列単位で符号化する。埋め込み符号化のビットストリームは、各係数の最も重要な部分を最初に符号化するので途中で切り捨てても妥当な画質が維持される。復号画像の画質はビットの受信数が増すにつれて徐々に向上するので順次画像伝送にも適している。
ＶＰＣの場合、多数の視覚的重みの組が存在する。
ｗ（ 0 ）＝｛ｗ0 （ 0 ）,ｗ1 （ 0 ）;…,ｗn （ 0 ）｝；
ｗ（ 1 ）＝｛ｗ0 （ 1 ）,ｗ1 （ 1 ）;…,ｗn （ 1 ）｝；
・ ・ ・
ｗ（ m ）＝｛ｗ0 （ m ）,ｗ1 （ m ）;…,ｗn （ m ）｝． … 式（４）
ＶＰＣのこのような一連の重みの他に、変換操作直後に任意に使用される全体の重みの組ｗｇは次の通りである。
ｗg＝｛ｗg0,ｗg1,…,ｗｇn｝ … 式（５）
この全体的な重みの組は固定した視覚的重み付けで実施される。所定の時点において、アクティブな重みｗと表わされる１組の重みが実施される。
ｗ=｛ｗ0,ｗ1,…,ｗn｝ … 式（６）
【００３１】
ここで、ｗ i はバンドｉに対するアクティブな重みである。ＶＰＣの重要なコンセプトは、実施式（１）の変換係数を重み付けするのではなく、或いは、実施化式（２）の重みに反比例するように量子化を調節するのではなく、重みを使用して埋め込みの順番を制御することである。ＶＰＣにおける再順序付けの最小の単位は符号化単位（coding unit（ＣＵ））として知られており、ｋを添字する。符号化単位は、ＶＰＣを実施するための特別な埋め込みスキームによって異なる。符号化単位候補は候補ビットのみから成る符号化単位（ＣＵ）であると定義される。ＣＵ候補のみを符号化することが出来るので、ＶＰＣの操作はアクティブな重みに従ってＣＵ候補を順序づけることである。新しい重み付けの組がアクティブである場合、ＶＰＣは残るＣＵに対し新しい符号化順序を編成する。既に符号化されたＣＵの符号化順序は新しい重みによって影響されない。この重みによる再順位付け戦略により、ＶＰＣ符号器は埋め込みプロセス中に多数の重みの組を編入することが出来る。
【００３２】
本発明によるＶＰＣ方法の全体的操作のフローチャート４０を図４に示す。入力画像１２を受信し、この画像を変換して符号化単位（ＣＵ）を生成する（ブロック４２）。変換後、全体的な重み付けの組ｗgがある場合、これを実施式（１）又は（２）のいずれかを用いた、固定視覚重み付け法により適用する。アクティブな重みの組ｗを初期化し、変換係数のビットをグループ化して符号化単位（ＣＵ）を生成する。ＶＰＣはＣＵ候補を特定し、各々のＣＵ候補の重要度ｓkを決定する（ブロック４４）。重要度ｓkは視覚的重み付けをしない埋め込み順位に関する大きさの値である。その後、ＣＵの重要度にその重みを乗算してＣＵの視覚的な重要度Ｖskを決定する（ブロック４６）。
【００３３】
【数２】
式中、ＷiはＣＵが存在する帯域のアクティブな重みである。ＶＰＣは最大の視覚的重要度を有するＣＵを符号化する（ブロック４８）。１つのＣＵの符号化が終了すると、新しいＣＵ候補が出現する。ＶＰＣは新しく出現した複数のＣＵ候補の重要度と視覚的重要度（The largest Visual significance）を評価し、最大の視覚的重要度を有するＣＵを符号化する。そして重みを更新すべきか否かの決定をなす（ブロック５０）。更新すべきであれば、次のステップに移行する。更新すべきでないなら、同一の重みを用いてブロック４４からのステップを繰り返す。アクティブな重みは何時でも変えることが出来（ブロック５２）、新しい重みがアクティブになると、残りのＣＵの埋め込み順位にのみ影響する。重みの変更は、符号器と復号器の間で折衝決定されねばならない。幾つかの有効な方法があるが、ＶＰＣのシンタクスとして後述する。上記の符号化プロセスは、或る終了判定基準が満たされるまで反復される（ブロック５４)。例えば、全てのＣＵが符号化され、即ち、符号化が無損失状態に達したか、最終符号化レートが達成されたか、或いは符号化歪みが或る特定のしきい値に達するまで反復される。その後、プロセスは終了する（ブロック５６）。前記の終了判定基準が満たされない場合は、前記プロセスをブロック４４から反復する。
【００３５】
個別ビットにおける視覚的画質の向上：視覚的プログレッシブ方式による速度歪み最適化埋め込み符号化（ＶＰＣ ＲＤＥ）
速度歪み最適化埋め込み法（ＲＤＥ）は、前述のように、LiとLeiによって開発された。ＲＤＥの場合、符号化単位（ＣＵ）は１つの変換係数ｆi,jの単一ビットｂu(ｆi,j)である。ＲＤＥは候補ビットを、予想速度歪み勾配（Ｒ−Ｄ勾配（Rate-Distortion（Ｒ−Ｄ）slope)）の順番、即ち符号化ビット当たりの歪み減少順に符号化する。
【００３６】
【数３】
計算を容易にするために、ルックアップテーブルを開発し、各候補ビット毎のＲ−Ｄ勾配の計算を、符号化層、重要度状態および算術符号化コンテキスト（arithmetic coding context）をインデックスとして一回のルックアップテーブル操作だけで済むようにしている。速度歪みを最適化する埋め込み（ＲＤＥ）のためのＶＰＣを実施するために、符号化単位（ＣＵ），即ち係数の個別ビットを視覚的重要度の降順で符号化する。ＣＵの重要度はＲ−Ｄ勾配の平方根として定義する。
ｓij＝√slope i j … 式（９）
【００３８】
Ｒ−Ｄ勾配はエネルギー減少の測定値あるので、この平方根を適用する。一方、１符号化単位（ＣＵ）の重要度は大きさの測定値である。ＣＵの個数は非常に多いので、ＣＵは厳密な探索はされず、また、最大の視覚的重要度では符号化されず、代わりに、しきい値近似法が適用される。
【００３９】
１組の低減するしきい値をγ0＞γ1＞…γn＞…として定義する。代表的なしきい値列は反復毎にファクタαだけ減少する。
γn＝γ0・α-n … 式（１０）
ＶＰＣ ＲＤＥは変換係数を多数回走査し、ｎ回の走査で、γnを越える視覚的重要度をもつ全てのＣＵを符号化する。アクティブな重みはバンドｉの範囲内では同一であるので，各係数の視覚的重要度を計算して現在のしきい値と比較する代わりに，バンドｉに対するしきい値を逆に重み付けする。
【００４０】
【数４】
γ′iより大きい重要度を有する全ての候補ビットを符号化する。ＶＰＣ ＲＤＥのステップは次の通りである。
ステップ１：画像変換
ステップ２：固定視覚重み付け：可能ならば全体的な重みｗｇを加える。
ステップ３：最初のしきい値γ＝γ0とアクティブな重みｗを設定する。
ステップ４：走査して符号化する。
画像は、最初に最低分解能バンドから最高分解能バンドまで各帯域内をラスタ線の順序で走査する。バンドｉの場合、（１１）式によって重み付きのしきい値γ′ i が計算される。各候補ビットについて、そのＲ−Ｄ勾配を、符号化層と重要度状態と算術符号化コンテキストをインデックスとしたルックアップテーブルの操作を用いてLiとLeiの文献に記載されているように決定する。候補ビットのＲ−Ｄ勾配を、調節したしきい値γ′iと比較し、その調節したしきい値より大きいＲ−Ｄ勾配を持つビットのみを符号化する。
ステップ５：必要に応じアクティブな重みを更新する。
ステップ６：しきい値を減少させる。画像全体を走査した後、しきい値をファクタαだけ減少させる（γ←γ／α）。ステップ４に戻り、ユーザが選択した最終ビットレート、例えば２.０ｂｐｐに達する等の終了条件が満たされるまで符号化は継続実行される。
【００４２】
サブバンド又はＤＣＴインデックスレベルにおける視覚的プログレッシブコーディング
Taubman及びZakhorが提案した階層ゼロ符号化（ＬＺＣ）のようなビットプレーン方式、Zandi他の提案せる可逆埋め込みウェーブレット符号器による圧縮（compression with reversible embedded warvelets（ＣＲＥＷ））、及びWangとKuoの提案する複数しきい値ウェーブレット符号器（multi-threshold wavelet coder（ＭＴＷＣ））の場合、ＶＰＣの符号化単位（ＣＵ）はベースバンドであり、同一符号化層内及び同一バンドの全てのビットを含んでおり、そのビット構成はすでにＭＴＷＣ内に存在している。ＣＵを拡大することにより、再配列の粒度が増大するが、実現化はより容易となり、符号器の大部分は同一のままである。この範疇のＶＰＣの実施は、ＪＰＥＧ２０００ＶＭ２におけるＶＰＣの実施化として以下のように説明出来る。１つのバンドビットプレーン内で、ビットをさらに部分的ビットプレーン又は３つのサブモデル、即ち、（１）現係数は重要でないがその近傍の係数は重要である予測重要度モード（predicted significance mode）と、（２）現係数が重要である洗練モード（refinement mode）と、（３）現係数も近傍の全ての係数も重要でない予測非重要度モード（predicted insignificance mode)に分類する。１つのバンドにおいて、符号器は常に最重要ビットプレーンから最低重要度ビットプレーンに処理を進め、１つのビットプレーンにおいて、符号器は常に先ず予測重要度モードで符号化し、次に洗練モードで符号化し、最後に非重要度モードで符号化する。ＶＰＣを実施するために、符号化単位（ＣＵ）を１ビットプレーンの１サブモードとして規定し、ＣＵをアクティブな重みに従って最配列する。ＶＰＣを可能にするＪＰＥＧ２０００ＶＭ２は下記のように実施する。
【００４３】
ステップ１：画像を変換する。
ステップ２：スカラー量子化器またはトレリス符号化量子化器（ＴＣＱ）により量子化し、可能ならば全体的な重みｗｇで固定視覚的重み付けをする。
ステップ３：最初のアクティブな重みｗを設定する。
ステップ４：各符号単位（ＣＵ）候補毎に重要度ｓkを計算する。
ｓk＝３1/2・２-n k 予測重要度モードの場合
ｓk＝１・２-n k 洗練モードの場合
ｓk＝（０.９６） 1/2 ・２-n k 予測非重要度モードの場合 … 式（１２）
ここで、ｎ kは現符号化層である。定数３1/2，１及び０.９６1/2は異なる符号化モードのＲ−Ｄ勾配を概算によって、また、視覚的プログレッションを用いない場合の埋め込み順序を維持するように選定される。
ステップ５：式（７）に従って各ＣＵ候補の視覚的重要度を計算する。
ステップ６：最大の視覚的重要度を有するＣＵ候補を符号化する。ＣＵの数が比較的少ないので、変更重みを符号化する代わりに、ＪＰＥＧ２０００ＶＭ２はＣＵの順序を符号化する。１つのＣＵを符号化する前に、そのＣＵを特定するタグを符号化する。１つのバンド内における符号化順序は１つだけなので、タグはＣＵが含まれているバンドを特定するだけで良い。
ステップ７：必要に応じアクティブな重みを更新する。符号化は、終了条件が満たされるまで継続実行される。
【００４４】
マルチバンドの符号化単位を有する埋め込み方式の場合の視覚的プログレシッブコーディング（ＶＰＣ）方法
複数バンドにまたがる係数を有するシンボルの符号化を含む階層ツリー（Set Partitions In Hierarchical Trees（ＳＰＩＨＴ））内の設定区分においてＶＰＣを実施する方法について記述する。この実施法はＥＺＷのような他の類似埋め込み方式にも一般化出来る。階層ツリー（ＳＰＩＨＴ）内に三種類の符号化シンボル、即ち、非重要画素のリスト（list of insignificant pixels（ＬＩＰ））、重要画素のリスト（list of significant pixels（ＬＳＰ））、及び非重要組のリスト（list of insignificant sets（ＬＩＳ)）が存在する。ＬＩＰとＬＳＰの構成要素は各々１つの係数の１つのビットである。ＬＩＳの構成要素には、複数の帯域にまたがる同一層における重要でないビットの３つの集団を含んでいる。ＶＰＣの再配列の最小単位である符号化単位（ＣＵ）は、ＬＩＰ，ＬＳＰ又はＬＩＳの１つの要素であると規定する。ＣＵは多数なので、前述のＶＰＣ ＲＤＥと同様なしきい値による処理を採用する。ＳＰＩＨＴによるＶＰＣの符号化手順は次の通りである。
【００４５】
ステップ１：画像を変換する。
ステップ２：可能ならばグローバルな重み（global weights）ｗｇで固定の視覚的重み付けをする。
ステップ３：最初の初期しきい値γ＝γ0を設定しアクティブな重みｗを設定する。
ステップ４：トラバースして符号化する。ＶＰＣはＬＩＳ，ＬＩＰおよびＬＳＰを縦覧横断し、各ＣＵの重要度と視覚的重要度を評定し、しきい値γより大きい重要度を有するＣＵを符号化する。ＣＵの重要度は量子化のステップサイズと符号化モードによって計算する。
ｓk＝１.９・２-n k ＬＩＳ構成要素の場合 … 式（１３）
ｓk＝３1/2・２-n k ＬＩＰ構成要素の場合
ｓk＝１・２-n k ＬＳＰ構成要素の場合
【００４６】
ここで、ｎ kはまだＣＵの符号化層である。定数１.９、３1/2及び１は異なる符号化モードのＲ−Ｄ勾配を再び概算によって、また、視覚的プログレッションを用いない場合の埋め込み順序を維持するように定められている。ＣＵの視覚的重要度は、ＣＵの重要度にその重みを乗じて定める。１ビットのＣＵ（ＬＩＰ又はＬＳＰ）の場合、その重みは、画素が存在するバンドｉのアクティブな重みｗiである。複数のバンドにまたがる重要でないビットのツリーを含むＬＩＳの構成要素のＣＵ場合、その重みは最も感度の強い視覚バンドに従って式（１４）のように計算するか、或いは、加重和として式（１５）のように計算することが出来る。
【００４７】
【数５】
式中のＰｃはバンドｃ（ｃ＝０,…,Ｌ）に存在する画素数を意味する。式（１４）の方法は、ＣＵの視覚的な画質を保証できるのでより好適である。
計算した視覚的重要度を現しきい値と比較し、しきい値を越える重要度を有するＣＵのみを符号化する。ＣＵの符号化はSaidとPearlmanが記述した規則に厳格に従っている。
ステップ５：必要に応じアクティブな重みを更新する。
ステップ６：しきい値を減少させる。ＬＩＳ，ＬＩＰ及びＬＳＰを走査後、しきい値γをファクタαだけ減少させ（γ←γ／α）、ステップ４に戻る。終了条件が満たされるまで符号化は継続実行される。
【００４９】
ＶＰＣのビットストリームシンタクス
ＶＰＣの場合、復号器はアクティブな重みの変更について知らされねばならないが、これには、３通りの方法がある。第１の方法は、デフォルト重み値の変更戦略を符号器と復号器間で折衝出来るようにすることである。このデフォルト重みのアプローチは復号器へ送られるオーバーヘッドを除去するが、デフォルト重みの個数が制限されるので視覚的進展の柔軟さが制限される。
【００５０】
より一般的な方法は、符号器に埋め込み時の重み変更、即ち視覚条件の変更を制御させ、復号器は符号器の指示に従って重みを受信し更新するだけとする。これには２通りの方法がある。符号化単位（ＣＵ）の個数が少ない場合、ＪＰＥＧ２０００ＶＭ２におけるＶＰＣの実施の様に、ＣＵの埋め込み順序を指定するタグを符号化出来る。これが、アクティブな重みの変更を知らせる第１の方法を構成する。
【００５１】
或る特定の符号器の場合、付加タグは、次のＣＵを符号化するために必要なビット数を特定することが要求される。ＣＵの数が多い場合、通常の方法では正規の間隔で視覚マーク（ＶＭ）を明示的に伝送し、重みが変更されたか否かを復号器に知らせる。これが、アクティブな重みの変更を知らせる第２の方法を構成する。
【００５２】
図５に視覚マーク（ＶＭ）６０のシンタクスを示す。ＶＭは、重みが変更されたか否かを示す１ビットのシンボルＭにより先導される。Ｍが０であれば、先の重みがアクティブである。Ｍが１の場合、ＶＰＣは全てのバンドについて重みを更新する。かようなシンタクスは重みの変更がない場合にオーバヘッドを最小にする。重み更新に関する事前折衝の間隔は、符号器と復号器間で事前に取り決めておく。これは、例えば、１バンドビットプレーンを符号化後または全画像を走査後に実施出来る。重み更新間隔が長ければ長い程、重み更新のためのオーバヘッドは短いが、重み変更の粒度は粗くなる。
【００５３】
視覚マークのシンタクスは、複数バンドにまたがる係数を持つＣＵがない特別な場合に、画質と空間のスケーラビリティを維持出来る。画質のスケーラビリティの場合、最初の重みは一様に１に設定し、重みが変わっていないことを示す視覚マーク０を重み更新間隔ごとに伝送する。空間スケーラビリティを実施するために、最低分解能に対する重みを全て１に設定し、残りの分解能に対する重みを全て０に設定する。かような重みを使用すれば最低分解能範囲外に存在する係数の視覚的重要度が０になり、ＶＰＣは最低分解能の係数のみを符号化出来る。最低分解能の全係数の全ビットプレーンを符号化後、ＶＰＣは次の最低分解能の処理に進む。この新しい分解能の重みを１に設定し、残りの分解能の重みを０に設定する。新しい分解能の全係数を符号化した後、ＶＰＣはより高い分解能の処理に進む。プロセスは全ての係数を符号化するまで継続実行される。
【００５４】
実験結果
実験結果を得るために使用したシミュレーションソフトウェアはＪＰＥＧ２０００ＶＭ２であり、非視覚的重み付けモード（non-visual weghting mode（ＮＷ））、固定視覚的重み付けモード（fixed visual weighting mode（ＶＷ））及び視覚的プログレッションモード（visual progression mode（ＶＰＣ））で実施した。試験画像は図６に示した自転車の画像であり、寸法は２０４８×２５６０である。
【００５５】
この画像を画素当たり１.０ビットで圧縮し、０.１２５ｂｐｐおよび１.０ｂｐｐで各々埋め込み／復号化した。固定視覚的重み付けの場合、画像は１４インチ（３５センチ）の距離をおいて観察されると想定し、コントラスト視感度関数（ＣＳＦ）の視覚的重みはJones他の提案になる方法（以後Jones法と記す）に従い計算する。同じＣＳＦ重みを０.１２５ｂｐｐ以前のＶＰＣにおいて使用し、その後、重みを一様に１に設定する。結果画像を図７，図８及び図９に示す。符号化画像のピーク信号対雑音比（ＰＳＮＲ）と実行値誤差（ＲＭＳＥ）を参考までに表１に示すが、ＰＳＮＲ及びＲＭＳＥは視覚画質における良好な測定尺度を提供するものではない。
【００５６】
図７は、０.１２５ｂｐｐの復号画像で、ＮＷ，ＶＰＣ及びＶＷの各モードで符号化した画像を各々図７（ａ），図７（ｂ），図７（ｃ）に示してある。図７（ｂ）のＶＰＣ符号化画像の主観的画質は、図７（ａ）のＮＷ符号化画像の主観的画質より優れており、図７（ｃ）のＶＷ符号化画像の主観的画質に近い。人間の目に認識されやすい周波数成分を強調することにより、ＶＰＣ符号化画像はより明瞭に見え、自転車の車輪回りのリンギングアーチファクトも少ない。背景の縞模様はＶＰＣとＶＷ符号化画像においてより明瞭である。
【００５７】
１.０ｂｐｐで完全に復号した画像を図８に示す。図８（ａ），図８（ｂ）及び図８（ｃ）は各々ＮＷ，ＶＰＣ及びＶＷで復号した画像であるが全て視覚的画質は近似である。しかしながら、高ビットレートの場合、ユーザは画像を拡大して詳しく見たいと思うであろう。図９に示すように画像を４倍に拡大すると、ＶＷ符号化画像９ｃはよりスムーズで、シャープなエッジ周辺のリンギングアーチファクトがより強くなるが、ＶＣＰ符号化画像９ａ及びＮＷ符号化画像９ｂはかようなアーチファクトは僅かである。高ビットレートの場合、ＶＰＣの重みによる再順位付け戦略は、画像を近距離で見られるように徐々に視覚的重み付けを無くして行くことを可能にする。ＶＷ符号化画像はかような柔軟性を持たない。
【００５８】
ＶＰＣ法により符号化した画像は、埋め込み時の視覚的重みをより柔軟に調節出来るようにする。低いビットレートでの視覚的重み付けの利点を生かし、低域パス係数により多くのビットを割り当て画像全体の外観を向上させる。高ビットレートにおいては、より柔軟な視覚条件に適応して高周波画像の細部を確保するために視覚的重み付けを停止する。ＶＰＣは埋め込み符号化画像の主観的画質を向上させる。
【００５９】
【表１】
以上、視覚的プログレッシブコーディング方法とその種々の変形例について説明してきたが、これらは好適な実施例とその代案であり、請求項に規定された本発明の範囲から離れることなく、さらなる変更と修正をなし得ることは理解出来よう。
【図面の簡単な説明】
【図１】代表的な符号化フレームワークにおける先行技術による重み付けを示すブロック図である。
【図２】従来の符号化方法のビット配列と符号化順序を示す図である。
【図３】本発明による符号化方法のビット配列と符号化順序を示す図である。
【図４】本発明の符号化方法のブロック図である。
【図５】本発明に用いられるシンタクスを示す図である。
【図６】原画像を示す図である。
【図７】本発明により処理された画像を示す図である。
【図８】本発明により処理された画像を示す図である。
【図９】本発明により処理された画像を示す図である。
【符号の説明】
１２…画像、１４…変換、１６…視覚的重み付け、１８…量子化、２０…エントロピー符号化、２２…エントロピー復号化、２４…逆量子化、２６…逆重み付け、２８…逆変換、３０…出力画像、４０…フローチャート、４２…変換，符号化単位（ＣＵ）の生成、４４…各ＣＵ候補の重要度の決定、４６…視覚的重要度の決定、４８…最大の視覚的重要度を有するＣＵの符号化、５０…重み更新（？）、５２…重み変更、５４…終了（？）、５６…終了。
Claims (2)
- 画像をＤＣＴにより変換して同一のＤＣＴ基底を有する変換係数を含む複数のバンドに分割し、前記変換係数を２進法で表現したビットを所定の順序で符号化する符号化方法において、
前記ビットを前記ビットが属する変換係数がゼロであるか否かに基づいて分類し、符号化単位をバンド毎かつビットプレーン毎に同一の分類に属するビットからなる部分的ビットプレーンとして規定し、
前記符号化単位の重要度を前記分類毎にビットプレーンの番号に基づいて決定し、
前記バンドに対応して定義される視覚的重みと前記重要度とを掛け合わせて、前記符号化単位に対応する視覚的重要度を決定し、
前記符号化単位を前記視覚的重要度の高い順に符号化することを特徴とする、画像の視覚的プログレッシブ符号化方法。 - 画像をウェーブレットにより変換してウェーブレットサブバンドである複数のバンドに分割し、変換係数を２進法で表現したビットを所定の順序で符号化する符号化方法において、
前記ビットを前記ビットが属する変換係数がゼロであるか否かに基づいて分類し、符号化単位をバンド毎かつビットプレーン毎に同一の分類に属するビットからなる部分的ビットプレーンとして規定し、
前記符号化単位の重要度を前記分類毎にビットプレーンの番号に基づいて決定し、
前記バンドに対応して定義される視覚的重みと前記重要度とを掛け合わせて、前記符号化単位に対応する視覚的重要度を決定し、
前記符号化単位を前記視覚的重要度の高い順に符号化することを特徴とする、画像の視覚的プログレッシブ符号化方法。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US7878198P | 1998-03-19 | 1998-03-19 | |
| US09/252245 | 1999-01-28 | ||
| US60/078781 | 1999-01-28 | ||
| US09/252,245 US6327392B1 (en) | 1999-01-28 | 1999-01-28 | Method of visual progressive coding |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004223414A Division JP2005020768A (ja) | 1998-03-19 | 2004-07-30 | 画像の視覚的プログレッシブ符号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000041249A JP2000041249A (ja) | 2000-02-08 |
| JP3792067B2 true JP3792067B2 (ja) | 2006-06-28 |
Family
ID=26760930
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11402899A Expired - Fee Related JP3792067B2 (ja) | 1998-03-19 | 1999-03-16 | 画像の視覚的プログレッシブ符号化方法 |
| JP2004223414A Pending JP2005020768A (ja) | 1998-03-19 | 2004-07-30 | 画像の視覚的プログレッシブ符号化方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004223414A Pending JP2005020768A (ja) | 1998-03-19 | 2004-07-30 | 画像の視覚的プログレッシブ符号化方法 |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP0944262B1 (ja) |
| JP (2) | JP3792067B2 (ja) |
| DE (1) | DE69943154D1 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6501397B1 (en) * | 2000-05-25 | 2002-12-31 | Koninklijke Philips Electronics N.V. | Bit-plane dependent signal compression |
| US6668090B1 (en) * | 2000-05-26 | 2003-12-23 | Eastman Kodak Company | Producing a compressed digital image organized into layers corresponding to increasing visual quality levels and providing rate-control of such compressed digital image |
| FR2816154A1 (fr) * | 2000-10-31 | 2002-05-03 | Canon Kk | Insertion d'information supplementaire dans des donnees numeriques |
| CN100391250C (zh) * | 2002-08-20 | 2008-05-28 | 联发科技股份有限公司 | 渐进式联合图像专家组解码装置及方法 |
| JP4191592B2 (ja) | 2003-12-26 | 2008-12-03 | 株式会社メガチップス | 圧縮符号化装置、圧縮符号化方法およびプログラム |
| JP2007295503A (ja) * | 2006-04-26 | 2007-11-08 | Sios Technology Inc | 階層符号化方法を用いた画像圧縮方法及び画像圧縮装置 |
| US7813564B2 (en) * | 2007-03-30 | 2010-10-12 | Eastman Kodak Company | Method for controlling the amount of compressed data |
| JP2019165383A (ja) * | 2018-03-20 | 2019-09-26 | 日本放送協会 | 帯域制限装置、帯域制限量制御装置、及びプログラム |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2302245B (en) * | 1994-09-20 | 1997-10-22 | Ricoh Kk | Wavelet transform filter |
-
1999
- 1999-03-16 JP JP11402899A patent/JP3792067B2/ja not_active Expired - Fee Related
- 1999-03-18 EP EP99105546A patent/EP0944262B1/en not_active Expired - Lifetime
- 1999-03-18 DE DE69943154T patent/DE69943154D1/de not_active Expired - Lifetime
-
2004
- 2004-07-30 JP JP2004223414A patent/JP2005020768A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| DE69943154D1 (de) | 2011-03-10 |
| EP0944262A2 (en) | 1999-09-22 |
| JP2000041249A (ja) | 2000-02-08 |
| EP0944262A3 (en) | 2004-01-28 |
| JP2005020768A (ja) | 2005-01-20 |
| EP0944262B1 (en) | 2011-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6327392B1 (en) | Method of visual progressive coding | |
| JP3659353B2 (ja) | ビデオ画像符号化方法 | |
| JP3739094B2 (ja) | 符号化システムにおけるレート制御を最適にするための装置 | |
| EP1732029B1 (en) | A method and apparatus for image encoding | |
| US7221804B2 (en) | Method and apparatus for compressing and decompressing images | |
| US7916961B2 (en) | Compression encoder, compression encoding method and program | |
| Walker et al. | Wavelet-based image compression | |
| JP2000511366A6 (ja) | ４分割ツリーベースの可変ブロックサイズ動き推定装置および方法 | |
| Sprljan et al. | Modified SPIHT algorithm for wavelet packet image coding | |
| JP3597779B2 (ja) | 画像を圧縮及び圧縮解除する方法及び装置 | |
| JP3792067B2 (ja) | 画像の視覚的プログレッシブ符号化方法 | |
| US6904091B1 (en) | Methods and apparatus for progressive transmission of subband images | |
| Zandi et al. | CREW lossless/lossy medical image compression | |
| Li | Visual progressive coding | |
| KR100323701B1 (ko) | 영상부호화장치 | |
| KR20020055864A (ko) | 칼라 정지영상의 부호화 및 복호화 방법 | |
| JP2004350034A (ja) | 画像符号化装置及び方法、並びに画像復号装置及び方法 | |
| KR100203713B1 (ko) | 물체를 포함하는 영상신호를 인장-보간 기법을 이용하여 처리하는 방법 및 장치 | |
| Hemami | Image Compression—A Review | |
| Bojkovic et al. | Advanced image compression techniques: Comparative functionalities and performances | |
| Mandal | Digital image compression techniques | |
| Kumar et al. | A survey of contemporary medical image compression techniques | |
| Zheng et al. | Wavelet coding of image using quadtree representation and block entropy coding | |
| Singh | Wavelet Based Embedded Coding for Images (A novel extension of SPIHT and SPECK) | |
| Levy | Self-Similarity and Wavelet Transforms for the Compression of Still Image and Video Data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040601 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040730 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050628 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050826 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050831 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060404 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060404 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090414 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110414 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |