JP4215946B2 - 埋込形ｄｃｔベースの静止イメージ・コーディング・アルゴリズム - Google Patents
埋込形ｄｃｔベースの静止イメージ・コーディング・アルゴリズム Download PDFInfo
- Publication number
- JP4215946B2 JP4215946B2 JP2000513412A JP2000513412A JP4215946B2 JP 4215946 B2 JP4215946 B2 JP 4215946B2 JP 2000513412 A JP2000513412 A JP 2000513412A JP 2000513412 A JP2000513412 A JP 2000513412A JP 4215946 B2 JP4215946 B2 JP 4215946B2
- Authority
- JP
- Japan
- Prior art keywords
- coefficients
- bit
- block
- image
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 claims description 70
- 230000005540 biological transmission Effects 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims 3
- 238000007906 compression Methods 0.000 description 11
- 230000006835 compression Effects 0.000 description 11
- 230000000750 progressive effect Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- 238000013144 data compression Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 108010037897 DC-specific ICAM-3 grabbing nonintegrin Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【０００１】
（技術分野）
本発明は、静止イメージのためのコーディング・アルゴリズムと、そしてこのアルゴリズムを実行するためのデバイスとに関するものである。このアルゴリズムは、特に、埋込形ビット・ストリームを発生し、そしてイメージの各部分をこのイメージの残りとは異なった品質でコーディングするのに適している。
【０００２】
（本発明の背景および従来技術）
変換コーディングは、多くの実際的なイメージ／ビデオ圧縮システムにおいて広く使用されている。変換を使用する背後の基本思想は、変換後のイメージを圧縮するタスクを、空間ドメインでの直接コーディングよりもより容易にすることである。離散コサイン変換（ＤＣＴ）は、ＪＰＥＧ，Ｈ２６１／Ｈ．２６３およびＭＰＥＧのようなコーディング規格のほとんどにおいて変換として使用されている。
【０００３】
最近では、研究活動のほとんどは、特にシャピロ（Shapiro）が埋込形ゼロツリー・ウェーブレット（ＥＺＷ）イメージ・コーディングに関する彼の業績を発表してからは、ＤＣＴからウェーブレット変換にシフトしてきている（シャピロの“ゼロツリーのウェーブレット係数を使用する埋込形イメージ・コーディング（J. M. Shapiro, "Embedded Image Coding using zerotrees of wavelet coefficients", IEEE Trans. on Signal Processing, Vol. 41, No. 12, pp. 3445-3462, Dec. 1993）”を参照されたい）。
【０００４】
ペネベーカ（W. B. Pennebaker）およびミッチェル（J. L. Mitchell）の論文“ＪＰＥＧ静止イメージ・データ圧縮規格（W. B. Pennebaker, J. L. Mitchell, JPEG Still Image Data Compression Standard, Van Nostrand Reinhold, New York, 1993）”は、ＤＣＴベースのコーディングにおける現行技術水準を記述している。
【０００５】
多くのアプリケーションにおいては、埋込形ビット・ストリームを得ることが望ましい。埋込形ビット・ストリームは、ビット・ストリームの開始部に埋め込んだ全ての低いレートを含むため、それらビットは、最も重要なものから最も重要でないものに順番になっている。埋込形コードを使用することにより、エンコーディングは、単に、ビット・カウントとしてのターゲット・パラメータが満たされたときに停止する。同様の方法で、埋込形ビット・ストリームが与えられたときに、デコーダは、任意の点でデコーディングを中止することができ、そして全ての低いレートのエンコーディングに対応する再構成を生成することができる。
【０００６】
埋込形ビット・ストリームを最適にするためには、イメージの視覚的認識にとって最も意味のあるビットを最初に伝送することが望ましい。これは、それらビット・ストリームが低いビットレートで良好な圧縮／品質レシオを有するようにさせることに対応する。
【０００７】
ＤＣＴは、正規直交（orthonormal）であり、このことは、それがそのエネルギを保存することを意味する。言い換えれば、二乗平均誤差（ＲＭＳＥ）（または、ピーク信号対ノイズ比−ＰＳＮＲ）に関して、ある一定の大きさの変換イメージにおける誤差は、元のイメージにおける同じ大きさの誤差を発生する。
【０００８】
これは、最大の大きさをもつ係数を最初に伝送すべきことを意味し、その理由は、これらが、最大の情報内容を有するからである。これはまた、この情報が、その二進表現にしたがってランク付けすることもできること、そしてその最上位ビットを最初に伝送すべきことを意味する。
【０００９】
ＤＣＴ変換後は、イメージのエネルギのほとんどは、低周波数の係数に集中し、これら係数の残りは、非常に低い値しかもたない。これは、係数の最上位ビット平面（ＭＳＢ）において非常に多くのゼロがあることを意味する。ある一定の係数の第１有意ビット（FSB:first significant bit）が見い出されるまでは、ゼロの確率が非常に高い。したがって、効率的なコーディングのタスクは、これらゼロを効率的な方法でエンコーディングするタスクとなる。
【００１０】
ジゾン（Z. Xiong）とグレルツ（O. Guleryuz）とオーチャード（M.T. Orchard）の論文“ＤＣＴベースの埋込形イメージ・コーダ（Z. Xiong, O. Guleryuz, M.T. Orchard, A DCT-based embedded image coder, IEEE Signal Processing Letters, Vol. 3, No. 11, pp. 289-290, Nov. 1996）”、ローランス（N.X. Laurance）とモンロー（D.M. Monro）の論文“有意度マスキングを備えた埋込形ＤＣＴコーディング（N.X. Laurance, D.M. Monro, Embedded DCT coding with significance masking", Proc.IEEE ICASSP 97, Vol. IV, pp. 2717-2720,1997）”、リー（J. Li）とリー（J. Li）とクオ（C.-C. Jay Kuo）の論文“ビデオ技術のためのオン回路およびシステム（J. Li, J. Li, C.-C. Jay Kuo, Layered DCT still image compression, IEEE Trans. On Circuits and Systems for Video Technology, Vol. 7, No. 2, April 1997, pp. 440-442）”においては、ＤＣＴが使用されている変換であるが、係数のコーディングは、JPEGコーディングがなされるのと同じ方法で行われるのではない。その代わり、埋込形ビット・ストリームを発生することができる。
【００１１】
（発明の摘要）
本発明の目的は、埋込形ＤＣＴベース（ＥＤＣＴ）のイメージを出力し、そしてこれからデコードしたイメージが、JPEGおよび上記引用の論文に発表されたＤＣＴベースのコーダからのものと比べより良好なＰＳＮＲを与えるようになった、アルゴリズムを提供し、かつこのアルゴリズムを実行するためのデバイスを提供することである。
【００１２】
本発明のさらに別の目的は、イメージの関心領域（ＲＯＩ：Regions of Interst）を、本アルゴリズムの埋込形プロパティを温存しながら、このイメージの残りとは異なった品質でエンコーディングするのに使用できる方法を提供することである。
【００１３】
これら目的は、以下の基本的なステップを用いる方法により得られる。
− イメージを矩形のブロックに分割。
− 各ブロックをＤＣＴで別々に変換する。この変換は、係数のブロックを発生し、そのＤＣ係数は左上隅にあり、そしてそれより高い水平および垂直周波数の係数は、対応するブロック軸の方向にある。従来は、使用するブロックは、８×８サイズであるが、ここでは、２の累乗のブロック・サイズを許容する。サイズを２の累乗に制限する理由は、ＤＣＴを高速で計算することができるからである。
− ＤＣＴ係数を漸進的方法で量子化し伝送することにより、最も重要な情報を最初に伝送するようにする。
【００１４】
しかし、どの伝送レートでもこの圧縮を良好なものとするには、すなわちビット・ストリームを任意の点でカットできるようにし、そして依然としてその圧縮レートで良好な品質をもつイメージを提供するには、効果的なスキャン順序を使用する必要がある。
【００１５】
このため、本発明によれば、各係数に関して、最も有意のビットから始まってより有意でないビットまでの最初の非ゼロ・ビットを、第１有意ビット（ＦＳＢ）と呼ぶ。この第１有意ビットより前の係数のビットは、ゼロ・ビット（ＺＢ）と呼ぶ。符号情報は、符号ビット（ＳＢ）により表す一方、第１有意ビットより後のビットの残りは、生ビット（ＲＢ）と呼ぶ。コーディングは、ビット平面毎に行う。各ビット平面においては、コーディングは、最も低い周波数の係数から最も高い周波数へである。
【００１６】
送出するどのゼロ・ビットに関しても、デコーダが見い出すその係数に対する不確定インターバルの長さは、２で分割する。第１有意ビットに出会したとき、以下に説明するように、この係数の符号を、埋込形コードを維持するため送出する必要がある。
【００１７】
符号ビットの後、ＲＢを伝送しなければならない。これらは、非常に小さな冗長性を有し、したがってこれらを良好な予測でもってエンコードしようとすることにより得られるものはほとんどない。
【００１８】
次に、受信器は、これらステップを反転させることができる。発生したビット・ストリームは、埋め込み、そしてデコーダは、そのビット・ストリームを任意の点でカットすることができ、そしてそれがあたかもそのビット・レートで直接圧縮されたのと同じ品質を有するイメージを発生することができる。
【００１９】
そのようなコーディング技法に対しこのスキャン順序を使用することにより、非常に良好な視覚的品質を全ての圧縮レシオに対して得られる。
【００２０】
（好ましい実施形態の詳細な説明）
図１においては、８×８ＤＣＴブロックにおけるＤＣＴ係数の配列を示している。このため、左上の隅では、低周波数の係数が見られ、それより高い周波数の係数は、その下および右に見られる。
【００２１】
各係数は、多数のビット、例えば図２に示したように８ビットで表す。図２においては、最初の３ビットはゼロであり、ゼロ・ビット（ＺＢ）と呼び、第４のビットはゼロではなくそして第１有意ビット（ＦＳＢ）と呼び、そしてそれより下の有意のビットは、生ビット（ＲＢ）と呼ぶ。
【００２２】
好ましい実施形態においては、デジタル化したＤＣＴ変換イメージのためのコーディング・アルゴリズムは、以下の通りである。
（１） 全てのＤＣ係数の平均値（DC＿mean）を発見する。この値を各ＤＣ係数から減算する。
（２） イメージ内の最大の大きさの係数のサイズの半分の量子化器（quantizer）を選ぶ。この量子化器を伝送する。
（３） 現行の量子化器に関してどの新たな係数が有意（significant）であるかについて、またこれら係数の符号（sign）についての情報を送出／エンコードする。１つの係数は、その大きさが（絶対項で）現行の量子化器よりも大きい場合に、量子化器に関して有意であると言う。
（４） 現行の量子化器を、このビット平面（bit plane）内で有意であると見い出した係数の大きさから減算する。その有意である係数の大きさを、現行量子化器が減算した大きさと置き換える。この差は、生ビット（raw bit）のみを保持することに対応する。
（５） 先行のビット平面において有意であった全ての係数に対して、それら係数が量子化器よりも大きなあるいは小さな大きさを有するかどうかの情報を送出／エンコードする。この量子化器を、行うものの大きさから減算し、そしてその結果生じた値でそれら係数を置換する。これは、生ビットを伝送することに対応する。
（６） 現行の量子化器を２で除算する。これは、それら係数のより低い有意のビット平面に降りることに対応する。
（７） ビット供給が尽きるまで、あるいは何等かの所望の品質に達するまで、ステップ（３）から繰り返す。
【００２３】
ここで、上記のステップ１は、オプションであることに注意されたい。これを使用するならば、ＤＣ係数の平均値を記憶し伝送しなければならない。
【００２４】
この再構成は、以下の通りに行う。
− 全ての係数をゼロにセットする。
− 第１の量子化器を受ける。
− 新たな有意の係数についての情報を受ける。
− これらを、（１．５＊現行量子化器＊係数符号）として再構成する。この理由は、このステージでは、それら係数の大きさが現行量子化器と（２＊現行量子化器）との間にあることが分かっているからである。これは、（１．５＊現行量子化器）を、不確定なインターバルの中間に置く。以下のステップ５で実行するこの加算または減算は、それら係数を更新することにより、これらが常にその不確定なインターバルの中間にあるようにする。
− 全ての先に有意の係数に対して、これら係数が現行量子化器よりも大きな大きさを有するかどうかチェックする。現行量子化器／２を行うものの大きさに加算し、そして現行量子化器／２を行わないものの大きさから減算する。
− 現行量子化器を２で除算する。
− ステップ３，すなわち、新たな有意係数の受け取りを、所望の品質に達するまであるいはそれ以上情報がなくなるまで、繰り返す。
【００２５】
ステップ（１）がエンコーダで実行されたとした場合、デコーダは、ＤＣ係数の平均値を受けており、したがってこの値を再構成したＤＣ係数に加算する。
【００２６】
さらに、どのビット平面においても係数を更新するため、スキャン順序を定める必要がある。好ましい実施形態においては、１つの係数は、次の係数に進む前に、全てのブロックにおいて更新する。
【００２７】
１つのブロックの内側では、ＤＣＴ係数を対角線順序でビット平面毎にスキャンする。各々のスキャンした対角線後、フラグを送ることにより、このブロックの残りには新たな有意係数があることを知らせる。これは、ブロック・カットオフ（block cut-off）と呼ぶ。このブロック・カットオフを使用するが、それは、第１ビット平面では、かなり多くのゼロがあり、これは、実際には、明示的な記号が、全てのゼロを良好な予想でもってコーディングするのを試行するよりも良好に機能する。このブロック・カットオフ記号は、新たな有意係数にのみ関している。
【００２８】
ここで、各対角線に対してカットオフ・フラグを有するのではなく、ランレングス・コーディング法を使用することもできる。例えば、ある係数が有意である場合、そのブロック内の次に有意の係数の位置を指示するのにある数を使用することができる。
【００２９】
上述のように、符号ビットは、先行の有意係数に関しては既に送られている。したがって、不確定インターバルは、まだ有意でない係数に対しては２倍大きく、そしてこれらは、新たなスキャンでは最初に考慮すべきである。したがって、各ビット平面の間、最初にこの有意識別をエンコードし、そして次にリファイン量子化する（エンコーディング・プロセスのステップ３と５）。
【００３０】
図４においては、第１有意ビットに出会した後に符号ビットを送出する理由を示している。このため、符号ビットを送出した後、係数の符号を判定し、そしてその結果の係数はもはやあいまいでなくなる。
【００３１】
各ビット平面の間、係数のスキャンは、好ましくは、次の方法で行う。すなわち、最初に、全てのＤＣ係数、次に同じインデックスを有する全てのＡＣ係数を、イメージのＤＣＴブロックの左上隅から始まって右下隅へと対角線順序でする、すなわちDC, AC1, AC2等である。
【００３２】
JPEGで使用されるジグザグ・スキャンもまた、このアルゴリズムの埋込形コーディングのプロパティに影響を与えずに使用できる。
【００３３】
埋込形ビット・ストリームは、このようにしてエンコーダにより発生する。デコーダは、このビット・ストリームを任意の点でカットすることができ、したがってイメージをより低いレートで再構成する。この低いレートでの再構成したイメージの品質は、イメージをそのレートで直接コーディングしたのと同じとなる。イメージのほとんどロスの無いあるいはロスの全く無い再構成が可能である。
【００３４】
図８には、使用するスキャン順序を示す。したがって、最初のブロック８０１において、この手順が開始する。次にブロック８０３において、ＤＣＴ変換を実行する。この時、ＤＣＴ係数の最初のビット平面をブロック８０５で抽出する。このコンテキスト（context）は、次にブロック８０７においてリセットする。
【００３５】
次に、最初の対角線をブロック８０９において抽出し、そして第１係数をブロック８１１で抽出する。この第１ブロックは、次にブロック８１３で抽出する。次に、ブロック８１５において、このブロックが既にカットされているかどうかチェックする。カットされている場合には、この手順は、ブロック８１７に進み、その他の場合はブロック８１９に進む。
【００３６】
ブロック８１９において、このブロックがこの動きでカットオフすべきかどうかチェックする。カットオフすべき場合、本手順は、ブロック８２１に進み、ここで、ブロック・カットオフ記号を伝送し、その他の場合には、本手順はブロック８２３に進む。
【００３７】
ブロック８２３において、係数が先に有意であったかどうかチェックする、すなわち、これが第１有意ビット（ＦＳＢ）であるかどうかチェックする。係数が先に有意である場合、本手順は、ブロック８１７に進み、その他の場合にはブロック８２５に進む。
【００３８】
ブロック８２５において、係数が今有意であるかどうかチェックする。今有意である場合、本手順は、ブロック８２７に進み、その他の場合にはブロック８２９に進む。
【００３９】
ブロック８２９において、この係数が有意でないという情報を含むデータを送出し、そしてこのブロック８２９から本手順はブロック８１７に進む。
【００４０】
ブロック８２７において、係数が有意であるという情報を含むデータを送出し、そしてこのブロック８２９から本手順は、ブロック８１７に対し、符号を送るブロック８３１を介して進む。
【００４１】
ブロック８１７において、これがＤＣＴイメージの最後のブロックであるかどうかチェックする。最後のブロックである場合は、本手順は、ブロック８３３に進み、その他の場合は、本手順は、ブロック８１５に対し戻りそして次のブロックのため本プロセスを繰り返す。
【００４２】
ブロック８３３において、現行の係数が対角線（diagonal）内の最後の係数であるかどうかチェックする。最後の係数である場合は、本手順は、ブロック８３５に進み、その他の場合は次の係数（coefficient）のためブロック８１３に戻る。
【００４３】
ブロック８３５において、この対角線が最後の対角線であるかどうかチェックする。最後の対角線である場合、本手順は、ブロック８３７に進み、その他の場合は、次の対角線のためブロック８１１に戻る。
【００４４】
ブロック８３７において、リファイン（refinement）が開始する。このため、ブロック８３７において、最初の対角線を抽出する。次に、ブロック８３９において、最初の対角線内の最初の係数を抽出する。次にブロック８４１において、最初のブロックを考慮する。このとき、ブロック８４３において、現行の係数が先に有意（previously significant）であったかどうかチェックする。もし先に有意でなかった場合、本手順は、ブロック８４７に進み、その他の場合は、本手順は、ブロック８４７に対し、生ビット（raw bit）を送るブロック８４５を介して進む。
【００４５】
ブロック８４７において、現行のブロックが最後のブロックであるかどうかチェックする。最後のブロックである場合は、本手順は、ブロック８４９に進み、その他の場合は、本手順は、次のブロックのためブロック８４３に戻る。
【００４６】
ブロック８４９において、現行の係数が現行の対角線内の最後のものであるかどうかチェックする。最後のものである場合、本手順は、ブロック８５１に進み、その他の場合は、本手順は、次の係数のためブロック８４１に進む。
【００４７】
ブロック８５１において、現行の対角線が最後の対角線であるかどうかチェックする。最後の対角線である場合、本手順は、ブロック８５３に進み、その他の場合は本手順は、次の対角線のためブロック８３９に進む。
【００４８】
ブロック８５３において、現行のビット平面が最後のビット平面であるかどうかチェックする。最後のビット平面である場合、本手順は、ブロック８５５に進んで、ここで本手順を終了し、その他の場合は、本手順は、次のビット平面のためブロック８０７に戻る。
【００４９】
上記スキャン順序およびアルゴリズムを一般的にさらに明瞭にするため、エンコーダ用の擬似コードを以下に示す。
【００５０】
【数１】
【００５１】
正しいスキャン順序を選択した後、これは、スキャンを効率的な方法でコーディングするよう留まる。問題は、主として、新たな係数のマスクをどのようにエンコードするかである。方法として多くのものが使用でき、例えば、ゼロ・ツリー・コーディング、ランレングス・エンコーディング、アドレス・スイッチングがある。
【００５２】
好ましい実施形態においては、コンテキスト・ベースの算術コーディングを使用する。ウィッテン（Witten）外が提供し、そしてウィッテン（Witten）、ニール（Neal）およびクリアリ（Cleary）の“データ圧縮のための算術コーディング（I. H. Witten, R. M. Neal, and J. G. Cleary, "Arithmetic coding for data compression", Communications of the ACM, Vol. 30, No. 6, pp. 520-540, June 1987）”に記述されたガイドラインにしたがって実装した算術コーダを使用することができる。
【００５３】
この適応形確率推定は、拡張し、そして以下に述べるビット平面コーディングに対しカスタム化することができる。
【００５４】
この方法を使用するとき、各記号に対し推定するのに必要なことは、その記号がゼロである確率であるが、それは、使用する記号アルファベットが二進であるからである。これを行うには、コンテキスト・コーディング方法を使用する。
【００５５】
また、コンテキスト・コーディングも、ヌグエン−フィ（Nguyen-Phi）およびウェインリヒタ（Weinrichter）の“ウェーブレット係数のコンテキスト・ビット平面コーディングを使用するＤＷＴイメージ圧縮（K. Nguyen-Phi and H. Weinrichter, DWT image compression using Contextual bitplane coding of wavelet coefficients, Proc. ICASSP 97, pp. 2969-2971, 1997）”に記述されているように、JBIGのような規格においておよびウェーブレット・エンコーダ規格において、双レベルのイメージをコーディングするのに使用されている。
【００５６】
コンテキストなしでは、あるいはたった１つのコンテキストでは、ゼロの確率は、それまで見たゼロの数をコーディングした記号の総数で割ったものとして推定する。コンテキストを使用すると、周囲の記号のあるいは先行する記号の数は、いくつかのコンテキストからその１つを選ぶのに使用する。コンテキストを選ぶことにより、同じコンテキストにおいてコーディングした記号は、同様の統計値を有することが予測されるようにする。この場合、どのコンテキストも、このコンテキスト内で見たゼロの数と記号の総数とを保持する。
【００５７】
ゼロの確率は、このとき、ゼロの数を、記号の総数で割ったものとして推定する。この記号をコーディングした後、コンテキストを更新する。
【００５８】
記号に対しコンテキストを選ぶいくつかの方法が使用できる。また、コンテキストを更新する異なった方法も使用できる。好ましい実施形態においては、このコンテキストは、どの新たなビット平面に対しても再開始する。これは、互いに異なったビット平面は、異なった統計を有すること、またビット平面内の統計は十分に静止している、ということに起因する。
【００５９】
エンコードすべき記号の推定に使用するビットは、互いに一緒にしそして整数を形成するように考慮する。この数は、あるコンテキストをインデックスするのに使用する。このインデックスしたコンテキストは、その推定に対し使用したビットがこの正確なコンフィギュレーションを有していたときに見い出した全ての先行する統計を保持している。
【００６０】
以下においては、ある係数が有意であるか否かについての情報は、それ自身のビット平面、いわゆる有意平面とみなす。このビット平面は、問題の係数が現行のビット平面あるいは任意の先行のビット平面において有意であると見い出した場合には“１”である。
【００６１】
全ての係数の生ビットに対して、たった１つのコンテキストしか使用できない。これは、エントロピー・コーディングなしでビットを生で送出するよりもほんのわずしか良くない。これはまた、ＡＣ係数の符号ビットに対しても当てはまり、そしてこれらもまた、たった１つのコンテキストを使用してエンコードしたものである。注意すべきであるが、それらを生ビットとして送出しそれらを算術コーディングでエンコードしないことは可能である。これは、性能を低下させることがあるが、本アルゴリズムの実行速度を向上させることになる。
【００６２】
ＤＣ符号ビットは、有意平面においてマークしかつ図６に示したように正の符号を有する多数のＤＣ隣接を互いに加算することにより選んだコンテキストにおいてコーディングする。ＡＣ係数のゼロ・ビット（および有意ビット）は、図５に示すように、そのブロック内の６つの隣接する係数および３つの隣接ブロック内の同じ係数を考慮に入れることによりコーディングすることができる。これら係数に対する有意平面内の情報は、コンテキストに対し使用する。
【００６３】
ＤＣ係数のゼロ・ビットに対しては、コンテキストは、全ての隣接するブロック内のＤＣ係数を使用することにより選ぶ。また、この場合、考慮する唯一のものは、有意平面である。
【００６４】
ブロック・カットオフ（block cut-off）は、図７に示すように、４つの隣接するブロック内のカットオフ（cut-off）記号のコンテキストにおいてコーディングする。対角線数もまた、考慮に入れる。これは、関係するカットオフ記号の４ビットと対角線を使用することにより行い、これは、４ビット数であってコンテキストをインデックスする８ビット整数にそれらを構成する。
【００６５】
その結果は、例えば何等かの適当なポスト処理を使用することにより向上させることができる。
【００６６】
ここに記述した本アルゴリズムの計算上の複雑さおよびメモリ要求は、主として、ＤＣＴ計算と算術コーディングの使用とに起因する。
【００６７】
本アルゴリズムはブロック・ベースであるため、並列の実現は可能である。特に、変換ステージの並列実現が可能である。８×８ブロックに分割されるＮ×Ｍイメージを処理するのにＰ個のプロセッサが利用可能であるとすると、各プロセッサは、そのイメージの（Ｎ／Ｐ）×Ｍ部分のブロックにおけるＤＣＴ変換を行うことができる。さらに、ビット平面は、互いに独立にしかも並列に処理できる。これは、コンテキストを各ビット平面において再開始すること、および係数のグループ化を行わないことに起因する。ある特定のビット平面において分かっている必要があるのは、どの係数がそのビット平面の前に有意であるかである。この情報は、その変換の直前のＤＣＴ係数から（また並列に）得ることができる。ここで、符号ビットは、単純な形式でコーディングする必要があることに注意されたい。
【００６８】
本アルゴリズムは、漸進的イメージ伝送に対し非常に良く適していることに注目されたい。漸進的イメージ伝送の間、その伝送の最後のステージにおいてロスの無い圧縮を提供することが望ましい。ＤＣＴの精度に対するどのような制約もなければ、ほぼロスの無い再構成を実現することができる。ロスの無い再構成は、ロス有り・プラス・ロス無し残留エンコーディング法（lossy plus lossless residual encoding method）により実現することができ、この場合、提案した本アルゴリズムはその圧縮のロス有り部分を実現するのに使用する。ここで、このアプローチは、ソフトウェアおよびハードウェアのポータビリティを確保するには、整数反転ＤＣＴを必要とすることに注意されたい。
【００６９】
ある種のアプリケーションにおいては、あるイメージの特定の領域は、他の領域と比較してより良い品質でコーディングする必要がある。このアルゴリズムは、関心のある領域（ＲＯＩ）を、イメージの残りと比較して異なった品質でコーディングするのに使用することができる。例えば、ＲＯＩを１ビット／ピクセル（ｂｐｐ）でコーディングしイメージの残りを０．５ｂｐｐでコーディングすべき場合、漸進的イメージ伝送の間、このイメージを、０．５ｂｐｐが実現されるまで伝送することができ、そして次にそのＲＯＩをさらに追加の０．５ｂｐｐで再構成する情報を伝送することができる（これは、可能な１つのシナリオである）。ＲＯＩはまた、前の段落で述べた方法によりロス無しでコーディングすることもできる。ここで、ＲＯＩは、任意のサイズを有することがあることに注意されたい。この場合、ＭＰＥＧ４において使用される方法を適用することができる（ブロック・パディングあるいは形状適応形ＤＣＴ（Shape Adaptive DCT））。しかし、任意のＲＯＩに対しても本アルゴリズムが機能するようにするには、本アルゴリズムに対しある種の変更が必要である。ＲＯＩでの漸進的コーディングのための種々の技法は、以下に説明する。ここで、簡単にするため、ＲＯＩ形状は、長方形の１つの結合体であり、ここで、長方形の寸法は、ＤＣＴコーディングに対し使用するものである（すなわち、ＪＰＥＧを使用するほとんどのアプリケーションにおいては、８×８ピクセル）。
【００７０】
バックグラウンドのビットレートをｘビット／ピクセル（ｂｐｐ）とし、ＲＯＩに対してはｙｂｐｐ（ｙ＞ｘ）とする。異なった技法を使用することにより、イメージの漸進的伝送を実現することができ、ここで、バックグラウンドは、ｘｂｐｐでコーディングし、ＲＯＩはｙｂｐｐでコーディングする（異なったＲＯＩに対するビットレートは異なっていることができる）。
【００７１】
以下に、そのような異なったビットレートを得るための３つの異なった技法のアウトラインを示す。
【００７２】
第１の技法においては、バックグラウンド（ＢＧ）と関心領域（ＲＯＩ）とは、別々にコーディングする。このような技法は、漸進的伝送に対しては何等かの問題を生じるが、それは、ＢＧとＲＯＩとは別々にコーディングしているからであり、これら２つの異なったビット・ストリームを１つにパックすることにより、イメージ全体の漸進的伝送を実現する方法がなければならない。代替的には、漸進的伝送は、ＢＧまたはＲＯＩを最初に送出しそして次に他方（ＲＯＩまたはＢＧ）を最後に伝送することを生じる。これは、受信器がイメージ全体がその伝送の初期の段階においてどのようなものであるかについての見当をつけることができないことを意味する。
【００７３】
さらに、ＢＧおよびＲＯＩにおける隣接するブロック間の相関は、利用しないが、それは、それらが別々にコーディングされるからである。これは、圧縮性能を低下させることになる。しかし、本方法は、並列処理には良好なものである。
【００７４】
第２の技法においては、ＲＯＩ係数は、ある数でシフトあるいは乗算する。この方法は、ＲＯＩ係数が伝送の初期段階で有意であると見い出され、したがってＢＧに比べ最初にコーディングされることをもたらす。このＲＯＩ係数をシフトすればするほど、ＲＯＩ係数がより早く有意であると見い出される。したがって、ＲＯＩの速度再構成を制御することが可能である。デコーダは、ＲＯＩの形状および場所並びに、ＲＯＩ係数に対し使用するシフト用ファクタを知ることが必要である。この情報は、ビット・ストリームのヘッダ情報に格納し、そしてデコーダは、そのビット・ストリームを受けたときにそれを見い出すことができる。ここで、ＲＯＩの数は、任意とすることができ、ＲＯＩ係数のシフト用（乗算）ファクタは、異なったＲＯＩに対し異なったものとすることができることに注目されたい。この場合、ＲＯＩ速度と重要度を制御することが可能である。
【００７５】
尚、これら係数をあまりにも多くシフトして最も小さいＲＯＩ係数が最も大きいＢＧ係数よりも大きくなった場合には、ＲＯＩ係数全てを最初にコーディングすることに注意されたい。これは、（以下に述べるようにロス無しにおいても）ＲＯＩを最初に完全に再構成させるようにする。また、この場合、ＲＯＩ形状は、伝送する必要はない。伝送する必要があるのは、シフト用ファクタと、受け取った係数がＲＯＩ係数であることを知らせるデコーダへの信号とである（代替的には、ヘッダの開始部において、ＲＯＩ係数に対応する数のバイトを付加することにより、デコーダが何時ＲＯＩ係数のデコードを停止するべきかが分かるようにする）。このようにして、ＲＯＩの形状を伝送する必要がなく、それは、デコーダがそれを発見できるからである。これは、形状情報がかなりの量のビットを占有することになるときには（任意の形状にした領域に対して当てはまる）、重要となることがある。この節約したビットは、ＲＯＩまたはバックグラウンドをより良好にコーディングするために使用することができる。このＲＯＩビットレートを実現すると、デコーダは、バックグラウンドに対して何を受け取るのかを知ることになる。
【００７６】
ここで、上記の技法は、ＤＣＴベースのコーダにおいてのみ適用可能な訳ではない。ウェーブレット・ベースのコーダも、これと同様の技法を、ＲＯＩの形状情報の伝送を回避するのに使用できる。この技法は、例えば、ニスタ（Nister）およびクリストポウロス（Christopoulos）の“２−１０整数ウェーブレットを使用する関心領域での漸進的ロス有り−ロス無しコーディング（Nister D., Christopoulos C.A., " Progressive lossy to lossless coding with a Region of Interest using the Two-Ten integer wavelet", ISO/IEC JTCl/SC29/WG1 N744, Geneva, Switzerland, 23-27 March 1998）”において使用することができる。
【００７７】
また、注意すべきであるが、ＲＯＩの形状を伝送するこの方法は、ビット平面を有意度が減少する順序で伝送する任意の伝送技法に対して用いることができる。必要なことは、ＲＯＩ係数を、バックグラウンドの任意の係数の前に伝送するものに対して十分大きなファクタでシフトすることである。この方法は、変換したイメージ、例えばＤＣＴまたはウェーブレット変換されたもの、並びに通常のビット平面コーディングされたイメージの両方に対して機能する。受信器が、いつＲＯＩ係数情報がオンであるかを知るため、最後のＲＯＩ係数を伝送したときを受信器に伝送しなければならない。これは、多くの種々の方法で行うことができる。例えば、信号を伝送することができ、ゼロ値の係数のみから成るビット平面、またはＲＯＩ係数に対し使用するビット数を示す伝送の開始部におけるヘッダである。
【００７８】
したがって、伝送の初期の段階で、ＲＯＩのみを再構成する。これは、受信器がイメージの残りがどのようなものであるか知るのを困難にする。したがって、この方法は、ＲＯＩの速度再構成に対し良好である。しかし、初期の段階におけるＢＧとＲＯＩにおける隣接ブロック間の相関を利用するのを回避する。
【００７９】
第３の技法によれば、バックグラウンド・ビットレートに達するまで、イメージの全てをコーディングし、そしてそれに達したら、ＲＯＩのみをコーディングし続ける。このような技法の複雑さは、本文に記述のシステムの１つと同様に残る。このため、ダイナミックレンジの向上がなく、隣接ブロック間の相関を（少なくともＢＧレートに達するまで）利用する。さらに、そのスイッチ・レート後は、ＲＯＩ内のＤＣＴ係数の残りのビットは、生ビットとなる。これは、これらビット間の相関を利用することではゲインはほとんどなく、したがってこれらは、エントロピー・コーダなしでもコーディングすることができる。
【００８０】
また、このような技法を使用するとき、ＢＧレートを得たときおよびＲＯＩをこのとき改善すべきことの受信器への信号を送出する必要がある。デコーダはまた、ＲＯＩ形状を知る必要がある。したがって、この方法は、第２技法と比べより遅いＲＯＩ再構成を生じるが、全ての場合において、受信器は、イメージ全体の見当を有する。
【００８１】
受信器は、伝送段階中にＲＯＩの場所を変更することができる。受信器が漸進的伝送方法でイメージを得た時、これは、彼が早くあるいはそのイメージの残りよりも良好な品質で見たい特定のＲＯＩを指定することができる。ＲＯＩの場所および形状は、送信器に送出する。この送信器がイメージを圧縮形態で有する場合、これは、可変長デコーディング（我々の技法における算術デコーディング）を行うことにより、ＲＯＩに対応する係数を見い出すようにする。次に、送信器は、上記技法の内の１つを使用する。ここで、送信器がその情報を再び算術エンコーディングする必要があるが、受信器に既に伝送したビット平面を使用することはない、ということに注目されたい。また、送信器は、イメージを完全に再構成する必要はない（反転ＤＣＴを必要としない）。送信器は、元のイメージを有する場合、彼は、上記の技法を使用することにより（ＤＣＴを最初に行う）、非伝送のビット平面をエンコードして受信器の要求を満たすことができる。
【００８２】
ここで、上記の技法を組み合わせることもでき、これにより、ＲＯＩの速度再構成を、初期の段階で、良好な品質のバックグラウンドと共に実現できる。
【００８３】
最後に、注意すべきであるが、本文で記述の本アルゴリズムは、コンポーネントを独立して圧縮すると見なす。適当なインターリーブにより、カラー・イメージに対する埋込形ビット・ストリームを発生することができる。
【００８４】
本アルゴリズムは、ＤＣＴをベースとし、これは、全ての静止イメージおよびビデオ・コーディング規格で使用されている。適当な量子化およびコンテキスト・ベースの算術コーディングの使用により、埋込形ＤＣＴベース（ＥＤＣＴ）の静止イメージ・コーディング・アルゴリズムが実現される。このプロパティは、ＷＷＷアプリケーションにおいて、データベースを高速でブラウズする際に非常に有用である。
【００８５】
本アルゴリズムはＤＣＴをベースとするため、現行のＪＰＥＧアーキテクチャに対し行わねばならない変更は最小である。選択的なリファインは、チルト処理、階層的コーディングおよび現行のＪＰＥＧの全ての動作モードは、新たなタイプの人為的なものを導入せずとも、サポートされる。
【００８６】
ここで、フーリエ変換のアダマール変換のように、ＤＣＴの代わりに他のアルゴリズムを使用することができる。加えて、ＤＣＴの整数実現例を使用することもできる。この場合、ロス無しコーディングの機会が実現され、したがって提案して技法でロス有りからロス無しへの漸進的伝送を実現できる。１例として、オオタの（デジタル信号のためのロス無し変換コーディング・システム（Ohta Mutsumi）の“Ohta Mutsumi, "Lossless transform coding system for digital signals", US patent 5,703,799, Dec. 30, 1997”記述のＤＣＴ変換、あるいはチャム（Cham）とチャン（Chan）の“１６次整数コサイン変換（W.K. Cham and Y.T. Chan, "An Order-16 Integer Cosine Transform", Signal Processing, Vol. 39, No. 5, May 1991, pages 1205-1208）”のアルゴリズムの場合、ロス有りおよびロス無しのコーディングの両方に対し使用できるアルゴリズムを、我々の発明において記述した方法を使用することにより得られる。また、本アルゴリズムの埋込形プロパティを維持することにより、ロス無しＲＯＩおよびロス有りＢＧを得る可能性が、完全に漸進的な方法で得られる。
【００８７】
上記の方法は、３Ｄコーディングあるいはビデオ・コーディングに対し使用することができる。３Ｄコーディングにおいては、完全埋込形の３Ｄコーダを得ることができ、これにおいて、ある一定のＲＯＩをイメージの残りよりも良好な品質でコーディングする。これは、医療用途およびリモート・センシングの用途において特に有用である。ビデオ・コーディングにおいて、埋込形ビデオ・コーダを設計することができる。ＥＤＣＴは、（例えば、H.261, H.263 およびMPEGのビデオ・コーディング規格における）イントラおよびインターのマクロブロックをコーディングするのに使用できる。ここで、ＥＤＣＴは、モーション・ビデオのエンコーディングに対し使用できることも注意されたい。
【図面の簡単な説明】
【図１】 図１は、ＤＣＴ係数を配列する方法を示す。
【図２】 図２は、１つのピクセルにおけるビット順序を示す。
【図３】 図３は、埋込形コーディング・アルゴリズムのためのスキャン順序を示す。
【図４】 図４は、符号ビットの送出を示す。
【図５】 図５は、ＡＣ係数ゼロ・ビットのためのコンテキストを示す。
【図６】 図６は、ＤＣ係数ゼロ・ビットのためのコンテキストを示す。
【図７】 図７は、カットオフ信号のためのコンテキストを示す。
【図８】 図８は、コーディング手順を示すフローチャート。
（技術分野）
本発明は、静止イメージのためのコーディング・アルゴリズムと、そしてこのアルゴリズムを実行するためのデバイスとに関するものである。このアルゴリズムは、特に、埋込形ビット・ストリームを発生し、そしてイメージの各部分をこのイメージの残りとは異なった品質でコーディングするのに適している。
【０００２】
（本発明の背景および従来技術）
変換コーディングは、多くの実際的なイメージ／ビデオ圧縮システムにおいて広く使用されている。変換を使用する背後の基本思想は、変換後のイメージを圧縮するタスクを、空間ドメインでの直接コーディングよりもより容易にすることである。離散コサイン変換（ＤＣＴ）は、ＪＰＥＧ，Ｈ２６１／Ｈ．２６３およびＭＰＥＧのようなコーディング規格のほとんどにおいて変換として使用されている。
【０００３】
最近では、研究活動のほとんどは、特にシャピロ（Shapiro）が埋込形ゼロツリー・ウェーブレット（ＥＺＷ）イメージ・コーディングに関する彼の業績を発表してからは、ＤＣＴからウェーブレット変換にシフトしてきている（シャピロの“ゼロツリーのウェーブレット係数を使用する埋込形イメージ・コーディング（J. M. Shapiro, "Embedded Image Coding using zerotrees of wavelet coefficients", IEEE Trans. on Signal Processing, Vol. 41, No. 12, pp. 3445-3462, Dec. 1993）”を参照されたい）。
【０００４】
ペネベーカ（W. B. Pennebaker）およびミッチェル（J. L. Mitchell）の論文“ＪＰＥＧ静止イメージ・データ圧縮規格（W. B. Pennebaker, J. L. Mitchell, JPEG Still Image Data Compression Standard, Van Nostrand Reinhold, New York, 1993）”は、ＤＣＴベースのコーディングにおける現行技術水準を記述している。
【０００５】
多くのアプリケーションにおいては、埋込形ビット・ストリームを得ることが望ましい。埋込形ビット・ストリームは、ビット・ストリームの開始部に埋め込んだ全ての低いレートを含むため、それらビットは、最も重要なものから最も重要でないものに順番になっている。埋込形コードを使用することにより、エンコーディングは、単に、ビット・カウントとしてのターゲット・パラメータが満たされたときに停止する。同様の方法で、埋込形ビット・ストリームが与えられたときに、デコーダは、任意の点でデコーディングを中止することができ、そして全ての低いレートのエンコーディングに対応する再構成を生成することができる。
【０００６】
埋込形ビット・ストリームを最適にするためには、イメージの視覚的認識にとって最も意味のあるビットを最初に伝送することが望ましい。これは、それらビット・ストリームが低いビットレートで良好な圧縮／品質レシオを有するようにさせることに対応する。
【０００７】
ＤＣＴは、正規直交（orthonormal）であり、このことは、それがそのエネルギを保存することを意味する。言い換えれば、二乗平均誤差（ＲＭＳＥ）（または、ピーク信号対ノイズ比−ＰＳＮＲ）に関して、ある一定の大きさの変換イメージにおける誤差は、元のイメージにおける同じ大きさの誤差を発生する。
【０００８】
これは、最大の大きさをもつ係数を最初に伝送すべきことを意味し、その理由は、これらが、最大の情報内容を有するからである。これはまた、この情報が、その二進表現にしたがってランク付けすることもできること、そしてその最上位ビットを最初に伝送すべきことを意味する。
【０００９】
ＤＣＴ変換後は、イメージのエネルギのほとんどは、低周波数の係数に集中し、これら係数の残りは、非常に低い値しかもたない。これは、係数の最上位ビット平面（ＭＳＢ）において非常に多くのゼロがあることを意味する。ある一定の係数の第１有意ビット（FSB:first significant bit）が見い出されるまでは、ゼロの確率が非常に高い。したがって、効率的なコーディングのタスクは、これらゼロを効率的な方法でエンコーディングするタスクとなる。
【００１０】
ジゾン（Z. Xiong）とグレルツ（O. Guleryuz）とオーチャード（M.T. Orchard）の論文“ＤＣＴベースの埋込形イメージ・コーダ（Z. Xiong, O. Guleryuz, M.T. Orchard, A DCT-based embedded image coder, IEEE Signal Processing Letters, Vol. 3, No. 11, pp. 289-290, Nov. 1996）”、ローランス（N.X. Laurance）とモンロー（D.M. Monro）の論文“有意度マスキングを備えた埋込形ＤＣＴコーディング（N.X. Laurance, D.M. Monro, Embedded DCT coding with significance masking", Proc.IEEE ICASSP 97, Vol. IV, pp. 2717-2720,1997）”、リー（J. Li）とリー（J. Li）とクオ（C.-C. Jay Kuo）の論文“ビデオ技術のためのオン回路およびシステム（J. Li, J. Li, C.-C. Jay Kuo, Layered DCT still image compression, IEEE Trans. On Circuits and Systems for Video Technology, Vol. 7, No. 2, April 1997, pp. 440-442）”においては、ＤＣＴが使用されている変換であるが、係数のコーディングは、JPEGコーディングがなされるのと同じ方法で行われるのではない。その代わり、埋込形ビット・ストリームを発生することができる。
【００１１】
（発明の摘要）
本発明の目的は、埋込形ＤＣＴベース（ＥＤＣＴ）のイメージを出力し、そしてこれからデコードしたイメージが、JPEGおよび上記引用の論文に発表されたＤＣＴベースのコーダからのものと比べより良好なＰＳＮＲを与えるようになった、アルゴリズムを提供し、かつこのアルゴリズムを実行するためのデバイスを提供することである。
【００１２】
本発明のさらに別の目的は、イメージの関心領域（ＲＯＩ：Regions of Interst）を、本アルゴリズムの埋込形プロパティを温存しながら、このイメージの残りとは異なった品質でエンコーディングするのに使用できる方法を提供することである。
【００１３】
これら目的は、以下の基本的なステップを用いる方法により得られる。
− イメージを矩形のブロックに分割。
− 各ブロックをＤＣＴで別々に変換する。この変換は、係数のブロックを発生し、そのＤＣ係数は左上隅にあり、そしてそれより高い水平および垂直周波数の係数は、対応するブロック軸の方向にある。従来は、使用するブロックは、８×８サイズであるが、ここでは、２の累乗のブロック・サイズを許容する。サイズを２の累乗に制限する理由は、ＤＣＴを高速で計算することができるからである。
− ＤＣＴ係数を漸進的方法で量子化し伝送することにより、最も重要な情報を最初に伝送するようにする。
【００１４】
しかし、どの伝送レートでもこの圧縮を良好なものとするには、すなわちビット・ストリームを任意の点でカットできるようにし、そして依然としてその圧縮レートで良好な品質をもつイメージを提供するには、効果的なスキャン順序を使用する必要がある。
【００１５】
このため、本発明によれば、各係数に関して、最も有意のビットから始まってより有意でないビットまでの最初の非ゼロ・ビットを、第１有意ビット（ＦＳＢ）と呼ぶ。この第１有意ビットより前の係数のビットは、ゼロ・ビット（ＺＢ）と呼ぶ。符号情報は、符号ビット（ＳＢ）により表す一方、第１有意ビットより後のビットの残りは、生ビット（ＲＢ）と呼ぶ。コーディングは、ビット平面毎に行う。各ビット平面においては、コーディングは、最も低い周波数の係数から最も高い周波数へである。
【００１６】
送出するどのゼロ・ビットに関しても、デコーダが見い出すその係数に対する不確定インターバルの長さは、２で分割する。第１有意ビットに出会したとき、以下に説明するように、この係数の符号を、埋込形コードを維持するため送出する必要がある。
【００１７】
符号ビットの後、ＲＢを伝送しなければならない。これらは、非常に小さな冗長性を有し、したがってこれらを良好な予測でもってエンコードしようとすることにより得られるものはほとんどない。
【００１８】
次に、受信器は、これらステップを反転させることができる。発生したビット・ストリームは、埋め込み、そしてデコーダは、そのビット・ストリームを任意の点でカットすることができ、そしてそれがあたかもそのビット・レートで直接圧縮されたのと同じ品質を有するイメージを発生することができる。
【００１９】
そのようなコーディング技法に対しこのスキャン順序を使用することにより、非常に良好な視覚的品質を全ての圧縮レシオに対して得られる。
【００２０】
（好ましい実施形態の詳細な説明）
図１においては、８×８ＤＣＴブロックにおけるＤＣＴ係数の配列を示している。このため、左上の隅では、低周波数の係数が見られ、それより高い周波数の係数は、その下および右に見られる。
【００２１】
各係数は、多数のビット、例えば図２に示したように８ビットで表す。図２においては、最初の３ビットはゼロであり、ゼロ・ビット（ＺＢ）と呼び、第４のビットはゼロではなくそして第１有意ビット（ＦＳＢ）と呼び、そしてそれより下の有意のビットは、生ビット（ＲＢ）と呼ぶ。
【００２２】
好ましい実施形態においては、デジタル化したＤＣＴ変換イメージのためのコーディング・アルゴリズムは、以下の通りである。
（１） 全てのＤＣ係数の平均値（DC＿mean）を発見する。この値を各ＤＣ係数から減算する。
（２） イメージ内の最大の大きさの係数のサイズの半分の量子化器（quantizer）を選ぶ。この量子化器を伝送する。
（３） 現行の量子化器に関してどの新たな係数が有意（significant）であるかについて、またこれら係数の符号（sign）についての情報を送出／エンコードする。１つの係数は、その大きさが（絶対項で）現行の量子化器よりも大きい場合に、量子化器に関して有意であると言う。
（４） 現行の量子化器を、このビット平面（bit plane）内で有意であると見い出した係数の大きさから減算する。その有意である係数の大きさを、現行量子化器が減算した大きさと置き換える。この差は、生ビット（raw bit）のみを保持することに対応する。
（５） 先行のビット平面において有意であった全ての係数に対して、それら係数が量子化器よりも大きなあるいは小さな大きさを有するかどうかの情報を送出／エンコードする。この量子化器を、行うものの大きさから減算し、そしてその結果生じた値でそれら係数を置換する。これは、生ビットを伝送することに対応する。
（６） 現行の量子化器を２で除算する。これは、それら係数のより低い有意のビット平面に降りることに対応する。
（７） ビット供給が尽きるまで、あるいは何等かの所望の品質に達するまで、ステップ（３）から繰り返す。
【００２３】
ここで、上記のステップ１は、オプションであることに注意されたい。これを使用するならば、ＤＣ係数の平均値を記憶し伝送しなければならない。
【００２４】
この再構成は、以下の通りに行う。
− 全ての係数をゼロにセットする。
− 第１の量子化器を受ける。
− 新たな有意の係数についての情報を受ける。
− これらを、（１．５＊現行量子化器＊係数符号）として再構成する。この理由は、このステージでは、それら係数の大きさが現行量子化器と（２＊現行量子化器）との間にあることが分かっているからである。これは、（１．５＊現行量子化器）を、不確定なインターバルの中間に置く。以下のステップ５で実行するこの加算または減算は、それら係数を更新することにより、これらが常にその不確定なインターバルの中間にあるようにする。
− 全ての先に有意の係数に対して、これら係数が現行量子化器よりも大きな大きさを有するかどうかチェックする。現行量子化器／２を行うものの大きさに加算し、そして現行量子化器／２を行わないものの大きさから減算する。
− 現行量子化器を２で除算する。
− ステップ３，すなわち、新たな有意係数の受け取りを、所望の品質に達するまであるいはそれ以上情報がなくなるまで、繰り返す。
【００２５】
ステップ（１）がエンコーダで実行されたとした場合、デコーダは、ＤＣ係数の平均値を受けており、したがってこの値を再構成したＤＣ係数に加算する。
【００２６】
さらに、どのビット平面においても係数を更新するため、スキャン順序を定める必要がある。好ましい実施形態においては、１つの係数は、次の係数に進む前に、全てのブロックにおいて更新する。
【００２７】
１つのブロックの内側では、ＤＣＴ係数を対角線順序でビット平面毎にスキャンする。各々のスキャンした対角線後、フラグを送ることにより、このブロックの残りには新たな有意係数があることを知らせる。これは、ブロック・カットオフ（block cut-off）と呼ぶ。このブロック・カットオフを使用するが、それは、第１ビット平面では、かなり多くのゼロがあり、これは、実際には、明示的な記号が、全てのゼロを良好な予想でもってコーディングするのを試行するよりも良好に機能する。このブロック・カットオフ記号は、新たな有意係数にのみ関している。
【００２８】
ここで、各対角線に対してカットオフ・フラグを有するのではなく、ランレングス・コーディング法を使用することもできる。例えば、ある係数が有意である場合、そのブロック内の次に有意の係数の位置を指示するのにある数を使用することができる。
【００２９】
上述のように、符号ビットは、先行の有意係数に関しては既に送られている。したがって、不確定インターバルは、まだ有意でない係数に対しては２倍大きく、そしてこれらは、新たなスキャンでは最初に考慮すべきである。したがって、各ビット平面の間、最初にこの有意識別をエンコードし、そして次にリファイン量子化する（エンコーディング・プロセスのステップ３と５）。
【００３０】
図４においては、第１有意ビットに出会した後に符号ビットを送出する理由を示している。このため、符号ビットを送出した後、係数の符号を判定し、そしてその結果の係数はもはやあいまいでなくなる。
【００３１】
各ビット平面の間、係数のスキャンは、好ましくは、次の方法で行う。すなわち、最初に、全てのＤＣ係数、次に同じインデックスを有する全てのＡＣ係数を、イメージのＤＣＴブロックの左上隅から始まって右下隅へと対角線順序でする、すなわちDC, AC1, AC2等である。
【００３２】
JPEGで使用されるジグザグ・スキャンもまた、このアルゴリズムの埋込形コーディングのプロパティに影響を与えずに使用できる。
【００３３】
埋込形ビット・ストリームは、このようにしてエンコーダにより発生する。デコーダは、このビット・ストリームを任意の点でカットすることができ、したがってイメージをより低いレートで再構成する。この低いレートでの再構成したイメージの品質は、イメージをそのレートで直接コーディングしたのと同じとなる。イメージのほとんどロスの無いあるいはロスの全く無い再構成が可能である。
【００３４】
図８には、使用するスキャン順序を示す。したがって、最初のブロック８０１において、この手順が開始する。次にブロック８０３において、ＤＣＴ変換を実行する。この時、ＤＣＴ係数の最初のビット平面をブロック８０５で抽出する。このコンテキスト（context）は、次にブロック８０７においてリセットする。
【００３５】
次に、最初の対角線をブロック８０９において抽出し、そして第１係数をブロック８１１で抽出する。この第１ブロックは、次にブロック８１３で抽出する。次に、ブロック８１５において、このブロックが既にカットされているかどうかチェックする。カットされている場合には、この手順は、ブロック８１７に進み、その他の場合はブロック８１９に進む。
【００３６】
ブロック８１９において、このブロックがこの動きでカットオフすべきかどうかチェックする。カットオフすべき場合、本手順は、ブロック８２１に進み、ここで、ブロック・カットオフ記号を伝送し、その他の場合には、本手順はブロック８２３に進む。
【００３７】
ブロック８２３において、係数が先に有意であったかどうかチェックする、すなわち、これが第１有意ビット（ＦＳＢ）であるかどうかチェックする。係数が先に有意である場合、本手順は、ブロック８１７に進み、その他の場合にはブロック８２５に進む。
【００３８】
ブロック８２５において、係数が今有意であるかどうかチェックする。今有意である場合、本手順は、ブロック８２７に進み、その他の場合にはブロック８２９に進む。
【００３９】
ブロック８２９において、この係数が有意でないという情報を含むデータを送出し、そしてこのブロック８２９から本手順はブロック８１７に進む。
【００４０】
ブロック８２７において、係数が有意であるという情報を含むデータを送出し、そしてこのブロック８２９から本手順は、ブロック８１７に対し、符号を送るブロック８３１を介して進む。
【００４１】
ブロック８１７において、これがＤＣＴイメージの最後のブロックであるかどうかチェックする。最後のブロックである場合は、本手順は、ブロック８３３に進み、その他の場合は、本手順は、ブロック８１５に対し戻りそして次のブロックのため本プロセスを繰り返す。
【００４２】
ブロック８３３において、現行の係数が対角線（diagonal）内の最後の係数であるかどうかチェックする。最後の係数である場合は、本手順は、ブロック８３５に進み、その他の場合は次の係数（coefficient）のためブロック８１３に戻る。
【００４３】
ブロック８３５において、この対角線が最後の対角線であるかどうかチェックする。最後の対角線である場合、本手順は、ブロック８３７に進み、その他の場合は、次の対角線のためブロック８１１に戻る。
【００４４】
ブロック８３７において、リファイン（refinement）が開始する。このため、ブロック８３７において、最初の対角線を抽出する。次に、ブロック８３９において、最初の対角線内の最初の係数を抽出する。次にブロック８４１において、最初のブロックを考慮する。このとき、ブロック８４３において、現行の係数が先に有意（previously significant）であったかどうかチェックする。もし先に有意でなかった場合、本手順は、ブロック８４７に進み、その他の場合は、本手順は、ブロック８４７に対し、生ビット（raw bit）を送るブロック８４５を介して進む。
【００４５】
ブロック８４７において、現行のブロックが最後のブロックであるかどうかチェックする。最後のブロックである場合は、本手順は、ブロック８４９に進み、その他の場合は、本手順は、次のブロックのためブロック８４３に戻る。
【００４６】
ブロック８４９において、現行の係数が現行の対角線内の最後のものであるかどうかチェックする。最後のものである場合、本手順は、ブロック８５１に進み、その他の場合は、本手順は、次の係数のためブロック８４１に進む。
【００４７】
ブロック８５１において、現行の対角線が最後の対角線であるかどうかチェックする。最後の対角線である場合、本手順は、ブロック８５３に進み、その他の場合は本手順は、次の対角線のためブロック８３９に進む。
【００４８】
ブロック８５３において、現行のビット平面が最後のビット平面であるかどうかチェックする。最後のビット平面である場合、本手順は、ブロック８５５に進んで、ここで本手順を終了し、その他の場合は、本手順は、次のビット平面のためブロック８０７に戻る。
【００４９】
上記スキャン順序およびアルゴリズムを一般的にさらに明瞭にするため、エンコーダ用の擬似コードを以下に示す。
【００５０】
【数１】
正しいスキャン順序を選択した後、これは、スキャンを効率的な方法でコーディングするよう留まる。問題は、主として、新たな係数のマスクをどのようにエンコードするかである。方法として多くのものが使用でき、例えば、ゼロ・ツリー・コーディング、ランレングス・エンコーディング、アドレス・スイッチングがある。
【００５２】
好ましい実施形態においては、コンテキスト・ベースの算術コーディングを使用する。ウィッテン（Witten）外が提供し、そしてウィッテン（Witten）、ニール（Neal）およびクリアリ（Cleary）の“データ圧縮のための算術コーディング（I. H. Witten, R. M. Neal, and J. G. Cleary, "Arithmetic coding for data compression", Communications of the ACM, Vol. 30, No. 6, pp. 520-540, June 1987）”に記述されたガイドラインにしたがって実装した算術コーダを使用することができる。
【００５３】
この適応形確率推定は、拡張し、そして以下に述べるビット平面コーディングに対しカスタム化することができる。
【００５４】
この方法を使用するとき、各記号に対し推定するのに必要なことは、その記号がゼロである確率であるが、それは、使用する記号アルファベットが二進であるからである。これを行うには、コンテキスト・コーディング方法を使用する。
【００５５】
また、コンテキスト・コーディングも、ヌグエン−フィ（Nguyen-Phi）およびウェインリヒタ（Weinrichter）の“ウェーブレット係数のコンテキスト・ビット平面コーディングを使用するＤＷＴイメージ圧縮（K. Nguyen-Phi and H. Weinrichter, DWT image compression using Contextual bitplane coding of wavelet coefficients, Proc. ICASSP 97, pp. 2969-2971, 1997）”に記述されているように、JBIGのような規格においておよびウェーブレット・エンコーダ規格において、双レベルのイメージをコーディングするのに使用されている。
【００５６】
コンテキストなしでは、あるいはたった１つのコンテキストでは、ゼロの確率は、それまで見たゼロの数をコーディングした記号の総数で割ったものとして推定する。コンテキストを使用すると、周囲の記号のあるいは先行する記号の数は、いくつかのコンテキストからその１つを選ぶのに使用する。コンテキストを選ぶことにより、同じコンテキストにおいてコーディングした記号は、同様の統計値を有することが予測されるようにする。この場合、どのコンテキストも、このコンテキスト内で見たゼロの数と記号の総数とを保持する。
【００５７】
ゼロの確率は、このとき、ゼロの数を、記号の総数で割ったものとして推定する。この記号をコーディングした後、コンテキストを更新する。
【００５８】
記号に対しコンテキストを選ぶいくつかの方法が使用できる。また、コンテキストを更新する異なった方法も使用できる。好ましい実施形態においては、このコンテキストは、どの新たなビット平面に対しても再開始する。これは、互いに異なったビット平面は、異なった統計を有すること、またビット平面内の統計は十分に静止している、ということに起因する。
【００５９】
エンコードすべき記号の推定に使用するビットは、互いに一緒にしそして整数を形成するように考慮する。この数は、あるコンテキストをインデックスするのに使用する。このインデックスしたコンテキストは、その推定に対し使用したビットがこの正確なコンフィギュレーションを有していたときに見い出した全ての先行する統計を保持している。
【００６０】
以下においては、ある係数が有意であるか否かについての情報は、それ自身のビット平面、いわゆる有意平面とみなす。このビット平面は、問題の係数が現行のビット平面あるいは任意の先行のビット平面において有意であると見い出した場合には“１”である。
【００６１】
全ての係数の生ビットに対して、たった１つのコンテキストしか使用できない。これは、エントロピー・コーディングなしでビットを生で送出するよりもほんのわずしか良くない。これはまた、ＡＣ係数の符号ビットに対しても当てはまり、そしてこれらもまた、たった１つのコンテキストを使用してエンコードしたものである。注意すべきであるが、それらを生ビットとして送出しそれらを算術コーディングでエンコードしないことは可能である。これは、性能を低下させることがあるが、本アルゴリズムの実行速度を向上させることになる。
【００６２】
ＤＣ符号ビットは、有意平面においてマークしかつ図６に示したように正の符号を有する多数のＤＣ隣接を互いに加算することにより選んだコンテキストにおいてコーディングする。ＡＣ係数のゼロ・ビット（および有意ビット）は、図５に示すように、そのブロック内の６つの隣接する係数および３つの隣接ブロック内の同じ係数を考慮に入れることによりコーディングすることができる。これら係数に対する有意平面内の情報は、コンテキストに対し使用する。
【００６３】
ＤＣ係数のゼロ・ビットに対しては、コンテキストは、全ての隣接するブロック内のＤＣ係数を使用することにより選ぶ。また、この場合、考慮する唯一のものは、有意平面である。
【００６４】
ブロック・カットオフ（block cut-off）は、図７に示すように、４つの隣接するブロック内のカットオフ（cut-off）記号のコンテキストにおいてコーディングする。対角線数もまた、考慮に入れる。これは、関係するカットオフ記号の４ビットと対角線を使用することにより行い、これは、４ビット数であってコンテキストをインデックスする８ビット整数にそれらを構成する。
【００６５】
その結果は、例えば何等かの適当なポスト処理を使用することにより向上させることができる。
【００６６】
ここに記述した本アルゴリズムの計算上の複雑さおよびメモリ要求は、主として、ＤＣＴ計算と算術コーディングの使用とに起因する。
【００６７】
本アルゴリズムはブロック・ベースであるため、並列の実現は可能である。特に、変換ステージの並列実現が可能である。８×８ブロックに分割されるＮ×Ｍイメージを処理するのにＰ個のプロセッサが利用可能であるとすると、各プロセッサは、そのイメージの（Ｎ／Ｐ）×Ｍ部分のブロックにおけるＤＣＴ変換を行うことができる。さらに、ビット平面は、互いに独立にしかも並列に処理できる。これは、コンテキストを各ビット平面において再開始すること、および係数のグループ化を行わないことに起因する。ある特定のビット平面において分かっている必要があるのは、どの係数がそのビット平面の前に有意であるかである。この情報は、その変換の直前のＤＣＴ係数から（また並列に）得ることができる。ここで、符号ビットは、単純な形式でコーディングする必要があることに注意されたい。
【００６８】
本アルゴリズムは、漸進的イメージ伝送に対し非常に良く適していることに注目されたい。漸進的イメージ伝送の間、その伝送の最後のステージにおいてロスの無い圧縮を提供することが望ましい。ＤＣＴの精度に対するどのような制約もなければ、ほぼロスの無い再構成を実現することができる。ロスの無い再構成は、ロス有り・プラス・ロス無し残留エンコーディング法（lossy plus lossless residual encoding method）により実現することができ、この場合、提案した本アルゴリズムはその圧縮のロス有り部分を実現するのに使用する。ここで、このアプローチは、ソフトウェアおよびハードウェアのポータビリティを確保するには、整数反転ＤＣＴを必要とすることに注意されたい。
【００６９】
ある種のアプリケーションにおいては、あるイメージの特定の領域は、他の領域と比較してより良い品質でコーディングする必要がある。このアルゴリズムは、関心のある領域（ＲＯＩ）を、イメージの残りと比較して異なった品質でコーディングするのに使用することができる。例えば、ＲＯＩを１ビット／ピクセル（ｂｐｐ）でコーディングしイメージの残りを０．５ｂｐｐでコーディングすべき場合、漸進的イメージ伝送の間、このイメージを、０．５ｂｐｐが実現されるまで伝送することができ、そして次にそのＲＯＩをさらに追加の０．５ｂｐｐで再構成する情報を伝送することができる（これは、可能な１つのシナリオである）。ＲＯＩはまた、前の段落で述べた方法によりロス無しでコーディングすることもできる。ここで、ＲＯＩは、任意のサイズを有することがあることに注意されたい。この場合、ＭＰＥＧ４において使用される方法を適用することができる（ブロック・パディングあるいは形状適応形ＤＣＴ（Shape Adaptive DCT））。しかし、任意のＲＯＩに対しても本アルゴリズムが機能するようにするには、本アルゴリズムに対しある種の変更が必要である。ＲＯＩでの漸進的コーディングのための種々の技法は、以下に説明する。ここで、簡単にするため、ＲＯＩ形状は、長方形の１つの結合体であり、ここで、長方形の寸法は、ＤＣＴコーディングに対し使用するものである（すなわち、ＪＰＥＧを使用するほとんどのアプリケーションにおいては、８×８ピクセル）。
【００７０】
バックグラウンドのビットレートをｘビット／ピクセル（ｂｐｐ）とし、ＲＯＩに対してはｙｂｐｐ（ｙ＞ｘ）とする。異なった技法を使用することにより、イメージの漸進的伝送を実現することができ、ここで、バックグラウンドは、ｘｂｐｐでコーディングし、ＲＯＩはｙｂｐｐでコーディングする（異なったＲＯＩに対するビットレートは異なっていることができる）。
【００７１】
以下に、そのような異なったビットレートを得るための３つの異なった技法のアウトラインを示す。
【００７２】
第１の技法においては、バックグラウンド（ＢＧ）と関心領域（ＲＯＩ）とは、別々にコーディングする。このような技法は、漸進的伝送に対しては何等かの問題を生じるが、それは、ＢＧとＲＯＩとは別々にコーディングしているからであり、これら２つの異なったビット・ストリームを１つにパックすることにより、イメージ全体の漸進的伝送を実現する方法がなければならない。代替的には、漸進的伝送は、ＢＧまたはＲＯＩを最初に送出しそして次に他方（ＲＯＩまたはＢＧ）を最後に伝送することを生じる。これは、受信器がイメージ全体がその伝送の初期の段階においてどのようなものであるかについての見当をつけることができないことを意味する。
【００７３】
さらに、ＢＧおよびＲＯＩにおける隣接するブロック間の相関は、利用しないが、それは、それらが別々にコーディングされるからである。これは、圧縮性能を低下させることになる。しかし、本方法は、並列処理には良好なものである。
【００７４】
第２の技法においては、ＲＯＩ係数は、ある数でシフトあるいは乗算する。この方法は、ＲＯＩ係数が伝送の初期段階で有意であると見い出され、したがってＢＧに比べ最初にコーディングされることをもたらす。このＲＯＩ係数をシフトすればするほど、ＲＯＩ係数がより早く有意であると見い出される。したがって、ＲＯＩの速度再構成を制御することが可能である。デコーダは、ＲＯＩの形状および場所並びに、ＲＯＩ係数に対し使用するシフト用ファクタを知ることが必要である。この情報は、ビット・ストリームのヘッダ情報に格納し、そしてデコーダは、そのビット・ストリームを受けたときにそれを見い出すことができる。ここで、ＲＯＩの数は、任意とすることができ、ＲＯＩ係数のシフト用（乗算）ファクタは、異なったＲＯＩに対し異なったものとすることができることに注目されたい。この場合、ＲＯＩ速度と重要度を制御することが可能である。
【００７５】
尚、これら係数をあまりにも多くシフトして最も小さいＲＯＩ係数が最も大きいＢＧ係数よりも大きくなった場合には、ＲＯＩ係数全てを最初にコーディングすることに注意されたい。これは、（以下に述べるようにロス無しにおいても）ＲＯＩを最初に完全に再構成させるようにする。また、この場合、ＲＯＩ形状は、伝送する必要はない。伝送する必要があるのは、シフト用ファクタと、受け取った係数がＲＯＩ係数であることを知らせるデコーダへの信号とである（代替的には、ヘッダの開始部において、ＲＯＩ係数に対応する数のバイトを付加することにより、デコーダが何時ＲＯＩ係数のデコードを停止するべきかが分かるようにする）。このようにして、ＲＯＩの形状を伝送する必要がなく、それは、デコーダがそれを発見できるからである。これは、形状情報がかなりの量のビットを占有することになるときには（任意の形状にした領域に対して当てはまる）、重要となることがある。この節約したビットは、ＲＯＩまたはバックグラウンドをより良好にコーディングするために使用することができる。このＲＯＩビットレートを実現すると、デコーダは、バックグラウンドに対して何を受け取るのかを知ることになる。
【００７６】
ここで、上記の技法は、ＤＣＴベースのコーダにおいてのみ適用可能な訳ではない。ウェーブレット・ベースのコーダも、これと同様の技法を、ＲＯＩの形状情報の伝送を回避するのに使用できる。この技法は、例えば、ニスタ（Nister）およびクリストポウロス（Christopoulos）の“２−１０整数ウェーブレットを使用する関心領域での漸進的ロス有り−ロス無しコーディング（Nister D., Christopoulos C.A., " Progressive lossy to lossless coding with a Region of Interest using the Two-Ten integer wavelet", ISO/IEC JTCl/SC29/WG1 N744, Geneva, Switzerland, 23-27 March 1998）”において使用することができる。
【００７７】
また、注意すべきであるが、ＲＯＩの形状を伝送するこの方法は、ビット平面を有意度が減少する順序で伝送する任意の伝送技法に対して用いることができる。必要なことは、ＲＯＩ係数を、バックグラウンドの任意の係数の前に伝送するものに対して十分大きなファクタでシフトすることである。この方法は、変換したイメージ、例えばＤＣＴまたはウェーブレット変換されたもの、並びに通常のビット平面コーディングされたイメージの両方に対して機能する。受信器が、いつＲＯＩ係数情報がオンであるかを知るため、最後のＲＯＩ係数を伝送したときを受信器に伝送しなければならない。これは、多くの種々の方法で行うことができる。例えば、信号を伝送することができ、ゼロ値の係数のみから成るビット平面、またはＲＯＩ係数に対し使用するビット数を示す伝送の開始部におけるヘッダである。
【００７８】
したがって、伝送の初期の段階で、ＲＯＩのみを再構成する。これは、受信器がイメージの残りがどのようなものであるか知るのを困難にする。したがって、この方法は、ＲＯＩの速度再構成に対し良好である。しかし、初期の段階におけるＢＧとＲＯＩにおける隣接ブロック間の相関を利用するのを回避する。
【００７９】
第３の技法によれば、バックグラウンド・ビットレートに達するまで、イメージの全てをコーディングし、そしてそれに達したら、ＲＯＩのみをコーディングし続ける。このような技法の複雑さは、本文に記述のシステムの１つと同様に残る。このため、ダイナミックレンジの向上がなく、隣接ブロック間の相関を（少なくともＢＧレートに達するまで）利用する。さらに、そのスイッチ・レート後は、ＲＯＩ内のＤＣＴ係数の残りのビットは、生ビットとなる。これは、これらビット間の相関を利用することではゲインはほとんどなく、したがってこれらは、エントロピー・コーダなしでもコーディングすることができる。
【００８０】
また、このような技法を使用するとき、ＢＧレートを得たときおよびＲＯＩをこのとき改善すべきことの受信器への信号を送出する必要がある。デコーダはまた、ＲＯＩ形状を知る必要がある。したがって、この方法は、第２技法と比べより遅いＲＯＩ再構成を生じるが、全ての場合において、受信器は、イメージ全体の見当を有する。
【００８１】
受信器は、伝送段階中にＲＯＩの場所を変更することができる。受信器が漸進的伝送方法でイメージを得た時、これは、彼が早くあるいはそのイメージの残りよりも良好な品質で見たい特定のＲＯＩを指定することができる。ＲＯＩの場所および形状は、送信器に送出する。この送信器がイメージを圧縮形態で有する場合、これは、可変長デコーディング（我々の技法における算術デコーディング）を行うことにより、ＲＯＩに対応する係数を見い出すようにする。次に、送信器は、上記技法の内の１つを使用する。ここで、送信器がその情報を再び算術エンコーディングする必要があるが、受信器に既に伝送したビット平面を使用することはない、ということに注目されたい。また、送信器は、イメージを完全に再構成する必要はない（反転ＤＣＴを必要としない）。送信器は、元のイメージを有する場合、彼は、上記の技法を使用することにより（ＤＣＴを最初に行う）、非伝送のビット平面をエンコードして受信器の要求を満たすことができる。
【００８２】
ここで、上記の技法を組み合わせることもでき、これにより、ＲＯＩの速度再構成を、初期の段階で、良好な品質のバックグラウンドと共に実現できる。
【００８３】
最後に、注意すべきであるが、本文で記述の本アルゴリズムは、コンポーネントを独立して圧縮すると見なす。適当なインターリーブにより、カラー・イメージに対する埋込形ビット・ストリームを発生することができる。
【００８４】
本アルゴリズムは、ＤＣＴをベースとし、これは、全ての静止イメージおよびビデオ・コーディング規格で使用されている。適当な量子化およびコンテキスト・ベースの算術コーディングの使用により、埋込形ＤＣＴベース（ＥＤＣＴ）の静止イメージ・コーディング・アルゴリズムが実現される。このプロパティは、ＷＷＷアプリケーションにおいて、データベースを高速でブラウズする際に非常に有用である。
【００８５】
本アルゴリズムはＤＣＴをベースとするため、現行のＪＰＥＧアーキテクチャに対し行わねばならない変更は最小である。選択的なリファインは、チルト処理、階層的コーディングおよび現行のＪＰＥＧの全ての動作モードは、新たなタイプの人為的なものを導入せずとも、サポートされる。
【００８６】
ここで、フーリエ変換のアダマール変換のように、ＤＣＴの代わりに他のアルゴリズムを使用することができる。加えて、ＤＣＴの整数実現例を使用することもできる。この場合、ロス無しコーディングの機会が実現され、したがって提案して技法でロス有りからロス無しへの漸進的伝送を実現できる。１例として、オオタの（デジタル信号のためのロス無し変換コーディング・システム（Ohta Mutsumi）の“Ohta Mutsumi, "Lossless transform coding system for digital signals", US patent 5,703,799, Dec. 30, 1997”記述のＤＣＴ変換、あるいはチャム（Cham）とチャン（Chan）の“１６次整数コサイン変換（W.K. Cham and Y.T. Chan, "An Order-16 Integer Cosine Transform", Signal Processing, Vol. 39, No. 5, May 1991, pages 1205-1208）”のアルゴリズムの場合、ロス有りおよびロス無しのコーディングの両方に対し使用できるアルゴリズムを、我々の発明において記述した方法を使用することにより得られる。また、本アルゴリズムの埋込形プロパティを維持することにより、ロス無しＲＯＩおよびロス有りＢＧを得る可能性が、完全に漸進的な方法で得られる。
【００８７】
上記の方法は、３Ｄコーディングあるいはビデオ・コーディングに対し使用することができる。３Ｄコーディングにおいては、完全埋込形の３Ｄコーダを得ることができ、これにおいて、ある一定のＲＯＩをイメージの残りよりも良好な品質でコーディングする。これは、医療用途およびリモート・センシングの用途において特に有用である。ビデオ・コーディングにおいて、埋込形ビデオ・コーダを設計することができる。ＥＤＣＴは、（例えば、H.261, H.263 およびMPEGのビデオ・コーディング規格における）イントラおよびインターのマクロブロックをコーディングするのに使用できる。ここで、ＥＤＣＴは、モーション・ビデオのエンコーディングに対し使用できることも注意されたい。
【図面の簡単な説明】
【図１】 図１は、ＤＣＴ係数を配列する方法を示す。
【図２】 図２は、１つのピクセルにおけるビット順序を示す。
【図３】 図３は、埋込形コーディング・アルゴリズムのためのスキャン順序を示す。
【図４】 図４は、符号ビットの送出を示す。
【図５】 図５は、ＡＣ係数ゼロ・ビットのためのコンテキストを示す。
【図６】 図６は、ＤＣ係数ゼロ・ビットのためのコンテキストを示す。
【図７】 図７は、カットオフ信号のためのコンテキストを示す。
【図８】 図８は、コーディング手順を示すフローチャート。
Claims (6)
- 関心領域の形状情報を送信せずに該関心領域を含む画像を圧縮して送信する方法であって、
該画像を周波数ドメインに変換する段階と、
変換された係数を一組の関心領域係数と一組のバックグラウンド係数に分割する段階と、
該一組の関心領域係数の最小の非ゼロビット係数が最大バックグラウンド係数より大きくなるように該変換された係数をシフトする段階と、
ビットストリームにおいて、関心領域係数を含むビット平面がバックグラウンド係数を含むビット平面の前に位置するように、該変換された係数をビット平面単位順にエンコーディングする段階と、
前記一組の関心領域係数に対し使用するビット数を示す情報を該ビットストリームの伝送の開始部のヘッダに含ませる段階と、を備える前記方法。 - 請求項１に記載の前記方法において、ウェーブレット変換、離散コサイン変換、フーリエ変換、アダマール変換のいずれかによって周波数ドメインへの変換がなされる。
- 請求項１または２に記載の前記方法において、前記変換された係数をビット平面単位順にエンコーディングする段階は、算術コーディングを用いて行われる。
- 関心領域の形状情報を送信せずに該関心領域を含む画像を圧縮して送信する装置であって、
該画像を周波数ドメインに変換する手段と、
変換された係数を一組の関心領域係数と一組のバックグラウンド係数に分割する手段と、
該一組の関心領域係数の最小の非ゼロビット係数が最大バックグラウンド係数より大きくなるように該変換された係数をシフトする手段と、
ビットストリームにおいて、関心領域係数を含むビット平面がバックグラウンド係数を含むビット平面の前に位置するように、該変換された係数をビット平面単位順にエンコーディングする手段と、
前記一組の関心領域係数に対し使用するビット数を示す情報を該ビットストリームの伝送の開始部のヘッダに含ませる手段と、を備える前記装置。 - 請求項４に記載の前記装置において、前記画像を周波数ドメインに変換する手段は、ウェーブレット変換、離散コサイン変換、フーリエ変換、アダマール変換のいずれかによって変換を行う。
- 請求項４または５に記載の前記装置において、前記変換された係数をビット平面単位順にエンコーディングする手段は、算術コーディングを用いてエンコーディングを行う。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| SE9703441A SE512291C2 (sv) | 1997-09-23 | 1997-09-23 | Inbäddad DCT-baserad stillbildskodningsalgoritm |
| SE9703441-7 | 1997-09-23 | ||
| PCT/SE1998/001070 WO1999016250A1 (en) | 1997-09-23 | 1998-06-05 | An embedded dct-based still image coding algorithm |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001517905A JP2001517905A (ja) | 2001-10-09 |
| JP4215946B2 true JP4215946B2 (ja) | 2009-01-28 |
Family
ID=20408352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000513412A Expired - Lifetime JP4215946B2 (ja) | 1997-09-23 | 1998-06-05 | 埋込形ｄｃｔベースの静止イメージ・コーディング・アルゴリズム |
Country Status (9)
| Country | Link |
|---|---|
| US (2) | US20040234141A1 (ja) |
| EP (2) | EP1703737B1 (ja) |
| JP (1) | JP4215946B2 (ja) |
| CN (1) | CN1189038C (ja) |
| AU (1) | AU757717B2 (ja) |
| CA (1) | CA2300130A1 (ja) |
| DE (1) | DE69835528T2 (ja) |
| SE (1) | SE512291C2 (ja) |
| WO (1) | WO1999016250A1 (ja) |
Families Citing this family (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB9919805D0 (en) * | 1999-08-21 | 1999-10-27 | Univ Manchester | Video cording |
| US7020342B1 (en) | 1999-08-27 | 2006-03-28 | Koninklijke Philips Electronics N.V. | Scalable coding |
| US6680974B1 (en) * | 1999-12-02 | 2004-01-20 | Lucent Technologies Inc. | Methods and apparatus for context selection of block transform coefficients |
| US6826232B2 (en) | 1999-12-20 | 2004-11-30 | Koninklijke Philips Electronics N.V. | Fine granular scalable video with embedded DCT coding of the enhancement layer |
| US6658159B1 (en) * | 2000-03-17 | 2003-12-02 | Hewlett-Packard Development Company, L.P. | Block entropy coding in embedded block coding with optimized truncation image compression |
| FR2812506B1 (fr) * | 2000-07-25 | 2002-12-20 | Canon Kk | Procede et dispositif d'alerte lors du decodage progressif d'une image numerique codee avec une region d'interet |
| JP5388393B2 (ja) * | 2001-04-27 | 2014-01-15 | キヤノン株式会社 | 画像処理装置および画像処理方法、制御プログラム |
| US6965737B1 (en) * | 2001-06-21 | 2005-11-15 | Lighthouse Capital Partners Iv, Lp | System and method for transporting data |
| JPWO2004064405A1 (ja) * | 2003-01-14 | 2006-05-18 | 日本電信電話株式会社 | 符号化方法及び復号化方法及び符号化装置及び復号化装置 |
| CN1307838C (zh) * | 2003-09-16 | 2007-03-28 | 联发科技股份有限公司 | 渐进式结合图像专家组解码方法及相关装置 |
| US7587093B2 (en) * | 2004-07-07 | 2009-09-08 | Mediatek Inc. | Method and apparatus for implementing DCT/IDCT based video/image processing |
| US7724972B2 (en) * | 2005-03-01 | 2010-05-25 | Qualcomm Incorporated | Quality metric-biased region-of-interest coding for video telephony |
| US8768084B2 (en) * | 2005-03-01 | 2014-07-01 | Qualcomm Incorporated | Region-of-interest coding in video telephony using RHO domain bit allocation |
| US8693537B2 (en) * | 2005-03-01 | 2014-04-08 | Qualcomm Incorporated | Region-of-interest coding with background skipping for video telephony |
| CN100379251C (zh) * | 2005-04-19 | 2008-04-02 | 展讯通信（上海）有限公司 | 一种静态图像压缩的编码方法 |
| KR101237413B1 (ko) | 2005-12-07 | 2013-02-26 | 삼성전자주식회사 | 오디오 신호의 부호화 및 복호화 방법, 오디오 신호의부호화 및 복호화 장치 |
| CN101449516B (zh) * | 2006-03-17 | 2011-11-23 | Lg电子株式会社 | 变换数据的方法以及使用该方法来发送和接收数据的方法 |
| JP5421609B2 (ja) | 2009-02-17 | 2014-02-19 | キヤノン株式会社 | スキャン変換装置及び画像符号化装置、並びにそれらの制御方法 |
| JP5004986B2 (ja) | 2009-03-19 | 2012-08-22 | キヤノン株式会社 | スキャン変換装置及び画像符号化装置、並びにそれらの制御方法 |
| JP5302769B2 (ja) | 2009-05-14 | 2013-10-02 | キヤノン株式会社 | スキャン変換装置及び画像符号化装置及びそれらの制御方法 |
| KR101357403B1 (ko) * | 2009-06-09 | 2014-02-05 | 소니 주식회사 | 인코딩 동안 사용을 위한 복수의 후보 코딩 트리를 생성하는 장치, 화상 또는 비디오의 적응적 인코딩 및 디코딩을 위한 시스템, 및 화상 및/또는 비디오 인코딩 동안 인코더에서의 사용을 위해 복수의 후보 코딩 트리를 생성하는 방법 |
| US8406546B2 (en) * | 2009-06-09 | 2013-03-26 | Sony Corporation | Adaptive entropy coding for images and videos using set partitioning in generalized hierarchical trees |
| WO2011126283A2 (en) | 2010-04-05 | 2011-10-13 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding video based on internal bit depth increment, and method and apparatus for decoding video based on internal bit depth increment |
| KR20110112168A (ko) * | 2010-04-05 | 2011-10-12 | 삼성전자주식회사 | 내부 비트뎁스 확장에 기반한 비디오 부호화 방법 및 그 장치, 내부 비트뎁스 확장에 기반한 비디오 복호화 방법 및 그 장치 |
| US8982961B2 (en) | 2010-04-05 | 2015-03-17 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding video by using transformation index, and method and apparatus for decoding video by using transformation index |
| US20110243220A1 (en) * | 2010-04-05 | 2011-10-06 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding image and method and apparatus for decoding image using adaptive coefficient scan order |
| US9369736B2 (en) | 2010-04-05 | 2016-06-14 | Samsung Electronics Co., Ltd. | Low complexity entropy-encoding/decoding method and apparatus |
| DK3435674T3 (da) | 2010-04-13 | 2023-08-21 | Ge Video Compression Llc | Kodning af signifikanskort og transformationskoefficientblokke |
| KR20130054408A (ko) | 2010-10-05 | 2013-05-24 | 제너럴 인스트루먼트 코포레이션 | 지그재그 스캔에 의한 적응적 컨텍스트 모델 선택을 이용하는 코딩 및 디코딩 |
| US8971641B2 (en) * | 2010-12-16 | 2015-03-03 | Microsoft Technology Licensing, Llc | Spatial image index and associated updating functionality |
| US20120230396A1 (en) * | 2011-03-11 | 2012-09-13 | Mitsubishi Electric Research Laboratories, Inc. | Method for Embedding Decoding Information in Quantized Transform Coefficients |
| US8938001B1 (en) | 2011-04-05 | 2015-01-20 | Google Inc. | Apparatus and method for coding using combinations |
| US8891616B1 (en) | 2011-07-27 | 2014-11-18 | Google Inc. | Method and apparatus for entropy encoding based on encoding cost |
| FR2980068A1 (fr) * | 2011-09-13 | 2013-03-15 | Thomson Licensing | Procede de codage et de reconstruction d'un bloc de pixels et dispositifs correspondants |
| WO2013077713A1 (ko) * | 2011-11-27 | 2013-05-30 | 엘지전자 주식회사 | 변환 계수 재정렬 방법 및 이를 이용하는 장치 |
| US9247257B1 (en) | 2011-11-30 | 2016-01-26 | Google Inc. | Segmentation based entropy encoding and decoding |
| US11039138B1 (en) | 2012-03-08 | 2021-06-15 | Google Llc | Adaptive coding of prediction modes using probability distributions |
| EP2648122B1 (de) * | 2012-04-05 | 2017-06-28 | Siemens Healthcare GmbH | Verfahren zum Laden von medizinischen Bilddaten sowie Vorrichtung zur Durchführung des Verfahrens |
| US9774856B1 (en) | 2012-07-02 | 2017-09-26 | Google Inc. | Adaptive stochastic entropy coding |
| US9509998B1 (en) | 2013-04-04 | 2016-11-29 | Google Inc. | Conditional predictive multi-symbol run-length coding |
| DE102013221020B4 (de) | 2013-10-16 | 2020-04-02 | Adidas Ag | Speedfactory 3D |
| DE102013221018B4 (de) | 2013-10-16 | 2020-04-02 | Adidas Ag | Speedfactory 2D |
| US9392288B2 (en) | 2013-10-17 | 2016-07-12 | Google Inc. | Video coding using scatter-based scan tables |
| US9179151B2 (en) | 2013-10-18 | 2015-11-03 | Google Inc. | Spatial proximity context entropy coding |
| AU2016366516B2 (en) * | 2015-12-09 | 2019-07-18 | Welbilt, Inc. | Hybrid system and method for producing a substantially non-foaming and foaming gas-infused beverages |
| CN115396670B (zh) * | 2022-07-28 | 2024-05-03 | 西安空间无线电技术研究所 | 一种局域处理的图像数据压缩方法 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4698689A (en) * | 1986-03-28 | 1987-10-06 | Gte Laboratories Incorporated | Progressive image transmission |
| US4903317A (en) | 1986-06-24 | 1990-02-20 | Kabushiki Kaisha Toshiba | Image processing apparatus |
| FR2660139B1 (fr) * | 1990-03-23 | 1995-08-25 | France Etat | Procede de codage et de transmission a au moins deux niveaux de qualite d'images numeriques appartenant a une sequence d'images, et dispositifs correspondants. |
| US5001561A (en) * | 1990-05-02 | 1991-03-19 | At&T Bell Laboratories | Embedded coding system for video signals |
| US5333212A (en) * | 1991-03-04 | 1994-07-26 | Storm Technology | Image compression technique with regionally selective compression ratio |
| JP2802694B2 (ja) * | 1991-10-30 | 1998-09-24 | 富士写真フイルム株式会社 | 画像再生装置および方法 |
| US5339108A (en) * | 1992-04-09 | 1994-08-16 | Ampex Corporation | Ordering and formatting coded image data and reconstructing partial images from the data |
| US5563960A (en) * | 1993-01-22 | 1996-10-08 | David Sarnoff Research Center, Inc. | Apparatus and method for emphasizing a selected region in the compressed representation of an image |
| WO1994022108A1 (en) * | 1993-03-23 | 1994-09-29 | Zoran Corporation | Rapid thumbnail image reconstruction of dct compressed image data |
| JP3499254B2 (ja) | 1993-06-04 | 2004-02-23 | 富士写真フイルム株式会社 | 画像データ圧縮処理方法 |
| US5757974A (en) * | 1996-04-15 | 1998-05-26 | The United States Of America As Represented By The Secretary Of The Navy | System and method for data compression |
| US5991816A (en) * | 1996-12-13 | 1999-11-23 | Wisconsin Alumni Research Foundation | Image transfer protocol in progressively increasing resolution |
| WO1999049413A1 (en) * | 1998-03-20 | 1999-09-30 | Mitsubishi Electric Corp. | Lossy/lossless region-of-interest image coding |
| SE9803454L (sv) * | 1998-10-09 | 2000-04-10 | Ericsson Telefon Ab L M | Förfarande och system för kodning av ROI |
-
1997
- 1997-09-23 SE SE9703441A patent/SE512291C2/sv not_active IP Right Cessation
-
1998
- 1998-06-05 CN CNB988094304A patent/CN1189038C/zh not_active Expired - Fee Related
- 1998-06-05 DE DE69835528T patent/DE69835528T2/de not_active Expired - Lifetime
- 1998-06-05 JP JP2000513412A patent/JP4215946B2/ja not_active Expired - Lifetime
- 1998-06-05 AU AU79453/98A patent/AU757717B2/en not_active Ceased
- 1998-06-05 EP EP06012015A patent/EP1703737B1/en not_active Expired - Lifetime
- 1998-06-05 EP EP98929958A patent/EP1018269B1/en not_active Expired - Lifetime
- 1998-06-05 CA CA002300130A patent/CA2300130A1/en not_active Abandoned
- 1998-06-05 WO PCT/SE1998/001070 patent/WO1999016250A1/en active IP Right Grant
-
2004
- 2004-06-03 US US10/859,233 patent/US20040234141A1/en not_active Abandoned
- 2004-06-03 US US10/859,234 patent/US7085425B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| AU757717B2 (en) | 2003-03-06 |
| US7085425B2 (en) | 2006-08-01 |
| US20050008231A1 (en) | 2005-01-13 |
| AU7945398A (en) | 1999-04-12 |
| JP2001517905A (ja) | 2001-10-09 |
| SE9703441L (sv) | 1999-03-24 |
| EP1018269A1 (en) | 2000-07-12 |
| CN1271494A (zh) | 2000-10-25 |
| SE512291C2 (sv) | 2000-02-28 |
| DE69835528T2 (de) | 2007-08-09 |
| EP1703737A1 (en) | 2006-09-20 |
| EP1018269B1 (en) | 2006-08-09 |
| SE9703441D0 (sv) | 1997-09-23 |
| DE69835528D1 (de) | 2006-09-21 |
| EP1703737B1 (en) | 2012-02-29 |
| CN1189038C (zh) | 2005-02-09 |
| CA2300130A1 (en) | 1999-04-01 |
| WO1999016250A1 (en) | 1999-04-01 |
| US20040234141A1 (en) | 2004-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4215946B2 (ja) | 埋込形ｄｃｔベースの静止イメージ・コーディング・アルゴリズム | |
| US10045034B2 (en) | System and method for using pattern vectors for video and image coding and decoding | |
| JP4111644B2 (ja) | 埋め込み符号化／復号化方法及びシステム | |
| JP5635479B2 (ja) | コンテキストベースの適応２値算術符号化方法およびシステム | |
| US5831559A (en) | Encoding/decoding video signals using multiple run-val mapping tables | |
| Xing et al. | Arbitrarily shaped video-object coding by wavelet | |
| Li | Image compression: The mathematics of JPEG 2000 | |
| KR20040026050A (ko) | 미세단위 신축형 부호화 및 복호화 장치와 방법 | |
| US20050089234A1 (en) | Context-sensitive encoding and decoding of a video data stream | |
| US6011499A (en) | Encoding/decoding video signals using multiple run-val mapping tables | |
| Nister et al. | An embedded DCT-based still image coding algorithm | |
| JP2003535496A (ja) | 画像シーケンスを符号化する方法または復号する方法および装置 | |
| JP3230336B2 (ja) | 再圧縮装置及び再圧縮システム | |
| KR20120038355A (ko) | 계층 구조의 영상 처리를 위한 엔트로피 인코딩/디코딩 방법 및 장치와 이를 위한 심볼 인코딩/디코딩 방법 및 장치 | |
| Pandiammal et al. | An Enhanced Approach for Video Compression | |
| Omaki et al. | Embedded zerotree wavelet based algorithm for video compression | |
| JP2710135B2 (ja) | フレーム間／フレーム内適応符号化方式 | |
| Van der Vleuten et al. | Low-complexity scalable image compression |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040305 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060823 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070626 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070926 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20071003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071026 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080415 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080813 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080815 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080925 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081017 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081105 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131114 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |