JP4081741B2 - ＲＯＩｓの符号化方法とシステム - Google Patents
ＲＯＩｓの符号化方法とシステム Download PDFInfo
- Publication number
- JP4081741B2 JP4081741B2 JP2000576627A JP2000576627A JP4081741B2 JP 4081741 B2 JP4081741 B2 JP 4081741B2 JP 2000576627 A JP2000576627 A JP 2000576627A JP 2000576627 A JP2000576627 A JP 2000576627A JP 4081741 B2 JP4081741 B2 JP 4081741B2
- Authority
- JP
- Japan
- Prior art keywords
- roi
- coefficients
- wavelet
- image
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/41—Bandwidth or redundancy reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/127—Prioritisation of hardware or computational resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
Description
【０００１】
【発明の属する技術分野】
本発明は静止画像符号化手法における関心領域（ＲＯＩ）を符号化するための方法とシステムに関する。本発明の方法とシステムは特に、静止画像の圧縮にＪＰＥＧ２００標準及びその他のウェーブレット変換に基づく符号化（例えばＭＰＥＧ４）を行う方法とシステムに好適である。
【０００２】
【背景技術】
ＪＰＥＧ２０００では、画像の種々の部分を種々のビットレートで符号化することがサポートされている。他の領域よりも高ビットレートで符号化された領域は関心領域（ＲＯＩ）と考えられる。近年関心領域を有する画像の符号化が関心を集めている。現在開発中のＪＰＥＧ２０００標準は、Charilaos Christopoulosの編集による、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１ Ｎ９８８ ＪＰＥＧ２０００検証モデルバーション２．０／２．１、１９９８年１０月５日、に記載されているように、ＲＯＩの効率的な符号化の問題を取り扱っている。ＪＰＥＧ２０００の検証モデル（ＶＭ）におけるＲＯＩ符号化の１つのモードは、「スケーリング準拠方法」と呼ばれている。この方法では、ＲＯＩ係数は拡大されて（基本的にはシフトアップされ）、符号化過程において最初に符号化される。この方法によって送信の早い時期に重要な部分の画像を見ることができるようになる。この方法によれば、シフティングが全くない画像に比較して、画像の損失のない符号化を行うにはビットレートが若干増加するが、画像の重要な部分、つまりＲＯＩ、を先に見ることができる。
【０００３】
ＪＰＥＧ２０００では、送信される画像はビット平面ごとに符号化される。これは、変換係数が大きい情報はそれ以外の部分に比較してビットストリームにおいて先に来ることを意味している。現在使用されている、ＲＯＩ符号化のための「スケーリングに基づく符号化方法」はこの事実に基づくものである。ＲＯＩに対応する係数は符号化演算に先立ってかさ上げされる。このことは、これらの係数に関する情報はシフティングをしないときに比べて、ビットストリームの前のほうに来ることを意味する。送信の初期の段階で、ＲＯＩはバックグラウンドに比較してよい品質で再生される。操作全体を通じて、解像度又は品質が次第に向上していく。
【０００４】
さらに、E. AtsumiとN. Farvardinによる「階層化ツリーによる説得文に基づく関心領域の損失の有る／損失のない符号化(Lossy/lossless region-of-interest coding based on set partitioning in hierarchical trees)」画像処理に関するＩＥＥＥ国際会議（ＩＣＩＰ−９８）、米国イリノイ州シカゴ、１９９８年１０月４−７日、には、スケーリングに基づく符号化方法の概念が記載されている。さらに、ＲＯＩの符号化については、１９９６年１０月８日の米国特許第５５６３９６０号に記載されているが、ここで記載されたＲＯＩ符号化方法は画像データのスケーリングのみを行い係数のスケーリングを行っていない。
【０００５】
上述の方法によって、画像を種々のビットレートで符号化するときに、符号化器には画像のどの部分がどのビットレートで符号化すべきであるかに関する情報が必要である。ＲＯＩを空間的な領域として記述することは容易であるが、変換に関してはより煩雑である。現在のところは、ＲＯＩの形状に関する情報は符号化器と復号化器にとって利用可能でなければならず、したがってこのために、画像そのものの情報に関するビットのほかに追加のビットが必要になる。さらに、（送信機の側では）形状符号化器が必要なためにシステム全体を一層複雑で高価なものにしている。復号化器の側でもＲＯＩマスク、例えば、ＲＯＩの再生に必要な係数がどれであるかを定義しなければならない。Charilaos Christopoulosの編集による、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１ Ｎ９８８ ＪＰＥＧ２０００検証モデルバーション２．０／２．１、１９９８年１０月５日、を参照されたい。このために、可能な限り単純でなければならない受信機に、演算上の複雑さと追加の記憶容量が必要になる。
【０００６】
この問題を解決するために現在使用されている方法は、ビットストリームの空間領域にＲＯＩの記述を含めることである。変換領域でのＲＯＩ係数の必要なマスク（ＲＯＩマスク）は符号化器と復号化器の両方で作成される。この点については、Charilaos Christopoulosの編集による、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１ Ｎ９８８ ＪＰＥＧ２０００検証モデルバーション２．０／２．１、１９９８年１０月５日、を参照されたい。符号化器は形状情報を符号化し、形状情報を含む符号化されたビットストリームが全ビットストリームに追加されて受信機に対して送信される。受信機は、形状情報から形状を復号化し、ＲＯＩマスクを作成し、次に画像の情報を復号化する。
【０００７】
ＲＯＩ形状が単純な場合（例えば長方形または円）、形状情報は多くのビットを必要としない。しかし、これらのような単純な場合であっても、受信機はＲＯＩマスクを作成しなければならず、このことは、受信機は画像全体とほぼ同じ大きさの記憶領域を必要とし（ただしピクセルあたり１ビット）、演算は有る程度複雑である（マスクの作成はウェーブレット変換と類似である）。したがって、複雑なＲＯＩの場合には、符号化器と復号化器との間で多くの情報が送受信され、演算の複雑さが重要な問題になる。形状情報のために追加される負担は、特にビットレートが低いときに顕著になる。
【０００８】
出願中のスウェーデン特許出願９７０３６９０−９と９８０００８８−８には、どの係数がＲＯＩに属するか、あるいは、どの係数がＲＯＩに必要かを決定するために、符号化器と復号化器の両方がＲＯＩマスクを定義して使用しなければならない方法が開示されている。
【０００９】
【発明の要約】
本発明の目的は、ＲＯＩの符号化方法において形状情報を送信する必要がない方法とシステムを提供することである。
【００１０】
この目的は、ＲＯＩ係数を最初に送信して、ＲＯＩの境界を送信せずに最初に復号化されるようにＲＯＩ係数を符号化する方法とシステムによって達成される。
【００１１】
好ましい実施例にしたがえば、ＲＯＩに属する係数は、ＲＯＩ係数のうちの最小のものが背景の係数の最大のものよりも大きくなるようにシフトされる。受信機は逆の処理を行ってＲＯＩを得ることができる。
【００１２】
形状情報を送信しなくてもすむために係数をどれだけシフトしなければならないかを特定することで、数々の利益が得られる。形状情報を送信することが不要になり、符号化器の側では形状の復号化が不用になる。さらに、受信機の側では形状復号化器が不要になり、受信機の側でＲＯＩマスクを作成する必要がなくなる。
【００１３】
同様に、他の好ましい実施例では、符号化器と復号化器においてシフティング（またはスケーリング操作）が不用になる。
【００１４】
添付の図面を参照して、以下に本発明をより詳細に説明する。
図１は、本発明の第１の実施例にしたがって、符号化器が実行するステップを示したフローチャートである。第１のステップ１０１で、入力画像を受け取り、関心領域（ＲＯＩ）が特定される。次に、ステップ１０３で、ＲＯＩと背景（ＢＧ）に要求されるビットレート又は品質を受信する。これらに基づいて、画像をウェーブレット領域に変換する、ステップ１０５。次に、ＲＯＩマスクを、例えば、Charilaos Christopoulosの編集による、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１ Ｎ９８８ ＪＰＥＧ２０００検証モデルバーション２．０／２．１、１９９８年１０月５日、に記載された方法で算出する、ステップ１０７。
【００１５】
これに基づいて背景又は全画像の最大ウエーブレット係数（ＭＡＸ＿Ｃｏｅｆｆ）を検出する、ステップ１０９。ＲＯＩマスクの中の最小の係数がＭＡＸ＿Ｃｏｅｆｆよりも大きくなるように、ＲＯＩマスクの中のすべての係数をシフトさせる、ステップ１１１。画像を次に、ＲＯＩ品質又はビットレート、および、ＢＧ品質又はビットレートがステップ１０３で規定した値になるまで、エントロピー符号化する、ステップ１１３。
【００１６】
次に、復号化器がシフトに用いた値を見つけて読み出すことができるように、シフト量の値をビットストリームに追加する、ステップ１１５。復号化器は、係数をどれだけシフトダウンしなければならないかを知る必要があるので、この操作は復号化器のために必要である。次に、ＲＯＩマスクの係数を符号化するために必要であったバイト数が加えられる、ステップ１１７。ステップ１１７の結果は、符号化器からの出力として使用される、ステップ１１９。
【００１７】
ＲＯＩマスクの係数の最小のものがＢＧの係数の最大のものよりも大きくなるようにシフト量が選択されれば、符号化においては、ＢＧの係数が最大になるまでＲＯＩの係数だけが符号化される。その段階で、ＲＯＩ係数はすべて符号化されており、受信機ではすべてシフトダウンが行われており、残りの係数はＢＧに対するものなのでこれらについてはシフトダウンは不要である。受信機は、ＲＯＩ係数の完全な符号化に対応するバイト数（例えば、最初のＢＧ係数が符号化されなければならない点）を知る必要がある。この情報はビットストリームのヘッダに記載され、受信機がこれを取り出す。
【００１８】
一例として、ＲＯＩ係数が左に８回シフトされており（つまり、ＲＯＩ係数に２８を掛け）、すべてのＲＯＩ係数がＢＧ係数の最大のものよりも大きいと仮定する。ここで符号化を開始すると、すべてのＲＯＩ係数が符号化されると、シフトの値とＲＯＩ係数のために必要だったバイト数（Ｎｂｙｔｅｓ＿ＲＯＩ）をビットストリームのヘッダに書き込む。通常どおり符号化を継続する。復号化器はビットストリームを受信して、復号化を開始する。復号化器が、Ｎｂｙｔｅｓ＿ＲＯＩよりも少ない数のバイトの復号を行ったときは、各係数をシフトダウンする。
【００１９】
この段階ではＢＧ係数は符号化されていないので、復号化器はそのことを知らないので、これらもシフトダウンされた結果、再生されてゼロの値を有するＢＧが存在することに注意する必要がある。受信したバイトの数がＮｂｙｔｅｓ＿ＲＯＩになるまで受信この側ではすべての係数をシフトダウンする。この段階の後で、シフトダウンは行われない。ＲＯＩ係数はゼロに符号化されているのでもう更新されないことに注意する必要がある。
【００２０】
この方法によれば、復号化器は形状情報を必要としない。デコーダは、すべての係数をシフトダウンするので、どの係数がＲＯＩに相当するかを知る必要がない、つまり、ＢＧ係数はすべてのＲＯＩ係数が符号化されるまでゼロである。復号化器はＲＯＩマスクを作成する必要がなく、符号化手法はさらに単純になる。復号化器がしなければならないのは、受信したＲＯＩ係数をシフトダウンすることだけである。
【００２１】
図２は、符号化器の第２の実施例で実行するステップを示したフローチャートである。図２に示したフローチャートは、ステップ２０９と２１１で示されるように、最大量子化係数はステップ１０９と１１１で取得されてシフトが行われる点をのぞいて、図１に示したフローチャートと同じである。
【００２２】
第２の実施例に示した方法と符号化器を使用すると、量子化された係数は最初の係数よりも小さいので、シフトした係数を格納する記憶領域が少なくて済む。
【００２３】
図３は、第３の実施例で実行されるステップを示したフローチャートである。図３のフローチャートは、ＲＯＩマスクの係数を符号化するために必要であったバイト数がビットストリームの中に書き込まれない点を除いて、図１と図２に示したフローチャートと同じである。したがって、図３に示すフローチャートには、ステップ１１７と２１７に対応するステップ３１７は存在しない。仮にバイト数が記憶されていても、この値は復号化器の側では使用されない。したがって、第３の実施例は第１及び第２の実施例と類似ではあるが、ビットストリームに格納すべき情報はさらに少ない。
【００２４】
図１ないし３に示した各種の符号化に対応する復号化器の処理を以下に説明する。図４は、第１と第２の実施例に対応する復号化器の処理ステップを示すフローチャートである。
【００２５】
まず、ステップ４０１で、図１と２に示した上述のアルゴリズムで符号化されたビットストリームのヘッダが受信される。ＲＯＩ係数に対応する（つまり、シフトされた）シフトの値とバイト数（ＲＯＩ＿バイト）を取得する。次に、ステップ４０３で、ビットストリームの残りの部分を受信する。もし、受信したバイト数がＲＯＩ＿バイトよりも少なければ、係数をエントロピー復号化した後で、これらはシフト値だけシフトダウンされる、ステップ４０５。この時点までＢＧ係数はゼロと置かれており、したがってシフトダウンによっては影響されないことに注意を要する。再生された中間画像がウェーブレット逆変換によって得られる。
【００２６】
次に、ステップ４０７で、受信したバイト数がＲＯＩ＿バイトよりも少ないか否かを判断し、もし少なければステップ４０３に戻る。さもなければ、ステップ４０９に進む。ステップ４０９では、残りのビットストリームを受信する。これはＢＧデータに相当し、したがって、これ以降は係数のシフトダウンは行われない。最終的に、ステップ４１１で、ウェーブレット逆変換によって再生した画像が得られる。
【００２７】
復号化器は、必ずしもバイト数を知ることは必須ではないことに注意する必要がある。これは、シフト＿値がシフトを行った値であれば、復号化器はシフト＿値を超える係数をすべてシフトさせることができるからである。
【００２８】
図５は、図３を参照して説明した第３の実施例によるビットストリームを復号化するための復号化器で実行されるステップを示すフローチャートである。
【００２９】
まずステップ５０１で、符号化されたビットストリームを受信する。使用したシフト値に関する情報を取得する。次に、ステップ５０３で、受信した係数が２(shift value)よりも大きいか否かを判断し、もしそうであればステップ５０４で係数をシフトダウンし、そうでなければ処理はステップ５０５に進む。ステップ５０５では、係数をシフトダウンしない。最終的に、ステップ５０７で、ステップ５０４と５０５からの出力をウエーブレット逆変換して画像の再生を行う。
【００３０】
係数のうちの幾つかが０と１との間のときには、浮動小数点ウェーブレット変換に問題を生じ、符号化器でシフトした後も２(shift value)よりも大きくはならないことに注意を要する。これは、復号化器でシフトダウンされないことを意味する。この問題を回避するために、量子化された係数は整数なので、量子化された係数をシフトする第２の実施例に基づく符号化器を使用することができる。
【００３１】
上述の方法は、符号化器が係数をシフトして大きくする、つまり、係数に所定の係数を掛けることを必要とする。この種の演算は単純ではあるが、形状情報の送信を排除でき復号化器の演算の複雑性を最小限にし、さらに復号化器におけるシフトダウン操作が不要な他の方法が場合によっては有益である。
【００３２】
図６は、シフトダウン不要の符号化ビットストリームを作成する符号化器が実行する処理ステップを示すフローチャートである。
【００３３】
まずステップ６０１で、符号化される入力画像を受信し、そのＲＯＩが特定される。ＲＯＩとＢＧに必要なビットレートまたは品質を受信する、ステップ６０３。次に、画像をウエーブレット領域に変換して第１の記憶装置（ＭＥＭ１）に格納する、ステップ６０５。
【００３４】
ここで、上述のようにＲＯＩマスクを作成する、ステップ６０７。第１の記憶装置（ＭＥＭ１）の内容を次に第２の記憶装置（ＭＥＭ２）にコピーする、ステップ６０９。ステップ６０９は、後の段階でＢＧ情報が必要な場合にのみ必要になる。次にＭＥＭ１に記憶されたＲＯＩマスクの外のすべての係数をゼロと置く、ステップ６１１。ＭＥＭ１のウェーブレット係数をＪＰＥＧ２０００符号化方法を使用して符号化する、ステップ６１３。
【００３５】
すべての係数が符号化されることに注意する必要がある。しかし、ＢＧの係数はゼロなので、実際にはＲＯＩ係数のみが符号化される（ゼロであるＢＧ係数も符号化されるが、これらはビットレートを大きく占有することはない）。
【００３６】
ＭＥＭ１の符号化は要求されたビットレート（ＲＯＩ品質のＲＯＩレート）まで実行され、次に符号化器はＭＥＭ２の係数から符号化を開始する、ステップ６１５。ＭＥＭ２内の、ＲＯＩマスク内のすべての係数を次にゼロと置く、ステップ６１５。これは、次にＢＧ係数を符号化することを意味する。
【００３７】
最後に、ステップ６１９において、（ＲＯＩマスク内の係数をゼロと置いた）ＭＥＭ２を、ＢＧに関して指定されたビットレート又は品質が満足されるまで符号化する。
【００３８】
図７は、図６で示した実施例に従って作成されたビットストリームを復号化するための復号化器で実行される処理ステップを示すフローチャートである。
【００３９】
まずステップ７０１で、図６に示したアルゴリズムに従って符号化されたビットストリームを、ＭＥＭ１バイトまで受信する。エントロピー復号を実施し、ＭＥＭ１個の係数を取得する。必要又は望ましければウエーブレット逆変換を行って中間的な再生画像を得ることもできることに注意を要する。
【００４０】
次に、ステップ７０３で、すべてのバイトを受信するまで残りのビットストリームを受信する。エントロピー復号化を行い、ＭＥＭ２個の係数を取得する。ＭＥＭ１個の係数にＭＥＭ２個の係数を追加する。その結果得られた係数をウェーブレット逆変換して、ＲＯＩとＢＧを有する再生画像が得られる。
【００４１】
ＭＥＭ２個の係数に相当するだけのビットが受信されたとき、受信機はウエーブレット逆変換を行ってＭＥＭ２に相当する画像（ＢＧのみの画像）だけを再生することもできることに注意が必要である。次に、上述のようにステップ４０３と５０３で係数を加算する代りに、再生されたＭＥＭ１の画像とＭＥＭ２の画像を加算することができる。
【００４２】
符号化器から送り出されるビットストリームは、ＭＥＭ１画像の符号化（ＢＧがゼロになっている範囲）に何バイト（又はビット）使用しているかを示す情報を有している必要がある。これは、受信機がＭＥＭ２の受信を開始するべきか（何処でＲＯＩマスクの係数がゼロになっているか）を知る必要があるからである。この場合の受信機は、再生されたＭＥＭ２の係数と生成されたＭＥＭ１の係数を加える。
【００４３】
この方法によって符号化器と復号化器から係数のシフト、形状情報の送信、形状符号化器と形状復号化器、及び、復号化器におけるＲＯＩマスクの作成を完全に排除することができる。復号化器は、係数を加算するために、どの時点でＭＥＭ１係数の受信を終了してＭＥＭ２係数の受信を開始すべきかを知るだけで十分である。
【００４４】
実時間における符号化と送信であれば（符号化を行って同時に送信するために）、受信機はＲＯＩ符号化のために使用されるバイトの総数を知らない可能性がある。この場合は、送信機はＲＯＩ符号化を終了した段階で信号を送信して送信の途中で、ＲＯＩ係数の符号化が終了したのでそれ以降は係数のシフトダウンを行わないように知らせる必要がある。これは、演算符号化器では作成できないコードストリームを送ることによって行うことができる。
【００４５】
第３の実施例に基づく符号化器は、実時間適用に際しても何ら問題を生じない点に注意する必要がある。これは、ＲＯＩ係数のためのバイト数は不要だからである。必要なのは、常にビットストリームに含まれているシフト値だけである。復号化器は上方の係数のシフトダウンするので、そのために信号を必要としない。したがって、第３の実施例に基づく符号化器は他の手法によるものに比較して利点を有する。
【００４６】
上述の方法はＲＯＩが１つ存在することを前提としているが、実際は２つ以上のＲＯＩが存在しても良いことに注意を要する。この場合にも上記の方法を同様に適用することができる。この場合、最初のＲＯＩ（ＲＯＩ１）に関して上述の方法ですべての係数がシフトされる。次に第２のＲＯＩ（ＲＯＩ２）に関して、すべての係数が同様の方法で、ただし、係数がシフトされたＲＯＩ１の係数よりも大きくなるようにシフトされる。そして同様の処理を行う。復号化器は、各ＲＯＩのシフト値に関する情報を有していれば、どの係数がＲＯＩ１に属し、どの係数がＲＯＩ２に属するかを判別することができる。
【００４７】
矩形の場合には、ＲＯＩ形状情報が各サブバンドで送信されれば、復号化器でのマスク作成は不要になることに注意が必要である。矩形のＲＯＩは各サブバンドでも矩形のＲＯＩを発生する性質を有し、したがって、ＲＯＩ形状の情報は各サブバンドについて送信することができる（例えば、左上の角と右下の角）。これによって、復号化器においてＲＯＩマスクを作成することは不要になるが、これは矩形のＲＯＩについてのみ適用可能である。上述の方法は形状にかかわらず適用可能である。
【００４８】
上述の方法で符号化を行うと、ＲＯＩに関して、係数をシフトアップした値と、シフトアップされた情報を含むビットストリームのビット数以外の情報は不要である。
このことは、
−ＲＯＩの形状に関する情報は送信不要である。このことによって、特に形状が複雑な場合に、ビットストリームの非常に多くのＢｉｔ／Ｓが節約されることになる。
−復号化器においてＲＯＩ係数のマスクを作成が不要になる。このことによって、復号化器の記憶容量と演算の複雑さが軽減される。
−形状符号化が不用になる。
−形状復号化が不用になる。
−ビットストリームからＲＯＩ形状情報の概略を取り出すことが可能になる。
−ＲＯＩマスクは高次のサブバンドに展開するので、ＢＧのうちの幾つか又はすべての高次サブバンドをカバーし始める（例えばＬＬサブバンド）。これは、ＢＧ情報がＲＯＩ情報と共に符号化されることを意味する。したがって、受信機は復号化の途中で、通信の早い段階から大部分の画像を再生できることを意味する（特に、精度を次第に高めていく場合には）。これによって、初期の段階でＢＧが黒色になることを回避することができる。
【００４９】
図８は、可能性の有るビットストリーム構成を示すものである。これは、画像のタイプ等に関する情報を含む全ビットストリーム構造の一部であることに留意されたい。まず符号化を行って次に送信を行うなら、ビットストリーム構造は次の情報を含む必要がある：
−第１のフィールド８０１で送信されるＲＯＩ符号化方法（ＲＯＩ＿ＣＭ）
−第２のフィールド８０３で送信されるシフト値（ＳＶ）
−（必要なら）第３のフィールド８０５で送信されるＲＯＩのバイト数（ＮＢＹｔｅｓ＿ＲＯＩ）
−残りのヘッダ情報とビット（Charilaos Christopoulosの編集による、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１ Ｎ９８８ ＪＰＥＧ２０００検証モデルバーション２．０／２．１、１９９８年１０月５日参照）
【００５０】
ここで、
−ＲＯＩ＿ＣＭ：は、提案の符号化方法が使用されたことを示す、
−ＳＶ：は、ＲＯＩ係数をシフトアップした値を示す、
−Ｎｂｙｔｅｓ＿ＲＯＩ：は、ＲＯＩ係数を復号化するために使用した全バイト数（上述の符号化手法のすべてにおいて必要になるわけではない）である。
【００５１】
実時間での適用に関しては、つまり、符号化と送信を同時に行う場合には、ビットストリームを図９に示した構造に変更することができる。
−第１のフィールド９０１で送信されるＲＯＩ符号化方法（ＲＯＩ＿ＣＭ）、
−第２のフィールド９０３で送信されるシフト値（ＳＶ）、
−第３のフィールド９０５で送信される残りのヘッダと係数に対応するビット、
−第４のフィールド９０７で送信される信号、
ここで、
−信号は、演算符号化器では作成することができない符号ストリーム（上述の符号化手法のすべてが必要とするわけではない）である。
【図面の簡単な説明】
【図１】 本発明の第１の実施例にしたがって、符号化器が実行するステップを示すフローチャートである。
【図２】本発明の第２の実施例にしたがって、符号化器が実行するステップを示すフローチャートである。
【図３】本発明の第３の実施例にしたがって、符号化器が実行するステップを示すフローチャートである。
【図４】本発明の第１と第２の実施例にしたがって、復号化器が実行するステップを示すフローチャートである。
【図５】本発明の第３の実施例にしたがって、復号化器が実行するステップを示すフローチャートである。
【図６】本発明の第４の実施例にしたがって、符号化器が実行するステップを示すフローチャートである。
【図７】本発明の第４の実施例にしたがって、復号化器が実行するステップを示すフローチャートである。
【図８】 使用されるビットストリーム構成を示す図である。
【図９】 別のビットストリーム構成を示す図である。
【発明の属する技術分野】
本発明は静止画像符号化手法における関心領域（ＲＯＩ）を符号化するための方法とシステムに関する。本発明の方法とシステムは特に、静止画像の圧縮にＪＰＥＧ２００標準及びその他のウェーブレット変換に基づく符号化（例えばＭＰＥＧ４）を行う方法とシステムに好適である。
【０００２】
【背景技術】
ＪＰＥＧ２０００では、画像の種々の部分を種々のビットレートで符号化することがサポートされている。他の領域よりも高ビットレートで符号化された領域は関心領域（ＲＯＩ）と考えられる。近年関心領域を有する画像の符号化が関心を集めている。現在開発中のＪＰＥＧ２０００標準は、Charilaos Christopoulosの編集による、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１ Ｎ９８８ ＪＰＥＧ２０００検証モデルバーション２．０／２．１、１９９８年１０月５日、に記載されているように、ＲＯＩの効率的な符号化の問題を取り扱っている。ＪＰＥＧ２０００の検証モデル（ＶＭ）におけるＲＯＩ符号化の１つのモードは、「スケーリング準拠方法」と呼ばれている。この方法では、ＲＯＩ係数は拡大されて（基本的にはシフトアップされ）、符号化過程において最初に符号化される。この方法によって送信の早い時期に重要な部分の画像を見ることができるようになる。この方法によれば、シフティングが全くない画像に比較して、画像の損失のない符号化を行うにはビットレートが若干増加するが、画像の重要な部分、つまりＲＯＩ、を先に見ることができる。
【０００３】
ＪＰＥＧ２０００では、送信される画像はビット平面ごとに符号化される。これは、変換係数が大きい情報はそれ以外の部分に比較してビットストリームにおいて先に来ることを意味している。現在使用されている、ＲＯＩ符号化のための「スケーリングに基づく符号化方法」はこの事実に基づくものである。ＲＯＩに対応する係数は符号化演算に先立ってかさ上げされる。このことは、これらの係数に関する情報はシフティングをしないときに比べて、ビットストリームの前のほうに来ることを意味する。送信の初期の段階で、ＲＯＩはバックグラウンドに比較してよい品質で再生される。操作全体を通じて、解像度又は品質が次第に向上していく。
【０００４】
さらに、E. AtsumiとN. Farvardinによる「階層化ツリーによる説得文に基づく関心領域の損失の有る／損失のない符号化(Lossy/lossless region-of-interest coding based on set partitioning in hierarchical trees)」画像処理に関するＩＥＥＥ国際会議（ＩＣＩＰ−９８）、米国イリノイ州シカゴ、１９９８年１０月４−７日、には、スケーリングに基づく符号化方法の概念が記載されている。さらに、ＲＯＩの符号化については、１９９６年１０月８日の米国特許第５５６３９６０号に記載されているが、ここで記載されたＲＯＩ符号化方法は画像データのスケーリングのみを行い係数のスケーリングを行っていない。
【０００５】
上述の方法によって、画像を種々のビットレートで符号化するときに、符号化器には画像のどの部分がどのビットレートで符号化すべきであるかに関する情報が必要である。ＲＯＩを空間的な領域として記述することは容易であるが、変換に関してはより煩雑である。現在のところは、ＲＯＩの形状に関する情報は符号化器と復号化器にとって利用可能でなければならず、したがってこのために、画像そのものの情報に関するビットのほかに追加のビットが必要になる。さらに、（送信機の側では）形状符号化器が必要なためにシステム全体を一層複雑で高価なものにしている。復号化器の側でもＲＯＩマスク、例えば、ＲＯＩの再生に必要な係数がどれであるかを定義しなければならない。Charilaos Christopoulosの編集による、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１ Ｎ９８８ ＪＰＥＧ２０００検証モデルバーション２．０／２．１、１９９８年１０月５日、を参照されたい。このために、可能な限り単純でなければならない受信機に、演算上の複雑さと追加の記憶容量が必要になる。
【０００６】
この問題を解決するために現在使用されている方法は、ビットストリームの空間領域にＲＯＩの記述を含めることである。変換領域でのＲＯＩ係数の必要なマスク（ＲＯＩマスク）は符号化器と復号化器の両方で作成される。この点については、Charilaos Christopoulosの編集による、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１ Ｎ９８８ ＪＰＥＧ２０００検証モデルバーション２．０／２．１、１９９８年１０月５日、を参照されたい。符号化器は形状情報を符号化し、形状情報を含む符号化されたビットストリームが全ビットストリームに追加されて受信機に対して送信される。受信機は、形状情報から形状を復号化し、ＲＯＩマスクを作成し、次に画像の情報を復号化する。
【０００７】
ＲＯＩ形状が単純な場合（例えば長方形または円）、形状情報は多くのビットを必要としない。しかし、これらのような単純な場合であっても、受信機はＲＯＩマスクを作成しなければならず、このことは、受信機は画像全体とほぼ同じ大きさの記憶領域を必要とし（ただしピクセルあたり１ビット）、演算は有る程度複雑である（マスクの作成はウェーブレット変換と類似である）。したがって、複雑なＲＯＩの場合には、符号化器と復号化器との間で多くの情報が送受信され、演算の複雑さが重要な問題になる。形状情報のために追加される負担は、特にビットレートが低いときに顕著になる。
【０００８】
出願中のスウェーデン特許出願９７０３６９０−９と９８０００８８−８には、どの係数がＲＯＩに属するか、あるいは、どの係数がＲＯＩに必要かを決定するために、符号化器と復号化器の両方がＲＯＩマスクを定義して使用しなければならない方法が開示されている。
【０００９】
【発明の要約】
本発明の目的は、ＲＯＩの符号化方法において形状情報を送信する必要がない方法とシステムを提供することである。
【００１０】
この目的は、ＲＯＩ係数を最初に送信して、ＲＯＩの境界を送信せずに最初に復号化されるようにＲＯＩ係数を符号化する方法とシステムによって達成される。
【００１１】
好ましい実施例にしたがえば、ＲＯＩに属する係数は、ＲＯＩ係数のうちの最小のものが背景の係数の最大のものよりも大きくなるようにシフトされる。受信機は逆の処理を行ってＲＯＩを得ることができる。
【００１２】
形状情報を送信しなくてもすむために係数をどれだけシフトしなければならないかを特定することで、数々の利益が得られる。形状情報を送信することが不要になり、符号化器の側では形状の復号化が不用になる。さらに、受信機の側では形状復号化器が不要になり、受信機の側でＲＯＩマスクを作成する必要がなくなる。
【００１３】
同様に、他の好ましい実施例では、符号化器と復号化器においてシフティング（またはスケーリング操作）が不用になる。
【００１４】
添付の図面を参照して、以下に本発明をより詳細に説明する。
図１は、本発明の第１の実施例にしたがって、符号化器が実行するステップを示したフローチャートである。第１のステップ１０１で、入力画像を受け取り、関心領域（ＲＯＩ）が特定される。次に、ステップ１０３で、ＲＯＩと背景（ＢＧ）に要求されるビットレート又は品質を受信する。これらに基づいて、画像をウェーブレット領域に変換する、ステップ１０５。次に、ＲＯＩマスクを、例えば、Charilaos Christopoulosの編集による、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１ Ｎ９８８ ＪＰＥＧ２０００検証モデルバーション２．０／２．１、１９９８年１０月５日、に記載された方法で算出する、ステップ１０７。
【００１５】
これに基づいて背景又は全画像の最大ウエーブレット係数（ＭＡＸ＿Ｃｏｅｆｆ）を検出する、ステップ１０９。ＲＯＩマスクの中の最小の係数がＭＡＸ＿Ｃｏｅｆｆよりも大きくなるように、ＲＯＩマスクの中のすべての係数をシフトさせる、ステップ１１１。画像を次に、ＲＯＩ品質又はビットレート、および、ＢＧ品質又はビットレートがステップ１０３で規定した値になるまで、エントロピー符号化する、ステップ１１３。
【００１６】
次に、復号化器がシフトに用いた値を見つけて読み出すことができるように、シフト量の値をビットストリームに追加する、ステップ１１５。復号化器は、係数をどれだけシフトダウンしなければならないかを知る必要があるので、この操作は復号化器のために必要である。次に、ＲＯＩマスクの係数を符号化するために必要であったバイト数が加えられる、ステップ１１７。ステップ１１７の結果は、符号化器からの出力として使用される、ステップ１１９。
【００１７】
ＲＯＩマスクの係数の最小のものがＢＧの係数の最大のものよりも大きくなるようにシフト量が選択されれば、符号化においては、ＢＧの係数が最大になるまでＲＯＩの係数だけが符号化される。その段階で、ＲＯＩ係数はすべて符号化されており、受信機ではすべてシフトダウンが行われており、残りの係数はＢＧに対するものなのでこれらについてはシフトダウンは不要である。受信機は、ＲＯＩ係数の完全な符号化に対応するバイト数（例えば、最初のＢＧ係数が符号化されなければならない点）を知る必要がある。この情報はビットストリームのヘッダに記載され、受信機がこれを取り出す。
【００１８】
一例として、ＲＯＩ係数が左に８回シフトされており（つまり、ＲＯＩ係数に２８を掛け）、すべてのＲＯＩ係数がＢＧ係数の最大のものよりも大きいと仮定する。ここで符号化を開始すると、すべてのＲＯＩ係数が符号化されると、シフトの値とＲＯＩ係数のために必要だったバイト数（Ｎｂｙｔｅｓ＿ＲＯＩ）をビットストリームのヘッダに書き込む。通常どおり符号化を継続する。復号化器はビットストリームを受信して、復号化を開始する。復号化器が、Ｎｂｙｔｅｓ＿ＲＯＩよりも少ない数のバイトの復号を行ったときは、各係数をシフトダウンする。
【００１９】
この段階ではＢＧ係数は符号化されていないので、復号化器はそのことを知らないので、これらもシフトダウンされた結果、再生されてゼロの値を有するＢＧが存在することに注意する必要がある。受信したバイトの数がＮｂｙｔｅｓ＿ＲＯＩになるまで受信この側ではすべての係数をシフトダウンする。この段階の後で、シフトダウンは行われない。ＲＯＩ係数はゼロに符号化されているのでもう更新されないことに注意する必要がある。
【００２０】
この方法によれば、復号化器は形状情報を必要としない。デコーダは、すべての係数をシフトダウンするので、どの係数がＲＯＩに相当するかを知る必要がない、つまり、ＢＧ係数はすべてのＲＯＩ係数が符号化されるまでゼロである。復号化器はＲＯＩマスクを作成する必要がなく、符号化手法はさらに単純になる。復号化器がしなければならないのは、受信したＲＯＩ係数をシフトダウンすることだけである。
【００２１】
図２は、符号化器の第２の実施例で実行するステップを示したフローチャートである。図２に示したフローチャートは、ステップ２０９と２１１で示されるように、最大量子化係数はステップ１０９と１１１で取得されてシフトが行われる点をのぞいて、図１に示したフローチャートと同じである。
【００２２】
第２の実施例に示した方法と符号化器を使用すると、量子化された係数は最初の係数よりも小さいので、シフトした係数を格納する記憶領域が少なくて済む。
【００２３】
図３は、第３の実施例で実行されるステップを示したフローチャートである。図３のフローチャートは、ＲＯＩマスクの係数を符号化するために必要であったバイト数がビットストリームの中に書き込まれない点を除いて、図１と図２に示したフローチャートと同じである。したがって、図３に示すフローチャートには、ステップ１１７と２１７に対応するステップ３１７は存在しない。仮にバイト数が記憶されていても、この値は復号化器の側では使用されない。したがって、第３の実施例は第１及び第２の実施例と類似ではあるが、ビットストリームに格納すべき情報はさらに少ない。
【００２４】
図１ないし３に示した各種の符号化に対応する復号化器の処理を以下に説明する。図４は、第１と第２の実施例に対応する復号化器の処理ステップを示すフローチャートである。
【００２５】
まず、ステップ４０１で、図１と２に示した上述のアルゴリズムで符号化されたビットストリームのヘッダが受信される。ＲＯＩ係数に対応する（つまり、シフトされた）シフトの値とバイト数（ＲＯＩ＿バイト）を取得する。次に、ステップ４０３で、ビットストリームの残りの部分を受信する。もし、受信したバイト数がＲＯＩ＿バイトよりも少なければ、係数をエントロピー復号化した後で、これらはシフト値だけシフトダウンされる、ステップ４０５。この時点までＢＧ係数はゼロと置かれており、したがってシフトダウンによっては影響されないことに注意を要する。再生された中間画像がウェーブレット逆変換によって得られる。
【００２６】
次に、ステップ４０７で、受信したバイト数がＲＯＩ＿バイトよりも少ないか否かを判断し、もし少なければステップ４０３に戻る。さもなければ、ステップ４０９に進む。ステップ４０９では、残りのビットストリームを受信する。これはＢＧデータに相当し、したがって、これ以降は係数のシフトダウンは行われない。最終的に、ステップ４１１で、ウェーブレット逆変換によって再生した画像が得られる。
【００２７】
復号化器は、必ずしもバイト数を知ることは必須ではないことに注意する必要がある。これは、シフト＿値がシフトを行った値であれば、復号化器はシフト＿値を超える係数をすべてシフトさせることができるからである。
【００２８】
図５は、図３を参照して説明した第３の実施例によるビットストリームを復号化するための復号化器で実行されるステップを示すフローチャートである。
【００２９】
まずステップ５０１で、符号化されたビットストリームを受信する。使用したシフト値に関する情報を取得する。次に、ステップ５０３で、受信した係数が２(shift value)よりも大きいか否かを判断し、もしそうであればステップ５０４で係数をシフトダウンし、そうでなければ処理はステップ５０５に進む。ステップ５０５では、係数をシフトダウンしない。最終的に、ステップ５０７で、ステップ５０４と５０５からの出力をウエーブレット逆変換して画像の再生を行う。
【００３０】
係数のうちの幾つかが０と１との間のときには、浮動小数点ウェーブレット変換に問題を生じ、符号化器でシフトした後も２(shift value)よりも大きくはならないことに注意を要する。これは、復号化器でシフトダウンされないことを意味する。この問題を回避するために、量子化された係数は整数なので、量子化された係数をシフトする第２の実施例に基づく符号化器を使用することができる。
【００３１】
上述の方法は、符号化器が係数をシフトして大きくする、つまり、係数に所定の係数を掛けることを必要とする。この種の演算は単純ではあるが、形状情報の送信を排除でき復号化器の演算の複雑性を最小限にし、さらに復号化器におけるシフトダウン操作が不要な他の方法が場合によっては有益である。
【００３２】
図６は、シフトダウン不要の符号化ビットストリームを作成する符号化器が実行する処理ステップを示すフローチャートである。
【００３３】
まずステップ６０１で、符号化される入力画像を受信し、そのＲＯＩが特定される。ＲＯＩとＢＧに必要なビットレートまたは品質を受信する、ステップ６０３。次に、画像をウエーブレット領域に変換して第１の記憶装置（ＭＥＭ１）に格納する、ステップ６０５。
【００３４】
ここで、上述のようにＲＯＩマスクを作成する、ステップ６０７。第１の記憶装置（ＭＥＭ１）の内容を次に第２の記憶装置（ＭＥＭ２）にコピーする、ステップ６０９。ステップ６０９は、後の段階でＢＧ情報が必要な場合にのみ必要になる。次にＭＥＭ１に記憶されたＲＯＩマスクの外のすべての係数をゼロと置く、ステップ６１１。ＭＥＭ１のウェーブレット係数をＪＰＥＧ２０００符号化方法を使用して符号化する、ステップ６１３。
【００３５】
すべての係数が符号化されることに注意する必要がある。しかし、ＢＧの係数はゼロなので、実際にはＲＯＩ係数のみが符号化される（ゼロであるＢＧ係数も符号化されるが、これらはビットレートを大きく占有することはない）。
【００３６】
ＭＥＭ１の符号化は要求されたビットレート（ＲＯＩ品質のＲＯＩレート）まで実行され、次に符号化器はＭＥＭ２の係数から符号化を開始する、ステップ６１５。ＭＥＭ２内の、ＲＯＩマスク内のすべての係数を次にゼロと置く、ステップ６１５。これは、次にＢＧ係数を符号化することを意味する。
【００３７】
最後に、ステップ６１９において、（ＲＯＩマスク内の係数をゼロと置いた）ＭＥＭ２を、ＢＧに関して指定されたビットレート又は品質が満足されるまで符号化する。
【００３８】
図７は、図６で示した実施例に従って作成されたビットストリームを復号化するための復号化器で実行される処理ステップを示すフローチャートである。
【００３９】
まずステップ７０１で、図６に示したアルゴリズムに従って符号化されたビットストリームを、ＭＥＭ１バイトまで受信する。エントロピー復号を実施し、ＭＥＭ１個の係数を取得する。必要又は望ましければウエーブレット逆変換を行って中間的な再生画像を得ることもできることに注意を要する。
【００４０】
次に、ステップ７０３で、すべてのバイトを受信するまで残りのビットストリームを受信する。エントロピー復号化を行い、ＭＥＭ２個の係数を取得する。ＭＥＭ１個の係数にＭＥＭ２個の係数を追加する。その結果得られた係数をウェーブレット逆変換して、ＲＯＩとＢＧを有する再生画像が得られる。
【００４１】
ＭＥＭ２個の係数に相当するだけのビットが受信されたとき、受信機はウエーブレット逆変換を行ってＭＥＭ２に相当する画像（ＢＧのみの画像）だけを再生することもできることに注意が必要である。次に、上述のようにステップ４０３と５０３で係数を加算する代りに、再生されたＭＥＭ１の画像とＭＥＭ２の画像を加算することができる。
【００４２】
符号化器から送り出されるビットストリームは、ＭＥＭ１画像の符号化（ＢＧがゼロになっている範囲）に何バイト（又はビット）使用しているかを示す情報を有している必要がある。これは、受信機がＭＥＭ２の受信を開始するべきか（何処でＲＯＩマスクの係数がゼロになっているか）を知る必要があるからである。この場合の受信機は、再生されたＭＥＭ２の係数と生成されたＭＥＭ１の係数を加える。
【００４３】
この方法によって符号化器と復号化器から係数のシフト、形状情報の送信、形状符号化器と形状復号化器、及び、復号化器におけるＲＯＩマスクの作成を完全に排除することができる。復号化器は、係数を加算するために、どの時点でＭＥＭ１係数の受信を終了してＭＥＭ２係数の受信を開始すべきかを知るだけで十分である。
【００４４】
実時間における符号化と送信であれば（符号化を行って同時に送信するために）、受信機はＲＯＩ符号化のために使用されるバイトの総数を知らない可能性がある。この場合は、送信機はＲＯＩ符号化を終了した段階で信号を送信して送信の途中で、ＲＯＩ係数の符号化が終了したのでそれ以降は係数のシフトダウンを行わないように知らせる必要がある。これは、演算符号化器では作成できないコードストリームを送ることによって行うことができる。
【００４５】
第３の実施例に基づく符号化器は、実時間適用に際しても何ら問題を生じない点に注意する必要がある。これは、ＲＯＩ係数のためのバイト数は不要だからである。必要なのは、常にビットストリームに含まれているシフト値だけである。復号化器は上方の係数のシフトダウンするので、そのために信号を必要としない。したがって、第３の実施例に基づく符号化器は他の手法によるものに比較して利点を有する。
【００４６】
上述の方法はＲＯＩが１つ存在することを前提としているが、実際は２つ以上のＲＯＩが存在しても良いことに注意を要する。この場合にも上記の方法を同様に適用することができる。この場合、最初のＲＯＩ（ＲＯＩ１）に関して上述の方法ですべての係数がシフトされる。次に第２のＲＯＩ（ＲＯＩ２）に関して、すべての係数が同様の方法で、ただし、係数がシフトされたＲＯＩ１の係数よりも大きくなるようにシフトされる。そして同様の処理を行う。復号化器は、各ＲＯＩのシフト値に関する情報を有していれば、どの係数がＲＯＩ１に属し、どの係数がＲＯＩ２に属するかを判別することができる。
【００４７】
矩形の場合には、ＲＯＩ形状情報が各サブバンドで送信されれば、復号化器でのマスク作成は不要になることに注意が必要である。矩形のＲＯＩは各サブバンドでも矩形のＲＯＩを発生する性質を有し、したがって、ＲＯＩ形状の情報は各サブバンドについて送信することができる（例えば、左上の角と右下の角）。これによって、復号化器においてＲＯＩマスクを作成することは不要になるが、これは矩形のＲＯＩについてのみ適用可能である。上述の方法は形状にかかわらず適用可能である。
【００４８】
上述の方法で符号化を行うと、ＲＯＩに関して、係数をシフトアップした値と、シフトアップされた情報を含むビットストリームのビット数以外の情報は不要である。
このことは、
−ＲＯＩの形状に関する情報は送信不要である。このことによって、特に形状が複雑な場合に、ビットストリームの非常に多くのＢｉｔ／Ｓが節約されることになる。
−復号化器においてＲＯＩ係数のマスクを作成が不要になる。このことによって、復号化器の記憶容量と演算の複雑さが軽減される。
−形状符号化が不用になる。
−形状復号化が不用になる。
−ビットストリームからＲＯＩ形状情報の概略を取り出すことが可能になる。
−ＲＯＩマスクは高次のサブバンドに展開するので、ＢＧのうちの幾つか又はすべての高次サブバンドをカバーし始める（例えばＬＬサブバンド）。これは、ＢＧ情報がＲＯＩ情報と共に符号化されることを意味する。したがって、受信機は復号化の途中で、通信の早い段階から大部分の画像を再生できることを意味する（特に、精度を次第に高めていく場合には）。これによって、初期の段階でＢＧが黒色になることを回避することができる。
【００４９】
図８は、可能性の有るビットストリーム構成を示すものである。これは、画像のタイプ等に関する情報を含む全ビットストリーム構造の一部であることに留意されたい。まず符号化を行って次に送信を行うなら、ビットストリーム構造は次の情報を含む必要がある：
−第１のフィールド８０１で送信されるＲＯＩ符号化方法（ＲＯＩ＿ＣＭ）
−第２のフィールド８０３で送信されるシフト値（ＳＶ）
−（必要なら）第３のフィールド８０５で送信されるＲＯＩのバイト数（ＮＢＹｔｅｓ＿ＲＯＩ）
−残りのヘッダ情報とビット（Charilaos Christopoulosの編集による、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１ Ｎ９８８ ＪＰＥＧ２０００検証モデルバーション２．０／２．１、１９９８年１０月５日参照）
【００５０】
ここで、
−ＲＯＩ＿ＣＭ：は、提案の符号化方法が使用されたことを示す、
−ＳＶ：は、ＲＯＩ係数をシフトアップした値を示す、
−Ｎｂｙｔｅｓ＿ＲＯＩ：は、ＲＯＩ係数を復号化するために使用した全バイト数（上述の符号化手法のすべてにおいて必要になるわけではない）である。
【００５１】
実時間での適用に関しては、つまり、符号化と送信を同時に行う場合には、ビットストリームを図９に示した構造に変更することができる。
−第１のフィールド９０１で送信されるＲＯＩ符号化方法（ＲＯＩ＿ＣＭ）、
−第２のフィールド９０３で送信されるシフト値（ＳＶ）、
−第３のフィールド９０５で送信される残りのヘッダと係数に対応するビット、
−第４のフィールド９０７で送信される信号、
ここで、
−信号は、演算符号化器では作成することができない符号ストリーム（上述の符号化手法のすべてが必要とするわけではない）である。
【図面の簡単な説明】
【図１】 本発明の第１の実施例にしたがって、符号化器が実行するステップを示すフローチャートである。
【図２】本発明の第２の実施例にしたがって、符号化器が実行するステップを示すフローチャートである。
【図３】本発明の第３の実施例にしたがって、符号化器が実行するステップを示すフローチャートである。
【図４】本発明の第１と第２の実施例にしたがって、復号化器が実行するステップを示すフローチャートである。
【図５】本発明の第３の実施例にしたがって、復号化器が実行するステップを示すフローチャートである。
【図６】本発明の第４の実施例にしたがって、符号化器が実行するステップを示すフローチャートである。
【図７】本発明の第４の実施例にしたがって、復号化器が実行するステップを示すフローチャートである。
【図８】 使用されるビットストリーム構成を示す図である。
【図９】 別のビットストリーム構成を示す図である。
Claims (18)
- 少なくとも１つの関心領域（ＲＯＩ）を有する静止画像を周波数領域に変換して符号化と送信を行う方法であって、
−周波数領域に変換された係数のうち、ＲＯＩ以外の領域における最大値を決定し、
−ＲＯＩにおける最小値が前記最大値よりも大きくなるようにＲＯＩにおける係数をシフトさせ、
−前記ＲＯＩにおける係数をシフトするために使用した値を送信するビットストリームに加え、
−前記少なくとも１つのＲＯＩの形状に関する情報を送信せずに、ＲＯＩに対応する係数を復号化するように前記少なくとも１つのＲＯＩに対応する係数を最初に符号化して送信する
方法。 - 係数をシフトさせる前に量子化する請求項１に記載の方法。
- ウエーブレット変換を用いて画像を周波数領域に変換することを特徴とする請求項１または２のいずれか１項に記載の方法。
- 少なくとも１つの関心領域（ＲＯＩ）を規定する手段と、画像を周波数領域に変換する手段とを有する静止画像の符号化装置であって、
−周波数領域に変換された係数のうち、ＲＯＩ以外の領域における最大値を決定する手段を有し、
−ＲＯＩにおける最小値が前記最大値よりも大きくなるようにＲＯＩにおける係数をシフトさせる手段を有し、
−前記ＲＯＩにおける係数をシフトするために使用した値を送信するビットストリームに加える手段を有し、
−前記少なくとも１つのＲＯＩに対応する係数を復号化するために、ＲＯＩに対応する係数を最初に送信し、前記少なくとも１つのＲＯＩの形状に関する情報を送信する必要がないように、ＲＯＩに対応する係数を符号化する手段を有することを特徴とする装置。 - 係数をシフトさせる前に量子化する手段を有することを特徴とする請求項４に記載の装置。
- ウエーブレット変換を用いて画像を周波数領域に変換する手段を有することを特徴とする請求項４または５のいずれか１項に記載の装置。
- −少なくとも１つの関心領域（ＲＯＩ）を特定し、
−ウエーブレット変換によって画像を変換して、
−ＲＯＩマスクを作成し、
−ＲＯＩ以外の領域のウエーブレット係数の最大値を決定し、
−ＲＯＩ係数のうちの最小のものが前記最大値よりも大きくなるようにＲＯＩマスクの中の係数をシフトさせ、
−ウエーブレット係数をシフトするために使用した値を送信するビットストリームに加える
過程を有することを特徴とする静止画像の符号化方法。 - さらに、
−符号化された画像のために使用するビット数を決定し、
−該決定された数のビットになるまで画像を符号化する過程を有することを特徴とする請求項７に記載の方法。 - 画像をエントロピー符号を用いて符号化することを特徴とする請求項８に記載の方法。
- さらに、前記ウエーブレット係数の最大値を決定する前に、ウエーブレット変換係数を量子化する過程を含む請求項７ないし９のいずれか１項に記載の方法。
- ＲＯＩマスク内の係数を符号化するために用いたバイト数を送信するビットストリームに加えることを特徴とする請求項７ないし１０のいずれか１項に記載の方法。
- −少なくとも１つの関心領域（ＲＯＩ）を特定する手段、
−ウエーブレット変換によって画像を変換する手段、
−ＲＯＩマスクを作成する手段、
−ＲＯＩ以外の領域のウエーブレット係数の最大値を決定する手段、
−ＲＯＩ係数のうちの最小のものが前記最大値よりも大きくなるようにＲＯＩマスクの中の係数をシフトさせる手段、及び
−ウエーブレット係数をシフトするために使用した値を送信するビットストリームに加える手段
を有することを特徴とする静止画像を符号化する符号化器。 - さらに、
−符号化された画像のために使用するビット数を決定する手段、及び
−該決定された数のビットになるまで画像を符号化する手段
を有することを特徴とする請求項１２に記載の装置。 - さらに、
―画像をエントロピー符号を用いて符号化する手段
を有することを特徴とする請求項１３に記載の装置。 - さらに、
−前記ウエーブレット係数の最大値を決定する前に、ウエーブレット変換係数を量子化する手段
を有することを特徴とする請求項１２ないし１４のいずれか１項に記載の装置。 - さらに、
−ＲＯＩマスク内の係数を符号化するために用いたバイト数を送信するビットストリームに加える手段を有することを特徴とする請求項１２ないし１５のいずれか１項に記載の装置。 - 少なくとも１つの関心領域（ＲＯＩ）を有し、前記ＲＯＩ以外の領域におけるウエーブレット係数の最大値を決定し、前記ＲＯＩにおけるウエーブレット係数のうちの最小のものが前記最大値よりも大きくなるようにＲＯＩにおけるウエーブレット係数を第１のバイト数だけシフトされ、第１のバイト数及び前記ＲＯＩ内の係数を符号化するために用いた第２のバイト数をヘッダーに含むビットストリームに対して、ウエーブレット逆変換を行ってＲＯＩ領域を有する静止画像に復号化する復号化装置であって、
−第１のバイト数及び第２のバイト数をビットストリームのヘッダーから決定する手段、及び
−受信したバイト数が第２バイト数よりも少ない間は復号化の際第１バイト数だけシフトダウンする手段を有し、ＲＯＩの形状に関する情報なしで復号化する装置。 - 少なくとも１つの関心領域（ＲＯＩ）を有し、前記ＲＯＩ以外の領域におけるウエーブレット係数の最大値を決定し、前記ＲＯＩにおけるウエーブレット係数のうちの最小のものが前記最大値よりも大きくなるようにＲＯＩにおけるウエーブレット係数を第１のバイト数だけシフトされ、第１のバイト数をヘッダーに含むビットストリームに対して、ウエーブレット逆変換を行ってＲＯＩ領域を有する静止画像に復号化する復号化装置であって、
−第１のバイト数をビットストリームのヘッダーから決定する手段、及び
−受信した係数が２の第１のバイト数乗より大きい場合は前記受信した係数を第１のバイト数だけシフトダウンする手段を有し、ＲＯＩの形状に関する情報なしで復号化する装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| SE9803454-9 | 1998-10-09 | ||
| SE9803454A SE9803454L (sv) | 1998-10-09 | 1998-10-09 | Förfarande och system för kodning av ROI |
| PCT/SE1999/001785 WO2000022832A1 (en) | 1998-10-09 | 1999-10-06 | A METHOD AND A SYSTEM FOR CODING ROIs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002528007A JP2002528007A (ja) | 2002-08-27 |
| JP4081741B2 true JP4081741B2 (ja) | 2008-04-30 |
Family
ID=20412899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000576627A Expired - Lifetime JP4081741B2 (ja) | 1998-10-09 | 1999-10-06 | ＲＯＩｓの符号化方法とシステム |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US6804405B2 (ja) |
| EP (1) | EP1118223A1 (ja) |
| JP (1) | JP4081741B2 (ja) |
| KR (1) | KR100716368B1 (ja) |
| CN (1) | CN1134990C (ja) |
| AU (1) | AU765500B2 (ja) |
| CA (1) | CA2346716C (ja) |
| SE (1) | SE9803454L (ja) |
| WO (1) | WO2000022832A1 (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SE512291C2 (sv) | 1997-09-23 | 2000-02-28 | Ericsson Telefon Ab L M | Inbäddad DCT-baserad stillbildskodningsalgoritm |
| SE513353C2 (sv) * | 1998-10-21 | 2000-08-28 | Ericsson Telefon Ab L M | Partiell hämtning av bilder i den komprimerade domänen |
| US6968088B2 (en) * | 2000-03-28 | 2005-11-22 | Canon Kabushiki Kaisha | Modification of detected quantization step size from the encoded bitstream based on a region of interest (ROI) bitmask |
| FI109635B (fi) * | 2001-02-01 | 2002-09-13 | Hantro Products Oy | Menetelmä ja laite videokuvan jälkikäsittelemiseksi |
| GB2382940A (en) * | 2001-11-27 | 2003-06-11 | Nokia Corp | Encoding objects and background blocks |
| US7245775B2 (en) * | 2002-08-26 | 2007-07-17 | Ricoh Company, Ltd. | Image processing apparatus for compositing images |
| JP3915652B2 (ja) * | 2002-10-09 | 2007-05-16 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置 |
| JP3941668B2 (ja) * | 2002-11-11 | 2007-07-04 | 松下電器産業株式会社 | 細胞の観察方法 |
| CN1655620B (zh) | 2004-02-09 | 2010-09-22 | 三洋电机株式会社 | 图像显示装置 |
| US7720295B2 (en) | 2004-06-29 | 2010-05-18 | Sanyo Electric Co., Ltd. | Method and apparatus for coding images with different image qualities for each region thereof, and method and apparatus capable of decoding the images by adjusting the image quality |
| JP2006014121A (ja) * | 2004-06-29 | 2006-01-12 | Sanyo Electric Co Ltd | 画像符号化方法、画像符号化装置および撮像装置 |
| JP2006129248A (ja) * | 2004-10-29 | 2006-05-18 | Sanyo Electric Co Ltd | 画像符号化方法および装置、ならびに画像復号方法および装置 |
| JP4656912B2 (ja) | 2004-10-29 | 2011-03-23 | 三洋電機株式会社 | 画像符号化装置 |
| JP4489605B2 (ja) | 2005-01-19 | 2010-06-23 | 株式会社メガチップス | 圧縮符号化装置、圧縮符号化方法およびプログラム |
| US20070092148A1 (en) * | 2005-10-20 | 2007-04-26 | Ban Oliver K | Method and apparatus for digital image rudundancy removal by selective quantization |
| CN101547351B (zh) * | 2008-03-24 | 2013-05-15 | 展讯通信（上海）有限公司 | 视频数据流生成、处理方法及其设备 |
| US8356114B2 (en) | 2010-04-15 | 2013-01-15 | Canon Kabushiki Kaisha | Region of interest-based image transfer |
| US8755441B2 (en) | 2010-05-10 | 2014-06-17 | Canon Kabushiki Kaisha | Region of interest-based video transfer |
| EP2897526B1 (en) * | 2012-09-19 | 2021-03-17 | ResMed Sensor Technologies Limited | System and method for determining sleep stage |
| US10492720B2 (en) | 2012-09-19 | 2019-12-03 | Resmed Sensor Technologies Limited | System and method for determining sleep stage |
| JP6345961B2 (ja) | 2014-03-28 | 2018-06-20 | 株式会社メガチップス | 画像復号化装置および画像復号化方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4698689A (en) * | 1986-03-28 | 1987-10-06 | Gte Laboratories Incorporated | Progressive image transmission |
| US4903317A (en) | 1986-06-24 | 1990-02-20 | Kabushiki Kaisha Toshiba | Image processing apparatus |
| FR2660139B1 (fr) | 1990-03-23 | 1995-08-25 | France Etat | Procede de codage et de transmission a au moins deux niveaux de qualite d'images numeriques appartenant a une sequence d'images, et dispositifs correspondants. |
| US5001561A (en) | 1990-05-02 | 1991-03-19 | At&T Bell Laboratories | Embedded coding system for video signals |
| US5333212A (en) | 1991-03-04 | 1994-07-26 | Storm Technology | Image compression technique with regionally selective compression ratio |
| JP2802694B2 (ja) | 1991-10-30 | 1998-09-24 | 富士写真フイルム株式会社 | 画像再生装置および方法 |
| US5339108A (en) | 1992-04-09 | 1994-08-16 | Ampex Corporation | Ordering and formatting coded image data and reconstructing partial images from the data |
| US5563960A (en) * | 1993-01-22 | 1996-10-08 | David Sarnoff Research Center, Inc. | Apparatus and method for emphasizing a selected region in the compressed representation of an image |
| WO1994022108A1 (en) | 1993-03-23 | 1994-09-29 | Zoran Corporation | Rapid thumbnail image reconstruction of dct compressed image data |
| JP3499254B2 (ja) | 1993-06-04 | 2004-02-23 | 富士写真フイルム株式会社 | 画像データ圧縮処理方法 |
-
1998
- 1998-10-09 SE SE9803454A patent/SE9803454L/xx unknown
-
1999
- 1999-10-06 AU AU13045/00A patent/AU765500B2/en not_active Ceased
- 1999-10-06 JP JP2000576627A patent/JP4081741B2/ja not_active Expired - Lifetime
- 1999-10-06 CN CNB998114790A patent/CN1134990C/zh not_active Expired - Fee Related
- 1999-10-06 KR KR1020017004478A patent/KR100716368B1/ko active IP Right Grant
- 1999-10-06 EP EP99956431A patent/EP1118223A1/en not_active Withdrawn
- 1999-10-06 WO PCT/SE1999/001785 patent/WO2000022832A1/en active IP Right Grant
- 1999-10-06 CA CA002346716A patent/CA2346716C/en not_active Expired - Lifetime
-
2001
- 2001-04-06 US US09/827,313 patent/US6804405B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| SE9803454L (sv) | 2000-04-10 |
| AU1304500A (en) | 2000-05-01 |
| JP2002528007A (ja) | 2002-08-27 |
| SE9803454D0 (sv) | 1998-10-09 |
| WO2000022832A1 (en) | 2000-04-20 |
| KR100716368B1 (ko) | 2007-05-11 |
| CA2346716A1 (en) | 2000-04-20 |
| AU765500B2 (en) | 2003-09-18 |
| CN11349990C (ja) | |
| US20020126906A1 (en) | 2002-09-12 |
| CN1320337A (zh) | 2001-10-31 |
| US6804405B2 (en) | 2004-10-12 |
| CN1134990C (zh) | 2004-01-14 |
| CA2346716C (en) | 2009-12-22 |
| KR20010080065A (ko) | 2001-08-22 |
| EP1118223A1 (en) | 2001-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4081741B2 (ja) | ＲＯＩｓの符号化方法とシステム | |
| US7054493B2 (en) | Context generation | |
| US7016545B1 (en) | Reversible embedded wavelet system implementation | |
| US6560369B1 (en) | Conversion of wavelet coded formats depending on input and output buffer capacities | |
| JP2000138934A (ja) | ファイルサイズが制限されたｊｐｅｇ符号化装置、方法および記録媒体 | |
| US20010003544A1 (en) | Image processing apparatus and method and storage medium | |
| KR20000064840A (ko) | 정지영상과 동영상 코딩을 위한 양자화 매트릭스 | |
| JP2007267384A (ja) | 圧縮装置及び圧縮方法 | |
| EP1001604B1 (en) | Embedding a watermark into a compressed image signal | |
| JP2000115548A (ja) | デジタル画像の圧縮方法及び圧縮解除方法 | |
| JP2005510908A (ja) | 改善されたビットプレーン圧縮方法 | |
| JP2000114974A (ja) | 符号化装置 | |
| JP2000151973A (ja) | 情報処理装置およびその方法、並びに、記憶媒体 | |
| US5737446A (en) | Method for estimating high frequency components in digitally compressed images and encoder and decoder for carrying out same | |
| US6125211A (en) | Progressive image transmission | |
| Christopoulos et al. | Efficient encoding and reconstruction of regions of interest in JPEG2000 | |
| JP2001285642A (ja) | 画像処理装置及びその方法、コンピュータ可読メモリ | |
| EP0784407A2 (en) | Transform coefficient select method and apparatus for transform coding system | |
| JP2000032458A (ja) | 画像圧縮法 | |
| KR100335105B1 (ko) | 영상의 부호화 및 복호화 방법 | |
| JP2001223593A (ja) | データ符号化方法および装置並びに記録媒体 | |
| Chokchaitam et al. | Lossless, near-lossless and lossy adaptive coding based on the lossless DCT | |
| JP4174111B2 (ja) | 符号化方法及び装置 | |
| Shen et al. | Lossless compression of continuous-tone images by combined inter-bit-plane decorrelation and JBIG coding | |
| JP2002344323A (ja) | 画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060322 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060711 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060811 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060822 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070814 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071114 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080131 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4081741 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120222 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130222 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130222 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140222 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |