JP4014098B2 - 画像の階層的符号化装置および復号装置 - Google Patents
画像の階層的符号化装置および復号装置 Download PDFInfo
- Publication number
- JP4014098B2 JP4014098B2 JP2003182607A JP2003182607A JP4014098B2 JP 4014098 B2 JP4014098 B2 JP 4014098B2 JP 2003182607 A JP2003182607 A JP 2003182607A JP 2003182607 A JP2003182607 A JP 2003182607A JP 4014098 B2 JP4014098 B2 JP 4014098B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- enhancement layer
- bit plane
- decoding
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【技術分野】
本発明は、画像の階層的符号化装置および復号装置に関し、特に、画質に関して基本階層と拡張階層の２階層に分けて階層的に符号化処理を行う画像の階層的符号化装置および復号装置に関するものである。
【０００２】
【背景技術】
情報量圧縮の観点から画像を符号化圧縮する際に、画質等に関して画像を基本階層と拡張階層の２階層に分けて階層的に符号化することにより、符号化信号に階層構造を持たせる階層的符号化技術が知られている。この技術によれば、復号時の環境に応じた階層を選択して効率良く画像の伝送および復号を行うことができる。
【０００３】
画像の階層的符号化技術の１つとして、近年、MPEG-4およびH.26Lの動画像符号化規格で検討されているＦＧＳ（Fine Granularity Scalability）符号化技術を挙げることができる。ＦＧＳ符号化装置では、画質に関するスケーラビリティ（復号自由度）を高めるために、ビットプレーン符号化処理を行い、上位ビットプレーンから順に符号化処理を行う。復号処理において復号途中で符号化画像信号が切れても、それまでに復号処理を行った情報量に応じた画質の画像を再構成することができる。したがって、画像の階層的符号化技術は、映像のストリーミング伝送の分野に適用して有効なものとなる。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の階層的符号化装置における拡張階層の符号化処理は、分割された拡張階層を単にビットプレーン符号化するに過ぎないものであるため、符号化効率が低く、階層化を行わない符号化方式と比較して同符号化レートにおける画像品質が非常に悪いという問題があった。
【０００５】
本発明の目的は、従来技術における符号化効率の低下の問題を解決し、符号化効率を改善することができる階層符号化装置および復号装置を提供することにあり、これは、拡張階層の符号化処理を行うに際し、基本階層の情報を参照して省略可能な情報シンボルの符号化処理を省略することにより実現される。
【０００６】
【課題を解決するための手段】
前記した課題を解決するために、本発明は、入力された原画像を基本階層と拡張階層の２階層に分け、基本階層ではデッドゾーン付きの量子化処理を含む符号化処理を行い、拡張階層では原画像と基本階層の復号画像に差分である残差画像をビットプレーン符号化処理を行う、画像の階層的符号化装置において、拡張階層の符号化処理を行う際に、基本階層の同じ位置にある量子化値が０であるか非０であるかに従って拡張階層の係数ごとに省略可能な情報シンボルを特定し、該特定された情報シンボルについてはビットプレーン符号化処理を省略する省略シンボル特定・符号化処理省略手段を備えた点に特徴がある。
【０００７】
省略シンボル特定・符号化処理省略手段は、基本階層の同じ位置にある量子化値が０であるか非０であるかに従って拡張階層の各係数が持つダイナミックレンジを特定し、該ダイナミックレンジに基づいて拡張階層のビットプレーンの中から符号化する必要のない二値情報シンボルを除去してビットプレーン符号化処理を行うものとすることができる。
【０００８】
また、基本階層の同じ位置にある量子化値が０であるか非０であるか、および拡張階層の各係数の大きさが前記デッドゾーン付きの量子化処理での量子化ステップ幅から得られる所定値以上であるか否かの両方に従って符号化する必要のない正負情報シンボルを特定し、該正負情報シンボルを除去してビットプレーン符号化処理を行うものとすることができる。さらに、符号化する必要のない二値情報シンボルおよび正負情報シンボルの両方を除去してビットプレーン符号化処理を行うものとすることもできる。
【０００９】
また、拡張階層のビットプレーンの中の１つまたはいくつかのビットプレーンに対して、ビットプレーン符号化を行わずに二値情報シンボルをそのまま二値系列として出力ようにしてもよい。この場合には、出力される二値系列が制御コードを含まないように配慮する。
【００１０】
さらに、本発明は、上記特徴の階層的符号化装置により生成された符号化信号を復号する復号装置にも特徴がある。復号装置における復号処理は、符号化処理と逆の処理であればよい。
【００１１】
【発明の効果】
本発明の特徴によれば、拡張階層のビットプレーンの中から符号化する必要のない二値情報シンボルや正負情報シンボルを除去してビットプレーン符号化処理を行うので、符号化効率を改善することができ、また、拡張階層の符号化処理にビットプレーン処理を用いていることにより、復号画像の品質に関して高いスケーラビリティを実現し得る構造を持つ。
【００１２】
また、二値情報シンボルの出現確立がランダムなビットプレーンにおいては、ビットプレーン符号化処理を行わず、二値情報シンボルをそのまま二値系列として出力するようにすることにより、生成される情報量の増大を抑制できる。この場合、出力される二値系列が制御コードを含まないように配慮することにより、復号時に制御コードと誤まって認識することがなくなり、誤動作を防止できる。
【００１３】
【発明を実施するための最良の形態】
以下、本発明の実施の形態を図面を参照して詳細に説明する。図１は、本発明の画像の階層的符号化装置の基本形態の構成を示すブロック図である。本階層的符号化装置は、原画像１１の基本階層を符号化する基本階層符号化処理手段１と、拡張階層を符号化する拡張階層符号化処理手段２と、基本階層符号化処理手段１より出力される基本階層の符号化信号を復号する基本階層復号処理手段３と、原画像１１と基本階層復号処理手段３より出力される基本階層の復号画像１３との差分である残差画像１４を出力する加算器４とを備える。
【００１４】
基本階層符号化処理手段１は、基本階層の符号化信号１２の他に基本階層の量子化値１５を出力し、この量子化値１５を拡張階層符号化処理手段２に与える。拡張階層符号化処理手段２は、拡張階層の符号化信号１６を出力する。
【００１５】
本階層的符号化装置の動作概要は、以下のとおりである。入力された原画像１１は２つに分けられそれぞれ、基本階層符号化処理手段１、加算器４に入力される。基本階層符号化処理手段１は、原画像１１の基本階層を符号化して基本階層の符号化信号１２を出力するとともに、基本階層の量子化値１５を出力する。基本階層復号処理手段３は、基本階層の符号化信号１２を復号して基本階層の復号画像１３を出力し、この復号画像１３は加算器４に入力される。
【００１６】
拡張階層符号化処理手段２の符号化対象となるのは加算器４の出力、すなわち、原画像１１と基本階層の復号画像１３との差分である残差画像１４である。拡張階層符号化処理手段２は、基本階層符号化処理手段１での符号化処理中に求められた量子化値１５が０であるか非０であるかに従って、拡張階層の係数ごとに省略可能な情報シンボルを特定し、該特定された情報シンボルを省略してビットプレーン単位で符号化処理を行い、拡張階層の符号化信号１６を出力する。
【００１７】
図２は、基本階層符号化処理手段１の構成を示すブロック図であり、基本階層ではデッドゾーン付きの量子化処理が行われるものとする。同図において、原画像１１は、デッドゾーン付き量子化処理手段２１に入力されて量子化され、量子化値が基本階層の量子化値１５として出力され、また、量子化値１５がランレングス符号化処理などにより符号化されて基本階層の符号化信号１２として出力される。
【００１８】
図３は、デッドゾーン付き量子化処理の特性の一例を、デッドゾーン無し量子化処理の特性と対比して示す。同図（ａ）はデッドゾーン無し量子化処理の特性であり、同図（ｂ）はデッドゾーン付き量子化処理の特性である。ここでは、量子化ステップ幅が２Δに設定されたものとしている。
【００１９】
デッドゾーン無し量子化処理の特性（ａ）は、全ての量子化代表値に対して一律に２Δの量子化範囲を持っているが、デッドゾーン付き量子化処理の特性（ｂ）は、量子化代表値０における量子化範囲が２Δより広い範囲（４Δ）を持ち、他の量子化代表値の量子化範囲は全て量子化ステップ幅２Δで一定であるような線形量子化特性である。
【００２０】
デッドゾーン付き量子化処理を用いて基本階層を量子化した場合、基本階層の量子化値が０であるか非０であるかによって拡張階層で発生しうる残差係数の値の範囲が異なる。本発明は、この特性に着目し、拡張階層のビットプレーンの中から符号化する必要のない二値情報シンボルや正負情報シンボルを除去した後、ビットプレーン符号化処理を行うことにより符号化効率を改善するものである。
【００２１】
その詳細について以下に説明する。ここでは説明を簡単にするために、H.263のイントラ（Intra）ブロックのＡＣ係数用の量子化処理で規定されているものと同一のデッドゾーン付き線形量子化処理であるとするが、他のデッドゾーン付きの量子化処理でも同様に実現することができる。
【００２２】
デッドゾーン付き量子化処理は、以下の式で表される。
｜LEVEL｜＝ Floor（｜COF｜/２Δ）
LEVEL＝ Sign（COF）×｜LEVEL｜
ここで、COF は、原画像の係数値、LEVEL は、基本階層の量子化値、２Δは、量子化ステップ幅であり、Floor（ｘ）は、ｘを超えない最大の整数値を示す。また、Sign（ｘ）は、ｘの正負符号を示し、以下で定義される。
ｘ≧０ならば、Sign（ｘ）＝＋１
ｘ＜０ならば、Sign（ｘ）＝−１
【００２３】
また、デッドゾーン付き逆量子化処理は、以下の式で表される。
LEVEL＝０の場合、 ｜COF’｜＝０
LEVEL≠０，Δが奇数の場合、｜COF’｜＝２Δ×｜LEVEL｜＋Δ
LEVEL≠０，Δが偶数の場合、｜COF’｜＝２Δ×｜LEVEL｜＋Δ−１
COF’＝ Sign（LEVEL）×｜COF’｜
ここで、COF’は、基本階層の復号画像の係数値である。
【００２４】
上記式より明らかなように、デッドゾーン付き量子化処理および逆量子化処理を基本階層符号化処理および基本階層復号処理に用いた場合、拡張階層の残差係数の取りうる範囲は、基本階層の量子化値が０である場合と非０である場合とで異なる。
【００２５】
拡張階層で発生しうる残差係数の値は以下のように分類できる。
LEVEL＝０の場合、 −２Δ＜RESIDUE＜＋２Δ
LEVEL＞０，Δが奇数の場合、 −Δ≦RESIDUE＜＋Δ
LEVEL＜０，Δが奇数の場合、 −Δ＜RESIDUE≦＋Δ
LEVEL＞０，Δが偶数の場合、−Δ＋１≦RESIDUE＜＋Δ＋１
LEVEL＜０，Δが偶数の場合、−Δ−１＜RESIDUE≦＋Δ−１
ここで、RESIDUE は、残差係数である。
【００２６】
したがって、基本階層の量子化値が非０である場合の拡張階層の残差係数のダイナミックレンジは、基本階層の量子化値が０である場合のダイナミックレンジの約１／２であることが分かる。このダイナミックレンジの相異は、基本階層の量子化値が非０である場合の拡張階層の残差係数は、基本階層の量子化値が０である場合の拡張階層の残差係数よりも、必ず１ビット少ない２値情報シンボルで表現できることを意味する。
【００２７】
例えば、量子化ステップ幅２Δ＝２０とした場合の拡張階層の残差係数は、基本階層の量子化値が０であるか非０であるかによって以下のように分類される。
LEVEL＝０の場合、 −２０＜RESIDUE＜＋２０
LEVEL＞０の場合、 −９≦RESIDUE＜＋１１
LEVEL＜０の場合、 −１１＜RESIDUE≦＋９
【００２８】
この場合、基本階層の量子化値が０である場合の拡張階層の残差係数の大きさは５ビットで表されるが、基本階層の量子化値が非０である場合はそれより１ビット少ない４ビットで表すことができる。
【００２９】
しかし、従来の拡張階層符号化処理では、符号化対象とする拡張階層の残差係数の最大値（本例の場合では、基本階層の量子化値が０の場合の最大値２Δ−１＝１９）に合わせたビット数でビットプレーン表現を行ってビットプレーン符号化処理を行っているため、基本階層の量子化値が非０である場合の残差係数は常に１ビットだけ余分に符号化されていた。
【００３０】
図４は、従来のＦＧＳ符号化技術で採用されている拡張階層ビットプレーン符号化処理の流れの説明図である。ただし、ここでは、量子化ステップ幅２Δ＝２０と設定し、量子化処理が H.263 のインタ（Inter）ブロック用である場合を想定している。 H.263 のインタ（Inter）ブロック用の量子化処理は、量子化値を求める計算式だけがイントラ（Intra）ブロック用と異なり、後述するように、
LEVEL＝０、 −２５＜RESIDUE＜＋２５
LEVEL＞０、 −４≦RESIDUE＜＋１６
LEVEL＜０、 −１６＜RESIDUE≦＋４
となる。
【００３１】
以下では、H.263 のインタ（Inter）ブロック用の量子化処理の場合を例として説明する。動画像の階層符号化方式の１つであるＦＧＳ符号化技術では、ジグザグスキャンによって拡張階層の残差画像のＤＣＴブロック（図４（ａ））における残差係数RESIDUE を１次系列に並べ替え（同図（ｂ））、さらに二値表現に変換（同図（ｃ））した後、各ビットプレーン（同図（ｄ），（ｅ））の二値情報シンボルを二値ゼロランレングス符号化処理により符号化する。
【００３２】
これに対して、本発明は、拡張階層の残差係数の最上位ビットプレーンにおいては、これら余分に符号化されていた二値情報シンボルの符号化処理を行わずにスキップし、符号化対象となる二値情報シンボルを削減することによって、発生する符号化情報を削減する。
【００３３】
図５は、拡張階層符号化処理手段２の構成を示すブロック図である。加算器４（図１）からの残差画像１４は不要二値情報シンボル除去手段５３に入力され、基本階層符号化処理手段１（図１）からの基本階層の量子化値１５はダイナミックレンジ特定手段５４に入力される。ダイナミックレンジ特定手段５４は、基本階層の量子化値が０であるか非０であるかを参照して残差係数RESIDUE のダイナミックレンジを特定する。
【００３４】
不要二値情報シンボル除去手段５３は、ダイナミックレンジ特定手段５４で特定されたダイナミックレンジ５１に基づいて拡張階層の省略可能な二値情報シンボルを除去する。ビットプレーン符号化を行う必要のない省略可能な二値情報シンボルが除去された差分画像信号５２は、除去シンボルスキップ型ビットプレーン符号化処理手段５５で符号化される。
【００３５】
図６は、図５に従う拡張階層ビットプレーン符号化処理の流れの説明図である。ジグザグスキャンによって拡張階層の残差画像のＤＣＴブロックにおける残差係数RESIDUE を１次系列に並べ替え、さらに二値表現に変換する（図６（ａ））。ここで、基本階層の量子化値LEVEL を参照し（同図（ｃ））、LEVEL が非０であれば拡張階層の残差係数の最上位にある二値情報シンボルのビットプレーン符号化処理を行わずにスキップする。図６（ｂ）中ＭＳＢビットプレーンにおいて省略可能な二値情報シンボルを記号Ｓで示している。
【００３６】
復号処理の詳細は後述するが、復号の際には拡張階層の残差信号の二値情報シンボルが部分的に省略されていても基本階層を参照することによって、拡張階層の残差信号の二値情報シンボルを補うことができる。この結果、ビットプレーン符号化の対象となる二値情報シンボルの数が減るため、拡張階層において発生する符号化情報量を削減することができる。
【００３７】
以上では、拡張階層のビットプレーンの中から符号化を行う必要のない二値情報シンボルを省略する実施形態について説明したが、符号化を行う必要のない正負情報シンボルを単独で、あるいは上述した二値情報シンボルの省略と合わせて省略するようにすることもできる。以下、この実施形態について説明する。
【００３８】
H.263 のインタ（Inter）ブロック用の量子化処理は、上述のH.263 のイントラブロックとは、量子化値を求める計算式だけが以下のように異なる。
｜LEVEL｜＝ Floor（（｜COF｜−Δ/２）/２Δ）
【００３９】
それゆえ、基本階層の量子化値が０であるか非０であるかによって、拡張階層の残差係数の取りうる範囲は、基本階層の量子化値が０である場合と非０である場合とで異なる。この場合、拡張階層で発生しうる残差係数の値は以下のように分類できる。
LEVEL＝０，Δが奇数の場合、 −５Δ/２＜RESIDUE＜＋５Δ/２
LEVEL＞０，Δが奇数の場合、 −Δ/２≦RESIDUE＜＋３Δ/２
LEVEL＜０，Δが奇数の場合、 −３Δ/２＜RESIDUE≦＋Δ/２
LEVEL＝０，Δが偶数の場合、 −５Δ/２＜RESIDUE＜＋５Δ/２
LEVEL＞０，Δが偶数の場合、 −Δ/２＋１≦RESIDUE＜＋３Δ/２＋１
LEVEL＜０，Δが偶数の場合、−３Δ/２−１＜RESIDUE≦＋Δ/２−１
【００４０】
したがって、基本階層の量子化値の正負によって正負が定まる範囲は以下のとおりになる。
LEVEL＞０，Δが奇数の場合、｜RESIDUE｜＞Δ/２であれば、必ずSign（RESIDUE）＝＋１
LEVEL＜０，Δが奇数の場合、｜RESIDUE｜＞Δ/２であれば、必ずSign（RESIDUE）＝−１
LEVEL＞０，Δが偶数の場合、｜RESIDUE｜＞Δ/２−１であれば、必ずSign（RESIDUE）＝＋１
LEVEL＜０，Δが偶数の場合、｜RESIDUE｜＞Δ/２−１であれば、必ずSign（RESIDUE）＝−１
【００４１】
ただし、上位ビットプレーンの符号化処理を考慮すると、基本階層の量子化値の正負によって一意に正負が定まる範囲は以下のように限定される。すなわち、基本階層の量子化値が０ではなく、かつ拡張階層の残差係数の大きさが２ｎ 以上（ｎは、Δが偶数の場合２ｎ ＞Δ/２−１、Δが奇数の場合２ｎ ＞Δ/２となるような最小の値）の場合は、拡張階層の残差係数の正負は、基本階層の量子化値の正負に等しくなる。
【００４２】
この特性を利用すれば、復号の際に拡張階層の残差信号の正負情報シンボルが無くても基本階層を参照することによって、拡張階層の残差信号の正負を特定することができる。したがって、拡張階層の残差係数のビットプレーン符号化を進める際に、正負情報シンボルを符号化せずスキップすることができるため、発生する符号化情報量を削減することができる。
【００４３】
図７は、正負情報シンボルを符号化せずスキップする拡張階層符号化処理手段の構成を示すブロック図である。加算器４（図１）からの残差画像１４は不要正負情報シンボル除去手段７３に入力され、基本階層符号化処理手段１（図１）からの基本階層の量子化値１５は不要正負情報シンボル特定手段７４に入力される。
【００４４】
不要正負情報シンボル特定手段７４は、上述のように、基本階層の量子化値が０であり、かつ拡張階層の残差係数の大きさが２ｎ 以上（ｎは、Δが偶数の場合２ｎ ＞Δ/２−１、Δが奇数の場合２ｎ ＞Δ/２となるような最小の値）の場合、その係数の正負情報シンボルは除去可能であるして、正負情報シンボルが不要な係数の位置情報７１を出力する。
【００４５】
不要正負情報シンボル特定手段７３で除去可能であるとされた正負情報シンボルは、不要正負情報シンボル除去手段７３で除去される。不要な正負情報シンボルが除去された差分画像信号７２は、除去シンボルスキップ型ビットプレーン符号化処理手段７５で符号化され、拡張階層の符号化信号１６が出力される。
【００４６】
図８は、図７に従う拡張階層ビットプレーン符号化処理の流れの説明図である。同図（ａ）は、量子化ステップ幅２Δ（＝２０，Δは偶数）とした場合の残差係数RESIDUE の範囲の具体的数値例を示す。本例では、
LEVEL＝０、 −２５＜RESIDUE＜＋２５
LEVEL＞０、 −４≦RESIDUE＜＋１６
LEVEL＜０、 −１６＜RESIDUE≦＋４
となる。
【００４７】
ジグザグスキャンによって拡張階層の残差画像のＤＣＴブロックにおける残差係数RESIDUE を１次系列に並べ替え、さらに二値表現に変換する（図８（ｂ））。ここで、基本階層の量子化値LEVEL を参照し（同図（ｃ））、LEVEL が非０であり、かつ拡張階層の残差係数の大きさが２３ （２３ ＞４＝Δ/２−１）以上の場合は残差係数の正負は基本階層の量子化値の正負と等しくなるため、正負情報シンボルのビットプレーン符号化処理を行わずにスキップする。図６（ｃ）中Signビットプレーンにおいて省略可能な正負情報シンボルを記号Ｓで示している。この結果、ビットプレーン符号化の対象となる正負情報シンボルの数が減るため、拡張階層において発生する符号化情報量を削減することができる。
【００４８】
本発明では、以下に説明するように、拡張階層の残差係数の信号分布を考慮したビットプレーン符号化を行えば、さらに符号化情報量を効果的に削減することができる。拡張階層の残差係数の最下位ビットプレーンにおいては二値情報シンボルの出現確率がランダムになるのが普通である。また、入力された原画像の種類によっては、最下位ビットプレーンだけでなく、その上位いくつかのビットプレーンにおいても二値情報シンボルの出現確率がランダムになる場合がある。
【００４９】
このように、二値情報シンボルの出現確率がランダムなビットプレーンにおいては符号化による圧縮効果が得られず、他のビットプレーンと同じようにビットプレーン符号化処理を行って符号語を作成すると、かえって元の二値情報シンボルの情報量よりも多くの符号化情報量が発生することになる。
【００５０】
したがって、最下位ビットプレーン、場合によってはその上位いくつかのビットプレーンに対しては、他のビットプレーンと同じようなビットプレーン符号化処理による符号化を行わず、二値情報シンボルをそのまま符号化二値系列として出力することが有効である。
【００５１】
この場合、各ビットプレーンにおいて、ビットプレーン符号化を行うか、行わずに二値情報シンボルをそのまま符号化二値系列として出力するかの判断は、ビットプレーン符号化処理を始める前に、ビットプレーンごとに二値情報シンボル０，１の出現確率を測定することなどにより行うことができる。例えば、そのビットプレーンにおける二値情報シンボル０，１の出現確率がそれぞれ１／２に近ければ、そのビットプレーンで発生している二値情報シンボルはランダムであると考えて、そのまま符号化処理を行う対象にすることが考えられる。
【００５２】
図９は、二値情報シンボルの出現確率を考慮した符号化処理の構成を示すブロック図である。拡張階層の残差画像の中で、二値情報シンボルの出現確率がランダムなビットプレーン９１については、他のビットプレーンと同じようなビットプレーン符号化処理による符号化を行わず、二値情報シンボルをそのまま符号化二値系列として出力し、二値非符号化信号系列９２を作成する。
【００５３】
ただし、二値非符号化信号系列９２には復号処理用の制御コードと同一の二値系列が発生してしまう可能性があり、復号処理時にこの二値系列により誤動作が生じる可能性が高い。この誤動作が生じないようにするため、二値非符号化信号系列９２内の符号化二値系列に制御コードが含まれないように制御コード重複排出回避処理を行って拡張階層の符号化信号９３を作成する。
【００５４】
具体例を挙げれば、MPEG-4 で規定されている制御コードは、３２ビットの二値系列からなり、前半に連続する２３個の‘０’が記述され、後半に制御コードの種類を示す９ビットの二値系列が記述されている。このような制御コードを持つMPEG-4 で、二値情報シンボルがそのまま符号語として出力された結果、シンボル‘０’が２３個連続して出力されてしまった場合、MPEG-4 の制御コードと重複してしまうため、復号処理時に誤動作を生じる可能性が高い。
【００５５】
これを防ぐのが制御コード重複排出回避処理であり、この処理では、例えば、シンボル‘０’が２３個連続して出力されないように、シンボルをそのまま出力する途中で、シンボル‘０’の連続個数が２２個に達したら、その直後に休止シンボル‘１’を挿入するように出力処理する。この制御コード重複排出回避処理によって、シンボル‘０’が２３個以上連続して出現する可能性はなくなり、制御コードと同一の二値系列を排出することなく二値情報シンボルをそのまま符号化二値系列として出力することができるようになる。
【００５６】
二値情報シンボルの出現確率がランダムなビットプレーン９１を除くビットプレーン９４については、ビットプレーン符号化処理を行って符号化信号９５を出力する。
【００５７】
図１０は、図９に従う拡張階層符号化処理の流れの説明図である。 ジグザグスキャンによって拡張階層の残差画像のＤＣＴブロックにおける残差係数RESIDUE を１次系列に並べ替え（同図（ａ））、さらに二値表現に変換する（同図（ｂ））。普通、同図（ｃ）に示すように、拡張階層の残差係数の下位ビットプレーンほど二値情報シンボルの出現確率がランダムになる。そこで、本例では、二値情報の出現確率がランダムとなっている最下位ビット（ＬＳＢ）プレーンをそのまま符号語として出力する。この際、制御コードと同一の二値系列の排出を回避する処理を加える。
【００５８】
次に、以上のようにして階層的符号化処理された符号化信号を復号するための復号装置について説明する。復号装置は、基本的に符号化処理と逆の処理を行うことにより基本階層および拡張階層の符号化信号から復号画像を再構成するものである。
【００５９】
図１１は、本発明の復号装置の基本構成を示すブロック図である。本復号装置は、基本階層復号処理手段１１４と、拡張階層復号処理手段１１５と、加算器１１６とを備える。
【００６０】
基本階層復号処理手段１１４は、基本階層の符号化信号１２を復号して基本階層の復号画像１３を出力すると共に、基本階層の量子化値１１１を出力する。拡張階層復号処理手段１１５は、拡張階層の符号化信号１６と基本階層の量子化値１１１を入力とし、拡張階層の残差復号画像１１２を出力する。この残差復号信号の出力に際しては、符号化処理と逆の処理で、すなわち基本階層の量子化値１１１を参照し、量子化値１１１が０である位置と同じ位置の省略されている二値情報シンボルを埋め込んだ後、復号する。なお、省略されている二値情報シンボルを埋め込むのは、ビット数を合わせて復号する便宜上のためである。
【００６１】
加算器１１６は、基本階層の復号画像１３と拡張階層の残差復号画像１１２とを加算して原画像１１３を再構成する。なお、基本階層の復号画像１３のみで基本階層レベルでの画像を出力することができる。
【００６２】
図１２は、拡張階層復号処理手段１１５の構成を示すブロック図であり、図５の符号化処理と逆の処理を行う。拡張階層の符号化信号１６および基本階層の量子化値１１１はそれぞれ、除去シンボルスキップ型ビットプレーン復号処理手段１２３およびダイナミックレンジ特定手段１２４に入力される。ダイナミックレンジ特定手段１２４は、基本階層の量子化値１１１が０であるか非０であるかを参照して残差係数RESIDUE のダイナミックレンジを特定する。
【００６３】
除去シンボルスキップ型ビットプレーン復号処理手段１２３は、ダイナミックレンジ特定手段１２４で特定されたダイナミックレンジ１２２参照し、拡張階層において除去された二値情報シンボルを飛ばして（復号をスキップして）ビットプレーン復号処理を行う。二値情報シンボル埋込手段１２５は、符号化の際に省略された二値情報シンボル０を埋め込み、拡張階層の復号残差画像１１２を出力する。
【００６４】
図１３も拡張階層復号処理手段１１５の構成を示すブロック図であり、図７の符号化処理と逆の処理を行うものである。拡張階層の符号化信号１６および基本階層の量子化値１１１はそれぞれ、除去シンボルスキップ型ビットプレーン復号処理手段１３４および正負情報シンボル特定手段１３５に入力される。正負情報シンボル特定手段１３５は、基本階層の量子化値１１１が０であるか非０であるか、および拡張階層の残差係数の大きさが前記デッドゾーン付きの量子化処理での量子化ステップ幅から得られる所定値以上であるか否かの両方に従って正負情報シンボルが不要とされた係数の位置情報１３２とその正負情報１３３（基本階層と同じ正負情報）を出力する。
【００６５】
除去シンボルスキップ型ビットプレーン復号処理手段１３４は、正負情報シンボルが不要とされた係数の位置情報１３２を参照し、拡張階層において除去された正負情報シンボルを飛ばして（復号をスキップして）ビットプレーン復号処理を行う。正負情報シンボル埋込手段１３６は、符号化の際に省略された正負情報シンボルを正負情報１３３で埋め込み、拡張階層の復号残差画像１１２を出力する。
【００６６】
図１４は、二値情報シンボルの出現確率が考慮された場合の拡張階層復号処理手段の構成を示すブロック図であり、図９の符号化処理と逆の処理を行うものである。拡張階層の符号化信号（非ビットプレーン符号化）９３は、図９の制御コード重複排出回避処理と逆の処理で元の二値非符号化信号系列１４１にされ、これが二値情報シンボルとしてそのまま復号されて復号残差画像の特定ビットプレーン１４２となる。
【００６７】
図９を参照して説明した具体例の場合、シンボル‘０’が２２個連続していたらその次には必ず休止シンボル‘１’が挿入されていると考えることができるため、その休止シンボル‘１’をスキップして、対象となるビットプレーンに残りの符号化二値系列を順番に配置する。また、拡張階層の符号化信号（非ビットプレーン符号化）９３を除く拡張階層の符号化信号９５は、ビットプレーン復号処理されて残差画像信号１４２を除くビットプレーンとなる。
【図面の簡単な説明】
【図１】 本発明の画像の階層的符号化装置の基本形態の構成を示すブロック図である。
【図２】 基本階層符号化処理手段の構成を示すブロック図である。
【図３】 デッドゾーン無しおよびデッドゾーン付き量子化処理の特性図である。
【図４】 従来のＦＧＳ符号化技術で採用されている拡張階層ビットプレーン符号化処理の流れの説明図である。
【図５】 拡張階層符号化処理手段の構成を示すブロック図である。
【図６】 図５に従う拡張階層ビットプレーン符号化処理の流れの説明図である。
【図７】 拡張階層符号化処理手段の他の構成を示すブロック図である。
【図８】 図７に従う拡張階層ビットプレーン符号化処理の流れの説明図である。
【図９】 二値情報シンボルの出現確率を考慮した符号化処理の構成を示すブロック図である。
【図１０】 図９に従う拡張階層符号化処理の流れの説明図である。
【図１１】 本発明の復号装置の基本構成を示すブロック図である。
【図１２】 拡張階層復号処理手段の構成を示すブロック図である。
【図１３】 拡張階層復号処理手段の他の構成を示すブロック図である。
【図１４】 二値情報シンボルの出現確率を考慮した復号処理の構成を示すブロック図である。
【符号の説明】
１・・・基本階層符号化処理手段、２・・・拡張階層符号化処理手段、３，１１４・・・基本階層復号処理手段、２１・・・デッドゾーン付き量子化処理手段、５３・・・不要二値情報除去手段、５４，１２４・・・ダイナミックレンジ特定手段、５５，７５・・・除去シンボルスキップ型ビットプレーン符号化処理手段、７３・・・不要正負情報シンボル除去手段、７４・・・不要正負情報シンボル特定手段、１１４・・・拡張階層復号処理手段、１２３，１３４・・・除去シンボルスキップ型ビットプレーン復号処理手段、１２５・・・二値情報シンボル埋込手段、１３５・・・正負情報シンボル特定手段、１３６・・・正負情報シンボル埋込手段、７４・・・ビットプレーン符号化部
【技術分野】
本発明は、画像の階層的符号化装置および復号装置に関し、特に、画質に関して基本階層と拡張階層の２階層に分けて階層的に符号化処理を行う画像の階層的符号化装置および復号装置に関するものである。
【０００２】
【背景技術】
情報量圧縮の観点から画像を符号化圧縮する際に、画質等に関して画像を基本階層と拡張階層の２階層に分けて階層的に符号化することにより、符号化信号に階層構造を持たせる階層的符号化技術が知られている。この技術によれば、復号時の環境に応じた階層を選択して効率良く画像の伝送および復号を行うことができる。
【０００３】
画像の階層的符号化技術の１つとして、近年、MPEG-4およびH.26Lの動画像符号化規格で検討されているＦＧＳ（Fine Granularity Scalability）符号化技術を挙げることができる。ＦＧＳ符号化装置では、画質に関するスケーラビリティ（復号自由度）を高めるために、ビットプレーン符号化処理を行い、上位ビットプレーンから順に符号化処理を行う。復号処理において復号途中で符号化画像信号が切れても、それまでに復号処理を行った情報量に応じた画質の画像を再構成することができる。したがって、画像の階層的符号化技術は、映像のストリーミング伝送の分野に適用して有効なものとなる。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の階層的符号化装置における拡張階層の符号化処理は、分割された拡張階層を単にビットプレーン符号化するに過ぎないものであるため、符号化効率が低く、階層化を行わない符号化方式と比較して同符号化レートにおける画像品質が非常に悪いという問題があった。
【０００５】
本発明の目的は、従来技術における符号化効率の低下の問題を解決し、符号化効率を改善することができる階層符号化装置および復号装置を提供することにあり、これは、拡張階層の符号化処理を行うに際し、基本階層の情報を参照して省略可能な情報シンボルの符号化処理を省略することにより実現される。
【０００６】
【課題を解決するための手段】
前記した課題を解決するために、本発明は、入力された原画像を基本階層と拡張階層の２階層に分け、基本階層ではデッドゾーン付きの量子化処理を含む符号化処理を行い、拡張階層では原画像と基本階層の復号画像に差分である残差画像をビットプレーン符号化処理を行う、画像の階層的符号化装置において、拡張階層の符号化処理を行う際に、基本階層の同じ位置にある量子化値が０であるか非０であるかに従って拡張階層の係数ごとに省略可能な情報シンボルを特定し、該特定された情報シンボルについてはビットプレーン符号化処理を省略する省略シンボル特定・符号化処理省略手段を備えた点に特徴がある。
【０００７】
省略シンボル特定・符号化処理省略手段は、基本階層の同じ位置にある量子化値が０であるか非０であるかに従って拡張階層の各係数が持つダイナミックレンジを特定し、該ダイナミックレンジに基づいて拡張階層のビットプレーンの中から符号化する必要のない二値情報シンボルを除去してビットプレーン符号化処理を行うものとすることができる。
【０００８】
また、基本階層の同じ位置にある量子化値が０であるか非０であるか、および拡張階層の各係数の大きさが前記デッドゾーン付きの量子化処理での量子化ステップ幅から得られる所定値以上であるか否かの両方に従って符号化する必要のない正負情報シンボルを特定し、該正負情報シンボルを除去してビットプレーン符号化処理を行うものとすることができる。さらに、符号化する必要のない二値情報シンボルおよび正負情報シンボルの両方を除去してビットプレーン符号化処理を行うものとすることもできる。
【０００９】
また、拡張階層のビットプレーンの中の１つまたはいくつかのビットプレーンに対して、ビットプレーン符号化を行わずに二値情報シンボルをそのまま二値系列として出力ようにしてもよい。この場合には、出力される二値系列が制御コードを含まないように配慮する。
【００１０】
さらに、本発明は、上記特徴の階層的符号化装置により生成された符号化信号を復号する復号装置にも特徴がある。復号装置における復号処理は、符号化処理と逆の処理であればよい。
【００１１】
【発明の効果】
本発明の特徴によれば、拡張階層のビットプレーンの中から符号化する必要のない二値情報シンボルや正負情報シンボルを除去してビットプレーン符号化処理を行うので、符号化効率を改善することができ、また、拡張階層の符号化処理にビットプレーン処理を用いていることにより、復号画像の品質に関して高いスケーラビリティを実現し得る構造を持つ。
【００１２】
また、二値情報シンボルの出現確立がランダムなビットプレーンにおいては、ビットプレーン符号化処理を行わず、二値情報シンボルをそのまま二値系列として出力するようにすることにより、生成される情報量の増大を抑制できる。この場合、出力される二値系列が制御コードを含まないように配慮することにより、復号時に制御コードと誤まって認識することがなくなり、誤動作を防止できる。
【００１３】
【発明を実施するための最良の形態】
以下、本発明の実施の形態を図面を参照して詳細に説明する。図１は、本発明の画像の階層的符号化装置の基本形態の構成を示すブロック図である。本階層的符号化装置は、原画像１１の基本階層を符号化する基本階層符号化処理手段１と、拡張階層を符号化する拡張階層符号化処理手段２と、基本階層符号化処理手段１より出力される基本階層の符号化信号を復号する基本階層復号処理手段３と、原画像１１と基本階層復号処理手段３より出力される基本階層の復号画像１３との差分である残差画像１４を出力する加算器４とを備える。
【００１４】
基本階層符号化処理手段１は、基本階層の符号化信号１２の他に基本階層の量子化値１５を出力し、この量子化値１５を拡張階層符号化処理手段２に与える。拡張階層符号化処理手段２は、拡張階層の符号化信号１６を出力する。
【００１５】
本階層的符号化装置の動作概要は、以下のとおりである。入力された原画像１１は２つに分けられそれぞれ、基本階層符号化処理手段１、加算器４に入力される。基本階層符号化処理手段１は、原画像１１の基本階層を符号化して基本階層の符号化信号１２を出力するとともに、基本階層の量子化値１５を出力する。基本階層復号処理手段３は、基本階層の符号化信号１２を復号して基本階層の復号画像１３を出力し、この復号画像１３は加算器４に入力される。
【００１６】
拡張階層符号化処理手段２の符号化対象となるのは加算器４の出力、すなわち、原画像１１と基本階層の復号画像１３との差分である残差画像１４である。拡張階層符号化処理手段２は、基本階層符号化処理手段１での符号化処理中に求められた量子化値１５が０であるか非０であるかに従って、拡張階層の係数ごとに省略可能な情報シンボルを特定し、該特定された情報シンボルを省略してビットプレーン単位で符号化処理を行い、拡張階層の符号化信号１６を出力する。
【００１７】
図２は、基本階層符号化処理手段１の構成を示すブロック図であり、基本階層ではデッドゾーン付きの量子化処理が行われるものとする。同図において、原画像１１は、デッドゾーン付き量子化処理手段２１に入力されて量子化され、量子化値が基本階層の量子化値１５として出力され、また、量子化値１５がランレングス符号化処理などにより符号化されて基本階層の符号化信号１２として出力される。
【００１８】
図３は、デッドゾーン付き量子化処理の特性の一例を、デッドゾーン無し量子化処理の特性と対比して示す。同図（ａ）はデッドゾーン無し量子化処理の特性であり、同図（ｂ）はデッドゾーン付き量子化処理の特性である。ここでは、量子化ステップ幅が２Δに設定されたものとしている。
【００１９】
デッドゾーン無し量子化処理の特性（ａ）は、全ての量子化代表値に対して一律に２Δの量子化範囲を持っているが、デッドゾーン付き量子化処理の特性（ｂ）は、量子化代表値０における量子化範囲が２Δより広い範囲（４Δ）を持ち、他の量子化代表値の量子化範囲は全て量子化ステップ幅２Δで一定であるような線形量子化特性である。
【００２０】
デッドゾーン付き量子化処理を用いて基本階層を量子化した場合、基本階層の量子化値が０であるか非０であるかによって拡張階層で発生しうる残差係数の値の範囲が異なる。本発明は、この特性に着目し、拡張階層のビットプレーンの中から符号化する必要のない二値情報シンボルや正負情報シンボルを除去した後、ビットプレーン符号化処理を行うことにより符号化効率を改善するものである。
【００２１】
その詳細について以下に説明する。ここでは説明を簡単にするために、H.263のイントラ（Intra）ブロックのＡＣ係数用の量子化処理で規定されているものと同一のデッドゾーン付き線形量子化処理であるとするが、他のデッドゾーン付きの量子化処理でも同様に実現することができる。
【００２２】
デッドゾーン付き量子化処理は、以下の式で表される。
｜LEVEL｜＝ Floor（｜COF｜/２Δ）
LEVEL＝ Sign（COF）×｜LEVEL｜
ここで、COF は、原画像の係数値、LEVEL は、基本階層の量子化値、２Δは、量子化ステップ幅であり、Floor（ｘ）は、ｘを超えない最大の整数値を示す。また、Sign（ｘ）は、ｘの正負符号を示し、以下で定義される。
ｘ≧０ならば、Sign（ｘ）＝＋１
ｘ＜０ならば、Sign（ｘ）＝−１
【００２３】
また、デッドゾーン付き逆量子化処理は、以下の式で表される。
LEVEL＝０の場合、 ｜COF’｜＝０
LEVEL≠０，Δが奇数の場合、｜COF’｜＝２Δ×｜LEVEL｜＋Δ
LEVEL≠０，Δが偶数の場合、｜COF’｜＝２Δ×｜LEVEL｜＋Δ−１
COF’＝ Sign（LEVEL）×｜COF’｜
ここで、COF’は、基本階層の復号画像の係数値である。
【００２４】
上記式より明らかなように、デッドゾーン付き量子化処理および逆量子化処理を基本階層符号化処理および基本階層復号処理に用いた場合、拡張階層の残差係数の取りうる範囲は、基本階層の量子化値が０である場合と非０である場合とで異なる。
【００２５】
拡張階層で発生しうる残差係数の値は以下のように分類できる。
LEVEL＝０の場合、 −２Δ＜RESIDUE＜＋２Δ
LEVEL＞０，Δが奇数の場合、 −Δ≦RESIDUE＜＋Δ
LEVEL＜０，Δが奇数の場合、 −Δ＜RESIDUE≦＋Δ
LEVEL＞０，Δが偶数の場合、−Δ＋１≦RESIDUE＜＋Δ＋１
LEVEL＜０，Δが偶数の場合、−Δ−１＜RESIDUE≦＋Δ−１
ここで、RESIDUE は、残差係数である。
【００２６】
したがって、基本階層の量子化値が非０である場合の拡張階層の残差係数のダイナミックレンジは、基本階層の量子化値が０である場合のダイナミックレンジの約１／２であることが分かる。このダイナミックレンジの相異は、基本階層の量子化値が非０である場合の拡張階層の残差係数は、基本階層の量子化値が０である場合の拡張階層の残差係数よりも、必ず１ビット少ない２値情報シンボルで表現できることを意味する。
【００２７】
例えば、量子化ステップ幅２Δ＝２０とした場合の拡張階層の残差係数は、基本階層の量子化値が０であるか非０であるかによって以下のように分類される。
LEVEL＝０の場合、 −２０＜RESIDUE＜＋２０
LEVEL＞０の場合、 −９≦RESIDUE＜＋１１
LEVEL＜０の場合、 −１１＜RESIDUE≦＋９
【００２８】
この場合、基本階層の量子化値が０である場合の拡張階層の残差係数の大きさは５ビットで表されるが、基本階層の量子化値が非０である場合はそれより１ビット少ない４ビットで表すことができる。
【００２９】
しかし、従来の拡張階層符号化処理では、符号化対象とする拡張階層の残差係数の最大値（本例の場合では、基本階層の量子化値が０の場合の最大値２Δ−１＝１９）に合わせたビット数でビットプレーン表現を行ってビットプレーン符号化処理を行っているため、基本階層の量子化値が非０である場合の残差係数は常に１ビットだけ余分に符号化されていた。
【００３０】
図４は、従来のＦＧＳ符号化技術で採用されている拡張階層ビットプレーン符号化処理の流れの説明図である。ただし、ここでは、量子化ステップ幅２Δ＝２０と設定し、量子化処理が H.263 のインタ（Inter）ブロック用である場合を想定している。 H.263 のインタ（Inter）ブロック用の量子化処理は、量子化値を求める計算式だけがイントラ（Intra）ブロック用と異なり、後述するように、
LEVEL＝０、 −２５＜RESIDUE＜＋２５
LEVEL＞０、 −４≦RESIDUE＜＋１６
LEVEL＜０、 −１６＜RESIDUE≦＋４
となる。
【００３１】
以下では、H.263 のインタ（Inter）ブロック用の量子化処理の場合を例として説明する。動画像の階層符号化方式の１つであるＦＧＳ符号化技術では、ジグザグスキャンによって拡張階層の残差画像のＤＣＴブロック（図４（ａ））における残差係数RESIDUE を１次系列に並べ替え（同図（ｂ））、さらに二値表現に変換（同図（ｃ））した後、各ビットプレーン（同図（ｄ），（ｅ））の二値情報シンボルを二値ゼロランレングス符号化処理により符号化する。
【００３２】
これに対して、本発明は、拡張階層の残差係数の最上位ビットプレーンにおいては、これら余分に符号化されていた二値情報シンボルの符号化処理を行わずにスキップし、符号化対象となる二値情報シンボルを削減することによって、発生する符号化情報を削減する。
【００３３】
図５は、拡張階層符号化処理手段２の構成を示すブロック図である。加算器４（図１）からの残差画像１４は不要二値情報シンボル除去手段５３に入力され、基本階層符号化処理手段１（図１）からの基本階層の量子化値１５はダイナミックレンジ特定手段５４に入力される。ダイナミックレンジ特定手段５４は、基本階層の量子化値が０であるか非０であるかを参照して残差係数RESIDUE のダイナミックレンジを特定する。
【００３４】
不要二値情報シンボル除去手段５３は、ダイナミックレンジ特定手段５４で特定されたダイナミックレンジ５１に基づいて拡張階層の省略可能な二値情報シンボルを除去する。ビットプレーン符号化を行う必要のない省略可能な二値情報シンボルが除去された差分画像信号５２は、除去シンボルスキップ型ビットプレーン符号化処理手段５５で符号化される。
【００３５】
図６は、図５に従う拡張階層ビットプレーン符号化処理の流れの説明図である。ジグザグスキャンによって拡張階層の残差画像のＤＣＴブロックにおける残差係数RESIDUE を１次系列に並べ替え、さらに二値表現に変換する（図６（ａ））。ここで、基本階層の量子化値LEVEL を参照し（同図（ｃ））、LEVEL が非０であれば拡張階層の残差係数の最上位にある二値情報シンボルのビットプレーン符号化処理を行わずにスキップする。図６（ｂ）中ＭＳＢビットプレーンにおいて省略可能な二値情報シンボルを記号Ｓで示している。
【００３６】
復号処理の詳細は後述するが、復号の際には拡張階層の残差信号の二値情報シンボルが部分的に省略されていても基本階層を参照することによって、拡張階層の残差信号の二値情報シンボルを補うことができる。この結果、ビットプレーン符号化の対象となる二値情報シンボルの数が減るため、拡張階層において発生する符号化情報量を削減することができる。
【００３７】
以上では、拡張階層のビットプレーンの中から符号化を行う必要のない二値情報シンボルを省略する実施形態について説明したが、符号化を行う必要のない正負情報シンボルを単独で、あるいは上述した二値情報シンボルの省略と合わせて省略するようにすることもできる。以下、この実施形態について説明する。
【００３８】
H.263 のインタ（Inter）ブロック用の量子化処理は、上述のH.263 のイントラブロックとは、量子化値を求める計算式だけが以下のように異なる。
｜LEVEL｜＝ Floor（（｜COF｜−Δ/２）/２Δ）
【００３９】
それゆえ、基本階層の量子化値が０であるか非０であるかによって、拡張階層の残差係数の取りうる範囲は、基本階層の量子化値が０である場合と非０である場合とで異なる。この場合、拡張階層で発生しうる残差係数の値は以下のように分類できる。
LEVEL＝０，Δが奇数の場合、 −５Δ/２＜RESIDUE＜＋５Δ/２
LEVEL＞０，Δが奇数の場合、 −Δ/２≦RESIDUE＜＋３Δ/２
LEVEL＜０，Δが奇数の場合、 −３Δ/２＜RESIDUE≦＋Δ/２
LEVEL＝０，Δが偶数の場合、 −５Δ/２＜RESIDUE＜＋５Δ/２
LEVEL＞０，Δが偶数の場合、 −Δ/２＋１≦RESIDUE＜＋３Δ/２＋１
LEVEL＜０，Δが偶数の場合、−３Δ/２−１＜RESIDUE≦＋Δ/２−１
【００４０】
したがって、基本階層の量子化値の正負によって正負が定まる範囲は以下のとおりになる。
LEVEL＞０，Δが奇数の場合、｜RESIDUE｜＞Δ/２であれば、必ずSign（RESIDUE）＝＋１
LEVEL＜０，Δが奇数の場合、｜RESIDUE｜＞Δ/２であれば、必ずSign（RESIDUE）＝−１
LEVEL＞０，Δが偶数の場合、｜RESIDUE｜＞Δ/２−１であれば、必ずSign（RESIDUE）＝＋１
LEVEL＜０，Δが偶数の場合、｜RESIDUE｜＞Δ/２−１であれば、必ずSign（RESIDUE）＝−１
【００４１】
ただし、上位ビットプレーンの符号化処理を考慮すると、基本階層の量子化値の正負によって一意に正負が定まる範囲は以下のように限定される。すなわち、基本階層の量子化値が０ではなく、かつ拡張階層の残差係数の大きさが２ｎ 以上（ｎは、Δが偶数の場合２ｎ ＞Δ/２−１、Δが奇数の場合２ｎ ＞Δ/２となるような最小の値）の場合は、拡張階層の残差係数の正負は、基本階層の量子化値の正負に等しくなる。
【００４２】
この特性を利用すれば、復号の際に拡張階層の残差信号の正負情報シンボルが無くても基本階層を参照することによって、拡張階層の残差信号の正負を特定することができる。したがって、拡張階層の残差係数のビットプレーン符号化を進める際に、正負情報シンボルを符号化せずスキップすることができるため、発生する符号化情報量を削減することができる。
【００４３】
図７は、正負情報シンボルを符号化せずスキップする拡張階層符号化処理手段の構成を示すブロック図である。加算器４（図１）からの残差画像１４は不要正負情報シンボル除去手段７３に入力され、基本階層符号化処理手段１（図１）からの基本階層の量子化値１５は不要正負情報シンボル特定手段７４に入力される。
【００４４】
不要正負情報シンボル特定手段７４は、上述のように、基本階層の量子化値が０であり、かつ拡張階層の残差係数の大きさが２ｎ 以上（ｎは、Δが偶数の場合２ｎ ＞Δ/２−１、Δが奇数の場合２ｎ ＞Δ/２となるような最小の値）の場合、その係数の正負情報シンボルは除去可能であるして、正負情報シンボルが不要な係数の位置情報７１を出力する。
【００４５】
不要正負情報シンボル特定手段７３で除去可能であるとされた正負情報シンボルは、不要正負情報シンボル除去手段７３で除去される。不要な正負情報シンボルが除去された差分画像信号７２は、除去シンボルスキップ型ビットプレーン符号化処理手段７５で符号化され、拡張階層の符号化信号１６が出力される。
【００４６】
図８は、図７に従う拡張階層ビットプレーン符号化処理の流れの説明図である。同図（ａ）は、量子化ステップ幅２Δ（＝２０，Δは偶数）とした場合の残差係数RESIDUE の範囲の具体的数値例を示す。本例では、
LEVEL＝０、 −２５＜RESIDUE＜＋２５
LEVEL＞０、 −４≦RESIDUE＜＋１６
LEVEL＜０、 −１６＜RESIDUE≦＋４
となる。
【００４７】
ジグザグスキャンによって拡張階層の残差画像のＤＣＴブロックにおける残差係数RESIDUE を１次系列に並べ替え、さらに二値表現に変換する（図８（ｂ））。ここで、基本階層の量子化値LEVEL を参照し（同図（ｃ））、LEVEL が非０であり、かつ拡張階層の残差係数の大きさが２３ （２３ ＞４＝Δ/２−１）以上の場合は残差係数の正負は基本階層の量子化値の正負と等しくなるため、正負情報シンボルのビットプレーン符号化処理を行わずにスキップする。図６（ｃ）中Signビットプレーンにおいて省略可能な正負情報シンボルを記号Ｓで示している。この結果、ビットプレーン符号化の対象となる正負情報シンボルの数が減るため、拡張階層において発生する符号化情報量を削減することができる。
【００４８】
本発明では、以下に説明するように、拡張階層の残差係数の信号分布を考慮したビットプレーン符号化を行えば、さらに符号化情報量を効果的に削減することができる。拡張階層の残差係数の最下位ビットプレーンにおいては二値情報シンボルの出現確率がランダムになるのが普通である。また、入力された原画像の種類によっては、最下位ビットプレーンだけでなく、その上位いくつかのビットプレーンにおいても二値情報シンボルの出現確率がランダムになる場合がある。
【００４９】
このように、二値情報シンボルの出現確率がランダムなビットプレーンにおいては符号化による圧縮効果が得られず、他のビットプレーンと同じようにビットプレーン符号化処理を行って符号語を作成すると、かえって元の二値情報シンボルの情報量よりも多くの符号化情報量が発生することになる。
【００５０】
したがって、最下位ビットプレーン、場合によってはその上位いくつかのビットプレーンに対しては、他のビットプレーンと同じようなビットプレーン符号化処理による符号化を行わず、二値情報シンボルをそのまま符号化二値系列として出力することが有効である。
【００５１】
この場合、各ビットプレーンにおいて、ビットプレーン符号化を行うか、行わずに二値情報シンボルをそのまま符号化二値系列として出力するかの判断は、ビットプレーン符号化処理を始める前に、ビットプレーンごとに二値情報シンボル０，１の出現確率を測定することなどにより行うことができる。例えば、そのビットプレーンにおける二値情報シンボル０，１の出現確率がそれぞれ１／２に近ければ、そのビットプレーンで発生している二値情報シンボルはランダムであると考えて、そのまま符号化処理を行う対象にすることが考えられる。
【００５２】
図９は、二値情報シンボルの出現確率を考慮した符号化処理の構成を示すブロック図である。拡張階層の残差画像の中で、二値情報シンボルの出現確率がランダムなビットプレーン９１については、他のビットプレーンと同じようなビットプレーン符号化処理による符号化を行わず、二値情報シンボルをそのまま符号化二値系列として出力し、二値非符号化信号系列９２を作成する。
【００５３】
ただし、二値非符号化信号系列９２には復号処理用の制御コードと同一の二値系列が発生してしまう可能性があり、復号処理時にこの二値系列により誤動作が生じる可能性が高い。この誤動作が生じないようにするため、二値非符号化信号系列９２内の符号化二値系列に制御コードが含まれないように制御コード重複排出回避処理を行って拡張階層の符号化信号９３を作成する。
【００５４】
具体例を挙げれば、MPEG-4 で規定されている制御コードは、３２ビットの二値系列からなり、前半に連続する２３個の‘０’が記述され、後半に制御コードの種類を示す９ビットの二値系列が記述されている。このような制御コードを持つMPEG-4 で、二値情報シンボルがそのまま符号語として出力された結果、シンボル‘０’が２３個連続して出力されてしまった場合、MPEG-4 の制御コードと重複してしまうため、復号処理時に誤動作を生じる可能性が高い。
【００５５】
これを防ぐのが制御コード重複排出回避処理であり、この処理では、例えば、シンボル‘０’が２３個連続して出力されないように、シンボルをそのまま出力する途中で、シンボル‘０’の連続個数が２２個に達したら、その直後に休止シンボル‘１’を挿入するように出力処理する。この制御コード重複排出回避処理によって、シンボル‘０’が２３個以上連続して出現する可能性はなくなり、制御コードと同一の二値系列を排出することなく二値情報シンボルをそのまま符号化二値系列として出力することができるようになる。
【００５６】
二値情報シンボルの出現確率がランダムなビットプレーン９１を除くビットプレーン９４については、ビットプレーン符号化処理を行って符号化信号９５を出力する。
【００５７】
図１０は、図９に従う拡張階層符号化処理の流れの説明図である。 ジグザグスキャンによって拡張階層の残差画像のＤＣＴブロックにおける残差係数RESIDUE を１次系列に並べ替え（同図（ａ））、さらに二値表現に変換する（同図（ｂ））。普通、同図（ｃ）に示すように、拡張階層の残差係数の下位ビットプレーンほど二値情報シンボルの出現確率がランダムになる。そこで、本例では、二値情報の出現確率がランダムとなっている最下位ビット（ＬＳＢ）プレーンをそのまま符号語として出力する。この際、制御コードと同一の二値系列の排出を回避する処理を加える。
【００５８】
次に、以上のようにして階層的符号化処理された符号化信号を復号するための復号装置について説明する。復号装置は、基本的に符号化処理と逆の処理を行うことにより基本階層および拡張階層の符号化信号から復号画像を再構成するものである。
【００５９】
図１１は、本発明の復号装置の基本構成を示すブロック図である。本復号装置は、基本階層復号処理手段１１４と、拡張階層復号処理手段１１５と、加算器１１６とを備える。
【００６０】
基本階層復号処理手段１１４は、基本階層の符号化信号１２を復号して基本階層の復号画像１３を出力すると共に、基本階層の量子化値１１１を出力する。拡張階層復号処理手段１１５は、拡張階層の符号化信号１６と基本階層の量子化値１１１を入力とし、拡張階層の残差復号画像１１２を出力する。この残差復号信号の出力に際しては、符号化処理と逆の処理で、すなわち基本階層の量子化値１１１を参照し、量子化値１１１が０である位置と同じ位置の省略されている二値情報シンボルを埋め込んだ後、復号する。なお、省略されている二値情報シンボルを埋め込むのは、ビット数を合わせて復号する便宜上のためである。
【００６１】
加算器１１６は、基本階層の復号画像１３と拡張階層の残差復号画像１１２とを加算して原画像１１３を再構成する。なお、基本階層の復号画像１３のみで基本階層レベルでの画像を出力することができる。
【００６２】
図１２は、拡張階層復号処理手段１１５の構成を示すブロック図であり、図５の符号化処理と逆の処理を行う。拡張階層の符号化信号１６および基本階層の量子化値１１１はそれぞれ、除去シンボルスキップ型ビットプレーン復号処理手段１２３およびダイナミックレンジ特定手段１２４に入力される。ダイナミックレンジ特定手段１２４は、基本階層の量子化値１１１が０であるか非０であるかを参照して残差係数RESIDUE のダイナミックレンジを特定する。
【００６３】
除去シンボルスキップ型ビットプレーン復号処理手段１２３は、ダイナミックレンジ特定手段１２４で特定されたダイナミックレンジ１２２参照し、拡張階層において除去された二値情報シンボルを飛ばして（復号をスキップして）ビットプレーン復号処理を行う。二値情報シンボル埋込手段１２５は、符号化の際に省略された二値情報シンボル０を埋め込み、拡張階層の復号残差画像１１２を出力する。
【００６４】
図１３も拡張階層復号処理手段１１５の構成を示すブロック図であり、図７の符号化処理と逆の処理を行うものである。拡張階層の符号化信号１６および基本階層の量子化値１１１はそれぞれ、除去シンボルスキップ型ビットプレーン復号処理手段１３４および正負情報シンボル特定手段１３５に入力される。正負情報シンボル特定手段１３５は、基本階層の量子化値１１１が０であるか非０であるか、および拡張階層の残差係数の大きさが前記デッドゾーン付きの量子化処理での量子化ステップ幅から得られる所定値以上であるか否かの両方に従って正負情報シンボルが不要とされた係数の位置情報１３２とその正負情報１３３（基本階層と同じ正負情報）を出力する。
【００６５】
除去シンボルスキップ型ビットプレーン復号処理手段１３４は、正負情報シンボルが不要とされた係数の位置情報１３２を参照し、拡張階層において除去された正負情報シンボルを飛ばして（復号をスキップして）ビットプレーン復号処理を行う。正負情報シンボル埋込手段１３６は、符号化の際に省略された正負情報シンボルを正負情報１３３で埋め込み、拡張階層の復号残差画像１１２を出力する。
【００６６】
図１４は、二値情報シンボルの出現確率が考慮された場合の拡張階層復号処理手段の構成を示すブロック図であり、図９の符号化処理と逆の処理を行うものである。拡張階層の符号化信号（非ビットプレーン符号化）９３は、図９の制御コード重複排出回避処理と逆の処理で元の二値非符号化信号系列１４１にされ、これが二値情報シンボルとしてそのまま復号されて復号残差画像の特定ビットプレーン１４２となる。
【００６７】
図９を参照して説明した具体例の場合、シンボル‘０’が２２個連続していたらその次には必ず休止シンボル‘１’が挿入されていると考えることができるため、その休止シンボル‘１’をスキップして、対象となるビットプレーンに残りの符号化二値系列を順番に配置する。また、拡張階層の符号化信号（非ビットプレーン符号化）９３を除く拡張階層の符号化信号９５は、ビットプレーン復号処理されて残差画像信号１４２を除くビットプレーンとなる。
【図面の簡単な説明】
【図１】 本発明の画像の階層的符号化装置の基本形態の構成を示すブロック図である。
【図２】 基本階層符号化処理手段の構成を示すブロック図である。
【図３】 デッドゾーン無しおよびデッドゾーン付き量子化処理の特性図である。
【図４】 従来のＦＧＳ符号化技術で採用されている拡張階層ビットプレーン符号化処理の流れの説明図である。
【図５】 拡張階層符号化処理手段の構成を示すブロック図である。
【図６】 図５に従う拡張階層ビットプレーン符号化処理の流れの説明図である。
【図７】 拡張階層符号化処理手段の他の構成を示すブロック図である。
【図８】 図７に従う拡張階層ビットプレーン符号化処理の流れの説明図である。
【図９】 二値情報シンボルの出現確率を考慮した符号化処理の構成を示すブロック図である。
【図１０】 図９に従う拡張階層符号化処理の流れの説明図である。
【図１１】 本発明の復号装置の基本構成を示すブロック図である。
【図１２】 拡張階層復号処理手段の構成を示すブロック図である。
【図１３】 拡張階層復号処理手段の他の構成を示すブロック図である。
【図１４】 二値情報シンボルの出現確率を考慮した復号処理の構成を示すブロック図である。
【符号の説明】
１・・・基本階層符号化処理手段、２・・・拡張階層符号化処理手段、３，１１４・・・基本階層復号処理手段、２１・・・デッドゾーン付き量子化処理手段、５３・・・不要二値情報除去手段、５４，１２４・・・ダイナミックレンジ特定手段、５５，７５・・・除去シンボルスキップ型ビットプレーン符号化処理手段、７３・・・不要正負情報シンボル除去手段、７４・・・不要正負情報シンボル特定手段、１１４・・・拡張階層復号処理手段、１２３，１３４・・・除去シンボルスキップ型ビットプレーン復号処理手段、１２５・・・二値情報シンボル埋込手段、１３５・・・正負情報シンボル特定手段、１３６・・・正負情報シンボル埋込手段、７４・・・ビットプレーン符号化部
Claims (8)
- 入力された原画像を基本階層と拡張階層の２階層に分け、基本階層ではデッドゾーン付きの量子化処理を含む符号化処理を行い、拡張階層では原画像と基本階層の復号画像の差分である残差画像をビットプレーン符号化処理を行う、画像の階層的符号化装置において、
拡張階層の符号化処理を行う際に、基本階層の同じ位置にある量子化値が０であるか非０であるかに従って拡張階層の係数ごとに省略可能な情報シンボルを特定し、該特定された情報シンボルについてはビットプレーン符号化処理を省略する省略シンボル特定・符号化処理省略手段を備えたことを特徴とする画像の階層的符号化装置。 - 前記省略シンボル特定・符号化処理省略手段は、基本階層の同じ位置にある量子化値が０であるか非０であるかに従って拡張階層の各係数が持つダイナミックレンジを特定するダイナミックレンジ特定手段と、前記ダイナミックレンジ特定手段により特定されたダイナミックレンジを参照して拡張階層のビットプレーンの中から符号化を行う不必要のない情報シンボルを除去する二値情報シンボル除去手段と、前記二値情報シンボル除去手段により除去された二値情報シンボルを飛ばしてビットプレーン符号化処理を行うビットプレーン符号化処理手段を備えたことを特徴とする請求項１に記載の画像の階層的符号化装置。
- 前記省略シンボル特定・符号化処理省略手段は、基本階層の同じ位置にある量子化値が０であるか非０であるか、および拡張階層の各係数の大きさが前記デッドゾーン付きの量子化処理での量子化ステップ幅から得られる所定値以上であるか否かの両方に従って拡張階層の各係数の正負情報シンボルの符号化を行う必要性を判定する正負情報シンボル特定手段と、前記正負情報シンボル特定手段により判定された必要性を参照して拡張階層のビットプレーンの中から符号化を行う必要のない正負情報シンボルを除去する正負情報シンボル除去手段と、前記正負情報シンボル除去手段により除去された正負情報シンボルを飛ばしてビットプレーン符号化処理を行うビットプレーン符号化処理手段を備えたことを特徴とする請求項１に記載の画像の階層的符号化装置。
- 拡張階層のビットプレーンの中の１つまたはいくつかのビットプレーンに対して、ビットプレーン符号化を行わずに二値情報シンボルをそのまま二値系列として出力する二値系列出力手段と、前記二値系列出力手段より出力された二値系列が制御コードを含まないようにして符号語を出力する符号語出力手段を備えたことを特徴とする請求項１ないし３のいずれかに記載の画像の階層的符号化装置。
- 基本階層の符号化信号を復号する基本階層復号処理手段と、拡張階層の符号化信号をビットプレーン単位で復号する拡張階層復号処理手段と、前記基本階層復号処理手段および拡張階層復号処理手段により復号された復号画像を加算する加算手段とを有し、請求項１記載の画像の階層的符号化装置によって生成された符号化信号を復号する、画像の復号装置において、
拡張階層の復号処理を行う際に、基本階層の同じ位置にある量子化値が０であるか非０であるかに従って拡張階層の係数ごとに省略されている情報シンボルを特定し、該情報シンボル位置に適切な情報シンボルを埋め込んでビットプレーン復号処理を行うビットプレーン復号処理手段を備えたことを特徴とする画像の復号装置。 - 前記ビットプレーン復号処理手段は、基本階層の同じ位置にある量子化値が０であるか非０であるかに従って拡張階層の各係数が持つダイナミックレンジを特定するダイナミックレンジ特定手段と、前記ダイナミックレンジ特定手段により特定されたダイナミックレンジを参照して拡張階層において除去されている二値情報シンボルを飛ばしてビットプレーン復号処理を行うビットプレーン復号処理手段と、拡張階層において除去されている二値情報シンボルを埋め込む埋込手段とを備えたことを特徴とする請求項５に記載の画像の復号装置。
- 前記ビットプレーン復号処理手段は、基本階層の同じ位置にある量子化値が０であるか非０であるか、および拡張階層の各係数の大きさが前記デッドゾーン付きの量子化処理での量子化ステップ幅から得られる所定値以上であるか否かの両方に従って拡張階層の各係数の正負情報シンボルの符号化が省略されているか否かおよびその正負を特定する正負情報シンボル特定手段と、前記正負情報シンボル特定手段により特定され、拡張階層において除去されている正負情報シンボルを飛ばしてビットプレーン復号処理を行うビットプレーン復号処理手段と、拡張階層において除去されている正負情報シンボルを埋め込む埋込手段とを備えたことを特徴とする請求項５に記載の画像の復号装置。
- 符号化処理の際にビットプレーン符号化を行わずに二値情報シンボルをそのまま二値系列として出力するものとされたビットプレーンの二値情報シンボルを入力とし、制御コードを含まないように処理しつつ二値情報シンボルを出力し、対応するビットプレーン位置に配置する手段を備えたことを特徴とする請求項５ないし７のいずれかに記載の画像の復号装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003182607A JP4014098B2 (ja) | 2003-06-26 | 2003-06-26 | 画像の階層的符号化装置および復号装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003182607A JP4014098B2 (ja) | 2003-06-26 | 2003-06-26 | 画像の階層的符号化装置および復号装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005020384A JP2005020384A (ja) | 2005-01-20 |
| JP4014098B2 true JP4014098B2 (ja) | 2007-11-28 |
Family
ID=34182947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003182607A Expired - Fee Related JP4014098B2 (ja) | 2003-06-26 | 2003-06-26 | 画像の階層的符号化装置および復号装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4014098B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8848787B2 (en) | 2007-10-15 | 2014-09-30 | Qualcomm Incorporated | Enhancement layer coding for scalable video coding |
| WO2009052206A1 (en) * | 2007-10-15 | 2009-04-23 | Qualcomm Incorporated | Improved enhancement layer coding for scalable video coding |
| JP5625808B2 (ja) * | 2010-11-26 | 2014-11-19 | 沖電気工業株式会社 | データ更新装置及びプログラム、並びに、動画像復号装置及びプログラム、並びに、動画像配信システム |
| US8780981B2 (en) * | 2011-06-27 | 2014-07-15 | Panasonic Intellectual Property Corporation Of America | Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding-decoding apparatus |
| JP6233121B2 (ja) * | 2014-03-17 | 2017-11-22 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
| EP2980793A1 (en) * | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Encoder, decoder, system and methods for encoding and decoding |
| JP2021118450A (ja) * | 2020-01-27 | 2021-08-10 | シャープ福山セミコンダクター株式会社 | 復号化装置、及び、符号化装置 |
-
2003
- 2003-06-26 JP JP2003182607A patent/JP4014098B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005020384A (ja) | 2005-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100468844B1 (ko) | 정지영상 및 동영상을 부호화/복호화하기 위한변환계수들의 최적주사방법 | |
| JP4589290B2 (ja) | ある階層のフラグを階層間の連関性を用いて符号化する方法、前記符号化されたフラグを復号化する方法、及び装置 | |
| RU2417518C2 (ru) | Эффективное кодирование и декодирование блоков преобразования | |
| JP4491349B2 (ja) | ビデオ・データのイントラ符号化方法及び装置 | |
| KR101425602B1 (ko) | 영상 부호화/복호화 장치 및 그 방법 | |
| US6912318B2 (en) | Method and system for compressing motion image information | |
| US9077960B2 (en) | Non-zero coefficient block pattern coding | |
| KR100736096B1 (ko) | 비디오 신호를 그룹별로 인코딩 및 디코딩하는 방법 및장치 | |
| JP2004520770A (ja) | Ｆｇｓエンハンスメント層に対しアクティビティをベースとする周波数重み付けをする方法及びシステム | |
| US8116373B2 (en) | Context-sensitive encoding and decoding of a video data stream | |
| WO1999056472A1 (en) | N-bit video coder and method of extending an 8-bit mpeg video coder | |
| Yang et al. | A contex-based predictive coder for lossless and near-lossless compression of video | |
| JP4014098B2 (ja) | 画像の階層的符号化装置および復号装置 | |
| US7020342B1 (en) | Scalable coding | |
| JPWO2003079692A1 (ja) | 階層符号化装置および復号装置 | |
| US20050018773A1 (en) | Bit plane compression method | |
| US6631161B1 (en) | Method and system for compressing motion image information | |
| JP2004048607A (ja) | ディジタル画像符号化装置およびディジタル画像符号化方法 | |
| AU2002230101A2 (en) | Moving picture information compressing method and its system | |
| JP2000165873A (ja) | 動画像情報の圧縮方法およびそのシステム | |
| EP2172028A2 (en) | Method and apparatus for coding and decoding using bit-precision | |
| JPH09172379A (ja) | 可変長符号化装置及び方法 | |
| KR100501815B1 (ko) | 비트 플레인을 이용한 계층적 이산여현 변환방법 | |
| JP3958033B2 (ja) | 動画像情報の圧縮方法およびそのシステム | |
| EP1453322A1 (en) | Moving picture information compression method and system thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050831 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070608 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070620 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070815 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070906 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130921 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |