JPWO2005041420A1 - 算術符号の復号器または符号化器と逆2値化変換器または2値化変換器との間に中間バッファが挿入された復号装置または符号化装置 - Google Patents

算術符号の復号器または符号化器と逆2値化変換器または2値化変換器との間に中間バッファが挿入された復号装置または符号化装置 Download PDF

Info

Publication number
JPWO2005041420A1
JPWO2005041420A1 JP2005515029A JP2005515029A JPWO2005041420A1 JP WO2005041420 A1 JPWO2005041420 A1 JP WO2005041420A1 JP 2005515029 A JP2005515029 A JP 2005515029A JP 2005515029 A JP2005515029 A JP 2005515029A JP WO2005041420 A1 JPWO2005041420 A1 JP WO2005041420A1
Authority
JP
Japan
Prior art keywords
symbol
binary
buffer
arithmetic
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005515029A
Other languages
English (en)
Other versions
JP4677901B2 (ja
Inventor
裕三 仙田
裕三 仙田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2003369176 priority Critical
Priority to JP2003369176 priority
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2004/015981 priority patent/WO2005041420A1/ja
Publication of JPWO2005041420A1 publication Critical patent/JPWO2005041420A1/ja
Application granted granted Critical
Publication of JP4677901B2 publication Critical patent/JP4677901B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H03BASIC ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H03M7/4006Conversion to or from arithmetic code
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

本発明の2値化算術符号の復号器では、算術符号の復号と逆2値化変換を分離し、その間に大きな中間バッファを挿入する。まず、算術符号の復号はストリームが入力された時点で行う。これにより、算術符号は復号器の最大入力ビットレートで復号できればよくなる。得られた2値化シンボル列はいったん中間バッファにとどめておく。そして、2値化シンボル列から多値シンボルへの逆2値化変換は、後段のブロック復号器の処理に合わせて行う。

Description

本発明は、算術符号の復号および符号化に関する。特に、多値シンボルを2値化した2値シンボル列の算術符号の復号および符号化の実装に関する。

2値化算術符号化は圧縮符号化技術の1つである。2値化算術符号化では、1つの多値シンボルを2値化して2値シンボル列を生成し、この2値シンボル列を算術符号化することで、最終的な2値化算術符号を得る。算術符号はハフマン符号などと比較すると処理コストが高く、これまでファイル圧縮や静止画圧縮などの実時間性が要求されないアプリケーションで利用されてきたにすぎない。ところが近年のLSIの高速化にともない、映像の符号化にも採用されるようになってきた。その1つに、International Telecommunication Union Telecommunication Standardization Sector(ITU−T)が制定している新しいビデオコーデックの国際標準規格H.264のMain Profileがある。

H.264では2値化算術符号をContext−based Adaptive Binary Arithmetic Coding(CABAC:キャバック)と呼んでいる。CABACの詳細については、IEEE学会のInternational Conference on Image Processing(ICIP)において、D.Marpeらが、2002年会合で「Context−based adaptive binary arithmetic coding in JVT/H.26L」という題で報告しており(2002 IEEE International Conference on Image Processing,ISBN:0−7803−7623−4 IEEE Catalog No.:02CH37396,pages 2−513〜2−536)、2001年会合で「Video compression using context−based adaptive arithmetic coding」という題で報告している(2001 IEEE International Conference on Image Processing,ISBN:0−7803−6725−1,pages 558〜561)。

CABACでは、まず符号化すべき多値シンボルを2値シンボル(Bin)の列に2値化変換(Binarization)し、各BinをBinごとに定められたコンテクスト(Context)に対する確率推定値にしたがって2値算術符号化する。2値化変換は数値を数式で規定されたフォーマットに合わせて多値をビットパターンに変換するが、これは簡易な可変長符号化(VLC)と考えることができる。コンテクストの選択では、もともとの多値シンボルが何を表しているか、周辺ブロックのパラメータ、2値シンボル列の何番目か、という状況が用いられる。逆に復号では、現在復号しようとしている2値シンボルのコンテクストから確率推定値を求め、算術符号の復号を行う。2値シンボルが復元されれば、確率推定値の更新を行うとともに、次に復号すべき2値シンボルのコンテクストを選択する。

理想的な算術符号化はデータをエントロピーの限界まで圧縮できるので、理論的には1ビットで無限のBinを表すことができる。ただしこのままでは実装が困難なので、CABACでは簡略化した算術符号化を採用するとともに、1ビット当たりの平均Bin数に上限を設けている。簡略化では乗算をテーブル引きで代用しており、1つのBinのデコードに必要な演算を、テーブル引き、比較、減算に抑えている。

H.264 CABACのような2値化算術符号化では、算術符号の復号および符号化の処理コストが高い。

図1にH.264復号器の全体構成を示す。

H.264復号器はストリームを受信してとどめておくCPBバッファ41と、各フレームをフレーム間隔ごとに復号する瞬時復号器42から構成される。瞬時復号器42は、CABAC復号器43とブロック復号器44から構成される。ブロック復号器44は、逆量子化、逆離散整数変換、動き補償予測、ループ内フィルタ処理などを行っており、画素数に比例した処理コストとなっている。

これに対してCABAC復号器43の処理コストはBin数に比例する。

図2にCABAC復号器の詳細を示す。

CABAC復号器51は2値算術符号復号器54、逆2値化変換器55、コンテクストごとの確率推定値を保存するメモリ52と、これらを制御する制御器53から構成される。処理の単位はBinの復号であり、制御器53はBinを復号するたびに、確率推定値を更新するとともに、H.264規格の文法にしたがって内部のステートを遷移させる。これらの処理は複数のBinをまとめて行うことができないため、Bin数が処理コストを決定する。

ここで具体的にどれだけの処理コストになるのかを算出してみる。各フレームの圧縮率はフレームの符号化タイプ(フレーム内もしくはフレーム間)や予測の的中度合い、画質によって異なるため、各フレームのビット数はフレームごとに変動する。つまり、CABAC復号器の処理コストはフレームごとに変動する。規格では1フレームの最大ビット数は2048×Max MBPS×Delta Time×Chroma Format Factor/MinCRで与えられており、フレーム期間平均の最大ビットレートに換算すると2048×Max MBPS×Chroma Format Factor/MinCRとなる。ここでMax MBPSは1秒当たりの最大マクロブロック数、Delta Timeはフレーム時間間隔、Chroma Format Factorは輝度信号に対して色信号を加えた場合のサンプル数の比率、MinCRは最低圧縮率である。

Annex A記載のLevel 4.1ではMax MBPS=245760、Chroma Format Factor=1.5、MinCR=2なので、最大ビットレートは377Mbpsとなる。Bin対ビットの圧縮率は1.33以下となるように規定されているので、最大Binレートに換算すると503Mbin/secとなる。最大ビットレートをフレーム期間平均で求めているので、ここでの最大Binレートはフレーム期間平均で処理すべきBinの数をフレーム期間で除した値となっている。復号器の性能がこの最大Binレートを達成できていないと、フレームを表示すべき時刻までに復号処理が終わらず、フレームの欠落といった大きな画質劣化を引き起こす。

以上は復号器の実装について説明したが、逆の動作を行う符号化器も同様になる。

図3にH.264符号化器の構成を示す。

ブロック符号化器63は入力された画素レートで、動き補償予測、離散整数変換、量子化、逆量子化、逆離散整数変換、ループ内フィルタ処理などを行う。その後、ブロック情報は2値化変換器64でBin列に変換される。Bin列は算術符号化器65で符号ビット列に変換され、出力バッファ66に送られる。出力バッファ66の蓄積量はブロック符号化器63にフィードバックされ、ブロック符号化器63内部の符号量制御に用いられる。

2値化ではブロック情報の1つの要素、たとえば変換係数が複数のBinに変換される。そのため、Bin列の生成速度は瞬間的には画素レートの10倍以上になる。それ以後のBin列を扱う制御器62やメモリ61、算術符号化器65はその速度で動く必要がある。フレーム期間での処理を考えると、H.264符号化器の最大BinレートはH.264復号器の場合と同じく503Mbin/secとなる。

従来の技術では、高いビットレートでの実時間処理が依然として困難である。たとえば、H.264規格書の記載の通りに復号処理を行おうとすると、処理すべきBinレートは非現実的な値となる。H.264 Level 4.1の規定を満たす最大Binレートは503Mbin/secであり、1つのBinを2サイクルで処理できたとしても、1GHz以上の周波数でCABAC復号器や算術符号化器を動作させなければならない。この値は現状のLSIで容易に、もしくは安価に実現可能な速度の数倍となってしまっている。

本発明の目的は、従来技術と比較して、低い最大Binレートで実時間での2値化算術符号の復号を行う復号器、および符号化を行う符号化器を提供することにある。

上記目的を達成するために、本発明の復号器は、2値算術符号の入力に応じて、2値算術符号を復号し、2値シンボルを得る算術符号復号手段と、復号された2値シンボルを蓄積するバッファと、バッファから2値シンボルを取り出す際、自身の出力に応じて2値シンボルを取り出し、多値シンボルに変換して出力する逆2値化変換手段を有することを特徴とする。

この構成において、算術符号復号手段と逆2値化変換手段は別々に動作しており、通常異なる速度で処理を進める。

上記目的を達成するために、本発明の符号化器は、多値シンボルの入力に応じて、多値シンボルを2値シンボルに変換する2値化変換手段と、2値シンボルを蓄積するバッファと、バッファから2値シンボルを取り出す際、自身の出力に応じて2値シンボルを取り出して2値算術符号を生成する算術符号化手段を有することを特徴とする。

この構成において、算術符号化手段と2値化変換手段は別々に動作しており、通常異なる速度で処理を進める。算術符号化手段が達成すべき処理性能は出力符号レートの最大値で規定できる。一方、2値化変換手段では多値シンボルの単位で処理が可能なため、これが達成すべき処理性能は入力多値シンボルレートの最大値で規定できる。

本発明によれば、2値化算術符号の復号器および符号化器が達成すべき2値シンボル処理レートの最大値を大幅に下げることができる。本発明の算術符号復号手段が達成すべき処理性能は入力符号レートの最大値で規定でき、同様に本発明の算術符号の符号化手段が達成すべき処理性能は出力符号レートの最大値で規定できる。

たとえば、H.264のLevel 4.1に適用する場合、Max Video Bitrateが50Mbpsなので、最大Binレートは66.7Mbin/secとなる。この値は従来の技術の場合の7分の1以下となっており、実装が大幅に容易になることが分かる。

従来技術ではCPBバッファにストリームをためていたが本発明では不要となる。その代わりにCPBバッファよりも若干大きなメモリ手段を必要としている。H.264の場合には算術符号の圧縮率が1.33以下となるように制限されているので、メモリ手段はCPBバッファの1.33倍の大きさがあればよい。

本発明の符号化器は2値もしくは多値シンボルのバッファを持っているため、バッファ遅延分だけ遅れるが、ビット数推定手段が生成される実際の符号ビット数を得ることができるので、遅れのない推定値をその代替として提供できる。また、ビデオ符号化器などの符号量制御が必要な場合、遅延された生成ビット数を用いると制御が不安定になるが、本発明ではその推定値が使えるのでバッファ遅延の影響を抑圧できる。

国際標準規格ITU−T H.264復号器のブロック図である。 H.264 CABAC復号器の内部のブロック図である。 H.264符号化器のブロック図である。 本発明の2値化算術符号の復号器を用いた映像復号器のブロック図である。 本発明の2値化算術符号の符号化器を用いた映像符号化器のブロック図である。 本発明の2値化算術符号の復号器もしくは符号化器のブロック図である。 本発明の2値化算術符号の復号処理を示すフローチャートである。 本発明の復号処理サブルーチンのフローチャートである。 本発明の2値化算術符号の符号化処理を示すフローチャートである。 本発明の符号化処理サブルーチンのフローチャートである。

本発明の算術符号の復号器は、2値算術符号の入力に応じて復号して2値シンボルを得る算術符号復号器と、2値シンボルを蓄積する中間バッファと、中間バッファから2値シンボル列を取り出して多値シンボルに変換して出力し、この多値シンボルの出力に応じて中間バッファから2値シンボル列を取り出す逆2値化変換手段を備える。

また、本発明における算術符号の符号化器は、多値シンボルの入力に応じて多値シンボルを2値シンボルに変換する2値化変換手段と、2値シンボルを蓄積するバッファと、バッファから2値シンボルを取り出す際、自身の出力に応じて2値シンボルを取り出して2値算術符号を生成する算術符号化手段を備える。

また、本発明における算術符号の復号器は、算術符号の入力に応じて算術符号を復号して多値シンボルを得る算術符号復号手段と、多値シンボルを蓄積するバッファと、バッファから多値シンボルを取り出す際、自身の出力に応じて多値シンボルを取り出して出力シンボルに変換して出力する逆変換手段を備える。

また、本発明における算術符号の符号化器は、入力シンボルの入力に応じて入力シンボルを多値シンボルに変換する変換手段と、多値シンボルを蓄積するバッファと、バッファから多値シンボルを取り出す際、自身の出力に応じて多値シンボルを取り出して算術符号を生成する算術符号化手段を備える。

図4は、本発明の2値化算術符号の復号器を用いた映像復号器のブロック図である。

算術符号復号器10は入力されたストリームの算術符号を復号して2値シンボル(Bin)を得て、制御器11、逆2値化変換機12に供給するとともに、中間バッファ14に格納する。復号に必要となるコンテクストの確率推定値は制御器11から供給される。

制御器11はストリームの文法にしたがい、現在復号すべき2値シンボルからコンテクストを選択し、メモリ13からその確率推定値を取得するとともに、確率推定値を算術符号復号器10に供給する。コンテクストの選択においては、必要であればメモリ13に格納されているブロック情報を用いる。制御器11は算術符号復号器10から2値シンボルを得ると、メモリ13に格納されている確率推定値を更新するとともに、2値シンボル列の構成情報を逆2値化変換器12に供給する。構成情報としては、多値シンボルの示しているパラメータ名、2値シンボル列のフォーマット情報、逆変換を行うタイミングなどがある。

逆2値化変換器12は、算術符号復号器10から得られる2値シンボルと制御器11から供給される構成情報から、必要に応じて2値シンボル列を多値シンボルに変換し、その結果として得られるブロック情報をメモリ13に格納する。ストリームに含まれるブロック情報には、量子化された変換係数、量子化パラメータ、有効ブロックパターン、予測モード、動きベクトルなどがあるが、メモリ13に格納すべきブロック情報は制御器11が参照するものである。

中間バッファ14は、算術符号復号器10で得られた2値シンボルを格納し、後段の制御器15と逆2値化変換器16に2値シンボルを供給する。また、制御器15に2値シンボルを供給する際、制御器15からの指示に基づいて、2値シンボルを供給する。

制御器15はストリームの文法にしたがい、中間バッファ14から2値シンボル列を得て、構成情報を逆2値化変換器16に供給する。

逆2値化変換器16は、中間バッファ14から2値シンボル列を得て、制御器15から供給される構成情報から、2値シンボル列を多値シンボルに変換し、その結果として得られるブロック情報をブロック復号器17に供給する。

ブロック復号器17は、逆2値化変換器16から供給されるブロック情報にもとづき、逆量子化、逆整数変換、動き補償予測、ループ内フィルタの処理を行うことで復号画像を得て、得られた復号画像を出力する。

中間バッファ14よりも前段のブロックである算術符号復号器10、制御器11、逆2値化変換器12、メモリ13は、算術符号復号器10に入力されるストリームのビット、バイトまたはバイト列などに合わせて処理を進めていく。これに対して、中間バッファ14よりも後段のブロックである制御器15、逆2値化変換器16、ブロック復号器17は、復号画像の出力に合わせて処理を進める。このように算術符号復号器10と逆2値化変換器16は別々に動作しており、通常異なる速度で処理を進めている。中間バッファ14は前後の処理速度の違いを吸収する。

図5は本発明の2値化算術符号の符号化器を用いた映像符号化器のブロック図である。

ブロック符号化器20は、ビット数推定器27から与えられる推定生成ビット数を参考にして、入力画像に対して動きベクトル探索、動き補償予測、離散整数変換、量子化、逆量子化、逆離散整数変換、ループ内フィルタの処理を行い、ブロック情報を生成する。ブロック情報はストリーム構成に必要な情報であり、量子化された変換係数、量子化パラメータ、有効ブロックパターン、予測モード、動きベクトルなどが含まれる。

得られたブロック情報は2値化変換器21で2値シンボル列に変換され、その結果は中間バッファ22に格納される。

中間バッファ22は、2値化変換器21で変換された2値シンボル列を格納し、算術符号化器25からの指示にもとづいて、算術符号化器25に2値シンボルを供給する。また、中間バッファ22は、蓄積量をビット数推定器27に供給する。

逆2値化変換器23は、中間バッファ22から得られる2値シンボル列と、制御器24から供給される構成情報から、ブロック情報を復元し、メモリ26に格納する。ここで復元すべきブロック情報は制御器24が参照するものである。

制御器24はストリームの文法にしたがい、現在符号化すべき2値シンボルからコンテクストを選択し、メモリ26からその確率推定値を取得するとともに、確率推定値を算術符号化器25に供給する。コンテクストの選択においては、必要であればメモリ26に格納されているブロック情報を用いる。中間バッファ22から2値シンボルを得ると、メモリ26に格納されている確率推定値を更新するとともに、2値シンボル列の構成情報を逆2値化変換器23に供給する。

算術符号化器25は、中間バッファ22から得た2値シンボルと、制御器24から得た確率推定値から2値算術符号化を行い、得られたストリームを出力する。また、算術符号化で読み出した2値シンボル数と生成した符号のビット数をビット数推定器27に供給する。

ビット数推定器27は、算術符号化器25から供給される2値シンボル数と符号ビット数から、2値シンボル数と符号ビット数の関係を推定し、中間バッファ22から供給される蓄積量をビット数に換算して生成ビット数を求め、ブロック符号化器20に供給する。

中間バッファ22よりも前段のブロックであるブロック符号化器20、2値化変換器21、ビット数推定器27は、ブロック符号化器20に入力される画像のビット、バイト、バイト列に合わせて処理を進めていく。これに対して、中間バッファ22よりも後段のブロックである逆2値化変換器23、制御器24、算術符号化器25、メモリ26はストリームの出力に合わせて処理を進める。このように2値化変換器21と算術符号化器25は別々に動作しており、通常異なる速度で処理を進めている。中間バッファ22は前後の処理速度の違いを吸収する。

図6は本発明の別の実施の形態を示すブロック図である。

図6で本発明の2値算術符号の復号器を構成する場合、処理部31は算術符号の復号を行い、処理部32は逆2値化変換を行う。メモリ33は、処理部31と処理部32からアクセス可能であり、処理部31の入力となる符号列、処理部31の出力かつ処理部32の入力となる2値シンボル列、処理部32の出力となる多値シンボル、処理で必要となる確率期待値やブロック情報などを保持する。

なお、図6は論理的な構成を示すために処理部31と処理部32を分けているが、オペレーティングシステムがマルチプロセス機能を提供している場合や、米Intel製Hyper Threading対応CPUのように単体プロセッサでマルチプロセス処理が可能な場合、物理的には1つとなる。また、メモリ33は物理的に単一メモリである必要はなく、処理部31からしかアクセスしない変数はバス接続でなく処理部31に直結していても構わない。

次に図7を参照して、処理部31で算術符号の復号を行う場合の動作を説明する。

符号化方式のシンタックスには、符号化モード、動きベクトル、コーデッドフラグ、係数が存在し、これらが2値算術符号化されていることを想定している。ここで、符号化モードからは動きベクトル情報の有無を知ることができ、コーデッドフラグは係数の有無を知ることができる。

まず、ステップA100において初期化を行う。初期化では、コンテクストごとの確率推定値を初期値に設定する。ステップA110ではブロックの符号化モードを復号する。ステップA111では動きベクトル情報があるかどうかで分岐する。動きベクトル情報がある場合にはステップA120へ、動きベクトル情報がない場合にはステップA130へ進む。

ステップA120では動きベクトル水平値を復号する。ステップA121では動きベクトル垂直値を復号する。ステップA130ではコーデッドフラグを復号する。ステップA131では係数があるかないかで分岐する。係数がある場合にはステップA140へ、係数がない場合にはステップA150へ進む。

ステップA140では係数を復号する。ステップA141では係数が終了かどうかで分岐する。終了の場合にはステップA150へ、係数が続いている場合にはステップA140へ進む。

ステップA150は符号列の終了かどうかで分岐する。終了でなければステップA110へ進む。

これらのステップで行われる復号では、多値シンボルを復号するサブルーチンを呼び出している。このサブルーチンは図8の動作を行う。

図8を参照して、サブルーチンを説明する。

まずステップA10ではシンボル列バッファを空にする。ステップA11では現在のシンタックスに適合するコンテクストを選択する。必要であれば周辺ブロックの情報を用いる。ステップA12では現在のコンテクストの確率推定値を取得する。ステップA13では算術符号の復号を行う。符号の入力を待ち、入力されれば符号語の現在値と確率推定値を比較して、大小関係から2値シンボルを得る。2値シンボルの0と1に対して対称の動作をするのであれば、確率推定値をMPSの値とMPSの確率推定値とで表現(対称表現)することもできる。ここで、MPSとは発生確率の推定値の高いシンボルであり、MPSの確率推定値は0.5から1の値を取る。ステップA14では得られた2値シンボルをシンボル列バッファに蓄えるとともに、メモリへ出力する。ステップA15では2値シンボルの値に応じて確率推定値を更新する。確率推定値が対称表現の場合、MPSの確率推定値が0.5未満となれば、MPSを反転する。ステップA16では、シンボル列バッファ内の2値シンボル列が、完結した2値シンボル列を構成しているかどうかで分岐する。完結した2値シンボル列を構成していればステップA17へ進み、そうでなければステップA11に戻って算術符号の復号を続ける。

ステップA17では必要に応じて逆2値化変換を行う。必要となる条件としては、シンタックスに関わる要素やコンテクスト選択で参照される可能性がある要素がある。

次に処理部32で逆2値化変換を行う場合の動作を説明する。全体の処理の流れは処理部31と同様に図7のフローで動作する。ただし、呼び出される復号サブルーチンが処理部31とは異なる。処理部32で用いる復号サブルーチンは逆2値変換であり、2値シンボル列から多値シンボルを復号するものとなる。処理部32は算術符号に関係しないので、ステップA100で確率推定値を初期値に設定する必要はない。

図6で本発明の2値算術符号の符号化器を構成する場合、処理部31は2値化変換を行い、処理部32は算術符号化を行う。メモリ33は、処理部31と処理部32からアクセス可能であり、処理部31の入力となる多値シンボル、処理部31の出力かつ処理部32の入力となる2値シンボル列、処理部32の出力となる符号列、処理で必要となる確率期待値やブロック情報などを保持する。

次に図9を参照して、処理部31で2値化変換を行う場合の動作を説明する。

まず、ステップA200において初期化を行う。ステップA210ではブロックの符号化モードを符号化処理する。ステップA211では動きベクトル情報があるかどうかで分岐する。ある場合にはステップA220へ、ない場合にはステップA230へ進む。

ステップA220では動きベクトル水平値を符号化処理する。ステップA221では動きベクトル垂直値を符号化処理する。ステップA230ではコーデッドフラグを符号化処理する。ステップA231では係数があるかないかで分岐する。係数がある場合にはステップA240へ、係数がない場合にはステップA250へ進む。

ステップA240では係数を符号化処理する。ステップA241では係数終了かどうかで分岐する。終了の場合にはステップA250へ、係数が続いている場合にはステップA240へ進む。

ステップA250は符号化の終了かどうかで分岐する。符号化の終了でなければステップA210へ進む。これらのステップで行われる符号化処理は2値化変換であり、多値シンボルを2値シンボル列に変換し、出力する出力サブルーチンを呼び出している。出力サブルーチンでは、出力した2値シンボル数をカウントし、外部からの参照可能にしておく。

次に処理部32で算術符号化を行う場合の動作を説明する。全体の処理の流れは処理部31と同様に図9のフローで動作する。ただし、ステップA200の初期化と呼び出される符号化処理サブルーチンが処理部31とは異なる。処理部32で用いる符号化処理サブルーチンでは、逆2値変換により2値シンボル列から多値シンボルを復号するとともに、2値シンボル列の算術符号化を行う。算術符号化を行うにあたり、ステップA200の初期化では確率期待値を初期値に設定しておく。

図10を参照して、処理部32の符号化処理サブルーチンの動作を説明する。

まずステップA20において、逆2値化変換を行い、多値シンボルを出力するとともに、対応する2値シンボル列をシンボル列バッファに格納する。ステップA21では現在のコンテクストの確率推定値を取得する。

ステップA23では、シンボル列バッファの先頭から2値シンボルを1つ取り出し、算術符号化を行って出力する。算術符号化の回数と生成したビット数とをカウントし、外部からの参照可能にしておく。

ステップA24では2値シンボルの値に応じて確率推定値を更新する。確率推定値が対称表現の場合、MPSの確率推定値が0.5未満となれば、MPSを反転する。ステップA25では、シンボル列バッファが空か否かで分岐する。シンボル列バッファが空であれば終了し、そうでなければステップA21に戻って算術符号化を続ける。

処理部31では出力した2値シンボル数が、処理部32では算術符号化の回数と生成したビット数が分かる。メモリ上に蓄積されている2値シンボル数は、出力した2値シンボル数から算術符号化の回数を減じることで求まる。また、2値シンボル数と符号ビット数の関係は、算術符号化の回数と生成したビット数から求めることができる。これらの値から推定生成ビット数を算出することができる。推定生成ビット数は、処理部31の出力サブルーチン内で算出して外部から参照可能にしておいてもよいし、外部で元となる値から算出してもよい。

次に、上述した2値算術符号の復号を行う復号器および符号化器をコンピュータシステムにより実行する例を説明する。

コンピュータシステムには、CPUが装備されており、CPUにはバッファおよびメモリが接続されている。

メモリには、本発明における復号処理および符号化処理を実行するためのプログラムが格納されている。このプログラムをCPUで実行することにより、本発明における復号処理および符号化処理が実行される。

なお、上述した実施の形態では2値算術符号を扱う場合について説明したが、本発明は2値算術符号への適用に限られるものではない。4値の算術符号を用いる場合には、図および説明の2値を4値に読み替えるだけで、本発明の4値算術符号の復号器や符号化器を構成できる。また、2値と3値との算術符号が混在するような場合でも、コンテクストに合わせて2値算術符号の処理と3値算術符号の処理を切り替えるように構成すればよい。

以上、映像復号器と映像符号化器を例にして、本発明の実施の形態を説明したが、本発明はこれらの適用に限られるものではない。ブロック復号器17を音声フレーム復号器、ブロック符号化器20を音声フレーム符号化器に置き換えれば、容易に音声復号器、音声符号化器への適用が可能である。他のメディアやデータの符号化器や復号器でも、2値化算術符号を用いるものであれば、映像や音声の場合と同様に、本発明の2値化算術符号の符号化器と復号器を適用できる。

Claims (18)

  1. 2値算術符号の入力に応じて、2値算術符号を復号し、2値シンボルを得る算術符号復号手段と、
    前記復号された2値シンボルを蓄積するバッファと、
    前記バッファから2値シンボルを取り出す際、自身の出力に応じて2値シンボルを取り出し、多値シンボルに変換して出力する逆2値化変換手段を有する2値化算術符号の復号器。
  2. 多値シンボルの入力に応じて、多値シンボルを2値シンボルに変換する2値化変換手段と、
    前記2値シンボルを蓄積するバッファと、
    前記バッファから2値シンボルを取り出す際、自身の出力に応じて2値シンボルを取り出して2値算術符号を生成する算術符号化手段を有する2値化算術符号の符号化器。
  3. 算術符号の入力に応じて、算術符号を復号して多値シンボルを得る算術符号復号手段と、
    前記多値シンボルを蓄積するバッファと、
    前記バッファから多値シンボルを取り出す際、自身の出力に応じて多値シンボルを取り出して出力シンボルに変換して出力する逆変換手段を有する算術符号の復号器。
  4. 入力シンボルの入力に応じて、入力シンボルを多値シンボルに変換する変換手段と、
    前記多値シンボルを蓄積するバッファと、
    前記バッファから多値シンボルを取り出す際、自身の出力に応じて多値シンボルを取り出して算術符号を生成する算術符号化手段を有する算術符号の符号化器。
  5. 前記算術符号化手段が取り出した2値シンボル数と生成した符号のビット数から2値シンボル数と符号ビット数の関係を推定し、前記バッファの蓄積量から算術符号化後に生成される符号ビット数を推定するビット数推定手段をさらに有する、請求項2に記載の2値化算術符号の符号化器。
  6. 前記算術符号化手段が取り出した多値シンボル数と生成した符号のビット数から多値シンボル数と符号ビット数の関係を推定し、前記バッファの蓄積量から算術符号化後に生成される符号ビット数を推定するビット数推定手段をさらに有する、請求項4に記載の算術符号の符号化器。
  7. 復号された2値シンボルを蓄積するバッファを有する復号器における復号方法であって、
    2値算術符号の入力に応じて、2値算術符号を復号し、2値シンボルを得る算術符号復号ステップと、
    前記バッファから2値シンボルを取り出す際、自身の出力に応じて2値シンボルを取り出し、多値シンボルに変換して出力する逆2値化変換ステップを有する2値化算術符号の復号方法。
  8. 変換された2値シンボルを蓄積するバッファを有する符号化器における符号化方法であって、
    多値シンボルの入力に応じて、多値シンボルを2値シンボルに変換する2値化変換ステップと、
    前記バッファから2値シンボルを取り出す際、自身の出力に応じて2値シンボルを取り出して2値算術符号を生成する算術符号化ステップを有する2値化算術符号の符号化方法。
  9. 復号された多値シンボルを蓄積するバッファを有する復号器における複合方法であって、
    算術符号の入力に応じて、算術符号を復号して多値シンボルを得る算術符号復号ステップと、
    前記バッファから多値シンボルを取り出す際、自身の出力に応じて多値シンボルを取り出して出力シンボルに変換して出力する逆変換ステップを有する算術符号の復号方法。
  10. 変換された多値シンボルを蓄積するバッファを有する符号化器における符号化方法であって、
    入力シンボルの入力に応じて、入力シンボルを多値シンボルに変換する変換ステップと、
    前記バッファから多値シンボルを取り出す際、自身の出力に応じて多値シンボルを取り出して算術符号を生成する算術符号化ステップを有する算術符号の符号化方法。
  11. 取り出した2値シンボル数と生成した符号のビット数から2値シンボル数と符号ビット数の関係を推定し、前記バッファの蓄積量から算術符号化後に生成される符号ビット数を推定するビット数推定ステップをさらに有する、請求項8に記載の2値化算術符号の符号化方法。
  12. 取り出した多値シンボル数と生成した符号のビット数から多値シンボル数と符号ビット数の関係を推定し、前記バッファの蓄積量から算術符号化後に生成される符号ビット数を推定するビット数推定ステップをさらに有する、請求項10に記載の算術符号の符号化方法。
  13. 復号された2値シンボルを蓄積するバッファを有するコンピュータのプログラムであって、
    前記コンピュータを、
    2値算術符号の入力に応じて復号して2値シンボルを得る算術符号復号手段と、
    前記バッファから2値シンボルを取り出す際、自身の出力に応じて2値シンボルを取り出し、多値シンボルに変換して出力する逆2値化変換手段として機能させるプログラム。
  14. 変換された2値シンボル列を蓄積するバッファを有するコンピュータのプログラムであって、
    前記コンピュータを、
    多値シンボルの入力に応じて2値シンボル列に変換する2値化変換手段と、
    前記バッファから2値シンボルを取り出す際、自身の出力に応じて2値シンボルを取り出し、2値算術符号を生成する算術符号化手段として機能させるプログラム。
  15. 復号された多値シンボルを蓄積するバッファを有するコンピュータのプログラムであって、
    前記コンピュータを、
    算術符号の入力に応じて復号し、多値シンボルを得る算術符号復号手段と、
    前記バッファから多値シンボルを取り出す際、自身の出力に応じて多値シンボルを取り出し、出力シンボルに変換して出力する逆変換手段として機能させるプログラム。
  16. 変換された多値シンボル列を蓄積するバッファ有するコンピュータのプログラムであって、
    前記コンピュータを、
    入力シンボルの入力に応じて多値シンボル列に変換する変換手段と、
    前記バッファから多値シンボル列を取り出す際、自身の出力に応じて多値シンボルを取り出し、算術符号を生成する算術符号化手段として機能させるプログラム。
  17. 前記コンピュータを、前記算術符号化手段が取り出した2値シンボル数と生成した符号のビット数から2値シンボル数と符号ビット数の関係を推定し、前記バッファの蓄積量から算術符号化後に生成される符号ビット数を推定するビット数推定手段としてさらに機能させる、請求項14に記載のプログラム。
  18. 前記コンピュータを、前記算術符号化手段が取り出した多値シンボル数と生成した符号のビット数から多値シンボル数と符号ビット数の関係を推定し、前記バッファの蓄積量から算術符号化後に生成される符号ビット数を推定するビット数推定手段としてさらに機能させる、請求項16に記載のプログラム。
JP2005515029A 2003-10-29 2004-10-28 算術符号の復号器または符号化器と逆2値化変換器または2値化変換器との間に中間バッファが挿入された復号装置または符号化装置 Active JP4677901B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003369176 2003-10-29
JP2003369176 2003-10-29
PCT/JP2004/015981 WO2005041420A1 (ja) 2003-10-29 2004-10-28 算術符号の復号器または符号化器と逆2値化変換器または2値化変換器との間に中間バッファが挿入された復号装置または符号化装置

Publications (2)

Publication Number Publication Date
JPWO2005041420A1 true JPWO2005041420A1 (ja) 2007-10-04
JP4677901B2 JP4677901B2 (ja) 2011-04-27

Family

ID=34510376

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005515029A Active JP4677901B2 (ja) 2003-10-29 2004-10-28 算術符号の復号器または符号化器と逆2値化変換器または2値化変換器との間に中間バッファが挿入された復号装置または符号化装置

Country Status (7)

Country Link
US (1) US7301485B2 (ja)
EP (1) EP1684435A4 (ja)
JP (1) JP4677901B2 (ja)
KR (1) KR100801364B1 (ja)
CN (1) CN100566178C (ja)
TW (1) TWI311870B (ja)
WO (1) WO2005041420A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010212817A (ja) * 2009-03-06 2010-09-24 Panasonic Corp 画像復号化装置および画像復号化方法

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006051796A1 (en) * 2004-11-09 2006-05-18 Matsushita Electric Industrial Co., Ltd. Two step arithmetic decoding with conversion into an intermediate format
KR100829558B1 (ko) * 2005-01-12 2008-05-14 삼성전자주식회사 스케일러블 오디오 데이터 산술 복호화 방법 및 장치와스케일러블 오디오 비트스트림 절단 방법
CN100584025C (zh) * 2005-08-04 2010-01-20 华为技术有限公司 一种基于内容自适应的算术解码系统及装置
JP4440863B2 (ja) * 2005-09-13 2010-03-24 パナソニック株式会社 符号化復号化装置、符号化復号化方法、符号化復号化集積回路、および符号化復号化プログラム
JP4540585B2 (ja) * 2005-10-20 2010-09-08 パナソニック株式会社 符号化装置及び復号化装置
US7983343B2 (en) * 2006-01-12 2011-07-19 Lsi Corporation Context adaptive binary arithmetic decoding for high definition video
JP4745865B2 (ja) * 2006-02-28 2011-08-10 富士通セミコンダクター株式会社 符号化装置および方法
US7262722B1 (en) * 2006-06-26 2007-08-28 Intel Corporation Hardware-based CABAC decoder with parallel binary arithmetic decoding
JP4928176B2 (ja) * 2006-06-27 2012-05-09 キヤノン株式会社 映像符号化装置及び映像符号化方法
US8107552B2 (en) 2006-06-28 2012-01-31 Samsung Electronics Co., Ltd. System and method of wireless communication of uncompressed video having a fast fourier transform-based channel interleaver
JP2008022383A (ja) * 2006-07-13 2008-01-31 Matsushita Electric Ind Co Ltd 画像符号化装置
JP4902854B2 (ja) * 2006-09-12 2012-03-21 パナソニック株式会社 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置
US7912302B2 (en) 2006-09-21 2011-03-22 Analog Devices, Inc. Multiprocessor decoder system and method
US8194750B2 (en) 2006-10-16 2012-06-05 Samsung Electronics Co., Ltd. System and method for digital communication having a circulant bit interleaver for equal error protection (EEP) and unequal error protection (UEP)
JP4742018B2 (ja) * 2006-12-01 2011-08-10 キヤノン株式会社 画像符号化装置及び画像符号化方法
JP2008141530A (ja) * 2006-12-01 2008-06-19 Canon Inc 画像符号化装置及び画像符号化方法
KR101801008B1 (ko) 2007-01-11 2017-11-23 톰슨 라이센싱 Mpeg-4 avc 하이 레벨 코딩에 있어서 cavlc 4:4:4 인트라 프로파일, high 4:4:4 인트라 프로파일, 및 high 4:4:4 예측 프로파일에 대하여 coded_block_flag 신택스 엘리먼트 및 coded_block_pattern 신택스 엘리먼트의 신택스를 사용하는 방법 및 장치
JP4823090B2 (ja) * 2007-02-01 2011-11-24 パナソニック株式会社 画像符号化装置
US7518536B2 (en) * 2007-03-30 2009-04-14 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Method and apparatus for debinarization of digital video data during decoding
US7443318B2 (en) * 2007-03-30 2008-10-28 Hong Kong Applied Science And Technology Research Institute Co. Ltd. High speed context memory implementation for H.264
JP2008282178A (ja) 2007-05-09 2008-11-20 Toshiba Corp 産業用コントローラ
JPWO2008142956A1 (ja) * 2007-05-21 2010-08-05 日本電気株式会社 映像符号化装置、映像符号化方法および映像符号化プログラム
JP2008294669A (ja) * 2007-05-23 2008-12-04 Toshiba Corp 画像符号化装置
US8144037B2 (en) * 2007-07-12 2012-03-27 Intellectual Ventures Fund 44 Llc Blocking for combinatorial coding/decoding for electrical computers and digital data processing systems
US8055085B2 (en) * 2007-07-12 2011-11-08 Intellectual Ventures Fund 44 Llc Blocking for combinatorial coding/decoding for electrical computers and digital data processing systems
US7990289B2 (en) * 2007-07-12 2011-08-02 Intellectual Ventures Fund 44 Llc Combinatorial coding/decoding for electrical computers and digital data processing systems
US7839311B2 (en) * 2007-08-31 2010-11-23 Qualcomm Incorporated Architecture for multi-stage decoding of a CABAC bitstream
JP4850806B2 (ja) * 2007-10-01 2012-01-11 キヤノン株式会社 エントロピー符号化装置、エントロピー符号化方法およびコンピュータプログラム
US8138956B2 (en) * 2008-06-02 2012-03-20 Mediatek Inc. CABAC encoder and CABAC encoding method
US7714754B2 (en) * 2008-07-14 2010-05-11 Vixs Systems, Inc. Entropy decoder with pipelined processing and methods for use therewith
JP2010278668A (ja) * 2009-05-27 2010-12-09 Sony Corp 符号化装置及び符号化方法、並びに復号装置及び復号方法
ES2553245T3 (es) 2010-04-13 2015-12-07 Ge Video Compression, Llc Herencia en subdivisión de árbol múltiple de matriz de muestras
CN106412606B (zh) 2010-04-13 2020-03-27 Ge视频压缩有限责任公司 解码数据流的方法、生成数据流的方法
KR102129404B1 (ko) * 2010-04-13 2020-07-02 지이 비디오 컴프레션, 엘엘씨 이미지들의 멀티-트리 서브-디비젼을 이용한 비디오 코딩
EP2559246B1 (en) 2010-04-13 2016-06-08 GE Video Compression, LLC Sample region merging
KR20120014676A (ko) * 2010-08-10 2012-02-20 에스케이 텔레콤주식회사 적응적 부호화/복호화 모드 인덱싱 기법을 이용한 영상 부호화/복호화 장치 및 방법
JP2012138661A (ja) * 2010-12-24 2012-07-19 Sony Corp 画像処理装置および方法
US8805099B2 (en) * 2011-06-22 2014-08-12 Panasonic Intellectual Property Corporation Of America Image decoding method and image coding method
US10250912B2 (en) 2015-02-17 2019-04-02 Mediatek Inc. Method and apparatus for entropy decoding with arithmetic decoding decoupled from variable-length decoding
CN105207677B (zh) * 2015-09-01 2018-02-06 上海斐讯数据通信技术有限公司 一种图形化编解码系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05176187A (ja) * 1991-12-20 1993-07-13 Fujitsu Ltd データ圧縮・復元装置
JPH0697834A (ja) * 1992-09-11 1994-04-08 Nippon Telegr & Teleph Corp <Ntt> 可変多値算術符号化方法
JPH099256A (ja) * 1995-04-18 1997-01-10 Fuji Xerox Co Ltd 画像符号化装置および画像復号装置
JP2000299641A (ja) * 1999-04-12 2000-10-24 Mitsubishi Electric Corp 符号化装置、復号化装置、符号化復号化装置、符号化方法並びに復号化方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6072909A (en) * 1995-12-13 2000-06-06 Fuji Xerox Co., Ltd. Image coding devise and image decoding devise using with image disassembly
JP2729165B2 (ja) 1995-10-31 1998-03-18 日本電気アイシーマイコンシステム株式会社 画像処理装置及びその処理方法
JPH1155531A (ja) 1997-07-31 1999-02-26 Ricoh Co Ltd 算術符号化装置
JP3350482B2 (ja) 1999-06-04 2002-11-25 松下電送システム株式会社 算術符号化装置および算術復号化装置
JP3684128B2 (ja) 2000-02-18 2005-08-17 キヤノン株式会社 算術符号化/復号化方法ならびに算術符号化/復号化装置
US6677869B2 (en) * 2001-02-22 2004-01-13 Panasonic Communications Co., Ltd. Arithmetic coding apparatus and image processing apparatus
JP3929312B2 (ja) 2002-01-09 2007-06-13 パナソニック コミュニケーションズ株式会社 算術符号化装置および画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05176187A (ja) * 1991-12-20 1993-07-13 Fujitsu Ltd データ圧縮・復元装置
JPH0697834A (ja) * 1992-09-11 1994-04-08 Nippon Telegr & Teleph Corp <Ntt> 可変多値算術符号化方法
JPH099256A (ja) * 1995-04-18 1997-01-10 Fuji Xerox Co Ltd 画像符号化装置および画像復号装置
JP2000299641A (ja) * 1999-04-12 2000-10-24 Mitsubishi Electric Corp 符号化装置、復号化装置、符号化復号化装置、符号化方法並びに復号化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6010052893, Detlev Marpe,Heiko Schwarz,Thomas Wiegand, "Context−Based Adaptive Binary Arithmetic Coding in the H.264/AVC Video Compression Standard", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VUDEI TECHNOLOGY, 200307, VOL13,NO.7, pp.620−636 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010212817A (ja) * 2009-03-06 2010-09-24 Panasonic Corp 画像復号化装置および画像復号化方法

Also Published As

Publication number Publication date
KR100801364B1 (ko) 2008-02-05
CN1875545A (zh) 2006-12-06
WO2005041420A1 (ja) 2005-05-06
EP1684435A1 (en) 2006-07-26
JP4677901B2 (ja) 2011-04-27
US7301485B2 (en) 2007-11-27
TW200518481A (en) 2005-06-01
CN100566178C (zh) 2009-12-02
EP1684435A4 (en) 2007-01-10
TWI311870B (ja) 2009-07-01
KR20060064008A (ko) 2006-06-12
US20070040708A1 (en) 2007-02-22

Similar Documents

Publication Publication Date Title
US10045034B2 (en) System and method for using pattern vectors for video and image coding and decoding
US9338478B2 (en) Video compression using multiple variable length coding methods for multiple types of transform coefficient blocks
US10489426B2 (en) Category-prefixed data batching of coded media data in multiple categories
EP3270591B1 (en) Modified coding for a transform skipped block for cabac in hevc
US9774863B2 (en) Video decoder with enhanced CABAC decoding
JP5027936B2 (ja) 適応スキャン順序付けのための方法、記録媒体、プログラム、及び処理装置。
US6925126B2 (en) Dynamic complexity prediction and regulation of MPEG2 decoding in a media processor
US5453799A (en) Unified motion estimation architecture
KR101157055B1 (ko) 복호 장치 및 복호 방법
US8401321B2 (en) Method and apparatus for context adaptive binary arithmetic coding and decoding
US6654503B1 (en) Block-based, adaptive, lossless image coder
KR100648258B1 (ko) 고속의 디코딩을 수행하는 파이프라인 구조의 내용 기반적응적 이진 산술 디코더
KR100468844B1 (ko) 정지영상 및 동영상을 부호화/복호화하기 위한변환계수들의 최적주사방법
US8406307B2 (en) Entropy coding/decoding of hierarchically organized data
US7843998B2 (en) Method for improved entropy coding
US7932843B2 (en) Parallel CABAC decoding for video decompression
US7190289B2 (en) Signal encoding method, signal decoding method, signal encoding apparatus, signal decoding apparatus, signal encoding program, and signal decoding program
JP4920034B2 (ja) マルチスレッドsimd処理を利用したメディア符号化の並列実行
US9332270B2 (en) Apparatus capable of performing both block-matching motion compensation and global motion compensation and method thereof
US10638159B2 (en) Method for producing video coding and programme-product
DE60027955T2 (de) Verfahren und Vorrichtung zur kontextbasierten Inter/Intra Kodierungsmodeauswahl
TWI344797B (en) System and method for compressing digital data
US20160165234A1 (en) Modified coding for a transform skipped block for cabac in hevc
US6925119B2 (en) Process and system for the compression of digital video signals, a system and a computer program product therefor
US7688895B2 (en) Method and/or circuit for binary arithmetic decoding decisions before termination

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070710

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100915

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110117

R150 Certificate of patent or registration of utility model

Ref document number: 4677901

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140210

Year of fee payment: 3