JP3992303B2 - 信号圧縮装置と信号伸長装置および信号圧縮方法と信号伸長方法 - Google Patents

信号圧縮装置と信号伸長装置および信号圧縮方法と信号伸長方法 Download PDF

Info

Publication number
JP3992303B2
JP3992303B2 JP15631395A JP15631395A JP3992303B2 JP 3992303 B2 JP3992303 B2 JP 3992303B2 JP 15631395 A JP15631395 A JP 15631395A JP 15631395 A JP15631395 A JP 15631395A JP 3992303 B2 JP3992303 B2 JP 3992303B2
Authority
JP
Japan
Prior art keywords
data
variable length
code
variable
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP15631395A
Other languages
English (en)
Other versions
JPH099261A (ja
Inventor
卓也 北村
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP15631395A priority Critical patent/JP3992303B2/ja
Publication of JPH099261A publication Critical patent/JPH099261A/ja
Application granted granted Critical
Publication of JP3992303B2 publication Critical patent/JP3992303B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Description

【0001】
【産業上の利用分野】
この発明は、信号圧縮装置と信号伸長装置および信号圧縮方法と信号伸長方法に関する。詳しくは、可変長符号化したときの符号量が、入力サンプルデータの符号量よりも多くなるようなときは、可変長符号データの代わりに入力サンプルデータそのものを圧縮データとして使用することにより、平均的な伝送符号量の削減を図れるようにしたものである。
【0002】
【従来の技術】
現在、ディジタル信号のビットリダクション技術では主としてエントロピー符号化と呼ばれる技術が使われている。エントロピー符号化とは入力信号を周波数変換等の変換を施した後、統計的に多く現れる信号に対してより短い符号長を割り当てることによって符号量を削減しようとするものである。
【0003】
すなわち信号情報の性質、特に周波数特性をもとに、統計的に多く出現するシンボルには短いコードを割り当て、あまり出現しないシンボルには長いコードを割り当てることにより、平均として符号量を減少させるようにしている。
【0004】
このようなデータ圧縮処理を実現するためには一般に入力サンプル面(二次元の空間面)の画素情報を単位ブロック化し、それらに対して離散余弦変換(DCT)などの直交変換処理を施し、その後量子化したものを可変長符号化(エントロピー符号化)する処理が行なわれる。
【0005】
【発明が解決しようとする課題】
入力データを可変長符号化するに当たっては、場合によってはDCT入力の空間面のデータ量よりも符号量が増えることがある。例えば、DCT化したときの複数のブロックデータ(例えば64個の空間面データ)のうち1つが非ゼロで、残り全てがゼロであるようなインパルス信号の場合には、入力サンプル面つまり周波数面データは全てのDCT係数が非ゼロになってしまう。これは後述する式(1)より明らかである。
【0006】
このようなインパルス信号は自然画ではあまり見られないが、文字をスーパーインポーズする場合やコンピュータグラフィックス等の画像処理系ではよく見受けられる信号である。このような画像を圧縮するとき、可変長符号化時のゼロラン値(後述する)を稼ぐためには量子化ステップを大きな値にする必要があり、これによって符号量が多くなってしまう。量子化ステップが大きくなることから量子化誤差が目立つようになり、結果として得られる画質が劣化してしまう。
【0007】
そこで、この発明はこのような従来の課題を解決したものであって、平均的な符号量の減少を図れるようにすると共に、画質劣化も改善できるようにしたものである。
【0008】
【課題を解決するための手段】
この発明に係る信号圧縮装置は、入力サンプルデータの原サンプル面の画素情報をブロック化して、該ブロック化された画素情報を直交変換する直交変換手段と、直交変換されたデータを量子化する量子化手段と、量子化されたデータを可変長符号化したときの符号長を計測する可変長符号長計測手段と、量子化されたデータを可変長符号長計測手段で符号長を計測するまで遅延させる第1のレジスタと、ブロック化された画素情報を第1のレジスタからの出力される量子化されたデータとタイミング合わせする第2のレジスタと、可変長符号長計測手段の計測結果に基づき、計測された符号長がブロック化された画素情報のデータ量よりも多いときに、第1のレジスタから出力される量子化されたデータの可変長符号化データに代えて、第2のレジスタから出力されるブロック化された画素情報そのものを、可変長符号化データと入力サンプルデータとを識別する識別子とともに出力する可変長符号化手段を有するものである。また、この発明に係る信号圧縮方法は、入力サンプルデータの原サンプル面の画素情報をブロック化して、該ブロック化された画素情報を直交変換する直交変換工程と、直交変換されたデータを量子化する量子化工程と、量子化されたデータを可変長符号化したときの符号長を計測する可変長符号長計測工程と、量子化されたデータを可変長符号長計測手段で符号長を計測するまで遅延させる第1の遅延工程と、ブロック化された画素情報を第1のレジスタからの出力される量子化されたデータとタイミング合わせする第2の遅延工程と、可変長符号長計測工程の計測結果に基づき、計測された符号長がブロック化された画素情報のデータ量よりも多いときに、第1の遅延工程で出力される量子化されたデータの可変長符号化データに代えて、第2の遅延工程で出力されるブロック化された画素情報そのものを、可変長符号化データと入力サンプルデータとを識別する識別子とともに出力する可変長符号化工程を有する
【0009】
この発明に係る信号伸長装置は、可変長符号化データと入力サンプルデータとの識別子を入力ビットストリームから検出する識別子検出手段と、識別子検出手段の検出結果に基づき、入力ビットストリームの可変長符号化データに対してのみ可変長復号化処理を行い、入力ビットストリームの入力サンプルデータは可変長復号化処理を行うことなく出力する可変長復号化手段と、可変長復号化手段で復号化されたデータを逆量子化する逆量子化手段と、逆量子化手段で逆量子化されたデータを直交逆変換する直交逆変換手段と、可変長復号化手段で復号化されことなく出力されたデータを、逆量子化と直交逆変換の処理時間だけ遅延させるレジスタと、直交逆変換で得られたデータとレジスタで遅延されたデータを逆ブロック化してサンプル面データに変換するデブロッキング手段を有する ものである。また、この発明に係る信号伸長方法は、可変長符号化データと入力サンプルデータとの識別子を入力ビットストリームから検出する識別子検出工程と、識別子検出工程の検出結果に基づき、入力ビットストリームの可変長符号化データに対してのみ可変長復号化処理を行い、入力ビットストリームの入力サンプルデータは可変長復号化処理を行うことなく出力する可変長復号化工程と、可変長復号化手段で復号化されたデータを逆量子化する逆量子化工程と、逆量子化手段で逆量子化されたデータを直交逆変換する直交逆変換工程と、可変長復号化手段で復号化されことなく出力されたデータを、逆量子化と直交逆変換の処理時間だけ遅延させる遅延工程と、直交逆変換で得られたデータと遅延されたデータを逆ブロック化してサンプル面データに変換するデブロッキング工程を有するものである。
【0010】
【作用】
請求項1はいわゆるエンコーダに関するものである。エントロピー符号化した可変長符号量が単位入力サンプル面のデータ量よりも多いときは、可変長符号化データに代えて入力サンプルデータそのものを圧縮データとして用いる。入力サンプルデータを用いることにより平均的な符号量が減少する。可変長符号化データと入力サンプルデータとが混在するため、両者の識別を容易にするための識別子(つまりノンコード符号)が付加されてデータストリームとなされる。
【0011】
請求項7はデコーダに関するものである。入力ビットストリーム中に可変長符号化データと入力サンプルデータとが混在するとき、可変長符号化データに対しては元の非圧縮データに変換する処理が施される。入力サンプルデータに対してはそのまま非圧縮データとして使用する。両者の識別は上述した識別子に基づいて行なわれる。
【0012】
【実施例】
続いてこの発明に係る信号圧縮装置および信号伸長装置の一例を図面を参照して詳細に説明する。
【0013】
図1は信号圧縮装置10の一例を示す。以下説明する例はMPEG(Moving Picture coding Experts Group)などで用いられている離散余弦変換(DCT変換)を用いたビットリダクションについて説明する。MPEGでは実際には動き補償技術を用いてフレーム間差分を求めることも行なっているが、ここでは説明を簡単にするため所謂イントラピクチャの処理(フレーム内処理)について示す。
【0014】
そのためのエンコード処理の代表例はブロッキング処理、DCT変換処理、量子化処理および可変長符号化処理(VLC処理)であって、これと対応するように図1に示す信号圧縮装置(エンコーダ)10にはブロッキング回路20、DCT変換回路30、量子化回路40、可変長符号化回路60などが設けられている。図面を参照しながらそれぞれの処理について説明する。
【0015】
DCT変換処理はある決められた大きさのブロック状の画素について行なわれる。JPEG(Joint Photographic coding Experts Group)やMPEG内部の処理単位は8×8画素の1ブロック単位である。それに対し、対象とする入力画像は、例えば、MPEG2のMP@MLでは1フレーム720×480画素から構成されるため、図2のように入力画像(フレームデータ)をブロック(8×8画素)ごとに分割する処理が必要となる。
【0016】
ブロッキング処理を実現するブロッキング回路20の一例を図3に示す。ブロッキング回路20は2つのRAM21,22を有する。一方例えばRAM22が書き込み状態にあるときは、もう片方のRAM21は読み出し状態に制御される。書き込み側は所謂ラスタスキャンのデータをメモリ上に格納するアドレスを受け、読み出し側は図2のようなブロックを構成するようなアドレスを受ける。これらのアドレスは書き込みアドレス発生回路23,読み出しアドレス発生回路24にて発生される。これらの発生回路23,24は周知のように適当なカウンタ回路とROMで実現できる。
【0017】
RAM22が書き込み状態にあるときは、RAM21が読み出し状態となるようにアドレス切り替え用のスイッチSWa,SWbが制御され、また書き込みパルス(イネーブルパルス)を与えるスイッチSWcが制御される。RAM21,22からの出力もスイッチSWdで切り替えられる。これらの切り替えは同期して行なわれるものであって、端子25に供給される切り替えパルスによって制御される。
【0018】
入力画像データを分割したブロックについてそれぞれDCT変換が行なわれる。DCT変換は二次元のフーリエ変換と同様に、二次元的な画素情報(空間面情報)から二次元的な周波数成分情報(周波数面情報)への変換である。図4(A)に示すように各画素に二次元配列変数f(*,*)を割り当てたとき、図4(B)のデータ(DCT係数)F(*,*)に変換するには式(1)に示す演算を行なえばよいことが知られている。
【0019】
【数1】
【0020】
この結果、DCT係数F(*,*)は左から右方向に行くに従い水平周波数の高い成分が、上から下方向に行くに従い垂直周波数の高い成分が現れることになる。F(0,*)は垂直周波数がゼロ即ちDCであり、F(*,0)は水平周波数がゼロ即ちDCとなる。F(0,0)は水平、垂直周波数の両方がDCとなり、そのブロックの画素平均値となる。式(1)より分かるように無理数を乗じて加算するため、DCT係数は入力画像データのビット数よりも出力ビット数が長くなる。因みに、MPEGでは入力のダイナミックレンジ8ビットに対し、出力のダイナミックレンジは12ビットになる。DCT変換回路の具体的なハード構成に付いては高速アルゴリズム等がすでに発表されているので、その説明は割愛する。
【0021】
自然画のような入力画像では、画像データの周波数分布の特徴により、DCT変換の結果は成分に偏りが出る。例えばDC等の低い周波数成分に振幅の大きなデータが集まり、高い周波数成分はゼロに近い小さな値となる。DC係数以外つまりAC係数は一般にラプラス分布を示し、振幅の小さいものの割合が大きくなる。この性質(出力の偏り)を利用してビットリダクションが行なわれるが、通常このビットリダクションの前に量子化処理が行なわれる。
【0022】
量子化とはDCT係数をある数で割って丸める処理を言う。図5は量子化器40の具体例である。量子化器40には除算器42が設けられ、端子40aからの入力データ(DCT係数:絶対値)が端子40bに与えられた量子化ステップ値で割り算され、除算結果である商と小数点以下の情報がそれぞれ丸め回路44に供給される。
【0023】
多くの場合丸めとして四捨五入が使われている。除算処理や丸め処理は符号つき絶対値の方が扱い易いため、この実現例では符号つき絶対値で扱っている。したがって入力した符号データはそのまま出力され、また除算器42で割ったときに得られる小数点の絶対値が0.5以上ならば加算器45において商の絶対値が1だけ増やされ、0.5未満ならばそのままにして整数値として出力される。スイッチ46はこの1若しくは0の値を加算器45に与えるためのスイッチであり、小数点情報に基づいて制御される。
【0024】
量子化することにより自然画のような画では、図4(B)に示すDCT係数の高周波成分に相当する量子化レベル(量子化した結果)はゼロが頻出する。その結果、エンコードした後の符号量は減少する。そして後述するように量子化のための割る数(量子化ステップ)を増減して所望の符号量になるように制御される。量子化ステップを大きくすると符号量は減少する反面、エンコード後の出力画像の画質が劣化する。これは量子化処理で量子化誤差を持ち、その誤差は量子化ステップに比例するからである。
【0025】
量子化レベルは図1に示すように可変長符号化される。MPEG等ではDC以外の量子化レベルについてゼロランとエントロピー符号化を組み合わせた二次元符号化で符号化(VLC)を行なっている。二次元のDCT係数は図6に示すようにジグザグスキャンされて一次元に並べ変えられる。一次元データは次のようになる。
F(0,1),F(1,0),F(2,0),F(1,1),F(0,2),
F(0,3),F(1,2),・・・・・・・・
F(5,7),F(6,7),F(7,6),F(7,7)
このジグザグスキャンによって図7のようにゼロが連続して現れるが、連続するゼロの個数が符号化される。つまりゼロラン符号化が行なわれる。このゼロラン符号化によって効率良く圧縮できる。
【0026】
さらに、自然画のような画では非ゼロの成分は振幅の小さいものほど出現する確率が高くなるような出力の偏りが生ずるためデータの符号化に当たってはエントロピー符号化が利用される。エントロピー符号化では振幅の小さいものに対してより短い符号語を割り当て、振幅の大きいものに対してはより長い符号語を割り当てる。
【0027】
そして、ゼロの続く数とその次の非ゼロ値がエントロピー符号化される。
二次元符号化のときに使用されるVLCテーブルの一例を図8に示す。このVLCテーブルは自然画等の統計データを元に作られている。EOBとは「この係数以降ジグザグスキャンの最後まで非ゼロ値は出ない」ことを表す。量子化レベルが図7のようなデータ値であるとき、ジグザグスキャンした後のデータは次のような配列となる。
「0,0,0,1,−2,0,0,0,−1,0,1,0,0,0,−1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0」
これを(ラン、非ゼロ値)のシンボルで表すと、
「(3,1),(0,−2),(3,−1),(1,1),(3,−1),(EOB)」
となる。このシンボルをVLCテーブルを利用してバイナリー表示すると、
「001110 01001 001111 0110 001111 10」となる。これをMSBビットを先頭ビットとして8ビットずつ切り出しヘキサデシマル表示すると、
「3927b1f0」
となる。これがビットストリームとなる。
【0028】
以上のような可変長符号化処理を行なうための可変長符号化回路(VLC回路)60の具体例を図9に示す。
【0029】
図9において、ゼロランカウンタ62は入力データ(量子化レベル)がゼロである事象が連続した回数をカウントするもので、入力データが非ゼロ値のときに同期クリアされる。したがってノア回路61より出力された入力データでカウントアップし、オア回路62より出力された入力データでクリアされる。その結果、ゼロランカウンタ62の出力である「ゼロラン値」と入力データそのものとで二次元事象が構成される。
【0030】
この二次元事象は2つのROM64,65に与えられ、符号長ROM64からは二次元事象の符号長が出力され、符号語ROM65からは二次元事象の符号語がビット詰めして出力される。符号長データはアドレス発生回路66に入力される。
【0031】
アドレス発生回路66からは符号長データの積算値がアドレスデータとして出力される。アドレス発生回路66は、図示しないが適当な累算器と簡単なロジックで構成されたものを使用することができる。
【0032】
アドレスデータによってRAM68のアドレスがコントロールされると共にバレルシフタ67のシフト量が制御される。バレルシフタ67によって直前の符号語の最後に、現在の符号語の先頭が繋がるように符号語ROM65からの出力符号語がシフトされる。
【0033】
RAM68はread-modify-write用として使用される。つまり、頭出しされた現在の符号語と、直前の符号語が書かれたアドレスのRAMデータをフィードバックしてビットごとにセレクトする。つまり、直前の符号の占めるビット分はフィードバック系側に、それ以外のビットは符号語ROM65側に切り替わる。こうして、直前の符号に結合した形の現在のVLCデータがRAM68に書き込まれる。
【0034】
この処理がEOBまで繰り返えされてRAM68にエンコードしたビットストリームが蓄えられ、後にRAM68の内容を順次読み出すことによって出力ビットストリームが得られる。
【0035】
上述したようにこの発明では取り扱う入力画像によっては、可変長符号化された符号量が入力サンプルデータ量よりも多くなることが予想され、その場合には平均的な符号量が増えてしまうことを考慮して、可変長符号化された符号量と入力サンプルデータ量との多少をブロック単位で比較し、可変長符号化された符号量が入力サンプルデータ量を越えるときには入力サンプルデータそのもの(圧縮されていない生のデータつまりノンコーディックデータであって固定長)を伝送データとして使用するようにしたものである。
【0036】
その結果、伝送データを構成するビットストリームにはコーディックデータ((DCT+量子化+VLC)処理されたブロックデータ)と固定長のノンコーディックデータとが混在することになり、両者を識別するための識別子(ノンコード符号という)がビットストリーム中に多重される。
【0037】
仮にこのノンコード符号の符号長をAビットとし、ブロックのデータサンプル数を8×8=64、入力サンプルデータは8ビットであるとする。そうした場合、可変長符号化した後の符号長を常にモニタし、もし、この符号長Xが、X〉A+64×8
であるときは、ノンコード符号Aと共にノンコードデータ(入力サンプルデータ)(=64×8ビット)を伝送するようにしたものである。ノンコード符号Aとしては1ビット以上の適当なビット数を当てることができる。
【0038】
以上の処理を実現するため、図1に示すように可変長符号化回路60の前段にはVLC符号長計測回路80が設けられる。そして、可変長符号化回路60には時間合わせのレジスタ50を通過した量子化レベルと、さらにブロッキング回路20のブロックデータ(ノンコーディックデータ)が時間合わせのレジスタ55を介してそれぞれ供給される。レジスタ50は計測回路80で符号長を測定するまで入力データを遅延させるためのもので、レジスタ55はレジスタ50の出力データとタイミングを合わせるために使用される。
【0039】
可変長符号化回路60ではノンコード処理に応じてノンコーディックデータとコーディックデータとの切り替えとノンコード符号Aの多重処理が行なわれる。そのため、ノン−コード処理に対応して可変長符号化回路60には図9のように複数のスイッチ70,71が設けられる。端子80aには計測回路80より出力されたノンコード切り替え信号が供給される。端子72には固定長符号が与えられる。そして、可変長符号長が長いときには符号語ROM65からのノンコード符号Aがスイッチ70によって選択され、符号長ROM64側ではスイッチ71を用いてノンコード用の固定符号長に切り替えられる。レジスタ55より出力されたノンコーディックデータがスイッチ70によって選択される。
【0040】
図10は上述した可変長符号長計測回路80の具体例である。この計測回路80にもゼロランカウンタ82が設けられ、ノア回路81の出力でカウントアップされ、オア回路83の出力でリセットされることで、ゼロラン値が求められる。このゼロラン値と非ゼロ値が符号長ROM84に供給されて入力データの符号長が算出される。符号長を示すデータはブロック長積算回路85に積算され、その値が判定基準Xと比較器86で比較され、その比較結果がノンコード切り替え信号となる。
【0041】
コーディックデータとノンコーディックデータとが混在したビットストリームよりデータをデコードするための処理系が図11以降に示されている。図11はこの発明に適用できる信号伸長装置(デコーダ)100の具体例である。
【0042】
デコード側ではノン−コード符号をビットストリーム上に認めた場合は一般のデコードの処理をせずにそのままサンプルデータとして出力することにより、さきのビットストリームをデコードすることができる。
【0043】
そのため、図11に示すように入力ビットストリームは可変長復号化回路(VLD回路)110で解読され、通常のデータ(コーディックデータ)であるときは逆量子化器120を経て、離散余弦逆変換回路(IDCT回路)140に入って空間面のブロックデータに変換される。
【0044】
これに対してノンコーディックデータであるときはFIFO構成のレジスタ145で上述した通常処理の時間合わせのために所定時間遅延された後セレクタ119に送られる。
【0045】
VLD回路110でノンコード符号Aが検出されたときはセレクタ119がノンコード側に切り替えられてノンコードで伝送されたブロックデータがデブロッキング回路150に送られる。ノンコード符号Aが検出されないときはセレクタ119が通常処理系に切り替えられて通常処理系の結果がデブロッキング回路150に導びかれる。
【0046】
VLD回路110では量子化後のデータが再現される。先の例でいえば、
「3927b1f0」
の入力に対してジグザグスキャンした後のデータ
「0,0,0,1,−2,0,0,0,−1,0,1,0,0,0,−1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0」
が出力される。
【0047】
図12はこのVLD回路110の一例を示す。入力データはRAM111に蓄えられる。1符号語ずつデコードしていくため、今までデコードした総符号長より、現在デコードすべき符号語のアドレスをアドレス発生回路115によって求め、そのアドレス値がRAM111に与えられる。次に今までデコードした総符号長より現在デコードすべき符号語の先頭位置がアドレス発生回路115で分かるので、これを求めてバレルシフタ112に与え、現在デコードすべき符号語の頭出しが行なわれる。頭出しされた符号語は2つのROM113,114に供給される。一方のROM113は符号語から符号長を出力する逆符号長ROMであり、もう一方のROM114は符号語から二次元事象であるゼロラン値と非ゼロ値を出力する逆符号語ROMである。
【0048】
逆符号長ROM113により現在の符号語の符号長を求めて、アドレス発生回路115に与える。アドレス発生回路115では次の符号語のRAM111上のアドレスとバレルシフタ112へのシフト量が算出される。逆符号語ROM114により求められたゼロラン値はゼロランカウンタ116にロードされ、このカウンタ116がデクリメントして0になるまでセレクタ118を”0”側に倒して、ゼロラン値の個数に相当するゼロを出力する。
【0049】
ゼロランカウンタ116がゼロになるとセレクタ118が”1”側となって逆符号語ROM114から出力される非ゼロ値がセレクトされて出力される。
ゼロランカウンタ116が動作している間はアドレス回路115は動作しないようにゼロランカウンタ116の出力で制御される。
【0050】
一方、ノンコード符号検出回路117でノンコード符号Aの存在が確認されると、それ以降のデータブロックは全て固定長のデータであると判断し、スイッチ121が切り替えられてアドレス発生回路115には固定符号長(固定値)が送られる。これと同時に、スイッチ118がバレルシフタ112側に切り替えられてバレルシフタ出力がそのまま出力される。つまりノンコーディックデータが選択される。
【0051】
ノンコード符号検出回路117はブロック毎にクリアされるようにし、一度ノンコードであると判断したら、当該ブロックが終了するまでノンコード処理をが継続される。
【0052】
逆量子化はエンコード側の量子化と逆の処理である。VLD回路110からの出力に量子化ステップを乗ずることによって逆量子化出力を得ることができる。図13は逆量子化回路120の具体例であって乗算器122のみで構成される。端子124よりデコードされた量子化データ(絶対値データ)が供給され、端子126よりの量子化ステップを乗算することによって逆量子化データが求められる。
【0053】
IDCT処理はDCT処理とは逆の処理であり、この逆処理により周波数面の情報であったブロックデータから空間面のブロックデータが得られる。IDCT処理は(2)式に示す演算で実現できる。
【0054】
【数2】
【0055】
デブロッキング処理はブロックデータの形からフレームデータに戻す処理であって、この処理によって再生画像データが得られる。
【0056】
なお、上述した処理は現在使われているMPEG等の符号化にすぐ使えるわけではない。というのは上述したノン−コード符号がビットストリーム上に定義されていないからである。これを勝手に定義するのは互換性の点で認められない。したがって上述した処理によって得られるビットストリームは新フォーマットのビットストリームである。
【0057】
上述した処理の変形例を以下に説明する。
【0058】
1.上述した説明ではDCTブロック毎に圧縮するか圧縮しないかを判断したが、その判断単位としてはマクロブロック単位、スライス単位、ピクチャ単位などを利用できる。
【0059】
2.上述した説明ではイントラ処理について述べていたが、MPEG等でいうところのインター処理(フレーム間処理)にも適用できる。
【0060】
3.上述した説明では、画像信号のビットリダクションについて述べたが、音声等、他の信号に関するビットリダクションにも適用できる。
【0061】
4.上述した説明では、直交変換処理としてDCTを用いた、いわゆる変換符号化によるビットリダクションについて述べたが、エントロピー符号化を用いたものならば全てに適用可能である。
【0062】
5.上述した説明では、エンコード側(圧縮装置側)ではブロッキング処理が含まれているが、必要に応じてブロッキング処理やデブロッキング処理を省くことも可能である。
【0063】
【発明の効果】
以上説明したようにこの発明では、エントロピー符号化を利用したビットリダクションによる信号圧縮・伸長処理において、符号量がある値を越える部分については、入力データそのものを伝送するようにしたため、平均的な符号長を削減でき、伝送効率を改善できる特徴を有する。したがってこの発明は画像などの圧縮・伸長装置に適用して極めて好適である。
【図面の簡単な説明】
【図1】この発明に係る信号圧縮装置の一例を示す系統図である。
【図2】ブロッキング処理を説明するための図である。
【図3】ブロッキング回路の一例を示す系統図である。
【図4】DCT処理とIDCT処理の説明図である。
【図5】量子化器の一例を示す系統図である。
【図6】ジグザグスキャン例を示す図である。
【図7】ジグザグスキャン時の具体的数値例を示す図である。
【図8】二次元符号化のためのVLCテーブル例を示す図である。
【図9】可変長符号化回路の一例を示す系統図である。
【図10】可変長符号長計測回路の一例を示す系統図である。
【図11】この発明を適用した信号伸長装置の一例を示す系統図である。
【図12】可変長符号化回路の一例を示す系統図である。
【図13】逆量子化器の一例を示す系統図である。
【符号の説明】
10 信号圧縮装置
30 DCT回路
40 量子化器
60 可変長符号化回路
80 符号長計測回路
62 ゼロランカウンタ
64 符号長ROM
65 符号語ROM
100 信号伸長回路
110 可変長復号化回路
120 逆量子化器
140 IDCT回路

Claims (8)

  1. 入力サンプルデータの原サンプル面の画素情報をブロック化して、該ブロック化された画素情報を直交変換する直交変換手段と、
    上記直交変換されたデータを量子化する量子化手段と、
    上記量子化されたデータを可変長符号化したときの符号長を計測する可変長符号長計測手段と、
    上記量子化されたデータを上記可変長符号長計測手段で符号長を計測するまで遅延させる第1のレジスタと、
    上記ブロック化された画素情報を上記第1のレジスタからの出力される上記量子化されたデータとタイミング合わせする第2のレジスタと、
    上記可変長符号長計測手段の計測結果に基づき、上記計測された符号長が上記ブロック化された画素情報のデータ量よりも多いときに、上記第1のレジスタから出力される上記量子化されたデータの可変長符号化データに代えて、上記第2のレジスタから出力される上記ブロック化された画素情報そのものを、上記可変長符号化データと上記入力サンプルデータとを識別する識別子とともに出力する可変長符号化手段を有する
    ことを特徴とする信号圧縮装置。
  2. 上記直交変換手段としては、離散余弦変換手段が使用されたことを特徴とする請求項1記載の信号圧縮装置。
  3. 上記可変長符号化手段は、上記可変長符号化データと上記ブロック化された画素情報及び上記識別子とを混在するように、ビットストリームを生成して出力することを特徴とする請求項1記載の信号圧縮装置。
  4. 上記可変長符号化データの符号量が、入力サンプルデータに上記識別子を加えたときの符号量よりも大きいときに上記入力サンプルデータが選択されるようになされたことを特徴とする請求項1記載の信号圧縮装置。
  5. 上記符号長は、DCTブロック単位、マクロブロック単位、スライス単位、ピクチャー単位の何れかでブロック化したときの符号長であることを特徴とする請求項1記載の信号圧縮装置。
  6. 入力サンプルデータの原サンプル面の画素情報をブロック化して、該ブロック化された画素情報を直交変換する直交変換工程と、
    上記直交変換されたデータを量子化する量子化工程と、
    上記量子化されたデータを可変長符号化したときの符号長を計測する可変長符号長計測工程と、
    上記量子化されたデータを上記可変長符号長計測手段で符号長を計測するまで遅延させる第1の遅延工程と、
    上記ブロック化された画素情報を上記第1のレジスタからの出力される上記量子化されたデータとタイミング合わせする第2の遅延工程と、
    上記可変長符号長計測工程の計測結果に基づき、上記計測された符号長が上記ブロック化された画素情報のデータ量よりも多いときに、上記第1の遅延工程で出力される上記量子化されたデータの可変長符号化データに代えて、上記第2の遅延工程で出力される上記ブロック化された画素情報そのものを、上記可変長符号化データと上記入力サンプルデータとを識別する識別子とともに出力する可変長符号化工程を有する
    ことを特徴とする信号圧縮方法。
  7. 可変長符号化データと入力サンプルデータとの識別子を入力ビットストリームから検出する識別子検出手段と、
    上記識別子検出手段の検出結果に基づき、上記入力ビットストリームの可変長符号化データに対してのみ可変長復号化処理を行い、上記入力ビットストリームの入力サンプルデータは可変長復号化処理を行うことなく出力する可変長復号化手段と、
    上記可変長復号化手段で復号化されたデータを逆量子化する逆量子化手段と、
    上記逆量子化手段で逆量子化されたデータを直交逆変換する直交逆変換手段と、
    上記可変長復号化手段で復号化されことなく出力されたデータを、上記逆量子化と上記直交逆変換の処理時間だけ遅延させるレジスタと、
    上記直交逆変換で得られたデータと上記レジスタで遅延されたデータを逆ブロック化してサンプル面データに変換するデブロッキング手段を有する
    ことを特徴とする信号伸長装置。
  8. 可変長符号化データと入力サンプルデータとの識別子を入力ビットストリームから検出する識別子検出工程と、
    上記識別子検出工程の検出結果に基づき、上記入力ビットストリームの可変長符号化データに対してのみ可変長復号化処理を行い、上記入力ビットストリームの入力サンプルデータは可変長復号化処理を行うことなく出力する可変長復号化工程と、
    上記可変長復号化手段で復号化されたデータを逆量子化する逆量子化工程と、
    上記逆量子化手段で逆量子化されたデータを直交逆変換する直交逆変換工程と、
    上記可変長復号化手段で復号化されことなく出力されたデータを、上記逆量子化と上記直交逆変換の処理時間だけ遅延させる遅延工程と、
    上記直交逆変換で得られたデータと上記遅延されたデータを逆ブロック化してサンプル面データに変換するデブロッキング工程を有する
    ことを特徴とする信号伸長方法。
JP15631395A 1995-06-22 1995-06-22 信号圧縮装置と信号伸長装置および信号圧縮方法と信号伸長方法 Expired - Lifetime JP3992303B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP15631395A JP3992303B2 (ja) 1995-06-22 1995-06-22 信号圧縮装置と信号伸長装置および信号圧縮方法と信号伸長方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP15631395A JP3992303B2 (ja) 1995-06-22 1995-06-22 信号圧縮装置と信号伸長装置および信号圧縮方法と信号伸長方法
EP19960304470 EP0750427A3 (en) 1995-06-22 1996-06-17 Signal compression and/or expansion devices
US08/670,777 US5774594A (en) 1995-06-22 1996-06-20 Signal compression device

Publications (2)

Publication Number Publication Date
JPH099261A JPH099261A (ja) 1997-01-10
JP3992303B2 true JP3992303B2 (ja) 2007-10-17

Family

ID=15625076

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15631395A Expired - Lifetime JP3992303B2 (ja) 1995-06-22 1995-06-22 信号圧縮装置と信号伸長装置および信号圧縮方法と信号伸長方法

Country Status (3)

Country Link
US (1) US5774594A (ja)
EP (1) EP0750427A3 (ja)
JP (1) JP3992303B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012096201A1 (ja) 2011-01-11 2012-07-19 ソニー株式会社 画像処理装置および方法

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100346740B1 (ko) * 1996-09-21 2002-09-18 삼성전자 주식회사 이산코사인변환계수예측방법
FI103003B1 (fi) 1997-06-13 1999-03-31 Nokia Mobile Phones Ltd Suodatusmenetelmä, suodatin ja matkaviestinpääte
JP4368575B2 (ja) 2002-04-19 2009-11-18 パナソニック株式会社 可変長復号化方法、可変長復号化装置およびプログラム
JP2004007251A (ja) * 2002-05-31 2004-01-08 Fuji Xerox Co Ltd 画像処理装置
JP4240283B2 (ja) * 2002-10-10 2009-03-18 ソニー株式会社 復号装置及び復号方法
US7212681B1 (en) 2003-01-15 2007-05-01 Cisco Technology, Inc. Extension of two-dimensional variable length coding for image compression
US7194137B2 (en) * 2003-05-16 2007-03-20 Cisco Technology, Inc. Variable length coding method and apparatus for video compression
EP1538844A3 (en) 2003-11-26 2006-05-31 Samsung Electronics Co., Ltd. Color image residue transformation and encoding method
US7680349B2 (en) * 2004-08-18 2010-03-16 Cisco Technology, Inc. Variable length coding for clustered transform coefficients in video compression
US7471841B2 (en) 2004-06-15 2008-12-30 Cisco Technology, Inc. Adaptive breakpoint for hybrid variable length coding
US7454073B2 (en) * 2004-06-15 2008-11-18 Cisco Technology, Inc. Video compression using multiple variable length coding processes for multiple classes of transform coefficient blocks
US7454076B2 (en) * 2004-06-15 2008-11-18 Cisco Technology, Inc. Hybrid variable length coding method for low bit rate video coding
US7492956B2 (en) * 2004-08-18 2009-02-17 Cisco Technology, Inc. Video coding using multi-dimensional amplitude coding and 2-D non-zero/zero cluster position coding
US7620258B2 (en) * 2004-08-18 2009-11-17 Cisco Technology, Inc. Extended amplitude coding for clustered transform coefficients
US7499596B2 (en) 2004-08-18 2009-03-03 Cisco Technology, Inc. Amplitude coding for clustered transform coefficients
US7499595B2 (en) * 2004-08-18 2009-03-03 Cisco Technology, Inc. Joint amplitude and position coding for photographic image and video coding
US7471840B2 (en) * 2004-08-18 2008-12-30 Cisco Technology, Inc. Two-dimensional variable length coding of runs of zero and non-zero transform coefficients for image compression
KR100647294B1 (ko) 2004-11-09 2006-11-23 삼성전자주식회사 화상 데이터 부호화 및 복호화 방법 및 장치
KR20060042295A (ko) * 2004-11-09 2006-05-12 삼성전자주식회사 화상 데이터 부호화 및 복호화 방법 및 장치
JP2007166039A (ja) * 2005-12-09 2007-06-28 Matsushita Electric Ind Co Ltd 画像符号化装置
US7242328B1 (en) * 2006-02-03 2007-07-10 Cisco Technology, Inc. Variable length coding for sparse coefficients
JP5062320B2 (ja) * 2010-12-27 2012-10-31 ソニー株式会社 符号化装置及び符号化方法
JP5041060B2 (ja) * 2010-12-27 2012-10-03 ソニー株式会社 符号化装置及び符号化方法
JP5041061B2 (ja) * 2010-12-27 2012-10-03 ソニー株式会社 復号装置及び復号方法
JP5041062B2 (ja) * 2010-12-27 2012-10-03 ソニー株式会社 復号装置及び復号方法
JP5854612B2 (ja) * 2011-02-18 2016-02-09 ソニー株式会社 画像処理装置および方法
JP5057497B2 (ja) * 2012-06-22 2012-10-24 ソニー株式会社 復号装置及び復号方法
JP5692172B2 (ja) * 2012-06-22 2015-04-01 ソニー株式会社 復号装置、復号方法及び復号プログラム。
JP5057496B2 (ja) * 2012-06-22 2012-10-24 ソニー株式会社 符号化装置及び符号化方法
JP5057494B2 (ja) * 2012-06-22 2012-10-24 ソニー株式会社 符号化装置及び符号化方法
JP5500210B2 (ja) * 2012-06-22 2014-05-21 ソニー株式会社 符号化装置、符号化方法及び符号化プログラム
JP5057498B2 (ja) * 2012-06-22 2012-10-24 ソニー株式会社 復号装置及び復号方法
JP5057495B2 (ja) * 2012-06-22 2012-10-24 ソニー株式会社 復号装置及び復号方法
WO2017016526A1 (en) * 2015-07-30 2017-02-02 Zhejiang Dahua Technology Co., Ltd. Methods and systems for image compression

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6126737B2 (ja) * 1977-06-27 1986-06-21 Nippon Electric Co
US5121216A (en) * 1989-07-19 1992-06-09 Bell Communications Research Adaptive transform coding of still images
US5475501A (en) * 1991-09-30 1995-12-12 Sony Corporation Picture encoding and/or decoding method and apparatus
KR0150955B1 (ko) * 1992-05-27 1998-10-15 강진구 비트고정을 위한 영상압축방법과 신장방법 및 그 장치
US5982437A (en) * 1992-10-26 1999-11-09 Sony Corporation Coding method and system, and decoding method and system
US5400075A (en) * 1993-01-13 1995-03-21 Thomson Consumer Electronics, Inc. Adaptive variable length encoder/decoder
EP0687111B1 (de) * 1994-06-06 2003-08-06 sci worx GmbH Verfahren zur Codierung/Decodierung eines Datenstroms
US5553160A (en) * 1994-09-01 1996-09-03 Intel Corporation Method and apparatus for dynamically selecting an image compression process based on image size and color resolution
JPH08116447A (ja) * 1994-10-18 1996-05-07 Fuji Xerox Co Ltd 画像信号の符号化装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012096201A1 (ja) 2011-01-11 2012-07-19 ソニー株式会社 画像処理装置および方法
KR20130139323A (ko) 2011-01-11 2013-12-20 소니 주식회사 화상 처리 장치 및 방법
US9270987B2 (en) 2011-01-11 2016-02-23 Sony Corporation Image processing apparatus and method
US9894387B2 (en) 2011-01-11 2018-02-13 Sony Corporation Image processing apparatus and method
US10027987B2 (en) 2011-01-11 2018-07-17 Sony Corporation Image processing apparatus and method
KR20180089529A (ko) 2011-01-11 2018-08-08 소니 주식회사 화상 처리 장치 및 방법
KR20180089528A (ko) 2011-01-11 2018-08-08 소니 주식회사 화상 처리 장치 및 방법
KR20180132992A (ko) 2011-01-11 2018-12-12 벨로스 미디어 인터내셔널 리미티드 화상 처리 장치 및 방법
US10432976B2 (en) 2011-01-11 2019-10-01 Velos Media, Llc Image processing apparatus and method
KR20190114012A (ko) 2011-01-11 2019-10-08 벨로스 미디어 인터내셔널 리미티드 화상 처리 장치 및 방법

Also Published As

Publication number Publication date
EP0750427A3 (en) 2000-07-12
US5774594A (en) 1998-06-30
JPH099261A (ja) 1997-01-10
EP0750427A2 (en) 1996-12-27

Similar Documents

Publication Publication Date Title
US8270738B2 (en) Apparatus and method for encoding digital image data in a lossless manner
EP0987899B1 (en) Adaptive variable-length coding method for video data
AU2002316546B2 (en) Lossless intraframe encoding using golomb-rice
US6111914A (en) Adaptive entropy coding in adaptive quantization framework for video signal coding systems and processes
US8401321B2 (en) Method and apparatus for context adaptive binary arithmetic coding and decoding
US5604498A (en) Huffman decoder
CA2451604C (en) Dct compression using golomb-rice coding
KR100468844B1 (ko) 정지영상 및 동영상을 부호화/복호화하기 위한변환계수들의 최적주사방법
EP1033036B1 (en) Adaptive entropy coding in adaptive quantization framework for video signal coding systems and processes
JP3610578B2 (ja) 動画像信号を示す変換係数を逆変換する際の丸め誤差防止方法及び装置
JP3135062B2 (ja) 画像復号化方法
US6134269A (en) Fixed or adaptive deinterleaved transform coding for image coding and intra coding of video
JP4447197B2 (ja) 動画像符号化装置および動画像復号装置
KR100188427B1 (ko) 디지탈 통신시스템용 가변길이 코드워드디코더 및 그 디코딩 방법
US5838597A (en) MPEG-2 decoding with a reduced RAM requisite by ADPCM recompression before storing MPEG-2 decompressed data
JP3764457B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム
EP0595242B1 (en) Versatile escape run-level coder for digital video signal processing apparatus
US5767909A (en) Apparatus for encoding a digital video signal using an adaptive scanning technique
KR100729270B1 (ko) 이미지 및/또는 비디오 인코더 및 디코더에서의변환계수를 인코딩하는 방법 및 장치, 및 이에 대응하는컴퓨터 프로그램 및 컴퓨터로 읽을 수 있는 저장매체
US5136371A (en) Digital image coding using random scanning
US7209059B2 (en) Decoding method and encoding method
US5602549A (en) System for variable length decoding digital transmission data which has been compressed by selecting a scanning pattern
US6009203A (en) Method and apparatus for hybrid VLC bitstream decoding
US7162094B2 (en) Frequency coefficient scanning paths for coding digital video content
JP4540585B2 (ja) 符号化装置及び復号化装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040824

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041025

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050124

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050127

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20050826

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070724

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100803

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100803

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110803

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110803

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120803

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120803

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130803

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term