JP3804237B2 - 動き補償動画像符号化装置及びその方法 - Google Patents
動き補償動画像符号化装置及びその方法 Download PDFInfo
- Publication number
- JP3804237B2 JP3804237B2 JP34209197A JP34209197A JP3804237B2 JP 3804237 B2 JP3804237 B2 JP 3804237B2 JP 34209197 A JP34209197 A JP 34209197A JP 34209197 A JP34209197 A JP 34209197A JP 3804237 B2 JP3804237 B2 JP 3804237B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- motion
- prediction
- signal
- motion compensation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の属する技術分野】
画像を効率的に伝送、蓄積、表示するために、画像情報をより少ない符号量でディジタル信号にする高能率符号化復号化において、特に動画像を対象として動き補償画像間予測処理を行なうものに関する。
【0002】
【従来の技術】
<動き補償画像符号化>
動画像の高能率符号化において、画像間予測を行なう際に動きに合わせて画像の各部分をブロック毎に移動させてから予測する手法がある。この様な画像の空間的な移動処理は動き補償と呼ばれ、MPEGなど国際標準方式でも広く用いられている。
画像間予測で動き補償を用いた場合、復号化でも符号化と同じ動き補償を行なう必要があるので、画像の動きに関する情報(動きベクトル)を符号化して復号側に伝送する。
【0003】
この様な動き補償符号化において、符号化装置における動き補償の精度を動きベクトル(MV)情報の伝送規格の精度より高くしたものがある。その例は本願の特許出願人と同一出願による「動き補償予測符号化装置」(特開平8−51630号)で示されている。
この手法は動き補償の精度が不十分なために生じる画像間予測残差成分については符号化せず、画像本来の変化のみ符号化することで、符号化効率を高めるものである。
【0004】
<従来例の符号化装置1>
図5に上記の様な動き補償を行なう符号化装置の構成例を示す。
画像入力端子1から供給される画像信号は、減算器2において微小動補償(予測)器10から与えられる画像間予測信号が減算され、予測残差となってDCT3に与えられる。
DCT3は8×8画素単位で離散コサイン変換(DCT)の変換処理を行ない、得られた係数を量子化器4に与える。量子化器4は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器5と逆量子化器11とに与える。
可変長符号化器5はジグザグスキャンと呼ばれる順序で、2次元の8×8個の係数を1次元に配列変換して、係数を0の連続数と0以外の係数の値としてハフマン符号で符号化する。この様にして符号列となった画像間予測残差は多重化器6でMV符号化器51からの動きベクトル(MV)の符号列と多重化され、符号出力端子7より出力される。
【0005】
一方、逆量子化器11及び逆DCT17ではDCT3及び量子化器4の逆処理が行なわれ、画像間予測残差を再生する。得られた再生画像間予測残差は加算器16で画素精度の動き補償予測信号が加算されて再生画像となり、画像メモリ15に与えられる。画像メモリ15に蓄えられている再生画像は、画素移動器14とMV検出器13に与えられる。
MV検出器13は画素精度のMVを、入力画像と画像メモリ15の出力から16×16画素乃至8×8画素の大きさのブロック毎に求めて、その値を画素移動器14とMV符号化器51に与える。
画素移動器14は画素精度のMVに従って、再生画像を移動させ画素精度の動き補償予測信号として微小MV検出器8、微小動補償器10、及び加算器16に与える。
【0006】
微小MV検出器8は、1/2乃至1/4画素精度など画素精度より細かな精度で、再度MVを求める。対象画像は既に画素精度で動き補償されているので、得られる微小MVは画素精度MVに対する差分となり微小動補償器10に与えられる。
微小動補償器10は与えられた微少MVに基づいてリサンプリングフィルタの係数を設定し、1/2乃至1/4画素精度の動き補償予測信号を減算器2に与える。
一方、MV符号化器51は、画素精度のMVに対し符号化済みの前値(通常は左ブロックの値)と符号化対象となるブロックのベクトル値をx成分y成分毎に比較し、その差分値をハフマン符号で符号化して多重化器6に出力する。得られたMV符号列は多重化器6で、画像間予測残差の符号列と多重化される。
【0007】
<従来例の復号化装置>
図5の動き補償動画像符号化装置に対応する復号化装置について以下に説明する。図6は、その復号化装置の構成を示したものである。ここで、画素移動器14、加算器16、逆量子化器11、逆DCT17の動作は図5の符号化装置のものと同じである。
符号入力端子21より入来する符号は、多重分離器22で画像間予測残差の符号列と動きベクトルの符号列に分離され、画像間予測残差の符号列は可変長復号化器23で固定長の符号に戻され、得られた係数は逆量子化器11、逆DCT17で再生画像間予測残差となり、加算器16で画像間予測信号が加算され再生画像となる。
【0008】
この様にして得られた再生画像信号は、画像出力端子24から出力されると共に画像メモリ26に与えられる。画素移動器14は、画像メモリ26に蓄積されている画像を画素精度のMVに従って動き補償し、画像間予測信号として加算器16に与える。
一方、多重分離器22で分離されたMV符号は、MV復号化器61で可変長符号化器51の逆処理が行なわれ、得られた画素精度のMVは画素移動器14に与えられる。
【0009】
【発明が解決しようとする課題】
従来の動き補償動画像符号化装置は、予測残差を得るための動き補償と局部復号の動き補償で処理に差が大きく、絵柄により再生画像が不自然になる問題を生じた。
本発明は以上の点に着目してなされたもので、局部復号の動き補償は復号化装置と同一とし、予測残差を得るための動き補償を、精度は同一であるが画素精度より細かな精度での動き補償を高次フィルタリングにより行なうことで、予測残差を少なくして符号化効率を改善する動き補償動画像符号化及び復号化装置を提供することを目的とする。
【0010】
【課題を解決するための手段】
そこで、上記課題を解決するために本発明は、下記の装置、方法を提供するものである。
(1)入力画像信号における符号化対象画像信号を符号化して得た符号化信号を局部復号処理して再生画像信号を生成し、その再生画像信号を動き補償した画像間予測信号を用いて、前記入力画像信号における現符号化対象画像信号の画像間予測符号化を行う動き補償動画像符号化装置において、
前記入力画像信号における現符号化対象画像信号による画像の各部分の動きに対応した画素精度より細かな精度の微小動きベクトルを求める微小動きベクトル検出手段(8,13,14)と、
前記微小動きベクトルに従って生成済みの前記再生画像信号をフィルタリング処理により動き補償し、局部復号処理に用いる第1の動き補償予測信号を得る第1の動き補償手段(10,13,14)と、
前記微小動きベクトルに従って、生成済みの前記再生画像信号に対して前記第1の動き補償手段よりも高次のフィルタリング処理により前記第1の動き補償手段よりも予測確度の高い動き補償を行い、前記画像間予測信号である第2の動き補償予測信号を得る第2の動き補償手段(9,13,14)と、
前記入力画像信号における現符号化対象画像信号から前記第2の動き補償予測信号を減算した予測残差を符号化する予測符号化手段(2,3,4)と、
その符号化された予測残差を前記予測符号化手段での符号化処理とは逆の処理により復号して再生予測残差を得、その再生予測残差に前記第1の動き補償予測信号を加算して新たな再生画像信号を得る局部復号処理を行う局部復号手段(11,17,16)と、
を有することを特徴とする動き補償動画像符号化装置。
(2)入力画像信号における符号化対象画像信号を符号化して得た符号化信号を局部復号処理して再生画像信号を生成し、その再生画像信号を動き補償した画像間予測信号を用いて、前記入力画像信号における現符号化対象画像信号の画像間予測符号化を行う動き補償動画像符号化方法において、
前記入力画像信号における現符号化対象画像信号による画像の各部分の動きに対応した画素精度より細かな精度の微小動きベクトルを求める微小動きベクトル検出ステップと、
前記微小動きベクトルに従って生成済みの前記再生画像信号をフィルタリング処理により動き補償し、局部復号処理に用いる第1の動き補償予測信号を得る第1の動き補償ステップと、
前記微小動きベクトルに従って、生成済みの前記再生画像信号に対して前記第1の動き補償ステップよりも高次のフィルタリング処理により前記第1の動き補償ステップよりも予測確度の高い動き補償を行い、前記画像間予測信号である第2の動き補償予測信号を得る第2の動き補償ステップと、
前記入力画像信号における現符号化対象画像信号から前記第2の動き補償予測信号を減算した予測残差を符号化する予測符号化ステップと、
その符号化された予測残差を前記予測符号化ステップでの符号化処理とは逆の処理により復号して再生予測残差を得、その再生予測残差に前記第1の動き補償予測信号を加算して新たな再生画像信号を得る局部復号処理を行う局部復号ステップと、
を有することを特徴とする動き補償動画像符号化方法。
【0012】
( 作 用 )
本発明では、局部復号の動き補償は復号化装置と同一とすることで、復号化装置とのミスマッチは起こらないので誤差の累積は起こらない。一方、予測残差を得るための動き補償を、精度は同一であるが画素精度より細かな精度での動き補償をより予測確度の高いものとすると、予測信号の特性が改善され、確からしさが増加する。
そのため、予測残差成分が減少し発生符号量が減少する。2種類の動き補償処理結果は大きく異なるものではないので、再生画像が不自然にならなくなる。
また、画素精度より細かな精度の動き補償処理が、予測残差を得るためのものは近傍以外の画素も用いた高次のフィルタリングであり、局部復号のものが近傍の画素からの線形内挿であるので装置としての実現性が高い。
【0013】
【発明の実施の形態】
<実施例の動き補償動画像符号化装置>
本発明の動き補償動画像符号化装置の一実施例について、以下に図と共に説明する。
図1はその構成を示したもので、図5の従来例と同一構成要素には同一付番を記してある。図1には、図5と比較して高次動補償器9があり、微少動補償器10の出力の接続が異なる。本実施例において、従来例と異なるのは動き補償処理であり、画像間予測残差の符号化処理は同じである。また、MV符号化器12の動作が従来例と異なる。
【0014】
画像入力端子1から入来する画像信号は、減算器2において高次動補償器9から与えられる画像間予測信号が減算される。得られた予測残差は従来例と同様にDCT3、量子化器4、可変長符号化器5で符号化され、符号列となった画像間予測残差は多重化器6で動きベクトル(MV)の符号列と多重化され、符号出力端子7より出力される。
【0015】
一方、逆量子化器11及び逆DCT17ではDCT3及び量子化器4の逆処理が行なわれ、画像間予測残差を再生する。得られた再生画像間予測残差は加算器16で動き補償予測信号が加算され再生画像となり、画像メモリ15に与えられる。画像メモリ15に蓄えられている再生画像は、画素移動器14とMV検出器13に与えられる。
MV検出器13は画素精度のMVを、入力画像と画像メモリ15の出力から16×16画素乃至8×8画素の大きさのブロック毎に求め、その値を画素移動器14とMV符号化器12に与える。
【0016】
画素移動器14は画素精度のMVに従って、再生画像を移動させ画素精度の動き補償予測信号として微小MV検出器8、微小動補償器10、及び高次動補償器9に与える。
微小MV検出器8は、1/2乃至1/4画素精度など画素精度より細かな精度で再度MVを求める。1/4画素精度の動き補償位置と画素との関係を図3に示す。対象画像は既に画素精度で動き補償されているので、得られる微小MVは画素精度MVに対する差分となり微小動補償器10と高次動補償器9に与えられる。
【0017】
微小動補償器10と高次動補償器9は、共に与えられた微少MVに基づいてリサンプリングフィルタを設定し、微小動補償器10の出力は加算器16に、高次動補償器9の出力は減算器2に夫々与えられる。
微小動補償器10と高次動補償器9から出力される動き補償予測信号は、画素精度については同じであるが、リサンプリング処理の方法が異なる。
微小動補償器10は、近傍画素からの線形内挿(バイリニア)処理であり、高次動補償器9は近傍以外の画素も用いた高次のフィルタリング処理である。
【0018】
線形内挿は最も簡易なフィルタリングと見做すことが出来、処理は比較的簡単であるが、リサンプルされた信号の周波数特性はあまり良好ではない。
一方、高次フィルタは周波数特性が改善されるので、予測信号は線形内挿で作られたものより確からしいものとなる。
それぞれのリサンプル処理方法は図4の様な処理が行なわれる。フィルタリングは垂直と水平の2次元縦属処理となるが、図4ではその片方の次元のみを示した。
【0019】
Xa,Xb,Xc,Xd は動き補償された画素の相対位置であり、Pa,Pb,Pc,Pd は基となる画素である。
線形内挿と高次フィルタとではフィルタのタップ係数が異なるのみならず必要となる周辺画素も異なる。線形内挿は対象となる動き補償位置の周辺4画素のみが使われるが、高次フィルタではさらにその周辺の画素も使われる。
【0020】
このことは、画素移動器14の動作にも関係する。16×16(8×8)画素の動き補償予測を得るために必要となる画素数は、微小動補償器10の場合では垂直水平に1画素づつ多い17×17(9×9)画素となるが、高次動補償器9の場合にはさらに2画素づつ多い19×19(11×11)画素となる。
画素移動器14の出力は高次動補償器9と微小動補償器10で共通なので、19×19(11×11)画素を常に出力する必要がある。
【0021】
ここで、高次動補償器9の処理をブロック端の画素について修正すると、画素移動器14で得る画素は、微小動補償器10の場合と同じ17×17(9×9)画素となる。具体的には、ブロックからはみ出す部分について線形内挿と似た処理とするもので、使用画素を17×17(9×9)とした場合にPaが存在しないならPbで置き換え、Pdが存在しないならPcで置き換える。これによりブロック端での特性が線形内挿にやや近くなるが、画素移動器14の出力は17×17(9×9)画素で済む。
【0022】
<実施例の動き補償復号化装置>
図1の動き補償動画像符号化装置に対応する復号化装置の一実施例について、以下に図と共に説明する。
図2は、動き補償動画像復号化装置の一実施例の構成を示したものである。
符号入力端子21より入来する符号は、多重分離器22で画像間予測残差の符号列と動きベクトル(MV)の符号列に分離される。
【0023】
画像間予測残差の符号列は可変長復号化器23で固定長の符号に戻され、得られた8×8の係数は逆量子化器11、逆DCT17で再生画像間予測残差となり、加算器16で画像間予測信号が加算されて再生画像信号となる。
この様にして得られた再生画像信号は、画像出力端子24から出力されると共に画像メモリ26に与えられる。
画像メモリ26は1フレーム分の画像を保持し、画素移動器14に与える。
【0024】
画素移動器14では、MV復号化器25から与えられる画素精度のMVに従って、画素精度の動き補償予測信号を作り、微小動補償器10に与える。
微小動補償器10では、MV復号化器25から与えられる1/2乃至1/4画素精度の差分MVに従って、線形内挿で1/2乃至1/4画素精度の動き補償予測信号を作り、加算器16に与える。
【0025】
ここで、画素移動器14、微小動補償器10、加算器16、逆量子化器11、逆DCT17の動作は図1の符号化装置のものと同じである。
一方、多重分離器22で分離されたMV符号は、MV復号化器25で、MV符号化器12の逆処理が行なわれ、画素精度のMV値と1/2乃至1/4画素精度の差分MVを得、画素精度のMV値を画素移動器14に、1/2乃至1/4画素精度の差分MVを微小動補償器10に与える。
【0026】
【発明の効果】
本発明は、予測残差を得るための動き補償を、精度は同一であるが、画素精度以下の動き補償フィルタリングをより確からしいものとして、予測信号の周波数特性を改善し、予測確度を向上させることが出来、予測残差成分が減少し発生符号量を減少させることが出来る。ここで、局部復号の動き補償は復号化装置と同一とすることで、復号化装置とのミスマッチは起こらず、誤差の累積は起こらない。
【0027】
2種類の動き補償処理結果は大きく異なるものではないので、再生画像が不自然になることもなく、結果的により少ない符号量で動画像の記録・伝送が可能になる。また、画素精度より細かな精度の動き補償処理が、局部復号のものはフィルタリング処理であり、予測残差を得るためのものはより高次のフィルタリング処理であるので装置として効率よく実現出来る。
【図面の簡単な説明】
【図1】本発明の動き補償動画像符号化装置の一実施例の構成を示す図である。
【図2】本発明の動き補償動画像復号化装置の一実施例の構成を示す図である。
【図3】1/4画素精度の動きベクトルの様子を示す図である。
【図4】1/4画素精度のリサンプルフィルタの様子を示す図である。
【図5】従来の動き補償動画像符号化装置の構成例を示す図である。
【図6】従来の動き補償動画像復号化装置の構成例を示す図である。
【符号の説明】
1 画像入力端子
2 減算器
3 DCT
4 量子化器
5 可変長符号化器
6 多重化器
7 符号出力端子
8 微小MV検出器(微小動きベクトル検出手段)
9 高次動補償器(第2の動き補償手段)
10 微小動補償器(第1の動き補償手段)
11 逆量子化器
12,51 MV符号化器
13 MV検出器(第1,第2の動き補償手段)
14 画素移動器(第1,第2の動き補償手段)
15,26 画像メモリ
16 加算器
17 逆DCT
21 符号入力端子
22 多重分離器
23 可変長復号化器
24 画像出力端子
25,61 MV復号化器
Claims (2)
- 入力画像信号における符号化対象画像信号を符号化して得た符号化信号を局部復号処理して再生画像信号を生成し、その再生画像信号を動き補償した画像間予測信号を用いて、前記入力画像信号における現符号化対象画像信号の画像間予測符号化を行う動き補償動画像符号化装置において、
前記入力画像信号における現符号化対象画像信号による画像の各部分の動きに対応した画素精度より細かな精度の微小動きベクトルを求める微小動きベクトル検出手段と、
前記微小動きベクトルに従って生成済みの前記再生画像信号をフィルタリング処理により動き補償し、局部復号処理に用いる第1の動き補償予測信号を得る第1の動き補償手段と、
前記微小動きベクトルに従って、生成済みの前記再生画像信号に対して前記第1の動き補償手段よりも高次のフィルタリング処理により前記第1の動き補償手段よりも予測確度の高い動き補償を行い、前記画像間予測信号である第2の動き補償予測信号を得る第2の動き補償手段と、
前記入力画像信号における現符号化対象画像信号から前記第2の動き補償予測信号を減算した予測残差を符号化する予測符号化手段と、
その符号化された予測残差を前記予測符号化手段での符号化処理とは逆の処理により復号して再生予測残差を得、その再生予測残差に前記第1の動き補償予測信号を加算して新たな再生画像信号を得る局部復号処理を行う局部復号手段と、
を有することを特徴とする動き補償動画像符号化装置。 - 入力画像信号における符号化対象画像信号を符号化して得た符号化信号を局部復号処理して再生画像信号を生成し、その再生画像信号を動き補償した画像間予測信号を用いて、前記入力画像信号における現符号化対象画像信号の画像間予測符号化を行う動き補償動画像符号化方法において、
前記入力画像信号における現符号化対象画像信号による画像の各部分の動きに対応した画素精度より細かな精度の微小動きベクトルを求める微小動きベクトル検出ステップと、
前記微小動きベクトルに従って生成済みの前記再生画像信号をフィルタリング処理により動き補償し、局部復号処理に用いる第1の動き補償予測信号を得る第1の動き補償ステップと、
前記微小動きベクトルに従って、生成済みの前記再生画像信号に対して前記第1の動き補償ステップよりも高次のフィルタリング処理により前記第1の動き補償ステップよりも予測確度の高い動き補償を行い、前記画像間予測信号である第2の動き補償予測信号を得る第2の動き補償ステップと、
前記入力画像信号における現符号化対象画像信号から前記第2の動き補償予測信号を減算した予測残差を符号化する予測符号化ステップと、
その符号化された予測残差を前記予測符号化ステップでの符号化処理とは逆の処理により復号して再生予測残差を得、その再生予測残差に前記第1の動き補償予測信号を加算して新たな再生画像信号を得る局部復号処理を行う局部復号ステップと、
を有することを特徴とする動き補償動画像符号化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP34209197A JP3804237B2 (ja) | 1997-11-27 | 1997-11-27 | 動き補償動画像符号化装置及びその方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP34209197A JP3804237B2 (ja) | 1997-11-27 | 1997-11-27 | 動き補償動画像符号化装置及びその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11164306A JPH11164306A (ja) | 1999-06-18 |
JP3804237B2 true JP3804237B2 (ja) | 2006-08-02 |
Family
ID=18351096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP34209197A Expired - Lifetime JP3804237B2 (ja) | 1997-11-27 | 1997-11-27 | 動き補償動画像符号化装置及びその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3804237B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101160976B (zh) * | 2005-04-13 | 2010-05-19 | 株式会社Ntt都科摩 | 运动图像编码装置及其方法、运动图像解码装置及其方法 |
-
1997
- 1997-11-27 JP JP34209197A patent/JP3804237B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH11164306A (ja) | 1999-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3545000B2 (ja) | 画像信号符号化装置、画像信号復号化装置 | |
JP3856262B2 (ja) | 動き補償符号化装置、動き補償符号化方法、及び動き補償符号記録媒体 | |
EP0961991B1 (en) | Method and arrangement for creating a high-resolution still picture | |
JP3164031B2 (ja) | 動画像符号化復号化装置、動画像符号化復号化方法、及び動画像符号化記録媒体 | |
JP2897763B2 (ja) | 動き補償符号化装置、復号化装置、符号化方法及び復号化方法 | |
KR100929330B1 (ko) | 공간 스케일가능 압축 | |
JP2006246474A (ja) | カラー成分間の単一符号化モードを利用して予測映像を生成する方法、およびその装置と、該単一符号化モードを利用して映像およびビデオを符号化/復号化する方法およびその装置 | |
JP2005506815A5 (ja) | ||
JP2005507589A5 (ja) | ||
JP2011045128A (ja) | ビデオ符号化/復号化用の動き補償装置及びその方法 | |
KR101362755B1 (ko) | 센서영상 부호화 및 복호화장치와 그 방법 | |
JP2006518568A (ja) | ビデオ符号化 | |
JP3348612B2 (ja) | ブロック間予測符号化装置、ブロック間予測復号化装置、ブロック間予測符号化方法、ブロック間予測復号化方法、及びブロック間予測符号化復号化装置 | |
JPH1155678A (ja) | ブロック間内挿予測符号化装置、復号化装置、符号化方法及び復号化方法 | |
JP2666662B2 (ja) | 階層型符号化装置及び復号化装置 | |
JPH0818979A (ja) | 画像処理装置 | |
KR20050084396A (ko) | 공간 스케일 능력를 갖는 디지털 필터 | |
JP3804237B2 (ja) | 動き補償動画像符号化装置及びその方法 | |
JP2606508B2 (ja) | 動画像予測符号化装置及びその復号化装置 | |
JP3164056B2 (ja) | 動画像符号化復号化装置、動画像符号化復号化方法及び動画像符号記録媒体 | |
US7003036B2 (en) | Encoder, decoder, encoding method and decoding method for color moving image and method of transferring bitstream of color moving image | |
JPH06153185A (ja) | 動き補償装置及びこれを用いた符号化装置 | |
KR0134505B1 (ko) | 적응적 움직임 검출기능을 가진 영상 부호화기 | |
JP2897649B2 (ja) | 動き補償予測符号化装置 | |
JP2917782B2 (ja) | 画像ブロック符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050913 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060120 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060320 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060418 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060501 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090519 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100519 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110519 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130519 Year of fee payment: 7 |
|
EXPY | Cancellation because of completion of term |