JP3596908B2 - 動きベクトル検出装置 - Google Patents
動きベクトル検出装置 Download PDFInfo
- Publication number
- JP3596908B2 JP3596908B2 JP12930594A JP12930594A JP3596908B2 JP 3596908 B2 JP3596908 B2 JP 3596908B2 JP 12930594 A JP12930594 A JP 12930594A JP 12930594 A JP12930594 A JP 12930594A JP 3596908 B2 JP3596908 B2 JP 3596908B2
- Authority
- JP
- Japan
- Prior art keywords
- television signal
- motion vector
- motion
- vector
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【産業上の利用分野】
この発明は、テレビジョン信号を所定の画素数と所定のライン数とからなるブロックに分割し、各ブロックごとに、時間軸方向に所定間隔離れた信号間で、動画像の動きベクトルを検出する動きベクトル検出装置に関する。
【0002】
【従来の技術】
一般に、高能率符号化のためのフレーム間符号化処理やフィールド数変換のためのフィールド内挿処理を行う場合は、動画像の動きの方向と大きさを示す動きベクトルが用いられる。
【0003】
この動きベクトルの検出方法としては、パターンマッチング法を用いる方法(特開昭55−162683号公報、特開昭55−162684号公報)や反復勾配法を用いる方法(特開昭60−158786号公報)が知られている。
【0004】
パターンマッチング法を用いる方法は、フレーム間の信号パターンの類似性を利用して動きベクトルを検出する。また、反復勾配法を用いる方法は、フレーム内信号の勾配とフレーム間信号の差分値の物理的な対応等を利用して動き量を推定する。
【0005】
ところで、反復勾配法を用いる方法では、動きベクトルの検出精度を向上させるために、初期偏位ベクトルを用いる方法が考えられている(特開昭62−206980号公報)。
【0006】
この方法は、すでに検出されている複数の動きベクトルの中から所定のベクトルを初期偏位ベクトルとして選択し、この初期偏位ベクトルを起点として、勾配法演算を複数回繰り返すことにより、真の動きベクトルを検出するものである。
【0007】
【発明が解決しようとする課題】
しかしながら、初期偏位ベクトルを用いて動きベクトルを検出する従来の動きベクトル検出装置においては、勾配法演算によって検出される偏位ベクトルが誤検出されると、不適切な動きベクトルによってフィールド内挿処理等が行われ、画像が歪んでしまうという問題があった。特に、反復勾配法のように偏位ベクトルを演算式で検出する場合には、画像によっては、偏位ベクトルが誤検出される可能性が大きいため、上記問題が発生する可能性が高かった。
【0008】
【課題を解決するための手段】
この発明の動きベクトル検出装置は、動きベクトル検出手段と、差分値比較手段と、動きベクトル選択手段により構成されている。
【0009】
ここで、動きベクトル検出手段は、すでに検出されている複数の動きベクトルの中から選択された初期偏位ベクトルを起点として、所定の偏位ベクトル検出処理を複数回繰り返すことにより複数の動きベクトルを検出する。
【0010】
差分値比較手段は、この複数の動きベクトルのうち少なくとも1つの動きベクトルによって検出対象テレビジョン信号又は基準テレビジョン信号の一方に動き補正を施し、この動き補正後の検出対象テレビジョン信号又は基準テレビジョン信号と他方のテレビジョン信号との差分値と、初期偏位ベクトルによって検出対象テレビジョン信号又は基準テレビジョン信号の一方に動き補正を施し、この動き補正後の検出対象テレビジョン信号又は基準テレビジョン信号と他方のテレビジョン信号との差分値の大きさを比較する。
【0011】
動きベクトル選択手段は、この比較結果に基づいて、複数の動きベクトルのうち少なくとも最後の偏位ベクトル検出処理により検出された動きベクトルと初期偏位ベクトルの中から1つを真の動きベクトルとして選択する。
【0012】
【作用】
上記構成においては、初期偏位ベクトルを起点として、所定の偏位ベクトル検出処理が、例えば、2回繰り返され、2つの動きベクトルが検出される。
【0013】
次に、例えば、1回目の偏位ベクトル検出処理により検出された動きベクトルによって検出対象テレビジョン信号又は基準テレビジョン信号の一方に動き補正を施し、この動き補正後の検出対象テレビジョン信号又は基準テレビジョン信号と他方のテレビジョン信号との差分値と、初期偏位ベクトルによって検出対象テレビジョン信号又は基準テレビジョン信号の一方に動き補正を施し、この動き補正後の検出対象テレビジョン信号又は基準テレビジョン信号と他方のテレビジョン信号との差分値の大きさが比較される。
【0014】
次に、この比較結果に基づいて、例えば、最後の偏位ベクトル検出処理により検出された動きベクトルと初期偏位ベクトルのいずれか一方が真の動きベクトルとして検出される。
【0015】
すなわち、動きベクトルによる差分値が初期偏位ベクトルによる差分値より大きい場合は、初期偏位ベクトルが真の動きベクトルとして選択され、小さい場合は、動きベクトルが真の動きベクトルとして選択される。
【0016】
【実施例】
以下、図面を参照しながら、この発明の実施例を詳細に説明する。
図1は、この発明の一実施例の構成を示すブロック図である。
【0017】
図示の動きベクトル検出装置は、入力端子11,12と、動きベクトル検出部13と、差分値比較部14と、動きベクトル選択部15と、出力端子16とから構成されている。
【0018】
このような構成において、動きベクトル検出装置は、テレビジョン信号を水平方向m画素、垂直方向nライン(m,nは整数)の計m×nの画素からなる複数のブロックに分割し、各ブロックごとに、例えば、時間軸方向に1フィールド離れた信号間で、動画像の動きベクトルを検出するようになっている。
【0019】
すなわち、図1において、入力端子11には、動きベクトルを検出する際の基準となるフィールド(以下、「基準フィールド」という。)のテレビジョン信号Aが供給される。一方、入力端子12には、動きベクトルを検出するフィールドであって、基準フィールドより1フィールドだけ前あるいは後に位置するフィールド(以下、「検出フィールド」という。)のテレビジョン信号Bが供給される。
【0020】
動きベクトル検出部13は、初期偏位ベクトル選択回路131と、2つの勾配法演算回路132,134と、2つの加算回路133,135とから構成されている。
【0021】
このような構成において、動きベクトル検出部13は、詳細は後述するが、各ブロックごとに、すでに検出されている複数の動きベクトルの中から1つを初期偏位ベクトルV0として選択し、この初期偏位ベクトルV0を起点として、勾配法演算を2回繰り返すことにより、2つの動きベクトルV1,V2を検出するようになっている。
【0022】
差分値比較部14は、2つのベクトル補正回路141,142と、2つの減算回路143,144と、2つの絶対値計算回路145,146と、2つの累積加算回路147,148と、比較回路149とから構成されている。
【0023】
このような構成において、差分値比較部14は、詳細は後述するが、動きベクトル検出部13により検出された2つの動きベクトルV1,V2のうち1回目の勾配法演算で検出された動きベクトルV1によって動き補正されたテレビジョン信号のフィールド間差分値DFDαと初期偏位ベクトルV0によって動き補正されたテレビジョン信号のフィールド間差分値DFD0の大きさを比較するようになっている。
【0024】
動きベクトル選択部15は、差分値比較部14の比較結果に基づいて、動きベクトル検出部13により検出された2つの動きベクトルV1,V2のうち2回目の勾配法演算で検出された動きベクトルV2と初期偏位ベクトルV0のいずれか一方を真の動きベクトルVとして選択するようになっている。
【0025】
上記構成において、動作を説明する。
まず、動きベクトル検出部13の動きベクトル検出動作を説明する。
入力端子11,12に供給されたフィールド信号A,Bは、初期偏位ベクトル検出回路131と、勾配法演算回路132,134に供給される。
【0026】
初期偏位ベクトル選択回路131は、各ブロックごとに、すでに検出されている複数の動きベクトルの中からいずれか1つを初期偏位ベクトルV0として選択する。
【0027】
ここで、すでに検出されている動きベクトルとしては、例えば、現在、動きベクトルVを検出しようとするブロックの近傍に位置する複数のブロックの動きベクトルや基準フィールドの平均動きベクトル、さらには、加速度動きベクトル等が使用される。また、このすでに検出されている複数の動きベクトルの中からいずれか1つを初期偏位ベクトルV0として選択する方法としては、例えば、パターンマッチング法が用いられる。
【0028】
初期偏位ベクトル選択回路131により選択された初期偏位ベクトルV0は、勾配法演算回路132に供給される。これにより、初期偏位ベクトルV0を起点として、1回目の勾配法演算がなされ、偏位ベクトルαが得られる。この偏位ベクトルαは、加算回路133に供給され、初期偏位ベクトルV0と加算される。これにより、動きベクトルV1(=V0+α)が得られる。
【0029】
この動きベクトルV1は、勾配法演算回路134に供給される。これにより、動きベクトルV1を起点として、2回目の勾配法演算がなされ、偏位ベクトルβが得られる。この偏位ベクトルβは、加算回路135に供給され、動きベクトルV1と加算される。これにより、動きベクトルV2(=V1+β=V0+α+β)が得られる。
【0030】
図2は、以上の様子を示すベクトル図である。図示の如く、動きベクトルV1は、初期偏位ベクトルV0と偏位ベクトルαの合成によって得られ、動きベクトルV2は、動きベクトルV1と偏位ベクトルβの合成によって得られる。
【0031】
以上が動きベクトル検出部13の動きベクトル検出動作である。次に、差分値比較部14の差分値比較動作を説明する。
【0032】
入力端子12に供給された検出フィールド信号Bは、ベクトル補正回路141に供給され、初期偏位ベクトルV0を使って動き補正を施される。これにより、検出フィールド信号Bに含まれる動画像の座標が初期偏位ベクトルV0分シフトされた検出フィールド信号C0が得られる。
【0033】
また、入力端子12に供給される検出フィールド信号Bは、さらに、ベクトル補正回路142に供給され、動きベクトルV1を使って動き補正を施される。これにより、検出フィールド信号Bに含まれる動画像の座標が動きベクトルV1分シフトされた検出フィールド信号Cαが得られる。
【0034】
ベクトル補正回路141から出力される検出フィールド信号C0は、減算回路143に供給され、各画素ごとに、入力端子11に供給される基準フィールド信号Aから減じられる。これにより、各画素ごとに、検出フィールド信号C0と基準フィールド信号Aの差を示すフィールド間差分値D0が得られる。
【0035】
同様に、ベクトル補正回路142から出力される検出フィールド信号Cαは、減算回路143に供給され、各画素ごとに、入力端子11に供給される基準フィールド信号Aから減じられる。これにより、各画素ごとに、検出フィールド信号Cαと基準フィールド信号Aのフィールド間差分値Dαが得られる。
【0036】
各フィールド間差分値D0,Dαを示す信号は、それぞれ対応する絶対値回路145,146に供給され、その絶対値E0,Eαをとられる。各絶対値E0,Eαを示す信号は、それぞれ対応する累積加算回路147,148に供給され、動きベクトルの検出ブロックの範囲内で累積加算される。
【0037】
これにより、ブロック単位のフィールド間差分値DFD0,DFDαが得られる。各フィールド間差分値DFD0,DFDαを示す信号は、比較回路149に供給され、その大きさを比較される。
【0038】
以上が差分値比較部14の差分値比較動作である。次に、動きベクトル選択部15の動きベクトル選択動作を説明する。
【0039】
この動きベクトル選択部15は、フィールド間差分値の比較結果Gに基づいて、初期偏位ベクトルV0と動きベクトルV2のいずれか一方を真の動きベクトルVとして選択する。
【0040】
この場合、動きベクトルV1によるフィールド間差分値DFDαが初期偏位ベクトルによるフィールド間差分値DFD0より大きいと、初期偏位ベクトルV0を真の動きベクトルVとして選択する。これに対し、フィールド間差分値DFDαがフィールド間差分値DFD0より小さい場合は、動きベクトルV2を真の動きベクトルVとして選択する。
【0041】
これにより、偏位ベクトルα,βが誤検出されている可能性が高い場合は、真の動きベクトルVとして、動きベクトルV2ではなく、初期偏位ベクトルV0が選択されるため、偏位ベクトルα,βの誤検出による画像歪の発生を低減することができる。
【0042】
以上詳述したこの実施例によれば、次のような効果が得られる。
(1)動きベクトルV1によるフィールド間差分値DFDαと初期偏位ベクトルV0によるフィールド間差分値DFD0の大きさを比較し、前者が大きければ、初期偏位ベクトルV0を真の動きベクトルVとして選択し、小さければ、動きベクトルV2を真の動きベクトルVとして選択するようにしたので、偏位ベクトルα,βの誤検出による画像歪みの発生を低減することができる。
【0043】
(2)動きベクトルによるフィールド間差分値として、1回目の勾配法演算により検出された動きベクトルV1によるフィールド差分値DFDαを用いるようにしたので、2回目の勾配法演算により検出された動きベクトルV2によるフィールド間差分値を用いる場合に比べ、比較結果が得られるまでの時間を短縮することができる。
【0044】
これにより、画像メモリ(図示せず)からフィールド信号A,Bを読み出す場合、一度に読み出す画素数を少なくすることができるので、読出し回路のハードウェア量を少なくすることができる。
【0045】
以上、この発明の一実施例を詳細に説明したが、この発明は、上述したような実施例に限定されるものではない。
【0046】
(1)例えば、先の実施例では、動きベクトルによるフィールド間差分値として、1回目の勾配法演算により得られた動きベクトルV1によるフィールド間差分値DFDαを用いる場合を説明した。しかし、この発明は、2回目の勾配法演算により得られた動きベクトルV2によるフィールド間差分値を用いるようにしてもよい。
【0047】
このような構成によれば、偏位ベクトルαが誤検出されず、偏位ベクトルβが誤検出された場合であっても、真の動きベクトルVとして、反復勾配法により検出された動きベクトルV2が選択されるのを防止することができる。
【0048】
(2)また、先の実施例では、初期偏位ベクトルV0と2回目の勾配法演算により得られた動きベクトルV2のいずれか一方を真の動きベクトルVとして選択する場合を説明した。
【0049】
しかし、この発明は、初期偏位ベクトルV0によるフィールド間差分値と、1回目の勾配法演算により得られた動きベクトルV1によるフィールド間差分値と、2回目の勾配法演算により得られた動きベクトルV2によるフィールド間差分値とを比較し、これら3つのベクトルV0,V1,V2の中からいずれか1つを真の動きベクトルVとして選択するようにしてもよい。
【0050】
このような構成によれば、真の動きベクトルVの選択対象を多くすることができるので、真の動きベクトルVの精度を高めることができる。
【0051】
(3)また、先の実施例では、勾配法演算を2回繰り返すことにより、2つの動きベクトルV1,V2を検出する場合を説明した。しかし、この発明は、勾配法演算を3回以上繰り返すことにより、3つ以上の動きベクトルを検出するようにしてもよい。
【0052】
(4)また、先の実施例では、勾配法演算を複数回繰り返すことにより、複数の動きベクトルを検出する場合を説明した。しかし、この発明は、勾配法演算を1回だけ実行することにより、1つの動きベクトルV1を検出し、この動きベクトルV1と初期偏位ベクトルV0のいずれか一方を真の動きベクトルVとして選択するようにしてもよい。
【0053】
(5)また、先の実施例では、偏位ベクトルの検出処理として、勾配法演算処理を用いる場合を説明した。しかし、この発明は、勾配法演算処理以外の処理、例えば、パターンマッチング法を用いた処理を用いるようにしてもよい。
【0054】
(6)また、先の実施例では、時間軸方向に1フィールド離れた信号間で動きベクトルを検出する動きベクトル検出装置にこの発明を適用する場合を説明した。しかし、この発明は、2フィールド以上離れた信号間で動きベクトルを検出する動きベクトル検出装置にも適用することができる。
【0055】
(7)このほかにも、この発明は、その要旨を逸脱しない範囲で、種々様々変形実施可能なことは勿論である。
【0056】
【発明の効果】
以上詳述したように、この発明によれば、初期偏位ベクトルを利用して求められた動きベクトルによる動き補正後の検出対象テレビジョン信号又は基準テレビジョン信号と他方のテレビジョン信号との差分値と、初期偏位ベクトルによる動き補正後の検出対象テレビジョン信号又は基準テレビジョン信号と他方のテレビジョン信号との差分値との大きさを比較し、この比較結果に基づいて、真の動きベクトルを選択するようにしたので、偏位ベクトルの誤検出による画像歪みの発生を低減することができる。
【図面の簡単な説明】
【図1】この発明の一実施例の構成を示すブロック図である。
【図2】一実施例の動きベクトル検出部の動作を説明するためのベクトル図である。
【符号の説明】
11,12…入力端子
13…動きベクトル検出部
14…差分値比較部
15…動きベクトル選択部
16…出力端子
131…初期偏位ベクトル選択部
132,134…勾配法演算回路
133,135…加算回路
141,142…ベクトル補正回路
143,144…減算回路
145,146…絶対値計算回路
147,148…累積加算回路
149…比較回路
Claims (3)
- テレビジョン信号を所定の画素数と所定のライン数からなるブロックに分割し、各ブロックごとに、時間軸方向に所定間隔離れた基準テレビジョン信号と検出対象テレビジョン信号との間で、動画像の動きベクトルを検出する動きベクトル検出装置において、
各ブロックごとに、すでに検出されている複数の動きベクトルの中から選択された初期偏位ベクトルを起点として、偏位ベクトル検出処理を複数回繰り返すことにより、複数の動きベクトルを検出する動きベクトル検出手段と、
この動きベクトル検出手段により検出された複数の動きベクトルのうち少なくとも1つの動きベクトルによって検出対象テレビジョン信号又は基準テレビジョン信号の一方に動き補正を施し、この動き補正後の検出対象テレビジョン信号又は基準テレビジョン信号と他方テレビジョン信号との差分値と、前記初期偏位ベクトルによって検出対象テレビジョン信号又は基準テレビジョン信号の一方に動き補正を施し、この動き補正後の検出対象テレビジョン信号又は基準テレビジョン信号と他方のテレビジョン信号との差分値との大きさを比較する差分値比較手段と、
この差分値比較手段の比較結果に基づいて、前記動きベクトル検出手段で検出された複数の動きベクトルのうち少なくとも最後の偏位ベクトル検出処理により検出された動きベクトルと前記初期偏位ベクトルの中から1つを真の動きベクトルとして選択する動きベクトル選択手段と
を具備したことを特徴とする動きベクトル検出装置。 - 前記差分値比較手段は、前記動きベクトル検出手段により検出された複数の動きベクトルのうち最初の偏位ベクトル検出処理で検出された動きベクトルによって検出対象テレビジョン信号又は基準テレビジョン信号の一方に動き補正を施し、この動き補正後の検出対象テレビジョン信号又は基準テレビジョン信号と他方のテレビジョン信号との差分値と、前記初期偏位ベクトルによって検出対象テレビジョン信号又は基準テレビジョン信号の一方に動き補正を施し、この動き補正後の検出対象テレビジョン信号又は基準テレビジョン信号と他方のテレビジョン信号との差分値との大きさを比較するように構成され、前記動きベクトル選択手段は、前記差分値比較手段の比較結果に基づいて、前記動きベクトル検出手段により検出された複数の動きベクトルのうち最後の偏位ベクトル検出処理により検出された動きベクトルと前記初期偏位ベクトルのいずれか一方を真の動きベクトルとして選択するように構成されていることを特徴とする請求項1記載の動きベクトル検出装置。
- テレビジョン信号を所定の画素数と所定のライン数からなるブロックに分割し、各ブロックごとに、時間軸方向に所定間隔離れた基準テレビジョン信号と検出対象テレビジョン信号との間で、動画像の動きベクトルを検出する動きベクトル検出装置において、
各ブロックごとに、すでに検出されている複数の動きベクトルの中から選択された初期偏位ベクトルを起点として、偏位ベクトル検出処理を実行することにより、1つの動きベクトルを検出する動きベクトル検出手段と、
この動きベクトル検出手段により検出された動きベクトルによって検出対象テレビジョン信号又は基準テレビジョン信号の一方に動き補正を施し、この動き補正後の検出対象テレビジョン信号又は基準テレビジョン信号と他方のテレビジョン信号との差分値と、前記初期偏位ベクトルによって検出対象テレビジョン信号又は基準テレビジョン信号の一方に動き補正を施し、この動き補正後の検出対象テレビジョン信号又は基準テレビジョン信号と他方のテレビジョン信号との差分値との大きさを比較する差分値比較手段と、
この差分値比較手段の比較結果に基づいて、前記動きベクトル検出手段で検出された動きベクトルと前記初期偏位ベクトルのいずれか一方を真の動きベクトルとして選択する動きベクトル選択手段と
を具備したことを特徴とする動きベクトル検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP12930594A JP3596908B2 (ja) | 1994-06-10 | 1994-06-10 | 動きベクトル検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP12930594A JP3596908B2 (ja) | 1994-06-10 | 1994-06-10 | 動きベクトル検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07336691A JPH07336691A (ja) | 1995-12-22 |
JP3596908B2 true JP3596908B2 (ja) | 2004-12-02 |
Family
ID=15006284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP12930594A Expired - Fee Related JP3596908B2 (ja) | 1994-06-10 | 1994-06-10 | 動きベクトル検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3596908B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7305032B2 (en) | 2002-08-02 | 2007-12-04 | Kddi Corporation | Image matching device and method for motion pictures |
-
1994
- 1994-06-10 JP JP12930594A patent/JP3596908B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH07336691A (ja) | 1995-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US4691230A (en) | Motion vector detection system of a moving object on a screen | |
EP0579844B1 (en) | Method and apparatus for motion estimation | |
JPH0832048B2 (ja) | 動きベクトル検出装置 | |
US6104439A (en) | Method and apparatus for motion estimation | |
JPH04314290A (ja) | 動きベクトル検出装置 | |
JP2679778B2 (ja) | 画像の動き検出装置 | |
US5452021A (en) | Image fluctuation detection apparatus | |
JP3596908B2 (ja) | 動きベクトル検出装置 | |
JPH0478286A (ja) | 初期偏位ベクトルを用いた動きベクトルの検出方法 | |
JP2005051460A (ja) | ビデオ信号処理装置及びビデオ信号の処理方法 | |
JPS62230180A (ja) | 動きベクトル検出方法 | |
JPH03280681A (ja) | 動きベクトルを用いた動き内挿方法及び装置 | |
JPH0738721B2 (ja) | 動きベクトル検出回路 | |
JP4274430B2 (ja) | 動きベクトル検出装置 | |
JP2003047011A (ja) | 動きベクトルを用いる動き補正方法 | |
JP3022977B2 (ja) | テレビジョン信号内挿方式 | |
JP2907663B2 (ja) | 動きベクトル検出方法 | |
JP4261381B2 (ja) | 映像信号処理装置 | |
JPH0448030B2 (ja) | ||
JP3078140B2 (ja) | 動きベクトル検出回路 | |
JP4572606B2 (ja) | 画像処理装置 | |
KR20010034374A (ko) | 움직임 벡터 검출 장치 및 방법 | |
JPH0614316A (ja) | 動きベクトル検出装置 | |
JPH07288817A (ja) | 動きベクトル検出装置 | |
JPH05328202A (ja) | 画像の手振れ補正装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040323 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040907 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040907 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070917 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080917 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080917 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090917 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090917 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100917 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110917 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110917 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120917 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120917 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130917 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |