JP3835098B2 - 特定パターン検出装置および方法 - Google Patents
特定パターン検出装置および方法 Download PDFInfo
- Publication number
- JP3835098B2 JP3835098B2 JP2000004532A JP2000004532A JP3835098B2 JP 3835098 B2 JP3835098 B2 JP 3835098B2 JP 2000004532 A JP2000004532 A JP 2000004532A JP 2000004532 A JP2000004532 A JP 2000004532A JP 3835098 B2 JP3835098 B2 JP 3835098B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- specific
- score
- partial image
- partial images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【発明の属する技術分野】
本発明は、画像認識処理に関する。
【0002】
【従来の技術】
近年カラー複写機の機能と性能が上がったため偽造防止が大きな問題となり、有効な偽造防止方法が検討されつづけている。偽造防止方法のひとつでは、紙幣などの模様の内にあらかじめマークを入れておく。複写機においては、複写の際に画像を読み取るとき、スキャンされた画像を解析し、画像内にマークを検出したならば、紙幣が複写されると判断して正常な像生成を禁止する。
【0003】
【発明が解決しようとする課題】
入力機器からのデータの多くは情報量の多いカラー画像であり、また入出力機器はますます高速で高解像度になってきている。それにもかかわらず実時間内での画像認識処理が求められているため、ハードウエア構成が複雑にならざるを得ない。それゆえ、偽造防止において、高速で、高精度で、構成が簡単な画像認識手法の開発が重要な課題であった。
【0004】
本発明の目的は、高速で、高精度で、構成が簡単な特定パターン検出装置及び方法を提供することである。
【0005】
【課題を解決するための手段】
本発明に係る特定パターン検出装置は、複数の部分画像から構成され、前記複数の部分画像のうち少なくとも2つは所定半径の円の直径上に配置され、他の少なくとも1つはそれらから所定の位置に配置された特定パターンを検出する特定パターン検出装置であって、入力画像データから特定の部分画像を抽出する部分画像抽出手段と、前記部分画像抽出手段によって抽出された特定の部分画像の抽出結果を記憶する記憶手段と、前記記憶手段に記憶された特定の部分画像周辺の各画素に対して、該特定の部分画像からの距離を示す得点を書き込んで得点マップを作成する作成手段と、前記部分画像抽出手段によって抽出された特定の部分画像から、前記所定半径の塩の直径上に配置された少なくとも2つの特定の部分画像を検出する検出手段と、前記検出手段によって検出された少なくとも2つの特定の部分画像から、他の特定の部分画像の理論的な座標位置を算出する算出手段と、前記得点マップを参照し、前記算出手段によって算出された座標位置の得点を読む得点出力手段と、前記得点出力手段により読まれた得点を基に特定パターンの画像認識処理を行う処理手段とを備える。
また、前記の特定パターン検出装置において、好ましくは、入力画像データの濃度があらかじめ規定された参照濃度範囲内かどうかを判断して入力画像データを2値化する2値化手段と、前記2値化手段により2値化されたデータを記憶する2値化データ記憶手段とを備え、前記部分画像抽出手段は、前記2値化データ記憶手段に記憶された2値化データの特定の部分画像を1ビットに変換するフィルタである。
また、前記の特定パターン検出装置において、好ましくは、前記作成手段は、前記部分画像抽出手段により抽出された画像の周辺の各画素を、参照画素からの距離を示す数ビットに変換するフィルタである。
本発明に係る特定パターン検出方法では、複数の部分画像から構成され、前記複数の部分画像のうち少なくとも2つは所定半径の円の直径上に配置され、他の少なくとも1つはそれらから所定の位置に配置された特定パターンの検出において、入力画像データから特定の部分画像を抽出し、抽出された前記特定の部分画像の抽出結果を記憶する。次に、記憶された前記特定の部分画像の周辺の各画素に対して、該特定の部分画像からの距離を示す得点を書き込んで得点マップを作成し、抽出された前記特定の部分画像から、前記所定半径の円の直径上に配置された少なくとも2つの特定の部分画像を検出し、検出された前記少なくとも2つの特定の部分画像から、他の特定の部分画像の理論的な座標位置を算出し、前記得点マップを参照する。次に、算出された前記座標位置の得点を読み、読まれた前記得点を基に特定パターンの画像認識処理を行う。
【0006】
【発明の実施の形態】
以下、添付の図面を参照して本発明の実施の形態を説明する。なお、図面において、同じ参照記号は同一または同等のものを示す。
図1は、この発明の実施の形態の特定パターン検出装置の概略構成を示す。この装置は入力画像から特定のパターン(以下ではマークという)を検出する。この発明の実施の形態において以下に説明する検出対象のマークは、所定濃度の色で同一形状さらに同一サイズの5個の部分画像(以下ではエレメントという)を配置したものである。そのうち2個は所定半径の円の直径上に配置され、残りは2個の座標位置を基に所定位置に配置されている。
【0007】
特定パターン検出装置の処理の概略を説明すると、この装置は、画像データの低解像度化によりメモリアクセスを低減して、マークを高速に検出するものである。まず、入力画像をエレメント認識処理を行う解像度に変換してエレメントを検出し、その結果を2値の情報としてメモリに記憶する。次に、解像度をさらに低解像度化したエレメントの縮小画像をメモリに格納する。次に、エレメント縮小画像に対して、回転を考慮した複数の検出フィルタを配置してマーク検出処理を行う。検出フィルタの複数の組み合わせにより、マークを構成する5個のエレメントを検出し、その概略位置と回転角度を検出する。
【0008】
まず、画像入力部1で、画像を読みとって得られたR(赤)、G(緑)、B(青)の3色の濃度が8ビット(256階調)で入力される。さらに、入力カラーデータについて解像度変換、変倍などの処理が行われる。解像度は、認識処理の対象であるマークの各エレメントを認識できる低い解像度が用いられる。
次に、データの前処理を行う。2値化処理部2から得点マップ作成処理部5までが前処理部を構成する。2値化処理部2は、入力された画像濃度があらかじめ規定された参照濃度範囲内かどうかを判断して入力データの2値化を行い、2値化データをメモリ6に格納する。(以下の記述では、参照濃度範囲内の画像を「黒画素」、範囲外の画像を「白画素」と定義する。)エレメント抽出部3は、フィルタを用いて、2値化処理部2において2値化された情報の配置からエレメントを検出する。縮小画像作成部4は、エレメント抽出部3にて抽出されたエレメント情報の低解像度画像を作成し、メモリ6に格納する。得点マップ作成処理部5は、認識処理を行う解像度のすべての画素について、周囲のエレメント配置状況を4ビットに変換してメモリ6に格納する。メモリ6は、2値化の結果、エレメント抽出結果、縮小画像および得点マップを格納するメモリであり、また、検出するマークサイズ以上のライン数のデータを格納する容量を持つ。
【0009】
この前処理では、2値化処理部2により入力画像データを2値化し、メモリ6に記憶している。エレメント抽出処理部3によりマークのエレメントを抽出し、次に、抽出結果を2値化しメモリ6に記憶する。これにより、メモリアクセス回数を低減し、処理の高速化を図る。
【0010】
また、前処理では、認識処理を行うエレメントの抽出結果を縮小画像作成部4でさらに低解像度化している。この低解像度化した画像に対して、画像認識によりマーク検出処理を行う。具体的には、画像認識において、後で説明するように、エレメントを低解像度化した画像に対し、回転を考慮した複数の検出フィルタを用いて、マークの概略位置と回転角度を高速に検出できる。
【0011】
さらに、従来の前処理では、次のように処理がすすめられる。まず、認識処理を行う解像度にて、マークより少し大きいフィルタ内の複数の点と点の距離を総当りで調べ、まずマークを構成する5点の中の直径上の2点を検出し、次に、2点の座標位置から残り3点の座標を計算で求め、求められた理論的な位置の周囲のメモリを参照し、3点の実際の位置を抽出する。この場合、1点の位置を検出するのに、十数回のメモリアクセスが必要となり、リアルタイム検出処理のボトルネックとなる。これに対し、上述の前処理では、エレメント抽出時に、同時に参照画素の周囲の情報をあらかじめ4ビットに変換してメモリに格納しておく。前処理に続く認識処理時に、エレメント配置による得点を算出する際に、変換された4ビットのみをアクセスするのみで算出できる。これにより、メモリアクセス回数をさらに低減し、処理の高速化が図れる。
【0012】
前処理に続く画像認識について説明すると、マーク検出部8は、縮小画像作成部4により作成されたエレメント縮小画像をメモリ6から読み出し、マークの概略位置と回転角度を検出する。マーク検出部8には、フィルタ部と合計算出部とが含まれる。理論位置算出部9は、マーク検出部8にて検出されたマークの直径に配置された2点の座標位置から、残りの3点の理論的な座標を算出する。そして算出された位置の得点マップを参照し、3点のエレメントの位置得点を算出する。出力部10は、判定結果(認識結果)を得点化して出力する。なお、アドレス算出部7は、データを格納したメモリ6の所定のアドレスを算出する。
【0013】
図2は、エレメント抽出部3と縮小画像作成部4の処理の概略を示す。まずエレメント抽出部3は、5画素×5画素の変換フィルタを用いて、2値化処理部2で2値化された画像からエレメントを抽出する。縮小画像作成部4は、エレメント抽出結果を2画素×2画素の大きさでOR縮小してエレメント縮小画像を作成し、メモリ6に格納する。図に示した例では、16×16画素の2値化画像から、変換フィルタを用いて4つのエレメントが抽出される。次に、2画素×2画素の範囲でOR演算を行って8×8エレメント縮小画像を作成される。
【0014】
図3は、エレメント抽出部3をハードウエア化した回路の概略を示す。メモリ6から16ビットにて読み出されたデータはPS変換器30により直列データに変換され、1画素づつフィルタ回路32に入力されると同時に、4個のラインメモリ(FIFOメモリ)31に連続的に格納される。各FIFOメモリ31は1ライン分のデータを格納できるラインメモリである。FIFOメモリ31は、4ライン分あり、フィルタ回路32には副走査方向に5画素のデータが同時に並列に入力される。
また、フィルタ回路32の内部には1ビットのラッチ33が5ライン×4段分あり、計5×5画素のデータを5画素×5画素の変換フィルタ34に出力する。処理されたデータ(エレメントであるか否かの抽出結果)は、縮小画像作成部4へ入力されると同時に、SP変換の後、16画素ごとにメモリ6に書き込まれる。
【0015】
図4は、縮小画像作成部4のハードウエア回路の概略を示す。エレメント抽出部3と同様に、FIFOメモリとラッチとから構成される。入力データは、直接に、また、ラッチ40を介してORゲート43に出力される。また、入力データは、1ラインを格納できるFIFOメモリ41に入力され、FIFOメモリ41からのデータも、直接に、また、ラッチ42を介してORゲート43に出力される。これにより、ORゲート43は、2×2画素のデータに黒画素が含まれるか否かを判断する。この縮小後の画像は、主走査と副走査の方向にそれぞれ2画素に1回ごとに出力される。出力された画像は、SP変換の後、16画素ごとにメモリ6に書き込まれる。
【0016】
図5は、得点マップ作成部5の処理の概略を示す。エレメント抽出部3にて抽出されたエレメント画像について、図5の左下部に示すような得点フィルタにて、参照画像の周囲のエレメント情報を4ビット化しメモリ6に書きこむ。得点フィルタにおける得点は距離を考慮して決定されている。図5の左上部に示す例の場合、黒部分がエレメント位置であり、この場合、得点マップは図5の左側に示すようになる。認識処理を行う画像の画素の位置情報を検出したエレメントからの距離を考慮した得点としてメモリ6に書きこんでおくので、画像認識時にメモリアクセスを低減し、処理を高速化できる。
【0017】
次に、前処理されたデータについてのマーク検出を説明する。図6は、マーク検出部8において用いる16個の7×7検出フィルタの配置の例を示す。これらの検出フィルタは、マークの回転を考慮し、縮小画像に対して、同心円状に外側に12個、内側に4個の計16個である。この検出フィルタは2×2画素の大きさにてOR処理を行い、フィルタ内に黒画素が存在するか否かを1ビットで出力する。
【0018】
表1に、1つのマークに対する検出フィルタの組み合わせ例を示す。ここでは、5点の検出を、角度に応じて12通りの組み合わせで示している。組み合わせを増やせば、容易に複数のマークに対応できる。組み合わせ1では、1番目と7番目のフィルタが組み合わされ、直径上に配置された2点を検出する。同様に、組み合わせ2では、2番目と8番目のフィルタが組み合わされ、直径上に配置された2点を検出する。
【表1】
なお、検出フィルタの組み合わせを増やせば、容易に複数のマークに対応できる。すなわち、必要に応じて、検出フィルタは、複数種類のマークを検出するために使用できる。
【0019】
図7は、マーク検出部8の検出フィルタのハードウエア回路の概略を示す。メモリ6から読みこまれたエレメント縮小画像の7ラインのデータがPS変換器80でシリアルデータに変換され、1ビットのラッチ81に順次格納される。ラッチ81は、7ライン×6段分あり、計7×7画素のデータを同時に処理できる。ラッチ81の各出力を組み合わせて、検出フィルタ82が16個構成され、検出フィルタ82内に黒画素があるかどうかを検出する。さらに、各検出フィルタの検出結果が、表1のように12通りで、各5入力ANDゲート83で5個組み合わされ、5個の検出フィルタの検出結果がすべてオンかどうかを調べる。その結果は、ORゲート84を経て検出フラグとして出力される。また、5個の検出フィルタの検出結果がすべてオンとなる組み合わせに対応して、エンコーダ85が検出角度を出力する。
なお、複数の組み合わせが同時に検出された場合、隣り合ったフィルタの組み合わせが同じマークを同時に検出していると判断し、どちらの組み合わせを用いてもかまわない。
【0020】
マーク検出部8において、合計数算出部は、縮小画像の7画素×7画素の範囲の黒画素の合計数を算出する。5点全ての検出フィルタがオンとなる組み合わせが存在し、かつ、合計数算出部により求められた合計値が5であった場合、マークの検出と判断する。次に、理論位置算出部9は、直径を示す2点の縮小前の正確な座標を検出する。得られた2点の座標から、残り3点の理論的な座標位置を算出する。
【0021】
出力部10は、判定結果(認識結果)を得点化して出力する。ここで、理論的な座標位置の得点マップを参照する。得点マップの4ビットの数値には、あらかじめ下記のような得点が割り振られている(6=100点、5=80点、4=65点)。この4ビットの数値は、エレメントまでの距離を分類したものなので、理論位置と実際のエレメント位置が近ければ高得点となる。最後に、3つのエレメントの得点から総合得点を算出し、認識結果を出力する。
【0022】
検出対象の特定マークには、円パターンからなるものがある。図8は、この発明の別の実施の形態の特定パターン検出装置の概略構成を示す。この特定パターン検出装置において、画像入力部101では、読み取られたR(赤)、G(緑)、B(青)の3色の濃度が8ビット(256階調)で入力される。さらに、入力データに対して、さらに解像度変換、変倍などの前処理が行われる。次に、2値化処理部102は、入力された画像濃度があらかじめ規定された参照濃度範囲内かどうかを判断して2値化を行い、メモリ103に格納する。メモリ103は、2値化処理部102において2値化された結果を格納するメモリであり、検出するマークサイズ以上のライン数を格納する容量を持つ。
なお、この2値化処理部102での処理において、図1に示す特定パターン検出装置の前処理(2値化処理部2から得点マップ作成処理部5まで)を用いてもよい。これにより、画像をさらに低解像度化でき、メモリアクセス回数を低減し、処理の高速化が図れる。
【0023】
次に、円パターン検出部104は、主走査方向と副走査方向にm、n画素づつずらした複数の円パターン検出ブロックを設け、複数ブロックにて円パターンを同時に検出する。具体的には、メモリ103に記憶された2値化データから、主走査方向に重複して隣接する3個分の検出ブロックの画像データを取りだし、円パターン検出部104は、これらのブロックについて同時に判断する。また、副走査方向に3回、同ブロックを繰り返し使用することにより、計9ブロックの円パターンを検出する。
【0024】
次に、精査対象選択部105は、複数の検出結果から所定の条件に従って最有力の1つのブロックを選択する。すなわち、上述の9個の円パターン検出ブロックにて円パターンを検出したブロックのうち最有力候補を選択する。パターン精査部106は、精査対象選択部105により選択された最有力候補のブロックに対してのみ詳細なパターン精査を行い、規定された参照画像との類似度を判定する。この処理は、参照画像とのパターンマッチングなどにより、円パターン内部のパターンの精査を行うものであり、マークにどれだけ似ているかを出力する。最有力候補のブロックに対してのみ詳細なパターン精査を行うことにより、処理を高速化する。最後に、出力部107は、パターン精査部106の真円度、パターン精査などの判定結果を得点化して出力する。この得点によって、規定のマークかどうかの判定を行う。なお、アドレス算出部108は、データを格納したメモリ103の所定のアドレスを算出する。
【0025】
【発明の効果】
低解像度化により、画像認識における画像データに対するメモリアクセスを低減し、特定パターン検出を高速化できる。
【図面の簡単な説明】
【図1】 特定パターン検出装置の概略構成を示すブロック図
【図2】 エレメント抽出部と縮小画像作成部のイメージ図
【図3】 エレメント抽出部のハードウエア回路の図
【図4】 縮小画像作成部のハードウエア回路の図
【図5】 得点マップ作成部の処理を示す図
【図6】 マーク検出部の検出フィルタの配置を示す図
【図7】 マーク検出部の検出フィルタ部のハードウエア回路を示す図
【図8】 変形実施形態の特定パターン検出装置の概略構成を示すブロック図
【符号の説明】
1 画像入力部、 2 2値化処理部、 3 エレメント処理部、 4縮小画像作成部、 5 得点マップ作成部、 6 メモリ、 8 マーク検出部、 9 理論位置算出部、 10 出力部。
Claims (4)
- 複数の部分画像から構成され、前記複数の部分画像のうち少なくとも2つは所定半径の円の直径上に配置され、他の少なくとも1つはそれらから所定の位置に配置された特定パターンを検出する特定パターン検出装置であって、
入力画像データから特定の部分画像を抽出する部分画像抽出手段と、
前記部分画像抽出手段によって抽出された特定の部分画像の抽出結果を記憶する記憶手段と、
前記記憶手段に記憶された特定の部分画像周辺の各画素に対して、該特定の部分画像からの距離を示す得点を書き込んで得点マップを作成する作成手段と、
前記部分画像抽出手段によって抽出された特定の部分画像から、前記所定半径の円の直径上に配置された少なくとも2つの特定の部分画像を検出する検出手段と、
前記検出手段によって検出された少なくとも2つの特定の部分画像から、他の特定の部分画像の理論的な座標位置を算出する算出手段と、
前記得点マップを参照し、前記算出手段によって算出された座標位置の得点を読む得点出力手段と、
前記得点出力手段により読まれた得点を基に特定パターンの画像認識処理を行う処理手段と
を備えたことを特徴とする特定パターン検出装置。 - 入力画像データの濃度があらかじめ規定された参照濃度範囲内かどうかを判断して入力画像データを2値化する2値化手段と、
前記2値化手段により2値化されたデータを記憶する2値化データ記憶手段と
を備え、
前記部分画像抽出手段は、前記2値化データ記憶手段に記憶された2値化データの特定の部分画像を1ビットに変換するフィルタであることを特徴とする請求項1に記載された特定パターン検出装置。 - 前記作成手段は、前記部分画像抽出手段により抽出された画像の周辺の各画素を、参照画素からの距離を示す数ビットに変換するフィルタであることを特徴とする請求項1に記載された特定パターン検出装置。
- 複数の部分画像から構成され、前記複数の部分画像のうち少なくとも2つは所定半径の円の直径上に配置され、他の少なくとも1つはそれらから所定の位置に配置された特定パターンの検出において、
入力画像データから特定の部分画像を抽出し、
抽出された前記特定の部分画像の抽出結果を記憶し、
記憶された前記特定の部分画像の周辺の各画素に対して、該特定の部分画像からの距離を示す得点を書き込んで得点マップを作成し、
抽出された前記特定の部分画像から、前記所定半径の円の直径上に配置された少なくとも2つの特定の部分画像を検出し、
検出された前記少なくとも2つの特定の部分画像から、他の特定の部分画像の理論的な座標位置を算出し、
前記得点マップを参照し、算出された前記座標位置の得点を読み、
読まれた前記得点を基に特定パターンの画像認識処理を行う
ことを特徴とする特定パターン検出方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000004532A JP3835098B2 (ja) | 2000-01-13 | 2000-01-13 | 特定パターン検出装置および方法 |
US09/757,529 US7050621B2 (en) | 2000-01-13 | 2001-01-11 | Specified pattern detecting apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000004532A JP3835098B2 (ja) | 2000-01-13 | 2000-01-13 | 特定パターン検出装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001195573A JP2001195573A (ja) | 2001-07-19 |
JP3835098B2 true JP3835098B2 (ja) | 2006-10-18 |
Family
ID=18533311
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000004532A Expired - Fee Related JP3835098B2 (ja) | 2000-01-13 | 2000-01-13 | 特定パターン検出装置および方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3835098B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023032857A (ja) * | 2021-08-27 | 2023-03-09 | パナソニックIpマネジメント株式会社 | 画像判定方法、画像判定装置および文字認識方法 |
-
2000
- 2000-01-13 JP JP2000004532A patent/JP3835098B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001195573A (ja) | 2001-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5201011A (en) | Method and apparatus for image hand markup detection using morphological techniques | |
JP2938338B2 (ja) | 二次元コード | |
JP2009032299A (ja) | 文書画像処理方法、文書画像処理装置、文書画像処理プログラムおよび記憶媒体 | |
JP3675629B2 (ja) | パターン認識方法、装置および記録媒体 | |
US6268935B1 (en) | Image processor | |
JP2864735B2 (ja) | 物体識別方法および装置ならびに物体識別のための画像処理方法および装置 | |
US7155051B2 (en) | Image recognition apparatus, image recognition method and image recognition program for specific pattern | |
JP3835098B2 (ja) | 特定パターン検出装置および方法 | |
JP3835097B2 (ja) | 特定パターン検出装置および方法 | |
EP0702320A1 (en) | Skew detection | |
US7050621B2 (en) | Specified pattern detecting apparatus | |
JP4431690B2 (ja) | 円盤形被検体認識システム、装置及び方法 | |
JP2003281593A (ja) | 硬貨識別装置と硬貨登録装置と硬貨判定装置、並びに硬貨判定方法 | |
JP3893826B2 (ja) | 円パターン検出装置 | |
JP4680419B2 (ja) | 円パターン検出装置、方法、コンピュータ実行可能なプログラム、および、そのようなプログラムを記録した記録媒体 | |
JP3896746B2 (ja) | 円パターン検出装置 | |
JP3303748B2 (ja) | 基準1次元データ列の登録方法、画像認識方法、登録装置、画像認識装置ならびに記録媒体 | |
JP4329279B2 (ja) | 特定パターン検出装置、方法、コンピュータ実行可能なプログラム、および、そのようなプログラムを記録した記録媒体 | |
JP3572203B2 (ja) | パターン識別方法 | |
JP3763966B2 (ja) | 画像認識方法、装置および記録媒体 | |
JP2001313826A (ja) | 画像処理装置、画像処理方法、および画像処理プログラムを記録した記録媒体 | |
JP2507949B2 (ja) | 文字/図形領域判定装置 | |
JPH04112276A (ja) | 2値画像輪郭線チェイン符号化装置 | |
JP2004013188A (ja) | 帳票読取り装置および帳票読取り方法ならびプログラム | |
JPH08115428A (ja) | 領域判別装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050614 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050701 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050701 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060214 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060413 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060717 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090804 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100804 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110804 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120804 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130804 Year of fee payment: 7 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |