JP4366886B2 - 画像認識のための装置と方法 - Google Patents
画像認識のための装置と方法 Download PDFInfo
- Publication number
- JP4366886B2 JP4366886B2 JP2001155596A JP2001155596A JP4366886B2 JP 4366886 B2 JP4366886 B2 JP 4366886B2 JP 2001155596 A JP2001155596 A JP 2001155596A JP 2001155596 A JP2001155596 A JP 2001155596A JP 4366886 B2 JP4366886 B2 JP 4366886B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- correlation
- color
- rotation
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000007689 inspection Methods 0.000 claims description 35
- 230000009466 transformation Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 8
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 2
- 229940102872 bluemax Drugs 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
- G06V10/7515—Shifting the patterns to accommodate for positional errors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、特定パターンの画像認識に関する。
【０００２】
【従来の技術】
近年カラー複写機の機能と性能が上がり、紙幣、有価証券などの有効な偽造防止方法が検討され続けている。偽造防止方法のひとつでは、紙幣などの模様の内に特定パターンを含めておく。そして、紙幣などがカラー複写機でスキャンされたときに、スキャンされた画像を解析し、画像内に特定パターンを検出したならば正常な像生成を禁止する。
【０００３】
入力機器からのデータの多くは情報量の多いカラー画像であり、また入出力機器はますます高速で高解像度になってきている。それにもかかわらず、偽造防止のため、実時間内での画像処理が求められている。それゆえ、特定パターンの検出のため、高速で高精度な画像認識の手法の開発が重要な課題である。
【０００４】
対象物の位置検出や形状認識等のために行われる従来のパターン識別手法として、１画素ずつシフトしてパターンマッチングをする方法がある。このパターンマッチングでは、画像処理装置に取り込まれた画像の各画素のデータを、黒白の２値化データまたは多値化データとして画像メモリに記憶せしめ、この記憶されたデータと、予めメモりに記憶された基準パターンの各画素のデータを１個ずつ照合する。
【０００５】
【発明が解決しようとする課題】
このパターンマッチング技術では、特定パターンを識別するための基準パターンのデータを用意しておき、画像の各々の画素のデータと、基準パターンの各々の画素のデータを、１画素づつ照合する。したがって、あらかじめ基準パターンのデータを用意しておかねばならない。たとえば、サイズの異なる円形画像が特定パターンとして用いられる場合にも、サイズに応じた数の基準パターンを用意しなければならない。また、プログラムを解析された場合、基準パターンは見つけられ易く、安全でない。
【０００６】
この発明の目的は、画像認識のための新しい装置と方法を提供することである。
【０００７】
【課題を解決するための手段】
本発明に係る第１の画像認識装置は、多値カラー画像を入力する画像入力手段と、画像入力手段により入力された多値カラー画像から、特定色に関する２値画像を生成する２値画像生成手段と、前記２値画像における被検査領域の画像について、大きさを変えないで回転を行う回転手段と、前記回転手段による回転の前後の画像の相関度を算出する相関度算出手段と、前記相関度算出手段により算出された前記相関度がしきい値より高い場合に、前記被検査領域の画像があらかじめ定められた円形の特定パターンであると判断する特定パターン形状判別手段とを備える。この画像認識装置において、たとえば、前記回転手段の行う回転は９０°、１８０°および２７０°のいずれかの角度である。
本発明に係る第２の画像認識装置は、多値カラー画像を入力する画像入力手段と、画像入力手段により入力された多値カラー画像から、特定色に関する２値画像を生成する２値画像生成手段と、前記２値画像における被検査領域の画像について、大きさを変えないで線対称変換を行う線対称変換手段と、前記線対称変換手段による線対称変換の前後の画像の相関度を算出する相関度算出手段と、前記相関度算出手段により算出された前記相関度がしきい値より高い場合に、前記被検査領域の画像があらかじめ定められた線対称の特定パターンであると判断する特定パターン形状判別手段とを備える。
【０００８】
本発明に係る第１の画像認識方法では、多値カラー画像を入力するステップと、入力された前記多値カラー画像から、特定色に関する２値画像を生成するステップと、前記２値画像における被検査領域の画像について、大きさを変えないで回転を行うステップと、前記回転の前後の画像の相関度を算出するステップと、算出された前記相関度がしきい値より高い場合に、前記被検査領域の画像があらかじめ定められた円形の特定パターンであると判断するステップとを備える。この画像認識方法において、前記回転はたとえば９０°、１８０°および２７０°のいずれかの角度である。
本発明に係る第２の画像認識方法では、多値カラー画像を入力するステップと、入力された多値カラー画像から、特定色に関する２値画像を生成するステップと、前記２値画像における被検査領域の画像について、大きさを変えないで線対称変換を行うステップと、前記線対称変換の前後の画像の相関度を算出するステップと、算出された前記相関度がしきい値より高い場合に、前記被検査領域の画像があらかじめ定められた線対称の特定パターンであると判断するステップとを備える。
【０００９】
本発明に係る第１のプログラムは、多値カラー画像を入力するステップと、入力された前記多値カラー画像から、特定色に関する２値画像を生成するステップと、前記２値画像における被検査領域の画像について、大きさを変えないで回転を行うステップと、前記回転の前後の画像の相関度を算出するステップと、算出された前記相関度がしきい値より高い場合に、前記被検査領域の画像があらかじめ定められた円形の特定パターンであると判断するステップとをコンピュータに実行させる。このプログラムにおいて、前記回転はたとえば９０°、１８０°および２７０°のいずれかの角度である。
本発明に係る第２のプログラムは、多値カラー画像を入力するステップと、入力された多値カラー画像から、特定色に関する２値画像を生成するステップと、前記２値画像における被検査領域の画像について、大きさを変えないで線対称変換を行うステップと、前記線対称変換の前後の画像の相関度を算出するステップと、算出された前記相関度がしきい値より高い場合に、前記被検査領域の画像があらかじめ定められた線対称の特定パターンであると判断するステップとをコンピュータに実行させる。
本発明に係るコンピュータ読み取り可能な記録媒体は、いずれかの前記プログラムを記録する。
【００１０】
【発明の実施の形態】
以下、添付の図面を参照して本発明の実施の形態を説明する。なお、図面において、同じ参照記号は同一または同等のものを示す。
図１は、この発明の１実施形態による自己回転相関度による画像処理システムの構成を示す概略斜視図である。この画像処理システムは、ＣＰＵを中心として構成され、システム全体を制御する制御装置１と、画像あるいは文字等を表示し、操作のための各種表示等を行うディスプレイ２と、各種入力、指示操作等を行うためのキーボード３及びマウス４と、データ記録媒体であるフロッピーディスク５及びハードディスク６と、画像データを出力するためのプリンタ７と、画像データを取り込むためのスキャナー８およびＣＤ−ＲＯＭ装置９と、音声のためのスピーカー１０とマイク１１から構成される。
【００１１】
図２は、制御装置１を中心とした画像処理システムの制御系のブロック図である。制御装置１は、ＣＰＵ２０１を中心として構成され、ＣＰＵ２０１に接続されるデータバス２２０を介して、本システムを制御するプログラム等を記憶しているＲＯＭ２０３と、データ及びプログラムを記憶するＲＡＭ２０４と、画像あるいは文字等の表示をディスプレイ２に行う表示制御回路２０５と、キーボード５からの入力を転送制御するキーボード制御回路２０６と、マウス４からの入力を転送制御するマウス制御回路２０７と、フロッピーディスク５を制御するフロッピーディスク制御回路２０８と、ハードディスク６を制御するハードデイスク制御回路２０９と、プリンタ７への出力を制御するプリンタ制御回路２１０と、スキャナー８を制御するスキャナー制御回路２１１と、ＣＤ‐ＲＯＭ装置９を制御するＣＤ‐ＲＯＭ装置制御回路２１２と、スピーカー１０を制御するスピーカー制御回路２１３と、マイク１１を制御するマイク制御回路２１４が接続される。また、ＣＰＵ２０１には、本システムを動作させるために必要な基準クロックを発生するためのクロック２０２が接続され、さらにデータバス２２０を介して各種拡張ボードを接続するための拡張スロット２１５が接続される。なお、本実施形態では、システムを制御するプログラムをＲＯＭ２０３に記憶しているが、本発明によるプログラムをパーソナルコンピュータ等の装置にて読み込み、実行させてもよい。
【００１２】
図３は、前述の画像処理システムにおける制御装置１の画像処理のメインルーチンを示すフローチャートである。本プログラムが起動されると、まず、以下の処理で必要なフラグの初期化や初期画面表示などが行われる（Ｓ１）。次に、画面においてメニューが選択されたか否かを判定する（Ｓ２）。選択されていれば、選択に対応して、画像認識処理（Ｓ３）、その他メニユー（Ｓ４）、終了（Ｓ５）のいずれかの処理を行う。何も選択されていなければ、何の処理も行わずにステツプＳ６に進む。ステップＳ３の画像認識処理の詳細な処理については後で説明する。その他のステツプについては、本発明に直接関係がないので、ここでの説明は省略する。
【００１３】
図４は、画像認識処理（図３、Ｓ３）の大きな処理の流れを示す。この画像認識処理では、スキャナー８でスキャンされた画像などの入力画像データを解析して、画像内で、紙幣、有価証券などの模様の内に含めてある特定パターンを検出する。特定パターンは、所定の形状（たとえば円形）の所定の大きさの特定色のパターンである。まず、認識処理対象のカラー画像データが入力される（Ｓ１１）。本システムの場合、カラー画像を入力対象とする。次に、処理を高速化するために、認識対象に対して、解像度を、画像認識が可能な程度の低解像度（画像の細かさ）に落とす（Ｓ１２）。解像度変換の詳細の説明は省略する。次に、特定色に関してカラー画像の２値化を行う（Ｓ１３）。ここで、画像の各画素のＲＧＢ値が指定の範囲内であれば、その画素のビットをオンにし、それ以外の範囲の色であればビットをオフにする。たとえば、以下の条件（特定色の範囲）に合致すれば、画素のビットをオンにする。
RedMax ≦Red ≦RedMin
GreenMax≦Green≦GreenMin
BlueMax ≦Blue ≦BlueMin
ここで、Red、Green、Blueは注目画素の赤、緑、青の画素値であり、RedMax、GreenMax、BlueMaxは、赤、緑、青の最大値であり、RedMin、GreenMin、BlueMinは、赤、緑、青の最小値である。
【００１４】
次に、２値画像から特定パターンを検出するため、図５に示すように、フィルタを用いて２値化画像データ全体を順次スキャンする。フィルタのサイズは特定パターンの大きさに対応して定められている。ここで、６×６画素のフィルタ２１を用いて画像２２を左上の端からスキャンする。各被検査位置で、その被検査位置でのフィルタ内の画像を線形変換し（ただし大きさを変えない）、被検査位置の画像と線形変換後の画像の相関を計算し、相関度を基に特定パターンを検出する（Ｓ１４）。ここでは、円形の特定パターンを検出するので、線形変換としては回転を用いる。回転は、たとえば行列演算による線形変換として行う。そして、被検査位置の画像と回転画像との類似度（回転による自己相関）を求める。
【００１５】
次に、算出した特定パターンの適合度（類似度）から、検査対象の特定パターンであるか否かを判断する（Ｓ１５）。特定パターンが円形パターンである場合、回転しても類似度は変化しないはずである。そこで、回転による類似の変化も考慮して特定パターンを検出する。たとえば、類似度が高くても、回転による類似度の変化が大きければ、検出対象の円形の特定パターンでないと判断する。２値化画像データ全体についてスキャンが終われば、画像認識処理を終了する。
【００１６】
図６〜図８は、円形の特定パターンの場合、本実施形態の回転による自己相関での類似度算出結果と従来の単純なパターンマッチングでの画像認識処理とを順次示す。以下の説明から分かるように、回転による自己相関のほうが、特定パターンとのずれを正確に区別できていることが分かる。
【００１７】
図６は、回転による自己相関の１例を示す。まず、低解像度化画像における被検査位置での検査対象画像を入力する。（ａ）に６×６画素の検査対象画像を示す。この例では、円形の特定パターンが対称性よく検出されている。次に、回転による自己相関の類似度を算出する。（ｂ）に示す９０°回転画像の場合、検査対象画像と９０°回転時の画像とを比較すると、一致した画素の数が３６画素であるので、類似度は、３６／３６である。また、（ｃ）に示す１８０°回転画像の場合、検査対象画像との比較の結果、一致した画素の数は３６画素であるので、類似度は３６／３６である。従来の基準画像との単純なパターンマッチングでは、一致画素の数が３６画素であり、類似度は３６／３６と高い類似度を算出している。このように、検査対象画像が劣化せずに検出された場合では、類似度はいずれも同じであった。すなわち、図６は完全一致の１例である。
【００１８】
図７は、回転による自己相関の他の例を示す。まず、低解像度化画像における被検査位置での検査対象画像を入力する。（ａ）に６×６画素の検査対象画像を示す。この例では、特定パターンが円形からややくずれて検出されている。次に、回転による自己相関の類似度を算出する。（ｂ）に示す検査対象のパターンの９０°回転画像の場合、検査対象画像と９０°回転時の画像との比較結果は、一致した画素の数が２８画素であり、類似度は、２８／３６である。また、１８０°回転画像の場合、１８０°回転時の画像と検査対象画像との比較の結果、一致した画素の数は２８画素であるので、類似度は２８／３６である。これに対し、従来の基準画像との単純なパターンマッチングでは、一致画素の数が３２画素あり、類似度は３２／３６の高い値である。このように、従来の単純なパターンマッチングに比べて、９０°回転時の画像も１８０°回転時の画像も、いずれも類似度の値は低くなっている。すなわち、回転による自己相関は、特定パターンの比較において、特定パターンの形状の変化に対して敏感に反応していることがわかる。
【００１９】
図８は、さらに他の例を示す。まず、低解像度化画像における被検査位置での検査対象画像を入力する。（ａ）に６×６画素の検査対象画像を示す。この例では検査対象画像はかなり円形からずれている。次に、回転による自己相関の類似度を算出する。（ｂ）に示す検査対象のパターンの９０゜回転画像の場合、９０゜回転時の画像と検査対象画像との比較結果は、一致した画素の数が２０画素なので、類似度は、２０／３６である。また、１８０°回転時の自己相関度は、検査対象画像との比較の結果、一致した画素の数は１４画素なので、類似度は１４／３６である。このように、９０°回転画像も１８０゜回転画像も、いずれも類似度の値は低い。したがって、特定パターンでないと判断できる。一方、従来の単純なパターンマッチングでは、基準画像との一致画素の数が２５画素であり、２５／３６と高い類似度を算出している。したがって、従来の単純なパターンマッチングの手法に比較して、少なくともサンプルの画像（ａ）に関して、精度よく判別でき、円形パターンの検査に有効であることが分かる。
【００２０】
このように、自己相関による類似度は、円形パターンの検査に有効であることが分かった。回転による自己相関（類似度）を求め、適当なしきい値と比較することにより、特定パターンであるか否かを判断できる。円形パターンの検査の場合、回転角度は問わないが、たとえば１８０°とする。
【００２１】
以上の説明は、特定パターンの形状が円形の場合である。それ以外の形状の場合にも、その特定パターンの対称性に応じた線形変換を行って自己相関を求めることにより、特定パターンの検出を行う。たとえば、図９は、矩形の特定パターンの例を示し、図１０は、カプセル形の特定パターンの例を示す。このような特定パターンの場合、１８０°回転での自己相関を算出すればよい。また、正方対象の図形の場合、回転角度は、９０°、１８０゜、２７０゜の少なくとも一つとする。同様に、線対称の特定パターンであれば、被検査画像の線形変換として、自己相関を求めればよい。
【００２２】
【発明の効果】
単純なパターンマッチングよりも精度よく特定パターンを認識できる。
特定パターンのサイズが変わっても対応可能である。円形の直径サイズに依存しない方法なので、特定パターンの大きさを考慮するする必要がない。
被検査画像に対して自己の相関関係で目的とする形状か否かを判断するため、通常のパターンマッチングで常に必要な基準パターンは不要である。したがって、基準パターンを記憶する資源（メモリ等）が不要である。また、基準パターンを持たないため、プログラムを解析されても特定基準パターンの発見が困難なためセキュリティが向上する。
【図面の簡単な説明】
【図１】 画像処理システムのブロック図
【図２】 制御装置を中心とした制御系のブロック図
【図３】 画像処理のフローチャート
【図４】 画像認識のフローチャート
【図５】 画像データ全体のフィルタによるスキャンを示す図
【図６】 円形特定パターンについて回転による自己相関の１例を説明する図
【図７】 円形特定パターンについて回転による自己相関の他の例を説明する図
【図８】 円形特定パターンについて回転による自己相関の別の例を説明する図
【図９】 他の対称性のパターンについて回転による自己相関の１例を説明する図
【図１０】 別の対称性のパターンについて回転による自己相関の１例を説明する図
【符号の説明】
１ 制御装置、 ２ ディスプレイ、 ２０１ ＣＰＵ、 ２０３ ＲＯＭ。
【発明の属する技術分野】
本発明は、特定パターンの画像認識に関する。
【０００２】
【従来の技術】
近年カラー複写機の機能と性能が上がり、紙幣、有価証券などの有効な偽造防止方法が検討され続けている。偽造防止方法のひとつでは、紙幣などの模様の内に特定パターンを含めておく。そして、紙幣などがカラー複写機でスキャンされたときに、スキャンされた画像を解析し、画像内に特定パターンを検出したならば正常な像生成を禁止する。
【０００３】
入力機器からのデータの多くは情報量の多いカラー画像であり、また入出力機器はますます高速で高解像度になってきている。それにもかかわらず、偽造防止のため、実時間内での画像処理が求められている。それゆえ、特定パターンの検出のため、高速で高精度な画像認識の手法の開発が重要な課題である。
【０００４】
対象物の位置検出や形状認識等のために行われる従来のパターン識別手法として、１画素ずつシフトしてパターンマッチングをする方法がある。このパターンマッチングでは、画像処理装置に取り込まれた画像の各画素のデータを、黒白の２値化データまたは多値化データとして画像メモリに記憶せしめ、この記憶されたデータと、予めメモりに記憶された基準パターンの各画素のデータを１個ずつ照合する。
【０００５】
【発明が解決しようとする課題】
このパターンマッチング技術では、特定パターンを識別するための基準パターンのデータを用意しておき、画像の各々の画素のデータと、基準パターンの各々の画素のデータを、１画素づつ照合する。したがって、あらかじめ基準パターンのデータを用意しておかねばならない。たとえば、サイズの異なる円形画像が特定パターンとして用いられる場合にも、サイズに応じた数の基準パターンを用意しなければならない。また、プログラムを解析された場合、基準パターンは見つけられ易く、安全でない。
【０００６】
この発明の目的は、画像認識のための新しい装置と方法を提供することである。
【０００７】
【課題を解決するための手段】
本発明に係る第１の画像認識装置は、多値カラー画像を入力する画像入力手段と、画像入力手段により入力された多値カラー画像から、特定色に関する２値画像を生成する２値画像生成手段と、前記２値画像における被検査領域の画像について、大きさを変えないで回転を行う回転手段と、前記回転手段による回転の前後の画像の相関度を算出する相関度算出手段と、前記相関度算出手段により算出された前記相関度がしきい値より高い場合に、前記被検査領域の画像があらかじめ定められた円形の特定パターンであると判断する特定パターン形状判別手段とを備える。この画像認識装置において、たとえば、前記回転手段の行う回転は９０°、１８０°および２７０°のいずれかの角度である。
本発明に係る第２の画像認識装置は、多値カラー画像を入力する画像入力手段と、画像入力手段により入力された多値カラー画像から、特定色に関する２値画像を生成する２値画像生成手段と、前記２値画像における被検査領域の画像について、大きさを変えないで線対称変換を行う線対称変換手段と、前記線対称変換手段による線対称変換の前後の画像の相関度を算出する相関度算出手段と、前記相関度算出手段により算出された前記相関度がしきい値より高い場合に、前記被検査領域の画像があらかじめ定められた線対称の特定パターンであると判断する特定パターン形状判別手段とを備える。
【０００８】
本発明に係る第１の画像認識方法では、多値カラー画像を入力するステップと、入力された前記多値カラー画像から、特定色に関する２値画像を生成するステップと、前記２値画像における被検査領域の画像について、大きさを変えないで回転を行うステップと、前記回転の前後の画像の相関度を算出するステップと、算出された前記相関度がしきい値より高い場合に、前記被検査領域の画像があらかじめ定められた円形の特定パターンであると判断するステップとを備える。この画像認識方法において、前記回転はたとえば９０°、１８０°および２７０°のいずれかの角度である。
本発明に係る第２の画像認識方法では、多値カラー画像を入力するステップと、入力された多値カラー画像から、特定色に関する２値画像を生成するステップと、前記２値画像における被検査領域の画像について、大きさを変えないで線対称変換を行うステップと、前記線対称変換の前後の画像の相関度を算出するステップと、算出された前記相関度がしきい値より高い場合に、前記被検査領域の画像があらかじめ定められた線対称の特定パターンであると判断するステップとを備える。
【０００９】
本発明に係る第１のプログラムは、多値カラー画像を入力するステップと、入力された前記多値カラー画像から、特定色に関する２値画像を生成するステップと、前記２値画像における被検査領域の画像について、大きさを変えないで回転を行うステップと、前記回転の前後の画像の相関度を算出するステップと、算出された前記相関度がしきい値より高い場合に、前記被検査領域の画像があらかじめ定められた円形の特定パターンであると判断するステップとをコンピュータに実行させる。このプログラムにおいて、前記回転はたとえば９０°、１８０°および２７０°のいずれかの角度である。
本発明に係る第２のプログラムは、多値カラー画像を入力するステップと、入力された多値カラー画像から、特定色に関する２値画像を生成するステップと、前記２値画像における被検査領域の画像について、大きさを変えないで線対称変換を行うステップと、前記線対称変換の前後の画像の相関度を算出するステップと、算出された前記相関度がしきい値より高い場合に、前記被検査領域の画像があらかじめ定められた線対称の特定パターンであると判断するステップとをコンピュータに実行させる。
本発明に係るコンピュータ読み取り可能な記録媒体は、いずれかの前記プログラムを記録する。
【００１０】
【発明の実施の形態】
以下、添付の図面を参照して本発明の実施の形態を説明する。なお、図面において、同じ参照記号は同一または同等のものを示す。
図１は、この発明の１実施形態による自己回転相関度による画像処理システムの構成を示す概略斜視図である。この画像処理システムは、ＣＰＵを中心として構成され、システム全体を制御する制御装置１と、画像あるいは文字等を表示し、操作のための各種表示等を行うディスプレイ２と、各種入力、指示操作等を行うためのキーボード３及びマウス４と、データ記録媒体であるフロッピーディスク５及びハードディスク６と、画像データを出力するためのプリンタ７と、画像データを取り込むためのスキャナー８およびＣＤ−ＲＯＭ装置９と、音声のためのスピーカー１０とマイク１１から構成される。
【００１１】
図２は、制御装置１を中心とした画像処理システムの制御系のブロック図である。制御装置１は、ＣＰＵ２０１を中心として構成され、ＣＰＵ２０１に接続されるデータバス２２０を介して、本システムを制御するプログラム等を記憶しているＲＯＭ２０３と、データ及びプログラムを記憶するＲＡＭ２０４と、画像あるいは文字等の表示をディスプレイ２に行う表示制御回路２０５と、キーボード５からの入力を転送制御するキーボード制御回路２０６と、マウス４からの入力を転送制御するマウス制御回路２０７と、フロッピーディスク５を制御するフロッピーディスク制御回路２０８と、ハードディスク６を制御するハードデイスク制御回路２０９と、プリンタ７への出力を制御するプリンタ制御回路２１０と、スキャナー８を制御するスキャナー制御回路２１１と、ＣＤ‐ＲＯＭ装置９を制御するＣＤ‐ＲＯＭ装置制御回路２１２と、スピーカー１０を制御するスピーカー制御回路２１３と、マイク１１を制御するマイク制御回路２１４が接続される。また、ＣＰＵ２０１には、本システムを動作させるために必要な基準クロックを発生するためのクロック２０２が接続され、さらにデータバス２２０を介して各種拡張ボードを接続するための拡張スロット２１５が接続される。なお、本実施形態では、システムを制御するプログラムをＲＯＭ２０３に記憶しているが、本発明によるプログラムをパーソナルコンピュータ等の装置にて読み込み、実行させてもよい。
【００１２】
図３は、前述の画像処理システムにおける制御装置１の画像処理のメインルーチンを示すフローチャートである。本プログラムが起動されると、まず、以下の処理で必要なフラグの初期化や初期画面表示などが行われる（Ｓ１）。次に、画面においてメニューが選択されたか否かを判定する（Ｓ２）。選択されていれば、選択に対応して、画像認識処理（Ｓ３）、その他メニユー（Ｓ４）、終了（Ｓ５）のいずれかの処理を行う。何も選択されていなければ、何の処理も行わずにステツプＳ６に進む。ステップＳ３の画像認識処理の詳細な処理については後で説明する。その他のステツプについては、本発明に直接関係がないので、ここでの説明は省略する。
【００１３】
図４は、画像認識処理（図３、Ｓ３）の大きな処理の流れを示す。この画像認識処理では、スキャナー８でスキャンされた画像などの入力画像データを解析して、画像内で、紙幣、有価証券などの模様の内に含めてある特定パターンを検出する。特定パターンは、所定の形状（たとえば円形）の所定の大きさの特定色のパターンである。まず、認識処理対象のカラー画像データが入力される（Ｓ１１）。本システムの場合、カラー画像を入力対象とする。次に、処理を高速化するために、認識対象に対して、解像度を、画像認識が可能な程度の低解像度（画像の細かさ）に落とす（Ｓ１２）。解像度変換の詳細の説明は省略する。次に、特定色に関してカラー画像の２値化を行う（Ｓ１３）。ここで、画像の各画素のＲＧＢ値が指定の範囲内であれば、その画素のビットをオンにし、それ以外の範囲の色であればビットをオフにする。たとえば、以下の条件（特定色の範囲）に合致すれば、画素のビットをオンにする。
RedMax ≦Red ≦RedMin
GreenMax≦Green≦GreenMin
BlueMax ≦Blue ≦BlueMin
ここで、Red、Green、Blueは注目画素の赤、緑、青の画素値であり、RedMax、GreenMax、BlueMaxは、赤、緑、青の最大値であり、RedMin、GreenMin、BlueMinは、赤、緑、青の最小値である。
【００１４】
次に、２値画像から特定パターンを検出するため、図５に示すように、フィルタを用いて２値化画像データ全体を順次スキャンする。フィルタのサイズは特定パターンの大きさに対応して定められている。ここで、６×６画素のフィルタ２１を用いて画像２２を左上の端からスキャンする。各被検査位置で、その被検査位置でのフィルタ内の画像を線形変換し（ただし大きさを変えない）、被検査位置の画像と線形変換後の画像の相関を計算し、相関度を基に特定パターンを検出する（Ｓ１４）。ここでは、円形の特定パターンを検出するので、線形変換としては回転を用いる。回転は、たとえば行列演算による線形変換として行う。そして、被検査位置の画像と回転画像との類似度（回転による自己相関）を求める。
【００１５】
次に、算出した特定パターンの適合度（類似度）から、検査対象の特定パターンであるか否かを判断する（Ｓ１５）。特定パターンが円形パターンである場合、回転しても類似度は変化しないはずである。そこで、回転による類似の変化も考慮して特定パターンを検出する。たとえば、類似度が高くても、回転による類似度の変化が大きければ、検出対象の円形の特定パターンでないと判断する。２値化画像データ全体についてスキャンが終われば、画像認識処理を終了する。
【００１６】
図６〜図８は、円形の特定パターンの場合、本実施形態の回転による自己相関での類似度算出結果と従来の単純なパターンマッチングでの画像認識処理とを順次示す。以下の説明から分かるように、回転による自己相関のほうが、特定パターンとのずれを正確に区別できていることが分かる。
【００１７】
図６は、回転による自己相関の１例を示す。まず、低解像度化画像における被検査位置での検査対象画像を入力する。（ａ）に６×６画素の検査対象画像を示す。この例では、円形の特定パターンが対称性よく検出されている。次に、回転による自己相関の類似度を算出する。（ｂ）に示す９０°回転画像の場合、検査対象画像と９０°回転時の画像とを比較すると、一致した画素の数が３６画素であるので、類似度は、３６／３６である。また、（ｃ）に示す１８０°回転画像の場合、検査対象画像との比較の結果、一致した画素の数は３６画素であるので、類似度は３６／３６である。従来の基準画像との単純なパターンマッチングでは、一致画素の数が３６画素であり、類似度は３６／３６と高い類似度を算出している。このように、検査対象画像が劣化せずに検出された場合では、類似度はいずれも同じであった。すなわち、図６は完全一致の１例である。
【００１８】
図７は、回転による自己相関の他の例を示す。まず、低解像度化画像における被検査位置での検査対象画像を入力する。（ａ）に６×６画素の検査対象画像を示す。この例では、特定パターンが円形からややくずれて検出されている。次に、回転による自己相関の類似度を算出する。（ｂ）に示す検査対象のパターンの９０°回転画像の場合、検査対象画像と９０°回転時の画像との比較結果は、一致した画素の数が２８画素であり、類似度は、２８／３６である。また、１８０°回転画像の場合、１８０°回転時の画像と検査対象画像との比較の結果、一致した画素の数は２８画素であるので、類似度は２８／３６である。これに対し、従来の基準画像との単純なパターンマッチングでは、一致画素の数が３２画素あり、類似度は３２／３６の高い値である。このように、従来の単純なパターンマッチングに比べて、９０°回転時の画像も１８０°回転時の画像も、いずれも類似度の値は低くなっている。すなわち、回転による自己相関は、特定パターンの比較において、特定パターンの形状の変化に対して敏感に反応していることがわかる。
【００１９】
図８は、さらに他の例を示す。まず、低解像度化画像における被検査位置での検査対象画像を入力する。（ａ）に６×６画素の検査対象画像を示す。この例では検査対象画像はかなり円形からずれている。次に、回転による自己相関の類似度を算出する。（ｂ）に示す検査対象のパターンの９０゜回転画像の場合、９０゜回転時の画像と検査対象画像との比較結果は、一致した画素の数が２０画素なので、類似度は、２０／３６である。また、１８０°回転時の自己相関度は、検査対象画像との比較の結果、一致した画素の数は１４画素なので、類似度は１４／３６である。このように、９０°回転画像も１８０゜回転画像も、いずれも類似度の値は低い。したがって、特定パターンでないと判断できる。一方、従来の単純なパターンマッチングでは、基準画像との一致画素の数が２５画素であり、２５／３６と高い類似度を算出している。したがって、従来の単純なパターンマッチングの手法に比較して、少なくともサンプルの画像（ａ）に関して、精度よく判別でき、円形パターンの検査に有効であることが分かる。
【００２０】
このように、自己相関による類似度は、円形パターンの検査に有効であることが分かった。回転による自己相関（類似度）を求め、適当なしきい値と比較することにより、特定パターンであるか否かを判断できる。円形パターンの検査の場合、回転角度は問わないが、たとえば１８０°とする。
【００２１】
以上の説明は、特定パターンの形状が円形の場合である。それ以外の形状の場合にも、その特定パターンの対称性に応じた線形変換を行って自己相関を求めることにより、特定パターンの検出を行う。たとえば、図９は、矩形の特定パターンの例を示し、図１０は、カプセル形の特定パターンの例を示す。このような特定パターンの場合、１８０°回転での自己相関を算出すればよい。また、正方対象の図形の場合、回転角度は、９０°、１８０゜、２７０゜の少なくとも一つとする。同様に、線対称の特定パターンであれば、被検査画像の線形変換として、自己相関を求めればよい。
【００２２】
【発明の効果】
単純なパターンマッチングよりも精度よく特定パターンを認識できる。
特定パターンのサイズが変わっても対応可能である。円形の直径サイズに依存しない方法なので、特定パターンの大きさを考慮するする必要がない。
被検査画像に対して自己の相関関係で目的とする形状か否かを判断するため、通常のパターンマッチングで常に必要な基準パターンは不要である。したがって、基準パターンを記憶する資源（メモリ等）が不要である。また、基準パターンを持たないため、プログラムを解析されても特定基準パターンの発見が困難なためセキュリティが向上する。
【図面の簡単な説明】
【図１】 画像処理システムのブロック図
【図２】 制御装置を中心とした制御系のブロック図
【図３】 画像処理のフローチャート
【図４】 画像認識のフローチャート
【図５】 画像データ全体のフィルタによるスキャンを示す図
【図６】 円形特定パターンについて回転による自己相関の１例を説明する図
【図７】 円形特定パターンについて回転による自己相関の他の例を説明する図
【図８】 円形特定パターンについて回転による自己相関の別の例を説明する図
【図９】 他の対称性のパターンについて回転による自己相関の１例を説明する図
【図１０】 別の対称性のパターンについて回転による自己相関の１例を説明する図
【符号の説明】
１ 制御装置、 ２ ディスプレイ、 ２０１ ＣＰＵ、 ２０３ ＲＯＭ。
Claims (10)
- 多値カラー画像を入力する画像入力手段と、
画像入力手段により入力された多値カラー画像から、特定色に関する２値画像を生成する２値画像生成手段と、
前記２値画像における被検査領域の画像について、大きさを変えないで回転を行う回転手段と、
前記回転手段による回転の前後の画像の相関度を算出する相関度算出手段と、
前記相関度算出手段により算出された相関度がしきい値より高い場合に、前記被検査領域の画像があらかじめ定められた円形の特定パターンであると判断する特定パターン形状判別手段と
を備える画像認識装置。 - 前記回転手段の行う回転は９０°、１８０°および２７０°のいずれかの角度であることを特徴とする請求項１に記載された画像認識装置。
- 多値カラー画像を入力する画像入力手段と、
画像入力手段により入力された多値カラー画像から、特定色に関する２値画像を生成する２値画像生成手段と、
前記２値画像における被検査領域の画像について、大きさを変えないで線対称変換を行う線対称変換手段と、
前記線対称変換手段による線対称変換の前後の画像の相関度を算出する相関度算出手段と、
前記相関度算出手段により算出された相関度がしきい値より高い場合に、前記被検査領域の画像があらかじめ定められた線対称の特定パターンであると判断する特定パターン形状判別手段と
を備える画像認識装置。 - 多値カラー画像を入力するステップと、
入力された前記多値カラー画像から、特定色に関する２値画像を生成するステップと、
前記２値画像における被検査領域の画像について、大きさを変えないで回転を行うステップと、
前記回転の前後の画像の相関度を算出するステップと、
算出された前記相関度がしきい値より高い場合に、前記被検査領域の画像があらかじめ定められた円形の特定パターンであると判断するステップと
を備える画像認識方法。 - 前記回転は９０°、１８０°および２７０°のいずれかの角度であることを特徴とする請求項４に記載された画像認識方法。
- 多値カラー画像を入力するステップと、
入力された前記多値カラー画像から、特定色に関する２値画像を生成するステップと、
前記２値画像における被検査領域の画像について、大きさを変えないで線対称変換を行うステップと、
前記線対称変換の前後の画像の相関度を算出するステップと、
算出された前記相関度がしきい値より高い場合に、前記被検査領域の画像があらかじめ定められた線対称の特定パターンであると判断するステップと
を備える画像認識方法。 - 多値カラー画像を入力するステップと、
入力された前記多値カラー画像から、特定色に関する２値画像を生成するステップと、
前記２値画像における被検査領域の画像について、大きさを変えないで回転を行うステップと、
前記回転の前後の画像の相関度を算出するステップと、
算出された前記相関度がしきい値より高い場合に、前記被検査領域の画像があらかじめ定められた円形の特定パターンであると判断するステップと
をコンピュータに実行させるためのプログラム。 - 前記回転は９０°、１８０°および２７０°のいずれかの角度であることを特徴とする請求項７に記載された画像認識方法。
- 多値カラー画像を入力するステップと、
入力された前記多値カラー画像から、特定色に関する２値画像を生成するステップと、
前記２値画像における被検査領域の画像について、大きさを変えないで線対称変換を行うステップと、
前記線対称変換の前後の画像の相関度を算出するステップと、
算出された前記相関度がしきい値より高い場合に、前記被検査領域の画像があらかじめ定められた線対称の特定パターンであると判断するステップと
をコンピュータに実行させるためのプログラム。 - 請求項７から９までのいずれかに記載されたプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001155596A JP4366886B2 (ja) | 2001-05-24 | 2001-05-24 | 画像認識のための装置と方法 |
| US10/151,165 US7155051B2 (en) | 2001-05-24 | 2002-05-21 | Image recognition apparatus, image recognition method and image recognition program for specific pattern |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001155596A JP4366886B2 (ja) | 2001-05-24 | 2001-05-24 | 画像認識のための装置と方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002352240A JP2002352240A (ja) | 2002-12-06 |
| JP2002352240A5 JP2002352240A5 (ja) | 2006-05-11 |
| JP4366886B2 true JP4366886B2 (ja) | 2009-11-18 |
Family
ID=18999755
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001155596A Expired - Fee Related JP4366886B2 (ja) | 2001-05-24 | 2001-05-24 | 画像認識のための装置と方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7155051B2 (ja) |
| JP (1) | JP4366886B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004096200A (ja) * | 2002-08-29 | 2004-03-25 | Canon Inc | 画像処理システム及びその制御方法 |
| JP5129457B2 (ja) * | 2006-03-03 | 2013-01-30 | 富士通株式会社 | メーカ判定プログラムおよびメーカ判定装置 |
| US7676058B2 (en) * | 2006-08-11 | 2010-03-09 | Xerox Corporation | System and method for detection of miniature security marks |
| US8184912B2 (en) * | 2007-06-06 | 2012-05-22 | Sharp Kabushiki Kaisha | Image processing apparatus, image forming apparatus, image processing system, and image processing method |
| US8180159B2 (en) * | 2007-06-06 | 2012-05-15 | Sharp Kabushiki Kaisha | Image processing apparatus, image forming apparatus, image processing system, and image processing method |
| CN102265591B (zh) * | 2008-12-26 | 2013-12-18 | 富士通株式会社 | 图像处理系统、图像处理装置以及图像处理方法 |
| US8571307B2 (en) | 2010-11-16 | 2013-10-29 | Hand Held Products, Inc. | Method and system operative to process monochrome image data |
| US8600158B2 (en) | 2010-11-16 | 2013-12-03 | Hand Held Products, Inc. | Method and system operative to process color image data |
| JP6197340B2 (ja) * | 2013-04-05 | 2017-09-20 | オムロン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| CN104766082B (zh) * | 2015-03-20 | 2018-08-14 | 福建天晴数码有限公司 | 基于安卓系统的图像识别方法和装置 |
| ES2739538A1 (es) * | 2019-07-12 | 2020-01-31 | Gonzalez Mikel Uribetxeberria | Marcador de escalada y procedimiento de marcado de recorridos |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5020111A (en) * | 1988-10-14 | 1991-05-28 | The United States Of America As Represented By The Secretary Of The Army | Spatial symmetry cueing image processing method and apparatus |
| US5633947A (en) * | 1991-03-21 | 1997-05-27 | Thorn Emi Plc | Method and apparatus for fingerprint characterization and recognition using auto correlation pattern |
| US5390003A (en) | 1992-11-30 | 1995-02-14 | Minolta Camera Kabushiki Kaisha | Copying system for preventing copying of copy-prohibited images |
| US5995652A (en) * | 1995-01-23 | 1999-11-30 | Sony Corporation | Pattern searching method using neural networks and correlation |
| US6005978A (en) * | 1996-02-07 | 1999-12-21 | Cognex Corporation | Robust search for image features across image sequences exhibiting non-uniform changes in brightness |
| US5838820A (en) * | 1997-04-30 | 1998-11-17 | Bergman; Anthony J. | Pattern recognition apparatus and method |
| US5982915A (en) * | 1997-07-25 | 1999-11-09 | Arch Development Corporation | Method of detecting interval changes in chest radiographs utilizing temporal subtraction combined with automated initial matching of blurred low resolution images |
| JP3698867B2 (ja) | 1997-08-04 | 2005-09-21 | 株式会社リコー | 円形パターン判定方法、装置および記録媒体 |
| JPH11175710A (ja) * | 1997-12-16 | 1999-07-02 | Sharp Corp | 画像形成装置 |
| US6241288B1 (en) * | 1998-04-02 | 2001-06-05 | Precise Biometrics Ab | Fingerprint identification/verification system |
| US6501515B1 (en) * | 1998-10-13 | 2002-12-31 | Sony Corporation | Remote control system |
| US6766058B1 (en) * | 1999-08-04 | 2004-07-20 | Electro Scientific Industries | Pattern recognition using multiple templates |
| US6813392B2 (en) * | 1999-12-30 | 2004-11-02 | Eastman Kodak Company | Method and apparatus for aligning multiple scans of the same area of a medium using mathematical correlation |
| US6529628B1 (en) * | 2000-01-07 | 2003-03-04 | Intel Corporation | Row and column feature detection in binary images |
| JP2001297303A (ja) * | 2000-02-09 | 2001-10-26 | Ricoh Co Ltd | 文書画像認識方法、装置及びコンピュータ読み取り可能な記録媒体 |
| US6873720B2 (en) * | 2001-03-20 | 2005-03-29 | Synopsys, Inc. | System and method of providing mask defect printability analysis |
| US6690828B2 (en) * | 2001-04-09 | 2004-02-10 | Gary Elliott Meyers | Method for representing and comparing digital images |
-
2001
- 2001-05-24 JP JP2001155596A patent/JP4366886B2/ja not_active Expired - Fee Related
-
2002
- 2002-05-21 US US10/151,165 patent/US7155051B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20020176616A1 (en) | 2002-11-28 |
| JP2002352240A (ja) | 2002-12-06 |
| US7155051B2 (en) | 2006-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3052947B2 (ja) | パターン認識装置、パターン認識方法、パターン認識方法を記憶した記憶媒体および複写阻止システム | |
| JP3825070B2 (ja) | 偽造防止用紙幣パターン検知器および検知方法 | |
| US6370271B2 (en) | Image processing apparatus and methods for pattern recognition | |
| JP4366886B2 (ja) | 画像認識のための装置と方法 | |
| JP2007053754A (ja) | 実行プロファイルを用いた文書セキュリティマークの検出 | |
| JPH11110562A (ja) | パターン認識方法、装置および記録媒体 | |
| EP1626565A1 (en) | Printed document falsification detection device and falsification detection method | |
| JP4591230B2 (ja) | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム | |
| EP1887532B1 (en) | System and method for detection of miniature security marks | |
| CN106845540B (zh) | 一种图像重采样操作插值类型识别方法 | |
| JP2009223612A (ja) | 画像認識装置及びプログラム | |
| US6870958B2 (en) | Image processor for detecting specified pattern | |
| JP2001312732A (ja) | 画像処理装置および方法 | |
| JP2003281593A (ja) | 硬貨識別装置と硬貨登録装置と硬貨判定装置、並びに硬貨判定方法 | |
| JP4329285B2 (ja) | 画像認識装置及び方法 | |
| JP7405528B2 (ja) | 媒体判別装置、媒体判別システム及び媒体判別方法 | |
| JP2003289437A (ja) | 画像処理装置および方法 | |
| JP4206605B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラムを記録した記録媒体 | |
| JP3835098B2 (ja) | 特定パターン検出装置および方法 | |
| JP4680419B2 (ja) | 円パターン検出装置、方法、コンピュータ実行可能なプログラム、および、そのようなプログラムを記録した記録媒体 | |
| JP3835097B2 (ja) | 特定パターン検出装置および方法 | |
| JP2001313822A (ja) | 画像処理装置及び画像処理方法並びに記憶媒体 | |
| JP2000057266A (ja) | 帳票識別装置、帳票識別方法及び帳票識別プログラムを記録した媒体 | |
| JP2000293691A (ja) | 画像処理方法、ドライバ、オペレーティングシステム、スキャナ、記憶媒体 | |
| Weller et al. | Can’t Copy This! |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050614 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060322 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060322 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060419 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060419 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090417 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090519 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090709 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090804 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090817 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120904 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130904 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |