JP4395932B2 - 画像検出装置、画像検出方法および記録媒体 - Google Patents

画像検出装置、画像検出方法および記録媒体 Download PDF

Info

Publication number
JP4395932B2
JP4395932B2 JP24472399A JP24472399A JP4395932B2 JP 4395932 B2 JP4395932 B2 JP 4395932B2 JP 24472399 A JP24472399 A JP 24472399A JP 24472399 A JP24472399 A JP 24472399A JP 4395932 B2 JP4395932 B2 JP 4395932B2
Authority
JP
Japan
Prior art keywords
image
specific mark
detection
feature point
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP24472399A
Other languages
English (en)
Other versions
JP2001067480A (ja
Inventor
幸宏 西田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP24472399A priority Critical patent/JP4395932B2/ja
Publication of JP2001067480A publication Critical patent/JP2001067480A/ja
Application granted granted Critical
Publication of JP4395932B2 publication Critical patent/JP4395932B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、スキャナやファクシミリ、デジタル複写機など、画像情報を取り込みデジタル画像を扱う画像入出力装置の画像検出装置およびその画像入出力装置における画像検出方法ならびにその画像検出方法を実施するための記録媒体に関するものである。
【0002】
【従来の技術】
近年、原稿画像を読み取り、デジタル画像として扱う機会が多くなったが、画像中に存在する図形パターンを検出し、その検出情報をもとに画像の状態を検知する画像検出装置が必要となってきた。
【0003】
図22は一般的な画像入出力装置を示す構成図である。
【0004】
図22において、20はスキャナ、21はコンピュータである。
【0005】
このように構成された画像入出力装置における従来の画像検出方法について図23、図24、図4、図11、図12を用いて説明する。図23(a)、(b)はスキャナ20により読み取った画像を示す画像図であり、図24は従来の画像検出方法を説明するためのフローチャート、図4は姿勢調整用特定マークの例を示すマーク図、図11は処理画像の一例を示す画像図、図12は処理画像の他の例を示す画像図である。
【0006】
図22に示す装置は、スキャナ20により紙に描かれた図面を読み取り、取り込んだビットマップ画像の構成要素を認識してベクトルデータに変換して編集したり、文字画像を認識してテキスト情報とするなど、CADデータとして利用できるようにするものである。スキャナ20により読み取った原稿画像はコンピュータ21上で認識され、各パーツに分けてデータとして取り込み、またパーツの配置を換えたりするなどの編集が簡便に行えるものである。
【0007】
図23はスキャナ20により読み取った画像を示す。画像を正確に認識し、正しいデータとして取り込むためには理想的には読み取った画像の垂直、水平方向と原稿の垂直、水平方向とが完全に一致していることが望ましいが、一般には原稿台上で原稿が傾いてしまうなどの原因により、図23(a)に示すような回転や、図23(b)に示すようなひずみが生じることが多く、読取り画像の垂直、水平方向と原稿の垂直、水平方向とが一致せず、何度も画像を置きなおして読取りを繰り返さなければならないことがある。このような面倒な作業を軽減するため、画面上で調整が可能なように原稿上に目印となるマークを付し、このマークを利用して原稿の姿勢を調整することを行う。
【0008】
このようなマークとしての姿勢調整用特定マークを図4に示す。図4に示す姿勢調整用特定マークを一般にはトンボマークという。このトンボマークで姿勢制御を行うには、図11に示すように4隅にトンボマーク(以下単に「マーク」という)をつけた原稿画像を読み取り、画像中のマークの位置座標値を利用して、画像を回転または変形させる。
【0009】
このとき、マークは図24に示すような手順により画像中より自動的に探索される。まず注目エリアを規定する小さな探索ウインドウ(5×5画素程度のウィンドウ)を初期設定として読取り画像の左上に置く(S1)。次に、探索ウインドウにマークの特徴となるパターン(特徴パターン)が存在するか否かを検証する(S2、S3)。特徴パターンが存在したウィンドウでは、更に注目エリアを広げた照合ウィンドウ(20×20画素程度のウィンドウ)を設定し(S4)、照合ウィンドウを設定している部分の画像が探索中の画像であるか否かを画像のビットマップマッチングなどの照合手法を用いて照合する(S5)。照合した結果、一致すると判定した場合はその位置座標を出力し、図示しないメモリに保存する(S6、S7)。探索ウィンドウ内ので特徴パターンの検証もしくは照合ウィンドウでの照合で一致しないと判定された場合は、照合ウィンドウの位置を移動させる(S8)。上記処理を全画像に対する処理が終わるまで繰り返し行う(S9)。
【0010】
探索ウィンドウおよび照合ウィンドウの大きさは探索するマークの大きさにあわせて設定するが、このように小さな探索ウィンドウで簡単な図形的特徴を検証しながら候補位置を探索し、更に大きな照合ウィンドウで照合する画像検出方法は、画像全体を照合ウィンドウのサイズの画像を見ながら探索するよりも効率的な方法であり、目的のマークをすばやく見つけることができる方法である。
【0011】
【発明が解決しようとする課題】
しかしながら、上記従来の画像検出方法では、小さなウィンドウで簡単な図形的特徴に着目して探索した場合、画像によっては非常に多くの場所で類似のパターンが出てくる頻度が高くなり、探索方法が逆に非効率的になり、何度も照合ウィンドウを設定しつつ、照合を繰り返さなくてはならない場合が生じる。例えば図12に示すような画像の粗いハッチがかかったような部分では、探索ウィンドウで見る特徴パターンと一致する部分が多くなる。この場合、照合ウィンドウによる照合回数は多くなり、ウィンドウ設定のための計算やテンプレート照合などの処理を多数回繰り返し行う必要が出てくるため、画像全体を照合ウィンドウのサイズの画像を見ながら探索するよりも高速な探索ができるとは必ずしも言えない。
【0012】
この画像検出装置、画像検出方法および記録媒体では、トンボマークのような検出用画像に類似した部分が多く、特徴パターンが多数検出された場合でも、効率良く検証し、短時間で画像検出を完結することが要求されている。
【0013】
本発明は、検出用画像に類似した部分が多く、特徴パターンが多数検出された場合でも、効率良く検証し、短時間で画像検出を完結することが可能な画像検出装置、および、検出用画像に類似した部分が多く、特徴パターンが多数検出された場合でも、効率良く検証し、短時間で画像検出を完結するための画像検出方法、ならびに、検出用画像に類似した部分が多く、特徴パターンが多数検出された場合でも、効率良く検証し、短時間で画像検出を完結するための画像検出方法を実施するための記録媒体を提供することを目的とする。
【0014】
【課題を解決するための手段】
上記課題を解決するために本発明の画像検出装置は、画像データを入力して画像メモリに蓄積する画像入力手段と、前記画像メモリに蓄積された画像を読み出し、前記読み出した画像中から姿勢調整用の特定マークの特徴点を検出し、前記特定マークの特徴点を検出した結果である特徴点検出結果を前記特徴点の検出位置と共に記憶部に記憶する検出手段と、前記検出位置に応じて前記記憶部に記憶された前記特徴点検出結果に基づき画像ブロック毎に前記特定マークの検証が必要か否かを判定する判定手段と、前記記憶部に記憶された前記特徴点検出結果が特定マークのものであるか否かを検証する検証手段とを有し、前記判定手段は、前記特定マークの検証が必要であると判定したときには前記検証手段に前記特定マークの検証を行わせる画像検出装置であって、前記検出手段は前記記憶部に前記特徴点検出結果として前記特徴点の合計である特徴点検出数を記憶し、前記判定手段は前記特徴点検出数に基づいて前記特定マークの検出が必要か否かの画像ブロック毎の判定を行い、前記特徴点検出数が所定数以下の場合の画像ブロックにおいてのみ前記検証手段に前記特定マークの検証を行わせ、前記所定数を超える場合の画像ブロックでは前記特定マークの検証を行わせない構成を備えている。
【0015】
これにより、検出用画像に類似した部分が多く、特徴パターンが多数検出された場合でも、効率良く検証し、短時間で画像検出を完結することが可能な画像検出装置が得られる。そして、特徴点検出数が所定数以下すなわち特定マークが存在する確率が高い場合にのみ検証手段に特定マークの検証を行わせるようにすることができるので、画像中に検出すべき画像に類似した特徴パターンが多く存在する場合であっても、特定マークの検出を効率的に行うことができ、すばやく特定マークを検出でき、また無関係な画像を誤って特定パターンとして検出する確率を下げることができる。
【0016】
上記課題を解決するために本発明の画像検出方法は、画像データを入力する画像入力ステップと、前記入力した画像データ中から姿勢調整用の特定マークの特徴点を検出し特徴点検出結果を前記特徴点の検出位置に応じて記憶部に記憶する検出ステップと、前記特定マークの特徴点を検出した結果である特徴点検出結果に基づき画像ブロック毎に前記特定マークの検証が必要か否かを判定する判定ステップと、前記特定マークの検証が必要と判定した場合には特徴点検出結果が特定マークに相当するか否かを検証する検証ステップとを有する画像検出方法であって、前記検出ステップにおいては前記特徴点検出結果として前記特徴点の合計である特徴点検出数を記憶し、前記判定ステップにおいては前記特徴点検出数に基づいて前記特定マークの検出が必要か否かの画像ブロック毎の判定を行い、前記特徴点検出数が所定数以下の場合の画像ブロックにおいてのみ前記検証ステップで前記特定マークの検証を行い、前記所定数を超える場合の画像ブロックでは前記検証ステップで前記特定マークの検証を行わない構成を備えている。
【0017】
これにより、検出用画像に類似した部分が多く、特徴パターンが多数検出された場合でも、効率良く検証し、短時間で画像検出を完結するための画像検出方法が得られる。そして、特徴点検出数が所定数以下すなわち特定マークが存在する確率が高い場合にのみ検証手段に特定マークの検証を行わせるようにすることができるので、画像中に検出すべき画像に類似した特徴パターンが多く存在する場合であっても、特定マークの検出を効率的に行うことができ、すばやく特定マークを検出でき、また無関係な画像を誤って特定パターンとして検出する確率を下げることができる。
【0018】
上記課題を解決するために本発明の記録媒体は、上記画像検出方法に記載の各ステップを実行するためのプログラムを記録した構成を備えている。
【0019】
これにより、検出用画像に類似した部分が多く、特徴パターンが多数検出された場合でも、効率良く検証し、短時間で画像検出を完結するための画像検出方法を実施するための記録媒体が得られる。また、特徴点検出数が所定数以下すなわち特定マークが存在する確率が高い場合にのみ検証手段に特定マークの検証を行わせるようにすることができるので、画像中に検出すべき画像に類似した特徴パターンが多く存在する場合であっても、特定マークの検出を効率的に行うことができ、すばやく特定マークを検出でき、また無関係な画像を誤って特定パターンとして検出する確率を下げることができる。
【0020】
【発明の実施の形態】
本発明の請求項1に記載の画像検出装置は、画像データを入力して画像メモリに蓄積する画像入力手段と、前記画像メモリに蓄積された画像を読み出し、前記読み出した画像中から姿勢調整用の特定マークの特徴点を検出し、前記特定マークの特徴点を検出した結果である特徴点検出結果を前記特徴点の検出位置と共に記憶部に記憶する検出手段と、前記検出位置に応じて前記記憶部に記憶された前記特徴点検出結果に基づき画像ブロック毎に前記特定マークの検証が必要か否かを判定する判定手段と、前記記憶部に記憶された前記特徴点検出結果が特定マークのものであるか否かを検証する検証手段とを有し、前記判定手段は、前記特定マークの検証が必要であると判定したときには前記検証手段に前記特定マークの検証を行わせる画像検出装置であって、前記検出手段は前記記憶部に前記特徴点検出結果として前記特徴点の合計である特徴点検出数を記憶し、前記判定手段は前記特徴点検出数に基づいて前記特定マークの検出が必要か否かの画像ブロック毎の判定を行い、前記特徴点検出数が所定数以下の場合の画像ブロックにおいてのみ前記検証手段に前記特定マークの検証を行わせ、前記所定数を超える場合の画像ブロックでは前記特定マークの検証を行わせないこととしたものである。
【0021】
この構成により、記憶部に記憶された特徴点検出結果に基づき姿勢調整用の特定マークの検証が必要か否かを判定するようにしたので、画像中に検出すべき画像(検出用画像)に類似した特徴パターンが多く存在する場合であっても、特定マークの検出を効率的に行うことができ、すばやく特定パターンを検出でき、また無関係な画像を誤って特定パターンとして検出する確率を下げることができるという作用を有する。そして、特徴点検出数が所定数以下すなわち特定マークが存在する確率が高い場合にのみ検証手段に特定マークの検証を行わせるようにすることができるので、画像中に検出すべき画像に類似した特徴パターンが多く存在する場合であっても、特定マークの検出を効率的に行うことができ、すばやく特定マークを検出でき、また無関係な画像を誤って特定パターンとして検出する確率を下げることができるという作用を有する。
【0030】
請求項に記載の画像検出方法は、画像データを入力する画像入力ステップと、前記入力した画像データ中から姿勢調整用の特定マークの特徴点を検出し特徴点検出結果を前記特徴点の検出位置に応じて記憶部に記憶する検出ステップと、前記特定マークの特徴点を検出した結果である特徴点検出結果に基づき画像ブロック毎に前記特定マークの検証が必要か否かを判定する判定ステップと、前記特定マークの検証が必要と判定した場合には特徴点検出結果が特定マークに相当するか否かを検証する検証ステップとを有する画像検出方法であって、前記検出ステップにおいては前記特徴点検出結果として前記特徴点の合計である特徴点検出数を記憶し、前記判定ステップにおいては前記特徴点検出数に基づいて前記特定マークの検出が必要か否かの画像ブロック毎の判定を行い、前記特徴点検出数が所定数以下の場合の画像ブロックにおいてのみ前記検証ステップで前記特定マークの検証を行い、前記所定数を超える場合の画像ブロックでは前記検証ステップで前記特定マークの検証を行わないこととしたものである。
【0031】
この構成により、特徴点検出結果に基づき姿勢調整用の特定マークの検証が必要か否かを判定するようにしたので、画像中に検出すべき画像に類似した特徴パターンが多く存在する場合であっても、特定マークの検出を効率的に行うことができ、すばやく特定マークを検出でき、また無関係な画像を誤って特定パターンとして検出する確率を下げることができるという作用を有する。そして、特徴点検出数が所定数以下すなわち特定マークが存在する確率が高い場合にのみ検証手段に特定マークの検証を行わせるようにすることができるので、画像中に検出すべき画像に類似した特徴パターンが多く存在する場合であっても、特定マークの検出を効率的に行うことができ、すばやく特定マークを検出でき、また無関係な画像を誤って特定パターンとして検出する確率を下げることができるという作用を有する。
【0040】
請求項に記載の記録媒体は、請求項に記載の各ステップを実行するためのプログラムを記録することとしたものである。
【0041】
この構成により、請求項に記載された画像検出方法を任意の場所、任意の期間に実施することができるという作用を有する。
【0042】
以下、本発明の実施の形態について、図1〜図21を用いて説明する。
【0043】
(実施の形態1)
図1は本発明の実施の形態1による画像検出装置を示すブロック図である。
【0044】
図1において、1は画像検出装置、2は画像信号を入力する画像入力手段、3は画像を記憶する画像メモリ、4は画像メモリ3内の画像からトンボマーク(特定マーク)の特徴が存在する位置(特徴点位置)を検出する検出手段、5は特徴点位置の検出結果(特徴点検出結果)を記憶する記憶部、6は記憶部5に記憶された特徴点検出結果の情報に基づき特定マークの検証が必要であるか否かを判定する判定手段、7は記憶部5に記憶された特徴点検出結果の情報が特定マークのものであるか否かを検証する検証手段である。なお、図1の各手段はハードウェアで構成してもよく、ソフトウェアで構成してもよい。ソフトウェアの場合、本実施の形態による画像検出装置の各機能を実行するプログラムによりCPUを駆動して実行しても良く、汎用のコンピュータ上で同様の処理を行えるようにしたアプリケーションプログラムもしくはドライバなどの形態であってもよい。
【0045】
次に、図1の画像検出装置の各部分の動作について説明する。
【0046】
画像入力手段2は外部に接続しているスキャナ(図示せず)からデジタル画像データを読み取り、一旦画像メモリ3に蓄積する。このときの画像は、本来カラーの多値画像であるが、本発明の説明を簡単にするために、白黒の2値画像とする。画像メモリ3への蓄積が終了すると、検出手段4は、画像中のトンボマーク(以下単に「マーク」という)を検出するために動作を開始する。
【0047】
このトンボマーク検出動作について、図2、図3を用いて説明する。図2、図3は本実施の形態による画像検出装置1の動作を示すフローチャートである。
【0048】
画像入力手段2によりスキャナからデジタル画像データを読み取り(S11、画像入力ステップ)、読み取ったデジタル画像データを画像メモリ3に蓄積した後、検出手段4は、注目エリアを規定する5×5画素の探索ウインドウを初期設定として読取り画像の左上に置き(S12)、探索ウインドウにマークの特徴となるパターン(特徴点)が存在するか否かを調査する(S13、検出ステップ)。この特徴パターンの調査方法については後述する。特徴パターンが存在すると判定した場合(S14)、そのウィンドウの位置座標を後述するブロック単位に区切って記憶部6に記憶する(S15)。特徴パターンがない場合は、逐次探索ウィンドウの位置を移動し(S17)、上記動作を繰り返し行い(S13〜S17)、画像データ終了まで実行する(S16)。
【0049】
次に、判定手段6は、検証手段7を動作させる必要があるか否かを判定するために、ブロック単位に検出結果について調べる(S18、判定ステップ)。記録部5における各ブロックに対する記憶エリアには、各ブロック内で検出した特徴点の合計数とその位置座標が記憶されているが、判定手段6は、この座標の合計数が予め設定した値以下(所定数以下、閾値以下)である場合のみ、検証手段7を動作させる。ブロックの検出数が閾値以下であると判定した場合(S19)、当該ブロックに記憶されている座標に従って、画像メモリ3に対して照合ウィンドウを設定し、画像を取得する(S20)。続いて、取得画像が探索中の画像であるか否かを画像のビットマップマッチングなどの照合手法を用いて照合し(S21、検証ステップ)、照合の結果、一致すると判定した場合はその位置情報を出力する(S22,S23)。上記判定は、当該ブロックに座標値が記憶されている限り行い(S24,S26)、全てのブロックが終了するまで実行する(S25,S27)。
【0050】
ここで、特徴パターンの調査方法について図4〜図8を用いて説明する。図5は本発明の実施の形態1において読み取られたビットマップを示すビットマップ図、図6〜図8は本発明の実施の形態1における特徴パターン検証の説明図である。
【0051】
本実施の形態における例では、探索対象のマークが図4のようなマークであり、読み取られたビットマップは図5となるものとする。この画像を検出するために、検出手段4は、探索ウィンドウとして5×5画素の注目エリアを設け、この探索ウィンドウを主走査及び副走査方向に順に走査する。検出手段4による特徴パターンの調査は、図6のハッチをかけた5×5画素エリアの周辺を一順し、4つの黒連結があるか否かを調べ、この特徴の有無により、特徴パターンの検証を行う。これは、検索対象画像の中心が十字になっており、探索ウィンドウがこの中心部に設定されたときには、原稿画像がいかなる角度であっても、必ず4つの黒連結があるという特徴を利用したものである。図7のように4つの黒連結がある場合には、一つおきの黒連結の位置(複数画素の連結の場合は各重心点)を結び合った線分の交点座標を計算し、その点を探索画像の存在点として抽出し、記憶部5に記憶し、図8のように4つの黒連結がない場合には座標値を記憶させること無く、単に次の位置に探索ウィンドウを移動させる。
【0052】
次に、この記憶部5への記憶方法について、図9〜図15を用いて説明する。図9、図10は本発明の実施の形態1における記憶部5のフォーマット説明図である。図13、図14は本発明の実施の形態1におけるテンプレートの説明図、図15は本発明の実施の形態1におけるビットマップ図である。
【0053】
位置座標の記憶は、図9のように画像全体を格子状に区切り、1区切りを1ブロックとして、このブロック毎に取りまとめて保存する。ブロックのサイズはマークの仕様に合わせて設定される必要があるが、ここでは50×50とする。記憶部5には、各ブロック毎に位置座標と保存された座標の合計数とが図10に示すようなフォーマットで整理されている。検出数は一連の処理が始まる以前に0に初期化されている。検出手段4は、記憶部5への記憶の際に、検出座標値から割り出したブロック番号のエリアに、検出座標を記録し、さらに検出数の加算を行うことで、図10に示すフォーマットを作成していく。
【0054】
いま、処理している画像が図11のような画像で、検出対象としているマークが4隅に配置された図4のようなトンボマークである場合には、検出手段4による検出は、本来検出すべきマーク中心位置に近い場所で、十字の直線部分と円の交点にあたる部分がそれぞれ4か所あるが、それ以上はない。一方、処理する画像が図12のようにハッチ部分が多くある画像では、マークとは全く関係のない部分についても、かなり多くの検出をしてしまう。これは、検出手段4が非常に簡単な特徴(4つの黒連結)に着目したためである。判定手段6は、このようなマークと無関係な部分での検出数は密集して多くなることがあるといった特徴を利用したものであり、各ブロックでの検出数に対し一定の閾値を設け、閾値を超えるようなブロックに対しては、マークが存在する可能性はないと見なし、続く検証手段7の動作は不用とし、閾値以下の場合に限り検証手段7が動作するように制御する。
【0055】
検証手段7による照合は詳細に図形の特徴を調べるものであり、ここでは、図13のような円のテンプレートと探索ウィンドウで得られた線分(交点の計算を行う際に線分が求められる)とを利用して図14のようなビットマップテンプレートを構成し、図15に示す照合ウィンドウで得られるビットマップとのマッチングを用いて照合度を測定し、探索画像であるか否かを判定することで探索する。
【0056】
このように小さな探索ウィンドウで簡単な図形的特徴を検証しながら候補位置を探索し、更にその検出位置のバラツキが適度であることを判定しながら必要な部分のみ大きな照合ウィンドウで照合することにより、より効率的に、よりすばやく検索対象(特定マーク)を見つけることができる。
【0057】
なお、本実施の形態においては検出位置のバラツキを見るために、検出手段4が記憶部5に特徴点検出結果を記録する際に逐次計算した特徴点検出数を利用したが、検出手段4が座標のみを記録していき、判定手段6が特徴点検出数を計測して判定しても良い。
【0058】
また、検出位置のばらつきを見るために、各ブロック内の特徴点検出数のみで判定したが、更に各ブロック内における座標のばらつきすなわち各座標の分散値を求め、ばらつきが一定以下と判定されたブロックについてのみ、検証手段7を動作せせるようにしても良い。
【0059】
以上のように本実施の形態によれば、画像データを入力して画像メモリ3に蓄積する画像入力手段1と、画像メモリ3に蓄積された画像を読み出し、読み出した画像中から特定マークの特徴点を検出し、特定マークの特徴点を検出した結果である特徴点検出結果を記憶部5に記憶する検出手段4と、記憶部5に記憶された特徴点検出結果に基づき特定マークの検証が必要か否かを判定する判定手段6と、記憶部5に記憶された特徴点検出結果が特定マークのものであるか否かを検証する検証手段7とを有し、判定手段6は、特定マークの検証が必要であると判定したときには検証手段7に特定マークの検証を行わせるようにしたことにより、記憶部5に記憶された特徴点検出結果に基づき特定マークの検証が必要か否かを判定するようにしたので、画像中に検出すべき画像(検出用画像)に類似した特徴パターンが多く存在する場合であっても、特定マークの検出を効率的に行うことができ、すばやく特定パターンを検出できる。また、検出手段4は記憶部5に特徴点検出結果を画像ブロック単位に記憶させ、判定手段6は少なくとも1つ以上の画像ブロックの検出状況に応じて検証手段7に特定マークの検証を行わせるか否かを判定するようにしたことにより、検出状況たとえば特徴点の検出数に応じて、検証手段7に特定マークの検証を行わせるか否かを決定することができるので、画像中に検出すべき画像に類似した特徴パターンが多く存在する場合であっても、特定マークの検出を効率的に行うことができ、すばやく特定マークを検出できる。さらに、検出手段4は記憶部5に特徴点検出結果としての特徴点検出数を記憶させ、判定手段6は画像ブロック毎の特徴点検出数が所定数以下のときのみ検証手段7に特定マークの検証を行わせるようにしたことにより、特徴点検出数が所定数以下すなわち特定マークが存在する確率が高い場合にのみ検証手段7に特定マークの検証を行わせるようにすることができるので、画像中に検出すべき画像に類似した特徴パターンが多く存在する場合であっても、特定マークの検出を効率的に行うことができ、すばやく特定マークを検出できる。さらに、検出手段4は特徴点の位置を検出し、記憶部5は特徴点位置を記憶し、判定手段6はブロック毎の検出位置のばらつきに応じて検証手段7に特定マークの検証を行わせるようにしたことにより、検出位置のばらつき(ここでは特徴点検出数)が適度であるときのみ検証手段7に特定マークの検証を行わせるようにすることができるので、画像中に検出すべき画像に類似した特徴パターンが多く存在する場合であっても、特定マークの検出を効率的に行うことができ、すばやく特定マークを検出することができる。
【0060】
(実施の形態2)
図16は本発明の実施の形態2による画像検出装置を用いた複写機を示す概略構成図である。
【0061】
図16において、8は原稿台に乗せた原稿を光学的に読取り、電気的なデジタル信号(以下、画像信号)に変換するスキャナ部、9はスキャナ部8で得た画像信号を出力の色特性に合わせたりユーザの指定に応じた画像処理を施す画像処理部、10は画像処理部9の出力を記録紙上にカラー印字する印字部である。
【0062】
この複写機は、入力画像中より特定のパターンを検出し、この特定パターンを持つ画像については画像の出力を禁止する機能を備えたものであり。特に、有価証券などの持つパターンを検出することにより、違法な複写を防止する機能を備えたものである。
【0063】
図17は画像処理部9を示すブロック図である。
【0064】
図17において、11は入力画像に対し、色変換、拡大、縮小、反転などの処理を行う画像処理回路、12は画像中から特定の画像を検出する本実施の形態による画像検出装置である。画像検出装置12は、指定した画像を検出すると、画像処理回路11に禁止信号を送り、画像処理回路11は、禁止信号を受け取ると、画像の色やサイズなど本来の指定とは異なる画像に変換して出力するようにしておく。
【0065】
図18は画像検出装置12の構成を示すブロック図である。
【0066】
図18において、13は外部機器(図示せず)からデジタル画像データを入力する画像入力手段、14は画像を一次的に記憶する画像メモリ、15は画像メモリ14内の画像から特定パターン(特定マーク)を検出する検出手段、16は検出結果を記憶する記憶部、17は記憶部16に記憶された情報に基づき上記特定マークの検証が必要であるか否かを判定する判定手段、18は記憶部16に記憶された情報が特定マークのものであるか否かを検証する検証手段である。なお、図18の各手段はハードウェアで構成してもよく、ソフトウェアで構成してもよい。ソフトウェアの場合、本実施の形態による画像検出装置の各機能を実行するプログラムによりCPUを駆動して実行しても良く、汎用のコンピュータ上で同様の処理を行えるようにしたアプリケーションプログラムもしくはドライバなどの形態であってもよい。
【0067】
次に、このように構成された画像検出装置について、その動作を図19、20を用いて説明する。図19、図20は本発明の実施の形態2による画像検出装置の動作を示すフローチャートである。
【0068】
まず、画像入力手段13は、スキャナ部8で読み取ったデジタル画像データを一旦画像メモリ14に蓄積する(S31、画像入力ステップ)。このときの画像は、カラーの多値画像であり、後述する特徴パターンを検出するだけに最低限必要な量のデータの蓄積を行う。
【0069】
蓄積が終了すると、検出手段15は、読取り画像中の特徴パターンを検出するための動作を開始する。まず注目エリアを規定するN×N画素の探索ウインドウを初期設定として読取り画像の左上を起点に置く(S32)。次に、探索ウインドウにマークの特定なパターン(特徴パターン、特徴点)が存在するか否かを検証する(S33、検出ステップ)。特徴パターンの検証方法については後述する。特徴パターンが存在すると判定したウィンドウの位置座標を後述するブロック単位に区切って記憶部16に記憶する(S34,S35)。特徴パターンがない場合は、逐次ウィンドウの位置を移動し(S37)、上記動作(S33〜S34,S37)を繰り返し行い、蓄積した画像データ全部に対して実行する(S36)。終了すると、次のデータ蓄積を行い、上記の一連の動作を繰り返す。
【0070】
次に、判定手段17は、続いて検証手段18を動作させる必要があるか否かを判定するために、記憶部16に記憶されたブロック単位の特徴点検出結果について調べる(S38、判定ステップ)。ブロックには、各ブロック内で検出した特徴点の合計数とその位置座標とが記憶されているが、判定手段17は、この座標の合計数が予め設定した値以下(所定数以下、閾値以下)である場合のみ、続いて検証手段18を動作させる。ブロックの特徴点検出数が閾値以下であると判定した場合(S39)、検証手段18は、当該ブロックに記憶されている座標及びその周辺で検出された検出座標を読み取り(S40)、これらを比較して、予め複数の検出位置の相対的な位置関係が予め定めた位置関係であるか否かを検証する(S41、検証ステップ)。相対位置関係が予め定めた位置関係に一致すると判定した場合(S42)、通知手段(図示しない)により、画像処理回路11へ禁止信号を送る(S43)。ステップS39でブロックの特徴点検出数が閾値を超えていると判定した場合、次のブロックを画像メモリ14から取り込み、同様に特徴点検出数が閾値以下か否かを判定する。またステップS42で複数の検出位置の相対的な位置関係が予め定めた位置関係に一致しないと判定した場合、ブロック内での処理が終了したか否かを判定し(S44)、終了していないと判定した場合はステップS40へ戻り、終了したと判定した場合はステップS45へ戻る。
【0071】
なお、このステップS31からステップS37と、ステップS38からステップS45の動作は同期して行う必要は無く、ステップS31からステップS37の処理が終了した部分に対して、ステップS38からステップS45を逐次実行させても良いし、ステップS31からステップS37の処理が全画像に対して完全に終了した後にステップS38からステップS45の処理を行っても良い。
【0072】
ここで、特徴パターンついて説明する。本実施の形態における例では、予め、検出すべき画像(検出用画像)に対し、N×N画素サイズ(例えば、N=7(一定))のウィンドウを設定し、画像内で画像信号(R,G,B)の最大値、最小値、平均濃度および分散値が、周辺に比較してもっとも特異である場所およびそのときの各値を特徴パターンとして記憶しておく。例としては、画像中に特定色の点が存在する場所や図形の角部などが検出対象となる。検出手段15は、入力された画像に、N×N画素の探索ウィンドウを設定し、ウィンドウ内の画像信号(R,G,B)の最大値、最小値、平均濃度および分散値が、特徴パターンとして記憶したものに一致または近い場合、特徴パターンであると判定して、その座標を記憶部16に出力する。
【0073】
次に、この記憶部16への記憶方法について説明する。
【0074】
位置座標の記憶は、画像全体をM×M画素サイズ(例えば、M=50(一定))で格子状に区切り、1区切りを1ブロックとして、このブロック毎に取りまとめて保存する。
【0075】
図21は記憶部16のフォーマット説明図である。記憶部16においては、各ブロック毎に位置座標と、保存された座標の合計数とを記録したフォーマットになっている。特徴点の検出数は一連の処理が始まる以前に0に初期化されており、検出手段15は記憶部16への記憶の際に、検出座標値から割り出したブロック番号の場所に、検出座標を記録し、更に検出数の加算を行う。
【0076】
いま、検出対象としている特徴パターンは、もともと周辺画像に対して特異な点を求めているから、本来検出すべき位置に近い場所で検出されることはない。多くの点が集中して検出された場合、そこで検出された位置は本来検出すべきものとは全く関係ないものであるはずである。
【0077】
判定手段17は、このような抽出すべき特徴パターンのばらつき特徴を利用したものであり、各ブロックでの特徴点検出数に対し一定の閾値を設け、閾値を超えるようなブロックには、本来検出すべき特徴パターンが存在する可能性はないと見なし、続いての検証手段18の動作を不要とし、閾値以下の場合に限り検証手段18が動作するように制御するものである。
【0078】
検証手段18による照合は、検出手段15によって検出され記憶部16に記憶されたた座標の位置関係を詳細に調べるものであり、複数の検出位置の組合せについて、予め求めておいた特異点の位置関係で配置されているかを検証する。
【0079】
このように探索ウィンドウで特徴パターンを検出し、更に、その検出位置の周辺での検出頻度が適度であることを判定しながら、必要な検出位置の組合せのみで特定の入力画像か否かを判定することにより、より早く判定を行うことができる。
【0080】
なお、本実施の形態においては検出位置のばらつきを見るために、検出手段15が記憶部16に特徴点検出結果を記録する際に逐次計算した検出数を利用したが、検出手段15が座標のみを記録していき、判定手段17が検出数を計測して判定しても良い。
【0081】
また、判定手段17は、検出位置のばらつきを見るために、各ブロック内の検出数のみで判定したが、更に各ブロック内における座標のばらつき即ち各座標の分散値を求め、ばらつきが一定以下と判定されたブロックについてのみ、検証手段18を動作させるようにしても良い。
【0082】
以上のように本実施の形態によれば、画像データを入力して画像メモリ14に蓄積する画像入力手段13と、画像メモリ14に蓄積された画像を読み出し、読み出した画像中から特定マークの特徴点を検出し、特定マークの特徴点を検出した結果である特徴点検出結果を記憶部16に記憶する検出手段15と、記憶部16に記憶された特徴点検出結果に基づき特定マークの検証が必要か否かを判定する判定手段17と、記憶部16に記憶された特徴点検出結果が特定マークのものであるか否かを検証する検証手段18とを有し、判定手段17は、特定マークの検証が必要であると判定したときには検証手段18に特定マークの検証を行わせるようにしたことにより、記憶部16に記憶された特徴点検出結果に基づき特定マークの検証が必要か否かを判定するようにしたので、画像中に検出すべき画像(検出用画像)に類似した特徴パターンが多く存在する場合であっても、特定マークの検出を効率的に行うことができ、すばやく特定パターンを検出できる。また、判定手段17は特徴点の検出位置に応じて検証手段18に特定マークの検証を行わせるか否かを判定するようにしたことにより、特徴点の検出位置が通常あるべき位置(予め定めておいた特異点の位置)にあれば特定マークの検証を行わせ、通常あるべき位置以外の位置にあれば特定マークの検証を行わせないようにすることができるので、画像中に検出すべき画像に類似した特徴パターンが多く存在する場合であっても、特定マーク(検出用画像)の検出を効率的に行うことができ、すばやく特定パターンを検出可能な画像検出装置を提供できる。さらに、検出手段15は記憶部16に特徴点検出結果を画像ブロック単位に記憶させ、判定手段17は少なくとも1つ以上の画像ブロックの検出状況に応じて検証手段18に特定マークの検証を行わせるか否かを判定するようにしたことにより、検出状況たとえば特徴点の検出位置や検出数に応じて、検証手段18に特定マークの検証を行わせるか否かを決定することができるので、画像中に検出すべき画像に類似した特徴パターンが多く存在する場合であっても、特定マークの検出を効率的に行うことができ、すばやく特定マークを検出できる。さらに、検出手段15は記憶部16に特徴点検出結果としての特徴点検出数を記憶させ、判定手段17は画像ブロック毎の特徴点検出数が所定数以下のときのみ検証手段18に特定マークの検証を行わせるようにしたことにより、特徴点検出数が所定数以下すなわち特定マークが存在する確率が高い場合にのみ検証手段18に特定マークの検証を行わせるようにすることができるので、画像中に検出すべき画像に類似した特徴パターンが多く存在する場合であっても、特定マークの検出を効率的に行うことができ、すばやく特定マークを検出できる。さらに、検出手段15は特徴点の位置を検出して記憶部16に特徴点位置を記憶させ、判定手段17はブロック毎の検出位置のばらつきに応じて検証手段18に特定マークの検証を行わせるようにしたことにより、検出位置のばらつきが適度であるときのみ検証手段18に特定マークの検証を行わせるようにすることができるので、画像中に検出すべき画像に類似した特徴パターンが多く存在する場合であっても、特定マークの検出を効率的に行うことができ、すばやく特定マークを検出できる。
【0083】
【発明の効果】
以上説明したように本発明の請求項1に記載の画像検出装置によれば、画像データを入力して画像メモリに蓄積する画像入力手段と、画像メモリに蓄積された画像を読み出し、読み出した画像中から特定マークの特徴点を検出し、特定マークの特徴点を検出した結果である特徴点検出結果を記憶部に記憶する検出手段と、記憶部に記憶された特徴点検出結果に基づき特定マークの検証が必要か否かを判定する判定手段と、記憶部に記憶された特徴点検出結果が特定マークのものであるか否かを検証する検証手段とを有し、判定手段は、特定マークの検証が必要であると判定したときには検証手段に特定マークの検証を行わせることにより、記憶部に記憶された特徴点検出結果に基づき特定マークの検証が必要か否かを判定するようにしたので、画像中に検出すべき画像(検出用画像)に類似した特徴パターンが多く存在する場合であっても、検証が必要でない類似特徴パターンを検証対象から除外することができるので、特定マークの検出を効率的に行うことができ、すばやく特定パターンを検出でき、無関係な画像を誤って判定パターンとして検出する確率を下げることができるという有利な効果が得られる。
【0086】
さらに、請求項に記載の画像検出装置によれば検出手段は記憶部に特徴点検出結果としての特徴点検出数を記憶させ、判定手段は画像ブロック毎の特徴点検出数が所定数以下のときのみ検証手段に特定マークの検証を行わせることにより、特徴点検出数が所定数以下すなわち特定マークが存在する確率が高い場合にのみ検証手段に特定マークの検証を行わせるようにすることができるので、画像中に検出すべき画像に類似した特徴パターンが多く存在する場合であっても、特定マークの検出を効率的に行うことができ、すばやく特定マークを検出でき、無関係な画像を誤って判定パターンとして検出する確率を下げることができるという有利な効果が得られる。
【0088】
請求項に記載の画像検出方法によれば、画像データを入力する画像入力ステップと、入力した画像データ中から特定マークの特徴点を検出する検出ステップと、特定マークの特徴点を検出した結果である特徴点検出結果に基づき特定マークの検証が必要か否かを判定する判定ステップと、特定マークの検証が必要と判定した場合には特徴点検出結果が特定マークに相当するか否かを検証する検証ステップとを有することにより、特徴点検出結果に基づき特定マークの検証が必要か否かを判定するようにしたので、画像中に検出すべき画像に類似した特徴パターンが多く存在する場合であっても、検証が必要でない類似特徴パターンを検証対象から除外することができるので、特定マークの検出を効率的に行うことができ、すばやく特定マークを検出でき、無関係な画像を誤って判定パターンとして検出する確率を下げることができるという有利な効果が得られる。そして、特徴点検出数が所定数以下すなわち特定マークが存在する確率が高い場合にのみ検証手段に特定マークの検証を行わせるようにすることができるので、画像中に検出すべき画像に類似した特徴パターンが多く存在する場合であっても、特定マークの検出を効率的に行うことができ、すばやく特定マークを検出でき、また無関係な画像を誤って特定パターンとして検出する確率を下げることができるという作用を有する。
【0093】
請求項に記載の記録媒体によれば、請求項に記載の各ステップを実行するためのプログラムを記録したことにより、請求項に記載された画像検出方法を任意の場所、任意の期間に実施することができるという有利な効果が得られる。
【図面の簡単な説明】
【図1】本発明の実施の形態1による画像検出装置を示すブロック図
【図2】本発明の実施の形態1による画像検出装置の動作を示すフローチャート
【図3】本発明の実施の形態1による画像検出装置の動作を示すフローチャート
【図4】姿勢調整用特定マークを示すマーク図
【図5】本発明の実施の形態1において読み取られたビットマップを示すビットマップ図
【図6】本発明の実施の形態1における特徴パターン検証の説明図
【図7】本発明の実施の形態1における特徴パターン検証の説明図
【図8】本発明の実施の形態1における特徴パターン検証の説明図
【図9】本発明の実施の形態1における記憶部のフォーマット説明図
【図10】本発明の実施の形態1における記憶部のフォーマット説明図
【図11】処理画像の一例を示す画像図
【図12】処理画像の他の例を示す画像図
【図13】本発明の実施の形態1におけるテンプレートの説明図
【図14】本発明の実施の形態1におけるテンプレートの説明図
【図15】本発明の実施の形態1におけるビットマップ図
【図16】本発明の実施の形態2による画像検出装置を用いた複写機を示す概略構成図
【図17】画像処理部を示すブロック図
【図18】画像検出装置の構成を示すブロック図
【図19】本発明の実施の形態2による画像検出装置の動作を示すフローチャート
【図20】本発明の実施の形態2による画像検出装置の動作を示すフローチャート
【図21】記憶部のフォーマット説明図
【図22】一般的な画像入出力装置を示す構成図
【図23】(a)スキャナにより読み取った画像を示す画像図
(b)スキャナにより読み取った画像を示す画像図
【図24】従来の画像検出方法を説明するためのフローチャート
【符号の説明】
1、12 画像検出装置
2、13 画像入力手段
3、14 画像メモリ
4、15 検出手段
5、16 記憶部
6、17 判定手段
7、18 検証手段
8 スキャナ部
9 画像処理部
10 印字部
11 画像処理回路

Claims (3)

  1. 画像データを入力して画像メモリに蓄積する画像入力手段と、前記画像メモリに蓄積された画像を読み出し、前記読み出した画像中から姿勢調整用の特定マークの特徴点を検出し、前記特定マークの特徴点を検出した結果である特徴点検出結果を前記特徴点の検出位置と共に記憶部に記憶する検出手段と、前記検出位置に応じて前記記憶部に記憶された前記特徴点検出結果に基づき画像ブロック毎に前記特定マークの検証が必要か否かを判定する判定手段と、前記記憶部に記憶された前記特徴点検出結果が特定マークのものであるか否かを検証する検証手段とを有し、前記判定手段は、前記特定マークの検証が必要であると判定したときには前記検証手段に前記特定マークの検証を行わせる画像検出装置であって、
    前記検出手段は前記記憶部に前記特徴点検出結果として前記特徴点の合計である特徴点検出数を記憶し、前記判定手段は前記特徴点検出数に基づいて前記特定マークの検出が必要か否かの画像ブロック毎の判定を行い、前記特徴点検出数が所定数以下の場合の画像ブロックにおいてのみ前記検証手段に前記特定マークの検証を行わせ、前記所定数を超える場合の画像ブロックでは前記特定マークの検証を行わせないことを特徴とする画像検出装置。
  2. 画像データを入力する画像入力ステップと、前記入力した画像データ中から姿勢調整用の特定マークの特徴点を検出し特徴点検出結果を前記特徴点の検出位置に応じて記憶部に記憶する検出ステップと、前記特定マークの特徴点を検出した結果である特徴点検出結果に基づき画像ブロック毎に前記特定マークの検証が必要か否かを判定する判定ステップと、前記特定マークの検証が必要と判定した場合には特徴点検出結果が特定マークに相当するか否かを検証する検証ステップとを有する画像検出方法であって、
    前記検出ステップにおいては前記特徴点検出結果として前記特徴点の合計である特徴点検出数を記憶し、前記判定ステップにおいては前記特徴点検出数に基づいて前記特定マークの検出が必要か否かの画像ブロック毎の判定を行い、前記特徴点検出数が所定数以下の場合の画像ブロックにおいてのみ前記検証ステップで前記特定マークの検証を行い、前記所定数を超える場合の画像ブロックでは前記検証ステップで前記特定マークの検証を行わないことを特徴とする画像検出方法。
  3. 請求項に記載の各ステップを実行するためのプログラムを記録したことを特徴とする記録媒体。
JP24472399A 1999-08-31 1999-08-31 画像検出装置、画像検出方法および記録媒体 Expired - Fee Related JP4395932B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP24472399A JP4395932B2 (ja) 1999-08-31 1999-08-31 画像検出装置、画像検出方法および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24472399A JP4395932B2 (ja) 1999-08-31 1999-08-31 画像検出装置、画像検出方法および記録媒体

Publications (2)

Publication Number Publication Date
JP2001067480A JP2001067480A (ja) 2001-03-16
JP4395932B2 true JP4395932B2 (ja) 2010-01-13

Family

ID=17122954

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24472399A Expired - Fee Related JP4395932B2 (ja) 1999-08-31 1999-08-31 画像検出装置、画像検出方法および記録媒体

Country Status (1)

Country Link
JP (1) JP4395932B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104118609A (zh) * 2014-07-22 2014-10-29 广东平航机械有限公司 贴标质量检测方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104118609A (zh) * 2014-07-22 2014-10-29 广东平航机械有限公司 贴标质量检测方法和装置
CN104118609B (zh) * 2014-07-22 2016-06-29 广东平航机械有限公司 贴标质量检测方法和装置

Also Published As

Publication number Publication date
JP2001067480A (ja) 2001-03-16

Similar Documents

Publication Publication Date Title
JP5393428B2 (ja) コード検出及び復号化システム
JP4729601B2 (ja) 画像判別装置、画像検索装置、画像検索プログラムおよび記録媒体
CN101160950B (zh) 图像处理装置和图像处理方法
JPH04245860A (ja) 画像読取処理装置
JP2005173646A (ja) コード種類判別方法、およびコード境界検出方法
US8064636B2 (en) Image processing apparatus and method of controlling the same
US7016538B2 (en) Image processor for detecting specified pattern
JP3893829B2 (ja) 画像処理装置および画像処理方法ならびに画像形成装置
JP2018128825A (ja) 画像処理装置及び画像処理プログラム
US7155051B2 (en) Image recognition apparatus, image recognition method and image recognition program for specific pattern
JP2864735B2 (ja) 物体識別方法および装置ならびに物体識別のための画像処理方法および装置
JP4395932B2 (ja) 画像検出装置、画像検出方法および記録媒体
JP4970385B2 (ja) 2次元コード読取装置とそのプログラム
JP3019086B1 (ja) 画像処理装置および画像処理方法、画像形成装置
JP2002133424A (ja) 文書の傾き角度及び境界の検出方法
JP4001446B2 (ja) 画像背景色特定のための方法、装置及びコンピュータ読み取り可能な記録媒体
JP2000187705A (ja) 文書読取装置および方法および記憶媒体
JPH1153539A (ja) 円形パターン判定方法および記録媒体
JP2005182236A (ja) 車両ナンバー読み取り装置
JP4282467B2 (ja) 像域分離方法
JPH11288453A (ja) 再生用のスキャン環境における原稿画像のスキュ―角度および黒い境界線を検出する方法およびシステム
JPH08237404A (ja) 光学文字認識モードの選択方法
JPH07226839A (ja) 画像処理装置
JP4406974B2 (ja) 画像検出装置、画像検出方法および記録媒体
JPH04276888A (ja) 文字読取装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060825

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090616

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090929

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091012

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees