JP5038415B2 - 機密文章認証装置、機密文章認証システム及びその方法 - Google Patents

機密文章認証装置、機密文章認証システム及びその方法 Download PDF

Info

Publication number
JP5038415B2
JP5038415B2 JP2009521881A JP2009521881A JP5038415B2 JP 5038415 B2 JP5038415 B2 JP 5038415B2 JP 2009521881 A JP2009521881 A JP 2009521881A JP 2009521881 A JP2009521881 A JP 2009521881A JP 5038415 B2 JP5038415 B2 JP 5038415B2
Authority
JP
Japan
Prior art keywords
image
retroreflective
masking
masked
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009521881A
Other languages
English (en)
Other versions
JP2009545242A5 (ja
JP2009545242A (ja
Inventor
レイ,イーウー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3M Innovative Properties Co
Original Assignee
3M Innovative Properties Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3M Innovative Properties Co filed Critical 3M Innovative Properties Co
Publication of JP2009545242A publication Critical patent/JP2009545242A/ja
Publication of JP2009545242A5 publication Critical patent/JP2009545242A5/ja
Application granted granted Critical
Publication of JP5038415B2 publication Critical patent/JP5038415B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/20Testing patterns thereon
    • G07D7/202Testing patterns thereon using pattern matching
    • G07D7/206Matching template patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/20Testing patterns thereon
    • G07D7/202Testing patterns thereon using pattern matching
    • G07D7/207Matching patterns that are created by the interaction of two or more layers, e.g. moiré patterns
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S283/00Printed matter
    • Y10S283/901Concealed data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)

Description

本発明は、画像パターン認識に基づいて、パスポート、運転免許証、出生証明書、又は金融書類などの機密文書を、コンピュータを利用して認証することに関する。
機密文書の真正を検証するために、コンピュータを利用した技法が次第に用いられるようになっている。機密文書の例には、パスポート、クレジットカード、身分証明書、運転免許証、出生証明書、商業手形、及び金融書類が挙げられる。場合によっては、概して偽造又は不法文書の利用の検出を支援するために、機密画像が、機密文書に印刷されるか、エンボス加工されるか、刻まれるか、又は貼り付けられる。つまり、機密画像は、紫外線インク、再帰反射の3M Confirm(登録商標)画像、及び複写するのが困難な再帰反射の虚像など、1つ又は複数の機密用特徴を有し、従って、機密文書の検証をより信頼性のあるものにし、不法文書の検出性を高めることができる。
一般に、本発明は、複数の機密用特徴を組み込んだ機密画像を有する機密文書を認証するための技法に関する。画像テンプレートマッチングにおける共通の状況は、地味な背景から、又は弱いノイズ干渉を伴って、顕著な信号パターンを検出することである。他の機密用特徴によって生じる遮蔽により、特に遮蔽物が画像パターンよりも強い信号を有する場合、予想される画像パターンの確認が複雑になる。本技法は、繰返される再帰反射の確認画像の背景の上に形成された1つ又は複数の「仮想」再帰反射の画像で構成された機密画像を有する機密文書を検証する上で、特に有用となり得るものである。
本明細書において更に説明するように、機密画像内の仮想再帰反射の画像は、背景の再帰反射の画像の分析及び検証を優越し得る、より強い信号を与え、それによって、認証が不正確となる。本技法は、1つ又は複数の再帰反射の虚像などの付加的な機密用特徴に起因する強い信号をマスク化する一方で、高速でかつ効率的なテンプレートマッチングを背景画像に対して実施することを依然として可能にする修正正規相互相関分析を提供する。
一実施形態において、本願の方法は、機密文書の少なくとも一部分の画像を捕捉する工程であって、機密文書のその一部分は、第1の再帰反射の特徴及び第2の再帰反射の特徴を有する機密画像を含む捕捉工程と、捕捉画像から生成されたマスキング画像を用いて、第1の再帰反射の特徴に関連付けられた基準画像と捕捉画像との間の修正正規相互相関を計算する工程と、基準画像と捕捉画像との間における1つ以上のマッチする印を出力する工程と、を含んでいる。
別の実施形態において、本願の機密文書認証装置は、物品の少なくとも一部分の捕捉画像を受信するための画像捕捉インターフェースであって、物品のその一部分は、第1の再帰反射の特徴及び第2の再帰反射の特徴を有する機密画像を含む、画像捕捉インターフェースを含む。上記認証装置は又、捕捉画像から生成されたマスキング画像を用いて、第1の再帰反射の特徴に関連付けられた基準画像と捕捉画像との間の修正正規相互相関を計算するための高速マスク化正規相互相関(FMNCC:fast masked normalized cross-correlation)モジュールと、基準画像と捕捉画像との間における1つ以上のマッチする印を出力するためのディスプレイと、を有している。
別の実施形態において、本願の機密文書認証システムは、物品の画像の少なくとも一部分を捕捉する画像捕捉装置であって、物品のその一部分は、第1の再帰反射の特徴及び第2の再帰反射の特徴を有する機密画像を含む、画像捕捉装置と、捕捉画像から生成されたマスキング画像を用いて、第1の再帰反射の特徴に関連付けられた基準画像と捕捉画像との間の修正正規相互相関を計算し、基準画像と捕捉画像との間における1つ以上のマッチする印を出力するホストシステムと、を含む。
更に別の実施形態において、本願の方法は、文書の少なくとも一部分の画像を捕捉する工程であって、文書のその一部分は、第1の特徴及び第2の特徴を有する画像を含む捕捉工程を含む。上記方法は、捕捉画像に基づいて生成されたマスキング画像を用いて、第1の特徴に関連付けられた基準画像と捕捉画像との間の修正正規相互相関を計算する工程と、基準画像と捕捉画像との間における1つ以上のマッチする印を出力する工程と、を更に含む。
本発明の1つ以上の実施形態の詳細を添付の図面及び以下の説明で示す。本発明の他の特徴、目的、及び利点は、その説明と図面、及び特許請求の範囲から明らかとなろう。
本発明の原理に従って機密文書を分析する例示的な文書認証システムを示す概略図。 本発明の原理に従って高速マスク化正規相互相関技法を用いて機密文書を分析する例示的なホストシステムを示す構成図。 図1の文書認証システムの例示的な操作を示すフローチャート。 図2のホストシステムの例示的な操作を示すフローチャート。 機密文書上の例示的な機密画像の例示的な捕捉画像を示す複写画像。 例示的な基準画像を示す複写画像。 図5の例示的な捕捉画像から検出された例示的なマスキング画像の複写。 図5の例示的な捕捉画像を分析するために種々のテンプレートマッチング技法が実施されたときに取得された実際の結果を比較の目的で示している。 図5の例示的な捕捉画像を分析するために種々のテンプレートマッチング技法が実施されたときに取得された実際の結果を比較の目的で示している。 図5の例示的な捕捉画像を分析するために種々のテンプレートマッチング技法が実施されたときに取得された実際の結果を比較の目的で示している。 ホストシステムによって提示された例示的な表示画像。 ホストシステムによってディスプレイ上に提示された例示的な出力ウィンドウであり、例示的なテンプレートマッチングデータ。
図1は、本発明の原理に従って機密文書12を分析するための例示的な文書認証システム10を示す略図である。機密文書12は、1つ又は複数の機密用特徴を有する少なくとも1つの機密画像13を有している。文書認証システム10は、機密文書12が特定の機密用特徴を所有しているのを確認することなどによって、機密文書12を認証するか又は検証するために使用することができる。機密用特徴は、例えば、再帰反射の画像であっても、再帰反射の虚像であっても、機密文書12に印刷されるか、エンボス加工されるか、又は貼り付けられた他の種類の画像であってもよい。
機密文書12は、例えば、パスポートであっても、運転免許証であっても、出生証明書であっても、権利証券であっても、他の物品であってもよい。文書認証システム10は、機密画像13が、「テンプレート」画像とも呼ばれる記憶済みの基準再帰反射の画像とマッチする再帰反射の画像を含んでいるか否かを判断することによって、パスポートの真正を照査するために使用することができる。文書認証システム10は、機密画像13の画像又は機密文書12の表面全体の画像を捕捉し、その捕捉画像を分析して、基準画像が捕捉画像内に1回又は複数回出現するか否かを求めることによって、この判断を実施してもよい。基準画像が捕捉画像内に存在する場合、文書認証システム10は、機密文書12が適切に照査されたという(例えば聴覚型又は視覚型の)指示を与える。基準画像が捕捉画像内に存在しない場合、文書認証システム10は、機密文書12が自動的に照査されず、拒否され得るという指示を与える。
いくつかの実施形態において、機密画像13は、付加的な機密用特徴を有していてもよい。例えば、基準画像にマッチしている1つ又は複数の画像領域を含むことに加えて、機密画像13は、付加的な機密用特徴として再帰反射の虚像(例えば「浮動(floating)」画像)を含んでいてもよい。機密画像13内に浮動画像を形成するための例示的な技法が、本願に参照によって組み込まれる、フロークザック(Florczak)等の「浮動する合成画像を有するシート(Sheeting With Composite Image that Floats)」という名称の米国特許第6,288,842号に記載されている。もう1つの例として、機密画像13は、紫外線パターン、印刷された可視パターン、又は、指紋などの生体計測での特徴を有していてもよい。
従来のテンプレートマッチング技法を使用する場合、機密画像13に含められた再帰反射の画像及び他の機密用特徴により、テンプレートマッチングがより困難となることがある。特に、再帰反射の虚像などの機密用特徴は、基準画像を表す信号と比較して、より強い信号を捕捉画像内に発生させ、それによって、機密画像13が真正な基準画像を含んでいることを確認するのが困難となることがある。このために、文書認証システム10のホストシステム20は、本明細書で説明する「高速マスク化正規相互相関」(FMNCC)技法を用いて、付加的な機密用特徴に起因する、捕捉画像に存在する任意の信号を効果的にかつ効率的にマスク化する。ホストシステム20は、FMNCC技法を捕捉画像に適用して、機密文書12の高速テンプレートマッチング分析及び認証又は否認を提供する。
操作の際、ユーザーは、ビューフレーム14の上に機密文書12を置く。ビューフレーム14は、文書認証システム10の他の構成要素に対して機密文書12を正確に位置付ける。図1の例示的な実施形態において、文書認証システム10は、ビューフレーム14の上に置かれた機密文書12を照明するための光源16を有している。光源16は、目視位置に対して角度をなして配置されていてもよい。いくつかの実施形態において、文書認証システム10は、複数の光源を有していてもよい。文書認証システム10は、目視位置に配置された画像捕捉装置18を更に有している。画像捕捉装置18は、電荷結合素子(CCD)などのカメラであっても、ラインスキャナーであっても、他の光入力装置であってもよい。光源16及び画像捕捉装置18は、ホストシステム20によって制御することができる。光源18の輝度は、ホストシステム20によって自動的に又はユーザーからの入力に基づいて、最小値から最大値の輝度範囲にわたって調節することができる。
ユーザーが機密文書12をビューフレーム14の中に置いた後、画像捕捉装置18は、機密画像13を含む機密文書12の画像を捕捉する。捕捉画像は、機密文書12の一部分が機密画像13を含んでいれば、機密文書12のすべて又はその一部分を表すことができる。画像捕捉装置は、画像処理のために、信号経路22を介して捕捉画像をホストシステム20に伝達する。ホストシステム20によって処理された捕捉画像は、検査のために、ホストシステム20と関連付けられたディスプレイ(図示せず)上に表示することができる。ホストシステム20は、例えば、コンピュータであっても、ラップトップであっても、携帯情報端末(PDA)であっても、捕捉画像を分析するのに十分なプロセッサ及びメモリ資源を有する他のコンピュータシステムであってもよい。ホストシステム20の例示的な構成及び操作について、以下で更に詳細に説明する。
図2は、例示的なホストシステム20を示すブロック図であり、このホストシステム20は、本発明の原理に従って高速マスク化正規相互相関技法を用いて機密文書を分析する。ホストシステム20は、画像捕捉装置18(図1)から受信した画像データを分析して、所与の基準画像が捕捉画像内に発見され得る(即ち基準画像にマッチし得る)か否かを判断する。
ホストシステム20は、信号経路22を介して画像捕捉装置18から画像データを受信するための画像捕捉インターフェース24を有している。画像捕捉インターフェース24は、例えば、画像捕捉装置18と通信し画像データを受信するためのシリアル又はパラレルのハードウェアインターフェースであってもよい。もう1つの例として、画像捕捉インターフェース24は、ユニバーサルシリアルバス(USB)インターフェースであってもよい。ホストシステム20は、受信した画像データを、例えば1つ又は複数のファイルとして画像記憶装置26内に記憶することができ、又、データベース30を更新して、画像記憶装置26内の画像データの記憶場所を反映させることができる。画像記憶装置26は、ハードディスク、光ディスク、テープ、取外し可能なメモリカード、又は同等のものなど、内部又は外部の永久記憶媒体であってもよい。
ホストシステム20は、ユーザーインターフェース34を介してユーザー入力32を受信することもでき、又、ユーザー入力に応答してデータベース30を更新することができる。ユーザー入力32は、例えば、テンプレート28として画像記憶装置26内に記憶された基準画像のライブラリから基準画像を選択することを含んでもよい。基準画像ライブラリは、様々な種類の機密文書と関連付けられた特定の機密用特徴の複数の基準画像を含んでいてもよい。基準画像は、パスポート、運転免許証、金融書類、又は他の機密文書などの機密文書の真正を照査するために使用される。
信号経路22を介して画像捕捉インターフェース24によって受信された画像データは、機密文書12のすべて又は一部分の捕捉画像を表すことができる。上記で議論したように、捕捉画像は、主要な機密用特徴と、再帰反射の虚像などの付加的な機密用特徴と、を含むことができる。ホストシステム20は、基準画像と捕捉画像との間の修正正規相互相関を計算する。具体的には、マスキング画像生成器36が、より強い信号を含んだ捕捉画像の領域、又は付加的な機密用特徴に起因する他の明らかな画像特徴を表す「マスキング画像」を生成し、そのマスキング画像を当てはめて、正規相互相関の計算から付加的な機密用特徴の影響を除去する。
マスキング画像生成器36は、リアルタイムでマスキング画像を動的に構成するが、マスキング画像は、機密画像13に関連付けられた捕捉画像の一部分と同じ次元数を有している。一実施形態において、マスキング画像生成器36は、ピクセルごとを基準として捕捉画像の画像を閾値処理して、信号強度の高い領域、即ち非常に明るいか又は非常に暗い画像領域を突き止めることができる。マスキング画像生成器36は又、何らかの形態上の処理を実施してもよい。例えば、マスキング画像生成器36は、マスキング画像のピクセルを、捕捉画像内の対応するピクセルの輝度値が、輝度値の所定範囲内に含まれるか又はその所定範囲外にあるかに基づいて、最高輝度値(例えば、8ビットピクセルにつき255)又は最低輝度値(例えば0)のいずれかに設定することによって、マスキング画像を生成することができる。一例として、捕捉画像のピクセルが、50〜200の範囲外にある(即ち、50未満であるか又は200を超える)輝度値を有する場合には、マスキング画像生成器36は、マスキング画像内の対応するピクセルを0の輝度値(黒色)に設定することができ、又、捕捉画像のピクセルが、50から200の範囲内の輝度値を有する場合には、マスキング画像生成器36は、マスキング画像内の対応するピクセルを255の輝度値(白色)に設定することができる。数回にわたる膨張及び収縮によって、マスキング領域の形状が著しく改善されることがある。マスキング画像を構成するために用いる特定の範囲及び方法は、機密画像13の種類若しくは特性、又は機密画像内に含められた機密用特徴の特性に従って異なってもよい。マスキング画像生成器36は又、分析される文書の種類に応じて異なる複数の所定範囲の輝度を有していてもよい。又、輝度値の範囲は、動的に推定されてもよい。マスキング画像生成器36は又、前もってマスキング画像を統計的に事前に計算することもできる。
マスキング画像生成器36は、マスキング画像を高速マスク化正規相互相関(FMNCC)モジュール38に供給する。FMNCCモジュール38は、画像記憶装置26から捕捉画像を取得し、そのマスキング画像を捕捉画像に当てはめて「マスク化」画像を作成する。マスク化画像は、捕捉画像の変型であるが、付加的な機密用特徴、例えば再帰反射の浮動画像によって生じた任意の強い信号が、少なくとも部分的にフィルタ処理されたものとみなしてもよい。FMNCCモジュール38は、基準画像とマスク化画像との間の相互相関を計算し正規化し、その結果を、テンプレートサイズとマスク化領域との比で各マッチごとに乗算することによって補正する。総じてFMNCCの一実施形態と呼ばれるこれらの計算の結果に基づいて、ホストシステム20は、マッチング領域と呼ばれる、基準画像と十分にマッチする捕捉画像内のピクセル領域を決定することができる。
FMNCCモジュール38は、マスク化画像内の複数の領域にある基準画像を発見することができる。マッチが確認されると、ホストシステム20は、肯定の指示、例えばマッチ用の聴覚及び/又は視覚インジケータを作成する。例えば、ホストシステム20は、ディスプレイ40を介して、捕捉画像のすべて又は一部分及び捕捉画像内のマッチング領域の視覚的表示を表示してもよい。或いは、FMNCCモジュール38が、マスク化画像内において基準画像への十分なマッチを発見しなかった場合、ホストシステム20は、(聴覚的又は視覚的)否定の指示を出力して、機密文書13が否認されたことを示す。例えば、ホストシステム20は、マッチが発見されなかったことを示すメッセージ、又は他の好適なエラーメッセージを表示することができる。
図3は、図1の文書認証システム10の例示的な操作を示すフローチャートである。まず、ホストシステム20が、1つ又は複数の基準画像28を画像記憶装置26に記憶する。次に、ユーザーが、パスポートなどの機密文書12を画像捕捉装置18の下に置く(42)。ホストシステム20が、画像捕捉装置18及び光源16を使用して機密文書12の捕捉画像を受信し記憶する(44)。
ホストシステム20は、様々な特性を用いて、手動で又は自動で認証される機密文書12の種類を識別することができる。この識別に基づいて、ホストシステム20が、その文書の種類に対する1つ又は複数の基準画像をテンプレート28の中から選択する(46)。例えば、ユーザーが、ユーザーインターフェース34を介して基準画像を手動で選択してもよい。或いは、ホストシステム20が、捕捉画像の特性(例えば、文書の大きさ、機械読取り可能なゾーン(MRZ)、又は他の本文の光学式文字認識(OCR)若しくはある事前定義マーキングの自動認識)に基づいて、自動文書識別器を用いて基準画像を自動的に又は半自動的に選択してもよい。もう1つの例として、ホストシステム20が、各種類の機密文書12に対する既定の基準画像を使用してもよい。
テンプレートを選択した後、ホストシステム20が、高速マスク化正規相互相関(FMNCC)分析を実施して捕捉画像と基準画像との間の相互相関を決定する(48)。このようにして、ホストシステム20は、基準画像の1つ又は複数の実例が捕捉画像内に存在するか否かを判断する。この分析について、以下で更に詳細に説明する。ホストシステム20は、FMNCC分析の結果をディスプレイ40上に表示するか、又は、他の任意の好適な聴覚用若しくは視覚用インジケータを作成することができる(50)。
図4は、図2のホストシステム20の例示的な操作を更に詳細に示すフローチャートである。ホストシステム20は、機密文書に関連付けられた捕捉画像を分析することによって機密文書12を認証する。上述したように、ホストシステム20は、画像捕捉インターフェース24を介して機密文書12の捕捉画像を受信し(52)、捕捉画像を画像記憶装置26に記憶することができる。FMNCCモジュール38が、例えば、図2に関連して上述したように捕捉画像を閾値処理することによって、捕捉画像からマスキング画像m(x,y)を生成する(54)。加えて、ホストシステム20は、画像記憶装置26のテンプレート28から基準画像にアクセスする(56)。
次いで、FMNCCモジュール38が、マスキング画像を用いて、基準画像とマスキング画像との間の正規相互相関から望ましくない対象を除去する。より具体的には、FMNCCモジュール38が、マスキング画像を捕捉画像に当てはめて、マスク化画像fm(x,y)を取得する(58)。FMNCCモジュール38は、この取得を、m(x,y)で表されるマスキング画像を基準テンプレート画像t(x,y)と捕捉画像f(x,y)との間の正規相互相関の計算に導入することによって行うことができる。テンプレート画像と捕捉画像との間の正規相互相関は、次式によって与えられる。
Figure 0005038415
上式において、
Figure 0005038415
はテンプレートの平均値であり、
Figure 0005038415
はテンプレート画像の下の領域内の捕捉画像f(x,y)の平均値である。
マスキング画像を捕捉画像に当てはめた正規相互相関に対する式γ(x,y)は、次式によって与えられる。
Figure 0005038415
上式において、
Figure 0005038415
はテンプレートの平均値であり、
Figure 0005038415
は、テンプレート画像の下にある領域内のf(x,y)の、位置(u,y)における平均値であり、
Figure 0005038415
はマスク化画像f(x,y)の各平均値である。
式(2)を整理すると、以下の式が得られる。
Figure 0005038415
上式において、
Figure 0005038415
はテンプレート画像t(x,y)とマスク化画像f(x,y)との間の正規相互相関であり、
Figure 0005038415
が修正因子によって補正される。この修正因子の分母は、マスキング画像と基準テンプレート画像との間の相互相関の形式である。場合によっては、相互相関の計算効率を改善するために、高速フーリエ変換(FFT)が用いられてもよい。しかしながら、マスク化画像を導入すると、別の畳込みが分母に導入され、それによって、相互相関の全計算量が増加すること並びに計算効率の改善が困難となることにより、内容は複雑なものとなる。
計算効率を改善するために、本願において、修正因子の分母は、マスキング画像によってフィルタ処理された捕捉画像の部分における各ピクセルの平方和であり、従って、式(3)のこの修正因子は、基準画像における各ピクセルの平方和と、このマスク化された部分における各ピクセルの平方和との比を表していることが認識される。多数の実施形態において、基準画像は、全体にわたってほぼ等しい明るさを有するグラフィックパターンからなる。これらの実施形態に対し、仮定し得ることとして、信号は基準画像の全体にわたって均一に存在し、即ち、信号は、基準画像の各部において等しく存在する。信号が、基準画像の全体にわたって均一に分布していると仮定することにより、全基準画像の分散σは、マスク化部分の分散σに接近するはずであることを仮定し得る。
従って、上記認識に基づいて、式(3)を簡略化して次の式を得ることができる。
Figure 0005038415
Figure 0005038415
上式において、σは全基準画像の分散であり、σはマスク化部分の分散であり、M及びNは基準画像の寸法を規定するものであり、
Figure 0005038415
は基準画像とマスク化画像の正規相互相関である。ここでマスキング効果修正因子と呼ぶ修正因子を、テンプレートサイズと各マッチング領域におけるマスク化領域との比で推定すると、式(5)は以下のように一般化することができる。
Figure 0005038415
上式において、αは修正の強さを表す。
実際には、α=1の値を用いると、基準画像とマスク化画像との間の正規相互相関である
Figure 0005038415
が、高速かつ良好に近似される。この簡略化により、FMNCCモジュール38は、FFTを適用して計算の効率を改善することができる。FMNCCモジュール38は、FFTを用いてマスク化画像と基準画像との間の相互相関を計算し(60)、その相互相関を正規化し(換言すれば、
Figure 0005038415
に適用されるマスキング効果修正因子が、高速かつ良好に近似される。この簡略化により、FMNCCモジュール38は、FFTを適用して計算の効率を改善することができる。FMNCCモジュール38は、FFTを用いてマスク化画像と基準画像との間の相互相関を計算し(60)、その相互相関を正規化し(換言すれば、
Figure 0005038415
をマスキング効果修正因子で乗算することで、正規相互相関をマスキング効果で修正する(64)ことによって、最終的な結果を取得する。特定の実施形態において、FMNCCモジュール38は、ホストシステム20は、例えば2GHzのプロセッサを有する汎用プロセッサにおいて、数百ミリ秒程度の速度でこの計算を行うことができる。
ホストシステム20は、マッチング領域が存在するか否かを、上述した高速マスク化正規相互相関分析の結果に基づいて判断する。具体的には、ホストシステムは、上述した高速マスク化正規相互相関分析技法の結果を利用して、捕捉画像内の領域が基準画像に十分にマッチするか否かを判断する。ホストシステム20は、マッチング領域が捕捉画像内に発見されるか否かを、所定のスコア閾値に基づいて判断することができる。一例として、所定のスコア閾値は、0から100のスケールで少なくとも75の相関スコアを必要とすることがある。いくつかの実施形態において、ホストシステムは、マッチング領域が捕捉画像内に発見されるか否かを、所定のスコア閾値を超える相関スコアを有するマッチの必要最小数に基づいて判断することができる。一例として、ホストシステム20は、発見されるいかなるマッチング領域に対しても、少なくとも3つのマッチング領域が、所定のスコア閾値を超える相関スコアを有するように構成してもよい。いくつかの例示的実施形態において、異なる所定のスコア閾値が、異なる文書の種類に対して定義されてもよい。
いくつかの実施形態において、ホストシステム20は、捕捉画像のすべて又は一部分をディスプレイ20上に表示し、その中の、基準画像40に十分にマッチする領域を識別する。例えば、ホストシステム20は、マッチング領域を強調表示した機密文書の捕捉画像を表示してもよい。別の例として、ホストシステム20は、マッチング領域のリスト、例えば、基準画像にマッチする捕捉画像のマッチング領域内の中心ピクセルを提示してもよい。マッチング領域は、対応する相関スコア、例えば0〜100と共に示してもよい。FMNCCモジュール38は、マッチする画像が基準画像に対して回転される場合でも、マッチング領域を識別することができる。ホストシステム20は、マッチが表示されるとき、そのような回転を指示してもよい。或いは、ホストシステム20は、単に、機密文書12の合否の指示を与えてもよい。
図5は、機密文書上の例示的な機密画像の例示的な捕捉画像70を示す複写画像である。捕捉画像70は、複数の機密用特徴を有する機密画像を示している。具体的には、捕捉画像70は、図6に示す基準画像の複数の実例を有する再帰反射の背景パターン72、並びに、再帰反射の虚像74の形態の付加的な機密用特徴を有している。
図5に示すように、再帰反射の背景パターン72は、「承認(CONFIRM)」という語と円形の紋章デザインとからなる繰返しパターンを有している。ガラス微小球を有する再帰反射性シート材料が、繰返しパターンが中に形成される機密文書に接着されてもよい。パターンは、再帰反射光下で見ると可視となるなど、再帰反射性であってもよい。再帰反射の虚像74の付加的な機密用特徴が、背景パターンの上に形成されており、この例では、波に沿って現れる「3M」のシンボルを伴なう波のデザインである。再帰反射の虚像74は、文書に対して移動して見えることが可能な浮動画像であってもよい。捕捉画像70は、機密文書がビューフレーム14の上に置かれているとき、画像捕捉装置18(図1)によって捕捉することができる。
図6は、例示的な基準画像76を示す複写画像であり、この基準画像76から再帰反射の背景パターン72が作成されている。この例において、基準画像76は、再帰反射の機密紋章を有している。基準画像76は、テンプレートデータ構造28に記憶されていてもよく、又、ユーザーが捕捉画像70を目視した後、ユーザーインターフェース34(図2)を介してホストシステム20のオペレータによって手動で選択されてもよく、或いは、文書の特性を分析することで、ホストシステム20によって自動で選択されてもよい。本明細書で説明する技法に従って、ホストシステム20は、捕捉画像70を処理して、基準画像76に十分にマッチする1つ又は複数の部分を識別する。
図7は、図5の例示的な捕捉画像70から検出された例示的なマスキング画像78の複写である。この例において、マスキング画像78は、捕捉画像70の各ピクセルを「閾値処理」することによって生成されたものである。例えば、捕捉画像70の各ピクセルが分析され、ピクセルの強度が所定範囲外にあるか否か、即ち、ピクセルが非常に明るいか又は非常に暗いかが判断された。この分析に基づいて、マスキング画像78の対応するピクセルが、0の値に設定された。所定範囲内にある捕捉画像70内のピクセルに対応するマスキング画像78の他のすべてのピクセルが、255の値に設定された。このように、マスキング画像78は、下にある背景パターン72を目立たせ得る又は隠し得る捕捉画像70の部分をマスク化するように生成された。マスキング画像を構成する方法は、捕捉画像の種類又は特性に従って異なってもよい。
図8A〜8Cは、図5の例示的な捕捉画像70を分析するために種々のテンプレートマッチング技法が実施されたときに取得された実際の結果を示しており、その結果が、比較の目的で示されている。図8Aは、正規化することなく、かつ再帰反射の虚像74をマスク化することなく、相互相関の計算に直接高速フーリエ変換(FFT)を用いて、即ち式(1)の分子を用いて取得された例示的なマッチング結果82を示している。図8Aに示すように、マッチング結果82は、再帰反射の虚像の付加的な機密用特徴並びに照明の不均等性による強い干渉を示している。
図8Bは、再帰反射の虚像74をマスクすることなく正規相互相関(NCC)を用いて、即ち上記の式(1)を用いて取得された実際のマッチング結果84を示している。図示のように、照明の不均等性は改善されたが、この結果は、再帰反射の虚像74からの強い信号が原因で、過度に正規化されたものとなっている。
図8Cは、本明細書で説明した高速マスク化NCC(FMNCC)技法を用いて取得された実際のマッチング結果86を示している。マッチング結果86をマッチング結果84及び82と比較することで分かるように、FMNCC技法では、マッチングポイントの白いピークにおいて示されるように、捕捉画像70内の基準画像76の8つのすべての出現に対して、更に際立ちかつ一貫したマッチング評価がもたらされている。
図9は、ホストシステム20によって提示された例示的な表示画像90を示している。例えば、ホストシステム20が、表示画像90をディスプレイ40上に出力してもよい。この例において、ホストシステム20は、図5の捕捉画像70を含むように表示画像90を提示しており、又、基準画像76と十分にマッチできるように発見されたマッチング領域92に印を付ける識別子を更に有している。図示のように、マッチング結果は、ホストシステム20が捕捉画像内で発見した基準画像全体となるマッチング領域のみからなる。マッチング領域92の各々は、正方形の印が付けられており、マッチング領域のランクを示す番号が、各正方形の中心に表示されている。基準画像76から180°回転されたマッチング領域92のランクは、括弧内に示されている。
図10は、ホストシステム20によってディスプレイ40上に提示された例示的な出力ウィンドウ94であり、典型的なテンプレートマッチングデータの例を示す。出力ウィンドウ94は、機密文書12から取得された捕捉画像70をホストシステム20が分析した後に、ディスプレイ40(図2)上に示すことができ、又は、この結果は、文書真正の機密確認の他の部分と組み合わせてもよい。図10に示すように、出力ウィンドウ94は、捕捉画像70内に発見された6つのテンプレート・マッチの各々に対して1つの行に内容を示している。各マッチング領域92に対する中心ピクセルの位置座標が、画面の左上の角を原点とした[x,y]の形式で、列96に表示されている。マッチング領域92は、列98に示すそれらの相関スコアに従ってランク付けされており、それらの相関スコアは、100を最高として0と100との間の値である。回転の列100は、基準画像76に対するマッチング領域92の各々の回転を角度で示している。
本発明の様々な実施形態について説明してきた。説明を目的として、機密文書内の再帰反射の画像のテンプレートマッチングに関連して述べたが、本明細書で述べたFMNCC技法は、他の形態の機密用特徴及びテンプレートマッチングの状況にも適用することができる。これらの及び他の実施形態は、以下の特許請求の範囲に含まれる。

Claims (3)

  1. 文書の少なくとも一部分の画像を捕捉する工程であって、該文書の該一部分は、第1の再帰反射の特徴及び第2の再帰反射の特徴を有する画像を含み、前記第1の再帰反射の特徴は基準の再帰反射の画像とマッチする、捕捉工程と、
    前記第2の再帰反射の特徴を示す前記捕捉画像の領域を特定することで、前記捕捉画像からマスキング画像を生成する工程と、
    マスク化画像を得るために、前記マスキング画像を前記捕捉画像に適用する工程と、
    前記基準画像の大きさと各マッチング領域におけるマスク化領域との比を表すマスキング効果修飾因子を用いて正規化相互相関を修正することで、前記基準画像と前記マスク化画像との間の修正正規相互相関を計算する工程と、
    前記基準画像と前記捕捉画像との間における1つ以上のマッチする印ディスプレイに出力する工程と、を含む方法。
  2. 物品の少なくとも一部分の捕捉画像を受信する画像捕捉インターフェースであって、該物品の該一部分が、第1の再帰反射の特徴及び第2の再帰反射の特徴を有する機密画像を含み、前記第1の再帰反射の特徴は基準の再帰反射の画像とマッチする、画像捕捉インターフェースと、
    前記第2の再帰反射の特徴を示す前記捕捉画像の領域を特定することで、前記捕捉画像からマスキング画像を生成するマスキング画像生成器と、
    マスク化画像を得るために、前記マスキング画像を前記捕捉画像に適用し、前記基準画像の大きさと各マッチング領域におけるマスク化領域との比を表すマスキング効果修飾因子を用いて正規化相互相関を修正することで、前記基準画像と前記マスク化画像との間の修正正規相互相関を計算する高速マスク化正規相互相関(FMNCC)モジュールと、
    前記基準画像と前記捕捉画像との間における1つ以上のマッチする印を出力するディスプレイと、を含む機密文書認証装置。
  3. 物品の少なくとも一部分の画像を捕捉する画像捕捉装置であって、該物品の該一部分が、第1の再帰反射の特徴及び第2の再帰反射の特徴を有する機密画像を含み、前記第1の再帰反射の特徴は基準の再帰反射の画像とマッチする、画像捕捉装置と、
    前記第2の再帰反射の特徴を示す前記捕捉画像の領域を特定することで前記捕捉画像からマスキング画像を生成し、マスクされた画像を得るために前記マスキング画像を前記捕捉画像に適用する、ホストシステムであって、
    前記基準画像の大きさと各マッチング領域におけるマスク化領域との比を表すマスキング効果修飾因子を用いて正規化相互相関を修正することで、前記基準画像と前記マスク化画像との間の修正正規相互相関を計算し、前記基準画像と前記捕捉画像との間における1つ以上のマッチする印ディスプレイに出力するホストシステムと、を含む機密文書認証システム。
JP2009521881A 2006-07-24 2007-07-03 機密文章認証装置、機密文章認証システム及びその方法 Expired - Fee Related JP5038415B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/491,869 US8096584B2 (en) 2006-07-24 2006-07-24 Document authentication using template matching with fast masked normalized cross-correlation
US11/491,869 2006-07-24
PCT/US2007/072695 WO2008014090A2 (en) 2006-07-24 2007-07-03 Document authentication using template matching with fast masked normalized cross-correlation

Publications (3)

Publication Number Publication Date
JP2009545242A JP2009545242A (ja) 2009-12-17
JP2009545242A5 JP2009545242A5 (ja) 2011-11-17
JP5038415B2 true JP5038415B2 (ja) 2012-10-03

Family

ID=38982185

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009521881A Expired - Fee Related JP5038415B2 (ja) 2006-07-24 2007-07-03 機密文章認証装置、機密文章認証システム及びその方法

Country Status (15)

Country Link
US (2) US8096584B2 (ja)
EP (1) EP2064865B1 (ja)
JP (1) JP5038415B2 (ja)
KR (1) KR101388824B1 (ja)
CN (1) CN101491074B (ja)
AU (1) AU2007276963B2 (ja)
BR (1) BRPI0713823A2 (ja)
CA (1) CA2658357C (ja)
HU (1) HUE030127T2 (ja)
MX (1) MX2009000840A (ja)
MY (1) MY149102A (ja)
NZ (1) NZ574314A (ja)
RU (1) RU2412553C2 (ja)
TW (1) TWI435277B (ja)
WO (1) WO2008014090A2 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8096584B2 (en) 2006-07-24 2012-01-17 3M Innovative Properties Company Document authentication using template matching with fast masked normalized cross-correlation
US8194933B2 (en) * 2007-12-12 2012-06-05 3M Innovative Properties Company Identification and verification of an unknown document according to an eigen image process
US8540158B2 (en) * 2007-12-12 2013-09-24 Yiwu Lei Document verification using dynamic document identification framework
US8401294B1 (en) * 2008-12-30 2013-03-19 Lucasfilm Entertainment Company Ltd. Pattern matching using convolution of mask image and search image
CN102292700A (zh) * 2009-01-24 2011-12-21 惠普开发有限公司 用于增强安全印刷的系统和方法
CN101908241B (zh) * 2010-08-03 2012-05-16 广州广电运通金融电子股份有限公司 有价文件识别方法及其识别系统
KR101723642B1 (ko) 2011-01-31 2017-04-19 삼성전자주식회사 파노라마 이미지를 촬영하는 촬영 기기 및 그 파노라마 촬영 방법
US8657195B2 (en) * 2011-09-27 2014-02-25 Symbol Technologies, Inc. Document capture with imaging-based bar code readers
US20140046954A1 (en) * 2012-08-07 2014-02-13 3M Innovative Properties Company And A Completed Software tool for creation and management of document reference templates
US9721259B2 (en) 2012-10-08 2017-08-01 Accenture Global Services Limited Rules-based selection of counterfeit detection techniques
KR101346328B1 (ko) 2012-10-22 2013-12-31 인하대학교 산학협력단 저화질 이미지를 이용한 신분증 판별 장치 및 이를 이용한 판별 방법
TWI506250B (zh) * 2013-01-14 2015-11-01 Prec Machinery Res & Dev Ct Angle detection method of angle encoder
US9501718B1 (en) * 2013-01-15 2016-11-22 Marvell International Ltd. Image-based control of lighting systems
TWI512642B (zh) * 2013-01-25 2015-12-11 Delta Electronics Inc 快速圖形比對方法
EP2992481A4 (en) * 2013-05-03 2017-02-22 Kofax, Inc. Systems and methods for detecting and classifying objects in video captured using mobile devices
ES2549461B1 (es) * 2014-02-21 2016-10-07 Banco De España Método y dispositivo para la caracterización del estado de uso de los billetes de banco, y su clasificación en aptos y no aptos para la circulación
TWI581629B (zh) * 2014-08-07 2017-05-01 A Method and System for Message Transmission without Marked Identification
US20160165227A1 (en) * 2014-12-04 2016-06-09 Arris Enterprises, Inc. Detection of audio to video synchronization errors
US10061980B2 (en) * 2015-08-20 2018-08-28 Accenture Global Services Limited Digital verification of modified documents
US10116830B2 (en) 2016-09-15 2018-10-30 Accenture Global Solutions Limited Document data processing including image-based tokenization
WO2018151760A1 (en) 2017-02-20 2018-08-23 3M Innovative Properties Company Optical articles and systems interacting with the same
KR20180099180A (ko) 2017-02-28 2018-09-05 주식회사 소원네트웍스 전자문서의 정보 보안 방법 및 서버
JP7131552B2 (ja) * 2017-05-26 2022-09-06 凸版印刷株式会社 識別装置、識別方法、および、識別プログラム
EP3688662A1 (en) 2017-09-27 2020-08-05 3M Innovative Properties Company Personal protective equipment management system using optical patterns for equipment and safety monitoring
US10997736B2 (en) * 2018-08-10 2021-05-04 Apple Inc. Circuit for performing normalized cross correlation
TWI731711B (zh) * 2020-06-11 2021-06-21 林雨潭 光型快速量測裝置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3801183A (en) 1973-06-01 1974-04-02 Minnesota Mining & Mfg Retro-reflective film
JPS63137386A (ja) 1986-11-17 1988-06-09 ライト・シグネイチヤーズ・インコーポレーテツド 書類の認証システム
US6019287A (en) 1993-10-06 2000-02-01 3M Innovative Properties Company Security reader for automatic detection of tampering and alteration
US5841907A (en) 1994-11-14 1998-11-24 The University Of Connecticut Spatial integrating optical correlator for verifying the authenticity of a person, product or thing
US6301387B1 (en) 1998-12-18 2001-10-09 University Of Washington Template matching using correlative auto-predictive search
JP2001034754A (ja) * 1999-07-19 2001-02-09 Sony Corp 虹彩認証装置
US6744909B1 (en) 1999-08-19 2004-06-01 Physical Optics Corporation Authentication system and method
US6678414B1 (en) 2000-02-17 2004-01-13 Xerox Corporation Loose-gray-scale template matching
US6288842B1 (en) 2000-02-22 2001-09-11 3M Innovative Properties Sheeting with composite image that floats
JP3576987B2 (ja) 2001-03-06 2004-10-13 株式会社東芝 画像のテンプレートマッチング方法及び画像処理装置
US7149356B2 (en) 2002-07-10 2006-12-12 Northrop Grumman Corporation System and method for template matching of candidates within a two-dimensional image
US6785405B2 (en) * 2002-10-23 2004-08-31 Assuretec Systems, Inc. Apparatus and method for document reading and authentication
US7529410B2 (en) * 2004-01-07 2009-05-05 Microsoft Corporation Local localization using fast image match
EP1691539A1 (en) 2005-02-15 2006-08-16 European Central Bank Two-dimensional security pattern that can be authenticated with one-dimensional signal processing
US8096584B2 (en) 2006-07-24 2012-01-17 3M Innovative Properties Company Document authentication using template matching with fast masked normalized cross-correlation
TW201238359A (en) 2011-03-01 2012-09-16 Novatek Microelectronics Corp Block matching method

Also Published As

Publication number Publication date
KR20090038882A (ko) 2009-04-21
BRPI0713823A2 (pt) 2012-12-04
WO2008014090A2 (en) 2008-01-31
MX2009000840A (es) 2009-02-03
HUE030127T2 (en) 2017-04-28
CN101491074A (zh) 2009-07-22
US8485559B2 (en) 2013-07-16
AU2007276963B2 (en) 2011-03-24
RU2412553C2 (ru) 2011-02-20
CA2658357A1 (en) 2008-01-31
RU2009102179A (ru) 2010-08-27
US8096584B2 (en) 2012-01-17
US20080031542A1 (en) 2008-02-07
EP2064865B1 (en) 2016-04-20
MY149102A (en) 2013-07-15
AU2007276963A1 (en) 2008-01-31
EP2064865A4 (en) 2011-11-02
KR101388824B1 (ko) 2014-04-23
WO2008014090A3 (en) 2008-04-10
TWI435277B (zh) 2014-04-21
JP2009545242A (ja) 2009-12-17
EP2064865A2 (en) 2009-06-03
CA2658357C (en) 2015-05-26
NZ574314A (en) 2011-07-29
CN101491074B (zh) 2012-07-04
US20120106851A1 (en) 2012-05-03
TW200818030A (en) 2008-04-16

Similar Documents

Publication Publication Date Title
JP5038415B2 (ja) 機密文章認証装置、機密文章認証システム及びその方法
Scherhag et al. Detection of face morphing attacks based on PRNU analysis
Kraetzer et al. Modeling attacks on photo-ID documents and applying media forensics for the detection of facial morphing
US7920714B2 (en) Method and apparatus for comparing document features using texture analysis
US8194933B2 (en) Identification and verification of an unknown document according to an eigen image process
KR20200118842A (ko) 신원 인증 방법 및 장치, 전자 기기 및 저장 매체
CN107610321B (zh) 一种鉴别纸币真伪方法、装置、设备及存储介质
Ferrara et al. On the impact of alterations on face photo recognition accuracy
Hajare et al. Face Anti-Spoofing Techniques and Challenges: A short survey
Hildebrandt et al. High-resolution printed amino acid traces: a first-feature extraction approach for fingerprint forgery detection
Nandanwar et al. DCT-phase statistics for forged IMEI numbers and air ticket detection
CN112434727A (zh) 身份证明文件认证方法和系统
JPS58195280A (ja) 証明カ−ドの偽造検出方法
Goel et al. An approach for anti-forensic contrast enhancement detection using grey level co-occurrence matrix and Zernike moments
JP2023511569A (ja) セキュリティ文書を認証するための方法
CN112597810A (zh) 身份证明文件认证方法和系统
Berchtold et al. Smartphone-supported integrity verification of printed documents
GOEL et al. An Approach for Anti-Contrast Enhancement Forensic Detection Based on Glcm and Zernike Moments
Merkle et al. Face morphing detection: issues and challenges
Girish et al. Design of Bank Cheque Validation System
CN112434747A (zh) 认证方法和系统
JP2023166847A (ja) コンピュータプログラム、情報処理方法及び情報処理装置
JP2023038532A (ja) 真贋判定装置およびプログラム
Doyoddorj Forgery Detection and Counter-Forensics for Image Manipulation
Subbarao et al. FPR a Secure and Secured Biometric in Web Banking-Survey

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100629

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110329

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110629

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110706

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20110929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120117

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120417

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120605

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120705

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees