JP3052947B2 - パターン認識装置、パターン認識方法、パターン認識方法を記憶した記憶媒体および複写阻止システム - Google Patents
パターン認識装置、パターン認識方法、パターン認識方法を記憶した記憶媒体および複写阻止システムInfo
- Publication number
- JP3052947B2 JP3052947B2 JP10362581A JP36258198A JP3052947B2 JP 3052947 B2 JP3052947 B2 JP 3052947B2 JP 10362581 A JP10362581 A JP 10362581A JP 36258198 A JP36258198 A JP 36258198A JP 3052947 B2 JP3052947 B2 JP 3052947B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- model
- area
- document
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
- G06V10/7515—Shifting the patterns to accommodate for positional errors
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Facsimile Image Signal Circuits (AREA)
- Inspection Of Paper Currency And Valuable Securities (AREA)
- Character Input (AREA)
Description
機械、例えばコピー機またはスキャナ/プリンタに関
し、さらに詳しくは通貨偽造防止、安全確保、小切手換
金の装置等の実現のための機能と能力を備えた、ハイエ
ンドのカラーコピー機およびスキャナ/プリンタに関す
る。さらに詳細には、本発明はこのようなコピー機等に
よる偽造を防ぐための、パターン認識装置、パターン認
識方法、パターン認識方法を記憶した記憶媒体、および
複写阻止システム、さらに書類をスキャンし、かつスキ
ャンした画像を格納されている画像と比較する能力を有
し、特に書類の認証または書類複製の防止を目的とし
た、上記装置、方法、記憶媒体、およびシステムに関す
る。
して有価書類を認識するためのシステムが数多く提案さ
れている。これらには、一般に真の書類を正確に表示し
て記憶し、新規書類をスキャンし、スキャンしたこの書
類を記憶された表示と比較することが含まれる。
貨の受取りを防止することが望ましい。これらの機械に
投入された紙幣はスキャンされ、そして1種または2種
以上の受入れ可能な通貨パターンと比較される。もし、
スキャンしたパターンが所定の類似度で真券の一つのパ
ターンと一致していれば、機械はその紙幣を受入れて、
釣り銭または商品を引き渡す。このような通貨同定シス
テムの一つは、ナカムラ等の米国特許第4,386,4
32号明細書に開示されている。この種の典型的なシス
テムにおいて、ナカムラ等は特殊紙幣または紙幣を固定
された速度で、固定されたスキャン領域を通過させ、紙
幣の特性を検出する。この場合、特性とは紙幣の印刷パ
ターンを形成する印刷インクに含まれる金属元素の存在
である。
体を指定された方向で、かつ指定された配置でスキャン
することが要求される。このような要求は、自動販売機
や両替機に不要な制限を課して、利用者は固定された配
置で固定された方向の投入口に紙幣を差し込まざるを得
なくなるので、例えばコピー機上でスキャン配置が固定
されず、利用者が紙幣をプラテンガラス上の多様な位置
においた場合には、これらの要求はその同定システムを
作動不能とする。
ほど拘らない別のシステムも提案されている。このシス
テムは、前述とは異なり、書類の特定の特徴(アスペク
ト)を認識して複製不可の書類として独特な同定を行
う。スガノ等の米国特許第5,440,409号および
第5,481,379号明細書では、機密書類の特定の
地色が検出される。
ジナル書類は赤の地色で印刷される。コピー機の書類ス
キャン部はスキャンされた書類上の特定な色以外のすべ
ての色をフィルター処理するカラー検出特性を備えてい
る。次いで、カラー信号の密度を、予め格納されたカラ
ーテーブルと比較して、複写不可の書類の地色と一致す
るかどうかを判定する。一致と判定すると複写は阻止さ
れる。このようなシステムは、特定の色が地色として選
ばれる書類への応用に限定され、合法的に複写可能な書
類に現れる特定の色が出現した場合には利用できない。
例えば、米国紙幣の緑色は数多くの合法的に複写可能な
書類に出現する。
5,379,093号および第5,515451号明細
書は、複写される書類のある特定の特徴の特性組合せ検
出を目指したものである。これらの特許では先ず特定の
色が検出される。次いで、特定の色を有する画像パター
ンが、予め格納された標準パターンと比較され、類似度
が検出される。次に、そのパターンを分析して特定の形
状、例えば丸形に相当するかどうかを判定する。これら
のシステムは書類のある独特の特徴、例えば日本銀行券
の印章を検出する用途に適している。
目指したシステムもさらに提案されている。スズキ等の
米国特許第5,216,724号およびファン(Fa
n)の米国特許第5,533,144号明細書はこの種
のシステムの典型である。例えばスズキの特許では、書
類をプラテン上のいかなる配置に置いても差し支えな
い。書類がスキャンされ、そしてスキャンされた画像は
書類の四隅を決めてからプラテン上の書類の角度を計算
するようにして処理される。
券の赤の印章が予め記憶させた標準パターンと比較され
るが、一般にこのパターンは書類の計算された角度に対
応するものである。種々の配置角度における多数の標準
パターンが予め記憶されている。ファンは若干異なるシ
ステムを提案しており、書類の配置を先ず計算し、次い
で予め記憶させたパターンまたはテンプレートを回転さ
せてスキャンされた書類の角度を計算する。これらの両
システムでは書類の配置を先ず計算しなければならず、
稜および四隅の検出が必要となる。
はオリジナル書類またはそのパターンを認識する慣用の
システムの短所を克服することにある。
類を高い確実度で、しかも従来と比較して重い処理量を
伴わずにパターン認識ができる、改良したパターン認識
装置、パターン認識方法、パターン認識方法を記憶した
記憶媒体および複写阻止システムを提供することにあ
る。
るに当たりその配置とは無関係にオリジナル書類を検出
する、改良した、上記の装置、方法、記憶媒体およびシ
ステムを提供することにある。
認識装置は、以下の(1)〜(10)を要旨とする。
めの装置であって、複数のモデル画像について、前記モ
デル画像内の複数の有意義領域のそれぞれの特性と前記
複数の有意義領域間の幾何学的関係とを、予め格納する
ための記憶装置と、前記被検画像のプレビュー画像とし
てスキャンインされた低分解能プレビュー画像中の、所
定の座標空間にそれぞれ座標を有するウィンドウ画像ブ
ロックから、所定の特徴(通常は複数)を抽出するため
の特徴抽出器と、前記抽出された特徴を前記有意義領域
のそれぞれの特性と比較し、前記有意義領域の特性に類
似した特徴を指定するための類似性比較器と、前記類似
性比較器により類似特徴を持つものとして指定されたウ
ィンドウ画像ブロックの座標を、その特徴とともに格納
するための候補リストと、前記候補リスト中にある少な
くとも2つのウィンドウ画像ブロック間の幾何学的関係
を前記各座標から決定するための分析器と、前記ウィン
ドウ画像ブロック間の幾何学的関係と前記有意義領域間
の幾何学的関係とを、比較するジオメトリ比較器とを備
え、前記ウィンドウ画像ブロック間の幾何学的関係が前
記有意義領域間の幾何学的関係と同じと判断できる場合
には、前記被検画像を前記モデル画像に対応するものと
して認識するパターン認識装置。
所定の領域で画素グレーレベルを再配分するための、ヒ
ストグラムイコライザーを含む(1)に記載のパターン
認識装置。
素グレーレベルを有する前記被検画像の領域から特徴ベ
クトルを生成するためのx−y方向プロジェクターを含
む(2)に記載のパターン認識装置。
キャン取り込み)するためのスキャナ、および当該スキ
ャンインされたモデル画像を格納するための画像バッフ
ァをさらに含む(1)に記載のパターン認識装置。
モデル画像から領域画像ブロックを抽出するための領域
抽出器、および当該抽出された領域画像ブロックを格納
するための領域バッファをさらに含む(4)に記載のパ
ターン認識装置。
回転させて前記領域バッファに格納する、追加の領域画
像ブロックを設けるためのアフィン変換器を含む(5)
に記載のパターン認識装置。
から領域特徴を抽出するために、前記領域バッファに連
結されている(5)または(6)に記載のパターン認識
装置。
の領域に画素グレーレベルを再配分するためのヒストグ
ラムイコライザーを含む(7)に記載のパターン認識装
置。
素グレーレベルを有する前記モデル画像領域から特徴ベ
クトルを形成するためのx−y方向プロジェクターを含
む(8)に記載のパターン認識装置。
ウィンドウ画像ブロック間の距離、および少なくとも2
つの対応する有意義領域間の距離を計算するための距離
計算器を含む(1)〜(9)の何れかに記載のパターン
認識装置。
の(11)〜(20)を要旨とする。
ための方法であって、複数のモデル画像について、前記
モデル画像内の複数の有意義領域のそれぞれの特性と前
記複数の有意義領域間の幾何学的関係とを、予め格納す
るステップと、前記被検画像のプレビュー画像としてス
キャンインされた低分解能プレビュー画像中の、所定の
座標空間にそれぞれ座標を有するウィンドウ画像ブロッ
クから、所定の特徴を抽出するステップと、前記抽出さ
れた特徴を前記有意義領域のそれぞれの特性と比較し、
前記有意義領域の特性に類似した特徴を指定するステッ
プと、前記ステップにおいて類似特徴を持つものとして
指示されたウィンドウ画像ブロックの座標を、その特徴
とともに候補リストとして格納するステップと、前記候
補リスト中にある少なくとも2つのウィンドウ画像ブロ
ック間の幾何学的関係を前記各座標から決定するステッ
プと、前記ウィンドウ画像ブロック間の幾何学的関係と
前記有意義領域間の幾何学的関係を比較するステップと
を含み、前記ウィンドウ画像ブロック間の幾何学的関係
が前記有意義領域間の幾何学的関係と同じと判断できる
場合には、前記被検画像を前記モデル画像に対応するも
のとして認識するパターン認識方法。
検画像の領域で画素グレーレベルを再配分するために、
抽出された特徴をヒストグラムイコライジングすること
を含む(11)に記載のパターン認識方法。
検画像領域の前記再配分された画素グレーレベルをx−
y方向に投影し、特徴ベクトルを生成することを含む
(12)に記載のパターン認識方法。
し、当該スキャンインされたモデル画像を画像バッファ
に格納するステップを含む(11)に記載のパターン認
識方法。
記モデル画像から領域画像ブロックを抽出し、当該抽出
された領域画像ブロックを領域バッファに格納するステ
ップを含む(14)に記載のパターン認識方法。
び回転させて、前記領域バッファに設けた追加の領域画
像ブロックに格納するステップを含む(15)に記載の
パターン認識方法。
出するステップを含む(16)に記載のパターン認識方
法。
れた領域特徴をヒストグラムイコライジングし、前記モ
デル画像の領域で画素グレーレベルを再配分することを
含む(17)に記載のパターン認識方法。
ストグラムイコライジングされた領域特徴をx−y方向
に投影し、再配分された画素グレーレベルを有する前記
モデル画像領域から特徴ベクトルを形成することをさら
に含む(18)に記載のパターン認識方法。
2つのウィンドウ画像ブロック間の距離、および少なく
とも2つの対応する有意義領域間の距離を計算すること
を含む(11)〜(19)の何れかに記載のパターン認
識方法。
れた記憶媒体は、以下の(21)〜(30)を要旨とす
る。
ムを搭載した、被検画像中のパターン認識方法を実行す
るための装置により読み取り可能な記憶媒体であって、
前記パターン認識方法が、複数のモデル画像について、
前記モデル画像内の複数の有意義領域のそれぞれの特性
と前記複数の有意義領域間の幾何学的関係とを、予め格
納するステップと、前記被検画像のプレビュー画像とし
てスキャンインされた低分解能プレビュー画像中の、所
定の座標空間にそれぞれ座標を有するウィンドウ画像ブ
ロックから、所定の特徴を抽出するステップと、前記抽
出された特徴を前記有意義領域のそれぞれの特性と比較
し、前記有意義領域の特性に類似した特徴を指定するス
テップと、前記ステップにおいて類似特徴を持つものと
して指示されたウィンドウ画像ブロックの座標を、その
特徴とともに候補リストとして格納するステップと、前
記候補リスト中にある少なくとも2つのウィンドウ画像
ブロック間の幾何学的関係を前記各座標から決定するス
テップと、前記ウィンドウ画像ブロック間の幾何学的関
係と前記有意義領域間の幾何学的関係を比較するステッ
プとを含み、前記ウィンドウ画像ブロック間の幾何学的
関係が前記有意義領域間の幾何学的関係と同じと判断で
きる場合には、前記被検画像を前記モデル画像に対応す
るものとして認識するパターン認識方法である記憶媒
体。
検画像の領域で画素グレーレベルを再配分するために、
抽出された特徴をヒストグラムイコライジングすること
を含む(21)に記載の記憶媒体。
検画像領域の前記再配分された画素グレーレベルをx−
y方向に投影し、特徴ベクトルを生成することを含む
(22)に記載の記憶媒体。
し、当該スキャンインされたモデル画像を画像バッファ
に格納するステップを含む(21)に記載の記憶媒体。
記モデル画像から領域画像ブロックを抽出し、当該抽出
された領域画像ブロックを領域バッファに格納するステ
ップを含む(24)に記載の記憶媒体。
び回転させて、前記領域バッファに設けた追加の領域画
像ブロックに格納するステップを含む(25)に記載の
記憶媒体。
出するステップを含む(26)に記載の記憶媒体。
れた領域特徴をヒストグラムイコライジングし、前記モ
デル画像の領域で画素グレーレベルを再配分することを
含む(27)に記載の記憶媒体。
ストグラムイコライジングされた領域特徴をx−y方向
に投影し、再配分された画素グレーレベルを有する前記
モデル画像領域から特徴ベクトルを形成することをさら
に含む(28)に記載の記憶媒体。
2つのウィンドウ画像ブロック間の距離、および少なく
とも2つの対応する有意義領域間の距離を計算すること
を含む(21)〜(29)の何れかに記載の記憶媒体。
の(31)〜(36)を要旨とする。
前記モデル書類に一致する前記被検書類の複写を阻止す
るためのシステムにおいて、前記モデル書類および被検
書類をスキャンするためのスキャナと、複数の前記モデ
ル書類について、前記モデル書類内の複数の有意義領域
のそれぞれの特性と前記複数の有意義領域間の幾何学的
関係とを、予め格納するための記憶装置と、前記被検書
類のプレビュー画像として前記スキャナによりスキャン
インされた低分解能プレビュー画像中の、所定の座標空
間にそれぞれ座標を有するウィンドウ画像ブロックか
ら、所定の特徴を抽出するための特徴抽出器と、前記抽
出された特徴を前記有意義領域のそれぞれの特性と比較
し、前記有意義領域の特性に類似した特徴を指定するた
めの類似性比較器と、前記比較器により類似領域を持つ
ものとして指定されたウィンドウ画像ブロックの座標
を、その特徴とともに格納するための候補リストと、前
記候補リスト中にある少なくとも2つのウィンドウ画像
ブロック間の幾何学的関係を前記各座標から決定するた
めの分析器と、前記ウィンドウ画像ブロック間の幾何学
的関係と前記有意義領域間の幾何学的関係とを、比較す
るジオメトリ比較器と、プリンタと、前記ウィンドウ画
像ブロック間の幾何学的関係が前記有意義領域間の幾何
学的関係と同じと判断できる場合には、前記被検書類が
前記モデル書類に対応するものとして、その複写を阻止
するための、前記ジオメトリ比較器および前記プリンタ
に接続された作動装置と、を備える複写阻止システム。
前記モデル書類に一致する前記被検書類の複写を阻止す
るためのシステムにおいて、前記モデル書類の画像およ
び前記被検書類の画像を入力するための入力装置と、複
数の前記モデル書類について、前記モデル書類内の複数
の有意義領域のそれぞれの特性と前記複数の有意義領域
間の幾何学的関係とを、予め格納するための記憶装置
と、前記被検書類のプレビュー画像として前記入力装置
により入力された低分解能プレビュー画像中の、所定の
座標空間にそれぞれ座標を有するウィンドウ画像ブロッ
クから、所定の特徴を抽出するための特徴抽出器と、前
記抽出された特徴を前記有意義領域のそれぞれの特性と
比較し、前記有意義領域の特性に類似した特徴を指定す
るための類似性比較器と、前記比較器により類似領域を
持つものとして指定されたウィンドウ画像ブロックの座
標を、その特徴とともに格納するための候補リストと、
前記候補リスト中にある少なくとも2つのウィンドウ画
像ブロック間の幾何学的関係を前記各座標から決定する
ための分析器と、前記ウィンドウ画像ブロック間の幾何
学的関係と前記有意義領域間の幾何学的関係とを、比較
するジオメトリ比較器と、出力装置と、前記ウィンドウ
画像ブロック間の幾何学的関係が前記有意義領域間の幾
何学的関係と同じと判断できる場合には、前記被検書類
が前記モデル書類に対応するものとして、その複写を阻
止するための、前記ジオメトリ比較器および前記出力装
置に接続された作動装置と、を備える複写阻止システ
ム。
である(32)に記載の複写阻止システム。
ある(32)に記載の複写阻止システム。
(32)に記載の複写阻止システム。
(32)に記載の複写阻止システム。
刷されたパターンの少なくとも2つの重要部分(有意義
部分)または重要領域(有意義領域)を特性化する特徴
が抽出される。これらの抽出された特徴から、各有意義
領域の統計特性が計算され、記憶装置に格納される。さ
らに、各領域間の幾何学的関係、例えば距離および角度
も記憶装置に記憶される。これらの幾何学的関係は、プ
ラテン上のスキャン領域に対応する所定の座標系、すな
わちx−y座標系における各領域の座標によって表わさ
れる。サーチウィンドウを通して新規または被検書類を
スキャン、点検する場合、サーチウィンドウ・ブロック
から特徴が抽出され、この特徴は予め記憶装置に格納し
た被検書類の統計特性と比較される。もし、両者が一致
すれば、被検書類中に一致する特徴を有するサーチウィ
ンドウの座標が、候補リストに記録される。被検書類全
体が処理された後、候補リスト上のウィンドウ・ブロッ
ク間の幾何学的関係(すなわちウィンドウ画像ブロック
幾何学的関係)が、サンプル書類に一致する有意義な領
域幾何学的関係と比較され、この関係が対応していれ
ば、被検書類はモデル書類に一致しているとみなされ
る。
比較が被検書類の複写防止に用いられ、また自動販売機
では、この決定的な比較が例えば商品の受渡しに用いら
れる。本発明は、スキャンサポート(スキャン台)表面
における書類の配置に関わりなく(すなわち並進不変性
を有して)、また角度的配向に関わりなく(すなわち回
転不変性を有して)作動する。さらに、被検書類をモデ
ル書類と比較するのに、その配置および配向を決める必
要がない。
例えば30種の通貨(紙幣)サンプルを最初にスキャン
することによりシステムの精度が向上する。このこと
は、真の書類の変形、例えば使い古し、破損または皺だ
らけの紙幣を数える上で役立つ。各サンプルについて有
意義領域が選択され、後続処理のためにクロップアウト
(切り出し)がなされる。通貨の例での有意義領域に
は、紙幣の番号、肖像、公印等が含まれる。本発明では
モデル書類の全体を比較に用いてはおらず、そのため効
率が向上し、ノイズに対する感度が低減される。クロッ
プアウトがなされた有意義領域を含む各スキャンパター
ンについて、本発明ではこのパターンを変換して、多数
の見本または仮想トレーニングパターンを形成させる。
転、移動)を用いて一つのオリジナルパターンから20
0までの仮想トレーニングパターンを生成させることが
できる。次いで、すべてのトレーニングパターンから各
有意義領域の特徴が抽出され、すべてのトレーニングパ
ターンに対してこれらの特徴の統計特性(例えば、中間
値および標準偏差のような分散度)が計算される。次
に、統計特性を同定する有意義領域の座標とともに、こ
れらの計算された統計特性が記憶装置に記憶される。こ
れは本発明での、登録モード(第1のモード)であっ
て、被検書類、例えば複写すべく持ち込まれた紙幣また
は証券との比較に用いられる記憶装置またはデータベー
スが生成される。
て被検書類がスキャンインされる検出モードである。低
分解能プレビュー画像(例えば50ないし90ドット/
インチ、以下「dpi」と略記)のスキャンされた書類
上で二次元ウインドサーチが行われるが、この分解能は
検出および比較を目的とする場合には十分である。サー
チウィンドウのサイズは、登録モードで選択された有意
義領域のブロックサイズと同じである。登録モードで用
いられたものと同じ特徴抽出法により、各サーチ段階に
おいてサーチウィンドウから特徴が抽出される。被検書
類から抽出した特徴と登録モードで記憶した各有意義領
域の統計特性とを比較することにより、類似度スコアが
計算される。この類似度スコアが所定の閾値を超える
と、サーチウィンドウの最新位置の座標が候補リストに
記録される。ウィンドウサーチが一旦終了すると、候補
リスト中の画像ブロックの幾何学的関係が決定される。
この関係が対応する有意義領域の画像ブロックの関係と
同じであれば、被検書類はモデル書類と一致すると判断
される。
写印刷を防止するのに用いることができ、または全面ブ
ラック画像のような予め設定されたパターンを印刷し、
または不許可複写の警告を印刷することができる。ま
た、例えば自動販売機では、一致した場合にのみ商品の
受け渡しを行うようにできる。
は、以下の説明および特許請求の範囲と添付図面とによ
って明らかにする。
る。これらの図は、カラーコピー機、スキャナ/プリン
タ、自動販売機等の一部となり得る画像ハンドリング装
置10の一般的構成を示すものである。図1(A)に示
すとおり、装置10は3つの主要成分、すなわち書類の
パターンを読み取るスキャナ12と、スキャンした画像
を処理しスキャンした書類を予め記憶したモデル書類と
比較する画像処理装置14と、プリンタ16または取引
装置18(例えば自動販売機の場合)とを有する。この
スキャナ12は、コピー機に見られる慣用の発光スキャ
ナのような形式(図1(B))でもよく、またはプリン
タ16に直結したディジタルカメラ20の形式(図1
(E))であってもよい。
部品、ソフトウェア、ファームウェア、アプリケーショ
ン・スペシフィック集積回路(ASIC)またはその他
の組合せを組込むことができる。なお、画像処理装置の
機能ブロックは本明細書中では説明の都合上分割されて
いる。これらのブロックの機能的および物理的境界は機
器によって異なる。
一ハウジング内にスキャナ12およびプリンタ16の両
ユニットが物理的に一体化された装置10を示すもので
ある。画像処理装置14の部分は機能上プリンタ装置よ
りもスキャナ装置と、より連携させてもよく、またその
逆でもよい。図1(C)はパソコン(PC)22の一部
をなす画像処理装置14を有するスキャナ/プリンタ装
置の具体例を示すが、このパソコンはスキャナ、プリン
タおよび画像処理装置のオペレーションとこれら三者間
の通信とを制御し、さらにPCバス23にそれぞれ直接
または間接的に接続した入出力装置(以下、I/O装
置)24のような周辺機器の制御と通信を行う。
O装置24に前もって格納し(および、処理を通して強
化し)ておき、I/Oインターフェース26を通してP
C22に格納することができるし、またはディジタルカ
メラ20のようなディジタル画像入力装置を用いて画像
を捕捉してもよい。さらに、外部記憶装置、すなわちI
/O装置24からPC22の記憶装置にソフトウェア形
式の情報処理装置14を格納してもよい。これに代わっ
て、ハードウェア、ASIC、ファームウェア等、また
はこれらを組合せた形式の情報処理装置を、PCカード
スロットに差込み可能なオプションカード28に組み込
んでもよい。
スキャナ12の一部である具体例であり、他方、図1
(E)は画像処理装置14が物理的にプリンタ126の
一部である具体例を示している。図1(E)では、画像
は慣用のスキャナ12ではなくディジタルカメラ20に
よって入力される。
る、いかなる装置にも応用可能であるが、説明の目的
上、図2に示すカラーコピー機またはスキャナ/プリン
タのような特定の画像ハンドリング装置の環境で本発明
を説明する。画像ハンドリング装置10は書類32を置
き、カバー34で保護する無色透明な支持体(サポー
ト)(例えばガラス製プラテン30)を有しており、こ
のカバーは一般にプラテン30に面する側が白色固体と
なっている。書類32は当然ながら通貨(紙幣または銀
行券)、証券、債権等のいかなる形であってもよいが、
一般には有価であって、不正な複写が禁じられているも
のである。ランプ36が一般には白色光で書類32に光
をあて、その反射光はミラー38によって方向づけされ
る。反射光はレンズ40によりセンサー42に集光さ
れ、このセンサーが電気信号としてのカラー画像情報を
画像処理装置14の信号処理装置44に送信する。
LABのようなチャンネル又は色空間のセットに分割さ
れる。RGB色空間では3つのチャンネルR,G,Bが
それぞれ赤、緑、青の信号を表す。CIELAB色空間
では、Lチャンネルが輝度情報を表し、aおよびbチャ
ンネルが色度情報を表す。信号処理装置44は部分的に
は連続色調画像をプリンタ16用に2成分フォーマット
に変換する(すなわちハーフトーン処理)。画像データ
の信号処理は技術において公知であり、従って信号処理
装置44の詳しい説明は、本発明を把握、理解する上で
不要でる。スキャンイン情報は画像バッファ46に格納
されるが、このバッファは適当ないかなる記憶装置であ
るか、またはある記憶装置の割当てられた領域、例えば
ランダムアクセスメモリー(RAM)であってよい。
像情報は画像ブロックに分割され、そして画像処理装置
14の有意義領域抽出機48により画像全体からあるブ
ロックがクロップアウトされる。例えば、米ドル紙幣を
例にとると、比較用の有意義領域には、左下の隅にある
額面金額の部分、中央部の肖像および右側中央にある緑
色の財務省の印章がある。有意義領域の選択(図4にお
けるステップS2)およびこれらの領域のブロックサイ
ズの選択は、本発明の応用によって行われる(すなわち
書類の種類が考慮される)。選択された有意義領域の座
標は、有意義領域座標記憶装置58に予め格納される
(ステップS4)。種々の記憶ストレージブロック、す
なわち画像バッファ46、有意義領域バッファ52、有
意義領域座標記憶装置58等は異なる物理的記憶装置お
よびRAM、ディスクのような異なる種類の記憶装置に
格納されてもよく、または一つの物理的記憶装置の単純
に異なるアドレス指定領域に格納されてもよい点に注意
すべきである。
の位置に置かれ。例えば図3については、プラテン30
のスキャン空間は、プラテン左上手の隅にある0,0点
を有するX−Yカルテシアン系での平面Sで示されてい
る。図の位置にあるスキャンインされた書類について
は、座標に従って画像データのブロックをクロップアウ
トすることができる。例えば、クロップされるブロック
には、紙幣の額面金額に対応する左上の領域R1の中心
位置を有する第1ブロック、紙幣の肖像に対応する中央
領域R2の中心位置を有する第2ブロックおよび緑の財
務省の印章に対応する下手中央領域R3の中心位置を有
する第3ブロックがある。
す。有意義領域抽出機48は、ソフトウェア、ハードウ
ェア、ファームウェア、ASICまたはこれらの組合せ
に組み込むことができる。ステップS6では、新しい書
類(例えばオリジナル紙幣)がプラテンの0,0位置に
置かれる。ステップS8では、書類全体がスキャンさ
れ、そして画像データが画像バッファ46に蓄積され
る。ステップS10では、二次元サーチ(実際上、書類
の横断および縦断)時のデータを通して抽出ウインドウ
を移動させることにより、画像バッファ中のデータが点
検される。抽出ウィンドウのサイズは有意義領域ブロッ
クのサイズと同じである。ステップS12において、ス
キャンウィンドウの位置がある有意義領域の所定の座標
と一致するときには、ステップS14で画像データのブ
ロックが座標識別子とともに有意義領域バッファ52に
蓄積される。ステップS16では、書類の審査終了まで
このステップが続く。
の別の紙幣)がプラテン上に置かれ、そして十分なサン
プル数を投入してオリジナル書類における典型的な変
異、例えば紙幣の破損またはシミを計数するまでこのス
テップが繰り返される。例えば、30の通貨サンプルが
信頼できるテストベースとなり得る。多数のサンプルに
ついて有意義領域が抽出されると(ステップS18)、
アフィン変換器50により種々のアフィン変換(ステッ
プS20)を画像データのブロックに用いて、付加的被
検画像が生成される。
クをスキャンイン画像空間Sのすべての可能な位置に変
換し、すべての回転角度で画像ブロックを回転させ、そ
して得られた変換はトレーニングパターンとしてオリジ
ナル画像のブロックとともに有意義領域バッファ52に
蓄積される(ステップS22)。例えば、一つのオリジ
ナルパターンに変換および回転のアフィン変換を適用す
ることにより、200までのトレーニングパターンを発
生させることができる。ハードウェア、ソフトウェア、
ファームウェア、ASICまたはこれらの組合せに取り
込み可能なアフィン変換器50は画像処理技術において
公知であり、従って本発明を把握、理解する上では詳細
な説明は不要である。
べてのトレーニングパターンの各有意義領域について特
徴抽出器54により画像の特徴が抽出されるが、以下、
図5および図6を用いてその動作を説明する。先ず、有
意義領域バッファ52に蓄積されている、選択された有
意義領域の画像ブロックからグレースケール画像のサブ
ブロック(すなわち特徴)が選択される(ステップS2
4)。ステップS26では、この特徴サブブロックがヒ
ストグラムイコライジングに付される。特徴サブブロッ
クのヒストグラムに従って、画像サブブロック中の特定
の点の強度が調節される。ヒストグラムイコライジング
により画素のグレーレベルが再分配されて画素の動的範
囲が増加する。このことにより紙幣の破損やシミの影響
を緩和することができる。
クがxおよびy方向投射に付される。このステップで
は、ヒストグラムイコライジングされた画像ブロック上
のN個の連続する列(x1,x2,...xN)および
N個の連続する行(y1,y2,...yN)における
すべての画素の強度値を累算することによりサブブロッ
クに対する特徴ベクトルZが形成される。この抽出方法
を図6に示す。例えば、特徴ベクトルZのx1値はN×
N画素ブロックにおける列1の全N画素の累算強度であ
る。画像ブロックをN×Nとすると、特徴ベクトルの大
きさは2Nである。特徴ベクトルはZ=(X,Y)=
(x1,y1,x2,y2,...xN,yN)=(z
1,z2,...z2N)となる。この投射法により特
徴ベクトルの大きさが低減され、特徴ベクトルがよりシ
フト不変となる。
について抽出された特徴ベクトル上で統計分析が行わ
れ、ともに有意義領域を特性化する平均値ベクトルM=
(m1,m2,...m2N)と差異ベクトルV=(v
1,v2,...v2N)とを得る。この分析には、モ
デル書類のデータベース56における抽出された第1の
特徴ベクトルを蓄積することが含まれる。次いで、第2
の特徴が抽出され、ベクトル統計分析器55により第1
及び第2の特徴ベクトルを参照しつつ統計分析を行って
中間統計特性を得るが、これらはデータベース56に蓄
積される。続いて、第3の特徴が抽出され、第3の特徴
ベクトルおよび蓄積された中間統計特性を参照しつつ統
計分析が行われる。このようにして、この統計分析は、
すべての特徴が抽出され、その領域について最終的な統
計特性を生成するまで行われる。
は、個々の領域の対応座標とともに記憶装置(すなわち
モデル書類データベース)に蓄積される。このように、
このモデル書類データベースは認識すべき書類、例えば
通貨の画像を収録している。
分のみが記憶され、これらの部分が統計特性によって表
示される。さらに、各種の書類、例えばドル紙幣は具体
的書類の数(各種ドル紙幣)および(プラテン上の)ス
キャン空間における実際の各位置によって表示される。
また、すべての具体的書類のすべての位置における全有
意義領域幾何学的関係は、後述する通り記憶されたスキ
ャン空間の各座標から計算され、有意義領域の座標記憶
装置58に蓄積される。ヒストグラムイコライザー54
AおよびX−y方向プロジェクター54Bを含む特徴抽
出器54、およびベクトル統計分析器55はソフトウェ
ア、ハードウェア、ファームウェア、ASICまたはこ
れらの組合せに組み込んでもよい。
8に示す検出モードである。例えばプラテン30(図
2)上の任意の配置に書類32を置き、そして例えばコ
ピー機のユーザーインターフェースパネルのCOPYま
たはSTARTボタンを押すことによって被検書類がス
キャンされる度毎に、このモードは活性化される(ステ
ップS34)。スキャンされた書類の低分解能プレビュ
ー画像(例えば50〜90dpi)上、ウィンドウサー
チエンジン(図2)によって二次元ウィンドウサーチが
行われる(ステップS36)。なお、この分解能は検出
および比較を行う目的には十分なものである。
ド、すなわち図4のステップS10で選択された有意義
領域に対するブロックサイズと同じである。各サーチス
テップでは、すなわちサーチウィンドウがスキャンされ
た書類上を移動する毎に、登録モードで用いられたのと
同じ抽出手順によってサーチウィンドウから特徴が抽出
される。より特定的には、ウィンドウ画像ブロックから
グレースケール画像のサブブロック(特徴)が選択され
る(ステップS38)。
ヒストグラムイコライジングに、またステップS42で
x,y方向投射に付される。登録モードの関連において
先に述べた通り、このステップによってベクトルZが得
られる。この特徴ベクトルは、モデル書類データベース
54に蓄積された各有意義領域の統計特性(平均値ベク
トルMおよび差異ベクトルV)と比較される(ステップ
S44)。この比較は類似性計算器60(図2)により
以下の通り行われる。特徴ベクトルをZとすると、各有
意義領域、例えばj番目の有意義領域について次式によ
り類似性得点が計算される。
vij} (ただし、Σの積算値はi=1から2Nまで) ここに、Mj=(mj1,mj2,...mj2N)は
j番目の有意義領域の平均値ベクトルであり、またVj
=(v2 j1,v2 j2,...v2 j2N)はj番目
の有意義領域の差異ベクトルである。その特徴ベクトル
の類似性得点Sjが選択された閾値Tよりも大であれば
(ステップS44)、特徴画像のサブブロックは有意義
領域と同一であると同定され、そして特徴ベクトルが抽
出されたウィンドウの座標が候補リスト62に記憶され
る(ステップS46)。さらに、一致する有意義領域の
座標は候補リスト中の対応エントリーとともに記憶され
て、候補の対の間の相対的幾何学的関係が対応する有意
義領域の対り間の相対的幾何学的関係と比較できるよう
になる。
書類データベース56へのキーまたはインデックスと一
緒にリンクされている限り、この座標が候補座標ととも
に明確に記憶されるには及ばない点に注目すべきであ
る。閾値Tは本発明を特定の応用法に応じて選択される
が、誤差の許容範囲に左右される。ほぼ完全な一致が要
求されるなら、類似性の閾値Tを極めて高く設定して、
類似性の高い書類のみを認識するようにできる。さほど
厳密でない応用の場合には、類似性の閾値Tを低く設定
して、類似性の低い書類の認識を行わせることができ
る。抽出された特徴のベクトルZと有意義領域の統計特
性との比較は、すべての有意義領域の処理が終わるまで
続けられる(ステップS48)。
ついてこのスキャンが繰り返され、現在のサーチウィン
ドウからすべての特徴が抽出されるまで続けられる(ス
テップS50)。このステップは書類全体についてのウ
ィンドウサーチが完了するまで繰り返される(ステップ
S52)。
ト中の画像ブロックの幾何学的関係が対応する有意義領
域のブロックの幾何学的関係と比較される(図8)。ス
テップS54では、ジオメトリ分析器64により候補リ
スト中の少なくとも2つの候補間の幾何学的関係が決定
される。ステップ56では、分析器64により少なくと
も2つの対応する有意義領域間の幾何学的関係が決定さ
れる。ステップ58では、ジオメトリ比較器66により
これらの幾何学的関係が比較される。
義領域の座標記憶装置58に記憶されているので、幾何
学的関係も前もって決定され、記憶装置58に記憶さ
れ、必要に応じて単に比較器66によりアクセスされる
点に注目すべきである。候補の関係が対応する有意義領
域の画像ブロックの関係と同じであれば、被検書類はモ
デルに一致するとみなされる(ステップS60)。一致
しなければ、不一致と同定される(ステップS60)。
68により用いられて所定の機能を実行する。例えばカ
ラーコピー機では、一致の場合、被検書類のコピーの印
刷を阻止するのに利用でき、あるいは全面黒色画像や不
法複写に対する警告のような予め設定したパターンを印
刷することができる。また、例えば自動販売機では、一
致の場合、商品を受渡せるようにできる。
離、相対的角度またはこれらの組合せに基づいて行うこ
とができる。例えば図9は、有意義領域R1およびR2
を有し、距離計算器64Aにより相対座標から求めた両
領域間の距離D1を有するモデル書類92を示すもので
ある。有意義領域バッファには、示される画像空間位置
と、このオリジナル画像の並進および回転アフィン変換
から生じるすべての他の位置とにおけるこれらの画像空
間位置が含まれることに留意すべきである。被検書類9
4は、2つの候補ウィンドウブロックW1およびW2を
有し、その相対的座標から決定される両者間の距離はD
W1である。この例では、D1とDW1とが等しけれ
ば、被検書類94はモデル書類92と一致しているとみ
なされる。等しくなければ不一致とみなされる。
ル書類94は3つの有意義領域R1,R2およびR3を
有し、距離計算器64Aで求めた距離がD1およびD2
であり、相対的座標から角度計算器64Bで求めた両領
域間の相対角度はθである。被検書類64は候補ウィン
ドウブロックW1,W2およびW3を有し、距離はDW
1,DW2、三者間のなす角度はWである。W1=DW
1,W2=DW2であり、かつθ=θWであれば、一致
とみなされる。有意義領域の数の選択、および比較用に
計算された距離および角度の数は、本発明の用い方、書
類の性質および比較時の誤差の許容範囲に左右される。
また、距離および角度が実質的に同じ、例えば±10%
の誤差の範囲内であれば、両者は同じまたは等しいと判
定される。許容の差異または誤差の程度は本発明の用い
方に左右される。
る通り、距離計算器64Aおよび角度計算器64Bを含
む相対的ジオメトリ分析器64、ならびにジオメトリ比
較器66はソフトウェア、ハードウェア、ファームウェ
ア、ASICまたはこれらの組合せに組み込むことがで
きる。
れも内部バス80に接続された中央処理装置(CPU)
70、ランダムアクセスメモリー(RAM)72、リー
ドオンリーメモリー(ROM)74およびテンポラリー
レジスターセット76を含む記憶装置および入出力コン
トローラー78を含むことができる。説明の都合上、こ
れらの各装置は画像処理装置14内に個別に示している
が、これらの機能装置は、画像バッファ46、有意義領
域バッファ52、有意義領域抽出器48、相対的ジオメ
トリ分析器64等のような前述の各種機能装置の一部ま
たは全体を構成することができる。さらに、画像ハンド
リング装置10、例えばコピー機またはスキャナ/プリ
ンタの特性に応じて、これらの機能装置はスキャンおよ
び印刷気機構を制御するように設計された汎用計算機の
一部としてもよい。これらの機能装置は、個別部品、ア
プリケーションスペシフィック集積回路、適当なソフト
ウェア等のための処理装置またはこれらの組合せを用い
て実行し得ることは当然である。
を機能させるためオペレーティングシステムソフトウェ
アおよび/または特定アプリケーションソフトウェア
は、記憶装置72,74及び76のいずれの組合せに記
憶させてもよく、またはそれぞれI/Oバス92に接続
されたハードディスク装置82、ディスケット駆動装置
84およびコンパクトディスク駆動装置86を含む1ま
たは2個以上のI/O装置に外付けで記憶させてもよ
い。装置10を機能させるためのおよび/または本発明
の方法を実行するためのソフトウェアは、ハードディス
ク82A、ディスケット84Aまたはコンパクトディス
ク86Aのような記憶媒体に記憶させてもよく、または
リモート装置88に記憶させ、通信インターフェース9
0を通して入力することもできる。
インする必要はなく、媒体82A,84A,86Aまた
はリモート装置88の1つから予め記憶した画像として
取り込んでもよい。しかし、テストされる被検書類の画
像を収録する装置のスキャン空間および座標系は同一で
なければならず、もし異なれば、その差異は例えば参照
用テーブル(look−up table)のようなス
キャニング・スペース・トランスレーターを用いて修正
すべきである。
て説明したが、当業者には明らかな通り、上述の記載内
容から更なる改善、修正、変更が多様になされ得ること
は明らかである。従って、本明細書記載の発明は斯かる
改善、修正、応用および変更がすべて特許請求の範囲の
範疇にに包含される。
リジナル書類またはそのパターンを認識する慣用のシス
テムの短所を克服することができる。すなわち、本発明
によれば、オリジナル書類を高い確実度で、しかも従来
技術と比較しても、重い処理量を伴わずにパターン認識
が可能となり、また、被検書類をスキャンするに当たり
その配置とは無関係にオリジナル書類との同一性を検出
することができる。
すブロック図である。
ある。
置いた書類を説明する図である。
ある。
図である。
る。
致する特徴領域を有する被検書類との関係を説明する図
である。
一致する特徴領域を有する被検書類との関係を説明する
図である。
Claims (36)
- 【請求項1】 被検画像中のパターンを認識するための
装置であって、 複数のモデル画像について、前記モデル画像内の複数の
有意義領域のそれぞれの特性と前記複数の有意義領域間
の幾何学的関係とを、予め格納するための記憶装置と、前記被検画像のプレビュー画像としてスキャンインされ
た 低分解能プレビュー画像中の、所定の座標空間にそれ
ぞれ座標を有するウィンドウ画像ブロックから、所定の
特徴を抽出するための特徴抽出器と、 前記抽出された特徴を前記有意義領域のそれぞれの特性
と比較し、前記有意義領域の特性に類似した特徴を指定
するための類似性比較器と、 前記類似性比較器により類似特徴を持つものとして指定
されたウィンドウ画像ブロックの座標を、その特徴とと
もに格納するための候補リストと、 前記候補リスト中にある少なくとも2つのウィンドウ画
像ブロック間の幾何学的関係を前記各座標から決定する
ための分析器と、 前記ウィンドウ画像ブロック間の幾何学的関係と前記有
意義領域間の幾何学的関係とを、比較するジオメトリ比
較器とを備え、 前記ウィンドウ画像ブロック間の幾何学的関係が前記有
意義領域間の幾何学的関係と同じと判断できる場合に
は、前記被検画像を前記モデル画像に対応するものとし
て認識するパターン認識装置。 - 【請求項2】 前記特徴抽出器が、前記被検画像の所定
の領域で画素グレーレベルを再配分するための、ヒスト
グラムイコライザーを含む請求項1に記載のパターン認
識装置。 - 【請求項3】 前記特徴抽出器が、再配分された画素グ
レーレベルを有する前記被検画像の領域から特徴ベクト
ルを生成するためのx−y方向プロジェクターを含む請
求項2に記載のパターン認識装置。 - 【請求項4】 前記モデル画像をスキャンインするため
のスキャナ、および当該スキャンインされたモデル画像
を格納するための画像バッファをさらに含む請求項1に
記載のパターン認識装置。 - 【請求項5】 前記画像バッファに格納された前記モデ
ル画像から領域画像ブロックを抽出するための領域抽出
器、および当該抽出された領域画像ブロックを格納する
ための領域バッファをさらに含む請求項4に記載のパタ
ーン認識装置。 - 【請求項6】 前記領域画像ブロックを並進および回転
させて前記領域バッファに格納する、追加の領域画像ブ
ロックを設けるためのアフィン変換器を含む請求項5に
記載のパターン認識装置。 - 【請求項7】 前記特徴抽出器が、前記モデル画像から
領域特徴を抽出するために、前記領域バッファに連結さ
れている請求項5または6に記載のパターン認識装置。 - 【請求項8】 前記特徴抽出器が、前記モデル画像の領
域に画素グレーレベルを再配分するためのヒストグラム
イコライザーを含む請求項7に記載のパターン認識装
置。 - 【請求項9】 前記特徴抽出器が、再配分された画素グ
レーレベルを有する前記モデル画像領域から特徴ベクト
ルを形成するためのx−y方向プロジェクターを含む請
求項8に記載のパターン認識装置。 - 【請求項10】 前記分析器が、少なくとも2つのウィ
ンドウ画像ブロック間の距離、および少なくとも2つの
対応する有意義領域間の距離を計算するための距離計算
器を含む請求項1〜9の何れかに記載のパターン認識装
置。 - 【請求項11】 被検画像中のパターンを認識するため
の方法であって、 複数のモデル画像について、前記モデル画像内の複数の
有意義領域のそれぞれの特性と前記複数の有意義領域間
の幾何学的関係とを、予め格納するステップと、前記被検画像のプレビュー画像としてスキャンインされ
た 低分解能プレビュー画像中の、所定の座標空間にそれ
ぞれ座標を有するウィンドウ画像ブロックから、所定の
特徴を抽出するステップと、 前記抽出された特徴を前記有意義領域のそれぞれの特性
と比較し、前記有意義領域の特性に類似した特徴を指定
するステップと、 前記ステップにおいて類似特徴を持つものとして指示さ
れたウィンドウ画像ブロックの座標を、その特徴ととも
に候補リストとして格納するステップと、 前記候補リスト中にある少なくとも2つのウィンドウ画
像ブロック間の幾何学的関係を前記各座標から決定する
ステップと、 前記ウィンドウ画像ブロック間の幾何学的関係と前記有
意義領域間の幾何学的関係を比較するステップとを含
み、 前記ウィンドウ画像ブロック間の幾何学的関係が前記有
意義領域間の幾何学的関係と同じと判断できる場合に
は、前記被検画像を前記モデル画像に対応するものとし
て認識するパターン認識方法。 - 【請求項12】 前記特徴抽出ステップが、前記被検画
像の領域で画素グレーレベルを再配分するために、抽出
された特徴をヒストグラムイコライジングすることを含
む請求項11に記載のパターン認識方法。 - 【請求項13】 前記特徴抽出ステップが、前記被検画
像領域の前記再配分された画素グレーレベルをx−y方
向に投影し、特徴ベクトルを生成することを含む請求項
12に記載のパターン認識方法。 - 【請求項14】 前記モデル画像をスキャンインし、当
該スキャンインされたモデル画像を画像バッファに格納
するステップを含む請求項11に記載のパターン認識方
法。 - 【請求項15】 前記画像バッファに格納された前記モ
デル画像から領域画像ブロックを抽出し、当該抽出され
た領域画像ブロックを領域バッファに格納するステップ
を含む請求項14に記載のパターン認識方法。 - 【請求項16】 前記領域画像ブロックを並進および回
転させて、前記領域バッファに設けた追加の領域画像ブ
ロックに格納するステップを含む請求項15に記載のパ
ターン認識方法。 - 【請求項17】 前記モデル画像から領域特徴を抽出す
るステップを含む請求項16に記載のパターン認識方
法。 - 【請求項18】 前記特徴抽出ステップが、抽出された
領域特徴をヒストグラムイコライジングし、前記モデル
画像の領域で画素グレーレベルを再配分することを含む
請求項17に記載のパターン認識方法。 - 【請求項19】 前記特徴抽出ステップが、前記ヒスト
グラムイコライジングされた領域特徴をx−y方向に投
影し、再配分された画素グレーレベルを有する前記モデ
ル画像領域から特徴ベクトルを形成することをさらに含
む請求項18に記載のパターン認識方法。 - 【請求項20】 前記決定ステップが、少なくとも2つ
のウィンドウ画像ブロック間の距離、および少なくとも
2つの対応する有意義領域間の距離を計算することを含
む請求項11〜19の何れかに記載のパターン認識方
法。 - 【請求項21】 実行可能な命令からなるプログラムを
搭載した、被検画像中のパターン認識方法を実行するた
めの装置により読み取り可能な記憶媒体であって、前記
パターン認識方法が、 複数のモデル画像について、前記モデル画像内の複数の
有意義領域のそれぞれの特性と前記複数の有意義領域間
の幾何学的関係とを、予め格納するステップと、前記被検画像のプレビュー画像としてスキャンインされ
た 低分解能プレビュー画像中の、所定の座標空間にそれ
ぞれ座標を有するウィンドウ画像ブロックから、所定の
特徴を抽出するステップと、 前記抽出された特徴を前記有意義領域のそれぞれの特性
と比較し、前記有意義領域の特性に類似した特徴を指定
するステップと、 前記ステップにおいて類似特徴を持つものとして指示さ
れたウィンドウ画像ブロックの座標を、その特徴ととも
に候補リストとして格納するステップと、 前記候補リスト中にある少なくとも2つのウィンドウ画
像ブロック間の幾何学的関係を前記各座標から決定する
ステップと、 前記ウィンドウ画像ブロック間の幾何学的関係と前記有
意義領域間の幾何学的関係を比較するステップとを含
み、 前記ウィンドウ画像ブロック間の幾何学的関係が前記有
意義領域間の幾何学的関係と同じと判断できる場合に
は、前記被検画像を前記モデル画像に対応するものとし
て認識するパターン認識方法である記憶媒体。 - 【請求項22】 前記特徴抽出ステップが、前記被検画
像の領域で画素グレーレベルを再配分するために、抽出
された特徴をヒストグラムイコライジン グすることを含
む請求項21に記載の記憶媒体。 - 【請求項23】 前記特徴抽出ステップが、前記被検画
像領域の前記再配分された画素グレーレベルをx−y方
向に投影し、特徴ベクトルを生成することを含む請求項
22に記載の記憶媒体。 - 【請求項24】 前記モデル画像をスキャンインし、当
該スキャンインされたモデル画像を画像バッファに格納
するステップを含む請求項21に記載の記憶媒体。 - 【請求項25】 前記画像バッファに格納された前記モ
デル画像から領域画像ブロックを抽出し、当該抽出され
た領域画像ブロックを領域バッファに格納するステップ
を含む請求項24に記載の記憶媒体。 - 【請求項26】 前記領域画像ブロックを並進および回
転させて、前記領域バッファに設けた追加の領域画像ブ
ロックに格納するステップを含む請求項25に記載の記
憶媒体。 - 【請求項27】 前記モデル画像から領域特徴を抽出す
るステップを含む請求項26に記載の記憶媒体。 - 【請求項28】 前記特徴抽出ステップが、抽出された
領域特徴をヒストグラムイコライジングし、前記モデル
画像の領域で画素グレーレベルを再配分することを含む
請求項27に記載の記憶媒体。 - 【請求項29】 前記特徴抽出ステップが、前記ヒスト
グラムイコライジングされた領域特徴をx−y方向に投
影し、再配分された画素グレーレベルを有する前記モデ
ル画像領域から特徴ベクトルを形成することをさらに含
む請求項28に記載の記憶媒体。 - 【請求項30】 前記決定ステップが、少なくとも2つ
のウィンドウ画像ブロック間の距離、および少なくとも
2つの対応する有意義領域間の距離を計算することを含
む請求項21〜29の何れかに記載の記憶媒体。 - 【請求項31】 被検書類をモデル書類と比較し、前記
モデル書類に一致する前記被検書類の複写を阻止するた
めのシステムにおいて、 前記モデル書類および被検書類をスキャンするためのス
キャナと、 複数の前記モデル書類について、前記モデル書類内の複
数の有意義領域のそれぞれの特性と前記複数の有意義領
域間の幾何学的関係とを、予め格納するための記憶装置
と、前記被検書類のプレビュー画像として前記スキャナによ
りスキャンインされた 低分解能プレビュー画像中の、所
定の座標空間にそれぞれ座標を有するウィンドウ画像ブ
ロックから、所定の特徴を抽出するための特徴抽出器
と、 前記抽出された特徴を前記有意義領域のそれぞれの特性
と比較し、前記有意義領域の特性に類似した特徴を指定
するための類似性比較器と、 前記比較器により類似領域を持つものとして指定された
ウィンドウ画像ブロックの座標を、その特徴とともに格
納するための候補リストと、 前記候補リスト中にある少なくとも2つのウィンドウ画
像ブロック間の幾何学的関係を前記各座標から決定する
ための分析器と、 前記ウィンドウ画像ブロック間の幾何学的関係と前記有
意義領域間の幾何学的関係とを、比較するジオメトリ比
較器と、 プリンタと、 前記ウィンドウ画像ブロック間の幾何学的関係が前記有
意義領域間の幾何学的関係と同じと判断できる場合に
は、前記被検書類が前記モデル書類に対応するものとし
て、その複写を阻止するための、前記ジオメトリ比較器
および前記プリンタに接続された作動装置と、を備える
複写阻止システム。 - 【請求項32】 被検書類をモデル書類と比較し、前記
モデル書類に一致する前記被検書類の複写を阻止するた
めのシステムにおいて、 前記モデル書類の画像および前記被検書類の画像を入力
するための入力装置と、 複数の前記モデル書類について、前記モデル書類内の複
数の有意義領域のそれぞれの特性と前記複数の有意義領
域間の幾何学的関係とを、予め格納するための記憶装置
と、前記被検書類のプレビュー画像として前記入力装置によ
り入力された 低分解能プレビュー画像中の、所定の座標
空間にそれぞれ座標を有するウィンドウ画像ブロックか
ら、所定の特徴を抽出するための特徴抽出器と、 前記抽出された特徴を前記有意義領域のそれぞれの特性
と比較し、前記有意義領域の特性に類似した特徴を指定
するための類似性比較器と、 前記比較器により類似領域を持つものとして指定された
ウィンドウ画像ブロックの座標を、その特徴とともに格
納するための候補リストと、 前記候補リスト中にある少なくとも2つのウィンドウ画
像ブロック間の幾何学的関係を前記各座標から決定する
ための分析器と、 前記ウィンドウ画像ブロック間の幾何学的関係と前記有
意義領域間の幾何学的関係とを、比較するジオメトリ比
較器と、 出力装置と、 前記ウィンドウ画像ブロック間の幾何学的関係が前記有
意義領域間の幾何学的関係と同じと判断できる場合に
は、前記被検書類が前記モデル書類に対応するものとし
て、その複写を阻止するための、前記ジオメトリ比較器
および前記出力装置に接続された作動装置と、を備える
複写阻止システム。 - 【請求項33】 前記入力装置がディジタルカメラであ
る請求項32に記載の複写阻止システム。 - 【請求項34】 前記入力装置がコンピューターである
請求項32に記載の複写阻止システム。 - 【請求項35】 前記入力装置がスキャナである請求項
32に記載の複写阻止システム。 - 【請求項36】 前記出力装置がプリンタである請求項
32に記載の複写阻止システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/012,901 US6272245B1 (en) | 1998-01-23 | 1998-01-23 | Apparatus and method for pattern recognition |
US09/012,901 | 1998-01-23 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11250265A JPH11250265A (ja) | 1999-09-17 |
JP3052947B2 true JP3052947B2 (ja) | 2000-06-19 |
Family
ID=21757289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10362581A Expired - Fee Related JP3052947B2 (ja) | 1998-01-23 | 1998-12-21 | パターン認識装置、パターン認識方法、パターン認識方法を記憶した記憶媒体および複写阻止システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US6272245B1 (ja) |
EP (1) | EP0932115B1 (ja) |
JP (1) | JP3052947B2 (ja) |
DE (1) | DE69930560T2 (ja) |
Families Citing this family (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6549638B2 (en) | 1998-11-03 | 2003-04-15 | Digimarc Corporation | Methods for evidencing illicit use of a computer system or device |
US6345104B1 (en) | 1994-03-17 | 2002-02-05 | Digimarc Corporation | Digital watermarks and methods for security documents |
US6449377B1 (en) | 1995-05-08 | 2002-09-10 | Digimarc Corporation | Methods and systems for watermark processing of line art images |
US6971066B2 (en) * | 1997-08-18 | 2005-11-29 | National Instruments Corporation | System and method for deploying a graphical program on an image acquisition device |
US7016539B1 (en) | 1998-07-13 | 2006-03-21 | Cognex Corporation | Method for fast, robust, multi-dimensional pattern recognition |
US6952484B1 (en) * | 1998-11-30 | 2005-10-04 | Canon Kabushiki Kaisha | Method and apparatus for mark detection |
JP3963053B2 (ja) * | 1999-01-08 | 2007-08-22 | オムロン株式会社 | 画像認識装置及び記録媒体並びに画像処理装置 |
JP3527137B2 (ja) * | 1999-06-03 | 2004-05-17 | Kddi株式会社 | 冗長2重化伝送における画像障害検出装置 |
US6580820B1 (en) * | 1999-06-09 | 2003-06-17 | Xerox Corporation | Digital imaging method and apparatus for detection of document security marks |
US6963425B1 (en) * | 2000-08-14 | 2005-11-08 | National Instruments Corporation | System and method for locating color and pattern match regions in a target image |
JP2001126107A (ja) * | 1999-10-29 | 2001-05-11 | Nippon Conlux Co Ltd | 紙葉類の識別方法および装置 |
JP2001155172A (ja) * | 1999-11-29 | 2001-06-08 | Seiko Epson Corp | 長さ演算判別手段、角度演算判別手段及び画像判別システム |
JP3733310B2 (ja) * | 2000-10-31 | 2006-01-11 | キヤノン株式会社 | 文書書式識別装置および識別方法 |
US6941018B2 (en) * | 2001-03-23 | 2005-09-06 | Glory Ltd. | Method of and apparatus for searching corresponding points between images, and computer program |
US20030030638A1 (en) * | 2001-06-07 | 2003-02-13 | Karl Astrom | Method and apparatus for extracting information from a target area within a two-dimensional graphical object in an image |
US7203337B2 (en) | 2001-06-21 | 2007-04-10 | Wespot Ab | Adjusted filters |
SE519279C2 (sv) * | 2001-06-21 | 2003-02-11 | Wespot Ab | Anpassade filter för detektering av scenförändring |
US6968085B2 (en) * | 2001-09-10 | 2005-11-22 | Xerox Corporation | Document matching and annotation lifting |
GB2380646A (en) | 2001-10-05 | 2003-04-09 | Ibm | Image segmentation |
US6854642B2 (en) * | 2001-10-19 | 2005-02-15 | Chesterfield Holdings, L.L.C. | System for vending products and services using an identification card and associated methods |
US7369685B2 (en) * | 2002-04-05 | 2008-05-06 | Identix Corporation | Vision-based operating method and system |
US7327396B2 (en) * | 2002-04-10 | 2008-02-05 | National Instruments Corporation | Smart camera with a plurality of slots for modular expansion capability through a variety of function modules connected to the smart camera |
JP4229714B2 (ja) * | 2002-09-19 | 2009-02-25 | 株式会社リコー | 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理プログラムを記憶する記憶媒体 |
JP4112968B2 (ja) * | 2002-12-26 | 2008-07-02 | 富士通株式会社 | ビデオテキスト処理装置 |
US20040223648A1 (en) * | 2003-05-05 | 2004-11-11 | Keith Hoene | Determining differences between documents |
US7190834B2 (en) | 2003-07-22 | 2007-03-13 | Cognex Technology And Investment Corporation | Methods for finding and characterizing a deformed pattern in an image |
US8081820B2 (en) | 2003-07-22 | 2011-12-20 | Cognex Technology And Investment Corporation | Method for partitioning a pattern into optimized sub-patterns |
US7388990B2 (en) * | 2003-09-22 | 2008-06-17 | Matrox Electronics Systems, Ltd. | Local mass distribution partitioning for object recognition |
US20050149258A1 (en) * | 2004-01-07 | 2005-07-07 | Ullas Gargi | Assisting navigation of digital content using a tangible medium |
US7627757B2 (en) * | 2004-04-30 | 2009-12-01 | Research In Motion Limited | Message service indication system and method |
US8437502B1 (en) | 2004-09-25 | 2013-05-07 | Cognex Technology And Investment Corporation | General pose refinement and tracking tool |
JP4546291B2 (ja) | 2005-03-01 | 2010-09-15 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
US20070041628A1 (en) * | 2005-08-17 | 2007-02-22 | Xerox Corporation | Detection of document security marks using run profiles |
JP4196302B2 (ja) * | 2006-06-19 | 2008-12-17 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
DE102006050347A1 (de) * | 2006-10-25 | 2008-04-30 | Siemens Ag | Verfahren zum Prüfen eines Aufdrucks und Aufdruckprüfvorrichtung |
DE102007015484A1 (de) * | 2007-03-30 | 2008-10-02 | Giesecke & Devrient Gmbh | Verfahren und Vorrichtung zur Prüfung von Wertdokumenten |
US8358964B2 (en) * | 2007-04-25 | 2013-01-22 | Scantron Corporation | Methods and systems for collecting responses |
US8103085B1 (en) | 2007-09-25 | 2012-01-24 | Cognex Corporation | System and method for detecting flaws in objects using machine vision |
US8538367B2 (en) * | 2009-06-29 | 2013-09-17 | Qualcomm Incorporated | Buffer circuit with integrated loss canceling |
GB2471999A (en) * | 2009-07-20 | 2011-01-26 | Advanced Analysis And Integration Ltd | Verifying the authenticity of an image |
US20110119638A1 (en) * | 2009-11-17 | 2011-05-19 | Babak Forutanpour | User interface methods and systems for providing gesturing on projected images |
WO2011094214A1 (en) | 2010-01-29 | 2011-08-04 | Scantron Corporation | Data collection and transfer techniques for scannable forms |
RU2421818C1 (ru) * | 2010-04-08 | 2011-06-20 | Общество С Ограниченной Ответственностью "Конструкторское Бюро "Дорс" (Ооо "Кб "Дорс") | Способ классификации банкнот (варианты) |
DE102010046024A1 (de) * | 2010-09-20 | 2012-03-22 | Giesecke & Devrient Gmbh | Sensor zur Prüfung von Wertdokumenten |
ES2486305T3 (es) | 2011-10-21 | 2014-08-18 | Siemens Aktiengesellschaft | Procedimiento y dispositivo para localizar un punto de recogida de un objeto en una instalación |
US9053359B2 (en) * | 2012-06-07 | 2015-06-09 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for document authentication using Krawtchouk decomposition of image patches for image comparison |
US8811772B2 (en) * | 2012-08-21 | 2014-08-19 | Tianzhi Yang | Mapping evaluating for spatial point sets |
JP6198486B2 (ja) * | 2012-08-29 | 2017-09-20 | キヤノン株式会社 | 画像処理装置およびその方法 |
US9008458B2 (en) * | 2013-02-07 | 2015-04-14 | Raytheon Company | Local area processing using packed distribution functions |
US9679224B2 (en) | 2013-06-28 | 2017-06-13 | Cognex Corporation | Semi-supervised method for training multiple pattern recognition and registration tool models |
RU2568259C1 (ru) * | 2014-04-29 | 2015-11-20 | Сергей Сергеевич Пикин | Способ маркировки и идентификации объектов с уникальной структурой поверхности |
WO2016048289A1 (en) * | 2014-09-23 | 2016-03-31 | Hewlett-Packard Development Company, L.P. | Authentication of printed documents |
CN105117723B (zh) * | 2015-08-17 | 2018-07-06 | 浪潮金融信息技术有限公司 | 一种图像识别方法及装置 |
US10102206B2 (en) * | 2016-03-31 | 2018-10-16 | Dropbox, Inc. | Intelligently identifying and presenting digital documents |
KR20190039673A (ko) * | 2016-05-24 | 2019-04-15 | 모포트러스트 유에스에이, 엘엘씨 | 문서 이미지 품질 평가 |
CN109460765A (zh) * | 2018-09-25 | 2019-03-12 | 平安科技(深圳)有限公司 | 自然场景中行驶证拍照影像的识别方法、装置及电子设备 |
US10963733B2 (en) * | 2019-06-17 | 2021-03-30 | Tianzhi Yang | Associating spatial point sets with candidate correspondences |
CN110516739B (zh) * | 2019-08-27 | 2022-12-27 | 创新先进技术有限公司 | 一种证件识别方法、装置及设备 |
US11164325B2 (en) | 2020-02-06 | 2021-11-02 | Tianzhi Yang | Generating and evaluating mappings between spatial point sets |
US11823412B2 (en) | 2020-11-30 | 2023-11-21 | Tianzhi Yang | Generating and evaluating mappings between spatial point sets with constraints |
US11721085B2 (en) | 2020-12-20 | 2023-08-08 | Tianzhi Yang | Generating and evaluating mappings between spatial point sets in multi-levels |
CN114637845B (zh) * | 2022-03-11 | 2023-04-14 | 上海弘玑信息技术有限公司 | 模型测试方法、装置、设备和存储介质 |
US11979537B1 (en) | 2023-05-19 | 2024-05-07 | Xerox Corporation | Incorporation of source-identifying information in scanned documents |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5214112B2 (ja) | 1973-02-22 | 1977-04-19 | ||
JPS5665291A (en) | 1979-10-31 | 1981-06-02 | Tokyo Shibaura Electric Co | Discriminator for printed matter |
JPS6017152B2 (ja) | 1983-01-19 | 1985-05-01 | 株式会社日立製作所 | 位置検出方法及びその装置 |
JPH0413743Y2 (ja) * | 1986-11-11 | 1992-03-30 | ||
US5226095A (en) * | 1988-11-04 | 1993-07-06 | Matsushita Electric Industrial Co., Ltd. | Method of detecting the position of an object pattern in an image |
EP0665477B1 (en) | 1989-02-10 | 1999-10-13 | Canon Kabushiki Kaisha | Apparatus for image reading or processing |
US5515451A (en) | 1992-01-08 | 1996-05-07 | Fuji Xerox Co., Ltd. | Image processing system for selectively reproducing documents |
US5751854A (en) * | 1992-08-03 | 1998-05-12 | Ricoh Company, Ltd. | Original-discrimination system for discriminating special document, and image forming apparatus, image processing apparatus and duplicator using the original-discrimination system |
CA2100324C (en) * | 1992-08-06 | 2004-09-28 | Christoph Eisenbarth | Method and apparatus for determining mis-registration |
DE4227613A1 (de) * | 1992-08-20 | 1994-02-24 | Gao Ges Automation Org | Verfahren und Vorrichtung zur Erkennung von Druckbildern auf Dokumenten |
JPH06125459A (ja) * | 1992-10-09 | 1994-05-06 | Ricoh Co Ltd | 特殊原稿判別機能付き複写機 |
JPH06152948A (ja) | 1992-10-31 | 1994-05-31 | Minolta Camera Co Ltd | 画像処理装置 |
JP3115736B2 (ja) | 1993-01-18 | 2000-12-11 | シャープ株式会社 | 画像処理装置 |
US5440409A (en) | 1993-07-01 | 1995-08-08 | Konica Corporation | Image forming apparatus with an unapproved copy preventing means |
US5647010A (en) * | 1993-09-14 | 1997-07-08 | Ricoh Company, Ltd. | Image forming apparatus with security feature which prevents copying of specific types of documents |
JPH07143335A (ja) | 1993-11-18 | 1995-06-02 | Fuji Xerox Co Ltd | カラー複写機における複写禁止原稿複写防止装置及び方法 |
EP0664642B1 (en) * | 1994-01-20 | 2002-07-24 | Omron Corporation | Image processing device for identifying an input image, and copier including same |
JP3527326B2 (ja) * | 1994-08-31 | 2004-05-17 | 株式会社リコー | 画像処理装置 |
US5793901A (en) * | 1994-09-30 | 1998-08-11 | Omron Corporation | Device and method to detect dislocation of object image data |
US5533144A (en) | 1994-10-17 | 1996-07-02 | Xerox Corporation | Anti-counterfeit pattern detector and method |
JP3647132B2 (ja) | 1996-03-22 | 2005-05-11 | キヤノン株式会社 | 参照画像データの作成方法 |
JP3716873B2 (ja) | 1996-03-26 | 2005-11-16 | グローリー工業株式会社 | 紙葉類識別装置 |
-
1998
- 1998-01-23 US US09/012,901 patent/US6272245B1/en not_active Expired - Lifetime
- 1998-12-21 JP JP10362581A patent/JP3052947B2/ja not_active Expired - Fee Related
-
1999
- 1999-01-14 EP EP99100350A patent/EP0932115B1/en not_active Expired - Lifetime
- 1999-01-14 DE DE69930560T patent/DE69930560T2/de not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US6272245B1 (en) | 2001-08-07 |
DE69930560T2 (de) | 2007-01-18 |
EP0932115A3 (en) | 2003-10-15 |
JPH11250265A (ja) | 1999-09-17 |
EP0932115B1 (en) | 2006-03-29 |
EP0932115A2 (en) | 1999-07-28 |
DE69930560D1 (de) | 2006-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3052947B2 (ja) | パターン認識装置、パターン認識方法、パターン認識方法を記憶した記憶媒体および複写阻止システム | |
US6370271B2 (en) | Image processing apparatus and methods for pattern recognition | |
US6343204B1 (en) | Detection and deterrence of counterfeiting of documents with tokens characteristic color and spacing | |
JP3825070B2 (ja) | 偽造防止用紙幣パターン検知器および検知方法 | |
US7809152B2 (en) | Visible authentication patterns for printed document | |
EP0940780B1 (en) | Image processing device and method for detecting a reference pattern | |
EP2320389A2 (en) | Visible authentication patterns for printed document | |
JPH11250260A (ja) | 偽造検出方法、画像検出方法及び検出システム | |
KR101215278B1 (ko) | 런 프로파일들을 사용하여 문서 보안 마크들의 검출 | |
JPH11161827A (ja) | 偽造通貨検出方法及び装置 | |
US20140369569A1 (en) | Printed Authentication Pattern for Low Resolution Reproductions | |
KR100765752B1 (ko) | 특정 패턴 검출방법 및 장치 및 이를 포함하는 복사기 | |
US7155051B2 (en) | Image recognition apparatus, image recognition method and image recognition program for specific pattern | |
JPH02210591A (ja) | 画像処理装置 | |
US7844098B2 (en) | Method for performing color analysis operation on image corresponding to monetary banknote | |
Van Beusekom et al. | Document signature using intrinsic features for counterfeit detection | |
JP4014070B2 (ja) | パターン検出方法および画像処理制御方法 | |
JPH08115021A (ja) | カラー画像処理装置 | |
JPH06251128A (ja) | 画像処理装置及びそれを用いた複写機 | |
JPH11110545A (ja) | 画像認識装置 | |
US20090260947A1 (en) | Method for performing currency value analysis operation | |
JPH08115022A (ja) | 画像処理装置 | |
JPH0774943A (ja) | 画像形成装置 | |
JPH0662235A (ja) | 特殊原稿判別装置 | |
JPH0662236A (ja) | 特殊原稿判別装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20000307 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080407 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090407 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090407 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100407 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110407 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110407 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120407 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130407 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130407 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140407 Year of fee payment: 14 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |