JP3872933B2 - 書類認証方法、システム、書類作成装置、書類認証装置及び記録媒体 - Google Patents
書類認証方法、システム、書類作成装置、書類認証装置及び記録媒体 Download PDFInfo
- Publication number
- JP3872933B2 JP3872933B2 JP2000125095A JP2000125095A JP3872933B2 JP 3872933 B2 JP3872933 B2 JP 3872933B2 JP 2000125095 A JP2000125095 A JP 2000125095A JP 2000125095 A JP2000125095 A JP 2000125095A JP 3872933 B2 JP3872933 B2 JP 3872933B2
- Authority
- JP
- Japan
- Prior art keywords
- document
- feature
- information
- image
- feature information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、やり取りされる書類、書類データの改竄を検出することができる書類認証方法等に関する。
【０００２】
【従来の技術】
送受信される書類データの改竄を検出するための書類認証システムが実現されている。
例えば、文書データ等をやり取りするシステムにおいて、文書データ等の送信側では、送信対象の文書データについてハッシュ関数を用いてダイジェストを作成し、文書データとダイジェストを受取側に送信する。
受取側では、受信した文書データについてハッシュ関数を用いてダイジェストを作成し、作成したダイジェストと、受信したダイジェストを照合して、一致すれば文書データは改竄されていないと判断する。
【０００３】
【発明が解決しようとする課題】
しかし、上記のような書類認証システムは、例えば書類を電子化して送受信せずに、紙を媒体としてやり取りする場合、すなわち、書類が紙で発行されて、受取側に渡され、その受取側が書類の正当性を検証するような場合には好適とはいえない。
なぜなら、紙を媒体とした書類の伝達では、シミや汚れなどが書類に付着する場合があり、これにより、この書類の読取画像が変化してしまい、その書類に付されたダイジェストと一致しないことが生じるおそれがあるからである。
【０００４】
また、紙で書類をやり取りする場合、書類の発行側が使用するスキャナと受取側が使用するスキャナの精度の差などにより、同一の書類について、発行側で作成される書類画像と、受取側で作成される書類画像と、が全く同じになる可能性は極めて低く、改竄の判別が実質上困難となる。
【０００５】
本発明は、上述した事情に鑑みてなされたもので、やり取りされる書類、書類データの認証を適正に行うことができる書類認証方法等を提供することを目的とする。
また、本発明は、紙でやり取りされる書類の認証に好適な書類認証方法等を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明の第１の観点に係る書類認証方法は、
書類発行側で伝達用書類を発行し、書類受取側で受け取った伝達用書類を認証する書類認証方法であって、
前記書類発行側において、処理対象の書類画像中の特徴部を抽出し、該書類画像に所定の座標系を適用して、該座標系に基づく該特徴部の位置を求め、求めた位置を特定する位置情報を生成し、さらに、該特徴部の画像中の黒画素の割合を求め、求めた黒画素の割合を示す割合情報を生成し、生成した位置情報と割合情報とを含む特徴情報を生成し、該特徴情報を前記書類画像に貼り付けて、特徴情報が貼付された書類画像の画像データを通信ネットワークを介して送信し、
前記書類受取側において、前記通信ネットワークを介して送信された画像データから特徴情報を切り出し、前記特徴情報が切り出された画像データについての特徴部を抽出し、該画像データに前記所定の座標系を適用し、該座標系に基づく該特徴部の位置を求め、求めた位置を特定する位置情報を生成し、さらに、該特徴部の画像中の黒画素の割合を求め、求めた黒画素の割合を示す割合情報を生成し、生成した位置情報と割合情報とを含む特徴情報を作成し、
前記切り出した特徴情報と、前記作成した特徴情報と、を照合して前記伝達用書類の正当性をチェックする、
ことを特徴とする。
【０００７】
このような構成によれば、書類発行側で、例えば文字列等の書類の特徴部について作成した特徴情報を書類画像に貼付し、書類受取側で、受け取った書類の画像について、貼付された特徴情報を除いた書類画像について作成した特徴情報と、貼付された特徴情報とを照合することにより、やり取りされる書類について改竄の有無を検証することができる。また、書類の特徴部について作成した特徴情報を用いることにより、特に書類を紙でやり取りする場合には、紙に付着した汚れ等に左右されることなく適正な書類の認証を行うことができる。
【０００８】
また、前記書類発行側及び前記書類受取側の双方で前記特徴部を囲む矩形を設定し、設定された該矩形を複数の矩形に分割し、分割された各々の該矩形内での黒画素の割合を含む特徴情報を作成する、
ことを特徴としてもよい。
【０００９】
前記書類受取側において、前記特徴情報を書類発行者の秘密鍵で暗号化し、暗号化された前記特徴情報を前記書類画像に貼り付けて前記伝達用書類を作成してもよく、
前記書類発行側において、前記伝達用書類の画像から、暗号化された特徴情報を切り出し、前記暗号化された特徴情報を書類発行者の公開鍵で復号化し、復号化された前記特徴情報と、前記暗号化された特徴情報が切り出された画像について取得された特徴情報と、を照合してもよい。
これにより、書類発行者の秘密鍵を有しない第三者の改竄を効果的に防止することができる。
【００１０】
また、本発明の第２の観点に係る書類認証システムは、
伝達用書類を作成する書類作成装置と、前記書類作成装置により作成された伝達用書類の認証を行う書類認証装置と、を備える書類認証システムであって、
前記書類作成装置は、
処理対象の書類画像中の特徴部を抽出し、該書類画像に所定の座標系を適用して、該座標系に基づく該特徴部の位置を求め、求めた位置を特定する位置情報を生成する第一位置情報生成手段と、
前記特徴部の画像中の黒画素の割合を求め、求めた黒画素の割合を示す割合情報を生成する第一割合情報生成手段と、
生成した前記位置情報と前記割合情報とを含む特徴情報を生成する第一特徴情報生成手段と、
前記特徴情報を前記書類画像に貼り付けて、特徴情報が貼付された書類画像の画像データを通信ネットワークを介して前記書類認証装置に送信する送信手段と、を備え、
前記書類認証装置は、
前記通信ネットワークを介して前記種類作成装置から送信された画像データから特徴情報を切り出し、前記特徴情報が切り出された画像データについての特徴部を抽出する抽出手段と、
前記画像データに前記所定の座標系を適用して、該座標系に基づく該特徴部の位置を求め、求めた位置を特定する位置情報を生成する第二位置情報生成手段と、
前記特徴部の画像中の黒画素の割合を求め、求めた黒画素の割合を示す割合情報を生成する第二割合情報生成手段と、
生成した前記位置情報と前記割合情報とを含む特徴情報を作成する第二特徴情報生成手段と、
前記抽出手段が切り出した特徴情報と、前記第二特徴情報生成手段が生成した特徴情報と、を照合して前記伝達用書類の正当性をチェックするチェック手段と、を備える、
ことを特徴とする。
【００１１】
このような構成によれば、書類作成装置において、例えば文字列等の書類の特徴部について作成した特徴情報を書類画像に貼付し、書類認証装置で、受け取った書類の画像について、貼付された特徴情報を除いた書類画像について作成した特徴情報と、貼付された特徴情報とを照合することにより、やり取りされる書類について改竄の有無を検証することができる。また、書類の特徴部について作成した特徴情報を用いることにより、特に書類を紙でやり取りする場合には、紙に付着した汚れや等に左右されることなく適正な書類の認証を行うことができる。
【００１２】
また、前記書類作成装置の前記書類出力手段は、前記特徴情報を書類発行者の秘密鍵で暗号化し、暗号化された前記特徴情報を前記書類画像に貼り付けて前記伝達用書類を作成し、
前記書類認証装置の前記抽出手段は、前記伝達用書類の画像から、暗号化された特徴情報を切り出し、前記暗号化された特徴情報を書類発行者の公開鍵で復号化し、
前記書類認証装置の前記第二特徴情報生成手段は、前記暗号化された特徴情報が切り出された画像について特徴部を抽出し、該特徴部に基づく特徴情報を作成し、
前記書類認証装置の前記チェック手段は、前記復号化された前記特徴情報と、前記暗号化された特徴情報が切り出された画像について取得された特徴情報と、を照合する、
ことを特徴としてもよい。
これにより、書類発行者の秘密鍵を有しない第三者の改竄を効果的に防止することができる。
【００１３】
また、本発明の第３の観点に係る書類作成装置は、
伝達用書類を作成する書類作成装置であって、
処理対象の書類画像中の特徴部を抽出し、該書類画像に所定の座標系を適用して、該座標系に基づく該特徴部の位置を求め、求めた位置を特定する位置情報を生成する第一位置情報生成手段と、
前記特徴部の画像中の黒画素の割合を求め、求めた黒画素の割合を示す割合情報を生成する第一割合情報生成手段と、
生成した前記位置情報と前記割合情報とを含む特徴情報を生成する第一特徴情報生成手段と、
前記特徴情報を前記書類画像に貼り付けて、特徴情報が貼付された書類画像の画像データを通信ネットワークを介して書類認証装置に送信する送信手段と、
、を備える、ことを特徴とする。
【００１４】
また、本発明の第４の観点に係る書類認証装置は、
書類画像の特徴部に基づいて作成された特徴情報を前記書類画像に貼付することにより生成された伝達用書類の認証を行う書類認証装置であって、
前記通信ネットワークを介して送信された画像データから特徴情報を切り出し、前記特徴情報が切り出された画像データについての特徴部を抽出する抽出手段と、
前記画像データに前記所定の座標系を適用して、該座標系に基づく該特徴部の位置を求め、求めた位置を特定する位置情報を生成する第二位置情報生成手段と、
前記特徴部の画像中の黒画素の割合を求め、求めた黒画素の割合を示す割合情報を生成する第二割合情報生成手段と、
生成した前記位置情報と前記割合情報とを含む特徴情報を作成する第二特徴情報生成手段と、
前記抽出手段が切り出した特徴情報と、前記第二特徴情報生成手段が生成した特徴情報と、を照合して前記伝達用書類の正当性をチェックするチェック手段と、
ことを特徴とする。
【００１５】
また、本発明の第５の観点に係る記録媒体は、
コンピュータを、伝達用書類を作成する書類作成装置として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
該コンピュータを、
処理対象の書類画像中の特徴部を抽出し、該書類画像に所定の座標系を適用して、該座標系に基づく該特徴部の位置を求め、求めた位置を特定する位置情報を生成する第一位置情報生成手段と、
前記特徴部の画像中の黒画素の割合を求め、求めた黒画素の割合を示す割合情報を生成する第一割合情報生成手段と、
生成した前記位置情報と前記割合情報とを含む特徴情報を生成する第一特徴情報生成手段と、
前記特徴情報を前記書類画像に貼り付けて、特徴情報が貼付された書類画像の画像データを通信ネットワークを介して送信する送信手段、
として機能させるためのプログラムを記録することを特徴とする。
【００１６】
また、本発明の第６の観点に係る記録媒体は、
コンピュータを、書類画像の特徴部に基づいて作成された特徴情報を前記書類画像に貼付することにより生成された伝達用書類の認証を行う書類認証装置として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
該コンピュータを、
前記通信ネットワークを介して送信された画像データから特徴情報を切り出し、前記特徴情報が切り出された画像データについての特徴部を抽出する抽出手段と、
前記画像データに前記座標系を適用して、該所定の座標系に基づく該特徴部の位置を求め、求めた位置を特定する位置情報を生成する第二位置情報生成手段と、
前記特徴部の画像中の黒画素の割合を求め、求めた黒画素の割合を示す割合情報を生成する第二割合情報生成手段と、
生成した前記位置情報と前記割合情報とを含む特徴情報を作成する第二特徴情報生成手段と、
前記抽出手段が切り出した特徴情報と、前記第二特徴情報生成手段が生成した特徴情報と、を照合して前記伝達用書類の正当性をチェックするチェック手段、
として機能させるためのプログラムを記録することを特徴とする。
【００１７】
【発明の実施の形態】
以下、本発明の実施形態に係る書類認証システムについて図面を参照して説明する。
本実施形態に係る書類認証システムのシステム構成図を図１に示す。
図示されるように、本システムは、紙文書を発行する発行装置１と、受け取った紙文書（伝達用文書）の認証を行う認証装置３と、を備える。
【００１８】
発行装置１は、画像入力部１１と、入力画像蓄積部１２と、特徴算出部１３と、特徴蓄積部１４と、特徴量画像化部１５と、特徴量画像蓄積部１６と、出力画像生成部１７と、画像出力部１８と、を備える。
【００１９】
画像入力部１１は、例えばスキャナを含み、伝達対象の紙文書を読み取って文書画像データを取得し、それを入力画像蓄積部１２に保存する。
特徴算出部１３は、入力画像蓄積部１２に保存されている文書画像データについて、後述する所定の算出方法に従って、文書中の各文字列等について特徴量を算出し、特徴量情報として特徴蓄積部１４に保存する。
【００２０】
特徴量画像化部１５は、特徴蓄積部１４に保存されている特徴量情報に所定の変換処理を施して特徴量画像に変換し、特徴量画像蓄積部１６に保存する。
出力画像生成部１７は、入力画像蓄積部１２に保存されている文書画像データに、特徴量画像蓄積部１６に保存されている特徴量画像を貼り付ける等して出力画像を生成する。
画像出力部１８は、出力画像生成部１７により生成された出力画像を紙文書として印刷する。
【００２１】
認証装置３は、画像入力部３１と、入力画像蓄積部３２と、特徴量画像領域特定部３３と、特徴量画像領域座標蓄積部３４と、オリジナル画像再生部３５と、オリジナル画像蓄積部３６と、特徴算出部３７と、特徴量蓄積部３８と、特徴量画像切出部３９と、特徴量画像蓄積部４０と、オリジナル特徴量再生部４１と、オリジナル特徴量蓄積部４２と、差分判定部４３と、差分判定出力部４４と、を備える。
【００２２】
画像入力部３１は、スキャナを含み、発行装置１により発行された紙文書を読み取って得た文書画像データを入力画像蓄積部３２に保存する。
特徴量画像領域特定部３３は、入力画像蓄積部３２に保存されている文書データから、特徴量画像の領域を特定してその座標値を抽出し、特徴量画像領域座標蓄積部３４に保存する。
オリジナル画像再生部３５は、入力画像蓄積部３２に保存されている文書画像データに対して、特徴量画像領域座標蓄積部３４に保存されている領域を空白にした画像を作成し、オリジナル画像蓄積部３６に保存する。
【００２３】
特徴算出部３７は、オリジナル画像蓄積部３６に保存されている文書画像データについて、発行装置１の特徴算出部１３と同様の算出方法に従って、文書中の各文字列について特徴量を算出し、特徴量情報として特徴量蓄積部３８に保存する。
特徴画像切出部３９は、入力画像蓄積部３２に保存されている文書画像データから、特徴量画像領域座標蓄積部３４に保存されている座標の画像を切り出し、特徴量画像蓄積部４０に保存する。
【００２４】
オリジナル特徴量再生部４１は、特徴量画像蓄積部４０に保存されている特徴量画像から特徴量情報を再生し、オリジナル特徴量蓄積部４２に保存する。
差分判定部４３は、特徴量蓄積部３８に保存されている特徴量情報と、オリジナル特徴量蓄積部４２に保存されている特徴量情報を照合し、照合結果に基づいて紙文書の改竄の有無を判定する。
差分判定出力部４４は、差分判定部４３による判定結果を出力する。
【００２５】
次に、特徴算出部１３、３７による特徴量の算出処理について説明する。
まず、特徴算出部１３、３７は、処理対象の文書中の全文字列を包含するような枠ｆ１を決定する。そして、その枠ｆ１について左上端点を原点とし、右上端点の座標を（１００００，０）、左下端点の座標を（０，１００００）、右下端点の座標を（１００００，１００００）とするＸＹ平面座標系を基準座標系として設定する。
【００２６】
次に、特徴算出部１３、３７は、文書中の各文字列について８つの要素からなる特徴量（ｘ，ｙ，ｈ，ｗ，ｄ１，ｄ２，ｄ３，ｄ４）を求める。この特徴量の各要素は、対象文字列を囲む最小矩形の左上端点の基準座標系での座標値（ｘ，ｙ）と、対象文字列を囲む最小矩形の基準座標系での縦幅と横幅（ｈ，ｗ）と、対象文字列を囲む最小矩形を縦方向に四分割した場合における、分割された各矩形内での黒画素密度（ｄ１，ｄ２，ｄ３，ｄ４）と、からそれぞれ求める。このうち、黒画素密度ｄ１〜ｄ４は例えば次式を用いて求める。
ｄｉ＝黒画素数／全画素数×１００００ （ｉ＝１、２、３、４）
【００２７】
このように、特徴量について基準座標系を用いて正規化することにより、スキャナの読み取り解像度が変化しても、座標値（ｘ，ｙ）と縦幅と横幅（ｈ，ｗ）は大きく変化することはない。
また、スキャナの読み取り解像度の変化により、読み取り領域の画素数は変化するが、それに応じて黒画素数も変化するため、黒画素密度（ｄ１，ｄ２，ｄ３，ｄ４）についても影響を受け難くしている。
【００２８】
例えば図２に示すような帳票について特徴量を求める場合には、特徴算出部１３、３７は、全文字列を含む枠ｆ１を決定し、その枠ｆ１について、左上端点を原点とし、右上端点を（１００００，０）、左下端点を（０，１００００）、右下端点を（１００００，１００００）とする基準座標系を設定する。
そして、この文書中の各文字列「見積書」、「東南商事（株）御中」、「株式会社×××」等について、特徴量（ｘ，ｙ，ｈ，ｗ，ｄ１，ｄ２，ｄ３，ｄ４）をそれぞれ求める。
【００２９】
例えば文字列「東南商事（株）御中」については、図３（ａ）に示すように、文字列「東南商事（株）御中」を囲む最小矩形について、左上端点の座標値（８１０，１３８０）と、縦幅と横幅（１４５０，７８００）を求める。
また、図３（ｂ）に示すように、文字列「東南商事（株）御中」を囲む最小矩形を縦方向に四分割した場合の、分割された各矩形内での黒画素密度（３５０，２８１，２０１，１９２）を例えば上記の式を用いて求める。そして、求めた各数値に基づいて、文字列「東南商事（株）御中」の特徴量（８１０，１３８０，１４５０，７８００，３５０，２８１，２０１，１９２）を求める。
【００３０】
次に、差分判定部４３による紙文書の改竄の有無の判定処理について説明する。
この判定処理では、紙文書中の特徴量画像から取得した特徴量（発行側特徴量）と、発行文書から特徴量画像を除去した文書について算出した特徴量（受取側特徴量）と、を比較し、その差異が所定の範囲内にあるか否かを判定する。具体的には、文書中の各文字列について求めた発行側特徴量と受取側特徴量について、例えば次に示す第１、第２、第３の条件式の全てを満たすか否かを判別する。そして、全文字列の特徴量について第１〜第３の条件式が満たされる場合は、その紙文書は改竄されていないと判定する。
【００３１】
（１）第１の条件式
｜発行側特徴量の高さｈ−受取側特徴量の高さｈ｜／（ｍａｘ（発行側特徴量の高さｈ，受取側特徴量の高さｈ））＜α
（２）第２の条件式
｜発行側特徴量の幅ｗ−受取側特徴量の幅ｗ｜／（ｍａｘ（発行側特徴量の幅ｗ，受取側特徴量の幅ｗ））＜α
（３）第３の条件式
全てのｉ（ｉ＝１〜４）について、
｜発行側特徴量の黒画素密度ｄｉ−受取側特徴量の黒画素密度ｄｉ｜／（ｍａｘ（発行側特徴量の黒画素密度ｄｉ，受取側特徴量の黒画素密度ｄｉ））＜β
【００３２】
なお、第１〜第３の条件式で使用されるα、βはパラメータであり、実験等により得られた適正な数値を用いることが望ましい。例えば、発行側と受取側のスキャナの読取解像度が同じである場合には、αは０．０３、βは０．０４付近の数値を用いてもよい。
【００３３】
次に、本システムにおいて、文書の発行側で紙文書が発行され、その紙文書が受取側に持ち込まれ、認証を受けるまでの処理の流れについて図４を参照して説明する。
【００３４】
まず、発行側における発行装置１は、セットされた紙文書Ｄ１をスキャナ等で読み取り、文書画像データＤ２を生成する。次に、発行装置１は、生成された文書画像データＤ２に含まれる各文字列について特徴量Ｄ３を算出する。
発行装置１は、算出した特徴量Ｄ３を画像化して、特徴量画像Ｄ４を生成する。次に、発行装置１は、文書画像データＤ２に特徴量画像Ｄ４を貼り付けて伝達用の文書画像データＤ５を生成して印刷し、伝達用の紙文書Ｄ６を作成する。
【００３５】
発行側において発行装置１により発行された紙文書Ｄ６は受取側に渡される。
受取側では、受け取った文書の改竄の有無を検証するために、文書を受取側の認証装置３にセットする。
【００３６】
認証装置３は、セットされた紙文書Ｄ６をスキャナ等で読み取り、文書画像データＤ７を作成する。次に、認証装置３は、文書画像データＤ７から特徴量画像Ｄ８を抽出し、さらに、特徴量画像Ｄ８から特徴量（オリジナル特徴量）Ｄ９を再生する。
また、認証装置３は、文書画像データＤ７から特徴量画像Ｄ８を分離して、特徴量画像Ｄ８の部分を空白としたオリジナル文書画像Ｄ１０を生成し、このオリジナル文書画像Ｄ１０について特徴量Ｄ１１を算出する。
【００３７】
次に、認証装置３は、発行側から受け付けた紙文書について、その中の特徴量画像から作成されたオリジナル特徴量Ｄ９と、文書画像から特徴量画像Ｄ８を分離して得た文書画像に基づいて作成した特徴量Ｄ１１について、例えば上述した条件式を用いた比較処理を行う。
そして、比較した特徴量がほぼ一致すると判定した場合には、受取側に渡された文書の内容は改竄されていない旨を改竄検証の結果Ｄ１２として出力する。
また、比較した特徴量の差異が所定範囲を超えた場合には、文書の内容が改竄されている旨を改竄検証の結果Ｄ１２として出力する。
【００３８】
このようにして、文書における文字列等の特徴部分について、スキャナの解像度等に左右されない特徴量を求め、この情報を文書に貼り付けた紙文書を発行する。そして、受取側では、貼り付けられた情報から得た特徴量と、特徴量の情報を除いた文書から取得した特徴量を照合し、これらがほぼ一致するか否かを判別して、改竄の有無を検証する。これにより、紙文書をやり取りする場合に、紙に付着した汚れや、発行側と受取側のスキャナの解像度の違い等に左右されることなく適正な文書の認証を行うことができる。
【００３９】
なお、特徴量画像には例えばバーコードや２次元バーコード等を用いてもよい。例えば特徴量画像をバーコードとした場合であって、伝達対象の文書が図２に示すような帳票の場合には、文書中に１０個の文字列があるため、各文字列の特徴量に基づく１０個のバーコードが特徴量画像として貼付されることとなる。
【００４０】
また、第三者が、発行装置１により発行された紙文書について、オリジナルの文書画像データに改竄を加え、改竄後の文書画像データをもとに特徴量を生成し、その特徴量に基づく特徴量画像を貼付した紙文書を不正に生成することも考えられる。このため、発行側と受取側で公開鍵暗号方式を用いて、発行者の秘密鍵を有しない第三者の改竄を効果的に防止するようにしてもよい。具体的には、発行装置１において、算出された特徴量を発行者の秘密鍵で暗号化し、暗号化されたデータから特徴量画像を生成し、文書画像データに貼付して紙文書を生成する。一方、認証装置３では、受け取った紙文書の特徴量画像から得られたデータを発行者の公開鍵で復号化してオリジナル特徴量を再生し、特徴量画像を除いたオリジナル文書画像から取得した特徴量との比較処理を行う。
【００４１】
また、この書類認証システムは、紙文書の正当性を検証することが必要とされる種々の場合に適用可能である。
例えば、役所が紙で発行した住民票を、車検事務所等の第三者が認証するような場合、役所における発行装置１が住民票を紙で発行する。この住民票には、役所の秘密鍵で暗号化された特徴量が例えば二次元バーコード等の特徴量画像として添付されている。住民票を受け取った住民は、その住民票を、例えば自動車登録時に車検事務所に提出する。車検事務所の認証装置３は、セットされた住民票を読み取り、その特徴量画像から取得したデータを役所の公開鍵で復号化して得た特徴量（オリジナル特徴量）と、オリジナル文書画像から取得した特徴量と、を照合して、改竄の有無を判別する。
例えば、文書に改竄が加えられ、特徴量画像が変更されていない場合、認証装置３における特徴量の照合結果に基づいて改竄が検出される。
また、改竄時に、住民が特徴量画像を変更しようとしても、住民は役所の秘密鍵がわからないため、変更がなされた場合には不正が検出されることとなる。
【００４２】
また、上記の手順以外でも、例えばインターネット経由で役所から入手した文書画像データを住民が自宅のプリンタで印刷し、車検事務所に持参して、認証を受けることもできる。また、住民がファクシミリを用いて役所から文書画像データを取得するようにしてもよい。
【００４３】
また、本発明に係る書類認証システムは、紙による書類だけでなく、電子化された書類データについても適用可能である。この場合、発行装置１は、出力画像生成部１７により生成された特徴量画像が貼付された文書画像データを認証装置３に送信する送信部を備える。また、認証装置３は、発行装置１からの文書画像データを受信して、入力画像蓄積部３２に保存する受信部を備える。
【００４４】
また、本発明の書類認証システムの処理対象書類は、文書に限定されない。例えば、処理対象書類が図面である場合、発行装置１は、書面上の各図形について上記と同様にして特徴量を算出し、その特徴量に基づく特徴量画像を貼付した書面等を出力し、認証装置３は、受け取った書面中の特徴量画像から得られる特徴量と、書面の画像から特徴量画像を除去した画像から取得した特徴量と、を照合して、改竄の有無を判別する。
【００４５】
また、上記実施例では、文書の文字列についてそれぞれ特徴量を生成しているが、これは一例であり、特徴量を生成する単位は任意である。
また、上記実施例における特徴量は一例であり、スキャナなどの精度による画像の差に影響されないものであればよい。
【００４６】
また、特徴量の算出処理において、文書中の全文字列を含む枠ｆ１の右上端点のＸ座標値と左下端点のＹ座標値をともに１００００と設定したが、これは一例であり、任意の数値を取りうる。
また、黒画素数の算出式についても他の式を用いても良い。
【００４７】
また、上記説明における特徴量について、構成要素の一部を用いるようにしても良く、また、さらに他の要素を追加してもよい。
また、上記説明における特徴量の比較に用いる条件式は一例であり、他の条件式、他の判断方法等を用いてもよい。
【００４８】
なお、この発明の書類認証システムは、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、コンピュータに上述の動作を実行するためのプログラムを格納した媒体（フロッピーディスク、ＣＤ−ＲＯＭ等）から該プログラムをインストールすることにより、上述の処理を実行する発行装置１、認証装置３等を構成することができる。なお、上述の機能を、ＯＳが分担又はＯＳとアプリケーションの共同により実現する場合等には、ＯＳ以外の部分のみを媒体に格納してもよい。
【００４９】
なお、搬送波にプログラムを重畳し、通信ネットワークを介して配信することも可能である。例えば、通信ネットワークの掲示板（ＢＢＳ）に該プログラムを掲示し、これをネットワークを介して配信してもよい。
そして、このプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行させることにより、上述の処理を実行することができる。
【００５０】
【発明の効果】
以上説明したように、本発明によれば、書類発行側で、書類の特徴部について作成した特徴情報を書類画像に貼付し、書類受取側で、貼付された特徴情報を除いた書類画像について作成した特徴情報と、貼付された特徴情報とを照合することにより、改竄の有無を検証することができる。また、書類の特徴部について作成した特徴情報を用いることにより、特に書類を紙でやり取りする場合には、紙に付着した汚れ等に左右されることなく適正な書類の認証を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る書類認証システムのシステム構成図である。
【図２】特徴量を取得する際に文書に対して設定される基準座標系を説明するための図である。
【図３】特徴量の取得方法を具体的に説明するための図である。
【図４】図１の書類認証システムにおいて、発行された紙文書が認証を受けるまでの処理の流れを説明するための図である。
【符号の説明】
１ 発行装置
１１ 画像入力部
１２ 入力画像蓄積部
１３ 特徴算出部
１４ 特徴蓄積部
１５ 特徴量画像化部
１６ 特徴量画像蓄積部
１７ 出力画像生成部
１８ 画像出力部
３ 認証装置
３１ 画像入力部
３２ 入力画像蓄積部
３３ 特徴量画像領域特定部
３４ 特徴量画像領域座標蓄積部
３５ オリジナル画像再生部
３６ オリジナル画像蓄積部
３７ 特徴算出部
３８ 特徴量蓄積部
３９ 特徴量画像切出部
４０ 特徴量画像蓄積部
４１ オリジナル特徴量再生部
４２ オリジナル特徴量蓄積部
４３ 差分判定部
４４ 差分判定出力部
【発明の属する技術分野】
本発明は、やり取りされる書類、書類データの改竄を検出することができる書類認証方法等に関する。
【０００２】
【従来の技術】
送受信される書類データの改竄を検出するための書類認証システムが実現されている。
例えば、文書データ等をやり取りするシステムにおいて、文書データ等の送信側では、送信対象の文書データについてハッシュ関数を用いてダイジェストを作成し、文書データとダイジェストを受取側に送信する。
受取側では、受信した文書データについてハッシュ関数を用いてダイジェストを作成し、作成したダイジェストと、受信したダイジェストを照合して、一致すれば文書データは改竄されていないと判断する。
【０００３】
【発明が解決しようとする課題】
しかし、上記のような書類認証システムは、例えば書類を電子化して送受信せずに、紙を媒体としてやり取りする場合、すなわち、書類が紙で発行されて、受取側に渡され、その受取側が書類の正当性を検証するような場合には好適とはいえない。
なぜなら、紙を媒体とした書類の伝達では、シミや汚れなどが書類に付着する場合があり、これにより、この書類の読取画像が変化してしまい、その書類に付されたダイジェストと一致しないことが生じるおそれがあるからである。
【０００４】
また、紙で書類をやり取りする場合、書類の発行側が使用するスキャナと受取側が使用するスキャナの精度の差などにより、同一の書類について、発行側で作成される書類画像と、受取側で作成される書類画像と、が全く同じになる可能性は極めて低く、改竄の判別が実質上困難となる。
【０００５】
本発明は、上述した事情に鑑みてなされたもので、やり取りされる書類、書類データの認証を適正に行うことができる書類認証方法等を提供することを目的とする。
また、本発明は、紙でやり取りされる書類の認証に好適な書類認証方法等を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明の第１の観点に係る書類認証方法は、
書類発行側で伝達用書類を発行し、書類受取側で受け取った伝達用書類を認証する書類認証方法であって、
前記書類発行側において、処理対象の書類画像中の特徴部を抽出し、該書類画像に所定の座標系を適用して、該座標系に基づく該特徴部の位置を求め、求めた位置を特定する位置情報を生成し、さらに、該特徴部の画像中の黒画素の割合を求め、求めた黒画素の割合を示す割合情報を生成し、生成した位置情報と割合情報とを含む特徴情報を生成し、該特徴情報を前記書類画像に貼り付けて、特徴情報が貼付された書類画像の画像データを通信ネットワークを介して送信し、
前記書類受取側において、前記通信ネットワークを介して送信された画像データから特徴情報を切り出し、前記特徴情報が切り出された画像データについての特徴部を抽出し、該画像データに前記所定の座標系を適用し、該座標系に基づく該特徴部の位置を求め、求めた位置を特定する位置情報を生成し、さらに、該特徴部の画像中の黒画素の割合を求め、求めた黒画素の割合を示す割合情報を生成し、生成した位置情報と割合情報とを含む特徴情報を作成し、
前記切り出した特徴情報と、前記作成した特徴情報と、を照合して前記伝達用書類の正当性をチェックする、
ことを特徴とする。
【０００７】
このような構成によれば、書類発行側で、例えば文字列等の書類の特徴部について作成した特徴情報を書類画像に貼付し、書類受取側で、受け取った書類の画像について、貼付された特徴情報を除いた書類画像について作成した特徴情報と、貼付された特徴情報とを照合することにより、やり取りされる書類について改竄の有無を検証することができる。また、書類の特徴部について作成した特徴情報を用いることにより、特に書類を紙でやり取りする場合には、紙に付着した汚れ等に左右されることなく適正な書類の認証を行うことができる。
【０００８】
また、前記書類発行側及び前記書類受取側の双方で前記特徴部を囲む矩形を設定し、設定された該矩形を複数の矩形に分割し、分割された各々の該矩形内での黒画素の割合を含む特徴情報を作成する、
ことを特徴としてもよい。
【０００９】
前記書類受取側において、前記特徴情報を書類発行者の秘密鍵で暗号化し、暗号化された前記特徴情報を前記書類画像に貼り付けて前記伝達用書類を作成してもよく、
前記書類発行側において、前記伝達用書類の画像から、暗号化された特徴情報を切り出し、前記暗号化された特徴情報を書類発行者の公開鍵で復号化し、復号化された前記特徴情報と、前記暗号化された特徴情報が切り出された画像について取得された特徴情報と、を照合してもよい。
これにより、書類発行者の秘密鍵を有しない第三者の改竄を効果的に防止することができる。
【００１０】
また、本発明の第２の観点に係る書類認証システムは、
伝達用書類を作成する書類作成装置と、前記書類作成装置により作成された伝達用書類の認証を行う書類認証装置と、を備える書類認証システムであって、
前記書類作成装置は、
処理対象の書類画像中の特徴部を抽出し、該書類画像に所定の座標系を適用して、該座標系に基づく該特徴部の位置を求め、求めた位置を特定する位置情報を生成する第一位置情報生成手段と、
前記特徴部の画像中の黒画素の割合を求め、求めた黒画素の割合を示す割合情報を生成する第一割合情報生成手段と、
生成した前記位置情報と前記割合情報とを含む特徴情報を生成する第一特徴情報生成手段と、
前記特徴情報を前記書類画像に貼り付けて、特徴情報が貼付された書類画像の画像データを通信ネットワークを介して前記書類認証装置に送信する送信手段と、を備え、
前記書類認証装置は、
前記通信ネットワークを介して前記種類作成装置から送信された画像データから特徴情報を切り出し、前記特徴情報が切り出された画像データについての特徴部を抽出する抽出手段と、
前記画像データに前記所定の座標系を適用して、該座標系に基づく該特徴部の位置を求め、求めた位置を特定する位置情報を生成する第二位置情報生成手段と、
前記特徴部の画像中の黒画素の割合を求め、求めた黒画素の割合を示す割合情報を生成する第二割合情報生成手段と、
生成した前記位置情報と前記割合情報とを含む特徴情報を作成する第二特徴情報生成手段と、
前記抽出手段が切り出した特徴情報と、前記第二特徴情報生成手段が生成した特徴情報と、を照合して前記伝達用書類の正当性をチェックするチェック手段と、を備える、
ことを特徴とする。
【００１１】
このような構成によれば、書類作成装置において、例えば文字列等の書類の特徴部について作成した特徴情報を書類画像に貼付し、書類認証装置で、受け取った書類の画像について、貼付された特徴情報を除いた書類画像について作成した特徴情報と、貼付された特徴情報とを照合することにより、やり取りされる書類について改竄の有無を検証することができる。また、書類の特徴部について作成した特徴情報を用いることにより、特に書類を紙でやり取りする場合には、紙に付着した汚れや等に左右されることなく適正な書類の認証を行うことができる。
【００１２】
また、前記書類作成装置の前記書類出力手段は、前記特徴情報を書類発行者の秘密鍵で暗号化し、暗号化された前記特徴情報を前記書類画像に貼り付けて前記伝達用書類を作成し、
前記書類認証装置の前記抽出手段は、前記伝達用書類の画像から、暗号化された特徴情報を切り出し、前記暗号化された特徴情報を書類発行者の公開鍵で復号化し、
前記書類認証装置の前記第二特徴情報生成手段は、前記暗号化された特徴情報が切り出された画像について特徴部を抽出し、該特徴部に基づく特徴情報を作成し、
前記書類認証装置の前記チェック手段は、前記復号化された前記特徴情報と、前記暗号化された特徴情報が切り出された画像について取得された特徴情報と、を照合する、
ことを特徴としてもよい。
これにより、書類発行者の秘密鍵を有しない第三者の改竄を効果的に防止することができる。
【００１３】
また、本発明の第３の観点に係る書類作成装置は、
伝達用書類を作成する書類作成装置であって、
処理対象の書類画像中の特徴部を抽出し、該書類画像に所定の座標系を適用して、該座標系に基づく該特徴部の位置を求め、求めた位置を特定する位置情報を生成する第一位置情報生成手段と、
前記特徴部の画像中の黒画素の割合を求め、求めた黒画素の割合を示す割合情報を生成する第一割合情報生成手段と、
生成した前記位置情報と前記割合情報とを含む特徴情報を生成する第一特徴情報生成手段と、
前記特徴情報を前記書類画像に貼り付けて、特徴情報が貼付された書類画像の画像データを通信ネットワークを介して書類認証装置に送信する送信手段と、
、を備える、ことを特徴とする。
【００１４】
また、本発明の第４の観点に係る書類認証装置は、
書類画像の特徴部に基づいて作成された特徴情報を前記書類画像に貼付することにより生成された伝達用書類の認証を行う書類認証装置であって、
前記通信ネットワークを介して送信された画像データから特徴情報を切り出し、前記特徴情報が切り出された画像データについての特徴部を抽出する抽出手段と、
前記画像データに前記所定の座標系を適用して、該座標系に基づく該特徴部の位置を求め、求めた位置を特定する位置情報を生成する第二位置情報生成手段と、
前記特徴部の画像中の黒画素の割合を求め、求めた黒画素の割合を示す割合情報を生成する第二割合情報生成手段と、
生成した前記位置情報と前記割合情報とを含む特徴情報を作成する第二特徴情報生成手段と、
前記抽出手段が切り出した特徴情報と、前記第二特徴情報生成手段が生成した特徴情報と、を照合して前記伝達用書類の正当性をチェックするチェック手段と、
ことを特徴とする。
【００１５】
また、本発明の第５の観点に係る記録媒体は、
コンピュータを、伝達用書類を作成する書類作成装置として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
該コンピュータを、
処理対象の書類画像中の特徴部を抽出し、該書類画像に所定の座標系を適用して、該座標系に基づく該特徴部の位置を求め、求めた位置を特定する位置情報を生成する第一位置情報生成手段と、
前記特徴部の画像中の黒画素の割合を求め、求めた黒画素の割合を示す割合情報を生成する第一割合情報生成手段と、
生成した前記位置情報と前記割合情報とを含む特徴情報を生成する第一特徴情報生成手段と、
前記特徴情報を前記書類画像に貼り付けて、特徴情報が貼付された書類画像の画像データを通信ネットワークを介して送信する送信手段、
として機能させるためのプログラムを記録することを特徴とする。
【００１６】
また、本発明の第６の観点に係る記録媒体は、
コンピュータを、書類画像の特徴部に基づいて作成された特徴情報を前記書類画像に貼付することにより生成された伝達用書類の認証を行う書類認証装置として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
該コンピュータを、
前記通信ネットワークを介して送信された画像データから特徴情報を切り出し、前記特徴情報が切り出された画像データについての特徴部を抽出する抽出手段と、
前記画像データに前記座標系を適用して、該所定の座標系に基づく該特徴部の位置を求め、求めた位置を特定する位置情報を生成する第二位置情報生成手段と、
前記特徴部の画像中の黒画素の割合を求め、求めた黒画素の割合を示す割合情報を生成する第二割合情報生成手段と、
生成した前記位置情報と前記割合情報とを含む特徴情報を作成する第二特徴情報生成手段と、
前記抽出手段が切り出した特徴情報と、前記第二特徴情報生成手段が生成した特徴情報と、を照合して前記伝達用書類の正当性をチェックするチェック手段、
として機能させるためのプログラムを記録することを特徴とする。
【００１７】
【発明の実施の形態】
以下、本発明の実施形態に係る書類認証システムについて図面を参照して説明する。
本実施形態に係る書類認証システムのシステム構成図を図１に示す。
図示されるように、本システムは、紙文書を発行する発行装置１と、受け取った紙文書（伝達用文書）の認証を行う認証装置３と、を備える。
【００１８】
発行装置１は、画像入力部１１と、入力画像蓄積部１２と、特徴算出部１３と、特徴蓄積部１４と、特徴量画像化部１５と、特徴量画像蓄積部１６と、出力画像生成部１７と、画像出力部１８と、を備える。
【００１９】
画像入力部１１は、例えばスキャナを含み、伝達対象の紙文書を読み取って文書画像データを取得し、それを入力画像蓄積部１２に保存する。
特徴算出部１３は、入力画像蓄積部１２に保存されている文書画像データについて、後述する所定の算出方法に従って、文書中の各文字列等について特徴量を算出し、特徴量情報として特徴蓄積部１４に保存する。
【００２０】
特徴量画像化部１５は、特徴蓄積部１４に保存されている特徴量情報に所定の変換処理を施して特徴量画像に変換し、特徴量画像蓄積部１６に保存する。
出力画像生成部１７は、入力画像蓄積部１２に保存されている文書画像データに、特徴量画像蓄積部１６に保存されている特徴量画像を貼り付ける等して出力画像を生成する。
画像出力部１８は、出力画像生成部１７により生成された出力画像を紙文書として印刷する。
【００２１】
認証装置３は、画像入力部３１と、入力画像蓄積部３２と、特徴量画像領域特定部３３と、特徴量画像領域座標蓄積部３４と、オリジナル画像再生部３５と、オリジナル画像蓄積部３６と、特徴算出部３７と、特徴量蓄積部３８と、特徴量画像切出部３９と、特徴量画像蓄積部４０と、オリジナル特徴量再生部４１と、オリジナル特徴量蓄積部４２と、差分判定部４３と、差分判定出力部４４と、を備える。
【００２２】
画像入力部３１は、スキャナを含み、発行装置１により発行された紙文書を読み取って得た文書画像データを入力画像蓄積部３２に保存する。
特徴量画像領域特定部３３は、入力画像蓄積部３２に保存されている文書データから、特徴量画像の領域を特定してその座標値を抽出し、特徴量画像領域座標蓄積部３４に保存する。
オリジナル画像再生部３５は、入力画像蓄積部３２に保存されている文書画像データに対して、特徴量画像領域座標蓄積部３４に保存されている領域を空白にした画像を作成し、オリジナル画像蓄積部３６に保存する。
【００２３】
特徴算出部３７は、オリジナル画像蓄積部３６に保存されている文書画像データについて、発行装置１の特徴算出部１３と同様の算出方法に従って、文書中の各文字列について特徴量を算出し、特徴量情報として特徴量蓄積部３８に保存する。
特徴画像切出部３９は、入力画像蓄積部３２に保存されている文書画像データから、特徴量画像領域座標蓄積部３４に保存されている座標の画像を切り出し、特徴量画像蓄積部４０に保存する。
【００２４】
オリジナル特徴量再生部４１は、特徴量画像蓄積部４０に保存されている特徴量画像から特徴量情報を再生し、オリジナル特徴量蓄積部４２に保存する。
差分判定部４３は、特徴量蓄積部３８に保存されている特徴量情報と、オリジナル特徴量蓄積部４２に保存されている特徴量情報を照合し、照合結果に基づいて紙文書の改竄の有無を判定する。
差分判定出力部４４は、差分判定部４３による判定結果を出力する。
【００２５】
次に、特徴算出部１３、３７による特徴量の算出処理について説明する。
まず、特徴算出部１３、３７は、処理対象の文書中の全文字列を包含するような枠ｆ１を決定する。そして、その枠ｆ１について左上端点を原点とし、右上端点の座標を（１００００，０）、左下端点の座標を（０，１００００）、右下端点の座標を（１００００，１００００）とするＸＹ平面座標系を基準座標系として設定する。
【００２６】
次に、特徴算出部１３、３７は、文書中の各文字列について８つの要素からなる特徴量（ｘ，ｙ，ｈ，ｗ，ｄ１，ｄ２，ｄ３，ｄ４）を求める。この特徴量の各要素は、対象文字列を囲む最小矩形の左上端点の基準座標系での座標値（ｘ，ｙ）と、対象文字列を囲む最小矩形の基準座標系での縦幅と横幅（ｈ，ｗ）と、対象文字列を囲む最小矩形を縦方向に四分割した場合における、分割された各矩形内での黒画素密度（ｄ１，ｄ２，ｄ３，ｄ４）と、からそれぞれ求める。このうち、黒画素密度ｄ１〜ｄ４は例えば次式を用いて求める。
ｄｉ＝黒画素数／全画素数×１００００ （ｉ＝１、２、３、４）
【００２７】
このように、特徴量について基準座標系を用いて正規化することにより、スキャナの読み取り解像度が変化しても、座標値（ｘ，ｙ）と縦幅と横幅（ｈ，ｗ）は大きく変化することはない。
また、スキャナの読み取り解像度の変化により、読み取り領域の画素数は変化するが、それに応じて黒画素数も変化するため、黒画素密度（ｄ１，ｄ２，ｄ３，ｄ４）についても影響を受け難くしている。
【００２８】
例えば図２に示すような帳票について特徴量を求める場合には、特徴算出部１３、３７は、全文字列を含む枠ｆ１を決定し、その枠ｆ１について、左上端点を原点とし、右上端点を（１００００，０）、左下端点を（０，１００００）、右下端点を（１００００，１００００）とする基準座標系を設定する。
そして、この文書中の各文字列「見積書」、「東南商事（株）御中」、「株式会社×××」等について、特徴量（ｘ，ｙ，ｈ，ｗ，ｄ１，ｄ２，ｄ３，ｄ４）をそれぞれ求める。
【００２９】
例えば文字列「東南商事（株）御中」については、図３（ａ）に示すように、文字列「東南商事（株）御中」を囲む最小矩形について、左上端点の座標値（８１０，１３８０）と、縦幅と横幅（１４５０，７８００）を求める。
また、図３（ｂ）に示すように、文字列「東南商事（株）御中」を囲む最小矩形を縦方向に四分割した場合の、分割された各矩形内での黒画素密度（３５０，２８１，２０１，１９２）を例えば上記の式を用いて求める。そして、求めた各数値に基づいて、文字列「東南商事（株）御中」の特徴量（８１０，１３８０，１４５０，７８００，３５０，２８１，２０１，１９２）を求める。
【００３０】
次に、差分判定部４３による紙文書の改竄の有無の判定処理について説明する。
この判定処理では、紙文書中の特徴量画像から取得した特徴量（発行側特徴量）と、発行文書から特徴量画像を除去した文書について算出した特徴量（受取側特徴量）と、を比較し、その差異が所定の範囲内にあるか否かを判定する。具体的には、文書中の各文字列について求めた発行側特徴量と受取側特徴量について、例えば次に示す第１、第２、第３の条件式の全てを満たすか否かを判別する。そして、全文字列の特徴量について第１〜第３の条件式が満たされる場合は、その紙文書は改竄されていないと判定する。
【００３１】
（１）第１の条件式
｜発行側特徴量の高さｈ−受取側特徴量の高さｈ｜／（ｍａｘ（発行側特徴量の高さｈ，受取側特徴量の高さｈ））＜α
（２）第２の条件式
｜発行側特徴量の幅ｗ−受取側特徴量の幅ｗ｜／（ｍａｘ（発行側特徴量の幅ｗ，受取側特徴量の幅ｗ））＜α
（３）第３の条件式
全てのｉ（ｉ＝１〜４）について、
｜発行側特徴量の黒画素密度ｄｉ−受取側特徴量の黒画素密度ｄｉ｜／（ｍａｘ（発行側特徴量の黒画素密度ｄｉ，受取側特徴量の黒画素密度ｄｉ））＜β
【００３２】
なお、第１〜第３の条件式で使用されるα、βはパラメータであり、実験等により得られた適正な数値を用いることが望ましい。例えば、発行側と受取側のスキャナの読取解像度が同じである場合には、αは０．０３、βは０．０４付近の数値を用いてもよい。
【００３３】
次に、本システムにおいて、文書の発行側で紙文書が発行され、その紙文書が受取側に持ち込まれ、認証を受けるまでの処理の流れについて図４を参照して説明する。
【００３４】
まず、発行側における発行装置１は、セットされた紙文書Ｄ１をスキャナ等で読み取り、文書画像データＤ２を生成する。次に、発行装置１は、生成された文書画像データＤ２に含まれる各文字列について特徴量Ｄ３を算出する。
発行装置１は、算出した特徴量Ｄ３を画像化して、特徴量画像Ｄ４を生成する。次に、発行装置１は、文書画像データＤ２に特徴量画像Ｄ４を貼り付けて伝達用の文書画像データＤ５を生成して印刷し、伝達用の紙文書Ｄ６を作成する。
【００３５】
発行側において発行装置１により発行された紙文書Ｄ６は受取側に渡される。
受取側では、受け取った文書の改竄の有無を検証するために、文書を受取側の認証装置３にセットする。
【００３６】
認証装置３は、セットされた紙文書Ｄ６をスキャナ等で読み取り、文書画像データＤ７を作成する。次に、認証装置３は、文書画像データＤ７から特徴量画像Ｄ８を抽出し、さらに、特徴量画像Ｄ８から特徴量（オリジナル特徴量）Ｄ９を再生する。
また、認証装置３は、文書画像データＤ７から特徴量画像Ｄ８を分離して、特徴量画像Ｄ８の部分を空白としたオリジナル文書画像Ｄ１０を生成し、このオリジナル文書画像Ｄ１０について特徴量Ｄ１１を算出する。
【００３７】
次に、認証装置３は、発行側から受け付けた紙文書について、その中の特徴量画像から作成されたオリジナル特徴量Ｄ９と、文書画像から特徴量画像Ｄ８を分離して得た文書画像に基づいて作成した特徴量Ｄ１１について、例えば上述した条件式を用いた比較処理を行う。
そして、比較した特徴量がほぼ一致すると判定した場合には、受取側に渡された文書の内容は改竄されていない旨を改竄検証の結果Ｄ１２として出力する。
また、比較した特徴量の差異が所定範囲を超えた場合には、文書の内容が改竄されている旨を改竄検証の結果Ｄ１２として出力する。
【００３８】
このようにして、文書における文字列等の特徴部分について、スキャナの解像度等に左右されない特徴量を求め、この情報を文書に貼り付けた紙文書を発行する。そして、受取側では、貼り付けられた情報から得た特徴量と、特徴量の情報を除いた文書から取得した特徴量を照合し、これらがほぼ一致するか否かを判別して、改竄の有無を検証する。これにより、紙文書をやり取りする場合に、紙に付着した汚れや、発行側と受取側のスキャナの解像度の違い等に左右されることなく適正な文書の認証を行うことができる。
【００３９】
なお、特徴量画像には例えばバーコードや２次元バーコード等を用いてもよい。例えば特徴量画像をバーコードとした場合であって、伝達対象の文書が図２に示すような帳票の場合には、文書中に１０個の文字列があるため、各文字列の特徴量に基づく１０個のバーコードが特徴量画像として貼付されることとなる。
【００４０】
また、第三者が、発行装置１により発行された紙文書について、オリジナルの文書画像データに改竄を加え、改竄後の文書画像データをもとに特徴量を生成し、その特徴量に基づく特徴量画像を貼付した紙文書を不正に生成することも考えられる。このため、発行側と受取側で公開鍵暗号方式を用いて、発行者の秘密鍵を有しない第三者の改竄を効果的に防止するようにしてもよい。具体的には、発行装置１において、算出された特徴量を発行者の秘密鍵で暗号化し、暗号化されたデータから特徴量画像を生成し、文書画像データに貼付して紙文書を生成する。一方、認証装置３では、受け取った紙文書の特徴量画像から得られたデータを発行者の公開鍵で復号化してオリジナル特徴量を再生し、特徴量画像を除いたオリジナル文書画像から取得した特徴量との比較処理を行う。
【００４１】
また、この書類認証システムは、紙文書の正当性を検証することが必要とされる種々の場合に適用可能である。
例えば、役所が紙で発行した住民票を、車検事務所等の第三者が認証するような場合、役所における発行装置１が住民票を紙で発行する。この住民票には、役所の秘密鍵で暗号化された特徴量が例えば二次元バーコード等の特徴量画像として添付されている。住民票を受け取った住民は、その住民票を、例えば自動車登録時に車検事務所に提出する。車検事務所の認証装置３は、セットされた住民票を読み取り、その特徴量画像から取得したデータを役所の公開鍵で復号化して得た特徴量（オリジナル特徴量）と、オリジナル文書画像から取得した特徴量と、を照合して、改竄の有無を判別する。
例えば、文書に改竄が加えられ、特徴量画像が変更されていない場合、認証装置３における特徴量の照合結果に基づいて改竄が検出される。
また、改竄時に、住民が特徴量画像を変更しようとしても、住民は役所の秘密鍵がわからないため、変更がなされた場合には不正が検出されることとなる。
【００４２】
また、上記の手順以外でも、例えばインターネット経由で役所から入手した文書画像データを住民が自宅のプリンタで印刷し、車検事務所に持参して、認証を受けることもできる。また、住民がファクシミリを用いて役所から文書画像データを取得するようにしてもよい。
【００４３】
また、本発明に係る書類認証システムは、紙による書類だけでなく、電子化された書類データについても適用可能である。この場合、発行装置１は、出力画像生成部１７により生成された特徴量画像が貼付された文書画像データを認証装置３に送信する送信部を備える。また、認証装置３は、発行装置１からの文書画像データを受信して、入力画像蓄積部３２に保存する受信部を備える。
【００４４】
また、本発明の書類認証システムの処理対象書類は、文書に限定されない。例えば、処理対象書類が図面である場合、発行装置１は、書面上の各図形について上記と同様にして特徴量を算出し、その特徴量に基づく特徴量画像を貼付した書面等を出力し、認証装置３は、受け取った書面中の特徴量画像から得られる特徴量と、書面の画像から特徴量画像を除去した画像から取得した特徴量と、を照合して、改竄の有無を判別する。
【００４５】
また、上記実施例では、文書の文字列についてそれぞれ特徴量を生成しているが、これは一例であり、特徴量を生成する単位は任意である。
また、上記実施例における特徴量は一例であり、スキャナなどの精度による画像の差に影響されないものであればよい。
【００４６】
また、特徴量の算出処理において、文書中の全文字列を含む枠ｆ１の右上端点のＸ座標値と左下端点のＹ座標値をともに１００００と設定したが、これは一例であり、任意の数値を取りうる。
また、黒画素数の算出式についても他の式を用いても良い。
【００４７】
また、上記説明における特徴量について、構成要素の一部を用いるようにしても良く、また、さらに他の要素を追加してもよい。
また、上記説明における特徴量の比較に用いる条件式は一例であり、他の条件式、他の判断方法等を用いてもよい。
【００４８】
なお、この発明の書類認証システムは、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、コンピュータに上述の動作を実行するためのプログラムを格納した媒体（フロッピーディスク、ＣＤ−ＲＯＭ等）から該プログラムをインストールすることにより、上述の処理を実行する発行装置１、認証装置３等を構成することができる。なお、上述の機能を、ＯＳが分担又はＯＳとアプリケーションの共同により実現する場合等には、ＯＳ以外の部分のみを媒体に格納してもよい。
【００４９】
なお、搬送波にプログラムを重畳し、通信ネットワークを介して配信することも可能である。例えば、通信ネットワークの掲示板（ＢＢＳ）に該プログラムを掲示し、これをネットワークを介して配信してもよい。
そして、このプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行させることにより、上述の処理を実行することができる。
【００５０】
【発明の効果】
以上説明したように、本発明によれば、書類発行側で、書類の特徴部について作成した特徴情報を書類画像に貼付し、書類受取側で、貼付された特徴情報を除いた書類画像について作成した特徴情報と、貼付された特徴情報とを照合することにより、改竄の有無を検証することができる。また、書類の特徴部について作成した特徴情報を用いることにより、特に書類を紙でやり取りする場合には、紙に付着した汚れ等に左右されることなく適正な書類の認証を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る書類認証システムのシステム構成図である。
【図２】特徴量を取得する際に文書に対して設定される基準座標系を説明するための図である。
【図３】特徴量の取得方法を具体的に説明するための図である。
【図４】図１の書類認証システムにおいて、発行された紙文書が認証を受けるまでの処理の流れを説明するための図である。
【符号の説明】
１ 発行装置
１１ 画像入力部
１２ 入力画像蓄積部
１３ 特徴算出部
１４ 特徴蓄積部
１５ 特徴量画像化部
１６ 特徴量画像蓄積部
１７ 出力画像生成部
１８ 画像出力部
３ 認証装置
３１ 画像入力部
３２ 入力画像蓄積部
３３ 特徴量画像領域特定部
３４ 特徴量画像領域座標蓄積部
３５ オリジナル画像再生部
３６ オリジナル画像蓄積部
３７ 特徴算出部
３８ 特徴量蓄積部
３９ 特徴量画像切出部
４０ 特徴量画像蓄積部
４１ オリジナル特徴量再生部
４２ オリジナル特徴量蓄積部
４３ 差分判定部
４４ 差分判定出力部
Claims (9)
- 書類発行側で伝達用書類を発行し、書類受取側で受け取った伝達用書類を認証する書類認証方法であって、
前記書類発行側において、処理対象の書類画像中の特徴部を抽出し、該書類画像に所定の座標系を適用して、該座標系に基づく該特徴部の位置を求め、求めた位置を特定する位置情報を生成し、さらに、該特徴部の画像中の黒画素の割合を求め、求めた黒画素の割合を示す割合情報を生成し、生成した位置情報と割合情報とを含む特徴情報を生成し、該特徴情報を前記書類画像に貼り付けて、特徴情報が貼付された書類画像の画像データを通信ネットワークを介して送信し、
前記書類受取側において、前記通信ネットワークを介して送信された画像データから特徴情報を切り出し、前記特徴情報が切り出された画像データについての特徴部を抽出し、該画像データに前記所定の座標系を適用し、該座標系に基づく該特徴部の位置を求め、求めた位置を特定する位置情報を生成し、さらに、該特徴部の画像中の黒画素の割合を求め、求めた黒画素の割合を示す割合情報を生成し、生成した位置情報と割合情報とを含む特徴情報を作成し、
前記切り出した特徴情報と、前記作成した特徴情報と、を照合して前記伝達用書類の正当性をチェックする、
ことを特徴とする書類認証方法。 - 前記書類発行側及び前記書類受取側の双方で前記特徴部を囲む矩形を設定し、設定された該矩形を複数の矩形に分割し、分割された各々の該矩形内での黒画素の割合を含む特徴情報を作成する、
ことを特徴とする請求項１に記載の書類認証方法。 - 前記書類発行側において、前記特徴情報を書類発行者の秘密鍵で暗号化し、暗号化された前記特徴情報を前記書類画像に貼り付けて前記伝達用書類を作成し、
前記書類受取側において、前記伝達用書類の画像から、暗号化された特徴情報を切り出し、前記暗号化された特徴情報を書類発行者の公開鍵で復号化し、復号化された前記特徴情報と、前記暗号化された特徴情報が切り出された画像について取得された特徴情報と、を照合する、
ことを特徴とする請求項１又は２に記載の書類認証方法。 - 伝達用書類を作成する書類作成装置と、前記書類作成装置により作成された伝達用書類の認証を行う書類認証装置と、を備える書類認証システムであって、
前記書類作成装置は、
処理対象の書類画像中の特徴部を抽出し、該書類画像に所定の座標系を適用して、該座標系に基づく該特徴部の位置を求め、求めた位置を特定する位置情報を生成する第一位置情報生成手段と、
前記特徴部の画像中の黒画素の割合を求め、求めた黒画素の割合を示す割合情報を生成する第一割合情報生成手段と、
生成した前記位置情報と前記割合情報とを含む特徴情報を生成する第一特徴情報生成手段と、
前記特徴情報を前記書類画像に貼り付けて、特徴情報が貼付された書類画像の画像データを通信ネットワークを介して前記書類認証装置に送信する送信手段と、を備え、
前記書類認証装置は、
前記通信ネットワークを介して前記種類作成装置から送信された画像データから特徴情報を切り出し、前記特徴情報が切り出された画像データについての特徴部を抽出する抽出手段と、
前記画像データに前記所定の座標系を適用して、該座標系に基づく該特徴部の位置を求 め、求めた位置を特定する位置情報を生成する第二位置情報生成手段と、
前記特徴部の画像中の黒画素の割合を求め、求めた黒画素の割合を示す割合情報を生成する第二割合情報生成手段と、
生成した前記位置情報と前記割合情報とを含む特徴情報を作成する第二特徴情報生成手段と、
前記抽出手段が切り出した特徴情報と、前記第二特徴情報生成手段が生成した特徴情報と、を照合して前記伝達用書類の正当性をチェックするチェック手段と、を備える、
ことを特徴とする書類認証システム。 - 前記書類作成装置の前記書類出力手段は、前記特徴情報を書類発行者の秘密鍵で暗号化し、暗号化された前記特徴情報を前記書類画像に貼り付けて前記伝達用書類を作成し、
前記書類認証装置の前記抽出手段は、前記伝達用書類の画像から、暗号化された特徴情報を切り出し、前記暗号化された特徴情報を書類発行者の公開鍵で復号化し、
前記書類認証装置の前記第二特徴情報生成手段は、前記暗号化された特徴情報が切り出された画像について特徴部を抽出し、該特徴部に基づく特徴情報を作成し、
前記書類認証装置の前記チェック手段は、前記復号化された前記特徴情報と、前記暗号化された特徴情報が切り出された画像について取得された特徴情報と、を照合する、
ことを特徴とする請求項４に記載の書類認証システム。 - 伝達用書類を作成する書類作成装置であって、
処理対象の書類画像中の特徴部を抽出し、該書類画像に所定の座標系を適用して、該座標系に基づく該特徴部の位置を求め、求めた位置を特定する位置情報を生成する第一位置情報生成手段と、
前記特徴部の画像中の黒画素の割合を求め、求めた黒画素の割合を示す割合情報を生成する第一割合情報生成手段と、
生成した前記位置情報と前記割合情報とを含む特徴情報を生成する第一特徴情報生成手段と、
前記特徴情報を前記書類画像に貼り付けて、特徴情報が貼付された書類画像の画像データを通信ネットワークを介して書類認証装置に送信する送信手段と、
を備えることを特徴とする書類作成装置。 - 書類画像の特徴部に基づいて作成された特徴情報を前記書類画像に貼付することにより生成された伝達用書類の認証を行う書類認証装置であって、
前記通信ネットワークを介して送信された画像データから特徴情報を切り出し、前記特徴情報が切り出された画像データについての特徴部を抽出する抽出手段と、
前記画像データに前記所定の座標系を適用して、該座標系に基づく該特徴部の位置を求め、求めた位置を特定する位置情報を生成する第二位置情報生成手段と、
前記特徴部の画像中の黒画素の割合を求め、求めた黒画素の割合を示す割合情報を生成する第二割合情報生成手段と、
生成した前記位置情報と前記割合情報とを含む特徴情報を作成する第二特徴情報生成手段と、
前記抽出手段が切り出した特徴情報と、前記第二特徴情報生成手段が生成した特徴情報と、を照合して前記伝達用書類の正当性をチェックするチェック手段と、
を備えることを特徴とする書類認証装置。 - コンピュータを、伝達用書類を作成する書類作成装置として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
該コンピュータを、
処理対象の書類画像中の特徴部を抽出し、該書類画像に所定の座標系を適用して、該座標系に基づく該特徴部の位置を求め、求めた位置を特定する位置情報を生成する第一位置 情報生成手段と、
前記特徴部の画像中の黒画素の割合を求め、求めた黒画素の割合を示す割合情報を生成する第一割合情報生成手段と、
生成した前記位置情報と前記割合情報とを含む特徴情報を生成する第一特徴情報生成手段と、
前記特徴情報を前記書類画像に貼り付けて、特徴情報が貼付された書類画像の画像データを通信ネットワークを介して送信する送信手段、
として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 - コンピュータを、書類画像の特徴部に基づいて作成された特徴情報を前記書類画像に貼付することにより生成された伝達用書類の認証を行う書類認証装置として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
該コンピュータを、
前記通信ネットワークを介して送信された画像データから特徴情報を切り出し、前記特徴情報が切り出された画像データについての特徴部を抽出する抽出手段と、
前記画像データに前記座標系を適用して、該所定の座標系に基づく該特徴部の位置を求め、求めた位置を特定する位置情報を生成する第二位置情報生成手段と、
前記特徴部の画像中の黒画素の割合を求め、求めた黒画素の割合を示す割合情報を生成する第二割合情報生成手段と、
生成した前記位置情報と前記割合情報とを含む特徴情報を作成する第二特徴情報生成手段と、
前記抽出手段が切り出した特徴情報と、前記第二特徴情報生成手段が生成した特徴情報と、を照合して前記伝達用書類の正当性をチェックするチェック手段、
として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000125095A JP3872933B2 (ja) | 2000-04-26 | 2000-04-26 | 書類認証方法、システム、書類作成装置、書類認証装置及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000125095A JP3872933B2 (ja) | 2000-04-26 | 2000-04-26 | 書類認証方法、システム、書類作成装置、書類認証装置及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001309157A JP2001309157A (ja) | 2001-11-02 |
| JP3872933B2 true JP3872933B2 (ja) | 2007-01-24 |
Family
ID=18635109
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000125095A Expired - Fee Related JP3872933B2 (ja) | 2000-04-26 | 2000-04-26 | 書類認証方法、システム、書類作成装置、書類認証装置及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3872933B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3804012B2 (ja) | 2002-03-08 | 2006-08-02 | 沖電気工業株式会社 | 文書画像の改ざん判定方法及びシステム、並びにその制御用プログラム |
| JP2005151358A (ja) * | 2003-11-18 | 2005-06-09 | Canon Inc | データ保存装置およびデータ保存方法 |
| US7715034B2 (en) | 2003-10-17 | 2010-05-11 | Canon Kabushiki Kaisha | Data processing device and data storage device for performing time certification of digital data |
| CN1910900B (zh) * | 2004-01-22 | 2011-05-25 | 索尼株式会社 | 防止擅自复制的设备、方法和程序 |
| JP4159505B2 (ja) | 2004-04-28 | 2008-10-01 | 株式会社沖データ | 画像形成装置及び検証装置 |
| JP2006157831A (ja) * | 2004-12-01 | 2006-06-15 | Oki Electric Ind Co Ltd | 改ざん検出装置，透かし入り画像出力装置，透かし入り画像入力装置，透かし入り画像出力方法，および透かし入り画像入力方法 |
| JP2007233641A (ja) * | 2006-02-28 | 2007-09-13 | Mizuho Bank Ltd | 申込書作成支援方法及び申込書作成支援プログラム |
| US8316425B2 (en) * | 2006-02-28 | 2012-11-20 | Konica Monolta Laboratory U.S.A., Inc. | Method and apparatus for authenticating printed documents |
| KR100798688B1 (ko) | 2006-05-15 | 2008-01-28 | 주식회사 안다미로 | 유가증권 인증장치 및 그 방법 |
| JP5011233B2 (ja) | 2008-08-25 | 2012-08-29 | 株式会社Ｐｆｕ | 改竄検出用情報出力システム、方法およびプログラム |
| JP6314631B2 (ja) * | 2014-05-02 | 2018-04-25 | コニカミノルタ株式会社 | 画像処理装置、画像形成装置、画像処理方法、および画像処理プログラム |
| JP6357871B2 (ja) * | 2014-05-23 | 2018-07-18 | コニカミノルタ株式会社 | 情報収集方法、情報収集システム、およびコンピュータプログラム |
-
2000
- 2000-04-26 JP JP2000125095A patent/JP3872933B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001309157A (ja) | 2001-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1662699B1 (en) | Document authentication combining digital signature verification and visual comparison | |
| US7533062B2 (en) | Method for creating self-authenticating documents | |
| US7028902B2 (en) | Barcode having enhanced visual quality and systems and methods thereof | |
| JP5011233B2 (ja) | 改竄検出用情報出力システム、方法およびプログラム | |
| US8477379B2 (en) | Secure document workflow | |
| US20110161674A1 (en) | Document authentication using document digest verification by remote server | |
| US7024558B1 (en) | Apparatus and method for authenticating digital signatures and computer-readable recording medium thereof | |
| US10102439B2 (en) | Document verification method and system | |
| JP3872933B2 (ja) | 書類認証方法、システム、書類作成装置、書類認証装置及び記録媒体 | |
| WO2001015382A1 (en) | Legitimacy protection of electronic document and a printed copy thereof | |
| US8145609B2 (en) | Information processing device, information processing system, seriality verification device, and computer-readable medium | |
| JP2002344736A (ja) | プリント紙の原本保証システム，プリンタ装置，および，検証装置 | |
| JP4168673B2 (ja) | 文書交付システム、認証システム、方法、及びプログラム群 | |
| JP3468608B2 (ja) | 印刷物の検証装置 | |
| JP4482814B2 (ja) | 文書原本性保証装置、文書原本性保証方法、文書原本性保証プログラム及び文書原本性検証装置 | |
| EP1670236A2 (en) | Image data registration and verification methods and apparatus | |
| JP4923388B2 (ja) | 内容証明システム | |
| KR20100085633A (ko) | 시점확인 기능이 추가된 종이문서의 전자화 시스템 및 방법 | |
| JP4289233B2 (ja) | 印刷物発行装置，印刷物検証装置，および印刷物処理システム | |
| JP2008065661A (ja) | 印刷管理装置、印刷解析システム、印刷システム、制御プログラム、文書発行システム | |
| JP4297040B2 (ja) | 電子透かし入り文書取扱装置、電子透かし入り文書取扱システムおよび電子透かし入り文書取扱方法 | |
| KR20030091883A (ko) | 색상 밀도를 이용한 문서 위조/변조 방지를 위한 시스템및 그 방법 | |
| JPH117506A (ja) | 電子認証カードシステム | |
| KR100951587B1 (ko) | 코드 이미지를 통한 문서 서명 방법 | |
| KR101198391B1 (ko) | 신뢰성 있는 바코드를 생성, 인증 및 판독하는 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050112 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060707 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060718 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060914 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061017 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061023 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101027 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111027 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121027 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131027 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |