JP4297040B2 - 電子透かし入り文書取扱装置、電子透かし入り文書取扱システムおよび電子透かし入り文書取扱方法 - Google Patents

電子透かし入り文書取扱装置、電子透かし入り文書取扱システムおよび電子透かし入り文書取扱方法 Download PDF

Info

Publication number
JP4297040B2
JP4297040B2 JP2004342003A JP2004342003A JP4297040B2 JP 4297040 B2 JP4297040 B2 JP 4297040B2 JP 2004342003 A JP2004342003 A JP 2004342003A JP 2004342003 A JP2004342003 A JP 2004342003A JP 4297040 B2 JP4297040 B2 JP 4297040B2
Authority
JP
Japan
Prior art keywords
document
watermarked
digital
digital watermark
electronic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004342003A
Other languages
English (en)
Other versions
JP2006157229A (ja
Inventor
明宏 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2004342003A priority Critical patent/JP4297040B2/ja
Publication of JP2006157229A publication Critical patent/JP2006157229A/ja
Application granted granted Critical
Publication of JP4297040B2 publication Critical patent/JP4297040B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Description

本発明は、印刷文書に対してデジタル情報を埋め込んだり、印刷文書の改ざんを防止したりする為の電子透かしに関する発明である。
今日の社会では、「文書」による取引が広く行われている。ここで「文書」とは各種申請書や証明書などである。これらの文書は、デジタル化された電子文書の形態で扱われる場合もあるが、印刷文書が用いられることも多い。これは電子文書の場合、それを読むのにパソコン等が必要であるのと比較し、印刷文書の場合、それらを必要とせず、コストが安いのと、また、文書の一覧性の良さや持ち運び・配布の容易さ等が広く受け入れられているためである。
他方、印刷文書の場合、文書の改ざんが問題となる。そこで、電子透かし技術によって印刷文書の改ざんを判定することが行われている。特許文献1は、そのような技術を開示している文献の一つである。なお、電子透かし技術は、印刷文書の改ざんを判定する以外に、印刷文書にデジタル情報を埋め込むのにも用いられている。
特開2000−232573号公報
上述の文献によれば、帳票等の印刷物に印字データを印刷する際に、印字データの他に、印字データに対応した電子透かし情報を印刷する。これにより、印刷結果とその電子透かし情報で印刷されたものとを比較することで、印刷結果が改ざんされているかを判別する。
しかしながら、従来、電子透かし情報(以下、「電子透かし」と略記する)を埋め込んだ印刷文書(以下、「電子透かし入り印刷文書」という)の元の印字データ(原文書)は残して、電子透かしに別のデジタル情報を追加したり変更したりする技術はなかった。ここで、埋め込まれたデジタル情報に対して別の情報を追加・変更することができると以下のようなことが可能になる。
先ず、電子透かし入り印刷文書に対して、後日付加情報を変更することができる。例えば印刷文書の保管場所が埋め込まれている場合、保管場所が変更されたときに、保管場所に関する埋め込みデータを変更することができる。
また、電子透かし入り印刷文書に対して、承認印や承認サインなどを上書きした後、元の付加情報に追加された承認印や承認サインに関わる情報を追加してこれら承認印や承認サインの改ざん保護を行うことができる。
さらに、電子署名が埋め込まれた電子透かし入り印刷文書に対して、別の人の電子署名を追加することができる。例えば印刷された稟議書に対して本人→課長→部長という承認を電子署名の追加で行うことができる。
さらに、電子署名が埋め込まれた電子透かし入り印刷文書に対して電子署名の有効期限を延長することができる。延長する方法として"RFC3126:Electronic Signature Formats for long term electronic signatures"と呼ばれる規格がある。これは有効期限が切れる前に有効期限の余裕のある署名鍵で、元データとその電子署名に対して新たに電子署名することで延長を図る方法である。
本発明では、文字、記号、図等から成る原文書の中にその文書に関連して作成したデー
タを電子透かしとして埋め込んだ電子透かし入り文書を取り扱う。そして、上述の課題を
解決するため、本発明の電子透かし入り文書取扱装置では、第1の電子透かし入り文書を機械的に読み取る読取手段と、読取手段の読取結果に基づいて電子透かしとして埋め込まれた第1のデータを抽出する電子透かし読取手段と、第2のデータを取得して電子透かしを作成する電子透かし作成手段と、読取手段の読取結果に基づいて原文書を抽出する原文書抽出手段と、電子透かし読取手段が抽出した第1のデータを消去し、原文書抽出手段が抽出した原文書と電子透かし作成手段が第2のデータから作成した電子透かしを使用して第2の電子透かし入り文書を作成する電子透かし入り文書作成手段と、電子透かし入り文書作成手段が作成した第2の電子透かし入り文書を機械的に読取可能な記録媒体に記録する記録手段とを備える。
電子透かしは、1つが複数の画素ブロックで構成されるユニットパターンを複数組み合わせて作成される。さらに、他の電子透かし入り文書取扱装置では、電子透かしとして埋め込む電子署名を作成する電子署名作成手段を備え、電子署名作成手段は、第2のデータに基づいて電子署名を作成する。
さらに、他の電子透かし入り文書取扱装置では、読取手段の読取結果に基づいて電子透かし入り文書に埋め込まれた改ざん検出用の改ざん検出情報を抽出し、改ざん検出情報と原文書抽出手段が抽出した原文書を比較して、改ざん検出情報と原文書とが異なる場合は、原文書抽出手段が抽出した原文書を利用して第2の改ざん検出情報を作成する改ざん検出情報修正手段とをさらに備え、記録手段は、改ざん検出情報修正手段が作成した第2の改ざん検出情報を記録媒体に記録する。
さらに、他の電子透かし入り文書取扱装置では、改ざん検出情報は、改ざん検出用の情報として読取手段が読取る前の第1の電子透かし入り文書の原文書に対する文字情報を少なくとも含み、読取手段の読取結果に基づいて電子透かし入り文書に埋め込まれた改ざん検出用の改ざん検出情報を抽出し、改ざん検出情報と原文書抽出手段が抽出した原文書を比較して、改ざん検出情報と原文書とが異なる場合は、改ざん検出情報の文字情報に基づいて原文書抽出手段が抽出した原文書を読取手段が読取る前の第1の電子透かし入り文書の原文書に修正する原文書修正手段とをさらに備え、電子透かし入り文書作成手段は、電子透かし読取手段が抽出した第1のデータを消去し、原文書修正手段が修正した原文書と電子透かし作成手段が第2のデータから作成した電子透かしを使用して第2の電子透かし入り文書を作成する。
さらに、他の電子透かし入り文書取扱装置では、指定された領域の改ざん検出情報を作成する改ざん検出情報作成手段を備え、記録手段が指定された領域に関する情報と改ざん検出情報とを記録媒体に記録する。さらに、他の電子透かし入り文書取扱装置では、指定された領域は捺印欄又はサイン欄である。さらに、他の電子透かし入り文書取扱装置では、改ざん検出情報は、改ざん検出用の情報として読取手段が読み取る前の第1の電子透かし入り文書の原文書に対する文字情報又は画像情報である。
さらに、他の電子透かし入り文書取扱装置では、クライアントとクライアントにネットワークを介して接続されたサーバとからなり、電子透かし作成手段をサーバに設ける。さらに、他の電子透かし入り文書取扱装置では、クライアントとクライアントにネットワークを介して接続されたサーバとからなり、読取手段と記録手段をクライアントに設ける。
この他、本発明の電子透かし入り文書取扱システムでは、文字、記号、図から成る原文書の中にその文書に関連して作成したデータを電子透かしとして埋め込んだ電子透かし入り文書を取り扱う電子透かし入り文書取扱システムであって、電子透かし入り文書を機械的に読取可能な第1の記録媒体に記録する第1の記録手段を有する第1の装置と、第1の電子透かし入り文書を機械的に読み取る読取手段と、読取手段の読取結果に基づいて電子透かしとして埋め込まれた第1のデータを抽出する電子透かし読取手段と、第2のデータを取得して電子透かしを作成する電子透かし作成手段と、読取手段の読取結果に基づいて原文書を抽出する原文書抽出手段と、電子透かし読取手段が抽出した第1のデータを消去し、原文書抽出手段が抽出した原文書と電子透かし作成手段が第2のデータから作成した電子透かしを使用して第2の電子透かし入り文書を作成する電子透かし入り文書作成手段と、電子透かし入り文書作成手段が作成した第2の電子透かし入り文書を機械的に読取可能な第2の記録媒体に記録する第2の記録手段とを有する第2の装置からなる。
この他、本発明の電子透かし入り文書取扱方法では、文字、記号、図から成る原文書の中にその文書に関連して作成したデータを電子透かしとして埋め込んだ電子透かし入り文書を取り扱う電子透かし入り文書取扱方法であって、読取手段が、第1の電子透かし入り文書を機械的に読み取る読取ステップと、電子透かし読取手段が、読取ステップの読取結果に基づいて電子透かしとして埋め込まれた第1のデータを抽出する電子透かし読取ステップと、電子透かし作成手段が、第2のデータを取得して電子透かしを作成する電子透かし作成ステップと、原文書抽出手段が、読取ステップの読取結果に基づいて原文書を抽出する原文書抽出ステップと、電子透かし入り文書作成手段が、電子透かし読取ステップが抽出した第1のデータを消去し、原文書抽出ステップが抽出した原文書と電子透かし作成ステップが第2のデータから作成した電子透かしを使用して第2の電子透かし入り文書を作成する電子透かし入り文書作成ステップと、記録手段が、電子透かし入り文書作成ステップが作成した第2の電子透かし入り文書を機械的に読取可能な記録媒体に記録する記録ステップとを備える。
先ず、第1の実施例について説明する。この第1の実施例では、元となる電子透かし入り印刷文書を読み取り、読み取った画像(以下、「スキャン画像」という)から電子透かし部分を消して原文書を抽出し、また、新たに作成したデジタル情報に基づいて電子透かしを作成する。そして、この抽出した原文書と新たに作成した電子透かしを合成することにより、原文書に新たに作成した電子透かしを埋め込んで新しい用紙に印刷する。
図1は、電子透かし入り文書印刷装置の第1の実施例である。また、同図(a)は、元になる電子透かし入り文書を作成し印刷するための装置、同図(b)は、同図(a)の装置によって印刷された電子透かし入り印刷文書を読み取り、そこから電子透かし部分を消して原文書を抽出し、また、新しい電子透かしを作成し、これにより、原文書は同じで電子透かしが異なる電子透かし入り文書を作成し印刷するための装置である。
図1(a)において、原文書データ001は、電子透かしを埋め込む前の文書データである。具体的にはテキストファイル、ワープロファイル、画像データなどである。埋め込みデータ002(1)は、電子透かしとして埋め込むデータである。例えば、原文書データ001に対する改ざん検出に必要な情報(文書の文字や文書の画像的な特徴など)や文書発行者の情報(氏名、所属など)や文書の属性情報(作成日時、文書のタイトル、保管場所など)である。この埋め込みデータは印刷データに関するデータと文書発行者の情報など複数のデータ要素を組み合わせて構成しても良い。電子署名秘密鍵003(1)は、電子署名を行うための秘密鍵である。具体的には公開鍵アルゴリズム技術であるRSAやDSAなどである。またHMACなど署名側と検証側が同じ鍵で行うアルゴリズムでも良い。なお、以下の説明においては、これを単に秘密鍵003(1)と略記する。白紙004は、何も印刷されていない用紙である。
電子透かし入り印刷文書005(1)は、原文書に電子透かしを埋め込み印刷した文書であり、例えば、ユニットパターンからなる電子透かしが埋め込まれている。なお、ユニットパターンを用いた電子透かしについては、本出願人の出願に係る特開2003-209676号公報(電子透かし埋め込み装置、電子透かし検出装置、電子透かし埋め込み方法、及び、電子透かし検出方法)を参照のこと。
ここで、図2は、ユニットパターンからなる電子透かしを説明する図である。図のように、電子透かし全体はドットで構成された小さなN個のパターン(以下、ユニットパターン)で構成されている。この各ユニットパターン一つ一つが数値(0〜N-1)を意味する。また、この電子透かしは、境界情報領域、属性情報領域、及びメイン情報領域を備えている。境界情報領域、ここには予め定められた特定のユニットパターンが印刷されており、これによって読み取り側は電子透かしの境界を識別できる。属性情報領域、ここには電子透かしの大きさやメイン領域の符号化方法など、メイン領域の埋め込みデータを読み取るのに必要な情報が格納されている。メイン領域、ここには使用するアプリケーションによって埋め込まれる任意の情報が入る。一方、読み取り側では、この個々のユニットパターンの検出をテンプレートマッチングや任意の方向性や形状に対するフィルタ特性を持つ2次元フィルタ(例えば2次元ガボールフィルタ)などで抽出する。
図2に示す電子透かしを用いた場合、特定のユニットパターンを位置検出用として境界情報領域や基準位置に規則正しく配置して印刷することにより、読み取りの際に、これらの位置検出用のユニットパターンを抽出することで、傾きや紙のしわがあっても読み取り側ではスキャン画像から本来の正しい位置を求めることができる。また、印刷用紙の汚れやしわなどを考慮して埋め込む情報を複数箇所に分割して配置したり、誤り耐性符号(パリティチェック符号、ハミング符号、BCH符号など)で埋め込んだりしたりして、ユニットパターンの一部が欠けても読み取り側で読み取れるようにすることも可能である。
図1(a)の説明に戻り、電子透かし入り文書作成部101は、原文書データ001と埋め込みデータ002(1)とその電子署名から電子透かし入り文書を作成する。具体的には、埋め込みデータ002(1)と電子署名に基づいて電子透かしを作り、これと原文書を重ね合わせる(図3)。なお、電子透かし入り文書、電子透かし及び原文書とは、印刷用の文書画像をいう。電子署名作成部102は、埋め込みデータ002(1)に対して秘密鍵003(1)で電子署名を行う処理を行う。印刷部103は、電子透かし入り文書を印刷する。以下の説明では、これら電子透かし入り文書作成部101、電子署名作成部102及び印刷部103を併せて電子透かし入り文書印刷装置100と呼ぶ(破線で囲んだ部分)。
次に、図1(b)において、電子透かし入り印刷文書 005(1)は、上述の電子透かし入り文書印刷装置100により印刷された文書であり、原文書に電子透かしが埋め込まれた文書である。電子署名公開鍵データベース006は、電子透かし入り印刷文書 005(1)に埋め込まれた電子署名の検証に使う公開鍵を1つまたは複数格納し、秘密鍵003(1)と対になる公開鍵証明書を格納している。各公開鍵は通常X.509公開鍵証明書と呼ばれる形式で格納されるが、これに限定されるものではない。この電子署名公開鍵データベース006は外部サーバに格納しておいても良いし、装置内部に格納しても良い。埋め込みデータ002(2)は、電子透かしを追加・変更するために埋め込むデータである。電子署名秘密鍵003(2)は、追加・変更された埋め込みデータに電子署名を行うための秘密鍵である。なお、以下の説明においては、これを単に秘密鍵003(2)と略記する。白紙004は、何も印刷されていない用紙である。
次に破線で囲んだ電子透かし入り文書印刷装置200について説明する。スキャナ部201は、電子透かし入り印刷文書 005(1)を画像として読み取る装置である。具体的にはスキャナやデジタルカメラなどである。電子透かし読み取り部202は、スキャナ部201で読み取った画像の中から電子透かしを抽出し埋め込みデータ002(1) を検出する。なお、電子透かしは、個々のユニットパターンをテンプレートマッチングや2次元フィルタなどで検出することにより抽出する。電子署名検証部203は、電子透かし入り印刷文書 005(1)に埋め込まれた埋め込みデータ002(1)に対する電子署名の検証を行う。印字抽出・改ざん検出部204は、スキャナ部201で読み取った画像の中から電子透かしを除いた印字部分(以下、単に印字部分と略記する)を抽出して文書画像、つまり原文書を出力する処理を行う。例えば、輝度値をある閾値で2値化して、小さい点を取り除くことで印字部分だけを抽出する。なお、電子透かしを構成するユニットパターンが印字部分と異なる色や形状であれば、その条件でユニットパターンを取り除いて印字部分を抽出しても良い。また、埋め込みデータ002(1)に改ざん検出に必要な情報が含まれる場合は、ここで抽出した印字と埋め込まれたデータを比較して文書の改ざん箇所を検出する。
電子透かし入り文書作成部205は、電子透かし読み取り部202が出力する元の埋め込みデータ002(1)と、新たに入力した新規埋め込みデータ002(2)と、元の埋め込みデータ002(1)若しくは新規埋め込みデータ002(2)、またはその両方に対して秘密鍵003(2)で署名された電子署名データと、印字抽出・改ざん検証部204が出力する文書画像によって電子透かし入り文書を作成する。なお、内部の処理は上述の電子透かし入り文書作成部101と同じである。電子透かし入り文書の埋め込みデータと電子署名の組み合わせ例を図4〜図6に示す。
図4は、元の埋め込みデータに対して埋め込みデータの追加がない場合の例である。例えば、文書に対して元の埋め込みデータを変更せずに複数の人が電子署名する場合である。また、秘密鍵に有効期限がある場合に、有効期限が切れる前に更新した鍵で署名する場合である。この場合、文書に対する電子署名の有効期限を延長させることができる。なお、同図(a)は、埋め込みデータ002(1)に対し、秘密鍵003(2)に基づいて電子署名を行う場合である。また、(b)は、埋め込みデータ002(1)及び秘密鍵003(1)に基づいて作成された電子署名に対し、秘密鍵003(2) に基づいて電子署名を行う場合である。
図5は、埋め込みデータの追加を伴う場合である。例えば、文書に対して新たに埋め込みデータを追加する場合である。なお、同図(a)は、埋め込みデータ002(2)を追加し、そして該埋め込みデータ002(2)に対し、秘密鍵003(2)に基づいて電子署名を行う場合である。また、(b)は、埋め込みデータ002(1)、秘密鍵003(1)に基づく電子署名及び埋め込みデータ002(2)に対し、秘密鍵003(2)に基づいて電子署名を行う場合である。
図6は、埋め込みデータを変更する場合である。同図は、埋め込みデータ002(1)を全て埋め込みデータ002(2)に変更した例であるが、埋め込みデータ002(1)の一部を他の埋め込みデータに変更するようにしても良い。
図1(b)の説明に戻り、電子署名作成部206は、電子透かし入り文書作成部205が出力するデータに対して秘密鍵003(2)で電子署名を作成する。印刷部207は、電子透かし入り文書を印刷する。
次に図7を用いて動作を説明する。図7は第1の実施例の動作フローであり、左側が電子透かし入り文書印刷装置100の動作フローであり、右側が電子透かし入り文書印刷装置200の動作フローである。
先ず、電子透かし入り文書印刷装置100の動作から説明を始める。
処理が開始されると(S101)、原文書データ001と埋め込みデータ002(1)が電子透かし入り文書作成部101に入力される (S102)。また、埋め込みデータ002(1)と秘密鍵003(1)が電子署名作成部102に入力され、これにより電子署名作成部102において、埋め込みデータ002(1)に対し、秘密鍵003(1)基づいて電子署名が作成される(S103)。さらに、電子透かし入り文書作成部101において、原文書データ001、埋め込みデータ002(1)及び電子署名作成部102から出力される電子署名によって電子透かし入り文書が作成される(S104)。こうして作成された電子透かし入り文書は、その後、印刷部103において、白紙004に印刷され(S105)、電子透かし入り印刷文書005(1)が作成される。
次に、電子透かし入り文書印刷装置200の動作を説明する。
処理が開始すると(S111)、電子透かし入り文書印刷装置100が印刷した電子透かし入り印刷文書005(1)をスキャナ部201で読み取る(S112)。次に、電子透かし読み取り部202において、当該印刷文書に埋め込まれた埋め込みデータ002(1)を抽出する。なお、この抽出したデータの内容は装置の表示部に表示しても良い(S113)。さらに、電子署名検証部203において、電子署名公開鍵データベースに格納されている電子署名公開鍵を用いて、当該印刷文書に対する電子署名の有効性の検証、つまり正規の秘密鍵003(1)によって電子署名されたものか否かを検証する(S114、S115)。ここで、電子署名が有効である場合はS116に進む。有効でない場合はS125に進み署名が無効であることを使用者に通知して終了する。
次に、電子署名が有効の場合、S116に進み、印字抽出・改ざん検証部204において、印字部分を抽出して文書画像(原文書)を得る(S116)。また、埋め込みデータに改ざん検出に必要な情報が含まれている場合は、文書の改ざん箇所を検出する(S117)。ここで、改ざんがなかった場合はS119に進み、改ざんがあった場合はS124に進み改ざんがあったことを使用者に通知して終了する(S118)。
こうして、電子署名が有効で、かつ改ざんが検出されない場合、S119に進み、電子透かし入り文書作成部205は埋め込みデータ002(2)を読み込む(S119)。その後、電子署名作成部206において、署名対象となるデータに対して秘密鍵003(2)で電子署名を作成する(S120)。署名対象となるデータの例は図4〜図6に示した通りである。次いで、電子透かし入り文書作成部205において、S116で印字分を抽出して得た文書画像、つまり原文書(印字抽出・改ざん検証部204の出力)と、埋め込みデータ(002(2))と、S120で作成した電子署名(電子署名作成部206の出力)から電子透かし入り文書を作成する(S121)。そして、印刷部207において、この電子透かし入り文書を白紙004に印刷し、電子透かし入り印刷文書005(2)を作成する(S122)。
以上、第1の実施例について説明した。この第1の実施例では以下の効果がある。
1.電子透かし入り印刷文書に対して、電子透かしとして埋め込まれたデータの追加・変更を複数回行うことができる。これにより、例えば埋め込まれた文書の管理情報(管理番号、置き場所など)が変更になった場合であっても、電子透かしとして埋め込む情報を変更して容易に対応することができる。
2.電子透かし入り印刷文書に対して、新たに別の電子署名を追加することができるので、例えは複数の承認が必要な文書に使うことができる。また、電子署名の有効期限が切れる前に、秘密鍵を有効期限がまだ先の秘密鍵に更新し、この秘密鍵で電子署名することで、電子署名の有効期限を延長することができる。この電子署名の有効期限を延長する規格として“RFC3126:Electronic Signature Formats for long term electronic signature”があるが、この規格に従っても良い。またタイムスタンプを単独にまたは電子署名と併用して使っても良い。これによって文書の発行時刻を保証することができる。このタイムスタンプの代表的な規格に“RFC3161:Internet X.509 Public Key Infrastructure Time-Stamp Protocol(TSP) “があるが、他のタイムスタンプ規格やタイムスタンプアルゴリズムでも良い。
3.印刷文書にしわがあったり、印刷文書が傾いた状態でスキャンされたりした場合でも、電子透かしに位置検出用のユニットパターンを含めることによって、読み取った印字を補正することができるので、追加・変更された電子透かし入り印刷文書には歪みや傾きが補正された印字が反映される。
次に、本発明の第2の実施例を説明する。この第2の実施例では、更新した電子透かし入り文書を新しい用紙に印刷するのではなく、元の用紙に上書き印刷する。例えば、電子透かしを色やパターンを変えて重ねたり(図9)、透かしの埋め込み場所を変えたりして印刷する(図10)。
図8は、電子透かし入り文書印刷装置の第2の実施例である。なお、第2の実施例においても、第1の実施例と同様に電子透かし入り文書印刷装置100を用いるが、構成が図1におけるものと同じであるので、図8では電子透かし入り文書印刷装置100を省略している。但し、そこで使うユニットパターンとして、図9(a)のユニットパターンを用いる。又は、図10(a)のように、用紙上側に電子透かしを埋め込む。なお、このユニットパターンの形状及び電子透かしを埋め込む場所は、これに限定するものではなく、後で電子透かしを上書きするときに使うユニットパターンと区別することができ、又は上書きするときの場所を確保することができれば良い。
次に、図8の電子透かし入り文書印刷装置300(破線で囲んだ部分)について説明する。この装置が、第1の実施例における電子透かし入り文書印刷装置200と異なる部分は、電子透かし作成部301である。また、印刷部207が、電子透かしを新しい用紙に印刷するのではなく、元の電子透かし入り印刷文書005(1)に上書き印刷することである。その為に、例えば、図9(b)のように、上書きに使うユニットパターンは、元のユニットパターンと形状を変える。又は、図10(b)のように、予め空けてある領域(用紙下方)に電子透かしを印字する。これによって、電子透かし入り印刷文書005(2)から埋め込みデータを取り出す際に、電子透かし入り文書印刷装置100で埋め込まれた埋め込みデータ002(1)と電子透かし入り文書印刷装置300で埋め込まれた埋め込みデータ002(2)の両方を抽出することができる。
なお、図9(b)のようにユニットパターンの形状を変える他にユニットパターンの色を変えても良い。この場合、元のユニットパターンと後から上書きしたユニットパターンを抽出する処理で色の条件も加えることができるので、埋め込みデータを抽出する際、より一層の効果がある。また、図10(b)のように埋め込み場所を変える場合、上書きする電子透かしの埋め込み場所は用紙の裏でも良い。
第2の実施例の場合、第1の実施例のところで説明した効果の他に、元の電子透かし入り印刷文書をそのまま使うことができるので、例えば、用紙のコピーが禁止された書類などに対しても、埋め込みデータを変更することができる。なお、第2の実施例の場合、元の電子透かし入り印刷文書に上書き印刷するので印字部分を抽出する必要はない。そのため、元の電子透かし入り印刷文書に対する改ざん検出を行わない場合は、印字抽出・改ざん検証部204は不要である。
次に、第3の実施例を説明する。
上述の第1及び第2の実施例では、電子透かしやプリンタ、スキャナの条件によっては改ざん検出に問題が生じることがある。つまり、改ざん検出に必要な情報は、元の電子透かし入り印刷文書作成時に作ったものであるが、印字抽出処理で2値化して抽出した印字部分が元の印字と若干変化したり、用紙の汚れなどが残ったりして、改ざん検出に悪影響が出る問題がある。この第3の実施例は、この問題を解決する為に、この印字抽出処理で抽出した結果を元にして新たに改ざん検出に必要な情報を作成することでこの問題の解決を図るものである。
図11、図12は、電子透かし入り文書印刷装置の第3の実施例であり、図11は第1の実施例を元に変更した例である。つまり、新しい用紙に印刷する例である。また、図12は第2の実施例を元に変更した例である。つまり、元の用紙に上書き印刷する例である。そして、第1、第2の実施例と異なる点は、電子透かし入り文書印刷装置200(第2の実施例の場合は電子透かし入り文書印刷装置300)に改ざん検出情報修正部401を追加したことである。この改ざん検出情報修正部401は、印字抽出・改ざん検証部204が抽出した印字情報を元に改ざん検出用の情報(文書の文字や文書の画像的な特徴など)を変更する。
図13は第3の実施例の動作フローであり、第1、第2の実施例と異なるのは、改ざん検出処理の後に改ざん検出情報を修正する処理(S301)を追加したことである。このステップS301は、印字抽出・改ざん検証部204が抽出した印字情報を元に改ざん検出用の情報(文書の文字や文書の画像的な特徴など)を変更する処理を行う。
この第3の実施例の場合、第1、第2の実施例のところで説明した効果の他に、次の効果がある。つまり、抽出した印字部分が元の印字と若干変化してしまう、紙の汚れなどが残ってしまうなどの問題に対して、その抽出した印字を基に改ざん検出用の情報を変更するので、埋め込みデータを追加・変更した電子透かし入り印刷文書においても精度よく改ざん検出を行うことができる。
第3の実施例では、印字部分が元の印字と若干変化してしまう、紙の汚れなどが残ってしまうなどの問題に対し、改ざん検出情報を修正することで解決した。これに対し、第4の実施例では、印字部分を元の印字に修正することで解決を図るものである。なお、この第4の実施例は、第1の実施例のように埋め込みデータを追加・変更した電子透かし入り文書を白紙に印刷する場合に適用できる。
図14は、電子透かし入り文書印刷装置の第4の実施例であり、第1の実施例と異なる点は、電子透かし入り文書印刷装置に印字修正部501を追加したことである。この実施例の場合、印字抽出・改ざん検証部204は、印字部分を抽出し、また、電子透かしとして埋め込まれている改ざん検出用の情報(文書の文字や文書の画像的な特徴など)を抽出する。そして、印字修正部501は、この改ざん検出用の情報に基づいて印字部分を修正する。例えば、改ざん検出用の情報として文書の文字情報(文字コードとかフォント情報など)が含まれている場合は、その情報に基づいて印字部分を修正する。
図15は、第4の実施例の動作フローであり、第1の実施例と異なるのは、改ざん検出処理の後に、印字部分を修正する処理(S401)を追加したことである。このステップS401では、元の電子透かし入り印刷文書005(1)に埋め込まれていた改ざん検出用の情報(文書の文字や文書の画像的な特徴など)に基づいて印字部分を修正する。
この第4の実施例の場合、抽出した印字部分が元の印字と若干変化してしまう、紙の汚れなどが残ってしまうなどの問題に対して、埋め込まれている改ざん検出用の情報に基づいて印字部分を修正するので、埋め込みデータを追加・変更した電子透かし入り印刷文書においても精度よく改ざん検出を行うことができる。
第5の実施例は、追加した文字・画像などの改ざんを検出することができるようにした電子透かし入り文書印刷装置の実施例である。例えば、図18のように、電子透かし入り申請書を使用する場合に、承認者が捺印し、その捺印に対しても改ざん検出の対象にしたいときなどに本実施例を使うことができる。この他、手書きサインでも良い。また、文書に手書きで任意の文字や記号などを追記しても良い。
図16及び図17は、電子透かし入り文書印刷装置の第5の実施例の構成図であり、図16は第1の実施例を元に変更した例である。つまり、新しい用紙に印刷する例である。また、図17は第2の実施例を元に変更した例である。つまり、元の用紙に上書き印刷する例である。そして、第1、第2前の実施例と異なる点は、改ざん検出情報作成部701を追加したことである。この改ざん検出情報作成部701は、印字抽出・改ざん検証部204が抽出した印字情報に基づいて、新たに設定された改ざん検出領域に対する改ざん検出用の情報を作成する。改ざん検出用の情報を印字情報から作成する手段としては、例えば、印字を含む画像をそのままデータ化すればよい。その際に、この画像を公知の画像圧縮技術で圧縮しても良い。具体的にはJBIG、JPEGなどがある。また、印字部分のベクトル成分など印字の形の特徴をデータ化しても良い。
図19は、第5の実施例の動作フローであり、第1、第2の実施例と異なるのは、改ざん検出処理の後に、新しい改ざん検出情報を作成する処理(S501)を追加したことである。このステップS501では、新たに設定した改ざん検出領域に対する改ざん検出用の情報(文書の文字や文書の画像的な特徴など)を作成する処理を行う。この作成された改ざん検出情報が埋め込みデータに追加される。
この第5の実施例の場合、第1、第2の実施例のところで説明した効果の他に、後から追加した文字・画像などの改ざん検出を行うことができる。なお、第3の実施例で示した改ざん検出情報の修正や、第4の実施例で示した印字情報の修正をこの第5の実施例に追加しても良い。
第6の実施例は、追加・変更する埋め込みデータの作成を外部装置が行うものであり、電子透かし入り印刷文書に対して、公証機関が文書発行時間などを保証した電子署名を付与するサービスの例である。
図20は、電子透かし入り文書印刷装置の第6の実施例であり、クライアント900とサーバ1000から構成される。クライアント900は、電子透かし入り印刷文書005(1)の内容をサーバ1000へ送り、サーバ1000から送信される公証機関の電子署名入り印刷文書を受信し印刷する機能を持つ。なお、第2の実施例で説明したように元の電子透かし入り印刷文書005(1)に上書きする場合は、サーバ1000で電子透かしを作成し、この作成した電子透かしをクライアント900へ送信して上書きする。
同図において、電子透かし入り印刷文書005(1)は、例えば、第1の実施例のところで説明した電子透かし入り文書印刷装置100で印刷した文書である。スキャナ部201、印刷部207は、第1の実施例のところで説明したものと同じである。通信部901は、サーバ1000との間でデータの送受信を行う装置である。スキャンした画像をサーバ1000に送信し、サーバ1000から送信される公証機関の電子署名入り印刷文書を受信する。なお、印刷文書は公知の画像圧縮技術を用いて圧縮して送信しても良い。
サーバ1000は、クライアント900から送信されてきた電子透かし入り印刷文書のスキャン画像に受信した時刻などの情報を付加する。また、公証機関1002が発行する秘密鍵003(2)に基づいて電子署名を作成し電子透かしに追加する。また、こうして作成した電子透かし入り文書をクライアント900に送信する。ここで、秘密鍵003(2) は、公証機関1002が発行する電子署名用の秘密鍵である。また、電子透かし入り文書作成装置1001は、入力したスキャン画像に受信した時刻などの情報を付与する。また、秘密鍵003(2)に基づいて電子署名を作成し電子透かしに追加する。具体的な構成は、第1〜5の実施例における電子透かし入り文書印刷装置からスキャナ部と印刷部が無いだけで、その他は同じである。また、公証機関1002は、データの発行時刻などを保証するサービスを提供する機関である。
上述の説明では、ネットワークを介して画像データをサーバへ送信したが、印刷した紙そのものを送っても良い。また、クライアントから署名対象となるデータだけをサーバへ送り、サーバにおいて電子署名を作成し、それをクライアントが受信して電子透かし入り印刷文書に追加する方法でも良い。また、クライアントとサーバとの間の通信をSSLやIPsecなどの暗号通信で行っても良いし、クライアントとサーバとの間で認証処理を行っても良い。さらに、サーバがサービスを提供する都度に料金を課金しても良い。
以上、本発明の実施例を説明した。なお、上述では、用紙に文書を印刷する例を説明したが、プラスチックなどの有機化合物、金属、繊維など用紙以外の物に印刷しても良い。また、用紙は色付きのものであっても良い。また、埋め込みデータの一部を外部の記憶装置に記憶させておいても良い(用紙に全ての情報を埋め込む必要はない)。この他、本発明は、テキストだけの文書に限らず、図や画像が含まれている文書にも適用できる。また、ユニットパターンを使う場合だけでなく、バーコードや2次元バーコードを使う場合にも適用できる。なお、上述の説明では文書の有効性を検証する手段として電子署名を用いる実施例を説明したが、本発明はこれに限定されるものではない。電子署名の代わりに別の方法(例えば捺印やサイン等)によって文書の有効性を検証することもできる。その場合には、例えば捺印やサイン等を検証する手段を電子透かし印刷装置(第6の実施例のように構成する場合はサーバ)に設ければ良い。
電子透かし入り文書印刷装置の第1の実施例 電子透かしの説明図 電子透かし入り文書の説明図 埋め込みデータと電子署名の組み合わせ例(埋め込みデータの追加なし) 埋め込みデータと電子署名の組み合わせ例(埋め込みデータの追加あり) 埋め込みデータと電子署名の組み合わせ例(埋め込みデータの書換え) 第1の実施例の動作フロー 電子透かし入り文書印刷装置の第2の実施例 第2の実施例で使用するユニットパターンの例 第2の実施例で使用する埋め込み場所の例 電子透かし入り文書印刷装置の第3の実施例 電子透かし入り文書印刷装置の第3の実施例 第3の実施例の動作フロー 電子透かし入り文書印刷装置の第4の実施例 第4の実施例の動作フロー 電子透かし入り文書印刷装置の第5の実施例 電子透かし入り文書印刷装置の第5の実施例 第5の実施例の利用例 第5の実施例の動作フロー 電子透かし入り文書印刷装置の第6の実施例
符号の説明
001:原文書データ
002(1)、002(2):埋め込みデータ
003(1)、003(2):電子署名秘密鍵
004:白紙
005(1)、005(2): 電子透かし入り印刷文書
100、200、300、400、500、600、700、800:電子透かし入り文書印刷装置
101、205:電子透かし入り文書作成部
102、206:電子署名作成部
103、207:印刷部
201:スキャナ部
202:電子透かし読み取り部
203:電子署名検証部
204:印字抽出・改ざん検証部
301:電子透かし作成部
401:改ざん検出情報修正部
501:印字修正部
701:改ざん検出情報作成部
900:クライアント
901:通信部
1000:サーバ
1001:電子透かし入り文書作成装置
1002:公証機関

Claims (13)

  1. 文字、記号、図ら成る原文書の中にその文書に関連して作成したデータを電子透かしとして埋め込んだ電子透かし入り文書を取り扱う電子透かし入り文書取扱装置であって、
    第1の電子透かし入り文書を機械的に読み取る読取手段と、
    前記読取手段の読取結果に基づいて電子透かしとして埋め込まれた第1のデータを抽出する電子透かし読取手段と、
    第2のデータを取得して電子透かしを作成する電子透かし作成手段と、
    前記読取手段の読取結果に基づいて原文書を抽出する原文書抽出手段と、
    前記電子透かし読取手段が抽出した第1のデータを消去し、前記原文書抽出手段が抽出した原文書と前記電子透かし作成手段が第2のデータから作成した電子透かしを使用して第2の電子透かし入り文書を作成する電子透かし入り文書作成手段と、
    前記電子透かし入り文書作成手段が作成した第2の電子透かし入り文書機械的に読取可能な記録媒体に記録する記録手段
    を備えたことを特徴とする電子透かし入り文書取扱装置。
  2. 前記電子透かしは、1つが複数の画素ブロックで構成されるユニットパターンを複数組
    み合わせて作成されたものであることを特徴とする請求項1に記載の電子透かし入り文書取扱装置。
  3. 電子透かしとして埋め込む電子署名を作成する電子署名作成手段を備えたことを特徴とする請求項1または2に記載の電子透かし入り文書取扱装置。
  4. 前記電子署名作成手段は、前記第2のデータに基づいて電子署名を作成することを特徴とする請求項に記載の電子透かし入り文書取扱装置。
  5. 前記読取手段の読取結果に基づいて電子透かし入り文書に埋め込まれた改ざん検出用の改ざん検出情報を抽出し、該改ざん検出情報と前記原文書抽出手段が抽出した原文書を比較して、該改ざん検出情報と該原文書とが異なる場合は、前記原文書抽出手段が抽出した原文書を利用して第2の改ざん検出情報を作成する改ざん検出情報修正手段とをさらに備え、
    前記記録手段は、前記改ざん検出情報修正手段が作成した第2の改ざん検出情報を記録媒体に記録することを特徴とする請求項1から4のいずれかに記載の電子透かし入り文書取扱装置。
  6. 前記改ざん検出情報は、改ざん検出用の情報として前記読取手段が読取る前の第1の電子透かし入り文書の原文書に対する文字情報を少なくとも含み、
    前記読取手段の読取結果に基づいて電子透かし入り文書に埋め込まれた改ざん検出用の改ざん検出情報を抽出し、該改ざん検出情報と前記原文書抽出手段が抽出した原文書を比較して、該改ざん検出情報と該原文書とが異なる場合は、該改ざん検出情報の文字情報に基づいて前記原文書抽出手段が抽出した原文書を前記読取手段が読取る前の第1の電子透かし入り文書の原文書に修正する原文書修正手段とをさらに備え、
    前記電子透かし入り文書作成手段は、前記電子透かし読取手段が抽出した第1のデータを消去し、前記原文書修正手段が修正した原文書と前記電子透かし作成手段が第2のデータから作成した電子透かしを使用して第2の電子透かし入り文書を作成することを特徴とする請求項1から4のいずれかに記載の電子透かし入り文書取扱装置。
  7. 指定された領域の改ざん検出情報を作成する改ざん検出情報作成手段を備え、
    前記記録手段該指定された領域に関する情報と改ざん検出情報とを記録媒体に記録することを特徴とする請求項1から6のいずれかに記載の電子透かし入り文書取扱装置。
  8. 前記指定された領域は捺印欄又はサイン欄であることを特徴とする請求項に記載の電子透かし入り文書取扱装置。
  9. 前記改ざん検出情報は、改ざん検出用の情報として前記読取手段が読み取る前の第1の電子透かし入り文書の原文書に対する文字情報又は画像情報であることを特徴とする請求項5、請求項7、請求項8のいずれかに記載の電子透かし入り文書取扱装置。
  10. クライアントと該クライアントにネットワークを介して接続されたサーバとからなり、
    前記電子透かし作成手段を該サーバに設けたことを特徴とする請求項1から9のいずれかに記載の電子透かし入り文書取扱装置。
  11. クライアントと該クライアントにネットワークを介して接続されたサーバとからなり、
    前記読取手段と前記記録手段クライアントに設けたことを特徴とする請求項1から10のいずれかに記載の電子透かし入り文書取扱装置。
  12. 文字、記号、図ら成る原文書の中にその文書に関連して作成したデータを電子透かしとして埋め込んだ電子透かし入り文書を取り扱う電子透かし入り文書取扱システムであって、
    前記電子透かし入り文書を機械的に読取可能な第1の記録媒体に記録する第1の記録手段を有する第1の装置と、
    第1の電子透かし入り文書を機械的に読み取る読取手段と、
    前記読取手段の読取結果に基づいて電子透かしとして埋め込まれた第1のデータを抽出する電子透かし読取手段と、
    第2のデータを取得して電子透かしを作成する電子透かし作成手段と、
    前記読取手段の読取結果に基づいて原文書を抽出する原文書抽出手段と、
    前記電子透かし読取手段が抽出した第1のデータを消去し、前記原文書抽出手段が抽出した原文書と前記電子透かし作成手段が第2のデータから作成した電子透かしを使用して第2の電子透かし入り文書を作成する電子透かし入り文書作成手段と、
    前記電子透かし入り文書作成手段が作成した第2の電子透かし入り文書を機械的に読取可能な第2の記録媒体に記録する第2の記録手段とを有する第2の装置からなることを特徴とする電子透かし入り文書取扱システム。
  13. 文字、記号、図ら成る原文書の中にその文書に関連して作成したデータを電子透かしとして埋め込んだ電子透かし入り文書を取り扱う電子透かし入り文書取扱方法であって、
    読取手段が、第1の電子透かし入り文書を機械的に読み取る読取ステップと、
    電子透かし読取手段が、前記読取ステップの読取結果に基づいて電子透かしとして埋め込まれた第1のデータを抽出する電子透かし読取ステップと、
    電子透かし作成手段が、第2のデータを取得して電子透かしを作成する電子透かし作成ステップと、
    原文書抽出手段が、前記読取ステップの読取結果に基づいて原文書を抽出する原文書抽出ステップと、
    電子透かし入り文書作成手段が、前記電子透かし読取ステップが抽出した第1のデータを消去し、前記原文書抽出ステップが抽出した原文書と前記電子透かし作成ステップが第2のデータから作成した電子透かしを使用して第2の電子透かし入り文書を作成する電子透かし入り文書作成ステップと、
    記録手段が、前記電子透かし入り文書作成ステップが作成した第2の電子透かし入り文書機械的に読取可能な記録媒体に記録する記録ステップ
    を備えたことを特徴とする電子透かし入り文書取扱方法。
JP2004342003A 2004-11-26 2004-11-26 電子透かし入り文書取扱装置、電子透かし入り文書取扱システムおよび電子透かし入り文書取扱方法 Expired - Fee Related JP4297040B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004342003A JP4297040B2 (ja) 2004-11-26 2004-11-26 電子透かし入り文書取扱装置、電子透かし入り文書取扱システムおよび電子透かし入り文書取扱方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004342003A JP4297040B2 (ja) 2004-11-26 2004-11-26 電子透かし入り文書取扱装置、電子透かし入り文書取扱システムおよび電子透かし入り文書取扱方法

Publications (2)

Publication Number Publication Date
JP2006157229A JP2006157229A (ja) 2006-06-15
JP4297040B2 true JP4297040B2 (ja) 2009-07-15

Family

ID=36635018

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004342003A Expired - Fee Related JP4297040B2 (ja) 2004-11-26 2004-11-26 電子透かし入り文書取扱装置、電子透かし入り文書取扱システムおよび電子透かし入り文書取扱方法

Country Status (1)

Country Link
JP (1) JP4297040B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5239170B2 (ja) * 2007-02-28 2013-07-17 富士ゼロックス株式会社 画像処理システム及びプログラム
JP4921225B2 (ja) * 2007-04-02 2012-04-25 キヤノン株式会社 情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
JP2006157229A (ja) 2006-06-15

Similar Documents

Publication Publication Date Title
JP3804012B2 (ja) 文書画像の改ざん判定方法及びシステム、並びにその制御用プログラム
US6970259B1 (en) Systems and methods for forgery detection and deterrence of printed documents
US7028902B2 (en) Barcode having enhanced visual quality and systems and methods thereof
US20150082044A1 (en) Apparatus and method for incorporating signature into electronic documents
US20030099374A1 (en) Method for embedding and extracting text into/from electronic documents
EP2237546B1 (en) Device and process for protecting a digital document, and corresponding process for verifying the authenticity of a printed hardcopy
US8477379B2 (en) Secure document workflow
JP4257150B2 (ja) 印刷文書の改ざん検出装置および改ざん検出方法
US20070133792A1 (en) Image processing apparatus, control method therefor, computer program, and computer-readable storage medium
US8145609B2 (en) Information processing device, information processing system, seriality verification device, and computer-readable medium
JP4877412B2 (ja) 手続システムの端末装置及び記憶媒体
JP3872933B2 (ja) 書類認証方法、システム、書類作成装置、書類認証装置及び記録媒体
JP4138788B2 (ja) 画像形成装置及び方法
JP3468608B2 (ja) 印刷物の検証装置
JP2007110301A (ja) 画像印刷装置、判定装置および印刷物
EP1670236A2 (en) Image data registration and verification methods and apparatus
US20080292136A1 (en) Data Processing System And Method
JP2004013287A (ja) 文書交付システム
JP4297040B2 (ja) 電子透かし入り文書取扱装置、電子透かし入り文書取扱システムおよび電子透かし入り文書取扱方法
JP2006319729A (ja) 改ざん検証機能付き証明書及び該証明書を用いた改ざん検証方法並びに改ざん検証プログラム
JP2008016934A (ja) 画像形成装置、文書管理装置
JP4047271B2 (ja) 改ざん検証用画像生成装置、および、改ざん検証用画像生成装置の制御方法、および、改ざん検証用画像情報生成装置のプログラム、および、記録媒体
JP2004199419A (ja) 証明書データ利用方法
JP4260076B2 (ja) 文書作成装置、文書検証装置、文書作成方法、文書検証方法、文書作成プログラム、文書検証プログラム、文書作成プログラムを格納した記録媒体、および文書検証プログラムを格納した記録媒体
JP2008016933A (ja) 証明書発行検証システム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060923

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060929

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061013

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080812

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090324

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090406

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130424

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140424

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees