JP5620244B2

JP5620244B2 - 画像比較および文書認証のための画像位置合わせの方法及びプログラム

Info

Publication number: JP5620244B2
Application number: JP2010271685A
Authority: JP
Inventors: イービン・ティアン; メイ・イ
Original assignee: コニカミノルタラボラトリーユー．エス．エー．，インコーポレイテッド
Priority date: 2009-12-07
Filing date: 2010-12-06
Publication date: 2014-11-05
Anticipated expiration: 2030-12-06
Also published as: JP2011130439A; US7999657B2; EP2333696A3; EP2333696A2; US20110133887A1

Description

本発明は、文書認証のための画像位置合わせの方法に関し、詳細には、マーカとして文書上に印刷されたバーコードを用いる画像位置合わせの方法に関する。

閉ループプロセスとは、オリジナルディジタル文書（テキスト、グラフィックス、画像などを含み得る）を印刷し、その文書の印刷されたハードコピーを、配付、コピーするなどして使用し、次いでその文書のハードコピーをスキャンしてディジタル形式に戻すことをいう。スキャンされたディジタル文書を認証するとは、スキャンされた文書がオリジナルディジタル文書の真正のコピーであるかどうか、すなわち、その文書がハードコピー形式であった間に改ざんされているかどうか判定することをいう。各種の文書認証および改ざん検出の方法が提案されている。多くの文書認証方法の目的は、それらの改ざん（追加、削除）の内容を検出することである。ある種の文書認証方法では、スキャンされた文書とオリジナルディジタル文書との画像比較を行う。これは画素ベースの改ざん検出方法と呼ばれることもある。別の種類の文書認証方法では、文書内容を表すデータ、または文書内容に関連するデータがバーコードとして符号化され、そのバーコードが、後で文書認証に役立つように文書自体に印刷される。
スキャンされた文書を示す画像であるターゲット画像は通常、スキャンプロセスに起因する歪みだけでなく、ハードコピー文書がコピーされていることに起因する様々な歪みを含む。これらの歪みは、画像のスケーリング（拡大／縮小）、回転および／または移動を含む場合がある。よって、画像比較の前に、ターゲット画像におけるこれらの歪みを修正する必要がある。このプロセスを画像の位置合わせまたは位置決めと呼ぶこともできる。

本発明は、関連技術の制限および欠点に起因する問題のうちの１つまたは複数を実質的に取り除いた、画像位置合わせの方法および関連する装置を対象とする。

本発明の一目的は、画像比較による文書認証において有用な画像位置合わせの方法を提供することである。

本発明のさらなる特徴および利点は以下の説明において示されており、その一部は説明から明らかになり、或いは本発明の実施により理解されるであろう。本発明の目的およびその他の利点は、本発明の書面による説明および特許請求の範囲、ならびに添付の図面に詳細に示す構造によって実現され、達成されるであろう。

上記及び／又はその他の目的を達成するため、具体化され、かつ広義に記載されているように、本発明は、データ処理システムにおいて実施される方法であって、（ａ）ソース文書を表す画像と、それぞれがバーコードスタンプであり、周縁部の少なくとも３つの隅のうちの対応する１つから所定の距離以内に位置する少なくとも３つの位置決めマーカとを含む電子のオリジナル文書画像を、前記ソース文書に基づいて生成するステップと、（ｂ）前記オリジナル文書画像をデータベースに記憶するステップと、（ｃ）前記オリジナル文書画像を印刷して、前記少なくとも３つの位置決めマーカを含む印刷された文書を生成するステップと、（ｄ）前記印刷された文書または前記印刷された文書のコピーから、前記少なくとも３つの位置決めマーカを含む電子ターゲット文書画像を取得するステップと、（ｅ）前記ターゲット文書画像から、前記オリジナル文書画像が記憶されている前記データベース内の場所を指定する文書管理情報を抽出するステップと、（ｆ）前記抽出された文書管理情報に基づいて前記データベースから前記オリジナル文書画像を検索するステップと、（ｇ）前記ターゲット文書画像における前記少なくとも３つの位置決めマーカの位置を取得するステップと、（ｈ）前記オリジナル文書画像における前記少なくとも３つの位置決めマーカの位置を取得するステップと、（ｉ）前記オリジナル文書画像および前記ターゲット文書画像における前記位置決めマーカの前記位置を用いて前記オリジナル文書画像における座標を前記ターゲット文書画像における座標に変換する座標変換関数であるグローバルマッピング関数を計算するステップと、（ｊ）前記ターゲット文書画像に対して前記グローバルマッピング関数の逆関数を適用して、位置決めされたターゲット文書画像を計算するステップと、（ｊａ）前記オリジナル文書画像および前記位置決めされたターゲット文書画像を比較して、前記印刷された文書または前記印刷された文書のコピーの認証を行うステップと、を含む方法を提供する。

別の態様において本発明は、少なくとも３つの位置決めマーカを含む印刷された文書を認証するデータ処理システムにおける方法であって、（ａ）前記少なくとも３つの位置決めマーカを含む電子ターゲット文書画像を、前記印刷された文書から取得するステップと、（ｂ）前記ターゲット文書画像に対応するオリジナル文書画像が記憶されているデータベース内の場所を指定する文書管理情報を、前記ターゲット文書画像から抽出するステップと、（ｃ）前記ターゲット文書画像における前記少なくとも３つの位置決めマーカに対応する少なくとも３つの位置決めマーカを含む前記オリジナル文書画像を、前記抽出された文書管理情報に基づき前記データベースから検索するステップと、（ｄ）前記ターゲット文書画像における前記少なくとも３つの位置決めマーカの位置を取得するステップと、（ｅ）前記オリジナル文書画像における前記少なくとも３つの位置決めマーカの位置を取得するステップと、（ｆ）前記オリジナル文書画像および前記ターゲット文書画像における前記位置決めマーカの前記位置を用いて前記オリジナル文書画像における座標を前記ターゲット文書画像における座標に変換する座標変換関数であるグローバルマッピング関数を計算するステップと、（ｇ）前記ターゲット文書画像に対して前記グローバルマッピング関数の逆関数を適用して、位置決めされたターゲット文書画像を計算するステップと、（ｇａ）前記オリジナル文書画像および前記位置決めされたターゲット文書画像を比較して、前記印刷された文書または前記印刷された文書のコピーの認証を行うステップと、を含み、前記ステップ（ｇａ）は、（ｈ）前記オリジナル文書画像および前記位置決めされたターゲット文書画像を二値化して二値化されたオリジナル文書画像および二値化されたターゲット文書画像を生成するステップと、（ｉ）前記二値化されたオリジナル文書画像を複数のオリジナルサブ画像に分割し、前記二値化されたターゲット文書画像を、前記複数のオリジナルサブ画像に対応する複数のターゲットサブ画像に分割するステップと、（ｊ）各オリジナルサブ画像および前記対応するターゲットサブ画像について、（ｊ１）前記ターゲットサブ画像を前記オリジナルサブ画像に合わせて位置決めして位置決めされたターゲットサブ画像を生成し、（ｊ２）前記位置決めされたターゲットサブ画像と前記オリジナルサブ画像との差分を表す差分サブ画像を計算するステップと、（ｋ）前記差分サブ画像をマージして、前記ターゲット文書画像と前記オリジナル文書画像との差分を表す大域的差分画像を生成するステップと、をさらに含む方法を提供する。

別の態様において本発明は、データ処理装置に上記方法を実行させるプログラムを提供する。

前述の概要も以下の詳細な説明も例示および説明のためのものであり、特許請求される発明の詳細な説明を提供することを目的とするものであることを理解すべきである。

本発明の一実施形態による、画像比較による文書認証のために印刷の前に文書にマーカを付加する方法を概略的に示す図である。本発明の一実施形態による文書認証の方法を概略的に示す図である。それぞれが複数の画像成分および各画像成分に対応する重心を含む２つの例示的サブ画像を概略的に示す図である。

閉ループ印刷スキャンプロセスでは、画素ベースの改ざん検出方法を実行するために、スキャンされたハードコピー文書の画像（例えば、二値ビットマップ画像など；ターゲット画像と呼ばれる）がオリジナル文書の画像（オリジナル画像と呼ばれる）と比較される。ターゲット画像は通常、スキャンプロセスに起因する歪みだけでなく、ハードコピー文書がコピーされていることに起因する様々な歪みを含む。これらの歪みは、画像のスケーリング（拡大／縮小）、回転、および／または移動を含む場合がある。よって、画像比較の前に、ターゲット画像におけるこれらの歪みを修正する必要がある。このプロセスを画像の位置合わせまたは位置決めと呼ぶこともできる。また、スケーリング歪みの修正をサイズ変更ともいい、回転歪みの修正を傾き補正（deskew）ともいう。

本発明の実施形態は、画像位置合わせにバーコードスタンプが用いられる方法を提供する。多くの印刷された文書にはすでに、文書認証または文書管理に役立つ情報を符号化するための様々なバーコードスタンプが含まれている。文書認証情報は文書の内容を表す圧縮データを含むことができる。文書管理情報は、文書の作成日、作者など、文書ＩＤ、文書の電子版が電子データベースのどこに記憶されているかなどに関する情報を含むことができる。バーコードは、１次元バーコード、２次元バーコード、または別の種類のバーコードとすることができる。本開示において「バーコード」という用語は、データを符号化するための任意の機械可読記号（symbology）を広く指すものである。本発明の一実施形態によれば、３つ以上のバーコードスタンプが位置合わせマーカとしてハードコピー文書上に印刷される。次いでバーコードスタンプを含むハードコピー文書は回覧のために配付（release）され、回覧中にはそのハードコピー文書がコピーされることなどもあり得る。次いで文書のハードコピー（まだバーコードスタンプを含んでいる）は、認証のためにスキャンして再び取り込まれる。認証プロセスではバーコードスタンプが用いられて画像位置合わせが行われる。

バーコードスタンプを位置合わせマーカとして用いることの一利点は、情報を符号化するためのバーコードが文書上にすでに印刷されているため、印刷された文書上に位置合わせ用十字線などといった余分なマーカを付加しなくても済むことである。

本発明の実施形態では、単純で高速なアルゴリズムを用いてサイズ変更および傾き補正を行う。画像全体に適用される、フーリエ・メリン（Fourier-Mellin）変換やハフ（Hough）変換といった従来からの傾き補正法は、内容に左右されるか、低速であるかのどちらかである。本発明の実施形態によれば、傾き補正とサイズ変更の両方のためにただ１つの線形式を解きさえすればよいため、高い性能が提供される。

図１に文書の「閉ループ」印刷スキャンプロセスを示す。文書のソース版Ｄ１は、ハードコピー文書、またはＷＯＲＤファイル、ＰＤＦファイルなどといった電子文書とすることができる。ソース文書Ｄ１は、３つ以上の位置決めマーカ１１が付加されることによって、オリジナル文書画像Ｄ２と呼ばれる電子文書画像が生成されるように処理される（必要な場合には電子形式への変換を含む）（ステップＳ１１）。前述のように、マーカ１１は好ましくは、バーコードスタンプである。これら複数のバーコードスタンプは、同じ情報を符号化したものであっても、異なる情報を符号化したものであってもよい。位置決めマーカは好ましくは、文書ページまたはオリジナル画像の隅近くに付加される。好ましい実施形態では、４つの位置決めマーカが、画像全体の周縁部の４つの隅から横方向および縦方向に１インチ（２．５４ｃｍ）以内など、周縁部の各隅の近くに位置する。加えてオリジナル文書画像Ｄ２には、後で文書識別に役立つように、文書Ｄ２がどこに記憶されているかなどの文書管理情報も付加される。文書管理情報は、マーカとして用いられるバーコードスタンプとして符号化されてもよく、文書画像に付加される他のバーコードスタンプとして符号化されてもよく、テキストフッタなどといった他の手段によって文書に付加されてもよい。オリジナル文書画像Ｄ２は後に用いるためにデータベースに記憶される（ステップＳ１２）。

好ましくは、バーコードスタンプの種類、マーカの場所およびサイズなどといったマーカに関する情報もデータベースに記憶され、また好ましくは、オリジナル文書画像Ｄ２と関連付けられる。

次いでオリジナル文書画像Ｄ２が印刷され、印刷されたハードコピー文書が配付、回覧され、その間に印刷された文書がコピーされることもあり得る（ステップＳ１３）。後に、オリジナル文書Ｄ２の真正のハードコピーであるとされるハードコピー文書Ｄ３が認証のために提出される。認証プロセスの第１のステップは、スキャンまたは他の方法によって、ハードコピー文書Ｄ３を、ターゲット文書画像Ｄ４と呼ばれる電子文書画像に変換することである（ステップＳ１４）。次いで、図２により詳細に示すように、ターゲット文書画像Ｄ４をデータベースに記憶されたオリジナル文書画像Ｄ２と比較して改ざんを検出する（ステップＳ１５）。

図１において、ステップＳ１１およびステップＳ１２はコンピュータまたは他の適切なデータ処理装置によって行うことができる。すなわち、コンピュータに接続されたスキャナまたは複合機（all-in-one device）（印刷部とスキャン部とを単一の装置の中に兼ね備えた装置）を用いて、ステップＳ１１のスキャン部分を行うことができる。印刷ステップＳ１３は、コンピュータに接続されたプリンタもしくは複合機またはデータベースにアクセスすることのできる他の適切なデータ処理装置によって行うことができる。データベースは、適切な手段によってコンピュータに接続された大容量記憶装置によって実現することができる。ステップＳ１５（すなわち図２のプロセス）は、データベースに接続されたコンピュータまたは他の適切なデータ処理装置によって行うことができる。ステップＳ１４は、コンピュータに接続されたスキャナによって行うことができる。上記各コンピュータは同じコンピュータとすることも、別々のコンピュータとすることもできる。これらのコンピュータは各コンピュータのメモリに記憶された適切なソフトウェアプログラムを実行して個々のプロセスを実施する。

認証プロセスでは、図２に示すように、オリジナル文書画像Ｄ２がデータベースから検索される（ステップＳ２０１）。これは、まずターゲット文書画像Ｄ４から文書管理情報を抽出し、次いで抽出された文書管理情報を用いてデータベースから正しい文書を検索することによって達成される。前述のように、文書管理情報は、マーカとして用いられるバーコードスタンプ１１として、または文書Ｄ４における他のバーコードスタンプとして、または他の手段によって符号化することができる。文書画像におけるバーコードを認識し、符号化された情報を抽出するための多くの技法が周知であり、このステップでは任意の適切な技法を用いることができる。

次にプログラムは、オリジナル文書画像Ｄ２およびターゲット文書画像Ｄ４におけるマーカの位置を特定する（ステップＳ２０２）。マーカ情報がデータベースに記憶されており、ステップＳ２０１で取得される場合には、マーカの位置を特定する際にマーカ情報を用いることができる。例えばマーカ情報は、ページの４つの隅の近くに４つのバーコードスタンプが付加されていること、スタンプの場所、スタンプのサイズなどを指定することができる。この情報を用いて、画像Ｄ２および画像Ｄ４において各マーカの位置をより容易に特定することができる。マーカの位置を特定するにはテンプレートマッチングといった任意の適切な技法を用いることができる。独立のマーカ情報をデータベースから入手することができない場合には、画像Ｄ２および画像Ｄ４のページの隅近くの領域（すなわち、各隅から横方向および縦方向に１インチ以内）における類似のパターンを比較することによってマーカの位置を特定することができる。

より具体的には、ステップＳ２０１およびＳ２０２を行うに際して一般に２つの状況が発生し得る。第１の状況では、文書管理情報はバーコードマーカ以外によって符号化される。この場合、文書管理情報はバーコードマーカとは無関係に取得され、データベースにアクセスするのに用いられる（ステップＳ２０１）。また関連するマーカ情報もデータベースから取得される。次いでステップＳ２０２で、データベースから取得された情報を用いて、画像Ｄ２および画像Ｄ４においてバーコードマーカの位置が特定される。

第２の状況では、データベースにアクセスするのに必要な文書管理情報はバーコードマーカとしてのみ符号化される。よってステップＳ２０１は、画像Ｄ４におけるバーコードマーカの位置を特定し、そのバーコードマーカを復号してデータベースにアクセスするための文書管理情報を取得することを含む。そのような場合でさえも、バーコードマーカを復号するのに予め正確なマーカの場所を知っている必要はない。バーコードマーカが、スキャンされた画像内のある一定の範囲内の場所（例えば各隅からある一定の距離を有する場所）に位置するものと仮定し、探索法を用いて各マーカの位置を特定することもできる。またバーコードマーカは、既知のバーコード認識法を用いて同時に位置を特定し、復号することもできる。画像Ｄ４が傾いており、バーコード認識法が傾き補正された情報を必要とする場合、画像が認識モジュールに送られる前に試行錯誤型の方法を用い、バーコードが認識されるまでバーコードを含むサブ画像を回転させることもできる。この場合ステップＳ２０２は、データベース情報を用いて画像Ｄ２および画像Ｄ４における正確なマーカの場所を取得することを含み得る。どちらの状況でも、ステップＳ２０１およびステップＳ２０２が共同して、画像Ｄ２および画像Ｄ４におけるバーコードマーカの正確な場所を取得するという結果が達成される。

次いで、各マーカの位置を用いて画像Ｄ２と画像Ｄ４の間のグローバルマッピング関数Ｍが計算される（ステップＳ２０３）。以下の説明では、Ｄ２およびＤ４のそれぞれに４つのマーカが置かれており、マーカ１、２、３、４がそれぞれ左上隅、右上隅、左下隅、右下隅の近くに位置する一例を用いる。各マーカの座標は、Ｄ２については（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）および（ｘ４，ｙ４）、Ｄ４については（ｘ１’，ｙ１’）、（ｘ２’，ｙ２’）、（ｘ３’，ｙ３’）および（ｘ４’，ｙ４’）とし、それぞれまとめてＸおよびＸ’とする。マーカの中心、マーカが矩形バーコードスタンプであるときのマーカの特定の隅などといった、各マーカの任意の所定の場所をそのマーカの位置として用いることができる。

最初に、縦方向の倍率ｍ_Ｖおよび横方向の倍率ｍ_ＨがＸおよびＸ’から以下のように計算される。

（式１）

（式２）
当然ながら、別の有効な式を用いてこれらの倍率を計算することもできる。

２つの画像Ｄ４とＤ２の間の回転角θは、式
θ＝ｔａｎ^−１（（ｙ２’−ｙ１’）／（ｘ２’−ｘ１’））（式３）
を用いて、またはターゲット画像Ｄ４における他のマーカ対を用いる類似の式を用いて、または計算された複数の値を平均化することによって推定することができる。上記式では、オリジナル画像Ｄ２における４つのマーカの位置が縦方向と横方向とに揃えられている、すなわち、ｘ１＝ｘ３、ｘ２＝ｘ４、ｙ１＝ｙ２、およびｙ３＝ｙ４であるものと仮定されている。これらのマーカの位置が縦方向にも横方向にも揃えられていない場合、式３はしかるべく変更される必要がある。

２画像間の縦方向と横方向の移動量は、次式を用いて推定することができる。

（式４）

行列式では、ターゲット画像Ｄ４とオリジナル画像Ｄ２の間のマッピング関数Ｍは、以下の方法によって取得することができる。

（式５）
すなわち、
（Ｘ＋Ｘ０）Ｍ＝Ｘ’ （式６）
式中、Ｘ、Ｘ’およびＸ０は、行列形式で表された各マーカおよび移動量に対する座標である。したがってＭは次式から取得される。
Ｍ＝（Ｘ^Ｔ（Ｘ＋Ｘ０））^−１Ｘ^ＴＸ’ （式７）

Ｍには３つの未知数があるため、式５は過剰決定（over-determined）であり、適切な数学的技法を用いて、ｍ_Ｖ、ｍ_Ｈおよびθの最適な推定値を取得することができる。言い換えると、マッピング関数Ｍを解くのに必要とされるマーカの最小数は３であり、３を上回る数のマーカが用いられると、信頼性および正確さを向上させる固有の冗長性が生じる。

当然ながら、マッピング関数Ｍの計算は前述のアルゴリズムだけに限定されるものではなく、他のアルゴリズムも用いることができる。

マッピング関数Ｍが取得されると、位置決めされたターゲット画像Ｄ５を以下のように計算することができる（ステップＳ２０４）。
Ｄ５＝Ｍ^−１Ｄ４（式８）

前述のマッピング関数Ｍは線形マッピングであり、前述の計算に加えていくつかの方法でＸおよびＸ’から計算することができる。

位置決めされたターゲット画像Ｄ５が取得されると、後続のプロセスでは画像Ｄ２および画像Ｄ５におけるマーカ内の画像領域だけが考慮される。各マーカ内の２つの画像領域は同じ寸法を有する。

図２に示す方法では、前述のステップＳ２０２からステップＳ２０４までで大域的画像位置合わせ（位置決め）サブプロセスを完了する。大域的位置合わせの後で、２つの画像Ｄ２およびＤ５は二値化される（ステップＳ２０５）。次いで、二値化された画像Ｄ２および画像Ｄ５はそれぞれ、画像比較のために複数の小さいサブ画像Ｄ２ｉおよびサブ画像Ｄ５ｉに分割される。これらのサブ画像は、例えば、６４×６４画素や１２８×１２８画素などのサイズ、あるいは他の適切なサイズを有するものとすることができる。各オリジナルサブ画像Ｄ２ｉおよび対応するターゲットサブ画像Ｄ５ｉについて（ステップＳ２０７）、そのサブ画像における連結画像成分が識別され、それらの重心（幾何学的中心）が計算される（ステップＳ２０８）。二値画像では、連結画像成分は連結された画素のグループである。テキスト文書では、例えば、各英字が通常１〜２個の連結画像成分を形成する。図３に、いくつかの画像成分３１−２、３１−５、および各画像成分に対応する重心３２−２、３２−５をそれぞれ含む２つのサブ画像Ｄ２ｉ、Ｄ５ｉを概略的に示す。連結画像成分を抽出する多くの方法が知られているが、このステップでは任意の適切な方法を用いることができる。ステップＳ２０７の結果として、各サブ画像Ｄ２ｉ、Ｄ５ｉはそれぞれ１組の重心を含むことになる。

２つのサブ画像Ｄ２_ｉ、Ｄ５_ｉにおける２組の重心３２−２、３２−５を用いて、２つのサブ画像のための局所的位置合わせが行われる（ステップＳ２０９）。大域的画像位置合わせプロセスと同様に、局所的画像位置合わせは、スケーリング、回転および／または移動を修正する、２つのサブ画像間のローカルマッピング関数Ｍ_ｉを取得することを含む。前述の式５と同様のアルゴリズムを用いて、マーカの座標を重心の座標で置き換えてローカルマッピング関数を計算することができる。ローカルマッピング関数Ｍ_ｉが取得されると、上記式８と同様の式を用いてターゲットサブ画像Ｄ５_ｉを修正して、位置決めされたサブ画像Ｄ６_ｉを取得することができる（ステップＳ２０９）。

当然ながら、ターゲット画像における重心の組３２−５はオリジナル画像における重心の組３２−２と厳密に対応しない場合もある。例えばターゲット画像で重心が欠落していたり、無関係な重心が含まれたりする場合もあるが、そのこと自体がその文書の改ざんを示すものとなるだろう。ローカルマッピング関数の計算に際しては２組の重心において対応する重心だけが用いられるべきである。ローカルマッピング関数を計算するには最低３つの独立の重心（すなわちこれらの重心は同一直線上にない）が必要である。さらに、これら２組の重心は、ターゲットサブ画像が完全に改ざんされた内容を含む場合には、相互に全く対応しない場合もある。そのような状況では、局所的位置合わせは不要になる。

また、別の方法を用いて局所的位置合わせを行うこともできる。例えば、スケーリングおよび回転が大きな問題でない場合には、重心マッピングの代わりに相互相関法を用いることができる。相互相関法は、サブ画像Ｄ２_ｉとサブ画像Ｄ５_ｉの２つのビットマップの相互相関を計算することを含み、画像の移動を修正することができる。別の代替方法としては、最初に重心マッピングを行い、次いで回転／スケーリング／移動されたサブ画像に対して相互相関を行うこともできる。

サブ画像が重心を計算するのに十分な数の連結成分を含まない状況、例えば、サブ画像がビットマップ画像またはグラフィックスオブジェクトだけを含む状況などにおいては、局所的位置合わせステップＳ２０９は、推定されるマッピング関数として、１つまたは複数の隣接するサブ画像から取得されたマッピング関数（スケーリング、回転および移動）を用いることによって行うこともできる。

大域的画像位置合わせの第１のステップと局所的画像位置合わせの第２のステップとを組み合わせた二段階画像位置合わせの利点は、ターゲット画像における非線形歪みの影響をある程度低減し得ることである。例えば、画像の異なる部分は異なる量の回転またはスケーリングを有する場合がある。そのような場合、大域的位置合わせでは修正されない各サブ画像における残りの歪みを、局所的位置合わせによって修正することができる。

局所的位置合わせの後で、サブ画像Ｄ２_ｉとサブ画像Ｄ６_ｉを比較して差分サブ画像が生成される（ステップＳ２１０）。２つの二値ビットマップの差分マップとは、２つのビットマップの二値差分（「ＸＯＲ」）である。すべてのサブ画像が処理される（ステップＳ２０７の「Ｎ」）まで次のサブ画像についてステップＳ２０８からステップＳ２１０までが繰り返される。次いで、差分サブ画像がマージされて大域的差分画像となり（ステップＳ２１１）、この大域的差分画像に対して後処理が行われる（ステップＳ２１２）。後処理の一例を以下に示す。同様のプロセスが、２００９年６月３０日に出願された同出願人による同時係属の米国特許出願第１２／４９５７４９号明細書［ＢＩＬ−２９５］に記載されている。

最初に、オリジナル画像Ｄ２または位置合わせされたターゲット画像Ｄ５からエッジマップが計算される。エッジマップとは、連結画像成分のエッジの形状を表す二値マップである。エッジマップ内の画素値は、その画素が連結画像成分のエッジ領域にあるかどうかを表す。ガウスのラプラシアン（Laplacian of Gaussian）エッジ検出器やキャニー（Canny）エッジ検出器といった任意の適切なエッジ検出（エッジ抽出）法を用いてエッジマップを生成することができる。そのようなエッジ検出器の中には、ほぼ１画素の幅のエッジを生成するものもある。エッジ検出器によって生成されるエッジの幅は、形態学的拡張（morphological dilation）を用いて（例えば、単一画素から複数画素などへ）拡張することができる。次に、ステップＳ２１１で生成された差分マップは、エッジマップのエッジ領域内に含まれる差分画素を除去するように修正される。好ましくは、差分画像に対して、小成分を除去するためにノイズ除去ステップも行われる。

もう一つの方法として、前述の後処理ステップは、大域的差分画像についてではなくサブ画像ごとの差分画像に対して行われてもよい。

検出された改ざんを表示するために、後処理された差分画像から文書の改ざんマップを生成することができる（ステップＳ２１３）。この改ざんマップは、印刷したり、コンピュータモニタといった表示装置に表示したり、電子形式で記憶したりすることなどが可能である。改ざんマップは、オリジナル画像とターゲット画像の間の改ざん（差分）を表示することができる限り、任意の適切な形式とすることができる。例えば改ざんマップは、２つの画像間でどの画素が異なるかを表示する二値差分マップなどとすることができる。そのようなマップでは、改ざんのない領域は空白になり、改ざんされた領域がマップ上に表示される。別の例として、改ざんマップは、改ざん（追加、削除、変更など）された画像の部分を表示するためのマーカまたは強調表示（例えば、四角囲み、丸囲み、線、矢印、色など）を有する、オリジナル画像のマーク付け版またはターゲット画像のマーク付け版とすることもできる。改ざんマップにおいて、異なる種類の改ざん（追加、削除、変更など）を表示するのに異なる色を用いることができる。別の例において、改ざんマップは、どんな画像成分も含まずに改ざんの場所を表示するマーカだけを含むこともできる。

本発明の改ざん検出方法および関連する装置においては、本発明の趣旨または範囲を逸脱することなく様々な改変および変形を加えることができることが当業者には明らかであろう。よって、本発明は添付の特許請求の範囲およびその均等物の範囲内に含まれる改変および変形を包含するものである。

Claims

データ処理システムにおいて実施される方法であって、
（ａ）ソース文書を表す画像と、それぞれがバーコードスタンプであり、周縁部の少なくとも３つの隅のうちの対応する１つから所定の距離以内に位置する少なくとも３つの位置決めマーカとを含む電子のオリジナル文書画像を、前記ソース文書に基づいて生成するステップと、
（ｂ）前記オリジナル文書画像をデータベースに記憶するステップと、
（ｃ）前記オリジナル文書画像を印刷して、前記少なくとも３つの位置決めマーカを含む印刷された文書を生成するステップと、
（ｄ）前記印刷された文書または前記印刷された文書のコピーから、前記少なくとも３つの位置決めマーカを含む電子ターゲット文書画像を取得するステップと、
（ｅ）前記ターゲット文書画像から、前記オリジナル文書画像が記憶されている前記データベース内の場所を指定する文書管理情報を抽出するステップと、
（ｆ）前記抽出された文書管理情報に基づいて前記データベースから前記オリジナル文書画像を検索するステップと、
（ｇ）前記ターゲット文書画像における前記少なくとも３つの位置決めマーカの位置を取得するステップと、
（ｈ）前記オリジナル文書画像における前記少なくとも３つの位置決めマーカの位置を取得するステップと、
（ｉ）前記オリジナル文書画像および前記ターゲット文書画像における前記位置決めマーカの前記位置を用いて前記オリジナル文書画像における座標を前記ターゲット文書画像における座標に変換する座標変換関数であるグローバルマッピング関数を計算するステップと、
（ｊ）前記ターゲット文書画像に対して前記グローバルマッピング関数の逆関数を適用して、位置決めされたターゲット文書画像を計算するステップと、
（ｊａ）前記オリジナル文書画像および前記位置決めされたターゲット文書画像を比較して、前記印刷された文書または前記印刷された文書のコピーの認証を行うステップと、
を含む方法。
前記オリジナル文書画像は、前記画像における前記周縁部の４つの隅のうちの対応する１つからそれぞれ所定の距離以内に位置する４つの位置決めマーカを含む請求項１に記載の方法。
前記バーコードスタンプは前記文書管理情報を符号化したものであり、前記ステップ（ｅ）は前記バーコードスタンプを復号して前記文書管理情報を取得するステップを含む請求項１又は２に記載の方法。
前記オリジナル文書画像は前記バーコードスタンプとは別に前記文書管理情報をさらに含む請求項１又は２に記載の方法。
前記ステップ（ｂ）は、前記オリジナル文書画像と関連付けられた前記データベースに各バーコードスタンプの種類、場所およびサイズを指定するマーカ情報を記憶するステップをさらに含み、
前記ステップ（ｆ）は、前記データベースから前記マーカ情報を検索するステップをさらに含み、
前記ステップ（ｇ）および前記ステップ（ｈ）では、前記検索されたマーカ情報を用いて前記位置決めマーカの前記位置が取得される、
請求項１〜４のいずれか一項に記載の方法。
前記グローバルマッピング関数は前記ターゲット文書画像における画像のスケーリング、回転および移動を修正する請求項１〜５のいずれか一項に記載の方法。
前記ステップ（ｊａ）は、
（ｋ）前記オリジナル文書画像および前記位置決めされたターゲット文書画像を二値化して、二値化されたオリジナル文書画像および二値化されたターゲット文書画像を生成するステップと、
（ｌ）前記二値化されたオリジナル文書画像を複数のオリジナルサブ画像に分割し、前記二値化されたターゲット文書画像を前記複数のオリジナルサブ画像に対応する複数のターゲットサブ画像に分割するステップと、
（ｍ）各オリジナルサブ画像および前記対応するターゲットサブ画像について、
（ｍ１）各サブ画像における複数の連結画像成分についての複数の重心の位置を取得し、
（ｍ２）前記オリジナルサブ画像および前記ターゲットサブ画像における前記複数の重心の前記位置を用いて前記オリジナルサブ画像と前記ターゲットサブ画像の間のローカルマッピング関数を計算し、
（ｍ３）前記ターゲットサブ画像および前記ローカルマッピング関数を用いて、位置決めされたターゲットサブ画像を計算し、
（ｍ４）前記位置決めされたターゲットサブ画像と前記オリジナルサブ画像との差分を表す差分サブ画像を計算するステップと
（ｎ）前記差分サブ画像をマージして、前記ターゲット文書画像と前記オリジナル文書画像との差分を表す大域的差分画像を生成するステップと、
をさらに含む請求項１〜６のいずれか一項に記載の方法。
少なくとも３つの位置決めマーカを含む印刷された文書を認証するデータ処理システムにおける方法であって、
（ａ）前記少なくとも３つの位置決めマーカを含む電子ターゲット文書画像を、前記印刷された文書から取得するステップと、
（ｂ）前記ターゲット文書画像に対応するオリジナル文書画像が記憶されているデータベース内の場所を指定する文書管理情報を、前記ターゲット文書画像から抽出するステップと、
（ｃ）前記ターゲット文書画像における前記少なくとも３つの位置決めマーカに対応する少なくとも３つの位置決めマーカを含む前記オリジナル文書画像を、前記抽出された文書管理情報に基づき前記データベースから検索するステップと、
（ｄ）前記ターゲット文書画像における前記少なくとも３つの位置決めマーカの位置を取得するステップと、
（ｅ）前記オリジナル文書画像における前記少なくとも３つの位置決めマーカの位置を取得するステップと、
（ｆ）前記オリジナル文書画像および前記ターゲット文書画像における前記位置決めマーカの前記位置を用いて前記オリジナル文書画像における座標を前記ターゲット文書画像における座標に変換する座標変換関数であるグローバルマッピング関数を計算するステップと、
（ｇ）前記ターゲット文書画像に対して前記グローバルマッピング関数の逆関数を適用して、位置決めされたターゲット文書画像を計算するステップと、
（ｇａ）前記オリジナル文書画像および前記位置決めされたターゲット文書画像を比較して、前記印刷された文書または前記印刷された文書のコピーの認証を行うステップと、を含み、
前記ステップ（ｇａ）は、
（ｈ）前記オリジナル文書画像および前記位置決めされたターゲット文書画像を二値化して二値化されたオリジナル文書画像および二値化されたターゲット文書画像を生成するステップと、
（ｉ）前記二値化されたオリジナル文書画像を複数のオリジナルサブ画像に分割し、前記二値化されたターゲット文書画像を、前記複数のオリジナルサブ画像に対応する複数のターゲットサブ画像に分割するステップと、
（ｊ）各オリジナルサブ画像および前記対応するターゲットサブ画像について、
（ｊ１）前記ターゲットサブ画像を前記オリジナルサブ画像に合わせて位置決めして位置決めされたターゲットサブ画像を生成し、
（ｊ２）前記位置決めされたターゲットサブ画像と前記オリジナルサブ画像との差分を表す差分サブ画像を計算するステップと、
（ｋ）前記差分サブ画像をマージして、前記ターゲット文書画像と前記オリジナル文書画像との差分を表す大域的差分画像を生成するステップと、
をさらに含む方法。
前記ステップ（ｊ１）は、
各サブ画像における複数の連結画像成分についての複数の重心の位置を取得するステップと、
前記オリジナルサブ画像および前記ターゲットサブ画像における前記複数の重心の前記位置を用いて前記オリジナルサブ画像と前記ターゲットサブ画像の間のローカルマッピング関数を計算するステップと、
前記ターゲットサブ画像および前記ローカルマッピング関数を用いて、前記位置決めされたターゲットサブ画像を計算するステップと、
を含む請求項８に記載の方法。
データ処理装置にプロセスを実行させるように構成された、前記データ処理装置を制御するためのプログラムであって、前記プロセスは、
（ａ）ソース文書を表す画像と、それぞれがバーコードスタンプであり、周縁部の少なくとも３つの隅のうちの対応する１つから所定の距離以内に位置する少なくとも３つの位置決めマーカとを含む電子のオリジナル文書画像を、前記ソース文書に基づいて生成するステップと、
（ｂ）前記オリジナル文書画像をデータベースに記憶するステップと、
（ｃ）前記オリジナル文書画像を印刷して、前記少なくとも３つの位置決めマーカを含む印刷された文書を生成するステップと、
（ｄ）前記印刷された文書または前記印刷された文書のコピーから、前記少なくとも３つの位置決めマーカを含む電子ターゲット文書画像を取得するステップと、
（ｅ）前記ターゲット文書画像から、前記オリジナル文書画像が記憶されている前記データベース内の場所を指定する文書管理情報を抽出するステップと、
（ｆ）前記抽出された文書管理情報に基づいて前記データベースから前記オリジナル文書画像を検索するステップと、
（ｇ）前記ターゲット文書画像における前記少なくとも３つの位置決めマーカの位置を取得するステップと、
（ｈ）前記オリジナル文書画像における前記少なくとも３つの位置決めマーカの位置を取得するステップと、
（ｉ）前記オリジナル文書画像および前記ターゲット文書画像における前記位置決めマーカの前記位置を用いて前記オリジナル文書画像における座標を前記ターゲット文書画像における座標に変換する座標変換関数であるグローバルマッピング関数を計算するステップと、
（ｊ）前記ターゲット文書画像に対して前記グローバルマッピング関数の逆関数を適用して、位置決めされたターゲット文書画像を計算するステップと、
（ｊａ）前記オリジナル文書画像および前記位置決めされたターゲット文書画像を比較して、前記印刷された文書または前記印刷された文書のコピーの認証を行うステップと、
を含むプログラム。
前記オリジナル文書画像は、前記画像における前記周縁部の４つの隅のうちの対応する１つからそれぞれ所定の距離以内に位置する４つの位置決めマーカを含む請求項１０に記載のプログラム。
前記バーコードスタンプは前記文書管理情報を符号化したものであり、前記ステップ（ｅ）は前記バーコードスタンプを復号して前記文書管理情報を取得するステップを含む請求項１０又は１１に記載のプログラム。
前記オリジナル文書画像は前記バーコードスタンプとは別に前記文書管理情報をさらに含む請求項１０又は１１に記載のプログラム。
前記ステップ（ｂ）は、前記オリジナル文書画像と関連付けられた前記データベースに各バーコードスタンプの種類、場所およびサイズを指定するマーカ情報を記憶するステップをさらに含み、
前記ステップ（ｆ）は、前記データベースから前記マーカ情報を検索するステップをさらに含み、
前記ステップ（ｇ）および前記ステップ（ｈ）では、前記検索されたマーカ情報を用いて前記位置決めマーカの前記位置が取得される、
請求項１０〜１３のいずれか一項に記載のプログラム。
前記グローバルマッピング関数は前記ターゲット文書画像における画像のスケーリング、回転および移動を修正する請求項１０〜１４のいずれか一項に記載のプログラム。
前記ステップ（ｊａ）は、
（ｋ）前記オリジナル文書画像および前記位置決めされたターゲット文書画像を二値化して、二値化されたオリジナル文書画像および二値化されたターゲット文書画像を生成するステップと、
（ｌ）前記二値化されたオリジナル文書画像を複数のオリジナルサブ画像に分割し、前記二値化されたターゲット文書画像を前記複数のオリジナルサブ画像に対応する複数のターゲットサブ画像に分割するステップと、
（ｍ）各オリジナルサブ画像および前記対応するターゲットサブ画像について、
（ｍ１）各サブ画像における複数の連結画像成分についての複数の重心の位置を取得し、
（ｍ２）前記オリジナルサブ画像および前記ターゲットサブ画像における前記複数の重心の前記位置を用いて前記オリジナルサブ画像と前記ターゲットサブ画像の間のローカルマッピング関数を計算し、
（ｍ３）前記ターゲットサブ画像および前記ローカルマッピング関数を用いて、位置決めされたターゲットサブ画像を計算し、
（ｍ４）前記位置決めされたターゲットサブ画像と前記オリジナルサブ画像との差分を表す差分サブ画像を計算するステップと
（ｎ）前記差分サブ画像をマージして、前記ターゲット文書画像と前記オリジナル文書画像との差分を表す大域的差分画像を生成するステップと、
をさらに含む請求項１０〜１５のいずれか一項に記載のプログラム。
データ処理装置に、少なくとも３つの位置決めマーカを含む印刷された文書を認証するプロセスを実行させるように構成された、前記データ処理装置を制御するためのプログラムであって、前記プロセスは、
（ａ）前記少なくとも３つの位置決めマーカを含む電子ターゲット文書画像を、前記印刷された文書から取得するステップと、
（ｂ）前記ターゲット文書画像に対応するオリジナル文書画像が記憶されているデータベース内の場所を指定する文書管理情報を、前記ターゲット文書画像から抽出するステップと、
（ｃ）前記ターゲット文書画像における前記少なくとも３つの位置決めマーカに対応する少なくとも３つの位置決めマーカを含む前記オリジナル文書画像を、前記抽出された文書管理情報に基づき前記データベースから検索するステップと、
（ｄ）前記ターゲット文書画像における前記少なくとも３つの位置決めマーカの位置を取得するステップと、
（ｅ）前記オリジナル文書画像における前記少なくとも３つの位置決めマーカの位置を取得するステップと、
（ｆ）前記オリジナル文書画像および前記ターゲット文書画像における前記位置決めマーカの前記位置を用いて前記オリジナル文書画像における座標を前記ターゲット文書画像における座標に変換する座標変換関数であるグローバルマッピング関数を計算するステップと、
（ｇ）前記ターゲット文書画像に対して前記グローバルマッピング関数の逆関数を適用して、位置決めされたターゲット文書画像を計算するステップと、
（ｇａ）前記オリジナル文書画像および前記位置決めされたターゲット文書画像を比較して、前記印刷された文書または前記印刷された文書のコピーの認証を行うステップと、を含み、
前記ステップ（ｇａ）は、
（ｈ）前記オリジナル文書画像および前記位置決めされたターゲット文書画像を二値化して二値化されたオリジナル文書画像および二値化されたターゲット文書画像を生成するステップと、
（ｉ）前記二値化されたオリジナル文書画像を複数のオリジナルサブ画像に分割し、前記二値化されたターゲット文書画像を、前記複数のオリジナルサブ画像に対応する複数のターゲットサブ画像に分割するステップと、
（ｊ）各オリジナルサブ画像および前記対応するターゲットサブ画像について、
（ｊ１）前記ターゲットサブ画像を前記オリジナルサブ画像に合わせて位置決めして位置決めされたターゲットサブ画像を生成し、
（ｊ２）前記位置決めされたターゲットサブ画像と前記オリジナルサブ画像との差分を表す差分サブ画像を計算するステップと、
（ｋ）前記差分サブ画像をマージして、前記ターゲット文書画像と前記オリジナル文書画像との差分を表す大域的差分画像を生成するステップと、
をさらに含むプログラム。
前記ステップ（ｊ１）は、
各サブ画像における複数の連結画像成分についての複数の重心の位置を取得するステップと、
前記オリジナルサブ画像および前記ターゲットサブ画像における前記複数の重心の前記位置を用いて前記オリジナルサブ画像と前記ターゲットサブ画像の間のローカルマッピング関数を計算するステップと、
前記ターゲットサブ画像および前記ローカルマッピング関数を用いて、前記位置決めされたターゲットサブ画像を計算するステップと、
を含む請求項１７に記載のプログラム。