JP4743423B2 - 改ざん検証用文書作成装置、改ざん検証用文書作成プログラム、改ざん検証装置および改ざん検証プログラム - Google Patents

Description

本発明は、印刷物等の文書の改ざん検証技術に関し、特に、改ざん検証の対象となる文書を作成したり、作成した文書の改ざんを検証したりする際に用いて好適な検証情報埋め込み装置、検証情報埋め込み方法、改ざん検証用文書作成装置、改ざん検証用文書作成方法、改ざん検証装置および改ざん検証方法に関する。

従来、印刷文書のセキュリティを向上する技術として、印刷文書の情報漏洩抑止技術が知られている。印刷文書の情報漏洩抑止技術では、文書の背景部に複写牽制画像を合成して印刷出力する技術や、複写牽制画像にスキャナなどの機械で判読可能なデジタルコードを組み合わせ、デジタルコードに著作権情報や認証情報などの付加情報を埋め込むことを可能とした技術などが知られている。

この種の技術としては、例えば、特許文献１に開示されている技術がある。この技術では、印刷対象となる文書に対し、付加情報をスキャナなどの機械で判読可能なデジタルコード画像に変換し、このデジタルコード画像を文書の背景部に重畳させて印刷している。このため、著作権プライバシーにかかわる情報などを可視化して埋め込むことができ、機密文書の流出経路を確実に特定することができる。また、文書を複写すると「無効」、「ＣＯＰＹ」、「禁複写」など予め設定した文字列が現れるように画素密度を設定した潜像文字列を、上述したデジタルコード画像とともに文書の背景部に埋め込むことにより、複写を抑止する機能も提案されている。さらに、デジタルコード画像を文書データの背景部に繰り返し並べて配置することにより、文書の内容や潜像文字列とデジタルコードとの重なりによってデジタルコードの一部が欠損しても、繰り返し埋め込まれた他の位置にあるデジタルコードから元の情報を復元できるようにしている。

また従来では、印刷文書のセキュリティを向上する技術として、上述したような情報漏洩抑止技術に加え、印刷文書に対する加筆や消去などの改ざんを検証する技術が知られている。例えば、特許文献２には、印刷する文書画像に位置合わせ記号を重畳してから印刷し、印刷画像の改ざんを検証する際は、スキャンした印刷文書と、印刷文書の元文書である電子原本との位置を、上記位置合わせ記号を用いて位置合わせした後、両画像の差分を抽出することで改ざん部分を検出する技術が開示されている。

また、特許文献３には、印刷する文書画像の文字周辺部に所定の規則性を持つドット画像を配置してから印刷し、印刷画像の改ざんを検証する際は、スキャンした印刷文書から検出できるドットの規則性(所定領域に配置したドット数の偶奇、等)の状態によって改ざんの有無を検出する技術が開示されている。

また、特許文献４には、印刷する文書画像の文字周辺部に所定の画像パターンを配置してから印刷し、印刷画像の改ざんを検証する際は、２値化したスキャン画像から取得した文字領域(あるいはデジタル情報として埋め込まれた文字領域)と、スキャン画像から検出した画像パターンをもとに生成した文字領域とを比較して、改ざん箇所を検出する技術が開示されている。

特開２００１―３４６０３２号公報 特開２００３―０１８３９３号公報 特開２００５―０１２５３０号公報 特開２００３―２０９６７６号公報

一般に、電子文書をプリンタなどの画像出力装置で用紙に印刷すると、その出力画像が印刷された紙文書には、画像出力装置の特性による画像の位置ずれ、変倍、傾きが生じる。このうち、画像の位置ずれや傾きは画像全体に対して作用するため、画像中に数箇所の補正基準点を設定することで補正可能である。これに対して、画像の変倍は、画像全体に作用する性質のもの（感光体や光走査装置の取り付け誤差などによるもの）と、画像の局所的な部分に作用する性質のもの（光走査装置の走査レンズに起因する歪：ディストーションなどによるもの）がある。

このうち、画像の局所的な部分に作用する変倍（部分倍率誤差）を補正するためには、目標とする補正精度に応じて、補正のために必要な基準点の設定間隔を変える必要がある。例えば、２つの画像を照合する際に、画像相互の位置合わせを高精度に行なう必要がある場合は、補正基準点を密に設定する必要がある。さらに、紙文書をスキャナなどの画像読取装置で読み取る場合も、この読み取りによって入力されたスキャン画像に、画像読取装置の特性による位置ずれ、変倍、傾きが生じる。したがって、原本である電子文書の画像と検査対象であるスキャン画像を照合する際には、画像出力装置の特性や画像読取装置の特性によって生じる画像歪みの影響を取り除く必要がある。

しかしながら、特許文献２に開示された技術では、上記位置ずれの影響を低減するために、多数の位置合わせ記号を文書中に配置すると、位置合わせ記号の数が増加して文書が読み難くなるという問題があった。また、位置合わせ記号が文書の文字部等と重なると、画像の照合精度が悪化して改ざん検出精度が低下してしまうという問題があった。さらに、プリンタやスキャナによる外乱の影響で位置合わせ記号を検出できない場合は、画像相互の位置合わせを精度良く行なうことができないため、改ざん検出精度が低下してしまうという問題もあった。

一方、特許文献３に開示された技術では、ドット画像の規則性が解読されてしまうと、改ざんを施した後も規則性を保つように印刷画像を改ざんすることが可能となるため、印刷画像の改ざんを検出できなくなってしまう。また、改ざんの検出精度を上げるためにドットを密に配置すると文書が読み難くなり、ドットを粗く配置すると改ざんの検出精度が低下するという問題があった。また、プリンタやスキャナから加えられる外乱(画像の欠損やトナーこぼれなど)によってドットの規則性が失われ、改ざん誤検出が増加してしまうという問題もあった。

また、特許文献４に開示された技術では、検出精度が画像パターンの大きさに依存するため、検出精度を上げるには画像パターンを小さくすることが有効であるが、プリンタで印刷する必要上、画像パターンを十分に小さくできず、小さい改ざんを検出できないという問題があった。また、画像が回転するとパターン検出精度が低下するため、何らかの理由で画像を回転させてしまうと、改ざん検出精度が低下したり改ざんを検出できなくなったりする問題があった。

本発明は、上記課題を解決するためになされたもので、その主たる目的は、画像出力装置や画像入力装置などの影響で文書の画像に位置ずれ、変倍、傾きなどが生じる場合でも、文書画像の可読性（読みやすさ）を阻害することなく、文書画像に加えられた改ざんを高精度に検出できるようにすることにある。

本発明に係る検証情報埋め込み装置は、改ざん検証の対象となる文書画像データを入力する文書画像入力手段と、この文書画像入力手段から入力された文書画像データを用いて検証画像データを生成する検証画像生成手段とを備えるものである。また、検証画像生成手段は、文書画像データの文字画像部を判別する文字画像判別手段と、この文字画像判別手段の判別結果に基づいて、文字画像部に相当する位置または文字画像部を除く空白部に相当する位置に重なるように検証画像パターンを生成する検証画像パターン生成手段とを含むものである。

本発明に係る検証情報埋め込みプログラムは、改ざん検証の対象となる文書画像データを入力する文書画像入力処理と、この文書画像入力処理で入力された文書画像データを用いて検証画像データを生成する検証画像生成処理とをコンピュータに実行させるためのものであって、検証画像生成処理は、文書画像データの文字画像部を判別する文字画像判別処理と、この文字画像判別処理の判別結果に基づいて、文字画像部に相当する位置または文字画像部を除く空白部に相当する位置に重なるように検証画像パターンを生成する検証画像パターン生成処理とを含むものである。

本発明に係る検証情報埋め込み装置および検証情報埋め込みプログラムにおいては、文字画像判別で文字画像部と判別した位置または文字画像部を除く空白部と判別した位置に重なるように検証画像パターンを生成することにより、文字画像部と検証画像パターンの相対的な位置関係から改ざんの有無を判定することが可能となる。また、文字画像部と検証画像パターンの相対的な位置関係は、画像の印刷や読み取りを行なっても、一定の関係に維持される。このため、画像の印刷時や読み取り時に生じる画歪みの影響を受けることなく、文書の改ざんを検証することが可能となる。

本発明に係る改ざん検証用文書作成装置は、改ざん検証の対象となる文書画像データを入力する文書画像入力手段と、この文書画像入力手段から入力された文書画像データを用いて検証画像データを生成する検証画像生成手段と、文書画像データを所定波長域の光の吸収が相対的に少ない第１の色材で画像形成するとともに、検証画像データを所定波長域の光の吸収が相対的に多い第２の色材で画像形成する画像形成手段とを備えるものである。また、検証画像生成手段は、文書画像データの文字画像部を判別する文字画像判別手段と、この文字画像判別手段の判別結果に基づいて、文字画像部に相当する位置または文字画像部を除く空白部に相当する位置に重なるように検証画像パターンを生成する検証画像パターン生成手段とを含むものである。

本発明に係る改ざん検証用文書作成プログラムは、改ざん検証の対象となる文書画像データを入力する文書画像入力処理と、この文書画像入力処理で入力された前記文書画像データを用いて検証画像データを生成する検証画像生成処理と、文書画像データを所定波長域の光の吸収が相対的に少ない第１の色材で画像形成するとともに、検証画像データを所定波長域の光の吸収が相対的に多い第２の色材で画像形成する画像形成処理とをコンピュータに実行させるためのものであって、検証画像生成処理は、文書画像データの文字画像部を判別する文字画像判別処理と、この文字画像判別処理の判別結果に基づいて、文字画像部に相当する位置または文字画像部を除く空白部に相当する位置に重なるように検証画像パターンを生成する検証画像パターン生成処理とを含むものである。

本発明に係る改ざん検証用文書作成装置および改ざん検証用文書作成プログラムにおいては、文字画像判別で文字画像部と判別した位置または文字画像部を除く空白部と判別した位置に重なるように検証画像パターンを生成することにより、文字画像部と検証画像パターンの相対的な位置関係から改ざんの有無を判定することが可能となる。また、文字画像部と検証画像パターンの相対的な位置関係は、画像の印刷や読み取りを行なっても、一定の関係に維持される。このため、画像の印刷時や読み取り時に生じる画歪みの影響を受けることなく、文書の改ざんを検証することが可能となる。また、文書画像データは第１の色材を用いて画像形成され、検証画像パターンを含む検証画像データは第２の色材を用いて画像形成される。このため、それぞれの色材の分光特性に適した光学系を使用して改ざん検証用文書の画像を読み取ることにより、文字画像を表す画像データと検証画像を表す画像データを別々に入力することが可能となる。

本発明に係る改ざん検証装置は、改ざん検証用文書から所定波長域の光の吸収が相対的に少ない第１の色材で形成された画像を読み取って得られる第１の画像データと改ざん検証用文書から所定波長域の光の吸収が相対的に多い第２の色材で形成された画像を読み取って得られる第２の画像データを別々に入力する画像入力手段と、この画像入力手段によって入力された第１の画像データで表される画像と第２の画像データで表される画像とを比較することにより、改ざんの有無を判定する比較判定手段とを備えるものである。

本発明に係る改ざん検証プログラムは、改ざん検証用文書から所定波長域の光の吸収が相対的に少ない第１の色材で形成された画像を読み取って得られる第１の画像データと改ざん検証用文書から所定波長域の光の吸収が相対的に多い第２の色材で形成された画像を読み取って得られる第２の画像データを別々に入力する画像入力処理と、この画像入力処理によって入力された第１の画像データで表される画像と第２の画像データで表される画像とを比較することにより、改ざんの有無を判定する比較判定処理とをコンピュータに実行させるためのものである。

本発明に係る改ざん検証装置および改ざん検証プログラムは、本発明に係る改ざん検証用文書作成装置または改ざん検証用文書作成プログラムを用いて作成された文書の改ざんを検証する装置およびプログラムである。このため、第１の画像データは文字画像を表すものとなり、第２の画像データは検証画像を表すものとなる。したがって、文字画像と検証画像の相対的な位置関係から、改ざんの有無を判定することが可能となる。

本発明によれば、プリンタの特性やスキャナの特性などの影響で文書の画像に様々な歪み（位置ずれ、変倍、傾きなど）が生じる場合でも、文書画像の可読性を阻害することなく、文書の改ざんを高精度に検証することができる。

以下、本発明に係る検証情報埋め込み装置、検証情報埋め込み方法を実現するプログラム（検証情報埋め込みプログラム）、改ざん検証用文書作成装置、改ざん検証用文書作成方法を実現するプログラム（改ざん検証用文書作成プログラム）、改ざん検証装置および改ざん検証方法を実現するプログラム（改ざん検証プログラム）の具体的な実施の形態について、図面を参照しつつ詳細に説明する。

〈改ざん検証システムの構成について〉
図１は本発明の実施形態に係る検証情報埋め込み装置、改ざん検証用文書作成装置および改ざん検証装置を含む改ざん検証システムの構成例を示す図である。図１においては、検証情報埋め込み装置となるサーバ（以下、「検証情報埋め込みサーバ」）１と、デジタル複写機、デジタル複合機等からなる画像形成装置２と、改ざん検証装置３と、端末装置４と、文書サーバ５と、スキャナ６が、ネットワーク７を介して相互に通信可能に接続されている。この改ざん検証システムにおいて、改ざん検証用文書作成装置は、検証情報埋め込みサーバ１および画像形成装置２を含んだ構成となっている。その場合、画像形成装置２はプリンタで構成してもよい。また、検証情報埋め込みサーバ１および画像形成装置２は、一つの装置またはシステムとして一体的に構成してもよい。

検証情報埋め込みサーバ１は、改ざん検証の対象となる文書画像に改ざん検証用の情報（以下、「検証情報」）を埋め込むための処理（以下、「埋め込み処理」）を行なうものである。検証情報埋め込みサーバ１で行なわれる埋め込み処理については、後段で詳しく説明する。

画像形成装置２は、画像データを用紙に印刷出力するものである。画像形成装置２は、例えば、電子写真方式で画像形成を行なうものである。この場合、画像形成装置２は、第１の色材を用いて画像形成を行なう機能と、第２の色材を用いて画像形成を行なう機能を備えた構成となっている。第１の色材は、所定波長域の光の吸収が相対的に少ない色材であり、第２の色材は、所定波長域の光の吸収が相対的に多い色材である。ここで記述する所定波長域の光とは、人間の目に見えない、いわゆる不可視の光であり、具体的には赤外光である。このため、第２の色材は、不可視領域となる赤外光領域に吸収域をもつ分光特性を有する色材であり、第１の色材は、可視光領域に吸収域をもつ分光特性を有する色材である。

電子写真方式の画像形成装置２では、印刷のための色材にトナーを用いる。その場合、赤外光の吸収が相対的に少ない第１の色材には、人間の目に見えやすい分光特性を有する可視のトナー（以下、「赤外非吸収トナー」とも記す）を用い、赤外光の吸収が相対的に多い第２の色材には、人間の目に見えない、または見えにくい分光特性を有する不可視のトナー（以下、「赤外吸収トナー」とも記す）を用いることが望ましい。具体的には、不可視光領域となる赤外光領域に吸収域を有する透明なトナーを用いることが望ましい。この種のトナー（不可視トナー）としては、例えば、特開２００３−０９１２２０号公報や特開２００４−０１２８８０号公報に開示されているトナーを用いることができる。

ここで、第１の色材と第２の色材の分光特性を分光反射率で比較すると、可視光領域では第１の色材が第２の色材よりも分光反射率が低く、赤外光領域（不可視光領域）では第２の色材が第１の色材よりも分光反射率が高い分光特性を有するものとなる。本発明を実施するにあたっては、第１の色材は、第２の色材に比較して可視光の吸収量が２倍以上の分光特性を有し、第２の色材は、第１の色材に比較して赤外光の吸収量が２倍以上の分光特性を有することが望ましい。

検証情報埋め込みサーバ１で埋め込み処理を行なった場合は、検証情報を埋め込んだ文書画像の印刷用データとして、文書画像データと検証画像データが、検証情報埋め込み装置１から画像形成装置２に送信される。これに対して、画像形成装置２は、検証情報を埋め込んだ文書画像を用紙に印刷するにあたって、文書画像データを第１の色材である可視のトナー（赤外非吸収トナー）を用いて画像形成するとともに、検証画像データを第２の色材である不可視のトナー（赤外吸収トナー）を用いて画像形成する。このため、画像形成装置２で印刷出力された紙文書には、可視のトナーを用いて形成された文書画像と不可視のトナーを用いて形成された検証画像が混在することになる。ただし、検証画像は不可視のトナーで印刷されているため、見かけ上は通常の文書と同じである。

また、画像形成装置２のマシン構成として、例えば、画像形成装置２が４つの画像形成ユニット（感光体ユニット）を直列に配置したタンデム型のマシンであったとすると、イエロー、マゼンタ、シアンといった３色の可視トナーを１：１の対応関係で３つの画像形成ユニットに割り当て、残りの１つの画像形成ユニットに不可視トナーを割り当てた構成を採用することが可能である。このタンデム型のマシン構成を採用した場合は、イエロー、マゼンタ、シアンの３色のトナーを混色（重ね転写）することでブラックを再現することができる。

また、他のマシン構成として、例えば、複数の現像器を搭載したロータリー式現像装置を用いてカラー画像を形成するマシンにおいては、イエロートナー用の現像器と、マゼンタトナー用の現像器と、シアントナー用の現像器と、不可視トナー用の現像器といった４つの現像器をロータリー式現像装置に搭載した構成を採用することが可能である。さらに、５つの現像器を搭載したロータリー式現像装置を備えるマシン構成を採用した場合は、可視トナーとなるイエロー、マゼンタ、シアン、ブラックの４色のトナーで画像形成を行なう機能と、不可視トナーで画像形成を行なう機能を同時に備えるものとなる。ただし、その場合は、可視トナーと不可視トナーで赤外光の吸収量に顕著な差が生じるように、ブラックトナー（可視トナー）の原料にカーボンを含まない原料を用いる必要がある。

改ざん検証装置３は、検証情報埋め込みサーバ１による埋め込み処理によって検証情報が埋め込まれた文書画像を画像形成装置２で用紙に印刷して得られる紙文書（改ざん検証用文書）を対象に改ざん検証処理を行なうものである。改ざん検証装置３で行なわれる改ざん検証処理については、後段で詳しく説明する。

端末装置４は、文書サーバ５に対して、印刷対象となる電子文書を指定して、当該電子文書の印刷を指示するものである。端末装置４は、例えばパーソナルコンピュータによって構成されるものである。

文書サーバ５は、複数（多数）の電子文書を格納するデータベースを備えるものである。また、文書サーバ５は、端末装置４から印刷指示を受けたときに、印刷対象として指定された電子文書をデータベースから読み出して検証情報埋め込みサーバ１に送信するものである。

スキャナ６は、原稿の画像を光学的に読み取るものである。また、スキャナ６は、原稿から読み取った画像データをネットワーク７を介して他の装置に転送するものである。

ネットワーク７は、例えば、ＬＡＮ(Local Area Network)、ＷＡＮ(Wide Area Network)等によって構成されるものである。

〈改ざん検証用文書作成装置の構成について〉
図２は検証情報埋め込みサーバ１と画像形成装置２を用いた改ざん検証用文書作成装置の構成例を示す図である。検証情報埋め込みサーバ１は、大きくは、文書画像入力部１１と、検証画像生成部１２と、画像データ変換部１３とを備えた構成となっている。

一方、画像形成装置２は、第１の画像形成部２１と、第２の画像形成部２１とを備えた構成となっている。第１の画像形成部２１は、上述した第１の色材（可視トナー）を用いて画像形成を行なう機能部であり、第２の画像形成部２２は、上述した第２の色材（不可視トナー）を用いて画像形成を行なう機能部である。また、第１の画像形成部２１と第２の画像形成部２２は、同じ１枚の用紙に対して画像形成を行なうものである。ただし、第１の画像形成部２１は、検証情報埋め込みサーバ１から画像形成装置２に印刷用データとして送信される文書画像データおよび検証画像データのうち、文書画像データを第１の色材で用紙に印刷するものであり、第２の画像形成部２２は、検証画像データを第２の色材で用紙に印刷するものである。

〈検証情報埋め込み装置の構成について〉
文書画像入力部１１は、改ざん検証の対象となる文書画像データを入力するものである。さらに詳述すると、文書画像入力部１１は、文書サーバ５から検証情報埋め込みサーバ１に電子文書が送信された場合に、当該電子文書を受信するとともに、受信した電子文書をラスタライズしてビットマップ形式の画像データに変換し、この画像データを上記文書画像データとして入力するものである。

検証画像生成部１２は、文書画像入力部１１から入力された文書画像データを用いて、上記検証画像を含む検証画像データを生成するものである。検証画像生成部１２は、検証領域情報格納部１０１と、検証領域情報符号化部１０２と、検証領域コード生成部１０３と、コード画像バッファ１０４と、検証領域設定部１０５と、文字画像判別部１０６と、検証画像パターン生成部１０７と、パターンデータ格納部１０８と、パターン画像バッファ１０９と、画像合成部１１０とを含む構成となっている。

画像データ変換部１３は、文書画像入力部１１から入力された文書画像データを、印刷用の色空間に適合する画像データに変換するものである。印刷用の色空間は、第１の画像形成部２１が可視のトナーを用いて表現可能な色空間であって、画像形成装置２のマシン構成に依存したものとなる。例えば、前述したように画像形成装置２のマシン構成が４つの画像形成ユニットを備えたタンデム型であって、１つの画像形成ユニットに不可視のトナーを割り当てたものでは、イエロー、シアン、マゼンタの３色のトナーを混色してブラックを再現する必要がある。したがって、タンデム型のマシン構成を採用した場合は、可視のトナーを用いて表現可能な色空間が、イエロー、マゼンタ、シアンの３色のトナーを用いて表現可能な色空間となる。このため、文書画像データに含まれる色が、イエロー、マゼンタ、シアン、ブラックの４色であった場合は、画像データ変換部１３において、文書画像データのブラックを、イエロー、マゼンタ、シアンの混合ブラックに置き換える。

検証領域情報格納部１０１は、文書画像入力部１１から入力される文書画像データの画像領域内で、改ざん検証の対象とすべき領域（以下、「検証領域」）を指定する情報（以下、「検証領域情報」）を格納するものである。検証領域情報は、例えば、検証領域を矩形領域で指定する場合に、当該矩形領域の左上コーナーを示す座標データと右下コーナーを示す座標データで当該矩形領域の範囲を示す情報として格納されるものである。

検証領域情報格納部１０１には、例えば、文書のフォーマット毎に予め決められた定型領域を検証領域として指定する情報を格納する構成としてもよいし、文書画像データを受信した後に、端末装置４を使用（操作）するユーザに対して検証領域をどこに設定するかを問い合わせ、この問い合わせに対するユーザ（端末装置４）からの回答を検証領域情報として格納する構成としてもよい。

検証領域情報符号化部１０２は、検証領域情報格納部１０１に格納された検証領域情報を符号化するものである。検証領域情報の符号化には、一般に知られている誤り訂正符号であるＲＳ符号やＢＣＨ符号などの符号化技術を採用することが可能である。

検証領域コード生成部１０３は、検証領域情報符号化部１０２で符号化された検証領域情報に基づいて、検証領域コードの画像データを生成するものである。検証領域コードは、機械可読な２次元コードで表されるものである。検証領域コードには、例えば図３に示すような２次元コードを採用することが可能である。図示した２次元コードは、デジタル情報のビット値（０または１）を図４（Ａ），（Ｂ）に示す２つのパターンを組み合わせて画像化したものである。すなわち、図４に示す２つのパターンのうち、図中（Ａ）に示す左上がりの斜線パターンをビット値０とし、図中（Ｂ）に示す右上がりの斜線パターンをビット値１として画像化している。

また、図３に示す２次元コードは、２次元コードの位置を識別するための同期コードを含んでいる。同期コードは、すべてビット値１のパターン（右上がりの斜線パターン）で構成されている。同期コードで囲まれた部分は、検証領域情報符号化部１０２で符号化された検証領域情報を表すコード部分である。したがって、この同期コードを検出することにより、検証領域情報を表す２次元コードの位置を特定することができる。

コード画像バッファ１０４は、検証領域コード生成部１０３で生成された検証領域コード（２次元コード）の画像データを格納するものである。ちなみに、上記２つのパターンを組み合わせた２次元コードを利用して画像中に何らかの付加情報を埋め込む技術としては、例えば、特開２００４−２２８７３９号公報に開示された技術を採用することが可能である。

検証領域設定部１０５は、文書画像入力部１１から入力された文書画像データ上で検証領域を設定するものである。さらに詳述すると、検証領域設定部１０５は、入力された文書画像データ上で検証領域を設定するにあたって、検証領域情報格納部１０１から検証領域情報を読み出し、この検証領域情報が指定する領域を、検証情報（検証画像パターンを含む）を埋め込む領域として設定するものである。図５は検証領域設定部１０５が文書画像データ上で改ざん検証の対象となる領域（検証領域）を設定している様子を示している。検証領域の設定方法は、図５に模式的に示したように線幅（または色など）に特徴を持たせた画像情報として設定してもよいし、検証領域情報を座標情報として文書画像データに付加してもよい。

文字画像判別部１０６は、検証領域設定部１０５で検証領域の設定がなされた文書画像データを対象に、文字画像部とそれ以外の空白部とを判別するものである。文字画像部を判別する処理は、検証領域設定部１０５によって検証領域に設定された領域だけを対象に実施すればよい。検証領域に含まれる画素は、大きくは、有効画素と無効画素に分類される。有効画素は、予め設定された閾値以上の濃度値（または階調値）をもつ画素であり、無効画素は、当該閾値未満の濃度値（または階調値）をもつ画素である。文字画像判別部１０６は、検証領域に対して所定サイズの参照矩形領域を設定し、この参照矩形領域を用いて文字画像部とそれ以外の空白部を判別する。

文字画像判別部１０６による判別処理では、文字画像部をそれほど厳密に判別する必要はない。このため、例えば図６に示すような簡易的な判別方法を採用することが可能である。図６に示した判別方法は、検証領域に含まれる文字画像の１文字分のサイズよりも若干大きいサイズの参照矩形領域Ｅを用いて検証領域を走査する方式である。この方式では、検証領域内で参照矩形領域Ｅの位置を順に移動させながら、各々の位置で参照矩形領域Ｅの４方向の領域境界を検査することにより、参照矩形領域Ｅが文字画像部を含んでいるかどうかを判断する。そして、ある位置に参照矩形領域Ｅを移動させたときに、４方向の領域境界上に有効画素が無く、参照矩形領域Ｅ内に有効画素が存在する場合は、その位置で参照矩形領域Ｅが文字画像部を含んでいると判断し、参照矩形領域Ｅ内の有効画素を文字画像を表す画素として検出する。これに対して、４方向のいずれかの領域境界上に有効画素が存在する場合は、仮に、参照矩形領域Ｅ内に文字画像を表す画素が含まれていても、その位置では参照矩形領域Ｅが文字画像部を含んでいないと判断する。

これにより、例えば文字列で構成された文字画像上を参照矩形領域Ｅで走査した場合は、参照矩形領域Ｅを文字列の並び方向に走査する過程で、各々の文字が１文字ずつ参照矩形領域Ｅに含まれるため、文字列の文字画像を表す画素が１文字分ずつまとめて検出されることになる。また、例えば罫線などのように、文字画像の１文字サイズよりも大きい画像上を参照矩形領域Ｅで走査した場合は、４方向のいずれかの領域境界上に罫線等を表す有効画素が出現するため、その場合は文字画像を表す画素の検出が行なわれないことになる。こうした判別処理により、文字画像を含む検証領域内の画素は、文字画像を表す画素とそれ以外の画素に区別される。そして、検証領域内において、文字画像を表す画素が占める部分は文字画像部として判別され、それ以外の画素が占める部分は空白部として判別されることになる。

このように文字画像判別部１０６で文書画像データの文字画像部を判別するにあたって、所定サイズの領域単位で文字画像部を含むかどうかを判断することにより、例えば、罫線などを表す有効画素が矩形参照領域Ｅ内に含まれる場合でも、その有効画素を誤って文字画像を表す画素として検出することがない。このため、文書画像データの中で文字画像を表す画素が占める部分だけを文字画像部を判別することが可能となる。したがって、文書画像データを用いて文字画像部とそれ以外の空白部を的確に判別することができる。

検証画像パターン生成部１０７は、文字画像判別部１０６で判別した文字画像部に相当する位置または文字画像部を除く空白部に相当する位置に重なるように検証画像パターンを生成するものである。本実施形態においては、検証画像パターン生成部１０７は、文字画像判別部１０６での判別結果に基づいて、空白部に相当する位置に重なるように検証画像パターンを生成するものとする。その場合、検証画像パターンとしては、単位面積あたりの有効画素数が文書画像データよりも少ない画像パターンを採用する。これにより、文書の改ざんを検証する際に、画素密度に基づいて改ざんの有無を判定することが可能となる。

また、検証画像パターンとして、均一（一定）な画素密度を有する画像パターンを採用する。これにより、文書の改ざんを検証する際に、画素密度に基づく改ざんの検証精度を高めることが可能となる。また、文書の改ざんを検証する際に、画像パターン部の位置から空白部の位置を精度良く特定することができる。このため、文字部と画像パターン部の相対的な位置関係に基づいて改ざんの有無を高精度に判定することが可能となる。ちなみに、画素密度は、単位面積あたりの有効画素数の割合で表されるものである。例えば、単位面積に含まれる全画素数がΣＰで、同じ単位面積に含まれる有効画素数がＰｘであったとすると、画素密度Ｚ（％）は、Ｚ＝Ｐｘ×１００／ΣＰの数式で求められるものである。

図７は検証画像パターンの一例を示すイメージ図である。図示のように、検証画像パターンは、複数のドット画像によって構成されている。この検証画像パターンでは、１つのドット画像が、６００ｄｐｉで２×２画素のドットサイズ（縦横各々８６．２μｍ）で設定され、ドット画像の間隔は縦方向・横方向ともにドットサイズの２倍（４画素相当距離）に設定されている。また、２×２画素のドット画像を同一象限に含む４×４画素のサイズを一つの単位画素ブロックと定義すると、縦方向で隣り合う単位画素ブロックの位置は、横方向に２画素ずつずれた状態で配置されている。このため、横方向に平行な同一線上で隣り合うドット画像同士は、４画素相当の距離を隔てて配置され、縦方向に平行な同一線上で隣り合うドット画像同士は、８画素相当の距離を隔てて配置されている。

前述した第２の色材として不可視のトナーを使用できない場合や、トナー消費量の増加を抑制したい場合は、検証画像データはできるだけ小さいほうが望ましい。ただし、トナーでドット画像を形成する場合は、ドットサイズが８０μｍよりも小さくなると、トナー像として作像することが困難になり、逆にドットサイズが２００μｍよりも大きくなると、不可視のトナーを使用できない場合に、人間の目に付きやすくなるほか、検出精度が低下してしまう。このため、各々のドット画像のドットサイズは８０μｍ以上２００μｍ以下に設定することが望ましい。また、電子写真方式で印刷する場合は、画素を集中させる方が画素を分散させるよりも作像しやすい。このため、検証画像パターンのドット形状を最適な形状とするには、各々のドット画像の間隔をドットサイズの２倍以上に設定することが望ましい。

パターンデータ格納部１０８は、検証画像パターン生成部１０７のパターン生成に用いられる検証画像パターンのパターンデータを格納するものである。

パターン画像バッファ１０９は、検証画像パターン生成部１０７で生成された検証画像パターンを格納するものである。

画像合成部１１０は、コード画像バッファ１０４に格納された２次元のコード画像とパターン画像バッファ１０９に格納された検証画像パターンとを合成することにより、当該２次元コード画像と検証画像パターンを含む検証画像データを生成するものである。その際、画像合成部１１０は、１ページ分の画像領域において、検証画像パターンを検証領域にレイアウトするとともに、２次元コード画像を検証領域外にレイアウトする。２次元コード画像をレイアウトする領域は、文書のフォーマット毎に予め設定しておいてもよい。なお、ここでは検証画像データにコード画像を合成するものとしているが、検証画像データに代えて文書画像データにコード画像を合成するものとしてもよい。

〈改ざん検証装置の構成について〉
図８は改ざん検証装置３の構成例を示す図である。改ざん検証装置３は、大きくは、画像入力部３１と、検証領域情報取得部３２と、画像抽出部３３と、比較判定部３４とを備えた構成となっている。

画像入力部３１は、改ざん検証用文書の画像を光学的に読み取ることによって得られる画像データを入力するものである。画像入力部３１は、第１の画像入力部３１１と第２の画像入力部３１２とを含む構成となっている。第１の画像入力部３１１は、上述した画像形成装置２の第１の画像形成部２１が画像形成に使用する第１の色材（可視トナー）で用紙に印刷された画像を読み取って得られる第１の画像データを入力するものである。第２の画像入力部３１２は、上述した画像形成装置２の第２の画像形成部２２が画像形成に使用する第２の色材（不可視トナー）で用紙に印刷された画像を読み取って得られる第２の画像データを入力するものである。これにより、画像入力部３１からは第１の画像データと第２の画像データが別々（並列）に入力される。

画像入力部３１は、可視画像と不可視画像（赤外画像）の両方の読み取り機能を有するスキャナで構成することも可能であるし、当該スキャナで改ざん検証用文書の画像を読み取ったときに生成される第１の画像データ（可視光域の画像データ）と第２の画像データ（赤外光域の画像データ）とを別々に取り込む入力インタフェースで構成することも可能である。画像入力部３１を入力インターフェースで構成する場合は、上記図１に示したスキャナ６を改ざん検証用文書の画像読取用としてネットワーク７に接続し、このネットワーク７を介してスキャナ６から第１の画像データと第２の画像データを入力インターフェースで取り込む構成とすればよい。また、画像入力部３１を入力インターフェースで構成する場合は、上記スキャナ６を信号ケーブルで改ざん検証装置に接続し、その信号ケーブルを介して第１の画像データと第２の画像データを取り込む構成としてもよい。

また、第１の画像形成部２１が形成する画像は、検証情報埋め込みサーバ１から画像形成装置２に送信される文書画像データに基づく画像であり、第２の画像形成部２２が形成する画像は、検証情報埋め込みサーバ１から画像形成装置２に送信される検証画像データに基づく画像である。よって、第１の画像入力部３１１は、第１の色材で形成された文書画像データに基づく画像データを第１の画像データとして入力するものとなり、第２の画像入力部３１２は、第２の色材で形成された検証画像データに基づく画像データを第２の画像データとして入力するものとなる。また、第１の画像データは文書画像を表すものとなり、第２の画像データは検証画像を表すものとなる。

また、第１の色材は、所定波長域の光となる赤外光の吸収が相対的に少ない色材であり、第２の色材は、赤外光の吸収が相対的に多い色材である。したがって、画像入力部３１をスキャナで構成する場合は、赤外光を遮断する特性を持つ光学フィルタを取り付けた画像撮像素子（ＣＣＤセンサ、ＣＭＯＳセンサなど）を用いて第１の画像入力部３１１を構成するとともに、可視光を遮断する特性を持つ光学フィルタを取り付けた画像撮像素子（ＣＣＤセンサ、ＣＭＯＳセンサなど）を用いて第２の画像入力部３１２を構成することが可能である。例えば、画像入力部３１を４つのラインセンサを持つカラースキャナで構成する場合は、それぞれのラインセンサに対応して設ける光学フィルタの特性を適宜設定することにより、３つのラインセンサをＲ（赤），Ｇ（緑），Ｂ（青）の各色成分の可視画像を読み取るものとし、残り１つのラインセンサを赤外画像を読み取るものとすればよい。また、４ラインセンサ構成のカラースキャナで改ざん検証用文書の画像を読み取る場合は、ＲＧＢの可視光領域に感度をもつ３つのラインセンサで読み取られた画像データを第１の画像データとして取り込む一方、赤外光領域に感度をもつ１つのラインセンサで読み取られた画像データを第２の画像として取り込むようにすればよい。

検証領域情報取得部３２は、第２の画像入力部３１２から入力される第２の画像データを用いて、当該第２の画像データに埋め込まれた検証領域情報を取得するものである。検証領域情報取得部３２は、検証領域コード検出部３２１と、検証領域コード復号部３２２と、検証領域情報格納部３２３とを含む構成となっている。

検証領域コード検出部３２１は、第２の画像入力部３１２から入力された検証画像の画像データから、検証領域コード（図３参照）を検出するものである。なお、上記検証情報埋め込みサーバ１の画像合成部１１０において、文字画像データにコード画像を合成した場合、検証領域情報取得部３２は、第１の画像入力部３１１から入力される第１の画像データを用いて、当該第１に画像データに埋め込まれた検証領域情報を取得し、検証領域コード検出部３２１は、第１の画像入力部３１１から入力された文書画像の画像データから、検証領域コードを検出するものとなる。

検証領域コード復号部３２２は、検証領域コード検出部３２１で検出した検証領域コードを、上記検証領域情報符号化部１０２による検証領域情報の符号化に対応した方式（ＲＳ符号やＢＣＨ符号など）で復号することにより、検証領域情報を取り出すものである。検証領域コード復号部３２２で取り出される検証領域情報は、上記検証領域情報符号化部１０２および検証領域コード生成部１０３を用いて文書中の検証領域コードに格納された情報である。

検証領域情報格納部３２３は、検証領域コード復号部３２２での復号によって取り出された検証領域情報を格納するものである。

画像抽出部３３は、画像入力部３１から入力された画像データ（第１の画像データ、第２の画像データ）から、比較対象となる２つの画像（文字画像、検証画像）を抽出するものである。画像抽出部３３は、検証領域情報取得部３２で取得された検証領域情報を参照して画像の抽出を行なう２つの画像抽出部、すなわち文字画像抽出部３３１と検証画像抽出部３３２とを含む構成となっている。

文字画像検出部３３１は、検証領域情報格納部３２３に格納されている検証領域情報を参照することにより、当該検証領域情報が指定する検証領域を特定するとともに、第１の画像入力部３１１から入力された第１の画像データの中から、上記特定した検証領域に含まれる画像を文字画像として抽出するものである。

検証画像検出部３３２は、検証領域情報格納部３２３に格納されている検証領域情報を参照することにより、当該検証領域情報が指定する検証領域を特定するとともに、第２の画像入力部３１２から入力された第２の画像データの中から、上記特定した検証領域に含まれる画像を検証画像として抽出するものである。

比較判定部３４は、第１の画像入力部３１１で入力された第１の画像データで表される画像（文書画像）と第２の画像入力部３１２で入力された第２の画像データで表される画像（検証画像）とを比較することにより、改ざんの有無を判定するものである。比較判定部３４は、画像比較部３４１と改ざん判定部３４２とを含む構成となっている。

画像比較部３４１は、文字画像抽出部３３１で抽出された文字画像と検証画像抽出部３３２で抽出された検証画像とを比較するものである。

改ざん判定部３４２は、画像比較部３４１による文字画像と検証画像の比較結果に基づいて、改ざんの有無を判定するものである。

〈改ざん検証用文書作成方法について〉
図９は改ざん検証用の文書を作成する際の処理手順（改ざん検証用文書作成方法）を示すフローチャートである。この図９に示す処理手順は、本発明に係る改ざん検証用文書作成プログラムをコンピュータが実行することによって実現されるものである。プログラムの実行とは、ＲＯＭ（Read Only Memory）あるいはハードディスク等に格納されたプログラムをＣＰＵ（Central Processing Unit）がＲＡＭ（Random Access Memory）に読み出して実行することをいう。その場合、プログラムは、予め装置にインストールされていてもよいし、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に格納して提供されてもよいし、有線あるいは無線などの通信網を介して提供されてもよい。

まず、改ざん検証用の文書作成を希望するユーザが端末装置４を用いて所定の操作を行なうことにより、端末装置４でのユーザの操作にしたがって、印刷対象となる電子文書を指定した印刷指示を端末装置４から文書サーバ５に送信する（ステップＳ１）。

次に、端末装置４からの印刷指示を受信した文書サーバ５は、当該印刷指示で印刷対象に指定された電子文書を検証情報埋め込みサーバ１に送信する（ステップＳ２）。

次いで、文書サーバ５からの電子文書を受信した検証情報埋め込みサーバ１は、検証情報の埋め込み処理を行なうとともに、この埋め込み処理によって得られた文書画像データと検証画像データを、印刷用データとして画像形成装置２に送信する（ステップＳ３，Ｓ４）。

〈検証情報埋め込み方法について〉
検証情報の埋め込み処理（検証情報埋め込み方法）は、本発明に係る検証情報埋め込みプログラムをコンピュータが実行することによって実現されるもので、文書画像入力部１１による文書画像データの入力処理と、検証画像生成部１２による検証画像データの生成処理と、画像データ変換部１３による画像データの変換処理とを含むものである。また、検証画像データの生成処理は、検証領域情報格納部１０１への検証領域情報の格納処理と、検証領域情報符号化部１０２による検証領域情報の符号化処理と、検証領域コード生成部１０３による２次元画像コードの生成処理と、コード画像バッファ１０４への２次元画像コードの格納処理と、検証領域設定部１０５による検証領域の設定処理と、文字画像判別部１０６による判別処理と、検証画像パターン生成部１０７による検証画像パターンの生成処理と、パターン画像バッファ１０９への検証画像パターンの格納処理と、画像合成部１１０による２次元コード画像と検証画像パターンの合成処理とを含むものである。

続いて、検証情報埋め込みサーバ１からの印刷用データ（文書画像データ、検証画像データ）を受信した画像形成装置２は、文書画像データを第１の画像形成部２１で用紙に印刷するとともに、検証画像データを第２の画像形成部２２で用紙に印刷する（ステップＳ５）。これにより、文書画像と検証画像が混在した紙文書（改ざん検証用文書）が画像形成装置２の排出トレイ等に排出される。

このように改ざん検証用の文書を作成するにあたって、文書画像データは赤外光を吸収しない可視のトナーを使用して作像し、検証画像データは赤外光を吸収する不可視（トナーカバレッジが低いため完全に不可視でなくても目視でほとんど見えない）のトナーを使用して作像することにより、見かけ上、ユーザに違和感を与えることなく、検証情報を埋め込んだ文書を作成することができる。

図１０は改ざん検証用文書の検証領域に印刷される画像の一例を示すイメージ図である。図１０（Ａ）は検証領域内で文字画像判別部１０６により空白部と判別された画素部分に不可視のトナーを用いて検証画像データ（検証画像パターン）を印刷したイメージを示し、図１０（Ｂ）は検証領域内で文字画像判別部１６により文字画像部と判別された画素部分に可視のトナーを用いて文書画像データを印刷したイメージを示し、図１０（Ｃ）は検証領域に検証画像パターンと文書画像データの両方を印刷したイメージを示している。

検証画像データに含まれる検証画像パターンは、図１０（Ａ）に示すように、文字画像判別部１０６で文字画像部と判別された画素部分にドット画像が重ならないように、検証領域で文字画像部を避けた位置に形成されている。このため、ドット画像で構成される検証画像パターンは、文字部の形状をくり抜いた形態の中抜け有りの画像パターンとなっている。これに対して、文書画像データは、図１０（Ｂ）に示すように、文字画像判定部１０６で文字画像部と判別された画素部分だけに可視のトナーが乗るように形成されている。このため、図１０（Ｃ）においては、文字画像部で文字を形成する可視のトナーと空白部でドット画像を形成する不可視のトナーが互いに重ならないように配置されている。また、ドット画像で形成される検証画像パターンは、不可視のトナーで印刷されるため、文書画像データと一緒に印刷しても、人間の目にはほとんど見えない。

〈改ざん検証方法について〉
図１１は改ざん検証装置で文書の改ざんを検証する際の処理手順（改ざん検証方法）を示すフローチャートである。この図１１に示す処理手順は、本発明に係る改ざん検証プログラムをコンピュータが実行することによって実現されるものである。

まず、改ざん検証用文書の画像を読み取って得られる第１の画像データと第２の画像データをそれぞれ第１の画像入力部３１１と第２の画像入力部３１２から入力する（ステップＳ１１）。

次に、上記ステップＳ１１で第２の画像入力部３１２から入力された第２の画像データを用いて、当該第２の画像データに埋め込まれた検証領域情報を検証領域情報取得部３２で取得する処理を行なう（ステップＳ１２）。

ステップＳ１２で行なわれる検証領域情報の取得処理は、検証領域コード検出部３２１による検証領域コードの検出処理と、検証領域コード復号部３２２による検証領域コードの復号化処理と、検証領域情報格納部３２３への検証領域情報の格納処理とを含むものである。

次いで、上記ステップＳ１１で第１の画像入力部３１１から入力された第１の画像データと、上記ステップＳ１１で第２の画像入力部３１２から入力された第２の画像データから、それぞれ上記ステップＳ１２で取得した検証領域情報が指定する検証領域内の画像を抽出する（ステップＳ１３）。

ステップＳ１３で行なわれる画像抽出処理は、文字画像抽出部３３１による文字画像の抽出処理と、検証画像抽出部３３２による検証画像の抽出処理とを含むものである。

続いて、上記ステップＳ１３で文字画像抽出部３３１が抽出した文字画像と、上記ステップＳ１３で検証画像抽出部３３２が抽出した検証画像とを比較することにより、改ざんの有無を判定する処理を行なう（ステップＳ１４）。

〈比較判定処理方法について〉
ステップＳ１４の比較判定処理は、比較判定部３４において、例えば図１２に示すような手順で行なわれるものである。まず、画像比較部３４１は、文字画像抽出部３３１で抽出された文字画像と検証画像抽出部３３２で抽出された検証画像を、それぞれ格子状に複数の領域（以下、「部分領域」）に分割する（ステップＳ１４１）。

部分領域のサイズは、例えば、前述した検証画像パターンを構成するドット画像のドットサイズよりも大きく、且つ、前述した文字画像判別部１０６で文字画像判別に用いる参照矩形領域Ｅのサイズよりも小さい条件で、適宜設定すればよい。具体的には、検証画像パターンが上記図７のような画像パターンであるとすると、ドットサイズである２×２画素を１つの単位として、その整数倍（例えば、４×４画素、６×６画素、８×８画素、…、１６×１６画素など）のサイズで部分領域の大きさを設定すればよい。ここでは、文字画像と検証画像が、それぞれｎ個（ｎは自然数）の部分領域に分割されるものとする。また、文字画像および検証画像の双方において、各々の部分領域には１から順に連続番号が付されるものとする。これにより、文字画像および検証画像において、互いに同じ位置の部分領域には同じ番号が付される。ちなみに、文字画像抽出部３３１で抽出される文字画像と検証画像抽出部３３２で抽出される検証画像は、いずれも同じ検証領域から抽出される画像であるため、画像全体の領域サイズは、いずれも検証領域と同じサイズになる。

続いて、画像比較部３４１は、ｍの値を初期値（ｍ＝０）に設定した後（ステップＳ１４２）、ｍの値を１インクリメントする（ステップＳ１４３）。次に、文字画像と検証画像の双方から、現在のｍの値に対応する部分領域の画像（以下、「部分画像」）を抽出する（ステップＳ１４４）。

次いで、画像比較部３４１は、検証画像から抽出した部分画像の画素密度が基準画素密度よりも高いかどうかを判断する（ステップＳ１４５）。基準画素密度には、例えば、検証画像抽出部３３２によって検証領域から抽出された検証画像に含まれる有効画素の数を全画素数で除したときに得られる有効画素数の割合（平均値）を適用することができる。また、これ以外にも、例えば、検証画像パターンだけを含む部分画像をパターンマッチングによって特定し、その特定した部分画像の画素密度を基準画素密度として適用することができる。また、部分画像の画素密度が基準画素密度よりも高いかどうかは、画像形成時（画像印刷時）や画像読取時の画像の歪み等を考慮して基準画素密度の上限を閾値で規定し、この上限閾値よりも部分画像の画素密度が高いかどうかで判断すればよい。

ここで、部分画像の画素密度が基準画素密度よりも高いと画像比較部３４１が判断すると、改ざん検出部３４２は、上記ステップＳ１４４で部分画像の抽出を行なった部分領域を追記改ざん部と判定する（ステップＳ１４６）。また、部分画像の画素密度が基準画素密度よりも高くないと判断すると、これに続いて画像比較部３４１は、検証画像から抽出した部分画像の画素密度が基準画素密度よりも低いかどうかを判断する（ステップＳ１４７）。部分画像の画素密度が基準画素密度よりも低いかどうかは、画像形成時（画像印刷時）や画像読取時の画像の歪み等を考慮して基準画素密度の下限を閾値で規定し、この下限閾値よりも部分画像の画素密度が低いかどうかで判断すればよい。

上記ステップＳ１４７において、部分画像の画素密度が基準画素密度よりも低いと判断すると、これに続いて画像比較部３４１は、上記ステップＳ１４４で文字画像から抽出した部分画像に文字が含まれているかどうかを判断する（ステップＳ１４８）。部分画像に文字が含まれているかどうかは、上記ステップＳ１４４で文字画像から抽出した部分画像の中に所定画素数以上の有効画素が含まれているかどうかによって判断すればよい。所定画素数は、ノイズ等の影響を考慮して適宜設定すればよい。画像比較部３４１が部分画像に文字が含まれていると判断すると、改ざん検出部３４２は、上記ステップＳ１４４で部分画像の抽出を行なった部分領域を改ざん無し部と判定する（ステップＳ１４９）。また、画像比較部３４１が部分画像に文字が含まれていないと判断すると、改ざん検出部３４２は、上記ステップＳ１４４で部分画像の抽出を行なった部分領域を消去改ざん部と判定する（ステップＳ１５０）。

また、上記ステップＳ１４７において、部分画像の画素密度が基準画素密度よりも低くないと判断すると、これに続いて画像比較部３４１は、上記ステップＳ１４４で文字画像から抽出した部分画像に文字が含まれているかどうかを判断する（ステップＳ１５１）。そして、ステップＳ１５１において画像比較部３４１が部分画像に文字が含まれていると判断すると、改ざん判定部３４２は、上記ステップＳ１４４で部分画像の抽出を行なった部分領域を追記改ざん部と判定する（ステップＳ１４６）。また、ステップＳ１５１において画像比較部３４１が部分画像に文字が含まれていないと判断すると、改ざん判定部３４２は、上記ステップＳ１４４で部分画像の抽出を行なった部分領域を改ざん無し部と判定する（ステップＳ１４９）。

その後、画像比較部３４１は、ｍの値が、上述した領域分割数のｎと同じ値になったかどうかを判断する（ステップＳ１５２）。そして、ｍ＜ｎとなっていた場合は、上記ステップＳ１４３に戻って上記同様の処理を行ない、ｍ＝ｎの条件を満たした場合は、その時点で比較判定処理を終える。ただし、１つの改ざん検証用文書内に複数の検証領域が存在する場合は、各々の検証領域毎に上記比較判定処理を繰り返すことになる。

以上ような比較判定処理を行なうことにより、文書中に設定された検証領域で改ざんの有無を的確に判定することが可能となる。例えば、図１３（Ａ）に示すように、元の情報が「３８，０００円」と記載された検証領域に対して、「１」の文字が追記されて「１３８，０００円」に改ざんされた場合は、この追記改ざんが赤外光を吸収しない色材を用いて行われたのか、赤外光を吸収する色材を用いて行なわれたのかによって、文字画像抽出部３３１で抽出される文字画像と検証画像抽出部３３２で抽出される検証画像の見え方（相対的な位置関係）が特異なものとなる。

すなわち、追記改ざんが赤外光を吸収しない色材（例えば、赤外非吸収トナー、または赤外非吸収インク）を用いて行なわれた場合は、図１３（Ｂ）に示すように、検証画像に一様な画素密度を有する画像パターン（検証画像パターン）が現れるのに対して、文字画像には、当該画像パターンに重なる位置に「１」の文字が現れる。このため、比較判定部３４においては、検証画像の中に中抜け無しの画像パターン部が存在し、文字画像の中に当該画像パターンに重なり合う文字部が存在する場合に、この文字部を追記改ざん部として判定する。この追記改ざんの判定は、上記比較判定処理（図１２参照）において、Ｓ１４５→Ｓ１４７→Ｓ１５１→Ｓ１４６のステップを経てなされる。

また、追記改ざんが赤外光を吸収する色材（例えば、赤外吸収トナー、または赤外吸収インク）を用いて行なわれた場合は、図１３（Ｃ）に示すように、検証画像に現れる画像パターンの中に当該画像パターンよりも高い画素密度で「１」の文字が現れ、文字画像にはなにも現れない。このため、比較判定部３４においては、検証画像の部分領域から抽出した部分画像の画素密度が基準画素密度よりも高い場合に、その部分領域を追記改ざん部として判定する。この追記改ざんの判定は、上記比較判定処理（図１２参照）において、Ｓ１４５→Ｓ１４６のステップを経てなされる。

これに対して、例えば、「１」の文字があとから追記されたものではなく、元の情報に含まれる文字であるとすると、図１３（Ｄ）に示すように、文字画像には「１」の文字が現れ、検証画像には「１」の文字を中抜きした状態の画像パターン（検証画像パターン）が現れる。この場合、文字画像に現れる「１」の文字と検証画像に現れる画像パターンは、互いに重なる部分が存在しない。このため、比較判定部３４においては、検証画像の中に中抜け有りの画像パターン部が存在し、文字画像の中に当該中抜け有りの画像パターン部に対応（中抜け部分に重畳）する文字部が存在する場合に、改ざん無しと判定する。この改ざん無しの判定は、上記比較判定処理（図１２参照）において、Ｓ１４５→Ｓ１４７→Ｓ１４８→Ｓ１４９のステップを経てなされる。

また、図示はしないが、検証画像の中に中抜け無し（一様な画素密度）の画像パターン部が存在し、文字画像の中に文字部が存在しない場合も、改ざん無しと判定する。この改ざん無しの判定は、上記比較判定処理（図１２参照）において、Ｓ１４５→Ｓ１４７→Ｓ１５１→Ｓ１４９のステップを経てなされる。

また、例えば、図１４（Ａ）に示すように、元の情報が「３８，０００円」と記載された検証領域に対して、「３」の文字が消去されて「８，０００円」に改ざんされた場合も、文字画像抽出部３３１で抽出される文字画像と検証画像抽出部３３２で抽出される検証画像の見え方（相対的な位置関係）が特異なものとなる。

すなわち、文字画像と検証画像を比較すると、図１４（Ｂ）に示すように、文字画像には何も現れず、検証画像には「３」の文字形状を中抜きした状態の画像パターン（検証画像パターン）が現れる。このため、比較判定部３４においては、検証画像の中に中抜け有りの画像パターン部が存在し、文字画像の中に中抜け有りの画像パターン部に対応（中抜け部分に重畳）する文字部が存在しない場合に、検証画像に含まれる画像パターン部の中抜け部分を消去改ざん部として判定する。この消去改ざんの判定は、上記比較判定処理（図１２参照）において、Ｓ１４５→Ｓ１４７→Ｓ１４８→Ｓ１５０のステップを経てなされる。

また、図示はしないが、上記「３」の文字が検証画像パターンと一緒に消去されて「８，０００円」に改ざんされた場合や、検証領域全体の画像（文字部、画像パターン部）を一度完全に消去した後で、上書きにより「８，０００円」と改ざんされた場合は、検証画像に画像パターンが現れない。このため、比較判定部３４においては、検証画像の中に画像パターン部が存在しない場合に、その部分を消去改ざん部として判定する。この消去改ざんの判定は、上記比較判定処理（図１２参照）において、Ｓ１４５→Ｓ１４７→Ｓ１４８→Ｓ１５０のステップを経てなされる。

以上のような判定基準にしたがって、画像抽出部３３（文字画像抽出部３３１、検証画像抽出部３３２）で抽出された文字画像と検証画像を比較判定部３４（画像比較部３４１、改ざん判定部３４２）で比較することにより、文書の検証領域で改ざんが行なわれたかどうか、さらには検証領域のどの部分で改ざんが行なわれたかを確実に判定することが可能となる。また、改ざん検証用文書の検証領域に形成される文字画像と検証画像は、画像の印刷に使用するプリンタの特性による画像歪み（位置ずれ、変倍、傾き等）の影響や、画像の読み取りに使用するスキャナの特性による画像歪みの影響を同量ずつ受ける。このため、文字画像と検証画像の相対的な位置関係は、画像形成装置や画像読取装置の特性によらず、一定の関係に維持される。このため、プリンタの特性やスキャナの特性などの影響で改ざん検証用文書の画像に歪みが生じた場合でも、高精度に文書の改ざんを検証することができる。また、画像の回転を行なっても文字画像と検証画像の相対的な位置関係は変わらないため、画像回転の影響を受けることなく、文書の改ざんを精度良く検証することができる。さらに、検証画像を不可視トナーを用いて形成するため、文書の可読性を阻害することもない。

ちなみに、比較判定部３４で改ざんの有無を判定するにあたっては、部分領域毎に改ざんの有無を判定する方法の他にも、検証領域を一つの単位として、検証領域毎に改ざんの有無を判定する方法を採用することも可能である。具体的には、検証領域内で追記改ざん部や消去改ざん部と判定された部分領域の数に関する情報を参照して、改ざん有りと判定された部分領域の数が規定数以上の場合は検証領域で改ざんが有ったと判定し、改ざん有りと判定された部分領域の数が規定数未満の場合は検証領域で改ざんが無かったと判定してもよい。この場合は、ノイズ等の影響で一部の部分領域が誤って改ざん有りまたは改ざん無しと判定されても、検証領域全体で改ざんの有無を適切に判定することができる。

また、比較判定部３４による比較判定処理（図１２）においては、検証画像から抽出した部分画像の画素密度が基準画素密度よりも高い場合に、当該部分画像の抽出を行なった部分領域を追記改ざん部として判定するようにしたが、これ以外にも、例えば、検証画像から抽出した部分画像に画像縮退などの画像処理を施すことにより、当該部分画像に含まれる検証画像パターン（ドット画像）を除去し、この除去処理後に画像が残った場合は、この残った画像部分が追記によって改ざんされたものと認識して、当該画像部分を含む部分領域を追記改ざん部として判定するようにしてもよい。

また、検証画像パターン生成部１０７は、文字画像判別部１０６で判別した空白部に相当する位置に重なるように検証画像パターンを生成するものとしたが、文字画像判別部１０６で判別した文字画像部に相当する位置に重なるように検証画像パターンを生成するものであってもよい。ただし、その場合は、検証画像パターン生成部１０７の構成として、文字画像判別部１０６で文字画像部と判別した文字を縮退させる画像縮退手段を含むものとし、この画像縮退手段で文字を縮退させて得られる画像パターンを検証画像パターンとして生成するものとする。画像縮退手段で文字を縮退させると、文字の線が細くなる。

したがって、実際に改ざん検証用文書の検証領域に印刷したときの画像のイメージは図１５（Ａ）〜（Ｃ）のようになる。図１５（Ａ）は検証領域内で文字画像判別部１０６により文字画像部と判別された画素部分に不可視のトナーを用いて検証画像データ（縮退文字）を印刷したイメージを示し、図１５（Ｂ）は検証領域内で文字画像判別部１６により文字画像部と判別された画素部分に可視のトナーを用いて文書画像データ（元の文字）を印刷したイメージを示し、図１５（Ｃ）は検証領域に検証画像パターンと文書画像データの両方を印刷したイメージを示している。図１５（Ｃ）においては、検証画像となる縮退文字が、文字画像となる元の文字の上または下に重ねて印刷されている。

このように印刷された改ざん検証用文書を用いて改ざんの検証を行なう場合は、文書中に設定された検証領域で追記による改ざんが行なわれた場合と行われなかった場合で、画像抽出部３３（文字画像抽出部３３１、検証画像抽出部３３２）で抽出される文字画像と検証画像の見え方（相対的な位置関係）が特異なものとなる。また、例えば、図１６（Ａ）に示すように、元の情報が「３８，０００円」と記載された検証領域に対して、「１」の文字が追記されて「１３８，０００円」に改ざんされた場合は、この追記改ざんが赤外光を吸収しない色材を用いて行われたのか、赤外光を吸収する色材を用いて行なわれたのかによって、文字画像抽出部３３１で抽出される文字画像と検証画像抽出部３３２で抽出される検証画像の見え方が特異なものとなる。

すなわち、追記改ざんが赤外光を吸収しない色材（例えば、赤外非吸収トナー、または赤外非吸収インク）を用いて行なわれた場合は、図１６（Ｂ）に示すように、文字画像に「１」の文字が現れるのに対して、検証画像には「１」の文字が現れない。このため、文字画像の中に文字が存在し、検証画像の中に文字が存在しない場合は、文字画像に含まれる文字を追記によって改ざんされた文字であると認識して、追記による改ざん有りと判定する。

また、追記改ざんが赤外光を吸収する色材（例えば、赤外吸収トナー、または赤外吸収インク）を用いて行なわれた場合は、図１６（Ｃ）に示すように、検証画像に「１」の文字が現れるのに対して、文字画像には「１」の文字が現れない。このため、検証画像の中に文字が存在し、文字画像の中に文字が存在しない場合は、検証画像に含まれる文字を追記によって改ざんされた文字であると認識して、追記による改ざん有りと判定する。

このように後から追記した部分は、文字画像と検証画像のいずれか一方だけに現れることになる。このため、比較判定部３４においては、文字画像および検証画像のうち、いずれか一方だけに文字部が存在した場合に、その文字部を追記改ざん部分として判定する。

これに対して、例えば、「１」の文字があとから追記されたものではなく、元の情報に含まれる文字であるとすると、図１６（Ｄ）に示すように、文字画像に「１」の文字（元の文字）が現れ、検証画像にも「１」の文字（縮退文字）が現れる。このため、比較判定部３４においては、文字画像と検証画像の両方に文字が存在する場合は、その文字を改ざんされた文字ではないと認識して、改ざん無しと判定する。また、図示はしないが、文字画像と検証画像の両方に文字部が存在しない場合も、改ざん無しと判定する。

このように文字画像部の文字を縮退させた画像パターンを検証画像パターンとして採用することにより、文字画像に重畳する検証画像データを、文字画像を縮退させた画像（文字画像の骨格に近い画像）データとすることができる。文字画像が小さい場合は、検証画像パターンをドット画像で構成すると、文字画像部に重畳させることができる検証画像パターンのデータ量が不足し、検出精度の低下が懸念されるが、縮退文字の画像パターンとすることにより、そうした懸念が解消される。

本発明の実施形態に係る改ざん検証システムの構成例を示す図である。 本発明の実施形態に係る改ざん検証用文書作成装置の構成例を示す図である。 検証領域コードの一例を示す図である。 ２次元コードを画像化するためのパターンを示す図である。 検証領域を設定する様子を示す図である。 文字画像判別方法の一例を示す図である。 検証画像パターンの一例を示す図である。 本発明の実施形態に係る改ざん検証装置の構成例を示す図である。 改ざん検証用の文書を作成する際の処理手順を示すフローチャートである。 改ざん検証用文書の検証領域に印刷される画像の一例を示すイメージ図である。 改ざん検証装置で文書の改ざんを検証する際の処理手順を示すフローチャートである。 比較判定処理の手順を示すフローチャートである。 文字画像と検証画像の比較による改ざん有無の判定例を示す図（その１）である。 文字画像と検証画像の比較による改ざん有無の判定例を示す図（その２）である。 改ざん検証用文書の検証領域に印刷される画像の他の例を示すイメージ図である。 文字画像と検証画像の比較による改ざん有無の判定例を示す図（その３）である。

符号の説明

１…検証情報埋め込みサーバ、２…画像形成装置、３…改ざん検証装置、４…端末装置、５…文書サーバ、６…スキャナ、７…ネットワーク、１１…文書画像入力部、１２…検証画像生成部、１３…画像データ変換部、２１…第１の画像形成部、２２…第２の画像形成部、３１…画像入力部、３２…検証領域情報取得部、３３…画像抽出部、３４…比較判定部、１０１…検証領域情報格納部、１０２…検証領域情報符号化部、１０３…検証領域コード生成部、１０４…コード画像バッファ、１０５…検証領域設定部、１０６…文字画像判別部、１０７…検証画像パターン生成部、１０８…パターンデータ格納部、１０９…パターン画像バッファ、１１０…画像合成部、３１１…第１の画像入力部、３１２…第２の画像入力部、３２１…検証領域コード検出部、３２２…検証領域コード復号部、３２３…検証領域情報格納部、３３１…文字画像抽出部、３３２…検証画像抽出部、３４１…画像比較部３４１、改ざん判定部３４２

Claims (18)

1. 改ざん検証の対象となる文書画像データを入力する文書画像入力手段と、
   前記文書画像入力手段から入力された前記文書画像データを用いて検証画像データを生成する検証画像生成手段と、
   前記文書画像データを所定波長域の光の吸収が相対的に少ない第１の色材で画像形成するとともに、前記検証画像データを前記所定波長域の光の吸収が相対的に多い第２の色材で画像形成する画像形成手段と
   を備える改ざん検証用文書作成装置であって、
   前記検証画像生成手段は、
   前記文書画像データの文字画像部を判別する文字画像判別手段と、
   前記文字画像判別手段の判別結果に基づいて、前記文字画像部に相当する位置または前記文字画像部を除く空白部に相当する位置に重なるように、検証画像データに含まれる検証画像パターンを生成する検証画像パターン生成手段と
   を含み、
   前記検証画像パターン生成手段は、前記文字画像部に相当する位置に重なるように前記検証画像パターンを生成する場合に、前記文字画像部の文字を縮退させた画像パターンを前記検証画像パターンとして生成する
   ことを特徴とする改ざん検証用文書作成装置。
2. 前記文字画像判別手段は、所定サイズの領域単位を移動させたときに前記領域単位の境界上に有効画素が無く前記領域単位内に有効画素が存在する場合に、前記領域単位が前記文字画像部を含むと判断し、かつ、前記文字画像部を含むと判断した領域内の有効画素を文字画像を表す画素として検出する
   ことを特徴とする請求項１記載の改ざん検証用文書作成装置。
3. 前記検証画像パターン生成手段は、画素密度が所定の上限値以下であり所定の下限値以上である基準画素密度の範囲内である検証画像パターンを生成する
   請求項１記載の改ざん検証用文書作成装置。
4. 前記検証画像パターン生成手段は、前記検証画像パターンを生成するにあたって、単位面積あたりの有効画素数が前記文書画像データよりも少ない画像パターンを生成する
   ことを特徴とする請求項１記載の改ざん検証用文書作成装置。
5. 前記検証画像パターン生成手段は、前記空白部に相当する位置に重なるように前記検証画像パターンを生成する場合に、均一な画素密度を有する画像パターンを前記検証画像パターンとして生成する
   ことを特徴とする請求項１記載の改ざん検証用文書作成装置。
6. 前記検証画像パターンは、複数のドット画像によって構成されるとともに、各々のドット画像のドットサイズが８０μｍ以上２００μｍ以下で、各々のドット画像の間隔が前記ドットサイズの２倍以上に設定されている
   ことを特徴とする請求項１記載の改ざん検証用文書作成装置。
7. 前記検証画像生成手段は、前記文書画像入力手段から入力された前記文書画像データ上で検証領域を設定する検証領域設定手段を含む
   ことを特徴とする請求項１記載の改ざん検証用文書作成装置。
8. 前記検証画像生成手段は、検証領域を指定する検証領域情報を符号化する検証領域情報符号化手段と、前記検証領域情報符号化手段で符号化された検証領域情報から機械可読なコード画像を生成する検証領域コード生成手段と、前記文書画像データおよび前記検証画像データのいずれか一方と前記コード画像とを合成する画像合成手段とを含む
   ことを特徴とする請求項１記載の改ざん検証用文書作成装置。
9. コンピュータに、
   改ざん検証の対象となる文書画像データを入力する文書画像入力処理と、
   前記文書画像入力処理で入力された前記文書画像データを用いて検証画像データを生成する検証画像生成処理と、
   前記文書画像データを所定波長域の光の吸収が相対的に少ない第１の色材で画像形成するとともに、前記検証画像データを前記所定波長域の光の吸収が相対的に多い第２の色材で画像形成する画像形成処理と
   を実行させるための改ざん検証用文書作成プログラムであって、
   前記検証画像生成処理は、
   前記文書画像データの文字画像部を判別する文字画像判別処理と、
   前記文字画像判別処理の判別結果に基づいて、前記文字画像部に相当する位置または前記文字画像部を除く空白部に相当する位置に重なるように、検証画像データに含まれる検証画像パターンを生成する検証画像パターン生成処理と
   を含み、
   前記検証画像パターン生成処理は、前記文字画像部に相当する位置に重なるように前記検証画像パターンを生成する場合に、前記文字画像部の文字を縮退させた画像パターンを前記検証画像パターンとして生成する
   ことを特徴とする改ざん検証用文書作成プログラム。
10. 改ざん検証用文書から所定波長域の光の吸収が相対的に少ない第１の色材で形成された画像を読み取って得られる第１の画像データと前記改ざん検証用文書から前記所定波長域の光の吸収が相対的に多い第２の色材で形成された画像を読み取って得られる第２の画像データを別々に入力する画像入力手段と、
    前記第１の画像データから文字画像を抽出する文字画像抽出手段と、
    前記第２の画像データから、前記文字画像に相当する位置または前記文字画像を除く空白部に相当する位置に重なるように生成された検証画像であって、前記文字画像に相当する位置に重なるように生成された場合に、前記文字画像の文字を縮退させることにより生成された検証画像を抽出する検証画像抽出手段と、
    前記文字画像抽出手段で抽出された前記文字画像と前記検証画像抽出手段で抽出された前記検証画像とを比較することにより、改ざんの有無を判定する比較判定手段と
    を備えることを特徴とする改ざん検証装置。
11. 前記検証画像は、改ざんがなされずに改ざん検証用文書に埋め込まれた場合は、画素密度が所定の上限値以下であり所定の下限値以上である基準画素密度の範囲内である
    請求項１０に記載の改ざん検証装置。
12. 前記画像入力手段によって入力された前記第１の画像データまたは前記第２の画像データから検証領域情報を取得する検証領域情報取得手段を具備し、
    前記文字画像抽出手段は、前記第１の画像データの中から前記検証領域情報取得手段で取得された前記検証領域情報が指定する検証領域の画像を前記文字画像として抽出し、
    前記検証画像抽出手段は、前記第２の画像データの中から前記検証領域情報取得手段で取得された前記検証領域情報が指定する検証領域の画像を前記検証画像として抽出する
    ことを特徴とする請求項１０記載の改ざん検証装置。
13. 前記比較判定手段は、前記検証画像抽出手段によって抽出された前記検証画像の部分領域から抽出した部分画像の画素密度が基準画素密度よりも高い場合に、前記部分領域を追記改ざん部として判定する
    ことを特徴とする請求項１０記載の改ざん検証装置。
14. 前記比較判定手段は、前記検証画像抽出手段によって抽出された前記検証画像に中抜け無しの画像パターン部が存在し、前記文字画像抽出手段によって抽出された前記文字画像に前記中抜け無しの画像パターン部に重なり合う文字部が存在する場合に、当該文字部を追記改ざん部として判定する
    ことを特徴とする請求項１０記載の改ざん検証装置。
15. 前記比較判定手段は、前記検証画像抽出手段によって抽出された前記検証画像に中抜け有りの画像パターン部が存在し、前記文字画像抽出手段によって抽出された前記文字画像に前記中抜け有りの画像パターン部に対応する文字部が存在しない場合に、前記画像パターン部の中抜け部分を消去改ざん部として判定する
    ことを特徴とする請求項１０記載の改ざん検証装置。
16. 前記比較判定手段は、前記文字画像抽出手段によって抽出された前記文字画像および前記検証画像抽出手段によって抽出された前記検証画像のうち、いずれか一方だけに文字部が存在した場合に、前記文字部を追記改ざん部として判定する
    ことを特徴とする請求項１０記載の改ざん検証装置。
17. 前記検証領域情報取得手段は、前記画像入力手段で入力された前記第１の画像データまたは前記第２の画像データから、前記検証領域情報が格納された機械可読な検証領域コードを検出する検証領域コード検出手段と、前記検証領域コード検出手段で検出した検証領域コードを復号して前記検証領域情報を取り出す検証領域コード復号手段とを含む
    ことを特徴とする請求項１２記載の改ざん検証装置。
18. コンピュータに、
    改ざん検証用文書から所定波長域の光の吸収が相対的に少ない第１の色材で形成された画像を読み取って得られる第１の画像データと前記改ざん検証用文書から前記所定波長域の光の吸収が相対的に多い第２の色材で形成された画像を読み取って得られる第２の画像データを別々に入力する画像入力処理と、
    前記第１の画像データから文字画像を抽出する文字画像抽出処理と、
    前記第２の画像データから、前記文字画像に相当する位置または前記文字画像を除く空白部に相当する位置に重なるように生成された検証画像であって、前記文字画像に相当する位置に重なるように生成された場合に、前記文字画像の文字を縮退させることにより生成された検証画像を抽出する検証画像抽出処理と、
    前記文字画像抽出手段で抽出された前記文字画像と前記検証画像抽出手段で抽出された前記検証画像とを比較することにより、改ざんの有無を判定する比較判定処理と
    を実行させるための改ざん検証プログラム。

Images