JP3999778B2 - 画像処理方法および画像処理装置 - Google Patents

Description

本発明は印刷された帳票に対して改ざんがあった場合に，帳票を受け取った側で改ざんの検証を行うことができる画像処理方法および画像処理装置に関する。

印刷された帳票に対して改ざんがあった場合に，帳票を受け取った側で改ざんの検証を行う技術として，特開２０００−２３２５７３号公報「印刷装置，印刷方法及び記録媒体」に開示の技術がある。同文献に開示の技術では，少なくとも帳票を含む印刷物に印字データを印刷する際に，上記印字データの他に，上記印字データに対応した電子透かしを印刷することにより，その印刷物を見ただけで印刷したファイルを忠実に複製できるようにするとともに，印刷物に印刷してある電子透かし情報から，印刷結果が改ざんされているか否かを判別できるようにする。改ざんの判定は印刷結果と電子透かしで印字されたものとを比較することによって行う。

特開２０００−２３２５７３号公報

ところで，上記従来の方法では，改ざんの判別は電子透かしから取り出した印字内容と，紙面に印刷されている印字内容とを目視によって比較する必要がある。これには以下のような問題点がある。まず第１の問題点として，目視による判定であるため大量の帳票を短時間で処理することが困難である。また第２の問題点として，印字内容を１文字ずつ読み比べる必要があるため，人為的なミスによって改ざんの見逃しが起こる可能性がある。上記従来の方法では，このような問題点を有することによって，高精度の改ざん検出を行うことが困難であった。

本発明は，上記従来技術が有する問題点に鑑みてなされたものであり，本発明の目的は，高精度の改ざん検出を行うことの可能な，新規かつ改良された画像処理方法および画像処理装置を提供することである。

上記課題を解決するため，本発明の第１の観点によれば，元画像に識別可能なパターンを重畳したパターン重畳画像から，重畳したパターンの重畳位置を検出する検出部（２２０）と，検出した重畳位置情報を元にして，パターン重畳画像の補正画像を作成する補正画像作成部（２３０）と，を備えたことを特徴とする，画像処理装置（２００）が提供される（請求項１）。

かかる構成によれば，印刷時に埋め込んだ信号の位置情報を元に，印刷書面を取り込んだ画像を補正するため，印刷物から取り込んだ画像から印刷前の画像を歪みや伸び縮みなく復元できるので，それらの画像間の位置の対応付けを高精度で行うことができ，さらには高性能の改ざん検出を行うことができる。なお，パターン重畳画像は，識別可能なパターンを重畳して出力した画像そのものであってもよく，あるいは，識別可能なパターンを重畳してそれを印刷物（帳票など）として印刷し，スキャナ装置などの入力デバイスにより取り込んだ画像であってもよい。

本発明の画像処理装置において，以下のような応用が可能である。

識別可能なパターンは，例えば，元画像の全体に既知の間隔に重畳されているものとすることができる（請求項２）。あるいは，識別可能なパターンは，元画像の全体に縦方向，横方向ともに等間隔に重畳されているものとすることができる。

検出部による重畳位置の検出方法としては，例えば以下のような方法を採用することができる。まず第１の例として，パターン重畳画像から検出した識別可能なパターンの位置情報について，水平方向に並んだ位置情報の組を直線近似し，垂直方向に並んだ位置情報の組を直線近似し，水平方向の近似直線と垂直方向の近似直線との交点を計算し，該交点を元画像に重畳したパターンの重畳位置として検出するようにしてもよい（請求項３）。

また第２の例として，パターン重畳画像から検出した識別可能なパターンの位置情報について，水平方向に並んだ位置情報の組を直線近似し，垂直方向に並んだ位置情報の組を直線近似し，水平方向の近似直線の傾きを，該近似直線とその近傍の（例えば，それに隣接する）他の水平方向の直線による平均値に置き換え，垂直方向の近似直線の傾きを，該近似直線とその近傍の（例えば，それに隣接する）他の垂直方向の直線による平均値に置き換え，水平方向の近似直線と垂直方向の近似直線との交点を計算し，該交点を元画像に重畳したパターンの重畳位置として検出するようにしてもよい（請求項４）。

また第３の例として，パターン重畳画像から検出した識別可能なパターンの位置情報について，水平方向に並んだ位置情報の組を直線近似し，垂直方向に並んだ位置情報の組を直線近似し，水平方向の近似直線の垂直方向の位置を，該近似直線とその近傍の（例えば，それに隣接する）他の水平方向の直線の垂直方向の位置による平均値に置き換え，垂直方向の近似直線の水平方向の位置を，該近似直線とその近傍の（例えば，それに隣接する）他の垂直方向の直線の水平方向の位置による平均値に置き換え，水平方向の近似直線と垂直方向の近似直線との交点を計算し，該交点を元画像に重畳したパターンの重畳位置と検出するようにしてもよい（請求項５）。

一方，補正画像作成部は，検出部が検出した重畳位置が縦方向，横方向ともに既知の間隔に並ぶように，パターン重畳画像の補正画像を作成して，パターン重畳画像を変形するようにしてもよい（請求項６）。

また，画像に対して改ざんが行われたことを判定する改ざん判定部をさらに備えるようにしてもよい。すなわち，元画像の任意の領域の画像特徴とその領域の位置情報とが，その元画像に可視または不可視の情報として記録されており，検出部は，パターン重畳画像から画像特徴と位置情報とを取り出し，改ざん判定部は，取り出した画像特徴と，変形したパターン重畳画像の同じ位置の画像特徴とを比較し，それらの間に違いがあればそれを改ざんと判定するようにしてもよい（請求項７）。

また，元画像の任意の領域の画像特徴とその領域の位置情報とが，その元画像とは別に保存されており，改ざん判定部は，保存されている特徴画像と，変形したパターン重畳画像の同じ位置の画像特徴とを比較し，それらの間に違いがあればそれを改ざんと判定するようにしてもよい（請求項８）。

上記課題を解決するため，本発明の第２の観点によれば，元画像に識別可能なパターンを重畳したパターン重畳画像から，重畳したパターンの重畳位置を検出する検出工程（Ｓ６１０〜Ｓ６４０）と，検出した重畳位置情報を元にして，パターン重畳画像の補正画像を作成する補正画像作成工程（Ｓ６５０）と，を含むことを特徴とする，画像処理方法が提供される（請求項９）。

かかる方法によれば，印刷時に埋め込んだ信号の位置情報を元に，印刷書面を取り込んだ画像を補正するため，印刷物から取り込んだ画像から印刷前の画像を歪みや伸び縮みなく復元できるので，それらの画像間の位置の対応付けを高精度で行うことができ，さらには高性能の改ざん検出を行うことができる。なお，パターン重畳画像は，識別可能なパターンを重畳して出力した画像そのものであってもよく，あるいは，識別可能なパターンを重畳してそれを印刷物（帳票など）として印刷し，スキャナ装置などの入力デバイスにより取り込んだ画像であってもよい。

本発明の画像処理方法において，以下のような応用が可能である。

識別可能なパターンは，例えば，元画像の全体に既知の間隔に重畳されているものとすることができる（請求項１０）。あるいは，識別可能なパターンは，元画像の全体に縦方向，横方向ともに等間隔に重畳されているものとすることができる。

検出工程における重畳位置の検出は，より詳細には，例えば以下のような方法を採用することができる。まず第１の例として，パターン重畳画像から検出した識別可能なパターンの位置情報について，水平方向に並んだ位置情報の組を直線近似し，垂直方向に並んだ位置情報の組を直線近似し（Ｓ６２０），水平方向の近似直線と垂直方向の近似直線との交点を計算し（Ｓ６４０），該交点を元画像に重畳したパターンの重畳位置として検出するようにしてもよい（請求項１１）。

また第２の例として，パターン重畳画像から検出した識別可能なパターンの位置情報について，水平方向に並んだ位置情報の組を直線近似し，垂直方向に並んだ位置情報の組を直線近似し（Ｓ６２０），水平方向の近似直線の傾きを，該近似直線とその近傍の（例えば，それに隣接する）他の水平方向の直線による平均値に置き換え（Ｓ６３０），垂直方向の近似直線の傾きを，該近似直線とその近傍の（例えば，それに隣接する）他の垂直方向の直線による平均値に置き換え（Ｓ６３０），水平方向の近似直線と垂直方向の近似直線との交点を計算し（Ｓ６４０），該交点を元画像に重畳したパターンの重畳位置として検出するようにしてもよい（請求項１２）。

また第３の例として，パターン重畳画像から検出した識別可能なパターンの位置情報について，水平方向に並んだ位置情報の組を直線近似し，垂直方向に並んだ位置情報の組を直線近似し（Ｓ６２０），水平方向の近似直線の垂直方向の位置を，該近似直線とその近傍の（例えば，それに隣接する）他の水平方向の直線の垂直方向の位置による平均値に置き換え（Ｓ６３０），垂直方向の近似直線の水平方向の位置を，該近似直線とその近傍の（例えば，それに隣接する）他の垂直方向の直線の水平方向の位置による平均値に置き換え（Ｓ６３０），水平方向の近似直線と垂直方向の近似直線との交点を計算し（Ｓ６４０），該交点を元画像に重畳したパターンの重畳位置と検出するようにしてもよい（請求項１３）。

一方，補正画像作成工程においては，検出工程において検出した重畳位置が縦方向，横方向ともに既知の間隔に並ぶように，パターン重畳画像の補正画像を作成して，パターン重畳画像を変形するようにしてもよい（請求項１４）。

また，画像に対して改ざんが行われたことを判定する改ざん判定工程をさらに含むようにしてもよい。すなわち，元画像の任意の領域の画像特徴とその領域の位置情報とが，その元画像に可視または不可視の情報として記録されており，検出工程において，パターン重畳画像から画像特徴と位置情報とを取り出し，改ざん判定工程において，取り出した画像特徴と，変形したパターン重畳画像の同じ位置の画像特徴とを比較し，それらの間に違いがあればそれを改ざんと判定するようにしてもよい（請求項１５）。

また，元画像の任意の領域の画像特徴とその領域の位置情報とが，その元画像とは別に保存されており，改ざん判定工程において，保存されている特徴画像と，変形したパターン重畳画像の同じ位置の画像特徴とを比較し，それらの間に違いがあればそれを改ざんと判定するようにしてもよい（請求項１６）。

また，本発明の他の観点によれば，コンピュータを，上記画像処理装置として機能させるためのプログラムと，そのプログラムを記録した，コンピュータにより読み取り可能な記録媒体が提供される。ここで，プログラムはいかなるプログラム言語により記述されていてもよい。また，記録媒体としては，例えば，ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，フレキシブルディスクなど，プログラムを記録可能な記録媒体として現在一般に用いられている記録媒体，あるいは将来用いられるいかなる記録媒体をも採用することができる。

なお上記において，構成要素に付随して括弧書きで記した参照符号は，理解を容易にするため，後述の実施形態および図面における対応する構成要素および信号を一例として記したに過ぎず，本発明がこれに限定されるものではない。

以上のように，本発明によれば，印刷時に埋め込んだ信号の位置情報を元に，印刷書面を取り込んだ画像を補正するため，印刷物から取り込んだ画像から印刷前の画像を歪みや伸び縮みなく復元できるので，それらの画像間の位置の対応付けを高精度で行うことができ，さらには高性能の改ざん検出を行うことができる。

以下に添付図面を参照しながら，本発明にかかる画像処理方法および画像処理装置の好適な実施の形態について詳細に説明する。なお，本明細書および図面において，実質的に同一の機能構成を有する構成要素については，同一の符号を付することにより重複説明を省略する。

（第１の実施形態）
図１は，本実施形態にかかる透かし情報埋め込み装置及び透かし情報検出装置の構成を示す説明図である。

（透かし情報埋め込み装置１０）
透かし情報埋め込み装置１０は，文書画像と文書に埋め込む秘密情報とをもとに透かし入り文書画像を構成し，紙媒体に印刷を行う装置である。透かし情報埋め込み装置１０は，図１に示したように，透かし入り文書画像合成部１３と，出力デバイス１４とにより構成されている。文書画像１５は文書作成ツール等により作成された画像である。秘密情報１６は紙媒体に文字以外の形式で埋め込む情報（文字列や画像，音声データ）などである。

文書画像１５中の白画素領域は何も印刷されない部分であり，黒画素領域は黒の塗料が塗布される部分である。なお，本実施形態では，白い紙面に黒のインク（単色）で印刷を行うことを前提として説明するが，本発明はこれに限定されず，カラー（多色）で印刷を行う場合であっても，同様に本発明を適用可能である。

透かし入り文書画像合成部１３は，文書画像１５と秘密情報１６を重ね合わせて透かし入りの文書画像を作成する。透かし入り文書画像合成部１３は，秘密情報１６をディジタル化して数値に変換したものをＮ元符号化（Ｎは２以上）し，符号語の各シンボルをあらかじめ用意した信号に割り当てる。信号は任意の大きさの矩形領域中にドットを配列することにより任意の方向と波長を持つ波を表現し，波の方向や波長に対してシンボルを割り当てたものである。透かし入り文書画像は，これらの信号がある規則に従って画像上に配置されたものである。

出力デバイス１４は，プリンタなどの出力装置であり，透かし入り文書画像を紙媒体に印刷する。透かし入り文書画像合成部１３はプリンタドライバの中の一つの機能として実現されていても良い。

印刷文書２０は，元の文書画像１５に対して秘密情報１６を埋め込んで印刷されたものであり，物理的に保管・管理される。

（透かし情報検出装置３０）
透かし情報検出装置３０は，紙媒体に印刷されている文書を画像として取り込み，埋め込まれている秘密情報１６を復元する装置である。透かし情報検出装置３０は，図１に示したように，入力デバイス３１と，透かし検出部３２とにより構成されている。

入力デバイス３１は，スキャナなどの入力装置であり，紙に印刷された文書２０を多値階調のグレイ画像として計算機に取り込む。また，透かし検出部３２は，入力画像に対してフィルタリング処理を行い，埋め込まれた信号を検出する。検出された信号からシンボルを復元し，埋め込まれた秘密情報１６を取り出す。

以上のように構成される透かし情報埋め込み装置１０及び透かし情報検出装置３０の動作について説明する。まず，図１〜図１１を参照しながら，透かし情報埋め込み装置１０の動作について説明する。

（文書画像１５）
文書画像１５はフォント情報やレイアウト情報を含むデータであり，文書作成ソフト等で作成されるものとする。文書画像１５は，文書が紙に印刷された状態の画像としてページごとに作成することができる。この文書画像１５は白黒の二値画像であり，画像上で白い画素（値が１の画素）は背景であり，黒い画素（値が０の画素）は文字領域（インクが塗布される領域）であるものとする。

（秘密情報１６）
秘密情報１６は文字，音声，画像などの各種データである。透かし入り文書画像合成部１３ではこの秘密情報１６を，文書画像１５の背景として重ね合わせる。

図２は，透かし入り文書画像合成部１３の処理の流れを示す流れ図である。
まず，秘密情報１６をＮ元符号に変換する（ステップＳ１０１）。Ｎは任意であるが，本実施形態では説明を容易にするためＮ＝２とする。従って，ステップＳ１０１で生成される符号は２元符号であり，０と１のビット列で表現されるものとする。このステップＳ１０１ではデータをそのまま符号化しても良いし，データを暗号化したものを符号化しても良い。

次いで，符号語の各シンボルに対して透かし信号を割り当てる（ステップＳ１０２）。透かし信号とはドット（黒画素）の配列によって任意の波長と方向を持つ波を表現したものである。透かし信号については，さらに後述する。

さらに，符号化されたデータのビット列に対応する信号ユニットを文書画像１５上に配置する（ステップＳ１０３）。

上記ステップＳ１０２において，符号語の各シンボルに対して割り当てる透かし信号について説明する。図３は透かし信号の一例を示す説明図である。

透かし信号の幅と高さをそれぞれＳｗ，Ｓｈとする。ＳｗとＳｈは異なっていても良いが，本実施形態では説明を容易にするためＳｗ＝Ｓｈとする。長さの単位は画素数であり，図３の例ではＳｗ＝Ｓｈ＝１２である。これらの信号が紙面に印刷されたときの大きさは，透かし画像の解像度に依存しており，例えば透かし画像が６００ｄｐｉ（ｄｏｔ ｐｅｒ ｉｎｃｈ：解像度の単位であり，１インチ当たりのドット数）の画像であるとしたならば，図３の透かし信号の幅と高さは，印刷文書上で１２／６００＝０．０２（インチ）となる。

以下，幅と高さがＳｗ，Ｓｈの矩形を１つの信号の単位として「信号ユニット」と称する。図３（１）は，ドット間の距離が水平軸に対してａｒｃｔａｎ（３）（ａｒｃｔａｎはｔａｎの逆関数）の方向に密であり，波の伝播方向はａｒｃｔａｎ（−１／３）である。以下，この信号ユニットをユニットＡと称する。図３（２）はドット間の距離が水平軸に対してａｒｃｔａｎ（−３）の方向に密であり，波の伝播方向はａｒｃｔａｎ（１／３）である。以下，この信号ユニットをユニットＢと称する。

図４は，図３（１）の画素値の変化をａｒｃｔａｎ（１／３）の方向から見た断面図である。図４において，ドットが配列されている部分が波の最小値の腹（振幅が最大となる点）となり，ドットが配列されていない部分は波の最大値の腹となっている。

また，ドットが密に配列されている領域はそれぞれ１ユニットの中に２つ存在するため，この例では１ユニットあたりの周波数は２となる。波の伝播方向はドットが密に配列されている方向に垂直となるため，ユニットＡの波は水平方向に対してａｒｃｔａｎ（−１／３），ユニットＢの波はａｒｃｔａｎ（１／３）となる。なお，ａｒｃｔａｎ（ａ）の方向とａｃｒｔａｎ（ｂ）の方向が垂直のとき，ａ×ｂ＝−１である。

本実施形態では，ユニットＡで表現される透かし信号にシンボル０を割り当て，ユニットＢで表現される透かし信号にシンボル１を割り当てる。また，これらをシンボルユニットと称する。

透かし信号には図３（１），（２）で示されるもの以外にも，例えば図５（３）〜（５）で示されるようなドット配列が考えられる。図５（３）は，ドット間の距離が水平軸に対してａｒｃｔａｎ（１／３）の方向に密であり，波の伝播方向はａｒｃｔａｎ（−３）である。以下，この信号ユニットをユニットＣと称する。
図５（４）は，ドット間の距離が水平軸に対してａｒｃｔａｎ（−１／３）の方向に密であり，波の伝播方向はａｒｃｔａｎ（３）である。以下，この信号ユニットをユニットＤと称する。図５（５）は，ドット間の距離が水平軸に対してａｒｃｔａｎ（１）の方向に密であり，波の伝播方向はａｒｃｔａｎ（−１）である。なお，図５（５）は，ドット間の距離が水平軸に対してａｒｃｔａｎ（−１）の方向に密であり，波の伝播方向はａｒｃｔａｎ（１）であると考えることもできる。以下，この信号ユニットをユニットＥと称する。

このようにして，先に割り当てた組み合わせ以外にも，シンボル０とシンボル１を割り当てるユニットの組み合わせのパターンが複数考えられるため，どの透かし信号がどのシンボルに割り当てられているかを秘密にして第三者（不正者）が埋め込まれた信号を簡単に解読できないようにすることもできる。

さらに，図２に示したステップＳ１０２で，秘密情報を４元符号で符号化した場合には，例えば，ユニットＡに符号語のシンボル０を，ユニットＢにシンボル１を，ユニットＣにシンボル２を，ユニットＤにシンボル３を割り当てることも可能である

図３，図５に示した透かし信号の一例においては，１ユニット中のドットの数をすべて等しくしているため，これらのユニットを隙間なく並べることにより，見かけの濃淡が均一となる。したがって印刷された紙面上では，単一の濃度を持つグレイ画像が背景として埋め込まれているように見える。

このような効果を出すために，例えば，ユニットＥを背景ユニット（シンボルが割り当てられていない信号ユニット）と定義し，これを隙間なく並べて文書画像１５の背景とし，シンボルユニット（ユニットＡ，ユニットＢ）を文書画像１５に埋め込む場合は，埋め込もうとする位置の背景ユニット（ユニットＥ）とシンボルユニット（ユニットＡ，ユニットＢ）とを入れ替える。

図６（１）はユニットＥを背景ユニットと定義し，これを隙間なく並べて文書画像１５の背景とした場合を示す説明図である。図６（２）は図６（１）の背景画像の中にユニットＡを埋め込んだ一例を示し，図６（３）は図６（１）の背景画像の中にユニットＢを埋め込んだ一例を示している。本実施形態では，背景ユニットを文書画像１５の背景とする方法について説明するが，シンボルユニットのみを配置することによって文書画像１５の背景としても良い。

次いで，符号語の１シンボルを文書画像１５に埋め込む方法について，図７を参照しながら説明する。

図７は，文書画像１５へのシンボル埋め込み方法の一例を示す説明図である。ここでは，例として「０１０１」というビット列を埋め込む場合について説明する。

図７（１），（２）に示すように，同じシンボルユニットを繰り返し埋め込む。これは文書中の文字が埋め込んだシンボルユニットの上に重なった場合，信号検出時に検出されなくなることを防ぐためであり，シンボルユニットの繰り返し数と配置のパターン（以下，ユニットパターンと称する。）は任意である。

すなわち，ユニットパターンの一例として，図７（１）のように繰り返し数を４（１つのユニットパターン中に４つのシンボルユニットが存在する）にしたり，図７（２）のように繰り返し数を２（１つのユニットパターン中に２つのシンボルユニットが存在する）にしたりすることができ，あるいは，繰り返し数を１（１つのユニットパターン中には１つのシンボルユニットだけが存在する）としてもよい。

また，図７（１），（２）は１つのシンボルユニットに対して１つのシンボルが与えられているが，図７（３）のようにシンボルユニットの配置パターンに対してシンボルを与えても良い。

１ページ分に何ビットの情報量を埋め込むことができるかは，信号ユニットの大きさ，ユニットパターンの大きさ，文書画像の大きさに依存する。文書画像の水平方向と垂直方向にいくつの信号を埋め込んだかは，既知として信号検出を行っても良いし，入力装置から入力された画像の大きさと信号ユニットの大きさから逆算しても良い。

１ページ分の水平方向にＰｗ個，垂直方向にＰｈ個のユニットパターンが埋め込めるとすると，画像中の任意の位置のユニットパターンをＵ（ｘ，ｙ），ｘ＝１〜Ｐｗ，ｙ＝１〜Ｐｈと表現し，Ｕ（ｘ，ｙ）を「ユニットパターン行列」と称することにする。また，１ページに埋め込むことができるビット数を「埋め込みビット数」と称する。埋め込みビット数はＰｗ×Ｐｈである。

図８は，秘密情報１６を文書画像１５に埋め込む方法について示した流れ図である。ここでは１枚（１ページ分）の文書画像１５に，同じ情報を繰り返し埋め込む場合について説明する。同じ情報を繰り返し埋め込むことにより，文書画像１５と秘密情報１６を重ね合わせたときに１つのユニットパターン全体が塗りつぶされるなどして埋め込み情報が消失するような場合でも，埋め込んだ情報を取り出すことを可能とするためである。

まず，秘密情報１６をＮ元符号に変換する（ステップＳ２０１）。図２のステップＳ１０１と同様である。以下では，符号化されたデータをデータ符号と称し，ユニットパターンの組み合わせによりデータ符号を表現したものをデータ符号ユニットＤｕと称する。

次いで，データ符号の符号長（ここではビット数）と埋め込みビット数から，１枚の画像にデータ符号ユニットを何度繰り返し埋め込むことができるかを計算する（ステップＳ２０２）。本実施形態ではデータ符号の符号長データをユニットパターン行列の第１行に挿入するものとする。データ符号の符号長を固定長として符号長データは埋め込まないようにしても良い。

データ符号ユニットを埋め込む回数Ｄｎは，データ符号長をＣｎとして以下の式で計算される。

ここで剰余をＲｎ（Ｒｎ＝Ｃｎ−（Ｐｗ×（Ｐｈ−１）））とすると，ユニットパターン行列にはＤｎ回のデータ符号ユニットおよびデータ符号の先頭Ｒｎビット分に相当するユニットパターンを埋め込むことになる。ただし，剰余部分のＲｎビットは必ずしも埋め込まなくても良い。

図９の説明では，ユニットパターン行列のサイズを９×１１（１１行９列），データ符号長を１２（図中で０〜１１の番号がついたものがデータ符号の各符号語を表わす）とする。

次いで，ユニットパターン行列の第１行目に符号長データを埋め込む（ステップＳ２０３）。図９の例では符号長を９ビットのデータで表現して１度だけ埋め込んでいる例を説明しているが，ユニットパターン行列の幅Ｐｗが十分大きい場合，データ符号と同様に符号長データを繰り返し埋め込むこともできる。

さらに，ユニットパターン行列の第２行以降に，データ符号ユニットを繰り返し埋め込む（ステップＳ２０４）。図９で示すようにデータ符号のＭＳＢ（ｍｏｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｉｔ）またはＬＳＢ（ｌｅａｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｉｔ）から順に行方向に埋め込む。図９の例ではデータ符号ユニットを７回，およびデータ符号の先頭６ビットを埋め込んでいる例を示している。

データの埋め込み方法は図９のように行方向に連続になるように埋め込んでも良いし，列方向に連続になるように埋め込んでも良い。

以上，透かし入り文書画像合成部１３における，文書画像１５と秘密情報１６の重ね合わせについて説明した。

上述のように，透かし入り文書画像合成部１３は，文書画像１５と秘密情報１６を重ね合わせる。透かし入り文書画像の各画素の値は，文書画像１５と秘密情報１６の対応する画素値の論理積演算（ＡＮＤ）によって計算する。すなわち，文書画像１５と秘密情報１６のどちらかが０（黒）であれば，透かし入り文書画像の画素値は０（黒），それ以外は１（白）となる。

図１０は，透かし入り文書画像の一例を示す説明図である。図１１は，図１０の一部を拡大して示した説明図である。ここで，ユニットパターンは図７（１）のパターンを用いている。透かし入り文書画像は，出力デバイス１４により出力される。

以上，透かし情報埋め込み装置１０の動作について説明した。
次いで，図１，及び，図１２〜図１９を参照しながら，透かし情報検出装置３０の動作について説明する。

（透かし検出部３２）
図１２は，透かし検出部３２の処理の流れを示す流れ図である。
まず，スキャナなどの入力デバイス３１によって透かし入り文書画像を計算機のメモリ等に入力する（ステップＳ３０１）。この画像を入力画像と称する。入力画像は多値画像であり，以下では２５６階調のグレイ画像として説明する。また入力画像の解像度（入力デバイス３１で読み込むときの解像度）は，上記透かし情報埋め込み装置１０で作成した透かし入り文書画像と異なっていても良いが，ここでは上記透かし情報埋め込み装置１０で作成した画像と同じ解像度であるとして説明する。また，１つのユニットパターンが１つのシンボルユニットから構成されている場合について説明する。

＜信号検出フィルタリング工程（ステップＳ３１０）＞
ステップＳ３１０では，入力画像全体に対してフィルタリング処理を行い，フィルタ出力値の計算とフィルタ出力値の比較を行う。フィルタ出力値の計算は，
以下に示すガボールフィルタと称されるフィルタを用いて，入力画像の全画素においてフィルタと画像間のコンボリューションにより計算する。

以下にガボールフィルタＧ（ｘ，ｙ），ｘ＝０〜ｇｗ−１，ｙ＝０〜ｇｈ−１を示す。ｇｗ，ｇｈはフィルタのサイズであり，ここでは上記透かし情報埋め込み装置１０で埋め込んだ信号ユニットと同じ大きさである。

入力画像中の任意の位置でのフィルタ出力値はフィルタと画像間のコンボリューションにより計算する。ガボールフィルタの場合は実数フィルタと虚数フィルタ（虚数フィルタは実数フィルタと半波長分位相がずれたフィルタ）が存在するため，それらの２乗平均値をフィルタ出力値とする。例えば，ある画素（ｘ，ｙ）における輝度値とフィルタＡの実数フィルタとのコンボリューションがＲｃ，虚数フィルタとのコンボリューションがＩｃであったとすると，フィルタ出力値Ｆ（Ａ，ｘ，ｙ）は以下の式で計算する。

上記のように各信号ユニットに対応するすべてのフィルタに対してフィルタ出力値を計算した後，各画素において上記のように計算したフィルタ出力値を比較し，その最大値Ｆ（ｘ，ｙ）をフィルタ出力値行列として記憶する。また，値が最大であるフィルタに対応する信号ユニットの番号をフィルタ種類行列として記憶する（図１３）。具体的には，ある画素（ｘ，ｙ）において，Ｆ（Ａ，ｘ，ｙ）＞Ｆ（Ｂ，ｘ，ｙ）の場合には，フィルタ出力値行列の（ｘ，ｙ）の値としてＦ（Ａ，ｘ，ｙ）を設定し，フィルタ種類行列の（ｘ，ｙ）の値として信号ユニットＡを示す「０」を設定する（本実施形態では，信号ユニットＡ，Ｂの番号を「０」，「１」としている）。

なお，本実施形態ではフィルタの個数が２つであるが，フィルタの個数がそれより多い場合も，同様に複数のフィルタ出力値の最大値とその際のフィルタに対応する信号ユニット番号を記憶すればよい。

＜信号位置探索工程（ステップＳ３２０）＞
ステップＳ３２０では，ステップＳ３１０で得られたフィルタ出力値行列を用いて，信号ユニットの位置を決定する。具体的には，まず，信号ユニットの大きさがＳｈ×Ｓｗで構成されていたとすると，格子点の垂直方向の間隔がＳｈ，水平方向の間隔がＳｗ，格子点の個数がＮｈ×Ｎｗの信号位置探索テンプレートを作成する（図１４）。そのように作成したテンプレートの大きさは，Ｔｈ（Ｓｈ＊Ｎｈ）×Ｔｗ（Ｓｗ＊Ｎｗ）となるが，Ｎｈ，Ｎｗには信号ユニット位置を探索するために最適な値を用いればよい。

次に，フィルタ出力値行列をテンプレートの大きさごとに分割する。さらに，各分割領域で，水平方向±Ｓｗ／２，垂直方向±Ｓｈ／２の範囲でテンプレートをフィルタ出力値行列上で画素単位に移動させながら，それぞれの位置において，テンプレート格子点上のフィルタ出力値行列値Ｆ（ｘ，ｙ）の総和Ｖを以下の式を用いて求め，その総和が一番大きいときのテンプレートの格子点の位置をその領域の信号ユニットの位置とする。

上記の例は，ステップＳ３１０で全画素に対して，フィルタ出力値を求めた場合であり，フィルタリングを行う際，ある一定間隔の画素に対してのみフィルタリングを行うこともできる。例えば，２画素おきにフィルタリングを行った場合は，上記の信号位置探索テンプレートの格子点の間隔も１／２とすればよい。

＜信号シンボル決定工程（ステップＳ３３０）＞
ステップＳ３３０では，ステップＳ３２０で決定した信号ユニット位置のフィルタ種類行列の値（フィルタに対応した信号ユニット番号）を参照することで，信号ユニットがＡかＢを決定する。

上記のようにして，決定した信号ユニットの判定結果をシンボル行列として記憶する。

＜信号境界決定工程（ステップＳ３４０）＞
ステップＳ３２０では，信号ユニットが埋め込まれているかにかかわらず，画像全面に対してフィルタリング処理を行っているので，どの部分に信号ユニットが埋め込まれていたかを決定する必要がある。そこで，ステップＳ３４０では，シンボル行列からあらかじめ信号ユニットを埋め込む際に決めておいたパターンを探索することで信号境界を求める。

例えば信号ユニットが埋め込まれている境界には，必ず信号ユニットＡを埋め込むとしておけば，ステップＳ３３０で決定したシンボル行列の横方向に信号ユニットＡの数を計数し，中心から上下にそれぞれ，信号ユニットＡの個数が一番多い位置を信号境界の上端／下端とする。図１５の例では，シンボル行列における信号ユニットＡは「黒」（値でいうと「０」）で表現されているので，シンボル行列の黒画素数を計数することで，信号ユニットＡの数を計数することができ，その度数分布により，信号境界の上端／下端を求めることができる。左端／右端もユニットＡの個数を計数する方向が異なるだけで，同じように求めることができる。

信号境界を求めるためには上記方法に限らず，シンボル行列から探索することができるパターンをあらかじめ埋め込み側と検出側で決めておくだけでよい。

再び，図１２の流れ図に戻り，以降のステップＳ３０５について説明する。ステップＳ３０５では，シンボル行列のうち，信号境界内部に相当する部分から元の情報を復元する。なお，本実施形態では，１つのユニットパターンは１つのシンボルユニットで構成されているので，ユニットパターン行列は，シンボル行列と等価になる。

＜情報復号工程（ステップＳ３０５）＞
図１６は情報復元の一例を示す説明図である。情報復元のステップは以下の通りである。
（１）各ユニットパターンに埋め込まれているシンボルを検出する（図１６（１））。
（２）シンボルを連結してデータ符号を復元する（図１６（２））。
（３）データ符号を復号して埋め込まれた情報を取り出す（図１６（３））。

図１７〜図１９はデータ符号の復元方法の一例を示す説明図である。復元方法は基本的に図８の逆の処理となる。

まず，ユニットパターン行列の第１行から符号長データ部分を取り出して，埋め込まれたデータ符号の符号長を得る（ステップＳ４０１）。

次いで，ユニットパターン行列のサイズとステップＳ４０１で得たデータ符号の符号長をもとに，データ符号ユニットを埋め込んだ回数Ｄｎおよび剰余Ｒｎを計算する（ステップＳ４０２）。

次いで，ユニットパターン行列の２行目以降からステップＳ２０３と逆の方法でデータ符号ユニットを取り出す（ステップＳ４０３）。図１８の例ではＵ（１，２）（２行１列）から順に１２個のパターンユニットごとに分解する（Ｕ（１，２）〜Ｕ（３，３），Ｕ（４，３）〜Ｕ（６，４），・・・）。Ｄｎ＝７，Ｒｎ＝６であるため，１２個のパターンユニット（データ符号ユニット）は７回取り出され，剰余として６個（データ符号ユニットの上位６個に相当する）のユニットパターン（Ｕ（４，１１）〜Ｕ（９，１１））が取り出される。

次いで，ステップＳ４０３で取り出したデータ符号ユニットに対してビット確信度演算を行うことにより，埋め込んだデータ符号を再構成する（ステップＳ４０４）。以下，ビット確信度演算について説明する。

図１９のようにユニットパターン行列の２行１列目から最初に取り出されたデ−外符号ユニットをＤｕ（１，１）〜Ｄｕ（１２，１）とし，順次Ｄｕ（１，２）〜Ｄｕ（１２，２），・・・，と表記する。また，剰余部分はＤｕ（１，８）〜Ｄｕ（６，８）とする。ビット確信度演算は各データ符号ユニットの要素ごとに多数決を取るなどして，データ符号の各シンボルの値を決定することである。これにより，文字領域との重なりや紙面の汚れなどが原因で，任意のデータ符号ユニット中の任意のユニットから正しく信号検出を行えなかった場合（ビット反転エラーなど）でも，最終的に正しくデータ符号を復元することができる。

具体的には例えばデータ符号の１ビット目は，Ｄｕ（１，１），Ｄｕ（１，２），・・・，Ｄｕ（１，８）の信号検出結果が１である方が多い場合には１と判定し，０である方が多い場合には０と判定する。同様にデータ符号の２ビット目はＤｕ（２，１），Ｄｕ（２，２），・・・，Ｄｕ（２，８）の信号検出結果による多数決によって判定し，データ符号の１２ビット目はＤｕ（１２，１），Ｄｕ（１２，２），・・・，Ｄｕ（１２，７）（Ｄｕ（１２，８）は存在しないためＤｕ（１２，７）までとなる）の信号検出結果による多数決によって判定する。

ここではデータ符号を繰り返し埋め込む場合について説明したが，データを符号化する際に誤り訂正符号などを用いることにより，データ符号ユニットの繰り返しを行わないような方法も実現できる。

（第１の実施形態の効果）
以上説明したように，本実施形態によれば，入力画像全面にフィルタリング処理を施し，信号位置探索テンプレートを用いて，フィルタ出力値の総和が最大になるように，信号ユニットの位置を求めることができるので，用紙のゆがみなどにより画像が伸縮していたりする場合にでも，信号ユニットの位置を正しく検出でき，秘密情報入り文書から正確に秘密情報を検出することができる。

（第２の実施形態）
上述した第１の実施形態では，印刷文書から秘密情報を検出するだけであった。これに対して，第２の実施形態では第１の実施形態に改ざん判定部を追加して，信号位置探索工程（ステップＳ３２０）で求めた信号ユニット位置を利用して，各信号ユニット位置における文書画像（透かしを埋め込む前の画像データ）と入力画像（透かしが埋め込まれた印刷文書をスキャナなどで読み込んだ画像）の特徴量を比較し，印刷文書の内容が改ざんされているかの判定を行う。

図２０は，第２の実施形態における処理構成図である。第１の実施形態に，改ざん判定部３３を有する構成である。改ざん判定部３３では，あらかじめ埋め込んでおいた文書画像に関する特徴量と入力画像に関する特徴量を比較することによって印刷文書の内容の改ざんを判定する。

図２１は改ざん判定部３３の処理の流れ，図２２は改ざん判定部３３の処理説明図を示す。

ステップＳ４１０では，第１の実施形態と同様にスキャナなどの入力デバイス３１によって読み込んだ透かし入り文書画像を計算機のメモリ等に入力する（この画像を入力画像と呼ぶ）。

＜文書画像特徴量の抽出工程（ステップＳ４２０）＞
ステップＳ４２０では，あらかじめ埋め込んでおいた文書画像に関する特徴量を透かし検出部３２の情報復号工程（ステップＳ３０５）で復号したデータから抽出する。本実施形態における文書画像特徴量としては，図２２のように透かし入り文書画像において，信号ユニットを埋め込まれた領域の左上座標を基準点（図２２の基準点Ｐ）とした縮小２値画像を用いている。埋め込み側の文書画像は２値画像であるため，公知の技術を用いた縮小処理を行っておくだけでよい。また，画像データは，ＭＲ，ＭＭＲなどの２値画像の圧縮方法を用いてデータ量を圧縮した上で，各シンボルに割り当てられた信号ユニットを用いて埋め込んでおいてもよい。

＜入力画像の２値化処理工程（ステップＳ４３０）＞
ステップＳ４３０では，入力画像の２値化処理を行う。本実施形態では，あらかじめ埋め込んでおいた２値化閾値に関する情報を透かし検出部３２の情報復号工程（ステップＳ３０５）で復号したデータから抽出する。その抽出した情報から２値化閾値を決定し，入力画像を２値化する。この２値化閾値に関する情報も第４の実施形態における信号ユニット数の場合と同様に，誤り訂正符号を用いるなど任意の方法で用いて符号化し，各シンボルに割り当てられた信号ユニットを用いて埋め込んでおけばよい。

なお，２値化閾値に関する情報としては，埋め込む際に文書画像に含まれる黒画素数などが一例である。そのような場合には，文書画像と同じ大きさに正規化した入力画像を２値化して得られる２値画像の黒画素数が，埋め込む際に文書画像に含まれていた黒画素数と一致するように２値化閾値を設定すればよい。

さらに，文書画像をいくつかの領域に分け，その領域ごとに２値化閾値に関する情報を埋め込んでおけば，入力画像の領域単位に２値化処理を行うこともできる。そのようにすることで，入力画像のある領域に大幅な改ざんが加えられ，その領域の黒画素数が元の文書画像の黒画素数と大きく異なり，適正な２値化閾値の範囲にない場合でも，周辺領域の２値化閾値の情報を参照することで，適正な２値化閾値を設定することができる。

画像の２値化処理は，公知の技術を用いて２値化閾値を決定し，入力画像を２値化してもよいが，上記の方法を採用することで，スキャナの機種に依存することなく，埋め込む際の文書画像の２値画像とほぼ同じデータを透かし検出側でも作成することができる。

＜入力画像特徴量の抽出工程（ステップＳ４４０）＞
ステップＳ４４０では，入力画像と透かし検出部３２の信号位置探索工程（ステップＳ３２０）で得られた信号ユニット位置と信号境界決定工程（ステップＳ３４０）で得られた信号境界から入力画像に関する特徴量を作成する。具体的には，信号境界の左上座標を基準点（図２２の基準点Ｑ）として，複数の信号ユニットをひとつの単位として分割し，その単位で座標位置が対応する入力画像の縮小画像を求める。図２２では，上記のように分割したある領域として，左上座標が（ｘｓ，ｙｓ），右下座標が（ｘｅ，ｙｅ）である矩形を例として示している。縮小方法は，埋め込み側と同じ手法を用いればよい。

なお，縮小画像を求める場合に，信号境界の左上座標を基準点（図２３の基準点Ｑ）として，複数の信号ユニットをひとつの単位として分割し，その単位で座標位置が対応するような入力画像の補正画像を作成した後，その補正画像を縮小してもよい。

＜特徴量の比較工程（ステップＳ４５０）＞
ステップＳ４５０では，文書画像特徴抽出工程（ステップＳ４２０）と入力画像特徴作成工程（ステップＳ４４０）で得られた特徴を比較し，一致していなければ，その位置に対応する印刷文書が改ざんされていると判定する。具体的には，ステップＳ４４０で得られた信号ユニット単位ごとの入力画像の縮小２値画像（図２２における基準点をＱとした（ｘｓ，ｙｅ）−（ｘｓ，ｙｅ）を左上／右下頂点とする矩形）とそれに対応する文書画像特徴抽出工程（ステップＳ４２０）で抽出した文書画像の縮小２値画像（図２２における基準点をＰとした（ｘｓ，ｙｓ）−（ｘｅ，ｙｅ）を左上／右下頂点とする矩形）と比較することによって，改ざんを判定する。例えば比較対象の２つ画像において，輝度値が異なる画素の個数が所定の閾値以上であれば，その信号ユニットに対応する印刷文書が改ざんされていると判定すればよい。

なお，上記の実施形態では，特徴量として縮小２値画像を用いたが，その代わりに座標情報と印刷文書に記入されているテキストデータでもよい。その場合は，その座標情報に対応する入力画像のデータを参照し，その画像情報を公知のＯＣＲ技術を用いて，文字認識を行い，その認識結果とテキストデータを比較することで，改ざんの判定を行うことができる。

（第２の実施形態の効果）
以上説明したように，本実施形態によれば，あらかじめ埋め込んでおいた文書画像に関する特徴量と秘密情報が埋め込まれた印刷文書をスキャナで読み込んだ入力画像の特徴量を，信号位置探索テンプレートを用いて決定した信号ユニットを基準として，比較することによって，印刷文書の内容が改ざんされているかを検出することがきる。第１の実施形態によって，信号ユニット位置を正確に求めることができるので，その位置を利用すれば容易に特徴量の比較が可能となり，印刷文書の改ざんを判定することができる。

上記第１，第２の実施形態では，紙面に印刷されている印字内容の改ざんの有無を自動的に検出しており，改ざん位置の特定には信号ユニットの位置情報を利用している。図２４は，上記第１，第２の実施形態で検出された信号ユニット位置である。これにより信号ユニットの位置は入力画像（透かし入り文書画像）全体にほぼ均一な格子状に並んだ状態で検出される。しかしながら図２５で示すように，入力画像の回転や紙の局所的な歪みなどにより，検出された信号ユニット位置が局所的には不均一に配列された部分がある。

これは主に以下のような理由による。すなわち，上記第１，第２の実施形態で信号ユニット位置を検出する際に，処理時間の短縮を目的として，入力画像の数画素おきにフィルタリングを行った結果を，入力画像より小さいフィルタ出力値行列に記録し，このフィルタ出力値行列における信号ユニット位置を決定している。たとえば縦横２画素おきにフィルタリングを行った場合は，フィルタ出力値行列は入力画像の縦横２分の１となる。その後，信号ユニット位置を単に数倍（２画素おきにフィルタリングを行った場合は２倍）することによって，フィルタ出力値行列上の信号ユニット位置と入力画像上の位置を対応付けている。このため，フィルタ出力値行列の上では小さかった不均一性が，入力画像上では大きな不均一となって現れる。不均一な部分が大きいと，画像特徴を比較する上での位置情報にずれが生じるために正確な改ざん検出ができなくなる。

そこで以下では，上記第１，第２の実施形態を改良し，さらに高精度の改ざん検出を行えるようにした実施形態について説明する。

（第３の実施形態）
本実施形態は，図２６に示した透かし画像出力部１００と，図２７に示した透かし画像入力部２００により構成されている。以下，順に説明する。

（透かし画像出力部１００）
図２６は透かし画像出力部１００の構成図である。
透かし画像出力部１００は，図２６に示したように，画像１１０を入力として処理を行う機能部であり，特徴画像生成部１２０と透かし情報合成部１３０を備えて構成される。そして，透かし画像出力部１００は透かし入りの出力画像１４０を出力する。

画像１１０は文書作成ソフト等で作成した文書データを画像化したものなどである。特徴画像生成部１２０は透かしとして埋め込む画像特徴データを生成する機能部である。画像特徴データの生成は，例えば第１，第２の実施形態の透かし入り文書画像合成部１３と同様に行うことができる。透かし情報合成部１３０は画像特徴データを画像１１０に透かし情報として埋め込む機能部である。透かし情報の埋め込みは，例えば第１，第２の実施形態の透かし入り文書画像合成部１３と同様に行うことができる。出力画像１４０は透かし入りの画像である。

（透かし画像入力部２００）
図２７は透かし画像入力部２００の構成図である。
透かし画像入力部２００は，図２７に示したように，入力画像２１０を入力として，透かし情報を抽出し，入力画像の補正を行う機能部であり，透かし情報抽出部２２０と，入力画像変形部２３０と，改ざん判定部２４０を備えて構成される。

入力画像２１０は出力画像１４０，または出力画像１４０を印刷した紙をスキャナ等の入力デバイスにより画像化したものである。透かし情報抽出部２２０は入力画像から透かし情報を抽出し，特徴画像２５０を復元する機能部である。透かし情報の抽出は，例えば第１，第２の実施形態の透かし検出部３２と同様に行うことができる。入力画像変形部２３０は入力画像の歪みを修正して補正画像２６０を生成する機能部である。改ざん判定部２４０は特徴画像２５０と補正画像２６０を重ねあわせ，差分領域を改ざんとして検出する機能部である。

本実施形態は以上のように構成されている。
次いで，本実施形態の動作について説明する。
以下では，上記第２の実施形態と異なる部分を中心に説明する。なお，透かし画像出力部１００で出力された出力画像１４０は，一旦印刷された後，スキャナにより画像化し，透かし画像入力部２００に渡されるものとする。

（透かし画像出力部１００）
透かし出力部１００において上記第２の実施形態と異なる点は特徴画像生成部１２０であり，これは，上記第２の実施形態の＜文書画像特徴量の抽出工程（ステップＳ４２０）＞に対する機能追加である。

（特徴画像生成部１２０）
図２８は透かし入り画像の例である。
上記第２の実施形態の＜文書画像特徴量の抽出工程（ステップＳ４２０）＞と同様に，透かし入り文書画像の信号ユニットを埋め込まれた領域の左上座標を基準座標（０，０）とする。この例では画像１１０の中で重要な領域の改ざんのみが検出できるよう，画像１１０の中に改ざん検出領域を設定するものとする。

図２８に示すように，基準座標を原点としたときの改ざん検出領域の左上座標を（Ａｘ，Ａｙ）として，改ざん検出領域の幅をＡｗ，高さをＡｈとする。基準座標とは透かし領域の左上の座標である。このとき，特徴画像は画像１１０から改ざん検出領域を切り取った画像か，またはそれを縮小した画像とする。また，透かし情報合成部１３０においては，特徴画像とともに改ざん検出領域情報（例えば左上座標，幅，高さ）を透かし情報として画像１１０に合成する。

（透かし画像入力部２００）
透かし情報抽出部２２０は入力画像２１０から透かし情報の取り出しを行って，透かし出力部１００で埋め込んだ特徴画像２５０を復元する。この動作は上記第１，第２の実施形態と同じである。

（入力画像変形部２３０）
図２９は入力画像変形部２３０のフローチャートである。以下，このフローチャートに従って説明を行う。

＜信号ユニットの位置検出（ステップＳ６１０）＞
図３０は第１，第２の実施形態で検出された信号ユニット位置を入力画像（透かし入り文書画像）２１０上に表示したものである。図３０において，信号ユニットをＵ（ｘ，ｙ），ｘ＝１〜Ｗｕ，ｙ＝１〜Ｈｕと表記する。Ｕ（１，ｙ）〜Ｕ（Ｗｕ，ｙ）は同じ行にある信号ユニット（図３０の符号７１０）とし，Ｕ（ｘ，１）〜Ｕ（ｘ，Ｈｕ）は同じ列にある信号ユニット（図３０の符号７２０）とする。Ｕ（１，ｙ）〜Ｕ（Ｗｕ，ｙ）およびＵ（ｘ，１）〜Ｕ（ｘ，Ｈｕ）などは，実際には同じ直線上には並んでおらず，微小に上下左右にずれている。

また信号ユニットＵ（ｘ，ｙ）の入力画像上の座標値Ｐを（Ｐｘ（ｘ，ｙ），Ｐｙ（ｘ，ｙ）），ｘ＝１〜Ｗｕ，ｙ＝１〜Ｈｕと表記する（図３０の符号７３０，７４０，７５０，７６０）。ただし入力画像に対して縦横Ｎ画素おき（Ｎは自然数）にフィルタリングを行うものとする。このフィルタリングについては，第１の実施形態の＜信号位置探索工程（ステップＳ３２０）＞と同様に行う。Ｐは信号出力値行列における各信号ユニットの座標値を単純に縦横Ｎ倍した値である。

＜信号ユニット位置の直線近似（ステップＳ６２０）＞
信号ユニットの位置を行方向，列方向に直線で近似する。図３１は行方向の直線近似の例である。図３１において，同じ行にある信号ユニットＵ（１，ｙ）〜Ｕ（Ｗｕ，ｙ）の位置を直線Ｌｈ（ｙ）で近似している。近似直線は，各信号ユニットの位置と直線Ｌｈ（ｙ）との距離の総和が最も小さくなるような直線である。このような直線は，例えば最小二乗法や主成分分析などの一般的手法によって求めることができる。行方向の直線近似はすべての行について行い，同様にして列方向の直線近似をすべての列について行う。

図３２は行方向，列方向に直線近似を行った結果の例である。図３２において，信号ユニットをＵ（ｘ，ｙ），ｘ＝１〜Ｗｕ，ｙ＝１〜Ｈｕと表記する。Ｌｈ（ｙ）はＵ（１，ｙ）〜Ｕ（Ｗｕ，ｙ）を近似した直線（図３２の符号８１０）であり，Ｌｖ（ｘ）はＵ（ｘ，１）〜Ｕ（ｘ，Ｈｕ）を近似した直線（図３２の符号８２０）である。

＜直線の均等化（ステップＳ６３０）＞
ステップＳ６２０で近似した直線は，検出された信号ユニットの位置が，ある程度まとまってずれているなどの理由により，個別に見ると直線の傾きや位置が均等ではない。そこで，ステップＳ６３０では，個々の直線の傾きや位置を補正して均等化を行う。

図３３は行方向の近似直線Ｌｈ（ｙ）の傾きを補正する例である。図３３（ａ）は補正前であり，図３３（ｂ）は補正後である。図３３（ａ）におけるＬｈ（ｙ）の傾きをＴｈ（ｙ）としたとき，Ｌｈ（ｙ）の傾きはＬｈ（ｙ）の近傍の直線の傾きの平均値となるように補正する。具体的には，Ｔｈ（ｙ）＝ＡＶＥＲＡＧＥ（Ｔｈ（ｙ−Ｎｈ）〜Ｔｈ（ｙ＋Ｎｈ））とする。ただし，ＡＶＥＲＡＧＥ（Ａ〜Ｂ）はＡ〜Ｂまでの平均値を計算する計算式とし，Ｎｈは任意の自然数とする。ｙ−Ｎｈ＜１の場合はＴｈ（ｙ）＝ＡＶＥＲＡＧＥ（Ｔｈ（１）〜Ｔｈ（ｙ＋Ｎｈ））とし，ｙ＋Ｎｈ＞Ｈｕの場合はＴｈ（ｙ）＝ＡＶＥＲＡＧＥ（Ｔｈ（ｙ−Ｎｈ）〜Ｔｈ（Ｈｕ））とする。図３３はＮｈを１としたときの例であり，図３３（ｂ）はＬｈ（ｙ）がＬｈ（ｙ−１）〜Ｌｈ（ｙ＋１）の直線の傾きの平均値によって補正されている例を示している。

図３４は行方向の近似直線Ｌｈ（ｙ）の位置を補正する例である。図３４（ａ）は補正前であり，図３４（ｂ）は補正後である。図３４（ａ）について，垂直方向に任意の基準直線１１３０を設定し，この直線とＬｈ（ｙ）との交点のｙ座標をＱ（ｙ）としたとき，Ｑ（ｙ）がＬｈ（ｙ）の近傍の直線位置の平均となるように補正する。具体的には，Ｑ（ｙ）＝ＡＶＥＲＡＧＥ（Ｑ（ｙ−Ｍｈ）〜Ｑ（ｙ＋Ｍｈ））とする。ただしＭｈは任意の自然数とする。ｙ−Ｍｈ＜１またはｙ＋Ｍｈ＞Ｈｕの場合は変更を行わないものとする。図３４はＭｈを１としたときの例であり，図３４（ｂ）はＬｈ（ｙ）がＬｈ（ｙ−１）とＬｈ（ｙ＋１）の直線の位置の中点（平均）によって補正されている例を示している。なお，この処理は省略可能である。

＜直線の交点計算（ステップＳ６４０）＞
行方向の近似直線と列方向の近似直線の交点を計算する。図３５は行方向の近似直線Ｌｈ（１）〜Ｌｈ（Ｈｕ）と，列方向の近似直線Ｌｖ（１）〜Ｌｖ（Ｗｕ）の交点を計算した例である。交点の計算は一般的な数学的手法で行う。ここで計算した交点を補正後の信号ユニット位置とする。すなわち，行方向の近似直線Ｌｈ（ｙ）と列方向の近似直線Ｌｖ（ｘ）の交点を，信号ユニットＵ（ｘ，ｙ）の補正後の位置（Ｒｘ（ｘ，ｙ），Ｒｙ（ｘ，ｙ））とする。例えば信号ユニットＵ（１，１）の補正後の位置は，Ｌｈ（１）とＬｖ（１）の交点とする。

＜補正画像作成（ステップＳ６５０）＞
ステップＳ６４０により計算した信号ユニット位置を参照して，入力画像から補正画像を作成する。ここでは透かし画像出力部１００で出力した透かし画像を印刷する際の解像度をＤｏｕｔとし，透かし画像入力部２００に入力する画像を取得する際の解像度をＤｉｎとする。また補正画像の大きさは，入力画像と同じ倍率であるとする。

透かし画像出力部において信号ユニットの大きさが幅Ｓｗ，高さＳｈであるとすると，入力画像における信号ユニットは幅Ｔｗ＝Ｓｗ×Ｄｉｎ／Ｄｏｕｔ，高さはＴｈ＝Ｓｈ×Ｄｉｎ／Ｄｏｕｔとなる。したがって，信号ユニットの数が横方向にＷｕ個，縦方向にＨｕ個である場合には，補正画像のサイズは幅Ｗｍ＝Ｔｗ×Ｗｕ，高さＨｍ＝Ｔｈ×Ｈｕとなる。また，補正画像における任意の信号ユニットＵ（ｘ，ｙ）の位置を（Ｓｘ（ｘ，ｙ），Ｓｙ（ｘ，ｙ））とすると，信号ユニットが均等に並ぶように補正画像を作るため，Ｓｘ＝Ｔｗ×ｘ，Ｓｙ＝Ｔｈ×ｙが成り立つ。なお，最も左上の信号ユニットＵ（１，１）の位置は（０，０）であり，これが補正画像の原点となる。

補正画像上の任意の位置（Ｘｍ，Ｙｍ）の画素値Ｖｍは，入力画像上の座標（Ｘｉ，Ｙｉ）の画素値Ｖｉにより求める。図３６はこれらの座標の対応例であり，図３６（ａ）は入力画像１３１０を，図３６（ｂ）は補正画像１３２０を示している。この図を用いて（Ｘｍ，Ｙｍ）と（Ｘｉ，Ｙｉ）の関係を説明する。

図３６（ｂ）の補正画像１３２０において，（Ｘｍ，Ｙｍ）を中心としてみたときの左上，右上，左下の領域で，最も近い信号ユニットをそれぞれＵ（ｘ，ｙ）（座標値は（Ｓｘ（ｘ，ｙ），Ｓｙ（ｘ，ｙ）），１３６０），Ｕ（ｘ＋１，ｙ）（１３７０），Ｕ（ｘ，ｙ＋１）（１３８０）とし，それらとの距離をそれぞれＥ１，Ｅ２，Ｅ３とする（具体的には，ｘはＸｍ／Ｔｗ＋１を超えない最小の整数，ｙはＸｍ／Ｔｗ＋１を超えない最小の整数）。このとき，図３６（ａ）の入力画像１３１０におけるＵ（ｘ，ｙ）（座標値は（Ｒｘ（ｘ，ｙ），Ｒｙ（ｘ，ｙ）），１３３０），Ｕ（ｘ＋１，ｙ）（１３４０），Ｕ（ｘ，ｙ＋１）（１３５０）と（Ｘｉ，Ｙｉ）との距離がそれぞれＤ１，Ｄ２，Ｄ３であって，Ｄ１〜Ｄ３の比Ｄ１：Ｄ２：Ｄ３がＥ１：Ｅ２：Ｅ３と等しいときに（Ｘｍ，Ｙｍ）の画素値Ｖｍは，入力画像１３１０上の座標（Ｘｉ，Ｙｉ）の画素値Ｖｉにより求める。

図３７はこのような（Ｘｉ，Ｙｉ）の具体的な計算方法を示している。図３７（ａ）の符号１４３０は（Ｘｍ，Ｙｍ）をＵ（ｘ，ｙ）とＵ（ｘ＋１，ｙ）を結ぶ直線上に射影した点でＦｘ＝Ｘｍ−Ｓｘ（ｘ，ｙ）である。また，符号１４４０は（Ｘｍ，Ｙｍ）をＵ（ｘ，ｙ）とＵ（ｘ，ｙ＋１）を結ぶ直線上に射影した点でＦｙ＝Ｙｍ−Ｓｙ（ｘ，ｙ）である。同様に，図３７（ｂ）の符号１４５０は（Ｘｍ，Ｙｍ）をＵ（ｘ，ｙ）とＵ（ｘ＋１，ｙ）を結ぶ直線上に射影した点でＧｘ＝Ｘｍ−Ｓｘ（ｘ，ｙ）である。同様に，符号１４６０は（Ｘｍ，Ｙｍ）をＵ（ｘ，ｙ）とＵ（ｘ，ｙ＋１）を結ぶ直線上に射影した点でＧｙ＝Ｙｍ−Ｓｙ（ｘ，ｙ）である。このとき，図３７（ａ）の入力画像１４１０におけるＦｘは，Ｆｘ／（Ｒｘ（ｘ＋１，ｙ）−Ｒｘ（ｘ，ｙ））＝Ｅｘ／Ｔｗより，Ｆｘ＝Ｅｘ／Ｔｗ×（Ｒｘ（ｘ＋１，ｙ）−Ｒｘ（ｘ，ｙ））となる。同様に，Ｆｙ＝Ｅｙ／Ｔｈ×（Ｒｙ（ｘ，ｙ＋１）−Ｒｙ（ｘ，ｙ））となる。これより，Ｘｉ＝Ｆｘ＋Ｒｘ（ｘ，ｙ），Ｙｉ＝Ｆｙ＋Ｒｙ（ｘ，ｙ）となる。

以上により，図３７（ｂ）の補正画像１４２０上の任意の点（Ｘｍ，Ｙｍ）の画素値には，入力画像上の点（Ｘｉ，Ｙｉ）の画素値をセットする。ただし，（Ｘｉ，Ｙｉ）は一般的に実数値であるため，入力画像上で（Ｘｉ，Ｙｉ）に最も近い座標における画素値とするか，その近傍４画素の画素値とそれらとの距離の比から画素値を計算する。

以上，入力画像変形部２３０の動作について説明した。

（改ざん判定部２４０の動作）
図３８は改ざん判定の例を示している。
図３８（ａ）の透かし情報から復元した特徴画像１５１０，図３８（ｂ）の改ざん検出情報（透かし情報から復元した特徴画像の位置情報）１５２０，およびＤｏｕｔとＤｉｎの比から，特徴画像をＤｏｕｔ／Ｄｉｎ倍に拡大または縮小し，補正画像１５３０上のＢｘ，Ｂｙの位置に重ね合わせる。ただし図３８において，Ｂｘ＝Ａｘ×Ｄｉｎ／Ｄｏｕｔ，Ｂｙ＝Ａｙ×Ｄｉｎ／Ｄｏｕｔ，Ｂｗ＝Ａｗ×Ｄｉｎ／Ｄｏｕｔ，Ｂｈ＝Ａｈ×Ｄｉｎ／Ｄｏｕｔである。

図３８（ｃ）の補正画像１５３０は，適当な閾値で二値化し，拡大または縮小済みの特徴画像（図３８（ａ））を，左上が補正画像の（Ｂｘ，Ｂｙ）に合うように重ね合わせたものである。このとき，２つの画像間の差分を改ざんとみなす。

（第３の実施形態の効果）
以上説明したように，本実施形態によれば，印刷時に埋め込んだ信号の位置情報を元に，印刷書面を取り込んだ画像を補正するため，印刷物から取り込んだ画像から印刷前の画像を歪みや伸び縮みなく復元できるので，それらの画像間の位置の対応付けを高精度で行うことができ，さらには高性能の改ざん検出を行うことができる。

以上，添付図面を参照しながら本発明にかかる画像処理方法および画像処理装置の好適な実施形態について説明したが，本発明はかかる例に限定されない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明は印刷された帳票に対して改ざんがあった場合に，帳票を受け取った側で改ざんの検証を行うことができる画像処理方法および画像処理装置に利用可能である。

透かし情報埋め込み装置及び透かし情報検出装置の構成を示す説明図である。 透かし入り文書画像合成部１３の処理の流れを示す流れ図である。 透かし信号の一例を示す説明図であり，（１）はユニットＡを，（２）はユニットＢを示している。 図３（１）の画素値の変化をａｒｃｔａｎ（１／３）の方向から見た断面図である。 透かし信号の一例を示す説明図であり，（３）はユニットＣを，（４）はユニットＤを，（５）はユニットＥを示している。 背景画像の説明図であり，（１）はユニットＥを背景ユニットと定義し，これを隙間なく並べて文書画像の背景とした場合を示し，（２）は（１）の背景画像の中にユニットＡを埋め込んだ一例を示し，（３）は（１）の背景画像の中にユニットＢを埋め込んだ一例を示している。 文書画像へのシンボル埋め込み方法の一例を示す説明図である。 秘密情報を文書画像に埋め込む方法について示した流れ図である。 秘密情報を文書画像に埋め込む方法の一例を示す説明図である。 透かし入り文書画像の一例を示す説明図である。 図１０の一部を拡大して示した説明図である。 第１の実施の形態における透かし検出部３２の処理の流れを示す流れ図である。 第１の実施の形態における信号検出フィルタリング工程（ステップＳ３１０）の説明図である。 第１の実施の形態における信号位置探索工程（ステップＳ３２０）の説明図である。 第１の実施の形態における信号境界決定工程（ステップＳ３４０）の説明図である。 情報復元工程（ステップＳ３０５）の一例を示す説明図である。 データ符号の復元方法の処理の流れを示す説明図である。 データ符号の復元方法の一例を示す説明図である。 データ符号の復元方法の一例を示す説明図である。 第５の実施の形態における透かし情報埋め込み装置及び透かし情報検出装置の構成を示す説明図である。 改ざん判定部３３の処理の流れを示す流れ図である。 特徴比較工程（ステップＳ４５０）の説明図である。 特徴比較工程（ステップＳ４５０）の説明図である。 検出された信号ユニット位置の例を示す説明図である。 信号ユニット位置の不均一な配列の例を示す説明図である。 透かし画像出力部の構成を示す説明図である。 透かし文書入力部の構成を示す説明図である。 透かし入り画像を示す説明図である。 入力画像変形部の動作を示す流れ図である。 検出された信号ユニット位置の例を示す説明図である。 近似直線の検出の例を示す説明図である。 直線近似を行った結果の例を示す説明図である。 傾きの補正を示す説明図である。 位置の補正を示す説明図である。 直線の交点の例を示す説明図である。 入力画像と補正画像の位置の対応例を示す説明図である。 入力画像と補正画像の対応付け方法の例を示す説明図である。 改ざん検出の例を示す説明図である。

符号の説明

１００ 透かし画像出力部
１１０ 画像
１２０ 特徴画像生成部
１３０ 透かし情報合成部
１４０ 出力画像
２００ 透かし画像入力部
２１０ 入力画像
２２０ 透かし情報抽出部
２３０ 入力画像変形部
２４０ 改ざん判定部
２５０ 特徴画像
２６０ 補正画像

Claims (8)

1. 元画像の全体に識別可能なパターンを既知の間隔で重畳したパターン重畳画像から，前記重畳したパターンの重畳位置を検出する検出部と，
   検出した重畳位置情報を元にして，前記パターン重畳画像の補正画像を作成する補正画像作成部と，
   を備え，
   前記検出部は，
   前記パターン重畳画像から検出した識別可能なパターンの位置情報について，水平方向に並んだ位置情報の組を直線近似し，垂直方向に並んだ位置情報の組を直線近似し，
   水平方向の近似直線の傾きを，該近似直線とその近傍の他の水平方向の直線による平均値に置き換え，
   垂直方向の近似直線の傾きを，該近似直線とその近傍の他の垂直方向の直線による平均値に置き換え，
   水平方向の近似直線と垂直方向の近似直線との交点を計算し，該交点を前記元画像に重畳したパターンの重畳位置として検出することを特徴とする，画像処理装置。
2. 元画像の全体に識別可能なパターンを既知の間隔で重畳したパターン重畳画像から，前記重畳したパターンの重畳位置を検出する検出部と，
   検出した重畳位置情報を元にして，前記パターン重畳画像の補正画像を作成する補正画像作成部と，
   を備え，
   前記検出部は，
   前記パターン重畳画像から検出した識別可能なパターンの位置情報について，水平方向に並んだ位置情報の組を直線近似し，垂直方向に並んだ位置情報の組を直線近似し，
   水平方向の近似直線の垂直方向の位置を，該近似直線とその近傍の他の水平方向の直線の垂直方向の位置による平均値に置き換え，
   垂直方向の近似直線の水平方向の位置を，該近似直線とその近傍の他の垂直方向の直線の水平方向の位置による平均値に置き換え，
   水平方向の近似直線と垂直方向の近似直線との交点を計算し，該交点を前記元画像に重畳したパターンの重畳位置と検出することを特徴とする，画像処理装置。
3. 前記補正画像作成部は，
   前記検出部が検出した重畳位置が縦方向，横方向ともに既知の間隔に並ぶように，前記パターン重畳画像の補正画像を作成して，前記パターン重畳画像を変形することを特徴とする，請求項１または２のいずれかに記載の画像処理装置。
4. 前記元画像の任意の領域の画像特徴とその領域の位置情報とが，その元画像に不可視の情報として記録されており，
   前記検出部は，前記パターン重畳画像から前記画像特徴と前記位置情報とを取り出し，
   前記取り出した画像特徴と，前記変形したパターン重畳画像の同じ位置の画像特徴とを比較し，それらの間に違いがあればそれを改ざんと判定する改ざん判定部をさらに備えたことを特徴とする，請求項３に記載の画像処理装置。
5. 元画像の全体に識別可能なパターンを既知の間隔で重畳したパターン重畳画像から，前記重畳したパターンの重畳位置を検出する検出工程と，
   検出した重畳位置情報を元にして，前記パターン重畳画像の補正画像を作成する補正画像作成工程と，
   を含み，
   前記検出工程においては，
   前記パターン重畳画像から検出した識別可能なパターンの位置情報について，水平方向に並んだ位置情報の組を直線近似し，垂直方向に並んだ位置情報の組を直線近似し，
   水平方向の近似直線の傾きを，該近似直線とその近傍の他の水平方向の直線による平均値に置き換え，
   垂直方向の近似直線の傾きを，該近似直線とその近傍の他の垂直方向の直線による平均値に置き換え，
   水平方向の近似直線と垂直方向の近似直線との交点を計算し，該交点を前記元画像に重畳したパターンの重畳位置として検出することを特徴とする，画像処理方法。
6. 元画像の全体に識別可能なパターンを既知の間隔で重畳したパターン重畳画像から，前記重畳したパターンの重畳位置を検出する検出工程と，
   検出した重畳位置情報を元にして，前記パターン重畳画像の補正画像を作成する補正画像作成工程と，
   を含み，
   前記検出工程においては，
   前記パターン重畳画像から検出した識別可能なパターンの位置情報について，水平方向に並んだ位置情報の組を直線近似し，垂直方向に並んだ位置情報の組を直線近似し，
   水平方向の近似直線の垂直方向の位置を，該近似直線とその近傍の他の水平方向の直線の垂直方向の位置による平均値に置き換え，
   垂直方向の近似直線の水平方向の位置を，該近似直線とその近傍の他の垂直方向の直線の水平方向の位置による平均値に置き換え，
   水平方向の近似直線と垂直方向の近似直線との交点を計算し，該交点を前記元画像に重畳したパターンの重畳位置と検出することを特徴とする，画像処理方法。
7. 前記補正画像作成工程においては，
   前記検出工程において検出した重畳位置が縦方向，横方向ともに既知の間隔に並ぶように，前記パターン重畳画像の補正画像を作成して，前記パターン重畳画像を変形することを特徴とする，請求項５または６のいずれかに記載の画像処理方法。
8. 前記元画像の任意の領域の画像特徴とその領域の位置情報とが，その元画像に不可視の情報として記録されており，
   前記検出工程において，前記パターン重畳画像から前記画像特徴と前記位置情報とを取り出し，
   前記取り出した画像特徴と，前記変形したパターン重畳画像の同じ位置の画像特徴とを比較し，それらの間に違いがあればそれを改ざんと判定する改ざん判定工程をさらに含むことを特徴とする，請求項７に記載の画像処理方法。

Images