JP3869983B2 - 画像処理装置及び方法及び記憶媒体 - Google Patents
画像処理装置及び方法及び記憶媒体 Download PDFInfo
- Publication number
- JP3869983B2 JP3869983B2 JP29816199A JP29816199A JP3869983B2 JP 3869983 B2 JP3869983 B2 JP 3869983B2 JP 29816199 A JP29816199 A JP 29816199A JP 29816199 A JP29816199 A JP 29816199A JP 3869983 B2 JP3869983 B2 JP 3869983B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- mask
- embedding
- embedded
- additional information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、電子透かし情報が埋め込まれた画像データからこの情報を正確に抽出できる為の処理を行う画像処理装置及び方法及びこの方法を記憶した記憶媒体に関するものである。
【０００２】
【従来の技術】
近年のコンピュータ及びネットワークの発達は著しく、文字データ、画像データ、音声データ等のマルチメディアデータがコンピュータ、ネットワーク上で頻繁に扱われる様になっている。
【０００３】
これらマルチメディアデータはディジタルデータである為、詳細で良質なデータの複製を容易に作成することが可能である。この様なデータの著作権を保護する為に、元のデータ中に著作権情報や利用者情報を電子透かし情報として埋め込む技術が利用されることがある。
【０００４】
例えば、著作権情報や利用者情報が埋め込まれたマルチメディアデータを配布した場合には、これら各マルチメディアデータの使用状況と、このデータから抽出される著作権情報や利用者情報とを照らし合わせることにより、正しく使用されているか検証することも可能である。
【０００５】
この様な電子透かし技術においては、画像の品質と攻撃に対する耐性と埋め込み可能な情報量の３つのパラメータが密接に関わっている。
【０００６】
画像の品質とは、オリジナルの画像に対する、電子透かし情報が埋め込まれた画像の視覚的な劣化の度合いに相当する。電子透かし技術では、オリジナルの画像データを微量だけ操作する為、電子透かし情報の埋め込み操作をすると、信号レベルでは必ずオリジナルの画像に対して劣化が生じる。しかし、この劣化を人間の視覚が知覚できない様にすれば、オリジナルの画像の持っている価値は失われずに使用可能となる。電子透かし情報の埋め込みによって、視覚的な画質劣化は生じないことが好ましい。
【０００７】
攻撃に対する耐性とは、電子透かし情報が埋め込まれた画像が種々の攻撃を受けた場合でも、その後電子透かし情報が誤りなく抽出可能である度合いに相当する。なお上記攻撃には、拡大、縮小、位置ずらし等の幾何学的歪みを与える処理、或いはJPEG圧縮の様な非可逆圧縮を行う処理、或いは部分切り取り、ノイズ付加、濃度変換等が存在する。また、電子透かし情報が埋め込まれた画像をプリンタで紙等の記録媒体に出力し、その後スキャナで入力した後に電子透かし情報を抽出する一連の処理についても、画質が微量でも変化する可能性が有れば、これら各処理或いは全部を攻撃であると考えることができる。これらの攻撃を受けても電子透かし情報は正しく抽出されることが好ましい。
【０００８】
埋め込み可能な情報量とは、電子透かし情報として埋め込むことができる情報量である。これはできるだけ大きなほうが好ましい。
【０００９】
即ち、電子透かし情報を埋め込むことによる視覚的な画質劣化が無く、種々の攻撃に対しては電子透かし情報の耐性が有り、埋め込み可能な情報量が大きくなる様な、電子透かし情報の埋め込みアルゴリズムが要求される。
【００１０】
上記３つのパラメータ間にはトレードオフの関係があると言われている。例えば、攻撃に対する耐性を上げようとすると、画質劣化が大きくなったり、埋め込み可能な情報量が少なくなったりする。一方、画質劣化を小さくしようとすると、攻撃に対する耐性が小さくなったり、埋め込み可能な情報量も少なくなったりする。一方、埋め込み可能な情報量を多くしようとすると、画質劣化が大きくなったり攻撃に対する耐性が小さくなったりする。
【００１１】
よって、電子透かし技術の開発は、電子透かし情報の埋め込みが行われる状況に応じて、この状況に最適な方式を検討する必要がある。
【００１２】
【発明が解決しようとする課題】
従来、電子透かし情報が埋め込まれた画像データに対して、幾何的な歪みを与える攻撃が施された場合、その後の画像データを電子透かし情報を正確に抽出可能とする為の処理方法は未だ確立されていなかった。
【００１３】
本発明は上記従来例に鑑みて成されたものであり、電子透かし情報が埋め込まれた画像に幾何的な歪みや非可逆圧縮が与えられた場合においても、この歪みを的確に判断できる様にし、結果的に後段の電子透かし情報の抽出を正確に行える様にすることを目的とする。
【００１４】
【課題を解決するための手段】
上記課題を解決するために、本発明の画像処理装置によれば、画像データの幾何学的な状態を示すレジストレーション信号、及び前記画像データに電子透かし情報が予め人間に目視しにくく埋め込まれている画像データから、該電子透かし情報を抽出する画像処理装置であって、前記画像データを周波数変換する変換手段と、前記変換手段により得られる信号に微分処理を施す微分手段と、前記微分手段で得られた信号と、前記レジストレーション信号に関する情報とに基づいて、前記画像データの幾何学的な補正を行う補正手段と、前記補正が施された画像データから前記電子透かし情報を抽出する抽出手段を有し、前記レジストレーション信号は、前記画像データの周波数領域における中間レベルの周波数に配置されるインパルス信号であることを特徴とする。
【００１５】
【発明の実施の形態】
［１ 電子透かし埋め込み装置］
以下、本実施の形態における電子透かし埋め込み装置の概要について図を用いて説明する。
【００１６】
図１に、本実施の形態における電子透かし埋め込み装置を示す。図１に示す様に、電子透かし埋め込み装置は、色成分抽出手段０１０１、レジストレーション信号埋め込み手段０１０２、埋め込み位置決定手段０１０３、付加情報埋め込み手段０１０４、色成分合成手段０１０５から構成される。
【００１７】
電子透かし埋め込み装置には、画像データIが入力される。これは１画素当たり所定の複数ビットが割り当てられた多値画像データである。また本実施の形態では、入力される画像データIがグレイスケール画像データであってもカラー画像データであっても対応可能である。グレイスケール画像データは、１画素当たり１種類の要素から構成されているものであり、カラー画像データは、１画素当たり３種類の要素から構成されているものとする。この３種類の要素とは本実施の形態では赤色成分、青色成分、緑色成分である。しかしながら、別の色成分の組み合わせにも本発明は適用可能である。
【００１８】
電子透かし埋め込み装置に入力された画像データＩは、まず色成分抽出手段０１０１に入力される。
【００１９】
入力された画像データＩがカラー画像データである場合には、色成分抽出手段０１０１においてこのカラー画像データから青色成分だけを分離し、後段のレジストレーション信号埋め込み手段０１０２に出力する。
【００２０】
一方その他の色成分は後段の色成分合成手段０１０５に出力する。即ちここでは、電子透かし情報が埋め込まれるべき色成分のみが分離されて電子透かしの処理系に送出される。
【００２１】
本実施の形態においては青色成分に対して電子透かし情報の埋め込みが行われる。これは赤色成分、青色成分、緑色成分の中で、人間の視覚にとっては青色成分が最も鈍感であることによる。よって青色成分に電子透かし情報を埋め込むことは、他の色成分に対して電子透かし情報を埋め込むことに比べて、電子透かし情報による画質劣化が人間の目に知覚しにくくなる効果がある。
【００２２】
また、入力された画像データＩがグレイスケール画像データである場合には、色成分抽出手段０１０１はグレイスケール画像データを一旦疑似的なカラー画像データに変換する。ここで疑似的なカラー画像データとは、１画素当たり３種類の要素から構成されるカラー画像データであるが、この場合、３種類の要素の値が全て等しい画像データである。グレイスケール画像データは上記疑似的なカラー画像データに変換され、このカラー画像データの中で青色成分を分離し、レジストレーション信号埋め込み手段０１０２へ出力される。
【００２３】
一方その他の色成分は後段の色成分合成手段０１０５に出力する。この様にして、上述したカラー画像データの場合と同様に、青色成分に対して電子透かし情報が埋め込まれる。
【００２４】
なお、以後の説明では、画像データＩがカラー画像データである場合とグレースケール画像データである場合とは、できるだけ区別しない様にして説明する。即ち、カラー画像データと擬似的なカラー画像データとは区別せずに説明する。
【００２５】
次に、レジストレーション信号埋め込み手段０１０２について説明する。ここで、レジストレーション信号とは、電子透かし情報の抽出の前処理として幾何的な補正を実行する為に必要とされる信号である。
【００２６】
レジストレーション信号埋め込み手段０１０２には、色成分抽出手段０１０１で得られた青色成分の画像データが入力される。レジストレーション信号埋め込み手段０１０２では、画像データに対して一種の電子透かしの技術を用いてレジストレーション信号が埋め込まれる。即ち、レジストレーション信号を埋め込まれた画像データにおいて、人間の視覚はレジストレーション信号を知覚することができない。このレジストレーション信号の埋め込み方法等、詳細は後述する。
【００２７】
レジストレーション信号埋め込み手段０１０２はレジストレーション信号が埋め込まれた画像データを出力する。
【００２８】
次の埋め込み位置決定手段０１０３は、レジストレーション信号埋め込み手段０１０２から入力される画像データにおける、付加情報Infの埋め込み位置を決定する。
【００２９】
埋め込み位置決定手段０１０３は、入力された画像データと共に、画像中に付加情報Infを埋め込む位置を表す制御データを付加情報埋め込み手段０１０４に出力する。
【００３０】
付加情報埋め込み手段０１０４は、上記画像データと制御データに加えて、付加情報Inf（複数のビット情報）を入力する。この付加情報Infは、青色成分の画像データにおける上記決定された埋め込み位置に、電子透かし技術を用いて埋め込まれる。この電子透かしの技術を用いた付加情報Infの埋め込みについても後述する。
【００３１】
付加情報埋め込み手段０１０４からは付加情報Infが埋め込まれた画像データが出力され、色成分合成手段０１０５に入力される。
【００３２】
色成分合成手段０１０５は、前段（付加情報埋め込み手段０１０４）までに処理された青色成分と、色成分抽出手段０１０１から直接入力される赤色成分及び緑色成分とを用いて、通常のカラー画像データの形態に合成する。
【００３３】
以上の処理により、レジストレーション信号及び付加情報Infが電子透かし技術によって埋め込まれた画像データwIが出力される。
【００３４】
なお、本実施の形態ではこの画像データwIに種々の幾何的な歪みを生じる攻撃が加えられるものとして説明する。例えば、ユーザーによる意図的な画像編集であり、或いは画像データwIを印刷した後、印刷物をスキャナ等でスキャンニングする動作である。攻撃を受けた画像データは後述する図２のwI'となる。
【００３５】
以上説明した各手段による全体の流れを、図３１に示すフローチャートを用いて説明する。
【００３６】
まずステップ３４０２において画像データＩが色成分抽出手段０１０１に入力される。これは写真や印刷物をスキャナなどで読み取り、画像データを生成する工程も含む。更に青色成分を分離し、後段のレジストレーション信号入力に使用する。
【００３７】
次に、ステップ３４０３においてレジストレーション信号を発生し、このレジストレーション信号がステップ３４０４で埋め込まれる。このステップ３４０４におけるレジストレーション信号埋め込み処理は、図１におけるレジストレーション信号埋め込み手段０１０２の内部で実行される処理に相当し、詳細な説明は後述する。
【００３８】
更に、ステップ３４０５によりマスクが作成され、作成されたマスクは、ステップ３４０６に入力され、埋め込みビット情報と埋め込み位置の関係を規定する。ステップ３４０７ではマスクを拡大マスクに拡張する。このマスク・パターン配列対応手段についても詳細な説明は後述する。
【００３９】
ステップ３４０３,３４０４においてレジストレーション信号が埋め込まれた画像データに対して、ステップ３４０８において付加情報Infが埋め込まれる。この付加情報埋め込み処理はマクロブロック単位で付加情報Infを画像全体に繰り返し埋め込む。この処理は後述の図１０で詳細に述べる。ここで、マクロブロックとは、最小埋め込み単位のことを示し、このマクロブロックに相当する画像領域に１つの完結した付加情報Infの全情報が埋め込まれる。
【００４０】
上記画像データに対して付加情報Infが埋め込まれた後に、ステップ３４０９により、電子透かし情報が埋め込まれた画像データwIが出力される。
【００４１】
上述した様に、この画像データwIは、後述する図３２の電子透かし抽出開始処理が実行される前に、種々の幾何的な歪みを生じる攻撃が加えられるかもしれない。
【００４２】
［２ 電子透かし抽出装置］
次に、本実施の形態における電子透かし抽出装置の概要について説明する。
【００４３】
図２に、本実施の形態における電子透かし抽出装置を示す。図２に示す様に、電子透かし抽出装置は、色成分抽出手段０２０１、レジストレーション手段０２０２、及び付加情報抽出手段０２０３から構成される。
【００４４】
電子透かし抽出装置には、画像データwI'が入力される。画像データwI'は画像データwIに対して種々の幾何的な歪みを生じる攻撃を受けている可能性を有する画像データである。攻撃には、JPEG圧縮などの非可逆圧縮、スケーリング、回転、印刷＆スキャニングなど種々のものを含み、更にこれらの組合せも考えられる。
【００４５】
従って、画像データwI'とwIとは内容が同一であることが理想的ではあるが、実際にはこの２つの画像データは内容が著しく異なっていることが多い。
【００４６】
色成分抽出手段０２０１は、画像データwI'を入力し、青色成分を抽出した後、この青色成分の画像データを後段のレジストレーション手段０２０２へ出力する。画像データwI'のうち、青色成分以外の赤色成分、及び緑色成分は必要無いのでここで廃棄される。
【００４７】
レジストレーション手段０２０２には、色成分抽出手段０２０１で得られた青色成分の画像データwI1'が入力される。そしてこの青色成分の画像データwI1'を用いて、幾何学的な歪みが補正された画像データwI2'を生成する。
【００４８】
上述した様に、画像データwI'は画像データwIとは異なるスケールである可能性を有するのに対し、画像データwI2'は画像データwIと必ず同一のスケールになる。この理由、及び画像データwI2'を画像データwIと同じスケールにする処理の詳細は後述する。
【００５０】
レジストレーション手段０２０２は、画像データwI2'を、付加情報抽出手段０２０３に出力する。
【００５１】
付加情報抽出手段０２０３は、付加情報埋め込み手段０１０４での埋め込み方式に合わせた所定の処理を施こすことによって、画像データwI2'に埋め込まれている電子透かし情報を抽出することが可能であり、抽出された付加情報Infを出力する。
【００５２】
以上説明した各手段による全体の流れを、図３２のフローチャートを用いて説明する。まずステップ３５０２では画像データwI'が入力される。この画像データwI'は、画像データwIであると予想される画像データをネットワークやメモリから読み出したり、画像データwIに基づいて印刷した物をスキャナ等でスキャンニングしたりすることで得られる。後者の場合には画像データwI'が画像データwIとは著しく異なっている可能性が非常に高い。
【００５３】
また、この画像データwI'の青色成分のみが抽出され、次のステップで使用される。
【００５４】
次に、ステップ３５０３では、入力された青色成分の画像データwI1'のスケールが補正される。
【００５５】
更にステップ３５０４では、入力された青色成分の画像データwI1'のオフセットが補正される。
【００５６】
次に第１のパターン配列を用いた抽出処理がステップ３５０６において、第２のパターン配列を用いた抽出処理がステップ３５０５において、スケールとオフセットが既に補正された画像データwI2'から、夫々埋め込まれている付加情報Infが抽出される。
【００５７】
統計検定ステップ３５０７では、上記抽出された電子透かし情報の確からしさが算出、判定され、正しい電子透かし情報ではないと判定されればステップ３５０２に戻り、電子透かし情報が埋め込まれていると考えられる画像を入力しなおす。一方、充分正確な電子透かし情報であると判定された場合には、ステップ３５０８の比較処理により電子透かし情報（付加情報Inf）の抽出を行う。また、ステップ３５１０では上記確からしさを示す情報を後述する信頼性指標Ｄとして表示する。
【００５９】
［３ 各部の詳細説明］
次に、各部の詳細な説明をする。
【００６０】
まず、電子透かし抽出側におけるレジストレーション手段０２０２、ステップ３５０３が実行するレジストレーションという処理について説明する。
【００６１】
レジストレーション処理とは電子透かし情報の抽出の際に、電子透かし抽出装置に入力された画像データwI'から電子透かし情報が抽出できる様にする前処理である。以下では、まず印刷系の処理が施された画像データがどの様な変化を受けるかを考える。そして、その様な変化に対するレジストレーション処理を考察し、印刷系に対するレジストレーション処理を考える。
【００６２】
電子透かし抽出装置には、電子透かし埋め込み装置から出力された画像データwIがそのまま入力されるとは限らない。
【００６３】
例えば、画像データwIがＹＭＣＫインクジェットプリンタによって印刷され、この印刷物をスキャナでスキャンニングする場合を挙げて考察する。
【００６４】
この時、プリンタによる出力解像度と、スキャナによる入力解像度が異なる場合には、元のカラー画像データwIとスキャンニングで得られた画像データのスケールは異なってしまう。よって、得られた画像データwI'からはそのまま正確に電子透かし情報を抽出できる可能性は少ない。従って、これらのスケールの違いを補正できる手段を備えておくことが必要である。
【００６５】
本実施の形態では、入力解像度と出力解像度の両方が既知である為、これらの比からスケールの比を算出できる。例えば、出力解像度が６００dpiであり入力解像度が３００dpiである場合には、印刷前の画像とスキャンニング後の画像のスケールの比は２倍である。よって、算出されたスケールの比にしたがって、適当なスケーリングアルゴリズムを用いて画像データwI'に対してスケーリングを施す。これにより画像データwIと画像データwI'が表す画像サイズを同じスケールにできる。
【００６６】
しかし、全ての場合に出力と入力の解像度が既知であるとは限らない。双方の解像度が既知でない場合には、上述の方法は使用できない。この場合には、スケールの違いを補正する手段に加えて、更にスケールの比を知る手段が必要である。
【００６７】
また、画像データwIに印刷系の処理が施された画像は、スキャナのスキャンニングにより入力された後には図３に示す様な画像となる。図３においては０３０１全体が画像データwI'が表す画像である。この画像データ０３０１は、画像データwIにより表される本来の画像０３０２と白色の余白部分０３０３から構成される。この様な余白は、ユーザーがマウスなどによって切り取った場合には不正確になってしまう。
【００６８】
以上挙げた点が、印刷系を介して得られた画像データwI'を表す画像には、必ず生じていると考えられ、画像データwIに印刷系の処理が施される場合であれば、これらを解決する必要がある。
【００６９】
以上、電子透かしを抽出する前に印刷系の処理を少なくとも１度介してから画像データを得る場合について説明したが、この様な状況は人為的な編集によっても起こり得る。
【００７１】
以下、入出力解像度の比が不明である場合を想定し、上記問題点を解決する為に備えられた、レジストレーション信号埋め込み手段及びレジストレーション手段について説明する。
【００７２】
［３−１ レジストレーション信号埋め込み処理］
まず、レジストレーション信号埋め込み手段０１０２（ステップ３４０４）について詳細を説明する。
【００７３】
レジストレーション信号埋め込み手段０１０２は、付加情報埋め込み手段０１０４の前段に位置するものである。この手段０１０２は、図２のレジストレーション手段における画像データwI'のレジストレーションに参照されるレジストレーション信号を、元の画像データに予め埋め込むものである。このレジストレーション信号は、電子透かし情報として人間の目に見えにくく画像データ（本実施の形態ではカラー画像データの青色成分）に埋め込まれる。
【００７４】
図４にレジストレーション信号埋め込み手段０１０２の内部構成を示す。レジストレーション信号埋め込み手段０１０２は、図４のブロック分割手段０４０１、フーリエ変換手段０４０２、加算手段０４０３、逆フーリエ変換手段０４０４、ブロック合成手段０４０５から構成される。以下、各手段の詳細について解説する。
【００７５】
ブロック分割手段０４０１は、入力された画像データを互いに重ならない複数のブロックに分割する。このブロックのサイズは本実施の形態においては２のべき乗に定める。実際はこれ以外のサイズでも適応可能であるが、ブロックのサイズが２のべき乗である場合は、ブロック分割手段０４０１の後に結合されるフーリエ変換手段０４０２において高速の処理を行うことが可能である。
【００７６】
ブロック分割手段０４０１により分割されたブロックは、二つの集合I1とI2に分けられ、このうちI1は後段のフーリエ変換手段０４０２に入力され、I2は後段のブロック合成手段０４０５に入力される。本実施の形態では、I1としては、ブロック分割手段０４０１により得られた各ブロックのうち、画像データIの中で最も中心付近に位置する一つのブロックが選択され、残りのブロックは全てI2として選択される。
【００７７】
これは、本実施の形態が少なくとも一つのブロックを用いることで実現可能であり、ブロックの数が少ない方が処理時間を短縮できることによる。しかしながら本発明はこれに限らず、I1として二つ以上のブロックを選択する場合も範疇に含む。
【００７８】
また、どの様なサイズでブロックに分割され、どのブロックがレジストレーション信号の埋め込み対象に選択されるかという情報は、電子透かし埋め込み装置と、電子透かし抽出装置で共有する必要がある。
【００７９】
ブロック分割手段０４０１の分割で得られた画像データの一部I1は、フーリエ変換手段０４０２に入力される。
【００８０】
次にフーリエ変換手段０４０２は、入力された画像データI1に対してフーリエ変換を施す。入力された画像データI1の元のデータ形態を空間領域と呼ぶのに対して、フーリエ変換された後のデータ形態を周波数領域と呼ぶ。フーリエ変換は、入力された全てのブロックに対して施される。なお本実施の形態では、入力されるブロックのサイズが２のべき乗であるので、処理の高速化の為に高速フーリエ変換を用いる。
【００８１】
高速フーリエ変換とは、フーリエ変換がｎ×ｎ回の演算量を必要とするのに対して、(n/２)log2(n)の演算量で実行可能な変換アルゴリズムである。ただしここでｎは正の整数である。高速フーリエ変換とフーリエ変換は、演算結果を得る為の速度が違うだけであり、両者からは等しい結果が得られる。よって本実施の形態では、高速フーリエ変換とフーリエ変換を区別して説明しない。
【００８２】
尚、フーリエ変換により得られた周波数領域の画像データは振幅スペクトルと位相スペクトルによって表現される。このうち振幅スペクトルだけが加算手段０４０３に入力される。一方で、位相スペクトルは逆フーリエ変換装置０４０４に入力される。
【００８３】
次に、加算手段０４０３について説明する。加算手段０４０３には、上記振幅スペクトルと共に、レジストレーション信号と呼ばれる信号rが別に入力される。レジストレーション信号の例としては、図５に示す様なインパルス信号が挙げられる。
【００８４】
図５では、フーリエ変換されて得られた２次元空間周波数成分のうちの振幅スペクトルが示されている。中心が低周波成分、周囲が高周波数成分である。０５０１は本来の画像成分が持っている信号成分の振幅スペクトルであり、写真等の自然画像に相当する信号では低域に多くの大きな信号が集中する。一方で高域にはほとんど信号が存在しない。
【００８５】
なお、本実施の形態では自然画像に一連の処理を施すことを想定して説明するが、本発明はこれに限らず、文書画像、ＣＧ画像等も同様に処理しても良い。ただし、本実施の形態は中間濃度が比較的多い自然画像を処理する場合に特に有効である。
【００８６】
図５は、自然画像の本来持つ信号０５０１に対して周波数領域の信号の水平垂直ナイキスト周波数成分にインパルス信号０５０２、０５０３、０５０４、０５０５を加えた本実施の形態の一例である。この例の様に、レジストレーション信号はインパルス性の信号であることが望ましい。これは後述する電子透かし抽出装置において、レジストレーション信号だけを抽出しやすいからである。
【００８７】
図５では入力信号のナイキスト周波数成分に対してインパルス信号を加えているが、本発明はこれに限定されることはない。即ち、電子透かし情報が埋め込まれた画像が攻撃を受けた場合にもレジストレーション信号が除去されないものであれば良い。上述した様に、JPEG圧縮などの非可逆圧縮方式はローパスフィルタ的な効果がある。よって、ここでの情報圧縮の対象となる高周波成分へインパルス信号を埋めこんでも、圧縮・伸張処理により除去されてしまう可能性がある。
【００８８】
一方で、低周波成分へのインパルスの埋め込みは、高周波成分への埋め込みと比べて、人間の視覚特性からノイズとして知覚されやすいという欠点がある。よって、本実施の形態では人間の視覚に認識しにくい第１の周波数以上であり、かつ非可逆圧縮・伸張処理により容易に除去されない第２の周波数以下である中間レベルの周波数へインパルス信号を埋め込むものとする。また、このレジストレーション信号は、加算手段０４０３に入力された各ブロック（本実施の形態では１ブロック）に対して加えられる。
【００８９】
加算手段０４０３は、周波数領域の画像データの振幅スペクトルにレジストレーション信号が加えられた信号を逆フーリエ変換手段０４０４に出力する。
【００９０】
逆フーリエ変換手段０４０４は、入力された周波数領域の画像データに対して逆フーリエ変換を施す。この逆フーリエ変換は、入力された全てのブロックに対して施される。上述のフーリエ変換手段０４０２の場合と同様に、入力されたブロックのサイズが２のべき乗であるので処理の高速化の為に高速フーリエ変換を用いる。逆フーリエ変換手段０４０４へ入力された周波数領域の信号は、逆フーリエ変換されることにより空間領域の信号に変換され出力される。
【００９１】
逆フーリエ変換手段０４０４から出力された空間領域の画像データは、ブロック結合手段０４０５に入力される。
【００９２】
ブロック結合手段０４０５は、ブロック分割手段０４０５で行われた分割と逆の処理を行う。ブロック結合手段０４０５の処理の結果、画像データ（青色成分）が再構成されて出力される。
【００９３】
以上、図１に示したレジストレーション信号埋め込み手段０１０２の詳細を述べた。
【００９４】
図４では、レジストレーション信号をフーリエ変換領域において埋め込む方式を説明した。一方で、レジストレーション信号を空間領域において埋め込む方式も考えられる。この方式を図２９を用いて説明する。
【００９５】
図２９は、ブロック分割手段３２０１、加算手段３２０２、ブロック合成手段３２０３、逆フーリエ変換手段３２０４から構成される。
【００９６】
ブロック分割手段３２０１及びブロック合成手段３２０３は、図４におけるブロック分割手段０４０１及びブロック合成手段０４０５と同様の動作をする。レジストレーション信号埋め込み手段０１０２に入力される画像データはまずブロック分割手段３２０１に入力され、分割される。ここで得られたブロックは加算手段３２０２に入力される。一方で、レジストレーション信号rは逆フーリエ変換手段３２０４に入力され、逆フーリエ変換処理により信号r'に変換される。ここで、レジストレーション信号rは、図５に示したものと同様に周波数領域上の信号である。加算手段３２０２には、ブロック分割手段３２０１からのブロックと逆フーリエ変換手段３２０４からの信号r'が入力され、夫々加算される。加算手段３２０２から出力された信号はブロック合成手段３２０３に入力され、画像データ（青色成分）が再構成されて出力される。
【００９７】
以上図２９の手段構成は、図４の手段構成と同様の処理を空間領域で行うものである。図４の手段構成に比べて、フーリエ変換手段を必要としないので高速な処理を行うことが可能である。
【００９８】
更に、図２９の中で、信号r'は入力画像データIに対して独立な信号である。よって信号r'の算出、即ち逆フーリエ変換手段３２０４の処理は入力画像データIが入力される毎に実行される必要はなく、予めr'を生成しておくことが可能である。この場合には、図２９の手段構成から逆フーリエ変換手段３２０４を除去することもでき、更に高速にレジストレーション信号を埋め込むことができる。このレジストレーション信号を参照するレジストレーション処理については後述する。
【００９９】
≪ パッチワーク法 ≫
本実施の形態では付加情報Infの埋め込みの為にパッチワーク法と呼ばれる原理を用いている。そこで、まずパッチワーク法の原理を説明する。
【０１００】
パッチワーク法では画像に対して統計的偏りを生じさせることによって付加情報Infの埋め込みを実現している。
【０１０１】
これを図３０を用いて説明する。図３０においては、３３０１、３３０２は各々画素の部分集合、３３０３は画像全体である。画像全体３３０３から二つの部分集合A ３３０１とB ３３０２を選択する。
【０１０２】
この二つの部分集合の選択方法は、互いに重ならならなければ本実施の形態におけるパッチワーク法による付加情報Infの埋め込みが実行可能である。ただし、この二つの部分集合の大きさや選択方法は、このパッチワーク法によって埋め込まれた付加情報Infの耐性、即ち画像データwIが攻撃を受けた際に付加情報Infを失わない為の強度に大きく影響を及ぼす。これについては後述する。
【０１０３】
今、選択した部分集合Aの要素の持つ値を{an}、部分集合Bの要素の持つ値を{bn}とする。{an}、{bn}は具体的には、各部分集合に含まれる各画素の値（本実施の形態ではカラー画像データ中の青色成分の値に相当）である。
【０１０４】
ここで、次の指標dを定義する。
d = １/N Σ (ai − bi)
これは、二つの集合の画素値の差の期待値を示している。
【０１０５】
一般的な自然画像に対して、適当な部分集合Aと部分集合Bを選択し、指標dを定義すると、
d ≒ ０
となる性質がある。以降ではdを信頼度距離と呼ぶ。
【０１０６】
一方で、付加情報Infを構成する各ビットの埋め込み操作として、
a'i = ai ＋ c
b'i = bi − c
という操作を行う。これは部分集合Aの要素全てに対して値cを加え、部分集合Bの要素全てに対してcを減ずるという操作である。
【０１０７】
ここで、先程の場合と同様に、付加情報Infが埋め込まれた画像から部分集合Aと部分集合Bを選択し、指標dを計算する。
【０１０８】
すると、
となり０にはならない。
【０１０９】
即ち、ある画像が与えられた時に、画像に対して信頼度距離dを算出することによって、d≒０ならば付加情報Infは埋め込まれておらず、一方でdが０から一定量以上離れた値であるなら付加情報Infが埋め込まれていると判断できる。
【０１１０】
以上がパッチワーク法の基本的な考え方である。
【０１１１】
このパッチワーク法の原理を応用し、本実施の形態では複数のビットの情報を埋め込む。本方法においては、部分集合Aと部分集合Bの選択の方法についてもパターン配列によって定義している。
【０１１２】
上述の方法においては、原画像の所定の要素に対してパターン配列の要素を加えたり減じたりすることによって、付加情報Infの埋め込みを実現している。
【０１１３】
簡単なパターン配列の例を図９に示す。図９は、１ビットを埋め込む為に８×８画素を参照する場合の、元の画像からの画素値の変更量を示すパターン配列である。図９の様に、パターン配列は正の値を持つ配列要素、負の値を持つ配列要素、及び０の値を持つ配列要素から構成される。
【０１１４】
図９のパターンにおいて、＋ｃの配列要素で示される位置は対応位置の画素値をｃだけ上昇させる位置を示し、上述した部分集合Aに相当する位置である。一方−ｃの配列要素で示される位置は対応位置の画素値をｃ減少させる位置を示し、上述した部分集合Bに相当する位置である。また０で示される位置は上述した部分集合A,B以外の位置であることを示す。
【０１１５】
本実施の形態では、画像の全体的な濃度を変化させない為にも正の値を持つ配列要素の個数と負の値を持つ配列要素の個数を等しくしている。即ち、１つのパターン配列において全ての配列要素の和が０になっている。なお、後述する付加情報Infの抽出操作の時にはこの条件が必須である。
【０１１６】
以上の様なパターン配列を用いて付加情報Infを構成する各ビット情報の埋め込み操作を行う。
【０１１７】
本実施の形態では、図９のパターンを元の画像データにおける互いに異なる領域に複数回配置して画素値を上昇／減少させることにより、複数のビット情報、即ち付加情報Infを埋め込む。言い換えれば、１つの画像の互いに異なる領域に、部分集合AとBの組み合わせだけでなく、部分集合A’とB’、部分集合A”とB”、…という複数の組み合わせを想定することで、複数のビットからなる付加情報Infを埋め込む。
【０１１８】
なお、本実施の形態では元の画像データが大きい場合には、繰り返し付加情報Infを埋め込むことになる。これはパッチワーク法が統計的性質を利用しているものであることから、統計的性質が現れるのに充分な数を必要とすることによる。
【０１１９】
また、本実施の形態では複数ビットを埋め込む際にパターン配列を用いて画素値を変更する領域が重ならない様にする為、予め互いのビット同志でパターン配列を使用する相対位置を決定する。即ち、付加情報Infを構成する１ビット目の情報を埋め込む為のパターン配列の位置と、２ビット目の情報を埋め込む為のパターン配列の位置の関係は適切に定められる。
【０１２０】
例えば付加情報Infが１６ビットで構成されていれば、１〜１６ビット目の夫々の８×８画素のパターン配列の位置関係は、３２×３２画素よりも大きいサイズの領域上で画質劣化が少なくなる様に相対的に与えられる。
【０１２１】
更に、上記付加情報Inf（これを構成する各ビット情報）は、画像データが大きい場合には、できるだけ多くの回数繰り返して埋め込む。これは、付加情報Infの各ビットを正しく抽出可能とすることが目的である。特に本実施の形態では、同一の付加情報Infが繰り返し埋め込まれていることを利用した統計的な計測を行うので、上記繰り返しは重要である。
【０１２２】
以上説明した様な埋め込み位置の選択は、図１における埋め込み位置決定手段０１０３において実行される。次に、この埋め込み位置決定手段の動作について説明する。
【０１２３】
[３−２埋め込み位置決定処理]
図１１は埋め込み位置決定手段０１０３の内部構成を記している。
【０１２４】
図１１のマスク作成手段１１０１は、付加情報Infを構成する各ビット情報の埋め込み位置を規定する為のマスクの作成を行う。マスクとは、各ビット情報に対応するパターン配列（図９参照）の相対的な配置方法を規定する位置情報を備えたマトリクスである。
【０１２５】
図１７の１７０１にマスクの一例を示す。マスクの内部には夫々係数値が割り当てられており、各々の係数値はマスク内で等しい出現頻度を有している。このマスクを用いる場合であれば、最大１６ビットからなる付加情報Infを埋め込むことが可能である。
【０１２６】
次にマスク参照手段１１０２は、マスク作成手段１１０１で作成したマスクを読みこみ、マスク内の各係数値と、各ビット情報が何ビット目かの情報を対応付けて、各ビット情報を埋め込む為のパターン配列の配置方法を決定する。
【０１２７】
更にマスク・パターン配列対応手段１１０３は、マスク内の各係数値の位置に各パターン配列の配列要素（８×８サイズ）を展開する。即ち、図１７の１７０１に示されるマスクの各係数値（１マス）を、同図１７０３の様に８×８倍にして各パターン配列の埋め込み位置として参照可能とする。
【０１２８】
後述の付加情報埋め込み手段０１０４は、図１７の埋め込み先頭座標１７０２を参照して、パターン配列を用いて各ビット情報を埋め込むことになる。
【０１２９】
なお、本実施の形態ではマスク作成手段１１０１に、画像データ（青色成分）を入力する毎に上記マスクを作成する。よって、大きいサイズの画像データを入力する場合には、複数回繰り返して同一の付加情報Infを埋め込むことになる。
【０１３０】
上記の方法では画像から付加情報Infを抽出する場合に、上記マスクの構成（係数値の配列）が鍵の役割を果たす。即ち、鍵の所有者だけが情報の抽出を行えるという効果がある。
【０１３１】
なお本発明は、リアルタイムにマスクを作成せずに、予め作成しておいたマスクをマスク作成手段１１０１の内部記憶手段などに記憶させておき、必要時に呼び出す場合も範疇に含む。この場合には高速に後段の処理に移行することができる。
【０１３２】
次に、埋め込み位置決定手段０１０３の中で実行される各処理の詳細を説明する。
【０１３３】
[３−２−１ マスク作成手段]
はじめに、マスク作成手段１１０１について説明する。
【０１３４】
パッチワーク法を用いた付加情報Infの埋め込みにおいて、攻撃耐性を強める為に画素値に大きな操作を加えて情報を埋め込んだ場合（例えばパターン配列のCの値を大きく設定した場合）には、元の画像データが表す画像において画素値の急激な変化の有るいわゆるエッジ部分では画質の劣化は比較的目立ちにくいが、画素値の変化の少ない平坦部では画素値を操作した部分がノイズとして目立ってしまう。
【０１３５】
図１３に人間の目で知覚する空間周波数特性を示す。横軸は空間周波数(Radial Frequency)を示し、縦軸は視覚の応答値である。画素値を操作し、情報を埋めこんだ場合、人間の目が敏感に知覚できる低周波数領域では画質劣化が目立つことが図１３から分かる。
【０１３６】
その為本実施の形態では、多値画像の２値化処理に通常使用されているブルーノイズマスクやコーンマスクの特性を考慮し、各ビットに対応するパターンの配置を行う。
【０１３７】
次にブルーノイズマスク、コーンマスクの特性について簡単な説明を行う。
【０１３８】
まず初めにブルーノイズマスクの特性について説明する。
【０１３９】
ブルーノイズマスクはどの様な閾値で２値化してもブルーノイズパターンとなる特性を有する。このブルーノイズパターンとは空間周波数が高周波領域に偏った周波数特性を示すパターンである。
【０１４０】
図３７に、あるブルーノイズマスクの一部を示す。
【０１４１】
また図１４の１４０１には、閾値１０で２値化したブルーノイズマスクの空間周波数特性の概略図を示す。
【０１４２】
１４０１の横軸はRadial Frequencyであり、ブルーノイズマスクをフーリエ変換したときの原点（直流成分）からの距離を示している。縦軸はPower spectrumであり、横軸Radial Frequencyの示す距離にある振幅成分の２乗和をとり平均化した値である。なお、同図は画像の２次元周波数特性を１次元グラフ化し視覚的に分かりやすくしたものである。
【０１４３】
図１３と比較してみると、ブルーノイズマスクは高周波成分に偏りがある為、人間の目に知覚されにくいことが分かる。従って、インクジェットプリンタ等では、ドットを用いた面積階調で多値画像の階調を表現する際に、ブルーノイズマスクを用いることで、空間周波数成分を高周波に偏らせ、人の目に目立つことなく面積階調を表現できることが知られている。
【０１４４】
次にブルーノイズマスクの生成過程の一例を以下に示す。
１. ホワイトノイズを生成する
２. 階調gの２値画像Pgl（初期値はホワイトノイズマスク）にローパスフィルタリングを行い、多値画像P'glを生成
３. 階調 g (初期値:１２７)の画像とローパスフィルタリング画像P'gl（多値）を比較し、誤差の大きい順に、２値画像Pgの白黒の画素を反転させ、２値画像Pgl+1を得る。
４. 誤差が最小になるまで、２,３の操作を繰り返し、２値画像Pgl（初期値はホワイトノイズマスク)を少しづつ階調 g(初期値:１２７) の２値画像Pg（ブルーノイズマスク）に変えていく。
５. Pg画像に階調g＋１(g-１)の２値の黒（白）の点をランダムな位置に与え、２,３の操作を繰り返し、Pg+1(Pg-1)を得る。
【０１４５】
以上の操作を繰り返すことにより、全ての階調でのブルーノイズマスクを作成し、ディザマトリクスを生成する。
【０１４６】
例えば３２×３２のブルーノイズマスクでは１階調ごとに４点増加（減少）する。
【０１４７】
ただし、このとき２５６階調持たせる為に前の階調gで決まった黒（白）のビットは反転できない為、低または高階調では制限条件が厳しくなり、一様性に乏しいランダムパターンしか得られないという欠点がある。
【０１４８】
図１２にブルーノイズマスクを構成する各係数の出現頻度分布（ヒストグラム）１２０１を示す。図１２では０〜２５５の全ての値（係数）がマスク内に同数存在している。
【０１４９】
上記ブルーノイズマスクが多値画像の２値化に用いられる技術は良く知られており、例えば、「J.Opt.Soc.Am A/Vol.9, No.11/November 1992 Digital halftoning technique using a blue-noise mask Tehophano Mitsa, Kevin J.Parker」等に詳しく開示されている。
【０１５０】
次にコーンマスクの特性について説明する。
【０１５１】
コーンマスクは、このマスクに含まれる各係数を２値化した場合に、ここで得られた２値情報を表す空間周波数領域上で、図１４の１４０２に示される様に、周期的または擬似周期的なピークが発生することを１つの特徴とする。ただし、低周波領域ではピークが立たない様に設計されている。
【０１５２】
図３８に、あるコーンマスクの係数配列の一部を示す。
【０１５３】
コーンマスクをどの閾値で２値化した場合にも、ドット間で適度な距離が保たれる為、低周波領域でのピークは立たない。
【０１５４】
図１４の１４０２に、コーンマスクの閾値１０で２値化した場合の空間周波数特性の概略図を示す。１４０１のブルーノイズマスクの空間周波数特性と同じく、１４０２の特性でも低周波成分が少ないことが分かる。
【０１５５】
コーンマスクの場合は、閾値が低い場合であっても高い場合であっても、ブルーノイズマスクが持つ低域周波数より高い周波数からピークが発生する為、ブルーノイズマスクに比べて埋め込み位置に密集した部分が少なくなる。その為、付加情報Infを埋め込んだ際に生じる埋め込みノイズは、ブルーノイズに比べて更に目立たなくなる利点がある。
【０１５６】
またコーンマスクを構成する係数の使用頻度も、ブルーノイズマスクの時と同じく、図１２の１２０１で示す出現頻度分布（ヒストグラム）になる。
【０１５７】
従って、このマスクの係数に対応付けて、付加情報Infを構成する各ビット情報に対応するパターンを、画像データに埋め込む様にするならば、この画像データ中には各ビット情報に対応するパターンを同数配置することができ、結果的に付加情報Infをバランス良く埋め込むことができる。
【０１５８】
本実施の形態では以上の利点から埋め込み参照マスクにコーンマスクを用いることとする。
【０１５９】
[３−２−２ マスク参照手段]
マスク作成手段１１０１で作成されたマスク（コーンマスク）は、マスク参照手段１１０２に入力される。
【０１６０】
マスク参照手段１１０２では、画像に埋め込むＮビットの情報の埋め込み位置とマスクの番号（画素値）を対応付けて、埋め込み位置を決定する。
【０１６１】
マスク参照手段１１０２で行う埋め込み位置決定方法を説明する。
【０１６２】
本実施の形態では上述したコーンマスクを用いるが、ここでは説明を分かりやすくする為、図１５の１５０１に示す４×４マスクを用いて説明する。
【０１６３】
図１５のマスクは、４×４個の係数を有し、０〜１５までの係数値を１つずつ配置しているマスクである。この４×４マスクを用い付加情報Infの埋め込み位置の参照を行う。この説明で用いるマスクの場合には最大１６ビットで構成される付加情報Infを埋め込むことができるが、以下８ビットの付加情報Infを埋め込む場合を説明する。
【０１６４】
まず付加情報Infの構成を、図３６を用いて説明する。同図の様に付加情報Infは、スタートビットInf1と利用情報Inf2から構成される。
【０１６５】
このスタートビットInf1は、理想位置から実際の付加情報Infが埋め込まれている位置がずれていることを認識し、これに合わせて電子透かし（付加情報Inf）の抽出開始位置を補正する為に、電子透かし抽出装置側に含まれるオフセット合わせ手段で用いられる。詳細については後述する。
【０１６６】
また、利用情報Inf2は、本来の付加情報、即ち実際に画像データＩの付加的情報として利用される情報である。この情報には、例えば画像データwIの不正利用の際に原因を追跡することを目的とするならば、図１に示す装置のＩＤ或いはユーザーのＩＤ等が含まれる。また、画像データwIの印刷物をコピー禁止にするのであれば、コピーが禁止であることを示す制御情報が含まれる。
【０１６７】
本実施の形態では、スタートビットは５ビットとし、「１１１１１」というビット列を用いる。しかし、本発明はこれに限らず、付加情報Infのうち５ビット以外のビット数をスタートビットとして用いることも可能であり、同様に「１１１１１」というビット列以外を用いることも可能である。ただし、スタートビットのビット数とビット系列は電子透かし埋め込み装置と電子透かし抽出装置で共有しておく必要がある。
【０１６８】
上述した様な４×４個の係数からなるコーンマスクを用いて、スタートビット５ビット、利用情報３ビットの合計８ビットの付加情報Infを埋め込む簡単な例について説明をする。
【０１６９】
しかしながら、本発明はこれに限定されるものではない。例えば３２×３２のコーンマスクを用いて、スタートビット５bit、利用情報６４bitからなる合計６９bitの付加情報Infを埋め込み場合等にも適用可能である。
【０１７０】
付加情報Infはスタートビットが５ビット「１１１１１」で利用情報が３ビット「０１０」とする。夫々１番目が１、２番目が１、３番目が１、４番目が１、５番目が１、６番目が０、７番目が１、８番目が０のビット情報を持つ。
【０１７１】
これら各ビットに相当するパターン（図９参照）の夫々をコーンマスクの係数の１つずつに対応する位置に割り当て、この位置関係に従って元の画像データの各画素値を±ｃ変更する。これにより、１つのコーンマスクに相当するサイズの元の画像データに対して、１つの付加情報Infが埋め込まれることとなる。
【０１７２】
本実施の形態では、付加情報Infを埋めこむ為に最低限必要なビット数に基づいて、ある閾値を決定し、上記コーンマスクにおける、この閾値以下の係数が配置されている位置に、対応する各ビット情報を埋めこむ。これにより付加情報Infのビット数に関わらず１つのコーンマスクには１つの付加情報Infが埋め込まれる。
【０１７３】
なお、本発明は上記方法に限らず、ある閾値以上の係数が配置されている位置に、対応する各ビット情報が埋め込まれる様にし、これを前提に閾値を決定する様にしても良い。
【０１７４】
次に本実施の形態では、埋め込みに用いる閾値以下の係数の個数が、マスク全体の係数の個数において占める割合を、埋め込み充填率と呼ぶことにする。
【０１７５】
８ビットの付加情報Infを整数回正しく埋め込むには、図１５のマスク１５０１内においてどの係数を埋め込み参照位置に用いるかを決定する為の閾値は、８或いは１６である必要が有る。この閾値は、耐性及び画質への影響を考慮して最適なものが決定される。
【０１７６】
ここで、マスクの閾値を８とした場合には、埋め込み充填率は５０％となる。即ち、上記マスクと照らし合わされる元の画像データのうち５０％が、図９のパターン配列を用いた処理の対象になる。
【０１７７】
各ビット情報とマスク内の係数の対応関係の一例を対応表１に示す。
【０１７８】
【表１】
ここで、S１〜S５まではオフセット合わせ処理装置で用いる位置合わせの為のビット情報（スタートビット）である。１〜３は３ビットの利用情報である。
【０１７９】
対応表１の対応に従うと、図１６の１６０１で表現された係数（０〜７）の位置に相当する入力画像データの画素の位置に各ビット情報がパターン（図９参照）を用いて埋め込まれる。埋め込むビット情報の順序とマスク内の係数値の対応関係は鍵情報の一部であり、この対応関係を知ることなしに各ビット情報の抽出を行うことはできない。本実施の形態では説明を簡単にする為、対応表１の様に０から閾値までの係数値に順にS１〜S５と利用情報の３ビットを対応させることとする。
【０１８０】
次に、実際に３２×３２のサイズのコーンマスクを用いて埋めこむ場合の充填率についても少し述べておく。なお、処理の手順はマスク１５０１を用いた場合と同じである。
【０１８１】
まず最初に、埋め込み時の画質の劣化等を考慮し、付加情報Infの埋め込みを整数回正しく行う為に必要な閾値を決定する。
【０１８２】
更に、付加情報Infを構成する各ビットが等しい繰り返し数で埋め込まれる様にする為、閾値以下の係数の数を付加情報Infを構成するビット数Nで割り、１つのマスクサイズで各ビットを何回埋め込めるかを決定する。
【０１８３】
例えば、０〜２５５までの係数値に相当する元の画像データに、上述した一例のスタートビット５ビットと利用情報６４ビットからなる、６９ビットの付加情報Infを埋めこむ場合には、例えば閾値を１３７に設定する。
【０１８４】
この場合、マスク内の有効な係数値の数は１３８個となる。１つの付加情報Infを表すのに必要なビット数は６９個であるから、１つのマスクサイズにおいては各ビット情報は１３８/６９＝２回ずつ埋め込むことができる。
【０１８５】
なお、コーンマスクを用いて埋め込み位置を決定する時に、ある閾値以下の係数値を持つ全ての点に対して埋め込みを行う理由は、空間周波数の低周波成分にピークが立たないというコーンマスクの特性を生かす為である。
【０１８６】
上述した様に埋め込み位置を決定した結果、埋め込み充填率５０％、埋め込み情報量６９ビットとなる場合には、付加情報Infを構成する各ビット情報とコーンマスクを構成する各係数値との関係は対応表２の様になる。
【０１８７】
【表２】
ここでS１〜S５はスタートビットであり、オフセット合わせ処理装置で用いる位置合わせの為のビット情報である。１〜６４は利用情報である。
【０１８８】
ただし本発明はこの対応関係に限らず、０から閾値（または閾値から２５５）までの係数の位置の全てに、図９のパターンを使用して各ビット情報を順に埋め込むならば、各ビット情報と各係数値との対応関係は別のものであっても良い。
【０１８９】
３２×３２のコーンマスクの場合には、１つのマスク内に同じ係数を持つ位置が夫々４個存在する。
【０１９０】
全ての係数に上記対応表２に基づいて、元の画像データに各ビット情報を埋め込む場合、３２×３２,６４×６４等の大きいサイズのコーンマスクならば、付加情報Infを構成する各ビット情報はほぼ等しい回数埋め込まれる。また、元の画像データにおいて同一のビット情報が拡散して埋め込まれる。
【０１９１】
パッチワーク法では、従来各ビット情報に対応するパターン（図９参照）が互いに重なり合わない様にランダム的に埋め込み位置を選んでいたが、本実施の形態では、上記コーンマスクを参照することにより同様の効果を得る事ができ、更に画質劣化も少ない。
【０１９２】
以上の結果、マスク参照手段１１０２では、各ビット情報に対応する埋め込み位置の座標(x,y)を得る。
【０１９３】
配列S[bit][num]＝(x,y) でその情報を表現すると、bitは対応表１の場合、スタートビットS１〜S５と利用情報１〜３ビットを表す。またnumはコーンマスク内で繰り返し表れる各係数に付けられる順序である。(x,y)にはマスク内での相対座標が収められる。
【０１９４】
以上の操作をマスク参照手段１１０２で行う。
【０１９５】
[３−２−３ マスク・パターン配列対応手段]
マスク参照手段１１０２で得られた各ビット情報のコーンマスク内での埋め込み位置は、マスク・パターン配列対応手段１１０３に入力される。
【０１９６】
マスク参照手段１１０２で決定した埋め込み位置は夫々のビット情報のパターンの位置（８×８画素分）であるので、パッチワーク法では更に図９に示される加算領域（＋ｃ）と減算領域（−ｃ）とそれ以外（０）とを割り当てる必要がある。この為、マスク参照手段１１０２で参照したコーンマスクの全ての位置に図９に相当する８×８サイズのパターン配列を展開する操作をマスク・パターン配列対応手段１１０３で行う。
【０１９７】
具体的にはマスク参照手段１１０２で得られた配列S[bit][num]＝(x,y)の座標に対して、ｘ座標にはパターン配列の横方向のサイズを掛け、ｙ座標にはパターン配列の縦方向のサイズを掛ける操作を行う。その結果、図１７のマスク内の座標１７０１は、マスク内の１画素が１パターン配列に拡大された先頭座標１７０２となる。
【０１９８】
この先頭座標から図９に示されるパターン配列を用いると、パターン配列の大きさを持つ領域１７０３に重なり合わず埋め込みを行うことが可能になる。
【０１９９】
座標(x,y)は座標(x',y')に変化するが、配列S[bit][num]のbitとnumは変化しない。
【０２００】
従って、配列S[bit][num]のbitに相当する付加情報Infを(x',y')をパターン配列を埋め込む先頭位置とし、複数のビット情報の埋め込みが可能になる。
【０２０１】
なお、マスク・パターン配列対応手段１１０３によりコーンマスクの各係数が、８×８のパターン配列に展開（拡大）された大きなマスクを、拡大マスクと呼ぶ。
【０２０２】
上記拡大マスクのサイズは、（３２×８）×（３２×８）サイズとなり、このサイズが付加情報Infを少なくとも１つ埋め込む為に必要な最低限の画像単位（マクロブロックとする）となる。
【０２０３】
以上がマスク・パターン配列対応手段１１０３で行われる操作である。
【０２０４】
一般的に小さなマスクは大きなマスクより作成時にドットの配置位置に自由度が少なく、コーンマスクの様な所望の特性を持つマスクの作成が難しい。例えば小さなマスクを画像データの全体に繰り返し割り当てることで付加情報Infを埋め込む場合には、小さなマスクの持つ空間周波数が画像データ全体に出現する。
【０２０５】
その一方で、一つのマスクからは完結した付加情報Infが抽出されるので、マスクのサイズを大きく設定することによって、切り抜き耐性（部分的な画像データwI’から付加情報Infを抽出できる可能性）は小さくなってしまう。ゆえに、上記切り抜き耐性と画質劣化のバランスを考慮し、マスクのサイズを決定する必要がある。
【０２０６】
以上が図１の埋め込み位置決定手段０１０３で行われる処理である。
【０２０７】
[３−３付加情報埋め込み処理]
以上の様にして決定された、画像データへの各ビット情報の埋め込み位置を参照して、図１の付加情報埋め込み手段０１０４は実際に付加情報Infを埋め込む。
【０２０８】
図１０に付加情報Infを繰り返して埋め込む処理の動作の流れを示す。
【０２０９】
図１０に示す方式では、画像全体に割り当て可能なマクロブロックを複数個割り当て、更に、これら全マクロブロックに対してまず１ビット目のビット情報を繰り返して埋め込み、続いて２ビット目、３ビット目…という様に繰り返して埋め込む。これは未だ埋め込み処理が行われていないビット情報が有れば、未処理のマクロブロックの全てに１００１〜１００３の埋め込み処理を施す手順により構成されている。
【０２１０】
しかしながら、本発明はこの順序に限らず２つのループ処理の内外関係を逆にしても良い。即ち、未処理のマクロブロックが有れば、これに対して未だ埋め込んでいないビット情報を全て埋め込む手順に変更しても良い。
【０２１１】
具体的には付加情報Infの埋め込みは、埋め込まれる各ビット情報が“１”の場合には図９のパターン配列を加える。また埋め込むビットが“０”の場合には図９のパターン配列を減ずる、即ち図９の正負符号を反転したものを加算する。
【０２１２】
上記加減算の処理は、図１０における切り替え手段１００１を、埋め込むビット情報に応じて切り替え制御することによって実現される。即ち、埋め込まれるビット情報が“１”の時は加算手段１００２に接続し、上記ビット情報が“０”の時は減算手段１００３に接続する。これら１００１〜１００３の処理はビット情報とパターン配列の情報を参照しながら行われる。
【０２１３】
ここで上記ビット情報の１つが埋め込まれる様子を図１９に示す。同図では埋め込まれるビット情報が“１”、即ちパターン配列を加える場合の例を示す。
【０２１４】
図１９に示す例では、I(x,y)が元の画像、P(x,y)が８×８のパターン配列である。８×８のパターン配列を構成する各係数は、このパターン配列と同じサイズの元の画像データ（青色成分）に重ね合わせられ、同位置の値同士が加減算される。その結果、I'(x,y)が算出され、ビット情報が埋め込まれた青色成分の画像データとして図１の色成分合成手段０１０５へ出力される。
【０２１５】
上述した８×８のパターン配列を用いた加減算処理を、上記対応表２で決定された埋め込み位置（各ビット情報を埋め込む為のパターン配列を割り当てた位置）の全てに対して繰り返し行う。
【０２１６】
次に、図１０の内部のループ処理が行われる様子を図１８に示す。
【０２１７】
図１８では、各ビット情報を繰り返し埋め込む為に、画像データ全体１８０１(１８０３)全体に、マクロブロック１８０２を左上から右下までラスター順に繰り返し割り当てて埋め込み（図１０の１００１〜１００３）を行う。
【０２１８】
付加情報埋め込み手段０１０４により以上の操作が行われ、付加情報Infが画像全体に埋め込まれる。
【０２１９】
以上の処理により、画像データ中に付加情報Infが埋め込まれる。この付加情報Infが埋め込まれた画像データの各画素が、十分少ないドット数で表現されるのであれば、パターン配列の大きさも十分小さくなるので、これらパターン配列の１つ１つは非常に小さい点でしか人間の目には知覚されない。よって、コーンマスクの空間周波数特性も維持され、人間の目に見えにくい。
【０２２０】
［３−４ レジストレーション処理］
次に、電子透かし抽出装置側に備えられる、図２におけるレジストレーション手段０２０２について詳細を説明する。
【０２２１】
レジストレーション手段０２０２とは、付加情報抽出手段０２０３の前段に位置する手段であり、付加情報Inf抽出処理の前処理である。レジストレーション手段０２０２には、前段の色成分抽出手段０２０１により抽出された青色成分の画像が入力される。
【０２２２】
レジストレーション手段０２０２では、電子透かし埋め込み装置から出力された画像データwIと、電子透かし抽出装置に入力された画像データwI’のスケールの違いが補正される。
【０２２３】
レジストレーション手段０２０２の詳細を図７に示す。図７に示す様に、レジストレーション手段０２０２は、ブロック分割手段０７０１、フーリエ変換手段０７０２、インパルス抽出手段０７０３、スケーリング率算出手段０７０４、スケーリング手段０７０５から構成される。
【０２２４】
ブロック分割手段０７０１では、上述したレジストレーション信号埋め込み手段０１０２（ブロック分割手段０４０１）と同様のブロック分割処理が行われる。この処理によって、一般的にはレジストレーション信号埋め込み手段０１０２（ブロック分割手段０４０１）と同様のブロックを抽出することは困難である。これは電子透かし情報が埋め込まれた画像データwIが印刷系の処理を施されることによって、大きさが変化し、更に位置がずれることによるものである。
【０２２５】
しかし、このブロックの抽出はある程度違っていても問題はない。これは、電子透かし埋め込み装置において、レジストレーション信号が画像データのうち振幅スペクトルに埋め込まれているからである。振幅スペクトルは、画像データの空間領域における位置ずれには影響されないという性質がある。よって、電子透かし埋め込み装置と電子透かし抽出装置の夫々において、各々のブロック分割手段により分割されたブロックが、空間領域で多少の位置ずれが生じていても問題はない。
【０２２６】
ブロック分割手段０７０１はブロック分割した画像データをフーリエ変換手段０７０２に出力する。フーリエ変換手段０７０２は上述したレジストレーション信号埋め込み手段０１０２の場合と同様に、空間領域の画像データを周波数領域の画像データに変換する。フーリエ変換された周波数領域の画像データは振幅スペクトルと位相スペクトルによって表現される。このうち振幅スペクトルだけがインパルス抽出手段０７０３に入力される。一方で、位相スペクトルは破棄される。
【０２２７】
周波数領域に変換された画像データはインパルス抽出手段０７０３に入力される。インパルス抽出手段０７０３では、周波数領域に変換された画像データからインパルス性の信号だけを抽出する。即ち、既に画像データに埋め込まれている図５の０５０２,０５０３,０５０４,０５０５を抽出する。
【０２２８】
これは公知の画像処理技術を用いて行うことが可能である。例えば、周波数領域に変換された画像データを閾値処理することで実現できる。この例を図８(a)に示す。図８(a)にはインパルス抽出手段０７０３に入力された振幅スペクトル０８０１を閾値０８０２によって閾値処理する様子を示す。なお説明の為、図８において変換された画像データを１次元で表現した。適当な閾値０８０２を選択することによってインパルス信号を抽出することが可能である。しかしながら、低域に存在するインパルス信号と同じ程度の大きさを持つ様な本来の画像データも同時に抽出してしまう。
【０２２９】
この問題を解決した本実施の形態の方式を図８(b)に示す。周波数領域に変換された画像データ０８０１に対して２次微分処理を施す。これはラプラシアンフィルタ等を施すことに等しい。周波数領域に変換された画像データ０８０１に対して２次微分を施したものを０８０３に示す。このデータ０８０３に対して適当な閾値０８０４を選択し閾値処理を施すことによって、インパルス信号を抽出可能である。
【０２３０】
このインパルス信号の抽出に関してもう少し詳細な原理を図２６を用いて説明する。なお、この図では上述したレジストレーション信号埋め込み側の処理も記載している。
【０２３１】
レジストレーション信号埋め込み手段０１０２においては、空間領域の画像データ２６０１が周波数領域に変換され画像データ２６０２となり、周波数領域においてインパルス信号２６０３が加えられる。
【０２３２】
インパルス信号（レジストレーション信号）２６０３が加えられた周波数領域の画像データは、逆周波数変換されることによって空間領域の信号２６０１’へ再び戻る。再び空間領域へ戻された画像データ２６０１’にはインパルス信号が付加された影響があるはずであるが、人間の目には知覚しにくく、実質的には画像データ２６０１と画像データ２６０１’は同一物に見える。これは、周波数領域で加えられたインパルス信号２６０３が逆フーリエ変換によって、画像データ全体に小さな振幅で分布するからである。
【０２３３】
図２６の２６０３の様なインパルス信号が加えられた場合は、ある一定の周波数成分を持つ画像データが空間領域に加えられたことに等しくなる。この加えられたインパルス信号が人間の知覚できる周波数よりも大きく、更に振幅が人間の知覚できる限度以下であるならば、加えられたインパルス信号は人間の目には見えない。よって、上記レジストレーション信号の埋め込み自体も一種の電子透かし処理であると言える。
【０２３４】
なお、本実施の形態では画像データ２６０１にレジストレーション信号２６０３が埋め込まれ、更に実際に埋め込むべき付加情報Infが埋め込まれた後、空間領域の信号２６０１’を復元する。
【０２３５】
図２６の様に埋め込まれたレジストレーション信号は、抽出の際に再びフーリエ変換が施される。これによって、空間領域では一度画像データ全体に拡散されたレジストレーション信号２６０３が、周波数領域に変換され再びインパルス信号として現れる。
【０２３６】
電子透かし情報が埋め込まれた画像がJPEG圧縮等の非可逆圧縮などの攻撃を受けた場合、このインパルスは振幅が小さくなる可能性が高い。一方で、スケーリングなどの幾何的な攻撃を受けた場合、このインパルスはその位置が移動する。いずれの場合も上述した様な適当なインパルス抽出処理を施すことによって、インパルス信号は抽出可能であり、元の画像データからの変化を推測できる。この変化を補正すれば本実施の形態で埋め込まれる付加情報Infを確実に抽出できる状態を作り出せる。
【０２３７】
以上の処理により、図７のインパルス抽出手段０７０３からは上述したインパルス信号が出力され、スケーリング率算出手段０７０４に入力される。スケーリング率算出手段０７０４は、入力されたインパルス信号の座標を用いてどの様なスケーリングが施されたかを算出する。
【０２３８】
本実施の形態の電子透かし抽出装置側では、予めどの周波数成分にインパルス信号を埋め込んだかを知っているものとする。この場合には、この予め埋め込まれた周波数と、インパルスが検出された周波数の比によりスケーリング率を算出することが可能である。例えば、予めインパルス信号が埋め込まれた周波数をa、検出されたインパルス信号の周波数をbとすると、a/b倍のスケーリングが施されていることがわかる。これは良く知られたフーリエ変換の性質である。以上の処理により、スケーリング率算出手段０７０４からはスケーリング率が出力される。
【０２３９】
しかしながら本発明はこれに限らず、電子透かし埋め込み装置側から必要に応じてレジストレーション信号を埋め込んだ位置（周波数）の情報を受信する様にしても良い。例えばこの位置情報は暗号化信号として受信し、上記スケーリング率の算出処理を行う形態も本発明の範疇に含まれる。こうすることによって、付加情報Infを正しく抽出できるのはレジストレーション信号を知っている人だけとなる。この場合、レジストレーション信号を付加情報Infを抽出する為の鍵として使用できる。
【０２４０】
スケーリング率算出手段０７０４から出力されたスケーリング率は、スケーリング手段０７０５に入力される。スケーリング手段０７０５には画像データwI1'も入力され、画像データwI1'は入力されたスケーリング率によってスケーリング処理が施される。スケーリング処理はバイリニア補間やバイキュービック補間など種々のものが適応可能である。そして、スケーリング手段０７０５からはスケーリング処理が施された画像データwI2'が出力される。
【０２４１】
［３−５ 付加情報抽出処理］
次に、図１の付加情報埋め込み手段０１０４で付加情報Infが埋め込まれた画像データwI’の青色成分からこの付加情報Infを抽出する図２の付加情報抽出手段０２０３の動作について述べる。
【０２４２】
この付加情報Infの抽出処理のブロック図を図２０に示す。
【０２４３】
［３−５−１ 埋め込み位置決定処理］
図２０に示す様に、まず埋め込み位置決定手段２００１において、画像データwI2'（青色成分）中のどの領域から付加情報Infを抽出するかを決定する。この埋め込み位置決定手段２００１によってなされる動作は、前述した埋め込み位置決定手段０１０３と同じであり、その為、０１０３と２００１によって決定される領域は同一のものとなる。
【０２４４】
決定された領域から、前述した対応表２を用い、更に図９に示されるパターン配列を用いて付加情報Infが抽出される。
【０２４５】
ここで、付加情報Infの抽出は、決定された領域に対してパターン配列を畳み込むことによって実現される。
【０２４６】
[３−５−２ 信頼度距離演算手段]
信頼度距離dは埋め込んだ情報を抽出する際に必要となる計算値である。
【０２４７】
各ビット情報に対応する信頼度距離dを求める方法を図６に示す。
【０２４８】
まず始めに、図中の畳み込み演算手段０６０１で行う処理を図２１及び図２２を用いて説明する。
【０２４９】
図２１及び図２２に、付加情報Infを構成する１ビットの情報を抽出する例を示す。
【０２５０】
図２１は付加情報Infを構成するある１ビット情報が埋め込まれた画像データ（青色成分）I''(x,y)に対してこの１ビット情報の抽出処理を行った例、そして図２２は上記１ビット情報が埋め込まれていない画像データI(x,y)に対して１ビット情報の抽出処理を行おうとした例である。
【０２５１】
図２１において、I''(x,y)が１ビット情報が埋め込まれた画像データ、P(x,y)が畳み込み処理に用いられる８×８のパターン配列（付加情報Inf抽出用のパターン配列）である。この８×８のパターン配列を構成する各要素（０，±ｃ）は、入力画像データI''(x,y)の同位置に配置されている画素値に積算され、更に各積算値の和が算出される。即ち、I''(x,y)に対してP(x,y)が畳み込まれる。ここで、I''(x,y)は、画像データI'(x,y)が攻撃を受けた場合の画像を含んだ表現である。攻撃を受けていない場合には、
I''(x,y)=I'(x,y)である。I''(x,y)に１ビット情報が埋め込まれている画像である場合には、畳み込みの結果、図２１に示す様に非零の値が得られる可能性が非常に高い。特にI''(x,y)=I'(x,y)の時には畳み込みの結果は３２c2となる。
【０２５２】
なお、本実施の形態では、埋め込みに用いるパターン配列と抽出に用いるパターン配列は同様のものを用いている。しかしながら、これは本発明において限定されるものではない。一般的には、埋め込みに用いるパターン配列をP(x,y)、抽出に用いるパターン配列をP'(x,y)とした場合には、
P'(x,y)=aP(x,y)
という関係に変形できる。ここでaは任意の実数であり、本実施の形態では、簡単の為、a=１の場合について説明する。
【０２５３】
一方、図２２に示す例では、上述の演算と同様の演算が１ビット情報が埋め込まれていない画像データI(x,y)に対して施されている。原画像（画像データIに相当）からは畳み込み演算の結果、図２２に示す様に零の値が得られる。
【０２５４】
以上、図２１及び図２２を用いて１ビット情報の抽出方法を説明した。しかし、以上の説明は、付加情報Infが埋め込まれる対象の画像データIにおいて畳み込み演算の結果が０である場合であり、非常に理想的な場合である。一方で、実際の画像データIの８×８のパターン配列に相当する領域においては畳み込み演算の結果が０であることはなかなか少ない。
【０２５５】
即ち、原画像（画像データI）における８×８のパターン配列に相当する領域について、図９のパターン配列（コーンマスクも配置情報として参照）を用いて畳み込み演算を行った場合、理想と異なり、非零の値が算出されることもある。逆に、付加情報Infが埋め込まれた画像（画像データwI）における８×８のパターン配列に相当する領域について、同じく畳み込み演算を行った結果が“３２ｃ2“でなく“０”になってしまうこともある。
【０２５６】
しかしながら、付加情報Infを構成するビット情報の夫々は、通常、元の画像データに複数回埋め込まれている。即ち付加情報Infが画像に複数回埋め込まれている。従って、各ビット情報が埋め込まれているｎ個のマクロブロックにおいて、８×８パターン配列毎の畳み込み演算を行い、ここで得られる各ビット情報毎のｎ個の畳み込み演算結果に基づいて“各ビット情報が埋め込まれているのか否か”或いは“各ビット情報が１か０か”等を統計的に判断すれば良い。これら統計的な判断の方法については後述する。
【０２５７】
よって畳み込み演算手段０６０１は、付加情報Infを構成する各ビット情報に１ついて、夫々複数の畳み込み演算結果の和を求める。例えば、付加情報Infが８ビットであれば、８個の和が得られる。この各ビット情報に対応する和は平均計算手段０６０２に入力され、夫々が全マクロブロックの数ｎで割られて平均化される。この平均値が信頼度距離dである。即ち、この信頼度距離dは、図２１の“３２ｃ2”と“０”のどちらに類似しているかを多数決的に生成した値である。
【０２５８】
ただし、信頼度距離dは、先のパッチワーク法の説明ではd = 1/N Σ(ai-bi)と定義していたので、厳密には信頼度距離dは、P'(x,y) = 1/c P(x,y)を用いて畳み込み演算を行った結果の平均値である。しかしながら、P'(x,y) = aP(x,y)を用いて畳み込み演算を行っても、畳み込み演算結果の平均値は、上記信頼度距離dの実数倍になっているだけであり、本質的には同様の効果が得られる。よって本発明には、P'(x,y) = aP(x,y)を用いた畳み込み演算結果の平均値を信頼度距離dに用いることも十分可能である。
【０２５９】
求められた信頼度距離dは０６０３の記憶媒体に蓄えられる。
【０２６０】
畳み込み演算手段０６０１は、付加情報Infを構成する各ビットについて上記信頼度距離dを繰り返し生成し、順次記憶媒体０６０３に格納する。
【０２６１】
この演算値に関してもう少し詳細な説明をする。元の画像データIに対して図９のパターン配列（コーンマスクも配置情報として参照）を用いて算出される信頼度距離dは理想的には０である。しかしながら実際の画像データIにおいては、この値は非常に０に近くはあるが非零の値が多い。各ビット情報について発生する信頼度距離dの頻度分布を調べると、図２３の様になる。
【０２６２】
図２３において、横軸は、各ビット情報毎に発生する信頼度距離dの値であり、縦軸はその信頼度距離dを生じる畳み込みが行われたビット情報の数（信頼度距離dの出現頻度）を示している。図を見ると正規分布に類似していることがわかる。また、元の画像データIにおいては信頼度距離dは必ずしも０ではないが、その平均値は０(或はそれに非常に近い値)である。
【０２６３】
一方、元の画像データIではなく、図１９の様にビット情報“１”を埋め込んだ後の画像データ（青色成分）をI’(x,y)に上記畳み込みを行った場合には、信頼度距離dは図２４に示す様な頻度分布となる。即ち、図の様に図２３の分布形状を保ったまま、右方向にシフトしている。この様に、付加情報Infを構成するある１ビットを埋め込んだ後の画像データは、信頼度距離dが必ずしもｃという訳ではないが、その平均値はｃ(或はそれに非常に近い値)となる。
【０２６４】
なお、図２４ではビット情報“１”を埋め込んだ例を示したが、ビット情報“０”を埋め込んだ場合は図２３に示した頻度分布が、左にシフトすることになる。
【０２６５】
以上説明した様に、パッチワーク法を用いて付加情報Inf（各ビット情報）を埋め込む場合には、埋め込むビット数（パターン配列の使用回数）を出来るだけ多くした方が、図２３及び図２４に示す様な統計的分布が正確に現れやすい。即ち、付加情報Infを構成する各ビット情報が埋め込まれているか否か、或いは埋め込まれているビット情報が“１”か“０”かを検出できる精度が高くなる。
【０２６６】
［３−５−３ オフセット合わせ処理］
次にオフセット合わせ手段２００２の構成について解説する。
【０２６７】
オフセット合わせ手段２００２には、適切なスケーリングを施された後の画像データwI2'が入力される。この後、図６の信頼度距離演算を用い、スタートビットを検出する。なお、オフセット合わせ手段２００２はスタートビットInf1の５ビット分に対応する５つの信頼度距離だけを生成する。スタートビットInf1とは、図３６に示す様に、付加情報埋め込み手段０１０４において予め埋め込んである付加情報Infの一部であり、本実施の形態では５ビット分である。
【０２６８】
なお、これらスタートビットInf1は、概念的には最初の５ビット分であるが、付加情報Infが埋め込まれている画像においては隣接、密集して存在する訳ではなく、むしろ点在している。これは、対応表２のコーンマスクを構成する各係数値に対応付けて順に埋め込まれる為である。
【０２６９】
オフセット合わせ手段２００２の処理のフローチャートを図２８に示す。以下の解説は図２８のフローチャートの流れに沿って行う。
【０２７０】
オフセット合わせ手段２００２では、入力された画像データwI2'に対して、ステップ２８０１により、まず最も左上の座標を埋め込み開始座標と仮定する。同時に、最大値MAXを０に設定する。そして、ステップ２８０２により、図６の信頼度距離演算手段を用いて、スタートビットの検出を試みる。
【０２７１】
ここで得られた１〜５番目のビット情報が、ステップ２８０３により正しいスタートビット「１１１１１」であるかどうかを判定する。この点が正しい埋め込み開始座標であれば検出結果として５つの連続した正の信頼度距離dが検出されるが、そうでない場合には正の信頼度距離dが５つ連続しないことが多い。上記判断を順次行い、正しいスタートビットInf1が検出できる位置を、埋め込み開始座標であると決定すれば良い。
【０２７２】
しかしながら、実際のところ埋め込み開始座標以外の点でも正しいスタートビットInf1が検出されてしまう場合も有り得る。この原因を図２７を用いて説明する。
【０２７３】
図２７は、本実施の形態で用いるパッチワーク法で埋め込まれた付加情報Infを抽出する為、付加情報Infの埋め込み時に用いたものと同一のパターン配列（２７０２、２７０５）（コーンマスクも配置情報として参照）を用いて、畳み込みを行いながら本来のマクロブロックの位置（２７０１、２７０３、２７０４）を探索する様子を示している。左の図から右の図へ向かって探索が連続的に進んでいるものとする。
【０２７４】
図２７では、簡単の為、画像データwI2'の一部である１つのマクロブロック（付加情報Infが抽出できる最小単位）に注目している。この図の１マスは１ビット情報を埋め込む為のパターン配列の大きさの概念を示している。
【０２７５】
図２７左において、２７０１と２７０２の関係を有する場合、即ち２７０２が実際のマクロブロック２７０１よりも左上に位置して場合、元の画像と付加情報Inf抽出用のパターン配列の位置は、斜線領域のみで重なっている。
【０２７６】
また同図中央には、更に探索を進め、探索中の位置と実際のマクロブロックの位置が完全に一致している場合が示されている。この状態では、畳み込み対象のパターン配列とマクロブロックが最大面積重なっている。
【０２７７】
また同図右においては、探索中の位置が実際に付加情報Infが埋め込まれているマクロブロックの位置よりも右下に位置している。この状態では、この状態では、畳み込み対象のパターン配列とマクロブロックは斜線領域のみで重なる。
【０２７８】
図２７の全ての場合において、畳み込み対象のパターン配列とマクロブロックが十分に重なっていれば正しいスタートビットInf1を抽出することが可能である。ただし、これら３つの場合は重なる面積が異なっているので信頼度距離dが異なる。
【０２７９】
上記重なる面積は前述した信頼度距離dに置き換えて考えることができる。即ち、畳み込み対象のパターン配列とマクロブロックの位置関係が完全に一致していれば、各ビット情報共に信頼度距離dは上述した±３２ｃ2に非常に近くなる。
【０２８０】
よって、本実施の形態においては、図２８の様に、ステップ２８０３において正しいスタートビットInf1でないと判定された場合には、ステップ２８０７によりラスタ順で次の探索点に移動する。一方で、正しいスタートビットInf1であると判定された場合には、ステップ２８０４により、信頼度距離dが最大値MAXより大きいかどうかを判定する。最大値MAXより小さな場合には、ステップ２８０７によりラスタ順で次の探索点に移動する。一方で、信頼度距離dが最大値MAXよりも大きな場合には、最大値MAXを現在の信頼度距離dに更新し、同時に現在の探索点を埋め込み開始点として記憶する。そして、ステップ２８０６において全ての探索点を探索したかどうかを判定し、全て終了していない場合には、ステップ２８０７によりラスタ順で次の探索点に移動する。一方で、全て終了している場合には、その時記憶されている埋め込み開始点を出力し処理を終了する。
【０２８１】
以上の一連の処理により、本実施の形態におけるオフセット合わせ手段２００２は、スタートビットInf1を検出し、正しいスタートビットInf1が得られた座標の中で、最も信頼度距離dの大きな座標の情報を、付加情報Infの埋め込み開始点であると判断し、埋め込み開始座標として後段へ出力する。
【０２８２】
[３−５−４ 利用情報抽出手段]
利用情報抽出手段２００３は、前段のオフセット合わせ手段２００２から埋め込み開始座標、及び付加情報Infが埋め込まれた画像データを入力し、図６で説明した動作を同じく用いて、ここでは利用情報Inf2を構成する各ビット情報のみについて信頼度距離dを算出し、これらビット情報に対する信頼度距離d1を後段の統計検定手段２００６に出力する。
【０２８３】
なお、利用情報Inf2を構成する各ビット情報に相当する信頼度距離d1を得ることは、実質的には、埋め込まれた利用情報Inf2の各ビットを抽出することに相当する。これについては後述する。
【０２８４】
ここでは、上記探索により判別された埋め込み開始座標に基づいて、各信頼度距離dを算出するのみであり、スタートビットInf1の５ビット分については抽出しない。
【０２８５】
[３−６統計検定処理]
統計検定手段２００６では、図２０の利用情報抽出手段２００３で得られる信頼度距離d1の信頼性を判定する。この判定は、付加情報Inf（利用情報Inf2）の抽出に用いた第１のパターン配列とは異なる第２のパターン配列を用いて信頼度距離d2を生成し、この信頼度距離d2の出現頻度分布を参照して信頼性指標Ｄを生成することで行われる。
【０２８６】
ここで信頼度距離d1は利用情報抽出手段２００３において利用情報Inf2を抽出するために、第１のパターン配列（コーンマスクも配置情報として参照）を用いて得られる信頼度距離であり、信頼度距離d2は第１のパターン配列とは異なる後述する第２のパターン配列を用いて得られる信頼度距離である。第１のパターン配列は、通常付加情報Inf（スタートビットInf1，利用情報Inf2）を埋め込む際に用いた図９のパターン配列である。
【０２８７】
なお第２のパターン配列、信頼性指標Ｄ等についての詳細は後述する。
【０２８８】
[３―６―１ 第２のパターン配列による抽出処理]
≪ 中心極限定理 ≫
{an},{bn}はn個の要素からなる画素値の集合で、夫々図３０に示される様な部分集合Aと部分集合Bの要素の持つ画素値とする。
【０２８９】
信頼度距離d（Σ(ai-bi) / n）は,十分な数 nで{an}, {bn}を取る場合、画素の値anとbnには相関がなく、信頼度距離dの期待値は０になる。また中心極限定理より信頼度距離dの分布は独立な正規分布をとる。
【０２９０】
ここで中心極限定理について簡単に説明する。
【０２９１】
平均値mc、標準偏差σcの母集団（正規分布でなくても良い）から大きさncの任意標本を抽出した時、標本平均値Scの分布はncが大きくなるにつれて正規分布N(mc,(σc/√nc)^2)に近づくことを示す定理である。
【０２９２】
一般には母集団の標準偏差σcは不明なことが多いが、サンプル数ncが十分大きく、母集団の数Ncがサンプル数ncに比べてさらに十分大きいときは標本の標準偏差scをσcの代わりに用いても実用上ほとんど差し支えない。
【０２９３】
本実施の形態に戻って説明する。まず利用情報抽出手段２００３で求められた信頼度距離d1の出現頻度分布は、利用情報Inf2を正しく抽出できたか否かで大きく異なる。
【０２９４】
例えば、スタートビットInf1の検出に誤りがあった場合（オフセット合わせに失敗した場合）等には、利用情報Inf2が埋め込まれているはずの位置には実際にはビット情報が埋め込まれていないので、信頼度距離d1の出現頻度分布は図２５の正規分布２５０１の様になる。
【０２９５】
一方、正しく抽出できている場合には、利用情報Inf2を構成するビット情報“１”に対応する各信頼度距離d1が正規分布２５０２の位置に累積され、利用情報Inf2を構成するビット情報“０”に対応する各信頼度距離d1が正規分布２５０３の位置に累積される。よって、この場合には２つの“山”が現れる。この２つの“山”の大きさの比は、利用情報Inf2を構成するビット情報“１”と“０”の比とほぼ等しい。
【０２９６】
ただし、これは付加情報が埋め込まれていない元の画像に対して第１のパターン配列で畳み込み処理を行って得られる信頼度距離d1が、正規分布２５０１の様になることを前提としたものである。
【０２９７】
従って、現実的には、元の画像の状態を知らない限り、正しく抽出できているか否かの判断を行うことは出来ない。
【０２９８】
よって本実施の形態では付加情報が埋め込まれていても元の画像の状態を十分判別できる、いわゆる第２のパターン配列を用いて、信頼度距離d2の正規分布を生成し、この正規分布を２５０１として考えることによって、利用情報Inf2が正しく抽出できているか否かの判断を行う。
【０２９９】
例えば、信頼度距離d2で作成した正規分布２５０１を構成する斜線部分（中心から９５％までの構成要素）より外側に信頼度距離d1の出現頻度分布が存在すれば、対象となっている画像に統計的偏りが存在し、利用情報Inf2が埋め込まれていると考えることができ、利用情報Inf2の確からしさを統計的に判断することができる。この詳しい方法については後述する。
【０３００】
次に、付加情報Inf（利用情報Inf2）が埋め込まれている画像データを用いて、付加情報Infが埋め込まれる前の信頼度距離d1の出現頻度分布に類似するもの（図２５の様な正規分布２５０１）を生成する方法を説明する。
【０３０１】
本実施の形態では、第２のパターン配列による抽出手段２００５を用いて、正規分布２５０１に類似する分布を構成する信頼度距離d2を求める。
【０３０２】
第２のパターン配列による抽出手段２００５は、利用情報抽出手段２００３に用いた第１のパターン配列と“直交する”第２のパターン配列を用いて、信頼度距離d2を求める手段であり、畳み込み処理を行う点等、利用情報抽出手段２００３と動作自体はほぼ同じである。
【０３０３】
なお、対比説明の為、利用情報抽出装置２００３で用いた図９のパターン配列、及びこのパターン配列を配置する位置を参照する為のマスク（コーンマスク）を、夫々「第１のパターン配列」、及び「第１の位置参照マスク」と呼び、第１のパターン配列に“直交する”パターン配列、及びこのパターン配列を配置する位置を参照する為のマスクを、夫々「第２のパターン配列」、及び「第２の位置参照マスク」と呼ぶ。
【０３０４】
第２のパターン配列による抽出手段２００５に、まず、オフセット合わせ手段２００２から埋め込み開始座標を入力し、上述した図６の信頼度距離演算を用いて信頼度距離d2の計算も行う。
【０３０５】
この時、図６の信頼度距離演算で用いるパターン配列は埋め込みに用いた図９のパターン配列０９０１ではなく、このパターン配列０９０１に“直交する”パターン配列３６０１或いは３６０２を用いる。
【０３０６】
この理由は、図３３のパターン配列３６０１及び３６０２を用いて計算される信頼度距離d2には、付加情報Infの埋め込みに用いた図９のパターン配列０９０１で操作した影響がまったく反映されない為である。
【０３０７】
図３４に示す様に、図９のパターン配列０９０１とこれにこれに“直交する”上記パターン配列３６０１とを畳み込み処理した結果は０である。これはパターン配列３６０２についても同様である。即ち、第１、第２のパターン配列の畳み込み結果は０である。従って、元の画像の濃度が第１のパターン配列を用いて変更されていたとしても、第２のパターン配列を用いて畳み込み処理を行って得られる信頼度距離dには全く影響が無い。
【０３０８】
よって、付加情報Infが埋め込まれている画像に対して上記第２のパターン配列を用いた畳み込み処理を施して得られる信頼度距離d2の出現頻度分布は、図２５の正規分布２５０１とほぼ同様のものになる。従って上記出現頻度分布を正規分布２５０１とみなす。
【０３０９】
ここで得られる正規分布２５０１は、図３２の３５０７の統計検定処理に必要な判断基準となる。
【０３１０】
第２のパターン配列による抽出処理２００５は、上述の様に図３３の３６０１、３６０２の様な「第１のパターンとは“直交する”パターン配列」と、図３５の３８０２に示す第２の位置参照マスクを用いて、信頼度距離d2の正規分布を生成するである。
【０３１１】
なお、上記「第１のパターンとは直交するパターン配列」の条件を以下に示すと、
（１）図３３に示す様に、図９の０９０１と同じサイズであること
（２）パターン配列３６０１、３６０２の様に、付加情報Infの埋め込み時に用いた図９のパターン配列０９０１との畳み込み処理の結果が０になること
である。
【０３１２】
また、図３４に示す畳み込み処理は、図２１及び図２２に示される畳み込み処理と同じである。
【０３１３】
本実施の形態では、畳み込みの結果が０になることを、ベクトルの内積が直交する場合に０になっていることになぞらえ、「互いのパターン配列が“直交している”」と呼ぶ。従って図３３の３６０１、３６０２は「図９のパターン配列０９０１に“直交する”パターン配列」である。
【０３１４】
付加情報Infの埋め込み時に用いたパターン配列に“直交する”パターン配列を信頼度距離d2の計算に用いる理由は、信頼度距離d2の分布に統計的な偏りを存在させない、即ち０が中心の出現頻度分布を生成する為である。
【０３１５】
また、「第１のパターンとは“直交する”パターン配列」は、
（３）利用情報抽出処理２００３に用いたパターン配列の非零の要素と等しい数の非零の要素を持ち、正と負の要素の数が夫々等しいこと
も必要な条件である。これは同一の演算条件で、信頼度距離d1と信頼度距離d2が抽出される様にする為である。
【０３１６】
次に、本実施の形態では「第２の位置参照マスク」は、付加情報Infの埋め込み時に用いた３８０１とは別のパターンを有し、かつ３８０１とは異なるサイズの、図３５の３８０２に示される参照マスクを用いる。
【０３１７】
以上、上記第１と第２のパターン配列が異なっていれば信頼度距離d2の出現頻度分布はほぼ正規分布２５０１となる。
【０３１８】
しかしながら、スタートビットの検出位置が完全でない場合等には、第２のパターン配列を用いて畳み込みを行ったにも拘わらず統計的な偏りが検出されてしまう可能性も有る。本実施の形態ではこの可能性も考慮して、第１と第２の位置参照マスクの大きさを異ならせることで、周期的な要素を打ち消す様にする。或いはマスク内の各パターン配列の配置方法を異ならせることで、同一領域での畳み込みを行わない様にする。
【０３１９】
また、この場合には「第２の位置参照マスク」は、これを構成する各係数がランダムに分布していれば良く、コーンマスクでなくとも構わない。
【０３２０】
もし「第２の埋めこみ位置参照マスク」が、「第１の埋めこみ位置参照マスク」と異なる様に設定する場合には、「第２の埋めこみ位置参照マスク」は図２０の埋めこみ位置決定手段２００４で作成することとする。
【０３２１】
一般的には、上述した切り抜き耐性を考慮して、第１の位置参照マスク（コーンマスク）は、付加情報Infの埋め込み対象となる画像データ全体に対してそれほど大きなサイズを取ることは考えられない。よって、「第２の位置参照マスク」は比較的大きなものを用いると良い。本実施の形態では、付加情報Infを埋め込む時に参照する第１のマスクよりも、付加情報Inf側で信頼度距離d1を計算する際に用いる第２のマスクのサイズが大きくなる様に設定することとする。
【０３２２】
しかしながら本発明はこれに限らず、互いのマスクサイズが等しくてもある程度の効果を奏する。従って、「第２の位置参照マスク」は図２０の埋めこみ位置決定手段２００１で作成されるものでも良い。
【０３２３】
互いのマスクの最低限の条件としては、互いのマスクに適用される付加情報Infを構成する各ビットの繰り返し数が、同一サイズの画像領域内で等しいことが必要である。
【０３２４】
なお、第２のパターン配列による抽出処理で十分な結果が得られない場合は、上述した条件を備える別の第２のパターン配列や第２の位置参照マスクを用いて、再度信頼度距離d2を計算することにより、理想的な出現頻度分布である図２５の２５０１を生成できる可能性も有る。
【０３２５】
次に第２のパターン配列による抽出手段２００５の具体的な操作を示す。
【０３２６】
本実施の形態では、第１の位置参照マスクが３２×３２のコーンマスクで、第２の位置参照マスクが６４×６４のコーンマスクとし、２つのマスクにおいて、各係数の相対的な配列は全く異なっているとする。
【０３２７】
まず、第２のパターン配列による抽出手段２００５では、抽出位置の決定は以下の対応表３に従って行うこととする。
【０３２８】
【表３】
【０３２９】
第２の位置参照マスクでは、同じ値の係数がマスク内に各１６個存在する。一方、３２×３２の第１の位置参照マスクは、先の対応例２でマスクの参照を行っている場合、３２×３２の中で同一係数の繰り返し数は４個である。即ち、同一サイズの画像データにおいては、第１の位置参照マスクも第２の位置参照マスクも同じ値の係数は同数存在する。
【０３３０】
本実施の形態では、上記対応表３の規則に従った位置関係に第２のパターン配列を割り当て、順次畳み込み処理を行い、各ビット情報に対応する６９個の信頼度距離d2を算出する。
【０３３１】
[３―６―２ 信頼性指標Ｄ]
第２のパターン配列による抽出手段２００５にて生成される信頼度距離d2は、ほぼ正規分布２５０１と同一の分布で出現するが、正規分布においては、一般的に以下の式(２５.１)の範囲で９５％のサンプル（信頼度距離d2）が出現することが知られている。
【０３３２】
m-1.96σ < d2 < m＋1.96σ … 式(２５.１)
ここで、σは上記信頼度距離d2についての標準偏差であり、mは平均である。
【０３３３】
なお上記場合の範囲のことを“９５％の信頼区間”と呼ぶ。
【０３３４】
m-1.96σ , m＋1.96σ は、第２のパターン配列による抽出手段２００５で信頼度距離d2が得られた後、これを用いて計算される。
【０３３５】
利用情報抽出手段２００３から統計検定手段２００６に入力される信頼度距離d1の出現頻度分布は、ビット情報が“１”の場合は図２５の正規分布２５０２になり、ビット情報が“０”の場合は正規分布２５０３になるので、利用情報Inf2に対応する信頼度距離d1は、第２のパターン配列による抽出手段２００５で求められる９５％の信頼区間（図２５の斜線部分）の外に存在する確率が非常に高い。
【０３３６】
ところで、オフセット合わせ手段２００２の処理時点で、この処理の対象となる画像に利用情報Inf2が存在しない場合には、信頼度距離d1の出現頻度分布も正規分布２５０１の様になる。
【０３３７】
この場合、利用情報Inf2に対応する６４個の信頼度距離d1の全てが式(２５.１)の信頼区間に含まれない確率は、(１−０．９５)の６４乗と非常に小さい。
【０３３８】
従って、信頼度距離d2に基づいて正規分布２５０１を求めておけば、この正規分布の大半を占める範囲に、信頼度距離d1に基づいて求められた出現頻度分布が含まれるか否かを考えることにより、付加情報Inf（利用情報Inf2）が埋め込まれているか否かをほぼ確実に判断できる。
【０３３９】
統計検定手段２００６では、上述した様な性質を用いて付加情報Inf（利用情報Inf2）が埋め込まれていることの信頼度を判断する。
【０３４０】
本実施の形態では、利用情報Infが埋め込まれていることの信頼度を、信頼性指標Ｄとして扱う。
【０３４１】
この信頼性指標Ｄは、利用情報抽出手段２００３で生成する全ての信頼度距離d1における、式(２５.１)の範囲の外に存在する信頼度距離d1の個数の割合で定義される。
【０３４２】
統計検定手段２００６は、この信頼性指標Ｄが閾値αより大きければ、信頼度距離d1の総合的な出現頻度分布は図２５の２５０２や２５０３の様な位置に人為的に偏らされているもの、即ち利用情報Inf2が確実に埋め込まれている画像であると判断する。
【０３４３】
従って、ここでの判定に使用された信頼度距離d1自体が、信頼性の有る情報であると考え、この信頼度距離d1を更に後段の比較手段２００７へ転送することを許可する。
【０３４４】
なお、信頼性指標Ｄは、図３２の信頼性表示ステップ３５１０に示される様に、利用情報Inf2の信頼性指標Ｄ、或いは指標Ｄに基づくメッセージをモニタ等に表示しても良い。
【０３４５】
例えば、信頼性指標Ｄが閾値αより大きくない場合は、「利用情報Inf2は正確に抽出できていません」との趣旨のメッセージを表示させ、図３２の統計検定ステップ３５０７から画像を再度入力するステップ３５０２に戻る。
【０３４６】
［３−７ 比較処理］
図２０の比較手段２００７は、利用情報抽出手段２００３と統計検定手段２００６とを経て出力された信頼度距離d1の値を入力する。ここに入力される信頼度距離d1は信頼性の高い情報であるので、ここでは信頼度距離d1に対応する各ビット情報が“１”と“０”の何れであるかを単純に判定するだけで良い。
【０３４７】
具体的には、利用情報Inf2を構成するあるビット情報の信頼度距離d1が正であれば、このビット情報が“１”であると判定し、信頼度距離d1が負の場合はこのビット情報が“０”であると判定する。
【０３４８】
上記判定により得られた利用情報Inf2は、ユーザーの参照情報、或いは制御信号にする為の最終的なデータとして出力される。
【０３４９】
以上で、付加情報の埋め込みから抽出までの一連の処理の説明を終わる。
【０３５０】
（変形例）
以上の実施の形態において、付加情報Inf（利用情報Inf2）には誤り訂正符号化されたものを用いることも可能であり、そうする事によって、更に抽出された利用情報Inf2の信頼性が向上する。
【０３５１】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムの１部として適用しても、１つの機器（たとえば複写機、ファクシミリ装置）からなるものの１部に適用してもよい。
【０３５２】
また、本発明は上記実施の形態を実現する為の装置及び方法のみに限定されるものではなく、上記システム又は装置内のコンピュータ（CPUあるいはMPU）に、上記実施の形態を実現する為のソフトウエアのプログラムコードを供給し、このプログラムコードに従って上記システムあるいは装置のコンピュータが上記各種デバイスを動作させることにより上記実施の形態を実現する場合も本発明の範疇に含まれる。
【０３５３】
またこの場合、前記ソフトウエアのプログラムコード自体が上記実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給する為の手段、具体的には上記プログラムコードを格納した記憶媒体は本発明の範疇に含まれる。
【０３５４】
この様なプログラムコードを格納する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
【０３５５】
また、上記コンピュータが、供給されたプログラムコードのみに従って各種デバイスを制御することにより、上記実施の形態の機能が実現される場合だけではなく、上記プログラムコードがコンピュータ上で稼働しているOS(オペレーティングシステム)、あるいは他のアプリケーションソフト等と共同して上記実施の形態が実現される場合にもかかるプログラムコードは本発明の範疇に含まれる。
【０３５６】
更に、この供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって上記実施の形態が実現される場合も本発明の範疇に含まれる。
【０３５７】
なお、上記実施の形態ではコーンマスクを用いて電子透かし情報を埋め込む場合について説明したが、本発明はこれに限らない。特にブルーノイズマスクを用いて電子透かし情報を埋め込む場合も本発明の範疇に含まれる。
【０３５８】
また、上述した種々の特徴点の少なくとも１つを含む構成であれば本発明の範疇に含まれる。
【０３５９】
【発明の効果】
以上説明したように本発明によれば、電子透かし情報が埋め込まれた画像に幾何的な歪みや非可逆圧縮が与えられた場合においても、この歪みを的確に判断できる様にし、結果的に後段の電子透かし情報の抽出を正確に行える。
【図面の簡単な説明】
【図１】電子透かし埋め込み装置の全体構成ブロック図
【図２】電子透かし抽出装置の全体構成ブロック図
【図３】印刷系処理において抽出側で生成された画像データの一例を示す図
【図４】レジストレーション信号埋め込み手段のブロック図
【図５】レジストレーション信号を説明する図
【図６】信頼度距離演算手段を示す図
【図７】スケール合わせ手段のブロック図
【図８】レジストレーション信号の抽出を説明する図
【図９】付加情報の埋め込み時及び抽出時に用いるパターン配列を示す図
【図１０】付加情報埋め込み手段のブロック図
【図１１】埋め込み位置決定手段のブロック図
【図１２】コーンマスク及びブルーノイズマスクの係数値の出現頻度分布を示す図
【図１３】人間の視覚の空間周波数特性を示す図
【図１４】ブルーノイズマスク、コーンマスクの空間周波数特性を示す図
【図１５】位置参照マスクを説明する図
【図１６】位置参照マスク内の埋め込み位置を示す概念図
【図１７】図１６のマスクに各パターン配列を展開する様子を示す図
【図１８】全画像において付加情報Infの埋め込みに必要な領域を示す図
【図１９】付加情報Infを埋め込む演算を説明する図
【図２０】付加情報抽出手段を説明する図
【図２１】付加情報Infを抽出する様子を説明する図
【図２２】付加情報Infが存在しないにも拘わらず、抽出しようとした様子を示す図
【図２３】原画像から信頼度距離dを抽出した場合の理想的な出現頻度分布を示す図
【図２４】電子透かしが埋め込まれた画像から信頼度距離dを抽出した場合を示す図
【図２５】本実施の形態における信頼度距離d1,d2の出現頻度分布の例を説明する図
【図２６】レジストレーション信号の埋め込みと抽出の原理を説明する図
【図２７】オフセット合わせ処理を行う様子を示した図
【図２８】オフセット合わせ処理を説明するフローチャート
【図２９】空間領域におけるレジストレーション信号埋め込み手段のブロック図
【図３０】パッチーワーク法における二つの集合を説明する図
【図３１】電子透かし埋め込み処理の全体を説明するフローチャート
【図３２】電子透かし抽出処理の全体を説明するフローチャート
【図３３】図９のパターンに直交するパターン配列の例を示す図
【図３４】“直交する”パターン配列を説明する図
【図３５】第１、第２の位置参照マスクを示した図
【図３６】付加情報Infの構成を示す図
【図３７】ブルーノイズマスク内の各係数の一例を示す図
【図３８】コーンマスクの画素値の各係数の一例を示す図
【符号の説明】
０１０１ 色成分抽出手段
０１０２ レジストレーション信号埋め込み手段
０１０３ 埋め込み位置決定手段
０１０４ 付加情報埋め込み手段
０１０５ 色成分合成手段
【発明の属する技術分野】
本発明は、電子透かし情報が埋め込まれた画像データからこの情報を正確に抽出できる為の処理を行う画像処理装置及び方法及びこの方法を記憶した記憶媒体に関するものである。
【０００２】
【従来の技術】
近年のコンピュータ及びネットワークの発達は著しく、文字データ、画像データ、音声データ等のマルチメディアデータがコンピュータ、ネットワーク上で頻繁に扱われる様になっている。
【０００３】
これらマルチメディアデータはディジタルデータである為、詳細で良質なデータの複製を容易に作成することが可能である。この様なデータの著作権を保護する為に、元のデータ中に著作権情報や利用者情報を電子透かし情報として埋め込む技術が利用されることがある。
【０００４】
例えば、著作権情報や利用者情報が埋め込まれたマルチメディアデータを配布した場合には、これら各マルチメディアデータの使用状況と、このデータから抽出される著作権情報や利用者情報とを照らし合わせることにより、正しく使用されているか検証することも可能である。
【０００５】
この様な電子透かし技術においては、画像の品質と攻撃に対する耐性と埋め込み可能な情報量の３つのパラメータが密接に関わっている。
【０００６】
画像の品質とは、オリジナルの画像に対する、電子透かし情報が埋め込まれた画像の視覚的な劣化の度合いに相当する。電子透かし技術では、オリジナルの画像データを微量だけ操作する為、電子透かし情報の埋め込み操作をすると、信号レベルでは必ずオリジナルの画像に対して劣化が生じる。しかし、この劣化を人間の視覚が知覚できない様にすれば、オリジナルの画像の持っている価値は失われずに使用可能となる。電子透かし情報の埋め込みによって、視覚的な画質劣化は生じないことが好ましい。
【０００７】
攻撃に対する耐性とは、電子透かし情報が埋め込まれた画像が種々の攻撃を受けた場合でも、その後電子透かし情報が誤りなく抽出可能である度合いに相当する。なお上記攻撃には、拡大、縮小、位置ずらし等の幾何学的歪みを与える処理、或いはJPEG圧縮の様な非可逆圧縮を行う処理、或いは部分切り取り、ノイズ付加、濃度変換等が存在する。また、電子透かし情報が埋め込まれた画像をプリンタで紙等の記録媒体に出力し、その後スキャナで入力した後に電子透かし情報を抽出する一連の処理についても、画質が微量でも変化する可能性が有れば、これら各処理或いは全部を攻撃であると考えることができる。これらの攻撃を受けても電子透かし情報は正しく抽出されることが好ましい。
【０００８】
埋め込み可能な情報量とは、電子透かし情報として埋め込むことができる情報量である。これはできるだけ大きなほうが好ましい。
【０００９】
即ち、電子透かし情報を埋め込むことによる視覚的な画質劣化が無く、種々の攻撃に対しては電子透かし情報の耐性が有り、埋め込み可能な情報量が大きくなる様な、電子透かし情報の埋め込みアルゴリズムが要求される。
【００１０】
上記３つのパラメータ間にはトレードオフの関係があると言われている。例えば、攻撃に対する耐性を上げようとすると、画質劣化が大きくなったり、埋め込み可能な情報量が少なくなったりする。一方、画質劣化を小さくしようとすると、攻撃に対する耐性が小さくなったり、埋め込み可能な情報量も少なくなったりする。一方、埋め込み可能な情報量を多くしようとすると、画質劣化が大きくなったり攻撃に対する耐性が小さくなったりする。
【００１１】
よって、電子透かし技術の開発は、電子透かし情報の埋め込みが行われる状況に応じて、この状況に最適な方式を検討する必要がある。
【００１２】
【発明が解決しようとする課題】
従来、電子透かし情報が埋め込まれた画像データに対して、幾何的な歪みを与える攻撃が施された場合、その後の画像データを電子透かし情報を正確に抽出可能とする為の処理方法は未だ確立されていなかった。
【００１３】
本発明は上記従来例に鑑みて成されたものであり、電子透かし情報が埋め込まれた画像に幾何的な歪みや非可逆圧縮が与えられた場合においても、この歪みを的確に判断できる様にし、結果的に後段の電子透かし情報の抽出を正確に行える様にすることを目的とする。
【００１４】
【課題を解決するための手段】
上記課題を解決するために、本発明の画像処理装置によれば、画像データの幾何学的な状態を示すレジストレーション信号、及び前記画像データに電子透かし情報が予め人間に目視しにくく埋め込まれている画像データから、該電子透かし情報を抽出する画像処理装置であって、前記画像データを周波数変換する変換手段と、前記変換手段により得られる信号に微分処理を施す微分手段と、前記微分手段で得られた信号と、前記レジストレーション信号に関する情報とに基づいて、前記画像データの幾何学的な補正を行う補正手段と、前記補正が施された画像データから前記電子透かし情報を抽出する抽出手段を有し、前記レジストレーション信号は、前記画像データの周波数領域における中間レベルの周波数に配置されるインパルス信号であることを特徴とする。
【００１５】
【発明の実施の形態】
［１ 電子透かし埋め込み装置］
以下、本実施の形態における電子透かし埋め込み装置の概要について図を用いて説明する。
【００１６】
図１に、本実施の形態における電子透かし埋め込み装置を示す。図１に示す様に、電子透かし埋め込み装置は、色成分抽出手段０１０１、レジストレーション信号埋め込み手段０１０２、埋め込み位置決定手段０１０３、付加情報埋め込み手段０１０４、色成分合成手段０１０５から構成される。
【００１７】
電子透かし埋め込み装置には、画像データIが入力される。これは１画素当たり所定の複数ビットが割り当てられた多値画像データである。また本実施の形態では、入力される画像データIがグレイスケール画像データであってもカラー画像データであっても対応可能である。グレイスケール画像データは、１画素当たり１種類の要素から構成されているものであり、カラー画像データは、１画素当たり３種類の要素から構成されているものとする。この３種類の要素とは本実施の形態では赤色成分、青色成分、緑色成分である。しかしながら、別の色成分の組み合わせにも本発明は適用可能である。
【００１８】
電子透かし埋め込み装置に入力された画像データＩは、まず色成分抽出手段０１０１に入力される。
【００１９】
入力された画像データＩがカラー画像データである場合には、色成分抽出手段０１０１においてこのカラー画像データから青色成分だけを分離し、後段のレジストレーション信号埋め込み手段０１０２に出力する。
【００２０】
一方その他の色成分は後段の色成分合成手段０１０５に出力する。即ちここでは、電子透かし情報が埋め込まれるべき色成分のみが分離されて電子透かしの処理系に送出される。
【００２１】
本実施の形態においては青色成分に対して電子透かし情報の埋め込みが行われる。これは赤色成分、青色成分、緑色成分の中で、人間の視覚にとっては青色成分が最も鈍感であることによる。よって青色成分に電子透かし情報を埋め込むことは、他の色成分に対して電子透かし情報を埋め込むことに比べて、電子透かし情報による画質劣化が人間の目に知覚しにくくなる効果がある。
【００２２】
また、入力された画像データＩがグレイスケール画像データである場合には、色成分抽出手段０１０１はグレイスケール画像データを一旦疑似的なカラー画像データに変換する。ここで疑似的なカラー画像データとは、１画素当たり３種類の要素から構成されるカラー画像データであるが、この場合、３種類の要素の値が全て等しい画像データである。グレイスケール画像データは上記疑似的なカラー画像データに変換され、このカラー画像データの中で青色成分を分離し、レジストレーション信号埋め込み手段０１０２へ出力される。
【００２３】
一方その他の色成分は後段の色成分合成手段０１０５に出力する。この様にして、上述したカラー画像データの場合と同様に、青色成分に対して電子透かし情報が埋め込まれる。
【００２４】
なお、以後の説明では、画像データＩがカラー画像データである場合とグレースケール画像データである場合とは、できるだけ区別しない様にして説明する。即ち、カラー画像データと擬似的なカラー画像データとは区別せずに説明する。
【００２５】
次に、レジストレーション信号埋め込み手段０１０２について説明する。ここで、レジストレーション信号とは、電子透かし情報の抽出の前処理として幾何的な補正を実行する為に必要とされる信号である。
【００２６】
レジストレーション信号埋め込み手段０１０２には、色成分抽出手段０１０１で得られた青色成分の画像データが入力される。レジストレーション信号埋め込み手段０１０２では、画像データに対して一種の電子透かしの技術を用いてレジストレーション信号が埋め込まれる。即ち、レジストレーション信号を埋め込まれた画像データにおいて、人間の視覚はレジストレーション信号を知覚することができない。このレジストレーション信号の埋め込み方法等、詳細は後述する。
【００２７】
レジストレーション信号埋め込み手段０１０２はレジストレーション信号が埋め込まれた画像データを出力する。
【００２８】
次の埋め込み位置決定手段０１０３は、レジストレーション信号埋め込み手段０１０２から入力される画像データにおける、付加情報Infの埋め込み位置を決定する。
【００２９】
埋め込み位置決定手段０１０３は、入力された画像データと共に、画像中に付加情報Infを埋め込む位置を表す制御データを付加情報埋め込み手段０１０４に出力する。
【００３０】
付加情報埋め込み手段０１０４は、上記画像データと制御データに加えて、付加情報Inf（複数のビット情報）を入力する。この付加情報Infは、青色成分の画像データにおける上記決定された埋め込み位置に、電子透かし技術を用いて埋め込まれる。この電子透かしの技術を用いた付加情報Infの埋め込みについても後述する。
【００３１】
付加情報埋め込み手段０１０４からは付加情報Infが埋め込まれた画像データが出力され、色成分合成手段０１０５に入力される。
【００３２】
色成分合成手段０１０５は、前段（付加情報埋め込み手段０１０４）までに処理された青色成分と、色成分抽出手段０１０１から直接入力される赤色成分及び緑色成分とを用いて、通常のカラー画像データの形態に合成する。
【００３３】
以上の処理により、レジストレーション信号及び付加情報Infが電子透かし技術によって埋め込まれた画像データwIが出力される。
【００３４】
なお、本実施の形態ではこの画像データwIに種々の幾何的な歪みを生じる攻撃が加えられるものとして説明する。例えば、ユーザーによる意図的な画像編集であり、或いは画像データwIを印刷した後、印刷物をスキャナ等でスキャンニングする動作である。攻撃を受けた画像データは後述する図２のwI'となる。
【００３５】
以上説明した各手段による全体の流れを、図３１に示すフローチャートを用いて説明する。
【００３６】
まずステップ３４０２において画像データＩが色成分抽出手段０１０１に入力される。これは写真や印刷物をスキャナなどで読み取り、画像データを生成する工程も含む。更に青色成分を分離し、後段のレジストレーション信号入力に使用する。
【００３７】
次に、ステップ３４０３においてレジストレーション信号を発生し、このレジストレーション信号がステップ３４０４で埋め込まれる。このステップ３４０４におけるレジストレーション信号埋め込み処理は、図１におけるレジストレーション信号埋め込み手段０１０２の内部で実行される処理に相当し、詳細な説明は後述する。
【００３８】
更に、ステップ３４０５によりマスクが作成され、作成されたマスクは、ステップ３４０６に入力され、埋め込みビット情報と埋め込み位置の関係を規定する。ステップ３４０７ではマスクを拡大マスクに拡張する。このマスク・パターン配列対応手段についても詳細な説明は後述する。
【００３９】
ステップ３４０３,３４０４においてレジストレーション信号が埋め込まれた画像データに対して、ステップ３４０８において付加情報Infが埋め込まれる。この付加情報埋め込み処理はマクロブロック単位で付加情報Infを画像全体に繰り返し埋め込む。この処理は後述の図１０で詳細に述べる。ここで、マクロブロックとは、最小埋め込み単位のことを示し、このマクロブロックに相当する画像領域に１つの完結した付加情報Infの全情報が埋め込まれる。
【００４０】
上記画像データに対して付加情報Infが埋め込まれた後に、ステップ３４０９により、電子透かし情報が埋め込まれた画像データwIが出力される。
【００４１】
上述した様に、この画像データwIは、後述する図３２の電子透かし抽出開始処理が実行される前に、種々の幾何的な歪みを生じる攻撃が加えられるかもしれない。
【００４２】
［２ 電子透かし抽出装置］
次に、本実施の形態における電子透かし抽出装置の概要について説明する。
【００４３】
図２に、本実施の形態における電子透かし抽出装置を示す。図２に示す様に、電子透かし抽出装置は、色成分抽出手段０２０１、レジストレーション手段０２０２、及び付加情報抽出手段０２０３から構成される。
【００４４】
電子透かし抽出装置には、画像データwI'が入力される。画像データwI'は画像データwIに対して種々の幾何的な歪みを生じる攻撃を受けている可能性を有する画像データである。攻撃には、JPEG圧縮などの非可逆圧縮、スケーリング、回転、印刷＆スキャニングなど種々のものを含み、更にこれらの組合せも考えられる。
【００４５】
従って、画像データwI'とwIとは内容が同一であることが理想的ではあるが、実際にはこの２つの画像データは内容が著しく異なっていることが多い。
【００４６】
色成分抽出手段０２０１は、画像データwI'を入力し、青色成分を抽出した後、この青色成分の画像データを後段のレジストレーション手段０２０２へ出力する。画像データwI'のうち、青色成分以外の赤色成分、及び緑色成分は必要無いのでここで廃棄される。
【００４７】
レジストレーション手段０２０２には、色成分抽出手段０２０１で得られた青色成分の画像データwI1'が入力される。そしてこの青色成分の画像データwI1'を用いて、幾何学的な歪みが補正された画像データwI2'を生成する。
【００４８】
上述した様に、画像データwI'は画像データwIとは異なるスケールである可能性を有するのに対し、画像データwI2'は画像データwIと必ず同一のスケールになる。この理由、及び画像データwI2'を画像データwIと同じスケールにする処理の詳細は後述する。
【００５０】
レジストレーション手段０２０２は、画像データwI2'を、付加情報抽出手段０２０３に出力する。
【００５１】
付加情報抽出手段０２０３は、付加情報埋め込み手段０１０４での埋め込み方式に合わせた所定の処理を施こすことによって、画像データwI2'に埋め込まれている電子透かし情報を抽出することが可能であり、抽出された付加情報Infを出力する。
【００５２】
以上説明した各手段による全体の流れを、図３２のフローチャートを用いて説明する。まずステップ３５０２では画像データwI'が入力される。この画像データwI'は、画像データwIであると予想される画像データをネットワークやメモリから読み出したり、画像データwIに基づいて印刷した物をスキャナ等でスキャンニングしたりすることで得られる。後者の場合には画像データwI'が画像データwIとは著しく異なっている可能性が非常に高い。
【００５３】
また、この画像データwI'の青色成分のみが抽出され、次のステップで使用される。
【００５４】
次に、ステップ３５０３では、入力された青色成分の画像データwI1'のスケールが補正される。
【００５５】
更にステップ３５０４では、入力された青色成分の画像データwI1'のオフセットが補正される。
【００５６】
次に第１のパターン配列を用いた抽出処理がステップ３５０６において、第２のパターン配列を用いた抽出処理がステップ３５０５において、スケールとオフセットが既に補正された画像データwI2'から、夫々埋め込まれている付加情報Infが抽出される。
【００５７】
統計検定ステップ３５０７では、上記抽出された電子透かし情報の確からしさが算出、判定され、正しい電子透かし情報ではないと判定されればステップ３５０２に戻り、電子透かし情報が埋め込まれていると考えられる画像を入力しなおす。一方、充分正確な電子透かし情報であると判定された場合には、ステップ３５０８の比較処理により電子透かし情報（付加情報Inf）の抽出を行う。また、ステップ３５１０では上記確からしさを示す情報を後述する信頼性指標Ｄとして表示する。
【００５９】
［３ 各部の詳細説明］
次に、各部の詳細な説明をする。
【００６０】
まず、電子透かし抽出側におけるレジストレーション手段０２０２、ステップ３５０３が実行するレジストレーションという処理について説明する。
【００６１】
レジストレーション処理とは電子透かし情報の抽出の際に、電子透かし抽出装置に入力された画像データwI'から電子透かし情報が抽出できる様にする前処理である。以下では、まず印刷系の処理が施された画像データがどの様な変化を受けるかを考える。そして、その様な変化に対するレジストレーション処理を考察し、印刷系に対するレジストレーション処理を考える。
【００６２】
電子透かし抽出装置には、電子透かし埋め込み装置から出力された画像データwIがそのまま入力されるとは限らない。
【００６３】
例えば、画像データwIがＹＭＣＫインクジェットプリンタによって印刷され、この印刷物をスキャナでスキャンニングする場合を挙げて考察する。
【００６４】
この時、プリンタによる出力解像度と、スキャナによる入力解像度が異なる場合には、元のカラー画像データwIとスキャンニングで得られた画像データのスケールは異なってしまう。よって、得られた画像データwI'からはそのまま正確に電子透かし情報を抽出できる可能性は少ない。従って、これらのスケールの違いを補正できる手段を備えておくことが必要である。
【００６５】
本実施の形態では、入力解像度と出力解像度の両方が既知である為、これらの比からスケールの比を算出できる。例えば、出力解像度が６００dpiであり入力解像度が３００dpiである場合には、印刷前の画像とスキャンニング後の画像のスケールの比は２倍である。よって、算出されたスケールの比にしたがって、適当なスケーリングアルゴリズムを用いて画像データwI'に対してスケーリングを施す。これにより画像データwIと画像データwI'が表す画像サイズを同じスケールにできる。
【００６６】
しかし、全ての場合に出力と入力の解像度が既知であるとは限らない。双方の解像度が既知でない場合には、上述の方法は使用できない。この場合には、スケールの違いを補正する手段に加えて、更にスケールの比を知る手段が必要である。
【００６７】
また、画像データwIに印刷系の処理が施された画像は、スキャナのスキャンニングにより入力された後には図３に示す様な画像となる。図３においては０３０１全体が画像データwI'が表す画像である。この画像データ０３０１は、画像データwIにより表される本来の画像０３０２と白色の余白部分０３０３から構成される。この様な余白は、ユーザーがマウスなどによって切り取った場合には不正確になってしまう。
【００６８】
以上挙げた点が、印刷系を介して得られた画像データwI'を表す画像には、必ず生じていると考えられ、画像データwIに印刷系の処理が施される場合であれば、これらを解決する必要がある。
【００６９】
以上、電子透かしを抽出する前に印刷系の処理を少なくとも１度介してから画像データを得る場合について説明したが、この様な状況は人為的な編集によっても起こり得る。
【００７１】
以下、入出力解像度の比が不明である場合を想定し、上記問題点を解決する為に備えられた、レジストレーション信号埋め込み手段及びレジストレーション手段について説明する。
【００７２】
［３−１ レジストレーション信号埋め込み処理］
まず、レジストレーション信号埋め込み手段０１０２（ステップ３４０４）について詳細を説明する。
【００７３】
レジストレーション信号埋め込み手段０１０２は、付加情報埋め込み手段０１０４の前段に位置するものである。この手段０１０２は、図２のレジストレーション手段における画像データwI'のレジストレーションに参照されるレジストレーション信号を、元の画像データに予め埋め込むものである。このレジストレーション信号は、電子透かし情報として人間の目に見えにくく画像データ（本実施の形態ではカラー画像データの青色成分）に埋め込まれる。
【００７４】
図４にレジストレーション信号埋め込み手段０１０２の内部構成を示す。レジストレーション信号埋め込み手段０１０２は、図４のブロック分割手段０４０１、フーリエ変換手段０４０２、加算手段０４０３、逆フーリエ変換手段０４０４、ブロック合成手段０４０５から構成される。以下、各手段の詳細について解説する。
【００７５】
ブロック分割手段０４０１は、入力された画像データを互いに重ならない複数のブロックに分割する。このブロックのサイズは本実施の形態においては２のべき乗に定める。実際はこれ以外のサイズでも適応可能であるが、ブロックのサイズが２のべき乗である場合は、ブロック分割手段０４０１の後に結合されるフーリエ変換手段０４０２において高速の処理を行うことが可能である。
【００７６】
ブロック分割手段０４０１により分割されたブロックは、二つの集合I1とI2に分けられ、このうちI1は後段のフーリエ変換手段０４０２に入力され、I2は後段のブロック合成手段０４０５に入力される。本実施の形態では、I1としては、ブロック分割手段０４０１により得られた各ブロックのうち、画像データIの中で最も中心付近に位置する一つのブロックが選択され、残りのブロックは全てI2として選択される。
【００７７】
これは、本実施の形態が少なくとも一つのブロックを用いることで実現可能であり、ブロックの数が少ない方が処理時間を短縮できることによる。しかしながら本発明はこれに限らず、I1として二つ以上のブロックを選択する場合も範疇に含む。
【００７８】
また、どの様なサイズでブロックに分割され、どのブロックがレジストレーション信号の埋め込み対象に選択されるかという情報は、電子透かし埋め込み装置と、電子透かし抽出装置で共有する必要がある。
【００７９】
ブロック分割手段０４０１の分割で得られた画像データの一部I1は、フーリエ変換手段０４０２に入力される。
【００８０】
次にフーリエ変換手段０４０２は、入力された画像データI1に対してフーリエ変換を施す。入力された画像データI1の元のデータ形態を空間領域と呼ぶのに対して、フーリエ変換された後のデータ形態を周波数領域と呼ぶ。フーリエ変換は、入力された全てのブロックに対して施される。なお本実施の形態では、入力されるブロックのサイズが２のべき乗であるので、処理の高速化の為に高速フーリエ変換を用いる。
【００８１】
高速フーリエ変換とは、フーリエ変換がｎ×ｎ回の演算量を必要とするのに対して、(n/２)log2(n)の演算量で実行可能な変換アルゴリズムである。ただしここでｎは正の整数である。高速フーリエ変換とフーリエ変換は、演算結果を得る為の速度が違うだけであり、両者からは等しい結果が得られる。よって本実施の形態では、高速フーリエ変換とフーリエ変換を区別して説明しない。
【００８２】
尚、フーリエ変換により得られた周波数領域の画像データは振幅スペクトルと位相スペクトルによって表現される。このうち振幅スペクトルだけが加算手段０４０３に入力される。一方で、位相スペクトルは逆フーリエ変換装置０４０４に入力される。
【００８３】
次に、加算手段０４０３について説明する。加算手段０４０３には、上記振幅スペクトルと共に、レジストレーション信号と呼ばれる信号rが別に入力される。レジストレーション信号の例としては、図５に示す様なインパルス信号が挙げられる。
【００８４】
図５では、フーリエ変換されて得られた２次元空間周波数成分のうちの振幅スペクトルが示されている。中心が低周波成分、周囲が高周波数成分である。０５０１は本来の画像成分が持っている信号成分の振幅スペクトルであり、写真等の自然画像に相当する信号では低域に多くの大きな信号が集中する。一方で高域にはほとんど信号が存在しない。
【００８５】
なお、本実施の形態では自然画像に一連の処理を施すことを想定して説明するが、本発明はこれに限らず、文書画像、ＣＧ画像等も同様に処理しても良い。ただし、本実施の形態は中間濃度が比較的多い自然画像を処理する場合に特に有効である。
【００８６】
図５は、自然画像の本来持つ信号０５０１に対して周波数領域の信号の水平垂直ナイキスト周波数成分にインパルス信号０５０２、０５０３、０５０４、０５０５を加えた本実施の形態の一例である。この例の様に、レジストレーション信号はインパルス性の信号であることが望ましい。これは後述する電子透かし抽出装置において、レジストレーション信号だけを抽出しやすいからである。
【００８７】
図５では入力信号のナイキスト周波数成分に対してインパルス信号を加えているが、本発明はこれに限定されることはない。即ち、電子透かし情報が埋め込まれた画像が攻撃を受けた場合にもレジストレーション信号が除去されないものであれば良い。上述した様に、JPEG圧縮などの非可逆圧縮方式はローパスフィルタ的な効果がある。よって、ここでの情報圧縮の対象となる高周波成分へインパルス信号を埋めこんでも、圧縮・伸張処理により除去されてしまう可能性がある。
【００８８】
一方で、低周波成分へのインパルスの埋め込みは、高周波成分への埋め込みと比べて、人間の視覚特性からノイズとして知覚されやすいという欠点がある。よって、本実施の形態では人間の視覚に認識しにくい第１の周波数以上であり、かつ非可逆圧縮・伸張処理により容易に除去されない第２の周波数以下である中間レベルの周波数へインパルス信号を埋め込むものとする。また、このレジストレーション信号は、加算手段０４０３に入力された各ブロック（本実施の形態では１ブロック）に対して加えられる。
【００８９】
加算手段０４０３は、周波数領域の画像データの振幅スペクトルにレジストレーション信号が加えられた信号を逆フーリエ変換手段０４０４に出力する。
【００９０】
逆フーリエ変換手段０４０４は、入力された周波数領域の画像データに対して逆フーリエ変換を施す。この逆フーリエ変換は、入力された全てのブロックに対して施される。上述のフーリエ変換手段０４０２の場合と同様に、入力されたブロックのサイズが２のべき乗であるので処理の高速化の為に高速フーリエ変換を用いる。逆フーリエ変換手段０４０４へ入力された周波数領域の信号は、逆フーリエ変換されることにより空間領域の信号に変換され出力される。
【００９１】
逆フーリエ変換手段０４０４から出力された空間領域の画像データは、ブロック結合手段０４０５に入力される。
【００９２】
ブロック結合手段０４０５は、ブロック分割手段０４０５で行われた分割と逆の処理を行う。ブロック結合手段０４０５の処理の結果、画像データ（青色成分）が再構成されて出力される。
【００９３】
以上、図１に示したレジストレーション信号埋め込み手段０１０２の詳細を述べた。
【００９４】
図４では、レジストレーション信号をフーリエ変換領域において埋め込む方式を説明した。一方で、レジストレーション信号を空間領域において埋め込む方式も考えられる。この方式を図２９を用いて説明する。
【００９５】
図２９は、ブロック分割手段３２０１、加算手段３２０２、ブロック合成手段３２０３、逆フーリエ変換手段３２０４から構成される。
【００９６】
ブロック分割手段３２０１及びブロック合成手段３２０３は、図４におけるブロック分割手段０４０１及びブロック合成手段０４０５と同様の動作をする。レジストレーション信号埋め込み手段０１０２に入力される画像データはまずブロック分割手段３２０１に入力され、分割される。ここで得られたブロックは加算手段３２０２に入力される。一方で、レジストレーション信号rは逆フーリエ変換手段３２０４に入力され、逆フーリエ変換処理により信号r'に変換される。ここで、レジストレーション信号rは、図５に示したものと同様に周波数領域上の信号である。加算手段３２０２には、ブロック分割手段３２０１からのブロックと逆フーリエ変換手段３２０４からの信号r'が入力され、夫々加算される。加算手段３２０２から出力された信号はブロック合成手段３２０３に入力され、画像データ（青色成分）が再構成されて出力される。
【００９７】
以上図２９の手段構成は、図４の手段構成と同様の処理を空間領域で行うものである。図４の手段構成に比べて、フーリエ変換手段を必要としないので高速な処理を行うことが可能である。
【００９８】
更に、図２９の中で、信号r'は入力画像データIに対して独立な信号である。よって信号r'の算出、即ち逆フーリエ変換手段３２０４の処理は入力画像データIが入力される毎に実行される必要はなく、予めr'を生成しておくことが可能である。この場合には、図２９の手段構成から逆フーリエ変換手段３２０４を除去することもでき、更に高速にレジストレーション信号を埋め込むことができる。このレジストレーション信号を参照するレジストレーション処理については後述する。
【００９９】
≪ パッチワーク法 ≫
本実施の形態では付加情報Infの埋め込みの為にパッチワーク法と呼ばれる原理を用いている。そこで、まずパッチワーク法の原理を説明する。
【０１００】
パッチワーク法では画像に対して統計的偏りを生じさせることによって付加情報Infの埋め込みを実現している。
【０１０１】
これを図３０を用いて説明する。図３０においては、３３０１、３３０２は各々画素の部分集合、３３０３は画像全体である。画像全体３３０３から二つの部分集合A ３３０１とB ３３０２を選択する。
【０１０２】
この二つの部分集合の選択方法は、互いに重ならならなければ本実施の形態におけるパッチワーク法による付加情報Infの埋め込みが実行可能である。ただし、この二つの部分集合の大きさや選択方法は、このパッチワーク法によって埋め込まれた付加情報Infの耐性、即ち画像データwIが攻撃を受けた際に付加情報Infを失わない為の強度に大きく影響を及ぼす。これについては後述する。
【０１０３】
今、選択した部分集合Aの要素の持つ値を{an}、部分集合Bの要素の持つ値を{bn}とする。{an}、{bn}は具体的には、各部分集合に含まれる各画素の値（本実施の形態ではカラー画像データ中の青色成分の値に相当）である。
【０１０４】
ここで、次の指標dを定義する。
d = １/N Σ (ai − bi)
これは、二つの集合の画素値の差の期待値を示している。
【０１０５】
一般的な自然画像に対して、適当な部分集合Aと部分集合Bを選択し、指標dを定義すると、
d ≒ ０
となる性質がある。以降ではdを信頼度距離と呼ぶ。
【０１０６】
一方で、付加情報Infを構成する各ビットの埋め込み操作として、
a'i = ai ＋ c
b'i = bi − c
という操作を行う。これは部分集合Aの要素全てに対して値cを加え、部分集合Bの要素全てに対してcを減ずるという操作である。
【０１０７】
ここで、先程の場合と同様に、付加情報Infが埋め込まれた画像から部分集合Aと部分集合Bを選択し、指標dを計算する。
【０１０８】
すると、
【０１０９】
即ち、ある画像が与えられた時に、画像に対して信頼度距離dを算出することによって、d≒０ならば付加情報Infは埋め込まれておらず、一方でdが０から一定量以上離れた値であるなら付加情報Infが埋め込まれていると判断できる。
【０１１０】
以上がパッチワーク法の基本的な考え方である。
【０１１１】
このパッチワーク法の原理を応用し、本実施の形態では複数のビットの情報を埋め込む。本方法においては、部分集合Aと部分集合Bの選択の方法についてもパターン配列によって定義している。
【０１１２】
上述の方法においては、原画像の所定の要素に対してパターン配列の要素を加えたり減じたりすることによって、付加情報Infの埋め込みを実現している。
【０１１３】
簡単なパターン配列の例を図９に示す。図９は、１ビットを埋め込む為に８×８画素を参照する場合の、元の画像からの画素値の変更量を示すパターン配列である。図９の様に、パターン配列は正の値を持つ配列要素、負の値を持つ配列要素、及び０の値を持つ配列要素から構成される。
【０１１４】
図９のパターンにおいて、＋ｃの配列要素で示される位置は対応位置の画素値をｃだけ上昇させる位置を示し、上述した部分集合Aに相当する位置である。一方−ｃの配列要素で示される位置は対応位置の画素値をｃ減少させる位置を示し、上述した部分集合Bに相当する位置である。また０で示される位置は上述した部分集合A,B以外の位置であることを示す。
【０１１５】
本実施の形態では、画像の全体的な濃度を変化させない為にも正の値を持つ配列要素の個数と負の値を持つ配列要素の個数を等しくしている。即ち、１つのパターン配列において全ての配列要素の和が０になっている。なお、後述する付加情報Infの抽出操作の時にはこの条件が必須である。
【０１１６】
以上の様なパターン配列を用いて付加情報Infを構成する各ビット情報の埋め込み操作を行う。
【０１１７】
本実施の形態では、図９のパターンを元の画像データにおける互いに異なる領域に複数回配置して画素値を上昇／減少させることにより、複数のビット情報、即ち付加情報Infを埋め込む。言い換えれば、１つの画像の互いに異なる領域に、部分集合AとBの組み合わせだけでなく、部分集合A’とB’、部分集合A”とB”、…という複数の組み合わせを想定することで、複数のビットからなる付加情報Infを埋め込む。
【０１１８】
なお、本実施の形態では元の画像データが大きい場合には、繰り返し付加情報Infを埋め込むことになる。これはパッチワーク法が統計的性質を利用しているものであることから、統計的性質が現れるのに充分な数を必要とすることによる。
【０１１９】
また、本実施の形態では複数ビットを埋め込む際にパターン配列を用いて画素値を変更する領域が重ならない様にする為、予め互いのビット同志でパターン配列を使用する相対位置を決定する。即ち、付加情報Infを構成する１ビット目の情報を埋め込む為のパターン配列の位置と、２ビット目の情報を埋め込む為のパターン配列の位置の関係は適切に定められる。
【０１２０】
例えば付加情報Infが１６ビットで構成されていれば、１〜１６ビット目の夫々の８×８画素のパターン配列の位置関係は、３２×３２画素よりも大きいサイズの領域上で画質劣化が少なくなる様に相対的に与えられる。
【０１２１】
更に、上記付加情報Inf（これを構成する各ビット情報）は、画像データが大きい場合には、できるだけ多くの回数繰り返して埋め込む。これは、付加情報Infの各ビットを正しく抽出可能とすることが目的である。特に本実施の形態では、同一の付加情報Infが繰り返し埋め込まれていることを利用した統計的な計測を行うので、上記繰り返しは重要である。
【０１２２】
以上説明した様な埋め込み位置の選択は、図１における埋め込み位置決定手段０１０３において実行される。次に、この埋め込み位置決定手段の動作について説明する。
【０１２３】
[３−２埋め込み位置決定処理]
図１１は埋め込み位置決定手段０１０３の内部構成を記している。
【０１２４】
図１１のマスク作成手段１１０１は、付加情報Infを構成する各ビット情報の埋め込み位置を規定する為のマスクの作成を行う。マスクとは、各ビット情報に対応するパターン配列（図９参照）の相対的な配置方法を規定する位置情報を備えたマトリクスである。
【０１２５】
図１７の１７０１にマスクの一例を示す。マスクの内部には夫々係数値が割り当てられており、各々の係数値はマスク内で等しい出現頻度を有している。このマスクを用いる場合であれば、最大１６ビットからなる付加情報Infを埋め込むことが可能である。
【０１２６】
次にマスク参照手段１１０２は、マスク作成手段１１０１で作成したマスクを読みこみ、マスク内の各係数値と、各ビット情報が何ビット目かの情報を対応付けて、各ビット情報を埋め込む為のパターン配列の配置方法を決定する。
【０１２７】
更にマスク・パターン配列対応手段１１０３は、マスク内の各係数値の位置に各パターン配列の配列要素（８×８サイズ）を展開する。即ち、図１７の１７０１に示されるマスクの各係数値（１マス）を、同図１７０３の様に８×８倍にして各パターン配列の埋め込み位置として参照可能とする。
【０１２８】
後述の付加情報埋め込み手段０１０４は、図１７の埋め込み先頭座標１７０２を参照して、パターン配列を用いて各ビット情報を埋め込むことになる。
【０１２９】
なお、本実施の形態ではマスク作成手段１１０１に、画像データ（青色成分）を入力する毎に上記マスクを作成する。よって、大きいサイズの画像データを入力する場合には、複数回繰り返して同一の付加情報Infを埋め込むことになる。
【０１３０】
上記の方法では画像から付加情報Infを抽出する場合に、上記マスクの構成（係数値の配列）が鍵の役割を果たす。即ち、鍵の所有者だけが情報の抽出を行えるという効果がある。
【０１３１】
なお本発明は、リアルタイムにマスクを作成せずに、予め作成しておいたマスクをマスク作成手段１１０１の内部記憶手段などに記憶させておき、必要時に呼び出す場合も範疇に含む。この場合には高速に後段の処理に移行することができる。
【０１３２】
次に、埋め込み位置決定手段０１０３の中で実行される各処理の詳細を説明する。
【０１３３】
[３−２−１ マスク作成手段]
はじめに、マスク作成手段１１０１について説明する。
【０１３４】
パッチワーク法を用いた付加情報Infの埋め込みにおいて、攻撃耐性を強める為に画素値に大きな操作を加えて情報を埋め込んだ場合（例えばパターン配列のCの値を大きく設定した場合）には、元の画像データが表す画像において画素値の急激な変化の有るいわゆるエッジ部分では画質の劣化は比較的目立ちにくいが、画素値の変化の少ない平坦部では画素値を操作した部分がノイズとして目立ってしまう。
【０１３５】
図１３に人間の目で知覚する空間周波数特性を示す。横軸は空間周波数(Radial Frequency)を示し、縦軸は視覚の応答値である。画素値を操作し、情報を埋めこんだ場合、人間の目が敏感に知覚できる低周波数領域では画質劣化が目立つことが図１３から分かる。
【０１３６】
その為本実施の形態では、多値画像の２値化処理に通常使用されているブルーノイズマスクやコーンマスクの特性を考慮し、各ビットに対応するパターンの配置を行う。
【０１３７】
次にブルーノイズマスク、コーンマスクの特性について簡単な説明を行う。
【０１３８】
まず初めにブルーノイズマスクの特性について説明する。
【０１３９】
ブルーノイズマスクはどの様な閾値で２値化してもブルーノイズパターンとなる特性を有する。このブルーノイズパターンとは空間周波数が高周波領域に偏った周波数特性を示すパターンである。
【０１４０】
図３７に、あるブルーノイズマスクの一部を示す。
【０１４１】
また図１４の１４０１には、閾値１０で２値化したブルーノイズマスクの空間周波数特性の概略図を示す。
【０１４２】
１４０１の横軸はRadial Frequencyであり、ブルーノイズマスクをフーリエ変換したときの原点（直流成分）からの距離を示している。縦軸はPower spectrumであり、横軸Radial Frequencyの示す距離にある振幅成分の２乗和をとり平均化した値である。なお、同図は画像の２次元周波数特性を１次元グラフ化し視覚的に分かりやすくしたものである。
【０１４３】
図１３と比較してみると、ブルーノイズマスクは高周波成分に偏りがある為、人間の目に知覚されにくいことが分かる。従って、インクジェットプリンタ等では、ドットを用いた面積階調で多値画像の階調を表現する際に、ブルーノイズマスクを用いることで、空間周波数成分を高周波に偏らせ、人の目に目立つことなく面積階調を表現できることが知られている。
【０１４４】
次にブルーノイズマスクの生成過程の一例を以下に示す。
１. ホワイトノイズを生成する
２. 階調gの２値画像Pgl（初期値はホワイトノイズマスク）にローパスフィルタリングを行い、多値画像P'glを生成
３. 階調 g (初期値:１２７)の画像とローパスフィルタリング画像P'gl（多値）を比較し、誤差の大きい順に、２値画像Pgの白黒の画素を反転させ、２値画像Pgl+1を得る。
４. 誤差が最小になるまで、２,３の操作を繰り返し、２値画像Pgl（初期値はホワイトノイズマスク)を少しづつ階調 g(初期値:１２７) の２値画像Pg（ブルーノイズマスク）に変えていく。
５. Pg画像に階調g＋１(g-１)の２値の黒（白）の点をランダムな位置に与え、２,３の操作を繰り返し、Pg+1(Pg-1)を得る。
【０１４５】
以上の操作を繰り返すことにより、全ての階調でのブルーノイズマスクを作成し、ディザマトリクスを生成する。
【０１４６】
例えば３２×３２のブルーノイズマスクでは１階調ごとに４点増加（減少）する。
【０１４７】
ただし、このとき２５６階調持たせる為に前の階調gで決まった黒（白）のビットは反転できない為、低または高階調では制限条件が厳しくなり、一様性に乏しいランダムパターンしか得られないという欠点がある。
【０１４８】
図１２にブルーノイズマスクを構成する各係数の出現頻度分布（ヒストグラム）１２０１を示す。図１２では０〜２５５の全ての値（係数）がマスク内に同数存在している。
【０１４９】
上記ブルーノイズマスクが多値画像の２値化に用いられる技術は良く知られており、例えば、「J.Opt.Soc.Am A/Vol.9, No.11/November 1992 Digital halftoning technique using a blue-noise mask Tehophano Mitsa, Kevin J.Parker」等に詳しく開示されている。
【０１５０】
次にコーンマスクの特性について説明する。
【０１５１】
コーンマスクは、このマスクに含まれる各係数を２値化した場合に、ここで得られた２値情報を表す空間周波数領域上で、図１４の１４０２に示される様に、周期的または擬似周期的なピークが発生することを１つの特徴とする。ただし、低周波領域ではピークが立たない様に設計されている。
【０１５２】
図３８に、あるコーンマスクの係数配列の一部を示す。
【０１５３】
コーンマスクをどの閾値で２値化した場合にも、ドット間で適度な距離が保たれる為、低周波領域でのピークは立たない。
【０１５４】
図１４の１４０２に、コーンマスクの閾値１０で２値化した場合の空間周波数特性の概略図を示す。１４０１のブルーノイズマスクの空間周波数特性と同じく、１４０２の特性でも低周波成分が少ないことが分かる。
【０１５５】
コーンマスクの場合は、閾値が低い場合であっても高い場合であっても、ブルーノイズマスクが持つ低域周波数より高い周波数からピークが発生する為、ブルーノイズマスクに比べて埋め込み位置に密集した部分が少なくなる。その為、付加情報Infを埋め込んだ際に生じる埋め込みノイズは、ブルーノイズに比べて更に目立たなくなる利点がある。
【０１５６】
またコーンマスクを構成する係数の使用頻度も、ブルーノイズマスクの時と同じく、図１２の１２０１で示す出現頻度分布（ヒストグラム）になる。
【０１５７】
従って、このマスクの係数に対応付けて、付加情報Infを構成する各ビット情報に対応するパターンを、画像データに埋め込む様にするならば、この画像データ中には各ビット情報に対応するパターンを同数配置することができ、結果的に付加情報Infをバランス良く埋め込むことができる。
【０１５８】
本実施の形態では以上の利点から埋め込み参照マスクにコーンマスクを用いることとする。
【０１５９】
[３−２−２ マスク参照手段]
マスク作成手段１１０１で作成されたマスク（コーンマスク）は、マスク参照手段１１０２に入力される。
【０１６０】
マスク参照手段１１０２では、画像に埋め込むＮビットの情報の埋め込み位置とマスクの番号（画素値）を対応付けて、埋め込み位置を決定する。
【０１６１】
マスク参照手段１１０２で行う埋め込み位置決定方法を説明する。
【０１６２】
本実施の形態では上述したコーンマスクを用いるが、ここでは説明を分かりやすくする為、図１５の１５０１に示す４×４マスクを用いて説明する。
【０１６３】
図１５のマスクは、４×４個の係数を有し、０〜１５までの係数値を１つずつ配置しているマスクである。この４×４マスクを用い付加情報Infの埋め込み位置の参照を行う。この説明で用いるマスクの場合には最大１６ビットで構成される付加情報Infを埋め込むことができるが、以下８ビットの付加情報Infを埋め込む場合を説明する。
【０１６４】
まず付加情報Infの構成を、図３６を用いて説明する。同図の様に付加情報Infは、スタートビットInf1と利用情報Inf2から構成される。
【０１６５】
このスタートビットInf1は、理想位置から実際の付加情報Infが埋め込まれている位置がずれていることを認識し、これに合わせて電子透かし（付加情報Inf）の抽出開始位置を補正する為に、電子透かし抽出装置側に含まれるオフセット合わせ手段で用いられる。詳細については後述する。
【０１６６】
また、利用情報Inf2は、本来の付加情報、即ち実際に画像データＩの付加的情報として利用される情報である。この情報には、例えば画像データwIの不正利用の際に原因を追跡することを目的とするならば、図１に示す装置のＩＤ或いはユーザーのＩＤ等が含まれる。また、画像データwIの印刷物をコピー禁止にするのであれば、コピーが禁止であることを示す制御情報が含まれる。
【０１６７】
本実施の形態では、スタートビットは５ビットとし、「１１１１１」というビット列を用いる。しかし、本発明はこれに限らず、付加情報Infのうち５ビット以外のビット数をスタートビットとして用いることも可能であり、同様に「１１１１１」というビット列以外を用いることも可能である。ただし、スタートビットのビット数とビット系列は電子透かし埋め込み装置と電子透かし抽出装置で共有しておく必要がある。
【０１６８】
上述した様な４×４個の係数からなるコーンマスクを用いて、スタートビット５ビット、利用情報３ビットの合計８ビットの付加情報Infを埋め込む簡単な例について説明をする。
【０１６９】
しかしながら、本発明はこれに限定されるものではない。例えば３２×３２のコーンマスクを用いて、スタートビット５bit、利用情報６４bitからなる合計６９bitの付加情報Infを埋め込み場合等にも適用可能である。
【０１７０】
付加情報Infはスタートビットが５ビット「１１１１１」で利用情報が３ビット「０１０」とする。夫々１番目が１、２番目が１、３番目が１、４番目が１、５番目が１、６番目が０、７番目が１、８番目が０のビット情報を持つ。
【０１７１】
これら各ビットに相当するパターン（図９参照）の夫々をコーンマスクの係数の１つずつに対応する位置に割り当て、この位置関係に従って元の画像データの各画素値を±ｃ変更する。これにより、１つのコーンマスクに相当するサイズの元の画像データに対して、１つの付加情報Infが埋め込まれることとなる。
【０１７２】
本実施の形態では、付加情報Infを埋めこむ為に最低限必要なビット数に基づいて、ある閾値を決定し、上記コーンマスクにおける、この閾値以下の係数が配置されている位置に、対応する各ビット情報を埋めこむ。これにより付加情報Infのビット数に関わらず１つのコーンマスクには１つの付加情報Infが埋め込まれる。
【０１７３】
なお、本発明は上記方法に限らず、ある閾値以上の係数が配置されている位置に、対応する各ビット情報が埋め込まれる様にし、これを前提に閾値を決定する様にしても良い。
【０１７４】
次に本実施の形態では、埋め込みに用いる閾値以下の係数の個数が、マスク全体の係数の個数において占める割合を、埋め込み充填率と呼ぶことにする。
【０１７５】
８ビットの付加情報Infを整数回正しく埋め込むには、図１５のマスク１５０１内においてどの係数を埋め込み参照位置に用いるかを決定する為の閾値は、８或いは１６である必要が有る。この閾値は、耐性及び画質への影響を考慮して最適なものが決定される。
【０１７６】
ここで、マスクの閾値を８とした場合には、埋め込み充填率は５０％となる。即ち、上記マスクと照らし合わされる元の画像データのうち５０％が、図９のパターン配列を用いた処理の対象になる。
【０１７７】
各ビット情報とマスク内の係数の対応関係の一例を対応表１に示す。
【０１７８】
【表１】
【０１７９】
対応表１の対応に従うと、図１６の１６０１で表現された係数（０〜７）の位置に相当する入力画像データの画素の位置に各ビット情報がパターン（図９参照）を用いて埋め込まれる。埋め込むビット情報の順序とマスク内の係数値の対応関係は鍵情報の一部であり、この対応関係を知ることなしに各ビット情報の抽出を行うことはできない。本実施の形態では説明を簡単にする為、対応表１の様に０から閾値までの係数値に順にS１〜S５と利用情報の３ビットを対応させることとする。
【０１８０】
次に、実際に３２×３２のサイズのコーンマスクを用いて埋めこむ場合の充填率についても少し述べておく。なお、処理の手順はマスク１５０１を用いた場合と同じである。
【０１８１】
まず最初に、埋め込み時の画質の劣化等を考慮し、付加情報Infの埋め込みを整数回正しく行う為に必要な閾値を決定する。
【０１８２】
更に、付加情報Infを構成する各ビットが等しい繰り返し数で埋め込まれる様にする為、閾値以下の係数の数を付加情報Infを構成するビット数Nで割り、１つのマスクサイズで各ビットを何回埋め込めるかを決定する。
【０１８３】
例えば、０〜２５５までの係数値に相当する元の画像データに、上述した一例のスタートビット５ビットと利用情報６４ビットからなる、６９ビットの付加情報Infを埋めこむ場合には、例えば閾値を１３７に設定する。
【０１８４】
この場合、マスク内の有効な係数値の数は１３８個となる。１つの付加情報Infを表すのに必要なビット数は６９個であるから、１つのマスクサイズにおいては各ビット情報は１３８/６９＝２回ずつ埋め込むことができる。
【０１８５】
なお、コーンマスクを用いて埋め込み位置を決定する時に、ある閾値以下の係数値を持つ全ての点に対して埋め込みを行う理由は、空間周波数の低周波成分にピークが立たないというコーンマスクの特性を生かす為である。
【０１８６】
上述した様に埋め込み位置を決定した結果、埋め込み充填率５０％、埋め込み情報量６９ビットとなる場合には、付加情報Infを構成する各ビット情報とコーンマスクを構成する各係数値との関係は対応表２の様になる。
【０１８７】
【表２】
【０１８８】
ただし本発明はこの対応関係に限らず、０から閾値（または閾値から２５５）までの係数の位置の全てに、図９のパターンを使用して各ビット情報を順に埋め込むならば、各ビット情報と各係数値との対応関係は別のものであっても良い。
【０１８９】
３２×３２のコーンマスクの場合には、１つのマスク内に同じ係数を持つ位置が夫々４個存在する。
【０１９０】
全ての係数に上記対応表２に基づいて、元の画像データに各ビット情報を埋め込む場合、３２×３２,６４×６４等の大きいサイズのコーンマスクならば、付加情報Infを構成する各ビット情報はほぼ等しい回数埋め込まれる。また、元の画像データにおいて同一のビット情報が拡散して埋め込まれる。
【０１９１】
パッチワーク法では、従来各ビット情報に対応するパターン（図９参照）が互いに重なり合わない様にランダム的に埋め込み位置を選んでいたが、本実施の形態では、上記コーンマスクを参照することにより同様の効果を得る事ができ、更に画質劣化も少ない。
【０１９２】
以上の結果、マスク参照手段１１０２では、各ビット情報に対応する埋め込み位置の座標(x,y)を得る。
【０１９３】
配列S[bit][num]＝(x,y) でその情報を表現すると、bitは対応表１の場合、スタートビットS１〜S５と利用情報１〜３ビットを表す。またnumはコーンマスク内で繰り返し表れる各係数に付けられる順序である。(x,y)にはマスク内での相対座標が収められる。
【０１９４】
以上の操作をマスク参照手段１１０２で行う。
【０１９５】
[３−２−３ マスク・パターン配列対応手段]
マスク参照手段１１０２で得られた各ビット情報のコーンマスク内での埋め込み位置は、マスク・パターン配列対応手段１１０３に入力される。
【０１９６】
マスク参照手段１１０２で決定した埋め込み位置は夫々のビット情報のパターンの位置（８×８画素分）であるので、パッチワーク法では更に図９に示される加算領域（＋ｃ）と減算領域（−ｃ）とそれ以外（０）とを割り当てる必要がある。この為、マスク参照手段１１０２で参照したコーンマスクの全ての位置に図９に相当する８×８サイズのパターン配列を展開する操作をマスク・パターン配列対応手段１１０３で行う。
【０１９７】
具体的にはマスク参照手段１１０２で得られた配列S[bit][num]＝(x,y)の座標に対して、ｘ座標にはパターン配列の横方向のサイズを掛け、ｙ座標にはパターン配列の縦方向のサイズを掛ける操作を行う。その結果、図１７のマスク内の座標１７０１は、マスク内の１画素が１パターン配列に拡大された先頭座標１７０２となる。
【０１９８】
この先頭座標から図９に示されるパターン配列を用いると、パターン配列の大きさを持つ領域１７０３に重なり合わず埋め込みを行うことが可能になる。
【０１９９】
座標(x,y)は座標(x',y')に変化するが、配列S[bit][num]のbitとnumは変化しない。
【０２００】
従って、配列S[bit][num]のbitに相当する付加情報Infを(x',y')をパターン配列を埋め込む先頭位置とし、複数のビット情報の埋め込みが可能になる。
【０２０１】
なお、マスク・パターン配列対応手段１１０３によりコーンマスクの各係数が、８×８のパターン配列に展開（拡大）された大きなマスクを、拡大マスクと呼ぶ。
【０２０２】
上記拡大マスクのサイズは、（３２×８）×（３２×８）サイズとなり、このサイズが付加情報Infを少なくとも１つ埋め込む為に必要な最低限の画像単位（マクロブロックとする）となる。
【０２０３】
以上がマスク・パターン配列対応手段１１０３で行われる操作である。
【０２０４】
一般的に小さなマスクは大きなマスクより作成時にドットの配置位置に自由度が少なく、コーンマスクの様な所望の特性を持つマスクの作成が難しい。例えば小さなマスクを画像データの全体に繰り返し割り当てることで付加情報Infを埋め込む場合には、小さなマスクの持つ空間周波数が画像データ全体に出現する。
【０２０５】
その一方で、一つのマスクからは完結した付加情報Infが抽出されるので、マスクのサイズを大きく設定することによって、切り抜き耐性（部分的な画像データwI’から付加情報Infを抽出できる可能性）は小さくなってしまう。ゆえに、上記切り抜き耐性と画質劣化のバランスを考慮し、マスクのサイズを決定する必要がある。
【０２０６】
以上が図１の埋め込み位置決定手段０１０３で行われる処理である。
【０２０７】
[３−３付加情報埋め込み処理]
以上の様にして決定された、画像データへの各ビット情報の埋め込み位置を参照して、図１の付加情報埋め込み手段０１０４は実際に付加情報Infを埋め込む。
【０２０８】
図１０に付加情報Infを繰り返して埋め込む処理の動作の流れを示す。
【０２０９】
図１０に示す方式では、画像全体に割り当て可能なマクロブロックを複数個割り当て、更に、これら全マクロブロックに対してまず１ビット目のビット情報を繰り返して埋め込み、続いて２ビット目、３ビット目…という様に繰り返して埋め込む。これは未だ埋め込み処理が行われていないビット情報が有れば、未処理のマクロブロックの全てに１００１〜１００３の埋め込み処理を施す手順により構成されている。
【０２１０】
しかしながら、本発明はこの順序に限らず２つのループ処理の内外関係を逆にしても良い。即ち、未処理のマクロブロックが有れば、これに対して未だ埋め込んでいないビット情報を全て埋め込む手順に変更しても良い。
【０２１１】
具体的には付加情報Infの埋め込みは、埋め込まれる各ビット情報が“１”の場合には図９のパターン配列を加える。また埋め込むビットが“０”の場合には図９のパターン配列を減ずる、即ち図９の正負符号を反転したものを加算する。
【０２１２】
上記加減算の処理は、図１０における切り替え手段１００１を、埋め込むビット情報に応じて切り替え制御することによって実現される。即ち、埋め込まれるビット情報が“１”の時は加算手段１００２に接続し、上記ビット情報が“０”の時は減算手段１００３に接続する。これら１００１〜１００３の処理はビット情報とパターン配列の情報を参照しながら行われる。
【０２１３】
ここで上記ビット情報の１つが埋め込まれる様子を図１９に示す。同図では埋め込まれるビット情報が“１”、即ちパターン配列を加える場合の例を示す。
【０２１４】
図１９に示す例では、I(x,y)が元の画像、P(x,y)が８×８のパターン配列である。８×８のパターン配列を構成する各係数は、このパターン配列と同じサイズの元の画像データ（青色成分）に重ね合わせられ、同位置の値同士が加減算される。その結果、I'(x,y)が算出され、ビット情報が埋め込まれた青色成分の画像データとして図１の色成分合成手段０１０５へ出力される。
【０２１５】
上述した８×８のパターン配列を用いた加減算処理を、上記対応表２で決定された埋め込み位置（各ビット情報を埋め込む為のパターン配列を割り当てた位置）の全てに対して繰り返し行う。
【０２１６】
次に、図１０の内部のループ処理が行われる様子を図１８に示す。
【０２１７】
図１８では、各ビット情報を繰り返し埋め込む為に、画像データ全体１８０１(１８０３)全体に、マクロブロック１８０２を左上から右下までラスター順に繰り返し割り当てて埋め込み（図１０の１００１〜１００３）を行う。
【０２１８】
付加情報埋め込み手段０１０４により以上の操作が行われ、付加情報Infが画像全体に埋め込まれる。
【０２１９】
以上の処理により、画像データ中に付加情報Infが埋め込まれる。この付加情報Infが埋め込まれた画像データの各画素が、十分少ないドット数で表現されるのであれば、パターン配列の大きさも十分小さくなるので、これらパターン配列の１つ１つは非常に小さい点でしか人間の目には知覚されない。よって、コーンマスクの空間周波数特性も維持され、人間の目に見えにくい。
【０２２０】
［３−４ レジストレーション処理］
次に、電子透かし抽出装置側に備えられる、図２におけるレジストレーション手段０２０２について詳細を説明する。
【０２２１】
レジストレーション手段０２０２とは、付加情報抽出手段０２０３の前段に位置する手段であり、付加情報Inf抽出処理の前処理である。レジストレーション手段０２０２には、前段の色成分抽出手段０２０１により抽出された青色成分の画像が入力される。
【０２２２】
レジストレーション手段０２０２では、電子透かし埋め込み装置から出力された画像データwIと、電子透かし抽出装置に入力された画像データwI’のスケールの違いが補正される。
【０２２３】
レジストレーション手段０２０２の詳細を図７に示す。図７に示す様に、レジストレーション手段０２０２は、ブロック分割手段０７０１、フーリエ変換手段０７０２、インパルス抽出手段０７０３、スケーリング率算出手段０７０４、スケーリング手段０７０５から構成される。
【０２２４】
ブロック分割手段０７０１では、上述したレジストレーション信号埋め込み手段０１０２（ブロック分割手段０４０１）と同様のブロック分割処理が行われる。この処理によって、一般的にはレジストレーション信号埋め込み手段０１０２（ブロック分割手段０４０１）と同様のブロックを抽出することは困難である。これは電子透かし情報が埋め込まれた画像データwIが印刷系の処理を施されることによって、大きさが変化し、更に位置がずれることによるものである。
【０２２５】
しかし、このブロックの抽出はある程度違っていても問題はない。これは、電子透かし埋め込み装置において、レジストレーション信号が画像データのうち振幅スペクトルに埋め込まれているからである。振幅スペクトルは、画像データの空間領域における位置ずれには影響されないという性質がある。よって、電子透かし埋め込み装置と電子透かし抽出装置の夫々において、各々のブロック分割手段により分割されたブロックが、空間領域で多少の位置ずれが生じていても問題はない。
【０２２６】
ブロック分割手段０７０１はブロック分割した画像データをフーリエ変換手段０７０２に出力する。フーリエ変換手段０７０２は上述したレジストレーション信号埋め込み手段０１０２の場合と同様に、空間領域の画像データを周波数領域の画像データに変換する。フーリエ変換された周波数領域の画像データは振幅スペクトルと位相スペクトルによって表現される。このうち振幅スペクトルだけがインパルス抽出手段０７０３に入力される。一方で、位相スペクトルは破棄される。
【０２２７】
周波数領域に変換された画像データはインパルス抽出手段０７０３に入力される。インパルス抽出手段０７０３では、周波数領域に変換された画像データからインパルス性の信号だけを抽出する。即ち、既に画像データに埋め込まれている図５の０５０２,０５０３,０５０４,０５０５を抽出する。
【０２２８】
これは公知の画像処理技術を用いて行うことが可能である。例えば、周波数領域に変換された画像データを閾値処理することで実現できる。この例を図８(a)に示す。図８(a)にはインパルス抽出手段０７０３に入力された振幅スペクトル０８０１を閾値０８０２によって閾値処理する様子を示す。なお説明の為、図８において変換された画像データを１次元で表現した。適当な閾値０８０２を選択することによってインパルス信号を抽出することが可能である。しかしながら、低域に存在するインパルス信号と同じ程度の大きさを持つ様な本来の画像データも同時に抽出してしまう。
【０２２９】
この問題を解決した本実施の形態の方式を図８(b)に示す。周波数領域に変換された画像データ０８０１に対して２次微分処理を施す。これはラプラシアンフィルタ等を施すことに等しい。周波数領域に変換された画像データ０８０１に対して２次微分を施したものを０８０３に示す。このデータ０８０３に対して適当な閾値０８０４を選択し閾値処理を施すことによって、インパルス信号を抽出可能である。
【０２３０】
このインパルス信号の抽出に関してもう少し詳細な原理を図２６を用いて説明する。なお、この図では上述したレジストレーション信号埋め込み側の処理も記載している。
【０２３１】
レジストレーション信号埋め込み手段０１０２においては、空間領域の画像データ２６０１が周波数領域に変換され画像データ２６０２となり、周波数領域においてインパルス信号２６０３が加えられる。
【０２３２】
インパルス信号（レジストレーション信号）２６０３が加えられた周波数領域の画像データは、逆周波数変換されることによって空間領域の信号２６０１’へ再び戻る。再び空間領域へ戻された画像データ２６０１’にはインパルス信号が付加された影響があるはずであるが、人間の目には知覚しにくく、実質的には画像データ２６０１と画像データ２６０１’は同一物に見える。これは、周波数領域で加えられたインパルス信号２６０３が逆フーリエ変換によって、画像データ全体に小さな振幅で分布するからである。
【０２３３】
図２６の２６０３の様なインパルス信号が加えられた場合は、ある一定の周波数成分を持つ画像データが空間領域に加えられたことに等しくなる。この加えられたインパルス信号が人間の知覚できる周波数よりも大きく、更に振幅が人間の知覚できる限度以下であるならば、加えられたインパルス信号は人間の目には見えない。よって、上記レジストレーション信号の埋め込み自体も一種の電子透かし処理であると言える。
【０２３４】
なお、本実施の形態では画像データ２６０１にレジストレーション信号２６０３が埋め込まれ、更に実際に埋め込むべき付加情報Infが埋め込まれた後、空間領域の信号２６０１’を復元する。
【０２３５】
図２６の様に埋め込まれたレジストレーション信号は、抽出の際に再びフーリエ変換が施される。これによって、空間領域では一度画像データ全体に拡散されたレジストレーション信号２６０３が、周波数領域に変換され再びインパルス信号として現れる。
【０２３６】
電子透かし情報が埋め込まれた画像がJPEG圧縮等の非可逆圧縮などの攻撃を受けた場合、このインパルスは振幅が小さくなる可能性が高い。一方で、スケーリングなどの幾何的な攻撃を受けた場合、このインパルスはその位置が移動する。いずれの場合も上述した様な適当なインパルス抽出処理を施すことによって、インパルス信号は抽出可能であり、元の画像データからの変化を推測できる。この変化を補正すれば本実施の形態で埋め込まれる付加情報Infを確実に抽出できる状態を作り出せる。
【０２３７】
以上の処理により、図７のインパルス抽出手段０７０３からは上述したインパルス信号が出力され、スケーリング率算出手段０７０４に入力される。スケーリング率算出手段０７０４は、入力されたインパルス信号の座標を用いてどの様なスケーリングが施されたかを算出する。
【０２３８】
本実施の形態の電子透かし抽出装置側では、予めどの周波数成分にインパルス信号を埋め込んだかを知っているものとする。この場合には、この予め埋め込まれた周波数と、インパルスが検出された周波数の比によりスケーリング率を算出することが可能である。例えば、予めインパルス信号が埋め込まれた周波数をa、検出されたインパルス信号の周波数をbとすると、a/b倍のスケーリングが施されていることがわかる。これは良く知られたフーリエ変換の性質である。以上の処理により、スケーリング率算出手段０７０４からはスケーリング率が出力される。
【０２３９】
しかしながら本発明はこれに限らず、電子透かし埋め込み装置側から必要に応じてレジストレーション信号を埋め込んだ位置（周波数）の情報を受信する様にしても良い。例えばこの位置情報は暗号化信号として受信し、上記スケーリング率の算出処理を行う形態も本発明の範疇に含まれる。こうすることによって、付加情報Infを正しく抽出できるのはレジストレーション信号を知っている人だけとなる。この場合、レジストレーション信号を付加情報Infを抽出する為の鍵として使用できる。
【０２４０】
スケーリング率算出手段０７０４から出力されたスケーリング率は、スケーリング手段０７０５に入力される。スケーリング手段０７０５には画像データwI1'も入力され、画像データwI1'は入力されたスケーリング率によってスケーリング処理が施される。スケーリング処理はバイリニア補間やバイキュービック補間など種々のものが適応可能である。そして、スケーリング手段０７０５からはスケーリング処理が施された画像データwI2'が出力される。
【０２４１】
［３−５ 付加情報抽出処理］
次に、図１の付加情報埋め込み手段０１０４で付加情報Infが埋め込まれた画像データwI’の青色成分からこの付加情報Infを抽出する図２の付加情報抽出手段０２０３の動作について述べる。
【０２４２】
この付加情報Infの抽出処理のブロック図を図２０に示す。
【０２４３】
［３−５−１ 埋め込み位置決定処理］
図２０に示す様に、まず埋め込み位置決定手段２００１において、画像データwI2'（青色成分）中のどの領域から付加情報Infを抽出するかを決定する。この埋め込み位置決定手段２００１によってなされる動作は、前述した埋め込み位置決定手段０１０３と同じであり、その為、０１０３と２００１によって決定される領域は同一のものとなる。
【０２４４】
決定された領域から、前述した対応表２を用い、更に図９に示されるパターン配列を用いて付加情報Infが抽出される。
【０２４５】
ここで、付加情報Infの抽出は、決定された領域に対してパターン配列を畳み込むことによって実現される。
【０２４６】
[３−５−２ 信頼度距離演算手段]
信頼度距離dは埋め込んだ情報を抽出する際に必要となる計算値である。
【０２４７】
各ビット情報に対応する信頼度距離dを求める方法を図６に示す。
【０２４８】
まず始めに、図中の畳み込み演算手段０６０１で行う処理を図２１及び図２２を用いて説明する。
【０２４９】
図２１及び図２２に、付加情報Infを構成する１ビットの情報を抽出する例を示す。
【０２５０】
図２１は付加情報Infを構成するある１ビット情報が埋め込まれた画像データ（青色成分）I''(x,y)に対してこの１ビット情報の抽出処理を行った例、そして図２２は上記１ビット情報が埋め込まれていない画像データI(x,y)に対して１ビット情報の抽出処理を行おうとした例である。
【０２５１】
図２１において、I''(x,y)が１ビット情報が埋め込まれた画像データ、P(x,y)が畳み込み処理に用いられる８×８のパターン配列（付加情報Inf抽出用のパターン配列）である。この８×８のパターン配列を構成する各要素（０，±ｃ）は、入力画像データI''(x,y)の同位置に配置されている画素値に積算され、更に各積算値の和が算出される。即ち、I''(x,y)に対してP(x,y)が畳み込まれる。ここで、I''(x,y)は、画像データI'(x,y)が攻撃を受けた場合の画像を含んだ表現である。攻撃を受けていない場合には、
I''(x,y)=I'(x,y)である。I''(x,y)に１ビット情報が埋め込まれている画像である場合には、畳み込みの結果、図２１に示す様に非零の値が得られる可能性が非常に高い。特にI''(x,y)=I'(x,y)の時には畳み込みの結果は３２c2となる。
【０２５２】
なお、本実施の形態では、埋め込みに用いるパターン配列と抽出に用いるパターン配列は同様のものを用いている。しかしながら、これは本発明において限定されるものではない。一般的には、埋め込みに用いるパターン配列をP(x,y)、抽出に用いるパターン配列をP'(x,y)とした場合には、
P'(x,y)=aP(x,y)
という関係に変形できる。ここでaは任意の実数であり、本実施の形態では、簡単の為、a=１の場合について説明する。
【０２５３】
一方、図２２に示す例では、上述の演算と同様の演算が１ビット情報が埋め込まれていない画像データI(x,y)に対して施されている。原画像（画像データIに相当）からは畳み込み演算の結果、図２２に示す様に零の値が得られる。
【０２５４】
以上、図２１及び図２２を用いて１ビット情報の抽出方法を説明した。しかし、以上の説明は、付加情報Infが埋め込まれる対象の画像データIにおいて畳み込み演算の結果が０である場合であり、非常に理想的な場合である。一方で、実際の画像データIの８×８のパターン配列に相当する領域においては畳み込み演算の結果が０であることはなかなか少ない。
【０２５５】
即ち、原画像（画像データI）における８×８のパターン配列に相当する領域について、図９のパターン配列（コーンマスクも配置情報として参照）を用いて畳み込み演算を行った場合、理想と異なり、非零の値が算出されることもある。逆に、付加情報Infが埋め込まれた画像（画像データwI）における８×８のパターン配列に相当する領域について、同じく畳み込み演算を行った結果が“３２ｃ2“でなく“０”になってしまうこともある。
【０２５６】
しかしながら、付加情報Infを構成するビット情報の夫々は、通常、元の画像データに複数回埋め込まれている。即ち付加情報Infが画像に複数回埋め込まれている。従って、各ビット情報が埋め込まれているｎ個のマクロブロックにおいて、８×８パターン配列毎の畳み込み演算を行い、ここで得られる各ビット情報毎のｎ個の畳み込み演算結果に基づいて“各ビット情報が埋め込まれているのか否か”或いは“各ビット情報が１か０か”等を統計的に判断すれば良い。これら統計的な判断の方法については後述する。
【０２５７】
よって畳み込み演算手段０６０１は、付加情報Infを構成する各ビット情報に１ついて、夫々複数の畳み込み演算結果の和を求める。例えば、付加情報Infが８ビットであれば、８個の和が得られる。この各ビット情報に対応する和は平均計算手段０６０２に入力され、夫々が全マクロブロックの数ｎで割られて平均化される。この平均値が信頼度距離dである。即ち、この信頼度距離dは、図２１の“３２ｃ2”と“０”のどちらに類似しているかを多数決的に生成した値である。
【０２５８】
ただし、信頼度距離dは、先のパッチワーク法の説明ではd = 1/N Σ(ai-bi)と定義していたので、厳密には信頼度距離dは、P'(x,y) = 1/c P(x,y)を用いて畳み込み演算を行った結果の平均値である。しかしながら、P'(x,y) = aP(x,y)を用いて畳み込み演算を行っても、畳み込み演算結果の平均値は、上記信頼度距離dの実数倍になっているだけであり、本質的には同様の効果が得られる。よって本発明には、P'(x,y) = aP(x,y)を用いた畳み込み演算結果の平均値を信頼度距離dに用いることも十分可能である。
【０２５９】
求められた信頼度距離dは０６０３の記憶媒体に蓄えられる。
【０２６０】
畳み込み演算手段０６０１は、付加情報Infを構成する各ビットについて上記信頼度距離dを繰り返し生成し、順次記憶媒体０６０３に格納する。
【０２６１】
この演算値に関してもう少し詳細な説明をする。元の画像データIに対して図９のパターン配列（コーンマスクも配置情報として参照）を用いて算出される信頼度距離dは理想的には０である。しかしながら実際の画像データIにおいては、この値は非常に０に近くはあるが非零の値が多い。各ビット情報について発生する信頼度距離dの頻度分布を調べると、図２３の様になる。
【０２６２】
図２３において、横軸は、各ビット情報毎に発生する信頼度距離dの値であり、縦軸はその信頼度距離dを生じる畳み込みが行われたビット情報の数（信頼度距離dの出現頻度）を示している。図を見ると正規分布に類似していることがわかる。また、元の画像データIにおいては信頼度距離dは必ずしも０ではないが、その平均値は０(或はそれに非常に近い値)である。
【０２６３】
一方、元の画像データIではなく、図１９の様にビット情報“１”を埋め込んだ後の画像データ（青色成分）をI’(x,y)に上記畳み込みを行った場合には、信頼度距離dは図２４に示す様な頻度分布となる。即ち、図の様に図２３の分布形状を保ったまま、右方向にシフトしている。この様に、付加情報Infを構成するある１ビットを埋め込んだ後の画像データは、信頼度距離dが必ずしもｃという訳ではないが、その平均値はｃ(或はそれに非常に近い値)となる。
【０２６４】
なお、図２４ではビット情報“１”を埋め込んだ例を示したが、ビット情報“０”を埋め込んだ場合は図２３に示した頻度分布が、左にシフトすることになる。
【０２６５】
以上説明した様に、パッチワーク法を用いて付加情報Inf（各ビット情報）を埋め込む場合には、埋め込むビット数（パターン配列の使用回数）を出来るだけ多くした方が、図２３及び図２４に示す様な統計的分布が正確に現れやすい。即ち、付加情報Infを構成する各ビット情報が埋め込まれているか否か、或いは埋め込まれているビット情報が“１”か“０”かを検出できる精度が高くなる。
【０２６６】
［３−５−３ オフセット合わせ処理］
次にオフセット合わせ手段２００２の構成について解説する。
【０２６７】
オフセット合わせ手段２００２には、適切なスケーリングを施された後の画像データwI2'が入力される。この後、図６の信頼度距離演算を用い、スタートビットを検出する。なお、オフセット合わせ手段２００２はスタートビットInf1の５ビット分に対応する５つの信頼度距離だけを生成する。スタートビットInf1とは、図３６に示す様に、付加情報埋め込み手段０１０４において予め埋め込んである付加情報Infの一部であり、本実施の形態では５ビット分である。
【０２６８】
なお、これらスタートビットInf1は、概念的には最初の５ビット分であるが、付加情報Infが埋め込まれている画像においては隣接、密集して存在する訳ではなく、むしろ点在している。これは、対応表２のコーンマスクを構成する各係数値に対応付けて順に埋め込まれる為である。
【０２６９】
オフセット合わせ手段２００２の処理のフローチャートを図２８に示す。以下の解説は図２８のフローチャートの流れに沿って行う。
【０２７０】
オフセット合わせ手段２００２では、入力された画像データwI2'に対して、ステップ２８０１により、まず最も左上の座標を埋め込み開始座標と仮定する。同時に、最大値MAXを０に設定する。そして、ステップ２８０２により、図６の信頼度距離演算手段を用いて、スタートビットの検出を試みる。
【０２７１】
ここで得られた１〜５番目のビット情報が、ステップ２８０３により正しいスタートビット「１１１１１」であるかどうかを判定する。この点が正しい埋め込み開始座標であれば検出結果として５つの連続した正の信頼度距離dが検出されるが、そうでない場合には正の信頼度距離dが５つ連続しないことが多い。上記判断を順次行い、正しいスタートビットInf1が検出できる位置を、埋め込み開始座標であると決定すれば良い。
【０２７２】
しかしながら、実際のところ埋め込み開始座標以外の点でも正しいスタートビットInf1が検出されてしまう場合も有り得る。この原因を図２７を用いて説明する。
【０２７３】
図２７は、本実施の形態で用いるパッチワーク法で埋め込まれた付加情報Infを抽出する為、付加情報Infの埋め込み時に用いたものと同一のパターン配列（２７０２、２７０５）（コーンマスクも配置情報として参照）を用いて、畳み込みを行いながら本来のマクロブロックの位置（２７０１、２７０３、２７０４）を探索する様子を示している。左の図から右の図へ向かって探索が連続的に進んでいるものとする。
【０２７４】
図２７では、簡単の為、画像データwI2'の一部である１つのマクロブロック（付加情報Infが抽出できる最小単位）に注目している。この図の１マスは１ビット情報を埋め込む為のパターン配列の大きさの概念を示している。
【０２７５】
図２７左において、２７０１と２７０２の関係を有する場合、即ち２７０２が実際のマクロブロック２７０１よりも左上に位置して場合、元の画像と付加情報Inf抽出用のパターン配列の位置は、斜線領域のみで重なっている。
【０２７６】
また同図中央には、更に探索を進め、探索中の位置と実際のマクロブロックの位置が完全に一致している場合が示されている。この状態では、畳み込み対象のパターン配列とマクロブロックが最大面積重なっている。
【０２７７】
また同図右においては、探索中の位置が実際に付加情報Infが埋め込まれているマクロブロックの位置よりも右下に位置している。この状態では、この状態では、畳み込み対象のパターン配列とマクロブロックは斜線領域のみで重なる。
【０２７８】
図２７の全ての場合において、畳み込み対象のパターン配列とマクロブロックが十分に重なっていれば正しいスタートビットInf1を抽出することが可能である。ただし、これら３つの場合は重なる面積が異なっているので信頼度距離dが異なる。
【０２７９】
上記重なる面積は前述した信頼度距離dに置き換えて考えることができる。即ち、畳み込み対象のパターン配列とマクロブロックの位置関係が完全に一致していれば、各ビット情報共に信頼度距離dは上述した±３２ｃ2に非常に近くなる。
【０２８０】
よって、本実施の形態においては、図２８の様に、ステップ２８０３において正しいスタートビットInf1でないと判定された場合には、ステップ２８０７によりラスタ順で次の探索点に移動する。一方で、正しいスタートビットInf1であると判定された場合には、ステップ２８０４により、信頼度距離dが最大値MAXより大きいかどうかを判定する。最大値MAXより小さな場合には、ステップ２８０７によりラスタ順で次の探索点に移動する。一方で、信頼度距離dが最大値MAXよりも大きな場合には、最大値MAXを現在の信頼度距離dに更新し、同時に現在の探索点を埋め込み開始点として記憶する。そして、ステップ２８０６において全ての探索点を探索したかどうかを判定し、全て終了していない場合には、ステップ２８０７によりラスタ順で次の探索点に移動する。一方で、全て終了している場合には、その時記憶されている埋め込み開始点を出力し処理を終了する。
【０２８１】
以上の一連の処理により、本実施の形態におけるオフセット合わせ手段２００２は、スタートビットInf1を検出し、正しいスタートビットInf1が得られた座標の中で、最も信頼度距離dの大きな座標の情報を、付加情報Infの埋め込み開始点であると判断し、埋め込み開始座標として後段へ出力する。
【０２８２】
[３−５−４ 利用情報抽出手段]
利用情報抽出手段２００３は、前段のオフセット合わせ手段２００２から埋め込み開始座標、及び付加情報Infが埋め込まれた画像データを入力し、図６で説明した動作を同じく用いて、ここでは利用情報Inf2を構成する各ビット情報のみについて信頼度距離dを算出し、これらビット情報に対する信頼度距離d1を後段の統計検定手段２００６に出力する。
【０２８３】
なお、利用情報Inf2を構成する各ビット情報に相当する信頼度距離d1を得ることは、実質的には、埋め込まれた利用情報Inf2の各ビットを抽出することに相当する。これについては後述する。
【０２８４】
ここでは、上記探索により判別された埋め込み開始座標に基づいて、各信頼度距離dを算出するのみであり、スタートビットInf1の５ビット分については抽出しない。
【０２８５】
[３−６統計検定処理]
統計検定手段２００６では、図２０の利用情報抽出手段２００３で得られる信頼度距離d1の信頼性を判定する。この判定は、付加情報Inf（利用情報Inf2）の抽出に用いた第１のパターン配列とは異なる第２のパターン配列を用いて信頼度距離d2を生成し、この信頼度距離d2の出現頻度分布を参照して信頼性指標Ｄを生成することで行われる。
【０２８６】
ここで信頼度距離d1は利用情報抽出手段２００３において利用情報Inf2を抽出するために、第１のパターン配列（コーンマスクも配置情報として参照）を用いて得られる信頼度距離であり、信頼度距離d2は第１のパターン配列とは異なる後述する第２のパターン配列を用いて得られる信頼度距離である。第１のパターン配列は、通常付加情報Inf（スタートビットInf1，利用情報Inf2）を埋め込む際に用いた図９のパターン配列である。
【０２８７】
なお第２のパターン配列、信頼性指標Ｄ等についての詳細は後述する。
【０２８８】
[３―６―１ 第２のパターン配列による抽出処理]
≪ 中心極限定理 ≫
{an},{bn}はn個の要素からなる画素値の集合で、夫々図３０に示される様な部分集合Aと部分集合Bの要素の持つ画素値とする。
【０２８９】
信頼度距離d（Σ(ai-bi) / n）は,十分な数 nで{an}, {bn}を取る場合、画素の値anとbnには相関がなく、信頼度距離dの期待値は０になる。また中心極限定理より信頼度距離dの分布は独立な正規分布をとる。
【０２９０】
ここで中心極限定理について簡単に説明する。
【０２９１】
平均値mc、標準偏差σcの母集団（正規分布でなくても良い）から大きさncの任意標本を抽出した時、標本平均値Scの分布はncが大きくなるにつれて正規分布N(mc,(σc/√nc)^2)に近づくことを示す定理である。
【０２９２】
一般には母集団の標準偏差σcは不明なことが多いが、サンプル数ncが十分大きく、母集団の数Ncがサンプル数ncに比べてさらに十分大きいときは標本の標準偏差scをσcの代わりに用いても実用上ほとんど差し支えない。
【０２９３】
本実施の形態に戻って説明する。まず利用情報抽出手段２００３で求められた信頼度距離d1の出現頻度分布は、利用情報Inf2を正しく抽出できたか否かで大きく異なる。
【０２９４】
例えば、スタートビットInf1の検出に誤りがあった場合（オフセット合わせに失敗した場合）等には、利用情報Inf2が埋め込まれているはずの位置には実際にはビット情報が埋め込まれていないので、信頼度距離d1の出現頻度分布は図２５の正規分布２５０１の様になる。
【０２９５】
一方、正しく抽出できている場合には、利用情報Inf2を構成するビット情報“１”に対応する各信頼度距離d1が正規分布２５０２の位置に累積され、利用情報Inf2を構成するビット情報“０”に対応する各信頼度距離d1が正規分布２５０３の位置に累積される。よって、この場合には２つの“山”が現れる。この２つの“山”の大きさの比は、利用情報Inf2を構成するビット情報“１”と“０”の比とほぼ等しい。
【０２９６】
ただし、これは付加情報が埋め込まれていない元の画像に対して第１のパターン配列で畳み込み処理を行って得られる信頼度距離d1が、正規分布２５０１の様になることを前提としたものである。
【０２９７】
従って、現実的には、元の画像の状態を知らない限り、正しく抽出できているか否かの判断を行うことは出来ない。
【０２９８】
よって本実施の形態では付加情報が埋め込まれていても元の画像の状態を十分判別できる、いわゆる第２のパターン配列を用いて、信頼度距離d2の正規分布を生成し、この正規分布を２５０１として考えることによって、利用情報Inf2が正しく抽出できているか否かの判断を行う。
【０２９９】
例えば、信頼度距離d2で作成した正規分布２５０１を構成する斜線部分（中心から９５％までの構成要素）より外側に信頼度距離d1の出現頻度分布が存在すれば、対象となっている画像に統計的偏りが存在し、利用情報Inf2が埋め込まれていると考えることができ、利用情報Inf2の確からしさを統計的に判断することができる。この詳しい方法については後述する。
【０３００】
次に、付加情報Inf（利用情報Inf2）が埋め込まれている画像データを用いて、付加情報Infが埋め込まれる前の信頼度距離d1の出現頻度分布に類似するもの（図２５の様な正規分布２５０１）を生成する方法を説明する。
【０３０１】
本実施の形態では、第２のパターン配列による抽出手段２００５を用いて、正規分布２５０１に類似する分布を構成する信頼度距離d2を求める。
【０３０２】
第２のパターン配列による抽出手段２００５は、利用情報抽出手段２００３に用いた第１のパターン配列と“直交する”第２のパターン配列を用いて、信頼度距離d2を求める手段であり、畳み込み処理を行う点等、利用情報抽出手段２００３と動作自体はほぼ同じである。
【０３０３】
なお、対比説明の為、利用情報抽出装置２００３で用いた図９のパターン配列、及びこのパターン配列を配置する位置を参照する為のマスク（コーンマスク）を、夫々「第１のパターン配列」、及び「第１の位置参照マスク」と呼び、第１のパターン配列に“直交する”パターン配列、及びこのパターン配列を配置する位置を参照する為のマスクを、夫々「第２のパターン配列」、及び「第２の位置参照マスク」と呼ぶ。
【０３０４】
第２のパターン配列による抽出手段２００５に、まず、オフセット合わせ手段２００２から埋め込み開始座標を入力し、上述した図６の信頼度距離演算を用いて信頼度距離d2の計算も行う。
【０３０５】
この時、図６の信頼度距離演算で用いるパターン配列は埋め込みに用いた図９のパターン配列０９０１ではなく、このパターン配列０９０１に“直交する”パターン配列３６０１或いは３６０２を用いる。
【０３０６】
この理由は、図３３のパターン配列３６０１及び３６０２を用いて計算される信頼度距離d2には、付加情報Infの埋め込みに用いた図９のパターン配列０９０１で操作した影響がまったく反映されない為である。
【０３０７】
図３４に示す様に、図９のパターン配列０９０１とこれにこれに“直交する”上記パターン配列３６０１とを畳み込み処理した結果は０である。これはパターン配列３６０２についても同様である。即ち、第１、第２のパターン配列の畳み込み結果は０である。従って、元の画像の濃度が第１のパターン配列を用いて変更されていたとしても、第２のパターン配列を用いて畳み込み処理を行って得られる信頼度距離dには全く影響が無い。
【０３０８】
よって、付加情報Infが埋め込まれている画像に対して上記第２のパターン配列を用いた畳み込み処理を施して得られる信頼度距離d2の出現頻度分布は、図２５の正規分布２５０１とほぼ同様のものになる。従って上記出現頻度分布を正規分布２５０１とみなす。
【０３０９】
ここで得られる正規分布２５０１は、図３２の３５０７の統計検定処理に必要な判断基準となる。
【０３１０】
第２のパターン配列による抽出処理２００５は、上述の様に図３３の３６０１、３６０２の様な「第１のパターンとは“直交する”パターン配列」と、図３５の３８０２に示す第２の位置参照マスクを用いて、信頼度距離d2の正規分布を生成するである。
【０３１１】
なお、上記「第１のパターンとは直交するパターン配列」の条件を以下に示すと、
（１）図３３に示す様に、図９の０９０１と同じサイズであること
（２）パターン配列３６０１、３６０２の様に、付加情報Infの埋め込み時に用いた図９のパターン配列０９０１との畳み込み処理の結果が０になること
である。
【０３１２】
また、図３４に示す畳み込み処理は、図２１及び図２２に示される畳み込み処理と同じである。
【０３１３】
本実施の形態では、畳み込みの結果が０になることを、ベクトルの内積が直交する場合に０になっていることになぞらえ、「互いのパターン配列が“直交している”」と呼ぶ。従って図３３の３６０１、３６０２は「図９のパターン配列０９０１に“直交する”パターン配列」である。
【０３１４】
付加情報Infの埋め込み時に用いたパターン配列に“直交する”パターン配列を信頼度距離d2の計算に用いる理由は、信頼度距離d2の分布に統計的な偏りを存在させない、即ち０が中心の出現頻度分布を生成する為である。
【０３１５】
また、「第１のパターンとは“直交する”パターン配列」は、
（３）利用情報抽出処理２００３に用いたパターン配列の非零の要素と等しい数の非零の要素を持ち、正と負の要素の数が夫々等しいこと
も必要な条件である。これは同一の演算条件で、信頼度距離d1と信頼度距離d2が抽出される様にする為である。
【０３１６】
次に、本実施の形態では「第２の位置参照マスク」は、付加情報Infの埋め込み時に用いた３８０１とは別のパターンを有し、かつ３８０１とは異なるサイズの、図３５の３８０２に示される参照マスクを用いる。
【０３１７】
以上、上記第１と第２のパターン配列が異なっていれば信頼度距離d2の出現頻度分布はほぼ正規分布２５０１となる。
【０３１８】
しかしながら、スタートビットの検出位置が完全でない場合等には、第２のパターン配列を用いて畳み込みを行ったにも拘わらず統計的な偏りが検出されてしまう可能性も有る。本実施の形態ではこの可能性も考慮して、第１と第２の位置参照マスクの大きさを異ならせることで、周期的な要素を打ち消す様にする。或いはマスク内の各パターン配列の配置方法を異ならせることで、同一領域での畳み込みを行わない様にする。
【０３１９】
また、この場合には「第２の位置参照マスク」は、これを構成する各係数がランダムに分布していれば良く、コーンマスクでなくとも構わない。
【０３２０】
もし「第２の埋めこみ位置参照マスク」が、「第１の埋めこみ位置参照マスク」と異なる様に設定する場合には、「第２の埋めこみ位置参照マスク」は図２０の埋めこみ位置決定手段２００４で作成することとする。
【０３２１】
一般的には、上述した切り抜き耐性を考慮して、第１の位置参照マスク（コーンマスク）は、付加情報Infの埋め込み対象となる画像データ全体に対してそれほど大きなサイズを取ることは考えられない。よって、「第２の位置参照マスク」は比較的大きなものを用いると良い。本実施の形態では、付加情報Infを埋め込む時に参照する第１のマスクよりも、付加情報Inf側で信頼度距離d1を計算する際に用いる第２のマスクのサイズが大きくなる様に設定することとする。
【０３２２】
しかしながら本発明はこれに限らず、互いのマスクサイズが等しくてもある程度の効果を奏する。従って、「第２の位置参照マスク」は図２０の埋めこみ位置決定手段２００１で作成されるものでも良い。
【０３２３】
互いのマスクの最低限の条件としては、互いのマスクに適用される付加情報Infを構成する各ビットの繰り返し数が、同一サイズの画像領域内で等しいことが必要である。
【０３２４】
なお、第２のパターン配列による抽出処理で十分な結果が得られない場合は、上述した条件を備える別の第２のパターン配列や第２の位置参照マスクを用いて、再度信頼度距離d2を計算することにより、理想的な出現頻度分布である図２５の２５０１を生成できる可能性も有る。
【０３２５】
次に第２のパターン配列による抽出手段２００５の具体的な操作を示す。
【０３２６】
本実施の形態では、第１の位置参照マスクが３２×３２のコーンマスクで、第２の位置参照マスクが６４×６４のコーンマスクとし、２つのマスクにおいて、各係数の相対的な配列は全く異なっているとする。
【０３２７】
まず、第２のパターン配列による抽出手段２００５では、抽出位置の決定は以下の対応表３に従って行うこととする。
【０３２８】
【表３】
第２の位置参照マスクでは、同じ値の係数がマスク内に各１６個存在する。一方、３２×３２の第１の位置参照マスクは、先の対応例２でマスクの参照を行っている場合、３２×３２の中で同一係数の繰り返し数は４個である。即ち、同一サイズの画像データにおいては、第１の位置参照マスクも第２の位置参照マスクも同じ値の係数は同数存在する。
【０３３０】
本実施の形態では、上記対応表３の規則に従った位置関係に第２のパターン配列を割り当て、順次畳み込み処理を行い、各ビット情報に対応する６９個の信頼度距離d2を算出する。
【０３３１】
[３―６―２ 信頼性指標Ｄ]
第２のパターン配列による抽出手段２００５にて生成される信頼度距離d2は、ほぼ正規分布２５０１と同一の分布で出現するが、正規分布においては、一般的に以下の式(２５.１)の範囲で９５％のサンプル（信頼度距離d2）が出現することが知られている。
【０３３２】
m-1.96σ < d2 < m＋1.96σ … 式(２５.１)
ここで、σは上記信頼度距離d2についての標準偏差であり、mは平均である。
【０３３３】
なお上記場合の範囲のことを“９５％の信頼区間”と呼ぶ。
【０３３４】
m-1.96σ , m＋1.96σ は、第２のパターン配列による抽出手段２００５で信頼度距離d2が得られた後、これを用いて計算される。
【０３３５】
利用情報抽出手段２００３から統計検定手段２００６に入力される信頼度距離d1の出現頻度分布は、ビット情報が“１”の場合は図２５の正規分布２５０２になり、ビット情報が“０”の場合は正規分布２５０３になるので、利用情報Inf2に対応する信頼度距離d1は、第２のパターン配列による抽出手段２００５で求められる９５％の信頼区間（図２５の斜線部分）の外に存在する確率が非常に高い。
【０３３６】
ところで、オフセット合わせ手段２００２の処理時点で、この処理の対象となる画像に利用情報Inf2が存在しない場合には、信頼度距離d1の出現頻度分布も正規分布２５０１の様になる。
【０３３７】
この場合、利用情報Inf2に対応する６４個の信頼度距離d1の全てが式(２５.１)の信頼区間に含まれない確率は、(１−０．９５)の６４乗と非常に小さい。
【０３３８】
従って、信頼度距離d2に基づいて正規分布２５０１を求めておけば、この正規分布の大半を占める範囲に、信頼度距離d1に基づいて求められた出現頻度分布が含まれるか否かを考えることにより、付加情報Inf（利用情報Inf2）が埋め込まれているか否かをほぼ確実に判断できる。
【０３３９】
統計検定手段２００６では、上述した様な性質を用いて付加情報Inf（利用情報Inf2）が埋め込まれていることの信頼度を判断する。
【０３４０】
本実施の形態では、利用情報Infが埋め込まれていることの信頼度を、信頼性指標Ｄとして扱う。
【０３４１】
この信頼性指標Ｄは、利用情報抽出手段２００３で生成する全ての信頼度距離d1における、式(２５.１)の範囲の外に存在する信頼度距離d1の個数の割合で定義される。
【０３４２】
統計検定手段２００６は、この信頼性指標Ｄが閾値αより大きければ、信頼度距離d1の総合的な出現頻度分布は図２５の２５０２や２５０３の様な位置に人為的に偏らされているもの、即ち利用情報Inf2が確実に埋め込まれている画像であると判断する。
【０３４３】
従って、ここでの判定に使用された信頼度距離d1自体が、信頼性の有る情報であると考え、この信頼度距離d1を更に後段の比較手段２００７へ転送することを許可する。
【０３４４】
なお、信頼性指標Ｄは、図３２の信頼性表示ステップ３５１０に示される様に、利用情報Inf2の信頼性指標Ｄ、或いは指標Ｄに基づくメッセージをモニタ等に表示しても良い。
【０３４５】
例えば、信頼性指標Ｄが閾値αより大きくない場合は、「利用情報Inf2は正確に抽出できていません」との趣旨のメッセージを表示させ、図３２の統計検定ステップ３５０７から画像を再度入力するステップ３５０２に戻る。
【０３４６】
［３−７ 比較処理］
図２０の比較手段２００７は、利用情報抽出手段２００３と統計検定手段２００６とを経て出力された信頼度距離d1の値を入力する。ここに入力される信頼度距離d1は信頼性の高い情報であるので、ここでは信頼度距離d1に対応する各ビット情報が“１”と“０”の何れであるかを単純に判定するだけで良い。
【０３４７】
具体的には、利用情報Inf2を構成するあるビット情報の信頼度距離d1が正であれば、このビット情報が“１”であると判定し、信頼度距離d1が負の場合はこのビット情報が“０”であると判定する。
【０３４８】
上記判定により得られた利用情報Inf2は、ユーザーの参照情報、或いは制御信号にする為の最終的なデータとして出力される。
【０３４９】
以上で、付加情報の埋め込みから抽出までの一連の処理の説明を終わる。
【０３５０】
（変形例）
以上の実施の形態において、付加情報Inf（利用情報Inf2）には誤り訂正符号化されたものを用いることも可能であり、そうする事によって、更に抽出された利用情報Inf2の信頼性が向上する。
【０３５１】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムの１部として適用しても、１つの機器（たとえば複写機、ファクシミリ装置）からなるものの１部に適用してもよい。
【０３５２】
また、本発明は上記実施の形態を実現する為の装置及び方法のみに限定されるものではなく、上記システム又は装置内のコンピュータ（CPUあるいはMPU）に、上記実施の形態を実現する為のソフトウエアのプログラムコードを供給し、このプログラムコードに従って上記システムあるいは装置のコンピュータが上記各種デバイスを動作させることにより上記実施の形態を実現する場合も本発明の範疇に含まれる。
【０３５３】
またこの場合、前記ソフトウエアのプログラムコード自体が上記実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給する為の手段、具体的には上記プログラムコードを格納した記憶媒体は本発明の範疇に含まれる。
【０３５４】
この様なプログラムコードを格納する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
【０３５５】
また、上記コンピュータが、供給されたプログラムコードのみに従って各種デバイスを制御することにより、上記実施の形態の機能が実現される場合だけではなく、上記プログラムコードがコンピュータ上で稼働しているOS(オペレーティングシステム)、あるいは他のアプリケーションソフト等と共同して上記実施の形態が実現される場合にもかかるプログラムコードは本発明の範疇に含まれる。
【０３５６】
更に、この供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって上記実施の形態が実現される場合も本発明の範疇に含まれる。
【０３５７】
なお、上記実施の形態ではコーンマスクを用いて電子透かし情報を埋め込む場合について説明したが、本発明はこれに限らない。特にブルーノイズマスクを用いて電子透かし情報を埋め込む場合も本発明の範疇に含まれる。
【０３５８】
また、上述した種々の特徴点の少なくとも１つを含む構成であれば本発明の範疇に含まれる。
【０３５９】
【発明の効果】
以上説明したように本発明によれば、電子透かし情報が埋め込まれた画像に幾何的な歪みや非可逆圧縮が与えられた場合においても、この歪みを的確に判断できる様にし、結果的に後段の電子透かし情報の抽出を正確に行える。
【図面の簡単な説明】
【図１】電子透かし埋め込み装置の全体構成ブロック図
【図２】電子透かし抽出装置の全体構成ブロック図
【図３】印刷系処理において抽出側で生成された画像データの一例を示す図
【図４】レジストレーション信号埋め込み手段のブロック図
【図５】レジストレーション信号を説明する図
【図６】信頼度距離演算手段を示す図
【図７】スケール合わせ手段のブロック図
【図８】レジストレーション信号の抽出を説明する図
【図９】付加情報の埋め込み時及び抽出時に用いるパターン配列を示す図
【図１０】付加情報埋め込み手段のブロック図
【図１１】埋め込み位置決定手段のブロック図
【図１２】コーンマスク及びブルーノイズマスクの係数値の出現頻度分布を示す図
【図１３】人間の視覚の空間周波数特性を示す図
【図１４】ブルーノイズマスク、コーンマスクの空間周波数特性を示す図
【図１５】位置参照マスクを説明する図
【図１６】位置参照マスク内の埋め込み位置を示す概念図
【図１７】図１６のマスクに各パターン配列を展開する様子を示す図
【図１８】全画像において付加情報Infの埋め込みに必要な領域を示す図
【図１９】付加情報Infを埋め込む演算を説明する図
【図２０】付加情報抽出手段を説明する図
【図２１】付加情報Infを抽出する様子を説明する図
【図２２】付加情報Infが存在しないにも拘わらず、抽出しようとした様子を示す図
【図２３】原画像から信頼度距離dを抽出した場合の理想的な出現頻度分布を示す図
【図２４】電子透かしが埋め込まれた画像から信頼度距離dを抽出した場合を示す図
【図２５】本実施の形態における信頼度距離d1,d2の出現頻度分布の例を説明する図
【図２６】レジストレーション信号の埋め込みと抽出の原理を説明する図
【図２７】オフセット合わせ処理を行う様子を示した図
【図２８】オフセット合わせ処理を説明するフローチャート
【図２９】空間領域におけるレジストレーション信号埋め込み手段のブロック図
【図３０】パッチーワーク法における二つの集合を説明する図
【図３１】電子透かし埋め込み処理の全体を説明するフローチャート
【図３２】電子透かし抽出処理の全体を説明するフローチャート
【図３３】図９のパターンに直交するパターン配列の例を示す図
【図３４】“直交する”パターン配列を説明する図
【図３５】第１、第２の位置参照マスクを示した図
【図３６】付加情報Infの構成を示す図
【図３７】ブルーノイズマスク内の各係数の一例を示す図
【図３８】コーンマスクの画素値の各係数の一例を示す図
【符号の説明】
０１０１ 色成分抽出手段
０１０２ レジストレーション信号埋め込み手段
０１０３ 埋め込み位置決定手段
０１０４ 付加情報埋め込み手段
０１０５ 色成分合成手段
Claims (9)
- 画像データの幾何学的な状態を示すレジストレーション信号、及び前記画像データに電子透かし情報が予め人間に目視しにくく埋め込まれている画像データから、該電子透かし情報を抽出する画像処理装置であって、
前記画像データを周波数変換する変換手段と、
前記変換手段により得られる信号に微分処理を施す微分手段と、
前記微分手段で得られた信号と、前記レジストレーション信号に関する情報とに基づいて、前記画像データの幾何学的な補正を行う補正手段と、
前記補正が施された画像データから前記電子透かし情報を抽出する抽出手段を有し、
前記レジストレーション信号は、前記画像データの周波数領域における中間レベルの周波数に配置されるインパルス信号であることを特徴とする画像処理装置。 - 前記幾何学的な補正はスケーリングであることを特徴とする請求項１に記載の画像処理装置。
- 前記微分処理は二次微分処理であることを特徴とする請求項１又は２に記載の画像処理装置。
- 更に、前記変換手段は、前記画像データの一部の色成分に対してのみ周波数変換を行うことを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
- 前記一部の色成分は青色成分であることを特徴とする請求項４に記載の画像処理装置。
- 画像データの幾何学的な状態を示すレジストレーション信号、及前記画像データに電子透かし情報が予め人間に目視しにくく埋め込まれている画像データから、該電子透かし情報を抽出する画像処理方法であって、
前記画像データを周波数変換する変換ステップと、
前記変換ステップで得られる信号に微分処理を施す微分ステップと、
前記微分ステップで得られた信号と、前記レジストレーション信号に関する情報とに基づいて、前記画像データの幾何学的な補正を行う補正ステップと、
前記補正が施された画像データから前記電子透かし情報を抽出する抽出ステップを有し、
前記レジストレーション信号は、前記画像データの周波数領域における中間レベルの周波数に配置されるインパルス信号であることを特徴とする画像処理方法。 - 前記幾何学的な補正はスケーリングであることを特徴とする請求項６に記載の画像処理方法。
- 前記微分処理は二次微分処理であることを特徴とする請求項６又は７に記載の画像処理方法。
- コンピュータに、請求項６〜８の何れか１項に記載の画像処理方法の手順を実行させるプログラムを記憶したことを特徴とする、コンピュータにより読み取り可能な記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29816199A JP3869983B2 (ja) | 1999-10-20 | 1999-10-20 | 画像処理装置及び方法及び記憶媒体 |
| US09/688,108 US6826290B1 (en) | 1999-10-20 | 2000-10-16 | Image processing apparatus and method and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29816199A JP3869983B2 (ja) | 1999-10-20 | 1999-10-20 | 画像処理装置及び方法及び記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001119559A JP2001119559A (ja) | 2001-04-27 |
| JP3869983B2 true JP3869983B2 (ja) | 2007-01-17 |
Family
ID=17855998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29816199A Expired - Fee Related JP3869983B2 (ja) | 1999-10-20 | 1999-10-20 | 画像処理装置及び方法及び記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3869983B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100837839B1 (ko) * | 2001-10-25 | 2008-06-13 | 주식회사 케이티 | 속도변경 공격으로 훼손된 오디오 워터마크 복구 장치 및그 방법 |
| KR100454668B1 (ko) * | 2001-12-27 | 2004-11-05 | 한국전자통신연구원 | 템플레이트를 포함하는 워터마크 삽입 및 검출 시스템 |
| US10757292B1 (en) * | 2019-04-10 | 2020-08-25 | Beyontech, Inc | Method of embedding and extracting watermark data from original image adjusted with noise based image converted using watermark |
-
1999
- 1999-10-20 JP JP29816199A patent/JP3869983B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001119559A (ja) | 2001-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4218920B2 (ja) | 画像処理装置及び画像処理方法並びに記憶媒体 | |
| US6741758B2 (en) | Image processor and image processing method | |
| US7142689B2 (en) | Image processing apparatus for determining specific images | |
| US6873711B1 (en) | Image processing device, image processing method, and storage medium | |
| US6826290B1 (en) | Image processing apparatus and method and storage medium | |
| JP2001218006A (ja) | 画像処理装置、画像処理方法および記憶媒体 | |
| US6993154B2 (en) | Measuring digital watermark strength using error correction coding metrics | |
| US7978877B2 (en) | Digital watermark embedding method, digital watermark embedding apparatus, and storage medium storing a digital watermark embedding program | |
| Kacker et al. | Joint halftoning and watermarking | |
| JP3647405B2 (ja) | 画像処理装置及び画像処理方法 | |
| US6993148B1 (en) | Image processing apparatus and method, and storage medium | |
| KR20030051712A (ko) | 하프톤 워터마킹 및 관련 응용들 | |
| He et al. | A practical print-scan resilient watermarking scheme | |
| JP2003143388A (ja) | 画像処理方法およびその装置ならびに印刷物 | |
| Chen et al. | High-quality blind watermarking in halftones using random toggle approach | |
| JP4311698B2 (ja) | 画像処理装置及び画像処理方法並びに記録媒体 | |
| JP3809310B2 (ja) | 画像処理装置及び方法及び記憶媒体 | |
| JP3884891B2 (ja) | 画像処理装置及び方法及び記憶媒体 | |
| JP3869983B2 (ja) | 画像処理装置及び方法及び記憶媒体 | |
| JP6920719B2 (ja) | 電子透かし装置および方法 | |
| JP2001119558A (ja) | 画像処理装置及び方法及び記憶媒体 | |
| JP3684181B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3740338B2 (ja) | 画像処理装置及び方法及び記憶媒体 | |
| JP3787511B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3684178B2 (ja) | 画像処理装置及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060622 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060627 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060828 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060926 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061016 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091020 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121020 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131020 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |