JP4866698B2 - 埋め込み情報再生装置、改竄検知装置及び埋め込み情報再生方法 - Google Patents

Description

本発明は、画像に埋め込まれている情報を再生する埋め込み情報再生装置、改竄検知装置及び埋め込み情報再生方法に関する。

画像に対する他の情報の重畳は、副次的な情報を記録できたり、改竄や偽造等の防止が可能になる。画像への他の情報の重畳の技術は、例えば特許文献１、特許文献２に開示されている。特許文献１は、画質劣化が生じることなく可及的に多くのコード情報を付加し、付加した情報を確実に検出することを開示する。特許文献２は、例えば画素だけを選定して反転して透かし情報を埋め込み、輝度値を正負反転させることにより透かし情報を抽出することを開示する。
特開平１１−３２２０５号公報 特開２００４−２８９７８３号公報

本発明の主要な局面に係る埋め込み情報再生装置は、埋め込み情報が埋め込まれた画像を読み取り、画像の画像信号を出力する画像入力部と、画像入力部から出力された画像信号から中間調の階調の領域を抽出する像域分離部と、画像入力部から出力された画像信号から像域分離部により抽出された中間調領域に対してマスクし、マスクされなかった領域の画像信号を出力するマスク部と、マスク部から出力された画像信号に対するスペクトル解析を行うスペクトル解析部と、スペクトル解析部によるスペクトル解析の結果と予め設定された情報とに基づいて画像信号に埋め込まれている埋め込み情報を抽出する情報抽出部とを具備する。

以下、本発明の第１の実施の形態について図面を参照して説明する。
図１は埋め込み情報再生装置のブロック構成図を示す。画像入力部１は、埋め込み情報が埋め込まれた画像を読み取り、画像の画像信号を出力する。画像入力部１は、例えばスキャナ等を有する。
ここで、埋め込み情報再生装置が再生を行う前提となる埋め込み情報が埋め込まれた画像について説明する。図２は情報埋め込み装置のブロック構成図を示す。画像入力部２０は、画像を画像信号Ｐ（ｘ，ｙ）として入力する。画像入力部１は、例えばスキャナを有する。スキャナは、画像記録媒体として例えば用紙に記録された画像を読み取り、画像信号Ｐ（ｘ，ｙ）を出力する。
平滑化部２１は、画像入力部２０から出力された画像信号Ｐ（ｘ，ｙ）を平滑化する。
情報入力部２２は、画像入力部２０により入力された画像信号Ｐ（ｘ，ｙ）に埋め込む埋め込み情報を入力する。埋め込み情報は、例えば有限ｂｉｔのデジタル信号として表現される。本実施の形態において埋め込み情報は、例えば１６ｂｉｔのデジタル信号とする。
変調部２３は、情報入力部２２から入力された埋め込み情報を重畳した重畳信号Ｑ（ｘ，ｙ）を生成する。変調部２３は、重畳信号Ｑ（ｘ，ｙ）を例えば１６種類の空間周波数の２次元の正弦波の重ね合せにより生成する。式（１）は、重畳信号Ｑ（ｘ，ｙ）を生成する式を示す。

但し、ｘ，ｙは画像上の画素の座標値、Ｑ（ｘ，ｙ）は座標ｘ，ｙでの重畳信号の値、ｕｋ，ｖｋはそれぞれｋ番目の周波数成分を示す。
ｆｋは埋め込み情報のｋｂｉｔ目の値を表し、ｆｋ＝０又は１である。なお、０≦ｋ≦−５である。
Ａは重畳信号Ｑ（ｘ，ｙ）の強度を表す。ここでは画像信号Ｐ（ｘ，ｙ）の最大強度を１とし、Ａ＝０．２とする。また、clip（ｘ）は、値を±０，５以内にクリップする関数である。clip（ｘ）を次式（２）〜式（４）に示す。
ｉｆ（ｘ＜−０．５） clip（ｘ）＝−０．５ …（２）
ｉｆ（ｘ＞０．５） clip（ｘ）＝０．５ …（３）
ｉｆ（０．５＞ｘ＞−０．５ clip（ｘ）＝ｘ …（４）
ｕｋ，ｖｋは、埋込む正弦波のｋ番目の周波数成分を表す。ｕｋ，ｖｋは、任意の値を設定してよい。

図３は埋込む正弦波のｋ番目の周波数成分ｕｋ，ｖｋのｕｖ座標系上の配置図を示す。周波数成分ｕｋ，ｖｋの配置は、周波数分布が原点について点対称となる。従って、ｖ＜０の領域（第３象限、第４象限）は省略してある。図４は同周波数成分ｕｋ，ｖｋの対応を示す。
重畳部２４は、平滑化部２１により平滑化された画像信号Ｐ２（ｘ，ｙ）のエッジ部に対して変調部２３により生成された重畳信号Ｑ（ｘ，ｙ）を加える。
２値化部２５は、重畳信号Ｑ（ｘ，ｙ）が加えられ画像信号を２値化し、エッジ部に埋め込み情報に応じた凹凸形状を付加する。
画像出力部２６は、２値化部２５により２値化された画像信号を出力する。画像出力部２６から出力された２値化の画像信号は、例えばハードディスク等に保存されたり、又は直接プリンタにより画像記録媒体に印刷される。画像記録媒体に印刷された画像は、画像信号Ｐ（ｘ，ｙ）のエッジ部に埋め込み情報に応じた凹凸形状が付加されている。

図１においてスペクトル解析部２は、画像入力部１から出力された画像信号に対するスペクトル解析を行う。先ず、スペクトル解析部２は、図５に示すように画像信号による画像を複数のブロック、例えば１６個の各ブロック「１」〜「１６」に分割する。各ブロック「１」〜「１６」は、例えば６４画素×６４画素の正方形である。次に、スペクトル解析部２は、各ブロック「１」〜「１６」の各画像に対してそれぞれスペクトル解析、すなわちフーリエ変換を行う。次に、スペクトル解析部２は、フーリエ変換の結果である各周波数毎の絶対値の２乗を計算する。例えば、プロッターの画素値をｐｉ（ｘ，ｙ）とすると、そのスペクトルＦｉ（ｕ，ｖ）は、式（５）、式（６）により表わされる。

ただし、ｊは虚数単位、｜ａ｜はａの絶対値を表す。

各ブロック「１」〜「１６」までについて上記計算したスペクトルの各周波数毎の平均値Ｆ（ｕ，ｖ）を計算する。平均値Ｆ（ｕ，ｖ）の計算式を式（７）に示す。

スペクトル解析部２は、平均値Ｆ（ｕ，ｖ）の計算結果をスペクトル信号として出力する。スペクトル解析部２は、例えばＦＦＴ等によってスペクトル解析を高速に算出する。スペクトル解析部２は、スペクトル解析を専用のハードウエアで構成してもよい。この場合は、ＦＦＴを用いることによりスペクトル解析部２は、比較的小さい回路規模で実現できる。
埋め込み周波数記憶部３は、画像への埋め込みに用いたパラメータ、すなわち画像への前記埋め込み情報の埋め込みに用いた空間周波数情報を既知の情報として記憶する。すなわち、埋め込み周波数記憶部３は、例えば上記図３及び図４に示すように１６組の空間周波数情報（ｕｋ，ｖｋ）をテーブル化して記憶する。

情報抽出部４は、スペクトル解析部２によるスペクトル解析の結果と埋め込み周波数記憶部３に記憶されている空間周波数情報（ｕｋ，ｖｋ）とに基づいて画像信号に埋め込まれている埋め込み情報を抽出する。
情報抽出部４は、ｋ＝１〜１６までのｋに応じた空間周波数（ｕｋ，ｖｋ）を埋め込み周波数記憶部３から読み出し、読み出した空間周波数（ｕｋ，ｖｋ）の周波数のスペクトル信号Ｆ（ｕｋ，ｖｋ）を求める。情報抽出部４は、スペクトル信号Ｆ（ｕｋ，ｖｋ）と所定の閾値Ｔと比較する。比較の結果、情報抽出部４は、スペクトル信号Ｆ（ｕｋ，ｖｋ）が閾値Ｔより大きければ情報を「１」、小さければ情報を「０」とする。そして、情報抽出部４は、ｋ＝１〜１６までの１６個の情報「１」又は「０」を並べ、１６ｂｉｔの埋め込み情報を再生する。埋め込み情報は、２バイトの信号として表せる。しかるに、情報抽出部４は、埋め込み情報を２バイトの信号として出力する。

閾値Ｔは、ｋによらず一定としているが、ｋにより値を変えてもよい。例えば閾値Ｔは、ｕｋ，ｖｋの値が原点より遠いほど小さくする。一般のスキャナは、高い空間周波数ほど読み取りレスポンスが低くなる特性を持つ。これにより、一般のスキャナは、高い周波数程スペクトルが低くなる傾向にある。従って、例えば閾値Ｔをｕｋ，ｖｋの値が原点より遠いほど小さくすることによって一般のスキャナにおける高い周波数程スペクトルが低くなる傾向を補償できる。

次に、上記の如く構成された装置による埋め込み情報の再生動作について説明する。
画像入力部１は、埋め込み情報が埋め込まれた画像を読み取る。画像は、例えば画像記録媒体に印刷されている。画像は、例えば線分等のエッジ部に埋め込み情報に応じた凹凸形状が付加されている。画像入力部１は、読み取った画像の画像信号を出力する。
スペクトル解析部２は、画像入力部１から出力された画像信号を入力する。スペクトル解析部２は、図５に示すように画像信号による画像を複数のブロック、例えば１６個の各ブロック「１」〜「１６」に分割する。次に、スペクトル解析部２は、各ブロック「１」〜「１６」の各画像に対してそれぞれフーリエ変換を行う。
次に、スペクトル解析部２は、上記各式（５）（６）を演算してフーリエ変換の結果である各周波数毎の絶対値の２乗を計算する。次に、スペクトル解析部２は、上記式（７）を演算して各ブロック「１」〜「１６」について上記計算したスペクトルの各周波数毎の平均値Ｆ（ｕ，ｖ）を計算する。スペクトル解析部２は、平均値Ｆ（ｕ，ｖ）の計算結果をスペクトル信号として出力する。

情報抽出部４は、埋め込み周波数記憶部３からｋ＝１〜１６までのｋに応じた空間周波数（ｕｋ，ｖｋ）を読み出す。情報抽出部４は、読み出した空間周波数（ｕｋ，ｖｋ）の周波数のスペクトル信号Ｆ（ｕｋ，ｖｋ）を求める。
次に、情報抽出部４は、スペクトル解析部２から出力されたスペクトル信号Ｆ（ｕｋ，ｖｋ）と所定の閾値Ｔと比較する。比較の結果、スペクトル信号Ｆ（ｕｋ，ｖｋ）が閾値Ｔより大きければ、情報抽出部４は、情報を「１」とする。スペクトル信号Ｆ（ｕｋ，ｖｋ）が閾値Ｔより小さければ、情報抽出部４は、情報を「０」とする。
次に、情報抽出部４は、ｋ＝１〜１６までの１６個の情報「１」又は「０」を並べ、１６ｂｉｔの埋め込み情報を再生する。埋め込み情報は、２バイトの信号として表せる。しかるに、情報抽出部４は、埋め込み情報を２バイトの信号として出力する。

このように上記第１の実施の形態によれば、画像入力部１により埋め込み情報が埋め込まれた画像を読み取り、スペクトル解析部２により画像信号Ｐ（ｘ，ｙ）に対するスペクトル解析を行い、情報抽出部４によりスペクトル解析部２によるスペクトル解析の結果と埋め込み周波数記憶部３に記憶されている空間周波数情報とに基づいて画像信号Ｐ（ｘ，ｙ）に埋め込まれている埋め込み情報を抽出する。これにより、簡易な処理で、例えば線分等のエッジ部に埋め込み情報に応じた凹凸形状が付加されている画像から埋め込み情報を再生できる。

画像入力部１と、スペクトル解析部２と、情報抽出部４とは、ＣＰＵによってソフトウエアを実行することにより実現する。これにより、画像から埋め込み情報の再生は、短い処理時間で実行できる。画像入力部１と、スペクトル解析部２と、情報抽出部４との各処理を専用ハードウエアで実現すれば、回路規模は小さくできる。

次に、本発明の第２の実施の形態について図面を参照して説明する。なお、図１と同一部分には同一符号を付してその詳しい説明は省略する。
図６は埋め込み情報再生装置のブロック構成図を示す。本埋め込み情報再生装置は、図表や写真などのハーフトーンを有する画像から埋め込み情報を再生する。
像域分離部３０は、中間調領域の抽出を行う。中間調領域は、例えば写真、図表などのように網点により階調を表現している画像領域である。中間調領域の分離方法は、いくつかの方式がある。本実施の形態は、例えばスメアリングによる方法を用いる。

先ず、像域分離部３０は、画像信号Ｐ（ｘ，ｙ）を適当な所定の閾値Ｔｈによって２値化する。すなわち画素値が所定の閾値Ｔｈ以下の画素を黒レベル「０」とする。所定の閾値Ｔｈ以上の画素を白レベル「１」とする。２値化により得られた２値画像をＱ（ｘ，ｙ）とする。以下に２値化処理の式に示す。
ｉｆ（Ｐ（ｘ）≧Ｔｈ）Ｑ（ｘ）＝１ …（８）
ｉｆ（Ｐ（ｘ）＜Ｔｈ）Ｑ（ｘ）＝０ …（９）
次に、像域分離部３０は、黒レベル「０」の画素を縦横４方向に所定画素数Ｎだけ膨張する。この結果をＱ２（ｘ，ｙ）とする。すなわち、ある画素が黒レベル「０」の画素である場合、当該画素に対して上下左右の４方向の各Ｎ画素以内にある各画素を黒レベル「０」の画素に変更する。例えば、所定画素数Ｎ＝２の場合の処理例を次式に示す。

ｉｆ（Ｑ（x-2，y）=０）or（Ｑ（x-1，y）=０）or（Ｑ（x，y）=０）or
（Ｑ（x+1，y）=０）or（Ｑ（x+2，y）=０）or（Ｑ（x，y-2）=０）or
（Ｑ（x，y-1）=０）or（Ｑ（x，y+1）=０）or（Ｑ（x，y+2）=０））
Ｑ２（x，y）=０ …（１０）
else Ｑ２（x，y）=１
閾値Ｔｈは、中間調画像に用いられる網点の周期の半分又は網点の周期の半分以上の値に設定する。以上の処理により像域分離部３０は、網点領域のように小さい形状の黒領域同士が狭い間隔で隣接している場合、これら黒領域は連結した１つの領域とする。

次に、像域分離部３０は、連結した各黒領域の縦方向の長さと横方向の長さとを計測する。像域分離部３０は、縦方向の長さと横方向の長さが所定の閾値以上ならば、中間調領域と判定する。像域分離部３０は、縦方向の長さと横方向の長さが所定の閾値以上でなければ、文字／線画領域と判定する。
すなわち、文字や線画は、線要素より構成されている。このため、縦方向又は横方向の長さは所定値以下となる。中間調領域は、縦横方向共にある程度以上の長さがある。従って、像域分離部３０は、上記判定条件により中間調領域を判定することができる。しかるに、像域分離部３０は、例えば中間調領域と判定された画素を「１」、それ以外の画素を「０」とする判定信号を出力する。
図７Ａ及び図７Ｂは中間調領域の判定例を示す。図７Ａに示す黒領域Ｋ_１は、横方向の大きさが所定の閾値Ｔ_Ｌ以下である。このため、黒領域Ｋ_１は、中間調領域とは判定されない。一方、図７Ａに示す黒領域Ｋ_２は、縦方向と横方向との大きさがそれぞれ所定の閾値Ｔ_Ｌ以上である。これにより、黒領域Ｋ_２は、中間調領域とは判定される。

マスク部３１は、画像入力部１から出力された画像信号Ｐ（ｘ，ｙ）から像域分離部３０により抽出された中間調領域に対してマスクし、マスクされなかった領域の画像信号Ｐ（ｘ，ｙ）をスペクトル解析部に送る。すなわち、マスク部３１は、像域分離部３０から出力された判定信号に従って画像信号Ｐ（ｘ，ｙ）に対してマスクを行う。像域分離部３０から出力された判定信号が「１」の場合（中間調領域）、マスク部３１は、画像信号Ｐ（ｘ，ｙ）を強制的に「０」にする。像域分離部３０から出力された判定信号が「０」の場合、マスク部３１は、画像信号Ｐ（ｘ，ｙ）をそのまま出力する。これにより、画像信号Ｐ（ｘ，ｙ）から中間調領域の網点成分が消去される。

次に、上記の如く構成された装置による埋め込み情報の再生動作について説明する。
画像入力部１は、埋め込み情報が埋め込まれた画像を読み取り、読み取った画像の画像信号を出力する。
像域分離部３０は、画像入力部１から出力された画像信号を入力する。像域分離部３０は、例えば写真、図表などのように網点により階調を表現している中間調領域の抽出を行う。像域分離部３０は、例えば上記のスメアリングによる方法を用いて中間調領域を分離する。像域分離部３０は、例えば中間調領域と判定された画素を「１」、それ以外の画素を「０」とする判定信号を出力する。

マスク部３１は、画像入力部１から出力された画像信号から像域分離部３０により抽出された中間調領域に対してマスクし、マスクされなかった領域の画像信号をスペクトル解析部に送る。すなわち、マスク部３１は、像域分離部３０から出力された判定信号が「１」の場合、画像信号を強制的に「０」にする。これにより、画像信号から中間調領域の網点成分が消去される。マスク部３１は、像域分離部３０から出力された判定信号が「０」の場合、画像信号をそのまま出力する。

スペクトル解析部２は、マスク部３１から出力された画像信号を入力し、上記第１の実施の形態と同様に、画像信号Ｐ（ｘ，ｙ）に対するスペクトル解析を行う。スペクトル解析部２は、スペクトル解析のスペクトル信号Ｆ（ｕｋ，ｖｋ）を出力する。
情報抽出部４は、埋め込み周波数記憶部３からｋ＝１〜１６までのｋに応じた空間周波数（ｕｋ，ｖｋ）を読み出す。情報抽出部４は、読み出した空間周波数（ｕｋ，ｖｋ）の周波数のスペクトル信号Ｆ（ｕｋ，ｖｋ）を求める。

情報抽出部４は、スペクトル解析部２から出力されたスペクトル信号Ｆ（ｕｋ，ｖｋ）と所定の閾値Ｔとを比較し、スペクトル信号Ｆ（ｕｋ，ｖｋ）が閾値Ｔより大きければ情報を「１」とし、スペクトル信号Ｆ（ｕｋ，ｖｋ）が閾値Ｔより小さければ情報を「０」とする。情報抽出部４は、ｋ＝１〜１６までの１６個の情報「１」又は「０」を並べ、１６ｂｉｔの埋め込み情報を再生する。

このように上記第２の実施の形態によれば、像域分離部３０とマスク部３１とにより中間調領域の網点成分を消去する。すなわち、例えば写真、図表などのように網点により階調を表現している中間調領域が画像信号から消去される。これにより、画像信号に図表や写真などのハーフトーンが含まれていても、スペクトル解析部２によって網点のスペクトル成分を埋め込み情報と誤認識することを防ぐことができる。この結果、本実施の形態の情報再生方式を用いれば、中間調を含む原稿にも情報を埋め込むことができる。

次に、本発明の第３の実施の形態について図面を参照して説明する。なお、図６と同一部分には同一符号を付してその詳しい説明は省略する。
図８は埋め込み情報再生装置のブロック構成図を示す。像域分離部３０は、上記第２の実施の形態と同様に、例えば中間調領域と判定された画素を「１」、それ以外の画素を「０」とする判定信号を出力する。この判定信号は、スペクトル解析部３２にも送られる。
スペクトル解析部３２は、上記第１の実施の形態と同様に、画像入力部１から出力された画像信号を入力する。スペクトル解析部２は、図５に示すように画像信号による画像を複数のブロック、例えば１６個の各ブロック「１」〜「１６」に分割する。次に、スペクトル解析部２は、各ブロック「１」〜「１６」の各画像に対してそれぞれフーリエ変換を行う。
ここで、各ブロック「１」〜「１６」の全部又は殆どが中間調領域の場合、各ブロック「１」〜「１６」の領域に情報が埋め込まれていない。このため、各ブロック「１」〜「１６」に対してスペクトル解析を行っても有意なスペクトル情報が抽出できない。処理が無駄であるだけでなく、情報抽出の精度が低下する。
従って、スペクトル解析部３２は、像域分離部３０により抽出された中間調領域を有する各ブロック「１」〜「１６」に対するスペクトル解析を行わない。図９はスペクトル解析を行わない中間調領域を有する各ブロックの模式図を示す。領域Ｈは中間調領域を有する各ブロックｈ_１〜ｈ_４を有する。スペクトル解析部２は、各ブロックｈ_１〜ｈ_４に対してスペクトル解析を行わない。

図５と図９とを対比すると、図９にはスペクトル解析を行わない４個のブロックｈ_１〜ｈ_４が存在する。これにより、図５に示す各ブロック「１」〜「１６」から４個のブロックｈ_１〜ｈ_４が減少する。スペクトル解析部２は、図９に示すように新たな４個のブロックを追加し、１６個のブロック「１」〜「１６」を作成する。
スペクトル解析部３２は、新たな４個のブロックを含む各ブロック「１」〜「１６」毎にそれぞれスペクトル解析を行い、これらスペクトルの各周波数の平均値を求める。すなわち、スペクトル解析部２は、上記各式（５）（６）を演算してフーリエ変換の結果である各周波数毎の絶対値の２乗を計算する。次に、スペクトル解析部２は、上記式（７）を演算して各ブロック「１」〜「１６」について上記計算したスペクトルの各周波数毎の平均値Ｆ（ｕ，ｖ）を計算する。スペクトル解析部２は、平均値Ｆ（ｕ，ｖ）の計算結果をスペクトル信号として出力する。

このように上記第３の実施の形態によれば、像域分離部３０から出力される例えば中間調領域の判定信号をスペクトル解析部３２にも送るようにした。これにより、中間調領域を除去してからスペクトル解析が行われる。中間調領域に含まれる網点のスペクトル成分の影響を受けずに、線のエッジの周波数情報だけが再生できる。

次に、本発明の第４の実施の形態について図面を参照して説明する。なお、図６と同一部分には同一符号を付してその詳しい説明は省略する。

図１０は埋め込み情報再生装置のブロック構成図を示す。本埋め込み情報再生装置は、冗長なスペクトル成分を埋込んだ画像を対象とする。本埋め込み情報再生装置は、画像に本来存在するスペクトルのピークなどがあっても、このスペクトルの影響を受けずに埋め込み情報を精度高く再生する。
画像入力部４０は、埋め込み情報が埋め込まれた画像を読み取り、画像の画像信号を出力する。画像入力部４０は、例えばスキャナ等を有する。読み取られる画像には、冗長なスペクトルが埋め込まれている。すなわち１つのｂｉｔに対して２つの周波数スペクトルが割り当てられている。ｂｉｔが「０」の場合、一方の周波数スペクトルが埋め込まれる。ｂｉｔが「１」の場合、他方の周波数成分スペクトルが埋め込まれる。
ここで、埋め込み情報再生装置が再生を行う前提となる埋め込み情報が埋め込まれた画像について説明する。同情報埋め込み装置の構成は、上記図２に示すブロック構成図と同一なので、同図を援用する。
画像入力部２０によって入力される画像中には、既に変調部２３によって生成される重畳信号Ｑ（ｘ，ｙ）と略同一周波数の情報が存在する場合がある。この場合、画像中の周波数が埋め込み情報の周波数成分なのか、又は本来画像中に存在している周波数成分なのかを判断することに困難性が生じる。
これを解決するために、変調部２３は、埋め込み情報の各値に対応する２つの周波数を１組とし、当該組を複数有する。変調部２３は、埋め込み情報の各値に応じて１組の各周波数のうちいずれか一方の周波数により埋め込み情報を重畳した重畳信号Ｑ（ｘ，ｙ）を生成する。
具体的に、変調部２３は、埋め込み情報の１ｂｉｔに対応して２つ１組の周波数を割り当てる。例えば埋め込み情報の１ｂｉｔに対応して（ｕ１，ｕ２）を設ける。埋め込み情報が「０」の場合に周波数ｕ１を用いる。埋め込み情報が「１」の場合に周波数ｕ２を用いる。図１１は変調部２３により埋込む正弦波の周波数成分の配置図を示す。図１２は同周波数成分の対応を示す。

図１１において黒丸「・」は、一方の周波数を表す。白丸「○」は他方の周波数を表す。黒丸「・」と白丸「○」との各周波数により１組となる。例えば、埋め込み情報のｋ番目のｂｉｔが「０」の場合、（ｕ１，ｖ１）＝（１００，０）となる。ｂｉｔが１の場合、（ｕ１，ｖ１）＝（０，１００）となる。図１１及び図１２から分かるように、絶対値が等しく、かつ角度が９０度ずれている２つの周波数が１組として割り当てられる。

一般に画像入力部１によって読み取られる原稿画像の周波数成分は、点対称である場合が多い。このような前提を基に埋め込み情報の１ｂｉｔに対応して２つ１組の周波数を割り当てる。このような前提が成り立ちにくい場合は、埋め込み情報の１ｂｉｔに対応して２つ１組の周波数の配置を変更してもよい。
変調部２３は、上記式（２）に示す計算式によって重畳信号Ｑ（ｘ，ｙ）を求めることは上記第１の実施の形態中で説明した埋め込み情報の埋め込み動作と同一である。

図１０においてスペクトル解析部４１は、画像入力部４０から出力された画像信号に対するスペクトル解析を行う。先ず、スペクトル解析部４１は、上記第１の実施の形態と同様に、画像信号による画像を複数のブロック、例えば１６個の各ブロック「１」〜「１６」に分割する。各ブロック「１」〜「１６」は、例えば６４画素×６４画素の正方形である。スペクトル解析部４１は、各ブロック「１」〜「１６」の各画像に対してそれぞれスペクトル解析、すなわちフーリエ変換を行う。スペクトル解析部４１は、上記式（５）〜（７）に示すようにフーリエ変換の結果である各周波数毎の絶対値の２乗を計算する。スペクトル解析部４１は、スペクトルの各周波数毎の平均値Ｆ（ｕ，ｖ）を計算し、平均値Ｆ（ｕ，ｖ）をスペクトル信号として出力する。

埋め込み周波数記憶部４２は、画像への埋め込みに用いたパラメータ、すなわち画像への埋め込み情報の埋め込みに用いた空間周波数情報を既知の情報として記憶する。すなわち、埋め込み周波数記憶部４２は、例えば上記図１１及び図１２に示すように８組の空間周波数情報（ｕ１ｋ，ｖ１ｋ）（ｕ２ｋ，ｖ２ｋ）をテーブル化して記憶する。
情報抽出部４３は、埋め込み周波数記憶部４２に記憶されている空間周波数情報（ｕ１ｋ，ｖ１ｋ）（ｕ２ｋ，ｖ２ｋ）を用いてスペクトル信号Ｆ（ｕ，ｖ）から埋込み情報の抽出を行う。本実施の形態は、埋め込み情報を８ｂｉｔとする。Ｋ＝１から８番目のｂｉｔに対して図１１に示すように２つの埋め込み周波数（ｕｌｋ，ｖｌｋ），（ｕ２ｋ，ｖ２ｋ）が割り当てられている。

情報抽出部４３は、２つの埋め込み周波数（ｕｌｋ，ｖｌｋ），（ｕ２ｋ，ｖ２ｋ）のスペクトル強度の差分を計算する。情報抽出部４３は、差分が正ならｂｉｔｋの情報を「１」とする。情報抽出部４３は、差分が負ならｂｉｔｋの情報を「０」と判定する。ｂｉｔｋの情報Ｔｋの計算式を次式に示す。
Ｆｄ＝Ｆ（ｕｌｋ，ｖｌｋ）−Ｆ（ｕ２ｋ，ｖ２ｋ） …（１１）
ｉｆ（Ｆｄ≧０） Ｔｋ＝１
ｉｆ（Ｆｄ＜０） Ｔｋ＝０
情報抽出部４３は、ｋ＝１〜８までの８個の情報「１」又は「０」を並べ、８ｂｉｔの埋め込み情報を再生する。

次に、上記の如く構成された装置による埋め込み情報の再生動作について説明する。

画像入力部４０は、冗長なスペクトルの埋め込み情報が埋め込まれた画像を読み取り、画像の画像信号を出力する。
スペクトル解析部４１は、画像入力部４０から出力された画像信号を入力し、当該画像信号による画像を複数のブロック、例えば１６個の各ブロック「１」〜「１６」に分割する。スペクトル解析部４１は、各ブロック「１」〜「１６」の各画像に対してそれぞれフーリエ変換を行う。スペクトル解析部４１は、上記式（５）〜（７）に示すようにフーリエ変換の結果である各周波数毎の絶対値の２乗を計算する。スペクトル解析部４１は、スペクトルの各周波数毎の平均値Ｆ（ｕ，ｖ）を計算し、平均値Ｆ（ｕ，ｖ）をスペクトル信号として出力する。

情報抽出部４３は、埋め込み周波数記憶部４２に記憶されている空間周波数情報（ｕ１ｋ，ｖ１ｋ）（ｕ２ｋ，ｖ２ｋ）を用いてスペクトル信号Ｆ（ｕ，ｖ）から埋込み情報の抽出を行う。情報抽出部４３は、抽出した２つの埋め込み周波数（ｕｌｋ，ｖｌｋ），（ｕ２ｋ，ｖ２ｋ）のスペクトル強度の差分を上記式（１１）により計算する。情報抽出部４３は、差分が正ならｂｉｔｋの情報を「１」とする。情報抽出部４３は、差分が負ならｂｉｔｋの情報を「０」と判定する。情報抽出部４３は、ｋ＝１〜８までの８個の情報「１」又は「０」を並べ、８ｂｉｔの埋め込み情報を再生する。

このように上記第４の実施の形態によれば、２つの埋め込み周波数（ｕｌｋ，ｖｌｋ），（ｕ２ｋ，ｖ２ｋ）のスペクトル強度の差分を計算し、差分が正ならｂｉｔｋの情報を「１」、差分が負ならｂｉｔｋの情報を「０」と判定し、埋め込み情報を再生する。これにより、画像に本来存在する周波数の影響を除くことができる。すなわち、文字量の多い画像は、文字量の少ない画像に比べて全体的に各周波数のスペクトル強度が高くなる。

従って、上記第１の実施の形態のように単一の周波数成分の強度を用いて判定する方法では、文字量の多い画像に対して本来「０」のｂｉｔを「１」として誤判定し、文字量の少ない画像に対して本来「１」のｂｉｔを「０」として誤判定する確率が多くなる。閾値を適正な値に設定することにより、誤判定は十分小さくできる可能性はある。しかしながら、最適閾値は原稿種別や画像読み取り装置のレスポンスにも依存するため、設計が大変である。
本実施の形態のように２つの周波数成分の大小で判定すると、画像に本来存在する周波数成分の影響をかなり相殺することができる。これにより、精度の高い埋め込み情報の再生ができる。閾値の設計が容易であるというメリットもある。

次に、本発明の第５の実施の形態について図面を参照して説明する。
本実施の形態は、上記第４の実施の形態における情報抽出部４３の計算方法を変更している。情報抽出部４３は、式（１２）に示すように所定の閾値Ｔｈを設けている。情報抽出部４３は、２つの周波数のスペクトルの差分がＴｈ〜−Ｔｈの間にあれば、Ｔｋ＝−１になるように判定する。

Ｆｄ＝Ｆ（ｕ１ｋ，ｖ１ｋ）−Ｆ（ｕ２ｋ，ｖ２ｋ） …（１２）
ｉｆ（Ｆｄ≧Ｔｈ） Ｔｋ＝１
ｉｆ（Ｔｈ＞Ｆｄ＞−Ｔｈ） Ｔｋ＝−１
ｉｆ（Ｆｄ≦−Ｔｈ） Ｔｋ＝０
Ｔｋ＝−１は、情報が埋込まれていないことを示す。Ｋ＝１〜８の中で１つでもＴｋ＝−１となる場合、情報抽出部４３は、情報の埋め込みがないと判定する。
このように上記第５の実施の形態によれば、埋め込み情報の再生だけでなく、情報の埋め込みの有無も判定することができる。

次に、本発明の第６の実施の形態について図面を参照して説明する。
図１３は改竄検知装置の構成図を示す。制御部５０は、ＣＰＵを有する。制御部５０には、プログラムメモリ５１と、データメモリ５２が接続されている。制御部３０は、画像入力部５３と、像域分離部５４と、マスク部５５と、スペクトル解析部５６と、情報抽出部５７と、文字コード変換部５８と、判定部５９とに対して動作指令を発する。
プログラムメモリ５１には、画像の改竄検知のプログラムが予め記憶されている。改竄検知のプログラムは、例えば図１４に示す改竄検知処理フローチャートに従った処理を実行させるための各指令等を記述する。

データメモリ５２には、画像データ等の情報が一時的に記憶される。
画像入力部５３は、埋め込み情報が埋め込まれた画像を読み取り、当該画像の画像信号を出力する。画像入力部５３は、少なくとも２つの周波数成分を有する埋め込み情報が埋め込まれた画像を読み取り、当該画像の画像信号を出力する。画像入力部５３は、例えば画像読み取りのスキャナを有する。
ここで、画像入力部５３により読み取る原画像は、作成時に原稿の文字コードのハッシュ値を埋込んで作成されている。すなわち、原画像を含む文書ファイルからテキスト情報がコード情報として抽出される。コード情報は、埋め込み情報となる。抽出したテキストのコード情報に基づいてハッシュ値が算出される。ハッシュ値は、テキストのコード情報により一意に生成される情報である。ハッシュ値は、例えば全ての文字コードの排他的論理和により求められる。ここでは、ハッシュ値を例えば１６ｂｉｔとする。ハッシュ値は、例えばビットマップ画像に埋め込められる。ハッシュ値の埋め込みは、例えば上記図２に示す情報埋め込み装置により行われる。
像域分離部５４は、画像入力部５３から出力された画像ファイルから中間調の階調の領域を抽出する。
マスク部５５は、画像入力部５３から出力された画像ファイルから像域分離部５４により抽出された中間調領域に対してマスクし、マスクされなかった画像ファイルをスペクトル解析部５６に送る。
スペクトル解析部５６は、マスク部５５から出力された画像ファイルに対するスペクトル解析を行う。
情報抽出部５７は、スペクトル解析部５６によるスペクトル解析の結果と予め設定された情報とに基づいて画像ファイルに埋め込まれている埋め込み情報を抽出する。

文字コード変換部５８は、画像入力部５３から出力された画像ファイルから文字領域を抽出し、文字領域を文字コードに変換する。
判定部５９は、情報抽出部５７により抽出された埋め込み情報と文字コード変換部５８により求められた文字コードとに基づいて画像の改竄を判定する。

次に、上記の如く構成された装置の改竄検知について説明する。
先ず、画像入力部５３は、ステップ＃１において、例えば画像読み取りのスキャナによって埋め込み情報が埋め込まれた画像を読み取り、当該画像ファイルの画像信号を出力する。読み取られた画像は、上記の如く当該画像の作成時に原稿の文字コードのハッシュ値を埋込んで作成されている。画像入力部５３から出力された画像ファイルは、データメモリ５２に記憶される。

次に、像域分離部５４は、ステップ＃２において、画像入力部５３から出力された画像ファイルから中間調領域を抽出する。中間調領域は、例えば写真、図表などのように網点により階調を表現している画像領域である。中間調領域の分離方法は、例えばスメアリングによる方法を用いる。像域分離部５４は、中間調領域を抽出した画像ファイルから判別画像ファイルを作成する。
次に、マスク部５５は、ステップ＃３において、画像入力部５３から出力された画像信号に対して像域分離部５４により作成された判別画像ファイルによりマスクを行う。マスク部５５は、判別画像ファイルによりマスクされなかったファイル、すなわちマスク画像ファイルをスペクトル解析部５６に送る。

次に、スペクトル解析部５６は、ステップ＃４において、マスク部５５から出力されたマスク画像ファイルに対するスペクトル解析を行う。すなわち、スペクトル解析部２は、上記第１の実施の形態と同様に、例えば図５に示すように画像ファイルによる画像を１６個の各ブロック「１」〜「１６」に分割する。次に、スペクトル解析部２は、各ブロック「１」〜「１６」の各画像に対してそれぞれフーリエ変換を行う。次に、スペクトル解析部２は、上記各式（５）（６）を演算してフーリエ変換の結果である各周波数毎の絶対値の２乗を計算する。次に、スペクトル解析部２は、上記式（７）を演算して各ブロック「１」〜「１６」について上記計算したスペクトルの各周波数毎の平均値Ｆ（ｕ，ｖ）を計算する。スペクトル解析部２は、平均値Ｆ（ｕ，ｖ）の計算結果をスペクトル信号として出力する。

次に、情報抽出部５７は、ステップ＃５において、上記第１の実施の形態と同様に、埋め込み周波数記憶部３からｋ＝１〜１６までのｋに応じた空間周波数（ｕｋ，ｖｋ）を読み出す。情報抽出部４は、読み出した空間周波数（ｕｋ，ｖｋ）の周波数のスペクトル信号Ｆ（ｕｋ，ｖｋ）を求める。次に、情報抽出部４は、スペクトル解析部２から出力されたスペクトル信号Ｆ（ｕｋ，ｖｋ）と所定の閾値Ｔと比較する。比較の結果、スペクトル信号Ｆ（ｕｋ，ｖｋ）が閾値Ｔより大きければ、情報抽出部４は、情報を「１」とする。スペクトル信号Ｆ（ｕｋ，ｖｋ）が閾値Ｔより小さければ、情報抽出部４は、情報を「０」とする。次に、情報抽出部４は、ｋ＝１〜１６までの１６個の情報「１」又は「０」を並べ、１６ｂｉｔの埋め込み情報を再生する。

一方、文字コード変換部５８は、ステップ＃６において、画像入力部５３から出力された画像ファイルから文字領域を抽出し、文字領域を文字コードに変換する。文字コードへの変換は、光学的文字認識方式（ＯＣＲ）と呼ばれている一般的な技術であり、ここでは詳細説明を省略する。
次に、文字コード変換部５８は、ステップ＃７において、全ての文字コードからハッシュ値を計算する。ハッシュ値は、所定の変換写像により、全文字コードから一意に決まる値である。ここではハッシュ値は、２バイト長すなわち１６ｂｉｔ長とする。

なお、文字コード変換部５８は、各ステップ＃６、＃７の処理を上記各ステップ＃２〜＃５の処理と並行に行う。
次に、判定部５９は、ステップ＃８において、情報抽出部５７により抽出された埋め込み情報と文字コード変換部５８により求められた文字コードとに基づいて画像の改竄を判定する。すなわち、判定部５９は、文字コードから計算されたハッシュ値と画像に埋込まれている情報とを比較する。比較の結果、ハッシュ値と画像に埋込まれている情報とが異なる場合、判定部５９は、画像が改竄されていると判定する。ハッシュ値と画像に埋込まれている情報とが等しい場合、判定部５９は、改竄されていない正規な文書であると判定する。

このように上記第６の実施の形態によれば、画像ファイルの埋め込み情報と、画像ファイルから抽出した文字領域を変換した文字コードとに基づいて画像の改竄を判定する。改竄がなければ、埋め込み情報と文字コードとは等しくなる。ところが、例えば文字の削除や追加、又は文字の置き換えなどが行われると、文字コードが変化する。
しかるに、文字コードから再生されるハッシュ値は、非常に高い確率で変化する。この確立は、例えば１６ｂｉｔのハッシュ値の場合、６５５３５／６５５３６＝９９．９９８５％となる。従って、文書ファイルの改竄が行われていると、殆ど確実に改竄が判定できる。これにより、文書ファイルの真偽が判定できる。

なお、上記第６の実施の形態は、像域分離部５４とマスク部５５とを必ずしも備える必要はない。この場合、スペクトル解析部５６は、上記第１の実施の形態と同様に、画像入力部５３から出力された画像信号に対するスペクトル解析を行う。情報抽出部５７は、スペクトル解析部５６によるスペクトル解析の結果と予め設定された情報とに基づいて画像ファイルに埋め込まれている埋め込み情報を抽出する。文字コード変換部５８は、画像入力部５３から出力された画像ファイルから文字領域を抽出し、文字領域を文字コードに変換する。判定部５９は、情報抽出部５７により抽出された埋め込み情報と文字コード変換部５８により求められた文字コードとに基づいて画像の改竄を判定する。

上記第４の実施の形態で説明したように、冗長なスペクトル成分を埋込んだ画像を対象とする場合がある。この場合、画像入力部５３は、２つの周波数成分を有する埋め込み情報が埋め込まれた画像を読み取り、画像信号を出力する。
情報抽出部５７は、スペクトル解析部５６によるスペクトル解析の結果と予め設定された情報とに基づいて画像ファイルに埋め込まれている少なくとも２つの周波数成分のうち一方の周波数成分から埋め込み情報を抽出する。

本発明に係る埋め込み情報再生装置の第１の実施の形態を示すブロック構成図。 情報埋め込み装置のブロック構成図。 埋め込められた情報の正弦波の周波数成分を示す配置図。 埋め込められた情報の正弦波の周波数成分の対応を示す図。 埋め込み情報再生装置のスペクトル解析部によりスペクトル解析を行う各ブロックを示す模式図。 本発明に係る埋め込み情報再生装置の第２の実施の形態を示すブロック構成図。 中間調領域と判定されない黒領域の判定例を示す図。 中間調領域と判定される黒領域の判定例を示す図。 本発明に係る埋め込み情報再生装置の第３の実施の形態を示すブロック構成図。 スペクトル解析を行わない中間調領域を有する各ブロックを示す模式図。 本発明に係る埋め込み情報再生装置の第４の実施の形態を示すブロック構成図。 埋め込められた情報の正弦波の周波数成分を示す配置図。 埋め込められた情報の正弦波の周波数成分の対応を示す図。 本発明の第６の実施の形態に係わる改竄検知装置を示す構成図。 改竄検知処理フローチャート。

符号の説明

１：画像入力部、２：スペクトル解析部、３：埋め込み周波数記憶部、４：情報抽出部４、２０：画像入力部、２１：平滑化部、２２：情報入力部、２３：変調部、２４：重畳部、２５：２値化部、２６：画像出力部、３０：像域分離部、３１：マスク部、３２：スペクトル解析部、４０：画像入力部、４１：スペクトル解析部、４２：埋め込み周波数記憶部、４３：情報抽出部、５０：制御部、５１：プログラムメモリ、５２：データメモリ、５３：画像入力部、５４：像域分離部、５５：マスク部、５６：スペクトル解析部、５７：情報抽出部、５８：文字コード変換部、５９：判定部。

Claims (8)

1. 埋め込み情報が埋め込まれた画像を読み取り、前記画像の画像信号を出力する画像入力部と、
   前記画像入力部から出力された前記画像信号から中間調の階調の領域を抽出する像域分離部と、
   前記画像入力部から出力された前記画像信号から前記像域分離部により抽出された前記中間調領域に対してマスクし、前記マスクされなかった領域の前記画像信号を出力するマスク部と、
   前記マスク部から出力された前記画像信号に対するスペクトル解析を行うスペクトル解析部と、
   前記スペクトル解析部による前記スペクトル解析の結果と予め設定された情報とに基づいて前記画像信号に埋め込まれている前記埋め込み情報を抽出する情報抽出部と、
   を具備することを特徴とする埋め込み情報再生装置。
2. 前記像域分離部は、前記中間調領域として前記階調を網点により表現している画像領域を抽出することを特徴とする請求項１記載の埋め込み情報再生装置。
3. 前記スペクトル解析部は、前記画像信号による前記画像を複数のブロックに分割し、前記像域分離部により抽出された前記中間調領域を有する前記ブロックに対する前記スペクトル解析を行わず、他の前記ブロック毎にそれぞれ前記スペクトル解析を行い、前記各周波数毎に前記各ブロックについての前記各スペクトル強度の平均値を求めることを特徴とする請求項１記載の埋め込み情報再生装置。
4. １つのｂｉｔに対してそれぞれ絶対値が等しくかつ角度が９０度ずれている２つの周波数スペクトルを１組として割り当てられた埋め込み情報が埋め込まれた画像を読み取り、前記画像の画像信号を出力する画像入力部と、
   前記画像入力部から出力された前記画像信号に対するスペクトル解析を行うスペクトル解析部と、
   前記埋め込み情報の埋め込みに用いられ、絶対値が等しくかつ角度が９０度ずれている前記２つの周波数スペクトルを１組とする複数組の空間周波数情報を記憶する埋め込み周波数記憶部と、
   前記埋め込み周波数記憶部に記憶されている前記空間周波数情報を用いて、前記スペクトル解析部による前記スペクトル解析の結果から前記埋め込み情報を抽出し、当該埋め込み情報に割り当てられている前記２つの周波数スペクトルの強度の差分を求め、当該差分の値に基づいて前記複数組の空間周波数情報に対応する複数の前記埋め込み情報を抽出する情報抽出部と、
   を具備することを特徴とする埋め込み情報再生装置。
5. 埋め込み情報が埋め込まれた画像を読み取り、前記画像の画像信号を出力する画像入力部と、
   前記画像入力部から出力された前記画像信号から中間調の階調の領域を抽出する像域分離部と、
   前記画像入力部から出力された前記画像信号から前記像域分離部により抽出された前記中間調領域に対してマスクし、マスクされなかった前記画像信号を出力するマスク部と、
   前記マスク部から出力された前記画像信号に対するスペクトル解析を行うスペクトル解析部と、
   前記スペクトル解析部による前記スペクトル解析の結果と予め設定された情報とに基づいて前記画像信号に埋め込まれている前記埋め込み情報を抽出する情報抽出部と、
   前記画像入力部から出力された前記画像信号から文字領域を抽出し、前記文字領域を文字コードへの変換を行う文字コード変換部と、
   前記情報抽出部により抽出された前記埋め込み情報と前記文字コード変換部により求められた前記文字コードとに基づいて前記画像の改竄を判定する判定部と、
   を具備することを特徴とする改竄検知装置。
6. 前記スペクトル解析部は、前記マスク部から出力された前記画像信号に対するスペクトル解析を行うことを特徴とする請求項５記載の改竄検知装置。
7. 埋め込み情報が埋め込まれた画像を読み取って画像信号を出力し、
   前記画像を読み取った前記画像信号から中間調の階調の領域を抽出し、
   前記画像を読み取った前記画像信号から前記中間調領域に対してマスクし、
   前記マスクされなかった領域の前記画像信号に対して前記スペクトル解析を行い、
   前記スペクトル解析の結果と予め設定された情報とに基づいて前記画像信号に埋め込まれている前記埋め込み情報を抽出する、
   ことを特徴とする埋め込み情報再生方法。
8. １つのｂｉｔに対してそれぞれ絶対値が等しくかつ角度が９０度ずれている２つの周波数スペクトルを１組として割り当てられた埋め込み情報が埋め込まれた画像を読み取り、前記画像の画像信号を出力し、
   前記画像信号に対するスペクトル解析を行い、
   埋め込み周波数記憶部に記憶され、前記埋め込み情報の埋め込みに用いられ、絶対値が等しくかつ角度が９０度ずれている前記２つの周波数スペクトルを１組とする複数組の空間周波数情報を用いて、前記スペクトル解析部による前記スペクトル解析の結果から前記埋め込み情報を抽出し、当該埋め込み情報に割り当てられている前記２つの周波数スペクトルの強度の差分を求め、当該差分の値に基づいて前記複数組の空間周波数情報に対応する複数の前記埋め込み情報を抽出する、
   ことを特徴とする埋め込み情報再生方法。

Images