JP3780181B2 - 画像処理装置及びデータ処理装置とその方法及び記憶媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、原画像データ或いは信号に、例えば電子透かしなどの副次的な情報を埋め込んだ画像或いは信号から、その副次的な情報を抽出する画像処理装置とデータ処理装置及びその方法と記憶媒体に関するものである。
【０００２】
【従来の技術】
近年、コンピュータとそのネットワークの急速な発達及び普及により、文字データ、画像データ、音声データなど、多種の情報がディジタル化され、それらディジタル化されたデータがネットワークを介してやり取りされている。このようなディジタル情報は、経年変化などによる劣化がなく、いつまでも完全な状態で保存できる一方、容易に複製が可能であり、そのディジタルデータの著作権の保護が大きな問題となっている。従って、著作権保護のためのセキュリティ技術が急速に重要性を増している。
【０００３】
このような著作権を保護する技術の一つに“電子透かし”がある。この電子透かしとは、ディジタルの画像データや音響データ、文字データなどに、人に知覚出来ない形で著作権保有者の名前や購入者のＩＤなどを埋めこみ、違法コピーによる無断の使用を追跡する技術である。またこのような電子透かしには、著作権保護だけでなく、予めディジタルデータに情報を埋め込んでおき、そのディジタルデータの埋め込まれた規則による情報の整合性を取ることで、そのディジタルデータに加えられた改竄位置を検出するなどの技術にも応用されている。
【０００４】
電子透かしは一般的に、ディジタルデータの中で、変更が加えられても人が知覚しにくい部分を加工することにより透かし情報を埋めこむ方法を用いている。このため、電子透かしが埋め込まれたディジタルデータの「オリジナルと比較した品質」、「電子透かしの耐性の強さ」、「埋め込み可能な情報量」の３つはトレードオフの関係になっている。ここで「電子透かしの耐性の強さ」とは、電子透かしが埋めこまれたディジタルデータに様々な加工編集が加えられた後にも、その埋めこまれた情報が抽出できることを意味している。このように種々の加工編集に対しても、より耐性の強い電子透かしを実現するために、電子透かしを埋め込むデータに対し、例えば、画像の場合には、回転、スケーリング、平行移動などの幾何的変換を検知するための信号（一般的にレジストレーション信号と呼ばれる）を埋め込む方法が提案されてきた。
【０００５】
このような電子透かしが埋め込まれた画像に幾何的変換が加えられた場合にも、上記のレジストレーション信号を解析することで、その画像に加えられた幾何変換を算出し、その攻撃を受けた電子透かしが埋め込まれた画像を元の幾何的状態に補正することができる。そのため、画像の幾何的変換に対して耐性の無い電子透かし埋め込み方式とレジストレーション信号とを組み合わせることにより、その画像に対する幾何的変換を補正した後で電子透かしを抽出する付加情報の抽出処理が可能になる。
【０００６】
【発明が解決しようとする課題】
しかし、このような電子透かしを埋め込んだ信号に対して何らかの加工を加える場合について考えてみると、電子透かしが埋め込まれていない信号も含まれる場合が発生すると考えられる。
【０００７】
図１８は、電子透かしが埋め込まれた画像を印刷し、その画像を更にスキャナで読取ったディジタル画像の一例を示す図である。図において、９０１はスキャナで入力される画像全体を示し、９０２は電子透かしが埋め込まれた画像を示す。図１８では、電子透かしが埋め込まれた画像９０２以外にも大きな余白を含んでいる。
【０００８】
また、電子透かし埋め込み画像にスケーリング、回転、平行移動などといった、図１９に示すような幾何変換が加えられた場合には、元の画像に加えられた一次変換を計算して補正を行い、図２０に示す画像１１０３を得た上で、画像１１０３の平行移動量に基づき電子透かしの抽出を行う。
【０００９】
しかし従来は、上記に述べた画像の印刷、及びその画像の読取り動作の過程で生じる余白や幾何変換の補正に伴って生じる領域（例えば、図２０の斜線部１１０４）が存在する場合であっても、その入力される画像１１０１の全体から電子透かしの抽出を行ってきた。そのため、その読み取った画像１１０１全体から電子透かしの抽出を行う際に、電子透かしが埋め込まれていない領域からも抽出を行うことになり、抽出される電子透かしの信頼性を下げてしまう。
【００１０】
また、幾何変換の補正に伴って生じる領域（例えば、図２０の斜線部１１０４）と、印刷及びその後の画像読取りの過程で生じる余白（例えば、図２０の１１０５）の境界では、画素値に大きな差が存在する。これは画像のエッジとなり、付加情報の抽出に悪影響を及ぼす可能性もある。また、画像の印刷及び画像読取りの過程では、電子透かしの抽出の対象となる画像に電子透かしだけではなく、電子透かしの抽出を妨げるような背景パターンが存在する可能性もある。
【００１１】
本発明は上記従来例に鑑みてなされたもので、例えば電子透かしのような副次的な情報が埋め込まれた画像或いは信号に加えられた幾何変換を補正した後にその副次的な情報を抽出することにより、信頼性の高い情報の抽出を行うことが出来る画像処理装置及びデータ処理装置とその方法及び記憶媒体を提供することにある。
【００１２】
【課題を解決するための手段】
上記目的を達成するために本発明の画像処理装置は以下のような構成を備える。即ち、
副次的な情報および位置情報を取得するための位置合わせ信号を含む最小埋め込み単位が繰り返し埋め込まれた画像から当該副次的な情報を抽出するための画像処理装置であって、
前記位置合わせ信号を用いて前記画像に加えられた幾何変換量を算出する幾何変換算出手段と、
前記幾何変換算出手段にて算出された前記幾何変換量に対する補正を行った幾何変換補正画像を生成する幾何変換補正手段と、
前記幾何変換補正画像を複数ブロックに分割する領域分割手段と、
前記複数ブロックの各々に対して、各ブロックごとに前記位置合わせ信号との相関値を計算する計算手段と、
前記複数ブロックの各々に対する前記相関値と閾値とを比較して、前記幾何変換補正画像における、前記副次的な情報の存在を判定する有効領域を判定する判定手段と、
前記判定手段において判定された前記有効領域から前記副次的な情報を抽出する抽出手段と、とを有することを特徴とする。
【００１３】
上記目的を達成するために本発明の画像処理方法は以下のような工程を備える。即ち、
副次的な情報および位置情報を取得するための位置合わせ信号を含む最小埋め込み単位が繰り返し埋め込まれた画像から当該副次的な情報を抽出するための画像処理方法であって、
前記位置合わせ信号を用いて前記画像に加えられた幾何変換量を算出する幾何変換算出工程と、
前記幾何変換算出工程で算出された前記幾何変換量に対する補正を行った幾何変換補正画像を生成する幾何変換補正工程と、
前記幾何変換補正画像を複数ブロックに分割する領域分割工程と、
前記複数ブロックの各々に対して、各ブロックごとに前記位置合わせ信号との相関値を計算する計算工程と、
前記複数ブロックの各々に対する前記位置合わせ信号相関値と閾値とを比較して、前記幾何変換補正画像における、前記副次的な情報の存在を判定する有効領域を判定する判定工程と、
前記判定工程において判定された前記有効領域から前記副次的な情報を抽出する抽出工程と、とを有することを特徴とする。
【００１４】
上記目的を達成するために本発明の画像処理装置は以下のような構成を備える。即ち、
副次的な情報および位置情報取得するための位置合わせ信号を含む最小埋め込み単位が、各フレームに繰り返し埋め込まれた動画像データから前記副次的な情報を抽出するための画像処理装置であって、
前記動画像データから複数のフレームからなる一部の領域を選択する選択手段と、
前記一部の領域からフレーム単位の平均化画像を生成する平均化画像取得手段と、
前記位置合わせ信号を用いて前記平均化画像に加えられた幾何変換を算出する幾何変換算出手段と、
前記幾何変換算出手段にて算出された前記幾何変換に対する補正を行った幾何変換補正画像を生成する幾何変換補正手段と、
前記幾何変換補正画像を複数ブロックに分割する領域分割手段と、
前記複数ブロックの各々に対してブロックごとに前記位置情報に関する位置合わせ信号との相関性を表す位置合わせ信号相関値を計算する位置合わせ信号検出手段と、
前記複数ブロックの各々に対する前記位置合わせ信号相関値を閾値と比較し、前記副次的な情報の存在を判定する有効領域を判定する有効領域判定手段と、
前記有効領域判定手段において判定された前記有効領域から前記副次的な情報を抽出する抽出手段と、を有することを特徴とする。
【００１５】
上記目的を達成するために本発明の画像処理方法は以下のような工程を備える。即ち、
副次的な情報および位置情報取得するための位置合わせ信号を含む最小埋め込み単位が、各フレームに繰り返し埋め込まれた動画像データから前記副次的な情報を抽出するための画像処理方法であって、
前記動画像データから複数のフレームからなる一部の領域を選択する選択工程と、
前記一部の領域からフレーム単位の平均化画像を生成する平均化画像取得工程と、
前記位置合わせ信号を用いて前記平均化画像に加えられた幾何変換を算出する幾何変換算出工程と、
前記幾何変換算出工程で算出された前記幾何変換に対する補正を行った幾何変換補正画像を生成する幾何変換補正工程と、
前記幾何変換補正画像を複数ブロックに分割する領域分割工程と、
前記複数ブロックの各々に対してブロックごとに前記位置情報に関する位置合わせ信号との相関性を表す位置合わせ信号相関値を計算する位置合わせ信号検出工程と、
前記複数ブロックの各々に対する前記位置合わせ信号相関値を閾値と比較し、前記副次的な情報の存在を判定する有効領域を判定する有効領域判定工程と、
前記有効領域判定工程で判定された前記有効領域から前記副次的な情報を抽出する抽出工程と、を有することを特徴とする。
【００１６】
上記目的を達成するために本発明のデータ処理装置は以下のような構成を備える。即ち、 副次的な情報および位置情報取得するための位置合わせ信号を含む最小埋め込み区間が繰り返し埋め込まれた信号から当該副次的な情報を抽出するためのデータ処理装置であって、
前記位置合わせ信号を用いて前記信号に加えられた時間方向の移動を算出する時間移動算出手段と、
前記時間移動算出手段にて算出された時間方向の移動に対する補正を行った時間移動補正データを生成する時間移動補正手段と、
前記時間移動補正データを、複数区間に分割する区間分割手段と、
前記複数区間の各々に対して、区間ごとに前記位置合わせ信号との相関値を計算する計算手段と、
前記複数区間の各々に対する前記相関値を閾値と比較して、前記時間移動補正データにおける、前記副次的な情報の存在を判定する有効領域を判定する判定手段と、
前記判定手段において判定された前記有効領域から前記副次的な情報を抽出する抽出手段と、を有することを特徴とする。
【００１７】
上記目的を達成するために本発明のデータ処理方法は以下のような構成を備える。即ち、
副次的な情報および位置情報取得するための位置合わせ信号を含む最小埋め込み区間が繰り返し埋め込まれた信号から当該副次的な情報を抽出するためのデータ処理方法であって、
前記位置合わせ信号を用いて前記信号に加えられた時間方向の移動を算出する時間移動算出工程と、
前記時間移動算出工程で算出された時間方向の移動に対する補正を行った時間移動補正データを生成する時間移動補正工程と、
前記時間移動補正データを、複数区間に分割する区間分割工程と、
前記複数区間の各々に対して、区間ごとに前記位置合わせ信号との相関値を計算する計算工程と、
前記複数区間の各々に対する前記相関値を閾値と比較して、前記時間移動補正データにおける、前記副次的な情報の存在を判定する有効領域を判定する判定工程と、
前記判定工程で判定された前記有効領域から前記副次的な情報を抽出する抽出工程と、を有することを特徴とする。
【００１８】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１９】
［実施の形態１］
本発明の実施の形態１では、前述の図１８に示すように電子透かしが埋め込まれた画像９０２を一旦印刷し、その後でその印刷した画像を読み取ることにより、結果として画像が平行移動されている場合における、信頼性の高い電子透かしの抽出方法について述べる。
【００２０】
電子透かしの埋め込みアルゴリズムでは、電子透かしが埋め込まれた画像の一部からも付加情報を抽出し、更には高速に付加情報を抽出するために、画像に付加情報を繰り返し埋め込む場合がある。
【００２１】
図１（Ａ）〜（Ｃ）は、その様子を説明する図である。
【００２２】
図１（Ａ）は、付加情報を埋め込むことのできる最小の単位である最小埋め込み単位３０１を示す。図１（Ｂ）は、原画像３０２を示し、図１（Ｃ）は、その原画像３０２に対して、最小埋め込み単位３０１を繰り返しタイル状に埋め込Ｎだ状態（３０３）を示す。このような埋め込みアルゴリズムを用いたとき、少なくとも一つの最小埋め込み単位３０１が、切り取られた画像の一部に含まれていれば、その付加情報が抽出できる。
【００２３】
上記のような最小埋め込み単位３０１が繰り返し埋め込まれている原画像３０２から電子透かしを抽出するための、本実施の形態に係る電子透かし抽出装置の構成を図２に示す。この電子透かし抽出装置によれば、埋め込み位置の計算が簡単になり、抽出の高速化を行うことができる。
図２は、本実施の形態に係る、電子透かしが最小埋め込み単位で繰り返し埋め込まれた画像から付加情報を抽出する処理を説明するブロック図である。
【００２４】
図において、電子透かしが埋め込まれた画像は、まず平均化ブロック取得部４０１に入力される。この平均化ブロック取得部４０１では、入力した画像中に複数存在する最小埋め込み単位３０１を、その単位と同じサイズの各ブロックに集め、それら各ブロックの対応する位置の画素値を平均化した平均化ブロックを求める。そして、その求めた平均化ブロックを後段の付加情報抽出部４０２に出力する。付加情報抽出部４０２は、電子透かし埋め込みアルゴリズムに従い、平均化ブロック取得部４０１から供給される平均化ブロックより付加情報の抽出を行う。
【００２５】
次に図３及び図４を参照して、図２の平均化ブロック取得部４０１の動作について詳しく述べる。
【００２６】
図３は、本実施の形態に係る平均化ブロック取得部４０１における処理手順を示すフローチャートで、図４は図３の各処理を模式的に示した図である。
【００２７】
図３において、まずステップＳ１で、電子透かしが埋め込まれた画像に対してブロック分割処理が施される。このブロック分割処理では、前述の最小埋め込み単位３０１と同一のサイズを持つブロックを、電子透かしが埋め込まれた画像にタイル状に配置して、その画像を分割する。
【００２８】
これは図４において、６０１が、このブロック分割処理で行われる操作の概念を示している。次にステップＳ２のブロック集積処理に進み、図４の６０２で示すように、ステップＳ１で分割された全てのブロックの対応する位置関係にある画素の画素値の合計を取った集積ブロックを生成する。最後にステップＳ３のブロック平均化処理では、ステップＳ２のブロック集積処理で得られた集積ブロックの各画素値を、各画素毎に足し合わせた画素の数（ブロックの数）で割って、その平均値を求める。
【００２９】
以上の処理の結果、図４の６０３に示すような、最小埋め込み単位３０１と同じ大きさを持つ平均化ブロックが得られる。以上、平均化ブロック取得部４０１における内部の処理について述べた。
【００３０】
次に、上述のような最小埋め込み単位３０１を画像に繰り返し埋め込む電子透かし埋め込みアルゴリズムにおいて、画像に加えられた平行移動量を判定するための位置合わせ信号について述べる。
【００３１】
一般に、電子透かしが埋め込まれた画像に対して加えられた平行移動を算出するための方法として、相互相関を利用する方法が良く知られている。相互相関は２つの信号波形の類似度を調べる目的で信号処理の分野でよく利用される。
【００３２】
初めに、図５及び図６を参照して、相互相関について簡単に説明する。
【００３３】
図５において、１０１は１次元波を示し、１０２は、１次元波１０１の波形と異なる他の１次元波を示す。説明を分かり易くするために、上記の１次元波１０１，１０２は離散的な値をとる周期Ｎのディジタルデータであるとする。いま、１次元波１０１と１次元波１０２の類似度を判定する評価値の一つである相互相関関数を計算してみる。
【００３４】
図５において、遅れ時間ｔ＝０からｔ＝Ｎ−１までの区間では、相互相関関数Ｃ(t)は、
Ｃ(t)＝（１／Ｎ）×Σｇ（ｉ）ｈ（ｉ＋ｔ）， ｔ＝０，１，…，Ｎ−１
（ここで、Σはｔ＝０からｔ＝Ｎ−１までの和を示す）
で表される。
【００３５】
基本的には、相互相関関数Ｃ(t)は、信号波形ｇ(i)と遅れ時間ｔだけずらした信号波形ｈ(i+t)において、それぞれ対応する部分を掛け合わせて累積し、それを平均化する処理によって得られる。
【００３６】
１次元波１０１と１次元波１０２の相互相関の結果の相互相関関数Ｃ(t)を１次元波１０４に示す。
【００３７】
１次元波１０４では、１次元波１０２を、点線１０３で示す波形の位置まで平行移動した場合（この場合の平行移動量はＭとなる）に相関の値が最も高くなっている。
【００３８】
以上のように、相互相関関数は、２つの波形の類似度を判定するのに有効な部であることが良く知られている。
【００３９】
尚、上記説明では、１次元波を例にとって説明したが、２次元波（画像）における場合も同様の原理を用いることができる。
【００４０】
次に画像における相互相関について説明する。
【００４１】
図６は、２次元の広がりを持つ信号の相関を説明するための図である。
【００４２】
図において、２０１は、“１”又は“−１”を同じ割合でランダム的に配置した２次元ブロックを示している。なお、２０２は２０１と同一の２次元ブロックを示している。一般にランダム信号は、自分自身が重なる場合に大きな相関を持ち、それ以外の場合には相関が低い。そのため、２次元ブロック２０１と２次元ブロック２０２との相関の結果は、２０３に示すように原点で相関が最大となる。ここでもし２次元ブロック２０２に平行移動が加えられていた場合には、相関の最大は中心から、その平行移動量に応じた距離だけ離れた地点に出現する。
【００４３】
以上の性質を利用し、電子透かしの位置合わせのための信号として、予め原画像にランダム信号を付加して電子透かし埋め込み画像を生成すればよい。そして位置合わせの際には、電子透かし埋め込み画像と位置合わせのために埋め込まれたランダム信号の相互相関を取り、その相関の最大値の座標から、その画像に加えられた平行移動量を知ることができる。
【００４４】
なお、Ｍ系列信号（Maximum Length Sequence）は、２値のシンボルからなる周期信号であり、かつ２値のシンボルの出現確率はほぼ等しく、鋭い自己相関性を持つため平行移動量の検出に適している。また、平行移動量を検知するための位置合わせ信号は、一般に背景の画像と相関が低くなるパターンであればよく、ランダム信号でなくとも構わない。
【００４５】
尚、本実施の形態においては、位置合わせ信号の例としてランダム信号を用いた場合で説明するが、位置合わせ信号としてＭ系列信号を用いる場合も本発明の範疇に含まれるとする。
【００４６】
以上説明したように最小埋め込み単位ごとに付加情報だけでなく位置合わせのための信号を予め埋め込んでおくことにより、画像に加えられた平行移動量を検知し、それに基づいて付加情報を抽出することが可能になる。
【００４７】
なお、相関の計算は、実空間上で大きなサンプル数を持つ信号（画像）では計算量が多く、その演算処理に多くの負荷がかかる。このため、その信号に対して周波数変換を行って積を計算し、次に実空間上に戻して相関の最大値を求めることにより、高速に位置合わせができる。これは実空間上での畳み込み積分は、フーリエ空間の周波数空間上では積となるというフーリエ変換の基本的な性質を利用したものである。
【００４８】
上述のように最小埋め込み単位に、付加情報と共に平行移動量を算出する位置合わせ信号を埋め込み、平行移動が加えられた画像から電子透かしを抽出する場合には、電子透かし抽出装置は図７のような構成を取るとよい。
【００４９】
図７は、本発明の実施の形態１に係る電子透かし抽出装置の機能構成を示すブロック図である。
【００５０】
まず、電子透かしが埋め込まれた画像を平均化ブロック取得部７０１に入力する。この平均化ブロック取得部７０１では、画像の左上からタイル状に最小埋め込み単位３０１の大きさのブロックを集め、それらブロックの各画素値を平均化した平均化ブロック（図４の６０３）を計算する。そして平均化ブロック取得部７０１は、後段の平行移動量算出部７０２及び付加情報抽出部７０３に、その求めた平均化ブロックを出力する。
【００５１】
平行移動量算出部７０２は、位置合わせ信号と平均化ブロックの相互相関を計算する。上述したように、相互相関の値が最も大きな位置を基に、画像に加えられた平行移動量が分かるため、平行移動量算出部７０２は、画像に加えられた平行移動量を付加情報抽出部７０３に出力する。なお、このとき、信頼性のある位置合わせを行うために、位置合わせ信号と平均化ブロックの相互相関の最大値がある閾値以下の場合には位置合わせ不能と判定する場合もある。
【００５２】
付加情報抽出部７０３は、平行移動量算出部７０２から入力される平行移動量を補正した位置から付加情報の抽出を行う。なお、付加情報の埋め込み、抽出アルゴリズムは多様な方式があるが、その説明は本発明の趣旨とは異なるため、詳しく述べない。
【００５３】
次に平行移動量出部７０２について詳しく述べる。
【００５４】
平行移動量算出部７０２の内部構成を図８に示す。
【００５５】
まず、平均化ブロック取得部７０１から平均化ブロックと、位置合わせ信号とが相関計算部８０１に入力される。この相関計算部８０１では、入力される二つの信号の相互相関を計算し、相互相関の計算結果をピーク位置取得部８０２に出力する。このピーク位置取得部８０２は、相互相関計算結果が最大となる位置を取得し、その画像に加わえられた平行移動量を算出する。但し、ここでは、平行移動量は、最小埋め込み単位３０１で平行移動量を計算しているため、実際に加えられた平行移動量を最小埋め込み単位３０１の一辺のサイズで割った剰余となっている。しかし最小埋め込み単位は、繰り返し埋め込まれているために、抽出には何の支障もない。
【００５６】
以上、最小埋め込み単位が繰り返し埋め込まれた電子透かしにおいて、平行移動による位置ズレを補正し、付加情報を抽出する方法について説明した。
【００５７】
次に、電子透かしが埋め込まれた画像が、前述の図１８に示すように、電子透かしが埋め込まれた画像領域０９０２の他に大きな余白を含む場合について考えてみる。
【００５８】
ここでは、図７の付加情報抽出部７０３を用いて、大きな余白を含む画像９０１から付加情報を抽出する場合について考える。
【００５９】
まず、電子透かしが埋め込まれた画像９０１を平均化ブロック取得部７０１に入力し、平均化ブロックを計算し、平均化ブロックを平行移動量出部７０２および付加情報抽出部７０３に出力する。次に、平行移動量算出部７０２では、位置合わせ信号及び平均化ブロックから平行移動量を算出し、その算出した平行移動量を付加情報抽出部７０３に出力する。付加情報抽出部７０３には、平均化ブロック及び平行移動量が入力され、付加情報の抽出アルゴリズムに従い、画像に加えられた平行移動量だけ補正した位置から付加情報の抽出を行い、付加情報を出力する。
【００６０】
ところが、いま、平均化ブロック取得部７０１で得られた平均化ブロックには余白領域が多数含まれており、平均化ブロックに反映される電子透かし情報は、余白領域を含まない場合に比べて、平均化の影響を受け、弱まっていると考えられる。
【００６１】
一例として、最小埋め込み単位３０１の一部の画素をそれぞれＡとＢの２つのグループにランダム的に分け、それぞれのグループの画素に対し、グループＡなら画素値をａiからａi+cに変更し、グループＢなら画素値をｂiからｂi-cのように変更することで１ビットの情報を埋めこみ、グループＡとグループＢの画素値の差の期待値２ｃから付加情報を抽出するアルゴリズムについて考える。
【００６２】
このようなアルゴリズムを用いた場合には、余白が多く含まれる画像から平均化ブロックを作成した場合、その余白の領域は、グループＡとグループＢの画素値の差の期待値は、埋め込みを行っていないため“０”となり、最小埋め込み単位の数で平均化される場合には、グループＡとグループＢの画素値の差の期待値は、余白がない場合に比べて減少する。その結果、抽出される情報の信頼性を低下させる。また場合によってはグループＡとグループＢの画素値の差の期待値が、信頼性のある抽出を行うために設定される閾値を下回り、付加情報の抽出が行えない場合も考えられる。また同様に、位置合わせ信号も平均化の影響を受けて弱まり、正確な位置合わせができない場合も考えられる。
【００６３】
本実施の形態においては、初めに、ヒストグラム又は画像と余白との間のエッジや等を利用し、画像と考えられる領域を選択し、画像に加えられた平行移動を算出する方法について述べる。
【００６４】
このように、選択された画像領域のみを用いて画像に加えられた幾何変換の特定を行うと、電子透かしが埋め込まれていない領域の影響を減少させるため、幾何変換の特定の精度を高めることが出来る。
【００６５】
図９（Ａ）（Ｂ）は、編集が加えられた画像或いは信号から、元の画像或いは信号領域だけを抽出する画像領域選択部１９０２および信号領域選択部１９０５の入出力関係を説明する図である。
【００６６】
図９（Ａ）（Ｂ）は、電子透かしが埋め込まれている領域を特定するための画像領域選択部１９０２の処理を模式的に示している。
【００６７】
図９（Ａ）は、画像領域選択部１９０２が、余白等を多く含む入力画像９０１から、写真等の電子透かしが埋め込まれた画像領域９０２を特定し、その画像領域９０２だけを出力する様子を示している。この画像領域選択部１９０２は比較的簡単な原理を用いて実現できる。例えば１つの方法として、入力画像９０１の画素値のヒストグラムを分析し、予め決められた背景の画素値を持つ画素の数ができるだけ少なくなるような十分大きな矩形領域を選択する方法などがある。
【００６８】
また別の方法として、図１０に示すように、入力画像９０１に対して、縦の列（１６０３）および横の行（１６０４）のライン上のエッジ箇所を検出し、縦の列および横の行をそれぞれ端から端まで移動させ、鋭いエッジで囲まれる十分大きな矩形領域を選択してもよい。
【００６９】
入力される信号が音声である場合にも、図９（Ｂ）の信号領域選択部１９０５に示すように、音声信号の信号値の変化が“０”である領域をできるだけ少なくするような十分大きな連続する信号領域を抽出するなどの方法で実現できる。
【００７０】
動画像の場合には、さまざまな実現方法が考えられるが、１つの方法としては、各フレームを画像領域とみなし、そのヒストグラム等を分析し、条件を満たす十分な数のフレームを集めるなどの方式で同様に対応することが可能である。
【００７１】
以上に述べた情報信号を含まない背景からの画像信号や音声信号の区別は、既存の良く知られた技術を用いて実現可能である。
【００７２】
また、単純ではあるが、比較的実用性が高い画像領域選択部１９０２（信号領域選択部１９０５）として、入力画像（入力信号）の中心部から一定の大きさの領域を選択する方法なども挙げられる。
【００７３】
このように、余白の大きな画像から電子透かしに加えられた幾何変換を特定する際に、以上のような画像領域選択部１９０２（信号領域選択部１９０５）を用いることにより、電子透かしが埋め込まれていない領域の影響を減少させることができ、電子透かしが加えられた信号に対する位置合わせの精度を高めることが出来る。
以上に述べた画像領域選択部１９０２（信号領域選択部１９０５）は位置合わせの精度を高めるために、オプション的に取り付けることが可能であり、必ずしもこの画像領域選択部１９０２（信号領域選択部１９０５）を含む構成である必要はない。
【００７４】
次に、位置合わせ信号を用いて、電子透かし情報が埋め込まれている領域を絞込み、絞り込まれた領域から付加情報の抽出を行い、付加情報の信頼性を向上させる方法を提案する。
【００７５】
図１１は、本実施の形態１に係る電子透かし抽出装置の内部構成をブロック図で、前述の構成と共通する部分は同じ番号で示し、その説明を省略する。
【００７６】
本実施の形態１では、有効領域平均化ブロック取得部１３０３の前段に有効領域判定部１３０２を配置することにより、電子透かしが埋め込まれた領域を判定し、より信頼性の高い電子透かしの抽出を行っている。
【００７７】
また、平行移動量算出部７０２の前段には、前述の画像領域選択部１９０２を配置し、電子透かしが埋め込まれている可能性が高い領域のみを用いて、画像に加えられた平行移動を特定している。
【００７８】
次に図１１の電子透かし抽出装置の詳細について説明する。
【００７９】
まず電子透かしが埋め込まれた画像は、画像領域選択部１９０２に入力される。画像領域選択部１９０２は、前述のように入力画像のヒストグラムやエッジの解析等を通じて背景領域と画像領域とを区別して画像領域を選択する。そして画像領域の画像データと、選択した画像の位置情報を後段の平行移動量算出部７０２に送る。ここで選択した画像の位置情報を同時に送る理由は、入力画像に加えられた平行移動量を算出する際に、選択された画像から計算される平行移動量と、選択された画像の位置情報の二つが必要となるためである。
【００８０】
平行移動量算出部７０２では、選択された画像領域を解析して平行移動量を算出する。この選択された画像領域は画像の一部であるので、元々入力される画像の位置情報を考慮して画像全体における平行移動量に変更し、後段の平行移動補正部１３０１に出力する。
【００８１】
平行移動補正部１３０１は、入力される画像に対し、電子透かしが埋め込まれた画像に加えられた平行移動量に基づく補正を行い、有効領域判定部１３０２に出力する。有効領域判定部１３０２は、位置合わせ信号を用いて、入力された画像の電子透かしが埋め込まれた領域を判定し、電子透かしが埋め込まれている領域に関する情報である有効領域情報を有効領域平均化ブロック取得部１３０３に出力する。なお、この有効領域判定部１３０２の処理については図１２のフローチャートを参照して説明する。
【００８２】
有効領域平均化ブロック取得部１３０３は、入力される有効領域情報から、入力された画像の電子透かしが埋め込まれた領域の平均化ブロックを取得し、付加情報抽出部７０３に出力する。この付加情報抽出部７０３は、付加情報の埋め込みアルゴリズムに対応した抽出アルゴリズムを用いて付加情報を抽出する。
【００８３】
次に、有効領域判定部１３０２の内部処理について詳しく説明する。
【００８４】
図１２は、有効領域判定部１３０２の処理手順を示したフローチャートである。
【００８５】
まずステップＳ１１で、電子透かしが埋め込まれた画像は、まずブロックに分割される。このブロック分割処理では、画像に加えられた平行移動量が補正済みの電子透かしが埋め込まれた画像が入力されるため、電子透かしの埋め込み最小単位３０１と同期するように複数のブロックに分割する。
【００８６】
このブロック分割処理で行われる処理について図１３（Ａ）（Ｂ）を参照して説明する。
【００８７】
図１３（Ａ）において、９０１は、このステップＳ１１のブロック分割処理に入力される電子透かしが埋め込まれた画像の一例を示す。そして、このブロック分割処理では、入力される画像９０１を、図１３（Ｂ）に示すように、複数のブロックに分割する。
【００８８】
図１３（Ｂ）において、ブロックへの分割は、電子透かしに加えられた平行移動量を補正して行われるため、電子透かし埋め込み最小単位と、分割されるブロックとは同期が取られている。尚、図１３（Ｂ）において、ブロック分割処理で分割された結果の領域１２０２全体が、図１３（Ａ）の画像９０１よりも若干大きくなっているのは、入力画像の全ての領域を電子透かし抽出処理の対象とするためである。
【００８９】
次に図１２に戻り、ステップＳ１２の位置合わせ信号検出処理では、ステップＳ１１のブロック分割処理で分割された各ブロックと、位置合わせ信号の位置合わせ信号との相関値を計算する。但し、ここでは既に平行移動量が補正されているため、相関の計算はそれぞれ対応する位置関係の各ブロックの画素の画素値と位置合わせ信号の係数の積の和の平均値を計算するだけでよい（つまり遅れ時間ｔ＝０の相関値を計算する）。
【００９０】
Ｃn＝（１／Ｎx）（１／Ｎy）ΣΣＢn（ｉ，ｊ）×Ｓ（ｉ，ｊ）
ここで最初のΣはj=0〜Ｎxまでの総和を、次のΣはi=0〜Ｎyまでの総和を示す。またＣnは、Ｎ番目のブロックと位置合わせ信号との位置合わせ相関値を示し、Ｂn(i,j)はＮ番目のブロック内の座標（ｉ，ｊ）の画素値、Ｓ(i,j)は、位置合わせ信号内の座標（ｉ，ｊ）の係数である。またＮx，Ｎyは、最小埋め込み単位（ブロック及び位置合わせ信号と同一の大きさ）内のそれぞれ縦、横の画素数を表している。
【００９１】
こうしてステップＳ１２の位置合わせ信号検出処理では、平行移動量算出部７０２における相互相関関数の計算に比べると計算量が少ないため、より高速に処理できる。
【００９２】
次にステップＳ１３に進み、閾値判定処理では、ステップＳ１２の位置合わせ信号検出処理で計算された、各ブロックの位置合わせ信号の相関値に対して、閾値と比較し、信頼性を持って位置情報が埋め込まれているかどうかを判定する。なお、この閾値は位置合わせ信号のパターン、位置合わせ信号の埋め込み時の強度、画像の分散等を考慮して算出される。ここで位置合わせ信号の相関値が閾値以上である場合はステップＳ１４に進み、電子透かしが埋め込まれている有効領域ブロックであることをメモリに記憶してステップＳ１５に進む。一方ステップＳ１３で閾値未満である場合にはステップＳ１５に進む。ステップＳ１５では、全てのブロックに対し処理を終えたかどうかを判定し、終了していない場合には再度ステップＳ１２に戻って未処理のブロックの処理を続行し、終了した場合には有効領域判定部１３０２における処理を終了する。
【００９３】
この有効領域判定部１３０２で行われる処理について図１３（Ｂ）を用いて更に説明する。
【００９４】
図において、１２０２は入力された電子透かしが埋め込まれた画像９０１が、ステップＳ１１のブロック分割処理でブロックに分割された状態を示している。また、１２０２の各ブロック内に記載されている「○」または「×」のマークは、ステップＳ１２の位置合わせ信号検出処理で計算された位置合わせ信号の相関値を、ステップＳ１３の閾値判定において、閾値以上で有効領域であるか否かを判定した結果を示している。即ち、「×」マークが記されているブロックは、位置合わせ信号の相関値が閾値未満のブロックを示し、「○」マークが記されているブロックは、位置合わせ信号の相関値が閾値以上のブロックを示している。
【００９５】
有効領域平均化ブロック取得部１３０３は、図１３（Ｂ）で「○」マークが記されたような電子透かしが埋め込まれていると判断されたブロックを集め、その平均化ブロックを取得し、後段の付加情報抽出部７０３に出力する。
【００９６】
以上、電子透かしの位置合わせ信号を用いて、電子透かしが埋め込まれた位置を特定し、電子透かしが埋め込まれた位置からのみ検出を行う方法について詳しく述べた。
【００９７】
上記のように、画像領域選択部１９０２と、有効領域判定部１３０２を電子透かし抽出装置に導入することにより、より信頼性の高い電子透かしの抽出が可能となる。
【００９８】
なお、本実施の形態では、説明に統一感を持たせるために、有効領域判定部１３０２で電子透かしが埋め込まれていると判定されたブロックを集めて平均化ブロックを生成し、その平均化ブロックから付加情報を抽出する場合について説明した。
【００９９】
しかし、以下のような方法でも付加情報の抽出は可能である。
【０１００】
まず、有効領域判定部１３０２で電子透かしが埋め込まれていると判定された有効領域から、電子透かし抽出アルゴリズムに基づき、抽出のための計算処理を先に行う。次に、抽出のための計算処理結果を電子透かしが埋め込まれていると判定された有効領域全体でまとめ、最終的な付加情報の抽出を行う。
【０１０１】
これは画像を平均化してから抽出のための計算処理を行い、付加情報を抽出するか、抽出のための計算処理を先に行い、最終的にその結果を平均化し付加情報を抽出するかの違いであり、数学的には等価である。
【０１０２】
従って、以降の実施の形態でも、平均化ブロックを用いて付加情報を抽出する方法について述べるが、どちらの抽出処理を行った場合にも、本発明の範疇に含まれるものとする。
【０１０３】
［実施の形態２］
前述の実施の形態１では、電子透かし埋め込み画像に加えられた平行移動量を検出する位置合わせ信号を用いて、電子透かしが埋め込まれた有効領域を判定することにより、信頼性の高い電子透かしの抽出を行う方法について述べた。
【０１０４】
これに対し本実施の形態２では、平行移動のみならず、スケーリング、回転に代表される一次変換も含む幾何変換（アフィン変換）が、入力される電子透かし埋め込み済み画像或いは信号に加えられている場合について考える。
【０１０５】
いま、電子透かし埋め込み画像が図１９の１００１で表されような幾何変換が加えられた画像であるとする。電子透かし技術の分野では、回転やスケーリングに代表される幾何変換が加わった電子透かしが埋め込まれた画像を、元の幾何的状態に補正する方法をレジストレーションと呼ぶ。
【０１０６】
図２０は、図１９の１００１に対してレジストレーション処理を行った結果を示す図である。
【０１０７】
回転を補正するレジストレーション処理により、画像に新たな領域１１０４が加わり、電子透かしが埋め込まれている領域１１０３の画像全体１１０１に占める割合は更に減少している。また、回転を補正するレジストレーション処理により生じる斜線の領域１１０４と、画像の印刷及びその読取り時に生じた余白１１０５との間に、大きな画素値の違い、即ちエッジが出現する可能性が考えられる。このエッジが付加情報の抽出時に悪影響及ぼすことが実際に起こりえる。その理由について、実施の形態１で説明した付加情報埋め込みアルゴリズムを例に説明を行う。
【０１０８】
通常、電子透かしが埋め込まれた画像の画質劣化を防ぐため、ランダムに決められたグループＡ、グループＢのそれぞれに属する画素の画素値ａiとｂiに対する変更量ｃは、できるだけ小さく設定されている。従って、グループAとグループＢの画素値の差の期待値２ｃは比較的小さな値になる。
【０１０９】
しかし、回転を補正する処理により生じる斜線の領域１１０４の画素値が“０”であり、画像の印刷とそのスキャン時に生じた余白１１０５の画素値が“２５５”であった場合には“２５５”という大きな差が生じる。
【０１１０】
従って、回転やスケーリングを補正した画像１１０１全体から、平均化ブロックを取得する場合、付加情報を含まないエッジ部分が、電子透かしが埋め込まれた位置のブロックに加えられ、平均化される。このとき、前述のエッジの大きな影響を受け、グループＡとグループＢの画素値の差の期待値２ｃの符号が逆転し、最終的に誤った付加情報を返す現象が起きる可能性がある。
【０１１１】
本実施の形態２では、電子透かしが埋め込まれた画像に対して加えられる平行移動、スケーリング、回転等の幾何変換を補正した場合にも、電子透かしが埋め込まれた領域を判定し、信頼性の高い電子透かしの抽出を可能にする方法を提案する。
【０１１２】
電子透かしが埋め込まれた画像に対して行われた回転、スケーリングに代表される幾何変換を補正するアルゴリズムについては、既に幾つかの方式が知られている。よく知られている方法としては、電子透かしの埋め込み時に、位置合わせ信号として、フーリエ空間周波数上の振幅スペクトルに複数の強いピークを持つ２次元波を埋め込む。この信号は空間上では様々な周波数を持つ２次元波の集まりとして表現される。
【０１１３】
電子透かしが埋め込まれた画像に加えられた幾何変換を計算する場合には、まず、画像から上記の位置合わせ信号と同じサイズのブロックを取得し、パワースペクトルを計算する。複数のブロックからパワースペクトルを取得し、パワースペクトルの平均を利用してもよい。次に、位置合わせ信号のパワースペクトルと、電子透かしが埋め込まれた画像から計算されたパワースペクトルの複数ピークの対応関係を調べることで、電子透かしが埋め込まれた画像に加えられた回転、スケーリングを含む一次変換量を計算することができる。
【０１１４】
電子透かしが埋め込まれた画像に加えられた平行移動量に関しては、前述の実施の形態１で述べた位置合わせのため信号（ランダム信号など）を用いて探索する方法や、上記の位置合わせ信号のフーリエ空間周波数上の位相成分を用いて探索する方法が、知られている。
【０１１５】
なお、上記に述べたレジストレーション技術の一例については、米国特許５６３６２９２号の“Steganography methods employing embedded calibration data”や、特開平１１−３５５５４７号公報“幾何変換特定システム”にも比較的詳しく述べられている。
【０１１６】
次に、本実施の形態２に係る電子透かし抽出装置について説明する。
【０１１７】
図１４は、本実施の形態２に係る電子透かし抽出装置の構成を示すブロック図で、図１１に示す電子透かし抽出装置から平行移動補正部１３０１と幾何変換補正部１４０１を入れ替えた構成となっている。
【０１１８】
電子透かしが埋め込まれた画像は、画像領域選択部１９０２に入力される。この画像領域選択部１９０２では、前述のように入力画像のヒストグラムやエッジの解析等により背景領域と画像領域を区別し、元の画像領域を選択する。そして、その画像領域の画像データと、選択した画像の位置情報を、後段の幾何変換算出部１４０６に送る。この幾何変換算出部１４０６では、選択された画像領域を解析し、その画像に加えられた一次変換量を算出する。画像領域選択部１９０２で選択された画像領域は画像の一部であるので、元々入力される画像の位置情報を考慮して、画像全体における幾何変換量に変更し、後段の幾何変換補正部１４０１に出力する。この幾何変換補正部１４０１には、入力される画像と、幾何変換算出部１４０６からの幾何変換量とが入力され、これらに基づいて電子透かしが埋め込まれた画像に加えられた幾何変換を補正して有効領域判定部１４０２に出力する。この幾何変換補正部１４０１では、回転、スケーリング等に代表される一次変換だけでなく、平行移動量も補正することができる。
【０１１９】
この様にして、有効領域判定部１４０２には、幾何変換に対する補正が行われた電子透かしが埋め込まれた画像が入力される。この有効領域判定部１４０２は、位置合わせ信号を用いて、入力された画像の電子透かしが埋め込まれた領域を判定する。本実施の形態２においては、有効領域判定部１４０２で用いる位置合わせ信号は、前述の実施の形態１で説明した平行移動を補正するためのランダム信号やＭ系列信号だけに限らず、平行移動、スケーリング、回転等の変換を検出することが可能な位置合わせ信号を用いる。そして、この有効領域判定部１４０２は、幾何変換に対する補正が行われた電子透かしが埋め込まれた画像、及び有効領域情報を、有効領域平均化ブロック取得部１４０３に出力する。有効領域平均化ブロック取得部１４０３は、入力される有効領域情報から、入力された画像の電子透かしが埋め込まれた領域の平均化ブロックを取得し、付加情報抽出部７０３に出力する。付加情報抽出部７０３は、付加情報の埋め込みアルゴリズムに対応した抽出アルゴリズムを用いて付加情報を抽出する。
【０１２０】
以上説明したように、有効領域判定部１４０２及び、画像領域選択部１９０２を導入することにより、位置合わせ信号を用いて入力画像の電子透かしが埋め込まれた位置を特定でき、信頼性の高い付加情報の抽出が可能となった。
【０１２１】
［実施の形態３］
前述の実施の形態１では、電子透かしが埋め込まれた信号として画像を想定したが、音声データの場合でも、２次元的な平行移動を時間移動に置き換えて想定することで、前述の実施の形態１と同じ原理で信頼性のある電子透かしの抽出を行うことが可能になる。
【０１２２】
時間移動が加えられた音楽データから、付加情報を抽出するための電子透かし抽出装置の構成を図１５に示す。
【０１２３】
図１５の構成は、前述の実施の形態１で述べた図１１の電子透かし抽出装置とほとんど同じであるので、その詳細については省略するが、実施の形態１で説明した場合と同様に、電子透かしが埋め込まれた音楽データに編集が加えられた場合にも、信頼性のある電子透かしの抽出が可能である。従って、画像の代わりに音楽データを用いる場合でも、本発明の範疇であるとする。
【０１２４】
［実施の形態４］
実施の形態４では、動画像データを対象とした信頼性のある電子透かしの抽出について考える。
【０１２５】
動画像における電子透かしとして、各フレーム内の画像データに対し、繰り返し位置合わせ信号を含む電子透かしを埋め込むと同時に、複数フレームに亙り電子透かし信号を繰り返し埋め込む方法が考えられる。
【０１２６】
動画像に対して行われる編集としては、電子透かしが埋め込まれた動画像の一部が、他の動画像に加えられるか、或いは動画像全体に亙って等しい幾何変換が加えられるかの２通りが考えられる。各フレームで加えられる幾何変換が等しいと仮定したのは、連続したよく似た複数の画像から構成される動画では、各フレームにおける幾何変換が異なると、フレーム間の画像の連続した動きを妨げ、極めて不自然で作品の品質を著しく損なうからである。
【０１２７】
図１６は、実施の形態４に係る、画像編集が加えられた電子透かし埋め込み動画像データから付加情報を抽出するための電子透かし抽出装置の構成を示すブロック図である。
【０１２８】
図１６において、動画信号選択部１８０１で、まずヒストグラムや分散、エッジの解析を行って動画像信号と情報が含まれない信号を明確に区分し、そのうちの動画像信号を選択し、後段の幾何変換補正部に出力する。この操作は、各フレームごとに行われる。動画像信号と情報が含まれない信号（例えば、フレーム全体にほとんど変化がない画像が一定時間以上続くなど）を区別するための部は、比較的簡単に実装することができる。
【０１２９】
次に平均化画像取得部１８０２で、動画像信号と判定されたフレームを集め、それらを平均化し、その平均化したフレームを幾何変換補正部１８０３に出力する。幾何変換補正部１８０３では、この平均化されたフレームから、位置合わせ信号を用いて、動画像信号に加えられた幾何変換を特定して補正する。そして幾何変換が補正された動画像信号を後段の有効領域判定部１８０４に出力する。
【０１３０】
有効領域判定部１８０４では、位置合わせ信号を用いて、幾何変換が補正された動画像信号内部の電子透かしが埋め込まれた領域を特定する。そして、有効領域平均化ブロック取得部１８０５で、有効領域判定部１８０４で電子透かしが埋め込まれていると判断されたブロックを平均化したブロックを取得し、付加情報抽出部１８０６に出力する。これにより付加情報抽出部１８０６は、付加情報の埋め込みアルゴリズムに対応した抽出アルゴリズムを用いて付加情報を抽出する。
【０１３１】
なお、幾何変換補正部１８０３、有効領域判定部１８０４、有効領域平均化ブロック取得部１８０５で行われる処理は、前述の実施の形態２で述べた幾何変換補正部１４０１、有効領域判定部１４０２、有効領域平均化ブロック取得部１４０３における処理とほぼ同じである。
【０１３２】
以上説明した電子透かし抽出装置を用いることで、電子透かしが埋め込まれた動画像データに編集が加えられた場合にも、前述の実施の形態１及び２で述べた場合と同様に、信頼性のある電子透かしの抽出が可能となる。
【０１３３】
図１７は、本発明の実施の形態に係る電子透かし抽出装置の具体的な構成例を示すブロック図である。
【０１３４】
同図において、２０１１はＣＰＵ、２０１２はＲＡＭ、２０１３はＲＯＭ、２０１４はディスプレイ制御部、２０１５はディスプレイ、２０１６はキーボードやマウスなどの操作入力部、２０１７はデバイスキーボードやマウスなどの操作入力デバイスの接続Ｉ／Ｏ、２０１８はハードディスク装置などの外部記憶装置、２０１９は外部記憶装置２０１８の接続Ｉ／Ｏ、２０２０はバス、２０２１はカラーイメージスキャナ、２０２２はカラーイメージスキャナなどの画像入力機器との接続Ｉ／Ｏである。２０２３はネットワークなどの通信部とのインターフェース部である。
【０１３５】
本発明の上述した実施の形態１乃至４で説明した電子透かし抽出装置は、コンピュータにより実行可能なプログラムとして、予めＲＯＭ２０１３に格納しておき、そのプログラムをＲＡＭ２０１２に読み込んだ後に、或いは、予め外部記憶装置２０１８に格納されているプログラムをＲＡＭ２０１２に読み込んだ後に、或いはネットワークなどの通信部とのインターフェース部２０２３を通じてプログラムをダウンロードし、ＲＡＭ２０１２に読み込んだ後に、ＣＰＵ２０１１により該プログラムを実行することにより実施される。
【０１３６】
また電子透かしの抽出を行う対象である画像は、カラーイメージスキャナ２０２１、或いは、カラーイメージスキャナに代わるディジタルカメラ等の入力機器を用い、接続Ｉ／Ｏ２０２２を通じて、ＲＡＭ２０１２内部に蓄積されるか、或いは、外部記憶装置２０１８、接続Ｉ／Ｏ２０１９を通じて、ＲＡＭ２０１２内部に蓄積されるか、或いはネットワークなどの通信インターフェース２０２３を通じて、ＲＡＭ２０１２に蓄積される。
【０１３７】
電子透かしの抽出を行う対象が音響信号の場合は、図１７におけるカラーイメージスキャナ２０２１に代わるマイク等の音響入力機器を用い、接続Ｉ／Ｏ２０２２を通じてＲＡＭ２０１２内部に蓄積されるか、或いは、外部記憶装置２０１８、接続Ｉ／Ｏ２０１９を通じて、ＲＡＭ２０１２内部に蓄積されるか、或いはネットワークなどの通信部２０２３を通じてＲＡＭ２０１２に蓄積される。
【０１３８】
電子透かしの抽出を行う対象が動画像データの場合は、図１７におけるカラーイメージスキャナ２０２１に代わるディジタルカメラ等の入力機器を用い、接続Ｉ／Ｏ２０２２を通じてＲＡＭ２０１２に蓄積されるか、或いは、外部記憶装置２０１８、接続Ｉ／Ｏ２０１９を通じてＲＡＭ２０１２に蓄積されるか、或いはネットワークなどの通信インターフェース２０２３を通じてＲＡＭ２０１２に蓄積される。
【０１３９】
また電子透かしの抽出処理プログラムは、キーボード＆マウス２０１６或いは、ネットワークなどの通信部２０２３からの入力を通じて制御される。
【０１４０】
なお本発明は、複数の機器（例えばホストコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１４１】
また本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１４２】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１４３】
以上説明したように本実施の形態によれば、電子透かしが埋め込まれた画像に対して、加えられた幾何変換を補正した後に、ブロック分割を行い、位置合わせ信号とのの相関から、有効領域を特定することにより、有効領域から信頼性のある電子透かしの抽出を可能にする。
【０１４４】
【発明の効果】
以上説明したように本発明によれば、例えば電子透かしのような副次的な情報が埋め込まれた画像或いは信号に加えられた幾何変換を補正した後にその副次的な情報を抽出することにより、信頼性の高い情報の抽出を行うことができるという効果がある。
【図面の簡単な説明】
【図１】原画像に最小埋め込み単位を繰り返し埋め込む様子を説明する図である。
【図２】本実施の形態に係る、電子透かしが最小埋め込み単位で繰り返し埋め込まれた画像から付加情報を抽出する処理を説明するブロック図である。
【図３】本実施の形態に係る平均化ブロック取得部における処理手順を示したフローチャートである。
【図４】平均化ブロック取得部の処理を模式的に示した図である。
【図５】２つの１次元波同士の相互相関を説明する図である。
【図６】２次元の広がりを持つ信号の相関を説明する図である。
【図７】平行移動が加えられた画像から付加情報の抽出を行う電子透かし抽出装置の内部構成を示すブロック図である。
【図８】本実施の形態に係る平行移動量算出部の内部構成を示すブロック図である。
【図９】編集が加えられた信号から、元の画像或いは信号領域だけを抽出する画像領域選択部および信号領域選択部の入出力関係を説明する図である。
【図１０】画像領域選択部を実現する一方法を説明するための図である。
【図１１】本発明の実施の形態１に係る電子透かし抽出装置の内部構成をブロック図である。
【図１２】本実施の形態に係る有効領域判定部における処理を示すフローチャートである。
【図１３】電子透かしが埋め込まれている有効領域を判定する様子を説明する図である。
【図１４】本発明の実施の形態２に係る電子透かしの抽出を行う電子透かし抽出装置の内部構成を示すブロック図である。
【図１５】本発明の実施の形態３に係る電子透かし抽出装置の内部構成を示したブロック図である。
【図１６】画像編集が加えられた電子透かし埋め込み動画像データから付加情報を抽出するための実施の形態４に係る電子透かし抽出装置の構成を示すブロック図である。
【図１７】本実施の形態に係る電子透かし抽出処理プログラムを実行するためのコンピュータ機器の構成を示したブロック図である。
【図１８】電子透かしが埋め込まれた領域に余白領域が加えられた状態の一例を説明する図である。
【図１９】スケーリング・回転・平行移動からなる幾何変換が加えられた電子透かし埋め込み画像の一例を示す図である。
【図２０】図１９の電子透かしが埋め込まれた画像に対して加えられた幾何変換を補正した画像の一例を示す図である。

Claims (23)

1. 副次的な情報および位置情報を取得するための位置合わせ信号を含む最小埋め込み単位が繰り返し埋め込まれた画像から当該副次的な情報を抽出するための画像処理装置であって、
   前記位置合わせ信号を用いて前記画像に加えられた幾何変換量を算出する幾何変換算出手段と、
   前記幾何変換算出手段にて算出された前記幾何変換量に対する補正を行った幾何変換補正画像を生成する幾何変換補正手段と、
   前記幾何変換補正画像を複数ブロックに分割する領域分割手段と、
   前記複数ブロックの各々に対して、各ブロックごとに前記位置合わせ信号との相関値を計算する計算手段と、
   前記複数ブロックの各々に対する前記相関値と閾値とを比較して、前記幾何変換補正画像における、前記副次的な情報の存在を判定する有効領域を判定する判定手段と、
   前記判定手段において判定された前記有効領域から前記副次的な情報を抽出する抽出手段と、
   とを有することを特徴とする画像処理装置。
2. 前記幾何変換算出手段が前記幾何変換量の算出のために用いる領域は入力画像の一部であることを特徴とする請求項１に記載の画像処理装置。
3. 前記領域は、前記入力画像の特徴に基づき決定されることを特徴とする請求項２に記載の画像処理装置。
4. 前記幾何変換量は、一次変換量と平行移動量を含むことを特徴とする請求項１に記載の画像処理装置。
5. 前記複数ブロックのそれぞれは前記最小埋め込み単位と同じサイズであることを特徴とする請求項１に記載の画像処理装置。
6. 前記位置合わせ信号は、画像に加えられた、少なくとも回転又はスケーリングを含む一次変換量を、前記画像の周波数解析により検知することが可能な信号であることを特徴とする請求項１に記載の画像処理装置。
7. 副次的な情報および位置情報を取得するための位置合わせ信号を含む最小埋め込み単位が繰り返し埋め込まれた画像から当該副次的な情報を抽出するための画像処理方法であって、
   前記位置合わせ信号を用いて前記画像に加えられた幾何変換量を算出する幾何変換算出工程と、
   前記幾何変換算出工程で算出された前記幾何変換量に対する補正を行った幾何変換補正画像を生成する幾何変換補正工程と、
   前記幾何変換補正画像を複数ブロックに分割する領域分割工程と、
   前記複数ブロックの各々に対して、各ブロックごとに前記位置合わせ信号との相関値を計算する計算工程と、
   前記複数ブロックの各々に対する前記相関値と閾値とを比較して、前記幾何変換補正画像における、前記副次的な情報の存在を判定する有効領域を判定する判定工程と、
   前記判定工程において判定された前記有効領域から前記副次的な情報を抽出する抽出工程と、
   とを有することを特徴とする画像処理方法。
8. 副次的な情報および位置情報取得するための位置合わせ信号を含む最小埋め込み区間が繰り返し埋め込まれた信号から当該副次的な情報を抽出するためのデータ処理装置であって、
   前記位置合わせ信号を用いて前記信号に加えられた時間方向の移動を算出する時間移動算出手段と、
   前記時間移動算出手段にて算出された時間方向の移動に対する補正を行った時間移動補正データを生成する時間移動補正手段と、
   前記時間移動補正データを、複数区間に分割する区間分割手段と、
   前記複数区間の各々に対して、区間ごとに前記位置合わせ信号との相関値を計算する計算手段と、
   前記複数区間の各々に対する前記相関値を閾値と比較して、前記時間移動補正データにおける、前記副次的な情報の存在を判定する有効領域を判定する判定手段と、
   前記判定手段において判定された前記有効領域から前記副次的な情報を抽出する抽出手段と、
   を有することを特徴とするデータ処理装置。
9. 前記時間移動算出手段が前記信号に加えられた時間移動の算出のために用いる領域は入力される信号の一部であることを特徴とする請求項８に記載のデータ処理装置。
10. 前記領域は前記信号の特徴に基づき決定されることを特徴とする請求項８に記載のデータ処理装置。
11. 前記信号は音声データを含むことを特徴とする請求項８に記載のデータ処理装置。
12. 前記区間は前記最小埋め込み区間と同じ長さであることを特徴とする請求項８に記載のデータ処理装置。
13. 副次的な情報および位置情報取得するための位置合わせ信号を含む最小埋め込み区間が繰り返し埋め込まれた信号から当該副次的な情報を抽出するためのデータ処理方法であって、
    前記位置合わせ信号を用いて前記信号に加えられた時間方向の移動を算出する時間移動算出工程と、
    前記時間移動算出工程で算出された時間方向の移動に対する補正を行った時間移動補正データを生成する時間移動補正工程と、
    前記時間移動補正データを、複数区間に分割する区間分割工程と、
    前記複数区間の各々に対して、区間ごとに前記位置合わせ信号との相関値を計算する計算工程と、
    前記複数区間の各々に対する前記相関値を閾値と比較して、前記時間移動補正データにおける、前記副次的な情報の存在を判定する有効領域を判定する判定工程と、
    前記判定工程で判定された前記有効領域から前記副次的な情報を抽出する抽出工程と、
    を有することを特徴とするデータ処理方法。
14. 副次的な情報および位置情報取得するための位置合わせ信号を含む最小埋め込み単位が、各フレームに繰り返し埋め込まれた動画像データから前記副次的な情報を抽出するための画像処理装置であって、
    前記動画像データから複数のフレームからなる一部の領域を選択する選択手段と、
    前記一部の領域からフレーム単位の平均化画像を生成する平均化画像取得手段と、
    前記位置合わせ信号を用いて前記平均化画像に加えられた幾何変換を算出する幾何変換算出手段と、
    前記幾何変換算出手段にて算出された前記幾何変換に対する補正を行った幾何変換補正画像を生成する幾何変換補正手段と、
    前記幾何変換補正画像を複数ブロックに分割する領域分割手段と、
    前記複数ブロックの各々に対してブロックごとに前記位置合わせ信号との相関値を計算する計算手段と、
    前記複数ブロックの各々に対する前記相関値を閾値と比較し、前記副次的な情報の存在を判定する有効領域を判定する有効領域判定手段と、
    前記有効領域判定手段において判定された前記有効領域から前記副次的な情報を抽出する抽出手段と、
    を有することを特徴とする画像処理装置。
15. 前記複数のフレームからなる一部の領域は、入力動画像の特徴に基づき決定される請求項１４に記載の画像処理装置。
16. 前記幾何変換は一次変換又は平行移動を含むことを特徴とする請求項１４に記載の画像処理装置。
17. 前記ブロックは、前記最小埋め込み単位と同じサイズを有することを特徴とする請求項１４に記載の画像処理装置。
18. 前記位置合わせ信号は、画像に加えられた回転およびスケーリングを含む一次変換量を電子透かしが埋め込まれた画像を周波数解析により検知することが可能な信号であることを特徴とする請求項１４に記載の画像処理装置。
19. 副次的な情報および位置情報取得するための位置合わせ信号を含む最小埋め込み単位が、各フレームに繰り返し埋め込まれた動画像データから前記副次的な情報を抽出するための画像処理方法であって、
    前記動画像データから複数のフレームからなる一部の領域を選択する選択工程と、
    前記一部の領域からフレーム単位の平均化画像を生成する平均化画像取得工程と、
    前記位置合わせ信号を用いて前記平均化画像に加えられた幾何変換を算出する幾何変換算出工程と、
    前記幾何変換算出工程で算出された前記幾何変換に対する補正を行った幾何変換補正画像を生成する幾何変換補正工程と、
    前記幾何変換補正画像を複数ブロックに分割する領域分割工程と、
    前記複数ブロックの各々に対してブロックごとに前記位置合わせ信号との相関値を計算する計算工程と、
    前記複数ブロックの各々に対する前記相関値を閾値と比較し、前記副次的な情報の存在を判定する有効領域を判定する有効領域判定工程と、
    前記有効領域判定工程で判定された前記有効領域から前記副次的な情報を抽出する抽出工程と、
    を有することを特徴とする画像処理方法。
20. 請求項７又は１９に記載の画像処理方法を実行するプログラムを記憶した記憶媒体。
21. 請求項１３に記載のデータ処理方法を実行するプログラムを記憶した記憶媒体。
22. 請求項７又は１９に記載の画像処理方法を実行するプログラム。
23. 請求項１３に記載のデータ処理方法を実行するプログラム。

Images