JP4519678B2 - 電子透かし検出方法及び装置、電子透かし埋め込み方法及び装置 - Google Patents

Description

本発明は、例えば記録媒体を介して提供されるディジタル動画像信号の不正な複製を防止するのに有効な電子透かし検出装置及び方法、電子透かし埋め込み装置及び方法に関する。

ディジタルＶＴＲ、あるいはＤＶＤ（ディジタルバーサタイルディスク）のようなディジタル画像データを記録及び再生する装置の普及により、これらの装置で再生が可能な数多くのディジタル動画像が提供されるようになってきている。またインターネット、放送衛星、通信衛星等を介したディジタルテレビ放送を通じて様々なディジタル動画像が流通し、ユーザは高品質のディジタル動画像を利用することが可能となりつつある。

ディジタル動画像は、ディジタル信号レベルで簡易に高品質の複製を作成することが可能であり、何らかの複製禁止あるいは複製制御を施さない場合には、無制限に複製されるおそれがある。従って、ディジタル動画像の不正な複製（コピー）を防止し、あるいは正規ユーザによる複製の世代数を制御するために、ディジタル動画像に複製制御のための情報を付加し、この付加情報を用いて不正な複製を防止し、複製を制限する方法が考えられている。

このようにディジタル動画像に別の付加情報を重畳する技術として、電子透かし（digital watermarking）が知られている。電子透かしは、ディジタルデータ化された音声、音楽、動画、静止画等のコンテンツに対して、コンテンツの著作権者や利用者の識別情報、著作権者の権利情報、コンテンツの利用条件、その利用時に必要な秘密情報、あるいは複製制御情報などの情報（これらを透かし情報と呼ぶ）を知覚が容易ではない状態となるように埋め込み、後に必要に応じて透かし情報をコンテンツから検出することによって利用制御、複製制御を含む著作権保護を行ったり、二次利用の促進を行ったりするための技術である。

電子透かしの一つの方式として、スペクトラム拡散技術を応用した方式が知られている。この方式では、以下の手順により透かし情報をディジタル動画像に埋め込む。
［ステップＥ１］画像信号に擬似ランダム：pseudorandom noise（ＰＮ）系列を乗積してスペクトラム拡散を行う。
［ステップＥ２］スペクトル拡散後の画像信号を周波数変換（例えば、ＤＣＴ変換）する。
［ステップＥ３］特定の周波数成分の値を変更することで透かし情報を埋め込む。
［ステップＥ４］逆周波数変換（例えば、ＩＤＣＴ変換）を施す。
［ステップＥ５］スペクトル逆拡散を施す（ステップＥ１と同じＰＮ系列を乗積する）。

一方、こうして透かし情報が埋め込まれたディジタル動画像からの透かし情報の検出は、以下の手順により行う。
［ステップＤ１］画像信号にＰＮ系列（ステップＥ１と同じＰＮ系列）を乗積してスペクトル拡散を行う。

［ステップＤ２］スペクトル拡散後の画像信号を周波数変換（例えばＤＣＴ変換）する。
［ステップＤ３］特定の周波数成分の値に着目し、埋め込まれた透かし情報を抽出する。

一方、特許文献１及び２には、入力画像信号から特定周波数成分の信号を抽出し、この特定周波数成分信号について透かし情報に応じた振幅制御または位相制御を施して入力画像信号に重畳することで透かし情報の埋め込みを行い、透かし情報の検出時は入力画像信号から抽出される特定周波数成分の信号について振幅制御または位相制御を施した後、入力画像信号との相関値を算出して透かし情報を検出する技術が提案されている。
特開２００２−３２５２３３公報（請求項２、図７参照） 特開２００２−２１８４０４公報（請求項１、図１参照）

不正利用の防止を目的として電子透かしを適用する場合、ディジタル著作物に対して通常に施されると想定される各種の操作や意図的な攻撃によって、透かし情報が消失したり改竄されたりしないような性質（ロバスト性）を持つ必要がある。透かし情報を埋め込んだディジタル画像に対して透かし情報を検出できなくする典型的な攻撃としては、画像の切り出しやスケーリング（拡大／縮小）等が考えられる。

このような攻撃を受けたディジタル画像が入力された場合、従来の技術では、まず透かし情報の検出時に埋め込み時のステップＥ１で用いたＰＮ系列を推定する処理を行って、ＰＮ系列の同期を回復した後、ステップＤ１〜Ｄ３の処理を行って、埋め込まれた透かし情報を抽出する。しかしながら、画像信号だけからＰＮ系列の同期を回復するには、複数のＰＮ系列候補で処理を試みて、正しく検出できた候補をＰＮ系列として採用するという探索を行う必要がある。このために、演算量や回路規模が増加するという問題がある。

さらに、攻撃を受けたディジタル画像では透かし情報が弱まっているため、画像の切り出しやスケーリングの攻撃が行われたことを検知して、それらに対応した検出を行っても透かし情報が検出できなくなる場合がある。

本発明は、入力画像信号の位相制御や振幅制御を用いて透かし情報の埋め込みと検出を行う方式をさらに改良して、画像の切り出しやスケーリングのような攻撃によって弱まった透かし情報をより正確に検出する電子透かし埋め込み方法と装置及び電子透かし検出方法及び装置を提供することを目的とする。

本発明の第１の観点によると、入力画像信号の少なくとも特定周波数成分に対しスケーリングを施してスケーリング画像信号を生成し、前記スケーリング画像信号に対し前記透かし情報による位相及び振幅の少なくとも一方の制御を施して制御画像信号を生成し、前記入力画像信号と前記制御画像信号とを合成して透かし情報が埋め込まれた出力画像信号を生成する。

本発明の第２の観点によると、透かし情報が埋め込まれた入力画像信号及び該入力画像信号を一定期間にわたり累積して得られる第１累積信号のいずれかに対しスケーリングを施してスケーリング画像信号を生成し、前記入力画像信号と前記スケーリング画像信号との相関演算を行って相関演算信号を生成し、前記相関演算信号及び該相関演算信号を一定期間わたり累積して得られる第２累積信号のいずれかに出現するピークに基づいて前記透かし情報を推定する。

本発明の第３の観点によると、透かし情報が埋め込まれた入力画像信号について自己相関演算を行って相関演算信号を生成し、前記相関演算信号に対しスケーリングを施してスケーリング画像信号を生成し、スケーリング画像信号及び該スケーリング画像信号を一定期間にわたり累積して得られる累積信号のいずれかに出現するピークに基づいて前記透かし情報を推定する。

本発明の第４の観点によると、透かし情報が埋め込まれた入力画像信号及び該入力画像信号を一定期間にわたり累積して得られる第１累積信号のいずれかに対しスケーリングを施してスケーリング画像信号を生成し、前記入力画像信号と前記第１累積信号のいずれか及び前記スケーリング画像信号に対し直交変換を施して第１直交変換像信号及び第２直交変換画像信号を生成し、前記第１直交変換像信号と第２直交変換像信号とを合成して合成信号を生成し、前記合成信号に対し直交変換または逆直交変換を施して変換合成信号を生成し、前記変換合成信号及び該変換合成信号を一定期間にわたり累積して得られる第２累積信号のいずれかに出現するピークに基づいて前記透かし情報を推定する。

本発明の第５の観点によると、透かし情報が埋め込まれた入力画像信号及び該入力画像信号を一定期間にわたり累積して得られる第１累積信号のいずれかに対し直交変換を施して直交変換像信号を生成し、前記直交変換像信号に対しスケーリングを施してスケーリング画像信号を生成し、前記直交変換像信号と前記スケーリング画像信号とを合成して合成信号を生成し、前記合成信号に対し直交変換または逆直交変換を施して変換合成信号を生成し、前記変換合成信号及び該変換合成信号を一定期間にわたり累積して得られる第２累積信号のいずれかに出現するピークに基づいて前記透かし情報を推定する。

本発明によれば、入力画像信号に対するスケーリングと透かし情報による位相及び振幅の少なくとも一方の制御を組み合わせて電子透かしの埋め込みを行い、電子透かし検出時は入力画像信号に対し電子透かし埋め込み時と同様のスケーリングを施した後、入力画像信号との相関演算を行って、相関演算信号に出現するピークに基づいて透かし情報を推定することにより、画像の切り出しやスケーリングなどの攻撃に対して透かし情報をより正確に検出することができる。

以下、図面を参照して本発明の実施の形態について説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る電子透かし埋め込み装置を示している。図１において、透かし情報が埋め込みされるべき対象の入力画像信号１０１として、例えばディジタル化された動画像または静止画の画像信号が入力される。入力画像信号１０１は輝度信号及び色差信号の両方を含んでいてもよいし、輝度信号のみであってもよい。入力画像信号１０１は３分岐され、拡大／縮小器１１と特徴量抽出器１２及び透かし情報重畳器１４に入力される。

拡大／縮小器１１は、例えば周波数領域のディジタルフィルタであり、入力動画像信号１０１に対して特定のスケーリング率のスケーリング（拡大または縮小処理）を施す。以下では、拡大／縮小器１１によって生成される画像信号をスケーリング画像信号という。拡大／縮小器１１により生成されるスケーリング画像信号は、位相・振幅制御器１３の信号入力端子に入力される。

一方、入力画像信号１０１に埋め込むべきディジタル情報である透かし情報１０２は、位相・振幅制御器１３の制御入力端子に与えられる。位相・振幅制御器１３は、拡大／縮小器１１からのスケーリング画像信号に対し透かし情報１０２に従って予め定められた位相制御及び振幅制御を施して制御画像信号を生成する。例えば、位相・振幅制御器１３は透かし情報１０２が“０”の場合は位相制御及び振幅制御を行わず、透かし情報１０２が“１”のとき予め定められた固有の位相制御量の位相制御及び予め定められた固有の振幅制御量の振幅制御を行う。

特徴量抽出器１２では、入力画像信号１０１の特徴量、例えば画像の複雑度（アクティビィティ）が抽出される。抽出された特徴量を示す情報は、位相・振幅制御器１３に入力される。位相・振幅制御器１３では、抽出された特徴量に応じてスケーリング画像信号に対する位相制御量や振幅制御量が制御される。具体的には、特徴量がアクティビィティの場合、アクティビィティが大きいほど位相・振幅制御器１３での位相制御や振幅制御の制御係数が大きく設定される。なお、特徴抽出器１２は必須ではなく、省略してもよい。

位相・振幅制御器１３によって位相制御と振幅制御を受けた制御画像信号は、透かし情報重畳器１４に埋め込み信号として供給され、入力画像信号１０１に重畳される。位相・振幅制御１３は、例えばディジタル加算器によって実現される。

このように拡大／縮小器１１によって生成されたスケーリング画像信号は、位相・振幅制御器１３によって電子透かし埋め込み装置に固有の位相制御及び振幅制御を受ける。この際、位相制御量及び振幅制御量の一方または両方は、透かし情報１０２によって決定される。従って、透かし情報重畳器１４においては実質的に透かし情報１０２が入力画像信号１０１に埋め込まれることになる。なお、位相・振幅制御器１３ではスケーリング画像信号のアクティビィティに応じて埋め込み信号を制御しても構わない。

拡大／縮小器１１及び位相・振幅制御器１３は、複数チャネル分のスケーリング画像信号及び制御画像信号をそれぞれ生成してもよく、その場合は複数チャネルの埋め込み信号が透かし情報重畳器１４において入力画像信号１０１に重畳される。また、電子透かし埋め込み装置に透かし検出機能を持たせ、検出した透かし情報の信号強度に応じて埋め込み信号の強度を調整する方法も考えられる。さらに、電子透かし埋め込み装置に電子透かし埋め込み後の画質劣化を検出する機能を持たせ、検出した画質劣化度に応じて埋め込み信号の強度を調整する方法も考えられる。

こうして透かし情報１０２が埋め込まれた画像信号（以下、埋め込み済み画像信号という）１０３は、例えばＤＶＤシステムのようなディジタル画像記録再生装置によって記録媒体に記録され、あるいはインターネット、放送衛星、通信衛星等の伝送媒体を介して伝送される。

次に、図２に示すフローチャートを用いて本実施形態に係る電子透かし埋め込みの手順について説明する。

まず、透かし情報１０２が埋め込みされるべき入力画像信号１０１に対して、拡大／縮小器１１及び特徴量抽出器１２により拡大／縮小処理及び特徴量抽出を行う（ステップＳ１１１及びＳ１１２）。ステップＳ１１１では、入力動画像信号１０１に対して特定のスケーリング率の拡大／縮小処理、例えば倍率０．５倍の縮小処理を行ってスケーリング画像信号を生成する。ステップＳ１１２では、入力画像信号１０１の特徴量、例えば画像のアクティビィティを抽出する。

ステップＳ１１１で生成されたスケーリング画像信号に対して、位相・振幅制御器１３により予め定められた固有の位相制御量の位相制御、固有の振幅制御量の振幅制御の少なくとも一方の制御を行う（ステップＳ１１３）。位相制御は具体的には単一または複数のディジタル位相シフタによって実現され、位相制御量はディジタル位相シフタの位相シフト量である。図３は位相シフトの様子を示す図であり、この例では図３（ａ）に示すスケーリング画像信号が図３（ｂ）に示すように波形を保って単純に位相シフトされている。振幅制御は具体的には単一または複数の排他的論理和回路やディジタル乗算器によって実現される。この場合、振幅制御量は入力されるスケーリング画像信号に乗じられる係数（制御係数）である。

ステップＳ１１３においては、ステップＳ１１１で入力された特徴量に応じてスケーリング画像信号の位相制御量や振幅制御量を制御する。具体的には、特徴量がアクティビィティの場合、アクティビィティが大きいほど制御係数を大きく設定する。さらに、入力画像信号１０１に埋め込むべきディジタル情報である透かし情報１０２に従って位相制御量や振幅制御量を制御する。

ステップＳ１１４によって位相制御及び振幅制御を受けた画像信号を透かし情報重畳器１４により埋め込み信号として入力画像信号１０１に重畳する。これによって透かし情報１０２が入力画像信号１０１に埋め込まれ、埋め込み済み画像信号１０３が生成される（ステップＳ１１４）。生成された埋め込み済み画像信号１０３は記録されるか、あるいは伝送される。

次に、第１の実施形態に係る電子透かし埋め込み装置によって透かし情報１０２が埋め込まれ、例えばＤＶＤシステムのようなディジタル画像記録再生装置によって記録媒体に記録された埋め込み済み画像信号１０３、あるいはインターネット、放送衛星、通信衛星等の伝送媒体を介して伝送された埋め込み済み画像信号１０３から、埋め込まれている透かし情報１０２を検出する電子透かし検出装置の幾つかの実施形態について説明する。

（第２の実施形態）
図４は、本発明の第２の実施形態に係る電子透かし検出装置を示している。図４の電子透かし検出装置には、図１に示した電子透かし埋め込み装置によって生成された埋め込み済み画像信号１０３が記録媒体あるいは伝送媒体を介して入力画像信号２０１として与えられる。入力画像信号２０１は、まず拡大／縮小器２１によりスケーリング（拡大または縮小処理）が施される。拡大／縮小器２１は、図１の電子透かし埋め込み装置で用いられている拡大／縮小器１１と同じスケーリング率で拡大または縮小処理を行ってスケーリング画像信号を生成する。

入力画像信号２０１と拡大／縮小器２１によって生成されるスケーリング画像信号は、相関演算器２２に入力される。相関演算器２２は相互相関や位相限定相関：phase only correlation（ＰＯＣ）といった相関演算を行って相関演算信号を生成する。ここで、拡大／縮小や相関演算が線形の処理であれば、拡大／縮小器２１と相関演算器２２の配置順序を入れ替え、相関演算器２２の後に拡大／縮小器２１を配置しても構わない。相関演算信号は推定器２３に入力される。推定器２３では、入力画像信号２０１に埋め込まれている透かし情報を推定して、透かし情報検出信号２０２を出力する。推定器２３の処理については、後に詳しく説明する。

次に、図５に示すフローチャートを用いて本実施形態に係る電子透かし検出の手順について説明する。
記録媒体または伝送媒体を介して入力される埋め込み済み画像信号である入力画像信号２０１に対して、まず拡大／縮小器２１により拡大または縮小処理を施し、スケーリング画像信号を生成する（ステップＳ２２１）。

次に、スケーリング画像信号に対して、相関演算器２２により相互相関、自己相関、あるいは位相限定相関といった相関演算を施し、相関演算信号を生成する（ステップＳ２２２）。位相限定相関については、後に詳しく説明する。

次に、推定器２３により相関演算信号から透かし情報を推定して、透かし情報検出信号２０２を得る（ステップＳ２２３）。拡大／縮小処理や相関演算処理が線形な処理であれば、拡大／縮小ステップＳ２２１と相関演算ステップＳ２２２の順序を入れ替えても構わない。

次に、推定器２３及びステップＳ２２３における透かし情報の推定方法について図６を用いて説明する。入力画像信号２０１には、透かし情報としてディジタル信号の”１”または”０”が埋め込まれているとする。

まず、入力画像信号を図３に示したと同様に位相シフトさせながら、元の位相シフトさせていない入力画像信号との相関値（相互相関値）を求める。図６は、相関値と位相シフト量との関係を示している。図６に示すように、相関値の変化を見た場合、ある位相シフト量の位置にピークが現れ、このピークの極性が透かし情報を表す。すなわち、入力画像信号２０１がスケーリング攻撃を受けていると、スケーリング画像信号の持つ位相シフト量が電子透かし埋め込み装置においてスケーリング画像信号に与えられた位相シフト量と異なった値となる。また、スケーリング攻撃によりピークの始点がずれて、全てのピーク位置が一様にシフトすることもある。そこで、本実施形態においては入力画像信号について位相シフトを行いながら、位相シフトを行う前の入力画像信号との相関値のピークを探索することで透かし情報の推定を行い、透かし情報検出信号２０２を出力する。

さらに具体的に説明すると、推定器２３によって位相シフトの始点と位相シフト量を連続的あるいは段階的に制御し、それに伴って生成される相関値のピークを探索し、探索されたピークの極性から透かし情報を推定する。相関値のピークは、入力画像信号２０１に埋め込まれている透かし情報の値に応じて正・負のいずれかの値をとり、例えば図６の例では正の場合は透かし情報は”１”、負の場合は透かし情報は”０”と判定される。また、例えば高速フーリエ変換：fast Fourier transform（ＦＦＴ）のような直交変換により相関値のピークのピッチを算出し、算出したピッチから所望の位相シフト量を算出する方法も考えられる。このようにして、スケーリング攻撃を受けた画像に対して、推定器２３により透かし情報２０１を検出することができる。

なお、相関演算器２２と推定器２３との間に累積器を挿入し、スケーリング画像信号を一定期間にわたり累積して得られる累積信号から透かし情報の推定を行ってもよい。

このように本実施形態によると、入力画像と埋め込み信号（透かし情報）を分離するように電子透かし埋め込み装置と電子透かし検出装置を調整して累積することで、入力画像信号２０１に対してロバストな相関結果が算出され、入力画像信号２０１に対してロバストで高い電子透かし検出率を実現することが可能となる。

（第３の実施形態）
図７に示される本発明の第３の実施形態に係る電子透かし検出装置には、図１の電子透かし埋め込み装置によって生成された埋め込み済み画像信号１０３が記録媒体あるいは伝送媒体を介して入力画像信号２０１として与えられる。入力画像信号２０１は自己相関器２４に入力され、ここで自己相関演算が行われることによって自己相関演算信号が生成される。自己相関演算信号に対して、拡大／縮小器２１により拡大または縮小処理が施される。

拡大／縮小器２１は、図１の電子透かし埋め込み装置で用いられた拡大／縮小器１１と同じスケーリング率で拡大または縮小処理を行って、スケーリング画像信号を生成する。ここで、拡大／縮小処理や自己相関演算処理が線形の処理であれば、拡大／縮小器２１と自己相関器２４の配置順序を入れ替え、自己相関器２４の後に拡大／縮小器２１を配置しても構わない。スケーリング画像信号は推定器２３に入力され、埋め込まれている透かし情報が推定されることにより、透かし情報２０１が検出される。推定器２３の処理は第２の実施形態と同様であるため、説明を省略する。

次に、図８に示すフローチャートを用いて本実施形態に係る電子透かし検出の手順について説明する。
記録媒体または伝送媒体を介して入力される埋め込み済み画像信号である入力画像信号２０１に対して、まず自己相関器２４により自己相関演算を施し、自己相関演算信号を生成する（ステップＳ２２４）。次に、拡大／縮小器２１により自己相関演算信号に対して拡大または縮小処理を施し、スケーリング画像信号を生成する（ステップＳ２２１）。最後に、推定器２３によりスケーリング画像信号から透かし情報を推定する（ステップＳ２２３）。自己相関演算処理や拡大／縮小処理が線形な処理であれば、自己相関演算ステップＳ２２４と拡大／縮小ステップＳ２２１の順序を入れ替えても構わない。本実施形態によっても、第２の実施形態と同様の効果が得られることは明らかである。

なお、拡大／縮小器２１と推定器２３との間に累積器を挿入し、スケーリング画像信号を一定期間にわたり累積して得られる累積信号から透かし情報の推定を行ってもよい。

（第４の実施形態）
図９に示される本発明の第４の実施形態に係る電子透かし検出装置には、図１の電子透かし埋め込み装置によって生成された埋め込み済み画像信号１０３が記録媒体あるいは伝送媒体を介して入力画像信号２０１として与えられる。入力画像信号２０１には透かし情報として、ディジタル信号の”１”または”０”が埋め込まれているとする。入力画像信号２０１は、まず拡大／縮小器２１によりスケーリングすなわち拡大または縮小処理が施される。拡大／縮小器２１は、図１の電子透かし埋め込み装置で用いられている拡大／縮小器１１と同じスケーリング率で拡大または縮小処理を行ってスケーリング画像信号を生成する。

入力画像信号２０１と拡大／縮小器２１によって生成されるスケーリング画像信号が第１直交変換器２５に入力され、第１直交変換、例えばＦＦＴが施されることにより、スケーリング画像信号の直交変換像信号と入力画像信号２０１の直交変換像信号が得られる。スケーリング画像信号の直交変換像信号と入力画像信号２０１の直交変換像信号は合成器２６に入力され、ここで複素合成がなされる。複素合成後の信号に対して、第２直交変換器２７により第２直交変換が施される。

なお、合成器２６の出力段に振幅圧縮器を備え、複素合成後の信号に対して振幅圧縮処理を施してから第２直交変換器２７により第２直交変換を行ってもよい。振幅圧縮の手法としては、振幅を１に固定、振幅の指数対数値を利用するといった方法が考えられる。

第２直交変換後の信号は推定器２３に与えられる。推定器２３は、第２の実施形態と同様に入力画像信号を図３に示したと同様に位相シフトさせながら、元の位相シフトさせていない信号との相関値（相互相関値）を求め、該相関値から透かし情報を推定して透かし情報検出信号２０２を出力する。すなわち、相関値の変化を見た場合、ある位相シフト量の位置にピークが現れ、このピークの極性が透かし情報を表す。また、ＦＦＴなどにより相関値のピークのピッチを算出し、算出したピッチから所望の位相シフト量を算出する方法も考えられる。このようにして、スケーリングなどの攻撃を受けた画像に対しても、推定器２３により透かし情報を推定して透かし情報検出信号２０２を得ることができる。

次に、図１０に示すフローチャートを用いて本実施形態に係る電子透かし検出の手順について説明する。
記録媒体または伝送媒体を介して入力される透かし情報の埋め込み済み画像信号である入力画像信号２０１に対して、まず拡大／縮小器２１により拡大または縮小処理を施し、スケーリング画像信号を生成する（ステップＳ２２１）。次に、入力画像信号２０１及びスケーリング画像信号に対して、第１直交変換器２５によってＦＦＴなどの第１直交変換を施す（ステップＳ２２５）。次に、第１直交変換後の入力画像信号及びスケーリング画像信号、すなわち二つの直交変換像信号を合成器２６により複素合成する（ステップＳ２２６）。

次に、複素合成後の信号に対して、第２直交変換器２７により第２直交変換を行う（ステップＳ２２７）。第２直交変換は第１直交変換と同じ変換か、または第１直交変換の逆変換であり、例えば第１直交変換としてＦＦＴを行う場合には、第２直交変換としてはＦＦＴまたは逆ＦＦＴを行う。

次に、推定器２３により第２直交変換後の信号（位相限定相関値）から透かし情報の推定を行い、透かし情報検出信号２０２を出力する（ステップＳ２２３）。推定ステップＳ２２３では、位相限定相関値を位相シフトしながらピークを探索することによって透かし情報を推定する。位相限定相関値の変化を見た場合、ある位相シフト量の位置にピークが現れ、このピークの極性が透かし情報を表す。

＜位相限定相関について＞
第１直交変換器２５、合成器２６及び第２直交変換器２７（ステップＳ２２５，Ｓ２２６及びＳ２２７）による相関演算の手法は、位相限定相関と呼ばれる。図１１を用いて説明すると、位相限定相関とは元になる画像（登録画像）信号２０３と照合すべき入力画像信号２０１との相関（類似性）を算出する手法である。まず、ディジタル信号化された登録画像信号２０３をフーリエ変換により数学的に処理することで、振幅情報２０３Ａ（濃淡データ）と位相情報２０３Ｂ（像の輪郭データ）に分解する。ディジタル信号化された入力画像信号２０１についても同様に、フーリエ変換により数学的に処理することで、振幅情報２０１Ａ（濃淡データ）と位相情報２０１Ｂ（像の輪郭データ）に分解する。

次に、分解した登録画像信号２０３の位相情報２０３Ｂに対して振幅圧縮を行う。これは登録画像信号２０３の位相情報２０３Ｂを入力画像信号２０１の位相情報２０１Ｂと照合するためである。言い換えれば、登録画像信号２０３及び入力画像信号２０１のうち形状情報が含まれない振幅情報は使わずに、位相情報のみを用いて相関を画像処理するためである。振幅圧縮の手法としては、例えば振幅を１に固定する。同様に、分解した入力画像信号２０１の位相情報２０１Ｂについても振幅圧縮を行う。

最後に、登録画像信号２０３と入力画像信号２０１の各々の位相情報２０３Ｂ及び２０１Ｂを合成して合成画像信号２０４を作成し、この合成画像信号２０４に対して逆フーリエ変換を行うことで相関画像信号２０５を得る。このような位相限定相関は、振幅情報を用いた従来の２次元相関法や特徴抽出法とは全く異なり、外乱に強く、大きな誤りが無いという特徴を持っている。

＜直交変換における演算量について＞
次に、第１直交変換の演算量について、第１直交変換にＦＦＴを用いた場合を例にとり説明する。入力画像信号２０１の画像がＮ行×Ｍ列の場合を想定すると、ＦＦＴ（この場合、２次元ＦＦＴ）の演算量は以下の数式で表される。

ここで、本実施形態では３つの直交変換（２つの画像の第１直交変換・第２直交変換）を用いるために、以下の演算量が必要となる。

このように本実施形態では、埋め込み済み画像信号である入力画像信号２０１からスケーリング画像信号を生成し、入力画像信号２０１とスケーリング画像信号との位相に限定した相関値を第１直交変換器２５、合成器２６及び第２直交変換器２７により求めて透かし情報を推定する。この場合、位相を変化させながら相関演算を行うことで、相関値のピークが探索できるので、スケーリングなどの攻撃を受けた埋め込み済み画像信号からも容易に透かし情報の検出が可能となる。

（第５の実施形態）
図１２に示される本発明の第５の実施形態に係る電子透かし検出装置では、図９に示した第３の実施形の電子透かし検出装置における拡大／縮小器２１及び第１直交変換器２５の位置を入れ替え、入力画像信号２０１に対して第１直交変換器２５により第１直交変換を施してから、拡大／縮小器２１により拡大または縮小処理を行う。合成器２６では第３の実施形態と同様に、スケーリング画像信号の直交変換像信号と入力画像信号２０１の直交変換像信号について複素合成を行う。合成器２６の出力段に振幅圧縮器を備え、複素合成後の信号に対して振幅圧縮処理を施してから第２直交変換器２７により第２直交変換を行ってもよいことは、第４の実施形態と同様である。

図１３は、本実施形態における電子透かし検出の手順を示すフローチャートであり、図１０に比較して第１直交変換ステップＳ２２５と拡大／縮小ステップＳ２２１の順序が入れ替わっているのみであるため、詳細な説明は省略する。

本実施形態によると、埋め込み済み画像信号である入力画像信号２０１に直交変換を施してからスケーリング画像信号を生成し、このスケーリング画像信号と埋め込み済み画像信号の直交変換像信号との位相限定相関を行い、位相限定相関値から透かし情報を推定して検出する。拡大／縮小処理、直交変換処理は線形処理であるから、このように順序の入れ替えを行っても処理結果は変更されず、演算量の少ない処理順序を用いることで、演算量を減らすことが可能となる。

（第６の実施形態）
図１４に示される本発明の第６の実施形態に係る電子透かし検出装置によると、入力画像信号２０１はまず第１累積器２８により所定の累積期間にわたり累積され、第１累積信号が生成される。第１累積器２８は第１の累積信号を出力するとリセットされ、再び次の累積を行う。

第１累積器２８からの第１累積信号は、拡大／縮小器２１により拡大／縮小されることによりスケーリング画像信号が生成される。拡大／縮小器２１は、図１に示した電子透かし埋め込み装置で用いられている拡大／縮小器１１と同様のスケーリングを行うディジタルフィルタ（スケーリング率は埋め込み時と同率）である。第１累積信号と拡大／縮小器２１によって生成されたスケーリング画像信号は、第１直交変換器２５によりＦＦＴなどの第１直交変換が施され、合成器２６により複素合成される。すなわち、入力画像信号２０１の直交変換像信号とスケーリング画像信号の直交変換像信号について複素合成が行われる。

複素合成後の信号に対して、第２直交変換器２７により第２直交変換が行われる。第２直交変換は第１直交変換と同じ変換か、または第１直交変換の逆変換であり、例えば第１直交変換としてＦＦＴを行う場合には、第２直交変換としてはＦＦＴまたは逆ＦＦＴを行う。なお、合成器２６の出力段に振幅圧縮器を備え、複素合成後の信号に対して振幅圧縮処理を施してから第２直交変換器２７により第２直交変換を行ってもよいことは、第４の実施形態と同様である。第２直交変換後のデータから推定器２３によって透かし情報が推定され、透かし情報検出信号２０２が出力される。

次に、図１５に示すフローチャートを用いて本実施形態に係る電子透かし検出の手順について説明する。
まず、埋め込み済み画像信号である入力画像信号２０１を第１累積器２８によって累積する（ステップＳ２２８）。ステップＳ２２８では、例えば数ライン、１フィールド、数フィールド、１フレームあるいは数フレームなどの、画像の特性が大きく変化しない短い期間にわたって入力画像信号２０１を累積して第１累積信号を出力する。

次に、第１累積ステップＳ２２８で得られる第１累積信号に対して、拡大／縮小器２１により拡大／縮小処理を行う（ステップＳ２２１）。

次に、第１累積信号及び拡大／縮小後のスケーリング画像信号に対して、第１直交変換器２５によりＦＦＴなどの第１直交変換を行う（ステップＳ２２５）。

次に、直交変換処理後の信号を合成器２６により複素合成する（ステップＳ２２６）。ここでは、拡大／縮小後の信号の直交変換像信号と入力画像信号２０１の直交変換像信号について複素合成を行う。

次に、複素合成後の信号に対して、第２直交変換器２７により第２直交変換を行う（ステップＳ２２７）。第２直交変換は第１直交変換と同じ変換か、または第１直交変換の逆変換であり、例えば第１直交変換としてＦＦＴを行う場合には、第２直交変換としてはＦＦＴまたは逆ＦＦＴを行う。

次に、第２直交変換後のデータについて推定器２３により相関値のピークを位相シフトしながら探索することにより、透かし情報を推定して検出する（ステップＳ２２３）。相関値の変化を見た場合、ある位相シフト量の位置にピークが現れ、このピークの極性が透かし情報を表す。

このように本実施形態によると、入力画像信号２０１を累積することにより、例えば入力画像信号２０１と透かし情報の埋め込み信号を分離することができるように、図１の電子透かし埋め込み装置と電子透かし検出装置を調整することで、入力画像信号２０１に対してロバストな相関結果が算出され、入力画像信号２０１に対してロバストで高い電子透かし検出率を実現することが可能となる。

＜第１累積器２８について＞
ここで、図１６を用いて第１累積器２８における入力画像信号２０１の累積手法の例を説明する。図１６に示されるように、入力画像信号２０１は透かし情報が埋め込まれている埋め込み有り画像２１１、埋め込まれていない埋め込み無し画像２１２の両成分を含むものとすると、第１累積器２８は入力画像信号２０１の累積時に埋め込み有り画像２１１の成分と埋め込み無し画像２１２の成分との差分をとることにより、埋め込み成分のみからなる埋め込み画像信号２１３を算出する。この埋め込み画像信号２１３を入力として本実施形態の手法を用いることにより、入力画像信号２０１にロバストな相関結果が算出され、入力画像信号２０１にロバストで高い検出率を実現することが可能となる。

次に、図１９〜図２１を用いて第１累積器２８の累積パターンについて説明する。第１累積器２８の累積パターンとしては、例えば図１９に示したように全てのフィールド（もしくはフレーム）で加算する場合、図２０あるいは図２１に示したようにフィールド毎（もしくはフレーム毎）に加算と減算を織り交ぜて行うことで周期的に加減算を行う方法などが考えられる。これらの累積パターンは、電子透かし埋め込み側での透かし情報の埋め込みパターンと関連して、入力画像信号に対する透かし情報の相関が大きくなるように決定される。

なお、第６の実施形態を変形した例として、例えば図４の拡大／縮小器１１の前段、図７の自己相関器２４または拡大／縮小器１１の前段、あるいは図９の拡大／縮小器１１の前段に第１累積器２８を追加してもよい。

（第７の実施形態）
図１７に示される本発明の第７の実施形態に係る電子透かし装置によると、入力画像信号２０１は、まず拡大／縮小器２１によりスケーリングすなわち拡大または縮小処理が施される。拡大／縮小器２１は、図１の電子透かし埋め込み装置で用いられている拡大／縮小器１１と同じスケーリング率で拡大または縮小処理を行ってスケーリング画像信号を生成する。

入力画像信号２０１と拡大／縮小器２１によって生成されるスケーリング画像信号が第１直交変換器２５に入力され、第１直交変換、例えばＦＦＴが施されることにより、スケーリング画像信号の直交変換像信号と入力画像信号２０１の直交変換像信号が得られる。スケーリング画像信号の直交変換像信号と入力画像信号２０１の直交変換像信号は合成器２６に入力され、ここで複素合成がなされる。

複素合成後の信号に対して、第２直交変換器２７により第２直交変換が施される。第２直交変換は第１直交変換と同じ変換か、または第１直交変換の逆変換であり、例えば第１直交変換としてＦＦＴを行う場合には、第２直交変換としてはＦＦＴまたは逆ＦＦＴを行う。なお、合成器２６の出力段に振幅圧縮器を備え、複素合成後の信号に対して振幅圧縮処理を施してから第２直交変換器２７により第２直交変換を行ってもよいことは、第４の実施形態と同様である。

第２直交変換後の信号は、第２累積器２９の入力に与えられる。第２累積器２９は、ある累積期間にわたって入力信号を累積して第２の累積信号を出力する。累積期間は、例えば１５秒、３０秒、あるいは１分のように選ばれる。第２累積器２９は累積期間にわたり累積して第２累積信号を出力すると、リセットされる。

第２累積信号は、透かし情報の推定器２３の入力に与えられる。推定器２３は、第２累積信号を位相シフトさせながら元の位相シフトさせていない第２累積信号との相関値（相互相関値）を求め、この相関値のピークを探索することによって透かし情報を推定して検出する。相関値の変化を見た場合、ある位相シフト量の位置にピークが現れ、このピークの極性が透かし情報を表す。また、ＦＦＴなどにより相関値ピークのピッチを算出して、算出されたピッチから所望の位相シフト量を算出する方法も考えられる。このように入力画像信号２０１がスケーリングなどの攻撃を受けている場合においても、推定器２３により透かし情報を検出して透かし情報検出信号２０２を得ることができる。

このように本実施形態によると、相関信号を累積することにより入力画像信号２０１に対してロバストな相関結果が算出されると考えられ、累積期間を長期間化することで入力画像信号２０１にロバストで高い電子透かし検出率を実現することが可能となる。

＜第２累積器２９について＞
第２累積器２９の累積パターンとしては、例えば図１９に示したように全てのフィールド（もしくはフレーム）で加算する場合、図２０あるいは図２１に示したようにフィールド毎（もしくはフレーム毎）に加算と減算を織り交ぜて行うことで周期的に加減算を行う方法などが考えられる。これらの累積パターンは、電子透かし埋め込み側での透かし情報の埋め込みパターンと関連して、入力画像信号に対する透かし情報の相関が大きくなるように決定される。

次に、図１８に示すフローチャートを用いて本実施形態に係る不正コピー防止方法の手順について説明する。

記録媒体または伝送媒体を介して入力される埋め込み済み画像信号である入力画像信号２０１に対して、まず拡大／縮小器２１により拡大または縮小処理を施し、スケーリング画像信号を生成する（ステップＳ２２１）。次に、入力画像信号２０１及びスケーリング画像信号に対して、第１直交変換器２５によってＦＦＴなどの第１直交変換を施す（ステップＳ２２５）。次に、第１直交変換後の入力画像信号及びスケーリング画像信号、すなわち二つの直交変換像信号を合成器２６により複素合成する（ステップＳ２２６）。

次に、複素合成後の信号に対して、第２直交変換器２７により第２直交変換を行う（ステップＳ２２７）。第２直交変換は第１直交変換と同じ変換か、または第１直交変換の逆変換であり、例えば第１直交変換としてＦＦＴを行う場合には、第２直交変換としてはＦＦＴまたは逆ＦＦＴを行う。

次に、第２直交変換後の信号に対して第２累積器２９により、図１５中の第１累積ステップＳ２２８と同じ累積期間にわたって、入力画像信号２０１を累積して第２累積信号を出力する（ステップＳ２２９）。第２累積ステップＳ２２９は累積期間にわたり累積を行って第２累積信号を出力すると、リセットされる。

次に、推定器２３により第２累積信号から透かし情報の推定を行い、透かし情報検出信号２０２を出力する（ステップＳ２２３）。推定ステップＳ２２３では、第２累積信号を位相シフトさせながら元の位相シフトさせていない第２累積信号との相関値を求め、この相関値のピークを探索することによって透かし情報を推定して検出する。相関値の変化を見た場合、ある位相シフト量の位置にピークが現れ、このピークの極性が透かし情報を表す。

第２累積信号は推定ステップＳ３５の入力に与えられる。透かし情報の推定ステップＳ３５は、相関値のピークを位相シフトしながら探索することによって透かし情報を推定して検出する。相関値の変化を見た場合、ある位相シフト量の位置にピークが現れ、このピークの極性が透かし情報を表す。

（第８の実施形態）
図２２は、本発明の第８の実施形態に係る電子透かし検出装置であり、図１７に示した第７の実施形態に係る電子透かし検出装置に対して、第１直交変換器２７の出力と第２累積器２９の入力との間に正規化器３０が追加されている。図２３は、本実施形態における電子透かし検出の手順を示すフローチャートであり、第７の実施形態に係る図１８に示したフローチャートに対して、第１直交変換ステップ２２７と第２累積ステップＳ２２９との間に正規化ステップＳ２３０が追加されている。

このように本実施形態によると、第１直交変換後の信号を正規化してから累積することにより、入力画像信号２０１に対してロバストな相関結果が算出され、累積期間を長期間化することで入力画像信号２０１にロバストで高い電子透かし検出率を実現することが可能となる。

（第９の実施形態）
図２４は、本発明の第９の実施形態に係る電子透かし検出装置である。図２４の電子透かし検出装置には、図１の電子透かし検出装置と同様に、図１に示した電子透かし埋め込み装置によって生成された埋め込み済み画像信号１０３が記録媒体あるいは伝送媒体を介して入力画像信号２０１として与えられる。

本実施形態では、図９に示した第３の実施形態に係る電子透かし検出装置の入力段に分割器３１が追加されている。分割器３１は、入力画像信号２０１を少なくとも２つに分割して、少なくとも２つの分割画像信号を生成する。分割画像信号は以後、第３の実施形態と同様に拡大／縮小器２１、第１直交変換器２５、合成器２６、第２直交変換器２７及び推定器２３により処理され、透かし情報が検出される。

図２５は、本実施形態における電子透かし検出の手順を示すフローチャートであり、第３の実施形態に係る電子透かし検出の手順を示した図１０のフローチャートに対して分割ステップＳ２３１が追加されている。

本実施形態によると、入力画像信号２０１を分割して透かし情報の検出処理を行うことにより、第１直交変換器２５や第２直交変換器２７での２次元直交変換などの処理量を削減し、もって位相限定相関のための演算量を削減することが可能となる。

分割器３１及びステップＳ２３１では、入力画像信号２０１を画像のｎ行単位（ｎは１以上の整数）あるいはｍ列単位（ｍは１以上の整数）で分割する方法が考えられる。入力画像信号２０１をｎ行単位に分割する場合、分割数は最大で画像の行数分であり、ｎ＝１行単位に分割して１次元の処理（１次元位相限定相関）を行数分累積する場合なども考えられる。同様に、入力画像信号２０１をｍ列単位に分割する場合、分割数は最大で画像の列数分であり、ｍ＝１列毎に分割して１次元の処理（１次元位相限定相関）を列数分累積する場合なども考えられる。

＜位相限定相関について＞
第４の実施形態で説明したように、第１直交変換器２５、合成器２６及び第２直交変換器２７（ステップＳ２２５，Ｓ２２６及びＳ２２７）による相関演算が位相限定相関であり、入力画像信号２０１を分割した際の位相限定相関手法の流れは図２６に示される。ここでは、入力画像信号２０１を２つに分割した場合について述べる。

まず、入力画像信号２０１を２つの分割画像信号２０１１，２０１２に分割し、それぞれの分割画像信号２０１１，２０１２に対して位相限定相関処理を行う。元になる登録画像信号２０３１と照合すべき入力画像信号２０１１の相関（類似性）を算出するために、ディジタル信号化された登録画像信号２０３１，２０３２をフーリエ変換により数学的に処理することで、振幅情報２０３１Ａ，２０３２Ａ（濃淡データ）と位相情報２０３１Ｂ，２０３２Ｂ（像の輪郭データ）に分解する。ディジタル信号化された分割画像信号２０１１，２０１２についても同様に、フーリエ変換により数学的に処理することで、振幅情報２０１１Ａ，２０１２Ａ（濃淡データ）と位相情報２０１１Ｂ，２０１２Ｂ（像の輪郭データ）に分解する。

次に、分解した登録画像信号２０３１，２０３２の位相情報２０３１Ｂ，２０３２Ｂに対して振幅圧縮を行う。これは登録画像信号２０３１，２０３２の位相情報２０３１Ｂ，２０３２Ｂを分割画像信号２０１１，２０１２の位相情報２０１１Ｂ，２０１２Ｂと照合するためである。言い換えれば、形状情報が含まれない振幅情報は使わずに、位相情報のみを用いて相関を画像処理するためである。振幅圧縮の手法としては、例えば振幅を１に固定する。同様に、分解した分割画像信号２０１１，２０１２の位相情報２０１１Ｂ，２０１２Ｂについても振幅圧縮を行う。

次に、登録画像信号２０３１と分割画像信号２０１１の各々の位相情報２０３１Ｂ及び２０１１Ｂを合成して合成画像信号２０４１を作成し、この合成画像信号２０４１に対して逆フーリエ変換を行うことで相関画像信号２０５１を得る。同様に、登録画像信号２０３２と分割画像信号２０１２の各々の位相情報２０３２Ｂ及び２０１２Ｂを合成して合成画像信号２０４２を作成し、この合成画像信号２０４２に対して逆フーリエ変換を行うことで相関画像信号２０５２を得る。このような位相限定相関は、振幅情報を用いた従来の２次元相関法や特徴抽出法とは全く異なり、外乱に強く、大きな誤りが無いという特徴を持っている。

＜直交変換における演算量について＞
次に、第１直交変換にＦＦＴを用いた場合を例にとり、第１直交変換における演算量について説明する。入力画像信号２０１がＮ行×Ｍ列であり、Ｎ行をｎ行ずつｋ個に分割した場合の演算量は、以下の通りである。

ここで、一例としてＮ＝１２８，Ｍ＝５１２とし、入力画像信号２０１をＮ個に分割して１次元の処理を行数分行ったとすると（ｋ＝１２８，ｎ=１）、演算量は以下のようになる。

比較のため、このような分割を行わない場合（ｎ＝１２８，ｋ=１）、演算量は以下のようになる。

このように入力画像信号２０１を複数に分割して処理を行うことで、演算量を削減することができ、また分割数を多くするほど演算量の削減効果は大きくなる。

なお、
（第１０の実施形態）
図２７は、本発明の第１０の実施形態に係る電子透かし検出装置であり、図１４に示した第６の実施形態に係る電子透かし検出装置の入力段に分割器３１が追加されている。分割器３１は、第９の実施形態と同様に入力画像信号２０１を少なくとも２つに分割して、少なくとも２つの分割画像信号を生成する。分割画像信号は以後、第６の実施形態と同様に第１累積器２８、拡大／縮小器２１、第１直交変換器２５、合成器２６、第２直交変換器２７及び推定器２３により処理され、透かし情報が検出される。

図２８は、本実施形態における電子透かし検出の手順を示すフローチャートであり、第６の実施形態に係る電子透かし検出の手順を示した図１５のフローチャートに対して分割ステップＳ２３１が追加されている。

ここで、第１直交変換器２５及び第２直交変換器２７による直交変換を２次元画像信号に対して２次元ＦＦＴのような２次元の処理を行う場合、分割器３１によって２次元画像を１行毎に分割し、１次元ＦＦＴのような１次元の処理を行数分行って累積する方法が考えられる。

このように本実施形態によると、入力画像信号２０１を複数に分割して処理を行うことで、第９の実施形態と同様に位相限定相関の演算量を削減できる。

（第１１の実施形態）
図２９は、本発明の第１０の実施形態に係る電子透かし埋め込み装置を示している。図１に示した第１の実施形態に係る電子透かし埋め込み装置との相違点のみ説明すると、本実施形態では透かし情報が埋め込みされるべき入力画像信号１０１が特徴量抽出器１２及び透かし情報重畳器１４に加えて特定周波数成分抽出器１５にも入力され、特定周波数成分抽出器１５の出力信号が拡大／縮小器１１に入力される。

特定周波数抽出器１１３は、周波数領域のディジタルフィルタ、例えば所定のカットオフ周波数を有するハイパスフィルタ、あるいは所定の通過域中心周波数を有するバンドパスフィルタによって構成され、入力動画像信号１０１から特定の周波数成分、例えば比較的高い周波数成分を抽出する。特定周波数抽出器１１３から出力される特定周波数成分の信号は、拡大／縮小器１１に入力されて拡大／縮小される。以降の動作は第１の実施形態と同様であるため、説明を省略する。

図３０は、本実施形態における電子透かし埋め込み手順を示すフローチャートであり、図２に比較して特定周波数成分抽出ステップＳ１１５が追加されているのみであるため、詳細な説明は省略する。

本実施形態では、特定周波数成分の抽出を拡大／縮小の前に行ったが、これら処理はいずれも線形処理であるので、特定周波数成分の抽出と拡大／縮小の処理の順番を逆に、すなわち特定周波数成分の抽出を拡大／縮小の後に行っても構わない。

（第１２の実施形態）
次に、第１１の実施形態に係る電子透かし埋め込み装置によって透かし情報１０２が埋め込まれ、例えばＤＶＤシステムのようなディジタル画像記録再生装置によって記録媒体に記録された埋め込み済み画像信号１０３、あるいはインターネット、放送衛星、通信衛星等の伝送媒体を介して伝送された埋め込み済み画像信号１０３から、埋め込まれている透かし情報１０２を検出する電子透かし検出装置の実施形態について説明する。

図３１は、本発明の第１２の実施形態に係る電子透かし検出装置であり、図９に示した第４の実施形態に係る電子透かし検出装置に抽出器３２が追加されている。すなわち、図３１の電子透かし検出装置には、図３１に示した電子透かし埋め込み装置によって生成された埋め込み済み画像信号１０３が記録媒体あるいは伝送媒体を介して入力画像信号２０１として与えられ、入力画像信号２０１から抽出器３２によりある特定周波数成分のみが抽出される。

抽出器３２は、図３１の電子透かし埋め込み装置で用いられている特定周波数抽出器１５と同じ周波数領域のディジタルフィルタ、例えば所定のカットオフ周波数を有するＨＰＦ、あるいは所定の通過域中心周波数を有するＢＰＦであり、入力動画像信号２０１から特定の周波数成分、例えば比較的高い周波数成分の信号を抽出する。抽出器３１により抽出された特定周波数成分の信号は拡大／縮小器２１により拡大／縮小される。拡大／縮小器２１以降の構成は図９と同一であるため、説明を省略する。

図３２は、本実施形態における電子透かし検出の手順を示すフローチャートであり、第４の実施形態に係る電子透かし検出の手順を示した図１０のフローチャートに対して抽出ステップＳ２３２が追加されているのみであるため、詳細な説明は省略する。

第１１及び第１２の実施形態で説明したように、入力画像信号の特定周波数成分について拡大／縮小器による拡大または縮小処理を行い、その後の処理を行うようにしても第１及び第３の実施形態と同様の効果が得られる。

本実施形態では、特定周波数成分の抽出を拡大／縮小の前に行ったが、これら処理はいずれも線形処理であるので、特定周波数成分の抽出と拡大／縮小の処理の順番を逆に、すなわち特定周波数成分の抽出を拡大／縮小の後に行っても構わない。

また、本実施形態では位相限定相関を用いる手法について説明を行ったが、相互相関といった他の相関に関しても同様の手順で、ある特定周波数成分の抽出を用いた電子透かしの埋込・検出が可能である。

次に、第２〜第１０の実施形態及び第１２の実施形態で用いる透かし情報の推定器２３の具体例について幾つか説明する。

（透かし情報推定器の具体例１）
図３３に示す例の推定器２３は、閾値設定器４１、透かし検出器４２及び透かし判定器４３を有する。閾値設定器４１は、前段の第２累積器２９から累積期間の情報を取得し、累積期間に応じて図３４に示すように透かし情報の検出判定の閾値を変化させて透かし判定器４３に与える。一方、透かし検出器４２は前段の第２累積器２９からの累積信号を入力して透かし情報の検出を行い、透かし情報と透かしレベル（累積信号のピーク振幅の絶対値）を透かし判定器４３に出力する。

透かし判定器４３は、閾値設定器４１から与えられる閾値によって透かし検出器４２から与えられるレベルを判定する。すなわち、透かし判定器４３は透かしレベルが閾値以上であれば透かし情報が検出されたと判断し、透かし検出器４２から入力される透かし情報を出力する。一方、透かしレベルが閾値未満であれば透かし判定器４３は透かし情報が埋め込まれていないと判断し、「透かし無し」という情報を出力する。閾値は、基本的には累積期間が長くなるほど閾値が低くなるように設定されるが、逆でもよい。透かし判定器４３の判定は、予め定められた間隔（例えば１５秒、３０秒、１分など）毎に、その期間に応じた閾値で行ってもよいし、累積しながらその都度連続的に変化する閾値で行ってもよい。

このように本実施形態では、累積期間を長くしたときに透かし情報の検出のための判定閾値を下げることで、透かし情報を検出できる確率が高くなるので、透かし情報検出に要する演算量や回路規模を増やすことなく、検出性能を向上させることが可能となる。

（透かし情報推定器の具体例２）
次に、図３５に示す例の推定器２３は、透かし検出方法の異なる少なくとも二つの透かし検出器５１Ａ，５１Ｂと、透かし判定器５３を有する。透かし検出器５１Ａ，５１Ｂは、それぞれが独立に透かし情報の検出を行う。透かし判定器４２は、透かし検出器５１Ａ，５１Ｂのそれぞれの検出結果が一致しているかの判定を行う。

透かし検出器５１Ａは、第２累積器２９により累積した信号を入力し、第１の検出方法を用いて透かし情報の検出を行って透かし判定器５３に出力する。透かし検出器５１Ｂも同様に、第２の検出方法を用いて透かし情報を検出して透かし判定器５３に出力する。透かし判定器５３は、二つの透かし検出器５１Ａ，５１Ｂからの透かし情報が一致しているか否かの比較を行い、一致していれば電子透かしが検出されたと判断し、透かし情報をそのまま出力する。一方、一致していなければ電子透かしが埋め込まれていないと判断し、「透かし無し」という情報を出力する。

例えば、透かし検出器５１Ａにより第１の検出方法で“Ａ”が検出され、透かし検出器５１Ｂにより第２の検出方法でも“Ａ”が検出された場合、二つの検出結果が一致しているので最終的に“Ａ”という透かし情報が検出される。一方、第１の検出方法で”Ｂ”が検出され、第２の検出方法では”C”が検出された場合、二つの検出結果が異なるので最終的な透かし情報の推定ができず、電子透かしが埋め込まれていないと判断する。検出方法が３つ以上の場合にも、本実施形態と同様の考えを適用できる。

このように本実施形態では、複数の検出方法での透かし情報の検出結果を比較することで、透かしの情報の正確な検出ができ、誤検出の確率を下げることが可能となる。

（電子透かし検出時の入力画像の間引きについて）
次に、図３６を用いて電子透かし検出装置における入力画像の間引きの具体例について説明する。図３６の例では、入力画像信号２０１に対して例えば１列おき（斜線部）に間引きを行い、間引画像信号２０６を後段の新たな入力画像信号とする。このように入力画像信号２０１を間引きすることにより、算出される相関値の精度は低下すると考えられるが、電子透かしの検出には十分であり、効果的に演算量が削減できる。この例では１列毎に間引いた例であるが、１行毎に間引く場合、数列毎に間引く場合、数行毎に間引く場合など様々な間引き方法が考えられる。

上述した本発明の各実施形態に基づく電子透かし埋め込み処理及び電子透かし検出処理は、コンピュータを用いてソフトウェアにより実行することもできる。すなわち、本発明によると、上述した電子透かし埋め込み処理及び電子透かし検出処理をコンピュータに行わせるプログラムを提供することもできる。

本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明は、ディジタルＶＴＲ、または、ＤＶＤのようなディジタル画像データを記録及び再生する装置に好適である。

本発明の第１の実施形態に係る電子透かし埋め込み装置のブロック図 第１の実施形態における電子透かし埋め込み手順を示すフローチャート 第１の実施形態における位相・振幅制御器での位相シフトについて説明する図 本発明の第２の実施形態に係る電子透かし検出装置のブロック図 第２の実施形態における電子透かし検出手順を示すフローチャート 第２の実施形態における相関値のピーク探索と透かし情報検出例を示す図 本発明の第３の実施形態に係る電子透かし検出装置のブロック図 第３の実施形態における電子透かし検出手順を示すフローチャート 本発明の第４の実施形態に係る電子透かし検出装置のブロック図 第４の実施形態における電子透かし検出手順を示すフローチャート 第４の実施形態における位相限定相関について説明するための図 本発明の第５の実施形態に係る電子透かし検出装置のブロック図 第５の実施形態における電子透かし検出手順を示すフローチャート 本発明の第６の実施形態に係る電子透かし検出装置のブロック図 第６の実施形態における電子透かし検出手順を示すフローチャート 第６の実施形態における入力画像の累積について説明する図 本発明の第７の実施形態に係る電子透かし検出装置のブロック図 第７の実施形態における電子透かし検出手順を示すフローチャート 第７の実施形態における第２累積器での累積パターンの第１の例を示す図 第７の実施形態における第２累積器での累積パターンの第２の例を示す図 第７の実施形態における第２累積器での累積パターンの第３の例を示す図 本発明の第８の実施形態に係る電子透かし検出装置のブロック図 第８の実施形態における電子透かし検出手順を示すフローチャート 本発明の第９の実施形態における電子透かし検出装置のブロック図 第９の実施形態における電子透かし検出手順を示すフローチャート 第９の実施形態における入力画像の分割について説明する図 本発明の第１０の実施形態に係る電子透かし検出装置のブロック図 第１０の実施形態における電子透かし検出手順を示すフローチャート 本発明の第１１の実施形態に係る電子透かし埋め込み装置のブロック図 第１１の実施形態における電子透かし埋め込み手順を示すフローチャート 本発明の第１２の実施形態に係る電子透かし検出装置のブロック図 第１２の実施形態における電子透かし検出手順を示すフローチャート 第１２の実施形態に係る電子透かし埋め込み装置における推定器の第１の具体例を示すブロック図 図３３中の閾値設定器により設定される閾値が累積期間に応じて変化する様子を示す図 第１２の実施形態に係る電子透かし埋め込み装置における推定器の第２の具体例を示すブロック図 入力画像の間引きの概念を説明するための図

符号の説明

１１…拡大／縮小器；
１２…特徴量抽出器；
１３…位相・振幅制御器；
１４…透かし情報重畳器；
１５…特定周波数成分抽出器；
２１…拡大／縮小器；
２２…相関演算器；
２３…推定器；
２４…自己相関器；
２５…第１直交変換器；
２６…合成器；
２７…第１直交変換器；
２８…第１累積器；
２９…第２累積器；
３０…正規化器；
３１…分割器；
３２…抽出器；
４１…閾値設定器；
４２…透かし検出器；
４３…透かし判定器；
５１Ａ…透かし検出器；
５１Ｂ…透かし検出器；
５３…透かし判定器。

Claims (17)

1. 入力画像信号に透かし情報を埋め込んで出力画像信号を生成する電子透かし埋め込み方法において、
   前記入力画像信号の少なくとも特定周波数成分に対しスケーリングを施してスケーリング画像信号を生成するスケーリングステップと、
   前記スケーリング画像信号に対し前記透かし情報による位相の制御を施して制御画像信号を生成する制御ステップと、
   前記入力画像信号と前記制御画像信号とを合成して前記出力画像信号を生成する合成ステップとを具備する電子透かし埋め込み方法。
2. 入力画像信号に透かし情報を埋め込んで出力画像信号を生成する電子透かし埋め込み装置において、
   前記入力画像信号の少なくとも特定周波数成分に対しスケーリングを施してスケーリング画像信号を生成するスケーリング手段と、
   前記スケーリング画像信号に対し前記透かし情報による位相の制御を施して制御画像信号を生成する制御手段と、
   前記入力画像信号と前記制御画像信号とを合成して前記出力画像信号を生成する合成手段とを具備する電子透かし埋め込み装置。
3. 入力画像信号に透かし情報を埋め込んで出力画像信号を生成する電子透かし埋め込み処理をコンピュータに行わせるためのプログラムであって、
   前記入力画像信号の少なくとも特定周波数成分に対しスケーリングを施してスケーリング画像信号を生成するスケーリング処理と、
   前記スケーリング画像信号に対し前記透かし情報による位相の制御を施して制御画像信号を生成する制御処理と、
   前記入力画像信号と前記制御画像信号とを合成して前記出力画像信号を生成する合成処理とを含む電子透かし埋め込み処理を前記コンピュータに行わせるプログラム。
4. 透かし情報が埋め込まれた入力画像信号から前記透かし情報を検出する電子透かし検出方法において、
   前記入力画像信号及び該入力画像信号を一定期間にわたり累積して得られる第１累積信号のいずれかに対しスケーリングを施してスケーリング画像信号を生成するスケーリングステップと、
   前記入力画像信号と前記スケーリング画像信号との相関演算を行って相関演算信号を得る相関演算ステップと、
   前記相関演算信号及び該相関演算信号を一定期間にわたり累積して得られる第２累積信号のいずれかに出現するピークに基づいて前記透かし情報を推定する推定ステップとを具備する電子透かし検出方法。
5. 透かし情報が埋め込まれた入力画像信号から前記透かし情報を検出する電子透かし検出方法において、
   前記入力画像信号及び該入力画像信号を一定期間にわたり累積して得られる第１累積信号のいずれかに対しスケーリングを施してスケーリング画像信号を生成するスケーリングステップと、
   前記入力画像信号及び前記第１累積信号のいずれかと前記スケーリング画像信号との位相限定相関値を求めるステップと、
   前記位相限定相関値の信号または該位相限定相関値の信号を一定期間にわたり累積して得られる第２累積信号のいずれかに出現するピークに基づいて前記透かし情報を推定する推定ステップとを具備する電子透かし検出方法。
6. 透かし情報が埋め込まれた入力画像信号から前記透かし情報を検出する電子透かし検出装置において、
   前記入力画像信号及び該入力画像信号を一定期間にわたり累積して得られる第１累積信号のいずれかに対しスケーリングを施してスケーリング画像信号を生成するスケーリング手段と、
   前記入力画像信号と前記スケーリング画像信号との相関演算を行って相関演算信号を得る相関演算手段と、
   前記相関演算信号及び該相関演算信号を一定期間にわたり累積して得られる第２累積信号のいずれかに出現するピークに基づいて前記透かし情報を推定する推定手段とを具備する電子透かし検出装置。
7. 前記相関演算手段は、相互相関演算を行う請求項６記載の電子透かし検出装置。
8. 前記相関演算手段は、位相限定相関演算を行う請求項６記載の電子透かし検出装置。
9. 透かし情報が埋め込まれた入力画像信号から前記透かし情報を検出する電子透かし検出装置において、
   前記入力画像信号及び該入力画像信号を一定期間にわたり累積して得られる第１累積信号のいずれかに対しスケーリングを施してスケーリング画像信号を生成するスケーリング手段と、
   前記入力画像信号及び前記第１累積信号のいずれかと前記スケーリング画像信号との位相限定相関値を求める手段と、
   前記位相限定相関値の信号または該位相限定相関値の信号を一定期間にわたり累積して得られる第２累積信号のいずれかに出現するピークに基づいて前記透かし情報を推定する推定手段とを具備する電子透かし検出装置。
10. 前記位相限定相関値の信号を振幅について正規化した後に累積することにより前記第２の累積信号を生成する手段をさらに具備する請求項９に記載の電子透かし検出装置。
11. 前記入力画像信号を少なくとも２つに分割して分割画像信号を生成する分割手段をさらに具備し、前記スケーリング手段は前記入力画像信号に対し前記分割画像信号毎にスケーリングを施す請求項９に記載の電子透かし検出装置。
12. 前記推定手段は、前記第２累積信号の累積期間に応じて変更される閾値によりレベル判定を行って前記透かし情報を推定する請求項９に記載の電子透かし検出装置。
13. 前記推定手段は、少なくとも第１及び第２の検出方法により前記透かし情報の検出を行い、該第１及び第２の検出方法の各々による検出結果が互いに一致していれば前記透かし情報有りと判定する請求項６乃至９のいずれか１項に記載の電子透かし検出装置。
14. 前記入力画像信号の画素を間引く間引き手段をさらに具備し、前記スケーリング手段は間引き後の入力画像信号に対しスケーリングを施す請求項９に記載の電子透かし検出装置。
15. 前記スケーリング手段の前段または後段に配置された特定周波数成分を抽出する抽出手段をさらに具備する請求項９に記載の電子透かし検出装置。
16. 透かし情報が埋め込まれた入力画像信号から前記透かし情報を検出する電子透かし検出処理をコンピュータに行わせるプログラムであって、
    前記入力画像信号及び該入力画像信号を一定期間にわたり累積して得られる第１累積信号のいずれかに対しスケーリングを施してスケーリング画像信号を生成するスケーリング処理と、
    前記入力画像信号と前記スケーリング画像信号との相関演算を行って相関演算信号を得る相関演算処理と、
    前記相関演算信号及び該相関演算信号を一定期間にわたり累積して得られる第２累積信号のいずれかに出現するピークに基づいて前記透かし情報を推定する推定処理とを含む電子透かし検出処理を前記コンピュータに実行させるプログラム。
17. 透かし情報が埋め込まれた入力画像信号から前記透かし情報を検出する電子透かし検出処理をコンピュータに行わせるプログラムであって、
    前記入力画像信号及び該入力画像信号を一定期間にわたり累積して得られる第１累積信号のいずれかに対しスケーリングを施してスケーリング画像信号を生成するスケーリング処理と、
    前記入力画像信号及び前記第１累積信号のいずれかと前記スケーリング画像信号との位相限定相関値を求める処理と、
    前記位相限定相関値の信号または該位相限定相関値の信号を一定期間にわたり累積して得られる第２累積信号のいずれかに出現するピークに基づいて前記透かし情報を推定する推定処理とを含む電子透かし検出処理を前記コンピュータに実行させるプログラム。

Images