JP3708044B2

JP3708044B2 - Digital watermark embedding method and apparatus, and digital watermark detection method and apparatus

Info

Publication number: JP3708044B2
Application number: JP2001367943A
Authority: JP
Inventors: 博文村谷
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2001-11-30
Filing date: 2001-11-30
Publication date: 2005-10-19
Anticipated expiration: 2021-11-30
Also published as: JP2003169204A

Description

【０００１】
【発明の属する技術分野】
本発明は、特に画像に適用される電子透かし検出方法及び装置並びに電子透かし検出方法及び装置に関する。
【０００２】
【従来の技術】
ディジタルＶＴＲ、あるいはＤＶＤ（ディジタルバーサタイルディスク）のようなディジタル画像データを記録及び再生する装置の普及により、これらの装置で再生が可能な数多くのディジタル動画像が提供されるようになってきている。またインターネット、放送衛星、通信衛星等を介したディジタルテレビ放送を通じて様々なディジタル動画像が流通し、ユーザは高品質のディジタル動画像を利用することが可能となりつつある。
【０００３】
ディジタル動画像は、ディジタル信号レベルで簡易に高品質の複製を作成することが可能であり、何らかの複製禁止あるいは複製制御を施さない場合には、無制限に複製されるおそれがある。従って、ディジタル動画像の不正な複製（コピー）を防止し、あるいは正規ユーザによる複製の世代数を制御するために、ディジタル動画像に複製制御のための情報を付加し、この付加情報を用いて不正な複製を防止し、複製を制限する方法が考えられている。
【０００４】
このようにディジタル動画像に別の付加情報を重畳する技術として、電子透かし(digital watermarking)が知られている。電子透かし技術では、ディジタルデータ化された音声、音楽、動画及び静止画等のディジタルコンテンツに対して、コンテンツの著作権者や利用者の識別情報、著作権者の権利情報、コンテンツの利用条件、その利用時に必要な秘密情報、あるいは上述した複製制御情報などの情報(これらを透かし情報と呼ぶ)を知覚が容易ではない状態となるように埋め込む。この後、必要に応じて埋め込み済みコンテンツから透かし情報を検出することによって利用制御、複製制御を含む著作権保護を行ったり、二次利用を促進させるなどのことができる。
【０００５】
画像における電子透かし技術には種々の方法があるが、典型的な一例は次の通りである。まず、次式に示すように埋め込み対象画像ｐ(x,y)に対し、透かし情報ｑ(x,y)を重畳して埋め込み済み画像ｐ’(x,y)を得る。ここで、(x,y)は画素位置を表す２次元の座標である。
【０００６】
【数６】

【０００７】
一方、こうして埋め込まれた透かし情報の検出は、次式に示すように埋め込み対象画像と透かし情報ｑ（ｚ）との相互相関があるしきい値（Ｔｈとする）を越えるか否かを判定することで行うことができる。
【数７】

【０００８】
ここでは、検出対象画像が埋め込み済み画像ｐ’(x,y)の場合を示している。この場合は、相互相関がしきい値Ｔｈを越えるため、埋め込み済み画像ｐ’(x,y)に透かし情報が埋め込まれていると判定される。
【０００９】
しかし、このような電子透かし技術では
【数８】

のように埋め込み済み画像にスケール変換（拡大、縮小）や回転が施されると、埋め込み済み画像と透かし情報の同期がとれなくなるため、透かし情報を正しく検出することが困難となる。
【００１０】
【発明が解決しようとする課題】
本発明は、埋め込み済み画像がスケーリングや回転といった攻撃を受けた場合でも、埋め込んだ透かし情報を検出できる電子透かし埋め込み方法及び装置並びに電子透かし検出方法及び装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記の課題を解決するため、本発明では埋め込み対象画像信号に透かし情報を埋め込む際、埋め込み対象画像における第１の画素位置の周囲の第２の画素位置を第１の画素位置を原点とする極座標で表し、第２の画素位置の画素値について該極座標の動径座標値及び角度座標値に依存した畳み込み積分を行うことにより、第１の画素位置に重畳すべき透かし情報成分を生成し、該透かし情報成分を埋め込み対象画像の第１の画素位置に重畳して埋め込み済み画像信号を生成する。
【００１２】
一方、検出対象画像から透かし情報を検出する際には、検出対象画像における第１の画素位置の周囲の第２の画素位置を第１の画素位置を原点とする極座標で表し、第２の画素位置の画素値について該極座標の動径座標値及び角度座標値に依存しかつ該角度座標値に対して異なるオフセットを有する複数のカーネルを用いた畳み込み積分を行うことにより、複数の畳み込み積分値を生成し、第２の画素位置の画素値と複数の畳み込み積分値との相互相関を計算して複数の相互相関値を生成し、これらの相互相関値を用いて算出される評価値（例えば、二乗和）についてしきい値判定を行うことにより、透かし情報成分の有無を判定する。
【００１３】
このような本発明に基づいて電子透かし埋め込み及び検出を行うと、埋め込み済み画像にスケーリングや回転が施された場合でも、埋め込み済み画像から透かし情報の検出を正しく行うことが可能となる。
【００１４】
また、本発明によると埋め込み対象画像に透かし情報を埋め込む電子透かし埋め込み処理をコンピュータに実行させるプログラムであって、埋め込み対象画像における第１の画素位置の周囲の第２の画素位置を第１の画素位置を原点とする極座標で表し、第２の画素位置の画素値について該極座標の動径座標値及び角度座標値に依存した畳み込み積分を行うことにより、第１の画素位置に重畳すべき透かし情報成分を生成する処理と、求められた透かし情報成分を埋め込み対象画像の第１の画素位置に重畳して埋め込み済み画像信号を生成する処理とをコンピュータに実行させるプログラムあるいは該プログラムを記憶した記憶媒体を提供することができる。
【００１５】
さらに、本発明によると検出対象画像から透かし情報を検出する電子透かし検出処理をコンピュータに実行させるプログラムであって、検出対象画像信号における第１の画素位置の周囲の第２の画素位置を第１の画素位置を原点とする極座標で表し、第２の画素位置の画素値について該極座標の動径座標値及び角度座標値に依存しかつ該角度座標値に対して異なるオフセットを有する複数のカーネルを用いた畳み込み積分を行うことにより、複数の畳み込み積分値を生成する処理と、第２の画素位置の画素値と複数の畳み込み積分値との相互相関を計算して複数の相互相関値を生成する処理と、複数の相互相関値を用いて算出される評価値についてしきい値判定を行うことにより、透かし情報成分の有無を判定する処理とをコンピュータに実行させるプログラムあるいは該プログラムを記憶した記憶媒体を提供することができる。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る電子透かし埋め込み装置の構成を示ししている。電子透かし埋め込み装置には、透かし情報が埋め込みされるべき画像の信号（以下、埋め込み対象画像信号という）１０として、例えば動画像または静止画のディジタル化された画像信号が入力される。
【００１７】
埋め込み対象画像信号１０は二分岐され、畳み込み積分部１１と重畳部１３に入力される。埋め込み対象画像における第１の画素位置の周囲の第２の画素位置を第１の画素位置を原点とする極座標で表したとき、畳み込み積分部１１では第２の画素位置の画素値について該極座標に依存した畳み込み積分を行うことにより、第１の画素位置に重畳すべき透かし情報成分１２を生成する。
【００１８】
畳み込み積分部１１から出力される透かし情報成分１２は、重畳部１３に入力され、ここで対象画像信号１０の第１の画素位置に重畳されることによって、透かし情報が埋め込まれた画像の信号（以下、埋め込み済み画像信号という）１４が生成される。こうして生成された埋め込み済み画像信号１４は、例えばＤＶＤシステムのようなディジタル画像記録再生装置によって記録媒体に記録され、あるいはインターネット、放送衛星、通信衛星等の伝送媒体を介して伝送される。
【００１９】
図２を用いて、畳み込み積分部１１の処理について説明する。図２は、埋め込み対象画像のｘ−ｙ座標空間である。透かし情報が重畳されるべき画素２１の位置（第１の画素位置）(x,y)に重畳すべき透かし成分の画素値をｑ(x,y)とし、第１の画素位置(x,y)の周囲の画素２２の位置（第２の画素位置）(x’,y’)の画素値をｐ(x’,y’)とすると、透かし情報成分の画素値ｑ(x,y)は次式で表される。
【００２０】
【数９】

但し、ｒは極座標の動径座標値、θは極座標の角度座標値、φはθに対するオフセット、ｋは整数、Ｆ（ｋθ＋φ）及びＧ（ｒ）はそれぞれｋθ＋φ及びｒの関数である。より具体的には、式（１）は例えば
【数１０】

【００２１】
但し、この場合はθに対するオフセットφはφ∈[0, 2π)とする。すなわち、画素位置(x’,y’)を画素位置(x,y)を原点とする極座標(ｒ,θ)で表したとき、畳み込み積分部１１は画素位置(x’,y’)の画素値ｐ(x’,y’)について極座標(ｒ,θ)に依存した畳み込み積分を行うことによって、画素位置(x,y)に重畳すべき透かし情報成分の画素値ｑ(x,y)を求める。
【００２２】
ここで、極座標(ｒ,θ)の動径座標値ｒ及び角度座標値θは、それぞれ次式で表される。
【数１１】

【００２３】
畳み込み積分部１１は、式（１）中のｒ，θが与えられており、ｒ，θと予め定められた値に固定されたｋ，φに従って式（１）、例えば式（２）の畳み込み積分の計算を行う。重畳部１３は、畳み込み積分部１１により生成された透かし情報成分ｑ(x,y)を埋め込み対象画像信号１０に対して画素毎に重畳し、埋め込み済み画像信号１４を生成する。この際、埋め込み済み画像の画質劣化を避けるため、重畳する透かし情報成分ｑ(x,y)を、微小な定数を乗じてから埋め込み対象画像信号１０に重畳してもよい。
【００２４】
このようにして透かし情報が重畳されることによって、電子透かしが埋め込まれた埋め込み済み画像信号１４を生成すると、以下に説明するように、埋め込み済み画像信号１４がスケール変換（スケーリング）や回転を受けた場合でも、埋め込み済み画像信号１４から電子透かしとして埋め込まれている透かし情報を確実に検出することができる。
【００２５】
図３に、本実施形態に係る電子透かし検出装置の構成を示す。電子透かし検出装置には、埋め込まれている透かし情報を検出すべき対象の画像信号（以下、検出対象画像信号という）３０が入力される。
【００２６】
ここで、検出対象画像信号３０としては、図１に示した電子透かし埋め込み装置により生成された埋め込み済み画像信号１４が記録媒体あるいは伝送媒体を介して入力される場合もあるし、それ以外の画像信号が入力される場合もある。すなわち、検出対象画像信号３０は一般には、電子透かしが埋め込まれているか否かが不明の未知信号である。
【００２７】
検出対象画像信号３０は、画像の水平方向及び垂直方向の畳み込み積分をそれぞれ行う二つの畳み込み積分部３１，３２と、二つの相関計算部３３，３４に入力される。畳み込み積分部３１，３２では、次式に示すように図１に示した電子透かし埋め込み装置における畳み込み積分部１１と同様の畳み込み積分計算を極座標の角度座標値に対して異なるオフセットを有する複数のカーネルを用いて検出対象画像信号３０に対して行う。具体的には、例えば次式の畳み込み積分計算を行う。
【００２８】
【数１２】

【００２９】
但し、ｋは整数であり、また(x,y)≠(x’,y’)である。
ここで、ｑ’_Ｈ(x,y),ｑ’_Ｖ(x,y)はそれぞれ検出対象画像中の透かし情報を検出しようとする第１の画素位置(x,y)の画素値であり、p’(x,y)は検出対象画像中の第１の画素位置(x,y)の周囲の第２の画素位置(x’,y’)の画素値である。
【００３０】
すなわち、画素位置(x’,y’)を画素位置(x,y)を原点とする極座標(ｒ,θ)で表したとき、畳み込み積分部３１，３２は画素位置(x’,y’)の画素値ｐ’(x’,y’)について、極座標(ｒ,θ)に依存し、かつ角度座標値θに対して式（５）の場合はφ、式（６）の場合はφ−２πのオフセットをそれぞれ有するカーネルｋcos(θ＋φ)/ｒ、ｋsin(θ＋φ)/ｒ（＝ｋcos(θ＋φ)−２π）を用いて畳み込み積分を行うことによって、第１及び第２の畳み込み積分値ｑ’_Ｈ(x,y),ｑ’_Ｖ(x,y)を求める。ｒ，θは極座標(ｒ,θ)の動径座標値及び角度座標値であり、次式で表される。
【数１３】

【００３１】
畳み込み積分部３１，３２は、いずれも式（４）（５）中のｒ，θが与えられており、ｒ，θと予め定められた値に固定されたｋ，φに従って、式（１）と同様の式（４）（５）に示す畳み込み積分の計算を行う。ｋ，φについては、例えば秘密鍵として非公開にしてもよい。
【００３２】
畳み込み積分部３１，３２の出力信号３３，３４、すなわち第１及び第２の畳み込み積分値ｑ’_Ｈ(x,y), ｑ’_Ｖ(x,y)は、相関計算部３５，３６に入力される。相関計算部３５，３６は、次式に示す相互相関計算を行う。
【数１４】

【００３３】
Ｉ，Ｊは相関計算部３５，３６によって求められた第１及び第２の相互相関値であり、判定部３９に入力される。判定部３９は、相互相関値Ｉ，Ｊを用いて算出される評価値、例えば次式に示すようにＩ，Ｊの二乗和を求め、これについてしきい値判定を行うことにより、検出対象画像信号３０における透かし情報の有無を判定する。
【数１５】

【００３４】
すなわち、判定部３９では相互相関値Ｉ，Ｊの二乗和Ｉ^２＋Ｊ^２がしきい値Ｔｈを越えたときは検出対象画像信号３０に透かし情報が埋め込まれていると判定し、そうでないときは透かし情報が埋め込まれていないと判定して、その判定結果を電子透かし検出結果４０として出力する。
【００３５】
上述した本実施形態に係る電子透かし埋め込み装置及び電子透かし検出装置によると、埋め込み済み画像信号１４に対してスケール変換や回転が施された場合でも、式（１１）の電子透かし検出結果４０は影響を受けることがなく、埋め込まれた透かし情報の有無を確実に判定することができる。
【００３６】
まず、埋め込み済み画像信号１４に対してスケール変換が施された場合、式（９）（１０）に示した相互相関値Ｉ，Ｊは次のように変形される。
【数１６】

【００３７】
ここで、αはスケール変換率（拡大・縮小率）であり、一般にある範囲内、例えば２＞α＞０．５程度の範囲内に設定されると考えられる。画像を極端に大きい倍率で拡大したり、あるいは極端に小さい倍率で縮小することは、画像の有用性を損なうため、実用上、このようなある範囲内のスケール変換率を想定しておけばよい。すなわち、画像の有用性を失わせてまで電子透かしを検出できなくするようなスケール変換による攻撃は、対処できていなくとも構わない。
【００３８】
このように埋め込み済み画像信号１４に対してスケール変換が施された場合、式（１１）の左辺に示した値Ｉ^２＋Ｊ^２は、αに応じて増減する。従って、例えばＩ²＋Ｊ²がスケール変換によってα²倍され、電子透かしの埋め込みの際に、検出される相関値がそのような減衰を受けたとしても、しきい値Ｔｈを越えるような強さで埋め込みを行っておけば、スケール変換の影響を受けることなく透かし情報の有無を判定して、正しい電子透かし検出結果４０を得ることが可能となる。
【００３９】
一方、埋め込み済み画像信号１４に対して画像の回転が施されると、その回転角をδとすれば、式（５）（６）においてθ→θ＋δとなる。この場合、式（５）（６）は次のように変形される。
【数１７】

【００４０】
このとき、式（９）（１０）の相互相関値Ｉ，Ｊは次式のように変形される。
【数１８】

【００４１】
従って、相互相関値の二乗和は式（１１）の左辺Ｉ^２＋Ｊ^２と等しくなるので、判定部３９で式（１１）に示したしきい値判定により、検出対象画像信号３０に透かし情報が埋め込まれているか否かの判定を行うことによって、埋め込み済み画像信号１４に対して画像の回転（δ）が施されているた場合でも、電子透かしの検出結果４０を正しく得ることができる。
【００４２】
このように本実施形態によると、埋め込み済み画像信号１４にスケール変換や回転が施された場合にも、埋め込まれた透かし情報の検出、すなわち透かし情報の埋め込みの有無判定を行うことができる。
【００４３】
（第２の実施形態）
上述した第１の実施形態は、電子透かし埋め込み装置において１ビットの透かし情報の埋め込みを行い、電子透かし検出装置において透かし情報の有無を判定する例について説明したが、本発明は以下に説明するように、多ビットの透かし情報を扱う電子透かし埋め込み装置及び電子透かし検出装置にも、同様に適用が可能である。
【００４４】
図４は、本発明の第２の実施形態に係るＮビット（Ｎ：複数）の透かし情報を埋め込む電子透かし埋め込み装置であり、Ｎ個の畳み込み積分部１１−１〜１１−Ｎが備えられている。埋め込み対象画像信号１０は、畳み込み積分部１１−１〜１１−Ｎに共通に入力される。
【００４５】
一方、Ｎビットの透かし情報１５は変換部１６に入力される。変換部１６は、Ｎビットの透かし情報１５の各ビットの値（“０”または“１”）をそれぞれ式（１）中のｋ，φに変換する。例えば、変換部１６は透かし情報１５の値“０”のビットに対してはｋ＝１，φ＝０とし、透かし情報１５の値“１”のビットに対してはｋ≠１，φ≠０であるｋ，φを出力する。変換部１６から出力される、透かし情報１５の各ビットの値に対応するｋ，φは、畳み込み積分部１１−１〜１１−Ｎにそれぞれ入力される。
【００４６】
畳み込み積分部１１−１〜１１−Ｎは、変換部１６から与えられるｋ，φに従って式（１）の畳み込み積分を行うことにより、埋め込み対象画像のそれぞれ異なる第１の画素位置(x,y)に対応する透かし情報成分ｑ(x,y)を生成する。
【００４７】
こうして畳み込み積分部１１−１〜１１−Ｎにより生成された透かし情報成分ｑ(x,y)は、重畳部１３によって埋め込み対象画像信号１０に対して画素毎に重畳され、Ｎビットの透かし情報が埋め込まれた埋め込み済み画像信号１４が生成される。このようにして埋め込み済み画像信号１４を生成すると、第１の実施形態と同様に、埋め込み済み画像がスケール変換や回転を受けた場合でも、埋め込み済み画像１４から埋め込まれているＮビットの透かし情報を確実に検出することができる。
【００４８】
図５は、本実施形態に係る電子透かし検出装置の構成を示す図である。この電子透かし検出装置は、図４に示したように電子透かし埋め込み装置にＮ個の畳み込み積分部１１−１〜１１−Ｎが設けられていることに対応して、検出対象画像信号３０に対して画像の水平方向及び垂直方向にそれぞれ畳み込み積分を行う第１及び第２の畳み込み積分部のＮ個の組３１−１〜３１−Ｎ，３２−１〜３２−Ｎが設けられている。畳み込み積分部３１−１〜３１−Ｎ，３２−１〜３２−Ｎは、それぞれに与えられた式（３）（４）中のｒ，θと予め定められた値に固定されたｋ，φに従って、式（３）（４）と同様の畳み込み積分の計算を行う。ｋ，φについては、例えば秘密鍵として非公開にしてもよい。
【００４９】
畳み込み積分部３１−１〜３１−Ｎ，３２−１〜３２−Ｎによってそれぞれ計算された畳み込み積分値ｑ’_Ｈ(x,y),ｑ’_Ｖ(x,y)に対して、相関計算部３５−１〜３５−Ｎ，３６−１〜３６−Ｎにより（９）（１０）次式に示す相互相関計算が行われ、Ｎ組の第１及び第２の相互相関値Ｉ，Ｊが求められる。
【００５０】
さらに、Ｎ組の相互相関値Ｉ，Ｊについて、判定部３９−１〜３９−Ｎにおいて式（１１）に示したしきい値判定が行われることによって、検出対象画像信号３０における透かし情報の各ビットの有無が判定され、それらの判定結果が電子透かし検出結果４０として出力される。
【００５１】
本実施形態に係る電子透かし埋め込み装置及び電子透かし検出装置によると、第１の実施形態と同様に埋め込み済み画像信号１４に対してスケール変換や回転が施された場合でも、式（１１）の電子透かし検出結果４０は影響を受けることがなく、埋め込まれたＮビットの透かし情報を確実に検出することができる。
【００５２】
上述した本発明の実施形態に係る電子透かし埋め込み及び電子透かし検出の処理手順は、ハードウェアにより行うことができるばかりでなく、ソフトウェアにより実行することも可能である。
【００５３】
【発明の効果】
以上説明したように、本発明によれば埋め込み済み画像がスケーリングや回転といった攻撃を受けた場合でも、埋め込んだ透かし情報を検出することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る電子透かし埋め込み装置の構成を示すブロック図
【図２】同実施形態に係る電子透かし埋め込み装置の原理説明図
【図３】本発明の一実施形態に係る電子透かし検出装置の構成を示すブロック図
【図４】本発明の他の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図
【図５】本発明の他の実施形態に係る電子透かし検出装置の構成を示すブロック図
【符号の説明】
１０…埋め込み対象画像信号
１１，１１−１〜１１−Ｎ…畳み込み積分部
１２，１２−１〜１２−Ｎ…透かし情報成分
１３…重畳部
１４…埋め込み済み画像信号
３０…検出対象画像信号
３１，３１−１〜３１−Ｎ…畳み込み積分部
３２，３２−１〜３２−Ｎ…畳み込み積分部
３３，３４…畳み込み積分結果
３５，３５−１〜３５−Ｎ…相関計算部
３６，３６−１〜３６−Ｎ…相関計算部
３９，３９−１〜３９−Ｎ…判定部
４０，４０−１〜４０−Ｎ…電子透かし検出結果[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a digital watermark detection method and apparatus, and a digital watermark detection method and apparatus particularly applied to images.
[0002]
[Prior art]
With the widespread use of apparatuses for recording and reproducing digital image data such as digital VTRs or DVDs (Digital Versatile Discs), a large number of digital moving images that can be reproduced by these apparatuses have been provided. In addition, various digital moving images are distributed through digital television broadcasting via the Internet, broadcasting satellites, communication satellites, etc., and users can use high-quality digital moving images.
[0003]
A digital moving image can be easily made a high-quality copy at the digital signal level, and there is a possibility that the copy is unlimited without any copy inhibition or copy control. Therefore, in order to prevent illegal copying (copying) of digital moving images or to control the number of generations of copying by authorized users, information for copying control is added to the digital moving images, and this additional information is used. A method of preventing illegal duplication and limiting duplication is considered.
[0004]
As a technique for superimposing other additional information on a digital moving image in this way, digital watermarking is known. In digital watermark technology, digital content such as voice, music, video, and still images converted into digital data, the identification information of the copyright holder or user of the content, the copyright holder's rights information, the content usage conditions, The secret information necessary at the time of use or information such as the above-described duplication control information (these are referred to as watermark information) is embedded so as not to be easily perceived. Thereafter, by detecting watermark information from embedded content as necessary, copyright protection including use control and copy control can be performed, or secondary use can be promoted.
[0005]
There are various methods for digital watermarking in images. A typical example is as follows. First, as shown in the following equation, the embedded image p ′ (x, y) is obtained by superimposing the watermark information q (x, y) on the embedding target image p (x, y). Here, (x, y) is a two-dimensional coordinate representing the pixel position.
[0006]
[Formula 6]

[0007]
On the other hand, the detection of the watermark information thus embedded determines whether or not the cross-correlation between the embedding target image and the watermark information q (z) exceeds a certain threshold value (Th). Can be done.
[Expression 7]

[0008]
Here, a case where the detection target image is an embedded image p ′ (x, y) is shown. In this case, since the cross correlation exceeds the threshold Th, it is determined that the watermark information is embedded in the embedded image p ′ (x, y).
[0009]
However, with such digital watermark technology,

If scale conversion (enlargement or reduction) or rotation is applied to the embedded image as described above, it becomes difficult to correctly detect the watermark information because the embedded image and the watermark information cannot be synchronized.
[0010]
[Problems to be solved by the invention]
An object of the present invention is to provide a digital watermark embedding method and apparatus, and a digital watermark detection method and apparatus capable of detecting embedded watermark information even when an embedded image is subjected to an attack such as scaling or rotation.
[0011]
[Means for Solving the Problems]
In order to solve the above problem, in the present invention, when embedding watermark information in an embedding target image signal, polar coordinates having the first pixel position as the origin and the second pixel position around the first pixel position in the embedding target image The watermark information component to be superimposed on the first pixel position is generated by performing convolution integration depending on the radial coordinate value and the angular coordinate value of the polar coordinate for the pixel value at the second pixel position, and An embedded image signal is generated by superimposing the watermark information component on the first pixel position of the embedding target image.
[0012]
On the other hand, when detecting the watermark information from the detection target image, the second pixel position around the first pixel position in the detection target image is expressed by polar coordinates with the first pixel position as the origin, and the second pixel By performing convolution integration using a plurality of kernels that depend on the radial coordinate value and angular coordinate value of the polar coordinate and have different offsets with respect to the angular coordinate value, a plurality of convolution integral values are obtained. Generating a cross-correlation between the pixel value at the second pixel position and the plurality of convolution integral values to generate a plurality of cross-correlation values, and an evaluation value calculated using these cross-correlation values (for example, The presence / absence of a watermark information component is determined by performing a threshold value determination on the sum of squares).
[0013]
When digital watermark embedding and detection are performed according to the present invention, watermark information can be correctly detected from an embedded image even when the embedded image is scaled or rotated.
[0014]
According to the present invention, there is also provided a program for causing a computer to execute an electronic watermark embedding process for embedding watermark information in an embedding target image, wherein the second pixel position around the first pixel position in the embedding target image is defined as the first pixel. The watermark information to be superimposed on the first pixel position is expressed by polar coordinates with the position as the origin, and the pixel value at the second pixel position is subjected to convolution integration depending on the radial coordinate value and the angular coordinate value of the polar coordinate. A program for causing a computer to execute a process of generating a component and a process of generating an embedded image signal by superimposing the obtained watermark information component on the first pixel position of an embedding target image, or a storage medium storing the program Can be provided.
[0015]
Furthermore, according to the present invention, there is provided a program for causing a computer to execute a digital watermark detection process for detecting watermark information from a detection target image, wherein a second pixel position around the first pixel position in the detection target image signal is set to the first. A plurality of kernels that are expressed in polar coordinates with the pixel position of the origin as an origin, the pixel value of the second pixel position depends on the radial coordinate value and the angular coordinate value of the polar coordinate, and has different offsets with respect to the angular coordinate value By performing the used convolution integral, a process for generating a plurality of convolution integral values and a cross-correlation between the pixel value at the second pixel position and the plurality of convolution integral values are generated to generate a plurality of cross-correlation values. The computer executes processing for determining the presence or absence of a watermark information component by performing threshold determination on an evaluation value calculated using a plurality of cross-correlation values. It is possible to provide a storage medium storing the program or the program for.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
(First embodiment)
FIG. 1 shows the configuration of a digital watermark embedding apparatus according to the first embodiment of the present invention. For example, a moving image or a digitized image signal of a still image is input to the digital watermark embedding device as an image signal (hereinafter referred to as an embedding target image signal) 10 into which watermark information is to be embedded.
[0017]
The embedding target image signal 10 is branched into two and input to the convolution integration unit 11 and the superposition unit 13. When the second pixel position around the first pixel position in the embedding target image is expressed in polar coordinates with the first pixel position as the origin, the convolution integrator 11 converts the pixel value of the second pixel position into the polar coordinates. The watermark information component 12 to be superimposed on the first pixel position is generated by performing the dependent convolution integration.
[0018]
The watermark information component 12 output from the convolution integration unit 11 is input to the superimposition unit 13 where the watermark information component 12 is superimposed on the first pixel position of the target image signal 10 to thereby embed the watermark signal embedded in the image signal ( (Hereinafter referred to as embedded image signal) 14 is generated. The embedded image signal 14 generated in this way is recorded on a recording medium by a digital image recording / reproducing apparatus such as a DVD system, or transmitted via a transmission medium such as the Internet, a broadcasting satellite, or a communication satellite.
[0019]
The process of the convolution integrator 11 will be described with reference to FIG. FIG. 2 is an xy coordinate space of the embedding target image. The pixel value of the watermark component to be superimposed on the position (first pixel position) (x, y) of the pixel 21 on which the watermark information is to be superimposed is q (x, y), and the first pixel position (x, y ) If the pixel value of the position (second pixel position) (x ′, y ′) of the surrounding pixels 22 is p (x ′, y ′), the pixel value q (x, y) of the watermark information component is It is expressed as
[0020]
[Equation 9]

Where r is a radial coordinate value of polar coordinates, θ is an angular coordinate value of polar coordinates, φ is an offset with respect to θ, k is an integer, and F (kθ + φ) and G (r) are functions of kθ + φ and r, respectively. More specifically, the formula (1) is, for example,

[0021]
In this case, however, the offset φ relative to θ is φ∈ [0, 2π). That is, when the pixel position (x ′, y ′) is represented by polar coordinates (r, θ) with the pixel position (x, y) as the origin, the convolution integration unit 11 performs the pixel at the pixel position (x ′, y ′). The pixel value q (x, y) of the watermark information component to be superimposed on the pixel position (x, y) is obtained by performing convolution integration depending on the polar coordinates (r, θ) for the value p (x ′, y ′). Ask.
[0022]
Here, the radial coordinate value r and the angular coordinate value θ of the polar coordinates (r, θ) are expressed by the following equations, respectively.
[Expression 11]

[0023]
The convolution integration unit 11 is given r and θ in the equation (1), and convolution of the equation (1), for example, the equation (2) according to k and φ fixed to r and θ and predetermined values. Calculate the integral. The superimposing unit 13 superimposes the watermark information component q (x, y) generated by the convolution integrating unit 11 for each pixel on the embedding target image signal 10 to generate an embedded image signal 14. At this time, in order to avoid image quality degradation of the embedded image, the watermark information component q (x, y) to be superimposed may be superimposed on the embedding target image signal 10 after being multiplied by a small constant.
[0024]
When the embedded image signal 14 in which the digital watermark is embedded is generated by superimposing the watermark information in this way, the embedded image signal 14 is subjected to scale conversion (scaling) and rotation as described below. Even in this case, it is possible to reliably detect the watermark information embedded as a digital watermark from the embedded image signal 14.
[0025]
FIG. 3 shows the configuration of the digital watermark detection apparatus according to this embodiment. The digital watermark detection apparatus receives an image signal 30 (hereinafter referred to as a detection target image signal) 30 from which embedded watermark information is to be detected.
[0026]
Here, as the detection target image signal 30, the embedded image signal 14 generated by the digital watermark embedding apparatus shown in FIG. 1 may be input via a recording medium or a transmission medium, or other images. A signal may be input. That is, the detection target image signal 30 is generally an unknown signal in which it is unknown whether a digital watermark is embedded.
[0027]
The detection target image signal 30 is input to two

convolution integration units

31 and 32 and two

correlation calculation units

33 and 34 that respectively perform convolution integration in the horizontal and vertical directions of the image. In the

convolution integration units

31 and 32, as shown in the following equation, a plurality of kernels having different offsets with respect to the angular coordinate values of the polar coordinates are performed as in the convolution integration unit 11 in the digital watermark embedding apparatus shown in FIG. To the detection target image signal 30. Specifically, for example, the following convolution integral calculation is performed.
[0028]
[Expression 12]

[0029]
However, k is an integer, and (x, y) ≠ (x ′, y ′).
Here, q ′ _H (x, y) and q ′ _V (x, y) are pixel values of the first pixel position (x, y) at which watermark information in the detection target image is to be detected, p ′ (x, y) is a pixel value of the second pixel position (x ′, y ′) around the first pixel position (x, y) in the detection target image.
[0030]
That is, when the pixel position (x ′, y ′) is represented by polar coordinates (r, θ) with the pixel position (x, y) as the origin, the

convolution integrators

31 and 32 have the pixel position (x ′, y ′). Pixel value p ′ (x ′, y ′) depends on the polar coordinate (r, θ) and is φ in the case of equation (5) and φ− in the case of equation (6) with respect to the angle coordinate value θ. By performing convolution integration using kernels kcos (θ + φ) / r and ksin (θ + φ) / r (= kcos (θ + φ) −2π) each having an offset of 2π, the first and second convolution integral values q ′ _H (x, y), q ′ _V (x, y) is obtained. r and θ are radial coordinate values and angular coordinate values of polar coordinates (r, θ), and are expressed by the following equations.
[Formula 13]

[0031]
The

convolution integration units

31 and 32 are both given r and θ in the equations (4) and (5), and according to k and φ fixed to r and θ and predetermined values, the equation (1) The convolution integral shown in the same equations (4) and (5) is calculated. k and φ may be kept private, for example, as secret keys.
[0032]
The output signals 33 and 34 of the

convolution integration units

31 and 32, that is, the first and second convolution integration values q ′ _H (x, y) and q ′ _V (x, y) are input to the

correlation calculation units

35 and 36. Is done.

Correlation calculators

35 and 36 perform cross-correlation calculation shown in the following equation.
[Expression 14]

[0033]
I and J are the first and second cross-correlation values obtained by the

correlation calculation units

35 and 36 and are input to the determination unit 39. The determination unit 39 obtains an evaluation value calculated using the cross-correlation values I and J, for example, a sum of squares of I and J as shown in the following equation, and performs threshold determination on this to detect the detection target image. The presence or absence of watermark information in the signal 30 is determined.
[Expression 15]

[0034]
That is, the determination unit 39 determines that the watermark information is embedded in the detection target image signal 30 when the square sum I ² + J ^{2 of the} cross-correlation values I and J exceeds the threshold Th, and otherwise, It is determined that the watermark information is not embedded, and the determination result is output as a digital watermark detection result 40.
[0035]
According to the digital watermark embedding device and the digital watermark detection device according to the present embodiment described above, the digital watermark detection result 40 of Expression (11) is affected even when the embedded image signal 14 is subjected to scale conversion or rotation. Therefore, it is possible to reliably determine the presence or absence of embedded watermark information.
[0036]
First, when scale conversion is performed on the embedded image signal 14, the cross-correlation values I and J shown in the equations (9) and (10) are transformed as follows.
[Expression 16]

[0037]
Here, α is a scale conversion rate (enlargement / reduction rate) and is generally considered to be set within a certain range, for example, a range of about 2>α> 0.5. Enlarging an image at an extremely large magnification or reducing it at an extremely small magnification impairs the usefulness of the image. Therefore, it is practically assumed that the scale conversion rate is within such a certain range. . In other words, an attack by scale conversion that makes it impossible to detect the digital watermark until the usefulness of the image is lost may not be dealt with.
[0038]
When scale conversion is performed on the embedded image signal 14 in this way, the value I ² + J ² shown on the left side of the equation (11) increases or decreases according to α. Therefore, for example, I ² + J ² is multiplied by α ² by the scale conversion, and even when the detected correlation value undergoes such attenuation at the time of embedding the digital watermark, the strength exceeding the threshold Th If embedding is performed, it is possible to determine the presence or absence of watermark information without being affected by scale conversion, and to obtain a correct digital watermark detection result 40.
[0039]
On the other hand, when the image is rotated with respect to the embedded image signal 14, if the rotation angle is δ, θ → θ + δ in equations (5) and (6). In this case, the equations (5) and (6) are modified as follows.
[Expression 17]

[0040]
At this time, the cross-correlation values I and J in the equations (9) and (10) are transformed as the following equations.
[Expression 18]

[0041]
Therefore, the sum of squares of the cross-correlation value is equal to the left side I ² + J ² of the equation (11). By determining whether or not the image is embedded, the digital watermark detection result 40 can be correctly obtained even when the image rotation (δ) is performed on the embedded image signal 14.
[0042]
As described above, according to the present embodiment, even when scale conversion or rotation is performed on the embedded image signal 14, embedded watermark information can be detected, that is, whether watermark information is embedded or not can be determined.
[0043]
(Second Embodiment)
In the first embodiment described above, an example in which 1-bit watermark information is embedded in the digital watermark embedding apparatus and the presence / absence of the watermark information is determined in the digital watermark detection apparatus has been described. The present invention will be described below. In addition, the present invention can be similarly applied to a digital watermark embedding apparatus and a digital watermark detection apparatus that handle multi-bit watermark information.
[0044]
FIG. 4 is a digital watermark embedding apparatus for embedding N-bit (N: plural) watermark information according to the second embodiment of the present invention, and includes N convolution integrators 11-1 to 11 -N. Yes. The embedding target image signal 10 is commonly input to the convolution integrators 11-1 to 11-N.
[0045]
On the other hand, the N-bit watermark information 15 is input to the conversion unit 16. The conversion unit 16 converts the value (“0” or “1”) of each bit of the N-bit watermark information 15 into k and φ in the equation (1), respectively. For example, the conversion unit 16 sets k = 1 and φ = 0 for the bit “0” of the watermark information 15, and k ≠ 1, φ ≠ 0 for the bit “1” of the watermark information 15. K and φ are output. K and φ corresponding to each bit value of the watermark information 15 output from the conversion unit 16 are input to the convolution integration units 11-1 to 11-N, respectively.
[0046]
The convolution integration units 11-1 to 11-N perform first and second pixel positions (x, y) of the embedding target images by performing the convolution integration of Expression (1) according to k and φ given from the conversion unit 16, respectively. The watermark information component q (x, y) corresponding to is generated.
[0047]
The watermark information component q (x, y) generated by the convolution integration units 11-1 to 11-N is superimposed on the embedding target image signal 10 for each pixel by the superimposition unit 13, and N-bit watermark information is generated. An embedded embedded image signal 14 is generated. When the embedded image signal 14 is generated in this manner, the N-bit watermark information embedded from the embedded image 14 even when the embedded image is subjected to scale conversion or rotation, as in the first embodiment. Can be reliably detected.
[0048]
FIG. 5 is a diagram showing a configuration of the digital watermark detection apparatus according to the present embodiment. As shown in FIG. 4, this digital watermark detection apparatus corresponds to the detection target image signal 30 corresponding to the fact that N convolution integration units 11-1 to 11-N are provided in the digital watermark embedding apparatus. N sets 31-1 to 31-N and 32-1 to 32-N of first and second convolution integrators that perform convolution integration in the horizontal direction and the vertical direction of the image, respectively, are provided. The convolution integrators 31-1 to 31 -N and 32-1 to 32 -N are k and φ fixed to r and θ in equations (3) and (4) and predetermined values, respectively. Thus, the same calculation of convolution integral as in equations (3) and (4) is performed. k and φ may be kept private, for example, as secret keys.
[0049]
For the convolution integral values q ′ _H (x, y) and q ′ _V (x, y) calculated by the convolution integration units 31-1 to 31-N and 32-1 to 32-N, respectively, a correlation calculation unit The cross-correlation calculation shown in the following equations (9) and (10) is performed by 35-1 to 35-N and 36-1 to 36-N, and N sets of first and second cross-correlation values I and J are obtained. It is done.
[0050]
Further, with respect to the N sets of cross-correlation values I and J, each of the watermark information in the detection target image signal 30 is determined by performing the threshold determination shown in Expression (11) in the determination units 39-1 to 39-N. The presence / absence of bits is determined, and the determination results are output as a digital watermark detection result 40.
[0051]
According to the digital watermark embedding device and the digital watermark detection device according to the present embodiment, even when scale conversion or rotation is performed on the embedded image signal 14 as in the first embodiment, the electronic formula (11) The watermark detection result 40 is not affected, and the embedded N-bit watermark information can be reliably detected.
[0052]
The above-described processing procedure of digital watermark embedding and digital watermark detection according to the embodiment of the present invention can be performed not only by hardware but also by software.
[0053]
【The invention's effect】
As described above, according to the present invention, it is possible to detect embedded watermark information even when an embedded image is subjected to an attack such as scaling or rotation.
[Brief description of the drawings]
FIG. 1 is a block diagram showing the configuration of a digital watermark embedding device according to an embodiment of the present invention. FIG. 2 is a diagram illustrating the principle of the digital watermark embedding device according to the embodiment. FIG. 4 is a block diagram showing a configuration of a digital watermark embedding device according to another embodiment of the present invention. FIG. 5 is a block diagram showing a configuration of a digital watermark embedding device according to another embodiment of the present invention. Block diagram showing device configuration 【Explanation of symbols】
DESCRIPTION OF SYMBOLS 10 ... Embedding target image signal 11, 11-1 to 11-N ... Convolution integration part 12, 12-1 to 12-N ... Watermark information component 13 ... Superimposition part 14 ... Embedded image signal 30 ... Detection target image signal 31, 31-1 to 31-N: convolution integration unit 32, 32-1 to 32-N ...

convolution integration unit

33, 34 ... convolution integration result 35, 35-1 to 35-N ... correlation calculation unit 36, 36-1 36-N: Correlation calculation units 39, 39-1 to 39-N: Determination units 40, 40-1 to 40-N: digital watermark detection results

Claims

In a digital watermark embedding method for embedding watermark information in an embedding target image,
The second pixel position around the first pixel position on which the watermark information in the embedding target image is to be superimposed is represented by polar coordinates with the first pixel position as the origin, and the polar coordinates for the pixel value at the second pixel position Generating a watermark information component to be superimposed on the first pixel position by performing convolution integration depending on the radial coordinate value and the angular coordinate value of
And a step of superimposing the obtained watermark information component on the first pixel position of the embedding target image to generate an embedded image signal.

In a digital watermark embedding device for embedding watermark information in an embedding target image,
The second pixel position around the first pixel position on which the watermark information in the embedding target image is to be superimposed is represented by polar coordinates with the first pixel position as the origin, and the polar coordinates for the pixel value at the second pixel position A convolution integration unit that generates a watermark information component to be superimposed on the first pixel position by performing convolution integration depending on the radial coordinate value and the angular coordinate value of
A digital watermark embedding apparatus comprising: a superimposing unit that superimposes the obtained watermark information component on the first pixel position of the embedding target image to generate an embedded image signal.

3. The digital watermark embedding apparatus according to claim 2, wherein the convolution integration unit performs convolution integration represented by the following equation.

However,
(x, y): first pixel position q (x, y): pixel value of watermark information component
(x ′, y ′): second pixel position p (x ′, y ′): pixel value at the second pixel position r: radial coordinate value θ of the polar coordinate θ: angular coordinate value φ of the polar coordinate φ: θ Offset k: integer F (kθ + φ): function G (r): function φ∈ [0, 2π)

However,
(x, y): first pixel position q (x, y): pixel value of watermark information component
(x ′, y ′): second pixel position p (x ′, y ′): pixel value at the second pixel position r: radial coordinate value θ of the polar coordinate θ: angular coordinate value φ of the polar coordinate φ: θ Offset with respect to φ∈ [0, 2π)
k: integer

In a digital watermark detection method for detecting watermark information from a detection target image,
The second pixel position around the first pixel position where the watermark information in the detection target image is to be detected is represented by polar coordinates with the first pixel position as an origin, and the pixel value at the second pixel position is the polar coordinate. Generating a plurality of convolution integral values by performing a convolution integral using a plurality of kernels that depend on the radial coordinate value and the angular coordinate value of and have different offsets with respect to the angular coordinate value;
Calculating a cross-correlation between a pixel value at the second pixel position and the plurality of convolution integral values to generate a plurality of cross-correlation values;
A digital watermark detection method comprising: determining a presence / absence of the watermark information component by performing a threshold determination on a predetermined evaluation value calculated using the plurality of cross-correlation values.

In a digital watermark detection apparatus for detecting watermark information from a detection target image,
The second pixel position around the first pixel position where the watermark information in the detection target image is to be detected is represented by polar coordinates with the first pixel position as an origin, and the pixel value at the second pixel position is the polar coordinate. A convolution integration unit that generates a plurality of convolution integral values by performing convolution integration using a plurality of kernels that depend on the radial coordinate value and the angle coordinate value of and have different offsets with respect to the offset with respect to the angle coordinate value When,
A plurality of correlation calculators for calculating a cross-correlation between a pixel value at the second pixel position and the plurality of convolution integral values to generate a plurality of cross-correlation values;
An electronic watermark detection apparatus comprising: a determination unit configured to determine the presence or absence of the watermark information component by performing threshold determination on a predetermined evaluation value calculated using the plurality of cross-correlation values.

The digital watermark detection apparatus according to claim 6, wherein the plurality of convolution integration units include first and second convolution integration units that respectively perform convolution integration represented by the following equations.

However,
(x, y): first pixel position q ′ _H (x, y): convolution integration value q ′ _V (x, y) generated by the first convolution integration unit: generated by the second convolution integration unit Convolution integral value
(x ′, y ′): second pixel position p ′ (x ′, y ′): pixel value at the second pixel position r: radial coordinate value θ of the polar coordinate θ: angular coordinate value φ of the polar coordinate: Offset k to θ: integer φ∈ [0, 2π)

The first and second convolution integration units according to claim 7 are provided as the plurality of convolution integration units, and the first and second calculation units respectively calculate cross-correlations represented by the following equations as the plurality of correlation calculation units. The digital watermark detection apparatus according to claim 6, further comprising two correlation calculation units.

However,
I, J: first and second cross-correlation values respectively generated by the first and second correlation calculation units
(x, y): first pixel position q ′ _H (x, y): convolution integration value q ′ _V (x, y) generated by the first convolution integration unit: generated by the second convolution integration unit Convolution integral value
(x ′, y ′): second pixel position p ′ (x ′, y ′): pixel value at the second pixel position

The digital watermark detection apparatus according to claim 6, wherein the plurality of correlation calculation units include the first and second correlation calculation units according to claim 8, and the determination unit performs determination represented by the following expression.

However,
I ² + J ² : Evaluation value I, J: First and second cross-correlation values generated by the first and second correlation calculation units, respectively.
(x, y): first pixel position q ′ _H (x, y): convolution integration value q ′ _V (x, y) generated by the first convolution integration unit: generated by the second convolution integration unit Convolution integral value
(x ′, y ′): second pixel position p ′ (x ′, y ′): pixel value Th of the second pixel position Th: threshold value

In a program for causing a computer to execute an electronic watermark embedding process for embedding watermark information in an embedding target image,
The second pixel position around the first pixel position on which the watermark information in the embedding target image is to be superimposed is represented by polar coordinates with the first pixel position as the origin, and the polar coordinates for the pixel value at the second pixel position A process of generating a watermark information component to be superimposed on the first pixel position by performing a convolution integral depending on the coordinate value of
A program that causes a computer to execute a process of generating an embedded image signal by superimposing the obtained watermark information component on the first pixel position of the embedding target image.

In a program for causing a computer to execute a digital watermark detection process for detecting watermark information from a detection target image,
In a digital watermark detection method for detecting watermark information from a detection target image,
The second pixel position around the first pixel position where the watermark information in the detection target image is to be detected is represented by polar coordinates with the first pixel position as an origin, and the pixel value at the second pixel position is the polar coordinate. Generating a plurality of convolution integral values by performing a convolution integral using a plurality of kernels that depend on the radial coordinate value and the angular coordinate value of and have different offsets with respect to the angular coordinate value;
Calculating a cross-correlation between a pixel value at the second pixel position and the plurality of convolution integral values to generate a plurality of cross-correlation values;
A program that causes a computer to execute a process of determining the presence or absence of the watermark information component by performing threshold determination on a predetermined evaluation value calculated using the plurality of cross-correlation values.