JP4258283B2

JP4258283B2 - Digital watermark embedding method and digital watermark detection method

Info

Publication number: JP4258283B2
Application number: JP2003173015A
Authority: JP
Inventors: 浩一馬養; 浩伊藤; 光義鈴木; 亮介藤井; 光太郎浅井
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2003-06-18
Filing date: 2003-06-18
Publication date: 2009-04-30
Anticipated expiration: 2023-06-18
Also published as: JP2005012405A

Description

【０００１】
【発明の属する技術分野】
この発明は、例えば映像の著作権管理などを目的として、映像データに他の情報（署名等の透かし情報）を秘匿する電子透かし技術に関し、特に透かし情報の埋め込み方法および検出方法に関する。
【０００２】
【従来の技術】
例えば、画像からランダムに２点を選び、その差の期待値が０となることを利用して署名を埋め込む方法がある。
【０００３】
【特許文献１】
W. Bender et.al, "Techniques for data hiding," IBM systems journal, vol.35, no.3-4, pp.313-336, 1996.
【０００４】
【発明が解決しようとする課題】
上記従来の技術では、画像のアナログ処理などにより画素ずれが生じ、署名の埋め込み時と検出時とで画素位置が異なると、原理的に署名を検出困難になる。
従来の電子透かし技術は、ほとんどの場合、切り取り、回転などの幾何学的変換や、非可逆符号化などの信号処理を用いるものであり、デジタル画像を想定したものであった。そのため、従来の技術ではアナログ処理によって画素ずれが生じた後も検出可能とするような対応が不十分である。
しかし、画像の複製はデジタル的なものだけではない。例えば、2002年のアナログVTRの出荷台数は470万台であり、DVDプレーヤーの出荷台数を上回っている。このような環境の中で、例えば著作権保護を確実に行うには、アナログ複製に対する十分な対策が必要である。
この発明は上記のような問題点を解決するためになされたもので、アナログ処理後に画素ずれが生じても透かし情報を検出できる電子透かし技術を提供することを目的とする。
【０００５】
【課題を解決するための手段】
この発明に関わる電子透かし埋め込み方法は、映像信号から隣接する２つの近傍フレームを抽出する近傍フレーム抽出ステップと、この近傍フレーム抽出ステップで抽出された２つの近傍フレームに、予め決められた埋め込み期間中には同一の署名情報を与え、与えられた署名情報に応じて、前記２つの近傍フレームの前フレーム内のすべての画素の値に所定の大きさの値を加算し、後フレーム内のすべての画素の値に前記所定の大きさの値を減算するか、または前記２つの近傍フレームの前フレーム内のすべての画素の値に前記所定の大きさの値を減算し、後フレーム内のすべての画素の値に前記所定の大きさの値を加算するかを変更することにより前記署名情報を電子透かし情報として埋め込む埋め込みステップと、この埋め込みステップで上記電子透かし情報が埋め込まれた映像信号を出力する出力ステップとを備えたものである。
【０００６】
また、この発明に係わる電子透かし検出方法は、映像信号から隣接する２つの近傍フレームを抽出する近傍フレーム抽出ステップと、この近傍フレーム抽出ステップで抽出された２つの近傍フレームの差分画像を生成する差分画像生成ステップと、この差分画像生成ステップで生成された差分画像の平均画素値を計算する差分画像平均画素値計算ステップと、この差分画像平均画素値計算ステップで予め決められた埋め込み期間中に計算された差分画像の平均画素値を平均した差分画像の平均画素値の平均値を計算する平均値計算ステップと、この平均値計算ステップで計算された差分画像の平均画素値の平均値の絶対値が所定の大きさの値より大きい場合、該差分画像の平均画素値の平均値の正負符号に対応付けられた署名情報を埋め込まれた電子透かし情報として検出する電子透かし情報検出ステップとを備えたものである。
【０００７】
【発明の実施の形態】
実施の形態１．
図１はこの発明の実施の形態１である電子透かしの埋め込み方法を示すフローチャートである。
図において、１０は映像を入力するステップ、１１は入力された映像から近傍するフレームとして、隣接する２つのフレームを抽出するステップ、１２はステップ１１で抽出した２つのフレームの画素値を変更することによりすかし情報としての署名を埋め込むステップ、１３は署名を埋め込んだ映像を出力するステップである。
【０００８】
次に動作について説明する。
ステップ１１では、ステップ１０で入力された映像から隣接する２つのフレームを繰り返し順番に抽出する。このとき、あらかじめ抽出するフレームの順番を固定する。すなわち、最初に奇数フレームを抽出してから次の偶数フレームを抽出する、あるいは最初に偶数フレームを抽出してから次の奇数フレームを抽出する、などである。こうすることにより、ステップ１１において同じフレームが２回以上抽出されないようにする。
【０００９】
ステップ１２では、ステップ１１で抽出した２つの隣接フレームのそれぞれ対応する領域の画素値を均一に変更することにより署名を埋め込む。すなわち、隣接する２つのフレームを前フレームと後フレームと呼ぶとき、前フレームのすべての画素値に−δを加算し、後フレームのすべての画素にδを加算する。
ここで、画素値とは、例えば各画素の輝度信号の値のことである。画素値としては、輝度信号以外でも、例えば、Cb・Cr(色差信号)、あるいは、ＲＧＢ方式における赤成分(R)・緑成分(G)・青成分(B)の各信号などでもよいし、明度・色相・彩度に分ける方式(HSV方式)などの各信号値でもよい。
【００１０】
図５は、ステップ１２において２つの隣接フレーム画素値を変更する前後における、隣接フレーム間差分画像画素平均値の変化確率分布を示す説明図である。２つの隣接フレーム画素値を変更する前では、隣接フレーム間差分画像の画素平均値の確率分布は点線で示された分布５０の位置にある。
前フレームのすべての画素値に−δを加算し、後フレームのすべての画素にδを加算すると、隣接フレーム間差分画像の画素平均値の確率分布は実線で示された分布５１あるいは５２の位置に移動する。分布５１に移動するか、分布５２に移動するかは、δ（符号）の値に依存する。例えば、前記差分値の計算を、（後フレームの画素値−前フレームの画素値）で行うこととし、仮にδの値を＋１としたときには、隣接フレーム間差分画像の画素平均値の確率分布は分布５１の位置に移動する。δの値を−１としたときには、隣接フレーム間差分画像の画素平均値の確率分布は分布５２の位置に移動する。
【００１１】
従って、埋め込みたい署名にδの値（符号）を対応させて隣接フレーム間差分画像の画素平均値の確率分布を移動することにより、２つの値で表される署名を埋め込むことができる。このとき、隣接フレーム双方に少しずつ（δずつ）変化を与えて差分２δを得るようにすることで、もとの映像の画質劣化を抑えている。
【００１２】
また、ステップ１２においてフレームの画素値を均一に変更するのではなく、フレーム間差分画像画素値の大きさに応じて重み付けして変更してもよい。ただしその場合でも、隣接フレーム間差分画像の画素平均値の確率分布は均一に変更した場合と同様、図５における実線で示された分布５１あるいは５２の位置に移動するように重み付けをおこなう。
これにより署名埋め込み後の画質劣化を抑えつつ、アナログ処理などによって画素ずれが生じても検出時にその影響を受けにくい形態で署名を埋め込むことができる。
【００１３】
また、ステップ１２においてフレームの画素値を均一に変更するのではなく、たとえば画像内に存在するオブジェクトを抽出して得た領域など、特定領域ごとに重み付けして変更してもよい。ただしその場合でも、隣接フレーム間差分画像の画素平均値の確率分布は均一に変更した場合と同様、図５における実線で示された分布５１あるいは５２の位置に移動するように重み付けをおこなう。
画質劣化が目立たないオブジェクトの重み付けを大きくすることなどにより、署名埋め込み後の画質劣化を抑えつつ、アナログ処理などによって画素ずれが生じても検出時にその影響を受けにくい形態で署名を埋め込むことができる。
【００１４】
また、ステップ１２において、フレームの画素値を均一に変更するのではなく、たとえば乱数などでフレーム間差分画像の特定の位置を指定し、当該位置の画素に対しては重み付けを大きくして画素値を変更し、それ以外の画素に対しては重み付けを小さくして画素値を変更してもよい。
これにより、埋め込み時に使用した乱数を知らない者は情報の埋め込み位置の特定が困難になるため、故意に埋め込み情報を消失させるあるいは改変することが困難になるという効果がある。
【００１５】
以上のように、本実施の形態１によれば、入力された映像から隣接２フレームを抽出し、隣接フレームの画素値を変更してフレーム間差分画像画素平均値の変化確率分布を移動することにより署名を埋め込むようにしたので、アナログ処理などによって画素ずれが生じても検出時にその影響を受けにくい形態で署名を埋め込むことができる。
すなわち、画素の一つ一つの値ではなく、総体的な画素値の変更状態として電子透かし情報を埋め込むため、アナログ処理などによって画素ずれが生じても総体的な画素値の変更状態に対する影響は許容範囲内にとどまるため、電子透かし情報の検出が可能である。画素値の変更を小さく抑えることにより映像の劣化を抑えることができる。
【００１６】
実施形態２．
以上の実施形態１では、映像から隣接フレームを抽出し、隣接フレームの画素値を変更してフレーム間差分画像画素平均値の変化確率分布を移動することにより署名を埋め込むようにしたものであるが、次に隣接フレームをそれぞれ同様に領域分割した上で、対応する隣接フレームの領域ごとに隣接フレームの画素値を変更して当該領域ごとのフレーム間差分画素平均値の変化確率分布を移動することにより署名を埋め込む実施形態を示す。
【００１７】
図２はこの発明の実施の形態２である電子透かしの埋め込み方法を示すフローチャートである。
図において、２０は映像を入力するステップ、２１は入力された映像から隣接する２つのフレームを抽出するステップ、２２はステップ２１で抽出した２つのフレームを等しく領域分割するステップ、２３はステップ２２で分割した領域ごとにステップ２１で抽出した２つのフレームの画素値を変更することにより署名を埋め込むステップ、２４は署名を埋め込んだ映像を出力するステップである。
すなわち、署名埋め込みステップを、フレーム領域分割するステップ２２と、分割した領域ごとに画素値を変更することにより署名を埋め込むステップ２３とで構成したものである。
【００１８】
次に動作について説明する。
ステップ２１は実施の形態１におけるステップ１１と同様に動作する。したがって、ステップ２１では隣接する２つのフレームを繰り返し順番に抽出される。
【００１９】
ステップ２２では、ステップ１１で抽出した２つの隣接フレームをそれぞれ等しく矩形に分割する。ここで、矩形の大きさや位置は２つの隣接フレーム間で等しく指定されればよく、そのため、矩形の大きさや位置をあらかじめ固定しておいてもよいし、隣接フレーム間差分画像の画素値に応じて動的に分割してもよいし、その他の規則にしたがって動的に変更してもよい。
【００２０】
ステップ２３では、ステップ２２で分割したそれぞれの領域について、対応する隣接フレームの領域ごとに隣接フレームの画素値を均一に変更することにより署名を埋め込む。これにより、実施の形態１での説明と同様、当該領域内の隣接フレーム間差分画像の画素平均値の確率分布は、図５において、前フレームのすべての画素値に−δを加算し、後フレームのすべての画素にδを加算すると、隣接フレーム間差分画像の画素平均値の確率分布は点線で示された分布５０の位置から実線で示された分布５１あるいは５２の位置に移動する。
【００２１】
また、ステップ２３においてフレームの画素値を均一に変更するのではなく、フレーム間差分画像画素値の大きさに応じて重み付けして変更してもよい。ただしその場合でも、当該領域内の隣接フレーム間差分画像の画素平均値の確率分布は均一に変更した場合と同様、図５における実線で示された分布５１あるいは５２の位置に移動するように重み付けをおこなう。
【００２２】
また、ステップ２３においてフレームの画素値を均一に変更するのではなく、たとえば画像内に存在するオブジェクトを抽出して得た領域など、特定領域ごとに重み付けして変更してもよい。ただしその場合でも、当該領域内の隣接フレーム間差分画像の画素平均値の確率分布は均一に変更した場合と同様、図５における実線で示された分布５１あるいは５２の位置に移動するように重み付けをおこなう。
【００２３】
したがって、本実施の形態２によれば、入力された映像から隣接２フレームを抽出し、抽出した２つの隣接フレームをそれぞれ等しく分割し、分割したそれぞれの領域について、対応する隣接フレームの領域ごとに隣接フレームの画素値を変更することにより署名を埋め込むようにしたので、アナログ処理などによって画素ずれが生じても検出時にその影響を受けにくい形態で複数ビットの署名を埋め込むことができる。
【００２４】
実施形態３．
以上の実施形態１および実施形態２では、署名の埋め込み方法を示したが、次に実施の形態１および実施の形態２で埋め込んだ署名の検出方法について示す。
【００２５】
図３はこの発明の実施の形態３である電子透かしの検出方法を示すフローチャートである。
図において、３０は映像を入力するステップ、３１は入力された映像から隣接する２つのフレームを抽出するステップ、３２はステップ３１で抽出した２つのフレームから差分画像を生成するステップ、３３はステップ３２で生成した差分画像の平均画素値を計算するステップ、３４はステップ３３で計算した差分画像の平均画素値を使って埋め込まれた署名を検出するステップである。
【００２６】
ステップ３１では、ステップ３０で入力された映像から隣接する２つのフレームを繰り返し順番に抽出する。このとき、あらかじめ抽出するフレームの順番を署名の埋め込み時に決めた順番と同様に固定する。すなわち、最初に奇数フレームを抽出してから次の偶数フレームを抽出する、あるいは最初に偶数フレームを抽出してから次の奇数フレームを抽出する。
【００２７】
ステップ３２では、ステップ３１で抽出した２つの隣接フレームから差分画像を生成する。
【００２８】
ステップ３３では、ステップ３２で生成した差分画像の平均画素値を計算する。
【００２９】
ステップ３４では、ステップ３３で計算した平均値を使って埋め込まれた情報を検出する。ステップ３１で抽出した隣接する２つのフレームを前フレームと後フレームと呼ぶことにすれば、署名が埋め込まれていない隣接２フレームの差分画像の平均値は、前フレームの平均値と後フレーム平均値との差分に等しい。一般的に映像における隣接フレームの相関は高いため、前フレームの平均値と後フレーム平均値との差分、すなわち、差分画像の平均値は値０付近で変動する。しかしながら、実施の形態１および実施の形態２での署名の埋め込みの説明において図５を使って説明したとおり、署名を埋め込むことにより差分画像の平均値は値２δ付近で変動するように操作されている。そのため、たとえばしきい値をδに設定し、当該平均値の絶対値がδの絶対値より大きいとき、ステップ３３で計算した平均値の符号が正ならば“１”、負ならば“０”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定することにより、１ビットの署名の検出が可能である。
【００３０】
すなわち、差分画像の平均値の絶対値が、しきい値δの絶対値より大きいときは情報（署名）の埋めこみ有りであり、しきい値δの絶対値より小さいときは情報（署名）の埋めこみ無しである。情報（署名）の埋めこみ有りの場合、平均値の符号が正ならば“１”、負ならば“０”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定することにより、１ビットの署名の検出が可能である。なお、平均値の符号がと“１”/“０”との関係を逆とすることも可能であり、埋め込み時に前後フレームの画素値への変更のしかたや、差分画像の計算のしかたに対応して設定すればよい。
【００３１】
したがって、本実施の形態３によれば、入力された映像から隣接２フレームを抽出し、抽出した２つの隣接フレームから差分画像を生成し、生成した差分画像の平均画素値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“１”、負ならば“０”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、１ビットの署名の検出が可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で署名を検出することができる。
【００３２】
実施の形態４．
以上の実施の形態３では、入力された映像から隣接２フレームを抽出し、抽出した２つの隣接フレームから差分画像を生成し、生成した差分画像の平均画素値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“１”、負ならば“０”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、１ビットの署名の検出を可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で署名を検出することができるようにしたものであるが、次に複数ビットの署名が埋め込まれている場合に署名を検出する実施形態を示す。
【００３３】
図４はこの発明の実施の形態４である電子透かしの検出方法を示すフローチャートである。
図において、４０は映像を入力するステップ、４１は入力された映像から隣接する２つのフレームを抽出するステップ、４２はステップ４１で抽出した２つのフレームから差分画像を生成するステップ、４３はステップ４２で抽出した差分画像を領域分割するステップ、４４はステップ４３で分割した領域ごとに領域内の画素値の平均値を計算するステップ、４５はステップ４４で計算した平均値を使って埋め込まれた署名を領域ごとに検出するステップである。
【００３４】
ステップ４１とステップ４２はそれぞれ、実施の形態３におけるステップ３１とステップ３２と同様に動作する。したがって、ステップ４２の出力では、隣接２フレームの差分画像が得られる。
【００３５】
ステップ４３では、ステップ４２で出力された差分画像を矩形に領域分割する。ここで、矩形の大きさや位置は埋め込み時に指定したものと同一とする。
【００３６】
また、ステップ４３において、矩形に領域分割するのではなく、あらかじめ決めてある任意の領域に分割することにしてもよい。この場合も、領域の大きさや位置など個々の領域を定めるパラメータは埋め込み時に指定したものと同一とする。
【００３７】
また、ステップ４３において、矩形に領域分割するのではなく、差分値の値に応じて動的に領域分割することにしてもよい。たとえば、差分値が−２５５から２５５の整数値をとるとき、−２５５から−１２８の範囲に属する画素を１つの領域、−１２７から−１の範囲に属する画素を１つの領域、０から１２７の範囲に属する画素を１つの領域、１２８から２５５の範囲に属する画素を１つの領域とした、４つの領域に分割するなどである。
【００３８】
ステップ４４では、ステップ４３で分割したそれぞれの領域について、領域内の平均画素値を計算する。
【００３９】
ステップ４５では、ステップ４４で計算した平均値を使って埋め込まれた情報を検出する。ステップ４１で抽出した隣接する２つのフレームを前フレームと後フレームと呼ぶことにすれば、署名が埋め込まれていない隣接２フレームの差分画像におけるステップ４３で分割したそれぞれの領域内の平均値は、前フレームの各当該領域内平均画素値と後フレーム各当該領域内平均値との差分に等しい。一般的に映像における隣接フレームの相関は高いため、前フレームにおける各当該領域内平均画素値と後フレーム各当該領域内平均画素値との差分、すなわち、各当該領域の差分画像の平均値は値０付近で変動する。しかしながら、実施の形態１および実施の形態２での署名の埋め込みの説明において図５を使って説明したとおり、署名を埋め込むことにより差分画像の平均値は値２δ付近で変動するように操作されている。そのため、たとえばしきい値をδに設定し、当該平均値の絶対値がδの絶対値より大きいとき、ステップ４４で計算した平均値の符号が正ならば“１”、負ならば“０”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定することにより、複数ビットの署名の検出が可能である。
【００４０】
したがって、本実施の形態４によれば、入力された映像から隣接２フレームを抽出し、抽出した２つの隣接フレームから差分画像を生成し、生成した差分画像を領域分割し、分割した各領域の平均画素値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“１”、負ならば“０”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、複数ビットの署名の検出が可能であるようにしたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で複数ビットの署名を検出することができる。
【００４１】
実施の形態５．
上記実施の形態３では、入力された映像から隣接２フレームを抽出し、抽出した２つの隣接フレームから差分画像を生成し、生成した差分画像の平均画素値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“１”、負ならば“０”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、１ビットの署名を検出を可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で署名を検出することができるようにしたものであるが、次に当該平均画素値の平均値を検出に使うことによって、アナログ処理などによって画素ずれが生じてもその影響をさらに受けにくい形態で署名を検出する実施形態を示す。
【００４２】
図６はこの発明の実施の形態５である電子透かしの検出方法を示すフローチャートである。
図において、６０は映像を入力するステップ、６１は入力された映像から隣接する２つのフレームを抽出するステップ、６２はステップ６１で抽出した２つのフレームから差分画像を生成するステップ、６３はステップ６２で生成した差分画像の平均画素値を計算するステップ、６４はステップ６３で計算した平均画素値の平均値を計算するステップ、６５はステップ６４で計算した平均値を使って埋め込まれた署名を検出するステップである。
【００４３】
ステップ６１からステップ６３まではそれぞれ、実施の形態３におけるステップ３１からステップ３３と同様に動作する。したがって、ステップ６３の出力では、隣接２フレームの差分画像の平均画素値が得られる。
【００４４】
ステップ６４では、ステップ６３で得られた平均画素値を連続複数個使い、平均画素値の平均値を計算する。平均画素値の平均値を計算するために使う平均画素値の個数については、埋め込み時の埋め込み周期や画像の性質に応じて決定するが、ここでは説明のため、１５個の連続する平均画素値を使って平均画素値の平均値を計算することとする。
【００４５】
すなわち、ステップ６４において、連続する平均画素値として、０．８、０．９、０．７、１．２、１．４、０．４、０．９、０．８、０．４、１．０、１．４、０．７、０．８、０．２、０．４の１５個の値が得られたとする。このときの平均画素値の平均値は約０．８となる。つまり、ステップ６４で得られた平均画素値の平均値は０．８である。
【００４６】
ステップ６５では、ステップ６４で計算した平均値を使って埋め込まれた情報を検出する。ステップ６５は実施の形態３におけるステップ３４と同様に動作する。すなわち、しきい値をδに設定し、当該平均値の絶対値がδの絶対値より大きいとき、ステップ６４で計算した平均値の符号が正ならば“１”、負ならば“０”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定する。ここで、説明のためδ＝０．５と仮定すると、ステップ６４で計算した値０．８は符号が正であり、当該平均値の絶対値がδの絶対値より大きいため、署名として“１”を検出することになる。
【００４７】
したがって、本実施の形態５によれば、入力された映像から隣接２フレームを抽出し、抽出した２つの隣接フレームから差分画像を生成し、生成した差分画像の平均画素値を計算し、平均画素値の平均値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“１”、負ならば“０”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、１ビットの署名の検出が可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で署名を検出することができる。また、途中生成する差分画像の平均画素値にぶれが生じる場合にも、本実施の形態では平均画素値の平均値を計算することにより差分画像の平均画素値にぶれを吸収することができるので、実施の形態３では署名を誤検出してしまう場合にも、本実施の形態では正しく署名を検出することが可能になる。
【００４８】
実施の形態６．
以上の実施の形態５では、途中生成する差分画像の平均画素値にぶれが生じる場合にも、平均画素値の平均値を計算することにより差分画像の平均画素値にぶれを吸収することができるので、実施の形態３では署名を誤検出してしまう場合にも、正しく署名を検出することが可能になるようにしたものであるが、次に当該平均画素値を降順あるいは昇順に並べ替えたのち、両端から指定数分の要素を取り除いた上で残った要素の平均値を計算し、その平均値を使って埋め込まれた署名を判定する実施形態を示す。
【００４９】
図７はこの発明の実施の形態６である電子透かしの検出方法を示すフローチャートである。
図において、７０は映像を入力するステップ、７１は入力された映像から隣接する２つのフレームを抽出するステップ、７２はステップ７１で抽出した２つのフレームから差分画像を生成するステップ、７３はステップ７２で生成した差分画像の平均画素値を計算するステップ、７４はステップ７３で計算した平均画素値をソートして降順あるいは昇順に並び替えるステップ、７５はステップ７４で並び替えた要素リストの両端から指定数分の要素を取り除くステップ、７６はステップ７５の処理後に残った要素についてそれらの平均値を計算するステップ、７７はステップ７６で計算した平均値を使って埋め込まれた署名を検出するステップである。
【００５０】
ステップ７１からステップ７３まではそれぞれ、実施の形態５におけるステップ６１からステップ６３と同様に動作する。したがって、ステップ７３の出力では、隣接２フレームの差分画像の平均画素値が得られる。
【００５１】
ステップ７４では、ステップ７３で得られた平均画素値を連続複数個使い、ソートして降順あるいは昇順に並べ替える。ソートするために使用する平均画素値の個数については、埋め込み時の埋め込み周期や画像の性質に応じて決定するが、ここでは説明のため、実施の形態５と同様に１５個の連続する平均画素値を使うこととする。
【００５２】
すなわち、ステップ７４において、連続する平均画素値として、０．８、０．９、０．７、１．２、１．４、０．４、０．９、０．８、０．４、−２６．０、１．４、０．７、０．８、０．２、０．４の１５個の値が得られたとする。このとき、これらの平均画素値をソートして降順に並び替えると、１．４、１．４、１．２、０．９、０．９、０．８、０．８、０．８、０．７、０．７、０．４、０．４、０．４、０．２、−２６．０となる。
【００５３】
ステップ７５では、ステップ７４でソートして得られた平均画素値リストの両端から、指定数分の画素値要素を除外する。ここでは、降順に並べられたリスト中の１５個の要素のうち、値の大きいほうから３つの要素、値の小さいほうから４つの要素を除外すると仮定して説明する。すなわち、降順に並べられたリストは、１．４、１．４、１．２、０．９、０．９、０．８、０．８、０．８、０．７、０．７、０．４、０．４、０．４、０．２、−２６．０であるから、値の大きいほうから３つの要素、値の小さいほうから４つの要素を除外すると、０．９、０．９、０．８、０．８、０．８、０．７、０．７、０．４の８つの要素が残ることになる。
【００５４】
ステップ７６では、ステップ７５における残りの要素について、それらの平均値を計算する。すなわち、残りの要素は０．９、０．９、０．８、０．８、０．８、０．７、０．７、０．４の８つの要素であるから、これらの要素から平均値を計算すると、０．７５となる。
【００５５】
ステップ７７では、ステップ７６で計算した平均値を使って埋め込まれた情報を検出する。ステップ７７は、実施の形態５におけるステップ６５と同様に動作する。すなわち、しきい値をδに設定し、当該平均値の絶対値がδの絶対値より大きいとき、ステップ７６で計算した平均値の符号が正ならば“１”、負ならば“０”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定する。ここで、説明のためδ＝０．５と仮定すると、ステップ７６で計算した値０．７５は符号が正であり、当該平均値の絶対値がδの絶対値より大きいため、署名として“１”を検出することになる。
【００５６】
ところで、ステップ７５においてソートして得られた平均画素値リストの両端から、指定数分の画素値要素を除外しない場合は、ステップ７６で単純にすべての１５要素を使って平均を計算することになり、これは実施の形態５と同様になるが、その場合の平均値は−１．０となる。そのため、ステップ７７においてδ＝０．５と仮定すると、ステップ７６で計算した値−１．０は符号が負であり、当該平均値の絶対値がδの値より大きいため、署名として“０”を検出することになってしまう。これは要素の中に−２６．０という特異値が含まれるためである。
【００５７】
したがって、本実施の形態６によれば、入力された映像から隣接２フレームを抽出し、抽出した２つの隣接フレームから差分画像を生成し、生成した差分画像の平均画素値を計算し、平均画素値をソートして降順あるいは昇順に並び替え、並び替えたリストの両端から指定数分の要素を取り除き、残った要素についてそれらの平均値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“１”、負ならば“０”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、１ビットの署名の検出が可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で署名を検出することができる。また、たとえばシーンチェンジなどの影響で途中生成する差分画像の平均画素値に特異値が生じた場合にも、本実施の形態では平均画素値をソートして降順あるいは昇順に並び替え、並び替えたリストの両端から指定数分の要素を取り除き、残った要素についてそれらの平均値を計算することにより特異値の影響を除外するようにしているので、実施の形態５では署名を誤検出してしまう場合にも、本実施の形態では正しく署名を検出することが可能になる。
【００５８】
実施の形態７．
以上の実施の形態４では、入力された映像から隣接２フレームを抽出し、抽出した２つの隣接フレームから差分画像を生成し、生成した差分画像を領域分割し、分割した各領域の平均画素値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“１”、負ならば“０”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、複数ビットの署名の検出が可能であるようにしたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で署名を検出することができるようにしたものであるが、次に当該平均画素値の平均値を検出に使うことによって、アナログ処理などによって画素ずれが生じてもその影響をさらに受けにくい形態で複数ビットの署名を検出する実施形態を示す。
【００５９】
図８はこの発明の実施の形態７である電子透かしの検出方法を示すフローチャートである。
図において、８０は映像を入力するステップ、８１は入力された映像から隣接する２つのフレームを抽出するステップ、８２はステップ８１で抽出した２つのフレームから差分画像を生成するステップ、８３はステップ８２で抽出した差分画像を領域分割するステップ、８４はステップ８３で分割した領域ごとに領域内の画素値の平均値を計算するステップ、８５はステップ８４で計算した領域ごとの平均画素値の平均値を計算するステップ、８６はステップ８５で計算した平均値を使って埋め込まれた署名を検出するステップである。
【００６０】
ステップ８１からステップ８４まではそれぞれ、実施の形態４におけるステップ４１からステップ４４と同様に動作する。したがって、ステップ８４の出力では、分割した領域それぞれについての平均画素値が得られる。
【００６１】
ステップ８５では、ステップ８４で得られた領域ごとの平均画素値について時間方向の連続複数個を使い、平均画素値の平均値を計算する。平均画素値の平均値を計算するために使う平均画素値の個数については、埋め込み時の埋め込み周期や画像の性質に応じて決定するが、ここでは説明のため、１５個の連続する平均画素値を使って平均画素値の平均値を計算することとする。
【００６２】
すなわち、ステップ８５において、ある１つの分割領域における連続する平均画素値として、０．８、０．９、０．７、１．２、１．４、０．４、０．９、０．８、０．４、１．０、１．４、０．７、０．８、０．２、０．４の１５個の値が得られたとする。このときの平均画素値の平均値は約０．８となる。つまり、ステップ８５で得られたある１つの分割領域における平均画素値の平均値は０．８である。
【００６３】
ステップ８６では、ステップ８５で計算した平均値を使って埋め込まれた情報を検出する。ステップ８６は実施の形態４におけるステップ４５と同様に動作する。すなわち、しきい値をδに設定し、当該平均値の絶対値がδの絶対値より大きいとき、ステップ８５で計算した平均値の符号が正ならば“１”、負ならば“０”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定する。ここで、説明のためδ＝０．５と仮定すると、ステップ８５で計算した値０．８は符号が正であり、当該平均値の絶対値がδの絶対値より大きいため、署名として“１”を検出することになる。
【００６４】
したがって、本実施の形態７によれば、入力された映像から隣接２フレームを抽出し、抽出した２つの隣接フレームから差分画像を生成し、生成した差分画像を領域分割し、分割した各領域の平均画素値を計算し、平均画素値の平均値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“１”、負ならば“０”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、複数ビットの署名の検出を可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で複数ビットの署名を検出することができる。また、途中生成する各領域の平均画素値について時間方向にぶれが生じる場合にも、本実施の形態では平均画素値の平均値を計算することにより各領域の平均画素値にぶれを吸収することができるので、実施の形態４では署名を誤検出してしまう場合にも、本実施の形態では正しく署名を検出することが可能になる。
【００６５】
実施の形態８．
以上の実施の形態７では、途中生成する各領域の平均画素値について時間方向にぶれが生じる場合にも、平均画素値の平均値を計算することにより各領域の平均画素値にぶれを吸収することができるので、実施の形態４では署名を誤検出してしまう場合にも、正しく署名を検出することが可能になるようにしたものであるが、次に当該平均画素値を降順あるいは昇順に並べ替えたのち、両端から指定数分の要素を取り除いた上で残った要素の平均値を計算し、その平均値を使って埋め込まれた署名を判定する実施形態を示す。
【００６６】
図９はこの発明の実施の形態８である電子透かしの検出方法を示すフローチャートである。
図において、９０は映像を入力するステップ、９１は入力された映像から隣接する２つのフレームを抽出するステップ、９２はステップ９１で抽出した２つのフレームから差分画像を生成するステップ、９３はステップ９２で抽出した差分画像を領域分割するステップ、９４はステップ９３で分割した領域ごとに領域内の画素値の平均値を計算するステップ、９５はステップ９４で計算した領域ごとの平均画素値について時間方向の連続複数個をソートして降順あるいは昇順に並び替えるステップ、９６はステップ９５で並び替えた要素リストの両端から指定数分の要素を取り除くステップ、９７はステップ９６の処理後に残った要素についてそれらの平均値を計算するステップ、９８はステップ９７で計算した平均値を使って埋め込まれた署名を検出するステップである。
【００６７】
ステップ９１からステップ９４まではそれぞれ、実施の形態７におけるステップ８１からステップ８４と同様に動作する。したがって、ステップ９４の出力では、分割した領域それぞれについての平均画素値が得られる。
【００６８】
ステップ９５では、ステップ９４で得られた領域ごとの平均画素値について時間方向の連続複数個をソートして降順あるいは昇順に並び替える。ソートするために使用する平均画素値の個数については、埋め込み時の埋め込み周期や画像の性質に応じて決定するが、ここでは説明のため、実施の形態５と同様に１５個の連続する平均画素値を使うこととする。
【００６９】
すなわち、ステップ９４において、ある１つの分割領域における時間方向に連続する平均画素値として、０．８、０．９、０．７、１．２、１．４、０．４、０．９、０．８、０．４、−２６．０、１．４、０．７、０．８、０．２、０．４の１５個の値が得られたとする。このとき、これらの平均画素値をソートして降順に並び替えると、１．４、１．４、１．２、０．９、０．９、０．８、０．８、０．８、０．７、０．７、０．４、０．４、０．４、０．２、−２６．０となる。
【００７０】
ステップ９６では、ステップ９５でソートして得られた平均画素値リストの両端から、指定数分の画素値要素を除外する。ここでは、降順に並べられたリスト中の１５個の要素のうち、値の大きいほうから３つの要素、値の小さいほうから４つの要素を除外すると仮定して説明する。すなわち、降順に並べられたリストは、１．４、１．４、１．２、０．９、０．９、０．８、０．８、０．８、０．７、０．７、０．４、０．４、０．４、０．２、−２６．０であるから、値の大きいほうから３つの要素、値の小さいほうから４つの要素を除外すると、０．９、０．９、０．８、０．８、０．８、０．７、０．７、０．４の８つの要素が残ることになる。
【００７１】
ステップ９７では、ステップ９６における残りの要素について、それらの平均値を計算する。すなわち、残りの要素は０．９、０．９、０．８、０．８、０．８、０．７、０．７、０．４の８つの要素であるから、これらの要素から平均値を計算すると、０．７５となる。
【００７２】
ステップ９８では、ステップ９７で計算した平均値を使って埋め込まれた情報を検出する。ステップ９８は、実施の形態７におけるステップ８６と同様に動作する。すなわち、しきい値をδに設定し、当該平均値の絶対値がδの絶対値より大きいとき、ステップ９７で計算した平均値の符号が正ならば“１”、負ならば“０”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定する。ここで、説明のためδ＝０．５と仮定すると、ステップ９７で計算した値０．７５は符号が正であり、当該平均値の絶対値がδの絶対値より大きいため、署名として“１”を検出することになる。
【００７３】
ところで、ステップ９６においてソートして得られた平均画素値リストの両端から、指定数分の画素値要素を除外しない場合は、ステップ９７で単純にすべての１５要素を使って平均を計算することになり、これは実施の形態７と同様になるが、その場合の平均値は−１．０となる。そのため、ステップ９８においてδ＝０．５と仮定すると、ステップ９７で計算した値−１．０は符号が負であり、当該平均値の絶対値がδの値より大きいため、署名として“０”を検出することになってしまう。これは要素の中に−２６．０という特異値が含まれるためである。
【００７４】
したがって、本実施の形態８によれば、入力された映像から隣接２フレームを抽出し、抽出した２つの隣接フレームから差分画像を生成し、生成した差分画像を領域分割し、分割した各領域の平均画素値を計算し、平均画素値をソートして降順あるいは昇順に並び替え、並び替えたリストの両端から指定数分の要素を取り除き、残った要素についてそれらの平均値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“１”、負ならば“０”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、複数ビットの署名の検出が可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で複数ビットの署名を検出することができる。また、たとえばシーンチェンジなどの影響で途中生成する差分画像の平均画素値に特異値が生じた場合にも、本実施の形態では平均画素値をソートして降順あるいは昇順に並び替え、並び替えたリストの両端から指定数分の要素を取り除き、残った要素についてそれらの平均値を計算することにより特異値の影響を除外するようにしているので、実施の形態７では署名を誤検出してしまう場合にも、本実施の形態では正しく複数ビットの署名を検出することが可能になる。
【００７５】
なお、以上の説明では、画素値の変更を加えるフレームとして隣接する２つのフレーム（隣接フレーム）を用いる場合を説明したが、対象としては、相互で差分値があまり大きくならない近傍のフレーム同志であれば同様の効果を奏するものである。
【００７６】
また、以上説明したような方法を実行するためのプログラムをつくり計算機で実行することにより、署名などの電子透かし情報を映像情報に埋め込み、また検出することができる。
【００７７】
これらにより、例えば、アナログVTRなどに記録された映像の複製などにおいても十分耐性のある電子透かし埋め込み／検出が可能であり、映像や映画の複製などに係わる著作権保護を確実に行うことが可能となる。
【００７８】
【発明の効果】
以上のように、この発明によれば、映像信号から近傍フレームを抽出し、この抽出された近傍フレームのそれぞれ対応する領域の画素値を変更することにより電子透かし情報を埋め込むようにしたので、アナログ処理などによって画素ずれが生じても検出時にその影響を受けにくい形態で電子透かし情報を埋め込むことができる。
【００７９】
また、この発明によれば、映像信号から近傍フレームを抽出し、この抽出された近傍フレームの差分画像を生成し、この差分画像の平均画素値を計算し、この平均画素値に基き、埋め込まれた電子透かし情報を検出するようにしたので、アナログ処理などによって画素ずれが生じても埋め込まれた電子透かし情報を検出することができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１である電子透かしの埋め込み方法を示すフローチャート
【図２】この発明の実施の形態２である電子透かしの埋め込み方法を示すフローチャート
【図３】この発明の実施の形態３である電子透かしの検出方法を示すフローチャート
【図４】この発明の実施の形態４である電子透かしの検出方法を示すフローチャート
【図５】隣接フレーム間差分画像画素平均値の変化確率分布を示す説明図
【図６】この発明の実施の形態５である電子透かしの検出方法を示すフローチャート
【図７】この発明の実施の形態６である電子透かしの検出方法を示すフローチャート
【図８】この発明の実施の形態７である電子透かしの検出方法を示すフローチャート
【図９】この発明の実施の形態８である電子透かしの検出方法を示すフローチャート
【符号の説明】
１０映像入力ステップ
１１隣接フレーム抽出ステップ
１２署名埋め込みステップ
１３映像出力ステップ
３０映像入力ステップ
３１隣接フレーム抽出ステップ
３２差分画像の生成ステップ
３３差分画像の平均画素値を計算するステップ
３４署名の検出ステップ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a digital watermark technique for concealing other information (watermark information such as a signature) in video data for the purpose of, for example, video copyright management, and more particularly to a watermark information embedding method and detection method.
[0002]
[Prior art]
For example, there is a method of embedding a signature using the fact that two points are selected at random from an image and the expected value of the difference is zero.
[0003]
[Patent Document 1]
W. Bender et.al, "Techniques for data hiding," IBM systems journal, vol.35, no.3-4, pp.313-336, 1996.
[0004]
[Problems to be solved by the invention]
In the above-described conventional technique, pixel shift occurs due to analog processing of an image, and if the pixel position is different between when a signature is embedded and when it is detected, it is theoretically difficult to detect the signature.
In most cases, conventional digital watermarking techniques use geometric transformations such as cropping and rotation, and signal processing such as lossy encoding, and assume digital images. For this reason, the conventional technology is insufficient to make it possible to detect even after a pixel shift has occurred due to analog processing.
But copying images isn't just digital. For example, the number of analog VTRs shipped in 2002 was 4.7 million, exceeding the number of DVD players shipped. In such an environment, for example, in order to ensure copyright protection, sufficient measures against analog duplication are required.
The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a digital watermark technique that can detect watermark information even if a pixel shift occurs after analog processing.
[0005]
[Means for Solving the Problems]
The digital watermark embedding method according to the present invention is based on a video signal. Two adjacent The neighborhood frame extraction step for extracting the neighborhood frame, and the neighborhood frame extraction step extracted Two Neighborhood frame In addition, the same signature information is given during a predetermined embedding period, and a value of a predetermined size is added to the values of all pixels in the previous frame of the two neighboring frames according to the given signature information. Add and subtract the value of the predetermined size to the value of all pixels in the subsequent frame, or add the value of the predetermined size to the values of all pixels in the previous frame of the two neighboring frames Subtract and add the value of the predetermined size to the value of all pixels in the subsequent frame By changing The signature information Digital watermark information As The embedding step includes an embedding step and an output step for outputting the video signal in which the digital watermark information is embedded in the embedding step.
[0006]
In addition, a digital watermark detection method according to the present invention includes: A neighborhood frame extraction step for extracting two neighboring frames from the video signal, a difference image generation step for generating a difference image between the two neighborhood frames extracted in the neighborhood frame extraction step, and a difference image generation step A difference image average pixel value calculation step for calculating an average pixel value of the difference image, and a difference obtained by averaging the average pixel values of the difference image calculated during an embedding period predetermined in the difference image average pixel value calculation step An average value calculating step for calculating an average value of the average pixel values of the image, and when the absolute value of the average value of the average pixel values of the difference image calculated in the average value calculating step is larger than a predetermined size, Digital watermark information for detecting signature information associated with the sign of the average value of the average pixel value of the difference image as embedded digital watermark information A detection step It is equipped with.
[0007]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1 FIG.
FIG. 1 is a flowchart showing a digital watermark embedding method according to the first embodiment of the present invention.
In the figure, 10 is a step for inputting video, 11 is a step for extracting two adjacent frames as neighboring frames from the input video, and 12 is for changing the pixel values of the two frames extracted in step 11. The step of embedding a signature as watermark information is performed, and 13 is a step of outputting a video in which the signature is embedded.
[0008]
Next, the operation will be described.
In step 11, two adjacent frames are repeatedly extracted from the video input in step 10 in order. At this time, the order of frames to be extracted is fixed in advance. That is, an odd frame is extracted first and then the next even frame is extracted, or an even frame is extracted first and then the next odd frame is extracted. This prevents the same frame from being extracted more than once in step 11.
[0009]
In step 12, the signature is embedded by uniformly changing the pixel values of the corresponding regions of the two adjacent frames extracted in step 11. That is, when two adjacent frames are called a previous frame and a subsequent frame, −δ is added to all pixel values of the previous frame, and δ is added to all pixels of the subsequent frame.
Here, the pixel value is a value of a luminance signal of each pixel, for example. As the pixel value, in addition to the luminance signal, for example, Cb / Cr (color difference signal), or each signal of red component (R), green component (G), blue component (B) in the RGB system, etc. Each signal value such as a method for dividing lightness, hue, and saturation (HSV method) may be used.
[0010]
FIG. 5 is an explanatory diagram showing a change probability distribution of the difference image pixel average value between adjacent frames before and after changing two adjacent frame pixel values in Step 12. Before the two adjacent frame pixel values are changed, the probability distribution of the pixel average value of the difference image between adjacent frames is at the position of the distribution 50 indicated by the dotted line.
When -δ is added to all pixel values of the previous frame and δ is added to all pixels of the subsequent frame, the probability distribution of the pixel average value of the difference image between adjacent frames is the position of the distribution 51 or 52 indicated by the solid line Move to. Whether to move to the distribution 51 or to the distribution 52 depends on the value of δ (sign). For example, if the calculation of the difference value is performed by (pixel value of the subsequent frame−pixel value of the previous frame), and the value of δ is +1, the probability distribution of the pixel average value of the difference image between adjacent frames is Move to the position of the distribution 51. When the value of δ is −1, the probability distribution of the pixel average value of the difference image between adjacent frames moves to the position of the distribution 52.
[0011]
Therefore, the signature represented by two values can be embedded by moving the probability distribution of the pixel average value of the difference image between adjacent frames by associating the value (sign) of δ with the signature to be embedded. At this time, the image quality deterioration of the original image is suppressed by giving a difference 2δ little by little (δ) to both adjacent frames.
[0012]
Further, instead of changing the pixel values of the frames uniformly in step 12, they may be changed by weighting according to the size of the inter-frame difference image pixel values. However, even in such a case, the weight distribution is performed so that the probability distribution of the pixel average value of the difference image between adjacent frames is moved to the position of the distribution 51 or 52 indicated by the solid line in FIG.
As a result, it is possible to embed a signature in a form that is less susceptible to the influence of detection even if a pixel shift occurs due to analog processing or the like while suppressing image quality deterioration after the signature is embedded.
[0013]
Further, instead of uniformly changing the pixel value of the frame in step 12, it may be changed by weighting each specific area, for example, an area obtained by extracting an object present in the image. However, even in such a case, the weight distribution is performed so that the probability distribution of the pixel average value of the difference image between adjacent frames is moved to the position of the distribution 51 or 52 indicated by the solid line in FIG.
It is possible to embed a signature in a form that is less affected by detection even if a pixel shift occurs due to analog processing, etc. while suppressing deterioration in image quality after embedding the signature by increasing the weighting of an object that does not noticeably deteriorate image quality .
[0014]
Further, in step 12, the pixel value of the frame is not uniformly changed, but a specific position of the inter-frame difference image is designated by, for example, a random number, and the pixel value is set by increasing the weight for the pixel at the position. The pixel value may be changed by reducing the weighting for other pixels.
This makes it difficult for a person who does not know the random number used at the time of embedding to specify the embedding position of information, so that it is difficult to intentionally erase or modify the embedded information.
[0015]
As described above, according to the first embodiment, two adjacent frames are extracted from the input video, the pixel value of the adjacent frame is changed, and the change probability distribution of the inter-frame difference image pixel average value is moved. Therefore, even if a pixel shift occurs due to analog processing or the like, the signature can be embedded in a form that is not easily affected by detection.
In other words, since the digital watermark information is embedded not as individual pixel values but as the overall pixel value change state, even if a pixel shift occurs due to analog processing or the like, the influence on the overall pixel value change state is acceptable. Since it stays within the range, it is possible to detect digital watermark information. Deterioration of the image can be suppressed by suppressing the change of the pixel value to be small.
[0016]
Embodiment 2. FIG.
In the first embodiment described above, the adjacent frame is extracted from the video, the pixel value of the adjacent frame is changed, and the signature is embedded by moving the change probability distribution of the inter-frame difference image pixel average value. Next, each adjacent frame is similarly divided into regions, and the pixel value of the adjacent frame is changed for each region of the corresponding adjacent frame to move the change probability distribution of the inter-frame difference pixel average value for each region. Shows an embodiment in which a signature is embedded.
[0017]
FIG. 2 is a flowchart showing a digital watermark embedding method according to the second embodiment of the present invention.
In the figure, 20 is a step of inputting video, 21 is a step of extracting two adjacent frames from the input video, 22 is a step of equally dividing the two frames extracted in step 21, and 23 is step 22. A step of embedding a signature by changing the pixel values of the two frames extracted in step 21 for each divided region, and 24 is a step of outputting a video in which the signature is embedded.
That is, the signature embedding step is composed of a step 22 for dividing the frame region and a step 23 for embedding the signature by changing the pixel value for each divided region.
[0018]
Next, the operation will be described.
Step 21 operates in the same manner as step 11 in the first embodiment. Therefore, in step 21, two adjacent frames are extracted in order.
[0019]
In step 22, the two adjacent frames extracted in step 11 are equally divided into rectangles. Here, the size and position of the rectangle need only be specified equally between two adjacent frames. Therefore, the size and position of the rectangle may be fixed in advance, or according to the pixel value of the difference image between adjacent frames. May be divided dynamically, or may be dynamically changed according to other rules.
[0020]
In step 23, for each region divided in step 22, a signature is embedded by uniformly changing the pixel value of the adjacent frame for each corresponding adjacent frame region. Accordingly, as described in the first embodiment, the probability distribution of the pixel average value of the difference image between adjacent frames in the region is obtained by adding −δ to all the pixel values of the previous frame in FIG. When δ is added to all the pixels in the frame, the probability distribution of the pixel average value of the difference image between adjacent frames moves from the position of the distribution 50 indicated by the dotted line to the position of the distribution 51 or 52 indicated by the solid line.
[0021]
Further, in step 23, the pixel values of the frame may not be changed uniformly, but may be changed by weighting according to the size of the inter-frame difference image pixel value. Even in this case, however, the probability distribution of the pixel average value of the difference image between adjacent frames in the region is weighted so as to move to the position of the distribution 51 or 52 indicated by the solid line in FIG. To do.
[0022]
Further, instead of uniformly changing the pixel value of the frame in step 23, for example, a region obtained by extracting an object present in the image may be weighted and changed for each specific region. Even in this case, however, the probability distribution of the pixel average value of the difference image between adjacent frames in the region is weighted so as to move to the position of the distribution 51 or 52 indicated by the solid line in FIG. To do.
[0023]
Therefore, according to the second embodiment, two adjacent frames are extracted from the input video, the extracted two adjacent frames are each equally divided, and for each divided area, for each corresponding adjacent frame area Since the signature is embedded by changing the pixel value of the adjacent frame, it is possible to embed a multi-bit signature in such a form that even if a pixel shift occurs due to analog processing or the like, it is not easily affected by detection.
[0024]
Embodiment 3. FIG.
In the first embodiment and the second embodiment, the signature embedding method has been described. Next, the signature detection method embedded in the first embodiment and the second embodiment will be described.
[0025]
FIG. 3 is a flowchart showing a digital watermark detection method according to the third embodiment of the present invention.
In the figure, 30 is a step of inputting video, 31 is a step of extracting two adjacent frames from the input video, 32 is a step of generating a difference image from the two frames extracted in step 31, and 33 is step 32. The step of calculating the average pixel value of the difference image generated in step 34 is a step of detecting the embedded signature using the average pixel value of the difference image calculated in step 33.
[0026]
In step 31, two adjacent frames are repeatedly extracted in order from the video input in step 30. At this time, the order of frames to be extracted in advance is fixed in the same manner as the order determined when the signature is embedded. That is, the odd frame is extracted first and then the next even frame is extracted, or the even frame is extracted first and then the next odd frame is extracted.
[0027]
In step 32, a difference image is generated from the two adjacent frames extracted in step 31.
[0028]
In step 33, the average pixel value of the difference image generated in step 32 is calculated.
[0029]
In step 34, the embedded information is detected using the average value calculated in step 33. If the two adjacent frames extracted in step 31 are referred to as the previous frame and the subsequent frame, the average value of the difference images between the adjacent two frames in which no signature is embedded is the average value of the previous frame and the average value of the subsequent frame. Is equal to the difference between In general, since the correlation between adjacent frames in a video is high, the difference between the average value of the previous frame and the average value of the subsequent frame, that is, the average value of the difference image fluctuates around the value 0. However, as described with reference to FIG. 5 in the description of the signature embedding in the first and second embodiments, the average value of the difference image is manipulated so as to fluctuate around the value 2δ by embedding the signature. Yes. Therefore, for example, when the threshold is set to δ and the absolute value of the average value is larger than the absolute value of δ, “1” if the sign of the average value calculated in step 33 is positive, “0” if negative. If the absolute value of the average value is equal to or less than the absolute value of δ, it is possible to detect a 1-bit signature by determining “no information embedding”.
[0030]
That is, when the absolute value of the average value of the difference image is larger than the absolute value of the threshold value δ, information (signature) is embedded, and when smaller than the absolute value of the threshold value δ, information (signature) is embedded. None. When information (signature) is embedded, it is determined as “1” if the sign of the average value is positive, “0” if the sign of the average value is negative, and “embedding information” if the absolute value of the average value is less than or equal to the absolute value of δ. By determining “None”, it is possible to detect a 1-bit signature. It is also possible to reverse the relationship between the sign of the average value and “1” / “0”, which corresponds to how to change the pixel values of the previous and subsequent frames at the time of embedding and how to calculate the difference image To set.
[0031]
Therefore, according to the third embodiment, two adjacent frames are extracted from the input video, a difference image is generated from the two adjacent frames extracted, an average pixel value of the generated difference image is calculated, and the threshold value is calculated. When the absolute value of the average value is greater than the absolute value of the threshold, it is determined that the average pixel value is “1” if the sign is positive, and “0” if the sign is negative. If the absolute value of is less than or equal to the absolute value of the threshold, it is possible to detect a 1-bit signature by determining “no information is embedded”. Signatures can be detected in a form that is difficult to receive.
[0032]
Embodiment 4 FIG.
In Embodiment 3 described above, two adjacent frames are extracted from the input video, a difference image is generated from the two adjacent frames extracted, an average pixel value of the generated difference image is calculated, and a threshold value is set. When the absolute value of the average value is larger than the absolute value of the threshold value, it is determined as “1” if the sign of the average pixel value is positive, and “0” if the sign of the average pixel value is negative. If it is less than the absolute value of the threshold value, it is possible to detect a 1-bit signature by determining “no information is embedded”. In this embodiment, the signature is detected when a multi-bit signature is embedded.
[0033]
FIG. 4 is a flowchart showing a digital watermark detection method according to Embodiment 4 of the present invention.
In the figure, 40 is a step of inputting video, 41 is a step of extracting two adjacent frames from the input video, 42 is a step of generating a difference image from the two frames extracted in step 41, and 43 is step 42. The step of dividing the differential image extracted in step 44 is a step of calculating an average value of pixel values in the region for each region divided in step 43, and 45 is a signature embedded using the average value calculated in step 44. Is a step of detecting for each region.
[0034]
Step 41 and step 42 operate in the same manner as step 31 and step 32 in the third embodiment, respectively. Therefore, the difference image of two adjacent frames is obtained at the output of step 42.
[0035]
In step 43, the difference image output in step 42 is divided into rectangles. Here, the size and position of the rectangle are the same as those specified at the time of embedding.
[0036]
Further, in step 43, the area may not be divided into rectangles, but may be divided into arbitrary predetermined areas. Also in this case, parameters for determining individual areas such as area size and position are the same as those specified at the time of embedding.
[0037]
In step 43, the area may not be divided into rectangles, but may be dynamically divided according to the difference value. For example, when the difference value takes an integer value from −255 to 255, a pixel belonging to the range of −255 to −128 is one area, a pixel belonging to the range of −127 to −1 is one area, and For example, the pixel belonging to the range is divided into four regions, one region and the pixel belonging to the range from 128 to 255 as one region.
[0038]
In step 44, an average pixel value in the area is calculated for each area divided in step 43.
[0039]
In step 45, the embedded information is detected using the average value calculated in step 44. If the two adjacent frames extracted in step 41 are called the previous frame and the subsequent frame, the average value in each region divided in step 43 in the difference image of the adjacent two frames in which the signature is not embedded is It is equal to the difference between the average pixel value in each area in the previous frame and the average value in each area in the subsequent frame. Since the correlation between adjacent frames in a video is generally high, the difference between the average pixel value in each region in the previous frame and the average pixel value in each region in the subsequent frame, that is, the average value of the difference image in each region is a value. It fluctuates around 0. However, as described with reference to FIG. 5 in the description of the signature embedding in the first and second embodiments, the average value of the difference image is manipulated so as to fluctuate around the value 2δ by embedding the signature. Yes. Therefore, for example, when the threshold value is set to δ and the absolute value of the average value is larger than the absolute value of δ, “1” if the sign of the average value calculated in step 44 is positive, “0” if negative. If the absolute value of the average value is equal to or smaller than the absolute value of δ, it is possible to detect a multi-bit signature by determining “no information embedding”.
[0040]
Therefore, according to the fourth embodiment, two adjacent frames are extracted from the input video, a difference image is generated from the two extracted adjacent frames, the generated difference image is divided into regions, and each divided region is divided. When the average pixel value is calculated, the threshold value is set, and the absolute value of the average value is greater than the absolute value of the threshold value, “1” if the sign of the average pixel value is positive, “0” if the sign is negative “If the absolute value of the average pixel value is equal to or less than the absolute value of the threshold value, it is determined that“ information is not embedded ”, so that a multi-bit signature can be detected. Even if a pixel shift occurs due to processing or the like, it is possible to detect a multi-bit signature in a form that is not easily affected.
[0041]
Embodiment 5 FIG.
In the third embodiment, two adjacent frames are extracted from the input video, a difference image is generated from the two extracted adjacent frames, an average pixel value of the generated difference image is calculated, and a threshold value is set. When the absolute value of the average pixel value is larger than the absolute value of the threshold value, it is determined as “1” if the sign of the average pixel value is positive, and “0” if the sign of the average pixel value is negative, and the absolute value of the average pixel value is Since it is possible to detect a 1-bit signature by determining “no information embedding” if it is less than the absolute value of the threshold, even if a pixel shift occurs due to analog processing, etc. The signature can be detected, but by using the average value of the average pixel value for detection next, the signature is further less affected even if a pixel shift occurs due to analog processing or the like. Inspect It shows an embodiment of.
[0042]
FIG. 6 is a flowchart showing a digital watermark detection method according to the fifth embodiment of the present invention.
In the figure, 60 is a step of inputting video, 61 is a step of extracting two adjacent frames from the input video, 62 is a step of generating a difference image from the two frames extracted in step 61, and 63 is step 62. Calculating an average pixel value of the difference image generated in step 64, calculating an average value of the average pixel value calculated in step 63, and detecting an embedded signature using the average value calculated in step 64 It is a step to do.
[0043]
Steps 61 to 63 operate in the same manner as steps 31 to 33 in the third embodiment. Therefore, the average pixel value of the difference image of two adjacent frames is obtained from the output of step 63.
[0044]
In step 64, the average pixel value obtained in step 63 is continuously used to calculate the average value of the average pixel values. The number of average pixel values used for calculating the average value of the average pixel values is determined in accordance with the embedding period at the time of embedding and the nature of the image, but here, for the sake of explanation, 15 consecutive average pixel values are used. Is used to calculate the average of the average pixel values.
[0045]
That is, in step 64, 0.8, 0.9, 0.7, 1.2, 1.4, 0.4, 0.9, 0.8, 0.4, 1 Assume that 15 values of 0.0, 1.4, 0.7, 0.8, 0.2, and 0.4 are obtained. The average value of the average pixel value at this time is about 0.8. That is, the average value of the average pixel values obtained in step 64 is 0.8.
[0046]
In step 65, the embedded information is detected using the average value calculated in step 64. Step 65 operates in the same manner as step 34 in the third embodiment. That is, when the threshold value is set to δ and the absolute value of the average value is larger than the absolute value of δ, “1” is obtained if the sign of the average value calculated in step 64 is positive, and “0” if the sign is negative. If the absolute value of the average value is equal to or less than the absolute value of δ, it is determined that “information is not embedded”. Here, for the sake of explanation, assuming that δ = 0.5, the value 0.8 calculated in step 64 is positive in sign, and the absolute value of the average value is larger than the absolute value of δ. "Will be detected.
[0047]
Therefore, according to the fifth embodiment, two adjacent frames are extracted from the input video, a difference image is generated from the two adjacent frames extracted, an average pixel value of the generated difference image is calculated, and an average pixel An average value is calculated, a threshold value is set, and when the absolute value of the average value is larger than the absolute value of the threshold value, “1” is given if the sign of the average pixel value is positive, “ If the absolute value of the average pixel value is equal to or smaller than the absolute value of the threshold value, it is possible to detect a 1-bit signature by determining “no information embedding”. Therefore, even if a pixel shift occurs, the signature can be detected in a form that is hardly affected by the pixel shift. In addition, even when blurring occurs in the average pixel value of the difference image generated halfway, the blur can be absorbed in the average pixel value of the difference image by calculating the average value of the average pixel value in this embodiment. In the third embodiment, even when a signature is erroneously detected, the present embodiment can correctly detect the signature.
[0048]
Embodiment 6 FIG.
In Embodiment 5 described above, even when blurring occurs in the average pixel value of the difference image generated halfway, the blurring can be absorbed in the average pixel value of the difference image by calculating the average value of the average pixel value. Therefore, in the third embodiment, even when signatures are erroneously detected, signatures can be detected correctly. Next, the average pixel values are rearranged in descending or ascending order. After that, an embodiment is shown in which an average value of remaining elements is calculated after removing a specified number of elements from both ends, and the embedded signature is determined using the average value.
[0049]
FIG. 7 is a flowchart showing a digital watermark detection method according to the sixth embodiment of the present invention.
In the figure, 70 is a step of inputting video, 71 is a step of extracting two adjacent frames from the input video, 72 is a step of generating a difference image from the two frames extracted in step 71, and 73 is step 72. Calculating the average pixel value of the difference image generated in step 74, sorting the average pixel value calculated in step 73 and rearranging them in descending or ascending order, and specifying from both ends of the element list rearranged in step 74 A step of removing elements of several minutes, 76 is a step of calculating an average value of elements remaining after the processing of step 75, and 77 is a step of detecting an embedded signature using the average value calculated in step 76. .
[0050]
Steps 71 to 73 operate in the same manner as steps 61 to 63 in the fifth embodiment. Therefore, the average pixel value of the difference image of two adjacent frames is obtained from the output of step 73.
[0051]
In step 74, a plurality of average pixel values obtained in step 73 are used in succession, sorted and rearranged in descending or ascending order. The number of average pixel values used for sorting is determined according to the embedding period at the time of embedding and the nature of the image, but here, for the sake of explanation, 15 consecutive average pixels are used as in the fifth embodiment. Use the value.
[0052]
That is, in step 74, 0.8, 0.9, 0.7, 1.2, 1.4, 0.4, 0.9, 0.8, 0.4, − It is assumed that 15 values of 26.0, 1.4, 0.7, 0.8, 0.2, and 0.4 are obtained. At this time, when these average pixel values are sorted and rearranged in descending order, 1.4, 1.4, 1.2, 0.9, 0.9, 0.8, 0.8, 0.8, 0.7, 0.7, 0.4, 0.4, 0.4, 0.2, and -26.0.
[0053]
In step 75, a specified number of pixel value elements are excluded from both ends of the average pixel value list obtained by sorting in step 74. Here, the description will be made assuming that, out of 15 elements in the list arranged in descending order, three elements from the largest value and four elements from the smallest value are excluded. That is, the list arranged in descending order is 1.4, 1.4, 1.2, 0.9, 0.9, 0.8, 0.8, 0.8, 0.7, 0.7, Since 0.4, 0.4, 0.4, 0.2, and −26.0, three elements from the larger value and four elements from the smaller value are excluded, 0.9, 0 Eight elements of .9, 0.8, 0.8, 0.8, 0.7, 0.7, and 0.4 remain.
[0054]
In step 76, the average value of the remaining elements in step 75 is calculated. That is, since the remaining elements are 8 elements of 0.9, 0.9, 0.8, 0.8, 0.8, 0.7, 0.7, and 0.4, the average is calculated from these elements. When the value is calculated, it becomes 0.75.
[0055]
In step 77, the embedded information is detected using the average value calculated in step 76. Step 77 operates in the same manner as step 65 in the fifth embodiment. That is, when the threshold value is set to δ and the absolute value of the average value is larger than the absolute value of δ, “1” is obtained if the sign of the average value calculated in step 76 is positive, and “0” if the sign is negative. If the absolute value of the average value is equal to or less than the absolute value of δ, it is determined that “information is not embedded”. Here, for the sake of explanation, assuming that δ = 0.5, the value 0.75 calculated in step 76 is positive in sign, and the absolute value of the average value is larger than the absolute value of δ. "Will be detected.
[0056]
By the way, when not excluding a specified number of pixel value elements from both ends of the average pixel value list obtained by sorting in step 75, the average is simply calculated using all 15 elements in step 76. This is the same as that of the fifth embodiment, but the average value in that case is -1.0. Therefore, assuming that δ = 0.5 in step 77, the value −1.0 calculated in step 76 has a negative sign, and the absolute value of the average value is larger than the value of δ. Will be detected. This is because the element includes a singular value of −26.0.
[0057]
Therefore, according to the sixth embodiment, two adjacent frames are extracted from the input video, a difference image is generated from the two adjacent frames extracted, an average pixel value of the generated difference image is calculated, and the average pixel Sort the values to sort in descending or ascending order, remove the specified number of elements from both ends of the sorted list, calculate the average value of the remaining elements, set the threshold value, and set the average value When the absolute value is larger than the absolute value of the threshold value, it is determined as “1” if the sign of the average pixel value is positive, and “0” if the sign of the average pixel value is negative, and the absolute value of the average pixel value is the absolute value of the threshold value If it is less than the value, it is possible to detect a 1-bit signature by determining “no information embedding”. Therefore, even if a pixel shift occurs due to analog processing or the like, the signature is detected in a form that is not easily affected. Can Further, for example, even when a singular value is generated in the average pixel value of the difference image generated in the middle due to the influence of a scene change or the like, in this embodiment, the average pixel value is sorted and rearranged in descending or ascending order. Since the specified number of elements are removed from both ends of the list and the average value of the remaining elements is calculated so as to exclude the influence of singular values, the signature is erroneously detected in the fifth embodiment. Even in this case, the present embodiment can correctly detect the signature.
[0058]
Embodiment 7 FIG.
In the fourth embodiment described above, two adjacent frames are extracted from the input video, a difference image is generated from the two adjacent frames extracted, the generated difference image is divided into regions, and the average pixel value of each divided region When the absolute value of the average value is greater than the absolute value of the threshold value, it is determined as “1” if the sign of the average pixel value is positive, and “0” if it is negative. If the absolute value of the average pixel value is equal to or smaller than the absolute value of the threshold value, it is determined that “information is not embedded”, so that a multi-bit signature can be detected. The signature can be detected in a form that is not easily affected even if a pixel shift occurs. Next, by using the average value of the average pixel value for detection, the pixel shift is performed by analog processing or the like. Arises It illustrates an embodiment of detecting the signature of a plurality of bits at the influence still susceptible form a.
[0059]
FIG. 8 is a flowchart showing a digital watermark detection method according to the seventh embodiment of the present invention.
In the figure, 80 is a step of inputting a video, 81 is a step of extracting two adjacent frames from the input video, 82 is a step of generating a difference image from the two frames extracted in step 81, and 83 is step 82. Step for dividing the difference image extracted in step 84, Step for calculating an average value of pixel values in the region for each region divided in step 83, and Step 85 for calculating an average value of the average pixel value for each region calculated in step 84 86 is a step of detecting the embedded signature using the average value calculated in step 85.
[0060]
Steps 81 to 84 operate in the same manner as steps 41 to 44 in the fourth embodiment. Therefore, the average pixel value for each of the divided areas is obtained at the output of step 84.
[0061]
In step 85, an average value of the average pixel values is calculated using a plurality of continuous average pixels in the time direction for the average pixel values obtained in step 84. The number of average pixel values used for calculating the average value of the average pixel values is determined in accordance with the embedding period at the time of embedding and the nature of the image, but here, for the sake of explanation, 15 consecutive average pixel values are used. Is used to calculate the average of the average pixel values.
[0062]
That is, in step 85, 0.8, 0.9, 0.7, 1.2, 1.4, 0.4, 0.9, 0.8 are set as continuous average pixel values in a certain divided region. , 0.4, 1.0, 1.4, 0.7, 0.8, 0.2, 0.4 are assumed to be obtained. The average value of the average pixel value at this time is about 0.8. That is, the average value of the average pixel values in one divided area obtained in step 85 is 0.8.
[0063]
In step 86, the embedded information is detected using the average value calculated in step 85. Step 86 operates in the same manner as step 45 in the fourth embodiment. That is, when the threshold value is set to δ and the absolute value of the average value is larger than the absolute value of δ, “1” if the sign of the average value calculated in step 85 is positive, “0” if the sign is negative. If the absolute value of the average value is equal to or less than the absolute value of δ, it is determined that “information is not embedded”. Here, for the sake of explanation, assuming that δ = 0.5, the value 0.8 calculated in step 85 has a positive sign, and the absolute value of the average value is larger than the absolute value of δ. "Will be detected.
[0064]
Therefore, according to the seventh embodiment, two adjacent frames are extracted from the input video, a difference image is generated from the two extracted adjacent frames, the generated difference image is divided into regions, and each divided region is divided. Calculate the average pixel value, calculate the average value of the average pixel value, set the threshold value, and if the average value of the average value is greater than the absolute value of the threshold value, the sign of the average pixel value is positive "1" if negative, "0" if negative, and if the absolute value of the average pixel value is less than the absolute value of the threshold, "no information is embedded" Therefore, even if a pixel shift occurs due to analog processing or the like, a multi-bit signature can be detected in a form that is not easily affected. In addition, even when blurring occurs in the time direction with respect to the average pixel value of each region generated in the middle, in this embodiment, the blur is absorbed in the average pixel value of each region by calculating the average value of the average pixel value. Therefore, even if the signature is erroneously detected in the fourth embodiment, it is possible to correctly detect the signature in the present embodiment.
[0065]
Embodiment 8 FIG.
In Embodiment 7 described above, even when the average pixel value of each region generated in the middle is blurred in the time direction, the average pixel value of each region is absorbed by calculating the average value of the average pixel value. Therefore, in the fourth embodiment, even when a signature is erroneously detected, the signature can be detected correctly. Next, the average pixel value is set in descending order or ascending order. An embodiment will be described in which, after rearrangement, an average value of remaining elements is calculated after removing a specified number of elements from both ends, and an embedded signature is determined using the average value.
[0066]
FIG. 9 is a flowchart showing a digital watermark detection method according to the eighth embodiment of the present invention.
In the figure, 90 is a step of inputting video, 91 is a step of extracting two adjacent frames from the input video, 92 is a step of generating a difference image from the two frames extracted in step 91, and 93 is step 92. Step for dividing the difference image extracted in step 94 is a step for calculating an average value of pixel values in the region for each region divided in step 93, and 95 is a time direction for the average pixel value for each region calculated in step 94. A step of sorting a plurality of consecutive elements and rearranging them in descending or ascending order, 96 is a step of removing a specified number of elements from both ends of the element list rearranged in step 95, 97 is an element remaining after the processing of step 96 Step 98 of calculating the average value of 98 embedded using the average value calculated in step 97 Is a step of detecting the name.
[0067]
Steps 91 to 94 operate in the same manner as steps 81 to 84 in the seventh embodiment. Therefore, the average pixel value for each of the divided areas is obtained at the output of step 94.
[0068]
In step 95, the average pixel values for each region obtained in step 94 are sorted in the descending order or ascending order by sorting a plurality of continuous pixels in the time direction. The number of average pixel values used for sorting is determined according to the embedding period at the time of embedding and the nature of the image, but here, for the sake of explanation, 15 consecutive average pixels are used as in the fifth embodiment. Use the value.
[0069]
That is, in step 94, 0.8, 0.9, 0.7, 1.2, 1.4, 0.4, 0.9, as average pixel values continuous in the time direction in a certain divided region. It is assumed that 15 values of 0.8, 0.4, −26.0, 1.4, 0.7, 0.8, 0.2, and 0.4 are obtained. At this time, when these average pixel values are sorted and rearranged in descending order, 1.4, 1.4, 1.2, 0.9, 0.9, 0.8, 0.8, 0.8, 0.7, 0.7, 0.4, 0.4, 0.4, 0.2, and -26.0.
[0070]
In step 96, a specified number of pixel value elements are excluded from both ends of the average pixel value list obtained by sorting in step 95. Here, the description will be made assuming that, out of 15 elements in the list arranged in descending order, three elements from the largest value and four elements from the smallest value are excluded. That is, the list arranged in descending order is 1.4, 1.4, 1.2, 0.9, 0.9, 0.8, 0.8, 0.8, 0.7, 0.7, Since 0.4, 0.4, 0.4, 0.2, and −26.0, three elements from the larger value and four elements from the smaller value are excluded, 0.9, 0 Eight elements of .9, 0.8, 0.8, 0.8, 0.7, 0.7, and 0.4 remain.
[0071]
In step 97, the average value of the remaining elements in step 96 is calculated. That is, since the remaining elements are 8 elements of 0.9, 0.9, 0.8, 0.8, 0.8, 0.7, 0.7, and 0.4, the average is calculated from these elements. When the value is calculated, it becomes 0.75.
[0072]
In step 98, the embedded information is detected using the average value calculated in step 97. Step 98 operates in the same manner as step 86 in the seventh embodiment. That is, when the threshold value is set to δ and the absolute value of the average value is larger than the absolute value of δ, “1” is obtained if the sign of the average value calculated in step 97 is positive, and “0” if the sign is negative. If the absolute value of the average value is equal to or less than the absolute value of δ, it is determined that “information is not embedded”. Here, for the sake of explanation, assuming that δ = 0.5, the value 0.75 calculated in step 97 has a positive sign, and the absolute value of the average value is larger than the absolute value of δ. "Will be detected.
[0073]
By the way, if the specified number of pixel value elements are not excluded from both ends of the average pixel value list obtained by sorting in step 96, the average is simply calculated using all 15 elements in step 97. This is the same as in Embodiment 7, but the average value in that case is -1.0. Therefore, assuming that δ = 0.5 in step 98, the value −1.0 calculated in step 97 has a negative sign, and the absolute value of the average value is larger than the value of δ. Will be detected. This is because the element includes a singular value of −26.0.
[0074]
Therefore, according to the eighth embodiment, two adjacent frames are extracted from the input video, a difference image is generated from the two extracted adjacent frames, the generated difference image is divided into regions, and each divided region is divided. Calculates the average pixel value, sorts the average pixel values and sorts them in descending or ascending order, removes the specified number of elements from both ends of the sorted list, calculates the average value of the remaining elements, and calculates the threshold. When the absolute value of the average value is greater than the absolute value of the threshold, it is determined that the average pixel value is “1” if the sign is positive, and “0” if the sign is negative. If the absolute value of is less than the absolute value of the threshold value, it is possible to detect a multi-bit signature by determining “no information embedding”. Insensitive shape In it is possible to detect a sign of a plurality of bits. Further, for example, even when a singular value is generated in the average pixel value of the difference image generated in the middle due to the influence of a scene change or the like, in this embodiment, the average pixel value is sorted and rearranged in descending or ascending order. Since the specified number of elements are removed from both ends of the list and the average value of the remaining elements is calculated to exclude the influence of singular values, the signature is erroneously detected in the seventh embodiment. Even in this case, the present embodiment can correctly detect a multi-bit signature.
[0075]
In the above description, the case where two adjacent frames (adjacent frames) are used as the frame to which the pixel value is changed has been described. However, the target may be neighboring frames where the difference value is not so large between each other. The same effect can be obtained.
[0076]
Also, by creating a program for executing the method as described above and executing it on a computer, digital watermark information such as a signature can be embedded in video information and detected.
[0077]
As a result, for example, it is possible to embed / detect digital watermarks with sufficient tolerance even when copying video recorded on an analog VTR, etc., and it is possible to reliably protect copyrights related to video and movie copying. It becomes.
[0078]
【The invention's effect】
As described above, according to the present invention, the neighboring frame is extracted from the video signal, and the digital watermark information is embedded by changing the pixel value of the corresponding region of the extracted neighboring frame. Even if a pixel shift occurs due to processing or the like, it is possible to embed digital watermark information in a form that is not easily affected by detection.
[0079]
Further, according to the present invention, a neighboring frame is extracted from a video signal, a difference image of the extracted neighboring frame is generated, an average pixel value of the difference image is calculated, and embedded based on the average pixel value. Since the digital watermark information is detected, the embedded digital watermark information can be detected even if a pixel shift occurs due to analog processing or the like.
[Brief description of the drawings]
FIG. 1 is a flowchart showing a digital watermark embedding method according to Embodiment 1 of the present invention;
FIG. 2 is a flowchart showing a digital watermark embedding method according to a second embodiment of the present invention;
FIG. 3 is a flowchart showing a digital watermark detection method according to Embodiment 3 of the present invention;
FIG. 4 is a flowchart showing a digital watermark detection method according to Embodiment 4 of the present invention;
FIG. 5 is an explanatory diagram showing a change probability distribution of a difference image pixel average value between adjacent frames.
FIG. 6 is a flowchart showing a digital watermark detection method according to Embodiment 5 of the present invention;
FIG. 7 is a flowchart showing a digital watermark detection method according to Embodiment 6 of the present invention;
FIG. 8 is a flowchart showing a digital watermark detection method according to Embodiment 7 of the present invention;
FIG. 9 is a flowchart showing a digital watermark detection method according to the eighth embodiment of the present invention.
[Explanation of symbols]
10 Video input step
11 Adjacent frame extraction step
12 Signature embedding step
13 Video output step
30 Video input step
31 Adjacent frame extraction step
32 Difference image generation step
33 calculating the average pixel value of the difference image
34 Signature detection step

Claims

A neighboring frame extracting step of extracting two neighboring neighboring frames from the video signal;
Two neighboring frames extracted in the vicinity of the frame extraction step, giving the same signature information during predetermined embedding period, depending on the given signature information, in the previous frame of said two neighboring frames Add a value of a predetermined size to the values of all pixels and subtract the value of the predetermined size to the values of all pixels in the subsequent frame, or all in the previous frame of the two neighboring frames of subtracting the values of said predetermined size of pixels, as electronic watermark information the signature information by changing or adding the values of all pixels values to said predetermined size of the rear frame An embedding step to embed,
An electronic watermark embedding method comprising: an output step of outputting a video signal in which the electronic watermark information is embedded in the embedding step.

A neighboring frame extracting step of extracting two neighboring neighboring frames from the video signal;
A difference image generation step for generating a difference image between the two neighboring frames extracted in the neighboring frame extraction step;
A difference image average pixel value calculation step for calculating an average pixel value of the difference image generated in the difference image generation step;
An average value calculating step for calculating an average value of the average pixel values of the difference images obtained by averaging the average pixel values of the difference images calculated during the embedding period predetermined in the difference image average pixel value calculating step;
When the absolute value of the average value of the average pixel value of the difference image calculated in the average value calculation step is larger than a predetermined size value, it is associated with the sign of the average value of the average pixel value of the difference image. A digital watermark information detection step for detecting signature information as embedded digital watermark information;
An electronic watermark detection method comprising:

The average value calculating step calculates the average value of the average pixel values of the difference image, and calculates the average pixel value of the difference image calculated during the embedding period predetermined in the difference image average pixel value calculating step in the order of the size. Reordering, excluding the average pixel value of the specified number of difference images from both ends of the average pixel value of the sorted difference image, and calculating as an average value of the average pixel values of the remaining difference images The digital watermark detection method according to claim 2.