JP4258283B2 - Digital watermark embedding method and digital watermark detection method - Google Patents
Digital watermark embedding method and digital watermark detection method Download PDFInfo
- Publication number
- JP4258283B2 JP4258283B2 JP2003173015A JP2003173015A JP4258283B2 JP 4258283 B2 JP4258283 B2 JP 4258283B2 JP 2003173015 A JP2003173015 A JP 2003173015A JP 2003173015 A JP2003173015 A JP 2003173015A JP 4258283 B2 JP4258283 B2 JP 4258283B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- average
- difference image
- average pixel
- pixel value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【0001】
【発明の属する技術分野】
この発明は、例えば映像の著作権管理などを目的として、映像データに他の情報(署名等の透かし情報)を秘匿する電子透かし技術に関し、特に透かし情報の埋め込み方法および検出方法に関する。
【0002】
【従来の技術】
例えば、画像からランダムに2点を選び、その差の期待値が0となることを利用して署名を埋め込む方法がある。
【0003】
【特許文献1】
W. Bender et.al, "Techniques for data hiding," IBM systems journal, vol.35, no.3-4, pp.313-336, 1996.
【0004】
【発明が解決しようとする課題】
上記従来の技術では、画像のアナログ処理などにより画素ずれが生じ、署名の埋め込み時と検出時とで画素位置が異なると、原理的に署名を検出困難になる。
従来の電子透かし技術は、ほとんどの場合、切り取り、回転などの幾何学的変換や、非可逆符号化などの信号処理を用いるものであり、デジタル画像を想定したものであった。そのため、従来の技術ではアナログ処理によって画素ずれが生じた後も検出可能とするような対応が不十分である。
しかし、画像の複製はデジタル的なものだけではない。例えば、2002年のアナログVTRの出荷台数は470万台であり、DVDプレーヤーの出荷台数を上回っている。このような環境の中で、例えば著作権保護を確実に行うには、アナログ複製に対する十分な対策が必要である。
この発明は上記のような問題点を解決するためになされたもので、アナログ処理後に画素ずれが生じても透かし情報を検出できる電子透かし技術を提供することを目的とする。
【0005】
【課題を解決するための手段】
この発明に関わる電子透かし埋め込み方法は、映像信号から隣接する2つの近傍フレームを抽出する近傍フレーム抽出ステップと、この近傍フレーム抽出ステップで抽出された2つの近傍フレームに、予め決められた埋め込み期間中には同一の署名情報を与え、与えられた署名情報に応じて、前記2つの近傍フレームの前フレーム内のすべての画素の値に所定の大きさの値を加算し、後フレーム内のすべての画素の値に前記所定の大きさの値を減算するか、または前記2つの近傍フレームの前フレーム内のすべての画素の値に前記所定の大きさの値を減算し、後フレーム内のすべての画素の値に前記所定の大きさの値を加算するかを変更することにより前記署名情報を電子透かし情報として埋め込む埋め込みステップと、この埋め込みステップで上記電子透かし情報が埋め込まれた映像信号を出力する出力ステップとを備えたものである。
【0006】
また、この発明に係わる電子透かし検出方法は、映像信号から隣接する2つの近傍フレームを抽出する近傍フレーム抽出ステップと、この近傍フレーム抽出ステップで抽出された2つの近傍フレームの差分画像を生成する差分画像生成ステップと、この差分画像生成ステップで生成された差分画像の平均画素値を計算する差分画像平均画素値計算ステップと、この差分画像平均画素値計算ステップで予め決められた埋め込み期間中に計算された差分画像の平均画素値を平均した差分画像の平均画素値の平均値を計算する平均値計算ステップと、この平均値計算ステップで計算された差分画像の平均画素値の平均値の絶対値が所定の大きさの値より大きい場合、該差分画像の平均画素値の平均値の正負符号に対応付けられた署名情報を埋め込まれた電子透かし情報として検出する電子透かし情報検出ステップとを備えたものである。
【0007】
【発明の実施の形態】
実施の形態1.
図1はこの発明の実施の形態1である電子透かしの埋め込み方法を示すフローチャートである。
図において、10は映像を入力するステップ、11は入力された映像から近傍するフレームとして、隣接する2つのフレームを抽出するステップ、12はステップ11で抽出した2つのフレームの画素値を変更することによりすかし情報としての署名を埋め込むステップ、13は署名を埋め込んだ映像を出力するステップである。
【0008】
次に動作について説明する。
ステップ11では、ステップ10で入力された映像から隣接する2つのフレームを繰り返し順番に抽出する。このとき、あらかじめ抽出するフレームの順番を固定する。すなわち、最初に奇数フレームを抽出してから次の偶数フレームを抽出する、あるいは最初に偶数フレームを抽出してから次の奇数フレームを抽出する、などである。こうすることにより、ステップ11において同じフレームが2回以上抽出されないようにする。
【0009】
ステップ12では、ステップ11で抽出した2つの隣接フレームのそれぞれ対応する領域の画素値を均一に変更することにより署名を埋め込む。すなわち、隣接する2つのフレームを前フレームと後フレームと呼ぶとき、前フレームのすべての画素値に−δを加算し、後フレームのすべての画素にδを加算する。
ここで、画素値とは、例えば各画素の輝度信号の値のことである。画素値としては、輝度信号以外でも、例えば、Cb・Cr(色差信号)、あるいは、RGB方式における赤成分(R)・緑成分(G)・青成分(B)の各信号などでもよいし、明度・色相・彩度に分ける方式(HSV方式)などの各信号値でもよい。
【0010】
図5は、ステップ12において2つの隣接フレーム画素値を変更する前後における、隣接フレーム間差分画像画素平均値の変化確率分布を示す説明図である。2つの隣接フレーム画素値を変更する前では、隣接フレーム間差分画像の画素平均値の確率分布は点線で示された分布50の位置にある。
前フレームのすべての画素値に−δを加算し、後フレームのすべての画素にδを加算すると、隣接フレーム間差分画像の画素平均値の確率分布は実線で示された分布51あるいは52の位置に移動する。分布51に移動するか、分布52に移動するかは、δ(符号)の値に依存する。例えば、前記差分値の計算を、(後フレームの画素値−前フレームの画素値)で行うこととし、仮にδの値を+1としたときには、隣接フレーム間差分画像の画素平均値の確率分布は分布51の位置に移動する。δの値を−1としたときには、隣接フレーム間差分画像の画素平均値の確率分布は分布52の位置に移動する。
【0011】
従って、埋め込みたい署名にδの値(符号)を対応させて隣接フレーム間差分画像の画素平均値の確率分布を移動することにより、2つの値で表される署名を埋め込むことができる。このとき、隣接フレーム双方に少しずつ(δずつ)変化を与えて差分2δを得るようにすることで、もとの映像の画質劣化を抑えている。
【0012】
また、ステップ12においてフレームの画素値を均一に変更するのではなく、フレーム間差分画像画素値の大きさに応じて重み付けして変更してもよい。ただしその場合でも、隣接フレーム間差分画像の画素平均値の確率分布は均一に変更した場合と同様、図5における実線で示された分布51あるいは52の位置に移動するように重み付けをおこなう。
これにより署名埋め込み後の画質劣化を抑えつつ、アナログ処理などによって画素ずれが生じても検出時にその影響を受けにくい形態で署名を埋め込むことができる。
【0013】
また、ステップ12においてフレームの画素値を均一に変更するのではなく、たとえば画像内に存在するオブジェクトを抽出して得た領域など、特定領域ごとに重み付けして変更してもよい。ただしその場合でも、隣接フレーム間差分画像の画素平均値の確率分布は均一に変更した場合と同様、図5における実線で示された分布51あるいは52の位置に移動するように重み付けをおこなう。
画質劣化が目立たないオブジェクトの重み付けを大きくすることなどにより、署名埋め込み後の画質劣化を抑えつつ、アナログ処理などによって画素ずれが生じても検出時にその影響を受けにくい形態で署名を埋め込むことができる。
【0014】
また、ステップ12において、フレームの画素値を均一に変更するのではなく、たとえば乱数などでフレーム間差分画像の特定の位置を指定し、当該位置の画素に対しては重み付けを大きくして画素値を変更し、それ以外の画素に対しては重み付けを小さくして画素値を変更してもよい。
これにより、埋め込み時に使用した乱数を知らない者は情報の埋め込み位置の特定が困難になるため、故意に埋め込み情報を消失させるあるいは改変することが困難になるという効果がある。
【0015】
以上のように、本実施の形態1によれば、入力された映像から隣接2フレームを抽出し、隣接フレームの画素値を変更してフレーム間差分画像画素平均値の変化確率分布を移動することにより署名を埋め込むようにしたので、アナログ処理などによって画素ずれが生じても検出時にその影響を受けにくい形態で署名を埋め込むことができる。
すなわち、画素の一つ一つの値ではなく、総体的な画素値の変更状態として電子透かし情報を埋め込むため、アナログ処理などによって画素ずれが生じても総体的な画素値の変更状態に対する影響は許容範囲内にとどまるため、電子透かし情報の検出が可能である。画素値の変更を小さく抑えることにより映像の劣化を抑えることができる。
【0016】
実施形態2.
以上の実施形態1では、映像から隣接フレームを抽出し、隣接フレームの画素値を変更してフレーム間差分画像画素平均値の変化確率分布を移動することにより署名を埋め込むようにしたものであるが、次に隣接フレームをそれぞれ同様に領域分割した上で、対応する隣接フレームの領域ごとに隣接フレームの画素値を変更して当該領域ごとのフレーム間差分画素平均値の変化確率分布を移動することにより署名を埋め込む実施形態を示す。
【0017】
図2はこの発明の実施の形態2である電子透かしの埋め込み方法を示すフローチャートである。
図において、20は映像を入力するステップ、21は入力された映像から隣接する2つのフレームを抽出するステップ、22はステップ21で抽出した2つのフレームを等しく領域分割するステップ、23はステップ22で分割した領域ごとにステップ21で抽出した2つのフレームの画素値を変更することにより署名を埋め込むステップ、24は署名を埋め込んだ映像を出力するステップである。
すなわち、署名埋め込みステップを、フレーム領域分割するステップ22と、分割した領域ごとに画素値を変更することにより署名を埋め込むステップ23とで構成したものである。
【0018】
次に動作について説明する。
ステップ21は実施の形態1におけるステップ11と同様に動作する。したがって、ステップ21では隣接する2つのフレームを繰り返し順番に抽出される。
【0019】
ステップ22では、ステップ11で抽出した2つの隣接フレームをそれぞれ等しく矩形に分割する。ここで、矩形の大きさや位置は2つの隣接フレーム間で等しく指定されればよく、そのため、矩形の大きさや位置をあらかじめ固定しておいてもよいし、隣接フレーム間差分画像の画素値に応じて動的に分割してもよいし、その他の規則にしたがって動的に変更してもよい。
【0020】
ステップ23では、ステップ22で分割したそれぞれの領域について、対応する隣接フレームの領域ごとに隣接フレームの画素値を均一に変更することにより署名を埋め込む。これにより、実施の形態1での説明と同様、当該領域内の隣接フレーム間差分画像の画素平均値の確率分布は、図5において、前フレームのすべての画素値に−δを加算し、後フレームのすべての画素にδを加算すると、隣接フレーム間差分画像の画素平均値の確率分布は点線で示された分布50の位置から実線で示された分布51あるいは52の位置に移動する。
【0021】
また、ステップ23においてフレームの画素値を均一に変更するのではなく、フレーム間差分画像画素値の大きさに応じて重み付けして変更してもよい。ただしその場合でも、当該領域内の隣接フレーム間差分画像の画素平均値の確率分布は均一に変更した場合と同様、図5における実線で示された分布51あるいは52の位置に移動するように重み付けをおこなう。
【0022】
また、ステップ23においてフレームの画素値を均一に変更するのではなく、たとえば画像内に存在するオブジェクトを抽出して得た領域など、特定領域ごとに重み付けして変更してもよい。ただしその場合でも、当該領域内の隣接フレーム間差分画像の画素平均値の確率分布は均一に変更した場合と同様、図5における実線で示された分布51あるいは52の位置に移動するように重み付けをおこなう。
【0023】
したがって、本実施の形態2によれば、入力された映像から隣接2フレームを抽出し、抽出した2つの隣接フレームをそれぞれ等しく分割し、分割したそれぞれの領域について、対応する隣接フレームの領域ごとに隣接フレームの画素値を変更することにより署名を埋め込むようにしたので、アナログ処理などによって画素ずれが生じても検出時にその影響を受けにくい形態で複数ビットの署名を埋め込むことができる。
【0024】
実施形態3.
以上の実施形態1および実施形態2では、署名の埋め込み方法を示したが、次に実施の形態1および実施の形態2で埋め込んだ署名の検出方法について示す。
【0025】
図3はこの発明の実施の形態3である電子透かしの検出方法を示すフローチャートである。
図において、30は映像を入力するステップ、31は入力された映像から隣接する2つのフレームを抽出するステップ、32はステップ31で抽出した2つのフレームから差分画像を生成するステップ、33はステップ32で生成した差分画像の平均画素値を計算するステップ、34はステップ33で計算した差分画像の平均画素値を使って埋め込まれた署名を検出するステップである。
【0026】
ステップ31では、ステップ30で入力された映像から隣接する2つのフレームを繰り返し順番に抽出する。このとき、あらかじめ抽出するフレームの順番を署名の埋め込み時に決めた順番と同様に固定する。すなわち、最初に奇数フレームを抽出してから次の偶数フレームを抽出する、あるいは最初に偶数フレームを抽出してから次の奇数フレームを抽出する。
【0027】
ステップ32では、ステップ31で抽出した2つの隣接フレームから差分画像を生成する。
【0028】
ステップ33では、ステップ32で生成した差分画像の平均画素値を計算する。
【0029】
ステップ34では、ステップ33で計算した平均値を使って埋め込まれた情報を検出する。ステップ31で抽出した隣接する2つのフレームを前フレームと後フレームと呼ぶことにすれば、署名が埋め込まれていない隣接2フレームの差分画像の平均値は、前フレームの平均値と後フレーム平均値との差分に等しい。一般的に映像における隣接フレームの相関は高いため、前フレームの平均値と後フレーム平均値との差分、すなわち、差分画像の平均値は値0付近で変動する。しかしながら、実施の形態1および実施の形態2での署名の埋め込みの説明において図5を使って説明したとおり、署名を埋め込むことにより差分画像の平均値は値2δ付近で変動するように操作されている。そのため、たとえばしきい値をδに設定し、当該平均値の絶対値がδの絶対値より大きいとき、ステップ33で計算した平均値の符号が正ならば“1”、負ならば“0”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定することにより、1ビットの署名の検出が可能である。
【0030】
すなわち、差分画像の平均値の絶対値が、しきい値δの絶対値より大きいときは情報(署名)の埋めこみ有りであり、しきい値δの絶対値より小さいときは情報(署名)の埋めこみ無しである。情報(署名)の埋めこみ有りの場合、平均値の符号が正ならば“1”、負ならば“0”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定することにより、1ビットの署名の検出が可能である。なお、平均値の符号がと“1”/“0”との関係を逆とすることも可能であり、埋め込み時に前後フレームの画素値への変更のしかたや、差分画像の計算のしかたに対応して設定すればよい。
【0031】
したがって、本実施の形態3によれば、入力された映像から隣接2フレームを抽出し、抽出した2つの隣接フレームから差分画像を生成し、生成した差分画像の平均画素値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“1”、負ならば“0”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、1ビットの署名の検出が可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で署名を検出することができる。
【0032】
実施の形態4.
以上の実施の形態3では、入力された映像から隣接2フレームを抽出し、抽出した2つの隣接フレームから差分画像を生成し、生成した差分画像の平均画素値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“1”、負ならば“0”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、1ビットの署名の検出を可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で署名を検出することができるようにしたものであるが、次に複数ビットの署名が埋め込まれている場合に署名を検出する実施形態を示す。
【0033】
図4はこの発明の実施の形態4である電子透かしの検出方法を示すフローチャートである。
図において、40は映像を入力するステップ、41は入力された映像から隣接する2つのフレームを抽出するステップ、42はステップ41で抽出した2つのフレームから差分画像を生成するステップ、43はステップ42で抽出した差分画像を領域分割するステップ、44はステップ43で分割した領域ごとに領域内の画素値の平均値を計算するステップ、45はステップ44で計算した平均値を使って埋め込まれた署名を領域ごとに検出するステップである。
【0034】
ステップ41とステップ42はそれぞれ、実施の形態3におけるステップ31とステップ32と同様に動作する。したがって、ステップ42の出力では、隣接2フレームの差分画像が得られる。
【0035】
ステップ43では、ステップ42で出力された差分画像を矩形に領域分割する。ここで、矩形の大きさや位置は埋め込み時に指定したものと同一とする。
【0036】
また、ステップ43において、矩形に領域分割するのではなく、あらかじめ決めてある任意の領域に分割することにしてもよい。この場合も、領域の大きさや位置など個々の領域を定めるパラメータは埋め込み時に指定したものと同一とする。
【0037】
また、ステップ43において、矩形に領域分割するのではなく、差分値の値に応じて動的に領域分割することにしてもよい。たとえば、差分値が−255から255の整数値をとるとき、−255から−128の範囲に属する画素を1つの領域、−127から−1の範囲に属する画素を1つの領域、0から127の範囲に属する画素を1つの領域、128から255の範囲に属する画素を1つの領域とした、4つの領域に分割するなどである。
【0038】
ステップ44では、ステップ43で分割したそれぞれの領域について、領域内の平均画素値を計算する。
【0039】
ステップ45では、ステップ44で計算した平均値を使って埋め込まれた情報を検出する。ステップ41で抽出した隣接する2つのフレームを前フレームと後フレームと呼ぶことにすれば、署名が埋め込まれていない隣接2フレームの差分画像におけるステップ43で分割したそれぞれの領域内の平均値は、前フレームの各当該領域内平均画素値と後フレーム各当該領域内平均値との差分に等しい。一般的に映像における隣接フレームの相関は高いため、前フレームにおける各当該領域内平均画素値と後フレーム各当該領域内平均画素値との差分、すなわち、各当該領域の差分画像の平均値は値0付近で変動する。しかしながら、実施の形態1および実施の形態2での署名の埋め込みの説明において図5を使って説明したとおり、署名を埋め込むことにより差分画像の平均値は値2δ付近で変動するように操作されている。そのため、たとえばしきい値をδに設定し、当該平均値の絶対値がδの絶対値より大きいとき、ステップ44で計算した平均値の符号が正ならば“1”、負ならば“0”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定することにより、複数ビットの署名の検出が可能である。
【0040】
したがって、本実施の形態4によれば、入力された映像から隣接2フレームを抽出し、抽出した2つの隣接フレームから差分画像を生成し、生成した差分画像を領域分割し、分割した各領域の平均画素値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“1”、負ならば“0”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、複数ビットの署名の検出が可能であるようにしたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で複数ビットの署名を検出することができる。
【0041】
実施の形態5.
上記実施の形態3では、入力された映像から隣接2フレームを抽出し、抽出した2つの隣接フレームから差分画像を生成し、生成した差分画像の平均画素値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“1”、負ならば“0”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、1ビットの署名を検出を可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で署名を検出することができるようにしたものであるが、次に当該平均画素値の平均値を検出に使うことによって、アナログ処理などによって画素ずれが生じてもその影響をさらに受けにくい形態で署名を検出する実施形態を示す。
【0042】
図6はこの発明の実施の形態5である電子透かしの検出方法を示すフローチャートである。
図において、60は映像を入力するステップ、61は入力された映像から隣接する2つのフレームを抽出するステップ、62はステップ61で抽出した2つのフレームから差分画像を生成するステップ、63はステップ62で生成した差分画像の平均画素値を計算するステップ、64はステップ63で計算した平均画素値の平均値を計算するステップ、65はステップ64で計算した平均値を使って埋め込まれた署名を検出するステップである。
【0043】
ステップ61からステップ63まではそれぞれ、実施の形態3におけるステップ31からステップ33と同様に動作する。したがって、ステップ63の出力では、隣接2フレームの差分画像の平均画素値が得られる。
【0044】
ステップ64では、ステップ63で得られた平均画素値を連続複数個使い、平均画素値の平均値を計算する。平均画素値の平均値を計算するために使う平均画素値の個数については、埋め込み時の埋め込み周期や画像の性質に応じて決定するが、ここでは説明のため、15個の連続する平均画素値を使って平均画素値の平均値を計算することとする。
【0045】
すなわち、ステップ64において、連続する平均画素値として、0.8、0.9、0.7、1.2、1.4、0.4、0.9、0.8、0.4、1.0、1.4、0.7、0.8、0.2、0.4の15個の値が得られたとする。このときの平均画素値の平均値は約0.8となる。つまり、ステップ64で得られた平均画素値の平均値は0.8である。
【0046】
ステップ65では、ステップ64で計算した平均値を使って埋め込まれた情報を検出する。ステップ65は実施の形態3におけるステップ34と同様に動作する。すなわち、しきい値をδに設定し、当該平均値の絶対値がδの絶対値より大きいとき、ステップ64で計算した平均値の符号が正ならば“1”、負ならば“0”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定する。ここで、説明のためδ=0.5と仮定すると、ステップ64で計算した値0.8は符号が正であり、当該平均値の絶対値がδの絶対値より大きいため、署名として“1”を検出することになる。
【0047】
したがって、本実施の形態5によれば、入力された映像から隣接2フレームを抽出し、抽出した2つの隣接フレームから差分画像を生成し、生成した差分画像の平均画素値を計算し、平均画素値の平均値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“1”、負ならば“0”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、1ビットの署名の検出が可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で署名を検出することができる。また、途中生成する差分画像の平均画素値にぶれが生じる場合にも、本実施の形態では平均画素値の平均値を計算することにより差分画像の平均画素値にぶれを吸収することができるので、実施の形態3では署名を誤検出してしまう場合にも、本実施の形態では正しく署名を検出することが可能になる。
【0048】
実施の形態6.
以上の実施の形態5では、途中生成する差分画像の平均画素値にぶれが生じる場合にも、平均画素値の平均値を計算することにより差分画像の平均画素値にぶれを吸収することができるので、実施の形態3では署名を誤検出してしまう場合にも、正しく署名を検出することが可能になるようにしたものであるが、次に当該平均画素値を降順あるいは昇順に並べ替えたのち、両端から指定数分の要素を取り除いた上で残った要素の平均値を計算し、その平均値を使って埋め込まれた署名を判定する実施形態を示す。
【0049】
図7はこの発明の実施の形態6である電子透かしの検出方法を示すフローチャートである。
図において、70は映像を入力するステップ、71は入力された映像から隣接する2つのフレームを抽出するステップ、72はステップ71で抽出した2つのフレームから差分画像を生成するステップ、73はステップ72で生成した差分画像の平均画素値を計算するステップ、74はステップ73で計算した平均画素値をソートして降順あるいは昇順に並び替えるステップ、75はステップ74で並び替えた要素リストの両端から指定数分の要素を取り除くステップ、76はステップ75の処理後に残った要素についてそれらの平均値を計算するステップ、77はステップ76で計算した平均値を使って埋め込まれた署名を検出するステップである。
【0050】
ステップ71からステップ73まではそれぞれ、実施の形態5におけるステップ61からステップ63と同様に動作する。したがって、ステップ73の出力では、隣接2フレームの差分画像の平均画素値が得られる。
【0051】
ステップ74では、ステップ73で得られた平均画素値を連続複数個使い、ソートして降順あるいは昇順に並べ替える。ソートするために使用する平均画素値の個数については、埋め込み時の埋め込み周期や画像の性質に応じて決定するが、ここでは説明のため、実施の形態5と同様に15個の連続する平均画素値を使うこととする。
【0052】
すなわち、ステップ74において、連続する平均画素値として、0.8、0.9、0.7、1.2、1.4、0.4、0.9、0.8、0.4、−26.0、1.4、0.7、0.8、0.2、0.4の15個の値が得られたとする。このとき、これらの平均画素値をソートして降順に並び替えると、1.4、1.4、1.2、0.9、0.9、0.8、0.8、0.8、0.7、0.7、0.4、0.4、0.4、0.2、−26.0となる。
【0053】
ステップ75では、ステップ74でソートして得られた平均画素値リストの両端から、指定数分の画素値要素を除外する。ここでは、降順に並べられたリスト中の15個の要素のうち、値の大きいほうから3つの要素、値の小さいほうから4つの要素を除外すると仮定して説明する。すなわち、降順に並べられたリストは、1.4、1.4、1.2、0.9、0.9、0.8、0.8、0.8、0.7、0.7、0.4、0.4、0.4、0.2、−26.0であるから、値の大きいほうから3つの要素、値の小さいほうから4つの要素を除外すると、0.9、0.9、0.8、0.8、0.8、0.7、0.7、0.4の8つの要素が残ることになる。
【0054】
ステップ76では、ステップ75における残りの要素について、それらの平均値を計算する。すなわち、残りの要素は0.9、0.9、0.8、0.8、0.8、0.7、0.7、0.4の8つの要素であるから、これらの要素から平均値を計算すると、0.75となる。
【0055】
ステップ77では、ステップ76で計算した平均値を使って埋め込まれた情報を検出する。ステップ77は、実施の形態5におけるステップ65と同様に動作する。すなわち、しきい値をδに設定し、当該平均値の絶対値がδの絶対値より大きいとき、ステップ76で計算した平均値の符号が正ならば“1”、負ならば“0”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定する。ここで、説明のためδ=0.5と仮定すると、ステップ76で計算した値0.75は符号が正であり、当該平均値の絶対値がδの絶対値より大きいため、署名として“1”を検出することになる。
【0056】
ところで、ステップ75においてソートして得られた平均画素値リストの両端から、指定数分の画素値要素を除外しない場合は、ステップ76で単純にすべての15要素を使って平均を計算することになり、これは実施の形態5と同様になるが、その場合の平均値は−1.0となる。そのため、ステップ77においてδ=0.5と仮定すると、ステップ76で計算した値−1.0は符号が負であり、当該平均値の絶対値がδの値より大きいため、署名として“0”を検出することになってしまう。これは要素の中に−26.0という特異値が含まれるためである。
【0057】
したがって、本実施の形態6によれば、入力された映像から隣接2フレームを抽出し、抽出した2つの隣接フレームから差分画像を生成し、生成した差分画像の平均画素値を計算し、平均画素値をソートして降順あるいは昇順に並び替え、並び替えたリストの両端から指定数分の要素を取り除き、残った要素についてそれらの平均値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“1”、負ならば“0”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、1ビットの署名の検出が可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で署名を検出することができる。また、たとえばシーンチェンジなどの影響で途中生成する差分画像の平均画素値に特異値が生じた場合にも、本実施の形態では平均画素値をソートして降順あるいは昇順に並び替え、並び替えたリストの両端から指定数分の要素を取り除き、残った要素についてそれらの平均値を計算することにより特異値の影響を除外するようにしているので、実施の形態5では署名を誤検出してしまう場合にも、本実施の形態では正しく署名を検出することが可能になる。
【0058】
実施の形態7.
以上の実施の形態4では、入力された映像から隣接2フレームを抽出し、抽出した2つの隣接フレームから差分画像を生成し、生成した差分画像を領域分割し、分割した各領域の平均画素値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“1”、負ならば“0”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、複数ビットの署名の検出が可能であるようにしたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で署名を検出することができるようにしたものであるが、次に当該平均画素値の平均値を検出に使うことによって、アナログ処理などによって画素ずれが生じてもその影響をさらに受けにくい形態で複数ビットの署名を検出する実施形態を示す。
【0059】
図8はこの発明の実施の形態7である電子透かしの検出方法を示すフローチャートである。
図において、80は映像を入力するステップ、81は入力された映像から隣接する2つのフレームを抽出するステップ、82はステップ81で抽出した2つのフレームから差分画像を生成するステップ、83はステップ82で抽出した差分画像を領域分割するステップ、84はステップ83で分割した領域ごとに領域内の画素値の平均値を計算するステップ、85はステップ84で計算した領域ごとの平均画素値の平均値を計算するステップ、86はステップ85で計算した平均値を使って埋め込まれた署名を検出するステップである。
【0060】
ステップ81からステップ84まではそれぞれ、実施の形態4におけるステップ41からステップ44と同様に動作する。したがって、ステップ84の出力では、分割した領域それぞれについての平均画素値が得られる。
【0061】
ステップ85では、ステップ84で得られた領域ごとの平均画素値について時間方向の連続複数個を使い、平均画素値の平均値を計算する。平均画素値の平均値を計算するために使う平均画素値の個数については、埋め込み時の埋め込み周期や画像の性質に応じて決定するが、ここでは説明のため、15個の連続する平均画素値を使って平均画素値の平均値を計算することとする。
【0062】
すなわち、ステップ85において、ある1つの分割領域における連続する平均画素値として、0.8、0.9、0.7、1.2、1.4、0.4、0.9、0.8、0.4、1.0、1.4、0.7、0.8、0.2、0.4の15個の値が得られたとする。このときの平均画素値の平均値は約0.8となる。つまり、ステップ85で得られたある1つの分割領域における平均画素値の平均値は0.8である。
【0063】
ステップ86では、ステップ85で計算した平均値を使って埋め込まれた情報を検出する。ステップ86は実施の形態4におけるステップ45と同様に動作する。すなわち、しきい値をδに設定し、当該平均値の絶対値がδの絶対値より大きいとき、ステップ85で計算した平均値の符号が正ならば“1”、負ならば“0”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定する。ここで、説明のためδ=0.5と仮定すると、ステップ85で計算した値0.8は符号が正であり、当該平均値の絶対値がδの絶対値より大きいため、署名として“1”を検出することになる。
【0064】
したがって、本実施の形態7によれば、入力された映像から隣接2フレームを抽出し、抽出した2つの隣接フレームから差分画像を生成し、生成した差分画像を領域分割し、分割した各領域の平均画素値を計算し、平均画素値の平均値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“1”、負ならば“0”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、複数ビットの署名の検出を可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で複数ビットの署名を検出することができる。また、途中生成する各領域の平均画素値について時間方向にぶれが生じる場合にも、本実施の形態では平均画素値の平均値を計算することにより各領域の平均画素値にぶれを吸収することができるので、実施の形態4では署名を誤検出してしまう場合にも、本実施の形態では正しく署名を検出することが可能になる。
【0065】
実施の形態8.
以上の実施の形態7では、途中生成する各領域の平均画素値について時間方向にぶれが生じる場合にも、平均画素値の平均値を計算することにより各領域の平均画素値にぶれを吸収することができるので、実施の形態4では署名を誤検出してしまう場合にも、正しく署名を検出することが可能になるようにしたものであるが、次に当該平均画素値を降順あるいは昇順に並べ替えたのち、両端から指定数分の要素を取り除いた上で残った要素の平均値を計算し、その平均値を使って埋め込まれた署名を判定する実施形態を示す。
【0066】
図9はこの発明の実施の形態8である電子透かしの検出方法を示すフローチャートである。
図において、90は映像を入力するステップ、91は入力された映像から隣接する2つのフレームを抽出するステップ、92はステップ91で抽出した2つのフレームから差分画像を生成するステップ、93はステップ92で抽出した差分画像を領域分割するステップ、94はステップ93で分割した領域ごとに領域内の画素値の平均値を計算するステップ、95はステップ94で計算した領域ごとの平均画素値について時間方向の連続複数個をソートして降順あるいは昇順に並び替えるステップ、96はステップ95で並び替えた要素リストの両端から指定数分の要素を取り除くステップ、97はステップ96の処理後に残った要素についてそれらの平均値を計算するステップ、98はステップ97で計算した平均値を使って埋め込まれた署名を検出するステップである。
【0067】
ステップ91からステップ94まではそれぞれ、実施の形態7におけるステップ81からステップ84と同様に動作する。したがって、ステップ94の出力では、分割した領域それぞれについての平均画素値が得られる。
【0068】
ステップ95では、ステップ94で得られた領域ごとの平均画素値について時間方向の連続複数個をソートして降順あるいは昇順に並び替える。ソートするために使用する平均画素値の個数については、埋め込み時の埋め込み周期や画像の性質に応じて決定するが、ここでは説明のため、実施の形態5と同様に15個の連続する平均画素値を使うこととする。
【0069】
すなわち、ステップ94において、ある1つの分割領域における時間方向に連続する平均画素値として、0.8、0.9、0.7、1.2、1.4、0.4、0.9、0.8、0.4、−26.0、1.4、0.7、0.8、0.2、0.4の15個の値が得られたとする。このとき、これらの平均画素値をソートして降順に並び替えると、1.4、1.4、1.2、0.9、0.9、0.8、0.8、0.8、0.7、0.7、0.4、0.4、0.4、0.2、−26.0となる。
【0070】
ステップ96では、ステップ95でソートして得られた平均画素値リストの両端から、指定数分の画素値要素を除外する。ここでは、降順に並べられたリスト中の15個の要素のうち、値の大きいほうから3つの要素、値の小さいほうから4つの要素を除外すると仮定して説明する。すなわち、降順に並べられたリストは、1.4、1.4、1.2、0.9、0.9、0.8、0.8、0.8、0.7、0.7、0.4、0.4、0.4、0.2、−26.0であるから、値の大きいほうから3つの要素、値の小さいほうから4つの要素を除外すると、0.9、0.9、0.8、0.8、0.8、0.7、0.7、0.4の8つの要素が残ることになる。
【0071】
ステップ97では、ステップ96における残りの要素について、それらの平均値を計算する。すなわち、残りの要素は0.9、0.9、0.8、0.8、0.8、0.7、0.7、0.4の8つの要素であるから、これらの要素から平均値を計算すると、0.75となる。
【0072】
ステップ98では、ステップ97で計算した平均値を使って埋め込まれた情報を検出する。ステップ98は、実施の形態7におけるステップ86と同様に動作する。すなわち、しきい値をδに設定し、当該平均値の絶対値がδの絶対値より大きいとき、ステップ97で計算した平均値の符号が正ならば“1”、負ならば“0”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定する。ここで、説明のためδ=0.5と仮定すると、ステップ97で計算した値0.75は符号が正であり、当該平均値の絶対値がδの絶対値より大きいため、署名として“1”を検出することになる。
【0073】
ところで、ステップ96においてソートして得られた平均画素値リストの両端から、指定数分の画素値要素を除外しない場合は、ステップ97で単純にすべての15要素を使って平均を計算することになり、これは実施の形態7と同様になるが、その場合の平均値は−1.0となる。そのため、ステップ98においてδ=0.5と仮定すると、ステップ97で計算した値−1.0は符号が負であり、当該平均値の絶対値がδの値より大きいため、署名として“0”を検出することになってしまう。これは要素の中に−26.0という特異値が含まれるためである。
【0074】
したがって、本実施の形態8によれば、入力された映像から隣接2フレームを抽出し、抽出した2つの隣接フレームから差分画像を生成し、生成した差分画像を領域分割し、分割した各領域の平均画素値を計算し、平均画素値をソートして降順あるいは昇順に並び替え、並び替えたリストの両端から指定数分の要素を取り除き、残った要素についてそれらの平均値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“1”、負ならば“0”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、複数ビットの署名の検出が可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で複数ビットの署名を検出することができる。また、たとえばシーンチェンジなどの影響で途中生成する差分画像の平均画素値に特異値が生じた場合にも、本実施の形態では平均画素値をソートして降順あるいは昇順に並び替え、並び替えたリストの両端から指定数分の要素を取り除き、残った要素についてそれらの平均値を計算することにより特異値の影響を除外するようにしているので、実施の形態7では署名を誤検出してしまう場合にも、本実施の形態では正しく複数ビットの署名を検出することが可能になる。
【0075】
なお、以上の説明では、画素値の変更を加えるフレームとして隣接する2つのフレーム(隣接フレーム)を用いる場合を説明したが、対象としては、相互で差分値があまり大きくならない近傍のフレーム同志であれば同様の効果を奏するものである。
【0076】
また、以上説明したような方法を実行するためのプログラムをつくり計算機で実行することにより、署名などの電子透かし情報を映像情報に埋め込み、また検出することができる。
【0077】
これらにより、例えば、アナログVTRなどに記録された映像の複製などにおいても十分耐性のある電子透かし埋め込み/検出が可能であり、映像や映画の複製などに係わる著作権保護を確実に行うことが可能となる。
【0078】
【発明の効果】
以上のように、この発明によれば、映像信号から近傍フレームを抽出し、この抽出された近傍フレームのそれぞれ対応する領域の画素値を変更することにより電子透かし情報を埋め込むようにしたので、アナログ処理などによって画素ずれが生じても検出時にその影響を受けにくい形態で電子透かし情報を埋め込むことができる。
【0079】
また、この発明によれば、映像信号から近傍フレームを抽出し、この抽出された近傍フレームの差分画像を生成し、この差分画像の平均画素値を計算し、この平均画素値に基き、埋め込まれた電子透かし情報を検出するようにしたので、アナログ処理などによって画素ずれが生じても埋め込まれた電子透かし情報を検出することができる。
【図面の簡単な説明】
【図1】この発明の実施の形態1である電子透かしの埋め込み方法を示すフローチャート
【図2】この発明の実施の形態2である電子透かしの埋め込み方法を示すフローチャート
【図3】この発明の実施の形態3である電子透かしの検出方法を示すフローチャート
【図4】この発明の実施の形態4である電子透かしの検出方法を示すフローチャート
【図5】隣接フレーム間差分画像画素平均値の変化確率分布を示す説明図
【図6】この発明の実施の形態5である電子透かしの検出方法を示すフローチャート
【図7】この発明の実施の形態6である電子透かしの検出方法を示すフローチャート
【図8】この発明の実施の形態7である電子透かしの検出方法を示すフローチャート
【図9】この発明の実施の形態8である電子透かしの検出方法を示すフローチャート
【符号の説明】
10 映像入力ステップ
11 隣接フレーム抽出ステップ
12 署名埋め込みステップ
13 映像出力ステップ
30 映像入力ステップ
31 隣接フレーム抽出ステップ
32 差分画像の生成ステップ
33 差分画像の平均画素値を計算するステップ
34 署名の検出ステップ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a digital watermark technique for concealing other information (watermark information such as a signature) in video data for the purpose of, for example, video copyright management, and more particularly to a watermark information embedding method and detection method.
[0002]
[Prior art]
For example, there is a method of embedding a signature using the fact that two points are selected at random from an image and the expected value of the difference is zero.
[0003]
[Patent Document 1]
W. Bender et.al, "Techniques for data hiding," IBM systems journal, vol.35, no.3-4, pp.313-336, 1996.
[0004]
[Problems to be solved by the invention]
In the above-described conventional technique, pixel shift occurs due to analog processing of an image, and if the pixel position is different between when a signature is embedded and when it is detected, it is theoretically difficult to detect the signature.
In most cases, conventional digital watermarking techniques use geometric transformations such as cropping and rotation, and signal processing such as lossy encoding, and assume digital images. For this reason, the conventional technology is insufficient to make it possible to detect even after a pixel shift has occurred due to analog processing.
But copying images isn't just digital. For example, the number of analog VTRs shipped in 2002 was 4.7 million, exceeding the number of DVD players shipped. In such an environment, for example, in order to ensure copyright protection, sufficient measures against analog duplication are required.
The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a digital watermark technique that can detect watermark information even if a pixel shift occurs after analog processing.
[0005]
[Means for Solving the Problems]
The digital watermark embedding method according to the present invention is based on a video signal. Two adjacent The neighborhood frame extraction step for extracting the neighborhood frame, and the neighborhood frame extraction step extracted Two Neighborhood frame In addition, the same signature information is given during a predetermined embedding period, and a value of a predetermined size is added to the values of all pixels in the previous frame of the two neighboring frames according to the given signature information. Add and subtract the value of the predetermined size to the value of all pixels in the subsequent frame, or add the value of the predetermined size to the values of all pixels in the previous frame of the two neighboring frames Subtract and add the value of the predetermined size to the value of all pixels in the subsequent frame By changing The signature information Digital watermark information As The embedding step includes an embedding step and an output step for outputting the video signal in which the digital watermark information is embedded in the embedding step.
[0006]
In addition, a digital watermark detection method according to the present invention includes: A neighborhood frame extraction step for extracting two neighboring frames from the video signal, a difference image generation step for generating a difference image between the two neighborhood frames extracted in the neighborhood frame extraction step, and a difference image generation step A difference image average pixel value calculation step for calculating an average pixel value of the difference image, and a difference obtained by averaging the average pixel values of the difference image calculated during an embedding period predetermined in the difference image average pixel value calculation step An average value calculating step for calculating an average value of the average pixel values of the image, and when the absolute value of the average value of the average pixel values of the difference image calculated in the average value calculating step is larger than a predetermined size, Digital watermark information for detecting signature information associated with the sign of the average value of the average pixel value of the difference image as embedded digital watermark information A detection step It is equipped with.
[0007]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1 FIG.
FIG. 1 is a flowchart showing a digital watermark embedding method according to the first embodiment of the present invention.
In the figure, 10 is a step for inputting video, 11 is a step for extracting two adjacent frames as neighboring frames from the input video, and 12 is for changing the pixel values of the two frames extracted in
[0008]
Next, the operation will be described.
In
[0009]
In
Here, the pixel value is a value of a luminance signal of each pixel, for example. As the pixel value, in addition to the luminance signal, for example, Cb / Cr (color difference signal), or each signal of red component (R), green component (G), blue component (B) in the RGB system, etc. Each signal value such as a method for dividing lightness, hue, and saturation (HSV method) may be used.
[0010]
FIG. 5 is an explanatory diagram showing a change probability distribution of the difference image pixel average value between adjacent frames before and after changing two adjacent frame pixel values in
When -δ is added to all pixel values of the previous frame and δ is added to all pixels of the subsequent frame, the probability distribution of the pixel average value of the difference image between adjacent frames is the position of the
[0011]
Therefore, the signature represented by two values can be embedded by moving the probability distribution of the pixel average value of the difference image between adjacent frames by associating the value (sign) of δ with the signature to be embedded. At this time, the image quality deterioration of the original image is suppressed by giving a difference 2δ little by little (δ) to both adjacent frames.
[0012]
Further, instead of changing the pixel values of the frames uniformly in
As a result, it is possible to embed a signature in a form that is less susceptible to the influence of detection even if a pixel shift occurs due to analog processing or the like while suppressing image quality deterioration after the signature is embedded.
[0013]
Further, instead of uniformly changing the pixel value of the frame in
It is possible to embed a signature in a form that is less affected by detection even if a pixel shift occurs due to analog processing, etc. while suppressing deterioration in image quality after embedding the signature by increasing the weighting of an object that does not noticeably deteriorate image quality .
[0014]
Further, in
This makes it difficult for a person who does not know the random number used at the time of embedding to specify the embedding position of information, so that it is difficult to intentionally erase or modify the embedded information.
[0015]
As described above, according to the first embodiment, two adjacent frames are extracted from the input video, the pixel value of the adjacent frame is changed, and the change probability distribution of the inter-frame difference image pixel average value is moved. Therefore, even if a pixel shift occurs due to analog processing or the like, the signature can be embedded in a form that is not easily affected by detection.
In other words, since the digital watermark information is embedded not as individual pixel values but as the overall pixel value change state, even if a pixel shift occurs due to analog processing or the like, the influence on the overall pixel value change state is acceptable. Since it stays within the range, it is possible to detect digital watermark information. Deterioration of the image can be suppressed by suppressing the change of the pixel value to be small.
[0016]
In the first embodiment described above, the adjacent frame is extracted from the video, the pixel value of the adjacent frame is changed, and the signature is embedded by moving the change probability distribution of the inter-frame difference image pixel average value. Next, each adjacent frame is similarly divided into regions, and the pixel value of the adjacent frame is changed for each region of the corresponding adjacent frame to move the change probability distribution of the inter-frame difference pixel average value for each region. Shows an embodiment in which a signature is embedded.
[0017]
FIG. 2 is a flowchart showing a digital watermark embedding method according to the second embodiment of the present invention.
In the figure, 20 is a step of inputting video, 21 is a step of extracting two adjacent frames from the input video, 22 is a step of equally dividing the two frames extracted in
That is, the signature embedding step is composed of a
[0018]
Next, the operation will be described.
[0019]
In
[0020]
In
[0021]
Further, in
[0022]
Further, instead of uniformly changing the pixel value of the frame in
[0023]
Therefore, according to the second embodiment, two adjacent frames are extracted from the input video, the extracted two adjacent frames are each equally divided, and for each divided area, for each corresponding adjacent frame area Since the signature is embedded by changing the pixel value of the adjacent frame, it is possible to embed a multi-bit signature in such a form that even if a pixel shift occurs due to analog processing or the like, it is not easily affected by detection.
[0024]
Embodiment 3. FIG.
In the first embodiment and the second embodiment, the signature embedding method has been described. Next, the signature detection method embedded in the first embodiment and the second embodiment will be described.
[0025]
FIG. 3 is a flowchart showing a digital watermark detection method according to the third embodiment of the present invention.
In the figure, 30 is a step of inputting video, 31 is a step of extracting two adjacent frames from the input video, 32 is a step of generating a difference image from the two frames extracted in
[0026]
In
[0027]
In
[0028]
In
[0029]
In
[0030]
That is, when the absolute value of the average value of the difference image is larger than the absolute value of the threshold value δ, information (signature) is embedded, and when smaller than the absolute value of the threshold value δ, information (signature) is embedded. None. When information (signature) is embedded, it is determined as “1” if the sign of the average value is positive, “0” if the sign of the average value is negative, and “embedding information” if the absolute value of the average value is less than or equal to the absolute value of δ. By determining “None”, it is possible to detect a 1-bit signature. It is also possible to reverse the relationship between the sign of the average value and “1” / “0”, which corresponds to how to change the pixel values of the previous and subsequent frames at the time of embedding and how to calculate the difference image To set.
[0031]
Therefore, according to the third embodiment, two adjacent frames are extracted from the input video, a difference image is generated from the two adjacent frames extracted, an average pixel value of the generated difference image is calculated, and the threshold value is calculated. When the absolute value of the average value is greater than the absolute value of the threshold, it is determined that the average pixel value is “1” if the sign is positive, and “0” if the sign is negative. If the absolute value of is less than or equal to the absolute value of the threshold, it is possible to detect a 1-bit signature by determining “no information is embedded”. Signatures can be detected in a form that is difficult to receive.
[0032]
Embodiment 4 FIG.
In Embodiment 3 described above, two adjacent frames are extracted from the input video, a difference image is generated from the two adjacent frames extracted, an average pixel value of the generated difference image is calculated, and a threshold value is set. When the absolute value of the average value is larger than the absolute value of the threshold value, it is determined as “1” if the sign of the average pixel value is positive, and “0” if the sign of the average pixel value is negative. If it is less than the absolute value of the threshold value, it is possible to detect a 1-bit signature by determining “no information is embedded”. In this embodiment, the signature is detected when a multi-bit signature is embedded.
[0033]
FIG. 4 is a flowchart showing a digital watermark detection method according to Embodiment 4 of the present invention.
In the figure, 40 is a step of inputting video, 41 is a step of extracting two adjacent frames from the input video, 42 is a step of generating a difference image from the two frames extracted in
[0034]
[0035]
In
[0036]
Further, in
[0037]
In
[0038]
In
[0039]
In
[0040]
Therefore, according to the fourth embodiment, two adjacent frames are extracted from the input video, a difference image is generated from the two extracted adjacent frames, the generated difference image is divided into regions, and each divided region is divided. When the average pixel value is calculated, the threshold value is set, and the absolute value of the average value is greater than the absolute value of the threshold value, “1” if the sign of the average pixel value is positive, “0” if the sign is negative “If the absolute value of the average pixel value is equal to or less than the absolute value of the threshold value, it is determined that“ information is not embedded ”, so that a multi-bit signature can be detected. Even if a pixel shift occurs due to processing or the like, it is possible to detect a multi-bit signature in a form that is not easily affected.
[0041]
Embodiment 5 FIG.
In the third embodiment, two adjacent frames are extracted from the input video, a difference image is generated from the two extracted adjacent frames, an average pixel value of the generated difference image is calculated, and a threshold value is set. When the absolute value of the average pixel value is larger than the absolute value of the threshold value, it is determined as “1” if the sign of the average pixel value is positive, and “0” if the sign of the average pixel value is negative, and the absolute value of the average pixel value is Since it is possible to detect a 1-bit signature by determining “no information embedding” if it is less than the absolute value of the threshold, even if a pixel shift occurs due to analog processing, etc. The signature can be detected, but by using the average value of the average pixel value for detection next, the signature is further less affected even if a pixel shift occurs due to analog processing or the like. Inspect It shows an embodiment of.
[0042]
FIG. 6 is a flowchart showing a digital watermark detection method according to the fifth embodiment of the present invention.
In the figure, 60 is a step of inputting video, 61 is a step of extracting two adjacent frames from the input video, 62 is a step of generating a difference image from the two frames extracted in
[0043]
[0044]
In
[0045]
That is, in
[0046]
In
[0047]
Therefore, according to the fifth embodiment, two adjacent frames are extracted from the input video, a difference image is generated from the two adjacent frames extracted, an average pixel value of the generated difference image is calculated, and an average pixel An average value is calculated, a threshold value is set, and when the absolute value of the average value is larger than the absolute value of the threshold value, “1” is given if the sign of the average pixel value is positive, “ If the absolute value of the average pixel value is equal to or smaller than the absolute value of the threshold value, it is possible to detect a 1-bit signature by determining “no information embedding”. Therefore, even if a pixel shift occurs, the signature can be detected in a form that is hardly affected by the pixel shift. In addition, even when blurring occurs in the average pixel value of the difference image generated halfway, the blur can be absorbed in the average pixel value of the difference image by calculating the average value of the average pixel value in this embodiment. In the third embodiment, even when a signature is erroneously detected, the present embodiment can correctly detect the signature.
[0048]
Embodiment 6 FIG.
In Embodiment 5 described above, even when blurring occurs in the average pixel value of the difference image generated halfway, the blurring can be absorbed in the average pixel value of the difference image by calculating the average value of the average pixel value. Therefore, in the third embodiment, even when signatures are erroneously detected, signatures can be detected correctly. Next, the average pixel values are rearranged in descending or ascending order. After that, an embodiment is shown in which an average value of remaining elements is calculated after removing a specified number of elements from both ends, and the embedded signature is determined using the average value.
[0049]
FIG. 7 is a flowchart showing a digital watermark detection method according to the sixth embodiment of the present invention.
In the figure, 70 is a step of inputting video, 71 is a step of extracting two adjacent frames from the input video, 72 is a step of generating a difference image from the two frames extracted in
[0050]
[0051]
In
[0052]
That is, in
[0053]
In
[0054]
In
[0055]
In
[0056]
By the way, when not excluding a specified number of pixel value elements from both ends of the average pixel value list obtained by sorting in
[0057]
Therefore, according to the sixth embodiment, two adjacent frames are extracted from the input video, a difference image is generated from the two adjacent frames extracted, an average pixel value of the generated difference image is calculated, and the average pixel Sort the values to sort in descending or ascending order, remove the specified number of elements from both ends of the sorted list, calculate the average value of the remaining elements, set the threshold value, and set the average value When the absolute value is larger than the absolute value of the threshold value, it is determined as “1” if the sign of the average pixel value is positive, and “0” if the sign of the average pixel value is negative, and the absolute value of the average pixel value is the absolute value of the threshold value If it is less than the value, it is possible to detect a 1-bit signature by determining “no information embedding”. Therefore, even if a pixel shift occurs due to analog processing or the like, the signature is detected in a form that is not easily affected. Can Further, for example, even when a singular value is generated in the average pixel value of the difference image generated in the middle due to the influence of a scene change or the like, in this embodiment, the average pixel value is sorted and rearranged in descending or ascending order. Since the specified number of elements are removed from both ends of the list and the average value of the remaining elements is calculated so as to exclude the influence of singular values, the signature is erroneously detected in the fifth embodiment. Even in this case, the present embodiment can correctly detect the signature.
[0058]
Embodiment 7 FIG.
In the fourth embodiment described above, two adjacent frames are extracted from the input video, a difference image is generated from the two adjacent frames extracted, the generated difference image is divided into regions, and the average pixel value of each divided region When the absolute value of the average value is greater than the absolute value of the threshold value, it is determined as “1” if the sign of the average pixel value is positive, and “0” if it is negative. If the absolute value of the average pixel value is equal to or smaller than the absolute value of the threshold value, it is determined that “information is not embedded”, so that a multi-bit signature can be detected. The signature can be detected in a form that is not easily affected even if a pixel shift occurs. Next, by using the average value of the average pixel value for detection, the pixel shift is performed by analog processing or the like. Arises It illustrates an embodiment of detecting the signature of a plurality of bits at the influence still susceptible form a.
[0059]
FIG. 8 is a flowchart showing a digital watermark detection method according to the seventh embodiment of the present invention.
In the figure, 80 is a step of inputting a video, 81 is a step of extracting two adjacent frames from the input video, 82 is a step of generating a difference image from the two frames extracted in
[0060]
[0061]
In
[0062]
That is, in
[0063]
In
[0064]
Therefore, according to the seventh embodiment, two adjacent frames are extracted from the input video, a difference image is generated from the two extracted adjacent frames, the generated difference image is divided into regions, and each divided region is divided. Calculate the average pixel value, calculate the average value of the average pixel value, set the threshold value, and if the average value of the average value is greater than the absolute value of the threshold value, the sign of the average pixel value is positive "1" if negative, "0" if negative, and if the absolute value of the average pixel value is less than the absolute value of the threshold, "no information is embedded" Therefore, even if a pixel shift occurs due to analog processing or the like, a multi-bit signature can be detected in a form that is not easily affected. In addition, even when blurring occurs in the time direction with respect to the average pixel value of each region generated in the middle, in this embodiment, the blur is absorbed in the average pixel value of each region by calculating the average value of the average pixel value. Therefore, even if the signature is erroneously detected in the fourth embodiment, it is possible to correctly detect the signature in the present embodiment.
[0065]
In Embodiment 7 described above, even when the average pixel value of each region generated in the middle is blurred in the time direction, the average pixel value of each region is absorbed by calculating the average value of the average pixel value. Therefore, in the fourth embodiment, even when a signature is erroneously detected, the signature can be detected correctly. Next, the average pixel value is set in descending order or ascending order. An embodiment will be described in which, after rearrangement, an average value of remaining elements is calculated after removing a specified number of elements from both ends, and an embedded signature is determined using the average value.
[0066]
FIG. 9 is a flowchart showing a digital watermark detection method according to the eighth embodiment of the present invention.
In the figure, 90 is a step of inputting video, 91 is a step of extracting two adjacent frames from the input video, 92 is a step of generating a difference image from the two frames extracted in
[0067]
Steps 91 to 94 operate in the same manner as
[0068]
In
[0069]
That is, in
[0070]
In step 96, a specified number of pixel value elements are excluded from both ends of the average pixel value list obtained by sorting in
[0071]
In
[0072]
In
[0073]
By the way, if the specified number of pixel value elements are not excluded from both ends of the average pixel value list obtained by sorting in step 96, the average is simply calculated using all 15 elements in
[0074]
Therefore, according to the eighth embodiment, two adjacent frames are extracted from the input video, a difference image is generated from the two extracted adjacent frames, the generated difference image is divided into regions, and each divided region is divided. Calculates the average pixel value, sorts the average pixel values and sorts them in descending or ascending order, removes the specified number of elements from both ends of the sorted list, calculates the average value of the remaining elements, and calculates the threshold. When the absolute value of the average value is greater than the absolute value of the threshold, it is determined that the average pixel value is “1” if the sign is positive, and “0” if the sign is negative. If the absolute value of is less than the absolute value of the threshold value, it is possible to detect a multi-bit signature by determining “no information embedding”. Insensitive shape In it is possible to detect a sign of a plurality of bits. Further, for example, even when a singular value is generated in the average pixel value of the difference image generated in the middle due to the influence of a scene change or the like, in this embodiment, the average pixel value is sorted and rearranged in descending or ascending order. Since the specified number of elements are removed from both ends of the list and the average value of the remaining elements is calculated to exclude the influence of singular values, the signature is erroneously detected in the seventh embodiment. Even in this case, the present embodiment can correctly detect a multi-bit signature.
[0075]
In the above description, the case where two adjacent frames (adjacent frames) are used as the frame to which the pixel value is changed has been described. However, the target may be neighboring frames where the difference value is not so large between each other. The same effect can be obtained.
[0076]
Also, by creating a program for executing the method as described above and executing it on a computer, digital watermark information such as a signature can be embedded in video information and detected.
[0077]
As a result, for example, it is possible to embed / detect digital watermarks with sufficient tolerance even when copying video recorded on an analog VTR, etc., and it is possible to reliably protect copyrights related to video and movie copying. It becomes.
[0078]
【The invention's effect】
As described above, according to the present invention, the neighboring frame is extracted from the video signal, and the digital watermark information is embedded by changing the pixel value of the corresponding region of the extracted neighboring frame. Even if a pixel shift occurs due to processing or the like, it is possible to embed digital watermark information in a form that is not easily affected by detection.
[0079]
Further, according to the present invention, a neighboring frame is extracted from a video signal, a difference image of the extracted neighboring frame is generated, an average pixel value of the difference image is calculated, and embedded based on the average pixel value. Since the digital watermark information is detected, the embedded digital watermark information can be detected even if a pixel shift occurs due to analog processing or the like.
[Brief description of the drawings]
FIG. 1 is a flowchart showing a digital watermark embedding method according to Embodiment 1 of the present invention;
FIG. 2 is a flowchart showing a digital watermark embedding method according to a second embodiment of the present invention;
FIG. 3 is a flowchart showing a digital watermark detection method according to Embodiment 3 of the present invention;
FIG. 4 is a flowchart showing a digital watermark detection method according to Embodiment 4 of the present invention;
FIG. 5 is an explanatory diagram showing a change probability distribution of a difference image pixel average value between adjacent frames.
FIG. 6 is a flowchart showing a digital watermark detection method according to Embodiment 5 of the present invention;
FIG. 7 is a flowchart showing a digital watermark detection method according to Embodiment 6 of the present invention;
FIG. 8 is a flowchart showing a digital watermark detection method according to Embodiment 7 of the present invention;
FIG. 9 is a flowchart showing a digital watermark detection method according to the eighth embodiment of the present invention.
[Explanation of symbols]
10 Video input step
11 Adjacent frame extraction step
12 Signature embedding step
13 Video output step
30 Video input step
31 Adjacent frame extraction step
32 Difference image generation step
33 calculating the average pixel value of the difference image
34 Signature detection step
Claims (3)
この近傍フレーム抽出ステップで抽出された2つの近傍フレームに、予め決められた埋め込み期間中には同一の署名情報を与え、与えられた署名情報に応じて、前記2つの近傍フレームの前フレーム内のすべての画素の値に所定の大きさの値を加算し、後フレーム内のすべての画素の値に前記所定の大きさの値を減算するか、または前記2つの近傍フレームの前フレーム内のすべての画素の値に前記所定の大きさの値を減算し、後フレーム内のすべての画素の値に前記所定の大きさの値を加算するかを変更することにより前記署名情報を電子透かし情報として埋め込む埋め込みステップと、
この埋め込みステップで上記電子透かし情報が埋め込まれた映像信号を出力する出力ステップと
を備えた電子透かし埋め込み方法。A neighboring frame extracting step of extracting two neighboring neighboring frames from the video signal;
Two neighboring frames extracted in the vicinity of the frame extraction step, giving the same signature information during predetermined embedding period, depending on the given signature information, in the previous frame of said two neighboring frames Add a value of a predetermined size to the values of all pixels and subtract the value of the predetermined size to the values of all pixels in the subsequent frame, or all in the previous frame of the two neighboring frames of subtracting the values of said predetermined size of pixels, as electronic watermark information the signature information by changing or adding the values of all pixels values to said predetermined size of the rear frame An embedding step to embed,
An electronic watermark embedding method comprising: an output step of outputting a video signal in which the electronic watermark information is embedded in the embedding step.
この近傍フレーム抽出ステップで抽出された2つの近傍フレームの差分画像を生成する差分画像生成ステップと、A difference image generation step for generating a difference image between the two neighboring frames extracted in the neighboring frame extraction step;
この差分画像生成ステップで生成された差分画像の平均画素値を計算する差分画像平均画素値計算ステップと、A difference image average pixel value calculation step for calculating an average pixel value of the difference image generated in the difference image generation step;
この差分画像平均画素値計算ステップで予め決められた埋め込み期間中に計算された差分画像の平均画素値を平均した差分画像の平均画素値の平均値を計算する平均値計算ステップと、An average value calculating step for calculating an average value of the average pixel values of the difference images obtained by averaging the average pixel values of the difference images calculated during the embedding period predetermined in the difference image average pixel value calculating step;
この平均値計算ステップで計算された差分画像の平均画素値の平均値の絶対値が所定の大きさの値より大きい場合、該差分画像の平均画素値の平均値の正負符号に対応付けられた署名情報を埋め込まれた電子透かし情報として検出する電子透かし情報検出ステップとWhen the absolute value of the average value of the average pixel value of the difference image calculated in the average value calculation step is larger than a predetermined size value, it is associated with the sign of the average value of the average pixel value of the difference image. A digital watermark information detection step for detecting signature information as embedded digital watermark information;
を備えた電子透かし検出方法。An electronic watermark detection method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003173015A JP4258283B2 (en) | 2003-06-18 | 2003-06-18 | Digital watermark embedding method and digital watermark detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003173015A JP4258283B2 (en) | 2003-06-18 | 2003-06-18 | Digital watermark embedding method and digital watermark detection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005012405A JP2005012405A (en) | 2005-01-13 |
JP4258283B2 true JP4258283B2 (en) | 2009-04-30 |
Family
ID=34096960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003173015A Expired - Fee Related JP4258283B2 (en) | 2003-06-18 | 2003-06-18 | Digital watermark embedding method and digital watermark detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4258283B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110971910A (en) * | 2019-12-10 | 2020-04-07 | 郑州师范学院 | Embedding method and extracting method for HEVC video information hiding |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101053256B (en) | 2005-08-04 | 2010-09-01 | 日本电信电话株式会社 | Digital watermark padding method, digital watermark padding device |
EP1932359A1 (en) * | 2005-09-09 | 2008-06-18 | Thomson Licensing | Coefficient selection for video watermarking |
EP1932360A1 (en) * | 2005-09-09 | 2008-06-18 | Thomson Licensing | Video watermark detection |
KR100975048B1 (en) | 2006-03-07 | 2010-08-11 | 니폰 덴신 덴와 가부시끼가이샤 | Digital watermark embedding method, apparatus, and program, and digital watermark detection method, apparatus, and program |
-
2003
- 2003-06-18 JP JP2003173015A patent/JP4258283B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110971910A (en) * | 2019-12-10 | 2020-04-07 | 郑州师范学院 | Embedding method and extracting method for HEVC video information hiding |
Also Published As
Publication number | Publication date |
---|---|
JP2005012405A (en) | 2005-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6285774B1 (en) | System and methodology for tracing to a source of unauthorized copying of prerecorded proprietary material, such as movies | |
US6111990A (en) | Digital-watermark superposing apparatus and digital-watermarker detecting apparatus | |
KR100368352B1 (en) | Data hiding method and data extracting method | |
JP3902863B2 (en) | Data superimposing method and data reproducing method, information embedding method and information reading method | |
US10116909B2 (en) | Detecting a vertical cut in a video signal for the purpose of time alteration | |
US6795565B2 (en) | Method to detect watermark resistant to resizing and translation | |
Bidokhti et al. | Detection of regional copy/move forgery in MPEG videos using optical flow | |
JP2008153836A (en) | Imaging device, image processor, image processing method, program for image processing method, and recording medium with program for image processing method recorded thereon | |
JP3706766B2 (en) | Method for embedding and extracting digital watermark information | |
Niimi et al. | High capacity and secure digital steganography to palette-based images | |
JP4258283B2 (en) | Digital watermark embedding method and digital watermark detection method | |
JP2009521181A (en) | Blind detection for digital cinema | |
Hamdy et al. | Quantization table estimation in JPEG images | |
US6671401B1 (en) | Removing color moire patterns from digital images having known chromaticities | |
Chen et al. | Robust spatial LSB watermarking of color images against JPEG compression | |
JP2004048219A (en) | Inserting method of electronic watermark information | |
JP4787776B2 (en) | Image processing apparatus, image forming apparatus including the same, and image processing method | |
JP2003309725A (en) | Image processing method, image processing apparatus, and image forming apparatus provided therewith | |
US20090074230A1 (en) | Electronic watermark embedding device and detection device, detection method, detection program, and intergrated circuit device thereof | |
Luyen et al. | An efficient reversible data hiding based on improved pixel value ordering method | |
US6823074B1 (en) | Digital-watermark superposing apparatus and digital-watermarker detecting apparatus | |
JP4113801B2 (en) | Image data compression processing method and compression system | |
US20180048817A1 (en) | Systems and methods for reduced power consumption via multi-stage static region detection | |
JP2006303952A (en) | Image processing apparatus, image processing method and storage medium | |
Jung et al. | Detecting re-captured videos using shot-based photo response non-uniformity |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080603 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080801 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090113 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090126 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140220 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |