JP4258283B2 - Digital watermark embedding method and digital watermark detection method - Google Patents

Digital watermark embedding method and digital watermark detection method Download PDF

Info

Publication number
JP4258283B2
JP4258283B2 JP2003173015A JP2003173015A JP4258283B2 JP 4258283 B2 JP4258283 B2 JP 4258283B2 JP 2003173015 A JP2003173015 A JP 2003173015A JP 2003173015 A JP2003173015 A JP 2003173015A JP 4258283 B2 JP4258283 B2 JP 4258283B2
Authority
JP
Japan
Prior art keywords
value
average
difference image
average pixel
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003173015A
Other languages
Japanese (ja)
Other versions
JP2005012405A (en
Inventor
浩一 馬養
浩 伊藤
光義 鈴木
亮介 藤井
光太郎 浅井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2003173015A priority Critical patent/JP4258283B2/en
Publication of JP2005012405A publication Critical patent/JP2005012405A/en
Application granted granted Critical
Publication of JP4258283B2 publication Critical patent/JP4258283B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、例えば映像の著作権管理などを目的として、映像データに他の情報(署名等の透かし情報)を秘匿する電子透かし技術に関し、特に透かし情報の埋め込み方法および検出方法に関する。
【0002】
【従来の技術】
例えば、画像からランダムに2点を選び、その差の期待値が0となることを利用して署名を埋め込む方法がある。
【0003】
【特許文献1】
W. Bender et.al, "Techniques for data hiding," IBM systems journal, vol.35, no.3-4, pp.313-336, 1996.
【0004】
【発明が解決しようとする課題】
上記従来の技術では、画像のアナログ処理などにより画素ずれが生じ、署名の埋め込み時と検出時とで画素位置が異なると、原理的に署名を検出困難になる。
従来の電子透かし技術は、ほとんどの場合、切り取り、回転などの幾何学的変換や、非可逆符号化などの信号処理を用いるものであり、デジタル画像を想定したものであった。そのため、従来の技術ではアナログ処理によって画素ずれが生じた後も検出可能とするような対応が不十分である。
しかし、画像の複製はデジタル的なものだけではない。例えば、2002年のアナログVTRの出荷台数は470万台であり、DVDプレーヤーの出荷台数を上回っている。このような環境の中で、例えば著作権保護を確実に行うには、アナログ複製に対する十分な対策が必要である。
この発明は上記のような問題点を解決するためになされたもので、アナログ処理後に画素ずれが生じても透かし情報を検出できる電子透かし技術を提供することを目的とする。
【0005】
【課題を解決するための手段】
この発明に関わる電子透かし埋め込み方法は、映像信号から隣接する2つの近傍フレームを抽出する近傍フレーム抽出ステップと、この近傍フレーム抽出ステップで抽出された2つの近傍フレームに、予め決められた埋め込み期間中には同一の署名情報を与え、与えられた署名情報に応じて、前記2つの近傍フレームの前フレーム内のすべての画素の値に所定の大きさの値を加算し、後フレーム内のすべての画素の値に前記所定の大きさの値を減算するか、または前記2つの近傍フレームの前フレーム内のすべての画素の値に前記所定の大きさの値を減算し、後フレーム内のすべての画素の値に前記所定の大きさの値を加算するかを変更することにより前記署名情報を電子透かし情報として埋め込む埋め込みステップと、この埋め込みステップで上記電子透かし情報が埋め込まれた映像信号を出力する出力ステップとを備えたものである。
【0006】
また、この発明に係わる電子透かし検出方法は、映像信号から隣接する2つの近傍フレームを抽出する近傍フレーム抽出ステップと、この近傍フレーム抽出ステップで抽出された2つの近傍フレームの差分画像を生成する差分画像生成ステップと、この差分画像生成ステップで生成された差分画像の平均画素値を計算する差分画像平均画素値計算ステップと、この差分画像平均画素値計算ステップで予め決められた埋め込み期間中に計算された差分画像の平均画素値を平均した差分画像の平均画素値の平均値を計算する平均値計算ステップと、この平均値計算ステップで計算された差分画像の平均画素値の平均値の絶対値が所定の大きさの値より大きい場合、該差分画像の平均画素値の平均値の正負符号に対応付けられた署名情報を埋め込まれた電子透かし情報として検出する電子透かし情報検出ステップとを備えたものである。
【0007】
【発明の実施の形態】
実施の形態1.
図1はこの発明の実施の形態1である電子透かしの埋め込み方法を示すフローチャートである。
図において、10は映像を入力するステップ、11は入力された映像から近傍するフレームとして、隣接する2つのフレームを抽出するステップ、12はステップ11で抽出した2つのフレームの画素値を変更することによりすかし情報としての署名を埋め込むステップ、13は署名を埋め込んだ映像を出力するステップである。
【0008】
次に動作について説明する。
ステップ11では、ステップ10で入力された映像から隣接する2つのフレームを繰り返し順番に抽出する。このとき、あらかじめ抽出するフレームの順番を固定する。すなわち、最初に奇数フレームを抽出してから次の偶数フレームを抽出する、あるいは最初に偶数フレームを抽出してから次の奇数フレームを抽出する、などである。こうすることにより、ステップ11において同じフレームが2回以上抽出されないようにする。
【0009】
ステップ12では、ステップ11で抽出した2つの隣接フレームのそれぞれ対応する領域の画素値を均一に変更することにより署名を埋め込む。すなわち、隣接する2つのフレームを前フレームと後フレームと呼ぶとき、前フレームのすべての画素値に−δを加算し、後フレームのすべての画素にδを加算する。
ここで、画素値とは、例えば各画素の輝度信号の値のことである。画素値としては、輝度信号以外でも、例えば、Cb・Cr(色差信号)、あるいは、RGB方式における赤成分(R)・緑成分(G)・青成分(B)の各信号などでもよいし、明度・色相・彩度に分ける方式(HSV方式)などの各信号値でもよい。
【0010】
図5は、ステップ12において2つの隣接フレーム画素値を変更する前後における、隣接フレーム間差分画像画素平均値の変化確率分布を示す説明図である。2つの隣接フレーム画素値を変更する前では、隣接フレーム間差分画像の画素平均値の確率分布は点線で示された分布50の位置にある。
前フレームのすべての画素値に−δを加算し、後フレームのすべての画素にδを加算すると、隣接フレーム間差分画像の画素平均値の確率分布は実線で示された分布51あるいは52の位置に移動する。分布51に移動するか、分布52に移動するかは、δ(符号)の値に依存する。例えば、前記差分値の計算を、(後フレームの画素値−前フレームの画素値)で行うこととし、仮にδの値を+1としたときには、隣接フレーム間差分画像の画素平均値の確率分布は分布51の位置に移動する。δの値を−1としたときには、隣接フレーム間差分画像の画素平均値の確率分布は分布52の位置に移動する。
【0011】
従って、埋め込みたい署名にδの値(符号)を対応させて隣接フレーム間差分画像の画素平均値の確率分布を移動することにより、2つの値で表される署名を埋め込むことができる。このとき、隣接フレーム双方に少しずつ(δずつ)変化を与えて差分2δを得るようにすることで、もとの映像の画質劣化を抑えている。
【0012】
また、ステップ12においてフレームの画素値を均一に変更するのではなく、フレーム間差分画像画素値の大きさに応じて重み付けして変更してもよい。ただしその場合でも、隣接フレーム間差分画像の画素平均値の確率分布は均一に変更した場合と同様、図5における実線で示された分布51あるいは52の位置に移動するように重み付けをおこなう。
これにより署名埋め込み後の画質劣化を抑えつつ、アナログ処理などによって画素ずれが生じても検出時にその影響を受けにくい形態で署名を埋め込むことができる。
【0013】
また、ステップ12においてフレームの画素値を均一に変更するのではなく、たとえば画像内に存在するオブジェクトを抽出して得た領域など、特定領域ごとに重み付けして変更してもよい。ただしその場合でも、隣接フレーム間差分画像の画素平均値の確率分布は均一に変更した場合と同様、図5における実線で示された分布51あるいは52の位置に移動するように重み付けをおこなう。
画質劣化が目立たないオブジェクトの重み付けを大きくすることなどにより、署名埋め込み後の画質劣化を抑えつつ、アナログ処理などによって画素ずれが生じても検出時にその影響を受けにくい形態で署名を埋め込むことができる。
【0014】
また、ステップ12において、フレームの画素値を均一に変更するのではなく、たとえば乱数などでフレーム間差分画像の特定の位置を指定し、当該位置の画素に対しては重み付けを大きくして画素値を変更し、それ以外の画素に対しては重み付けを小さくして画素値を変更してもよい。
これにより、埋め込み時に使用した乱数を知らない者は情報の埋め込み位置の特定が困難になるため、故意に埋め込み情報を消失させるあるいは改変することが困難になるという効果がある。
【0015】
以上のように、本実施の形態1によれば、入力された映像から隣接2フレームを抽出し、隣接フレームの画素値を変更してフレーム間差分画像画素平均値の変化確率分布を移動することにより署名を埋め込むようにしたので、アナログ処理などによって画素ずれが生じても検出時にその影響を受けにくい形態で署名を埋め込むことができる。
すなわち、画素の一つ一つの値ではなく、総体的な画素値の変更状態として電子透かし情報を埋め込むため、アナログ処理などによって画素ずれが生じても総体的な画素値の変更状態に対する影響は許容範囲内にとどまるため、電子透かし情報の検出が可能である。画素値の変更を小さく抑えることにより映像の劣化を抑えることができる。
【0016】
実施形態2.
以上の実施形態1では、映像から隣接フレームを抽出し、隣接フレームの画素値を変更してフレーム間差分画像画素平均値の変化確率分布を移動することにより署名を埋め込むようにしたものであるが、次に隣接フレームをそれぞれ同様に領域分割した上で、対応する隣接フレームの領域ごとに隣接フレームの画素値を変更して当該領域ごとのフレーム間差分画素平均値の変化確率分布を移動することにより署名を埋め込む実施形態を示す。
【0017】
図2はこの発明の実施の形態2である電子透かしの埋め込み方法を示すフローチャートである。
図において、20は映像を入力するステップ、21は入力された映像から隣接する2つのフレームを抽出するステップ、22はステップ21で抽出した2つのフレームを等しく領域分割するステップ、23はステップ22で分割した領域ごとにステップ21で抽出した2つのフレームの画素値を変更することにより署名を埋め込むステップ、24は署名を埋め込んだ映像を出力するステップである。
すなわち、署名埋め込みステップを、フレーム領域分割するステップ22と、分割した領域ごとに画素値を変更することにより署名を埋め込むステップ23とで構成したものである。
【0018】
次に動作について説明する。
ステップ21は実施の形態1におけるステップ11と同様に動作する。したがって、ステップ21では隣接する2つのフレームを繰り返し順番に抽出される。
【0019】
ステップ22では、ステップ11で抽出した2つの隣接フレームをそれぞれ等しく矩形に分割する。ここで、矩形の大きさや位置は2つの隣接フレーム間で等しく指定されればよく、そのため、矩形の大きさや位置をあらかじめ固定しておいてもよいし、隣接フレーム間差分画像の画素値に応じて動的に分割してもよいし、その他の規則にしたがって動的に変更してもよい。
【0020】
ステップ23では、ステップ22で分割したそれぞれの領域について、対応する隣接フレームの領域ごとに隣接フレームの画素値を均一に変更することにより署名を埋め込む。これにより、実施の形態1での説明と同様、当該領域内の隣接フレーム間差分画像の画素平均値の確率分布は、図5において、前フレームのすべての画素値に−δを加算し、後フレームのすべての画素にδを加算すると、隣接フレーム間差分画像の画素平均値の確率分布は点線で示された分布50の位置から実線で示された分布51あるいは52の位置に移動する。
【0021】
また、ステップ23においてフレームの画素値を均一に変更するのではなく、フレーム間差分画像画素値の大きさに応じて重み付けして変更してもよい。ただしその場合でも、当該領域内の隣接フレーム間差分画像の画素平均値の確率分布は均一に変更した場合と同様、図5における実線で示された分布51あるいは52の位置に移動するように重み付けをおこなう。
【0022】
また、ステップ23においてフレームの画素値を均一に変更するのではなく、たとえば画像内に存在するオブジェクトを抽出して得た領域など、特定領域ごとに重み付けして変更してもよい。ただしその場合でも、当該領域内の隣接フレーム間差分画像の画素平均値の確率分布は均一に変更した場合と同様、図5における実線で示された分布51あるいは52の位置に移動するように重み付けをおこなう。
【0023】
したがって、本実施の形態2によれば、入力された映像から隣接2フレームを抽出し、抽出した2つの隣接フレームをそれぞれ等しく分割し、分割したそれぞれの領域について、対応する隣接フレームの領域ごとに隣接フレームの画素値を変更することにより署名を埋め込むようにしたので、アナログ処理などによって画素ずれが生じても検出時にその影響を受けにくい形態で複数ビットの署名を埋め込むことができる。
【0024】
実施形態3.
以上の実施形態1および実施形態2では、署名の埋め込み方法を示したが、次に実施の形態1および実施の形態2で埋め込んだ署名の検出方法について示す。
【0025】
図3はこの発明の実施の形態3である電子透かしの検出方法を示すフローチャートである。
図において、30は映像を入力するステップ、31は入力された映像から隣接する2つのフレームを抽出するステップ、32はステップ31で抽出した2つのフレームから差分画像を生成するステップ、33はステップ32で生成した差分画像の平均画素値を計算するステップ、34はステップ33で計算した差分画像の平均画素値を使って埋め込まれた署名を検出するステップである。
【0026】
ステップ31では、ステップ30で入力された映像から隣接する2つのフレームを繰り返し順番に抽出する。このとき、あらかじめ抽出するフレームの順番を署名の埋め込み時に決めた順番と同様に固定する。すなわち、最初に奇数フレームを抽出してから次の偶数フレームを抽出する、あるいは最初に偶数フレームを抽出してから次の奇数フレームを抽出する。
【0027】
ステップ32では、ステップ31で抽出した2つの隣接フレームから差分画像を生成する。
【0028】
ステップ33では、ステップ32で生成した差分画像の平均画素値を計算する。
【0029】
ステップ34では、ステップ33で計算した平均値を使って埋め込まれた情報を検出する。ステップ31で抽出した隣接する2つのフレームを前フレームと後フレームと呼ぶことにすれば、署名が埋め込まれていない隣接2フレームの差分画像の平均値は、前フレームの平均値と後フレーム平均値との差分に等しい。一般的に映像における隣接フレームの相関は高いため、前フレームの平均値と後フレーム平均値との差分、すなわち、差分画像の平均値は値0付近で変動する。しかしながら、実施の形態1および実施の形態2での署名の埋め込みの説明において図5を使って説明したとおり、署名を埋め込むことにより差分画像の平均値は値2δ付近で変動するように操作されている。そのため、たとえばしきい値をδに設定し、当該平均値の絶対値がδの絶対値より大きいとき、ステップ33で計算した平均値の符号が正ならば“1”、負ならば“0”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定することにより、1ビットの署名の検出が可能である。
【0030】
すなわち、差分画像の平均値の絶対値が、しきい値δの絶対値より大きいときは情報(署名)の埋めこみ有りであり、しきい値δの絶対値より小さいときは情報(署名)の埋めこみ無しである。情報(署名)の埋めこみ有りの場合、平均値の符号が正ならば“1”、負ならば“0”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定することにより、1ビットの署名の検出が可能である。なお、平均値の符号がと“1”/“0”との関係を逆とすることも可能であり、埋め込み時に前後フレームの画素値への変更のしかたや、差分画像の計算のしかたに対応して設定すればよい。
【0031】
したがって、本実施の形態3によれば、入力された映像から隣接2フレームを抽出し、抽出した2つの隣接フレームから差分画像を生成し、生成した差分画像の平均画素値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“1”、負ならば“0”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、1ビットの署名の検出が可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で署名を検出することができる。
【0032】
実施の形態4.
以上の実施の形態3では、入力された映像から隣接2フレームを抽出し、抽出した2つの隣接フレームから差分画像を生成し、生成した差分画像の平均画素値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“1”、負ならば“0”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、1ビットの署名の検出を可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で署名を検出することができるようにしたものであるが、次に複数ビットの署名が埋め込まれている場合に署名を検出する実施形態を示す。
【0033】
図4はこの発明の実施の形態4である電子透かしの検出方法を示すフローチャートである。
図において、40は映像を入力するステップ、41は入力された映像から隣接する2つのフレームを抽出するステップ、42はステップ41で抽出した2つのフレームから差分画像を生成するステップ、43はステップ42で抽出した差分画像を領域分割するステップ、44はステップ43で分割した領域ごとに領域内の画素値の平均値を計算するステップ、45はステップ44で計算した平均値を使って埋め込まれた署名を領域ごとに検出するステップである。
【0034】
ステップ41とステップ42はそれぞれ、実施の形態3におけるステップ31とステップ32と同様に動作する。したがって、ステップ42の出力では、隣接2フレームの差分画像が得られる。
【0035】
ステップ43では、ステップ42で出力された差分画像を矩形に領域分割する。ここで、矩形の大きさや位置は埋め込み時に指定したものと同一とする。
【0036】
また、ステップ43において、矩形に領域分割するのではなく、あらかじめ決めてある任意の領域に分割することにしてもよい。この場合も、領域の大きさや位置など個々の領域を定めるパラメータは埋め込み時に指定したものと同一とする。
【0037】
また、ステップ43において、矩形に領域分割するのではなく、差分値の値に応じて動的に領域分割することにしてもよい。たとえば、差分値が−255から255の整数値をとるとき、−255から−128の範囲に属する画素を1つの領域、−127から−1の範囲に属する画素を1つの領域、0から127の範囲に属する画素を1つの領域、128から255の範囲に属する画素を1つの領域とした、4つの領域に分割するなどである。
【0038】
ステップ44では、ステップ43で分割したそれぞれの領域について、領域内の平均画素値を計算する。
【0039】
ステップ45では、ステップ44で計算した平均値を使って埋め込まれた情報を検出する。ステップ41で抽出した隣接する2つのフレームを前フレームと後フレームと呼ぶことにすれば、署名が埋め込まれていない隣接2フレームの差分画像におけるステップ43で分割したそれぞれの領域内の平均値は、前フレームの各当該領域内平均画素値と後フレーム各当該領域内平均値との差分に等しい。一般的に映像における隣接フレームの相関は高いため、前フレームにおける各当該領域内平均画素値と後フレーム各当該領域内平均画素値との差分、すなわち、各当該領域の差分画像の平均値は値0付近で変動する。しかしながら、実施の形態1および実施の形態2での署名の埋め込みの説明において図5を使って説明したとおり、署名を埋め込むことにより差分画像の平均値は値2δ付近で変動するように操作されている。そのため、たとえばしきい値をδに設定し、当該平均値の絶対値がδの絶対値より大きいとき、ステップ44で計算した平均値の符号が正ならば“1”、負ならば“0”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定することにより、複数ビットの署名の検出が可能である。
【0040】
したがって、本実施の形態4によれば、入力された映像から隣接2フレームを抽出し、抽出した2つの隣接フレームから差分画像を生成し、生成した差分画像を領域分割し、分割した各領域の平均画素値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“1”、負ならば“0”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、複数ビットの署名の検出が可能であるようにしたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で複数ビットの署名を検出することができる。
【0041】
実施の形態5.
上記実施の形態3では、入力された映像から隣接2フレームを抽出し、抽出した2つの隣接フレームから差分画像を生成し、生成した差分画像の平均画素値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“1”、負ならば“0”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、1ビットの署名を検出を可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で署名を検出することができるようにしたものであるが、次に当該平均画素値の平均値を検出に使うことによって、アナログ処理などによって画素ずれが生じてもその影響をさらに受けにくい形態で署名を検出する実施形態を示す。
【0042】
図6はこの発明の実施の形態5である電子透かしの検出方法を示すフローチャートである。
図において、60は映像を入力するステップ、61は入力された映像から隣接する2つのフレームを抽出するステップ、62はステップ61で抽出した2つのフレームから差分画像を生成するステップ、63はステップ62で生成した差分画像の平均画素値を計算するステップ、64はステップ63で計算した平均画素値の平均値を計算するステップ、65はステップ64で計算した平均値を使って埋め込まれた署名を検出するステップである。
【0043】
ステップ61からステップ63まではそれぞれ、実施の形態3におけるステップ31からステップ33と同様に動作する。したがって、ステップ63の出力では、隣接2フレームの差分画像の平均画素値が得られる。
【0044】
ステップ64では、ステップ63で得られた平均画素値を連続複数個使い、平均画素値の平均値を計算する。平均画素値の平均値を計算するために使う平均画素値の個数については、埋め込み時の埋め込み周期や画像の性質に応じて決定するが、ここでは説明のため、15個の連続する平均画素値を使って平均画素値の平均値を計算することとする。
【0045】
すなわち、ステップ64において、連続する平均画素値として、0.8、0.9、0.7、1.2、1.4、0.4、0.9、0.8、0.4、1.0、1.4、0.7、0.8、0.2、0.4の15個の値が得られたとする。このときの平均画素値の平均値は約0.8となる。つまり、ステップ64で得られた平均画素値の平均値は0.8である。
【0046】
ステップ65では、ステップ64で計算した平均値を使って埋め込まれた情報を検出する。ステップ65は実施の形態3におけるステップ34と同様に動作する。すなわち、しきい値をδに設定し、当該平均値の絶対値がδの絶対値より大きいとき、ステップ64で計算した平均値の符号が正ならば“1”、負ならば“0”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定する。ここで、説明のためδ=0.5と仮定すると、ステップ64で計算した値0.8は符号が正であり、当該平均値の絶対値がδの絶対値より大きいため、署名として“1”を検出することになる。
【0047】
したがって、本実施の形態5によれば、入力された映像から隣接2フレームを抽出し、抽出した2つの隣接フレームから差分画像を生成し、生成した差分画像の平均画素値を計算し、平均画素値の平均値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“1”、負ならば“0”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、1ビットの署名の検出が可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で署名を検出することができる。また、途中生成する差分画像の平均画素値にぶれが生じる場合にも、本実施の形態では平均画素値の平均値を計算することにより差分画像の平均画素値にぶれを吸収することができるので、実施の形態3では署名を誤検出してしまう場合にも、本実施の形態では正しく署名を検出することが可能になる。
【0048】
実施の形態6.
以上の実施の形態5では、途中生成する差分画像の平均画素値にぶれが生じる場合にも、平均画素値の平均値を計算することにより差分画像の平均画素値にぶれを吸収することができるので、実施の形態3では署名を誤検出してしまう場合にも、正しく署名を検出することが可能になるようにしたものであるが、次に当該平均画素値を降順あるいは昇順に並べ替えたのち、両端から指定数分の要素を取り除いた上で残った要素の平均値を計算し、その平均値を使って埋め込まれた署名を判定する実施形態を示す。
【0049】
図7はこの発明の実施の形態6である電子透かしの検出方法を示すフローチャートである。
図において、70は映像を入力するステップ、71は入力された映像から隣接する2つのフレームを抽出するステップ、72はステップ71で抽出した2つのフレームから差分画像を生成するステップ、73はステップ72で生成した差分画像の平均画素値を計算するステップ、74はステップ73で計算した平均画素値をソートして降順あるいは昇順に並び替えるステップ、75はステップ74で並び替えた要素リストの両端から指定数分の要素を取り除くステップ、76はステップ75の処理後に残った要素についてそれらの平均値を計算するステップ、77はステップ76で計算した平均値を使って埋め込まれた署名を検出するステップである。
【0050】
ステップ71からステップ73まではそれぞれ、実施の形態5におけるステップ61からステップ63と同様に動作する。したがって、ステップ73の出力では、隣接2フレームの差分画像の平均画素値が得られる。
【0051】
ステップ74では、ステップ73で得られた平均画素値を連続複数個使い、ソートして降順あるいは昇順に並べ替える。ソートするために使用する平均画素値の個数については、埋め込み時の埋め込み周期や画像の性質に応じて決定するが、ここでは説明のため、実施の形態5と同様に15個の連続する平均画素値を使うこととする。
【0052】
すなわち、ステップ74において、連続する平均画素値として、0.8、0.9、0.7、1.2、1.4、0.4、0.9、0.8、0.4、−26.0、1.4、0.7、0.8、0.2、0.4の15個の値が得られたとする。このとき、これらの平均画素値をソートして降順に並び替えると、1.4、1.4、1.2、0.9、0.9、0.8、0.8、0.8、0.7、0.7、0.4、0.4、0.4、0.2、−26.0となる。
【0053】
ステップ75では、ステップ74でソートして得られた平均画素値リストの両端から、指定数分の画素値要素を除外する。ここでは、降順に並べられたリスト中の15個の要素のうち、値の大きいほうから3つの要素、値の小さいほうから4つの要素を除外すると仮定して説明する。すなわち、降順に並べられたリストは、1.4、1.4、1.2、0.9、0.9、0.8、0.8、0.8、0.7、0.7、0.4、0.4、0.4、0.2、−26.0であるから、値の大きいほうから3つの要素、値の小さいほうから4つの要素を除外すると、0.9、0.9、0.8、0.8、0.8、0.7、0.7、0.4の8つの要素が残ることになる。
【0054】
ステップ76では、ステップ75における残りの要素について、それらの平均値を計算する。すなわち、残りの要素は0.9、0.9、0.8、0.8、0.8、0.7、0.7、0.4の8つの要素であるから、これらの要素から平均値を計算すると、0.75となる。
【0055】
ステップ77では、ステップ76で計算した平均値を使って埋め込まれた情報を検出する。ステップ77は、実施の形態5におけるステップ65と同様に動作する。すなわち、しきい値をδに設定し、当該平均値の絶対値がδの絶対値より大きいとき、ステップ76で計算した平均値の符号が正ならば“1”、負ならば“0”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定する。ここで、説明のためδ=0.5と仮定すると、ステップ76で計算した値0.75は符号が正であり、当該平均値の絶対値がδの絶対値より大きいため、署名として“1”を検出することになる。
【0056】
ところで、ステップ75においてソートして得られた平均画素値リストの両端から、指定数分の画素値要素を除外しない場合は、ステップ76で単純にすべての15要素を使って平均を計算することになり、これは実施の形態5と同様になるが、その場合の平均値は−1.0となる。そのため、ステップ77においてδ=0.5と仮定すると、ステップ76で計算した値−1.0は符号が負であり、当該平均値の絶対値がδの値より大きいため、署名として“0”を検出することになってしまう。これは要素の中に−26.0という特異値が含まれるためである。
【0057】
したがって、本実施の形態6によれば、入力された映像から隣接2フレームを抽出し、抽出した2つの隣接フレームから差分画像を生成し、生成した差分画像の平均画素値を計算し、平均画素値をソートして降順あるいは昇順に並び替え、並び替えたリストの両端から指定数分の要素を取り除き、残った要素についてそれらの平均値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“1”、負ならば“0”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、1ビットの署名の検出が可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で署名を検出することができる。また、たとえばシーンチェンジなどの影響で途中生成する差分画像の平均画素値に特異値が生じた場合にも、本実施の形態では平均画素値をソートして降順あるいは昇順に並び替え、並び替えたリストの両端から指定数分の要素を取り除き、残った要素についてそれらの平均値を計算することにより特異値の影響を除外するようにしているので、実施の形態5では署名を誤検出してしまう場合にも、本実施の形態では正しく署名を検出することが可能になる。
【0058】
実施の形態7.
以上の実施の形態4では、入力された映像から隣接2フレームを抽出し、抽出した2つの隣接フレームから差分画像を生成し、生成した差分画像を領域分割し、分割した各領域の平均画素値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“1”、負ならば“0”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、複数ビットの署名の検出が可能であるようにしたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で署名を検出することができるようにしたものであるが、次に当該平均画素値の平均値を検出に使うことによって、アナログ処理などによって画素ずれが生じてもその影響をさらに受けにくい形態で複数ビットの署名を検出する実施形態を示す。
【0059】
図8はこの発明の実施の形態7である電子透かしの検出方法を示すフローチャートである。
図において、80は映像を入力するステップ、81は入力された映像から隣接する2つのフレームを抽出するステップ、82はステップ81で抽出した2つのフレームから差分画像を生成するステップ、83はステップ82で抽出した差分画像を領域分割するステップ、84はステップ83で分割した領域ごとに領域内の画素値の平均値を計算するステップ、85はステップ84で計算した領域ごとの平均画素値の平均値を計算するステップ、86はステップ85で計算した平均値を使って埋め込まれた署名を検出するステップである。
【0060】
ステップ81からステップ84まではそれぞれ、実施の形態4におけるステップ41からステップ44と同様に動作する。したがって、ステップ84の出力では、分割した領域それぞれについての平均画素値が得られる。
【0061】
ステップ85では、ステップ84で得られた領域ごとの平均画素値について時間方向の連続複数個を使い、平均画素値の平均値を計算する。平均画素値の平均値を計算するために使う平均画素値の個数については、埋め込み時の埋め込み周期や画像の性質に応じて決定するが、ここでは説明のため、15個の連続する平均画素値を使って平均画素値の平均値を計算することとする。
【0062】
すなわち、ステップ85において、ある1つの分割領域における連続する平均画素値として、0.8、0.9、0.7、1.2、1.4、0.4、0.9、0.8、0.4、1.0、1.4、0.7、0.8、0.2、0.4の15個の値が得られたとする。このときの平均画素値の平均値は約0.8となる。つまり、ステップ85で得られたある1つの分割領域における平均画素値の平均値は0.8である。
【0063】
ステップ86では、ステップ85で計算した平均値を使って埋め込まれた情報を検出する。ステップ86は実施の形態4におけるステップ45と同様に動作する。すなわち、しきい値をδに設定し、当該平均値の絶対値がδの絶対値より大きいとき、ステップ85で計算した平均値の符号が正ならば“1”、負ならば“0”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定する。ここで、説明のためδ=0.5と仮定すると、ステップ85で計算した値0.8は符号が正であり、当該平均値の絶対値がδの絶対値より大きいため、署名として“1”を検出することになる。
【0064】
したがって、本実施の形態7によれば、入力された映像から隣接2フレームを抽出し、抽出した2つの隣接フレームから差分画像を生成し、生成した差分画像を領域分割し、分割した各領域の平均画素値を計算し、平均画素値の平均値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“1”、負ならば“0”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、複数ビットの署名の検出を可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で複数ビットの署名を検出することができる。また、途中生成する各領域の平均画素値について時間方向にぶれが生じる場合にも、本実施の形態では平均画素値の平均値を計算することにより各領域の平均画素値にぶれを吸収することができるので、実施の形態4では署名を誤検出してしまう場合にも、本実施の形態では正しく署名を検出することが可能になる。
【0065】
実施の形態8.
以上の実施の形態7では、途中生成する各領域の平均画素値について時間方向にぶれが生じる場合にも、平均画素値の平均値を計算することにより各領域の平均画素値にぶれを吸収することができるので、実施の形態4では署名を誤検出してしまう場合にも、正しく署名を検出することが可能になるようにしたものであるが、次に当該平均画素値を降順あるいは昇順に並べ替えたのち、両端から指定数分の要素を取り除いた上で残った要素の平均値を計算し、その平均値を使って埋め込まれた署名を判定する実施形態を示す。
【0066】
図9はこの発明の実施の形態8である電子透かしの検出方法を示すフローチャートである。
図において、90は映像を入力するステップ、91は入力された映像から隣接する2つのフレームを抽出するステップ、92はステップ91で抽出した2つのフレームから差分画像を生成するステップ、93はステップ92で抽出した差分画像を領域分割するステップ、94はステップ93で分割した領域ごとに領域内の画素値の平均値を計算するステップ、95はステップ94で計算した領域ごとの平均画素値について時間方向の連続複数個をソートして降順あるいは昇順に並び替えるステップ、96はステップ95で並び替えた要素リストの両端から指定数分の要素を取り除くステップ、97はステップ96の処理後に残った要素についてそれらの平均値を計算するステップ、98はステップ97で計算した平均値を使って埋め込まれた署名を検出するステップである。
【0067】
ステップ91からステップ94まではそれぞれ、実施の形態7におけるステップ81からステップ84と同様に動作する。したがって、ステップ94の出力では、分割した領域それぞれについての平均画素値が得られる。
【0068】
ステップ95では、ステップ94で得られた領域ごとの平均画素値について時間方向の連続複数個をソートして降順あるいは昇順に並び替える。ソートするために使用する平均画素値の個数については、埋め込み時の埋め込み周期や画像の性質に応じて決定するが、ここでは説明のため、実施の形態5と同様に15個の連続する平均画素値を使うこととする。
【0069】
すなわち、ステップ94において、ある1つの分割領域における時間方向に連続する平均画素値として、0.8、0.9、0.7、1.2、1.4、0.4、0.9、0.8、0.4、−26.0、1.4、0.7、0.8、0.2、0.4の15個の値が得られたとする。このとき、これらの平均画素値をソートして降順に並び替えると、1.4、1.4、1.2、0.9、0.9、0.8、0.8、0.8、0.7、0.7、0.4、0.4、0.4、0.2、−26.0となる。
【0070】
ステップ96では、ステップ95でソートして得られた平均画素値リストの両端から、指定数分の画素値要素を除外する。ここでは、降順に並べられたリスト中の15個の要素のうち、値の大きいほうから3つの要素、値の小さいほうから4つの要素を除外すると仮定して説明する。すなわち、降順に並べられたリストは、1.4、1.4、1.2、0.9、0.9、0.8、0.8、0.8、0.7、0.7、0.4、0.4、0.4、0.2、−26.0であるから、値の大きいほうから3つの要素、値の小さいほうから4つの要素を除外すると、0.9、0.9、0.8、0.8、0.8、0.7、0.7、0.4の8つの要素が残ることになる。
【0071】
ステップ97では、ステップ96における残りの要素について、それらの平均値を計算する。すなわち、残りの要素は0.9、0.9、0.8、0.8、0.8、0.7、0.7、0.4の8つの要素であるから、これらの要素から平均値を計算すると、0.75となる。
【0072】
ステップ98では、ステップ97で計算した平均値を使って埋め込まれた情報を検出する。ステップ98は、実施の形態7におけるステップ86と同様に動作する。すなわち、しきい値をδに設定し、当該平均値の絶対値がδの絶対値より大きいとき、ステップ97で計算した平均値の符号が正ならば“1”、負ならば“0”と判定し、当該平均値の絶対値がδの絶対値以下ならば“情報の埋め込みなし”と判定する。ここで、説明のためδ=0.5と仮定すると、ステップ97で計算した値0.75は符号が正であり、当該平均値の絶対値がδの絶対値より大きいため、署名として“1”を検出することになる。
【0073】
ところで、ステップ96においてソートして得られた平均画素値リストの両端から、指定数分の画素値要素を除外しない場合は、ステップ97で単純にすべての15要素を使って平均を計算することになり、これは実施の形態7と同様になるが、その場合の平均値は−1.0となる。そのため、ステップ98においてδ=0.5と仮定すると、ステップ97で計算した値−1.0は符号が負であり、当該平均値の絶対値がδの値より大きいため、署名として“0”を検出することになってしまう。これは要素の中に−26.0という特異値が含まれるためである。
【0074】
したがって、本実施の形態8によれば、入力された映像から隣接2フレームを抽出し、抽出した2つの隣接フレームから差分画像を生成し、生成した差分画像を領域分割し、分割した各領域の平均画素値を計算し、平均画素値をソートして降順あるいは昇順に並び替え、並び替えたリストの両端から指定数分の要素を取り除き、残った要素についてそれらの平均値を計算し、しきい値を設定し、当該平均値の絶対値がしきい値の絶対値より大きいとき、当該平均画素値の符号が正ならば“1”、負ならば“0”と判定し、当該平均画素値の絶対値がしきい値の絶対値以下ならば“情報の埋め込みなし”と判定することにより、複数ビットの署名の検出が可能としたので、アナログ処理などによって画素ずれが生じてもその影響を受けにくい形態で複数ビットの署名を検出することができる。また、たとえばシーンチェンジなどの影響で途中生成する差分画像の平均画素値に特異値が生じた場合にも、本実施の形態では平均画素値をソートして降順あるいは昇順に並び替え、並び替えたリストの両端から指定数分の要素を取り除き、残った要素についてそれらの平均値を計算することにより特異値の影響を除外するようにしているので、実施の形態7では署名を誤検出してしまう場合にも、本実施の形態では正しく複数ビットの署名を検出することが可能になる。
【0075】
なお、以上の説明では、画素値の変更を加えるフレームとして隣接する2つのフレーム(隣接フレーム)を用いる場合を説明したが、対象としては、相互で差分値があまり大きくならない近傍のフレーム同志であれば同様の効果を奏するものである。
【0076】
また、以上説明したような方法を実行するためのプログラムをつくり計算機で実行することにより、署名などの電子透かし情報を映像情報に埋め込み、また検出することができる。
【0077】
これらにより、例えば、アナログVTRなどに記録された映像の複製などにおいても十分耐性のある電子透かし埋め込み/検出が可能であり、映像や映画の複製などに係わる著作権保護を確実に行うことが可能となる。
【0078】
【発明の効果】
以上のように、この発明によれば、映像信号から近傍フレームを抽出し、この抽出された近傍フレームのそれぞれ対応する領域の画素値を変更することにより電子透かし情報を埋め込むようにしたので、アナログ処理などによって画素ずれが生じても検出時にその影響を受けにくい形態で電子透かし情報を埋め込むことができる。
【0079】
また、この発明によれば、映像信号から近傍フレームを抽出し、この抽出された近傍フレームの差分画像を生成し、この差分画像の平均画素値を計算し、この平均画素値に基き、埋め込まれた電子透かし情報を検出するようにしたので、アナログ処理などによって画素ずれが生じても埋め込まれた電子透かし情報を検出することができる。
【図面の簡単な説明】
【図1】この発明の実施の形態1である電子透かしの埋め込み方法を示すフローチャート
【図2】この発明の実施の形態2である電子透かしの埋め込み方法を示すフローチャート
【図3】この発明の実施の形態3である電子透かしの検出方法を示すフローチャート
【図4】この発明の実施の形態4である電子透かしの検出方法を示すフローチャート
【図5】隣接フレーム間差分画像画素平均値の変化確率分布を示す説明図
【図6】この発明の実施の形態5である電子透かしの検出方法を示すフローチャート
【図7】この発明の実施の形態6である電子透かしの検出方法を示すフローチャート
【図8】この発明の実施の形態7である電子透かしの検出方法を示すフローチャート
【図9】この発明の実施の形態8である電子透かしの検出方法を示すフローチャート
【符号の説明】
10 映像入力ステップ
11 隣接フレーム抽出ステップ
12 署名埋め込みステップ
13 映像出力ステップ
30 映像入力ステップ
31 隣接フレーム抽出ステップ
32 差分画像の生成ステップ
33 差分画像の平均画素値を計算するステップ
34 署名の検出ステップ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a digital watermark technique for concealing other information (watermark information such as a signature) in video data for the purpose of, for example, video copyright management, and more particularly to a watermark information embedding method and detection method.
[0002]
[Prior art]
For example, there is a method of embedding a signature using the fact that two points are selected at random from an image and the expected value of the difference is zero.
[0003]
[Patent Document 1]
W. Bender et.al, "Techniques for data hiding," IBM systems journal, vol.35, no.3-4, pp.313-336, 1996.
[0004]
[Problems to be solved by the invention]
In the above-described conventional technique, pixel shift occurs due to analog processing of an image, and if the pixel position is different between when a signature is embedded and when it is detected, it is theoretically difficult to detect the signature.
In most cases, conventional digital watermarking techniques use geometric transformations such as cropping and rotation, and signal processing such as lossy encoding, and assume digital images. For this reason, the conventional technology is insufficient to make it possible to detect even after a pixel shift has occurred due to analog processing.
But copying images isn't just digital. For example, the number of analog VTRs shipped in 2002 was 4.7 million, exceeding the number of DVD players shipped. In such an environment, for example, in order to ensure copyright protection, sufficient measures against analog duplication are required.
The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a digital watermark technique that can detect watermark information even if a pixel shift occurs after analog processing.
[0005]
[Means for Solving the Problems]
The digital watermark embedding method according to the present invention is based on a video signal. Two adjacent The neighborhood frame extraction step for extracting the neighborhood frame, and the neighborhood frame extraction step extracted Two Neighborhood frame In addition, the same signature information is given during a predetermined embedding period, and a value of a predetermined size is added to the values of all pixels in the previous frame of the two neighboring frames according to the given signature information. Add and subtract the value of the predetermined size to the value of all pixels in the subsequent frame, or add the value of the predetermined size to the values of all pixels in the previous frame of the two neighboring frames Subtract and add the value of the predetermined size to the value of all pixels in the subsequent frame By changing The signature information Digital watermark information As The embedding step includes an embedding step and an output step for outputting the video signal in which the digital watermark information is embedded in the embedding step.
[0006]
In addition, a digital watermark detection method according to the present invention includes: A neighborhood frame extraction step for extracting two neighboring frames from the video signal, a difference image generation step for generating a difference image between the two neighborhood frames extracted in the neighborhood frame extraction step, and a difference image generation step A difference image average pixel value calculation step for calculating an average pixel value of the difference image, and a difference obtained by averaging the average pixel values of the difference image calculated during an embedding period predetermined in the difference image average pixel value calculation step An average value calculating step for calculating an average value of the average pixel values of the image, and when the absolute value of the average value of the average pixel values of the difference image calculated in the average value calculating step is larger than a predetermined size, Digital watermark information for detecting signature information associated with the sign of the average value of the average pixel value of the difference image as embedded digital watermark information A detection step It is equipped with.
[0007]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1 FIG.
FIG. 1 is a flowchart showing a digital watermark embedding method according to the first embodiment of the present invention.
In the figure, 10 is a step for inputting video, 11 is a step for extracting two adjacent frames as neighboring frames from the input video, and 12 is for changing the pixel values of the two frames extracted in step 11. The step of embedding a signature as watermark information is performed, and 13 is a step of outputting a video in which the signature is embedded.
[0008]
Next, the operation will be described.
In step 11, two adjacent frames are repeatedly extracted from the video input in step 10 in order. At this time, the order of frames to be extracted is fixed in advance. That is, an odd frame is extracted first and then the next even frame is extracted, or an even frame is extracted first and then the next odd frame is extracted. This prevents the same frame from being extracted more than once in step 11.
[0009]
In step 12, the signature is embedded by uniformly changing the pixel values of the corresponding regions of the two adjacent frames extracted in step 11. That is, when two adjacent frames are called a previous frame and a subsequent frame, −δ is added to all pixel values of the previous frame, and δ is added to all pixels of the subsequent frame.
Here, the pixel value is a value of a luminance signal of each pixel, for example. As the pixel value, in addition to the luminance signal, for example, Cb / Cr (color difference signal), or each signal of red component (R), green component (G), blue component (B) in the RGB system, etc. Each signal value such as a method for dividing lightness, hue, and saturation (HSV method) may be used.
[0010]
FIG. 5 is an explanatory diagram showing a change probability distribution of the difference image pixel average value between adjacent frames before and after changing two adjacent frame pixel values in Step 12. Before the two adjacent frame pixel values are changed, the probability distribution of the pixel average value of the difference image between adjacent frames is at the position of the distribution 50 indicated by the dotted line.
When -δ is added to all pixel values of the previous frame and δ is added to all pixels of the subsequent frame, the probability distribution of the pixel average value of the difference image between adjacent frames is the position of the distribution 51 or 52 indicated by the solid line Move to. Whether to move to the distribution 51 or to the distribution 52 depends on the value of δ (sign). For example, if the calculation of the difference value is performed by (pixel value of the subsequent frame−pixel value of the previous frame), and the value of δ is +1, the probability distribution of the pixel average value of the difference image between adjacent frames is Move to the position of the distribution 51. When the value of δ is −1, the probability distribution of the pixel average value of the difference image between adjacent frames moves to the position of the distribution 52.
[0011]
Therefore, the signature represented by two values can be embedded by moving the probability distribution of the pixel average value of the difference image between adjacent frames by associating the value (sign) of δ with the signature to be embedded. At this time, the image quality deterioration of the original image is suppressed by giving a difference 2δ little by little (δ) to both adjacent frames.
[0012]
Further, instead of changing the pixel values of the frames uniformly in step 12, they may be changed by weighting according to the size of the inter-frame difference image pixel values. However, even in such a case, the weight distribution is performed so that the probability distribution of the pixel average value of the difference image between adjacent frames is moved to the position of the distribution 51 or 52 indicated by the solid line in FIG.
As a result, it is possible to embed a signature in a form that is less susceptible to the influence of detection even if a pixel shift occurs due to analog processing or the like while suppressing image quality deterioration after the signature is embedded.
[0013]
Further, instead of uniformly changing the pixel value of the frame in step 12, it may be changed by weighting each specific area, for example, an area obtained by extracting an object present in the image. However, even in such a case, the weight distribution is performed so that the probability distribution of the pixel average value of the difference image between adjacent frames is moved to the position of the distribution 51 or 52 indicated by the solid line in FIG.
It is possible to embed a signature in a form that is less affected by detection even if a pixel shift occurs due to analog processing, etc. while suppressing deterioration in image quality after embedding the signature by increasing the weighting of an object that does not noticeably deteriorate image quality .
[0014]
Further, in step 12, the pixel value of the frame is not uniformly changed, but a specific position of the inter-frame difference image is designated by, for example, a random number, and the pixel value is set by increasing the weight for the pixel at the position. The pixel value may be changed by reducing the weighting for other pixels.
This makes it difficult for a person who does not know the random number used at the time of embedding to specify the embedding position of information, so that it is difficult to intentionally erase or modify the embedded information.
[0015]
As described above, according to the first embodiment, two adjacent frames are extracted from the input video, the pixel value of the adjacent frame is changed, and the change probability distribution of the inter-frame difference image pixel average value is moved. Therefore, even if a pixel shift occurs due to analog processing or the like, the signature can be embedded in a form that is not easily affected by detection.
In other words, since the digital watermark information is embedded not as individual pixel values but as the overall pixel value change state, even if a pixel shift occurs due to analog processing or the like, the influence on the overall pixel value change state is acceptable. Since it stays within the range, it is possible to detect digital watermark information. Deterioration of the image can be suppressed by suppressing the change of the pixel value to be small.
[0016]
Embodiment 2. FIG.
In the first embodiment described above, the adjacent frame is extracted from the video, the pixel value of the adjacent frame is changed, and the signature is embedded by moving the change probability distribution of the inter-frame difference image pixel average value. Next, each adjacent frame is similarly divided into regions, and the pixel value of the adjacent frame is changed for each region of the corresponding adjacent frame to move the change probability distribution of the inter-frame difference pixel average value for each region. Shows an embodiment in which a signature is embedded.
[0017]
FIG. 2 is a flowchart showing a digital watermark embedding method according to the second embodiment of the present invention.
In the figure, 20 is a step of inputting video, 21 is a step of extracting two adjacent frames from the input video, 22 is a step of equally dividing the two frames extracted in step 21, and 23 is step 22. A step of embedding a signature by changing the pixel values of the two frames extracted in step 21 for each divided region, and 24 is a step of outputting a video in which the signature is embedded.
That is, the signature embedding step is composed of a step 22 for dividing the frame region and a step 23 for embedding the signature by changing the pixel value for each divided region.
[0018]
Next, the operation will be described.
Step 21 operates in the same manner as step 11 in the first embodiment. Therefore, in step 21, two adjacent frames are extracted in order.
[0019]
In step 22, the two adjacent frames extracted in step 11 are equally divided into rectangles. Here, the size and position of the rectangle need only be specified equally between two adjacent frames. Therefore, the size and position of the rectangle may be fixed in advance, or according to the pixel value of the difference image between adjacent frames. May be divided dynamically, or may be dynamically changed according to other rules.
[0020]
In step 23, for each region divided in step 22, a signature is embedded by uniformly changing the pixel value of the adjacent frame for each corresponding adjacent frame region. Accordingly, as described in the first embodiment, the probability distribution of the pixel average value of the difference image between adjacent frames in the region is obtained by adding −δ to all the pixel values of the previous frame in FIG. When δ is added to all the pixels in the frame, the probability distribution of the pixel average value of the difference image between adjacent frames moves from the position of the distribution 50 indicated by the dotted line to the position of the distribution 51 or 52 indicated by the solid line.
[0021]
Further, in step 23, the pixel values of the frame may not be changed uniformly, but may be changed by weighting according to the size of the inter-frame difference image pixel value. Even in this case, however, the probability distribution of the pixel average value of the difference image between adjacent frames in the region is weighted so as to move to the position of the distribution 51 or 52 indicated by the solid line in FIG. To do.
[0022]
Further, instead of uniformly changing the pixel value of the frame in step 23, for example, a region obtained by extracting an object present in the image may be weighted and changed for each specific region. Even in this case, however, the probability distribution of the pixel average value of the difference image between adjacent frames in the region is weighted so as to move to the position of the distribution 51 or 52 indicated by the solid line in FIG. To do.
[0023]
Therefore, according to the second embodiment, two adjacent frames are extracted from the input video, the extracted two adjacent frames are each equally divided, and for each divided area, for each corresponding adjacent frame area Since the signature is embedded by changing the pixel value of the adjacent frame, it is possible to embed a multi-bit signature in such a form that even if a pixel shift occurs due to analog processing or the like, it is not easily affected by detection.
[0024]
Embodiment 3. FIG.
In the first embodiment and the second embodiment, the signature embedding method has been described. Next, the signature detection method embedded in the first embodiment and the second embodiment will be described.
[0025]
FIG. 3 is a flowchart showing a digital watermark detection method according to the third embodiment of the present invention.
In the figure, 30 is a step of inputting video, 31 is a step of extracting two adjacent frames from the input video, 32 is a step of generating a difference image from the two frames extracted in step 31, and 33 is step 32. The step of calculating the average pixel value of the difference image generated in step 34 is a step of detecting the embedded signature using the average pixel value of the difference image calculated in step 33.
[0026]
In step 31, two adjacent frames are repeatedly extracted in order from the video input in step 30. At this time, the order of frames to be extracted in advance is fixed in the same manner as the order determined when the signature is embedded. That is, the odd frame is extracted first and then the next even frame is extracted, or the even frame is extracted first and then the next odd frame is extracted.
[0027]
In step 32, a difference image is generated from the two adjacent frames extracted in step 31.
[0028]
In step 33, the average pixel value of the difference image generated in step 32 is calculated.
[0029]
In step 34, the embedded information is detected using the average value calculated in step 33. If the two adjacent frames extracted in step 31 are referred to as the previous frame and the subsequent frame, the average value of the difference images between the adjacent two frames in which no signature is embedded is the average value of the previous frame and the average value of the subsequent frame. Is equal to the difference between In general, since the correlation between adjacent frames in a video is high, the difference between the average value of the previous frame and the average value of the subsequent frame, that is, the average value of the difference image fluctuates around the value 0. However, as described with reference to FIG. 5 in the description of the signature embedding in the first and second embodiments, the average value of the difference image is manipulated so as to fluctuate around the value 2δ by embedding the signature. Yes. Therefore, for example, when the threshold is set to δ and the absolute value of the average value is larger than the absolute value of δ, “1” if the sign of the average value calculated in step 33 is positive, “0” if negative. If the absolute value of the average value is equal to or less than the absolute value of δ, it is possible to detect a 1-bit signature by determining “no information embedding”.
[0030]
That is, when the absolute value of the average value of the difference image is larger than the absolute value of the threshold value δ, information (signature) is embedded, and when smaller than the absolute value of the threshold value δ, information (signature) is embedded. None. When information (signature) is embedded, it is determined as “1” if the sign of the average value is positive, “0” if the sign of the average value is negative, and “embedding information” if the absolute value of the average value is less than or equal to the absolute value of δ. By determining “None”, it is possible to detect a 1-bit signature. It is also possible to reverse the relationship between the sign of the average value and “1” / “0”, which corresponds to how to change the pixel values of the previous and subsequent frames at the time of embedding and how to calculate the difference image To set.
[0031]
Therefore, according to the third embodiment, two adjacent frames are extracted from the input video, a difference image is generated from the two adjacent frames extracted, an average pixel value of the generated difference image is calculated, and the threshold value is calculated. When the absolute value of the average value is greater than the absolute value of the threshold, it is determined that the average pixel value is “1” if the sign is positive, and “0” if the sign is negative. If the absolute value of is less than or equal to the absolute value of the threshold, it is possible to detect a 1-bit signature by determining “no information is embedded”. Signatures can be detected in a form that is difficult to receive.
[0032]
Embodiment 4 FIG.
In Embodiment 3 described above, two adjacent frames are extracted from the input video, a difference image is generated from the two adjacent frames extracted, an average pixel value of the generated difference image is calculated, and a threshold value is set. When the absolute value of the average value is larger than the absolute value of the threshold value, it is determined as “1” if the sign of the average pixel value is positive, and “0” if the sign of the average pixel value is negative. If it is less than the absolute value of the threshold value, it is possible to detect a 1-bit signature by determining “no information is embedded”. In this embodiment, the signature is detected when a multi-bit signature is embedded.
[0033]
FIG. 4 is a flowchart showing a digital watermark detection method according to Embodiment 4 of the present invention.
In the figure, 40 is a step of inputting video, 41 is a step of extracting two adjacent frames from the input video, 42 is a step of generating a difference image from the two frames extracted in step 41, and 43 is step 42. The step of dividing the differential image extracted in step 44 is a step of calculating an average value of pixel values in the region for each region divided in step 43, and 45 is a signature embedded using the average value calculated in step 44. Is a step of detecting for each region.
[0034]
Step 41 and step 42 operate in the same manner as step 31 and step 32 in the third embodiment, respectively. Therefore, the difference image of two adjacent frames is obtained at the output of step 42.
[0035]
In step 43, the difference image output in step 42 is divided into rectangles. Here, the size and position of the rectangle are the same as those specified at the time of embedding.
[0036]
Further, in step 43, the area may not be divided into rectangles, but may be divided into arbitrary predetermined areas. Also in this case, parameters for determining individual areas such as area size and position are the same as those specified at the time of embedding.
[0037]
In step 43, the area may not be divided into rectangles, but may be dynamically divided according to the difference value. For example, when the difference value takes an integer value from −255 to 255, a pixel belonging to the range of −255 to −128 is one area, a pixel belonging to the range of −127 to −1 is one area, and For example, the pixel belonging to the range is divided into four regions, one region and the pixel belonging to the range from 128 to 255 as one region.
[0038]
In step 44, an average pixel value in the area is calculated for each area divided in step 43.
[0039]
In step 45, the embedded information is detected using the average value calculated in step 44. If the two adjacent frames extracted in step 41 are called the previous frame and the subsequent frame, the average value in each region divided in step 43 in the difference image of the adjacent two frames in which the signature is not embedded is It is equal to the difference between the average pixel value in each area in the previous frame and the average value in each area in the subsequent frame. Since the correlation between adjacent frames in a video is generally high, the difference between the average pixel value in each region in the previous frame and the average pixel value in each region in the subsequent frame, that is, the average value of the difference image in each region is a value. It fluctuates around 0. However, as described with reference to FIG. 5 in the description of the signature embedding in the first and second embodiments, the average value of the difference image is manipulated so as to fluctuate around the value 2δ by embedding the signature. Yes. Therefore, for example, when the threshold value is set to δ and the absolute value of the average value is larger than the absolute value of δ, “1” if the sign of the average value calculated in step 44 is positive, “0” if negative. If the absolute value of the average value is equal to or smaller than the absolute value of δ, it is possible to detect a multi-bit signature by determining “no information embedding”.
[0040]
Therefore, according to the fourth embodiment, two adjacent frames are extracted from the input video, a difference image is generated from the two extracted adjacent frames, the generated difference image is divided into regions, and each divided region is divided. When the average pixel value is calculated, the threshold value is set, and the absolute value of the average value is greater than the absolute value of the threshold value, “1” if the sign of the average pixel value is positive, “0” if the sign is negative “If the absolute value of the average pixel value is equal to or less than the absolute value of the threshold value, it is determined that“ information is not embedded ”, so that a multi-bit signature can be detected. Even if a pixel shift occurs due to processing or the like, it is possible to detect a multi-bit signature in a form that is not easily affected.
[0041]
Embodiment 5 FIG.
In the third embodiment, two adjacent frames are extracted from the input video, a difference image is generated from the two extracted adjacent frames, an average pixel value of the generated difference image is calculated, and a threshold value is set. When the absolute value of the average pixel value is larger than the absolute value of the threshold value, it is determined as “1” if the sign of the average pixel value is positive, and “0” if the sign of the average pixel value is negative, and the absolute value of the average pixel value is Since it is possible to detect a 1-bit signature by determining “no information embedding” if it is less than the absolute value of the threshold, even if a pixel shift occurs due to analog processing, etc. The signature can be detected, but by using the average value of the average pixel value for detection next, the signature is further less affected even if a pixel shift occurs due to analog processing or the like. Inspect It shows an embodiment of.
[0042]
FIG. 6 is a flowchart showing a digital watermark detection method according to the fifth embodiment of the present invention.
In the figure, 60 is a step of inputting video, 61 is a step of extracting two adjacent frames from the input video, 62 is a step of generating a difference image from the two frames extracted in step 61, and 63 is step 62. Calculating an average pixel value of the difference image generated in step 64, calculating an average value of the average pixel value calculated in step 63, and detecting an embedded signature using the average value calculated in step 64 It is a step to do.
[0043]
Steps 61 to 63 operate in the same manner as steps 31 to 33 in the third embodiment. Therefore, the average pixel value of the difference image of two adjacent frames is obtained from the output of step 63.
[0044]
In step 64, the average pixel value obtained in step 63 is continuously used to calculate the average value of the average pixel values. The number of average pixel values used for calculating the average value of the average pixel values is determined in accordance with the embedding period at the time of embedding and the nature of the image, but here, for the sake of explanation, 15 consecutive average pixel values are used. Is used to calculate the average of the average pixel values.
[0045]
That is, in step 64, 0.8, 0.9, 0.7, 1.2, 1.4, 0.4, 0.9, 0.8, 0.4, 1 Assume that 15 values of 0.0, 1.4, 0.7, 0.8, 0.2, and 0.4 are obtained. The average value of the average pixel value at this time is about 0.8. That is, the average value of the average pixel values obtained in step 64 is 0.8.
[0046]
In step 65, the embedded information is detected using the average value calculated in step 64. Step 65 operates in the same manner as step 34 in the third embodiment. That is, when the threshold value is set to δ and the absolute value of the average value is larger than the absolute value of δ, “1” is obtained if the sign of the average value calculated in step 64 is positive, and “0” if the sign is negative. If the absolute value of the average value is equal to or less than the absolute value of δ, it is determined that “information is not embedded”. Here, for the sake of explanation, assuming that δ = 0.5, the value 0.8 calculated in step 64 is positive in sign, and the absolute value of the average value is larger than the absolute value of δ. "Will be detected.
[0047]
Therefore, according to the fifth embodiment, two adjacent frames are extracted from the input video, a difference image is generated from the two adjacent frames extracted, an average pixel value of the generated difference image is calculated, and an average pixel An average value is calculated, a threshold value is set, and when the absolute value of the average value is larger than the absolute value of the threshold value, “1” is given if the sign of the average pixel value is positive, “ If the absolute value of the average pixel value is equal to or smaller than the absolute value of the threshold value, it is possible to detect a 1-bit signature by determining “no information embedding”. Therefore, even if a pixel shift occurs, the signature can be detected in a form that is hardly affected by the pixel shift. In addition, even when blurring occurs in the average pixel value of the difference image generated halfway, the blur can be absorbed in the average pixel value of the difference image by calculating the average value of the average pixel value in this embodiment. In the third embodiment, even when a signature is erroneously detected, the present embodiment can correctly detect the signature.
[0048]
Embodiment 6 FIG.
In Embodiment 5 described above, even when blurring occurs in the average pixel value of the difference image generated halfway, the blurring can be absorbed in the average pixel value of the difference image by calculating the average value of the average pixel value. Therefore, in the third embodiment, even when signatures are erroneously detected, signatures can be detected correctly. Next, the average pixel values are rearranged in descending or ascending order. After that, an embodiment is shown in which an average value of remaining elements is calculated after removing a specified number of elements from both ends, and the embedded signature is determined using the average value.
[0049]
FIG. 7 is a flowchart showing a digital watermark detection method according to the sixth embodiment of the present invention.
In the figure, 70 is a step of inputting video, 71 is a step of extracting two adjacent frames from the input video, 72 is a step of generating a difference image from the two frames extracted in step 71, and 73 is step 72. Calculating the average pixel value of the difference image generated in step 74, sorting the average pixel value calculated in step 73 and rearranging them in descending or ascending order, and specifying from both ends of the element list rearranged in step 74 A step of removing elements of several minutes, 76 is a step of calculating an average value of elements remaining after the processing of step 75, and 77 is a step of detecting an embedded signature using the average value calculated in step 76. .
[0050]
Steps 71 to 73 operate in the same manner as steps 61 to 63 in the fifth embodiment. Therefore, the average pixel value of the difference image of two adjacent frames is obtained from the output of step 73.
[0051]
In step 74, a plurality of average pixel values obtained in step 73 are used in succession, sorted and rearranged in descending or ascending order. The number of average pixel values used for sorting is determined according to the embedding period at the time of embedding and the nature of the image, but here, for the sake of explanation, 15 consecutive average pixels are used as in the fifth embodiment. Use the value.
[0052]
That is, in step 74, 0.8, 0.9, 0.7, 1.2, 1.4, 0.4, 0.9, 0.8, 0.4, − It is assumed that 15 values of 26.0, 1.4, 0.7, 0.8, 0.2, and 0.4 are obtained. At this time, when these average pixel values are sorted and rearranged in descending order, 1.4, 1.4, 1.2, 0.9, 0.9, 0.8, 0.8, 0.8, 0.7, 0.7, 0.4, 0.4, 0.4, 0.2, and -26.0.
[0053]
In step 75, a specified number of pixel value elements are excluded from both ends of the average pixel value list obtained by sorting in step 74. Here, the description will be made assuming that, out of 15 elements in the list arranged in descending order, three elements from the largest value and four elements from the smallest value are excluded. That is, the list arranged in descending order is 1.4, 1.4, 1.2, 0.9, 0.9, 0.8, 0.8, 0.8, 0.7, 0.7, Since 0.4, 0.4, 0.4, 0.2, and −26.0, three elements from the larger value and four elements from the smaller value are excluded, 0.9, 0 Eight elements of .9, 0.8, 0.8, 0.8, 0.7, 0.7, and 0.4 remain.
[0054]
In step 76, the average value of the remaining elements in step 75 is calculated. That is, since the remaining elements are 8 elements of 0.9, 0.9, 0.8, 0.8, 0.8, 0.7, 0.7, and 0.4, the average is calculated from these elements. When the value is calculated, it becomes 0.75.
[0055]
In step 77, the embedded information is detected using the average value calculated in step 76. Step 77 operates in the same manner as step 65 in the fifth embodiment. That is, when the threshold value is set to δ and the absolute value of the average value is larger than the absolute value of δ, “1” is obtained if the sign of the average value calculated in step 76 is positive, and “0” if the sign is negative. If the absolute value of the average value is equal to or less than the absolute value of δ, it is determined that “information is not embedded”. Here, for the sake of explanation, assuming that δ = 0.5, the value 0.75 calculated in step 76 is positive in sign, and the absolute value of the average value is larger than the absolute value of δ. "Will be detected.
[0056]
By the way, when not excluding a specified number of pixel value elements from both ends of the average pixel value list obtained by sorting in step 75, the average is simply calculated using all 15 elements in step 76. This is the same as that of the fifth embodiment, but the average value in that case is -1.0. Therefore, assuming that δ = 0.5 in step 77, the value −1.0 calculated in step 76 has a negative sign, and the absolute value of the average value is larger than the value of δ. Will be detected. This is because the element includes a singular value of −26.0.
[0057]
Therefore, according to the sixth embodiment, two adjacent frames are extracted from the input video, a difference image is generated from the two adjacent frames extracted, an average pixel value of the generated difference image is calculated, and the average pixel Sort the values to sort in descending or ascending order, remove the specified number of elements from both ends of the sorted list, calculate the average value of the remaining elements, set the threshold value, and set the average value When the absolute value is larger than the absolute value of the threshold value, it is determined as “1” if the sign of the average pixel value is positive, and “0” if the sign of the average pixel value is negative, and the absolute value of the average pixel value is the absolute value of the threshold value If it is less than the value, it is possible to detect a 1-bit signature by determining “no information embedding”. Therefore, even if a pixel shift occurs due to analog processing or the like, the signature is detected in a form that is not easily affected. Can Further, for example, even when a singular value is generated in the average pixel value of the difference image generated in the middle due to the influence of a scene change or the like, in this embodiment, the average pixel value is sorted and rearranged in descending or ascending order. Since the specified number of elements are removed from both ends of the list and the average value of the remaining elements is calculated so as to exclude the influence of singular values, the signature is erroneously detected in the fifth embodiment. Even in this case, the present embodiment can correctly detect the signature.
[0058]
Embodiment 7 FIG.
In the fourth embodiment described above, two adjacent frames are extracted from the input video, a difference image is generated from the two adjacent frames extracted, the generated difference image is divided into regions, and the average pixel value of each divided region When the absolute value of the average value is greater than the absolute value of the threshold value, it is determined as “1” if the sign of the average pixel value is positive, and “0” if it is negative. If the absolute value of the average pixel value is equal to or smaller than the absolute value of the threshold value, it is determined that “information is not embedded”, so that a multi-bit signature can be detected. The signature can be detected in a form that is not easily affected even if a pixel shift occurs. Next, by using the average value of the average pixel value for detection, the pixel shift is performed by analog processing or the like. Arises It illustrates an embodiment of detecting the signature of a plurality of bits at the influence still susceptible form a.
[0059]
FIG. 8 is a flowchart showing a digital watermark detection method according to the seventh embodiment of the present invention.
In the figure, 80 is a step of inputting a video, 81 is a step of extracting two adjacent frames from the input video, 82 is a step of generating a difference image from the two frames extracted in step 81, and 83 is step 82. Step for dividing the difference image extracted in step 84, Step for calculating an average value of pixel values in the region for each region divided in step 83, and Step 85 for calculating an average value of the average pixel value for each region calculated in step 84 86 is a step of detecting the embedded signature using the average value calculated in step 85.
[0060]
Steps 81 to 84 operate in the same manner as steps 41 to 44 in the fourth embodiment. Therefore, the average pixel value for each of the divided areas is obtained at the output of step 84.
[0061]
In step 85, an average value of the average pixel values is calculated using a plurality of continuous average pixels in the time direction for the average pixel values obtained in step 84. The number of average pixel values used for calculating the average value of the average pixel values is determined in accordance with the embedding period at the time of embedding and the nature of the image, but here, for the sake of explanation, 15 consecutive average pixel values are used. Is used to calculate the average of the average pixel values.
[0062]
That is, in step 85, 0.8, 0.9, 0.7, 1.2, 1.4, 0.4, 0.9, 0.8 are set as continuous average pixel values in a certain divided region. , 0.4, 1.0, 1.4, 0.7, 0.8, 0.2, 0.4 are assumed to be obtained. The average value of the average pixel value at this time is about 0.8. That is, the average value of the average pixel values in one divided area obtained in step 85 is 0.8.
[0063]
In step 86, the embedded information is detected using the average value calculated in step 85. Step 86 operates in the same manner as step 45 in the fourth embodiment. That is, when the threshold value is set to δ and the absolute value of the average value is larger than the absolute value of δ, “1” if the sign of the average value calculated in step 85 is positive, “0” if the sign is negative. If the absolute value of the average value is equal to or less than the absolute value of δ, it is determined that “information is not embedded”. Here, for the sake of explanation, assuming that δ = 0.5, the value 0.8 calculated in step 85 has a positive sign, and the absolute value of the average value is larger than the absolute value of δ. "Will be detected.
[0064]
Therefore, according to the seventh embodiment, two adjacent frames are extracted from the input video, a difference image is generated from the two extracted adjacent frames, the generated difference image is divided into regions, and each divided region is divided. Calculate the average pixel value, calculate the average value of the average pixel value, set the threshold value, and if the average value of the average value is greater than the absolute value of the threshold value, the sign of the average pixel value is positive "1" if negative, "0" if negative, and if the absolute value of the average pixel value is less than the absolute value of the threshold, "no information is embedded" Therefore, even if a pixel shift occurs due to analog processing or the like, a multi-bit signature can be detected in a form that is not easily affected. In addition, even when blurring occurs in the time direction with respect to the average pixel value of each region generated in the middle, in this embodiment, the blur is absorbed in the average pixel value of each region by calculating the average value of the average pixel value. Therefore, even if the signature is erroneously detected in the fourth embodiment, it is possible to correctly detect the signature in the present embodiment.
[0065]
Embodiment 8 FIG.
In Embodiment 7 described above, even when the average pixel value of each region generated in the middle is blurred in the time direction, the average pixel value of each region is absorbed by calculating the average value of the average pixel value. Therefore, in the fourth embodiment, even when a signature is erroneously detected, the signature can be detected correctly. Next, the average pixel value is set in descending order or ascending order. An embodiment will be described in which, after rearrangement, an average value of remaining elements is calculated after removing a specified number of elements from both ends, and an embedded signature is determined using the average value.
[0066]
FIG. 9 is a flowchart showing a digital watermark detection method according to the eighth embodiment of the present invention.
In the figure, 90 is a step of inputting video, 91 is a step of extracting two adjacent frames from the input video, 92 is a step of generating a difference image from the two frames extracted in step 91, and 93 is step 92. Step for dividing the difference image extracted in step 94 is a step for calculating an average value of pixel values in the region for each region divided in step 93, and 95 is a time direction for the average pixel value for each region calculated in step 94. A step of sorting a plurality of consecutive elements and rearranging them in descending or ascending order, 96 is a step of removing a specified number of elements from both ends of the element list rearranged in step 95, 97 is an element remaining after the processing of step 96 Step 98 of calculating the average value of 98 embedded using the average value calculated in step 97 Is a step of detecting the name.
[0067]
Steps 91 to 94 operate in the same manner as steps 81 to 84 in the seventh embodiment. Therefore, the average pixel value for each of the divided areas is obtained at the output of step 94.
[0068]
In step 95, the average pixel values for each region obtained in step 94 are sorted in the descending order or ascending order by sorting a plurality of continuous pixels in the time direction. The number of average pixel values used for sorting is determined according to the embedding period at the time of embedding and the nature of the image, but here, for the sake of explanation, 15 consecutive average pixels are used as in the fifth embodiment. Use the value.
[0069]
That is, in step 94, 0.8, 0.9, 0.7, 1.2, 1.4, 0.4, 0.9, as average pixel values continuous in the time direction in a certain divided region. It is assumed that 15 values of 0.8, 0.4, −26.0, 1.4, 0.7, 0.8, 0.2, and 0.4 are obtained. At this time, when these average pixel values are sorted and rearranged in descending order, 1.4, 1.4, 1.2, 0.9, 0.9, 0.8, 0.8, 0.8, 0.7, 0.7, 0.4, 0.4, 0.4, 0.2, and -26.0.
[0070]
In step 96, a specified number of pixel value elements are excluded from both ends of the average pixel value list obtained by sorting in step 95. Here, the description will be made assuming that, out of 15 elements in the list arranged in descending order, three elements from the largest value and four elements from the smallest value are excluded. That is, the list arranged in descending order is 1.4, 1.4, 1.2, 0.9, 0.9, 0.8, 0.8, 0.8, 0.7, 0.7, Since 0.4, 0.4, 0.4, 0.2, and −26.0, three elements from the larger value and four elements from the smaller value are excluded, 0.9, 0 Eight elements of .9, 0.8, 0.8, 0.8, 0.7, 0.7, and 0.4 remain.
[0071]
In step 97, the average value of the remaining elements in step 96 is calculated. That is, since the remaining elements are 8 elements of 0.9, 0.9, 0.8, 0.8, 0.8, 0.7, 0.7, and 0.4, the average is calculated from these elements. When the value is calculated, it becomes 0.75.
[0072]
In step 98, the embedded information is detected using the average value calculated in step 97. Step 98 operates in the same manner as step 86 in the seventh embodiment. That is, when the threshold value is set to δ and the absolute value of the average value is larger than the absolute value of δ, “1” is obtained if the sign of the average value calculated in step 97 is positive, and “0” if the sign is negative. If the absolute value of the average value is equal to or less than the absolute value of δ, it is determined that “information is not embedded”. Here, for the sake of explanation, assuming that δ = 0.5, the value 0.75 calculated in step 97 has a positive sign, and the absolute value of the average value is larger than the absolute value of δ. "Will be detected.
[0073]
By the way, if the specified number of pixel value elements are not excluded from both ends of the average pixel value list obtained by sorting in step 96, the average is simply calculated using all 15 elements in step 97. This is the same as in Embodiment 7, but the average value in that case is -1.0. Therefore, assuming that δ = 0.5 in step 98, the value −1.0 calculated in step 97 has a negative sign, and the absolute value of the average value is larger than the value of δ. Will be detected. This is because the element includes a singular value of −26.0.
[0074]
Therefore, according to the eighth embodiment, two adjacent frames are extracted from the input video, a difference image is generated from the two extracted adjacent frames, the generated difference image is divided into regions, and each divided region is divided. Calculates the average pixel value, sorts the average pixel values and sorts them in descending or ascending order, removes the specified number of elements from both ends of the sorted list, calculates the average value of the remaining elements, and calculates the threshold. When the absolute value of the average value is greater than the absolute value of the threshold, it is determined that the average pixel value is “1” if the sign is positive, and “0” if the sign is negative. If the absolute value of is less than the absolute value of the threshold value, it is possible to detect a multi-bit signature by determining “no information embedding”. Insensitive shape In it is possible to detect a sign of a plurality of bits. Further, for example, even when a singular value is generated in the average pixel value of the difference image generated in the middle due to the influence of a scene change or the like, in this embodiment, the average pixel value is sorted and rearranged in descending or ascending order. Since the specified number of elements are removed from both ends of the list and the average value of the remaining elements is calculated to exclude the influence of singular values, the signature is erroneously detected in the seventh embodiment. Even in this case, the present embodiment can correctly detect a multi-bit signature.
[0075]
In the above description, the case where two adjacent frames (adjacent frames) are used as the frame to which the pixel value is changed has been described. However, the target may be neighboring frames where the difference value is not so large between each other. The same effect can be obtained.
[0076]
Also, by creating a program for executing the method as described above and executing it on a computer, digital watermark information such as a signature can be embedded in video information and detected.
[0077]
As a result, for example, it is possible to embed / detect digital watermarks with sufficient tolerance even when copying video recorded on an analog VTR, etc., and it is possible to reliably protect copyrights related to video and movie copying. It becomes.
[0078]
【The invention's effect】
As described above, according to the present invention, the neighboring frame is extracted from the video signal, and the digital watermark information is embedded by changing the pixel value of the corresponding region of the extracted neighboring frame. Even if a pixel shift occurs due to processing or the like, it is possible to embed digital watermark information in a form that is not easily affected by detection.
[0079]
Further, according to the present invention, a neighboring frame is extracted from a video signal, a difference image of the extracted neighboring frame is generated, an average pixel value of the difference image is calculated, and embedded based on the average pixel value. Since the digital watermark information is detected, the embedded digital watermark information can be detected even if a pixel shift occurs due to analog processing or the like.
[Brief description of the drawings]
FIG. 1 is a flowchart showing a digital watermark embedding method according to Embodiment 1 of the present invention;
FIG. 2 is a flowchart showing a digital watermark embedding method according to a second embodiment of the present invention;
FIG. 3 is a flowchart showing a digital watermark detection method according to Embodiment 3 of the present invention;
FIG. 4 is a flowchart showing a digital watermark detection method according to Embodiment 4 of the present invention;
FIG. 5 is an explanatory diagram showing a change probability distribution of a difference image pixel average value between adjacent frames.
FIG. 6 is a flowchart showing a digital watermark detection method according to Embodiment 5 of the present invention;
FIG. 7 is a flowchart showing a digital watermark detection method according to Embodiment 6 of the present invention;
FIG. 8 is a flowchart showing a digital watermark detection method according to Embodiment 7 of the present invention;
FIG. 9 is a flowchart showing a digital watermark detection method according to the eighth embodiment of the present invention.
[Explanation of symbols]
10 Video input step
11 Adjacent frame extraction step
12 Signature embedding step
13 Video output step
30 Video input step
31 Adjacent frame extraction step
32 Difference image generation step
33 calculating the average pixel value of the difference image
34 Signature detection step

Claims (3)

映像信号から隣接する2つの近傍フレームを抽出する近傍フレーム抽出ステップと、
この近傍フレーム抽出ステップで抽出された2つの近傍フレームに、予め決められた埋め込み期間中には同一の署名情報を与え、与えられた署名情報に応じて、前記2つの近傍フレームの前フレーム内のすべての画素の値に所定の大きさの値を加算し、後フレーム内のすべての画素の値に前記所定の大きさの値を減算するか、または前記2つの近傍フレームの前フレーム内のすべての画素の値に前記所定の大きさの値を減算し、後フレーム内のすべての画素の値に前記所定の大きさの値を加算するかを変更することにより前記署名情報を電子透かし情報として埋め込む埋め込みステップと、
この埋め込みステップで上記電子透かし情報が埋め込まれた映像信号を出力する出力ステップと
を備えた電子透かし埋め込み方法。
A neighboring frame extracting step of extracting two neighboring neighboring frames from the video signal;
Two neighboring frames extracted in the vicinity of the frame extraction step, giving the same signature information during predetermined embedding period, depending on the given signature information, in the previous frame of said two neighboring frames Add a value of a predetermined size to the values of all pixels and subtract the value of the predetermined size to the values of all pixels in the subsequent frame, or all in the previous frame of the two neighboring frames of subtracting the values of said predetermined size of pixels, as electronic watermark information the signature information by changing or adding the values of all pixels values to said predetermined size of the rear frame An embedding step to embed,
An electronic watermark embedding method comprising: an output step of outputting a video signal in which the electronic watermark information is embedded in the embedding step.
映像信号から隣接する2つの近傍フレームを抽出する近傍フレーム抽出ステップと、A neighboring frame extracting step of extracting two neighboring neighboring frames from the video signal;
この近傍フレーム抽出ステップで抽出された2つの近傍フレームの差分画像を生成する差分画像生成ステップと、A difference image generation step for generating a difference image between the two neighboring frames extracted in the neighboring frame extraction step;
この差分画像生成ステップで生成された差分画像の平均画素値を計算する差分画像平均画素値計算ステップと、A difference image average pixel value calculation step for calculating an average pixel value of the difference image generated in the difference image generation step;
この差分画像平均画素値計算ステップで予め決められた埋め込み期間中に計算された差分画像の平均画素値を平均した差分画像の平均画素値の平均値を計算する平均値計算ステップと、An average value calculating step for calculating an average value of the average pixel values of the difference images obtained by averaging the average pixel values of the difference images calculated during the embedding period predetermined in the difference image average pixel value calculating step;
この平均値計算ステップで計算された差分画像の平均画素値の平均値の絶対値が所定の大きさの値より大きい場合、該差分画像の平均画素値の平均値の正負符号に対応付けられた署名情報を埋め込まれた電子透かし情報として検出する電子透かし情報検出ステップとWhen the absolute value of the average value of the average pixel value of the difference image calculated in the average value calculation step is larger than a predetermined size value, it is associated with the sign of the average value of the average pixel value of the difference image. A digital watermark information detection step for detecting signature information as embedded digital watermark information;
を備えた電子透かし検出方法。An electronic watermark detection method comprising:
前記平均値計算ステップは、前記差分画像の平均画素値の平均値を、前記差分画像平均画素値計算ステップで予め決められた埋め込み期間中に計算された差分画像の平均画素値をその大きさ順に並べ替え、この並べ替えた差分画像の平均画素値の大小両端から指定数分の差分画像の平均画素値を除外して、残りの差分画像の平均画素値の平均値として計算することを特徴とする請求項2記載の電子透かし検出方法。The average value calculating step calculates the average value of the average pixel values of the difference image, and calculates the average pixel value of the difference image calculated during the embedding period predetermined in the difference image average pixel value calculating step in the order of the size. Reordering, excluding the average pixel value of the specified number of difference images from both ends of the average pixel value of the sorted difference image, and calculating as an average value of the average pixel values of the remaining difference images The digital watermark detection method according to claim 2.
JP2003173015A 2003-06-18 2003-06-18 Digital watermark embedding method and digital watermark detection method Expired - Fee Related JP4258283B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003173015A JP4258283B2 (en) 2003-06-18 2003-06-18 Digital watermark embedding method and digital watermark detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003173015A JP4258283B2 (en) 2003-06-18 2003-06-18 Digital watermark embedding method and digital watermark detection method

Publications (2)

Publication Number Publication Date
JP2005012405A JP2005012405A (en) 2005-01-13
JP4258283B2 true JP4258283B2 (en) 2009-04-30

Family

ID=34096960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003173015A Expired - Fee Related JP4258283B2 (en) 2003-06-18 2003-06-18 Digital watermark embedding method and digital watermark detection method

Country Status (1)

Country Link
JP (1) JP4258283B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110971910A (en) * 2019-12-10 2020-04-07 郑州师范学院 Embedding method and extracting method for HEVC video information hiding

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101053256B (en) 2005-08-04 2010-09-01 日本电信电话株式会社 Digital watermark padding method, digital watermark padding device
EP1932359A1 (en) * 2005-09-09 2008-06-18 Thomson Licensing Coefficient selection for video watermarking
EP1932360A1 (en) * 2005-09-09 2008-06-18 Thomson Licensing Video watermark detection
KR100975048B1 (en) 2006-03-07 2010-08-11 니폰 덴신 덴와 가부시끼가이샤 Digital watermark embedding method, apparatus, and program, and digital watermark detection method, apparatus, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110971910A (en) * 2019-12-10 2020-04-07 郑州师范学院 Embedding method and extracting method for HEVC video information hiding

Also Published As

Publication number Publication date
JP2005012405A (en) 2005-01-13

Similar Documents

Publication Publication Date Title
US6285774B1 (en) System and methodology for tracing to a source of unauthorized copying of prerecorded proprietary material, such as movies
US6111990A (en) Digital-watermark superposing apparatus and digital-watermarker detecting apparatus
KR100368352B1 (en) Data hiding method and data extracting method
JP3902863B2 (en) Data superimposing method and data reproducing method, information embedding method and information reading method
US10116909B2 (en) Detecting a vertical cut in a video signal for the purpose of time alteration
US6795565B2 (en) Method to detect watermark resistant to resizing and translation
Bidokhti et al. Detection of regional copy/move forgery in MPEG videos using optical flow
JP2008153836A (en) Imaging device, image processor, image processing method, program for image processing method, and recording medium with program for image processing method recorded thereon
JP3706766B2 (en) Method for embedding and extracting digital watermark information
Niimi et al. High capacity and secure digital steganography to palette-based images
JP4258283B2 (en) Digital watermark embedding method and digital watermark detection method
JP2009521181A (en) Blind detection for digital cinema
Hamdy et al. Quantization table estimation in JPEG images
US6671401B1 (en) Removing color moire patterns from digital images having known chromaticities
Chen et al. Robust spatial LSB watermarking of color images against JPEG compression
JP2004048219A (en) Inserting method of electronic watermark information
JP4787776B2 (en) Image processing apparatus, image forming apparatus including the same, and image processing method
JP2003309725A (en) Image processing method, image processing apparatus, and image forming apparatus provided therewith
US20090074230A1 (en) Electronic watermark embedding device and detection device, detection method, detection program, and intergrated circuit device thereof
Luyen et al. An efficient reversible data hiding based on improved pixel value ordering method
US6823074B1 (en) Digital-watermark superposing apparatus and digital-watermarker detecting apparatus
JP4113801B2 (en) Image data compression processing method and compression system
US20180048817A1 (en) Systems and methods for reduced power consumption via multi-stage static region detection
JP2006303952A (en) Image processing apparatus, image processing method and storage medium
Jung et al. Detecting re-captured videos using shot-based photo response non-uniformity

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080603

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090126

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140220

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees