JP4428566B2 - 動画像の電子透かし埋め込みおよび検出方法 - Google Patents

Description

本発明は動画像の電子透かし埋め込みおよび検出方法に関し、特に、動画像を配信する際に電子透かし情報を埋め込むことにより著作権の存在を明らかにし、かつ配信先毎に埋め込む電子透かし情報を変化させることにより、海賊版の出所を探索することが可能になる動画像の電子透かし埋め込みおよび検出方法に関する。

従来の動画像に電子透かし情報を埋め込む方法として、例えば下記の特許文献１に記されているような方法がある。この方法を図９を参照して説明する。

テンプレート９には、マクロブロックを抽出するマクロブロックと、電子透かし情報を入れるＤＣＴ係数位置と、透かしデータが記録されている。画像フレームＦ_ｎ−１，Ｆ_ｎ，Ｆ_ｎ＋１，・・・が入力してくると、ブロック分割部１は該フレームをブロックに分割する。ブロック抽出部２はテンプレート９からの指示に従って電子透かし情報を埋め込むブロックを抽出する。抽出されたブロックはＤＣＴ部３で離散コサイン変換する。ＤＣＴ係数抽出部４はテンプレート９からの指示に従って透かし情報を埋め込むＤＣＴ係数を抽出し、透かしデータ埋め込み部５はテンプレート９からの指示に従って該抽出されたＤＣＴ係数に透かし情報を埋め込む。逆ＤＣＴ部６は該透かし情報を埋め込んだブロックを逆ＤＣＴし、ブロック合成部７で、ブロック抽出２で抽出されなかったブロックと合成され、次いでＭＰＥＧ符号化部８で符号化されて画像ストリームとして送出される。

従来では、以上のような各画像フレームに電子透かし情報を埋め込む方法が採用されている。
特開２００１−１１１９７３号

しかしながら、前記従来技術には、画像コンテンツを構成する一連の画像フレームに対して時間的に変化する透かし情報を埋め込み、検出することに関して、何らの配慮もされていなかった。例えば、固定間隔毎に異なる電子透かし情報を埋め込むこと、あるいは不定間隔で異なる電子透かし情報を埋め込むこと、またこのようにして埋め込まれた電子透かし情報の検出について、何らの配慮がされていなかった。

本発明の目的は、前記した従来技術に鑑みてなされたものであり、時間的に変化する透かし情報の埋め込みおよびその検出が可能になる動画像の電子透かし埋め込みおよび検出方法を提供することにある。

前記した目的を達成するために、本発明は、動画像に電子透かしを埋め込むにあたっては、動画像フレームを時間的に連続する系列の所定フレーム数毎又は不定フレーム数毎に区分けし、該区分けされた各フレーム数毎に埋め込む透かし情報を変化させると共に、信頼度検定用のデータを埋め込むようにし、前記埋め込まれた電子透かし情報を検出するにあたっては、検出のための動画像フレーム連続系列ウィンドウを規定し、該ウィンドウを該動画像フレーム連続系列上を時間的にずらしていき、該ウィンドウを通して検出された前記信頼度検定用のデータがある信頼値以上をもつ検出値であるかどうかを判定し、該ある信頼値以上を持つ検出値を統合した結果から採用する電子透かし検出情報を決定するようにした点に特徴がある。

また、前記ウィンドウを通して検出された信頼度検定用のデータに対して母数平均検定を施して、前記信頼値を求めるようにした点に他の特徴がある。

本発明によれば、時間的に変化する透かし情報を動画像に埋め込むことができ、動画像を配信する際に、著作権の存在を従来以上に明らかにできるという効果がある。また、この効果に加えて、シーン毎に異なる効果、例えば出演者情報などを埋め込み、映像シーンの再利用を容易にするという効果もある。

また、時間的に変化して動画像に埋め込まれた透かし情報の検出を、正確にかつ効率よく行えるという効果がある。

また、フレーム間引き等の攻撃や編集によって分断された透かし情報を検出できるという効果もある。

以下に、図面を参照して、本発明を詳細に説明する。図１は本発明の一実施形態の概略の説明図である。

図１の上段は、送信側において電子透かし情報のビットパターンＰ_０，Ｐ_１，Ｐ_２，・・・を、固定間隔、例えばＮフレーム毎に埋め込む場合を示す。一方、下段は、受信側において、前記埋め込まれたビットパターンＰ_０，Ｐ_１，Ｐ_２，・・・を検出する動作を示す。

受信側は、前記ビットパターンＰ_０，Ｐ_１，Ｐ_２，・・・が埋め込まれたフレームの境界が分からないので、以下のようにして該ビットパターンＰ_０，Ｐ_１，Ｐ_２，・・・の検出を行う。すなわち、受信側ではＳフレーム間隔（ただし、Ｓ＝Ｎ／３）でビットパターンを検出する。受信側における該ビットパターンの検出開始タイミングは任意となるので、一般的に、前記Ｓフレーム検出間隔が異なるビットパターンを埋め込まれたフレームの前記境界を跨ることが起こる。例えば、図示の検出(2)はビットパターンＰ_０とＰ_１を埋め込まれたフレーム境界を跨ることになり、該検出(2)では正しいビットパターンは検出できない。しかし、Ｓ＝Ｎ／３とされているので、該検出(2)の前の２つの検出(1'）と検出(1'')は正しいビットパターンＰ_０を検出することになる。そこで、本実施形態では、連続する検出ビットパターンのうち共通する２つのビットパターンがあれば、これを正しいビットパターンとして検出する。

例えば、前記ビットパターンＰ_０，Ｐ_１，Ｐ_２を、図２(a)に示されているように、それぞれ０００・・・００，１１１・・・１１，１０１０・・・１０とすると、前記検出(1)、(1')、(1'')、(2)、・・・で検出されるビットパターンは、図２(b)に示されているようになり、同一のビットパターンが複数回得られた場合、それを採用し検出値とする。

なお、検出(1'')から検出を始めた時には、最初の３回の測定ビットパターンには同一のビットパターンが存在しないので、次の測定ビットパターンを加味して同一のビットパターンを検出し、該同一のビットパターンを採用するようにする。

図３は、前記送信側のビットパターンＰ_０，Ｐ_１，Ｐ_２，・・・の埋め込み動作を示すフローチャートである。

ステップＳ１，Ｓ２では、それぞれ透かし情報のビットパターン数を示す置き数ｍ、画像フレーム番号を示す置き数ｎを０に置く。ステップＳ３では、画像フレームＦｎが入力したか否かの判断をし、肯定になるとステップＳ４に進んで透かし情報のビットパターンＰｍを採用して透かし情報を埋め込む。ステップＳ５では全ての画像フレームの透かし情報埋め込み処理が終了したか否かの判断がなされ、この判断が否定になるとステップＳ６に進んでｎ＝Ｎ−１が成立したか否かの判断がなされる。この判断が否定になると、ステップＳ７に進んでｎに１が加算される。以上の動作が行われ、前記ステップＳ６の判断が肯定になると、Ｎ枚の画像フレームＦ_０〜Ｆ_Ｎ−１に透かし情報のビットパターンＰ_０が埋め込まれたことになる。

ステップＳ８に進むと、全画像フレームに対する透かし埋め込み処理が終了したか否かの判断がなされる。この判断が否定であると、ステップＳ９に進んで、ｍ＝Ｍ−１が成立したか否かの判断がなされる。ここに、Ｍは透かし情報のビットパターンの種類の個数である。この判断が否定になるとステップＳ１０に進んでｍに１が加算される。そして、ステップＳ２に戻って再度前記した動作が繰り返される。この結果、次のＮ枚の画像フレームＦ_０〜Ｆ_Ｎ−１に透かし情報のビットパターンＰ_１が埋め込まれることになる。

以上の動作が繰り返されて、ステップＳ９が肯定になると、Ｍ通りの透かし情報のビットパターンは全部使われたのでステップＳ１に戻り、再度透かし情報のビットパターンＰ_０、Ｐ_１、・・・が埋め込まれることになる。前記ステップＳ５またはＳ８が肯定になった時には、透かし情報の埋め込み処理は終了する。

次に、図４は前記受信側のビットパターンＰ_０、Ｐ_１、・・・の検出処理を示すフローチャートである。

ステップＳ２０では、透かし情報のビットパターン検出の指標を示す置き数ｎ＝０と置く。ステップＳ２１では、任意の時点からＳ枚の画像フレームの透かし情報を検出(n)する。ステップＳ２２では、次のＳ枚の画像フレームの透かし情報を検出(n')する。ステップＳ２３では、次のＳ枚の画像フレームの透かし情報を検出(n'')する。ステップＳ２４では、前記検出(n)〜(n'')で共通する透かし情報のビットパターンがあるか否かの判断がなされ、この判断が肯定であるとステップＳ２５に進んで、共通する透かし情報の採用検出値、即ち採用ビットパターンとする。次いで、ステップＳ２６に進んでｎに１を加算する。ステップＳ２７では、全ての画像フレームのビットパターンの検出が終了したか否かの判断がなされ、この判断が否定であるとステップＳ２１に進んで、前記した動作が繰り返される。

前記ステップＳ２４が否定になると、すなわち前記検出(n)〜(n'')で共通する透かし情報のビットパターンがないとステップＳ２８に進んで、さらに次のＳ枚の画像フレームの透かし情報を検出(n''')する。そして、ステップＳ２９に進んで、前記検出(n'）〜(n''')で共通する透かし情報のビットパターンがあるか否かの判断がなされる。この判断が肯定になると前記ステップＳ２５に進んで共通する透かし情報のビットパターンを採用する（採用検出値）。以下は、前記と同様の動作が繰り返される。そして、前記ステップＳ２７が肯定になると処理を終了する。なお、前記ビットパターンの検出に信頼度を導入し、以下の第２実施形態で説明するように、信頼度の低いビットパターンは不採用（ＮＧ）とするようにしてもよい。

次に、本発明の第２実施形態を説明する。図５は本発明の第２実施形態の概略の説明図である。

この実施形態は、送信側で埋め込む透かし情報のビットパターンの切替が不定期な場合であり、受信側では、指定フレーム数分のビットパターンの検出を逐次行い、その際得られたビット判定の結果から信頼性の高い検出を有効ビットパターンとして採用する。

図５の上段は、送信側において電子透かし情報のビットパターンＰ_０，Ｐ_１，Ｐ_２，・・・を、不定期間隔（Ｆ、Ｆ’、Ｆ’’、・・・）、例えば画像のシーン毎に埋め込む場合を示す。すなわち、画像のシーンチェンジ毎に、ビットパターンＰ_０，Ｐ_１，Ｐ_２，・・・を更新する場合を示す。一方、下段は、受信側において、前記埋め込まれたビットパターンＰ_０，Ｐ_１，Ｐ_２，・・・を検出する動作を示す。

受信側は、前記ビットパターンＰ_０，Ｐ_１，Ｐ_２，・・・が埋め込まれたフレームの境界が分からないので、以下のようにして該ビットパターンＰ_０，Ｐ_１，Ｐ_２，・・・の検出を行う。この場合、下記の方針で行う。

(a)ビットパターンの検出は任意の位置から開始されるものとする。必ずしも、ビットパターンの切替りフレームに合わせる必要はない。

(b)検出は、検出を開始してから指定フレーム数分の判定結果を収集し、その収集結果を、例えば「母数平均検定」を用いて判定の信頼性を判断し、十分信頼できるとみなした場合は、その判定して得られるビットパターンを採用する。なお、「母数平均検定」は一例であり、他の方法で信頼性を判断するようにしてもよい。

(c)たとえ、結果的に正しいビットパターンを検出できても、前記の検定結果から信頼性の条件を満たさない場合は、そのビットパターンは採用から除外される。

(d)検出されたビットパターンが前回の検出と同じ場合は、該前回でビットパターンを採用しているため、採用から除外する。

再度図５に戻って説明を続けると、受信側は、任意の位置Ａから予め定められたフレーム数ｆの検出（検出(1)−１，検出(2)−１，検出(1)−２，検出(2)−２，・・・）、例えば１５０フレームのビットパターンの検出を開始する。この検出は、図示されているように、フレーム数ｆ’分の検出が終わった時点で次の検出を開始し、以降同様のタイミングで検出を繰り返す。すなわち、検出(1)と(2)が重複して行われるようにする。

図６は、前記検出の一具体例を示し、同図(a)は埋め込まれるビットパターンの具体例、同図(b)は該ビットパターンの判定結果、採用ビットパターン（採用検出値）の具体例を示す。この具体例では、検出した各ビットパターンに対して母数平均検定を用い、該ビットパターン中の１ビットでも合格しないものがあると、該ビットパターンは信頼できないとして判定採用結果を「ＮＧ」とした。これにより、ビットパターン検出の信頼性を高めた。なお、該母数平均検定は周知の検定手法である。この信頼度の検定には、一例として、前記画像フレームＦｎのＤＣＴ係数に信頼度検定用のデータを埋め込んでおき、該データに対して母数平均検定を施すことができる。

図６(b)を見ると、検出(1)−１では、ビットパターン判定結果に前記母数平均検定に合格しないビットがあるので、判定採用結果をＮＧとした。検出(2)−１では、ビットパターン判定結果は全て合格（ＯＫ）であったので、判定採用結果をＯＫとし、該ビットパターンを採用ビットパターン（採用検出値）とした。検出(2)−２および検出(1)−３では、ビットパターン判定結果は共に合格（ＯＫ）でありかつ同じパターンであるので、採用ビットパターンは最初のビットパターンのみを採用ビットパターンとした。しかしながら、検出(2)−３では、結果的にはビットパターンは正しい埋め込みビットパターンを検出したが、前記母数平均検定では不合格のビットが存在したので信頼性が劣り、判定採用結果はＮＧとなった。

なお、本実施形態では、前記第１の実施形態により所定フレーム数毎に埋め込まれたが、その後の処理、例えば編集等により不定期フレーム数間隔になってしまった場合にも、埋め込まれたビットパターンの検出が可能になる。

次に、本実施形態の動作を、図７、図８のフローチャートで説明する。図７は送信側のビットパターン埋め込み動作、図８は受信側のビットパターン検出後の処理に関する動作を示す。

ステップＳ３１、Ｓ３２では、それぞれビットパターン、画像フレームの個数を表す置き数ｍとｎが０に置かれる。ステップＳ３３では、画像フレームＦｎが入力したか否かが判断され、この判断が肯定になるとステップＳ３４に進んで透かしビットパターンＰｍが埋め込まれる。ステップＳ３５では、全ての画像フレームに対する処理が終了したか否かの判断がなされ、この判断が否定の時にはステップＳ３６に進んで、画像フレームが例えばシーンチェンジになったか否かの判断がなされる。この判断が否定の時にはステップＳ３７に進んで、全ての画像フレームに対する処理が終了したか否かの判断がなされる。この判断が否定の時には、ステップＳ３８に進んで、ｎに１が加算され、画像フレームが１フレーム更新される。

一方、ステップＳ３６の判断が肯定になると、すなわちシーンチェンジが起きると、ステップＳ３９に進んでｍ＝Ｍ−１に等しくなったか否かの判断がなされる。ここに、Ｍは用意されている透かしパターンの種類（Ｐ_０，Ｐ_１，Ｐ_２，・・・，Ｐ_Ｍ）の全個数である。なお、前記画像のシーンチェンジは従来の公知の技術から自動的に検出できる。ステップＳ３９の判断が否定になると、ステップＳ４０でｍに１加算され次の透かしビットパターンに変えられる。ステップＳ３９の判断が肯定の時には、ｍ＝０とされ、再度最初のビットパターンに戻される。以上のようにして、画像フレーム列Ｆ_０、Ｆ_１，・・・に透かし情報としてのビットパターンが埋められる。なお、前記ステップＳ３５、Ｓ３７の判断が肯定になると、前記処理は終了する。

次に、図８のビットパターン検出後の動作を説明する。ステップＳ４１では、ｆ枚の画像フレームの透かし情報のビットパターンを検出する。ステップＳ４２では、ビットパターンの各ビットの信頼度を、例えば母数平均検定により求める。ステップＳ４３では、全ビットの信頼度が所定の信頼度以上であるか否かの判断がなされる。この判断が肯定の時には、ステップＳ４４に進んで判定採用結果をＯＫとする。一方、１ビットでも所定の信頼度以下であれば、ステップＳ４９に進んでＮＧとする。

ステップＳ４５では、ＯＫとなった同一のビットパターンが続いて二つ以上あるか否かの判断がなされ、この判断が肯定の場合にはステップＳ４６に進んで、統合して１つの採用ビットパターンとされる。一方、同一のビットパターンが１つしかない場合にはステップＳ４７に進んで採用ビットパターンとされる。ステップＳ４８では、全ての画像フレームに対する処理が終了したか否かの判断がなされ、この判断が否定の時にはステップＳ４１に戻って再度前記した処理が繰り返される。なお、ステップＳ４８，Ｓ５０の判断が肯定になると、前記した一連の処理は終了する。

前記母数平均判定処理は、周知であるので以下に簡単に説明する。母平均、観測フレーム数（標本数）、検出平均値、および標本不偏分散を、それぞれ、μ_０、ｎ、￣Ｘ、Ｕとすると、求められる検定統計量ｔ_０は下記の式で表される。

なお、ｔ_０は、自由度がｎ−１のｔ分布に従う。採用される棄却限界値は、有意水準値０．０５のｔ分布に従う。

本発明の第１実施形態の概略の説明図である。 前記第１実施形態の具体例の説明図である。 前記第１実施形態の送信側の動作を示すフローチャートである。 前記第１実施形態の受信側の動作を示すフローチャートである。 本発明の第２実施形態の概略の説明図である。 前記第２実施形態の具体例の説明図である。 前記第２実施形態の送信側の動作を示すフローチャートである。 前記第２実施形態の受信側の動作を示すフローチャートである。 従来の送信側装置の一例を示すブロック図である。

符号の説明

２・・・ブロック抽出部、４・・・ＤＣＴ係数抽出部、５・・・透かしデータ、９・・・テンプレート。

Claims (2)

1. 動画像に電子透かしを埋め込むにあたっては、
   動画像フレームを時間的に連続する系列の所定フレーム数毎又は不定フレーム数毎に区分けし、該区分けされた各フレーム数毎に埋め込む透かし情報を変化させると共に、信頼度検定用のデータを埋め込むようにし、
   前記埋め込まれた電子透かし情報を検出するにあたっては、
   検出のための動画像フレーム連続系列ウィンドウを規定し、該ウィンドウを該動画像フレーム連続系列上を時間的にずらしていき、該ウィンドウを通して検出された前記信頼度検定用のデータがある信頼値以上をもつ検出値であるかどうかを判定し、該ある信頼値以上を持つ検出値を統合した結果から採用する電子透かし検出情報を決定することを特徴とする動画像の電子透かし埋め込みおよび検出方法。
2. 請求項１に記載の動画像の電子透かし埋め込み検出方法において、
   前記ウィンドウを通して検出された信頼度検定用のデータに対して母数平均検定を施して、前記信頼値を求めることを特徴とする動画像の電子透かし埋め込みおよび検出方法。

Images