JP5528399B2

JP5528399B2 - 電子透かし埋め込み方法、電子透かし検出方法及び装置並びにプログラム

Info

Publication number: JP5528399B2
Application number: JP2011138696A
Authority: JP
Inventors: 亮介藤井; 浩伊藤; 浩一馬養; 光義鈴木; 稔和田; 剛大竹; 清一合志
Original assignee: Mitsubishi Electric Corp; Japan Broadcasting Corp
Current assignee: Mitsubishi Electric Corp; Japan Broadcasting Corp
Priority date: 2004-02-17
Filing date: 2011-06-22
Publication date: 2014-06-25
Anticipated expiration: 2025-02-14
Also published as: JPWO2005079072A1; US20080273741A1; CN100574429C; KR20060121972A; CN1922883A; EP1720354B1; EP1720354A4; EP1720354B8; US7769197B2; TW200534093A; EP1720354A1; TWI288873B; JP2011239433A; WO2005079072A1; KR100841848B1

Description

この発明は、ディスプレイなどの表示画面に表示した画像を再撮影して得られる再撮画像から電子透かしを検出することができる電子透かし埋め込み方法、電子透かし検出方法及びこれら方法を使用する装置並びにそのプログラムに関するものである。

近年のテレビカメラの性能向上や低コスト化により、ディスプレイなどの表示画面に表示した画像や映像を画質良く再撮影することが容易になってきている。この技術向上は、反面再撮影した画像や映像などの著作物の不正使用の要因にもなっている。例えば、映画館などで上映された映像を直接ディジタルカメラで再撮し、ＤＶＤ（Digital Versatile Disk）などにコピーしたものを違法販売する事件も起こっている。

このような再撮画像を対象とする電子透かし技術としては、例えば非特許文献１に開示されるものがある。この技術では、電子透かしを埋め込む対象の動画像に対して電子透かしとして時間方向（フレーム方向又はフィールド方向）に輝度変化を施している。

これにより、著作権情報を電子透かしとして埋め込んでおけば、不正にコピーされた再撮画像からでも上記著作権情報を取り出すことができ、その著作権を主張することができる。これは、再撮影による不正コピーを抑止することにも繋がる。

J. Haitsma and T. Kalker, "A watermarking scheme for digital cinema", ICIP'01 - IEEE, pp.487-489

非特許文献１に開示される再撮画像の電子透かし技術では、動画像に対して時間方向（フレーム方向又はフィールド方向）に輝度を変化させることによって再撮画像に対応可能な電子透かしを埋め込んでいる。しかしながら、電子透かしの埋め込み対象の動画像によっては、時間方向での輝度変化によって生じたフレーム画像間の輝度の違いなどが再生中に明暗部として目視することができてしまうという課題があった。

また、電子透かしの埋め込み量を増加させる方法として、フレーム画像（又はフィールド画像）を空間的に複数の領域に分割して分割領域ごとに埋め込みビットに対応する画素値変化を施すことが考えられるが、電子透かしの埋め込み対象の動画像によって画質が劣化してしまうという課題があった。

例えば、フレーム画像などを複数の領域に空間的に分割して分割領域ごとに輝度変調を施す場合、電子透かしの埋め込み対象の画像によっては輝度変調によりフレーム画像上の分割領域に明暗差が生じ、分割領域の境界線が再生中に目視できてしまう。

この発明は、上記のような課題を解決するためになされたもので、再撮画像に対応可能な電子透かしを画質を劣化させることがなく埋め込むことができ、この電子透かしを高精度に検出することができる電子透かしの埋め込み方法及びその検出方法を得ることを目的とする。

また、この発明は、上記方法を用いた電子透かし埋め込み装置、電子透かし検出装置及びこれらをコンピュータに実現させるプログラムを得ることを目的とする。

この発明に係る電子透かし埋め込み方法は、電子透かし埋め込み対象の電子画像を複数の画像領域に空間的に分割する分割処理ステップと、画素値の変化が視認されにくい特性を有する画素を適応画素として画像領域ごとに抽出する適応抽出ステップと、電子透かしの埋込ビット値に応じて画像領域ごとに、埋め込まれるべき電子透かしによる時間方向での画素値変化パターンと電子透かし埋め込み済みの電子画像の時間方向での画素値変化パターンとの相関検出によって検出される相関値が正または負のどちらかに大きく偏るように設定され、また電子透かし埋め込み位相の変化前後のフレーム輝度平均値の差分をＧａｐ値として検出するＧａｐ検出によってＧａｐ値が正または負のどちらかに大きく偏るように極性が変化する時間軸上で周期的な電子透かし波形を選択して画素に加算することで適応画素の画素値を変化させると共に、画像領域間の境界及び／又は時間方向で画素値変化の遷移が緩慢になるように段階的に変化させることにより電子透かし埋め込み画像を生成する埋め込みステップと備え、適応抽出ステップで、電子透かし埋め込みに係る輝度変化を加えても当該変化が視認されにくい輝度レベルの画素を適応画素として抽出するものである。

この発明に係る電子透かし検出方法は、電子透かし検出対象の電子画像を画像領域に空間的に分割する分割処理ステップと検出対象の画像領域ごとに電子透かし埋め込みによる時間方向での画素値変化に対応した画素値差分をＧａｐ値として検出するＧａｐ検出ステップと、各画像領域において、電子透かしの各埋め込み周期中のある特定のＧａｐ検出時点で算出されたＧａｐ値の平均値を求める平均値算出ステップと、各画像領域において、電子透かしの各埋め込み周期中のある２つのＧａｐ検出時点で算出されたＧａｐ値の平均値から対角２領域の差分を求め平均化することにより各画像領域間のＧａｐ値を算出する領域間Ｇａｐ値算出ステップと、検出対象画像に埋め込まれるべき電子透かしによる画像領域間及び時間方向での画素値変化パターンと検出対象画像の時間方向での画素値変化パターンとの相関値を検出する相関検出ステップと、各画像領域間のＧａｐ値及び相関値についての画像分割領域ごとの検出結果から埋め込みビットをそれぞれ判定し、これら判定結果を相補的に判断して最終的な埋め込みビットを決定する埋め込みビット判定ステップとを備えたものである。

このことによって、再撮画像に対する電子透かしの耐性を維持しつつ、その埋め込みによる視覚的な妨害を格段に低減させることができるという効果がある。

このことによって、電子透かしの検出結果の信頼性や検出精度を向上させることができるという効果がある。

この発明の実施の形態１による電子透かし埋め込み装置の構成を示すブロック図である。入力電子画像を空間的に分割した画像分割領域を示す図である。実施の形態１による電子透かしパターンの一例とその時間変化を示す図である。空間的なガードバンドを含む電子透かしパターンと時間方向のガードバンドの具体例を示す図である。埋め込みビットごとの適応処理とその時間変化を示す図である。埋め込みビットごとの輝度レベルでの適応処理を示す図である。実施の形態２の電子透かし埋め込み装置によるフレーム差分の算出方法を説明する図である。埋め込みビットごとのフレーム差分を用いた適応処理を示す図である。実施の形態３による電子透かし埋め込み装置のエッジ適応処理を説明する図である。埋め込みビットごとのエッジ適応処理を示す図である。この発明の実施の形態４による電子透かし検出装置の構成を示すブロック図である。電子透かしの埋め込み周期におけるＧａｐ検出位置を示す図である。Ｇａｐ値と埋め込みビットとの関係を示す図である。電子透かしの埋め込み位相を示す図である。相関値と埋め込みビットとの関係を示す図である。Ｇａｐ及び相関検出による判定値と埋め込みビットの最終判定値との関係を示す図である。クリップ処理を説明する図である。実施の形態４による電子透かし検出装置の応用例を示す図である。

以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１による電子透かし埋め込み装置の構成を示すブロック図である。電子透かし埋め込み装置１は、画像分割部２、適応抽出部３、埋め込み処理部４及び透かし情報生成部５から構成される。電子透かし埋め込み装置１は、例えば汎用コンピュータなどを用いて、本発明に従う電子透かし埋め込みプログラムを実行させることによって具現化することができる。

つまり、電子透かし埋め込みプログラムをコンピュータに実行させて上記構成要素２〜５として機能させることにより、電子透かし埋め込み装置１による特徴的なデータ処理を実行することができる。なお、以下の説明において、電子透かし埋め込み装置１を具現化するコンピュータ自体の構成及びその基本的な機能については、当業者が当該分野の技術常識に基づいて容易に認識できるものであり、本発明の本質に直接関わるものでないので詳細な記載を省略する。

画像分割部２は、入力された電子画像（図１では、複数のフレームからなる動画像として示す。以下、入力電子画像と称する）６ａを複数領域の情報に空間的に分割した電子画像６ｂを生成する。以降では、図２に示すように、画像分割部２が、入力電子画像６ａのフレーム画像を４分割する場合を例に挙げて説明する。なお、図２では、分割した各領域を区別するためにそれぞれの領域に符号Ａ，Ｂ，Ｃ，Ｄを付している。

また、後述するが、画像分割部２は、入力電子画像６ａのフレーム画像を分割するにあたり、各分割領域の境界にガードバンド（Guard Band）を設定する。つまり、電子画像６ｂのフレーム画像は、ガードバンドを介して分割される。

適応抽出部３は、所定の振幅（変化分）で画素値を変化させても画質を劣化させない画素を特定するための適応条件が設定されており、画像分割部２から入力した電子画像６ｂの分割領域ごとに適応条件に応じた画素を、電子透かしの埋め込み対象画素（以降、適応画素と称する）として抽出する。

埋め込み処理部４は、適応抽出部３が抽出した電子画像６ｂの適応画素に対して、透かし情報生成部５からの電子透かし情報７に応じて空間的及び時間方向で画素値を変化させて電子透かし埋め込み済みの電子画像６ｃを生成し出力する。

つまり、電子透かしの埋め込みビットの値に応じて、電子画像６ｂのフレーム画像の分割領域ごとに適応画素の画素値を変化させる空間的な画素値変化に加え、この空間的な変化パターンの時間方向（フレーム方向）での変化を規定することで電子透かし埋め込みが実行される。

以降の説明では、埋め込み処理部４が、電子透かし情報７に応じて、フレーム画像内で適応画素の輝度値を空間的に変化させ、且つこれを時間方向（フレーム方向）に変化させる場合を例に挙げ、適応抽出部３には、輝度レベルについての適応条件が設定されているものとする。

透かし情報生成部５は、電子透かしを構成する埋め込みビットに応じて電子透かし情報７を生成して埋め込み処理部４に出力する。電子透かし情報７は、埋め込みビットに応じて、電子画像６ｂの分割領域の画素値を変化させる空間的な電子透かしパターン及びその時間方向（フレーム方向）の変化パターンを規定する情報である。

例えば、電子透かし情報７は、埋め込み処理部４が、電子画像６ｂの４分割した領域のうち、対角２領域を用いて空間的に２ビットの情報を埋め込み、さらに対角２領域ごとに時間方向に異なる位相（例えば、９０°位相をずらす）で輝度変化を与えて２ビットの情報を埋め込むように設定する。このようにすることで、空間的及び時間方向での輝度変化で１フレーム画像あたり合計４ビットの電子透かしを埋め込むことができる。

また、埋め込み処理部４は、画像分割部２によって設けられたガードバンドで空間的な輝度値変化が緩慢になるように埋め込み処理を実行し、さらに同一の分割領域についての時間方向のガードバンドで時間方向（フレーム方向）の輝度値変化が緩慢になるように埋め込み処理を実行する。

図３は実施の形態１による電子透かしパターンの一例とその時間変化を示す図であり、（ａ）は空間的なガードバンドを含む電子透かしパターンを示し、（ｂ）は時間方向のガードバンドを含む（ａ）のパターンの時間変化を示している。（ａ）の例では、図２で示した領域Ｂ，Ｃの輝度値は変化させず（図中、０を付した部分）、領域Ａ，Ｄの輝度値を全て＋１変化させている（図中、記号＋を付した部分）。

また、（ａ）において、空間的なガードバンドＧＢの幅は、例えば３２ピクセル（pixel）とする。この幅は、異なる変化分で輝度変化させた領域間の境界が視認されない程度のものであればよく、本発明による電子透かしを埋め込む対象画像の画像特性に応じて適宜決定する。さらに、領域Ｂ，Ｄ間のガードバンドＧＢの領域Ｂ側の境界線をＢａと称し、領域Ｄ側の境界線をＢｂと称する。

領域Ｂ側の境界線Ｂａでは、例えば輝度値を＋１変化させる確率を１／３３とし、ガードバンドＧＢ内で領域Ｄ側に近づくにつれて当該確率値を徐々に上昇させる。そして、領域Ｄ側の境界線Ｂｂでは、輝度値を＋１変化させる確率を３２／３３とする。このようにすることで、電子透かしとして一方の領域に設定すべき輝度の変化分から他方の領域に設定すべき輝度の変化分まで徐々に変化することになる。

さらに、電子透かしを構成するビット値に応じて時間方向で輝度値を変化させる際、（ｂ）に示すように、例えば領域Ａ，Ｄについて輝度変調の起点となるフレームから第１０番目のフレームまで輝度値を＋１変化させ、第１０番目フレームから第１５番目のフレームまでの間で徐々に輝度値の変化分が０になるように設定する。

ここでは、図中の期間Ｂｃにおいて、輝度値を＋１変化させた状態から変化分が０になるまでに１フレームごとに輝度値を＋１変化させた画素が減り、その分だけ変化無しの画素が増加するように、確率１／６の割合で輝度の変化分を０にする画素を増加させる。
このように、本発明の電子透かし埋め込み装置１では、時間方向でも輝度値の変化を緩慢にする（時間方向のガードバンド）。これにより、再撮画像に対する電子透かしを埋め込むことによる画質劣化を防止することができる。

図４は、図３に示す方法で埋め込んだ空間的なガードバンドを含む電子透かし埋め込み基底と時間方向のガードバンドの具体例を示す図である。なお、輝度値の変化を理解しやすくするために、輝度値を＋１変化させた画素を黒色で示し、輝度値を変化させない画素を白色で示している。

図４（ａ）に示すように、空間的な輝度変化において、ガードバンドＧＢによって領域Ａ，Ｄと領域Ｂ，Ｃとの間の境界線がぼかされた状態になる。また、時間方向での輝度値変化においても、図４（ｂ）に示すように、時間方向のガードバンドによって電子透かしとして時間的に先に設定した輝度値から後に設定する輝度値に至るまで急激に変化することなく、その中間状態が設定される。

図５は、埋め込みビットごとの適応処理とその時間変化を示す図である。図示の例では、適応抽出部３が、電子画像６ｂの分割領域ごとに適応条件を満たす適応画素Ａ，Ｂを抽出する。また、埋め込み処理部４は、適応抽出部３により電子画像６ｂの分割領域ごとに抽出された適応画素Ａ，Ｂに対し、透かし情報生成部５からの電子透かし情報７に応じて、図中の埋め込み周期（３０フレーム周期）で輝度値を変化させる。

例えば、電子透かしの埋め込みビットが「００」である場合、電子透かし情報７に従って処理の起点となるフレームから第１５番目のフレームまでの適応画素Ａの輝度値を＋１変化させ、第１６番目から第３０番目のフレームまでの適応画素Ｂの輝度値を−１変化させる。埋め込みビットが「０１」である場合は、その逆位相の処理を実行する。

また、図２で示した分割領域のうちの対角２領域について輝度変化が逆位相となるようにする場合、以下のような処理を実行する。
先ず、図２中の領域Ａ，Ｄに設定すべき埋め込みビットが「００」である場合、図２中の領域Ａから抽出した適応画素Ａ，Ｂに対して図５中の埋め込みビット００に対応する周期で輝度値を変化させる。また、図２中の領域Ｄから抽出した適応画素Ａ，Ｂに対しては、図５中の埋め込みビット０１に対応する周期で輝度値を変化させる。

また、図２中の領域Ａ，Ｄに設定すべき埋め込みビットが「０１」であれば、反対に領域Ａに対して図５中の埋め込みビット０１に対応する周期で輝度値を変化させ、領域Ｄに対しては図５中の埋め込みビット００に対応する周期で輝度値を変化させる。

さらに、図２中の領域Ａ，Ｄに設定すべき埋め込みビットが「１０」であれば、領域Ａに対して図５中の埋め込みビット１０に対応する周期で輝度値を変化させ、領域Ｄに対しては図５中の埋め込みビット１１に対応する周期で輝度値を変化させる。

図２中の領域Ａ，Ｄに設定すべき埋め込みビットが「１１」であれば、領域Ａに対して図５中の埋め込みビット１１に対応する周期で輝度値を変化させ、領域Ｄに対しては図５中の埋め込みビット１０に対応する周期で輝度値を変化させる。これらの処理は、図２中の領域Ｂ，Ｃについても同様である。

また、図２で示した分割領域のうちの対角２領域について輝度変化が同位相となるようにする場合、図２中の領域Ａ，Ｄに設定すべき埋め込みビットが「００」であれば、図２中の領域Ａ，Ｄに対して図５中の埋め込みビット００に対応する周期で輝度変化処理をそれぞれ実行する。埋め込みビットが「０１」、「１０」、「１１」である場合も同様の要領で輝度変化処理を実行する。

次に動作について説明する。
電子透かしの埋め込み対象である入力電子画像６ａは、電子透かし埋め込み装置１内部の画像分割部２に入力される。画像分割部２は、入力電子画像６ａをフレーム画像ごとに複数領域に空間的に分割した電子画像６ｂを生成する。なお、上述したように、電子画像６ｂのフレーム画像ごとの分割領域は、図３及び図４で示したガードバンドＧＢを境界として分割される。

適応抽出部３は、画像分割部２から電子画像６ｂを入力し、そのフレーム画像の分割領域ごとに、例えば図６に示す画素の輝度レベルについての適応条件に基づいて適応画素Ａ，Ｂを抽出する。

図６は、埋め込みビットごとの輝度レベルでの適応処理を示す図であり、各埋め込みビットに対応する埋め込み周期は図５に示したものと同様であるものとする。図に示すように、輝度値が１８０以上の画素が適応画素Ｂとして抽出される。また、適応画素Ａとしては、輝度値が１２９以上の画素及び輝度値が１２８以下のＮｅｘｔ５０％に対応する画素が該当する。輝度値１２８以下のＮｅｘｔ５０％とは、輝度値が１２８以下である画素の中で輝度値が大きい上位半分までの画素を意味する。

なお、輝度値１２８以下のＮｅｘｔ５０％に対応する画素は、輝度値が１２９以上の画素数が少ない画像であって電子透かしを検出するのに十分な埋め込み量を確保することができない場合に適応画素Ａとして抽出するようにしてもよい。

人間の視覚特性上、輝度値が低く暗い画像であるほど、その輝度値を変化させると、その変化が視認されやすくなる。そこで、上述した適応画素を抽出する基準輝度値１２８は、画像中の輝度を変化させた際にその変化が視認されない下限の輝度値として、ウェーバー・フェフィナーの法則などを考慮した検討実験により決定する。

適応抽出部３は、上述した輝度レベルについての適応条件を満たす適応画素Ａ，Ｂを電子画像６ｂの分割領域ごとに抽出し、これら画素を特定する情報（画像上の位置座標など）を埋め込み処理部４に出力する。

埋め込み処理部４は、適応抽出部３からの情報に従って電子画像６ｂの分割領域ごとに抽出された適応画素Ａ，Ｂに対し、透かし情報生成部５からの電子透かし情報７に応じて、図５中の埋め込み周期で輝度変化処理を実行する。

例えば、透かし情報生成部５から得た埋め込みビットが「００」である場合、図５を用いて上述したように、埋め込み処理部４は、処理の起点となるフレームから第１５番目のフレームまでの適応画素Ａの輝度値を＋１変化させ、第１６番目から第３０番目のフレームまでの適応画素Ｂの輝度値を−１変化させる。

なお、図５では、説明の簡単のために図３（ｂ）で示した期間Ｂｃ（時間方向のガードバンド）を設けていないが、時間方向の画素値変調による視覚的な影響がある場合は、時間方向のガードバンドを設けるようにしてもよい。

また、電子透かし埋め込みによる視覚的影響を考慮すると、輝度値の変化分は±１の範囲であることが望ましい。しかしながら、輝度値が十分に高く輝度変調による影響が視認しにくい適応画素（例えば、輝度値１９０以上）であれば、電子透かし埋め込みに係る輝度値の変化分を２倍（±２）にして電子透かしの埋め込み強度を増加するようにしても良い。

さらに、輝度値が１２９以上の画素数が少ない画像であって電子透かしを検出するのに十分な埋め込み量を確保することができない場合、適応抽出部３が、輝度値が１２８以下の画素の輝度平均値より大きい輝度を有する画素を抽出するようにしても良い。

なお、埋め込み処理部４は、上述したように画像分割部２によって設けられたガードバンドで領域間の輝度値変化が緩慢になるように埋め込み処理を実行する。また、時間方向のガードバンドを設定する場合は、当該ガードバンドにて時間方向の輝度値変化が緩慢になるように埋め込み処理を実行する。

また、映像中のシーンチェンジは、フレームやフィールドの画像相関が時間方向で顕著に変化し、埋め込み処理の同期基準となり得る有意な事象である。そこで、本実施の形態による埋め込み処理部４は、対象画像のシーンチェンジに同期させて電子透かし埋め込み処理を実行する。

この場合、埋め込み処理部４は、例えば電子透かしの埋め込み対象の画像におけるフレームの画像相関の時間方向での変化が所定の閾値を超えるものをシーンチェンジとして検出する。そして、埋め込み処理部４は、検出したシーンチェンジ以後のフレームを起点として上述した時間方向での輝度変化処理を実行する。

これにより、電子透かし埋め込み処理における時間方向での輝度変化処理が、電子透かし情報７に応じた埋め込み周期からずれるようなことがあっても、対象画像中のシーンチェンジを基準として上記周期との同期を回復させることができる。また、本発明による電子透かしを検出する際、電子透かしの埋め込みパターンにおける位相を的確に復元することもできる。

埋め込み処理部４は、上述のようにして透かし情報生成部５から入力される電子透かし情報７に応じた輝度変化処理を完了すると、これにより得られた画像を電子透かし埋め込み済みの画像６ｃとして出力する。

以上のように、この実施の形態１では、対象画像から所定の振幅（変化分）で画素値（輝度など）を変化させても画質を劣化させない画素を適応画素として抽出すると共に、空間的及び時間方向での画素値変化に対して当該変化を緩慢にするガードバンドを設けたので、再撮画像に対する電子透かしの耐性を維持しつつ、その埋め込みによる視覚的な妨害を格段に低減させることができる。

なお、上記実施の形態１では、電子透かしの埋め込みに空間的及び時間方向での輝度変化処理を実行する例を示したが、輝度に限らず、再撮画像においても検出することができる画素値であればよい。

実施の形態２．
上記実施の形態１では、輝度変化を施しても画質が劣化しない輝度レベルとして輝度値１２８以上の適応画素を抽出する例を示したが、この適応画素のみでは埋め込み量が十分でなく電子透かしが検出できない場合がある。

ここで、埋め込み対象の画像において、元々フレーム画像（又はフィールド画像）間での画素値変化が大きい画素は、一般的に動きが激しい映像を構成することが多く、画素値変化による視覚的な影響が少ないことが予想される。

そこで、実施の形態２では、フレーム差分値（又は、フィールド差分値）からフレーム画像（又はフィールド画像）間での画素値変化が大きい画素を検出し、電子透かしを埋め込むべき適応画素として選択するものである。

なお、実施の形態２による電子透かし埋め込み装置の構成は、上記実施の形態１で示したものと基本的に同一であるが、適応抽出部３及び埋め込み処理部４が対象画像に対してフレーム差分を用いた上記適応処理を実行する点で異なる。

次にフレーム差分を用いた適応処理について詳細に説明する。
図７は、この発明の実施の形態２による電子透かし埋め込み装置のフレーム差分の算出方法を説明する図である。図において、フレーム１，２は、電子画像６ｂの時間的に前後するフレーム画像を示している。また、フレーム１，２を構成する画素の画素値（例えば、輝度値）をそれぞれｘ１，ｘ２，・・・，ｘｎ及びｙ１，ｙ２，・・・，ｙｎとすると、フレーム差分ΔＦ（ｎ）は、絶対値として下記式（１）を用いて求めることができる。
ΔＦ（ｎ）＝｜ｘｎ−ｙｎ｜・・・（１）

図８は、実施の形態２による埋め込みビットごとのフレーム差分を用いた適応処理を示す図であり、各埋め込みビット（図示の例では「００」、「０１」）に対応する埋め込み周期は図５に示したものと同様であるものとする。適応抽出部３は、輝度値１８０以上の画素を適応画素Ｂとして抽出する上、上記実施の形態１と異なり、輝度値が１２８以上の画素に加え、輝度値が１２８未満の画素も適応画素Ａとして抽出する。

ここで、輝度値１２８未満のＮｅｘｔ５０％とは、輝度値が１２８未満である画素の中で輝度値が大きい上位半分までの画素を意味する。また、輝度値１２８未満残りとは、輝度値１２８未満のＮｅｘｔ５０％である画素より輝度値が低い画素を意味する。

適応抽出部３は、上記実施の形態１と同様な処理にて、電子画像６ｂの分割領域ごとに図８に示す輝度レベルの適応画素Ａ，Ｂを抽出する。さらに、適応抽出部３は、上記式（１）に従って電子画像６ｂの時間的に前後するフレーム間で画素ごとのフレーム差分を算出し、適応画素を特定する情報（画像中の位置座標など）と共に画素ごとの算出結果を埋め込み処理部４に出力する。

埋め込み処理部４では、フレーム差分値の大きさと輝度レベルに基づいて適応画素の輝度値に加えるべき変化分を決定して埋め込み処理を実行する。図８の例で説明すると、埋め込み処理部４は、適応抽出部３により算出されたフレーム差分値が２以下である画素を、フレーム間での画素値変化が小さい（動きが小さい）画素であると認識する。このフレーム差分値に該当する適応画素については、輝度変化処理を施しても変化が視認されない輝度値１２８以上の画素のみの輝度値を変化させる。

また、フレーム差分値が３以上７以下であると、埋め込み処理部４は、フレーム間での画素値変化が中程度である画素と認識し、輝度値１２８以上の適応画素に加え、輝度値１２８未満のＮｅｘｔ５０％に該当する適応画素にも輝度変化処理を実行する。

一方、フレーム差分値が８以上であると、埋め込み処理部４は、フレーム間での画素値変化が大きい（動きが激しい）画素であると認識する。このフレーム差分値に該当する適応画素については、輝度変化処理を施しても変化が視認されにくいものと判断し、輝度値１２８未満の適応画素についても輝度変化処理を実行する。

なお、上述したフレーム差分値の閾値は、電子透かし埋め込み済みの画像６ｃの画質に応じて適切な値を埋め込み処理部４に設定できるように構成しても良い。

以上のように、この実施の形態２によれば、フレーム差分に応じて電子透かしの埋め込みを実行するので、フレーム間での画素値変化が大きく、画素値の変化が視認されにくい画素を適応画素として抽出することができ、電子透かしの埋め込み量を増加させることができる。これにより、本発明による電子透かしの耐性を向上させることができる。

上記実施の形態２では、フレーム差分を用いる例を示したがフィールド差分を用いても良い。この形態としても基本的に同一の構成で同様の効果を得ることができる。

実施の形態３．
この実施の形態３は、電子透かしの埋め込み量を増加させるために、対象画像中のエッジ部分の画素を埋め込み対象の適応画素とするものである。

実施の形態３による電子透かし埋め込み装置の構成は、上記実施の形態１で示したものと基本的に同一であるが、適応抽出部３及び埋め込み処理部４が対象画像に対してエッジ適応処理を実行する点で異なる。

次にエッジ適応処理による適応画素の選定について説明する。
先ず、適応抽出部３は、実施の形態１又は実施の形態２で示した処理で電子透かしを埋め込んだ電子画像６ｂに対して、垂直方向エッジフィルタ処理、孤立点除去処理及び３点ＮＡＭ処理を順に実施してエッジ部分を強調した画像を求める。
図９は、実施の形態３による電子透かし埋め込み装置のエッジ適応処理を説明する図であり、（ａ）は垂直方向エッジフィルタ処理、（ｂ）は孤立点除去処理、（ｃ）は３点ＮＡＭ処理を示している。この図を用いて各処理を説明する。なお、図９では、処理対象の画像（電子画像６ｂ）の画像サイズが７２０×４８６画素である場合を例にしている。

垂直方向エッジフィルタ処理では、処理対象の画像中の注目画素とこれに隣接する画素とから垂直方向のエッジを強調する。具体的には、下記式（２）に従って注目画素（座標（ｘ，ｙ））の垂直方向のエッジを強調した画素値Ｙａ（ｘ，ｙ）を求める。
Ｙａ（ｘ，ｙ）＝｜−Ｙ（ｘｐ，ｙ）／２＋Ｙ（ｘ，ｙ）−Ｙ（ｘｎ，ｙ）／２｜・・・（２）
０≦ｘ＜７１９，０≦ｙ＜４８５のとき、
ｘｐ＝ｘ−１、ｘｎ＝ｘ＋１
ｘ＝０のとき、ｘｐ＝ｘ＋１、ｘｎ＝ｘ＋１
ｘ＝７１９のとき、ｘｐ＝ｘ−１、ｘｎ＝ｘ−１

適応抽出部３は、上述の処理を施して垂直方向のエッジを強調した画像に対して、突発的な画素値変化がエッジとして認識されないように孤立点除去処理を実行する。図示の例では、注目画素（画素値Ｙａ（ｘ，ｙ））の８近傍画素値を取得し、下記式（３）に従って８近傍のうち３番目に大きな画素値ｍａｘＹａと注目画素の画素値Ｙａ（ｘ，ｙ）で最小値を与える画素を孤立点（画素値Ｙｂ（ｘ，ｙ））として除去する。

Ｙｂ（ｘ，ｙ）＝ｍｉｎ（Ｙａ（ｘ，ｙ），ｍａｘＹａ）・・・（３）
ｘｐ＝ｘ−１、ｘｎ＝ｘ＋１、ｙｐ＝ｙ−１、ｙｎ＝ｙ＋１
ｘ＝０のとき、ｘｐ＝ｘ＋１、ｘｎ＝ｘ＋１
ｘ＝７１９のとき、ｘｐ＝ｘ−１、ｘｎ＝ｘ−１
ｙ＝０のとき、ｙｐ＝ｙ＋１、ｙｎ＝ｙ＋１
ｙ＝４８５のとき、ｙｐ＝ｙ−１、ｙｎ＝ｙ−１
但し、ｍａｘＹａは、自画素を含まない周囲の画素（８近傍画素）で３番目に大きな画素値を示し、下記式（４）で表される。
ｍａｘＹａ＝Ｍｔｈ（Ｙａ（ｘｐ，ｙｐ），Ｙａ（ｘ，ｙｐ），Ｙａ（ｘｎ，ｙｐ），Ｙａ（ｘｐ，ｙ），Ｙａ（ｘｎ，ｙ），Ｙａ（ｘｐ，ｙｎ），Ｙａ（ｘ，ｙｎ），Ｙａ（ｘｎ，ｙｎ））・・・（４）
Ｍｔｈ関数は３番目に大きな値を戻す。

続いて、適応抽出部３は、垂直方向のエッジを強調し孤立点除去処理を施した画像に対して３点ＮＡＭ処理を実行する。具体的には、下記式（５）に従ってエッジ部分の注目画素（座標（ｘ，ｙ））とこれに隣接する２画素とから注目画素がエッジ部分に該当すると大きな値となるエッジ度Ｙｃ（ｘ，ｙ）を求める。これはエッジ強調処理でもあり、Ｙｃ（ｘ，ｙ）を画像として眺めるとエッジ強調画像になる一方で、Ｙｃ（ｘ，ｙ）が大きいことは座標（ｘ，ｙ）に位置する注目画素がエッジ部分としての性質が強いことを示す指標になる。
Ｙｃ（ｘ，ｙ）＝ｍａｘ（Ｙｂ（ｘｐ，ｙ），Ｙｂ（ｘ，ｙ），Ｙｂ（ｘｎ，ｙ））・・・（５）
ｘｐ＝ｘ−１、ｘｎ＝ｘ＋１
ｘ＝０のとき、ｘｐ＝ｘ＋１
ｘ＝７１９のとき、ｘｐ＝ｘ−１

適応抽出部３は、上述のようにしてエッジ適応処理を施した画像中のエッジを構成する画素のうち所定のエッジ度（Ｙｃ）以上（例えば、Ｙｃ≧１０）の画素を抽出し、これらを特定する情報（画像中の位置座標など）を求める。

次に、適応抽出部３は、エッジ適応処理を施していない原画像（電子画像６ｂから所定のエッジ度レベルについての適応条件を満たす適応画素Ａ，Ｂを抽出し、これら画素を特定する情報（画像上の位置座標など）を埋め込み処理部４に出力する。

埋め込み処理部４は、適応抽出部３からのエッジ部分で所定のエッジ度以上の画素や適応画素を特定する情報に従って原画像である電子画像６ｂの適応画素に対し、図５中の埋め込み周期で輝度変化処理を実行する。

図１０は、埋め込みビットごとのエッジ適応処理を示す図である。上記処理を図示の例で説明すると、適応抽出部３は、エッジ適応処理した画像からエッジを構成する画素のうちエッジ度が１０以上のものを抽出し、これらを特定する情報（位置座標）を求める。また、原画像である電子画像６ｂから輝度値１２８以上及び輝度値１８０以上の画素を適応画素として抽出し、これらを特定する情報（位置座標）を求める。これらの情報は、埋め込み処理部４に出力される。

次に、埋め込み処理部４は、図１０に示すように、適応Ａまたは適応Ｂの適応処理の変化量を増加させる。すなわち適応Ａではエッジ適応処理画像から選定したエッジ部分のエッジ度１０以上の画素であって輝度値が１２８以上の適応画素の輝度値の変化を１増加させる。適応Ｂでは適応Ａの処理に加えて特に輝度値が１８０以上の適応画素の輝度値の変化を１増加させる。適応Ａの処理によってほぼ充分に変化を与えることができるが、適応Ｂの処理を追加すると視覚的妨害の増加なくさらに強固な変化とすることができ、検出結果が安定する。

以上のように、この実施の形態３によれば、実施の形態１又は実施の形態２で示した処理で電子透かしを埋め込んだ電子画像６ｃに対してエッジ部分で所定のエッジ度以上の画素をさらに適応画素として抽出して電子透かしを埋め込むので、透かし埋め込み量を増加させることができ、電子透かしの耐性を向上させることができる。

なお、上記実施の形態１〜３では異なる適応処理をそれぞれ説明したが、これらを組み合わせた適応処理を実行しても良い。

実施の形態４．
図１１は、この発明の実施の形態４による電子透かし検出装置の構成を示すブロック図である。電子透かし検出装置８は、Ｇａｐ検出部９、相関検出部１０及び埋め込みビット判定部１１から構成される。電子透かし検出装置８は、例えば汎用コンピュータなどを用いて、本発明に従う電子透かし検出プログラムを実行させることによって具現化することができる。

つまり、電子透かし検出プログラムをコンピュータに実行させて上記構成要素９〜１１として機能させることにより、電子透かし検出装置８による特徴的なデータ処理を実行することができる。なお、以下の説明において、電子透かし検出装置８を具現化するコンピュータ自体の構成及びその基本的な機能については、上記実施の形態１と同様の理由から詳細な記載を省略する。

上記実施の形態１〜３で説明した電子透かし埋め込み装置１により電子透かしが埋め込まれた電子画像６ｃにおいて、電子透かしパターンの時間方向での変化パターンの位相が反転する時点でフレーム差分値（又はフィールド差分値）が急激に変化する。

そこで、電子画像６ｃに埋め込まれた電子透かしを認識していれば、上記位相反転時点に応じて周期的に電子画像６ｃからフレーム差分（又はフィールド差分）を検出することで、当該フレーム差分値（又はフィールド差分値）に基づいて本発明による電子透かしパターンを復元することができる。

Ｇａｐ検出部９では、上述したような周期的なフレーム差分の検出によって、分割領域ごとに電子画像６ｃから電子透かしパターンの時間方向での変化における画素値の変化分（以下、Ｇａｐと称する）を検出する。また、相関検出部１０は、上記実施の形態１〜３で説明した電子透かし埋め込み装置１により埋め込まれた電子透かしパターンと電子画像６ｃとの時間方向での画素値変化について分割領域ごとに相関を検出する。

埋め込みビット判定部１１は、Ｇａｐ検出部９及び相関検出部１０がそれぞれ検出したＧａｐ値及び相関値に基づいて電子画像６ｃに埋め込まれたビット値をそれぞれ判定し、両判定結果を総合的に判断して最終的に決定したビット値を埋め込みビットとして出力する。

次に動作について説明する。
以降の説明では、上記実施の形態で示した電子透かし埋め込み装置１により、入力電子画像６ａに電子透かしを埋め込んだ電子画像６ｃから上記電子透かしの埋め込みビットを検出するものとする。

また、電子画像６ｃとしては、電子透かし情報７に応じて、入力電子画像６ａのフレーム画像を４分割した領域の対角２領域（図２中の領域Ａ，Ｄ及び領域Ｂ，Ｃ）の適応画素の輝度値を逆位相で変化させた透かしパターンを時間方向（フレーム方向）に変化させたものを使用する。

さらに、対角領域Ａ，Ｄには、図５で示した埋め込み周期でビット００が埋め込まれているものとする。つまり、領域Ａに対して図５中の埋め込みビット００に対応する周期で輝度変化させ、領域Ｄに対して図５中の埋め込みビット０１に対応する周期で輝度変化させている。

電子透かし検出対象の動画像である電子画像６ｃを表示装置（モニタ）で再生させ、これをビデオカメラで再撮したものを電子透かし検出装置８に入力する。電子画像６ｃは、電子透かし検出装置８内のＧａｐ検出部９及び相関検出部１０にそれぞれ入力される。

Ｇａｐ検出部９では、電子画像６ｃにおける電子透かし埋め込み周期に基づいてＧａｐ検出時期が設定されており、この検出周期で電子画像６ｃの分割領域ごとにフレーム輝度差分を算出（Ｇａｐ検出）する。

図１２は、電子透かしの埋め込み周期（３０フレーム周期）におけるＧａｐ検出位置を示す図であり、上記実施の形態１で示した図５中の埋め込み周期で電子透かしを埋め込んだ場合を例にしている。図示の例では、７フレーム目が終わり８フレーム目の開始時点を示す時点ａ、１５フレーム目が終わり１６フレーム目の開始時点を示す時点ｂ、２２フレーム目が終わり２３フレーム目の開始時点を示す時点ｃ、３０フレーム目の開始時点を示す時点ｄでＧａｐを検出する。

時点ａ，ｃは、図５中の埋め込みビット１０，１１についての埋め込み周期の位相変化位置に対応し、時点ｂ，ｄが、図５中の埋め込みビット００，０１についての埋め込み周期の位相変化位置に対応する。

Ｇａｐ検出部９は、上記実施の形態１と同様に、フレーム方向の画像相関が顕著に変化する電子画像６ｃのシーンチェンジに同期して電子透かしが埋め込まれている場合、当該シーンチェンジで埋め込み周期の始点を把握し、Ｇａｐ検出処理を実行する。

この場合、Ｇａｐ検出部９は、例えば電子透かしの検出対象の動画像におけるフレーム方向の画像相関の時間変化が所定の閾値を超えるものをシーンチェンジとして検出する。そして、Ｇａｐ検出部９は、検出したシーンチェンジ以後のフレームを起点としてＧａｐ検出を実行する。

なお、シーンチェンジ後の数秒間（２〜３秒）は、電子画像６ｃとして取り込むべき再撮データの画質が乱れる。これは、ビデオカメラのオートアイリス機能などによってシーンチェンジ後の初めの３０フレームほどで輝度値が大きく変化するからである。

そこで、Ｇａｐ検出部９では、電子画像６ｃ中のシーンチェンジに同期してＧａｐ検出を実行するにあたり、例えばシーンチェンジ後の初めの３０フレームを用いず、輝度値が安定する３０フレーム以降の再撮データを使用する。

これにより、電子透かし検出処理におけるＧａｐ検出処理が、当初の検出周期からずれるようなことがあっても、対象画像中のシーンチェンジを基準として上記周期との同期を回復させることができる。

次にＧａｐ検出処理の詳細について説明する。
Ｇａｐ検出部９は、下記式（６）に従って、入力した電子画像６ｃの透かし埋め込み時の分割領域ごとに、Ｇａｐ検出時点前後（電子透かしパターンの埋め込み位相の変化前後）のフレームの輝度平均値の差分をＧａｐ値として算出する。
Ｇａｐ（ｉ）＝Ｙ（１５×ｉ＋１６）−Ｙ（１５×ｉ＋１５）−α ・・・（６）
α＝（Ｙ（１５×ｉ＋１５）−Ｙ（１５×ｉ＋１４）＋Ｙ（１５×ｉ＋１７）−Ｙ（１５×ｉ＋１６））／２
ここで、Ｙ（ｎ）はｎフィールド目の輝度平均を示す。再撮開始初めの３０フレームを無視することにより、ｉは４，５，６，・・・、出現するＹ（ｎ）はＹ（４４），Ｙ（４５），Ｙ（４６），Ｙ（４７），Ｙ（５９），Ｙ（６０），Ｙ（６１），Ｙ（６２），Ｙ（７４），Ｙ（７５），Ｙ（７６），Ｙ（７７），・・・となる。

上述のようにして、Ｇａｐ検出部９は、電子画像６ｃの透かし埋め込み時の各分割領域について、電子透かしの埋め込みビットに応じた上記埋め込み周期ごとに各Ｇａｐ検出時点でＧａｐ値を算出する。これらＧａｐ値の算出が終了すると、Ｇａｐ検出部９は、各分割領域Ａ〜Ｄにおいて各Ｇａｐ検出時点ａ〜ｄで得られるＧａｐ値の平均を算出する。例えば、領域ＡにおいてＧａｐ検出時点ａで得られるＧａｐ値の平均は、下記式（７）から求められる。

但し、ｎは自然数であり、ａ（１），ａ（２），ａ（３），・・・，ａ（ｎ）は、各埋め込み周期中のＧａｐ検出時点ａにてそれぞれ算出されたＧａｐ値を表している。分割領域Ｂ〜Ｄにおいて各Ｇａｐ検出時点ａ〜ｄで得られるＧａｐ値の平均についても同様の関係式から算出する。なお、ＡＧａｐ_ａ中のＡは電子画像６ｃの透かし埋め込み時の４分割領域のうちの領域Ａを表し、下付文字ａはＧａｐ検出時点ａを表している。

Ｇａｐ検出部９は、電子画像６ｃの透かし埋め込み時の４分割領域について、上記各Ｇａｐ検出時点でのＧａｐ値の平均を求めると、対角領域への輝度変化が逆位相であることから、下記式（８）に従って対角２領域（領域Ａ，Ｄ及び領域Ｂ，Ｃ）のＧａｐ値（Ａ_ＡＤＧａｐ_ａｃ、Ａ_ＡＤＧａｐ_ｂｄ、Ａ_ＢＣＧａｐ_ａｃ、Ａ_ＢＣＧａｐ_ｂｄ）を算出する。但し、Ａ_ＡＤは領域Ａ，Ｄを表し、Ａ_ＢＣは領域Ｂ，Ｃを表している。
Ａ_ＡＤＧａｐ_ａｃ＝（ＡＧａｐ_ａ＋ＡＧａｐ_ｃ−ＤＧａｐ_ａ−ＤＧａｐ_ｃ）／４
Ａ_ＡＤＧａｐ_ｂｄ＝（ＡＧａｐ_ｂ＋ＡＧａｐ_ｄ−ＤＧａｐ_ｂ−ＤＧａｐ_ｄ）／４
Ａ_ＢＣＧａｐ_ａｃ＝（ＢＧａｐ_ａ＋ＢＧａｐ_ｃ−ＣＧａｐ_ａ−ＣＧａｐ_ｃ）／４
Ａ_ＢＣＧａｐ_ｂｄ＝（ＢＧａｐ_ｂ＋ＢＧａｐ_ｄ−ＣＧａｐ_ｂ−ＣＧａｐ_ｄ）／４
・・・（８）

なお、電子透かしに係る輝度変化を対角領域に同位相にすると、画面全体の輝度変動により周期的に明るくなったり暗くなったりするのが視認できてしまうが、上述のように輝度変化を対角領域に逆位相にすることにより、画面全体の輝度の変動をキャンセルすることができる。

このようにして求められたＧａｐ_ａｃ、Ｇａｐ_ｂｄは、Ｇａｐ検出部９から埋め込みビット判定部１１に出力される。埋め込みビット判定部１１では、Ｇａｐ検出部９から入力したＧａｐ値（Ｇａｐ_ａｃ、Ｇａｐ_ｂｄ）を用いて、Ｇａｐ検出結果に応じた埋め込みビット判定を実行する。

図１３は、Ｇａｐ値と埋め込みビットとの関係を示す図であり、この図の関係に従って埋め込みビット判定部１１が埋め込みビットを判定する。図中のパラメータｘ，ｚは、Ｇａｐ検出部９が算出したＧａｐ値（Ｇａｐ_ａｃ、Ｇａｐ_ｂｄ）を用いて埋め込みビット判定部１１が求める。

ここで、ｘは、ｘ＝ｍａｘ（｜Ｇａｐ_ａｃ｜，｜Ｇａｐ_ｂｄ｜）であり、Ｇａｐ_ａｃ及びＧａｐ_ｂｄのうち、値が大きく有意値の候補となり得る方の絶対値を表している。また、ｚは、Ｇａｐ_ａｃ及びＧａｐ_ｂｄのうち、値が０に近いもの、つまり有意値の候補ではないものが該当する。

埋め込みビット判定部１１は、Ｇａｐ_ａｃ、Ｇａｐ_ｂｄが、パラメータｘ，ｚとして図１３中のいずれの関係に属するかで埋め込みビットを判定する。

次に、相関検出による埋め込みビット判定について説明する。
図１４は、電子透かしの埋め込み位相を示す図であり、図５で示した埋め込み周期における位相に対応する。相関検出部１０には、上記埋め込み位相を規定する関数ｆ^Ｉ（ｉ），ｆ^Ｑ（ｉ）が設定されている。これにより、検出対象の画像における電子透かしパターンの時間方向（フレーム方向）の変化パターンを把握している。

関数ｆ^Ｉ（ｉ）は、図５中の埋め込みビット００，０１に対応する埋め込み周期の位相を規定し、Ｉ−ｐｈａｓｅと称することとする。また、関数ｆ^Ｑ（ｉ）は、図５中の埋め込みビット１０，１１に対応する埋め込み周期の位相を規定する。これをＱ−ｐｈａｓｅと称することとする。

相関検出部１０は、入力した電子画像６ｃを用いて、下記式（９）を用いて相関を算出する上で使用するリファレンス画像データαを求める。このリファレンス画像データαは、電子画像６ｃの相関検出開始フィールドから検出対象の画像の最終フィールド（Ｎフィールド）までの注目フィールド（相関を検出するフィールド）の前６０フィールド分の輝度の平均値を示している。また、Ｙｊは電子画像６ｃの各フィールドごとの輝度平均値である。

このように、本発明では、リファレンス画像を求めるにあたり、相関を検出するフレーム（又はフィールド）の近傍のフレーム（又はフィールド）の輝度平均値を使用する。このようにした理由は、注目フレーム近傍のフレームが一般的に互いに類似する上、フレーム画像の輝度平均値をとることで画像内容の違いによる影響が低減され、より注目フレームを近似するリファレンス画像を得ることができるからである。

また、上述した前６０フィールド分の輝度の平均値の他に、下記式（１０）、（１１）のいずれかを採用してリファレンス画像データαを求めても良い。下記式（１０）は、電子画像６ｃがＮフィールドで構成されている場合、Ｎフィールドまでの輝度平均を求めるものであり、下記式（１１）は、注目フィールドの前２８後３０フィールドの輝度平均である。

続いて、相関検出部１０は、図５で示した埋め込み周期における位相を規定する関数ｆ^Ｉ（ｉ），ｆ^Ｑ（ｉ）とリファレンス画像データαとを用いて、下記式（１２）、（１３）から電子画像６ｃの透かし埋め込み時の分割領域ごとに埋め込み位相に応じた相関値を算出する。但し、ｉ＝ａは、リファレンス画像データαを算出可能なフィールド番号の初期値である。また、Ｙｉは電子画像６ｃの各フィールドごとの輝度平均値である。

上述のようにして、電子画像６ｃの透かし埋め込み時の分割領域Ａ，Ｂ，Ｃ，Ｄについて相関値を求めると、相関検出部１０は、対角領域への輝度変化が逆位相となるようにビット００が埋め込まれていることから、下記式（１４）に従って対角２領域（領域Ａ，Ｄ及び領域Ｂ，Ｃ）についての相関値Ｃ（Ｉ，Ａ_ＡＤ）、Ｃ（Ｑ，Ａ_ＡＤ）、Ｃ（Ｉ，Ａ_ＢＣ）、Ｃ（Ｑ，Ａ_ＢＣ）を算出する。但し、Ａ_ＡＤは領域Ａ，Ｄを表し、Ａ_ＢＣは領域Ｂ，Ｃを表している。
Ｃ（Ｉ，Ａ_ＡＤ）＝｛Ｃ（Ｉ，Ａ）−Ｃ（Ｉ，Ｄ）｝／２
Ｃ（Ｑ，Ａ_ＡＤ）＝｛Ｃ（Ｑ，Ａ）−Ｃ（Ｑ，Ｄ）｝／２
Ｃ（Ｉ，Ａ_ＢＣ）＝｛Ｃ（Ｉ，Ｂ）−Ｃ（Ｉ，Ｃ）｝／２
Ｃ（Ｑ，Ａ_ＢＣ）＝｛Ｃ（Ｑ，Ｂ）−Ｃ（Ｑ，Ｃ）｝／２
・・・（１４）

このようにして求められた相関値Ｃ（Ｉ，Ａ_ＡＤ）、Ｃ（Ｑ，Ａ_ＡＤ）、Ｃ（Ｉ，Ａ_ＢＣ）、Ｃ（Ｑ，Ａ_ＢＣ）は、相関検出部１０から埋め込みビット判定部１１に出力される。埋め込みビット判定部１１では、相関値Ｃ（Ｉ，Ａ_ＡＤ）、Ｃ（Ｑ，Ａ_ＡＤ）、Ｃ（Ｉ，Ａ_ＢＣ）、Ｃ（Ｑ，Ａ_ＢＣ）を用いて、相関検出結果に応じた埋め込みビット判定を実行する。

図１５は、相関値と埋め込みビットとの関係を示す図であり、この図の関係に従って埋め込みビット判定部１１が埋め込みビットを判定する。図中のパラメータｘ，ｚ、Ｃ（Ｉ）及びＣ（Ｑ）は、相関検出部１０が算出した相関値Ｃ（Ｉ，Ａ_ＡＤ）、Ｃ（Ｑ，Ａ_ＡＤ）、Ｃ（Ｉ，Ａ_ＢＣ）、Ｃ（Ｑ，Ａ_ＢＣ）を用いて、埋め込みビット判定部１１が求める。

ここで、Ｃ（Ｉ）は、Ｃ（Ｉ）＝Ｃ（Ｉ，Ａ_ＡＤ）＋Ｃ（Ｉ，Ａ_ＢＣ）であり、Ｃ（Ｑ）は、Ｃ（Ｑ）＝Ｃ（Ｑ，Ａ_ＡＤ）＋Ｃ（Ｑ，Ａ_ＢＣ）である。また、ｘは、ｘ＝ｍａｘ（｜Ｃ（Ｉ）｜，｜Ｃ（Ｑ）｜）であり、Ｃ（Ｉ）及びＣ（Ｑ）のうち、値が大きく有意値の候補となり得る方の絶対値を表している。ｚは、Ｃ（Ｉ）及びＣ（Ｑ）のうち、値が０に近いもの、つまり有意値の候補ではないものが該当する。

埋め込みビット判定部１１は、Ｃ（Ｉ）及びＣ（Ｑ）がパラメータｘ，ｚとして図１５中のいずれの関係に属するかで埋め込みビットを判定する。

次に、埋め込みビット判定部１１は、Ｇａｐ検出により判定した埋め込みビット値と相関検出により判定した埋め込みビット値とを総合的に判断して最終的な埋め込みビット値を判定し出力する。

図１６は、Ｇａｐ及び相関検出による判定値と埋め込みビットの最終判定値との関係を示す図である。図に示すように、本発明では、Ｇａｐ及び相関検出により相補的に埋め込みビットを判定する。例えば、一方の検出結果として埋め込みビットが未検出と判定されても、他方の検出結果で有意な埋め込みビット値が判定されれば、未検出の判定結果に誤りがあったものと判断することができる。

そこで、本発明では、一方の判定処理を補う形で有意な値が判定された結果を最終的な判定結果として採用する。このようにすることで、電子透かしの検出結果の信頼性や検出精度を向上させることができる。

なお、上述したＧａｐ及び相関検出において検出値のぶれを抑制するため、Ｇａｐ検出部９及び相関検出部１０が検出結果にクリップ処理を施すようにしてもよい。例えば、図１７に示すように、Ｇａｐ検出部９及び相関検出部１０は、輝度変化のＧａｐ及び相関の検出値が下方にぶれて−１より小さい値となった場合、予め設定しておいたクリップ値−１を検出値として採用する。また、Ｇａｐ及び相関の検出値が上方にぶれて＋１より大きい値となった場合、予め設定しておいたクリップ値＋１を検出値として採用する。

このように検出値に上下限値を設けて所定範囲内に制限することで、Ｇａｐ及び相関の検出対象の画像内容により検出結果にぶれが生じてもその影響を低減することができ、埋め込みビットの判定処理を安定して実行することができる。

図１８は、この実施の形態４による電子透かし検出装置の応用例を示す図である。図示の例では、電子透かし検出装置８をペン型検出器１２として構成している。ペン型検出器１２のペン先部には、ＣＲＴやＬＣＤなどのモニタ画面１４に表示される画像を読み取るビデオカメラが装備されており、上述した処理で電子透かしを検出する。検出結果の埋め込みビットは、表示窓１３に表示され、検出対象の画像に本発明による電子透かしが埋め込まれていることを確認することができる。

この応用例においては、本発明の電子透かしを埋め込み対象画像の一部領域に埋め込んでおく。そして、電子透かしの検出処理において、モニタ画面の上記埋め込み領域の表示部分にペン先部を押し当てて検出対象画像を読み込む。このように構成することで、モニタ画面１４に再生された画像を撮影しながら、簡易に電子透かしの検出を実行することができる。

以上のように、この実施の形態４によれば、Ｇａｐ及び相関検出により相補的に埋め込みビットを判定するので、電子透かしの検出結果の信頼性や検出精度を向上させることができる。

なお、上記実施の形態４では、Ｇａｐ検出による埋め込みビットの判定結果と相関検出による埋め込みビットの判定結果とを相補的に判断して最終的な埋め込みビットの決定を行う例を示した。しかし、本発明は、当該構成に限定されるものではない。

例えば、相関検出部１０を設けることなく、Ｇａｐ検出部９によるＧａｐ検出結果のみから埋め込みビット判定部１１が埋め込みビットを判定するように構成してもよい。この構成で検出精度を維持するには、検出対象の画像における電子透かしの埋め込み周期とそのＧａｐ検出周期との同期を厳密にとる必要がある。しかしながら、相関検出に要する時間が省略されるので、再撮画像の再生中にリアルタイムに電子透かしを検出するように構成することができる。

また、Ｇａｐ検出部９を設けることなく、相関検出部１０による相関検出結果のみから埋め込みビット判定部１１が埋め込みビットを判定するように構成してもよい。この構成では、相関検出部１０が、上述したように相関値の算出に用いるリファレンス画像データαを求めるにあたり、相関を検出するフレーム（又はフィールド）の近傍のフレーム（又はフィールド）の輝度平均値を使用する。

これにより、検出対象画像の画像内容の違いによる影響が低減され、より注目フレームを近似するリファレンス画像で相関値を算出することができ、検出精度を向上させることができる。

Claims

電子透かし埋め込み対象の電子画像を複数の画像領域に空間的に分割する分割処理ステップと、
画素値の変化が視認されにくい特性を有する画素を適応画素として上記画像領域ごとに抽出する適応抽出ステップと、
電子透かしの埋込ビット値に応じて上記画像領域ごとに、埋め込まれるべき電子透かしによる時間方向での画素値変化パターンと電子透かし埋め込み済みの電子画像の時間方向での画素値変化パターンとの相関検出によって検出される相関値が正または負のどちらかに大きく偏るように設定され、また電子透かし埋め込み位相の変化前後のフレーム輝度平均値の差分をＧａｐ値として検出するＧａｐ検出によって上記Ｇａｐ値が正または負のどちらかに大きく偏るように極性が変化する時間軸上で周期的な電子透かし波形を選択して画素に加算することで適応画素の画素値を変化させると共に、上記画像領域間の境界及び／又は時間方向で画素値変化の遷移が緩慢になるように段階的に変化させることにより電子透かし埋め込み画像を生成する埋め込みステップとを備え、
上記適応抽出ステップで、電子透かし埋め込みに係る輝度変化を加えても当該変化が視認されにくい輝度レベルの画素を適応画素として抽出することを特徴とする電子透かし埋め込み方法。
埋め込みステップで、画像領域間及び時間方向で互いに異なる位相極性で画素値を変化させることにより埋め込みビットを表現することを特徴とする請求項１記載の電子透かし埋め込み方法。
電子透かし検出対象の電子画像を画像領域に空間的に分割する分割処理ステップと
上記検出対象の画像領域ごとに電子透かし埋め込みによる時間方向での画素値変化に対応した画素値差分をＧａｐ値として検出するＧａｐ検出ステップと、
各画像領域において、電子透かしの各埋め込み周期中のある特定のＧａｐ検出時点で算出されたＧａｐ値の平均値を求める平均値算出ステップと、
各画像領域において、電子透かしの各埋め込み周期中のある２つのＧａｐ検出時点で算出されたＧａｐ値の平均値から対角２領域の差分を求め平均化することにより各画像領域間のＧａｐ値を算出する領域間Ｇａｐ値算出ステップと、
上記検出対象画像に埋め込まれるべき電子透かしによる上記画像領域間及び時間方向での画素値変化パターンと上記検出対象画像の時間方向での画素値変化パターンとの相関値を検出する相関検出ステップと、
上記各画像領域間のＧａｐ値及び上記相関値についての上記画像分割領域ごとの検出結果から上記埋め込みビットをそれぞれ判定し、これら判定結果を相補的に判断して最終的な埋め込みビットを決定する埋め込みビット判定ステップとを備えたことを特徴とする電子透かし検出方法。
Ｇａｐ検出ステップで、検出対象領域ごとに、電子透かし埋め込み位相の変化前後のフレーム輝度平均値の差分をＧａｐ値として算出することを特徴とする請求項３記載の電子透かし検出方法。
相関検出ステップで、検出対象画像を構成する時間方向の画像データのうち、注目画像データに対して時間的に近傍に位置する画像データの画素値平均をリファレンス画像として逐次算出し、各フィールドの輝度平均値と前記リファレンス画像とのデータ差分と上記検出対象画像に埋め込まれるべき電子透かしの画素値変化パターンとの相関値を算出することを特徴とする請求項３記載の電子透かし検出方法。
Ｇａｐ検出ステップ及び相関検出ステップで、検出値の上下限値を制限するクリップ処理を実行することを特徴とする請求項３記載の電子透かし検出方法。
Ｇａｐ検出ステップ及び相関検出ステップで、検出対象画像中のシーンチェンジに同期して検出処理を実行することを特徴とする請求項３記載の電子透かし検出方法。
Ｇａｐ検出ステップ及び相関検出ステップで、検出対象画像を構成する画像データのうちシーンチェンジに起因する画像の乱れを含む画像データを検出処理に使用しないことを特徴とする請求項３記載の電子透かし検出方法。
電子透かし埋め込み対象の電子画像を複数の画像領域に空間的に分割する分割処理部と、
画素値の変化が視認されにくい特性を有する画素を適応画素として上記画像領域ごとに抽出する適応抽出部と、
電子透かしの埋め込みビット値に応じて上記画像領域ごとに、埋め込まれるべき電子透かしによる時間方向での画素値変化パターンと電子透かし埋め込み済みの電子画像の時間方向での画素値変化パターンとの相関検出によって検出される相関値が正または負のどちらかに大きく偏るように設定され、また電子透かし埋め込み位相の変化前後のフレーム輝度平均値の差分をＧａｐ値として検出するＧａｐ検出によって上記Ｇａｐ値が正または負のどちらかに大きく偏るように極性が変化する時間軸上で周期的な電子透かし波形を選択して画素に加算することで適応画素の画素値を変化させると共に、上記画像領域間の境界及び／又は時間方向で画素値変化の遷移が緩慢になるように段階的に変化させることにより電子透かし埋め込み画像を生成する埋め込み処理部とを備え、
上記適応抽出部で、電子透かし埋め込みに係る輝度変化を加えても当該変化が視認されにくい輝度レベルの画素を適応画素として抽出することを特徴とする電子透かし埋め込み装置。
電子透かし検出対象の電子画像を画像領域に空間的に分割する分割処理部と、
上記検出対象の画像領域ごとに電子透かし埋め込みによる時間方向での画素値変化に対応した画素値差分をＧａｐ値として検出するＧａｐ検出部と、
各画像領域において、電子透かしの各埋め込み周期中のある特定のＧａｐ検出時点で算出されたＧａｐ値の平均値を求める平均値算出部と、
各画像領域において、電子透かしの各埋め込み周期中のある２つのＧａｐ検出時点で算出されたＧａｐ値の平均値から対角２領域の差分を求め平均化することにより各画像領域間のＧａｐ値を算出する領域間Ｇａｐ値算出部と、
上記検出対象画像に埋め込まれるべき電子透かしによる上記画像領域間及び時間方向での画素値変化パターンと上記検出対象画像の時間方向での画素値変化パターンとの相関値を検出する相関検出部と、
上記各画像領域間のＧａｐ値及び上記相関値についての上記画像分割領域ごとの検出結果から上記埋め込みビットをそれぞれ判定し、これら判定結果を相補的に判断して最終的な埋め込みビットを決定する埋め込みビット判定部とを備えたことを特徴とする電子透かし検出装置。
Ｇａｐ検出部は、検出対象領域ごとに、電子透かし埋め込み位相の変化前後のフレーム輝度平均値の差分をＧａｐ値として算出することを特徴とする請求項１０記載の電子透かし検出装置。
相関検出部は、検出対象画像を構成する時間方向の画像データのうち、注目画像データに対して時間的に近傍に位置する画像データの画素値平均をリファレンス画像として逐次算出し、各フィールドの輝度平均値と前記リファレンス画像とのデータ差分と上記検出対象画像に埋め込まれるべき電子透かしの画素値変化パターンとの相関値を算出することを特徴とする請求項１０記載の電子透かし検出装置。
電子透かし埋め込み対象の電子画像を複数の画像領域に空間的に分割する分割処理部、
画素値の変化が視認されにくい特性を有する画素を適応画素として上記画像領域ごとに抽出する適応抽出部、
電子透かしの埋め込みビット値に応じて上記画像領域ごとに、埋め込まれるべき電子透かしによる時間方向での画素値変化パターンと電子透かし埋め込み済みの電子画像の時間方向での画素値変化パターンとの相関検出によって検出される相関値が正または負のどちらかに大きく偏るように設定され、また電子透かし埋め込み位相の変化前後のフレーム輝度平均値の差分をＧａｐ値として検出するＧａｐ検出によって上記Ｇａｐ値が正または負のどちらかに大きく偏るように極性が変化する時間軸上で周期的な電子透かし波形を選択して画素に加算することで適応画素の画素値を変化させると共に、上記画像領域間の境界及び／又は時間方向で画素値変化の遷移が緩慢になるように段階的に変化させることにより電子透かし埋め込み画像を生成する埋め込み処理部、
としてコンピュータを機能させるプログラム。
電子透かし検出対象の電子画像を画像領域に空間的に分割する分割処理部、
上記検出対象の画像領域ごとに電子透かし埋め込みによる時間方向での画素値変化に対応した画素値差分をＧａｐ値として検出するＧａｐ検出部、
各画像領域において、電子透かしの各埋め込み周期中のある特定のＧａｐ検出時点で算出されたＧａｐ値の平均値を求める平均値算出部、
各画像領域において、電子透かしの各埋め込み周期中のある２つのＧａｐ検出時点で算出されたＧａｐ値の平均値から対角２領域の差分を求め平均化することにより各画像領域間のＧａｐ値を算出する領域間Ｇａｐ値算出部、
上記検出対象画像に埋め込まれるべき電子透かしによる上記画像領域間及び時間方向での画素値変化パターンと上記検出対象画像の時間方向での画素値変化パターンとの相関値を検出する相関検出部、
上記各画像領域間のＧａｐ値及び上記相関値についての上記画像分割領域ごとの検出結果から上記埋め込みビットをそれぞれ判定し、これら判定結果を相補的に判断して最終的な埋め込みビットを決定する埋め込みビット判定部
としてコンピュータを機能させるプログラム。
Ｇａｐ検出部は、検出対象領域ごとに、電子透かし埋め込み位相の変化前後のフレーム輝度平均値の差分をＧａｐ値として算出することを特徴とする請求項１４記載のプログラム。
相関検出部は、検出対象画像を構成する時間方向の画像データのうち、注目画像データに対して時間的に近傍に位置する画像データの画素値平均をリファレンス画像として逐次算出し、各フィールドの輝度平均値と前記リファレンス画像とのデータ差分と上記検出対象画像に埋め込まれるべき電子透かしの画素値変化パターンとの相関値を算出することを特徴とする請求項１４記載のプログラム。