JP4360363B2 - 電子透かし埋め込み方法及び装置及びプログラム - Google Patents

Description

本発明は、電子透かし埋め込み方法及び装置及びプログラムに係り、特に、複数のフレーム画像からなる映像信号に対する電子透かしを埋め込む技術において、電子透かし情報から構成された所定のパターンを各フレーム画像に重畳する電子透かし埋め込み方法及び装置及びプログラムに関する。

従来、ディジタルコンテンツに対し、電子透かし埋め込むことで、ディジタルコンテンツの著作権保護を行ったり、ディジタルコンテンツに関する著作権情報を参照したり、あるいは、ディジタルコンテンツを広告としての印刷物などのアナログ媒体を介した上でディジタルカメラなどで撮影し、電子透かしを読み取ることで広告に関連した情報を取得させたりといったサービスが実現されるようになってきた。

電子透かし埋め込み方法としては、例えば、電子透かしを埋め込む際に、埋め込み対象成分位置情報に基づいて、複素行列の実数成分と虚数成分を独立に変更するスペクトル拡散を行い、入力画像と独立に透かしパターンを生成し、実際の画像へパターンの加算を行うことで埋め込み済み画像を生成し、電子透かしを検出する際には、検出対象成分位置情報に基づいて検出対象系列を生成し、オフセット情報を抽出し、検出対象系列を修正した後にスペクトル逆拡散を行い、切り出した画素ブロック内に埋め込まれている電子透かしを検出するような電子透かし方式がある（例えば、特許文献１参照）。

また、映像信号においても、一般に映像信号は静止画像であるフレーム画像を連続させたものとして記録されるため、静止画像を対象とした電子透かし方式を応用することで電子透かしを埋め込むことが可能である。例えば、特許文献１に記載の電子透かし方法を用いて、映像信号の各フレーム画像に共通の電子透かしを埋め込むことでも映像信号に対する電子透かしを実現できる。

電子透かしとして、映像の各フレームに同一の固定パターンを重畳するような電子透かし埋め込み方法では、電子透かし埋め込みの強度が強くなると、埋め込まれた電子透かしパターンが、映像の動きと無関係に張り付いたように見え、いわばすりガラス状に目立って知覚されやすくなってしまい、透かしの埋め込み強度を強くすることができなかった。以下、このような現象をすりガラス効果と呼ぶことにする。

例えば、各フレームに埋め込む電子透かしのパターンに含まれるシンボル成分について、１フレーム当たりに含まれるシンボル数を少なくし、さらにフレーム毎に変化させることで、電子透かしのパターンを切替えるようにし、すりガラス効果を抑制する電子透かし方法が考えられる。また、電子透かしの検出時にフレームの同期が取れていない（どのフレームにどのシンボルが埋め込まれているかが判明していない）場合においても検出ができるように、各フレーム画像を予め重畳してから電子透かしの検出を行う方法も考えられる。

このように、様々な電子透かし方式が提案されているが、これら複数、あるいは、パラメータの変更の可能な電子透かし方式に対して比較評価する際には、所定のパラメータについて実際のコンテンツに対して電子透かしを埋め込み、変形、ノイズ付加、符号化などの所定の攻撃を加えた後に、電子透かしが検出できるかどうかを調べ、正解率、誤検出率、偽陽性判定率などを用いて評価を行っていた。
特開２００３−２１９１４８号公報「電子透かし埋め込み方法及び電子透かし検出方法及び電子透かし埋め込み装置、及び電子透かし検出装置、及び電子透かし埋め込みプログラムを格納した記憶媒体、及び電子透かし検出プログラムを格納した記憶媒体、及び電子透かしシステム」

従来の電子透かし埋め込み方法では、複数、あるいは、パラメータの変更の可能な電子透かし方式がある場合に、個々の入力映像に対してどちらかがどれだけ優れているかを、実際の電子透かし埋め込みを行う前に定量的に評価することができないため、期待する品質を求める中で、与えられた入力映像に対して最適となるように電子透かし埋め込み方式を制御することができないという問題がある。

例えば、静止している画像の場合は固定の電子透かしパターンが重畳されてもすりガラス効果は現れないため、パターンの切り替えを行う必要がない。つまり、従来の手法では、与えられた入力映像に対して、適切なすりガラス効果の抑制を図る埋め込み方式を制御することができないという問題がある。

本発明は、上記の点に鑑みなされたもので、複数、あるいはパラメータの変更の可能な電子透かし方式を備える電子透かし装置において、与えられた入力映像に対して最適となるように電子透かし埋め込み方式を制御することが可能な電子透かし埋め込み方法及び装置及びプログラムを提供することを目的とする。

図１は、本発明の原理を説明するための図である。

本発明（請求項１）は、複数のフレーム画像からなる映像信号を入力信号として、埋め込み情報に基づいて構成された埋め込みパターンを、画質劣化目標値、検出性能目標値に基づいて人間の知覚に感知されにくいように重畳する電子透かし埋め込み方法であって、
埋め込み情報を複数のシンボルに分割する埋め込み情報分割ステップ（ステップ１）と、
各フレーム画像について、透かし検出時ノイズ成分の分散及び共分散を算出する埋め込み前信号評価ステップ（ステップ２）と、
各フレーム画像について、透かし検出時ノイズ成分の分散及び共分散と、画質劣化目標値と、検出性能目標値とに基づき、埋め込みシンボル数を決定する多重度決定ステップ（ステップ３）と、
各フレーム画像について、埋め込みシンボル数と画質劣化目標に基づいて、該フレームに埋め込む電子透かしの埋め込み強度を決定する埋め込み強度決定ステップ（ステップ４）と、
複数のシンボルの各シンボルに対してスペクトル拡散処理を行い、各シンボルに対応する拡散パターンを生成し、複数のシンボルの各拡散パターンが複数のフレーム画像に対応する埋め込みパターン全ての中にそれぞれ等しい頻度で出現するように、各シンボルに対応する拡散パターンの中から埋め込みシンボル数分の拡散パターンを各フレーム画像に対して選択し、選択した拡散パターンをフレームごとに合成することで、フレーム画像それぞれに埋め込む埋め込みパターンを生成する埋め込みパターン生成ステップ（ステップ５）と、
各フレームに対し、埋め込み強度に従って、埋め込みパターンを重畳する埋め込みパターン重畳ステップ（ステップ６）と、を行う。

本発明（請求項２）は、請求項１記載の電子透かし埋め込み方法において、
検出性能目標値をＥ［ρ］、画質劣化目標値をβ、埋め込みシンボル数をｎ、透かし検出時ノイズ成分の分散を
透かし検出時ノイズ成分の共分散を
各シンボルに対応する拡散パターンの信号を
各フレーム画像の画素数をＬ、複数のフレームの数をｋとしたとき、
または、
（ａ _ｇ は定数）
を満たすｎを埋め込みシンボル数として決定する。

また、本発明（請求項３）は、請求項１記載の電子透かし埋め込み方法において、
透かし検出時ノイズ成分として、各フレーム画像または該フレーム内の部分領域画像を用いる。

また、本発明（請求項４）は、請求項１記載の電子透かし埋め込み方法において、
透かし検出時ノイズ成分として、映像信号のフレーム間差分、または、該映像信号中の部分領域のフレーム間差分を用いる。

また、本発明（請求項５）は、請求項１記載の電子透かし埋め込み方法において、
透かし検出時ノイズ成分として、映像信号のフレーム、または、該映像信号中の部分領域に、時間軸方向の畳み込み演算を施した信号を用いる。

また、本発明（請求項６）は、請求項１記載の電子透かし埋め込み方法において、
透かし検出時ノイズ成分として、映像信号の動きベクトル、または、該映像信号中の部分領域の動きベクトルを用いる。

また、本発明（請求項７）は、請求項６記載の電子透かし埋め込み方法において、
動きベクトルの大きさの平均を求め、該動きベクトルの大きさの平均と画質劣化の関係を用いて、画質劣化目標を満たすように電子透かしの埋め込み強度を決定する。

図２は、本発明の原理構成図である。

本発明（請求項８）は、複数のフレーム画像からなる映像信号を入力信号として、埋め込み情報に基づいて構成された埋め込みパターンを、画質劣化目標値、検出性能目標値に基づいて人間の知覚に感知されにくいように重畳する電子透かし埋め込み装置であって、
埋め込み情報を複数のシンボルに分割する埋め込み情報分割手段１０１と、
複数のシンボルの各シンボルに対してスペクトル拡散処理を行い、各シンボルに対応する拡散パターンを生成する拡散パターン生成手段と、
各フレーム画像について、透かし検出時ノイズ成分の分散及び共分散を算出する埋め込み前信号評価手段１１１と、
各フレーム画像について、透かし検出時ノイズ成分の分散及び共分散と、画質劣化目標値と、検出性能目標値とに基づき、埋め込みシンボル数を決定する多重度決定手段１１２と、
各フレーム画像について、埋め込みシンボル数と画質劣化目標に基づいて、該フレームに埋め込む電子透かしの埋め込み強度を決定する埋め込み強度決定手段１１３と、
複数のシンボルの各拡散パターンが複数のフレーム画像に対応する埋め込みパターン全ての中にそれぞれ等しい頻度で出現するように、各シンボルに対応する拡散パターンの中から埋め込みシンボル数分の拡散パターンを各フレーム画像に対して選択し、選択した拡散パターンをフレーム毎に加算して合成することで、フレーム画像それぞれに埋め込む埋め込みパターンを生成する埋め込みパターン生成手段１０２と、
各フレーム画像に対し、埋め込み強度に従って、埋め込みパターンを重畳する埋め込みパターン重畳手段と１０３、を有する。

また、本発明（請求項９）は、請求項８に記載の電子透かし埋め込み装置において、
多重度決定手段１１２は、
検出性能目標値をＥ［ρ］、画質劣化目標値をβ、埋め込みシンボル数をｎ、透かし検出時ノイズ成分の分散を
透かし検出時ノイズ成分の共分散を
各シンボルに対応する拡散パターンの信号を
各フレーム画像の画素数をＬ、複数のフレームの数をｋとしたとき、
または、
（ａ _ｇ は定数）
を満たすｎを埋め込みシンボル数として決定する手段を含む。

また、本発明（請求項１０）は、請求項８記載の電子透かし埋め込み装置において、
埋め込み前信号評価手段１１１は、
透かし検出時ノイズ成分として、各フレーム画像または該フレーム内の部分領域画像を用いる。

また、本発明（請求項１１）は、請求項８記載の電子透かし埋め込み装置において、
埋め込み前信号評価手段１１１は、
透かし検出時ノイズ成分として、映像信号のフレーム間差分、または、該映像信号中の部分領域のフレーム間差分を用いる。

また、本発明（請求項１２）は、請求項８記載の電子透かし埋め込み装置において、
埋め込み前信号評価手段１１１は、
透かし検出時ノイズ成分として、映像信号のフレーム、または、該映像信号中の部分領域に、時間軸方向の畳み込み演算を施した信号を用いる。

また、本発明（請求項１３）は、請求項８記載の電子透かし埋め込み装置において、
埋め込み前信号評価手段１１１は、
透かし検出時ノイズ成分として、映像信号の動きベクトル、または、該映像信号中の部分領域の動きベクトルを用いる。

また、本発明（請求項１４）は、請求項１３記載の電子透かし埋め込み装置において、
動きベクトルの大きさの平均を求め、該動きベクトルの大きさの平均と画質劣化の関係を用いて、画質劣化目標を満たすように電子透かしの埋め込み強度を決定する。

本発明（請求項１９）は、請求項８乃至１４の何れか１項に記載の電子透かし埋め込み装置を構成する手段としてコンピュータを機能させるための電子透かし埋め込みプログラム。

上記のように本発明によれば、複数あるいは、パラメータの変更の可能な電子透かし方式がある場合に、ここの入力信号に対してどちらがどれだけ優れているかを、実際の電子透かし埋め込みを行う前に定量的に評価することができる。

また、得られた評価結果に基づいて、期待する品質を求める中で、与えられた入力信号に対して最適となるように電子透かし埋め込み方式を制御することができる。その結果、電子透かしの検出性の高い電子透かし埋め込みを行うことができる。

＜入力信号の評価によってパターン生成を切替える電子透かし埋め込み方法＞
さらに、請求項１に記載された電子透かし埋め込み方法及び請求項１０に記載された電子透かし埋め込み装置によれば、電子透かしの埋め込みの対象となる信号の特性と、所与の電子透かし検出性能目標に応じて、最適な電子透かし方式を選択することができ、透かしによる知覚的な画質劣化を同程度に保ったまま、検出の精度を向上させることができる。

＜埋め込み多重度を切り替える電子透かし埋め込み方法＞
さらに、請求項２に記載された電子透かし埋め込み方法及び請求項１１に記載された電子透かし埋め込み装置によれば、電子透かし埋め込みの対象となる信号の特性に応じて、最適なすりガラス効果抑制の効果をもつ電子透かし方式を選択することができ、透かしによる視覚的な画質劣化を抑えることができる。

＜検出性能目標に応じて埋め込み多重度を切り替える電子透かし埋め込み方法＞
さらに、請求項３に記載された電子透かし埋め込み方法及び請求項１２に記載された電子透かし埋め込み装置によれば、電子透かしの埋め込みの対象となる信号の特性と、所与の電子透かし検出性能目標に応じて、最適なすりガラス効果抑制の効果を持つ電子透かし方式を自動的に選択することができ、透かしによる視覚的な画質劣化を同程度に保ったまま、容易に検出の精度を向上させることができる。

＜同期有無を考慮した目標性能＞
＜埋め込み多重度に応じて埋め込み強度を切り替える電子透かし埋め込み方法＞
さらに、請求項４に記載された電子透かし埋め込み方法及び請求項１３に記載された電子透かし埋め込み装置によれば、決定した多重度に応じて、目標の画質劣化の程度を満たす最適な電子透かし埋め込みを自動的に行うことができ、透かしによる視覚的な画質劣化を同程度に保ったまま、容易に検出の精度を向上させることができる。

＜映像信号の検出時のノイズ成分の分散とフレーム間相関を算出する＞
さらに、請求項５に記載された電子透かし埋め込み方法及び請求項１４に記載された電子透かし埋め込み装置によれば、目標とする埋め込み強度と検出精度に応じ、理論的な検出評価値に従う条件を用いることができ、理論的に最適な電子透かし埋め込みを行うことができる。

＜時間軸方向畳み込みフィルタを適用する＞
さらに、請求項６に記載の電子透かし埋め込み方法及び請求項１５に記載された電子透かし埋め込み装置によれば、映像信号のフレーム間の相関による影響を抑え、透かし検出時ノイズ成分の分散を小さくすることによって向上した電子透かし検出性能に従って電子透かし方式の制御ができ、その結果、精度よく最適な電子透かし方式の制御を行うことができる。

＜動きベクトルを算出する＞
さらに、請求項７に記載された電子透かし埋め込み方法及び請求項１６に記載された電子透かし埋め込み装置によれば、透かし埋め込みの対象となる信号においてすりガラス効果が引き起こされる程度に応じて、最適な電子透かし埋め込みを行うことができ、その結果、画質劣化を防ぐことができる。

＜動きベクトル評価に応じて埋め込み強度を切り替える電子透かし埋め込み方法＞
さらに、請求項８に記載された電子透かし埋め込み方法及び請求項１７に記載された電子透かし埋め込み装置によれば、映像信号の評価結果に応じて、目標の画質劣化の程度を満たす最適な電子透かし埋め込みを自動的に行うことができ、透かしによる視覚的な画質劣化を同程度に保ったまま、容易に検出の精度を向上させることができる。

＜領域単位で評価を行い制御する＞
さらに、請求項９に記載された電子透かし埋め込み方法及び請求項１８に記載された電子透かし埋め込み装置によれば、目標とする埋め込み強度と検出精度と品質水準に応じ、入力信号の区間内の部分領域ごとに最適な電子透かし埋め込みを行うことができ、その結果全体としての画質劣化を最小に抑えつつ、検出精度を高めることができる。

以下、図面と共に本発明の実施の形態を説明する。

本発明の実施の形態の説明を行う前に、本発明の背景となる電子透かしモデルとその理論的特性について説明する。

［１］パターン加算型電子透かしのモデル：
電子透かし埋め込みのモデルとして、動画像の各フレーム毎に次式で表される透かし埋め込みを行うモデルを考える。なお、以下の記載において“→”はベクトルを示す。また、例えば、

のような場合は、Ｘ_i→と記載する。

Ｗ→＝αＸ→＋Ｎ→ 式（１）
ここで、
Ｗ→：透かし埋め込み済み信号；
α：透かし埋め込み強度；
Ｘ→：透かし信号；
Ｎ→：フレーム原画像信号；
とする。また、Ｘ→の各要素は平均０、分散１に正規化されているものとする。

なお、
Ｗ→＝｛ｗ_１，ｗ_２，…，ｗ_Ｌ｝
Ｘ→＝｛ｘ_１，ｘ_２，…，ｘ_Ｌ｝
Ｎ→＝｛ｎ_１，ｎ_２，…，ｎ_Ｌ｝
とする。Ｌは各ベクトルの次元である。

ここで、モデル上の各情報は電子透かし埋め込みの具体的な方式によってそれぞれ異なってくることはいうまでもない。例えば、透かし情報を単純に原画像と同サイズの濃淡画像パターンにスペクトル拡散して原画像の輝度に重畳する電子透かし埋め込み方式であれば、Ｌは原画像の画素数、Ｘ→は透かし情報がスペクトル拡散された濃淡画像パターン（埋め込みパターン）の画素値を並べたベクトル、Ｎ→は原画像の全ての画素の輝度値を並べたベクトルとなる。

また、例えば、特開２００３−２１９１４８の電子透かし埋め込み方式であれば、Ｌは透かし埋め込み系列の長さであり、Ｘ→は透かし埋め込み系列、Ｎ→は原画像の周波数空間における埋め込み対象成分の周波数変換係数の系列となる。

また、例えば、画像のＤＣＴ係数に透かしを埋め込む電子透かし埋め込み方式であれば、Ｌは埋め込みを行うＤＣＴ係数の個数であり、Ｘ→は透かし埋め込み系列、Ｎ→は原画像の埋め込み位置のＤＣＴ係数の列となる。

上記のモデルでは、結果的に原映像信号のフレーム画像に対し、透かし埋め込みパターンを所定の強度で重み付けして加算することで、電子透かしの埋め込みを行っていることから、ここでは、「パターン加算型電子透かしモデル」と呼ぶことにする。

［２］検出性能評価指標のモデル：
上記の式（１）の電子透かし埋め込みモデルで埋め込まれた電子透かしの検出を、検出性能評価指標として次の透かし検出評価値を用いて行う電子透かし検出モデルを考える。

透かし検出評価値ρを、

とする。ここでＷ´→は、

であり、ｍ_ｗ、σ_ｗはそれぞれＷ→の各要素の平均及び標準偏差、Ｉ→は単位ベクトルである。Ｗ´はＷ→の各要素を平均０、分散１に正規化したものになっている。

Ｎ→とＸ→が独立であるとき、Ｎ→の各要素の平均及び分散がそれぞれｍ_ｎ，σ_ｎ ^２であるとすると、上記ρの期待値を求めると、

となる。

ρは、電子透かしが埋め込まれていないとき、即ち、α＝０のとき、平均０、分散１の正規分布を持つことが計算で求められる。従って、透かしが埋め込まれていないのに、埋め込まれていると判定してしまう偽陽性判定率（false positive rate）を考え、電子透かしの検出における偽陽性判定率が、予め与えられた偽陽性判定率εとなるときのρの値を、ρの閾値として定めることで、ρの値を電子透かしの検出信頼度指標値とすることができる。これは、例えば、文献「中村高雄、片山淳、山室雅司、曽根原登『カメラ付携帯電話機を用いたアナログ画像から高速電子透かし検出方式』電子情報通信学会論文誌D-II Vol. J87-D-II, No.12, pp.2145-2155(2004年12月)」（以下、文献１と記す）に記載されている。

また、変形や符号化などに対する電子透かし信号の劣化の仕方が同様な複数種類の電子透かし方式を比較する場合、電子透かし方式の検出性能の比較として、上記の期待値Ｅ［ρ］の大きさを比較指標として用いることができる。

［３］パターン加算型電子透かしモデルの変形：
パターン加算型電子透かしモデルの変形として、次のような電子透かし埋め込みを考える。

電子透かし情報がｋ個のシンボルＳ_１，Ｓ_２，…，Ｓ_ｋに分割され、それぞれ透かし信号Ｘ_１→，Ｘ_２→，…，Ｘ_ｋ→が生成されるとする。ここで、Ｘ_ｉ→は平均０、分散１に正規化されているものとする。

原画像の１枚のフレームに、ｎ種の透かし信号を多重化して埋め込む。ここで、多重化はｎ種の透かし信号を後述する式で示すように加算することで行う。多重化する透かし信号の種類は、全ての透かし信号が等しい頻度で出現するようにｋ個の透かし信号の中からｎ種の透かし信号を選択するようにする。その結果、あるシンボルＳ_ｉについてみたとき、平均してｋ枚のフレーム中ｎ枚のフレームに、対応する透かし信号Ｘ_ｉ→が含まれていることになる。ここで、ｎを透かしの多重度と呼ぶことにする。

但し、ここでは、透かし信号が等しい頻度で出現するようにｋ個の透かし信号の中からｎ種の透かし信号を選択するようにしたが、異なる頻度で出現するように選択した場合も、下記と同様の計算により透かし検出評価値の分析を行うことができる。よって、本発明において、この選択の仕方を上記の方法に限定するものではなく、異なる頻度で出現するようにしても構わない。

このとき、埋め込みモデルを式で表すと下記のようになる。

ここで、

の各要素の平均と標準偏差であり、

は、フレームｉに対して埋め込むシンボルを表す番号であり、１〜ｋの数の中からｎ個の数を取り出して小さい順に並べた列である。

Ｘ_ｉ→の平均が０であることから、

Ｘ_i→の分散が１であり、各Ｘ_ｉ→は独立であることから、

である。よって、

となる。

このように埋め込まれた電子透かしに対し、次の２つの方法で透かし信号Ｘ_ｉ→の検出を行う。
・方法１：
ｋ枚のフレーム画像の中から、目的の透かし信号Ｘ_ｉ→が含まれているｎ枚のフレーム画像を選択して重畳した画像に対して検出を行う。
・方法２：
ｋ枚のフレーム画像全てを重畳した画像に対して検出を行う。

ここで、「フレーム画像を重畳する」とは、例えば、各フレーム画像の共通の位置の画素値をそれぞれ合計し、一枚の画像を求めるといった処理を表す。また、例えば、各フレームの画像を予め高域通過フィルタなどの画像フィルタによってフィルタ処理した後に重畳するようにしてもよい。

ここで、以下では計算を容易にするためｋフレームの検出対象動画像から透かし信号を検出する場合を例に説明しているが、電子透かし検出の対象とする映像がｋフレームと異なるフレーム数を持っていても同様の概念で検出を行うことができる。例えば、検出対象動画像が全部でｋ´フレームからなる場合に方法１を「ｋ´枚のフレーム画像の中から、目的の透かし信号Ｘ＿ｉが含まれているフレーム画像（平均ｎｋ´／ｋ枚のフレームとなる）を選択して重畳した画像に対して検出を行う」、方法２を「ｋ´枚のフレーム画像全てを重畳した画像に対して検出を行う」のようにしても、若干の式の変更のみで以下と同様の議論が成り立つ。

電子透かしの検出時に何らかの手段によってフレームの同期が取られているとき、即ち、どのフレーム画像にどの透かし信号が埋め込まれているかが判明している場合には方法１の検出方法を取ることができる。一方、フレームの同期がとれていない場合には方法２の検出方法をとらなければならない。後者の例としては、透かし埋め込み後にカメラキャプチャ等によるフレーム位置ずれや、攻撃や通信エラーによるフレーム落ちが生じた場合が考えられる。

この二つの方法を使い分けることで、カメラキャプチャやフレーム落ちといった攻撃を受けた場合にも電子透かしが検出できるロバストネスを確保しつつ、同期の取れているときには信頼度の高い電子透かし検出ができ、効率的な電子透かし検出が可能となる。例えば、万一攻撃を受けて不正利用された場合に、検出を可能にしつつ、攻撃のないときに関連情報を取得したり、視聴管理を行ったりする際には、高精度で効率的な電子透かし検出ができる。その結果、本発明の電子透かしにより、複数の用途を同時に満たすことができ、電子透かしの適用範囲を拡大することもできる。

なお、上記の同期がとれない例は、本発明の適用領域を限定するものではなく、フレームの同期がとれないどのような状況に対して本発明を適用しても構わないことは言うまでもない。また、上記の電子透かしの適用例も本発明の適用領域を限定するものではなく、どのようなサービスに適用しても構わないことは言うまでもない。

なお、方法１、方法２では、フレーム画像を重畳した画像に対して検出を行う方法を示しているが、１フレーム画像毎に検出を行うようにする方法もある。即ち、
・方法１´：
ｋ枚のフレーム画像の中から、目的の透かし信号Ｘ_ｉ→が含まれているｎ枚のフレーム画像を選択し、各フレーム画像に対して検出を行い、ｎ回の検出試行の結果を総合して判定を行う。
・方法２´：
ｋ枚のフレーム画像全てに対し、各々検出を行い、ｋ回の検出試行の結果を総合して判定を行う。

複数回の検出試行の結果を総合するのは、例えば、複数回の検出試行で得られた検出評価値の平均値で評価するなどの方法がある。これらの場合にも、各フレームの透かし検出における透かし検出評価値の値に対し、検出評価値ρの期待値を下記と同様の議論により求めることができる。但し、検出試行の回数が増えている分、偽陽性判定率が増加していることを考慮して検出結果の信頼度を評価する必要がある。

・方法１による検出：
以下で方法１による検出を行った場合の検出評価値について考察する。

ここで、透かし信号Ｘ_１→がフレーム１〜フレームｎに含まれている場合として、

である場合を考え、その場合のＸ_１→に対する検出評価値ρを求める。

フレーム画像を重畳することは各辺を足し合わせることと等しく、

よって、これから透かし信号Ｘ_１→を検出する場合、式（３）において、

と変換することと同義である。Ｎ_ｉ→の各要素の平均、分散がそれぞれ、

であるとするとき、上式よりＮ→の平均ｍ_ｎ及び分散σ_ｎ ^２を考えると、

全てのｉについてＸ_ｉ→が互いに独立で、全てのｉ，ｊについて、Ｘ_ｉ→、Ｎ_ｊ→が独立であるとすると

ただし、

は、Ｎ_ｉ→、Ｎ_ｊ→の各要素についてみたときの共分散であり、

従って、Ｘ_１→の検出評価値ρの期待値は、

Ｘ_１→をＸ_２→，Ｘ_３→，…，X_k→と変えても同様の議論が成り立ち、これらは等価であるから、方法１におけるシンボルごとの検出評価値ρの期待値は、式（５）で与えられることがわかる。

例えば、ｎ＝ｋのとき、

｛ｙ_ｉ２，ｙ_ｉ３，…，ｙ_ｉｋ｝は、２〜ｋの数からｋ−１個選んで並べた列であるから、２〜ｋの数が全て現れることになり、

であり、各Ｘ_ｉ→が独立で、

であることから、

また、例えば、ｎ＝１のとき、式（５）の

の項は０になり、

となり、これは式（３）と同一である。

・方法２による検出：
以下で方法２による検出を行った場合の検出評価値について考察する。

フレーム画像を重畳することは各辺を足し合わせることと等しく、

の中にＸ_ｉ→はそれぞれ平均してｎ回現れることからＷ_ｓ→の平均値は、

よって、これから透かし信号Ｘ_１→を検出する場合、式（３）において、

と変換することと同義である。上式よりＮ→の平均ｍ_ｎ及び分散σ_ｎ ^２を考えると、

全てのｉについてＸ_ｉ→が互いに独立で、全てのｉ，ｊについて、Ｘ_ｉ→とＮ_ｊ→が独立であるとすると、

従って、Ｘ_１→の検出評価値ρの期待値は、

Ｘ_１→をＸ_２→，Ｘ_３→，…，Ｘ_ｋ→と変えても同様の議論が成り立ち、これらは等価であるから、方法２におけるシンボル毎の検出評価値ρの期待値は、式（８）で与えられることがわかる。

例えば、ｎ＝１のとき、

また、ｎ＝ｋのとき、

であり、これは式（６）と同じである。

［４］埋め込み強度と検出評価値の関係：
式（６）（７）（９）の検出評価値について、所定のσ_ｎ ^２，ｋに対してαを変化させたときのグラフの概形を図示すると、図３のようになる。

また、式（８）において、分母の平方根内の２，３項目はｎが大きくなれば単調減少するため、式（８）のＥ［ρ］は、ｎが大きくなれば、単調増加する。

一方、式（５）において、分母の平方根内の２項目のα^２に対する係数部分は、Ｘ_２→，…，Ｘ_ｋ→のｋ−１個からｎ−１個を選ぶ試行をｎ回繰り返したときに、各Ｘ_ｊ→のそれぞれが選ばれた合計個数をｐ_ｊとして、

となる。ｙ_ｉｊを前述の条件を満たすようにランダムに選んだとき、ｎに対する式（１１）の値を各ｎに対して１０００通りをシミュレーションによって計算した結果をプロットすると、図４のようになる。但し、図４はｋ＝１６とした場合で、実線は各ｎでの１０００通りの計算値の平均値を直線で結んだものである。図４より、式（１１）は、平均的にはｎが大きくなるにつれて単調増加していることがわかる。

さらに、式（５）において、分母の平方根内の３項目は、フレーム毎の検出時ノイズ成分の分散の平均値を表しており、平均的にはｎの変化に対して影響しない項である。

さらに、式（５）において、分母の平方根内の４項目は、ｎフレームに対するフレーム間の検出時ノイズ成分の共分散の総和をｎで割ったものであり、平均的にはｎの増加に対して単調増加する項である。

以上より、式（５）のＥ［ρ］は、ｎが大きくなれば平均的には単調減少するといえる。

これは、n＜ｋのとき、方法１は方法２よりも高い検出評価値を得ることができ、ｎがｋに近づくにつれ、方法１での検出評価値が徐々に下がる一方で方法２での検出評価値が上がり、ｎ＝ｋのときに２つの方法が同一になることを示している。

即ち、同じｋフレームを利用して検出をするという状況を考えたとき、ｎの大小は次のような電子透かしの検出特性を制御するパラメータとなることを意味している。
・ｎが小さい場合は、方法１のようにフレームの同期が取れていれば高い検出評価値を得ることができる一方、フレームの同期がとれていなければ低い検出評価値となる。
・ｎが大きい場合は、方法１のようにフレームの同期がとれていてもｎが小さいときほどの検出評価値を得ることはできない一方、フレームの同期が取れていない場合は検出評価値が底上げされる。

図５に、上記の電子透かし埋め込みモデルに従って実装した電子透かし埋め込みプログラムを用い、所定の平均、分散値を持つようにランダムに合成された画像に対して電子透かしを埋め込み、埋め込み強度αに対する検出評価値ρを測定したグラフを示す。

ここで、各パラメータＬ＝４０９６，ｋ＝８，σ_ｎ ^２＝４０，

となるようにして実験を行った。

図５において、実線はそれぞれ上から順に式（７）、（１０）、（９）に従う理論値であり、プロットされている点が実測値である。図５から、理論値に沿った実測値が得られていることがわかる。

なお、特に式（７）に対応したプロットにおいて、測定値が階段状をなしているのは、電子透かし埋め込み画像として、８bppの量子化を行っているために、画素値の１段階未満の変位となる埋め込み強度変化においては結果として測定値が大きく変化しないことに起因している。これは、１フレームのみから検出を行う式（７）に対応したプロットにおいて顕著である。

［５］透かし多重度と画質劣化の関係：
多重度ｎが大きいとき、所定の数のフレームの中で個々のシンボルの含まれるフレームの割合が大きくなる。その結果、電子透かしのパターンがすりガラスとして見えやすくなり全体として画質劣化が大きくなるといえる。一方、すりガラス効果の程度は、原画像信号の特徴にも依存している。さらに、画質劣化は電子透かしの埋め込み強度によっても変化する。

これらより、画質劣化の程度を表す指標値βを仮定すると、βは、埋め込み強度α、多重度ｎ、信号原画像信号Ｎ_１→，Ｎ_２→，…の関数となっていると考えることができる。

さらに、埋め込み強度の大小と画質劣化の大小には強い相関があると考えられ、Ｆを、

で近似できると仮定する。ｇは、実在のコンテンツについての電子透かし埋め込みと画質の主観評価を行うことで実験的に求めることができる。

例えば、仮に

であることが実験的に求められた場合を考える。但し、ａ_ｇは定数である。

上式を用いて埋め込み強度αと画質劣化βの変換を行えば、図３のグラフは図６に示す画質劣化に対する検出評価値のグラフのように書き表すことができる。

このとき、検出評価値ρの期待値は次式で表される。

［６］検出性能目標に応じた埋め込み方式の制御：
今、電子透かしの検出性能目標として、目標とする検出評価値ρ_０及び画質劣化の程度β_０が与えられたときに次の条件を満たす電子透かし埋め込み方式を考える。

・条件１：同期のとれない状況においても検出評価値ρ_０を越える検出性能を持つ方式の中で、同期のとれた場合の検出評価値が最大となるもの。

・条件２：同期がとれた状況において検出評価値ρ_０を越える検出性能を持つ方式の中で、同期のとれない場合の検出評価値が最大となるもの。

まず、条件１について考える。

図６のグラフ上で、ρ_０及びβ_０を書くと図７のようになる。但し、図７では、図６より狭い範囲を表示していることに注意されたい。

条件１を満たすためには、図７において、ρ＞ρ_０、β＜β_０の領域（図７で網掛けされた、条件に該当する領域６０１）内を通過する方法２の曲線に相当するｎの中で、同じｎの方法１での検出性能が最大となるものを選べばよい。

式（１５）において、前述の式（５）の単調減少性の議論と同様の議論が成り立ち、さらに、式（１５）で追加された分母の

の項についても単調増加であるから、結果としてｎが小さいほどρの値が大きくなる。

また、式（１６）において、

がｎが大きくなれば単調減少することから、結果としてｎが小さいほどρの値が小さくなる。

従って、条件１を満たすｎの値は、(β_０、ρ_０)を通る方法２の曲線に対応するｎの値となることがわかる。

条件２についても同様に考える。

図８において、ρ＞ρ_０，β＜β_０の領域（図８で網の掛けられた、条件に該当する領域７０１）内を通過する方法１の曲線に相当するｎの中で、同じｎの方法２での検出性能が最大となるものを選べばよい。

式（１５）において、ｎが大きいほどρの値が小さくなり、式（１６）において、ｎが大きいほどρの値が大きくなることから、条件２を満たすｎの値は(β_０，ρ_０)を通る方法１の曲線に対応するｎの値となることがわかる。

このように、電子透かしによる画質劣化βと検出評価値ρとの関係を明らかにすることで、所与の検出性能目標要件を満たす電子透かし埋め込み方式のパラメータを決定することができる。

［７］単純な透かし方式の例：
パターン加算型電子透かしモデルに従う電子透かしとして、例えば次のようなものが挙げられる。なお、本発明は、ここであげる電子透かし方式に限定するものではなく、この他の電子透かし方式であっても構わないことはいうまでもない。

・電子透かし埋め込み
（１）電子透かし情報としてｋビットの情報を用意する。

（２）ｋビットの電子透かし情報を１ビットずつに分け、ビットｊに長さＬの２種類の透かし信号系列Ｚ_ｊ→，Ｚ´_ｊ→を割り当てる。

（３）各ビット値に従い、埋め込みを行う透かし信号Ｘ_ｊ→をＺ_ｊ→，Ｚ´_ｊ→のいずれかから選択する。

（４）埋め込みの対象となる映像信号の各フレームｉ毎に以下を繰り返す。

（４−１）多重度ｎに従い、ｋ種のビットの中からランダムにｎ個を選択し、式（４）に従って透かし埋め込み系列ξ_ｉ→を算出する。ランダムに選択する代わりに予め何フレーム目毎にどのビットが埋め込まれるかを決めておいてもよい。

（４−２）対象のフレームの画素値をラスタスキャン順にＬ画素ずつ取り出し、全ての画素に対して処理を済ませるまで以下を繰り返す。

（４−２−１）Ｌ個の画素値の列を原画像信号系列Ｎ→とし、次式で得られる埋め込み済み系列Ｗ→で対象フレームの対応する画素の画素値を変更する。

・電子透かし検出：方法１
以下の手順により、電子透かしの埋め込まれた映像から、ｊ番目のビット値を取り出す。但し、事前にフレームの同期が取れているものとする。

（１）埋め込みの対象となる映像信号からＸ_ｊの埋め込まれているフレームをｎフレーム取り出し、フレームを通して同座標の画素値を加算し、検出対象画像ＩＭを得る。

（２）ＩＭの画素値をラスタスキャン順にＬ画素ずつに分け、画素列im₁→、im₂→，…，ｉｍ_ｍ→の算術平均を求めたものをＷ→とする。

ここで、ｍはＩＭの全画素数をＬで割った値となる。

（３）Ｗ→に対してＺ_ｊ→，Ｚ´_ｊ→について式（３）により検出評価値ρを求める。但し、式（３）のＸ→はＺ_ｊ→，Ｚ´_ｊ→と置き換えて２回計算を行い、値の大きい方のビット値が検出されたものと見做す。また、検出評価値ρが所与の偽陽性判定率によって求まる閾値を越えていない場合は電子透かしが埋め込まれていないものとみなす。

・電子透かし検出：方法２
以下の手順により、電子透かしの埋め込まれた映像からｊ番目のビット値を取り出す。

（１）埋め込みの対象となる映像信号からｋフレーム取り出し、フレームを通して同座標の画素値を加算し、検出対象画像ＩＭを得る。

（２）ＩＭの画素値をラスタスキャン順にＬ画素ずつに分け、画素列im₁→、im₂→，…，ｉｍ_ｍ→の算術平均を求めたものをＷ→とする。

ここで、ｍはＩＭの全画素数をＬで割った値となる。

（３）Ｗ→に対してＺ_ｊ→，Ｚ´_ｊ→について式（３）により検出評価値ρを求める。但し、式（３）のＸ→はＺ_ｊ→，Ｚ´_ｊ→と置き換えて２回計算を行い、値の大きい方のビット値が検出されたものとみなす。また、検出評価値ρが所与の偽陽性判定率によって求まる閾値を越えていない場合は電子透かしが埋め込まれていないものと見做す。

［本発明の前提とする電子透かし装置］
まず、本発明の前提となる基本的な電子透かし埋め込み装置の構成について説明する。

図９は、本発明の前提となる基本的な電子透かし埋め込み装置の構成例を示す。以下では、動画像への電子透かし埋め込みを例に説明する。

電子透かし埋め込み装置８００は、埋め込み情報分割部８０１と、埋め込みパターン生成部８０２と、埋め込みパターン重畳部８０３と、から構成される。

電子透かし埋め込み装置８００には、電子透かしを埋め込む前の映像信号である埋め込み前信号８０５と、埋め込みたい情報である埋め込み情報８０４とが入力され、埋め込み前信号８０５に対して埋め込み情報８０４を埋め込んだ結果得られる埋め込み済み信号８０６を出力する。

電子透かし埋め込み装置８００による電子透かしの埋め込み処理は以下のような手順で実施される。

（１）まず、埋め込み情報分割部８０１に埋め込み情報８０４が入力され、埋め込み情報８０４を複数のシンボルＳ_１，Ｓ_２，…，Ｓ_ｋに分割する。

ここで、シンボルとは、それぞれ埋め込み情報のうちの一部分の情報を表し、実際の電子透かし埋め込みの処理単位となる情報であり、例えば、埋め込み情報８０４が６４bit長の二進数値で与えられたとき、図１０に示すように１２bitずつの情報に区切って１２bitの情報の各々がシンボルとするようにされていてもよい。あるいは１シンボルで１bitの情報を表すようにされていてもよい。図１０の例のように埋め込み情報８０４の長さ（ここでは６４bit）が各シンボルの長さ（１２bit）で割り切れない場合は、一部のシンボル（ここでは最後のシンボル）の一部のbitを固定の値（ここでは値０）でpaddingするようにしてもよい。

（２）次に、埋め込みパターン生成部８０２において、埋め込み情報分割部８０１で得られたシンボルに基づき、透かし情報を表す画像パターンである埋め込みパターンを生成する。

埋め込みパターンの生成方法の詳細については後述する。

（３）埋め込みパターン重畳部８０３では、入力された埋め込み前信号８０５の各フレーム画像に対し、埋め込みパターン生成部８０２で生成された埋め込みパターンを加算することで重畳し、電子透かしの埋め込まれたフレーム画像を生成し、順次出力することで、埋め込み済み信号８０６を得る。

埋め込みパターンの重畳の際、フレーム画像の大きさ（画角）が埋め込みパターンの大きさ（画角）よりも大きい場合は、図１１に示すように埋め込みパターンを繰り返し縦横にタイル状に敷き詰めるように加算してもよい。図１１では埋め込みパターンが正方形状をなしている例を示しているが、別な形状であっても構わないことはいうまでもない。例えば、埋め込みパターンが平行四辺形であっても構わない。

［埋め込みパターン生成方法］
埋め込みパターン生成部８０２における埋め込みパターン生成は、例えば、次のような手順によって行われる。

（１）埋め込み情報分割部８０１で得られた各シンボルに対してスペクトル拡散処理を行い、各シンボルに対応した拡散パターンＰ_１，…，Ｐ_ｋを生成する。

スペクトル拡散の方法としては、例えば次のような方法がある。

例えば、１シンボルが１bitの情報を表現している場合には、各シンボルＳ_１，…，Ｓ_ｋに対して、それぞれ｛１，−１｝の値をとる計ｋ通りのＰＮ系列ＰＮ_１＝（pn₁₁，pn₁₂，…，），…，ＰＮ_ｋ＝（pn_k1，pn_k2）を生成し、シンボルｉに対して、シンボルの値がビット１を表す場合はＰＮ_ｉを、シンボルの値がビット０を表す場合は、−ＰＮ_ｉを拡散パターンＰ_ｉとして用いるようにしてもよい。

また、例えば、１シンボルが１２bitの情報を表現している場合には、各シンボルに対してそれぞれ４０９６通りのＰＮ系列ＰＮ_{（１，１）}，…，ＰＮ_{（１，４０９６）}，ＰＮ_{（２，４０９６）}，…，ＰＮ_{（ｋ，４０９６）}を用意し、シンボルｉに対して、シンボルｉの値が１２ｂｉｔで整数値ｘを表す場合に、ＰＮ_{（ｉ，ｘ）}を拡散パターンＰ_ｉとして用いるようにしてもよい。また、ＰＮ系列としては例えば、Ｍ系列を用いてもよい。このような拡散パターンの生成方法については特許文献１にも述べられている。

また、ここでは、拡散パターンとして１次元の数列を生成するようにしたが、同様の方法で得られた数例をもとに2次元の画像パターンとして拡散パターンを生成するようにしてもよい。例えば、１次元の数列を元に複素行列の成分値を増減させて得た透かし係数行列に離散逆フーリエ変換などの直交変換を施し、得られた画像パターンを拡散パターンとして用いても良い。

（２）さらに、上記で得られた各拡散パターンを合成し、合成拡散パターンＲを生成する。

合成拡散パターンの生成は、例えば、ｋ個の拡散パターンのうちの1つ以上のパターンを選択し、選択したパターンを全て足し合わせることで生成する。例えば、
Ｒ＝Ｐ_１＋Ｐ_３＋Ｐ_４
のように計算し、このときＲはシンボル1，3，4をそれぞれ「含む」と呼ぶことにする。また、選択した拡散パターンの個数ｎの値が、前述のパターン加算型電子透かしモデルの変形で述べた多重度に相当する。

（３）次に、上記の合成拡散パターンを元に、実際に映像信号に対して重畳する画像パターンを生成する。

これは例えば、特許文献１に述べられている、次のような方法で行うことができる。即ち、１次元の数列として得られた合成拡散パターンを元に、複素行列の成分値を増減させて得た透かし係数行列に離散逆フーリエ変換などの直交変換を施し、結果得られた画像パターンを埋め込みパターンとして用いればよい。

また、拡散パターン生成手段（図示せず）において２次元の画像パターンとして拡散パターンＰ_１，…，Ｐ_ｋが得られている場合は、その和で表される合成拡散パターンをそのまま埋め込みパターンとしてもよい。

以下、本発明の実施の形態を説明する。

［第1の実施の形態］
本実施の形態では、多重度と強度を制御する電子透かし埋め込み装置について説明する。

図１２は、本発明の第1の実施の形態における電子透かし埋め込み装置の構成例を示す。

電子透かし埋め込み装置１００は、埋め込み情報分割部１０１、埋め込みパターン生成部１０２、埋め込みパターン重畳部１０３、埋め込み前信号評価部１１１、多重度決定部１１２、及び埋め込み強度決定部１１３から構成される。

埋め込み情報分割部１０１及び埋め込みパターン重畳部１０３については、図９の電子透かし埋め込み装置と同様である。

また、入力である埋め込み情報１０４、埋め込み前信号１０５、出力である埋め込み済み信号１０６については、図９の電子透かし埋め込み装置と同様である。

さらに、電子透かし埋め込み装置１００には、目標とする検出性能を表す検出性能目標１１４、目標とする電子透かしの画質劣化の程度を表す画質劣化目標１１５とが入力されるようになされていてもよい。あるいは、検出性能目標１１４及び画質劣化目標１１５のいずれか一方もしくは、両方が電子透かし埋め込み装置内の記憶手段に予め設定され、明示的に入力される代わりに当該記憶手段に記憶されている値を使用するようにされていてもよい。

画質劣化目標１１５は、例えば、基準となる電子透かし方式における強度値であって、当該基準となる電子透かし方式で、指定された画質劣化目標値を透かし強度として電子透かしを埋め込んだ際の画質劣化の程度を目標とするようにされていてもよい。なお、この例は、本発明の範囲を限定するものではなく、映像の品質を指定する値であればどのようなパラメータ形式であっても構わない。

電子透かし埋め込み装置１００による電子埋め込み処理は以下のような手順で実施される。

図１３は、本発明の第１の実施の形態における動作のフローチャートである。

ステップ１０１） 埋め込み情報分割部１０１により、埋め込み情報は、図９に示す埋め込み装置と同様の手順で分割される。

ステップ１０２） 埋め込み前信号評価部１１１において、埋め込み前信号１０５の特性に対する評価を行い、評価結果をメモリ等の記憶手段（図示せず）に格納する。なお、評価の方法については後述する。

ステップ１０３） 多重度決定部１１２において、埋め込み前信号評価部１１１で得られ、メモリ（図示せず）に記憶されている評価結果を取得し、当該評価結果に基づき、埋め込みパターンとしてどれだけの多重度で合成拡散パターンの生成を行うかを表す多重度を決定し、メモリ等の記憶手段（図示せず）に格納する。詳細については後述する。

ステップ１０４） 埋め込み強度決定部１１３において、多重度決定部１１２で得られ、メモリ（図示せず）に格納されている多重度を取得し、当該多重度に基づき、埋め込みパターンをどれだけの強度で埋め込み前信号１０５に重畳するかを表す埋め込み強度を決定し、メモリ等の記憶手段（図示せず）に格納する。決定の方法については後述する。

ステップ１０５） 埋め込みパターン生成部１０２において、多重度決定部１１２で決定され、メモリ（図示せず）に格納されている多重度を取得し、当該多重度に従って、拡散パターンの合成を行い、合成拡散パターンを生成し、埋め込みパターンを生成する。多重度に応じた埋め込みパターンの生成方法については後述する。

ステップ１０６） 埋め込みパターン重畳部１０３において、図９の電子透かし埋め込み装置と同様に、入力された埋め込み前信号１０５の各フレーム画像に対し、埋め込みパターン生成部１０２で生成された埋め込みパターンを加算することで重畳し、電子透かしの埋め込まれたフレーム画像を生成し、順次出力することで、埋め込み済み信号１０６を得る。このとき、埋め込みパターンに対し、埋め込み強度決定部１１３で決定された埋め込み強度に従い、重み付けをしてから埋め込み前信号１０５の各フレーム画像に重畳する。

次に、上記のステップ１０２における埋め込み前信号評価部１１１における評価方法について詳細に説明する。

埋め込み前信号評価部１１１では、埋め込み前信号１０５を入力し、埋め込み前信号１０５の透かし検出時ノイズ成分の分散を求める。

ここで、透かし検出時ノイズ成分とは、埋め込み前信号１０５の中で、電子透かしの埋め込みにおいてノイズとして寄与する成分を表し、これは前述のパターン加算型電子透かしのモデルにおけるＮ→に相当する。

また、透かし検出時ノイズ成分の分散値は、前述のパターン加算型電子透かしのモデルにおけるσ_ｎ ^２に相当する。

例えば、電子透かしの埋め込み及び検出が、前述の［７］単純な透かし方式の例で例示した電子透かし方式に従って行われるときには、上記透かし検出時ノイズ成分の分散値は埋め込み前信号１０５の各フレームに対し、フレーム上の各画素の輝度値をラスタスキャン順に系列長Ｌおきに取り出し、平均化した値を並べた長さＬの系列である。この場合、埋め込み前信号評価部１１１では、上記の長さＬの系列に含まれる値の分散値を求める。

また、例えば、電子透かしの埋め込み及び検出が、特許文献１に示された電子透かし埋め込み方法及び検出方法に基づいている場合、透かし検出時ノイズ成分とは、埋め込み前信号１０５の周波数成分のうち、透かし鍵と所定の周波数範囲によって決まる埋め込み対象成分位置の周波数変換係数から得られる検出対象系列であり、特許文献１の電子透かし検出方法を埋め込み前信号１０５に適用し、検出対象系列を生成することで得られる。この場合、埋め込み前信号評価部１１１では上記検出対象系列に含まれる値の分散値を求める。

また、例えば、電子透かしの検出が、フレーム内から選択されたブロックをＤＣＴ変換した結果のＤＣＴ係数行列の中の特定の位置のＤＣＴ係数から検出を行うようになされている場合には、埋め込み前信号１０５のブロックをＤＣＴ変換した結果のＤＣＴ係数行列の中の特定の位置のＤＣＴ係数値を取り出し、その分散値を求める。

また、例えば、電子透かしの検出が、文献「山本基夫、汐崎陽、岩田基『フレーム間の類似性を利用した動画像用相関型電子透かし』SCIS2004,(2004年１月)」（以下文献２と記す）に示されているような埋め込み済み信号のフレーム間差分を利用するようになされている場合には、埋め込み前信号１０５のフレーム間差分に対しての評価を行って透かし検出時ノイズ成分の分散値を求める。フレーム間差分を用いるのは、一般に動画像においてはフレーム間の画像の相関が大きく、例えば、式（１６）における、

の項が大きくなるために検出評価値ρが小さくなるが、フレーム間差分をとることで、

の項の値が小さくなると共に、差分画像の分散も小さくなり、

の項も小さくなることで、検出評価値ρを大きくでき、その結果電子透かしの検出の信頼度を高くすることができるからである。

ここではフレーム間差分を用いる例をあげたが、この他にも、例えばフレーム間差分の差分即ち、微分を用いてもよいし、より一般的には時間軸方向の畳み込み演算を施した信号に対しての分析を行うようにしてもよい。

これら検出時ノイズ成分の算出は、個々の電子透かし埋め込み方法及び検出方法によって決まるものであり、上記の例に限定するものではない。

さらに、埋め込み前信号評価部１１１は、透かし検出時ノイズ成分の、埋め込み前信号１０５の各フレーム間の共分散を求めるようにされていてもよい。これは前述のパターン加算型電子透かしのモデルにおける

に相当する。

また、埋め込み前信号１０５の評価は、埋め込み前信号１０５のフレーム全体に対して行わずに、フレームを分割したブロック単位や、映像に映っているオブジェクトを単位とするなど、フレーム内の部分領域を単位に評価を行っても構わない。評価の単位については、本実施の形態に限らず、その他の実施の形態での埋め込み前信号の評価においても同様である。

次に、上記のステップ１０３における多重度決定部１１２における多重度決定方法の例を説明する。

多重度決定部１１２では、埋め込み前信号評価部１１１において得られた埋め込み前信号１０５の透かし検出時ノイズ成分と分散及び共分散値、検出性能目標１１４、画質劣化目標１１５とを用いて電子透かし埋め込みに使用するパラメータとしての多重度ｎを決定する。

多重度の決定は、埋め込み前信号１０５の透かし検出時ノイズ成分と分散及び共分散値によって決まる検出評価値ρの理論的平均値を利用して行われる。

例えば、前述の［６］検出性能目標に応じた埋め込み方式の制御で述べた条件１、乃至、条件２を満たすようにｎの値が決定される。

すなわち、条件１の場合、図７において、入力された検出性能目標１１４をρ_０、画質劣化目標１１５をβ_０としたときに、（β_０，ρ_０）を通る方法２の曲線に対応するｎを求める。

つまり、同期のとれない状況の透かし検出において、与えられた画質劣化目標β_０での検出評価値が、与えられた検出性能目標ρ_０と等しくなるように多重度ｎを決定する。

また、条件２の場合、図８において、入力された検出性能目標１１４をρ_０、画質劣化目標１１５をβ_０としたときに、（β_０、ρ_０）を通る方法１の曲線に対応するｎを求める。

つまり、同期のとれる状況の透かし検出において、与えられた画質劣化目標β_０での検出評価値が、与えられた検出性能目標ρ_０と等しくなるように多重度ｎを決定する。

ここで、上記の条件に従って得られるｎの値が整数とならない場合、得られた値に最も近い整数値、得られた値を超えない最大の整数値、得られた値を超える最小の整数値のいずれかを多重度ｎとしてもよいし、実数値のｎをそのまま用いてもよい。

図７及び図８の各グラフを表す曲線は、式（１５）及び式（１６）で表されているものである。

また、埋め込み前信号評価部１１１において、フレーム内の部分領域を単位に評価を行っている場合、各評価結果に基づいて、フレーム内の部分領域毎に多重度ｎを決定するようにされていてもよい。

また、実際の検出の際に、方法２のように完全な同期をとることができず、方法１と方法２の中間的な同期精度を持つような場合には、予め設計条件として電子透かしの検出時に期待できる同期精度を与え、与えられた同期精度に応じて取り得る検出性能値が最大となるような多重度を選択するようにしてもよい。

次に、ステップ１０４における埋め込み強度決定部１１３による埋め込み強度決定の例について詳細に説明する。

埋め込み強度決定部１１３では、多重度決定部１１２で得られた多重度及び、画質劣化目標１１５とを用いて電子透かし埋め込みに使用するパラメータとしての埋め込み強度αを決定する。

埋め込み強度の決定は、電子透かしの多重度ｎと、電子透かしの埋め込み強度α、電子透かしの画質劣化βとの関係を利用して行われる。

例えば、前述の［５］透かし多重度と画質劣化の関係に述べられている、式（１４）の関係を仮定し、多重度ｎ及び画質劣化目標１１５から対応する透かし強度αを次のように計算してもよい。

また、例えば、前述の［５］透かし多重度と画質劣化の関係に述べられている、式（１３）、あるいは式（１２）の関係を用い、さらに、埋め込み情報評価部１１１において得られた評価結果を用いて埋め込み強度αを次のように計算してもよい。

また、多重度決定部１１２において、フレーム内の部分領域を単位に多重度を決定している場合、部分領域毎に埋め込み強度αを決定するようにされていてもよい。

次に、上記のステップ１０５の埋め込みパターン生成部１０２における、多重度に応じた埋め込みパターンの生成方法について詳細に説明する。

埋め込みパターン生成部１０２では、多重度決定部１１２で決定した多重度ｎに従って、拡散パターンの合成を行い、さらに、埋め込みパターンを生成する。

埋め込みパターン生成部１０２での埋め込みパターンの生成の手順は、前述の本発明の前提とする電子透かし装置８００における埋め込みパターン生成部８０２での埋め込みパターン生成の手順と同様であるが、下記の点が異なっている。

・埋め込みパターン生成の際に、ｋ個の拡散パターンの中から選択する拡散パターンの個数を、多重度決定部１１２で決定した多重度ｎとする。

・埋め込みパターンは、埋め込みパターン重畳部１０３において重畳される埋め込み前信号１０５の各フレーム毎に個別に生成される。すなわち、ｎ個の拡散パターンの選択を各フレーム毎に行い、埋め込まれるシンボルがフレーム毎に同一とはならないようにする。

また、多重度決定手段１１２において多重度ｎが実数値として得られている場合には、フレームに埋め込まれるシンボルの数の期待値が値ｎと等しくなるような確率分布に従って、埋め込むシンボルを選択するようにしてもよい。以降の実施の形態において、実数値の多重度を取る場合も同様である。

また、多重度決定部１１２において、フレーム内の部分領域を単位に多重度を決定している場合、部分領域毎に埋め込みパターンを生成するようにされていてもよい。

本実施の形態の特徴は、前述の［６］検出性能目標に応じた埋め込み方式に述べたように、検出性能目標に応じた埋め込み方式の制御を行う点にある。複数の、あるいは、パラメータの変更の可能な電子透かし方式に対して、与えられた埋め込み前信号１０５に応じてどの方式がどれだけ優れているかを図６のグラフのように定量的に評価することで、期待する品質、性能を求める中で最適となる電子透かし埋め込み方式を制御することができている。

［第２の実施の形態］
本実施の形態では、動きベクトル評価によるすりガラス抑制埋め込み制御について説明する。

図１４は、本発明の第２の実施の形態における電子透かし埋め込み装置の構成例を示す。

電子透かし埋め込み装置１１００の構成は、前述の本発明の前提とする電子透かし埋め込み装置の構成例（図９）に埋め込み前信号評価部１１１１を加えた構成をもつ。

電子透かし埋め込み装置１１００による電子透かしの埋め込み処理は以下のような手順で実施される。

図１５は、本発明の第２の実施の形態の動作のフローチャートである。

ステップ２０１） 埋め込み情報分割部１１０１による埋め込み情報分割は図９の電子透かし埋め込み装置における埋め込み情報分割部８０１と同様である。

ステップ２０２） 埋め込み前信号評価部１１１１において、埋め込み前信号の特性に対する評価を行う。評価の方法については後述する。

ステップ２０３） 埋め込みパターン生成部１１０２において、埋め込み前信号評価部１１１１による評価結果に基づいて、埋め込みパターンの生成方法を制御して埋め込みパターンを生成する。埋め込みパターンの生成方法については後述する。

ステップ２０４） 埋め込みパターン重畳部１１０３による埋め込み済み信号の生成は図９の電子透かし埋め込み装置における埋め込みパターン重畳部８０３と同様である。

上記のステップ２０２における、埋め込み前信号評価部１１１１による埋め込み前信号評価方法について詳細に説明する。

埋め込み前信号評価部１１１１では、埋め込み前信号１１０５を入力し、埋め込み前信号１１０５の動きベクトルを算出する。

動きベクトル算出は、ＭＰＥＧ２、ＭＰＥＧ４，Ｈ．２６４／ＡＶＣなどの映像符号化技術で用いられているような既存の技術を用いることで容易に求めることができる。例えば、文献「大久保榮監修『Ｈ．２６４／ＡＶＣ教科書』株式会社インプレス（2004年８月）」（以下文献３と記す）には、Ｈ．２６４／ＡＶＣ符号化技術で用いられている動きベクトル算出について記載されている。但し、ここでは映像中の部位がどの方向にどの程度の速度で動きを持っているかを求める必要がある。

ここで、「動きベクトル」という語を用いたが、映像に映されている事物の動きを表す情報、すなわち、映像に映されている被写体や映像上に表現された物体などの事物が、時間軸の推移に伴い空間上の位置がどのように変化しているかを表す情報であれば、どのような情報であっても構わない。方向と大きさを含む情報であってもよいし、大きさだけを表す情報であっても構わない。これは以降の実施の形態でも同様である。

但し、方向を含めた情報を用いれば、後述する動きベクトルのばらけ具合をより的確に表す分散値を得られる。

さらに、フレームの部位ごと、例えば、ブロック毎に求められた動きベクトルを集め、動きベクトルの大きさの平均及び、動きベクトルの分散値を求める。

例えば、今対象とする埋め込み前信号のフレームの各ブロックの動きベクトルがｖ_１→，ｖ_２→，…，ｖ_ｎ→で得られたとき、動きベクトルの大きさの平均ｍ_ｖ、動きベクトルの分散値σ_ｖ ^２を次のように定義してもよい。

とする。

これらの式の形状は本発明の範囲を限定するものではなく、動きベクトルの絶対値としての大きさの程度と動きベクトルがどのくらいばらけているかの程度を評価できる値であれば他の計算式により求められるものであっても構わない。例えば、上記ｍ_ｖの代わりに、動きベクトルの大きさの中央値を用いてもよいし、上記σ_ｖ ^２の代わりに、各動きベクトルがＸ軸となす角θの分散値を用いてもよい。

また、ここでは、フレーム全体に対して動きベクトルの大きさの平均及び動きベクトルの分散値を求めた。すなわち埋め込み前信号評価の単位がフレーム単位であったが、これ以外の単位で評価を行うようにしてもよい。例えば、フレーム内のブロック単位や、映像中に存在するオブジェクトの単位などのフレームの部分毎に、動きベクトルの大きさの平均、動きベクトルの分散値を求めてもよいし、あるいは、複数のフレームをまとめた全体に対して動きベクトルの大きさの平均、動きベクトルの分散値を求めてもよい。

次に、上記のステップ２０３の埋め込みパターン生成部１１０２による動作を詳細に説明する。

埋め込みパターン生成部１１０２は、すりガラス効果の抑制の度合いの異なる複数種類の埋め込みパターンを生成できる手段を備えている。

例として、すりガラス効果抑制の度合いの異なる次の２種類の埋め込みパターンの生成手段を持っている場合を示す。

１．埋め込み前信号の全てのフレームに対して共通の埋め込みパターンを生成する。

２．埋め込み前信号のフレーム毎に異なる埋め込みパターンを生成する。

上記の１．としては、例えば、本発明の前提となる電子透かし埋め込み装置８００において合成拡散パターンとしてｋ個すべての拡散パターンを含む合成拡散パターンを生成し、これから生成される埋め込みパターンを全てのフレームに共通に生成するものがある。

上記２．としては、例えば、本発明の前提となる電子透かし埋め込み装置８００において、合成拡散パターンとして１つの拡散パターンのみを含む合成拡散パターンを生成し、含める拡散パターンを埋め込み信号のフレーム毎に順次切替えるようにされ、ｋフレームを周期にフレーム毎に異なる埋め込みパターンを生成するものがある。

上記２．のその他の例として、合成拡散パターンに複数の拡散パターンが含まれるようにしつつフレーム毎に拡散パターンの含まれ方が異なるようにしてもよい。

上記２．のその他の例として、上記１．で生成される埋め込みパターンをフレーム毎に位置をずらして埋め込むようにしておき、検出の際に位置ずれの量を推定して検出するようにされていてもよい。

埋め込み前信号評価部１１１１で得られた動きベクトルの大きさの平均、動きベクトルの分散値に基づき、上記複数種類の埋め込みパターンの生成を次のように制御する。

・動きベクトルの大きさの平均が小さいときにはすりガラス効果の抑制の度合いの小さな埋め込みパターン生成方法を用い、大きいときにはすりガラス効果の抑制の度合いの大きな埋め込みパターン生成方法を用いる。

・動きベクトルの分散値が大きいときにはすりガラス効果の抑制の度合いの小さな埋め込みパターン生成方法を用い、小さいときにはすりガラス効果の抑制の度合いの大きな埋め込みパターン生成方法を用いる。

例えば、埋め込みパターン生成部１１０２が上記１，２の２種類の埋め込みパターンの生成手段を備えている場合は、動きベクトルの大きさの平均が小さいとき、及び、動きベクトルの分散値が大きいときに上記１．の埋め込みパターン生成手段を用い、動きベクトルの大きさの平均が大きいとき、及び、動きベクトルの分散値が小さいときに上記２．の埋め込みパターン生成手段を用いる。

上記のように埋め込みパターン生成方法を制御する理由を以下に示す。

動きベクトルの大きさの平均が動きベクトルの大きさの平均が大きいとき、すなわち、映像が全体として動いているときは、固定の埋め込みパターンがすりガラス状に見えやすくなるのに対し、小さいときは、すなわち映像が全体として略静止しているときは、同じ埋め込みパターンが固定していてもすりガラスのようには見えにくくなる。

また、動きベクトルの分散値が小さいとき、すなわち、映像が全体として同一の方向に動いているときは、固定の埋め込みパターンがすりガラス状に見えやすくなるのに対し、大きいとき、すなわち、映像が全体として様々な方向に動いているときは、同じ埋め込みパターンが固定していてもすりガラスのようには見えにくくなる。

従って、すりガラス効果のおきやすい動きベクトルの大きさの平均が大きい映像や動きベクトルの分散値が小さい映像に対しては、すりガラス効果の抑制の度合いの大きい埋め込みパターン生成方法を用いることで、すりガラス効果を抑制し、画質劣化を防ぐ効果がある。

上記の制御は、いずれか一方を単独で用いてもよいし、双方を組み合わせて制御を行ってもよい。例えば、動きベクトルの大きさの平均値ｍ_ｖ及び動きベクトルの分散値σ_ｖ ^２に対して
ｐ=ａｍ_ｖ＋ｂσ_ｖ ^２
を求め、ｐが所定の閾値を越えているかどうかで制御するようにされていてもよい。但し、ａ，ｂは予め決められた重み付けパラメータである。

なお、ここでは２種類の埋め込みパターンの生成手段を備えていることを仮定したが、３種類以上の埋め込みパターンの生成手段を備えている場合は、上記のような閾値を複数設けて値の範囲によって埋め込みパターンの生成手段を切り替えるようにされていてもよい。

本実施の形態の特徴は、埋め込み前信号１０５の動きベクトルを利用することで複数の電子透かし方式を切り替えており、複数の、あるいはパラメータの変更が可能な電子透かし方式に対して、与えられた埋め込み前信号１０５に応じてどの方式がどれだけ優れているかを定量的に評価し、期待する品質、性能を求める中で最適となる電子透かし埋め込み方式を制御することができている点にある。

［第３の実施の形態］
本実施の形態では動きベクトル評価結果に基づいたシンボル多重度決定について説明する。

図１６は、本発明の第３の実施の形態における電子透かし埋め込み装置の構成例を示す。

電子透かし埋め込み装置１２００の構成は、前述の第２の実施の形態の電子透かし埋め込み装置１１００の埋め込みパターン生成部１１０２の代わりに、埋め込みパターン生成部１２０２及び多重度決定部１２１２とを備える構成を持つ。

電子透かし埋め込み装置１２００による電子透かしの埋め込み処理は、前述の第２の実施の形態の電子透かし埋め込み装置１１００による電子透かし埋め込み処理における、埋め込みパターン生成部１１０２での処理を変更したものであり、以下のような手順で実施される。

図１７は、本発明の第３の実施の形態における動作のフローチャートである。

ステップ３０１） 埋め込み情報分割部１２０１による埋め込み情報分割は、図９の電子透かし埋め込み装置８００と同様である。

ステップ３０２） 埋め込み前信号評価部１２１１における埋め込み前信号の特性に対する評価は、図１４の電子透かし埋め込み装置１１００における埋め込み前信号評価部１１１１と同様である。

ステップ３０３） 多重度決定部１２１２において、埋め込み前信号評価部１２１１で得られた評価結果に基づき埋め込みパターンとしてどれだけの多重度で合成拡散パターンの生成を行うかを表す多重度を決定する。決定の方法については後述する。

ステップ３０４） 埋め込みパターン生成部１２０２において、多重度決定部１２１２で決定した多重度に従って拡散パターンの合成を行い、合成拡散パターンを生成し、埋め込みパターンを生成する。多重度に応じた埋め込みパターンの生成方法は、第１の実施の形態の埋め込みパターン生成部１０２におけるものと同様である。

ステップ３０５） 埋め込みパターン重畳部１２０３による埋め込みパターンの重畳は、図９の電子透かし埋め込み装置８００と同様である。

次に、上記のステップ３０３における多重度決定部１２１２での多重度決定方法の例を説明する。

多重度決定部１２１２では、埋め込み前信号評価部１２１１で得られた動きベクトルの大きさの平均、動きベクトルの分散値に基づき、次のように多重度を決定する。

・動きベクトルの大きさの平均が大きいときには多重度を小さくし、小さいときには多重度を大きくする。

・動きベクトルの分散値が大きいときには多重度を大きくし、小さいときには多重度を小さくする。

上記のように多重度を決定する理由を以下に示す。

まず、多重度の大小とするすりガラス効果の程度の大小との関係について述べる。

多重度が大きいときは、あるシンボルについてみたとき、埋め込み済み信号１２０６の所定の数のフレームの中で、該当するシンボルの含まれる埋め込みパターンが重畳されたフレームの割合が大きくなる。例えば、シンボルの総数がｋ、多重度がｎで、各フレームに重畳される埋め込みパターンに含まれるシンボルを、多重度ｎで一様にランダムに選択するとした場合、あるシンボルＳ_ｉが含まれる埋め込みパターンが重畳されたフレームの、フレーム全体に対する割合は、ある埋め込みパターンに対してシンボルＳ_ｉが含まれる確率と等しく、

となり、多重度ｎが大きければ上記割合が大きくなることがわかる。

上記割合が大きいことは、注目しているシンボルに基づいて生成される埋め込みパターン中の画像成分が埋め込み済み信号１２０６中に現れている時間が相対的に大きくなることを表し、結果として、固定のパターンが見え続けるのと同義となる。よって、多重度の大小は、すりガラス効果の程度の大小との正の相関関係がある。

次に、動きベクトルに関する評価値とすりガラス効果の程度の大小との関係について述べる。

動きベクトルの大きさの平均が小さいとき、すなわち映像が全体としてほぼ静止しているときは、固定の埋め込みパターンが存在していても、映像自体も固定されているためにすりガラスのように見えにくくなる。

一方、動きベクトルの大きさの平均が大きいとき、すなわち映像が全体として動いているときは、固定の埋め込みパターンがすりガラス状に見えやすくなる。

また、動きベクトルの分散値が大きいとき、すなわち映像が全体として様々な方向に動いているときと、動きベクトルの分散値が小さいとき、すなわち映像が全体として同一の方向に動いているときとでは、後者の方が、固定の埋め込みパターンがよりすりガラス状に見えやすくなる。

従って、上記のように多重度を決定することによって、すりガラス効果のおきやすい動きベクトルの大きさの平均が大きい映像に対しては、多重度を小さくすることですりガラス効果を抑制し、画質劣化を防ぐ効果がある。また、すりガラス効果のおきやすい動きベクトルの分散値が小さいときには多重度を小さくすることですりガラス効果を抑制し、画質劣化を防ぐ効果がある。

実際の多重度ｎの決定においては、例えば、次のような式で多重度ｎを決定してもよい。

但し、ａ，ｂは予め決められた定数値である。

ここで、上記の条件に従って得られるｎの値が整数とならない場合、得られた値に最も近い整数値、得られた値を超えない最大の整数値、得られた値を超える最小の整数値のいずれかを多重度ｎとしてもよいし、実数値のｎをそのまま用いてもよい。

上記のように動きベクトルに関する評価値と画質劣化の程度の関連性を用いて電子透かしの埋め込みの制御を行うことは、すなわち、式（１２）において、Ｆが動きベクトルに関する評価値で決まるということを利用して制御していることを表す。

本実施の形態の特徴は、埋め込み前信号１０５の動きベクトルを利用して電子透かし埋め込みの多重度を求めており、複数の、あるいはパラメータの変更の可能な電子透かし方式に対して、与えられた埋め込み前信号１０５に応じてどの方式がどれだけ優れているかを定量的に評価し、期待する品質、性能を求める中で最適となる電子透かし埋め込み方式を制御することができている点にある。

［第４の実施の形態］
本実施の形態では、検出性能目標に応じて動きベクトルを利用した埋め込みについて説明する。

図１８は、本発明の第４の実施の形態における電子透かし埋め込み装置の構成例を示す。

電子透かし埋め込み装置１３００の構成は、前述の第１の実施の形態の電子透かし埋め込み装置１００と略同様の構成を持っており、埋め込み前信号評価部１３１１、多重度決定部１３１２、埋め込み強度決定部１３１３とが異なる。

電子透かし埋め込み装置１３００による電子透かしの埋め込み処理は、前述の第１の実施の形態の電子透かし埋め込み装置１００による電子透かし埋め込み処理における、埋め込み前信号評価部１３１１、多重度決定部１３１２、埋め込み強度決定部１３１３が変更されたものであり、前述の第３の実施の形態の電子透かし埋め込み装置１２００の埋め込み前信号評価部１２１１、多重度決定部１２１２の処理を取り入れたものとなっており、以下のような手順で実施される。

図１９は、本発明の第３の実施の形態における動作のフローチャートである。

ステップ４０１） 埋め込み情報分割部１３０１による埋め込み情報分割は、図９の電子透かし埋め込み装置８００と同様である。

ステップ４０２） 埋め込み前信号評価部１３１１では、図１２の電子透かし埋め込み装置１００における埋め込み前信号評価部１１１と同様の手順により、埋め込み前信号１３０５の透かし検出時ノイズ成分の分散と各フレーム間の共分散を求める。また、図１４の電子透かし埋め込み装置１１００における埋め込み前信号評価部１１１１と同様に、埋め込み前信号１１０５の動きベクトルを算出し、ブロック毎に求められた動きベクトルを集め、動きベクトルの大きさの平均及び、動きベクトルの分散値を求める。

ステップ４０３） 多重度決定部１３１２において、埋め込み前信号評価部１３１１で得られた評価結果に基づき、埋め込みパターンとしてどれだけの多重度で合成拡散パターンの生成を行うかを表す多重度を決定する。決定の方法については後述する。

ステップ４０４） 埋め込み強度決定部１３１３において、多重度決定部１３１２で得られた多重度に基づき、埋め込みパターンをどれだけの強度で埋め込み前信号に重畳するかを表す埋め込み強度を決定する。決定の方法については後述する。

ステップ４０５） 埋め込みパターン生成部１３０２において、多重度決定部１３１２で決定した多重度に従って拡散パターンの合成を行い、合成拡散パターンを生成し、埋め込みパターンを生成する。多重度に応じた埋め込みパターンの生成方法は、第１の実施の形態の埋め込みパターン生成部１０２におけるものと同様である。

ステップ４０６） 埋め込みパターン重畳部１３０３における埋め込みパターンの重畳は、図１２の電子透かし埋め込み装置１００における埋め込みパターン重畳部１０３と同様である。

次に、上記のステップ４０３における多重度決定部１３１２による多重度決定方法について詳細に説明する。

多重度決定部１３１２では、埋め込み情報評価部１３１１において得られた埋め込み前信号１３０５の透かし検出時ノイズ成分と分散及び共分散値、動きベクトルの大きさの平均及び、動きベクトルの分散値、検出性能目標１３１４、画質劣化目標１３１５とを用いて電子透かし埋め込みに使用するパラメータとしての多重度ｎを決定する。

多重度決定部１３１２での多重度決定の手順は、第１の実施の形態の多重度決定部１１２における多重度決定の手順と同様であるが、下記の点が異なっている。

まず、予め動きベクトルに関する評価値を考慮した画質劣化情報βと検出評価値ρとの関係を下記のように求めておく。

本発明の第２の実施の形態の多重度決定部１２１２での多重度決定において説明したように、動きベクトルに関する評価値と画質劣化の程度の間の関連性は次式で表される。

Ｆ´は、実在のコンテンツについての電子透かし埋め込みと画質の主観評価を行うことで実験的に求めることができる。

式（５）、式（８）の関係と上記で得られたＦ´を用い、図７、図８の画質劣化と検出性能の関係を求めることができる。

例えば、Ｆ´が次式のように近似できたとすれば、

方法１、方法２での画質劣化βと検出評価値ρの期待値の関係は次のようになる。

これを、図７及び図８のグラフと置き換えて考え、検出性能目標１３１４、画像劣化目標１３１５と上記の検出評価値ρの理論的平均値を利用して最適な重要度ｎを決定する。

例えば、本発明の第１の実施の形態の多重度決定部１１２と同様に、前述の［６］検出性能目標に応じた埋め込み方式の制御で述べた条件１乃至条件２を満たすようにｎの値が決定される。

すなわち、条件１の場合、入力された検出性能目標１３１４をρ_０、画質劣化目標１３１５をβ_０としたときに、（β_０，ρ_０）を通る方法２の曲線に対応するｎを求める。

つまり、同期のとれない状況の透かし検出において、与えられた画質劣化目標情報β_０での検出評価値が、与えられた検出性能目標ρ_０と等しくなるように多重度ｎを決定する。

また、条件２の場合、入力された検出性能目標１３１４をρ_０、画質劣化目標１３１５をβ_０としたときに、（β_０，ρ_０）を通る方法１の曲線に対応するｎを求める。

つまり、同期のとれる状況の透かし検出において、与えられた画質劣化目標β_０での検出評価値が、与えられた検出性能目標ρ_０と等しくなるように多重度ｎを決定する。

ここで、上記の条件に従って得られるｎの値が整数とならない場合、得られた値に最も近い整数値、得られた値を超えない最大の整数値、得られた値を超える最小の整数値のいずれかを多重度ｎとしてよいし、実数値のｎをそのまま用いてもよい。

次に、ステップ４０４における埋め込み強度決定部１３１３による埋め込み強度決定の例を説明する。

埋め込み強度決定部１３１３では、多重度決定部１３１２で得られた多重度及び、画質劣化目標１３１５とを用いて電子透かし埋め込みに使用するパラメータとしての埋め込み強度αを決定する。

前述の式（１７）、式（１８）を用いて、さらに埋め込み前信号評価部１３１１において得られた評価結果を用いて透かし強度αを次のように計算する。

本実施の形態の特徴は、埋め込み前信号１３０５の動きベクトルの特徴に応じて、すりガラス効果による画質劣化の程度を、画質劣化目標以内に抑えつつ、目標の検出評価値を満たす最適な埋め込み方式の制御を行う点にある。

上記の各実施の形態では、埋め込み前信号として動画像を対象として記載していたが、埋め込み前信号が所定の区間毎に区切ることのできる信号であれば、区間毎に電子透かしの埋め込みパターンを重畳する前述のパターン加算型電子透かしのモデルが適用可能であり、動画像固有の概念である動きベクトルを利用しない、第１の実施の形態のような形態であれば、本発明を適用することが可能である。

映像以外の信号に適用する場合は、フレームの代わりに信号の所定の区間を単位として処理を行う。例えば、静止画像に対して、静止画像の１２８×１２８ピクセルのブロック毎に埋め込みパターンを重畳するようにすれば静止画像に対しての適用が可能であるし、音声に対して音声の６４msecの区間毎に埋め込みパターンを重畳するようにすれば、音声に対しての適用も可能である。ここであげた１２８×１２８ピクセル、６４msecといった数値の例は本発明の範囲を限定するものではなく任意の値であってよいことは言うまでもない。

画像、映像以外の信号に適用する場合は、画質劣化の代わりにより一般的に人間の知覚にとってどれだけ信号が劣化しているかという観点での品質劣化に基づいて、品質劣化と埋め込み強度との関係を用いて処理を行う。

また、動画像としての埋め込み前信号は、どのようなフォーマットであっても構わない。例えば、非圧縮のデジタル映像データであるＤ１，Ｄ４などのフォーマットであっても構わないし、圧縮符号化されたＭＰＥＧ１，ＭＰＥＧ２，ＭＰＥＧ４、Ｈ．２６４などのフォーマットであっても構わない。ＤＶＤやＨＤＤなどの記録媒体に記録された映像であっても構わない。また、ＮＴＳＣやＶＨＳビデオ等のようにアナログのフォーマットであっても、本発明の電子透かし埋め込み装置で電子透かしの埋め込みが可能なフォーマットに事前に変換されればどのようなフォーマットであっても構わない。

なお、本発明は、図１２、図１４、図１６、図１８に示す電子透かし埋め込み装置の各要素の動作をプログラムとして構築し、電子透かし埋め込み装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明のディジタルコンテンツに電子透かしを埋め込む技術に適用可能である。

本発明の原理を説明するための図である。 本発明の原理構成図である。 埋め込み強度を変化させたときの検出評価値のグラフである。 多重度nに対する式(４)の分母第二項のシミュレーション結果のグラフである。 埋め込み強度を変化させたときの検出評価値の実測値のグラフである。 画質劣化に対する検出評価値のグラフである。 画質劣化に対する検出評価値のグラフにおける検出性能目標(条件１)である。 画質劣化に対する検出評価値のグラフにおける検出性能目標(条件２)である。 本発明の前提とする電子透かし埋め込み装置の構成例である。 シンボルの構成例である。 埋め込みパターンのタイリングの例である。 本発明の第１の実施の形態における電子透かし埋め込み装置の構成例である。 本発明の第１の実施の形態における動作のフローチャートである。 本発明の第２の実施の形態における電子透かし埋め込み装置の構成例である。 本発明の第２の実施の形態における動作のフローチャートである。 本発明の第３の実施の形態における電子透かし埋め込み装置の構成例である。 本発明の第３の実施の形態における動作のフローチャートである。 本発明の第４の実施の形態における電子透かし埋め込み装置の構成例である。 本発明の第４の実施の形態における動作のフローチャートである。

符号の説明

１００ 電子透かし埋め込み装置
１０１、８０１，１１０１，１２０１，１３０１ 埋め込み情報分割手段、埋め込み情報分割部
１０２，８０２，１１０２，１２０２，１３０２ 埋め込みパターン生成手段、埋め込みパターン生成部
１０３，８０３，１１０３、１２０３，１３０３ 埋め込みパターン重畳手段、埋め込みパターン重畳部
１０４、８０４，１１０４，１２０４，１３０４ 埋め込み情報
１０５，８０５，１１０５，１２０５，１３０５ 埋め込み前信号
１０６，８０６，１１０６，１２０６，１３０６ 埋め込み済み信号
１１１，１１１１，１２１１，１３１１ 埋め込み前信号評価手段、埋め込み前信号評価部
１１２、１２１２，１３１２ 多重度決定手段、多重度決定部
１１３，１３１３ 埋め込み強度決定手段、埋め込み強度決定部
１１４，１３１４ 検出性能目標
１１５，１３１５ 画質劣化目標
１２０ 記憶手段
６０１，７０１ 条件に該当する領域
８００，１１００，１２００，１３００ 電子透かし埋め込み装置
１００１ 埋め込みパターン

Claims (15)

1. 複数のフレーム画像からなる映像信号を入力信号として、埋め込み情報に基づいて構成された埋め込みパターンを、画質劣化目標値、検出性能目標値に基づいて人間の知覚に感知されにくいように重畳する電子透かし埋め込み方法であって、
   前記埋め込み情報を複数のシンボルに分割する埋め込み情報分割ステップと、
   各フレーム画像について、透かし検出時ノイズ成分の分散及び共分散を算出する埋め込み前信号評価ステップと、
   前記各フレーム画像について、透かし検出時ノイズ成分の分散及び共分散と、画質劣化目標値と、検出性能目標値とに基づき、埋め込みシンボル数を決定する多重度決定ステップと、
   前記各フレーム画像について、前記埋め込みシンボル数と前記画質劣化目標に基づいて、該フレームに埋め込む電子透かしの埋め込み強度を決定する埋め込み強度決定ステップと、
   前記複数のシンボルの各シンボルに対してスペクトル拡散処理を行い、各シンボルに対応する拡散パターンを生成し、前記複数のシンボルの各拡散パターンが前記複数のフレーム画像に対応する埋め込みパターン全ての中にそれぞれ等しい頻度で出現するように、前記各シンボルに対応する拡散パターンの中から前記埋め込みシンボル数分の拡散パターンを前記各フレーム画像に対して選択し、前記選択した拡散パターンをフレームごとに合成することで、前記フレーム画像それぞれに埋め込む前記埋め込みパターンを生成する埋め込みパターン生成ステップと、
   前記各フレームに対し、前記埋め込み強度に従って、前記埋め込みパターンを重畳する埋め込みパターン重畳ステップと、
   を行うことを特徴とする電子透かし埋め込み方法。
2. 前記検出性能目標値をＥ［ρ］、前記画質劣化目標値をβ、埋め込みシンボル数をｎ、前記透かし検出時ノイズ成分の分散を
   前記透かし検出時ノイズ成分の共分散を
   各シンボルに対応する拡散パターンの信号を
   前記各フレーム画像の画素数をＬ、前記複数のフレームの数をｋとしたとき、
   または、
   （ａ _ｇ は定数）
   を満たすｎを前記埋め込みシンボル数として決定する
   ことを特徴とする請求項１記載の電子透かし埋め込み方法。
3. 前記透かし検出時ノイズ成分として、各フレーム画像または該フレーム内の部分領域画像を用いる
   請求項1記載の電子透かし埋め込み方法。
4. 前記透かし検出時ノイズ成分として、前記映像信号のフレーム間差分、または、該映像信号中の部分領域のフレーム間差分を用いる
   請求項１記載の電子透かし埋め込み方法。
5. 前記透かし検出時ノイズ成分として、前記映像信号のフレーム、または、該映像信号中の部分領域に、時間軸方向の畳み込み演算を施した信号を用いる
   請求項１記載の電子透かし埋め込み方法。
6. 前記透かし検出時ノイズ成分として、前記映像信号の動きベクトル、または、該映像信号中の部分領域の動きベクトルを用いる
   請求項１記載の電子透かし埋め込み方法。
7. 前記動きベクトルの大きさの平均を求め、該動きベクトルの大きさの平均と画質劣化の関係を用いて、画質劣化目標を満たすように電子透かしの埋め込み強度を決定する
   請求項６記載の電子透かし埋め込み方法。
8. 複数のフレーム画像からなる映像信号を入力信号として、埋め込み情報に基づいて構成された埋め込みパターンを、画質劣化目標値、検出性能目標値に基づいて人間の知覚に感知されにくいように重畳する電子透かし埋め込み装置であって、
   前記埋め込み情報を複数のシンボルに分割する埋め込み情報分割手段と、
   前記複数のシンボルの各シンボルに対してスペクトル拡散処理を行い、各シンボルに対応する拡散パターンを生成する拡散パターン生成手段と、
   各フレーム画像について、透かし検出時ノイズ成分の分散及び共分散を算出する埋め込み前信号評価手段と、
   前記各フレーム画像について、透かし検出時ノイズ成分の分散及び共分散と、画質劣化目標値と、検出性能目標値とに基づき、埋め込みシンボル数を決定する多重度決定手段と、
   前記各フレーム画像について、前記埋め込みシンボル数と前記画質劣化目標に基づいて、該フレームに埋め込む電子透かしの埋め込み強度を決定する埋め込み強度決定手段と、
   前記複数のシンボルの各拡散パターンが前記複数のフレーム画像に対応する埋め込みパターン全ての中にそれぞれ等しい頻度で出現するように、前記各シンボルに対応する拡散パターンの中から前記埋め込みシンボル数分の拡散パターンを前記各フレーム画像に対して選択し、前記選択した拡散パターンをフレーム毎に加算して合成することで、前記フレーム画像それぞれに埋め込む前記埋め込みパターンを生成する埋め込みパターン生成手段と、
   前記各フレーム画像に対し、前記埋め込み強度に従って、前記埋め込みパターンを重畳する埋め込みパターン重畳手段と、
   を有することを特徴とする電子透かし埋め込み装置。
9. 前記多重度決定手段は、
   前記検出性能目標値をＥ［ρ］、前記画質劣化目標値をβ、埋め込みシンボル数をｎ、前記透かし検出時ノイズ成分の分散を
   前記透かし検出時ノイズ成分の共分散を
   各シンボルに対応する拡散パターンの信号を
   前記各フレーム画像の画素数をＬ、前記複数のフレームの数をｋとしたとき、
   または、
   （ａ _ｇ は定数）
   を満たすｎを前記埋め込みシンボル数として決定する手段を含む
   請求項８記載の電子透かし埋め込み装置。
10. 前記埋め込み前信号評価手段は、
    前記透かし検出時ノイズ成分として、各フレーム画像または該フレーム内の部分領域画像を用いる
    請求項８記載の電子透かし埋め込み装置。
11. 前記埋め込み前信号評価手段は、
    前記透かし検出時ノイズ成分として、前記映像信号のフレーム間差分、または、該映像信号中の部分領域のフレーム間差分を用いる
    請求項８記載の電子透かし埋め込み装置。
12. 前記埋め込み前信号評価手段は、
    前記透かし検出時ノイズ成分として、前記映像信号のフレーム、または、該映像信号中の部分領域に、時間軸方向の畳み込み演算を施した信号を用いる
    請求項８記載の電子透かし埋め込み装置。
13. 前記埋め込み前信号評価手段は、
    前記透かし検出時ノイズ成分として、前記映像信号の動きベクトル、または、該映像信号中の部分領域の動きベクトルを用いる
    請求項８記載の電子透かし埋め込み装置。
14. 前記動きベクトルの大きさの平均を求め、該動きベクトルの大きさの平均と画質劣化の関係を用いて、画質劣化目標を満たすように電子透かしの埋め込み強度を決定する
    請求項１３記載の電子透かし埋め込み装置。
15. 請求項８乃至１４の何れか１項に記載の電子透かし埋め込み装置を構成する手段としてコンピュータを機能させるための電子透かし埋め込みプログラム。