JP5753200B2 - 伝搬マップを使用する透かし検出 - Google Patents

Description

本発明は、高度映像符号化（ＡＶＣ）透かし入れにおいて、透かしを検出して伝搬マップを使用する方法に関する。

関連出願の相互参照
本出願は、２０１０年２月９日に出願された米国特許仮出願第６１／３３７，７２６号明細書の利益を主張するものであり、その全体が参照により本明細書に組み込まれる。

画素値を変更する透かしは、変更した画素を参照として使用する画像の隣接する部分に二次的な変更を引き起こすことがある。動きベクトル値を変更する透かしは、変更した動きベクトルを参照として使用する画像の隣接する部分に二次的な変更を引き起こすことがある。

伝搬マップは、提案した変更が伝搬パスのいかなる場所でも忠実性アーチファクトを導入しないことを保証するために忠実性基準（例えば、特許文献１、２）内で使用される。

ＰＣＴ／ＵＳ０９／００４７０２ ＰＣＴ／ＵＳ０９／００４７５２

Ｈ．２６４／ＡＶＣでは、２段階透かし入れが一度に１つのブロックを修正変更する。次に、透かし検出器は、透かしペイロードを回復するプロセスでその１つのブロックを分析する。この方法は、透かし入りコンテンツが透かし回復に先立って幾何学的歪みを受けると損なわれる。わずかな位置合せ不良により、検出器が目標ブロックの大きな割合を捉え損ねることになり、信頼性の低い検出がもたらされることがある。

そのため、現在の検出方式が捉え損ねている幾何学的歪みを捕捉することができる改善された透かし検出法が必要である。

高度映像符号化透かし入れにおいて透かしを検出して伝搬マップを使用する方法が提供される。この方法は、１つまたは複数の透かしを有するリストからの透かしに関連する伝搬マップにアクセスするステップと、伝搬マップ内のブロックに少なくとも１つの検出基準を定義するステップと、伝搬マップ内に含まれるブロックのうちの少なくとも１つの少なくとも１つの領域を識別するステップとであり、少なくとも１つの領域が少なくとも１つの検出基準に応答してグループ化される、ステップと、少なくとも１つの領域の情報を生成するステップとを含むことができる。領域は接続されたブロックの群とすることができる。複数の異なる領域があることがあり、１つの領域のブロックは別の領域のブロックと異なる信号を有することができる。情報は空間および／または時間情報とすることができ、空間情報は、少なくとも領域のサイズ、領域の数、領域の形状、および領域の場所を含むことができる。検出基準は輝度レベルの変化とすることができ、信号は変化の符号とすることができる。この方法は、各透かしの領域ごとに輝度レベルの平均変化を決定するステップをさらに含むことができ、情報は平均輝度を含むことができる。さらに、各透かしの領域ごとの情報は、メトリックによって特徴づけられる優先領域を各透かしが有するように優先順位をつけることができ、この方法は、閾値メトリックを選択するステップと、閾値メトリックを超える優先領域を有する透かしを、映像データに適用するためのあり得る透かしの好ましいリストに配置するステップとをさらに含むことができ、ここで、超えるとは閾値メトリックを凌ぐ（ｏｕｔｐｅｒｆｏｒｍ）ことを意味する。

本発明の特徴は、フラグマトリクス（ｆｌａｇ ｍａｔｒｉｘ）を生成して、少なくとも１つの領域を識別するステップと、その結果を使用して、透かしの好ましいリストを生成するステップとをさらに含むことができる。この特徴は、フラグマトリクスを開始するためのシードブロックを伝搬マップ内のブロックから選択するステップであり、シードブロックが少なくとも１つの領域の一部である、ステップと、シードブロックの信号を決定するステップと、シードブロックに隣接する追加のブロックをフラグマトリクスにポピュレートするステップであり、追加のブロックがシードブロックと同じ種類の信号を有する、ステップと、少なくとも追加のブロックを通してシードブロックに接続される他のブロックをフラグマトリクスにポピュレートし続けるステップであり、他のブロックおよび任意の介在ブロックがシードブロックと同じ種類の信号を有する、ステップと、ポピュレートするステップおよびさらにポピュレートするステップにおけるシードブロックおよび任意のブロックを第１の領域に割り当て、それによって、識別するステップにおいて第１の領域を生成するステップとを含むことができる。第２の領域は、少なくとも１つの領域にまだ割り当てられていない伝搬マップ内のブロックから別のシードブロックを選択し、別のシードブロックに対して、決定するステップ、ポピュレートするステップ、さらにポピュレートするステップ、および割り当てるステップを実行することによって得ることができる。追加の領域は、他のシードブロックを選択し続け、伝搬マップ内のブロックがすべて割り当てられるまで、他のシードブロック対して、決定するステップ、ポピュレートするステップ、さらにポピュレートするステップ、および割り当てるステップを実行することによって得ることができる。この特徴は、メトリックに基づいて透かしごとに伝搬マップの優先領域を選択するステップと、閾値メトリックを選択するステップと、閾値メトリックを超えるか、または凌ぐ優先領域を有する透かしを、映像データに適用するためのあり得る透かしの選択リストに配置するステップとをさらに含むことができ、メトリックは少なくとも１つの検出基準であり、輝度変化の尺度であり、信号の種類は輝度変化の符号である。

本原理は、以下の例示の図に基づいて一層よく理解することができる。

本発明により透かし検出領域を決定する方法のブロック図である。 図１の方法のための検出領域を生成するアルゴリズムのブロック図である。 本発明による接続された領域を示す図であり、接続された領域は、元のブロックの一部であるが、シフトのために検出に含まれないＡ画素を含み、かつ、元のブロックの一部でないが、シフトのために検出のときに含まれるＢ画素を含む。 接続された領域がＡ画素およびＢ画素を含み、シフトしている別の図である。 Ａ画素およびＢ画素の輝度合計を含む接続された領域の別の図である。 本発明による最適検出パラメータのための方法のブロック図である。

本開示は２段階透かし入れ方法に関し、２段階は以下の通りである。

１．透かし入れ基準をすべて満たす変更のリストを選択する。この基準は忠実性、ロバスト性、およびコンプライアンスを含むことができる。

２．透かしペイロードを使用して、それらの変更のサブセットを実行する。

開示の中心は、第１のステップのロバスト性基準において伝搬マップを使用し、検出領域の決定および検出領域のロバスト性スコアの評価のために伝搬マップを入力として同様に使用することである。

ロバスト性に関して、ロバスト性の簡単な尺度は潜在的な候補変更によって導入される輝度変化の量である。より高い輝度変化をもたらす候補変更はよりロバストであると仮定する。輝度の変化がロバスト性閾値未満であるいかなる候補も候補変更のリストから除去されることになる。

特に、現在の開示は、検出のために伝搬マップの１つまたは複数の領域を使用したいという要望によって動機づけられる。検出領域は、伝搬マップにおける単一のマクロブロックまたは多数のマクロブロックの組合せとすることができる。多くの場合、検出領域が大きいほど、ある一定の幾何学的歪み対するロバスト性が大きくなりうる。これは、第１のステップの候補変更選択を利用する。ここで、検出領域の潜在的なロバスト性を評定するのにいくつかの方法が提案される。強力なロバスト性をもたらす変更が好ましく、それらの領域の記述は検出領域として透かし検出器に与えられる。

現在の開示の動機には、先行技術の２段階透かし入れプロセスでの透かし入りコンテンツは透かし回復より前に幾何学的歪みを受けることがあり、わずかな位置合せ不良により、検出器が目標ブロックの大きな割合を捉え損ねることになることが含まれる。現在の開示は、特に、より強力なロバスト性を達成し、先行技術の欠点を克服するために伝搬マップを検出に利用する。

本開示の態様について図１を参照しながら説明する。入力は、ポピュレートされた伝搬マップ１０である。伝搬マップは多くの形態をとることができ、一般に事実上、透かしを入れられるべき映像のビットストリームを変更することにより影響される画像中のすべてのブロックのリストとして特徴づけることができる。伝搬マップ１０は、構成要素のブロックごとに現れる特定の変更に関する情報をさらにポピュレートされうる。好ましい実施形態では、検出尺度は全輝度である。

このポピュレートされた伝搬マップは領域検出ステップ２０への入力であり、ユーザは、分析のための検出尺度とすることができる少なくとも１つの検出基準を定義し、伝搬マップ内の個々のブロックを識別して特定の領域に配置し、その特定の領域は最終検出領域において成長することができる。

図１の最終出力は検出領域の記述３０である。この記述は、検出領域の空間および／または時間広がり、ならびにロバスト性スコアを示している。ロバスト性スコアは検出領域の評価されたロバスト性を示すことができる。空間情報は、少なくとも領域のサイズ、領域の数、領域の形状、および領域の場所を含むことができる。

図１は単一の伝搬マップ入力に関して示している。実際には、前処理において、あり得る透かしの大きいリストがあるはずであり、透かしごとの伝搬マップがあるはずである。図１に示されたこのプロセス流れは、検出領域およびロバスト性の大きいリストをもたらすそのような伝搬マップ入力の大きいリストの各々に適用されることになる。後のプロセス（例えば、ＰＣＴ／ＵＳ０９／００４７０６に説明されているような変更可能なブロック選択）は、変更の最終の組を選択する際にロバスト性スコアを１つのパラメータとして使用することができる。検出領域の広がりは透かし回復のために検出器で使用することができる。結局、ユーザが透かしごとに有することになるものは伝搬マップであり、伝搬マップ内の識別された１つまたは複数の検出領域、および、検出領域ごとの関連する情報またメトリックがあることになる。次に、最良の検出領域が透かしごとに情報またはメトリックに基づいて選択されることになり、次に、最良の透かしが最良の検出領域の情報またはメトリックの比較を利用して選択されることになる。ここで、ユーザは、最良の透かしを選択または優先するためにいくつかの閾値基準を選択または定義することになり、これらの最良の透かしは埋め込まれるべきあり得る透かしのリスト中に配置される透かしとなることになり、他の透かしはリストから除外されることになる。最良の検出領域は優先領域と呼ぶことができる。

透かし検出に関して、透かしは、最大の輝度変化をもつマクロブロックのいくつかの分析から検出することができる。一般に、より強力なエネルギーをもつ透かしはよりロバストとなることになる。検出領域のサイズが固定されている場合、大きい輝度変化は小さい輝度変化よりもロバストとなることになる。２段階透かし入れの場合には、一次変更は、異なるレベルに輝度が変化する一連のブロックをもたらすことになる。これは伝搬マップを形成する。ロバスト性を改善する簡単な方法は、伝搬マップのすべてのマクロブロックの全ブロック輝度変化を評定し、最大の全輝度変化を有するマクロブロックを検出メトリックとして選択することである。Ｐは、Ｎ個のマクロブロックをもつ伝搬マップを表すとしよう。マクロブロックｂ_iはＮ個のマクロブロックのうちの１つであり、すなわち、ｂ_i∈Ｐ、１≦ｉ≦Ｎである。ｌ_iは、ブロックｂ_iの元の全輝度を表し、ｌ’_iは、透かし埋め込みの後のブロックｂ_iの全輝度を表すとしょう。次に、｜ｌ_k−ｌ’_k｜＝ｍａｘ（｜ｌ_i−ｌ’_i｜）、ここで、１≦ｉ≦Ｎ、からブロックｂ_kを見いだすことができる。ブロックｋの場所は検出器の検出メタデータに記憶することができる。

次に、図１の領域ファインダ２１について説明する。領域ファインダ２１は入力のポピュレートされた伝搬マップ１０の情報を読み込み、１つまたは複数の検出基準と呼ぶことができるいくつかの予め定義された基準を同じ領域のブロックが満たすような領域の集合を出力する。

１つの実施形態では、１つの領域に分類されるブロックの基準は、ブロックが４方向接続され、それらの輝度変化が同符号であることである。２つのブロックが互いに水平または垂直に空間的に隣接している場合、２つのブロックは４方向接続されている。したがって、単一のブロックは、上にあるもの、下にあるもの、右にあるもの、および左にあるものである正確に４つの他のブロックに４方向接続される。言い換えれば、考慮すべき隣接するブロックは、上、下、右、および左にある隣接するブロックと考えられる。画像の境界上にあって隅にないブロックは３つの他のブロックに接続され、隅（corner）のブロックは２つのブロックに接続される。あらゆるブロックが領域中で少なくとも１つの他のブロックに接続される領域はさらに、４方向接続された領域と呼ばれることになる。

接続された領域をある区域内で見いだす問題は、領域成長および分割統合などの一般的なセグメンテーションアルゴリズムにより解決することができる。一つは領域成長アルゴリズムを使用することができる。伝搬マップの入力情報を読み取った後、対応するブロックのステータスを各エントリが示す伝搬マップにフラグマトリクスを構築する。このフラグマトリクスはゼロで初期化される。

探索アルゴリズムは領域発見のためにシードブロックから始まる。シードブロックは、フラグマトリクス中の０エントリに対応する任意のブロックであり、したがって、今までいかなる領域にも割り当てられていない。第１の領域は１のインデックス値から始めてラベルづけされることになる。第１のシードブロックから、第１の領域は見いだされる。第１の領域が完了している場合、アルゴリズムは、次の連続領域インデックス値を次のシードブロックに割り当て、フラグマトリクス内の０をこのインデックスと取り替える。シードブロックが得られた後、４つ未満の隣接ブロックが存在することになる場合の伝搬マップの縁部にシードブロックがない場合、シードブロックの４つの４方向接続の隣接ブロックが調査される。隣接ブロックが領域に今まで割り当てられていないことを意味するフラグ値０を隣接ブロックが有し、輝度変化の符号が対応するシードブロックと同じである場合、ブロックは現在の領域の一部になり、フラグマトリクス内のエントリは現在の領域インデックスと取り替えられる。次に、このブロックはさらなる分析のために待ち行列に加えられ、それは、このブロックの隣接ブロックが調査されることになることを意味する。４方向接続の隣接ブロックがすべて調査された後、プロセスは待ち行列上の第１のブロックで繰り返され、その４方向接続の隣接ブロックがすべて調査され、領域に今まで割り当てられておらず、同符号の輝度変化を有するブロックが待ち行列に配置され、フラグマトリクス内の対応するエントリが領域インデックスに設定される。このプロセスは、待ち行列が空になるまで継続する。この時点で、１つの領域の識別を終了している。フラグマトリクスに０エントリが残っているブロックがある場合、これらのうちの１つが次のシードブロックとなるように選択され、領域インデックスが増加され、プロセスは繰り返す。

探索アルゴリズムが図２に全体的に示され、伝搬マップ内の無作為に選択されたブロックとする、または、あるプロトコルに従って選択することができるシードブロックから始まる。シードブロックが選択される方法にかかわらず、好ましい実施形態では、伝搬マップ内のブロックはすべて調査され、領域に配置されることになることを指摘するのは重要である。アルゴリズムの開始において、伝搬マップ内のブロックはすべて０のインデックスを割り当てられ、０のインデックスはフラグマトリクスＦに記憶され、１の第１の領域インデックスがステップ２０１において領域インデックス変数に割り当てられる。ステップ２０２おいて、ブロックがどの領域にも割り当てられていないことを意味するフラグ０をもつブロックｉが選択される。ブロックの輝度値などの統計値の符号がステップ２０３において記録される。ステップ２０４において、ブロックｉのフラグＦｉは、現在は１であるＲｅｇｉｏｎｌｎｄｅｘの値を割り当てられ、次に、ブロックｉは待ち行列Ｑに配置される。ステップ２０５おいて、待ち行列Ｑが空であるか検査される。待ち行列Ｑが空でない場合、待ち行列中の第１のブロックｊはステップ２０８において待ち行列から取り出されることになり、それの４つの隣接ブロックの各々がステップ２０９において調査される。ステップ２１０おいて、隣接ブロックｋがフラグ０を有する場合、さらにブロックｋの符号が現在のシードブロックのものと比較され、それらの符号が同じである場合、ブロックｋはステップ２１１において待ち行列Ｑに配置されることになり、その間に、そのフラグは、領域インデックスの値Ｒｅｇｉｏｎｌｎｄｅｘを割り当てられる。同符号を有していない隣接ブロックｋは、最終的には、別のインデックス数を割り当てられることになるが、現在のラウンドでは待ち行列に配置されないことになる。４つの隣接ブロックの各々は、それらのすべてがステップ２１２において調査されるまで同じように調査される。次に、待ち行列Ｑ中の次のブロックが取り出され、待ち行列が空になるまでステップ２０９、２１０、２１１、および２１２を通って同じプロセスループを通過することになり、待ち行列が空であるとは、アルゴリズムがインデックス１の接続されたブロックの第１の領域の境界を見いだしており、第１の領域の周辺ブロックの外側の隣接ブロックがシードブロックと異なる符号を有することを意味する。

領域が完全に識別された後、待ち行列が空である場合、アルゴリズムは、次の連続領域インデックス値を、ステップ２０６において、別のシードブロックおよびインデックス０の後続の隣接ブロックに割り当てることによって前進し、処理されている現在のシードブロックと同じ符号が次のインデックス数に与えられることになる。アルゴリズムはステップ２０２で始まるプロセスステップを通り抜け、次の領域を完全にマッピングする。

アルゴリズムは、０エントリが残っているブロックがなくなるまで繰り返し実行することになる。この時点で、フラグマトリクスは設定される。

輝度変化などのブロックの統計量において同符号をもつ接続された領域に基づくこのセグメンテーションは一意的であることに留意されたい。１つのそのようなセグメンテーションのみが存在する。したがって、シードブロックの選択および順序はセグメンテーションに影響を及ぼさない。したがって、シードブロックは無作為に選択することができる。

領域ファインダの別の実施形態は、各ブロックが独立した領域と見なされるものである。この特別な場合、領域ファインダは、入力から出力まで情報を変更しないので本質的にオプションの構成要素である。

図３に示された別の実施形態は、境界画素の輝度差に基づいて定義されたロバスト性スコアにより、接続された領域を選択することを含む。これは、シフト攻撃に耐えるように設計される。具体的には、２つの区域がマクロブロックごとに定義され、ここでは、左および上に１つの画素だけシフトする一例を使用して、これらの区域が示してある。区域Ａは元のブロックの一部であるが、シフトに起因して検出に含まれない画素を含む。区域は図３に示すようにサブ区域Ａ_c、Ａ_r、およびＡ_xを含む。Ａ_cは１５×１区域であり、Ａ_rは１×１５区域であり、Ａ_xは単に１つの画素を含む。区域Ｂは元のブロックの一部でないが、シフトに起因して検出の間含まれる画素を含む。区域Ｂはサブ区域Ｂ_c、Ｂ_r、およびＢ_xを含む。Ｂ_cは１５×１区域であり、Ｂ_rは１×１５区域であり、Ｂ_xは単に１つの画素を含む。Ｓはブロックの残りの部分を表すために使用され、その残りの部分は正確に計算されている。ここで、一例として１６×１６マクロブロックを使用していることに留意されたい。他のブロックサイズの場合には、ＡおよびＢのサブ区域のサイズはそれに応じて変わる。

各マクロブロックの境界画素の画素値が計算され、図４に示すように記録される。具体的には、区域Ａ_r、Ａ_c、Ａ_xおよびＢ_r、Ｂ_c、Ｂ_xの輝度合計が計算される。この図では、区域３０１は元のマクロブロックの位置を識別し、一方、区域３０２は、左および上に１画素だけシフトされた後の同じブロックの位置を示す。ブロックがシフトされている量の情報を有していない検出器は区域３０１によって区切られた領域を使用して、マクロブロックの内部の輝度合計に基づいて検出統計量を計算する。これは、Ａ_r、Ａ_c、およびＡ_xの実際の画素値を欠き、Ｂ_r、Ｂ_c、およびＢ_xの画素を誤って含む影響があることになる。

新しいロバスト性尺度Ｒ_sは、
Ｒ_s＝１−Ｅｒｒ_ΔL （１）
と定義され、ここで

である。シフトに起因する輝度の計算誤差がマクロブロックの輝度変化と比較して小さい場合、誤差率Ｅｒｒ_ΔLは小さく、ロバストメトリックＲ_sは高いことが分かる。他方、誤差が全輝度変化と比較して大きい、例えば、１を超えることがある場合、ロバストメトリックＲ_sは負となることがある。直観的に、透かしがわずかなシフトによって全く破壊されるそのような領域を選択しないようにするべきである。

新しく定義されたロバストメトリックにより、接続された領域の識別プロセスを以下のように更新することができる。最初に、伝搬マップ上のブロック中で最も高いＲ_sを有するマクロブロックを取り出す。このブロックから開始して、領域のＲ_sがブロックを組み込んだ後により高くなる場合に限り、４方向接続性を有する新しいブロックを現在の領域のブロックのうちの１つに加える。接続された領域の区域Ａおよび区域Ｂは、個々のマクロブロックの区域Ａおよび区域Ｂから導き出すことができる。例えば、図４に示された領域の区域ＡおよびＢは、
Ａ_c＝Ａ_c1∪Ａ_c2∪Ａ_x2；
Ａ_r＝Ａ_r1∪Ａ_r3；
Ｂ_c＝Ｂ_c1∪Ｂ_c3；
Ｂ_r＝Ｂ_r2∪Ｂ_r3∪Ｂ_x2；
Ａ_x＝Ａ_x1； Ｂ_x＝Ｂ_x3
のように導き出すことができる。したがって、接続された領域のロバストメトリックＲ_sは区域ＡおよびＢを使用して定義することができる。

シフト攻撃は任意の方向となることがあり、対応する区域Ａおよび区域Ｂは異なることになることに留意されたい。実施態様を簡単にするために、以下の８つの輝度合計、すなわち、図５に示すようなＡ_cL、Ａ_cR、Ａ_rT、Ａ_rB、Ｂ_cL、Ｂ_cR、Ｂ_rT、Ｂ_rBを計算する。ここでＡ_cLおよびＡ_cRはそれぞれマクロブロックの左端の列および右端の列の輝度合計であり、Ａ_rTおよびＡ_rBはそれぞれ最初の行および最後の行の輝度合計であり、Ｂ_cLおよびＢ_cRはそれぞれ隣接ブロックにおいてマクロブロックのすぐ左にある列およびすぐ右にある列の輝度合計であり、Ｂ_rTおよびＢ_rBはそれぞれ隣接ブロックにおいてマクロブロックの上にある行および下にある行の輝度合計である。一般に、これらの８つの輝度領域は多数の列／行に対して定義することができる。

計算された輝度合計Ａ_SおよびＢ_Sを用いて、シフトに起因して導入された輝度誤差を見積もることができる。例えば、フレームが１画素だけ左にシフトされる場合、検出の輝度誤差はＢ_cR−Ａ_cLとなることになる。フレームが１画素だけ左上にシフトされる場合、誤差はＢ_cR＋Ｂ_rB−（Ａ_cL＋Ａ_rT）＝（Ｂ_cR−Ａ_cL）＋（Ｂ_rB−Ａ_rT）として見積もることができる。シフト誤差は、４つの基本要素、すなわち、（Ｂ_cR−Ａ_cL）、（Ｂ_cL−Ａ_cR）、（Ｂ_rT−Ａ_rB）、（Ｂ_rB−Ａ_rT）の１つまたは複数からなることに留意されたい。これの示すところによると、これらの４つの項を使用して、シフト攻撃に対するブロックのロバスト性を測定することができる。最悪のシナリオであるｍａｘ（｜Ｂ_cR−Ａ_cL｜，｜Ｂ_cL−Ａ_cR｜，｜Ｂ_rΤ−Ａ_rB｜，｜Ｂ_rB−Ａ_rT｜）を使用するように選ぶことができる。代替として、平均の場合のシナリオである、（｜Ｂ_cR−Ａ_cL｜＋｜Ｂ_cL−Ａ_cR｜＋｜Ｂ_rΤ−Ａ_rB｜＋｜Ｂ_rB−Ａ_rT）／４である４つの誤差の平均値をＥｒｒ_ΔLメトリックの計算において使用することができる。

図５での単純化により、任意の形状をもつ領域の８つの測定値の更新は容易に行うことができる。ブロックごとに、隣接ブロック可用性を記録する。ブロックが右（左）の隣接ブロックを有していない場合、そのＡ_cR（Ａ_cL）は全領域のＡ_cR（Ａ_cL）の一部となることになる。同様に、領域のＡ_rT（Ａ_rB）は、上部（下部）の隣接ブロックなしでそれらのブロックのＡ_rTｓ（Ａ_rBｓ）の合計となる。同じ計算はＢ_cL、Ｂ_cR、Ｂ_rT、Ｂ_rBに当てはまる。次に、Ｅｒｒ_ΔLは、最悪の場合のシナリオでは、

平均の場合のシナリオでは、

として更新される。

図１の領域ファインダ２１に続く組合せエニュメレータ２２は、入力で列記された領域のすべてのあり得る組合せを生成するプロセスである。徹底的なリストアップは、以下のアルゴリズムによって説明されるように、２進アキュムレータを使用することにより達成することができる。このアルゴリズムは、Ｎ個の異なる領域の２^N−１の組合せをすべて大規模にリストアップする。

ａ．Ｎビットをもつバイナリカウンタを形成する、ここで、Ｎは領域の総数を表す。各領域をバイナリカウンタのビットロケーションに割り当てる。

ｂ．バイナリカウンタの初期値を０に設定する。

ｃ．バイナリカウンタの値を１だけ増加させる。

ｄ．現在のカウンタ値の１のビット値に対応する領域をすべて組み合わせる。この組合せ領域を組合せのリストに加える。

ｅ．カウンタの値が２^N−１になるまで、ステップｃに行く。

図１の組合せエニュメレータ２２に続くロバスト性エスティメータ２３は、列挙された組合せ領域の各々を評定し、各々にロバスト性スコアを割り当てる。ロバスト性スコアは領域のロバスト性の評価に対応し、その結果、最もロバストであると予想される領域を識別することができる。

ここで、「最もロバストな」という用語は、異なる用途では、異なる歪みへの異なるレベルのロバスト性が必要とされるので曖昧である。この定式化では、最初に、いくつかの簡単なロバスト性尺度を定義し、次に、それらの尺度を組み合わせてロバスト性スコアを得る。これを式４に示すような一般形式で表すことができる。
Ｒ＝Ｆ（ｒ₁，ｒ₂…ｒ_K） （４）

ここで、ｒ₁，ｒ₂，…ｒ_Kは簡単なロバスト性尺度であり、Ｒはロバスト性スコアである。関数Ｆは、１組のパラメータα₁，α２，…α_Mによって制御されるｒ₁，ｒ₂，…ｒ_Kのあるプロトタイプ定式化として表すことができる。所与の定式化では、パラメータ値の最良の組は経験的に決定することができる。例えば、関数Ｆを、式２で示すようなｒ₁，ｒ₂，…ｒ_Kの線形結合として定式化することができる。
Ｒ＝α₁ｒ₁＋α₂ｒ₂＋…＋α_Kｒ_K （５）

ここで、

のようにパラメータを規格化する。Ｒは線形ロバスト性スコアと呼ぶことができる。

別の例示の定式化は式６によって記述することができ、ここで、ロバスト性尺度は非直線で組み合わされ、結果として生じるＲは非線形ロバスト性スコアと呼ばれる。

好ましい実施形態では、２つのロバスト性尺度、すなわち、幾何学的歪みのｒ_Gおよびバリューメトリック歪みのｒ_Vを選ぶ。ｒ_Gは、歪みのシフトの後に検出領域に含まれる正確な画素の割合を測定する。ｒ_Gが高いほど、歪まされた検出領域における多くの画素が元の検出領域に属し、より正確な検出が期待される。簡単にするためにシフト動作に基づいて定義されるようにｒ_Gを選ぶ。ｒ_Gが高いほど、回転などの他のタイプの幾何学的歪みに対する高いロバスト性を同様に示すことが分かる。ｒ_Gは、

と定義される。代替として、ｒ_Gには、式（２）または（３）と共に式（１）で定義されたロバスト性メトリックを使用することができる。

ｒ_Vは、透かし埋め込みによる画素当たりの平均輝度変化を測定する。明らかに、ｒ_Vが高いほど、領域は付加的なノイズなどのバリューメトリック歪みに対するロバスト性が高い。ｒ_Vは、

と定義される。これらの２つのロバスト性尺度を用いて、線形ロバスト性スコアは、
Ｒ＝α₁ｒ_G＋α₂ｒ_V （７）
となり、非線形ロバスト性スコアは、

となることになる。ロバスト性エスティメータ（定式化とパラメータ値）が与えられると、組合せエニュメレータ２２に由来する結合された領域の各々のロバスト性スコアを計算することができる。次に、その結果はセレクタ２４に渡される。パラメータは、様々なロバスト性尺度の相対的重要度を示し、用途の要求条件に応じて設定するか、または最適性能を達成するために実験的に決定することができる。以下の実験的方法がパラメータを評価するために導入される。

パラメータ値を確立する１つの方法は、試験データの組と１組の歪みとを選択し、次に、検出結果と式４によって指定されたロバスト性スコアとの間に最も高い相関性をもたらすパラメータ値の組を求めてパラメータ空間を探索することである。この方法の背後にある論理的根拠は、高いロバスト性スコアを有する透かし変更は高い検出結果を有するべきであることである。同様に、低いロバスト性スコアを有する変更は低い検出結果を有するべきである。

図６は、経験的定式化が与えられたとして、最適パラメータを評価するためのプロセスを記述している。検出有効性ベクトルパス６００において、透かし入りコンテンツ６１０が歪みモジュール６２０に供給され、ここで、歪みモデルは、透かし入れが使用される用途によって決定される。検出有効性エスティメータ６３０は検出結果を評価する。次に、検出有効性ベクトル６４０が形成される。

試験コンテンツの最適パラメータの組を得るために、パラメータのすべての組合せが試験されることになる。パラメータの組ごとに、関数パラメータの組のパス７００において、埋め込まれた透かしのロバスト性スコア７３０をロバスト性メトリック７２０から計算する。次に、ロバスト性スコアベクトル７４０がパラメータの組ごとに形成される。

ベクトル相関器８１０は、前もって生成された２つのベクトルの相関を取り、相関値を得る。最大の相関を与える１つのパラメータの組は、予測歪みモデルの下で透かしのロバスト性を測定する最良のロバスト性機能を反映するはずである。

検出有効性測定値の１つの例は、Ｌ_eとして表される埋め込まれた透かしのシーケンスと、Ｌ_dとして表される攻撃／歪みコンテンツからの抽出された試験シーケンスとの間の差であり得る。直観的に、検出領域ｉに対して、Ｌ_diがＬ_eiから実質的にはずれている、すなわち、｜（Ｌ_di−Ｌ_ei）／Ｌ_ei｜が大きい値を伴う場合、領域ｉは意図した攻撃に対してそれほどロバストでないと仮定することになる。その結果として、領域ｉは小さいロバストメトリックを有するはずである。同様に、｜（Ｌ_di−Ｌ_ei）／Ｌ_ei｜が小さい値である場合、領域ｉは意図した攻撃に対してロバストであると識別されることになり、したがって、対応するロバスト性メトリックは大きいはずである。

目標は、検出有効性測定値とロバスト性メトリックとの間の正相関を達成することである。したがって、差｜（Ｌ_di−Ｌ_ei）／Ｌ_ei｜の補数が検出有効性測定値Ｍ_diとして使用され、Ｍ_diはＭ_di＝１−ｍｉｎ（１，｜（Ｌ_di−Ｌ_ei）／Ｌ_ei｜）と定義される。

｜（Ｌ_di−Ｌ_ei）／Ｌ_ei｜における異常値の影響を低減するために１を使用して差｜（Ｌ_di−Ｌ_ei）／Ｌ_ei｜を制限する。Ｍ_diは、抽出された透かしが、埋め込まれた透かしと一致する量を測定する。Ｍ_diが大きいほど、検出のロバスト性が高い。

次に、図１で行われたロバスト性の評価を用いて、セレクタ２４は仕事をする。セレクタ２４は、最も大きいロバスト性測定値を有する領域の組合せを選択するプロセスである。次に、セレクタ２４は、透かし検出のために透かし検出器が必要とする他の情報と一緒に出力領域組合せ情報を準備する。
本願発明は以下の態様を含む。
（付記１）
１つまたは複数の透かしを有するリストからの透かしに関連する伝搬マップにアクセスするステップと、
前記伝搬マップ内のブロックについての少なくとも１つの検出基準を定義するステップと、
前記伝搬マップ内に含まれる前記ブロックのうちの少なくとも１つの、少なくとも１つの領域を識別するステップであって、前記少なくとも１つの領域が前記少なくとも１つの検出基準に応答してグループ化される、ステップと、
前記少なくとも１つの領域の情報を生成するステップと、
を含む、方法。
（付記２）
前記少なくとも１つの領域は一群の接続されたブロックである、付記１に記載の方法。
（付記３）
複数の異なる領域があり、少なくとも１つの領域のブロックは別の領域のブロックと異なる信号を有する、付記２に記載の方法。
（付記４）
前記情報は空間情報である、付記１に記載の方法。
（付記５）
前記空間情報は、少なくとも領域のサイズ、領域の数、前記領域の形状、および前記領域の場所を含む、付記４に記載の方法。
（付記６）
前記情報は時間情報である、付記１に記載の方法。
（付記７）
前記情報は時空情報である、付記１に記載の方法。
（付記８）
前記検出基準は輝度レベルの変化である、付記１に記載の方法。
（付記９）
前記検出基準は輝度レベルの変化であり、前記信号は前記変化の符号である、付記３に記載の方法。
（付記１０）
輝度レベルの平均変化は各透かしの領域ごとに決定され、前記情報は平均輝度を含む、付記９に記載の方法。
（付記１１）
各透かしの領域ごとの前記情報は、各透かしがメトリックによって特徴づけられる優先領域を有するように優先順位をつけられる、付記３に記載の方法。
（付記１２）
閾値メトリックを選択するステップと、
前記閾値メトリックを超える、または凌ぐ優先領域を有する透かしを、映像データに適用するためのあり得る透かしのリストに配置するステップと、
をさらに含む、付記１１に記載の方法。
（付記１３）
フラグマトリクスを生成するステップであって、前記少なくとも１つの領域を識別する、該生成するステップをさらに含む、付記１に記載の方法。
（付記１４）
前記フラグマトリクスを開始するためのシードブロックを前記伝搬マップ内のブロックから選択するステップであって、前記シードブロックが少なくとも１つの領域の一部である、ステップと、
前記シードブロックの信号を決定するステップと、
前記シードブロックに隣接する追加のブロックを前記フラグマトリクスにポピュレートするステップであって、前記追加のブロックが前記シードブロックと同じ種類の信号を有する、ステップと、
少なくとも前記追加のブロックを通して前記シードブロックに接続される他のブロックを前記フラグマトリクスにポピュレートし続けるステップであって、他のブロックおよび任意の介在ブロックが前記シードブロックと同じ種類の信号を有する、ステップと、
前記ポピュレートするステップ、および、さらにポピュレートするステップにおいて、前記シードブロックおよび任意のブロックを第１の領域に割り当てるステップであって、それによって、前記識別するステップにおいて前記第１の領域を生成する、該割り当てるステップと、
をさらに含む、付記１３に記載の方法。
（付記１５）
少なくとも１つの領域にまだ割り当てられていない前記伝搬マップ内のブロックから、前記フラグマトリクスにさらにポピュレートするための別のシードブロックを選択して第２の領域を決定するステップと、
前記別のシードブロックに対して、前記決定するステップ、前記ポピュレートするステップ、前記さらにポピュレートするステップ、および、前記割り当てるステップを実行し、それによって、前記識別するステップにおいて前記第２の領域を生成するステップと、
をさらに含む、付記１４に記載の方法。
（付記１６）
他のシードブロックを選択し続けるステップと、前記伝搬マップ内の前記ブロックがすべて割り当てられるまで、前記他のシードブロックに対して、前記決定するステップ、前記ポピュレートするステップ、前記さらにポピュレートするステップ、および、前記割り当てるステップを実行するステップであって、それによって、前記識別するステップにおいて他の領域を生成する、該実行するステップとをさらに含む、付記１５に記載の方法。
（付記１７）
メトリックに基づいて透かしごとに前記伝搬マップの優先領域を選択するステップと、
閾値メトリックを選択するステップと、
前記閾値メトリックを超えるか、または凌ぐ優先領域を有する透かしを、映像データに適用するためのあり得る透かしの選択リストに配置するステップと
をさらに含む、付記１６に記載の方法。
（付記１８）
前記メトリックは前記少なくとも１つの検出基準であり、輝度変化の尺度であり、
前記信号の種類は前記輝度変化の符号である、付記１７に記載の方法。
（付記１９）
映像へのあり得る透かしのリストにアクセスする、または生成するステップと、
前記それぞれの透かしを適用することにより生じることになる前記映像への修正の個別の伝搬マップを生成するステップであって、前記伝搬マップは各々前記それぞれの透かしによって修正された前記映像の構成ブロックの集合である、ステップと、
選択された検出基準に関して、前記伝搬マップ内の領域と互いに比較して、集合的に最も高く位置づける前記伝搬マップ内のブロックを含むそれぞれの伝搬マップの各々に応答して検出領域を生成するステップと、
検出領域を評価するための閾値メトリックを選択するステップと、
透かしの検出領域と前記閾値メトリックとの比較に応答して前記リストから透かしを除去するステップと、
を含む、方法。

Claims (19)

1. １つまたは複数の透かしを有するリストからの透かしに関連する伝搬マップにアクセスするステップと、
   前記伝搬マップ内のブロックについての少なくとも１つの検出基準を定義するステップと、
   前記伝搬マップ内に含まれる前記ブロックのうちの少なくとも１つの、少なくとも１つの領域を識別するステップであって、前記少なくとも１つの領域が前記少なくとも１つの検出基準に応答してグループ化される、ステップと、
   前記少なくとも１つの領域の情報を生成するステップと、
   を含む、方法。
2. 前記少なくとも１つの領域は一群の接続されたブロックである、請求項１に記載の方法。
3. 複数の異なる領域があり、少なくとも１つの領域のブロックは別の領域のブロックと異なる信号を有する、請求項２に記載の方法。
4. 前記情報は空間情報である、請求項１に記載の方法。
5. 前記空間情報は、少なくとも領域のサイズ、領域の数、前記領域の形状、および前記領域の場所を含む、請求項４に記載の方法。
6. 前記情報は時間情報である、請求項１に記載の方法。
7. 前記情報は時空情報である、請求項１に記載の方法。
8. 前記検出基準は輝度レベルの変化である、請求項１に記載の方法。
9. 前記検出基準は輝度レベルの変化であり、前記信号は前記変化の符号である、請求項３に記載の方法。
10. 輝度レベルの平均変化は各透かしの領域ごとに決定され、前記情報は平均輝度を含む、請求項９に記載の方法。
11. 各透かしの領域ごとの前記情報は、各透かしがメトリックによって特徴づけられる優先領域を有するように優先順位をつけられる、請求項３に記載の方法。
12. 閾値メトリックを選択するステップと、
    前記閾値メトリックを超える、または凌ぐ優先領域を有する透かしを、映像データに適用するためのあり得る透かしのリストに配置するステップと、
    をさらに含む、請求項１１に記載の方法。
13. フラグマトリクスを生成するステップであって、前記少なくとも１つの領域を識別する、該生成するステップをさらに含む、請求項１に記載の方法。
14. 前記フラグマトリクスを開始するためのシードブロックを前記伝搬マップ内のブロックから選択するステップであって、前記シードブロックが少なくとも１つの領域の一部である、ステップと、
    前記シードブロックの信号を決定するステップと、
    前記シードブロックに隣接する追加のブロックを前記フラグマトリクスにポピュレートするステップであって、前記追加のブロックが前記シードブロックと同じ種類の信号を有する、ステップと、
    少なくとも前記追加のブロックを通して前記シードブロックに接続される他のブロックを前記フラグマトリクスにポピュレートし続けるステップであって、他のブロックおよび任意の介在ブロックが前記シードブロックと同じ種類の信号を有する、ステップと、
    前記ポピュレートするステップ、および、さらにポピュレートするステップにおいて、前記シードブロックおよび任意のブロックを第１の領域に割り当てるステップであって、それによって、前記識別するステップにおいて前記第１の領域を生成する、該割り当てるステップと、
    をさらに含む、請求項１３に記載の方法。
15. 少なくとも１つの領域にまだ割り当てられていない前記伝搬マップ内のブロックから、前記フラグマトリクスにさらにポピュレートするための別のシードブロックを選択して第２の領域を決定するステップと、
    前記別のシードブロックに対して、前記決定するステップ、前記ポピュレートするステップ、前記さらにポピュレートするステップ、および、前記割り当てるステップを実行し、それによって、前記識別するステップにおいて前記第２の領域を生成するステップと、
    をさらに含む、請求項１４に記載の方法。
16. 他のシードブロックを選択し続けるステップと、前記伝搬マップ内の前記ブロックがすべて割り当てられるまで、前記他のシードブロックに対して、前記決定するステップ、前記ポピュレートするステップ、前記さらにポピュレートするステップ、および、前記割り当てるステップを実行するステップであって、それによって、前記識別するステップにおいて他の領域を生成する、該実行するステップとをさらに含む、請求項１５に記載の方法。
17. メトリックに基づいて透かしごとに前記伝搬マップの優先領域を選択するステップと、
    閾値メトリックを選択するステップと、
    前記閾値メトリックを超えるか、または凌ぐ優先領域を有する透かしを、映像データに適用するためのあり得る透かしの選択リストに配置するステップと
    をさらに含む、請求項１６に記載の方法。
18. 前記メトリックは前記少なくとも１つの検出基準であり、輝度変化の尺度であり、
    前記信号の種類は前記輝度変化の符号である、請求項１７に記載の方法。
19. 映像へのあり得る透かしのリストにアクセスする、または生成するステップと、
    前記それぞれの透かしを適用することにより生じることになる前記映像への修正の個別の伝搬マップを生成するステップであって、前記伝搬マップは各々前記それぞれの透かしによって修正された前記映像の構成ブロックの集合である、ステップと、
    選択された検出基準に関して、前記伝搬マップ内の他の各領域と比較して、集合的に最も高く位置づける前記伝搬マップ内のブロックを含むそれぞれの伝搬マップの各々に応答して検出領域を生成するステップと、
    検出領域を評価するための閾値メトリックを選択するステップと、
    透かしの検出領域と前記閾値メトリックとの比較に応答して前記リストから透かしを除去するステップと、
    を含む、方法。

Images