JP4184406B2 - ディジタル信号における電子透かしの検出 - Google Patents

Description

本発明は、ディジタルデータに埋め込まれた電子透かし信号の検出に関する。前記データは典型的にはマルチメディアコンテンツを表す。斯かるデータの典型的なフォーマットはＭＰＥＧ２であるが、本発明は他のフォーマットにも利用され得る。

著作権、コピー制御、ソース又は認証データのような特定の情報をディジタル信号に埋め込むため、電子透かしとして知られる手法がしばしば利用される。該手法は、認識可能なパターンが電子透かしを入れられるべきデータに「重畳される」ようにディジタルデータを処理することを含む。異なるタイプの電子透かしは、異なる用途を持つ。アナログ及びディジタルドメインにおける幅広い処理ステップの後にも残存するように意図された単純で頑強な電子透かしは、電子透かしを入れられたデータが著作権の影響下にあることを単に示しても良く、所有者及び日付のような更なる詳細を提供しても良い。脆弱な電子透かしはしばしば、データがいずれかの方法で処理されると破損される又は破壊されるように追加される。このようにして、データファイル又はストリーム中に予期された脆弱な電子透かしが存在しないことが、データが処理された又はそうでなければ改竄されたことを示すことができる。このことは、認証が非常に重要である医学又は法科学の用途において有用となり得る。

種々のタイプの電子透かしパターンはそれ自体が、データ自体に重畳された又は編み込まれた疑似ノイズ信号から成る。電子透かし信号は理想的には、元のデータを認識可能な程劣化させるべきではないが、適切なデコーダによって検出可能であるべきである。

電子透かしを入れられたデータが、インターネット又は他のデータ伝送システムによる伝送に適する非常に低いビットレートまで圧縮される場合に、特有の問題が生じる。ＤＩＶＸ（登録商標）は、非常に低いビットレートをもたらす１つのシステムであり、ビデオ画像をインターネットで伝送するために必要とされる帯域幅の量を削減するために広く利用される。

ＪＡＷＳ（Ton Kalker、Geert Depovere、Jaap Haitsma及びMaurice Maesによる「A Video Watermarking System for Broadcast Monitoring」（Proceedings of SPIE Electronic Imaging ’99、Security and watermarking of Multimedia Contents、San Jose（米、カリフォルニア）、1999年１月））のような現在利用されている電子透かしシステムは、大量のビデオデータを収集することにより埋め込まれた電子透かしを探す検出器を利用する。該電子透かしは次いで、フォールド（fold）され蓄積され、その後前記蓄積されたデータが予期される電子透かしパターンと関連付けられる。例えばＤＩＶＸ（登録商標）を利用して非常に低いビットレートに圧縮されたビデオデータを利用する場合、頻繁に起こる結果は、検出閾値よりも低く生じる関連ピークである。このことは、埋め込まれた電子透かしの検出が失敗し得るということを意味し、電子透かしを入れられたビデオを見ることを認可されたシステムのユーザに不便をもたらし、電子透かしの適切な検出がないために該ビデオを見ることを妨げられ得る。

電子透かしを入れられたビデオがスケーリングされた場合又はサイズ変更された場合、更なる問題が生じる。埋め込まれた電子透かしを検出するため、ビデオ信号の元のスケールが必要とされ、それにより入力ビデオデータを捕捉した蓄積バッファがそれに応じて元のビデオの大きさにスケーリングされる。元のスケールはスケーリングされたビデオデータ自体から決定される必要がある。ビデオデータが既知の電子透かしデータに対して関連付けられる電子透かし検出処理と比較して、先行技術のスケーリングケ検出処理は、スケーリング因子を導出するために２つのノイズの多い蓄積バッファを互いと関連付けることにより動作する。

ＪＡＷＳシステムにおいては、電子透かし検出並びに電子透かし検出処理及びスケーリング取得処理は、元のデータに埋め込まれた反復的な電子透かしパターンを利用する。電子透かし埋め込み処理の間、１２８ｘ１２８の電子透かしパターンがデータのフレーム全体にわたって「タイルのように」並べられている。

データのスケーリングされたバージョンから水平方向のスケーリング情報を取得するために、幾つかの蓄積されたフレームから２つの水平方向に隣接するタイルＡ及びＢを任意に選択することにより処理が開始する。該２つのタイルは次いで、以下のステップによって互いに関連付けられる。
・Ａ及びＢに対して１２８ｘ１２８のハニング（Hanning）ウィンドウＨａｎ（Ａ）及びＨａｎ（Ｂ）を算出する（ハニングウィンドウは、適用されるタイルのエッジを「フェードアウト」させるように動作する一種のフィルタである。このようにして、タイルの中央におけるデータが保護され、エッジに近いデータはゼロへとフェードアウトする。このことは、ＦＦＴ算出の保証において強い人工的な周波数成分をもたらすエッジの効果を軽減する）。
・Ａ及びＢに対して１２８ｘ１２８の高速フーリエ変換（ＦＦＴ）を算出する。
・Ｈａｎ（Ｂ）の複素共役Ｃｏｎ（Ｈａｎ（Ｂ））を算出する。
・Ｈａｎ（Ａ）とＣｏｎ（Ｈａｎ（Ｂ））との点毎の乗算を算出する。
・乗算結果を正規化する。このことは、ｚが以下の式によって置き換えられるように、該結果における各複素値（ｚ）について以下の式によって為される。

・前のステップの逆ＦＦＴ（ＩＦＦＴ）を算出する。

ＩＦＦＴ結果の第１行における最高値の位置が次いで、水平方向のスケーリング因子を算出するために利用される。第１の値が最高である場合は、水平方向のスケーリング因子は１である。即ち、スケーリングが起こっていない。

垂直方向のスケーリング因子も同様に算出されるが、２つの垂直方向に隣接するタイルと、ＩＦＦＴ結果の第１の列とが代わりに利用される。

該スケーリング取得処理についての関連ピークは、利用される本質的によりノイズの多いバッファサンプルのため、電子透かし検出処理についてよりも更に低い（電子透かし検出は、既知のパターンとノイズの多い蓄積バッファとの間の相関を含む。スケーリング検出は、２つのノイズの多い蓄積バッファ間の相関である）。更に問題を複雑にすることに、フレームのフォールドがスケーリング検出処理において利用されない場合がある。このことは、フレームのフォールドは、スケールが既知である場合にのみ利用され得るからである。スケールが既知でなければ、同期されていない蓄積されたバッファ及び結果の蓄積バッファは役立たない。結果として、蓄積のみが利用され得る。このことは、関連付けが実行される前により多くのフレームが収集される必要があることを意味し、このことは勿論より時間が掛かる。

フォールドは、電子透かしデータを「拡大」することにより動作する。なぜなら、常に等しい符号を持つからである。下にあるビデオ信号は実質的にランダム的であり、従って平均化される。十分長くフォールドすることは、元の電子透かしパターンに帰着する。しかしながら、パターン（１２８ｘ１２８のタイル）が正確に配置されていない場合、該処理は動作しない。

先行技術の手法は、ビデオデータが平均化され電子透かしが増幅され、それにより信号（電子透かし）対ノイズ（ビデオ）比が増大することを期待して、検出毎により多くのフレームを蓄積することにより、これらの問題を軽減しようと試みる。

典型的なスケーリング検出においては、３００ものフレームが現在利用されている。しかしながら、ＤＩＶＸ（登録商標）圧縮されたビデオの場合には、ブロックパターンにより引き起こされる多くの人工的なノイズ及び望ましくない類似がもたらされる。蓄積処理の間、電子透かしのエネルギーよりも多くのノイズが一般に蓄積される。また、望ましくないパターンも増幅され、通常電子透かし信号よりも強くなる。これらの問題は全て、ＤＩＶＸ（登録商標）ビデオの信頼性の高いスケーリング検出を困難にし、しばしば不可能にする。信頼性の高いスケーリング検出がなければ、電子透かし検出は不可能である。

本発明の目的は、先行技術の検出システムにおいて直面する上述の問題を少なくとも軽減し、高度に圧縮されたビデオ又は他のマルチビデオデータの利用のための優れた電子透かし検出システムを提供することにある。

本発明の他の目的は、電子透かし検出が実行される前に、より信頼性高いスケーリング検出処理の実行を可能とすることである。

本発明によれば、圧縮されたマルチメディアデータに埋め込まれた電子透かしのデコードにおける利用のためのデータを選択する方法であって、
前記マルチメディアデータの圧縮の度合いに基づいて、前記圧縮されたマルチメディアデータの所定の部分について品質メトリック（quality metric）を算出するステップと、
前記品質メトリックが一定の閾値よりも高い場合、電子透かしデコード処理に前記所定の部分を含めるステップと、
前記品質メトリックが前記閾値よりも低い場合、前記電子透かしデコード処理から前記所定の部分を除外するステップと、
を有する方法が提供される。

好ましくは、前記方法は、前記電子透かしデコード処理の前に実行されるスケーリング検出処理において利用するためのデータを選択するため前記品質メトリックを利用するステップを更に含む。スケーリングが行われていない場合には、該処理はスケール因子として１を返す。そうでなければ、前記スケーリング検出処理は、電子透かしがデコードされる前に、蓄積バッファが適切にサイズ決定されることを可能とする値を返す。

好ましくは、前記品質メトリックは、圧縮されたデータストリームの解析に基づいて算出される。かような圧縮されたデータストリームはＤＩＶＸ（登録商標）システムによって供給される。

適切に、圧縮されたデータストリームへのアクセスが可能である場合には、品質メトリックは、量子化係数、データフレームを符号化するために利用された可変長符号語（ＶＬＣ）の数、及び動きベクトルのうちの１つに基づいて決定されても良い。

前記品質メトリックはまた、複数のパラメータに基づいて算出されても良い。

好ましくは、前記品質メトリックは、ベースバンドデータの解析に基づいて算出されても良い。

好ましくは、前記品質メトリックは、フレームのエネルギーの尺度に基づいて算出されても良い。

前記品質メトリックはまた、複数のパラメータに基づいて算出されても良い。

好ましくは、前記データの所定の部分はフレームである。代替として、部分フレームが利用されても良い。

好ましくは、本発明による方法を実行する装置が提供される。

本発明のより良い理解のため、及び本発明がどのように実施されるかを理解するため、本発明は、添付図面を参照しながら、例としてのみ、以下に説明される。

図１は、本発明の実施例におけるデータフローの模式的な図を示す。データバッファ１０は、入力データストリーム１１０を受信するように構成される。データストリーム１１０は、本実施例においては、ＤＩＶＸ（登録商標）符号化されたビデオデータストリームである。データバッファ１０は、前記入力データストリームのフレームの全体又は一部１２０を選択するように動作する。該選択されたフレームの全体又は一部１２０は次いで、品質メトリック算出器２０において解析される。品質メトリック算出器は、データフレーム（又はその一部）１２０に対して処理を行ない、入力データフレーム１２０の品質メトリック１３０を確立する。前記品質メトリックは、十分な電子透かしエネルギーを含む特定のフレームが、電子透かしデコード処理において利用される見込みを示す。前記品質メトリックを算出する方法は、以下手短に示される。

品質メトリック１３０は、閾値検出器３０において予め定義されたレベルと比較される。前記品質メトリックが、フレーム１２０が適切な量の電子透かしエネルギーを含む高い見込みを示している場合、フレーム１２０が電子透かし検出処理４０に利用可能とされる。

しかしながら、品質メトリック１３０が予め定義された認容可能なレベルより低い場合には、前記閾値検出器はフレーム１２０中のデータを破棄し（５０）、該データは電子透かしデコード処理４０において働きを為さない。

このようにして、電子透かしの正常なデコードが実行されることを可能とするために十分な電子透かしエネルギーを含む高い確率を持つデータのみが、前記電子透かしデコード処理に送られる。前記電子透かしデコード処理の出力は電子透かし１４０である。代替として、出力１４０は、正常なデコードか又は電子透かしが検出されなかったことかのいずれかを示すバイナリの信号であっても良い。

品質メトリック（Ｑ）を決定するため、前記データの１以上の特性が評価され又は測定される。以下の例は、幾つかの状況において利用され得る属性を強調する。当業者は、他の状況において品質メトリック算出の基礎を形成し得る他の属性を認識するであろう。

品質メトリック（Ｑ）は、どれだけ対象データが圧縮されたかの尺度を実質的に提供する。データが圧縮される程、該データから電子透かしを抽出することは困難となる。

圧縮されたデータストリームへのアクセスが可能である場合には、該ストリーム自体から利用可能な、品質メトリック（Ｑ）を決定するために利用され得る幾つかのパラメータがある。幾つかの適切なパラメータは、
・量子化係数
・フレームを符号化するために利用された可変長符号語（ＶＬＣ）の数
・動きベクトル
である。

圧縮されたデータストリームへのアクセスが可能であるシステムにおいては、品質メトリックは、フレームを符号化するために利用されたＶＬＣの数を計数することにより導出され得る。この場合には、５０００以上の係数を用いて符号化されたフレームのみがフォールドされ電子透かし検出処理において利用される。

しかしながら多くの例において、元の圧縮されたストリームへのアクセスは可能ではなく、例えばベースバンドビデオ信号へのアクセスのみが可能である。かような例においては、上述したパラメータへのアクセスは可能ではなく、従ってＱを決定するために別のパラメータが利用されても良い。かようなパラメータの１つは、
・エネルギーの尺度
である。かような尺度は、例えばフレームのブロックを８ｘ８ＤＣＴ変換し、粗い標準的なＭＰＥＧ量子化行列を用いて係数を量子化し、非ゼロ（non-zero）係数の数を計数することにより得られる。ブロックの非ゼロ係数は、該ブロックのエネルギー量を示す。ＤＣ周波数の周囲に多くの高い係数がある場合、このことは該ブロックにおいて鋭いエッジがあることを示す。非ゼロ係数が多いことは、該ブロックが複雑な構造を持つことを意味する。ＡＣ係数がない場合には、このことは該ブロックが平坦であることを意味する。一般に、非ゼロ係数が多い程、該ブロックにおいて利用可能である見込みの高い多くの電子透かしエネルギーがある。

前記信号の１以上の所定の属性から適切な品質メトリック（Ｑ）が算出されると、特定のＱの値について閾値を確立することが可能となる。それにより、前記閾値より低いＱの値を持つデータフレーム（又はその一部）が、埋め込まれた電子透かしをデコードする目的のために破棄されることができる。実際のデータフレーム（又はその一部）は勿論保持され、それにより本来のデータコンテンツ（例えばビデオ）はデコードされることができる。

前記閾値の確立は、前記品質メトリックの基礎として選択されたデータ信号の特定の属性に依存し、実験によって特定の場合において最良に決定され得る。

上述したように、圧縮されたビデオ信号がスケーリングされた場合に、更なる問題が生じる。電子透かしが圧縮された信号からデコードされる前に、前記信号の元のスケールが復元される必要がある。

本発明の実施例は、電子透かし情報を復元するための記載された方法と類似した方法で、スケーリング情報を復元するように動作する。スケーリング情報を復元するため、２つの蓄積バッファが関連付けられ、結果の相関がスケーリング因子の直接の示唆を与える。

前記関連付けの検出を改善するために、大きく圧縮されていない、従って高いＱを持つ候補のフレーム（又はその一部）を識別するために、上記算出された同様の品質メトリックが利用されることができる。これら候補フレームは、より大きく圧縮された、従って低いＱを持つフレーム（又はその一部）に優先して、スケーリングを決定する関連付け処理のために利用されることができる。

どのデータサンプルが前記関連付け処理において利用されるかについて選択的になることにより、スケーリング検出処理が大きく改善されることを実験が示している。相関ピークが、先行技術の方法を利用して定義された検出閾値よりも低く、スケーリング検出を不可能にしている場合には、本発明の実施例は、正常な関連付けに寄与しない特定のデータサンプルを選択的に破棄することにより、スケーリング因子を決定することが可能であることが分かっている。

実際には同様の手法が、圧縮された信号のスケーリング因子を見出すために最初に利用され、次いで該スケーリング因子が適切に前記蓄積バッファをスケーリングするために利用され、次いでより信頼性の高い電子透かしのデコードが実行されることを可能にするために利用される。

本発明の実施例は適切に条件付けられた又はプログラムされたハードウェアを利用して実装されても良い。かようなハードウェアは、カスタムＡＳＩＣのような専用のハードウェア、又はより一般的なプロセッサ若しくは適切なプログラムによる動作を含むＤＳＰを含んでも良い。

当業者は、品質メトリックを算出するための基礎として利用され得る他のパラメータを認識するであろう。ここで説明された例は、本発明の範囲を限定することを意図されたものではなく、本発明の範囲は添付される請求項によって決定されるべきである。

本発明の実施例の模式的な図を示す。

Claims (10)

1. 圧縮されたマルチメディアデータに埋め込まれた電子透かしのデコードにおける利用のためのデータを選択する方法であって、
   前記マルチメディアデータの圧縮の度合いに基づいて、前記圧縮されたマルチメディアデータの所定の部分について品質メトリックを算出するステップと、
   前記品質メトリックが一定の閾値よりも高い場合、電子透かしデコード処理に前記所定の部分を含めるステップと、
   前記品質メトリックが前記閾値よりも低い場合、前記電子透かしデコード処理から前記所定の部分を除外するステップと、
   を有する方法。
2. 前記電子透かしデコード処理の前に実行されるスケーリング検出処理において利用するためのデータを選択するため前記品質メトリックを利用するステップを更に含む、請求項１に記載の方法。
3. 前記品質メトリックは、圧縮されたデータストリームの解析に基づいて算出される、請求項１に記載の方法。
4. 前記品質メトリックは、前記圧縮されたデータストリームに関連する、量子化係数、データフレームを符号化するために利用された可変長符号語の数及び動きベクトルのうちの１つに基づいて算出される、請求項３に記載の方法。
5. 前記品質メトリックは、前記圧縮されたデータストリームに関連する複数のパラメータに基づいて算出される、請求項４に記載の方法。
6. 前記品質メトリックは、ベースバンドデータの解析に基づいて算出される、請求項１に記載の方法。
7. 前記品質メトリックは、フレームのエネルギーの尺度に基づいて算出される、請求項６に記載の方法。
8. 前記品質メトリックは、前記ベースバンドデータに関連する複数のパラメータに基づいて算出される、請求項７に記載の方法。
9. 前記データの所定の一部はフレームである、請求項１に記載の方法。
10. 請求項１乃至９のいずれか一項に記載の方法を実行するように構成された装置。

Images