JP5139338B2 - 符号化器側で元のサンプリング周波数でサンプリングされた受信信号に埋め込まれた透かし情報を復号化するためのサンプリング周波数を求め、使用する方法及び装置 - Google Patents

Description

本発明は、符号化器側で元のサンプリング周波数でサンプリングされた受信信号に埋め込まれた透かし情報を復号化するためのサンプリング周波数を復号化器側で求め、使用する方法及び装置に関する。

オーディオ信号又はビデオ信号における透かしは、例えば、国際公開２００７／０３１４２３号、国際公開９７／３３３９１号（米国特許第６５８４１３８号）や米国特許第６０６１７９３号に開示されたように、相関を使用して受信側又は復号化器側で検出することが可能である。

多くの透かしシステムは、検出メトリックを算出するために相関を利用する。これは、いくつかの疑似ランダム系列又は参照パターンが、符号化器側で生成されるか、又はメモリから読み出され、埋め込む対象のメッセージに応じて前述の１つ又は複数がコンテンツ（例えば、オーディオ信号又はビデオ信号）内に埋め込まれることを意味する。通常、参照パターンは互いに直交である。同じ疑似ランダム系列が、復号化器側で、生成されるか、又はメモリから読み出される。周波数変換を使用して埋め込みメッセージを符号化及び復号化することができる。埋め込みメッセージを復号化するために、符号化器側でどの疑似ランダム系列が埋め込まれたかを発見することが必要である。これは、前述のシステムでは、既知の疑似ランダム系列を、透かしが入った可能性があるコンテンツと相関させることによって求められる。相関は、コンテンツの処理済バージョンを処理することができ、前置処理は、逆周波数変換、スペクトル・シェーピング及び／又は白色化を含み得る。

埋め込み参照パターンはそれぞれ、埋め込みメッセージのうちの単一ビット、又は２以上のビットを表し得る。相関結果値の大きさに応じて、透かし検出器は、特定の疑似ランダム系列が埋め込まれたか否かを決める。

しかし、透かしを入れたオーディオ信号又はビデオ信号を受信し、これを透かし復号化することは、透かし符号化器と透かし復号化器との間のリンクがディジタルでない場合、困難である。前述の場合、例えば、透かしが入った信号がスピーカから出力され、マイクロフォンが、透かしが入った信号を受け取るために使用される「音響経路」が存在している場合、符号化器側でのサンプリング周波数及び復号化器側でのサンプリング周波数は同じでない。わずかに異なっている可能性が高いサンプル周波数で動作する少なくとも１つのＤ／Ａ変換器及び１つのＡ／Ｄ変換器が使用される。音響経路は、固定又は移動の透かし検出を伴う番組視聴者測定アプリケーションにおいて使用されるか、又は映画館において記録する著作権侵害者によって不正に使用され得る。通常、前述の音響経路の品質は、経時的に変動する。

米国特許第６５８４１３８号 国際公開第００／６３７８６号 欧州特許第１７６４７８０号 欧州特許第６０６１７９３号

本発明によって解決しようとする課題は、歪みが入った受信信号に埋め込まれた透かし情報を復号化するための正しいサンプリング周波数を求めるということである。前述の課題は請求項１記載の方法によって解決される。この方法を利用する装置は請求項２に記載している。

本発明によれば、再サンプラ制御装置は、オーディオ透かし復号化器と関連して再サンプラのサンプリング周波数を制御する。前述の透かし復号化器は、透かし情報ビットに加えて、相関結果から導き出される対応する信頼度値を出力する。この信頼度値は、入力透かしオーディオ信号の元のサンプリング周波数と、再サンプラのサンプリング周波数を同期化させる再サンプラ制御装置において使用される。同期化処理は、「サーチ・モード」及び「通常（すなわち、同期化）モード」を含む。

本発明の利点は、本発明が、当初同期化されていないサンプリング周波数から始まる、透かしが入った信号の復号化を容易にするという点である。

基本的には、本発明の方法は、符号化器側で元のサンプリング周波数でサンプリングされた受信信号に埋め込まれた透かし情報を復号化するためのサンプリング周波数を求め、使用するのに適している。上記方法は、
サーチ・モードにおいて、
受信信号の連続したセクション又はフレームについて、元のサンプリング周波数を含む元の周波数範囲内の候補サンプリング周波数を繰り返し走査し、それにより、上記候補サンプリング周波数を使用して、受信信号の対応するセクション又はフレームを透かし復号化する工程であって、
透かし復号化に使用される候補サンプリング周波数毎に、相関から導き出される対応する透かしビット信頼度値が求められ、候補サンプリング周波数それぞれの信頼度値が合計又は結合され、
現在の候補サンプリング周波数の信頼度値が第１の閾値以上になった場合、サーチ・モードを離れ、この候補サンプリング周波数が選択されて、通常モードに入る工程と、
信頼度和値のうちの最大値、及び２番目に大きい値を求める工程であって、それらの商又はそれらの差が第２の閾値を超えると直ちに、又は最大走査ループ数に達すると、サーチ・モードを離れ、最大信頼度和値に関係する候補サンプリング周波数を選択すると通常モードに入るか、又は、最大走査ループ数に達すると、上記商又は差が第２の閾値を超えるか否かが算出され、肯定でない場合、サーチ・モードが続けられる工程と、
通常モード又は同期化モードにおいて、選択された候補サンプリング周波数を元のサンプリング周波数とし、選択された候補サンプリング周波数を使用して部分単位又はフレーム単位で受信信号セクションを透かし復号化する工程とを有する。

基本的には、本発明の装置は、符号化器側で元のサンプリング周波数でサンプリングされた受信信号に埋め込まれた透かし情報を復号化するためのサンプリング周波数を求め、使用するのに適しており、復号化は、少なくとも１つの参照パターンとの相関を含み、装置は、
サーチ・モードにおいて、
受信信号の連続したセクション又はフレームについて、元のサンプリング周波数を含む元の周波数範囲内の候補サンプリング周波数を繰り返し走査し、それにより、上記候補サンプリング周波数を使用して、受信信号の対応するセクション又はフレームを透かし復号化し、
透かし復号化に使用される候補サンプリング周波数毎に、相関から導き出される対応する透かしビット信頼度値が求められ、候補サンプリング周波数それぞれの信頼度値が合計又は結合され、
現在の候補サンプリング周波数の信頼度値が第１の閾値以上になると直ちに、サーチ・モードを離れ、この候補サンプリング周波数が選択されて、通常モードに入り、
信頼度和値のうちの最大値、及び2番目に大きな値を求める工程であって、それらの商又はそれらの差が第２の閾値を超えると直ちに、又は最大走査ループ数に達すると、サーチ・モードを離れ、最大信頼度和値に関係する候補サンプリング周波数を選択すると通常モードに入るか、又は、最大走査ループ数が達成すると、上記商又は差が第２の閾値を超えるか否かが算出され、肯定でない場合、サーチ・モードが続けられ、
通常モード又は同期化モードにおいて、選択された候補サンプリング周波数を元のサンプリング周波数とし、選択された候補サンプリング周波数を使用してセクション単位又はフレーム単位で受信信号を透かし復号化するよう適合された手段を備える。

本発明の再サンプリング工程又は段階の基本ブロック図である。 透かし復号化の更に詳細なブロック図である。

本発明の効果的な更なる実施例は、それぞれの従属請求項に記載している。

本発明の例示的な実施例は、添付図面を参照して説明する。

大半の透かし入れシステムは、相関ベースの検出を使用する。これは、符号化器側において、ビット又は語の値を表すいくつかの疑似ランダム系列が生成されるか、又はメモリから選択され、埋め込む対象のメッセージ（例えば、透かしビット）に応じて、それらのうちの１つ又は複数がコンテンツ又は信号（例えば、オーディオ信号若しくはビデオ信号）内に埋め込まれる。同じ疑似ランダム系列が、復号化器側で、生成されるか、又はメモリから選択される。埋め込みメッセージを復号化するために、受信コンテンツ又は受信信号にどの疑似ランダム系列が埋め込まれたかを明らかにすることが必要である。これは、既知の疑似ランダム系列を、予め処理された可能性があるコンテンツ又は信号と関係付けることによって行われる。その後、復号化器又は受信器検出器は、例えば、相関結果の振幅値の大きさに応じて、特定の系列が埋め込まれているか否かを判定する。

図１では、透かしが入った入力信号ＲＷＡＳの正しいサンプリング周波数を検出するために、透かし復号化器又は復号化器機能ＷＭＤＦを使用する。ＷＭＤＦは、再サンプリングされたオーディオ信号ＲＡＳを受け取り、一度に、透かし情報ＩＮＦＢの１ビット、及び対応する「信頼度値」ＣＯＮＦ（この復号化ビットＩＮＦＢに属する）を出力として供給する。信頼度値ＣＯＮＦは、情報ビットの値が信頼できる場合は高く、情報ビットの値が信頼できない場合は低い。復号化器ＷＭＤＦの上流では、再サンプラＲＳが配置される。再サンプラは、透かしを入れた入力信号ＲＷＡＳを受け取り、再サンプラ制御装置ＲＣＴＲＬＵから、実際のサンプリング周波数ＡＳＦＲを受け取る。

再サンプラ制御装置ＲＣＴＲＬＵは、信頼度値ＣＯＮＦ、低サンプリング周波数（値）ＬＳＦＲ、高サンプリング周波数（値）ＨＳＦＲ（以下に説明する周波数範囲を定める）、並びに更なるパラメータＭＰＡＲ（信頼度の第１の閾値、最大数の周波数範囲検査の第２の閾値、最大信頼度及び２番目に大きな信頼度の和の値に関する第３の閾値、通常モードで合計する対象の滑動（ｇｌｉｄｉｎｇ）信頼度値の数、現在の信頼度の和の値に関する第４の閾値、実施可能な候補周波数の数又は間隔など）を受け取る。

信頼度値ＣＯＮＦが低い場合、音響経路は、対応する時点では歪んでいることがあり得、若しくは、相関結果値が、現在の候補サンプリング周波数において低いことがあり得（すなわち、相関結果において、明らかなピークを求めることが可能でなく）、又は両方があり得る。現在の信頼度値ＣＯＮＦが低いことの真の理由を見つける方法はない。

同期化処理は、別々の２つのモードで行われる。

「サーチ・モード」から開始する
サンプリング周波数範囲（例えば、±１％）は予め定められており、これは、例えば４８０００Ｈｚの期待サンプリング周波数又は候補サンプリング周波数の場合、サーチする開始周波数ＬＳＦＲは４７５２０Ｈｚであり、停止周波数ＨＳＦＲは４８４８０Ｈｚであることを意味している。開始周波数と停止周波数との前述の範囲は、いくつかの検査周波数（例えば、４０の周波数）に分けられる。前述の周波数の間隔は重要である。隣接する２つの候補周波数間の差が大きすぎる場合、再サンプラは同期化することが可能でなく、隣接する２つの候補周波数間の差が小さすぎる場合、検査周波数の数が増加するので、サーチ時間が長すぎる状態になる。

候補周波数を検査する場合、種々のサーチ手法（例えば、最低検査周波数から始める手法、最高検査周波数から始める手法、周波数範囲の中央から始め、そこから一方側又は何れかの側に進める手法）を使用することが可能である。

再サンプラ制御装置ＲＣＴＲＬＵからの候補サンプリング周波数ＡＳＦＲ出力毎に、再サンプラＲＳが呼び出され、次いで、透かし復号化器機能ＷＭＤＦが呼び出される。透かし復号化器からの関連信頼度値ＣＯＮＦがＲＣＴＲＬＵに保存される。信頼度値ＣＯＮＦが、所定の第１の閾値よりも小さい場合、周波数範囲全体が検査されるまで、次の候補サンプリング周波数が検査される。その後、受信信号ＲＷＡＳの後続フレームに基づいて、適切なサンプリング周波数を求めて、周波数範囲が再度、サーチあるいは検査あるいは走査される。この種の処理は、最大例えば５０回（すなわち、第２の閾値）まで繰り返されるので、各候補周波数は、別々の時点で数回、検査される。

信頼度値ＣＯＮＦが第１閾値以上の場合、実際の候補サンプリング周波数ＡＳＦＲは、正しいサンプリング周波数とみなされ、サーチ・モードは停止し、「通常（同期化）モード」処理に入る。

候補周波数毎に、最大例えば５０ループからの対応する信頼度値が加算されるか、又は結合される。対応する信頼度和値のうちの最大の値及び２番目に大きな値が求められる。前述の両方の和値の商が第３の閾値を超えると直ぐに、又は、例えば、両方の和間の差が第３の閾値を超えたら直ぐに、サーチ処理を停止することが可能であり、最大信頼度和値に対応する候補サンプリング周波数が、「通常（同期化）モード」処理について選択される。さもなければ、最大ループ数に達するか、又は、第１の閾値以上の信頼度値ＣＯＮＦが求められるまで続き、次に、通常モードに入る。

代替策として、最大走査ループ数に達すると直ちに、商又は差が第３の閾値を超えるか否かが算出され、肯定でない場合、サーチ・モードが続けられる。

記憶動作及び算出動作が、再サンプラ制御装置ＲＣＴＲＬＵにおいて行われる。

通常（同期化）モードを続ける
通常モードでは、サーチ・モード内で求められた選択されたサンプリング周波数が、再サンプラＲＳのサンプリング周波数ＡＳＦＲとして使用される。

必要に応じて、前述の予備的に選択されたサンプリング周波数上下の隣接する所定数のサンプリング周波数が（、熱効果、又は、スピーカとマイクロフォンとの間の距離が固定でないことによって生じる「ドップラ効果」によって生じる入力オーディオ信号ＲＷＡＳのサンプリング周波数のわずかな変動を考慮に入れるために連続して、又は随時、）検査される。検査される候補周波数間の間隔は、サーチ・モードの場合とは異なり得、正しいサンプリング周波数をできる限り正確に求めるために経時的に低減させ得る。

通常モードにある間、ＷＭＤＦから出力される所定数の直近の対応する信頼度値ＣＯＮＦ、及び透かし情報ビットＩＮＦＢが、正しいサンプリング周波数におけるかなりの変動を認識するために、連続して合計される（すなわち、現在の最大信頼度和値が監視される）。前述の所定数は、サーチ・モ―ドの部分で述べた最大ループ数とは異なり得る。現在の信頼度和値が第４の閾値よりも小さい場合、再サンプラ制御装置ＲＣＴＬＵは通常モードを止め、サーチ・モードに戻る。この場合、最終の「好適な」サンプリング周波数を保存し、再度入るサーチ・モードにおいて開始するためのサンプリング周波数として使用して、サンプリング周波数が変わっていない短時間の間にのみ、オーディオ信号が中断された場合にサーチ時間が短い状態を維持する。

記憶動作及び算出動作が、再サンプラ制御装置ＲＣＴＲＬＵにおいて行われる。

本発明の処理は、リアルタイムで動作する（すなわち、候補周波数走査ループそれぞれ、又は、前述の周波数の一部の処理が、入力透かし信号ＲＷＡＳの別々のセクション又はフレームに対して行われる）。しかし、透かしを入れた信号ＲＷＡＳは、本発明の処理が行われるデータ・ファイルとして記憶されることも考えられる。

図２の透かし復号化器ブロック図では、受信部装置ＲＳＵは、透かし復号化器又は復号化器機能ＷＭＤＦ以外は図１の工程又は段階を表す。透かしを入れた入力信号ＲＷＡＳが再サンプリングされ、工程又は装置ＲＳＵを通過した後、前処理工程又は段階ＰＲＰＲ（スペクトル・シェーピング及び／あるいは白色化並びに／あるいは逆周波数変換を実行し得る）を通って進み得る。以下の相関工程又は段階ＣＯＲＲでは、１つ又は複数の参照パターンＲＥＦＰと、セクション単位で関係付けられる。決定の工程又は段階ＤＣは、（例えば、最大の正又は負の相関結果の振幅を、適切な閾値と比較することにより、）相関結果ピークが存在しているか否かを求め、そのピークの非曖昧性（すなわち、雑音、及びより小さい相関結果のピークとどのようにして明確に区別されるか）から、対応する信頼度値ＣＯＮＦを導き出す。任意の下流エラー訂正工程又は段階ＥＲＲＣでは、予備的に求められた透かし情報ビットＩＮＦＢはエラー訂正することが可能であり、これにより、訂正された透かし情報ビットＣＩＮＦＢが生成される。

本発明は、エコー及び反響と同様なものによって相関が擾乱され得る技術全てに適用可能である（例えば、知覚的に符号化されている、透かしを入れたビデオ）。

ＲＣＴＲＬＵ 再サンプラ制御装置
ＲＳ 再サンプラ
ＷＭＤＦ 透かし復号化器

Claims (18)

1. 符号化器側で元のサンプリング周波数でサンプリングされた受信信号に埋め込まれた透かし情報を復号化するためにサンプリング周波数を求め、使用する方法であって、
   前記復号化は、少なくとも１つの参照パターンとの相関を含み、
   前記方法は、
   サーチ・モードにおいて、
   前記受信信号の連続したセクション又はフレームについて、前記元のサンプリング周波数を含む周波数範囲内の候補サンプリング周波数を繰り返し走査し、それにより、前記候補サンプリング周波数を使用して、前記受信信号の対応するセクション又はフレームを透かし復号化する工程であって、
   前記透かし復号化に使用される候補サンプリング周波数毎に、前記相関から導き出される対応する透かしビット信頼度値が求められ、前記候補サンプリング周波数毎の信頼度値を合計して、対応する信頼度和値を供給し、
   現在の候補サンプリング周波数の信頼度値が、第１の閾値以上に達すると直ちに、サーチ・モードを離れ、この候補サンプリング周波数が選択されて、通常モードに入る工程と、
   前記信頼度和値のうちの最大の値、及び２番目に大きな値を求める工程であって、それらの商又はそれらの差が第２の閾値を超えると直ちに、又は最大走査ループ数に達すると、前記サーチ・モードを離れ、前記最大の信頼度和値に関係する候補サンプリング周波数を選択すると前記通常モードに入り、又は、前記最大走査ループ数に達すると、前記商又は前記差が前記第２の閾値を超えているか否かが算出され、肯定でない場合、前記サーチ・モードが続けられる工程と、
   通常又は同期化モードにおいて、前記選択された候補サンプリング周波数を前記元のサンプリング周波数として採用し、前記選択された候補サンプリング周波数を使用してセクション単位又はフレーム単位で前記受信信号を透かし復号化する工程とを含む方法。
2. 請求項１記載の方法であって、前記通常モードでは、所定数の直近の信頼度値が連続して合計され、結果として生じる和値を第３の閾値と比較して、正しいサンプリング周波数における変化を認識し、対応する信頼度和値が前記第３の閾値よりも小さい場合、前記通常モードを離れ、前記サーチ・モードに再度入る方法。
3. 請求項２記載の方法であって、前記通常モードにおいて使用される最後のサンプリング周波数は、前記再度入るサーチ・モードにおいて、前記走査において開始するサンプリング周波数として使用される方法。
4. 請求項１乃至３の何れか一項に記載の方法であって、前記通常モードでは、前記選択されたサンプリング周波数上下の隣接する所定数の候補サンプリング周波数を前記透かし復号化に使用して、入力オーディオ信号のサンプリング周波数のわずかな変動を考慮に入れる方法。
5. 請求項４記載の方法であって、候補周波数間の間隔は、前記サーチ・モードの場合とは異なり得、経時的に低減させる方法。
6. 請求項１乃至５の何れか一項に記載の方法であって、
   前記透かしビット信頼度値は、情報ビットの値が高い場合、高く、情報ビットの値が低い場合、低い方法。
7. 請求項１乃至６の何れか一項に記載の方法であって、
   前記相関の上流で、前記受信信号は、スペクトル・シェーピングされ、かつ／あるいは白色化され、かつ／あるいは逆周波数変換される方法。
8. 請求項１乃至７の何れか一項に記載の方法であって、
   透かしを入れた信号はデータ・ファイルとして記憶される方法。
9. 請求項８記載の方法であって、前記周波数範囲内の候補サンプリング周波数の前記走査は一度のみ実行される方法。
10. 符号化器側で元のサンプリング周波数でサンプリングされた受信信号に埋め込まれた透かし情報を復号化するためにサンプリング周波数を求め、使用する装置であって、
    前記復号化は、少なくとも１つの参照パターンとの相関を含み、
    前記装置は、手段を含み、
    前記手段は、
    サーチ・モードにおいて、
    前記受信信号の連続したセクション又はフレームについて、前記元のサンプリング周波数を含む周波数範囲内の候補サンプリング周波数を繰り返し走査し、それにより、前記候補サンプリング周波数を使用して、前記受信信号の対応するセクション又はフレームを透かし復号化する工程であって、前記透かし復号化に使用される候補サンプリング周波数毎に、前記相関から導き出される対応する透かしビット信頼度値が求められ、前記候補サンプリング周波数毎の信頼度値を合計して、対応する信頼度和値を供給し、
    現在の候補サンプリング周波数の信頼度値が、第１の閾値以上に達すると直ちに、サーチ・モードを離れ、この候補サンプリング周波数が選択されると通常モードに入り、
    前記信頼度和値のうちの最大の値、及び２番目に大きな値を求め、それらの商又はそれらの差が第２の閾値を超えると直ちに、又は最大走査ループ数に達すると、前記サーチ・モードを離れ、前記最大の信頼度和値に関係する候補サンプリング周波数を選択すると前記通常モードに入り、又は、前記最大走査ループ数に達すると、前記商又は前記差が前記第２の閾値を超えているか否かが算出され、肯定でない場合、前記サーチ・モードが続けられ、
    通常又は同期化モードにおいて、前記選択された候補サンプリング周波数を前記元のサンプリング周波数として採用し、前記選択された候補サンプリング周波数を使用してセクション単位又はフレーム単位で前記受信信号を透かし復号化するよう適合された装置。
11. 請求項１０記載の装置であって、前記通常モードでは、所定数の直近の信頼度値が連続して合計され、結果として生じる和値を第３の閾値と比較して、正しいサンプリング周波数における変化を認識し、対応する信頼度和値が前記第３の閾値よりも小さい場合、前記通常モードを離れ、前記サーチ・モードに再度入る装置。
12. 請求項１１記載の装置であって、前記通常モードにおいて使用される最後のサンプリング周波数は、前記再度入るサーチ・モードにおいて、前記走査において開始するサンプリング周波数として使用される装置。
13. 請求項１０乃至１２の何れか一項に記載の装置であって、前記通常モードでは、前記選択されたサンプリング周波数上下の隣接する所定数の候補サンプリング周波数を前記透かし復号化に使用して、入力オーディオ信号のサンプリング周波数のわずかな変動を考慮に入れる装置。
14. 請求項１３記載の装置であって、候補周波数間の間隔は、前記サーチ・モードの場合とは異なり得、経時的に低減させる装置。
15. 請求項１０乃至１４の何れか一項に記載の装置であって、
    前記透かしビット信頼度値は、情報ビットの値が高い場合、高く、情報ビットの値が低い場合、低い装置。
16. 請求項１０乃至１５の何れか一項に記載の装置であって、
    前記相関の上流で、前記受信信号は、スペクトル・シェーピングされ、かつ／あるいは白色化され、かつ／あるいは逆周波数変換される装置。
17. 請求項１０乃至１６の何れか一項に記載の装置であって、
    透かしを入れた信号はデータ・ファイルとして記憶される装置。
18. 請求項１７記載の装置であって、前記周波数範囲内の候補サンプリング周波数の前記走査は一度のみ実行される装置。

Images