JP4213592B2 - ウォーターマークの埋め込み - Google Patents

Description

本発明は、ウォーターマークをメディア信号に埋め込む方法及び装置に関する。本発明は遠隔地からウォーターマークを埋め込むべきメディア信号をローカル局に送信する方法及び装置にも関する。

既知の高度なウォーターマーク埋め込み装置は、強固でさらに知覚不可能なウォーターマークをメディア信号（例えば画像、ビデオ、オーディオ）に埋め込むために、人間の心理音響又は映像モデルを通常は利用している。このようなウォーターマーク埋め込み装置において、埋め込まれるウォーターマークの強度は、例えば画像の空間細部、オーディオ信号の実際の周波数スペクトル等のようなコンテンツの特性に依存して適応的に制御される。上記特性を決めることは複雑な動作である。このことは、コンテンツプロバイダ、レコーディングスタジオ、放送局等にとっては問題ではない。これらはウォーターマークを埋め込むための高価なプロ用の機材を用いることができる。

しかしながら、幾らかの装置は民生機器において埋め込まれるべきウォーターマークを必要とする。その一例は、記録されたメディア信号がこれ以上コピーされないことを示すように記録されるべき信号にウォーターマークを埋め込まなければならない民生用オーディオ又はビデオレコーダである。

本発明の目的は、メディア信号にウォーターマークを埋め込む、より経済的な方法を提供することである。本発明の目的は、前記機器がコンテンツを分析し、これらコンテンツの特徴を決めることを必要せずに、これらコンテンツの特徴に依存してウォーターマーク埋め込み強度を適応的に制御することでもある。

この目的のために、本発明はウォーターマークをメディア信号に埋め込む方法を提供し、埋め込みパラメタに依存して前記埋め込み強度を適応的に制御するステップを有する方法において、前記メディア信号と一緒に入力される補助信号の形態で前記埋め込みパラメタを入力するステップを有することを特徴とする。

前記埋め込み強度は遠隔地において事前に計算され、その後メディア信号と一緒に埋め込み装置に送られることが本発明で達成される。この埋め込み装置自体は信号コンテンツの特徴を計算する必要は無い。

本発明の他の態様によれば、メディア信号を遠隔地からローカル局へ送信する方法は、前記ローカル局によるウォーターマークのメディア信号への埋め込みに用いられる埋め込み強度を表すウォーターマーク埋め込みパラメタを前記遠隔地において計算するステップと、前記埋め込みパラメタを、補助信号の形態で、前記メディア信号と一緒に前記ローカル局に送信するステップを含むことを特徴とする。

本発明は、入力されるメディア信号が既にウォーターマークが埋め込まれたアプリケーションにおいて特に有利である。これの一例は、メディア信号が一度だけコピーされてよいことを示す埋め込まれたウォーターマーク（"プライマリ"ウォーターマーク）を持つメディア信号を入力し、記録されるメディア信号はこれ以上コピーされないことを示すために、メディア信号に他のウォーターマーク（"セカンダリ"ウォーターマーク）を埋め込まなければならない民生用オーディオ又はビデオレコーダである。このようなアプリケーションにおいて、プロ用の埋め込み装置は、埋め込み強度を適応的に制御するという概念を用いて、遠隔地においてプライマリウォーターマークを埋め込むのに既に用いられている。同じ制御パラメタは民生用レコーダにより用いられる。

本発明は添付する図を参照し、例としてさらに詳細に説明される。

本発明はモーションビデオ材料にウォーターマークを埋め込むことを参照して以下に記載されるが、本発明が静止画、オーディオコンテンツ、音声及び他のデータ信号に対しても同等に応用可能であることは明らかである。図１は、遠隔地にあるビデオ送信局１、送信又は記憶媒体２及び民生機器３を有するシステムの概略図を示す。

送信局１はビデオソース１１及びＭＰＥＧエンコーダ１２を含む。ビデオソース１１により与えられるビデオソース材料は、プログラムが一回だけコピーされてよいこと（コピーワンス）を示す埋め込まれた（プライマリ）ウォーターマークを既に持つ。このウォーターマークは、例えば国際特許出願公開番号WO99/45705に開示される方法で空間領域に埋め込まれている。しかしながら、ソース材料にプライマリウォーターマークが存在することも、ウォーターマークが埋め込まれる方法も本発明にとって本質的なものではない。この例は単に本発明の実用的な利用を説明するために与えられただけである。"コピーワンス(copy once)"のプライマリウォーターマークは、ユーザが後で視聴するためにプログラムを一度だけ記録することを許可されることを示す。ユーザはこの記録されたプログラムのコピーを作成することは許可されない。

ウォーターマークが埋め込まれたビデオソース材料は、ＭＰＥＧエンコーダ１２によりＭＰＥＧ符号化され、送信媒体２を介して民生機器３に送信される。この民生機器３はここでは規格対応するＤＶＤレコーダと仮定する。"規格対応する"という表現は、このレコーダがあるコピーマネージメント規則に準拠していることを意味している。特に"コピーワンス"のプライマリウォーターマークが入力されるコンテンツ内に見つかるかをチェックするウォーターマーク検出器（図示せず）をＤＶＤレコーダが含んでいる。このウォーターマークを見つけた場合、ＤＶＤレコーダは、記録される材料がこれ以上コピーされないことを示すために、"これ以上のコピー不可(copy no more)"のウォーターマーク（セカンダリウォーターマーク）を記憶される材料に埋め込まなければならない。既にウォーターマークが埋め込まれたコンテンツに他のウォーターマークを埋め込むこのプロセスは、"リマーキング(re-marking)"とも呼ばれる。

図２Ａは、説明するための実施例としてＤＶＤレコーダにより入力されるビデオ画像の１つを示す。ＭＰＥＧエンコーダ１２において、その画像は８×８画素からなるブロックに分割され、これらブロックの１つは図２Ａにおいて２０１で示される。これら画素ブロックは、離散コサイン変換（ＤＣＴ）され、８×８のＤＣＴ係数からなる個々のブロックとなる。上記ＤＣＴブロックの左上の変換係数は、対応する画素ブロックの平均輝度を表し、一般にはＤＣ係数と呼ばれる。他の係数は空間周波数を表し、ＡＣ係数と呼ばれる。左上のＡＣ係数は画像の粗い細部を表し、右下は細かい細部を表す。

ＤＶＤレコーダ３は、Frank Hartung及びBernd Girod著、"Digital Watermarking of MPEG-2 Coded Video in the Bitstream Domain", ICASSP Vol.4, 1997, pp.2621-2624に記載されるようなやり方でＤＣＴ領域において、入力されるＭＰＥＧビットストリームをリマーキングする。この目的のために、空間復号回路３２は、ＭＰＥＧビットストリームを、画像を表すＤＣＴ係数が利用可能となるレベルまで復号する。ＤＣＴブロック内の位置（ｕ，ｖ）におけるＤＣＴ係数は、図１においてＸ（ｕ，ｖ）で示される。これら係数は、ウォーターマーク埋め込み段階３３に与えられる。スタートコード、ヘッダ、動きベクトル等のようなサイド情報は、パス３２１を介してこの埋め込み回路を迂回する。

埋め込まれるべきウォーターマークは、空間領域における擬似ランダムノイズシーケンスである。この装置の実施例において、１２８×１２８の基礎的なウォーターマークパターンが画像の領域にわたり並べられている。この動作は図２Ｂに示される。１２８×１２８の基礎的な擬似ランダムウォーターマークパターンはここで、より見やすくするために記号Ｗで示される。この基礎的なウォーターマークの空間画素値は、ＭＰＥＧストリームにおけるビデオコンテンツと同じ表示に変換される。この目的のために、１２８×１２８の基礎的なウォーターマークパターンＷは、８×８のブロックに分割され、これらブロックの１つは図２Ｂにおいて２０２で示される。これらブロックは離散コサイン変換が施され、量子化される。前記変換及び量子化動作は一回だけ行われる必要があることに注意されたい。これにより計算されるＤＣＴ係数は、１２８×１２８のウォーターマークバッファ３６に記憶される。これらは図１におけるＷ（ｕ，ｖ）を示している。

ウォーターマークＷは、空間に関し対応するウォーターマークＤＣＴブロックを各ビデオＤＣＴブロックに加えることにより埋め込まれる。図２Ｂにおいてウォーターマークブロック２０２を表すＤＣＴブロックはこれにより、図２Ａにおいて画像ブロック２０１を表すＤＣＴブロックに加えられる。しかしながら、ウォーターマークブロックをビデオブロックへ単に追加することは、一般的にウォーターマークが埋め込まれる画像内にアーチファクトを生じさせる。C. Podilhuk及びW. Zeng著、"Perceptual Watermarking of Still Images"、IEEE Signal Processing Society 1997 Workshop on Multimedia Signal Processing Princeton, New Jersey, USA, June 23-25, 1977, pp.363-368は、画像の画質に影響を及ぼすことなく画像の各部が耐え得るウォーターマークの最大強度を決めるために、ビジュアルモデルの利用に基づくウォーターマーク埋め込み技術を提案している。それらは、ワトソン氏により開発されたビジュアルモデル（ワトソンモデル）を使用し、耐え得るウォーターマーク信号の位置及び最大強度を決める丁度可知差異(JND: Just Noticeable Differences)を供給する。このワトソンモデルは、Andrew B. Watson著、"DCT Quantization Matrices Visually Optimized for Individual Images"、SPIE Vol. 1913, 1992, pp.202-216に記載されている。

民生機器３は上記ウォーターマーク技術を有利に用いている。Podilhuk及びZengの教えによると、ＤＶＤレコーダは、ウォーターマーク埋め込み段階３３を有し、この段階は、各ＤＣＴブロックに対し、

の動作を行う。ここでＪＮＤ（ｕ，ｖ）は、ワトソンモデルからの各ＤＣＴブロックに対し計算される丁度可知差異である。

修正されたＤＣＴ係数は、次いで再符号化回路３４において再符号化され、サイド情報と合成される。ウォーターマークが埋め込まれたＭＰＥＧ信号は最後に光学ディスク３５に記録される。図２Ｃはこのウォーターマークが埋め込まれた画像を示す。この図に表そうとしたように、ウォーターマークを埋め込む量はブロック毎に変わる。特に、ウォーターマークを埋め込んでいるブロック２０２と空間的に対応するウォーターマークが埋め込まれた画像ブロック２０３は、異なる画像の位置にある同じウォーターマークを埋め込んでいるブロック２０４に対応する画像ブロック２０５とは異なる埋め込み強度で埋め込まれている。

各画像の各ブロックに対する丁度可知差異ＪＮＤ（ｕ，ｖ）の計算は、通常は複雑な演算であり、この演算は民生機器３によりコスト効率良く実行されることができない。本発明によれば、この計算は送信端において画像分析器１３により行われる。計算されたＪＮＤ値は、ビデオ信号と一緒に民生機器３に送信される。図１において、このことはマルチプレクサ１４で示される。ビデオ信号と一緒にＪＮＤ値を送信するための様々な方式が可能である。１つの例は、ユーザデータをＭＴＰ(MPEG Transport Stream)に収容するためのＭＰＥＧ２規格の機能を用いることである。このオプションは同期データがユーザデータに含まれることを必要とするので、民生機器はどのＪＮＤ値がどのＤＣＴ係数に対応するか分かっている。他の例はこれらＪＮＤ値を脆弱ウォーターマーク(fragile watermark)のペイロードとしてビデオ信号に埋め込むことである。簡単であるが効果的な上記脆弱ウォーターマークの例は、英国特許出願GB2063018により教示される。それは、選択される信号サンプルの（複数の）最下位ビットを付加情報ビットに置換することである。入力端において、送信されるＪＮＤ値が取り出される。これは図１においてデマルチプレクサ３１により示される。

ＪＮＤ値が前記ビットストリーム内に見つからない場合、民生機器３は所与の固定された埋め込み強度を与えるように好ましくは構成される。この埋め込み強度は、埋め込まれるウォーターマークが知覚可能となるように選択される。この動作は記録する前にユーザが前記コンテンツを不正に処理する（例えばプライマリウォーターマークを取り除こうとする）ことを制限するだろう。

上述される実施例に用いられる丁度可知差異値ＪＮＤは、埋め込み強度パラメタの単なる一例である。他の例は、国際特許出願公開WO99/45705に開示されるように空間領域における可視性マスク(visibility mask)である。このような可視性マスクは、付加的なノイズの可視に対する目安を供給する。音声のウォーターマークの埋め込みに対し、周波数スペクトルの副帯域毎の可聴しきい値は、有用な埋め込み強度パラメタである。

本発明は以下のように要約されることができる。高度なウォーターマーク埋め込み装置は心理映像／音響モデルを用いて、メディアコンテンツにおける埋め込まれるウォーターマークの知覚を最小にする。しかしながら、例えばＤＶＤレコーダのような民生機器（３）において、上記高度なウォーターマーク埋め込み装置を実施することは高価である。本発明によれば、埋め込み強度パラメタ（ＪＮＤ）は、遠隔地（１）でオフラインの状態で計算され、メディアコンテンツと一緒に民生機器（３）に送信される。比較的簡単な埋め込み装置（３３）は、入力されるパラメタを用いて、埋め込まれるべきウォーターマーク（３６）の強度を制御する。これらパラメタは、脆弱ウォーターマークのペイロードとして、又は暗号化されたＭＰＥＧストリームにおけるユーザデータとして送信信号に収容される。

本発明によるビデオ送信局、送信又は記憶媒体、及び民生機器を有するシステムを概略的に示す。 図１に示されるシステムの動作を説明するための図を示す。 図１に示されるシステムの動作を説明するための図を示す。 図１に示されるシステムの動作を説明するための図を示す。

Claims (18)

1. メディア信号を遠隔地からローカル局へ送信する方法であって、
   前記メディア信号のコンテンツの特徴に依存して適応的に制御された埋め込み強度を表すウォーターマーク埋め込みパラメタを前記遠隔地において計算するステップ、及び
   前記埋め込みパラメタを、補助信号の形態で、前記メディア信号と一緒に前記ローカル局に送信するステップを有することを特徴とする方法。
2. メディア信号を遠隔地からローカル局へ送信する装置にであって、
   前記メディア信号のコンテンツの特徴に依存して適応的に制御された埋め込み強度を表すウォーターマーク埋め込みパラメタを前記遠隔地において計算する手段、及び
   前記埋め込みパラメタを、補助信号の形態で、前記メディア信号と一緒に前記ローカル局に送信する手段を有することを特徴とする装置。
3. 読み出し手段とウォーターマークを埋め込む埋め込み手段とを有する装置によって読み出される記憶媒体であって、
   メディア信号と、前記メディア信号のコンテンツの特徴に依存して適応的に制御された埋め込み強度を表す埋め込みパラメタとが記憶され、
   前記メディア信号及び前記埋め込みパラメタは、前記読み出し手段によって読み出され、
   読み出された前記埋め込みパラメタが表す前記適応的に制御された埋め込み強度は、読み出された前記メディア信号のコンテンツにウォーターマークを埋め込む際に前記埋め込み手段によって用いられる、記憶媒体。
4. ローカル局においてウォーターマークをメディア信号に埋め込む方法であって、
   遠隔地において計算され、前記ローカル局によるウォーターマークのメディア信号への埋め込みに用いられる埋め込み強度を表す埋め込みパラメタを、補助信号の形態で、前記メディア信号と一緒に前記遠隔地から前記ローカル局において入力するステップと、
   前記埋め込みパラメタに従って埋め込み強度を適応的に制御するステップと、
   を有する方法。
5. 請求項４に記載の方法において、前記メディア信号は圧縮されたビットストリームとして入力され、前記補助信号はユーザデータとして前記ビットストリームに収容される方法。
6. 請求項４に記載の方法において、前記補助信号は脆弱ウォーターマークの形態で前記メディア信号に収容される方法。
7. 請求項４に記載の方法において、前記補助信号が見つからない又は破損している場合、既定の埋め込み強度を備えるウォーターマークを埋め込むステップをさらに含み、前記既定の埋め込み強度は前記埋め込まれるウォーターマークが知覚可能であるように選択される方法。
8. ローカル局においてウォーターマークをメディア信号に埋め込むために当該ローカル局において用いられる装置であって、
   当該装置は、埋め込みパラメタに従って埋め込み強度を適応的に制御する手段を有し、
   当該装置は、メディア信号と一緒に入力された補助信号から前記埋め込みパラメタを取り出す手段を有し、
   前記埋め込みパラメタは、遠隔地において計算され、前記ローカル局においてメディア信号にウォーターマークを埋め込むための強度を表し、前記遠隔地から前記ローカル局において入力されることを特徴とする装置。
9. メディア信号を遠隔地からローカル局へ送信する方法であって、
   前記ローカル局によるウォーターマークのメディア信号への埋め込みに用いられる埋め込み強度を表すウォーターマーク埋め込みパラメタを前記遠隔地において計算するステップ、及び
   前記埋め込みパラメタを、補助信号の形態で、前記メディア信号と一緒に前記ローカル局に送信するステップを有することを特徴とする方法。
10. メディア信号を遠隔地からローカル局へ送信する装置において、
    前記ローカル局によるウォーターマークのメディア信号への埋め込みに用いられる埋め込み強度を表すウォーターマーク埋め込みパラメタを前記遠隔地において計算する手段、及び
    前記埋め込みパラメタを、補助信号の形態で、前記メディア信号と一緒に前記ローカル局に送信する手段を有することを特徴とする装置。
11. メディアコンテンツ及び当該メディアコンテンツの特徴に依存して適応的に制御された埋め込み強度で当該メディアコンテンツに埋め込まれた第１のウォーターマークを含むメディア信号と、前記適応的に制御された埋め込み強度を表す補助信号と、から成るデータを入力するステップと、
    入力された前記データから前記補助信号を取り出すステップと、
    取り出された前記補助信号が示す前記適応的に制御された埋め込み強度を用いて、第２のウォーターマークを前記メディアコンテンツに埋め込むステップと、
    を有するウォーターマークの埋め込み方法。
12. 請求項１１に記載の方法において、前記メディア信号は圧縮されたビットストリームとして入力され、前記補助信号はユーザデータとして前記ビットストリームに収容される方法。
13. 請求項１１に記載の方法において、前記補助信号は脆弱ウォーターマークの形態で前記メディア信号に収容される方法。
14. 請求項１１に記載の方法において、前記補助信号が見つからない又は破損している場合、既定の埋め込み強度を備えるウォーターマークを埋め込むステップをさらに含み、前記既定の埋め込み強度は前記埋め込まれるウォーターマークが知覚可能であるように選択される方法。
15. メディアコンテンツ及び当該メディアコンテンツの特徴に依存して適応的に制御された埋め込み強度で当該メディアコンテンツに埋め込まれた第１のウォーターマークを含むメディア信号と、前記適応的に制御された埋め込み強度を表す補助信号と、から成るデータ入力する手段と、
    入力された前記データから前記補助信号を取り出す手段と、
    取り出された前記補助信号が示す前記適応的に制御された埋め込み強度を用いて、第２のウォーターマークを前記メディアコンテンツに埋め込む手段と、
    を有するウォーターマーク埋め込み装置。
16. メディアコンテンツを含むメディア信号を遠隔地からローカル局へ送信する方法であって、
    前記メディアコンテンツの特徴に依存して適応的に制御された埋め込み強度を前記遠隔地において計算するステップと、
    前記適応的に制御された埋め込み強度を用いて前記メディアコンテンツに第１ウォーターマークを前記遠隔地において埋め込むステップと、
    前記ローカル局において前記メディアコンテンツに第２ウォーターマークを埋め込むために用いられる埋め込み強度としての前記適応的に制御された埋め込み強度を表す補助信号を、前記メディア信号と一緒に前記遠隔地から前記ローカル局に送信するステップと、
    を含むことを特徴とする方法。
17. メディアコンテンツを含むメディア信号を遠隔地からローカル局へ送信するための前記遠隔地において用いられる装置であって、
    前記メディアコンテンツの特徴に依存して適応的に制御された埋め込み強度を計算する手段と、
    前記適応的に制御された埋め込み強度を用いて前記メディアコンテンツに第１ウォーターマークを埋め込む手段と、
    前記ローカル局において前記メディアコンテンツに第２ウォーターマークを埋め込むために用いられる埋め込み強度としての前記適応的に制御された埋め込み強度を表す補助信号を、前記メディア信号と一緒に前記遠隔地から前記ローカル局に送信する手段と、
    を含むことを特徴とする装置。
18. 読み出し手段とウォーターマークを埋め込む埋め込み手段とを有する装置によって読み出される記憶媒体であって、
    メディアコンテンツ及び当該メディアコンテンツの特徴に依存して適応的に制御された埋め込み強度で当該メディアコンテンツに埋め込まれた第１のウォーターマークを含むメディア信号と、前記適応的に制御された埋め込み強度を表す補助信号とが記憶され、
    前記メディア信号及び前記補助信号は、前記読み出し手段によって読み出され、
    読み出された前記補助信号が表す前記適応的に制御された埋め込み強度は、読み出された前記メディア信号に含まれる前記メディアコンテンツに第２のウォーターマークを埋め込む際に前記埋め込み手段によって用いられる、記憶媒体。

Images