JP4851690B2 - ビデオ画像のシーケンスに透かし入れする方法、装置、及び、コンピュータプログラム - Google Patents

Description

本発明は、ビデオシーケンスへの透かし入れ（watermarking）に関する。この透かし入れは、ユーザには見えないマークをビデオシーケンス中に挿入することによって、このシーケンスのコンテンツを保護し、そのコピーを追跡可能とするように設計されている。

より詳細には、本発明は、そのビデオのモーションベクトル上のバイナリマークを挿入することによってビデオシーケンスに透かしを入れる方法に関する。

従来から、ビデオシーケンスの透かし入れには、これまでいくつかの技法が知られている。

これらの技法の内の一つでは、静止画像の透かし入れの方法と類似の透かし入れ方法をビデオシーケンスに対して応用する。実際、ビデオストリームは、一連の静止画像から成っており、したがって、このシーケンスの「イントラ（intra）」画像は、静止画像に従来応用されてきたスキームにしたがって透かし入れすることができるものと見なされることがある。

しかしながら、ビデオシーケンスは多くの特性を有しており、これを利用して、これに適した透かしを入れる技法を開発することができれば利点となる。

これらの特性には次の態様を含む。
ビデオシーケンスの代替のサイズが、静止画像のそれより遙かに大きいため、マークの挿入スペースがビデオシーケンス中では遙かに大きなものとなってしまう。
静止画像と比較して、ビデオシーケンスは時間というディメンジョンを有しており、これを、マークの挿入のために用いることができる。

さらに、ビデオシーケンスは、静止画像の制約とは異なった次のような制約を有している。すなわち、
ビデオシーケンスの透かし入れスキームの複雑性は、マークの挿入と検出をリアルタイムで実行することを可能とするほど十分低くなければならない。
物体が動くため、ユーザに対するその知覚可能性がしばしば増すために、ビデオシーケンスのマークを静止画像の場合より見えにくくしなければならない。
ビデオストリームは、シーケンスの概略サイズを減少させるためしばしば圧縮される。 最も一般的に用いられる圧縮基準はＭＰＥＧ２基準であり、マークはフォーマット自体の中に直接に挿入することができる。しかしながら、伸張されたフォーマット中への挿入は、その結果、圧縮後のファイルサイズが増すことがないようにすべきである。
ビデオシーケンスは、静止画像より多くの攻撃（attack）を受ける可能性があり、また、このため、しばしば、マークまたは透かしを冗長に挿入して、このような攻撃が成功する機会を減少させ、透かしをよりロバスト（robust）なものとする。透かしがシーケンス中に冗長に挿入される場合、この透かしをシーケンスのすべての画像の平均値を計算することによって推定できることがある。したがって、考慮されているビデオシーケンスの正確なサブシーケンスを選択することによって、またはこのシーケンスの画像が失われることによって、発生した同期が失われた後であっても、透かしまたは署名を検出することができるべきであるというさらなる制約がある。

静止画像の分野からの透かし入れ技法に加えて、ビデオにとって適切な透かし入れ技法も開発されている。これらの技法では、ビデオシーケンスの長所となる特性を、それに関連する制約を考慮して利用している。

ビデオに特有の透かし入れ技法のうち、モーションベクトル内にマークを挿入することに依存するいくつかの技法が、特に、Ｆ．Ｊｏｒｄａｎと、Ｍ．Ｋｕｔｔｅｒと、Ｔ．Ｅｂｒａｈｉｍｉとの１９９７年７月発行のＩＳＯ／ＩＥＣ文書ＪＴＣ１／ＳＣ２９／ＷＧ１１／ＭＰＥＧ９７／Ｍ２２８１中の「Proposal of a watermarking technique for hiding/retrieving data in compressed and decompressed video」と、Ｊ．ＺｈａｎｇとＪ．ＬｉとＬ．Ｚｈａｎｇとの２００１年１０月１５〜１８日のコンピュータグラフィックスと画像処理に関する第１４回シンポジウムの議事録の１７９〜１８２ページにある「Video watermarking technique in motion vector」とに提案されている。

Ｆ．Ｊｏｒｄａｎらは、ビデオのモーションベクトル内にマークが挿入されるマーク付けアルゴリズムを提案している。この技法は、次のステップの実施に依存する。
１６ビット又は３２ビットの長さを持つバイナリシーケンスであるマークを発生する第一のステップ。
このマークを挿入する第二のステップ。ここで、このようにするために、モーションベクトルが、ＭＰＥＧ４コーデック（すなわち、コーダ／デコーダ）によって得られた圧縮済みのビデオストリームから抽出される。このビデオストリームが伸張される場合には、このストリームを圧縮する予備のステップがある。別のマーク付けステップが、モーションベクトルの二つの成分の内の一方に適用される。画像毎に一ブロックのランダムに選択されて、そのモーションベクトルが計算される。マークの内の二ビットが、モーションベクトルの各成分中へと挿入される。
Ｖがモーションベクトルの縦方向成分を示し、もし、ｂ＝｛０、１｝が隠匿（conceal）すべきビットの値である場合には、次の式が、ｂをＶへと挿入するためのアルゴリズムである。
（（Ｖ^*ｑ＋Ｔ）ｍｏｄ［２］≠ｂであれば、
Ｖ’＝Ｖ＋δであり、
そうでなければ、Ｖ’＝Ｖであり、
Ｔ＝２^*ｄｉｍであり、
ここで、ｄｉｍ＝動きの推定のための探索ウインドウのサイズであり、
δ＝（２．ｎ＋１）／ｑであり、
モーションベクトルが零ベクトルであれば、ｎ＝１であり、
そうでなければ、ｎ＝０であり、
ｑ＝モーションベクトルの振幅の変調計数であり、
Ｖ’はマーク付けされたモーションベクトルである。
言い換えれば、マーク中のビットの数と同じ数、すなわち、１６個または３２個のモーションベクトルが選択される。すると、そのパリティを修正する際に、この選択された１６個または３２個のベクトルの各々に対して、それに対応する、マークのビットがモーションベクトルの成分の内の一つが、たとえば、縦成分中へと挿入される。
マークを抽出する第三のステップ。このステップ中に、Ｖ’とマーク付けされたモーションベクトルが、圧縮されたストリームから抽出される。そして、このマークが次のように抽出される。
ｂ＝（Ｖ^*ｑ＋Ｔ）ｍｏｄ［２］

Ｊ．Ｚｈａｎｇらは、Ｆ．Ｊｏｒｄａｎらによって提案された上記の方法の改善を提案しているが、それでも、彼らの方式は依然として同じものである。

つまり、これらの二つの技法は、ビデオのモーションベクトル内へとマークを挿入することに基づく透かし入れアルゴリズムの実施によるものである。

しかしながら、これらの先行技術による技法の大きい欠点は、ビデオシーケンスに対する考えられる攻撃という点において十分にロバストではないということである。特に、このような方法は、圧縮やビデオ信号のフォーマットの（空間的または時間的な）変更などの悪意のない攻撃に対して十分にロバストではない。

実際、Ｆ．ＪｏｒｄａｎらまたはＪ．Ｚｈａｎｇらによる上記の技法は、ビデオシーケンスのモーションベクトルへとマークを挿入することに基づいており、また、これらのモーションベクトルの縦座標値に対してパリティ（parity）という観念を用いる透かし入れアルゴリズムを実施することによるものである。

この方式は、最小の攻撃でも、偶数パリティ縦座標値が奇数パリティ縦座標値に、また、その逆に変換しかねないため、定義上はロバストではない。

さらに、これらの技法によれば、修正されるのは、一般的に、常に、選択されたモーションベクトルの同じ所定の成分（たとえば、縦方向成分）である。このため、ビデオシーケンス中のマークの可視性が増加するという影響がある。もちろん、このようにマークが視認されることは、画像の変形が知覚されるのでユーザにとって不快である。

このような様々な欠点を克服するために、本特許出願の発明者は、２００２年１０月３１日付で本出願によって提出され、「Method for the watermarking of a video signal, system, data carrier for the implementation of this method, method for the extraction, from the watermark, of a video signal, system for the implementation of this method」という題名のフランス特許出願第ＦＲ ０２ １３６６０号に記載されているビデオシーケンスに透かし入れする新しいよりロバストな技法を開発した。

この技法によれば、透かしを持つモーションベクトルが選択される。この選択されたモーションベクトルの座標は、バイナリ値１に関連する第一の複数のゾーンとバイナリ値０に関連する第二の複数のゾーンとを含む空間内において識別される。そして、必要であれば、この選択されたモーションベクトルの座標が修正され、これによって、選択されたモーションベクトルへと挿入されるべきマークの値にバイナリ値が対応しているゾーン内にモーションベクトルを位置付けされるようにする。

したがって、値０を持つマークを挿入しない場合、および、選択されたモーションベクトルがバイナリ値１に関連するゾーン内に位置付けされている場合には、このモーションベクトルの座標は、このゾーンのエッジに対する重み付けされた中心対称性または軸対称性を得ることによって修正される。

したがって、この技法は、Ｆ．ＪｏｒｄａｎらやＪ．Ｚｈａｎｇらによって提案された方法よりロバストなものであるが、それは、モーションベクトルの端が置かれる空間（バイナリ値１または０を持つゾーン）が限られて定義されるからである。したがって、この透かし入れは、モーションベクトルの成分のパリティの変更だけにもはや依存せず、比較的に大きいゾーンにわたって透かし入れされるべきベクトルのずれに依存する。

その結果、透かし入れされたモーションベクトルの座標が修正されるという結果となる、画像のフィルタリング又は光変換の場合でさえも、このベクトルの端は、マークの関数として選ばれたバイナリ値のゾーン内に残る。したがって、このマークは、このような攻撃に対してロバストである。

しかしながら、この技法は、よりロバストであるとはいえ、マークの不可視性という点では最適なものではない。実際、マーク付けされたモーションベクトルのため、画像が変形するが、これはときとしてユーザにとってはやっかいなものである。

さらに、圧縮等の攻撃や、たとえばクロッピングタイプ（cropping type）やミラータイプ(mirror type)の攻撃に対するこの技法のロバスト性は、不十分または改善の余地がある。

特に先行技術のこのような欠点を克服するのが本発明の目的である。

具体的には、本発明の目的は、先行技術による技法と比較してロバスト性が増したビデオシーケンスへの透かし入れ技法を提供することである。特に、本発明の目的は、フィルタリングタイプや圧縮タイプのより一般的な攻撃だけではなく悪意的攻撃にも特に抵抗力のある種類の技法を提供することである。

本発明の別の目的は、先行技術による技法と比較してマークや透かしの可視性を抑制する種類の技法を実施することである。特に、本発明の目的は、マークが一つ以上のモーションベクトルへと挿入され、また、先行技術による技法と比較してマーク付けされたベクトルの変形を最小化することができるビデオ透かし入れ技法を提供することである。

本発明のさらに別の目的は、透かし入れされたビデオシーケンス中のマークを迅速に検出する種類の技法を提供することである。

本発明の別の目的は、簡単に実施され、リソースという点でコストのほとんどかからない種類の技法を提供することである。

これらの目的、及び以下に説明する他の目的は、後出のビデオ画像のシーケンスの内の二つの画像同士間における動きの推定によって得られた少なくとも一つのモーションベクトル上に少なくとも一つの透かし入れビットを挿入するステップを実施する、前記ビデオ画像シーケンスに透かし入れして、少なくとも一つの透かし入れされたモーションベクトルを得る方法によって達成される。このモーションベクトルは、モーションベクトルに関連する識別可能なバイナリ値を有する二つのタイプの相補的ゾーンに仕切られる参照空間におけるその座標によってモーションベクトルが識別される。必要であれば、前記の挿入ステップによって、モーションベクトルの座標を修正することによって、そのモーションベクトルが、挿入されるべき前記透かし入れビットに対応するバイナリ値ゾーン内に位置付けされるようにする。

本発明によれば、前記修正中、少なくとも二つの潜在的な透かしが入ったモーションベクトルが決定され、前記潜在的な透かしが入ったモーションベクトルから、最適な透かしが入ったモーションベクトルが少なくとも一つの所定の判断基準にしたがって選択され、これによって、前記モーションベクトルの修正された座標は、前記最適な透かしが入ったモーションベクトルの座標となる。

したがって、本発明は、ビデオの固有特徴、すなわち、動きを考慮したビデオシーケンスに透かし入れする完全に新規性があり進歩性のある方式に依存するものである。実際、本発明の技法は、選択された一以上のモーションベクトルの座標を修正するビデオシーケンスの一以上のモーションベクトル中にマークまたは透かしを挿入することに依存する。

さらに、本発明は、マークを挿入するゾーンの適応的選択に依存し、したがって、フランス特許出願第ＦＲ ０２ １３６６０号に記載の技法を改善するものである。実際、透かし入れされたモーションベクトルの座標は、バイナリ値０及び１を有する二つのゾーンの境界に対する単純な中心対称変換または軸対称変換によってはもはや得られず、最適な透かしが入ったモーションベクトルの座標である。この最適な透かしが入ったベクトルは、マークが挿入される様々な潜在的なゾーンに属する潜在的な透かしが入ったモーションベクトルを表す複数のモーションベクトルから所定の判断基準の関数として選ばれる。

この最適な透かしが入ったモーションベクトルは、注意深く選ばれると、先行技術と比較してマークの力（force）とその透明性(transparency)とを増加させる、マークの挿入に最適なゾーンに属することになるため、その検出速度が向上する。

したがって、出願番号第ＦＲ ０２ １３６６０号の技法と比較して、透かし入れされたモーションベクトルを得る動作は、選択されたモーションベクトルに対して所定の幾何学的変換を適用することだけにはもはや限られない。それどころか、この動作は、潜在的な透かしが入ったモーションベクトルを表すモーションベクトルの集合を考慮しており、（たとえば、透かし入れのロバスト性と透明性と検出速度という点において）シーケンスに対する最良の透かし入れをするために用いら得るベクトルがこの集合から選択される。

したがって、透かし入れする判断プロセスにあるレベルをこのシーケンスに追加することにより、マークのロバスト性および不可視性が増す。

前記所定の判断基準は、前記透かし入れの判断基準であることが望ましい。

このような判断基準は、（たとえば、圧縮またはフィルタリングを伴う）あるタイプの攻撃に対するマークの的構成の判断基準、または、透かし入れされたビデオシーケンス中のマークの検出速度の判断基準でもありうる。

有利には、前記基準空間は、ブロックの各々が前記タイプの各々のゾーンを含む所定のディメンジョンを持つブロックを含む基準グリッドに関連している。

二次元空間においては、この種の基準グリッドは、直交基準系に関連するデカルト空間のグリッドであり、角ブロックまたは正方形ブロックから成っている。本発明の好ましい実施形態では、各ブロックは、ブロック内にその中心があり、（たとえば、バイナリ値１と関連するゾーン等の）上記のタイプのゾーンの内の一方に対応するよりも小さいサイズのサブブロックを有する。（たとえば、バイナリ値０に関連するゾーン等の）他方のゾーンは、ブロック内のサブブロックの相補的な値に対応しており、サブブロックとブロックの境界との間に位置付けされている。

有利には、前記モーションベクトルが基準ブロックと呼ばれる前記基準グリッドのブロック中にあるので、前記透かし入れビットに対応するバイナリ値を有する前記基準ブロックのゾーン内において、前記潜在的な透かしが入ったモーションベクトルが探索される。

したがって、選択されたモーションベクトル中へと挿入されるべき値０または１に関連するブロックのゾーンの全体を走査する。この走査は、このゾーンに属するすべて（またはその一部だけ）のモーションベクトルをカバーし、潜在的な透かしが入ったモーションベクトルを表し、これらの中から、最適な透かしが入ったモーションベクトルを選ばれた判断基準の関数としてある選択がなされる。この判断基準がマークの不可視性の判断基準である場合には、この最適なベクトルは、ユーザに対してマークを最も可視でなくするベクトルである。

前記潜在的な透かしが入ったモーションベクトルはまた、前記基準ブロックに隣接する少なくとも一つのブロックに属す前記透かし入れビットに対応するバイナリ値ゾーン内で探索するのが望ましい。

実際、本願の発明者は、最適な透かしが入ったベクトルは、透かし入れされたモーションベクトルの座標に最も近い座標を持つベクトルでは必ずしもないという事実を長所として利用している。

選ばれた判断基準がマークの不可視性の判断基準である場合には、最適な透かしが入ったモーションベクトルは、マークを担持するように最初に選択されたモーションベクトルと同じ基準グリッドブロックには属さないどころか、地域的にかなりへだったところに存在する可能性がある。

本発明の好ましい変更例によれば、前記潜在的な透かしが入ったモーションベクトルは、探索されている前記ゾーン内に位置しているすべてのモーションベクトルである。

したがって、この動作は、最適な透かしが入ったベクトルが探索される複数のゾーン内に存在するすべてのモーションベクトルを考慮している。したがって、基準グリッドの一つ以上のブロックに属する一つ以上の探索ゾーンの全体を画素毎に探索して、潜在的な透かしが入ったモーションベクトルを表すすべてのモーションベクトルを考慮に入れることが可能である。

有利には、前記判断基準が、前記潜在的な透かしが入ったモーションベクトルの各々に関連するピーク信号対雑音比（peak signal-to-noise ratio：以下、「ＰＳＮＲ」とよぶ）の最適化の判断基準でありうる。

ＰＳＮＲ（すなわち「ピーク信号対雑音比」）は、画像およびビデオの処理には一般的に用いられるものである。それは、基準画像に対する画像の忠実度を評価するものである。この場合、それは、たとえば、透かし入れのないオリジナル画像に対するビデオシーケンスの透かしが入った画像の忠実度の測定を可能とする。潜在的な透かしが入ったモーションベクトルを表すすべてのモーションベクトルの中において、最適な透かしが入ったベクトルは、最良のＰＳＮＲを得るために用いられるものである。

前記ビデオシーケンスの画像が少なくとも二つの階層レベルに関連しているため、前記方法は、推定レベルと呼ばれる前記レベルの内の少なくとも一つに対する前記シーケンスの少なくとも一対の画像に対して動きの推定を実施して、前記推定されたレベルのモーションベクトルの集合を決定し、より高い階層レベルのモーションベクトルが、前記推定されたレベルにある関連するモーションベクトルの平均を計算することによって得られることが望ましい。

したがって、本方法は、モーションベクトルの階層という観念を活用して、マークのロバスト性をさらに増すことも可能とするものである。たとえば、ブロック的な方式においては、ビデオシーケンスの画像は、画像を構成する四ブロックの画素の集合であると考えられるが、これらは、それ自体が、より少ない数の画素を有する四つの各サブブロックへと分割され、さらにこれらが分割され、一つの画素のサイズを有する単一性サブブロックへと最終的に分割される。各分割レベルでは、モーションベクトルを対応するブロックやサブブロックに関連付けることができる。

有利には、このような透かし入れ方法は、より高い階層レベルのモーションベクトルの内から、透かし入れビットの挿入のステップが実施される少なくとも一つのモーションベクトルを選択するステップを含む。

たとえば、より高い階層レベルで二ブロック毎に一つ一つのブロックのモーションベクトル中へと透かし入れビットを挿入するように、少なくとも一つのモーションベクトルを選択する。

前記選択されたモーションベクトルの座標の前記修正は、前記透かし入れビットを冗長に挿入するために、前記より低いレベルの内の少なくとも一つの対応するモーションベクトルにも適用されるのが好ましい。

したがって、透かし入れビットをより高い階層レベルのモーションベクトル中へと挿入することが選択された場合には、この挿入は、より低いレベルの対応するモーションベクトル中にも繰り返される。

本発明の利点である特徴によれば、前記動きの推定は、「ブロックマッチング（block matching）」タイプのものである。

この種類の「ブロックマッチング」技法は、画像の画素ブロックに関連するモーションベクトルを計算するために用いられる。それは、モーションベクトルでシフトされた、シーケンスの先行する画像または後続する画像と同じサイズのブロックからこの現行のブロックを再構築するために用いられる最良のモーションベクトルを評価する。

この種類の透かし入れ方法は、透かし入れされたビデオ画素シーケンスを補償するために、前記透かしが入ったの一つ以上のモーションベクトルに基づいて動き補償を実行するステップも含むことが好ましい。

このステップによって、最適の透かしが入ったのモーションベクトルが適用されるオリジナル画像から得られた透かしが入ったビデオシーケンスを補償された画像の連続体という形態で再構築することが可能となる。

本発明の第一の利点ある変更例によれば、前記モーションベクトルの各々が前記画像の領域に関連しているので、透かしが入ったモーションベクトルまたは透かし入れされていないモーションベクトルに関連する前記画像のすべての領域上において前記動き補償が実行される。

本発明の第二の利点ある変更例によれば、前記モーションベクトルはその各々が前記画像の領域に関連しているので、前記動き補償は、前記一つ以上の透かしが入ったモーションベクトルが関連する前記画像の一つ以上の領域中で実行され、前記透かしが入ったビデオシーケンスの画像は、前記動き補償が実行された前記領域と少なくとも一つのオリジナル領域とを含む。

したがって、本発明のフレームワーク内において二つの方法が考えられ得る。

第一の方法では、考えられる画像の透かし入れバージョンを受領するために、透かし入れされているかいないかとは無関係に、画像に関連するモーションベクトルの集合によって動き補償が得られる。

透かし入れ動作によって修正されたモーションベクトルに対応する画像の画素から成るブロックのためだけに動き補償を実行し、考えられる他の画像ブロックを不変のまま残すことによって、より高い品質の画像と、したがって、ビデオシーケンスとを得るために、第二の方法が用いられる。

本発明は、上記の透かし入れ方法にしたがって透かし入れされたビデオ画像のシーケンスから透かしを抽出する方法に関する。

本発明によれば、このような抽出方法は、少なくとも一つの透かしが入ったモーションベクトル中へと挿入された少なくとも一つの透かし入れビットを抽出するステップを含み、前記抽出ステップは、
前記シーケンス内の二つの画像同士間の動きを推定して、前記少なくとも一つの透かしが入ったモーションベクトルを得るステップと、
該モーションベクトルに関連する識別可能なバイナリ値を有する二つのタイプの相補的ゾーンに仕切られた基準空間における前記透かしが入ったモーションベクトルの位置を分析するステップと、
前記モーションベクトルが存在するゾーンのバイナリ値を前記透かし入れビットに割り当てるステップと
を含んでなる。

有利には、前記透かし入れビットは前記ビデオ画像シーケンス中に冗長に挿入されるので、前記抽出方法は、信頼指数を前記抽出された透かし入れビットに割り当てるために用いられる少なくとも一つの相関係数を計算するステップを含む。

本発明は、ビデオ画像シーケンスに透かし入れする装置にも関連し、前記装置は、前記シーケンス内の二つの画像同士間の動きを推定することによって得られた少なくとも一つのモーションベクトル中へと少なくとも一つの透かし入れビットを挿入して、少なくとも一つの透かしが入ったモーションベクトルを得る手段を含み、前記モーションベクトルは、該モーションベクトルに関連する識別可能なバイナリ値を有する二つのタイプの相補的ゾーンに仕切られている基準空間中におけるその座標によって識別され、前記挿入手段は、必要に応じて起動されて、前記モーションベクトルの座標を修正することによって、前記モーションベクトルが、挿入されるべき前記透かし入れビットに対応するバイナリ値ゾーン内に位置付けされるようにする手段を含む。

本発明によれば、前記修正手段は、少なくとも二つの潜在的な透かしが入ったモーションベクトルを決定し、少なくとも一つの所定の判断基準にしたがって、前記潜在的な透かしが入ったモーションベクトルの中から最適な透かしが入ったモーションベクトルを選択することにより、前記モーションベクトルの修正された座標が、前記最適な透かしが入ったモーションベクトルの座標となるようにする手段を含む。

本発明は、上記の透かし入れ方法にしたがって透かしが入ったビデオ画像のシーケンスから透かしを抽出する装置にも関する。本発明によれば、このような装置は、少なくとも一つの透かしが入ったモーションベクトル中に挿入されている少なくとも一つの透かし入れビットを抽出する手段を含み、前記抽出手段は、
前記シーケンスの内の二つの画像同士間の動きを推定して、前記少なくとも一つの透かしが入ったモーションベクトルを得る手段と、
該モーションベクトルに関連する識別可能なバイナリ値を有する二つのタイプの相補的ゾーンに仕切られた基準空間における前記透かしが入ったモーションベクトルの位置を分析する手段と、
前記モーションベクトルが存在するゾーンのバイナリ値を前記透かし入れビットに割り当てる手段と
を含んでなる。

本発明は、端末によって読みとり可能なディジタルデータキャリアにも関し、前記キャリアは、上記の透かし入れ方法に従って透かし入れされたビデオ画像のシーケンスを表す信号を記憶する手段を含む。

本発明は、プログラムがコンピュータ上で実行されると、上記の透かし入れ方法のステップを実行するプログラムコード命令を含むコンピュータプログラムにも関する。

本発明は、
前記シーケンスの内の二つの画像同士間の動きを推定することによって得られた少なくとも一つのモーションベクトル中に少なくとも一つの透かし入れビットを挿入して、少なくとも一つの透かしが入ったモーションベクトルを得るステップであり、前記モーションベクトルは、該モーションベクトルに関連する識別可能なバイナリ値を有する二つのタイプの相補的ゾーンに仕切られる基準空間中でのその座標によって識別される、前記ステップを実行するコンピュータ読みとり可能なプログラミング手段と、
必要に応じて、前記モーションベクトルの座標を修正することにより、前記モーションベクトルが、挿入されるべき前記透かし入れビットに対応するバイナリ値ゾーン内に位置付けされるようにするステップを実行するコンピュータ読みとり可能な手段と、
少なくとも二つの潜在的な透かしが入ったモーションベクトルを決定するステップと、前記潜在的な透かしが入ったモーションベクトルの内から、少なくとも一つの所定の判断基準にしたがって最適な透かしが入ったモーションベクトルを選択することにより、前記モーションベクトルの修正された座標が、前記最適な透かしが入ったモーションベクトルの座標となるようにするステップとを実行するコンピュータ読みとり可能な手段と
を含んでなる、コンピュータにおいて使用可能なキャリア中に記録されているプログラムコード命令を含むコンピュータプログラム製品にも関する。

最後に、本発明は、上記の透かし入れ方法に従って透かし入れされたビデオ画像シーケンスを表す信号に関する。

本発明の他の特徴と利点は、サンプルや、解説目的の非制限的な例として与えられた好ましい実施形態に関する以下の記述および以下の添付図面から、より明瞭に理解されるであろう。

本発明の一般的原理は、透かし入れビットの挿入ゾーンの適応的選択に依存している。言い換えれば、本発明の一般的原理は、モーションベクトル中へとマークを挿入することによってビデオシーケンスに透かし入れする技法という状況では、画像に関連する基準グリッドの同じバイナリ値を有する互いに異なったゾーンに属する、潜在的な透かしが入ったモーションベクトルを代表するいくつかのモーションベクトルを考慮し、これらのベクトルの内から、所定の判断基準、たとえば、透かし入れのロバスト性または不可視性の判断基準を最適化することを可能とする最適な透かしが入ったモーションベクトルを選択することである。

このビデオシーケンスの透かし入れを、そのコンテンツを保護するためには必要なものであると見なすことができる。

実際、ビデオコンテンツの保護は、今まで、特許権保護システムとして知られているシステムの存在によって実行されてきているが、これには弱点があることが分かっている。このようなシステムは、いったん開示されると容易に悪用され、もはやビデオコンテンツを何ら効率的に保護することがないものとなってしまうので、一般的に、秘密であることに依存している。これは、たとえば、ＤＶＤ（または、ディジタルバーサタイルディスク(digital versatile disk)）の保護のために用いられるＣＳＳ（または、コンテンツスクランブルシステム（content scrambling system））の場合に当てはまる。

透かし入れの有用性は、保護されていることがユーザには不可視であり、（媒体を暗号化するシステムの場合と同様に）その媒体は概念的には劣化をしないという事実に基づいている。そのため、ビデオシーケンスが記録されるデータキャリアは、完全に使用可能である。

ビデオ透かし入れは、特に、次の分野に応用される。
透かし入れすることによって悪意ある個人が画面上に投影されたフィルムを記録することを防止することが求められるディジタルシネマ。
ＤＶＤの保護であり、この目的のために、この種のキャリアの保護のために今まで用いられてきた方法よりロバストである透かし入れ技法によって無許可のコピーの蔓延を防止することが求められる。
高いビットレートの将来の応用分野の内の一つを代表し、今日のペイパービューシステムに近いシステムであるオンラインシネマ。

本発明が提案する透かし入れアルゴリズムは、ビデオシーケンスのモーションベクトル中へと、階層的に適応的にマークを挿入することに依存している。

図１を参照して、その様々なステップを以下に詳述する。

参照番号１１の第一のステップでは、所与の長さＮを持つマークが、値０または１を持つ連続するＮ個のビットという形態で生成される。

参照番号１２の第二のステップでは、Ｐ対のビデオシーケンス（Ｉ１，．．，ＩＭ）（ここで、Ｐ≦Ｍ）に対して二つの画像Ｉ_tとＩ_t'（ｔ≠ｔ’）同士間の動きが推定される。この動きの推定動作は、周知の技法（たとえば、「ブロックマッチング」タイプの技法）にしたがって実施され、考慮の対称であるＰ対の画像の各々に対して画像Ｉ_tとＩ_t'同士間のモーションベクトルのフィールドを計算するために利用される。

次に、（たとえば、生成されたマーク（１１）のビットが挿入されるYallowタイプのＰＲＮＧ（疑似乱数発生器）プロセスによって決まる）所定の判断基準にしたがって計算されたすべてのモーションベクトルの内からＴ個のベクトルが選択される（１３）。

そして、選択された各ベクトルに対して、所定のサイズの探索ゾーン（たとえば、選択されたベクトルが置かれている基準グリッドの適切なバイナリ値のブロック及びそれに隣接するブロックの各々のすべてのゾーンから構成されるゾーン）を走査して（１４）、選択されたベクトルに対応する潜在的な透かしが入ったモーションベクトルを表すすべてのモーションベクトルを決定する。

（たとえば、マークの不可視性に対するＰＳＮＲタイプの判断基準などの）所定の判断基準に基づいて、最適な透かしが入ったモーションベクトルが、潜在的な透かしが入ったモーションベクトルを表すすべてのモーションベクトルの内から選択される（１５）。

参照番号１６のステップでは、最適な透かしが入ったモーションベクトルに関連して動き補償を実行することによって、マーク付けされたビデオシーケンスが最後に生成される。

上記の参照番号１１〜１６の他のステップの各々を次に詳述する。

参照番号１１のステップで生成されたマークは、（著作権または他のタイプの）ある情報を表し、所与の長さＮを持つバイナリモード｛−１、１｝に書き換えられる。したがって、それは、個々のビットが画像シーケンスのモーションベクトル中へと挿入されたＮビットから構成されている。このマークのロバスト性を増すためには、それをビデオシーケンス中に冗長に挿入する。言い換えれば、このシーケンスのいくつかの識別可能なモーションベクトルが、同じ透かし入れビットを担うことになる。

マークを冗長に挿入するためには、特に、Ｐ対のビデオシーケンス（Ｉ１，．．，ＩＭ）（ここで、Ｐ≦Ｍ）に対して二つの画像Ｉ_tとＩ_t'（ｔ≠ｔ’）同士間で動きの推定を実行すればよい。そして、このマークをシーケンス中にＴ／Ｎ回挿入すればよい。

ある特定の実施形態では、用いられる動きの推定器は「ブロックマッチング」タイプのものであり、動きの推定は、シーケンスの画像ｔとｔ＋１との間で実行される（実行されるのが前方の動きの推定であるか後方の動きの推定であるかによって、画像ｔ＋１とｔとの間で実行される）。

「ブロックマッチング」とは、考慮されている画像での画素から成る各ブロックに対して、モーションベクトルによってずらされている、先行する画像または後続する画像の同じサイズのブロックからこの現行のブロックの再構築を可能とする最良のモーションベクトルを評価する動作であることを思い起こすかもしれない。このようにするために、前の画像または次の画像中の現行のブロックの周りを探索して、変位されている前の画像または後の画像中のブロックと考慮されている画像中の現行ブロックとの間の差を表すＤＦＤ（「変位されたフレームの差（displaced frame difference）」）関数として知られている典型的な関数を最小化するモーションベクトルを決定する。

本発明のある好ましい実施形態では、Ｌ個のレベルに対する階層的な動きの推定を実行してマーク付けする（Ｌ≧１）。有利には、（重なり合った複数のレベルを用いる）この種の階層的方式によって、マークを普及させることができる。

これを達成するために、画像は、画素が２ＮｘＮ個分のサイズを持ち、自体も、たとえば画素ＮｘＮ個分のサイズを持つサブブロック２２へと分割され、さらに、．．．、となるブロック２１の集合によって構成されるものと考えられる。動きの推定をＮｘＮサイズのブロック２２に対して実行して、これらのブロックの各々に関連するモーションベクトルを得る。次に、得られたモーションベクトルの平均を取る演算を実行して、２ＮｘＮサイズのブロック２１の各々と関連するより高い階層レベルのモーションベクトルを決定する。この平均を計算する演算は、最も粗い階層レベルになるまで、４ＮｘＮサイズのブロック２３及びそれ以降のブロックにも継続的に実行してもよい。

次に、動きの推定を、かなり微細な階層レベルに対して実行し、この微細な推定に基づいて、最も粗い階層レベルに関連するモーションベクトルが決定される。

本発明のある特定の実施形態では、二つの階層レベルを用い、また、動きの推定中に用いられる初期ブロックは、４ｘ４画素分のサイズを有している。

動きの推定ステップ１２においてすべてのモーションベクトルが計算されると、階層の最も粗いレベルに移り、透かしが挿入されるＴ個のモーションベクトルから成る集合（つまり、それらに関連するブロックの集合）が選択される。

ブロックは、決定されているかまたは疑似ランダムでありうる事前定義されているルールに従って選択される。ある特定の実施形態では、Yallowタイプの疑似ランダムＰＲＮＧ選択を用いる。選択されるのは、最も粗いレベルのブロックである。

マークを挿入することが望まれるＴ個のモーションベクトルの選択（１３）の後に、これらベクトルの各々に対して、所定の探索ゾーン内の対応する潜在的な透かしが入ったモーションベクトルを代表するすべてのモーションベクトルが探索される（１４）。

そのようにするために、図３に示す基準グリッドが用いられる。

この図に示す実施形態では、このグリッドは、矩形であり、デカルトドメイン（Cartesian domain）において生成される。そのｘ軸は画像の行に対応し、ｙ軸は列に対応している。

このグリッドは、複数のＨｘＫ個の画素分のサイズの矩形ブロック３０から成っている。本発明の特定の実施形態では、Ｈ＝Ｋ＝７個の画素を持つ正方形グリッドを用いている。

各ブロックは、二つの相補的ゾーンＺ１とＺ２とを有している。ゾーンＺ１は、ｈｘｋ個の画素分のサイズを持つ矩形であり、その中心はブロック３０中にある。ゾーンＺ２は、Ｚ２とブロックの境界との間で、Ｚ１の周辺にある。

ｈとｋとの値は、ゾーンＺ１とＺ２が同じエリアを有するように選ばれるのが好ましい。

ゾーンＺ１はバイナリ値１に関連し、ゾーンＺ２はバイナリ値０に関連している。

そして、選択された各モーションベクトル３１がグリッド上に置かれ、ブロック３０と、それが位置付けされるゾーンＺ１またはＺ２とが決定される。

ベクトル３１は図３に示すようにゾーンＺ１中にあり、もし、このベクトル３１中に値１を持つ透かし入れビットを挿入することが望まれる場合であっても、ベクトル３１をその座標を修正することによってずらす必要はない。

しかしながら、値０を持つ透かし入れビットをベクトル３１へと挿入することが望まれる場合には、モーションベクトル３１の座標を修正して、それが、バイナリ値０に関連するグリッドのゾーンＺ２中に位置付けされるようにしなければならない。

逆に、もし、ベクトル３１がゾーンＺ２中にあり、それを値０でマーク付けすることが望まれる場合には、それを修正する必要はない。しかしながら、もし、それを値１でマーク付けすることが望まれる場合には、その座標を修正して、基準グリッドのゾーンＺ１中に置かれている透かしが入ったモーションベクトルを得なければならない。

本願に一体化された部分である付録１には、特許出願第ＦＲ ０２ １３６６０号中に記載されているモーションベクトル３１に透かし入れする技法が、図８を参照して説明されている。

この技法によれば、モーションベクトル３１の修正モデルは、決定論的方法であった。しかしながら、本発明によれば、この透かし入れ技法は、透かし入れされたモーションベクトルの探索空間を広くすることによって改善されている。

したがって、本発明は、透かしを担うように設計されている代表的なモーションベクトルが選択された後に、挿入ゾーン（すなわち、透かし入れされたモーションベクトルが、その座標の修正後に位置付けされるゾーン）が、マーク付け用に選択されたベクトルの近傍で適応的に選択されるという、付録１に記載の技法を改善したものである。

実際、特許出願第ＦＲ ０２ １３６６０号の目的である技法によれば、選択された各モーションベクトルは、（それ自体が置かれているモーションベクトルの端に最も近い基準グリッドのブロックの端に対応する）単一の基準ポイントに関連している。透かし入れされたモーションベクトルの座標は、この基準ポイントに対するモーションベクトルの距離および位置の関数として、事前定義されたルールに従って直接的に決定され、この透かし入れされたベクトルは、常に、関連する基準ポイントのすぐ近傍に位置している。

しかしながら、本発明によれば、透かし入れされたモーションベクトルの最適な位置が、基準ポイントの近傍においてだけではなく、この基準ポイントの大なり小なり広い近傍においても探索される。

この探索によって、ＰＳＮＲおよびロバスト性という点において最適であるマーク挿入用ゾーン（すなわち、透かし入れされたモーションベクトルが置かれるゾーン）を選択することが可能となる。

図４に示すある特定の実施形態では、探索対称ゾーンとして選ばれたゾーンは、（このブロック４２を含む）基準グリッド４３のブロック４２上に中心を持つ九個のブロックから成る集合４１である。言い換えれば、マークされるべき３１モーションベクトルが置かれているブロック４２は別としても、ブロック４２に直接隣接するすべてのブロックを含む三ブロックの幅を持つ探索窓中の潜在的な透かしが入ったモーションベクトルも探索される。

当然のこととして、この探索ゾーン内では、考慮の対称となるモーションベクトルだけが、挿入されるべき透かし入れビットに対応するゾーンＺ１またはＺ２中に存在する潜在的な透かしが入ったモーションベクトルを表すモーションベクトルである。

したがって、図４に示すように、たとえば５ｘ５ブロックの探索窓４３を選ぶことも可能である。この探索窓のサイズはパラメータ化することが可能である。

付録１に記載するように、単純な対称性によって透かしが入ったベクトルを構築する代わりに、基準番号１４のステップでは、モーションベクトル３１に関連する基準ポイントに基づいて決定された探索ゾーン４１または４３内を完全に探索する。

次に、最適な透かしが入ったモーションベクトルを決定するステップ１５では、ＰＳＮＲの計算に基づいて判断基準を最大化する探索ゾーン４１または４３のすべての画素上にモーションベクトル３１を置く。

そうするため、図５に示すように、探索ゾーン４１または４３の８ｘ８画素分のサイズを持つブロック３０のすべてを探索する（つまり、モーションベクトル３１の座標を修正する）。

モーションベクトル３１は、探索ゾーン４１（または４３）の画素（たとえば、８１、８３）の各々に連続的に置かれる。走査された各画素８１（それぞれ８３も）には関連したブロック８２（それぞれ８４も）を持つが、このブロックは、画素８１（それぞれ８３も）このブロックの左側底部に置かれるように構築されている。互いに異なったブロック８２と８４は互いに離れず、したがって、オーバーラップできる。

図７を参照して以下に説明するように、ＰＳＮＲを決定するために用いられるのは、現行の画素８１および８３を関連するこれら互いに異なったブロック８２および８４である。

次に、変化量δｄ、すなわち、基準グリッドの領域５２の新しい８ｘ８サイズのブロック８２および８４の各々とオリジナルブロック４２との間のモーションベクトル３１のずれに対応する変化量が、図６に示すように決定される。

図６において、マーク付けされていないモーションベクトル３１がブロック４２のバイナリ値１に関連するゾーンＺ１中に置かれていることに気が付くであろう。潜在的な透かしが入ったモーションベクトルを代表するモーションベクトル５１は、透かし入れビット０の挿入に対応する、領域５２のバイナリ値０に関連するゾーンＺ２中に置かれている。

図７に示すように、ビデオシーケンス中の画像ｎの潜在的な透かしが入ったモーションベクトルを表す各モーションベクトル５１は、初期ブロック８５に適用されると、次の画像（ｎ＋１）のたとえば補償済みブロック６１、６２、または６３を得ることを可能とする。

初期ブロック８５と他の補償されたブロック６１と６２と６３との各々との間のＰＳＮＲが計算される。

次式のＰＳＮＲ＝１０ｌｏｇ（ｍ／ＭＳＥ）によってデシベル単位でＰＳＮＲが定義されることが思い起こされるであろうが、ここで、ｍは画素が取り得る最大値（たとえば、８ビットの灰色レベルの画像を考えると２５５）であり、ＭＳＥは、Ｔ個のフレームから成るシーケンス中のＸｘＹというサイズを持つ画像の場合には、次式である

により定義される二つの画像ＩとＩ＾間の平均自乗誤差を示す。

この最適な透かしが入ったモーションベクトルは、初期ブロック８５から、より高いＰＳＮＲが得られるブロック６１、６２、または６３を得ることを可能とするベクトルである。実際、このブロックは、オリジナルの画像の最も誠実な表示を得るために用いられるものである。

そして、この最適な透かしが入ったモーションベクトルに関連する変化量δｄが、初期ブロック８５の四つの４ｘ４サイズの子ブロックのモーションベクトルに適用される。

この４ｘ４サイズのブロックの各々のＰＳＮＲの計算値から、これらすべてのブロックの平均ＰＳＮＲが推測される。

最適な透かしが入ったモーションベクトルが選択されると、より微細な階層レベルに降下して、モーションベクトルの座標の修正内容を最も微細なレベルのベクトルに転送して、マークを普及させる。

したがって、本発明は、透かし入れ方法のために階層的な方式を実施するものである。

参照番号１３のステップで選択されたすべてのモーションベクトルは、透かし入れされたら、動きを補償する際にマーク付け済みビデオシーケンスを生成する（１６）ために用いられる。

次の二つの方法が考えられる。
第一の方法によれば、動き補償を画像のブロックのすべてに対して、これらのブロックが、透かし入れされたモーションベクトルに関連していても透かし入れされていないモーションベクトルに関連していても、実行される。
第二の方法では、補償は、参照番号１３のステップで選択されたブロックに対して実行され、この画像は残っているオリジナルのブロックによって完成され、これにより、より高い品質の画像を得るようにする。

本発明によれば、透かし入れされたビデオシーケンス中のマークを検出する動作は次の二つのステップで実行される。
最初に、上記の透かし入れ方法と相対である方法を、マークを抽出するように実施する。この方法は、
透かし入れされたビデオシーケンスの画像の対同士間で動きの推定を実行するステップと、
画像の４ｘ４サイズのブロック上のモーションベクトルの集合を推測するステップと、
これらのモーションベクトルの平均を取って、８ｘ８サイズのブロックと関連するモーションベクトルを決定するステップと、
これらの平均モーションベクトルを基準グリッド上に置くステップと、
これらのベクトルの各々に対して、このグリッドのゾーンＺ１又はＺ２中の位置に基づいて、透かし入れビット自体が担う値１または０を推測するステップと、
マークを、抽出されたすべての透かし入れビットから、Ｎビットのバイナリシーケンスという形態でリフレッシュするステップと
を含んでなり、
次に、統計的相関化を実行して、マークの存在または不存在を特徴付ける信頼の閾値を決定する。実際、このマークは画像中に冗長に（たとえば、画像あたり２．５回）挿入され、この種の統計的相関化ステップを用いて、たとえば、得られたマークが、挿入されたマークと真に同一であるか決定する。

次の二つの相関化のルールを用いる。

相関化ルール１：
：抽出されたマーク
：Ｗ〜の平均
：オリジナルのマーク
：Ｗの平均
相関化ルール２：
：画像の数
：ハミング距離

検出位相を有効化するために、ルール１の相関係数を累積して、ビデオ全体の信頼指数を得る。ルール２はこのままで累積値を表している。

[付録１]
本特許文書の出願のために提出された特許出願第ＦＲ ０２ １３６６０号にしたがってモーションベクトルに透かし入れする技法

モーションベクトル３１ ＯＣ中にマークを挿入するルールは、図８に示す基準グリッドに基づいている。

この矩形のグリッドは、デカルトドメインで生成される。そのｘ軸は画像の行に対応し、ｙ軸は列に対応している。このグリッドは、ＨｘＫ個の画素分のサイズのエレメントＥから構成されている。ここで、ＨとＫ＝１，．．．．，Ｊ（本発明のある特定のモードでは、Ｈ＝Ｋ＝７の正方形グリッドを用いている）。

動きの推定プロセス中に計算された各モーションベクトルに対して、モーションベクトル０Ｃ ３１はグリッド上に置かれ、ベクトル０Ｃ ３１が属す矩形のエレメントＥの頂点の内の一つに対応するその基準ポイントＰ７２が決定される。モーションベクトルの基準ポイントＰ７２を計算するため、本方法では、ベクトル３１の端Ｃと矩形エレメントＥの四つの頂点の内の一つとの間の距離を最小化する矩形エレメントＥのポイントを選択する。ある特定の実施形態では、基準Ｌ１が用いられる。

そして、ベクトル３１が、次にルールに従って修正される。
ｈｘｋというサイズ（ここで、ｈ＝Ｈ−δ１、ｋ＝Ｋ−δ２であり、δ１とδ２は、ｅの面積がＥ−ｅの面積と等しくなるような値である）を持つＥに含まれる矩形エレメントｅが生成される。エレメントｅは、バイナリ値１と関連するゾーンＺ１に対応し、エレメントＥ−ｅはバイナリ値０と関連するゾーンＺ２に対応している。
ビット１を挿入することが望まれ、モーションベクトルがＺ１中にあれば、なにも実行されない。
ビット１を挿入することが望まれ、モーションベクトルがＺ２中にあれば、それはＺ１にシフトされる。こうするために、次のようにＣが軸方向にＤ中にシフトされる。

または、次のように中心対称変換Ｂによってシフトされる。

ここで、ＶｘとＶｙはベクトルＯＣ ３１のそれぞれｘ軸とｙ軸を表し、Ｖ’ｘとＶ’ｙは透かし入れされたベクトルＯＤ ７１の座標を表している。

言い換えれば、ポイントＣがＥのエッジＢＰとＦＰとから等距離にある場合には、ベクトルＯＣ ３１は、中心をＰとして重み付け中心対称変換によって、たとえば、次の関係式にしたがってシフトされる。
ＰＤ＝−２／５ＰＣ

これと対照的に、ポイントＣがゾーンＺ１の境界の内の一つにより近い場合には、ポイントＤは、この境界に対してベクトルＯＣ ３１を（たとえば、係数２／５で）重み付け軸対称変換を実行することによって得られる。

ビット０を挿入することになっており、モーションベクトルがＺ１中にあれば、それはＺ２にシフトされて、中心をＢとした重み付け中心対称性を得る。したがって、ＣはＤにシフトされる。

ある特定の実施形態では、ここで用いられた重み付けによって、次のように修正がなされる。

ビット０が挿入されることになっており、モーションベクトルがＺ２中にあれば、何も実行されない。

本発明のビデオシーケンスに透かし入れする方法によって実施される様々なステップのブロック図である。 画像をブロックに階層的に分解する図である。 各々が識別可能なバイナリ値と関連しており、本発明によるモーションベクトルが存在する二つのタイプのゾーンに仕切られる基準グリッドの例の図である。 図３のグリッドの所与の探索ゾーンの潜在的な透かしが入ったモーションベクトルの集合を探索する原理の図である。 図４の探索ゾーンのすべての画素を走査して、最適な透かしが入ったモーションベクトルを決定する方法をより詳細に示す図である。 図４の探索ゾーンの潜在的な透かしが入ったモーションベクトルの例の図である。 ブロック的方式の状況で最適な透かしが入ったベクトルを決定するために用いられるＰＳＮＲ判断基準を用いる図である。 フランス特許出願第０２ １３６６０号に記載の透かし入れ技法を示す、付録１に注釈されている図である。

符号の説明

２１ ブロック
２２ ブロック
２３ ブロック
３０ ブロック
３１ ベクトル
４１ 探索ゾーン
４２ ブロック
４３ 探索ゾーン
５１ ベクトル
５２ 領域
６１ 補償済みブロック
６２ 補償済みブロック
６３ 補償済みブロック
７１ ベクトルＯＤ
７２ 基準ポイントＰ
８１ 画素
８２ ブロック
８３ 画素
８４ ブロック
８５ 初期ブロック

Claims (20)

1. 透かしが入った少なくとも一つのモーションベクトルを得るために、シーケンスの内の二つの画像同士間において動きの推定することにより得られた少なくとも一つの前記モーションベクトル中に少なくとも一つの透かし入れビットを挿入するステップを実施するものであり、前記モーションベクトルは、基準空間内のその座標によって識別され、複数のブロックを含む基準グリッドに関連付けられており、各ブロックは前記モーションベクトルに関連する識別可能なバイナリ値を有する二つのタイプの相補的ゾーンへと仕切られるものである、ビデオ画像のシーケンスに透かしを入れる方法であって、
   前記挿入するステップは、前記モーションベクトルが基準ブロックとよばれる前記基準グリッドのうちのどの前記ブロックに位置するのかおよび前記基準ブロックのうちのどの前記ゾーンに位置するのかを決定し、前記モーションベクトルの座標を修正することにより、挿入されるべき前記透かし入れビットに対応するバイナリ値を備えたゾーン内に前記ベクトルが位置付けされるようにし、
   前記モーションベクトルの修正された座標が最適な透かしが入ったモーションベクトルの座標となるように、少なくとも二つの潜在的な透かしが入ったモーションベクトルが前記修正中に決定され、前記潜在的な透かしが入ったモーションベクトルの内から、前記最適な透かしが入ったモーションベクトルが少なくとも一つの所定の判断基準にしたがって選択されるものであり、
   前記潜在的な透かしが入ったモーションベクトルが、前記基準ブロックに隣接する少なくとも一つのブロックに属する、前記透かし入れビットに対応するバイナリ値ゾーン内からも探索される方法。
2. 前記所定の判断基準が、前記透かしの不可視性の判断基準である請求項１に記載の方法。
3. 前記基準空間が、所定のディメンジョンのブロックを含む基準グリッドと関連しており、前記ブロックの各々が、前記各々のタイプのゾーンを含む請求項１又は２に記載の方法。
4. 前記モーションベクトルが基準ブロックと呼ばれる前記基準グリッドのブロック中に位置付けされており、前記潜在的な透かしが入ったモーションベクトルが、前記透かし入れビットに対応するバイナリ値を有する前記基準ブロックのゾーン内から探索される請求項３に記載の方法。
5. 前記潜在的な透かしが入ったモーションベクトルはすべて、前記探索ゾーン内に置かれている請求項４に記載の方法。
6. 前記所定の判断基準が、前記潜在的な透かしが入ったモーションベクトルの各々に関連するピーク信号対雑音比（ＰＳＮＲ）の最適化の判断基準であり、該ＰＳＮＲは、透かしが入っていないオリジナル画像に関連する前記透かしが入ったモーションベクトルの１つで透かし入れされた前記ビデオシーケンスの画像の忠実度の測定に対応するものである請求項１から５のいずれかに記載の方法。
7. 前記ビデオシーケンスの画像が少なくとも二つの階層レベルに関連しており、前記レベルの内の少なくとも一つのレベルに対して前記シーケンスの内の少なくとも一対の画像に対して動きの推定を実施して前記レベルのモーションベクトルの集合を決定し、
   より低いレベルにおいて関連するモーションベクトルの平均を計算することによって、より高い階層レベルのモーションベクトルが得られるものである請求項１から６のいずれかに記載の方法。
8. より高い階層レベルのモーションベクトルの内から、透かし入れビットを挿入する前記ステップが実行される少なくとも一つのモーションベクトルを選択するステップを含む請求項７に記載の方法。
9. 前記選択されたモーションベクトルの座標の前記修正が、前記より低いレベルの少なくとも一つのレベルを持つ対応するモーションベクトルにも適用され、これによって、前記透かし入れビットの冗長的挿入を実行する請求項７または８に記載の透かしを入れる方法。
10. 前記動きの推定が「ブロックマッチング」タイプのものである請求項１から９のいずれかに記載の方法。
11. 前記透かしが入った少なくとも一つのモーションベクトルに基づいて動き補償を実行して、透かし入れされたビデオ画像シーケンスを生成するステップをさらに含む請求項１から１０のいずれかに記載の方法。
12. 前記モーションベクトルはその各々が前記画像の領域に関連しており、前記動き補償が、透かし入れされているモーションベクトルまたは透かし入れされていないモーションベクトルに関連する前記画像のすべての領域に対して実施される請求項１１に記載の透かしを入れる方法。
13. 前記モーションベクトルはその各々が前記画像の領域と関連しており、前記動き補償が、前記透かしが入った少なくとも一つのモーションベクトルが関連している前記画像の一以上の領域中において実施され、前記透かし入れされたビデオ画像シーケンスの画像が、前記動き補償が実施された前記領域と少なくとも一つのオリジナル画像とを含む請求項１１に記載の透かしを入れる方法。
14. 請求項１から１３のいずれかに記載の方法に従って透かし入れされたビデオ画像シーケンスから透かしを抽出する方法であって、透かしが入った少なくとも一つのモーションベクトル中に挿入された少なくとも一つの透かし入れビットを抽出するステップを含み、前記抽出ステップが、
    前記透かしが入った少なくとも一つのモーションベクトルを得るステップと、
    前記モーションベクトルに関連する識別可能なバイナリ値を有する二つのタイプの相補的ゾーンへと仕切られた基準空間において前記透かしが入ったモーションベクトルの位置を分析するステップと、
    前記透かしが入ったモーションベクトルが存在するゾーンのバイナリ値を、前記透かしが入ったモーションベクトルへと挿入された前記透かし入れビットに割り当て、前記透かしが入ったモーションベクトルの前記バイナリ値を送るステップと
    を含んでなる抽出方法。
15. 前記透かし入れされたビデオ画像シーケンスの画像が少なくとも二つの階層レベルに関連しており、各階層レベルは、少なくとも一つの透かし入れされたモーションベクトルを用いて透かし入れされるものであり、
    より低いレベルにおいて関連するモーションベクトルの平均を計算することによって、より高い階層レベルのモーションベクトルが得られる請求項１４に記載の抽出方法。
16. 前記透かし入れビットが前記透かし入れされたビデオ画像シーケンス中に冗長に挿入され、前記抽出された透かし入れビットに信頼指数を割り当てるために用いられた、前記抽出された透かし入れビットと対応するオリジナルの透かし入れビットとの間で少なくとも一つの相関係数を計算するステップを含む請求項１４または１５に記載の抽出方法。
17. シーケンスの内の二つの画像同士間で動きの推定することによって得られた少なくとも一つのモーションベクトル中に少なくとも一つの透かし入れビットを挿入して、少なくとも一つの透かしが入ったモーションベクトルを得る手段を備え、前記モーションベクトルは、該モーションベクトルに関連する識別可能なバイナリ値を有する二つのタイプの相補的ゾーンに仕切られる基準空間内のその座標によって識別され、挿入手段は、起動されて、前記モーションベクトルの座標を修正し、これによって、挿入されるべき前記透かし入れビットに対応するバイナリ値ゾーン内に前記ベクトルが位置付けされるものである、ビデオ画像のシーケンスに透かしを入れる装置であって、
    修正手段が、少なくとも二つの潜在的な透かしが入ったモーションベクトルを決定し、前記潜在的な透かしが入ったモーションベクトルの内から、最適な透かしが入ったモーションベクトルを少なくとも一つの所定の判断基準にしたがって選択することによって、前記モーションベクトルの修正された座標が、前記最適な透かしが入ったモーションベクトルの座標となるようにする手段を備える装置。
18. 少なくとも一つの透かしが入ったモーションベクトル中に挿入されている少なくとも一つの透かし入れビットを抽出する手段を含み、
    前記抽出手段が、
    前記少なくとも一つの透かしが入ったモーションベクトルを得る手段と、
    二つのタイプの相補的ゾーンに仕切られた基準空間における前記透かしが入ったモーションベクトルの位置を分析する手段であって、該モーションベクトルに関連する識別可能なバイナリ値を有するものである手段と、
    前記透かしが入ったモーションベクトルが存在するゾーンのバイナリ値を、前記透かしが入ったモーションベクトルへと挿入された前記透かし入れビットに割り当て、前記透かしが入ったモーションベクトルの前記バイナリ値を送る手段と
    を含んでなる、請求項１から１３のいずれかに記載の透かし入れ方法に従って透かし入れされたビデオ画像のシーケンスから透かしを抽出する装置。
19. 前記シーケンスの内の二つの画像同士間の動きを推定することによって得られた少なくとも一つのモーションベクトル中に少なくとも一つの透かし入れビットを挿入して、少なくとも一つの透かしが入ったモーションベクトルを得るステップを実行するプログラムコード命令であって、該モーションベクトルに関連するバイナリ値をそれぞれが有する二つのタイプの相補的ゾーンに仕切られる基準空間中におけるその座標によって該モーションベクトルが識別される、プログラミングプログラムコード命令と、
    前記モーションベクトルの座標を修正することにより、挿入されるべき前記透かし入れビットに対応するバイナリ値ゾーン内に前記モーションベクトルが位置付けされるようにするステップを実行するプログラムコード命令と、
    少なくとも二つの潜在的な透かしが入ったモーションベクトルを決定するステップと、前記潜在的な透かしが入ったモーションベクトル内から、少なくとも一つの所定の判断基準にしたがって最適な透かしが入ったモーションベクトルを選択することによって、前記モーションベクトルの修正された座標が、前記最適な透かしが入ったモーションベクトルの座標となるようにするステップとを実行するプログラムコード命令と
    を含んでなる、プログラムコード命令を含むコンピュータプログラムのためのコンピュータに読み取り可能な記録媒体。
20. 少なくとも一つの透かしが入ったモーションベクトルが挿入された、少なくとも一つの透かし入れビットを抽出するステップを実行するプログラムコード命令と、
    前記少なくとも一つの透かしのが入ったモーションベクトルを得るためのプログラムコード命令と、
    あるゾーンが他のゾーンを取り囲み、各ゾーンが前記モーションベクトルに関連付けられる識別可能なビットを有している、二つのタイプの相補的なゾーンへと仕切られる基準空間において、前記透かしが入ったモーションベクトルの位置を分析するステップを実行するプログラムコード命令と、
    前記透かしが入ったモーションベクトルが存在する前記ゾーンのバイナリ値を、前記透かしが入ったモーションベクトルへと挿入された前記透かし入れビットに割り当て、前記透かしが入ったモーションベクトルの前記バイナリ値を送るステップを実行するプログラムコード命令と
    を含んでなる、プログラムコード命令を含むコンピュータプログラムのためのコンピュータに読み取り可能な記録媒体。

Images