JPH11341452A

JPH11341452A - 動画像電子透かしシステム

Info

Publication number: JPH11341452A
Application number: JP11077540A
Authority: JP
Inventors: Shuichi Shimizu; 周一清水; Akio Koide; 昭夫小出
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1998-03-24
Filing date: 1999-03-23
Publication date: 1999-12-10
Anticipated expiration: 2019-03-23
Also published as: JP3490332B2

Abstract

(57)【要約】【課題】埋め込まれた情報の検出の信頼性が、フレーム
から測定された信号の強さに依存しない、電子透かし方
法及びシステムを提供することである。【解決手段】上記課題を解決するために、埋込みに際
し、埋め込む情報をビット列として用意し、該ビット列
の符号を、符号反転の周期に応じて変更し、フレームへ
該ビット列を埋め込むようにする。また検出に際して
は、フレームでの観測量を蓄積し、蓄積された観測量
と、蓄積された観測量に対応した可変の閾値とを比較
し、比較の結果により、埋込み情報の検出を行うように
する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、デジタル動画像に不可
視の状態で付加情報を埋め込む電子透かし技術に関し、
特に微弱な埋め込み信号でも高い検出信頼率を達成する
ための、信号蓄積による検出技術に関するものである。

【０００２】

【従来の技術】一般に、動画像は静止画像よりも知覚で
きる解像度が高いため、画質を保つためには静止画像の
場合に比べて、埋め込み信号を弱くする必要がある。ま
た、強く埋め込んだ信号でさえ、ローパスフィルタやMP
EG2圧縮などの処理を施された後では大幅に減衰する。
したがって、各フレームから独立して信号を検出する方
法や、あるいは固定数のフレームから検出する方法で
は、測定される信号の強さは圧縮処理などに依存するの
で、検出の信頼性は一様には保証されない。このとき、
信頼性を高くするための閾値を設定すれば、逆に、埋め
込んであるはずの信号がまったく検出されないという問
題（ false negative 誤り）が生じる。そこで、検出の
信頼性が、各フレームから測定された信号の強さに依存
しないような手法が必要であるが、特願平8-348426「統
計検定を用いたデータ・ハイディング方法及びデータ抽
出方法」、特願平8-345568「統計的性質を用いたデータ
・ハイディング方法及びシステム」、及び特願平9-8849
3「複数フレーム・データ・ハイディング方法及び検出
方法」には、それを解決する手段は記載されていない。

【０００３】

【発明が解決しようとする課題】従って、本発明が解決
しようとする課題は、埋め込まれた情報の検出の信頼性
が、フレームから測定された信号の強さに依存しない、
電子透かし方法及びシステムを提供することである。ま
た別の課題は、各動画フレームでの統計的観測量に基づ
き、埋め込み情報を検出する電子透かし検出方法及びシ
ステムを提供することである。また別の課題は、動画像
のフレームでの観測量を蓄積する際に、符号を変化させ
る、電子透かし検出方法及びシステムを提供することで
ある。また別の課題は、動画像の連続するフレームの相
関（非独立性)を打ち消す効果があるような、電子透か
し検出方法及びシステムを提供することである。また別
の課題は、情報を埋め込むに際し、埋め込み信号の符号
を変化させる電子透かし方法及びシステムを提供するこ
とである。また別の課題は、埋め込み信号の符号をある
周期を持たせて変化させる電子透かし方法及びシステム
を提供することである。また別の課題は、動画像の連続
するフレームでの差分を大きくしないようにする、電子
透かし検出方法及びシステムを提供することである。ま
た別の課題は、MPEG2などの差分を用いた圧縮方法に対
しても有効な方法及びシステムを提供することである。
また別の課題は、埋め込み処理と検出処理との間の、符
号に関する同期が不要になるような方法及びシステムを
提供することである。また別の課題は、埋め込み処理と
検出処理における、位置の同期が不要になるような方法
及びシステムを提供することである。また別の課題は、
動画像の再生速度が大きく変化した場合にも対応でき
る、電子透かし検出方法及びシステムを提供することで
ある。また別の課題は、低コストで透かし情報を検出す
るための、電子透かし検出方法及びシステムを提供する
ことである。

【０００４】

【課題を解決するための手段】上記課題を解決するため
に、埋込みに際し、埋め込む情報をビット列として用意
し、該ビット列の符号を、符号反転の周期に応じて変更
し、フレームへ該ビット列を埋め込むようにする。図１
に本発明の情報の埋込みを行うブロック図を示す。まず
ブロック１１０は、埋込み情報をビット列として用意す
る、ビット列準備ブロックである。次にブロック１２０
は符号反転の周期の応じてビット列の符号を変更する、
ビット列符号変更ブロックである。最後にブロック１３
０は、動画像のフレームへビット列を埋め込む、ビット
列埋込みブロックである。また検出に際しては、フレー
ムでの観測量を蓄積し、蓄積された観測量と、蓄積され
た観測量に対応した可変の閾値とを比較し、比較の結果
により、埋込み情報の検出を行うようにする。図２に本
発明の情報の検出を行うブロック図を示す。ブロック２
１０は、フレームでの観測量を蓄積する、観測量蓄積ブ
ロックである。次にブロック２２０は蓄積された観測量
に対応した可変の閾値を得る、可変の閾値取得ブロック
である。次にブロック２３０は蓄積された観測量と、蓄
積された観測量に対応した可変の閾値とを比較する比較
ブロックである。最後にブロック２４０は比較の結果に
より、埋込み情報の検出を行う、情報検出ブロックであ
る。

【０００５】

【発明の実施の形態】観測量の確率統計的な性質を利用
した電子透かし手法 (特願平8-348426,特願平8-345568
等) では、各フレームからｍ個の量（Ｖ[1],Ｖ[2],...,
Ｖ[m]）を測定し、それぞれをビット情報として解釈す
ることにより、ｍビット埋め込み/検出を実現してい
る。ここでは、埋め込みのないフレームからの観測量、
すなわち、ノイズを信号として観測した量が、それぞれ
正規分布で近似できることを前提としている。正規分布
への近似が正しければ、ノイズを誤って信号であると解
釈する false positive 誤りを予測することができ、ま
た、逆にその誤り率を目標に合わせるように閾値Ｔを決
定することができる。

【０００６】さて、ビット情報は、各観測量（|Ｖ[i]
|）がこの閾値Ｔを上回るように画像データを操作する
ことにより、画像に埋め込むことができるが、|Ｖ[i]|
は圧縮処理の影響で減衰したり、あるいは画質保存のた
め、必ずしもＴを上回るように操作できるとは限らな
い。このような場合には、埋め込み信号があるにもかか
わらず検出ができないという false negative 誤りの問
題が生じる。

【０００７】この問題を解消するために、各フレームで
の観測量を次のフレームに持ち越して、両者の和を用い
て判定する手法を発明した。２フレームで不足する場合
には、さらに観測フレーム数を増やし、信号を蓄積する
ことにより判定をおこなう。ここでの前提としては、各
フレームからの観測量はそれぞれが正規分布に従い、か
つ、互いに独立であることが必要である。互いに独立で
分散１の正規分布に従う確率変数をｆ個足しあわせる
と、その結果は、分散ｆの確率変数となるので、ノイズ
の場合、√ｆに比例する速度で蓄積観測量が増えること
が予想される。この現象は一般にランダムウォーク（ra
ndom walk）として捉えることができる。一方、信号の
場合には、意図的に分布しないように操作した量である
から、観測量はｆに比例して増えていくことが期待され
る。したがって、蓄積量Ｕ[i]を以下に示すように、√
ｆで割って正規化したものにすれば、

【数１】ノイズの場合、分散１の正規分布を取る確率変数である
として捉えることができる。ここで、Ｖ_j[i]はｊ番目
のフレームから観測されたｉ番目のビットの統計量を表
わす。したがって、固定の閾値Ｔと比較することができ
る。また、信号の場合には、√ｆに比例してＵ[i]は大
きくなるので、ｆが十分大きければ必ず固定の閾値Ｔを
越えることができる。すなわち、この方法によれば、埋
め込み信号が大きく減衰した場合でも、各フレームから
の観測量についてその符号がほぼ一様であれば、蓄積フ
レーム数を増やすことにより、false negative誤りをい
くらでも０に近づけることができる。

【０００８】・連続フレームの相関の排除一般に、動画像における連続フレームの間には強い相関
がある。むしろ、わずかな違いしか持たない、互いに相
関の強いフレームであるからこそ動画像として再生され
る。極端な場合、同一の内容が続く動画像では相関係数
は最大である。このような場合には、蓄積量Ｕ[i]が分
散１の正規分布に従うという仮定は成立しない。したが
って、相関を打ち消すための処理が必要である。

【０００９】そこで、各フレームからの観測量を足しあ
わせるとき、その符号を順に＋−と反転しながら蓄積す
るようにする。これにより、同一の内容が続く場合でも
蓄積量Ｕ[i]が増え続けることはなく、０を中心に小さ
く発振し、その振幅は１／√ｆに比例して小さくなる。
元来、互いに独立であった場合でも、符号を反転しても
独立性が損なわれることはない。なお、埋め込み時にも
検出時と同様に、埋め込み信号の符号を順に＋−と反転
しながら埋め込み操作を行う。

【００１０】図３に埋め込み信号の符号を、符号反転の
周期に応じて変化させて埋め込み操作を行うフローチャ
ートを図示する。符号反転の周期の周期とは、波の周期
と同様、＋の半周期と−の半周期のセットで１周期と定
義する。つまり波長が１０であれば符号は５波長の段階
で変化する。図３では符号反転の周期をＣとしているの
で、Ｃ／２周期ごとに符号が反転して情報が埋め込まれ
る。ステップ３１０でまずカウンタを０にセットする。
次にステップ３２０で埋込みビット列を用意し、ステッ
プ３３０ですべてのフレームを処理したか判断する。そ
の結果がＹＥＳであれば処理は終了する。その結果がＮ
Ｏであれば処理はステップ３４０へ進む。ステップ３４
０では１枚のフレームにビット列を埋め込む。そしてス
テップ３５０でカウンタ n を１増やす。次にステップ
３６０で符号反転の周期になったかどうかを判断する。
その結果がＮＯであれば処理は再びステップ３３０へ戻
り、その結果がＹＥＳであれば処理はステップ３７０へ
進む。ステップ３７０ではビット列をすべて反転させた
のち、ステップ３８０でカウンタ n をリセットする。
そして処理はステップ３３０へ戻る。

【００１１】・符号ビットの追加によるビット解釈反転
の回避ビットの解釈を観測量Ｕ[i]の符号を利用して行う、た
とえば、正ならビット"1"、負ならビット"0"と解釈する
手法では、埋め込みと検出処理との間で符号に関する同
期が必要となるが、一般に、両者の同期を取ることは困
難である。しかし、このままでは、解釈されたビットが
（たとえば "101" が "010" に）反転して誤解釈される
という問題が生じる。

【００１２】そこで、符号を表わすビットを追加し、合
計ｍ＋１ビットを埋め込む手法を発明した。符号ビット
と同じ符号を持つビットをビット"1"と解釈し、反対の
符号を持つものをビット"0"と解釈することにより、ビ
ットの反転現象を救っている。たとえば、"101+1" が反
転して "010+0" となった場合、符号ビットが "0" なの
で、解釈は "101" となる。このように、符号が反転す
る場合には、ｍ＋１ビットすべてが反転するという性質
を利用する。

【００１３】・長い周期の符号反転と半周期ごとの観測連続する２つのフレームに対して埋め込み処理の符号を
変えると、両者の間には埋め込み操作の２倍の差分が生
じる。連続するフレームの間の差分を増やすことは、MP
EG2などの差分を利用した圧縮手法には大きく影響を与
え、圧縮率を悪くする。また、連続するフレームでの差
分を小さくするようなノイズ除去を行うフィルタが適用
された場合、埋め込み信号はほとんど減衰し消失すると
いう問題も生じる。

【００１４】このような問題を回避するためには、符号
反転の周期Cを長くし、隣接のフレーム間で変化させな
いようにする必要がある。このとき、観測は半周期（C/
2）おきに行い、図６に示すように符号を変えて蓄積す
ると、確実に信号を回収することができる。

【００１５】図４に長い周期の符号反転と半周期ごとの
観測での信号検出のフローチャートを図示する。まずス
テップ４１０でカウンタを０にセットする。次にステッ
プ４２０で検出の符号を "+" にセットし、ステップ４
３０ですべてのフレームを処理したかを判断し、その結
果がＹＥＳなら処理を終了する。その結果がＮＯであれ
ばステップ４４０へ進む。ステップ４４０ではフレーム
からビット情報を測定する。次にステップ４５０で測定
値を検出符号("+"/"-")の向きに蓄積する。そしてステ
ップ４６０で蓄積信号の強さがしきい値を上回ったかど
うかを判断する。その結果がＹＥＳなら処理を終了し、
その結果がＮＯであればステップ４７０へ進む。ステッ
プ４７０でカウンタ f を１増やした後、ステップ４８
０で符号反転の周期であるかどうかを判断する。その結
果がＮＯであれば処理はステップ４３０へ戻る。その結
果がＹＥＳであれば処理はステップ４９０へ進む。ステ
ップ４９０で検出の符号を反転し、ステップ４９５で再
びカウンタを０にリセットする。そして処理はステップ
４３０へ戻る。

【００１６】・埋め込みと検出の周期が合わせられない
場合の蓄積方法 MPEG2圧縮では、I,P,BのうちＩフレームのみが自己再生
型の圧縮で、残り二つは他フレームからの差分型の圧縮
である。したがって、Ｉフレームのみを観測の対象とす
る検出はコストの面からも良い選択であるが、しかしな
がら、Ｉフレームの現れる周期はMPEG2の規格上固定で
はなく可変であり、したがって、埋め込み信号の周期と
一致しているとは限らない。周期があわなければ符号が
相殺しあって、蓄積の効果が出せないという問題が生じ
る。そこで、符号を相殺せずに蓄積するために、二つの
蓄積バケツＡとＢを用意し、図７に示すように互い違い
に蓄積を行うことにより、少なくとも一方には、確実に
符号同期の取れた回収が行われるようにする。

【００１７】たとえば、1番目のＩはバケツＡに＋で、2
番目はバケツＢに−で蓄積されるが、バケツＢは埋め込
みの符号が変る境界をまたいでいるために2番目と4番目
を同符号で蓄積しなければならないところを反符号で蓄
積して相殺しているが、一方、バケツＡは埋め込みの周
期と符号ずれを起こしていないので、確実に蓄積が行え
る。符号ずれの数でみると、バケツＡは０なので、３す
べてが回収に働く一方、Ｂはずれが１なので相殺後は１
の回収となる。

【００１８】図５に埋込みと検出の周期が合わせられな
い場合の蓄積方法での信号検出のフローチャートを図示
する。まず符号反転の周期をＣとして、ステップ５１０
でバケツのカウンタの初期化を行う。初期化されるの
は、バケツＡとＢの更新回数、バケツＡとＢの正向き更
新回数、バケツＡとＢの負向き更新回数を表す配列であ
る。ステップ５２０ですべてのフレームを処理したかど
うかが判断される。その結果がＹＥＳであれば処理は終
了する。その結果がＮＯであれが処理はステップ５３０
へ進む。ステップ５３０では、n 番目のフレームからビ
ット情報を測定し、ステップ５４０で蓄積するバケツと
向きを決定する。次にステップ５５０でＳが２より小さ
い場合の符号偏りの上限の確認を行う。同様にステップ
５６０でＳが２以上の場合の符号偏りの上限の確認を行
う。ステップ５５０で判断結果がＹＥＳの場合は処理は
ステップ５２０へ戻る。ステップ５６０も同様である。
符号偏りの制限にかからない場合、処理はステップ５７
０へ進む。ステップ５７０では、測定値の蓄積を行う。
測定値を s=0 なら、バケツＡに正の向きに(加算)、s=1
なら、バケツＢに正の向きに(加算)、s=2 なら、バケ
ツＡに負の向きに(減算)、s=3 なら、バケツＢに負の向
きに(減算)測定値を蓄積する。次にステップ５７０で蓄
積信号の強さがしきい値を上回ったかどうかを判断す
る。その結果がＹＥＳであれば処理は終了する。その結
果がＮＯであれば処理はステップ５９０へ進む。ステッ
プ５９０では、バケツのカウンタの更新を行う。そして
処理はステップ５２０へ戻る。

【００１９】・埋め込みと検出の周期が合わせられない
場合の蓄積方法２前項では、二つのバケツを時間的に重複しないように排
他的に利用したが、図８では、周期を1/4ずらすだけ
で、重複して利用する手法を示す。たとえば、バケツＡ
は半周期６のうち２だけ＋−がずれているので、相殺分
を差し引くと２、一方バケツＢは１だけずれているので
相殺後残るのは４で、すなわち、少なくとも一方が半分
以上の回収能力があることがわかる。一般に、この回収
能力は前項で示した排他的回収より高い。

【００２０】・蓄積の符号偏りを抑えるための上限前項および前々項の場合、符号が反転した蓄積は必ずし
も交互には起こらない。一方の符号で連続して蓄積が行
われたとき、符号反転による相関の打ち消しという目的
が達成されず、したがって、false positive 誤り率の
予測困難という問題を引き起こすことになる。この問題
を回避するためには、蓄積する符号に偏りが生じたとき
には蓄積をスキップする必要がある。偏りは以下の判定
式で判断する。 |fp - fm | <= √ｆここで、fp, fm はそれぞれ符号＋、−で蓄積されたフ
レームの数で、ｆは両者の和（fp+fm）である。ノイズ
は先に述べたように√ｆの速度で蓄積されるので、その
速度を上回らない差（|fp-fm|）であれば、同符号を蓄
積しても false positive 予測には影響を与えない。

【００２１】本発明では、さらに、動画像の再生速度に
合わせて（再生速度が大きく変化した場合にも対応でき
るように）、かつ低コストで透かし情報を検出する、以
下の手法を用いる。 (1)．埋め込みと検出の相対的位置関係が一致しなくな
った場合（位置の不一致）に対して、位置の不一致（ず
れ）に対して鈍感な周期的検出マスクを導入し、また、
一致の探索範囲を減らすために計算対象のデータを内積
の値に縮退させてメモリ量および計算量を削減する。 (2)．(1) により埋め込み位置が変化しても検出に成功
することを積極的に利用して、埋め込みと検出の相対位
置関係について、その履歴を用い、重複する位置関係を
除くようにして、動画像中の連続するフレームに存在す
る相関を排除する。 (3)．位置同期用の信号とビットを表現する信号とを分
離して、位置同期用信号の強い順にビット信号を採用す
ることにより蓄積の効率を向上する。

【００２２】上記、高速な検出処理と動画像相関の排除
の方法を以下に、より詳細に説明する。データハイディ
ング[1,2]では、オリジナルのコンテンツ（Ｉ）に対し
て埋め込みパターン（Ｐ）を足し合わせる操作により、
電子透かしとして著作権情報やコピー制御情報などを挿
入する。コンテンツが二次元の画像配列の場合には、こ
の操作は二次元配列の足し算で実現される。

【００２３】I' := I + P

【００２４】一方、電子透かしの検出には、埋め込みパ
ターンと相関の強い検出マスク（Ｍ）を用いて、検出対
象のコンテンツ（Ｊ）との相関（Ｘ）を測定する。

【００２５】 X = J dot M = I dot M (J = I, unmarked) OR I dot M + P dot M (J = I', marked)

【００２６】ここで、"dot" は内積を表す演算子であ
る。右辺第１項の "I dot M" が常に小さくなるように
Ｍを選べば、埋め込みのない（unmarked）場合には、相
関Ｘは０に近い小さな値を取り、埋め込みがある（mark
ed）場合には、第２項の"P dot M" の項が大きな値を示
すので、Ｘの大きさにより電子透かしの有無を区別でき
る。検出マスクＭは、一般に、その内容をランダムに選
べば、コンテンツに依らず第１項 "I dot M" を０に近
い値にするものを作ることができる。

【００２７】なお、検出マスクはコンテンツに依らず固
定のパターンであるが、一方の埋め込みパターンは、検
出マスクＭに対する強い相関の性質を保ったまま、オリ
ジナルの画質や音質などに影響を与えないように、コン
テンツＩの内容に応じて調整されて作られる必要があ
る。しかし、以下では説明を単純にするために、埋め込
みパターンと検出マスクは固定で、両者同一として扱う
ことにする。

【００２８】まず、シフト変換(ずれ）耐性を実現す
る、シフト位置の低コスト高速処理方法を説明する。検
出マスクＭと対象のコンテンツＪとの間に位置（幾何
的）ずれが生じた場合を考える。一般に、ずれは、埋め
込み操作と検出操作の間に伝送などの処理や、横長（1
6:9, LetterBox）映像の浮遊位置の変化、あるいはハッ
キングなど悪意のある操作により起こる。ずれの影響を
まったく受けない埋め込み・検出方法にはフーリエ変換
やＤＣＴ変換など周波数空間を利用したものがある。た
とえば、コンテンツをフーリエ周波数変換し電力（強
さ）成分と位相成分に分解したときに、ずれの影響が位
相にのみ現れること、つまり電力には現れないことを利
用して、電力成分にのみ埋め込み・検出を施す方法があ
る。しかし一般に、周波数変換には高い計算コストがか
かるため、動画像など再生の速度と同等のリアルタイム
検出が要求される場合には使えない。空間領域のままの
ピクセルに基づく埋め込み・検出方法では、上記の第１
項 "I dot M" は、ずれに依らず変わらず小さな値を示
すが、一方で、第２項 "P dot M" は、電子透かしが十
分に残っているにも関わらず、このずれ（mis-alignmen
t）のために大きな反応を出力できずに右辺全体として
小さな値となり、その結果、電子透かしの検出に失敗す
る。この問題を回避するためには、正しい位置（alignm
ent）の候補をいろいろと試行し、最大の反応を示す位
置（マーク有りの場合、シフト位置）を探索する必要が
あるが、ピクセル単位での単純な全探索は、たとえば、
720x480 サイズの画像の場合345,600 通りもの試行が必
要となり、計算量の観点から現実的ではない。

【００２９】そこで、ピクセル単位の探索ではなく、小
領域単位の探索での alignment が可能であれば探索数
を大幅に減らすことができる。そこで本発明では、ずれ
に対して検出処理が鈍感（insensitive）になるよう
に、まず以下の 8x4 サイズのブロック・パターン（p0
〜p3）を利用し、

【００３０】 ++++++++ 00000000 -------- 00000000 00000000 ++++++++ 00000000 -------- -------- 00000000 ++++++++ 00000000 00000000 -------- 00000000 ++++++++ p0 p1 p2 p3

【００３１】これらのうち一つを縦横に幾つか並べたも
の、たとえば 2x4 ブロック、を基本パターン（primary
pattern）として、埋め込みパターンおよび検出マスク
を構成することにする。ここで、'+' は＋１を、'-' は
−１を表す。以後、上記のブロック・パターンを最小パ
ターン（primitive pattern）と呼ぶことにする。最小
パターン p0 で作られる基本パターン P0 は、たとえば
2x4 最小パターンのと場合、以下の通りである。

【００３２】

【００３３】このようにして作った基本パターン P0〜P
3 をランダムに並べて、検出マスク（埋め込みパター
ン）を作成する。

【００３４】

【００３５】さて、ＭとＰが互いに横に１ピクセル列ず
れた場合には、各基本パターンの端の１列が隣接のパタ
ーンに重なることになり、また基本パターンの列はラン
ダムに構成されているので、その部分の内積への貢献が
平均的に０と考えると、全体での内積の出力は 1/16 だ
け損失する。ここで、パターンの領域を外れる端の部分
は折り返して、上と下、左と右でそれぞれ接続している
と考えることにする。同様の考え方により、２列ずれで
は 2/16、３列ずれでは 3/16 の損失となる。８列ずれ
たときは半分の損失となるが、最小パターンの単位（横
に８ピクセル列）でずらしを試行すれば、ちょうどずれ
が０となり損失は０である。したがって、最小パターン
単位で探索すれば、最大の損失位置は、ずれの剰余が４
の位置で、そのとき、4/16 = 25% の損失である。

【００３６】次に、ＭとＰとが互いに縦に２行ずれた場
合を考えると、２行が隣接のパターンと重なり、したが
って損失は 2/16 である。しかし、ただ１行ずれた場合
には、０と非０が互いに重なるので、内積の値は０にま
で落ち込む。この状況を救うために本発明では、Ｍのほ
かに、縦に１行だけずらしたマスクＭ'を導入してい
る。Ｍ'は最小パターン単位で、p0 を p1に、p1 を p2
に、p2 を p3に、p3 を p0に交換して作成したものであ
る。縦４行で１周期と考えれば、検出マスクＭ'は検出
マスクＭの 1/4 周期（９０度）位相の関係と捉えるこ
とができる。

【００３７】

【００３８】検出マスクＭ'は１行のずれに対して損失
０で反応する。３行ずれた場合には損失 2/16 である。
４行ずれたときには、最小パターン単位でずれを試行す
れば損失は０となるので、縦方向には、ずれの剰余が２
のとき最大損失 2/16 となる。したがって、横ずれ剰余
（mod 8）が４で縦ずれ剰余（mod 4）が２のとき、最大
損失 1 - (1-4/16)x(1-2/16) = 34.4% となる。

【００３９】以上から、最小パターンの単位で正しいず
れの位置を探索することにより、最悪でも 35% 程度の
損失で電子透かしの反応を得ることができる。このとき
探索数は、ＭおよびＭ'の両方を適用することを考慮し
ても，ピクセル単位の場合の 1/(8x4) x 2 = 1/16 倍で
すむ。また、あらかじめ 8x4 最小パターンの単位で内
積を１度だけ計算しておけば、以降、その内積値を利用
できるのでメモリの大幅削減にもつながり、これによ
り、ＤＶＤドライブに内蔵するための電子透かし検出チ
ップの実現が可能となった。つまり、720x240 サイズの
フィールド画像（172,800 byte）に対して、それを９分
割（3x3）して重ね合わせたタイル状の部分を、ピクセ
ル値ではなく内積値を用いて表せば、わずか (720/3/8)
x (240/3/4) x2 x 2 byte =2400 byte で十分であり、
また、探索範囲も (720/3/8) x (240/3/4) x 2 =1200
通りと現実的である。なぜなら、MPEG2 ストリームから
の直接検出では、１秒間に約２回現れるＩフレームを処
理するが、1200 通りを２回試行するのに 0.5 秒は十分
に長い時間であるからである。

【００４０】次に、動画像相関の排除処理方法を説明す
る。「フレーム蓄積」手法[4]は、動画像からの電子透かし
検出において、各フレームからの検出の出力が弱い場合
への対策であり、フレームからの出力を逐次蓄積し、そ
れが十分に強い量に達したときにマーク有の判定を下
す、というものである。逆に、ある定められた区間（時
間）で閾値に達しなければ、マーク無の判定とする。ラ
ンダムに発生するノイズを蓄積すれば，その和は正負が
相殺し合ってランダムウォーク（random walk）し，そ
の増え方は √n と予測できる。ここで、n は蓄積の数
を表す。一方，互いに独立ではなく、正の相関を持つよ
うなノイズ（埋め込み信号）の場合には，測定されるノ
イズを蓄積(和)すれば，その和は相殺せずに √n より
速い速度で増え続ける。相関が正の最大（1.0）なら，n
の速度で増える。したがって、フレーム蓄積の前提
は、まずマークありの場合、各フレームからの出力がた
とえ弱くてもコヒーレントで正の相関を持ち、蓄積の結
果がほぼ線形に伸びていくこと、逆にマークなしの場
合、フレーム出力が互いに独立であって、その蓄積の結
果がランダムウォークの振る舞いをすること、の２点が
大きな特徴である。特に、後者の独立ランダム性は、マ
ーク有無の判定閾値を決定する上で重要な性質である
が、しかしながら一般に、動画像はその連続するフレー
ムにおいて、動画という性質上（フレームの内容が似て
いる）強い正の相関を持ち、したがって、それらのフレ
ームからの出力は互いに独立ではない。

【００４１】本発明の１つの方法では、その独立ランダ
ム性を保証するために、フレーム出力を蓄積する際の符
号を時間規則的に強制反転することにより、フレーム間
に存在する正の相関を打ち消して、負の相関に変化させ
ている。検出に反応させるために埋め込み側では、同じ
時間規則に従い、埋め込みの符号（方向）を反転させて
いる。これにさらに、動画の再生速度が変化し時間規則
とずれが生じた場合にも、電子透かしを検出する方法を
説明する。

【００４２】本発明では、無マーク動画像から検出され
るノイズのランダム性を保証するために、シフト位置の
履歴を導入する。これは、最大反応を示すシフト位置が
互いに異なるフレーム画像からの検出ノイズは、互いに
独立であるという考えに基づく。ここで、履歴の深さを
n とすると、あるフレームからの出力を採用し蓄積す
るか、あるいは捨てるかどうかの判断は，以下の通りに
行う。

【００４３】(1) 過去に採用されたフレームのシフト位
置 n 個の中に、このフレームのシフト位置が含まれて
いれば、不採用とし捨てる。 (2) そうでなければ、採用し蓄積する。また、シフト位
置の履歴に加える。

【００４４】このようにして、無マーク動画像からの過
去 n フレームの蓄積において、蓄積ノイズのランダム
性を保つ。

【００４５】シフト位置の履歴の深さを蓄積の上限の数
に一致させておけば、互いに相関のないノイズを蓄積し
ていくことができる。なお、埋め込み処理は、適宜、埋
め込み位置を変えてシフト位置を揺らす必要がある。そ
うしなければ同一のシフト位置が続くことになり、その
ため蓄積がまったく働かず、弱い信号を救えない。この
ように、上記の方法では時間規則を利用しないため動画
像の再生速度には依存せず，それが変化した場合でも蓄
積は正しく行われるので、時間変化の問題は解消され
る。また、長くてもＩフレームの間隔で埋め込み位置を
変えてシフト位置を揺らせば、毎Ｉフレームでの観測が
すべて蓄積に採用されるので、バケツ分割方式に比べて
より蓄積効率が良くなる。以下に蓄積の順序付けについ
て説明する。

【００４６】蓄積の効率をさらに向上させるために、強
い信号を優先して蓄積するための手法として、位置同期
用の検出マスクＭsおよび、ビット解釈用の検出マスク
Ｍbを互いに独立になるように準備して、さらに加えて
"順位表" を導入して、蓄積の順序付けを行うための手
順を以下に示す。

【００４７】(1) まず、マスクＭsにより最大反応を示
すオフセット位置Ｏを選び出す。 (2) Ｍsの反応の大きさとオフセット位置Ｏおよびその
位置でのビット信号の強さＢを組にする。 (3) 順位表にそのオフセット位置Ｏと一致する組が未登
録であれば、この組を順位表に登録する。このとき、順
位表の組はＭsの反応の大きい順に並べる。 (4) もしすでにオフセット位置Ｏと一致する組が登録済
みであって、かつ、登録組よりも、この新規組のＭs反
応のほうが大きければ置き換えて、順位を更新する。

【００４８】そして、この順位表が更新されたときに、

【００４９】(1) 表の１位から n 位までのビット信号
Ｂを足し合わせて閾値と比較する。ここで、各ビット信
号が N(0,1) の正規分布に従うなら √n で割った値も
同じく N(0,1) に従うので固定の閾値と比較することが
できる。 (2) もし閾値を上回れば、マークありと判定し、ビット
解釈する。 (3) まだ閾値を上回らなければ n を１増やし (1) に戻
る。

【００５０】マークありと判定された場合，あるいは、
表の最後まで足し合わせてもまだ閾値を上回らない場合
には、次のフレームへ処理を移す。つまり有マークの動
画像の場合には、信号が意図的に埋められているのだか
ら、同期用Ｍsに強く反応すれば、それと同等にＭbにも
強く反応することが期待される。したがって、Ｍsに強
く反応する順にＭb反応の結果を足していけば、それは
Ｍb反応の強い順に足し合わせるという効果が得られ、
これにより弱い（不確実な）Ｍbは後回しになるので、
効率のよい蓄積が実現される。

【００５１】一方、無マーク動画像の場合には、Ｍsに
強く反応したからといってＭbに強く反応するとは限ら
ず、逆に、互いに独立な値を取るので、Ｍsの時強い順
に並べられたＭbは、Ｍsとは無関係にランダムに並んで
いることが期待される。したがって、Ｍsの強い順にＭb
を足し合わせても、Ｍbのランダムウォークの振る舞い
は保証され、マーク有無の判定閾値には影響を与えな
い。なお、互いに独立なＭsとＭbの作り方としては、領
域で二分する方法や、重なるパターンとして互いに直交
する関係にする方法などがある。ＤＶＤコピー制御のシ
ステムでは、互いに直交する２つのマスクＭ0,Ｍ1を用
意し、以下のように定義する。

【００５２】Ｍs = Ｍ0 + Ｍ1 Ｍb = Ｍ0 - Ｍ1

【００５３】ここでビット"0"を埋め込むにはＭ0を埋め
込みパターンとして，ビット"1"を埋め込むにはＭ1を埋
め込みパターンとして利用する。いずれのビットを埋め
込むにしても、Ｍsによる検出は正で反応し、Ｍbによる
検出は埋め込みビットに応じて、正または負で反応す
る。したがって、ビットの解釈はその符号により決定す
ることができる。また、ＭsとＭbの直交性は、以下のよ
うに実現する。

【００５４】Ｍs・Ｍb = (Ｍ0 + Ｍ1)・(Ｍ0 - Ｍ1) =
|Ｍ0|^2 - |Ｍ1|^2 = 0

【００５５】

【実施例】図１０に本発明の、電子透かし制御ブロック
を有するＤＶＤ−Ｒドライブシステム８００の一実施例
を示す。図１０において、ディスク９１０はドライブ回
路９１２に接続されたモータ９１４により回転し、ディ
スク９１０中に記録されたデータはオプトエレクトリカ
ル・ヘッド９１６により読み取られる。またドライブ回
路９１２はＤＶＤ制御ブロック９１８からの指令で動作
する。オプトエレクトリカル・ヘッド９１６により読み
取られた信号は、ＤＶＤ制御ブロック９１８に入力さ
れ、増幅され、必要に応じて変換され、復号ブロック９
２０へ送られる。復号ブロック９２０は信号のモジュレ
ータ、デモジュレター及び誤り訂正を行う。ＤＶＤ制御
ブロック９１８はディスク中に記録されたサーボデータ
または復号ブロックからの制御信号を受けてドライブ回
路９１２を制御するためのサーボ回路９１８Ｂを含んで
いる。またＤＶＤ制御ブロック９１８は信号読取回路９
１８Ａを含んでいる。

【００５６】復号ブロック９２０で受け取られたデータ
は、共通のバスで接続された復号ブロック内にあるバッ
ファ９２０Ａ、ＭＰＵ９２０Ｂ及び復号器９２０Ｃによ
り誤り訂正を行い、リアルタイムに復号され、電子透か
し制御ブロック９３０へ送信される。電子透かし制御ブ
ロック９３０では、本発明ので開示された、情報の埋込
み、及び埋込まれた情報の検出が行われる。また適宜、
複製制御等を有するデータ制御回路を付加しても構わな
い。電子透かし制御ブロック９３０から、データはイン
ターフェースユニット９２１を介してシステム１００へ
接続される。ＤＶＤ−Ｒドライブシステム８００は単体
でも動作可能であるが、インターフェースユニット９２
１を介して接続可能なシステムと通信しながら動作させ
てもよい。

【００５７】図９には、ＤＶＤ−Ｒドライブシステム８
００と接続可能なシステムのハードウェア構成の一実施
例が示されている。システム１００は、中央処理装置
（ＣＰＵ）１とメモリ４とを含んでいる。ＣＰＵ１とメ
モリ４は、バス２を介して、補助記憶装置としてのハー
ドディスク装置１３（またはＭＯ、ＣＤ−ＲＯＭ２３、
ＤＶＤ等の記憶媒体駆動装置）とＩＤＥコントローラ２
５を介して接続してある。同様にＣＰＵ１とメモリ４
は、バス２を介して、補助記憶装置としてのハードディ
スク装置３０（またはＭＯ２８、ＣＤ−ＲＯＭ２３、Ｄ
ＶＤ−Ｒ８００等の記憶媒体駆動装置）とＳＣＳＩコン
トローラ２７を介して接続してある。フロッピーディス
ク装置２０はフロッピーディスクコントローラ１９を介
してバス２へ接続されている。

【００５８】フロッピーディスク装置２０には、フロッ
ピーディスクが挿入され、このフロッピーディスク等や
ハードディスク装置１３（またはＭＯ、ＣＤ−ＲＯＭ、
ＤＶＤ−Ｒ８００等の記憶媒体）、ＲＯＭ１４には、オ
ペレーティングシステムと協働してＣＰＵ等に命令を与
え、コンピュータ・プログラムのコード若しくはデータ
を記録することができ、メモリ４にロードされることに
よって実行される。このコンピュータ・プログラムのコ
ードは圧縮し、または、複数に分割して、複数の媒体に
記録することもできる。

【００５９】システム１００は更に、ユーザ・インター
フェース・ハードウェアを備え、入力をするためのポイ
ンティング・デバイス（マウス、ジョイスティック等）
７またはキーボード６や、視覚データをユーザに提示す
るためのディスプレイ１２を有することができる。ま
た、パラレルポート１６を介してプリンタを接続するこ
とや、シリアルポート１５を介してモデムを接続するこ
とが可能である。このシステム１００は、シリアルポー
ト１５およびモデムまたは通信アダプタ１８(イーサネ
ットやトークンリング・カード)等を介してネットワー
クに接続し、他のコンピュータ等と通信を行うことが可
能である。またシリアルポート１５若しくはパラレルポ
ート１６に、遠隔送受信機器を接続して、赤外線若しく
は電波によりデータの送受信を行うことも可能である。

【００６０】スピーカ２３は、オーディオ・コントロー
ラ２１によってＤ／Ａ（デジタル／アナログ変換）変換
された音声信号を、アンプ２２を介して受領し、音声と
して出力する。また、オーディオ・コントローラ２１
は、マイクロフォン２４から受領した音声情報をＡ／Ｄ
（アナログ／デジタル）変換し、システム外部の音声情
報をシステムにとり込むことを可能にしている。

【００６１】このように、ＤＶＤ−Ｒドライブシステム
８００に接続（通信）可能なシステム１００は、通常の
パーソナルコンピュータ（ＰＣ）やワークステーショ
ン、ノートブックＰＣ、パームトップＰＣ、ネットワー
クコンピュータ、コンピュータを内蔵したテレビ等の各
種家電製品、通信機能を有するゲーム機、電話、ＦＡ
Ｘ、携帯電話、ＰＨＳ、電子手帳、等を含む通信機能有
する通信端末、または、これらの組合せによって実施可
能であることを容易に理解できるであろう。

【００６２】なおＤＶＤ−Ｒドライブシステム８００
を、データ処理システム１００と外部接続した場合を図
１１に、内蔵した場合を図１２に示す。

【００６３】

【発明の効果】ＤＶＤの映像データに、コピー制御のた
めの信号を埋め込んで隠す場合、デバイスがコピー制御
信号を誤読しないように、あらかじめ、強く信号を埋め
込む必要がある。しかしながら、動画は一般に、静止画
よりも人間の目の解像度が高いため、強く埋め込んだ信
号はノイズとして感知されてしまうという問題が生じ
る。本発明の方法およびシステムでは、強く埋め込む代
わりに、質を保つ範囲で各フレームに弱く埋め込み、検
出時にそれを十分な強さになるまで蓄積して判定を行う
ことにより、強く埋め込んだ場合と同じ抽出信頼度を達
成することが可能である。また、ＤＶＤの動画フォーマ
ットはＭＰＥＧ２であるが、この損失ありの圧縮によっ
て埋め込んだ信号が弱められる問題も、蓄積手法および
システムで解消することができる。

【００６４】

【図面の簡単な説明】

【図１】発明の情報の埋込みを行うブロック図である。

【図２】本発明の情報の検出を行うブロック図である。

【図３】埋め込み信号の符号を、符号反転の周期に応じ
て変化させて埋め込み操作を行うフローチャートであ
る。

【図４】長い周期の符号反転と半周期ごとの観測での信
号検出を行うフローチャートである。

【図５】埋込みと検出の周期が合わせられない場合の蓄
積方法での信号検出を行うフローチャートである。

【図６】長い周期の符号反転と半周期ごとの観測方法を
示す図である。

【図７】埋め込みと検出の周期が合わせられない場合の
蓄積方法を示す図である。

【図８】埋め込みと検出の周期が合わせられない場合の
別の蓄積方法を示す図である。

【図９】本発明のシステムと接続可能なシステムのハー
ドウェア構成例である。

【図１０】本発明の電子透かし制御ブロックを有するＤ
ＶＤシステムの一実施例である。

【図１１】ＤＶＤシステムをシステム１００と外部接続
した図である。

【図１２】ＤＶＤシステムをシステム１００に内蔵した
図である。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩＨ０４Ｎ 5/91 Ｈ０４Ｎ 5/92 Ｈ 5/92 (72)発明者小出昭夫神奈川県大和市下鶴間1623番地14 日本アイ・ビー・エム株式会社東京基礎研究所内

Claims

【特許請求の範囲】

【請求項１】フレームに情報を埋め込む、動画像への電
子透かしシステムであって、 (1) 埋め込む情報をビット列として用意する手段と、 (2) 前記ビット列の符号を、符号反転の周期に応じて変
更する手段と、 (3) フレームへ前記ビット列を埋め込む手段と、を具備することを特長とする、動画像電子透かしシステ
ム。
【請求項２】前記ビット列の符号を符号反転の周期に応
じて変更する手段(2)が、さらに符号を表す符号ビット
を前記ビット列に追加する手段、を具備することを特長とする、請求項１記載のシステ
ム。
【請求項３】フレームでの統計的観測量に基づき、埋め
込み情報を検出する、動画像電子透かし検出システムで
あって、 (1) フレームでの観測量を蓄積する手段と、 (2) 蓄積された観測量と、蓄積された観測量に対応した
可変の閾値とを比較する手段と、 (3) 前記比較の結果により、埋込み情報の検出を行う手
段と、を具備することを特長とする、動画像電子透かし検出シ
ステム。
【請求項４】前記フレームでの観測量を蓄積する手段
(1)が、フレームでの観測量を正規化して蓄積する手段
である、請求項３記載のシステム。
【請求項５】前記フレームでの観測量を蓄積する手段
(1)が、フレームでの観測量を蓄積する際に、フレーム
の観測量の符号を変化させる手段である、請求項３記載
のシステム。
【請求項６】前記フレームでの観測量を蓄積する手段
(1)が、フレームでの観測量を、符号反転周期の、半周
期間隔で符号を反転して蓄積する手段である、請求項３
記載のシステム。
【請求項７】前記フレームでの観測量を蓄積する手段
(1)が、フレームでの観測量を蓄積する際に、符号反転
周期の１／４周期間隔で、各観測値を二つの蓄積器Aお
よびBに対して、Aに加算、Bに加算、Aから減算、Bから
減算の順に蓄積する手段である、請求項３記載のシステ
ム。
【請求項８】前記フレームでの観測量を蓄積する手段
(1)が、フレームでの観測量を蓄積する際に、二つの蓄
積器AおよびBを用意し、符号反転周期の１／４周期間隔
で各観測値を、Aに加算,Aに加算,Aから減算,Aから減算
の順に蓄積し、Aの蓄積と平行して、Bに加算,Bから減
算,Bから減算,Bに加算の順に蓄積する手段である、請求
項３記載のシステム。
【請求項９】前記二つの蓄積器の蓄積値が一方の符号に
偏った場合に、該偏りの上限を持たせる手段を含む、請
求項７乃至請求項８の何れかに記載のシステム。
【請求項１０】フレームに情報を埋め込む、動画像電子
透かし方法であって、 (1) 埋め込む情報をビット列として用意する段階と、 (2) 前記ビット列の符号を、符号反転の周期に応じて変
更する段階と、 (3) フレームへ前記ビット列を埋め込む段階と、を有することを特長とする、動画像電子透かし方法。
【請求項１１】フレームでの統計的観測量に基づき、埋
め込み情報を検出する、動画像電子透かし検出方法であ
って、 (1) フレームでの観測量を蓄積する段階と、 (2) 蓄積された観測量と、蓄積された観測量に対応した
可変の閾値とを比較する段階と、 (3) 前記比較の結果により、埋込み情報の検出を行う段
階と、を有することを特長とする、動画像電子透かし検出方
法。
【請求項１２】動画像内のフレームでの統計的観測量に
基づき、埋め込み情報を検出するための、プログラムを
含む媒体であって、該プログラムが、 (1) フレームでの観測量を蓄積する機能と、 (2) 蓄積された観測量と、蓄積された観測量に対応した
可変の閾値とを比較する機能と、 (3) 前記比較の結果により、埋込み情報の検出を行う機
能と、を有することを特長とする、プログラムを含む媒体。
【請求項１３】ＤＶＤシステムであって、該システム
は、ディスクを回転させるモータと、及び前記ディスク
内の信号を読み書するピックアップと、前記モータ及び
ピックアップを制御するドライブ回路と、該ドライブ回
路に指令を出すＤＶＤ制御ブロックと、信号の変換及び
誤り訂正を行う復号ブロックと、情報の埋込み若しくは
検出を行う電子透かし制御ブロックと、外部との通信を
行うインターフェースユニットからなり、前記電子透か
し制御ブロックが、 (1) 埋め込む情報をビット列として用意する手段と、 (2) 前記ビット列の符号を、符号反転の周期に応じて変
更する手段と、 (3) フレームへ前記ビット列を埋め込む手段と、を具備することを特長とする、ＤＶＤシステム。
【請求項１４】ＤＶＤシステムであって、該システム
は、ディスクを回転させるモータと、及び前記ディスク
内の信号を読み書するピックアップと、前記モータ及び
ピックアップを制御するドライブ回路と、該ドライブ回
路に指令を出すＤＶＤ制御ブロックと、信号の変換及び
誤り訂正を行う復号ブロックと、情報の埋込み若しくは
検出を行う電子透かし制御ブロックと、外部との通信を
行うインターフェースユニットからなり、前記電子透か
し制御ブロックが、 (1) フレームでの観測量を蓄積する手段と、 (2) 蓄積された観測量と、蓄積された観測量に対応した
可変の閾値とを比較する手段と、 (3) 前記比較の結果により、埋込み情報の検出を行う手
段と、を具備することを特長とする、ＤＶＤシステム。
【請求項１５】前記フレームでの観測量を蓄積する手段
(1)が、情報の埋め込み時と検出時の相対的位置に依存
しない、周期的検出マスクを用いて、観測量を蓄積する
手段である、請求項３記載のシステム。
【請求項１６】前記フレームでの観測量を蓄積する手段
(1)が、情報の埋め込み時と検出時の相対的位置関係の
履歴を用いて、重複する位置関係を除くことにより、連
続するフレームに存在する相関を排除して、観測量を蓄
積する手段である、請求項３記載のシステム。
【請求項１７】前記フレームでの観測量を蓄積する手段
(1)が、埋め込み検出の位置同期用の信号と、情報を表
現する信号とを分離して、位置同期用信号の強い順に情
報を表現する信号を採用することにより、観測量を蓄積
する手段である、請求項３記載のシステム。