JP3861624B2 - 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像等のデータに著作権情報、編集情報などの付加情報を埋め込みまたは読み取る技術に関し、例えば画像中に通常の観察状態では認識困難な付加情報として電子透かし（ウォーターマーク:Digital Watermarkingまたは、Data Hidingとも呼ばれる）を埋め込む処理を実行する電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラムに関する。
【０００２】
【従来の技術】
デジタル技術の進歩に伴い、記録、再生処理の繰り返し実行による画質劣化、音質劣化等の発生しないデジタル記録再生装置が普及し、また一方では、様々な画像、音楽等のデジタテルコンテンツがＤＶＤ，ＣＤなどの媒体またはネットワーク等を通じて配信、流通可能な状態となってきている。
【０００３】
デジタル記録再生では、アナログ記録再生と異なり、記録再生処理を繰り返し実行してもデータの劣化が発生しないため、オリジナルデータと同様の品質が保たれる。このようなデジタル記録再生技術の普及は不正コピーの氾濫を招く結果となり、著作権の保護という観点から大きな問題となっている。
【０００４】
デジタルコンテンツについての不正な複製（コピー）による著作権侵害に対処するため、デジタルコンテンツに複製制御のための複製制御情報を付加し、コンテンツの記録再生時に複製制御情報を読み取り、読み取られた制御情報に従った処理を実行することにより不正な複製を防止する構成が提案されている。
【０００５】
コンテンツ複製制御態様には様々な態様があるが、例えば代表的方式として、ＣＧＭＳ（Ｃｏｐｙ Ｇｅｎｅｒａｔｉｏｎ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ；コピー・ジェネレーション・マネージメント・システム）方式がある。このＣＧＭＳ方式は、アナログ映像信号（ＣＧＭＳ−Ａと呼ばれる）であれば、その輝度信号の垂直ブランキング期間内の特定の１水平区間、例えばＮＴＳＣ信号の場合には、第２０水平区間の有効映像部分に重畳する２０ビットの付加情報のうちの２ビットを複製制御用の情報として重畳し、また、デジタル映像信号（ＣＧＭＳ−Ｄと呼ばれる）であれば、デジタル映像データに挿入付加する付加情報として、複製制御用の２ビットの情報を含めて伝送する方式である。
【０００６】
このＣＧＭＳ方式の場合の２ビットの情報（以下、ＣＧＭＳ情報という）の意味内容は、［００］……複製可能［１０］……１回複製可能（１世代だけ複製可能）
［１１］……複製禁止（絶対複製禁止）
である。
【０００７】
上述のＣＧＭＳ方式は代表的な複製制御方式の１例であり、他にもコンテンツの著作権保護のための方式が様々ある。例えば放送局が行なうデジタル放送などでは、デジタルデータを構成するトランスポートストリーム（ＴＳ）パケットに含まれる番組配列情報（ＳＩ：Service Information）内にデジタル複製制御記述子（Digital Copy Control Descriptor）を格納し、受信機器において受信したデータを記録装置に記録する際に記述子に従った複製世代制御を行なう方式がある。
【０００８】
しかし、上述の制御情報は例えばコンテンツのヘッダ等にビットデータとして付加されるものであり、付加されたデータの改竄の可能性を完全に排除することが困難である。データ改竄の可能性の排除という点で有利な構成が電子透かし（ウォーターマーク）である。電子透かし（ウォーターマーク）は、通常のコンテンツ（画像データまたは音声データ）の再生状態では視覚あるいは知覚困難であり、電子透かしの検出、埋め込みは特定のアルゴリズムの実行、または特定のデバイスによる処理によってのみ可能となる。受信器、記録再生装置等におけるコンテンツ処理時に電子透かし（ウォーターマーク（ＷＭ））を検出して、電子透かしに従った制御を行なうことにより、より信頼度の高い制御が可能となる。
【０００９】
光ディスク等の記録媒体や、放送局等より衛星波や地上波、ケーブル等の媒体を介して伝送されるコンテンツ等についての電子透かし（ウォーターマーク（ＷＭ））による著作権の保護方法は、ビデオ信号やオーディオ信号等の再生に影響を与えない程度の微小な信号レベルにより、著作権に関するデータの変調信号等をビデオ信号やオーディオ信号等に重畳して記録するものである。画像、音声、データ等様々なデジタルコンテンツが劣化のない状態でコピーされたり配信されたりする可能性のあるデジタルネットワーク時代において、電子透かし技術はコンテンツ自身に情報を埋め込むことにより著作権を保護することのできる有力な技術である。
【００１０】
電子透かし（ウォーターマーク（ＷＭ））によってコンテンツに埋め込まれる情報としては、上述の複製制御情報に限らず、コンテンツの著作権情報、コンテンツ加工情報、コンテンツ構成情報、コンテンツ処理情報、コンテンツ編集情報、あるいはコンテンツ再生処理方式等、様々な情報が埋め込み可能であり、例えばコンテンツの編集処理時に編集情報を埋め込み、各編集ステップにおいて、電子透かしを参照して処理ステップを確認することなどが行なわれる。このような編集情報は、例えばコンテンツの編集ステップ毎にコンテンツに対して新たな電子透かしとして埋め込まれ、最終的にコンテンツから取り除かれるなどの処理が行なわれる。
【００１１】
データに対する電子透かしの埋め込みおよび検出態様としては様々な手法が提案されている。１つの代表的な電子透かし埋め込み検出態様には、元信号としてのデータ、例えば画像のもつ統計的性質に基づいた手法がある。デジタルビデオ信号等の画像信号の持つ統計的な性質に基づいて、ＰＮ系列の乱数データを基本パターンとして電子透かしを埋め込む方法について説明する。簡単のため輝度信号のフレームデータを水平サイズ８画素、垂直サイズ６画素とする。
【００１２】
まずＰＮ系列の乱数データＰＮを、下記式のように設定する。
【００１３】
【数１】

【００１４】
この乱数データＰＮは統計的に総和が０になるように生成される。次に埋め込み情報ＤＣを、上記式のような性質を持つ乱数データＰＮによりスペクトラム拡散する。すなわち埋め込み情報ＤＣの極性が“１”の場合には、乱数データＰＮのパターンをそのまま使用することにより、電子透かしパターンＷＭは、下記式のようになる。
【００１５】
【数２】

【００１６】
また埋め込み情報ＤＣの極性が“０”の場合には、乱数データＰＮのパターンを反転したものを使用することにより、電子透かしパターンＷＭは、下記式のようになる。
【００１７】
【数３】

【００１８】
なお埋め込み情報ＤＣが複数の情報ビットから構成される場合には、例えば輝度信号のフレームデータを適当な小領域に分割し、各情報ビットをそれぞれの小領域に対応させればよい。また、例えば互いに直行するような複数の異なる電子透かしパターンを使用し、各情報ビットをそれぞれの電子透かしパターンに対応させればよい。また、これらの手法を組み合わせて使用してもよい。
【００１９】
一方デジタルビデオ信号等の画像信号において、あるフレームデータの輝度信号画素値を示すフレームデータＤＶ１が以下のような式で示されたとする。なお、デジタルビデオ信号の画像信号において、近接する輝度信号は同程度の画素値を持つという性質があり、隣接する画素の値は近似した値に設定してある。
【００２０】
【数４】

【００２１】
電子透かしの埋め込みは、輝度信号のフレームデータＤＶ１に電子透かしパターンＷＭを加算することによって実現する。電子透かし埋め込み情報ＤＣの極性が“１”の場合には、前述の［数２］に示される電子透かしパターンＷＭを、上述の［数４］に示される輝度信号に加算する処理となり、電子透かしを埋め込んだ輝度信号のフレームデータＤＶ２は、下記式によって示されるデータとなる。
【００２２】
【数５】

【００２３】
このようにして電子透かしを埋め込んだ輝度信号のフレームデータＤＶ２から、埋め込み情報ＤＣを検出するためには、埋め込み時と同一のＰＮ系列の乱数データＰＮを使用する。まず元の輝度信号のフレームデータＤＶ１と乱数データＰＮとの内積値Ｐ１は、下記式によって示される値を持つ。
【００２４】
【数６】
Ｐ１＝ＤＶ１・ＰＮ＝１
【００２５】
画像信号の持つ統計的な性質から内積値Ｐ１は０近傍の値となる。これに対して電子透かしを埋め込んだ輝度信号のフレームデータＤＶ２と乱数データＰＮとの内積値Ｐ２は、埋め込み情報ＤＣの極性が“１”の場合には、下記式によって示される値を持つ。
【００２６】
【数７】

【００２７】
一方、埋め込み情報ＤＣの極性が“０”の場合には、下記式によって示される値を持つ。
【００２８】
【数８】

【００２９】
すなわち内積値Ｐ２の絶対値は、乱数データＰＮ自身の内積値ＰＮ²近傍の値となる。元の輝度信号のフレームデータＤＶ１と乱数データＰＮの内積値Ｐ１および、電子透かしを埋め込んだ輝度信号のフレームデータＤＶ２と乱数データＰＮの内積値Ｐ２を様々な画像に対して計算すると、内積値Ｐ１およびＰ２の分布は図１に示すような確率密度関数で表現することができる。したがって、適当な非負の閾値ＴＨを設定することによって、以下に示すように電子透かしの有無および極性を判別することが可能となる。
【００３０】
【数９】
Ｐ２≦−ＴＨ ：電子透かしあり（極性０）
｜Ｐ２｜＜ＴＨ ：電子透かしなし
Ｐ２≧ＴＨ ：電子透かしあり（極性１）
【００３１】
上記式のように、電子透かしを埋め込んだ輝度信号のフレームデータＤＶ２から埋め込み情報ＤＣを検出することができる。
【００３２】
実際に電子透かしを実現する際には、電子透かし検出の信頼性と、電子透かしの画質に及ぼす影響の２点が重要なポイントである。電子透かしの有無を正確に判別するためには、図１における“電子透かしあり”の場合の確率密度関数と、“電子透かしなし”の場合の確率密度関数の分離を精度良く行うような閾値ＴＨを設定しなければならない。しかし実際には確率密度関数の裾野が重なり合い、電子透かしの有無を正確に判別できるような閾値ＴＨの選択は難しい。電子透かしが埋め込まれていないのに“電子透かしあり”と判断されてしまう確率を特にＦａｌｓｅ Ｐｏｓｉｔｉｖｅと呼び、健全なコンテンツ流通を保証するためには極めて小さいＦａｌｓｅ Ｐｏｓｉｔｉｖｅ値が要求される。したがって電子透かし検出の信頼性を向上するためには、非負のスカラー量Ｃを用いて電子透かしの埋め込み強度を大きくする処理が実行される。スカラー量Ｃを用いて電子透かしの埋め込み強度を大きくして電子透かしを埋め込んだ場合の輝度信号のフレームデータＤＶ２は、下記式によって示される値を持つ。
【００３３】
【数１０】
ＤＶ２＝ＤＶ１＋ＣＷＭ
【００３４】
電子透かしを埋め込んだ輝度信号のフレームデータＤＶ２と乱数データＰＮの内積値Ｐ２を十分に大きくすればよい。具体的には、フレームデータＤＶ２は、下記式によって示される値を持つ。
【００３５】
【数１１】

【００３６】
しかし、このようにして電子透かしの埋め込み強度を大きくした場合、電子透かしの画質に及ぼす影響は無視できないものになってしまう。電子透かし検出の信頼性と電子透かしの画質に及ぼす影響とは、トレードオフの関係にある。
【００３７】
電子透かしを埋め込んだ画像に対して、画像フォーマット変換、デジタル-アナログ変換、ＭＰＥＧ圧縮、フィルタリング、クリッピング、リサイズ、ローテーション等の種々の攻撃を加えた場合にも、埋め込まれた電子透かし情報は正しく検出されなければならない。著作権を不当に侵そうとする者は、電子透かしを埋め込んだ画像に対して悪意を持ってこれらの攻撃を加える恐れがある。そこでこれらの攻撃に対する耐性を強化して、電子透かし検出の信頼性を確保するために、様々な手法が提案されている。しかしあらゆる攻撃に対して頑強な耐性を有するような電子透かし技術は未だ開発されておらず、早急な対策が望まれている。
【００３８】
図２は、電子透かしを用いてコピー制御情報をデータに埋め込み、電子透かし検出によるコピー制御を実行する態様について説明する図である。
【００３９】
ビデオソースであるデジタルビデオ信号ＤＶを放送局等より衛星波や地上波、ケーブル等の媒体を介して送信する際に、電子透かし埋め込み処理装置１００により電子透かし情報ＤＣを付加して送信する。ここで埋め込む電子透かし情報ＤＣはビデオソースの著作権情報等により構成され、“Ｃｏｐｙ Ｏｎｃｅ”（１回コピー可）という情報を持つものとする。
【００４０】
このように、“Ｃｏｐｙ Ｏｎｃｅ”（１回コピー可）という情報を電子透かしにより埋め込んで送信されたデジタルビデオ信号のうちセットトップボックス等により受信して再生するデジタルビデオ信号においては、再生したデジタルビデオ信号から録画機器２に内蔵する電子透かし検出装置３により埋め込まれた電子透かし情報ＤＣを検出する。
【００４１】
録画機器２に内蔵された電子透かし検出装置３が、“Ｃｏｐｙ Ｏｎｃｅ”という電子透かし情報を検出すると、録画機器２に内蔵する電子透かし書換装置４が電子透かし情報ＤＣを書き換えて光ディスク５等に記録する。ここで書き換える電子透かし情報ＤＣはビデオソースの著作権情報等により構成され、“Ｎｏ Ｍｏｒｅ Ｃｏｐｙ”（コピー禁止）という情報を有する。
【００４２】
このようにして録画機器２によって複製記録された光ディスク５が、例えば市場に流通する媒体として提供された場合、提供された複製記録光ディスク５を録画機器６において再度複製しようとすると、録画機器６に内蔵する電子透かし検出装置３が再生したデジタルビデオ信号から埋め込まれた電子透かし情報ＤＣを検出する。
【００４３】
この場合の電子透かし情報ＤＣは、複製を許可しない“Ｎｏ Ｍｏｒｅ Ｃｏｐｙ”という情報であり、録画機器６は、“Ｎｏ Ｍｏｒｅ Ｃｏｐｙ”に従った処理、すなわち、再生したデジタルビデオ信号を光ディスク７に記録するのを中止する。これによりコピー世代が管理される。
【００４４】
また、電子透かし埋め込み処理装置１００は、ビデオソースであるデジタルビデオ信号ＤＶを格納した光ディスク８を製造する際に、“Ｎｅｖｅｒ Ｃｏｐｙ”（コピー禁止）という情報を持つ電子透かし情報ＤＣを付加して光ディスク８等に記録する処理を実行したとする。
【００４５】
このようにして記録された光ディスク８が市場に流通する場合において、提供された光ディスク８を録画機器６において再生して他の記録媒体に複製しようとすると、録画機器６に内蔵する電子透かし検出装置３が再生したデジタルビデオ信号から埋め込まれた電子透かし情報ＤＣを検出する。
【００４６】
この場合の電子透かし情報ＤＣは、複製を許可しない“Ｎｅｖｅｒ Ｃｏｐｙ”（コピー禁止）という情報であり、録画機器６は、“Ｎｅｖｅｒ Ｃｏｐｙ”に従った処理、すなわち、再生したデジタルビデオ信号を光ディスク７に記録するのを中止する。これにより不正コピーが排除される。
【００４７】
電子透かし検出の信頼性を確保しつつ、電子透かしの画質に及ぼす影響を極力抑えるために、人間の視覚特性を効果的に利用して電子透かしを埋め込む手法が提案されている。これらの手法は人間の視覚特性を考慮して、電子透かしパターンを画像内で配分しなおすものや、電子透かしパターンを画像の動きに追従させるもの等であり、全体の埋め込み強度を変えることなく電子透かしの画質に及ぼす影響を効果的に抑えている。人間の目は平坦部分等の低周波領域での変化には敏感であるが、エッジ部分等の高周波領域での変化には鈍感である。これを利用して電子透かしパターンを目立ちやすい平坦部分から目立ちにくいエッジ部分へと再配分することにより、電子透かし検出の信頼性を確保しつつ、電子透かしの画質に及ぼす影響を抑えることができる。また画像が静止している場合には電子透かしパターンも静止させ、画像が動いている場合には電子透かしパターンも追従して動かすことにより、人間の目に感知しにくくなるように電子透かしを埋め込むことができる。
【００４８】
動き検出は、動画像符号化の国際標準規格ＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ-２）やサンプリングレート変換等において用いられる手法である。しかし電子透かしの重畳に応用して好適な動き検出手法は未だ提案されておらず、効果的な動き検出手法を実現して、電子透かしの画質に及ぼす影響を抑制することが望まれている。
【００４９】
【発明が解決しようとする課題】
本発明は、上述の問題点に鑑みてなされたものであり、画像に対する電子透かし埋め込みに際して、動き検出を実行して、電子透かし検出の信頼性を確保しながら人間の目に感知しにくくなるように電子透かしを埋め込むことを可能とする電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラムを提供することを目的とする。
【００５０】
さらに具体的には、画像が静止状態、動作状態に応じて最適な電子透かしパターンの調整処理を施すことにより、電子透かし検出の信頼性を確保しながら人間の目に感知しにくくなるように電子透かしを埋め込むことを可能とした電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラムを提供することを目的とする。
【００５１】
【課題を解決するための手段】
本発明の第１の側面は、
画像信号に対する電子透かしの埋め込み処理を実行する電子透かし埋め込み処理装置であり、
埋め込み情報に基づいて第１の電子透かしパターンを生成する電子透かしパターン生成手段と、
電子透かしパターン埋め込み処理対象となる画像信号に基づいて一つの動きベクトルを取得し、該動きベクトルを前記画像信号の動き情報として出力する動き検出手段と、
前記動き情報のベクトル量に対応した分だけ前記第１の電子透かしパターン全体を平行移動させることにより、前記第１の電子透かしパターンを前記動き情報の示す動きに追従する動きを示すように修正した第２の電子透かしパターンを生成する電子透かしパターン修正手段と、
電子透かしパターン修正手段により生成した前記第２の電子透かしパターンを前記画像信号に対して埋め込む処理を実行する加算手段と、
を有することを特徴とする電子透かし埋め込み処理装置にある。
【００５９】
さらに、本発明の第２の側面は、
画像信号に対する電子透かしの埋め込み処理を実行する電子透かし埋め込み処理方法であり、
埋め込み情報に基づいて第１の電子透かしパターンを生成する電子透かしパターン生成ステップと、
電子透かしパターン埋め込み処理対象となる画像信号に基づいて一つの動きベクトルを取得し、該動きベクトルを前記画像信号の動き情報として出力する動き検出ステップと、
前記動き情報のベクトル量に対応した分だけ前記第１の電子透かしパターン全体を平行移動させることにより、前記第１の電子透かしパターンを前記動き情報の示す動きに追従する動きを示すように修正した第２の電子透かしパターンを生成する電子透かしパターン修正ステップと、
前記電子透かしパターン修正ステップにおいて生成した前記第２の電子透かしパターンを前記画像信号に対して埋め込む処理を実行する加算ステップと、
を有することを特徴とする電子透かし埋め込み処理方法にある。
【００６０】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記電子透かしパターン修正ステップは、前記電子透かしパターン生成ステップにおいて生成した第１の電子透かしパターンに対して、前記動き情報の示す速度対応値に応じて、前記動きベクトルの示す動きに追従する動きを示すように、画像の動き量に比例する電子透かしの追従量を設定して、前記第１の電子透かしパターン全体を平行移動させることにより、前記第１の電子透かしパターンを前記動き情報の示す動きに追従する動きを示すように修正した第２の電子透かしパターンを生成することを特徴とする。
【００６１】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記電子透かしパターン修正ステップは、前記電子透かしパターン生成ステップにおいて生成した第１の電子透かしパターンに対して、前記動き情報が画像が動いていることを示す場合に、電子透かしをランダムに移動する動きを示すように修正した第２の電子透かしパターンを生成することを特徴とする。
【００６２】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記電子透かしパターン修正ステップは、前記電子透かしパターン生成ステップにおいて生成した第１の電子透かしパターンに対して、前記動き情報の示す速度対応値が予め定めた範囲内ａ〜ｂ（ただし０＜ａ＜ｂ）にある場合に前記動きベクトルの示す動きに追従する動きを示すように修正した第２の電子透かしパターンを生成する処理を実行し、前記動き情報の示す速度対応値が０〜ａ、あるいはｂ、すなわち、静止またはa以下の低速またはｂ以上の高速である場合には、前記電子透かしパターン生成ステップにおいて生成した第１の電子透かしパターンを静止させた状態とした移動のない第２の電子透かしパターンを生成する処理を実行することを特徴とする。
【００６３】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記電子透かしパターン修正ステップは、前記動き情報の示す速度対応値に基づいて、電子透かしパターンの追従量を設定する追従量設定ステップと、前記追従量設定ステップにおいて設定した追従量に基づいて、前記動き情報の示す速度対応値が予め定めた範囲内にある場合に前記動きベクトルの示す動きに追従させた第２の電子透かしパターンを生成し、前記動き情報の示す速度対応値が前記予め定めた範囲外である場合には、電子透かしパターンを静止させた第２の電子透かしパターンを生成する第２の電子透かしパターンを生成ステップと、を有することを特徴とする。
【００６４】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記動き検出ステップは、画像信号をフレーム毎に読み込み、時間的に連続する複数の画像フレームデータ間の相関を計算し相関情報を出力する相関計算ステップと、前記相関計算ステップにおいて出力する相関情報に基づいて動きベクトルを算出して、算出された動きベクトルに基づいて動き情報Ｖを出力する動き判定ステップとを有し、前記電子透かしパターン修正ステップは、前記電子透かしパターン生成ステップにおいて生成した第１の電子透かしパターンを、前記動き情報Ｖのベクトル量分だけ平行移動させることにより、前記第１の電子透かしパターンを前記動き情報の示す動きに追従する動きを示すように修正した第２の電子透かしパターンを生成することを特徴とする。
【００６５】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記動き検出ステップは、画像信号をフレーム毎に読み込み、時間的に連続する複数の画像フレームデータ間の相関を、フレーム内における対応画素の輝度値の差分の絶対値の総和として算出するマッチング値に基づいて相関情報を出力する相関計算ステップと、前記相関計算ステップにおいて出力する相関情報に基づいて、最小のマッチング値となる動きベクトルを算出して、算出した動きベクトルに基づいて動き情報Ｖを出力する動き判定ステップとを有し、前記電子透かしパターン修正ステップは、前記電子透かしパターン生成ステップにおいて生成した第１の電子透かしパターンを、前記動き情報Ｖのベクトル量分だけ平行移動させることにより、前記第１の電子透かしパターンを前記動き情報の示す動きに追従する動きを示すように修正した第２の電子透かしパターンを生成することを特徴とする。
【００６６】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記電子透かしパターン修正ステップは、前記電子透かしパターン生成ステップにおいて生成した第１の電子透かしパターンに対して、前記動き情報が画像が動いていることを示す場合に電子透かし埋め込み強度を大とし、前記動き情報が画像が動いていないことを示す場合に電子透かし埋め込み強度を小とする埋め込み強度設定処理を実行することを特徴とする。
【００６７】
さらに、本発明の第３の側面は、
画像信号に対する電子透かしの埋め込み処理をコンピュータ・システム上で実行せしめるプログラムであって、
埋め込み情報に基づいて第１の電子透かしパターンを生成する電子透かしパターン生成ステップと、
電子透かしパターン埋め込み処理対象となる画像信号に基づいて一つの動きベクトルを取得し、該動きベクトルを前記画像信号の動き情報として出力する動き検出ステップと、
前記動き情報のベクトル量に対応した分だけ前記第１の電子透かしパターン全体を平行移動させることにより、前記第１の電子透かしパターンを前記動き情報の示す動きに追従する動きを示すように修正した第２の電子透かしパターンを生成する電子透かしパターン修正ステップと、
前記電子透かしパターン修正ステップにおいて生成した前記第２の電子透かしパターンを前記画像信号に対して埋め込む処理を実行する加算ステップと、
を有することを特徴とするプログラム。
【００６８】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体に格納されて提供可能であり、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・プログラムをコンピュータ可読な形式で提供する媒体に記憶可能である。媒体は、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの伝送媒体など、その形態は特に限定されない。
【００６９】
このようなプログラムは、プロセッサ制御の下でプログラムの読み取りに基づき、システムの有する各種機能の実行を規程するとともに、システム上の協働的作用を発揮するものであり、本発明の他の側面と同様の作用効果を得ることができるものである。
【００７０】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００７１】
【発明の実施の形態】
以下、図面を参照して、本発明の電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法について詳細に説明する。
【００７２】
［電子透かし埋め込み処理装置構成例１］
図３は、本発明の一実施例に係る電子透かし埋め込み処理装置１００を示すブロック図である。電子透かし埋め込み処理装置１００において、ＰＮ生成部１２１はＰＮ（Ｐｓｅｕｄｏｒａｎｄｏｍ Ｎｏｉｓｅ；擬似雑音符号）系列の乱数データＰＮを生成し、これを基本パターンとして電子透かしを埋め込む。続く乗算部１２２は電子透かし埋め込み情報ＤＣをこの乱数データＰＮによりスペクトラム拡散し、これを電子透かしパターンＷＭ１とする。埋め込み情報ＤＣを乱数データＰＮによりスペクトラム拡散することにより、解析困難な電子透かしパターンＷＭ１を生成することができる。図３の構成において、ＰＮ生成部１２１、乗算部１２２が電子透かしパターンＷＭ１を生成するための第１の電子透かしパターン生成手段を構成する。
【００７３】
なお、電子透かし埋め込み情報ＤＣは、例えば複製制御情報として、電子透かし埋め込み対象信号に応じて、「複製可能（ＣｏｐｙＦｒｅｅ）」、「１回複製可能（Ｃｏｐｙ Ｏｎｃｅ）」「絶対複製禁止（Ｎｅｖｅｒ Ｃｏｐｙ）」などを意味する情報を含む情報である。
【００７４】
電子透かし埋め込み処理装置１００において、動き検出部１２３は順次入力されるデジタルビデオ信号ＤＶ１に対して画像の動き検出を行い、動き情報Ｖを出力する。この動き検出部１２３における動き検出処理は人間の視覚特性を考慮した画像分析手法により、入力画像を分析することにより実行される。
【００７５】
本発明の電子透かし埋め込み処理装置１００は、動き検出部１２３の検出した動き情報に基づいて、画像が静止している場合には電子透かしパターンも静止させ、画像が動いている場合には電子透かしパターンも追従して動かす処理を実行する構成としたことにより、人間の目に感知しにくくなるように電子透かしを埋め込むものである。これにより全体の埋め込み強度を変えることなく、電子透かしの画質に及ぼす影響を効果的に抑えることができる。
【００７６】
図４は、電子透かし埋め込み処理装置１００中の動き検出部１２３の詳細構成を示すブロック図である。動き検出部１２３において、信号記憶部１２６は順次入力されるデジタルビデオ信号ＤＶ１をフレーム毎に記憶し、１フレーム遅延させた遅延デジタルビデオ信号ＤＶ１’を出力する。ここでは時間的に連続する２つの画像信号は相関の高い画素値となることを利用して、最適に設定した探索範囲においてフレーム相関が最大になるような動きベクトルを決定することにより、画像信号の動き検出を行う。
【００７７】
続く相関計算部１２７は、この信号記憶部１２６が出力する遅延デジタルビデオ信号ＤＶ１’と入力デジタルビデオ信号ＤＶ１とのフレーム相関を計算し、相関情報Ｍを出力する。ここでは時間的に連続する２つのデジタルビデオ信号ＤＶ１’とＤＶ１において、例えばそれぞれ対応する画素間で輝度値の差分の絶対値を計算し、フレーム内で総和したマッチング値をフレーム相関の指標とする。すなわち、動きベクトルの探索範囲（Ｖｘ，Ｖｙ）におけるマッチング値は、以下の式で示される値となる。
【００７８】
【数１２】
Ｍ（Ｖｘ，Ｖｙ）
＝Σ｜ＤＶ１’（ｘ，ｙ）−ＤＶ１（ｘ＋Ｖｘ，ｙ＋Ｖｙ）｜
【００７９】
次に動きベクトルの探索範囲を変更して、上記［数１２］の計算を繰り返し、それぞれの動きベクトルに対するマッチング値を全て算出する。これにより、動きベクトルの探索範囲（Ｖｘ，Ｖｙ）におけるフレーム相関平面が得られる。
【００８０】
続く動き判定部１２８は、この相関計算部１２７が出力する相関情報Ｍに基づいてフレーム相関が最大になる動きベクトル（Ｖｘ，Ｖｙ）を決定し、動き情報Ｖを出力する。すなわち相関計算部１２７で得られたフレーム相関平面において、最大の相関を与える（この場合は最小のマッチング値となる）動きベクトル（Ｖｘ，Ｖｙ）を動き情報Ｖとして出力する。動き情報は以下に示す式によって示される。
【００８１】
【数１３】
Ｖ（ｘ，ｙ）
＝ａｒｇ ｍｉｎ Ｍ（Ｖｘ，Ｖｙ）
【００８２】
このとき遅延デジタルビデオ信号ＤＶ１’は、動きベクトル（Ｖｘ，Ｖｙ）により移動して入力デジタルビデオ信号ＤＶ１に時間変化したことになる。これにより最適に設定した探索範囲において、時間的に連続する２つの画像信号のフレーム相関を最大化するような動きベクトルを決定することにより、画像信号の動き情報を検出することができる。
【００８３】
図３に戻り、電子透かし埋め込み処理装置の説明を続ける。信号変調部１２４は、動き検出部１２３が出力する動き情報Ｖを入力し、動き情報Ｖに基づいて電子透かしパターンＷＭ１を変調し、人間の視覚特性を考慮した電子透かしパターンＷＭ２を加算部１２５に出力する。すなわち、信号変調部１２４は、動き検出部１２３が出力する動き情報Ｖのベクトル量に対応した分だけ第１の電子透かしパターンＷＭ１全体を平行移動させて電子透かしパターンＷＭ２を生成することにより、第１の電子透かしパターンを動き情報の示す動きに追従する動きを示すように修正した第２の電子透かしパターンを生成する電子透かしパターン修正手段として機能する。
【００８４】
信号変調部１２４は、入力デジタルビデオ信号ＤＶ１が静止している場合には、動き検出部１２３が出力する動き情報Ｖ＝（０，０）に応じて電子透かしパターンＷＭ１も静止させたパターンとして変調して電子透かしパターンＷＭ２を生成し、入力デジタルビデオ信号ＤＶ１が動きベクトル（Ｖｘ，Ｖｙ）により移動する場合には、動き検出部１２３が出力する動き情報Ｖ＝（Ｖｘ，Ｖｙ）に応じて電子透かしパターンＷＭ１を画像に追従して動かす処理を実行した変調処理により電子透かしパターンＷＭ２を生成して加算部１２５に出力する。すなわち、信号変調部１２４は、画像の移動速度および方向に対応する値として出力される動き情報Ｖに基づいて動きベクトルの示す動きに追従する動きを示すように電子透かしパターンの変調処理を実行する。この処理により、静止画には、静止した電子透かしパターン埋め込み、動画には、動きに追従した電子透かしパターン埋め込みが可能となり、人間の目に感知しにくくなるように電子透かしを埋め込むことができる。これにより全体の埋め込み強度を変えることなく、電子透かしの画質に及ぼす影響を効果的に抑制することが可能になる。
【００８５】
動き検出部１２３が出力する動き情報Ｖに従って、信号変調部１２４が電子透かしパターンＷＭ１の変調処理を実行することによって生成した電子透かしパターンＷＭ２を入力する加算部１２５は、入力デジタルビデオ信号ＤＶ１に信号変調部１２４が出力する電子透かしパターンＷＭ２を加算することにより、入力デジタルビデオ信号ＤＶ１と同一の形式により電子透かし情報ＤＣを埋め込んだデジタルビデオ信号ＤＶ２を出力する。
【００８６】
この出力デジタルビデオ信号ＤＶ２は、例えば、所定のエンコーダによりエンコードして放送局等より衛星波や地上波、ケーブル等の媒体を介して伝送されたり、また出力デジタルビデオ信号ＤＶ２を所定のエンコーダによりエンコードしてディスク原盤を露光し、このディスク原盤より光ディスクによって提供される。
【００８７】
このように、図３に示す本発明の電子透かし埋め込み処理装置は、電子透かしの埋め込み処理対象画像の動き情報を取得し、動き情報に応じて電子透かしパターンの変調処理を実行して、静止画に対しては静止した電子透かしパターンを入力画像に加算し、動画には、動きに追従した電子透かしパターン埋め込みを実行する構成としたので、人間の目に感知しにくくなるように電子透かしを埋め込むことができる。これにより全体の埋め込み強度を変えることなく、電子透かしの画質に及ぼす影響を効果的に抑制することが可能になる。
【００８８】
［電子透かし埋め込み処理フロー］
次に、本発明の電子透かし埋め込み処理装置における処理手順について、図５に示すフローを参照して説明する。図５は、例えばデジタルビデオ信号等の入力信号に対して動き検出を実行して、動き情報に応じた電子透かしパターンの変調を実行して入力信号に埋め込む処理を実行する電子透かし埋め込み処理装置の処理手順を示すフローチャートである。各ステップについて説明する。
【００８９】
電子透かし埋め込み処理装置は、まず、ステップＳ１１においてＰＮ系列の乱数データを生成し、ステップＳ１２において、電子透かし埋め込み対象信号に応じて、「複製可能（ＣｏｐｙＦｒｅｅ）」、「１回複製可能（Ｃｏｐｙ Ｏｎｃｅ）」「絶対複製禁止（Ｎｅｖｅｒ Ｃｏｐｙ）」などの複製制御情報などからなる埋め込み情報を乱数データＰＮによりスペクトラム拡散し、電子透かしパターンＷＭ１を生成する。
【００９０】
続いて電子透かし埋め込み処理装置は、ステップＳ１３において、入力デジタルビデオ信号ＤＶ１を順次フレームデータ毎に読み込み、ステップＳ１４において、時間的に連続する入力デジタルビデオ信号ＤＶ１に対して画像相関を計算し、相関情報Ｍを出力する。続いて電子透かし埋め込み処理装置はステップＳ１５において、相関情報Ｍに基づいて画像の動き検出を行い、動き情報Ｖを出力する。すなわち入力デジタルビデオ信号ＤＶ１をフレーム毎に記憶して１フレーム遅延させた遅延デジタルビデオ信号ＤＶ１’を生成し、時間的に連続する２つのデジタルビデオ信号ＤＶ１’とＤＶ１とに基づいて、前述の［数１２］を適用して、動きベクトルの探索範囲（Ｖｘ，Ｖｙ）においてフレーム相関平面を算出し、さらに［数１３］を適用して最大の相関を与える動きベクトル（Ｖｘ，Ｖｙ）を決定し、これを動き情報Ｖとして出力する。
【００９１】
続いて電子透かし埋め込み処理装置は、ステップＳ１６において、動き情報Ｖに基づいて電子透かしパターンＷＭ１を変調し、人間の視覚特性を考慮した電子透かしパターンＷＭ２を出力する。すなわち検出された動き情報Ｖに基づいて、入力デジタルビデオ信号ＤＶ１が静止している場合には電子透かしパターンＷＭ１も静止させ、入力デジタルビデオ信号ＤＶ１が動いている場合には電子透かしパターンＷＭ１も追従して動かす処理を実行して電子透かしパターンＷＭ２を生成して出力する。
【００９２】
このような変調処理のなされた電子透かしパターンＷＭ２は、入力画像が静止ししているときは、静止し、入力画像に動きがあるときは、画像の動きに併せて移動することになり、人間の目に感知しにくくなる。これにより全体の埋め込み強度を変えることなく、電子透かしの画質に及ぼす影響を効果的に抑制することが可能になる。
【００９３】
続いて電子透かし埋め込み処理装置は、ステップＳ１７に移り、入力信号にこの変調した電子透かしパターンＷＭ２を加算し、続くステップＳ１８において、入力信号と同一の形式により電子透かし情報を埋め込んだ信号を出力する。
【００９４】
続いて電子透かし埋め込み処理装置はステップＳ１９において、入力信号の処理を完了したか否かを判断し、ここで否定結果が得られるとステップＳ１３に戻り、以下の処理を繰り返し実行する。電子透かし埋め込み処理装置は、順次入力信号について、同様の処理を繰り返して入力信号を処理し、ステップＳ１９における入力終了の判定において肯定結果が得られると、処理を完了する。
【００９５】
上述の電子透かし埋め込み処理装置における動き検出処理の具体例を図６を用いて説明する。図６は、画像信号が横方向シフトする場合の例を示している。人間の視覚特性は動きのある物体に追従する傾向が見られ、何らかの動きを有する画像信号に対して電子透かしパターンを重畳する場合、動いている絵柄の背景に静止している電子透かしパターンが存在すると、電子透かしパターンを知覚しやすくなり画質劣化が大きくなる。そこで、上述したように、動いている絵柄と同様に電子透かしパターンも移動させる。
【００９６】
時間的に連続する画像信号として、例えば図６（ａ）および図６（ｂ）のような画像フレームがあったとき、これらの画像フレームに対して前述のマッチング値算出式［数１２］を適用し、マッチング値を算出し、さらに動きベクトル算出式［数１３］を適用して動きベクトルを算出する。
【００９７】
この例では図６（ｃ）に示すような横（Ｘ）方向への動きベクトル（Ｖｘ，０）が算出される。この場合には検出された動き情報Ｖ＝（Ｖｘ，０）に応じて電子透かしパターン図６（ｄ）を横方向への動きベクトル（Ｖｘ，０）により移動して電子透かしパターン図６（ｅ）に変調することにより、電子透かしパターンを画像信号の動きに追従させることができる。
【００９８】
この手法により時間的に連続する画像信号から検出された動き情報に基づいて、画像信号が静止している場合には電子透かしパターンも静止させ、画像信号が動いている場合には電子透かしパターンも動き情報に追従して動かすことにより、人間の目に感知しにくくなるように電子透かしを埋め込むことが可能になる。
【００９９】
電子透かしパターンを画像の動きに合わせて同様の動きを示すように変調する処理は、電子透かしを人間の目に感知しにくくなる手法の１つであるが、例えば、画像信号の静止または移動情報を前述の動きベクトルの取得により検知し、動きベクトルに基づいて、画像信号が静止していると判定された場合には電子透かしパターンも静止させ、画像信号が動いていると判定された場合には電子透かしパターンをランダムに動かす変調処理を実行して電子透かし埋め込み処理を実行する構成としてもよい。本構成としても人間の目に感知しにくい電子透かしの埋め込みが可能になる。この場合には画像信号の動きベクトルと電子透かしパターンの動きベクトルとは異なるが、動いている絵柄の背景でランダムに動いている電子透かしパターンを知覚しにくくなるため画質に及ぼす影響を抑えることができる。
【０１００】
［電子透かし埋め込み処理装置構成例２］
上述した電子透かし埋め込み処理装置は、画像信号のフレーム相関を利用して画像信号から検出された動き情報に基づいて、画像信号が静止している場合には電子透かしパターンも静止させ、画像信号が動いている場合には電子透かしパターンも追従して動かす、あるいはランダムに動かす構成を持つ処理装置であった。次に、画像信号から検出された動き情報に基づいて、上記の装置と異なる様々な電子透かしパターンの変調処理を実行して、人間の目に感知しにくい電子透かしの埋め込みを実行する構成について説明する。
【０１０１】
図７は、時間的に連続する画像信号の動き量と、これに追従させる電子透かしパターンの動き量について説明する図である。ここで画像信号の動き量とは、前述の［数１２］に基づいてマッチング値を求め、求めたマッチング値から[数１３]に基づいて求められる動きベクトルの大きさを意味する。時間的に連続する画像信号から検出された動きベクトル、すなわち動き情報に基づいて、画像信号が静止している場合には電子透かしパターンも静止させ、画像信号が動いている場合には電子透かしパターンも追従して動かす場合には、画像信号の動き量と電子透かしパターンの追従量は、例えば図７（ａ）に示すような比例関係になるように電子透かしパターンを制御して画像信号に重畳すればよい。これは、上述の［電子透かし埋め込み処理装置１］において説明した処理に相当する。
【０１０２】
ここで例えば様々な速さで動いている画像信号に対して、静止している電子透かしパターンを重畳する場合について考える。このように様々な速度で動いている絵柄に対して、静止している電子透かしパターンを埋め込んだ画像を観察する場合、人間の視覚特性は画像信号の動きの速さ、すなわち時間的に連続する画像信号から検出された動きベクトルの大きさに依存する。
【０１０３】
画像信号が静止しているか、もしくは画像信号の動きが極めて小さい場合には、人間の目には画像信号も電子透かしパターンも静止しているように感じるため画質の劣化を知覚しにくくなる。一方、画像信号の動きが極めて大きい場合には、人間の目は画像信号の動きを追従することになる。この場合も、人間の目には静止している電子透かしパターンを感知できなくなるため、電子透かしによる画質の劣化を知覚しにくくなる。
【０１０４】
このように、画像信号が静止しているか、もしくは画像信号の動きが極めて小さい場合、あるいは、画像信号の動きが極めて大きい場合には、静止した電子透かしパターンを埋め込んでも、電子透かしパターンは人間の目に感知し難く、電子透かしによる画質の劣化を知覚しにくくなる。しかし、画像信号の動きがこれらの中間程度の場合には、人間の目が画像信号の動きに追従しながらも静止している電子透かしパターンを感知しやすい状態が発生する。このような場合には、ゆっくり動く画像を観察しながら、静止している電子透かしも併せて目に入り込んでしまい、電子透かしによる画質の劣化が知覚されやすくなる。
【０１０５】
このように、画像信号の動きに応じて、最も人間の目に入りにくい態様で電子透かしパターンを埋め込む処理を実現した構成について、以下説明する。
【０１０６】
本構成の電子透かし埋め込み処理装置では、時間的に連続する画像信号から検出された動き情報、具体的には、前述の［数１２］に基づいてマッチング値を求め、求めたマッチング値から[数１３]に基づいて求められる動きベクトルの大きさに基づいて、画像信号の動きが静止または小さい場合、あるいは極めて大きい場合には、静止している電子透かしパターンの埋め込みを実行し、動きベクトルの大きさその中間的な速度を示している場合には、動きベクトルと同様の動きを持たせた電子透かしパターンの埋め込みを実行する。
【０１０７】
本構成により、人間の目が静止している電子透かしパターンを感知できる速さで画像信号が動いている場合にのみ電子透かしパターンを追従して動かす処理を実行すればよく、電子透かしパターンの移動処理を実行するために要する演算量を低減することができる。また、画像信号の動きが静止または小さい場合、あるいは極めて大きい場合には、静止している電子透かしパターンの埋め込みを実行することになり電子透かしパターンの移動による電子透かしパターンの位置ずれの発生率が低減され、電子透かし情報の検出精度の低下を防止できる。
【０１０８】
本実施例の電子透かし埋め込み処理装置における画像信号の動き量と、これに追従させる電子透かしパターンの動き量について説明する図を図７（ｂ）に示す。
【０１０９】
図７（ｂ）に示すように、画像信号が静止しているか、もしくは画像信号の動き量が極めて小さい場合、さらには画像信号の動き量が極めて大きい場合には、人間の視覚には静止している電子透かしパターンが知覚できないため、電子透かしパターンを静止させるように制御して画像信号に重畳する。また画像信号の動き量がこれらの中間程度である場合には、人間の視覚には静止している電子透かしパターンが知覚できる範囲になるため、画像信号の動き量と電子透かしパターンの追従量が例えば比例関係になるように電子透かしパターンを制御して画像信号に重畳する。これにより人間の視覚特性を考慮して効率的に電子透かしパターンを変調し、画像信号の動きに追従するように電子透かしパターンを重畳することが可能になる。
【０１１０】
このように、画像信号が静止、または動き量が極めて小さい場合、さらには動き量が極めて大きい場合に電子透かしパターンを静止させて画像信号に重畳し、画像信号の動き量がこれらの中間程度である場合に、画像信号の動き量と電子透かしパターンの追従量が例えば比例関係になるように電子透かしパターンを制御して画像信号に重畳する処理を実行する電子透かし埋め込み処理装置構成について、以下説明する。
【０１１１】
本実施例の電子透かし埋め込み処理装置においても、画像信号の動き量は、前述の［数１２］に基づいてマッチング値を求め、求めたマッチング値から[数１３]に基づいて求められる動きベクトルの大きさに基づいて求める構成が適用可能である。従って、基本構成は、先の図３の電子透かし埋め込み処理装置１００と同様である。本実施例の電子透かし埋め込み処理装置は、図３の電子透かし埋め込み処理装置１００の信号変調部１２４の構成を変更することによって実現される。
【０１１２】
図８は、本実施例の電子透かし埋め込み処理装置の信号変調部１２４の構成を示すブロック図である。信号変調部１２４は、動き検出部１２３から動き情報Ｖを受領し、また乗算部１２２から電子透かしパターンＷＭ１を受領し、電子透かしパターンＷＭ１の変調処理を実行して電子透かしパターンＷＭ２を加算部１２５に出力する。ここで、動き情報Ｖは、動き検出部１２３が前述の［数１２］に基づいてマッチング値を求め、求めたマッチング値から[数１３]に基づいて求められる動きベクトルに相当する。
【０１１３】
信号変調部１２４の追従量設定部１３１は、動き検出部１２３から動き情報Ｖを受領し、動き情報Ｖに基づいて埋め込み電子透かしパターンの追従量を決定する。追従量設定部１３１は、先の図７（ｂ）の画像信号の動き量と、これに追従させる電子透かしパターンの動き量の対応付けデータ、または、画像信号の動き量、すなわち動き情報Ｖを入力として、電子透かしパターンの追従量情報Ｆ（Ｖ）を出力する演算機能を有する。
【０１１４】
すなわち、追従量設定部１３１は、動き検出部１２３からの動き情報Ｖ、すなわち動きベクトルの大きさ｜Ｖ｜に応じて電子透かしパターンの追従量の大きさ｜Ｆ（Ｖ）｜を以下のように設定して変調処理部１３２に出力する。
【０１１５】
【数１４】
０≦｜Ｖ｜＜ａ→｜Ｆ（Ｖ）｜＝０
ａ≦｜Ｖ｜＜ｂ→｜Ｆ（Ｖ）｜＝ａ〜ｂ（｜Ｆ（Ｖ）｜＝Ｖ）
ｂ＜｜Ｖ｜→｜Ｆ（Ｖ）｜＝０
【０１１６】
上記式において、ａ，ｂ，は、動きベクトルの大きさ（速度値）に対応して設定される値であり、０＜ａ＜ｂの関係にある。追従量設定部１３１は、動き検出部１２３からの動き情報Ｖに応じて上記のように電子透かしパターンの追従量情報Ｆ（Ｖ）を設定して変調処理部１３２に出力する。変調処理部１３２は、追従量情報Ｆ（Ｖ）に応じて電子透かしパターンＷＭ１の変調を実行して電子透かしパターンＷＭ２を加算部１２６に出力する。
【０１１７】
例えば、動き検出部１２３から入力される動きベクトルの大きさ（速度値）が、０≦｜Ｖ｜＜ａ、または、ｂ＜｜Ｖ｜である場合は、追従量設定部１３１は、｜Ｆ（Ｖ）｜＝０、すなわち、Ｆ（Ｖ）＝（０，０）を変調処理部１３２に出力し、変調処理部１３２は、追従量情報Ｆ（Ｖ）＝（０，０）に応じて電子透かしパターンＷＭ１も静止させたパターンとした変調処理を実行して電子透かしパターンＷＭ２を生成する。
【０１１８】
一方、動き検出部１２３から入力される動きベクトルの大きさ（速度値）が、ａ≦｜Ｖ｜＜ｂである場合は、追従量設定部１３１は、｜Ｆ（Ｖ）｜＝ａ〜ｂ＝Ｖ、すなわち、動き検出部１２３から入力される動きベクトルＶと同様のＦ（Ｖ）＝Ｖ（Ｖｘ，Ｖｙ）に応じて電子透かしパターンＷＭ１を画像に追従して動かす変調処理を実行して電子透かしパターンＷＭ２を生成して加算部１２５に出力する。
【０１１９】
この処理により、画像信号が静止、または動き量が極めて小さい場合、さらには動き量が極めて大きい場合に電子透かしパターンを静止させて画像信号に重畳し、画像信号の動き量がこれらの中間程度である場合に、画像信号の動き量と電子透かしパターンの追従量が比例関係になるように電子透かしパターンを制御して画像信号に埋め込むことが可能となり、人間の目に感知しにくくなるように電子透かしを埋め込むことができる。
【０１２０】
［電子透かし埋め込み処理フロー］
次に、上述した画像信号が静止、または動き量が極めて小さい場合、さらには動き量が極めて大きい場合に電子透かしパターンを静止させて画像信号に重畳し、画像信号の動き量がこれらの中間程度である場合に、画像信号の動き量と電子透かしパターンの追従量が比例関係になるように電子透かしパターンを制御して画像信号に埋め込む処理を実行する電子透かし埋め込み処理装置の処理手順について、図９に示すフローを参照して説明する。図９は、例えばデジタルビデオ信号等の入力信号に対して動き検出を実行して、動き情報に応じた電子透かしパターンの変調を実行して入力信号に埋め込む処理を実行する電子透かし埋め込み処理装置の処理手順を示すフローチャートである。各ステップについて説明する。
【０１２１】
電子透かし埋め込み処理装置は、まず、ステップＳ２１においてＰＮ系列の乱数データを生成し、ステップＳ２２において、電子透かし埋め込み対象信号に応じて、「複製可能（ＣｏｐｙＦｒｅｅ）」、「１回複製可能（Ｃｏｐｙ Ｏｎｃｅ）」「絶対複製禁止（Ｎｅｖｅｒ Ｃｏｐｙ）」などの複製制御情報などからなる埋め込み情報を乱数データＰＮによりスペクトラム拡散し、電子透かしパターンＷＭ１を生成する。
【０１２２】
続いて電子透かし埋め込み処理装置は、ステップＳ２３において、入力デジタルビデオ信号ＤＶ１を順次フレームデータ毎に読み込み、ステップＳ２４において、時間的に連続する入力デジタルビデオ信号に対して、画像相関を計算し、相関情報Ｍを出力する。続いて電子透かし埋め込み処理装置はステップＳ２５において、相関情報Ｍに基づいて画像の動き検出を行い、動き情報Ｖを出力する。
【０１２３】
例えば、デジタルビデオ信号ＤＶ１をフレーム毎に記憶して１フレーム遅延させた遅延デジタルビデオ信号ＤＶ１’を生成し、時間的に連続する２つのデジタルビデオ信号ＤＶ１’とＤＶ１において、前述の［数１２］に基づいて、動きベクトルの探索範囲（Ｖｘ，Ｖｙ）における相関平面を算出し、［数１３］に基づいて最大の相関を与える動きベクトル（Ｖｘ，Ｖｙ）を決定し、動き情報Ｖを出力する。
【０１２４】
続いて電子透かし埋め込み処理装置は、ステップＳ２６において、動き情報Ｖに基づいて追従量を決定する。すなわち、入力される動きベクトルの大きさが、０≦｜Ｖ｜＜ａ、または、ｂ＜｜Ｖ｜である場合は、｜Ｆ（Ｖ）｜＝０とした追従量を設定し、入力される動きベクトルの大きさ（速度値）が、ａ≦｜Ｖ｜＜ｂである場合は、｜Ｆ（Ｖ）｜＝ａ〜ｂ＝Ｖ、とする追従量設定を実行する。
【０１２５】
続いて電子透かし埋め込み処理装置は、ステップＳ２７において、追従量情報Ｆ（Ｖ）に基づいて電子透かしパターンＷＭ１を変調し、人間の視覚特性を考慮した電子透かしパターンＷＭ２を出力する。すなわち、変調処理部１３２は、例えば、追従量情報Ｆ（Ｖ）＝（０，０）を入力した場合は、電子透かしパターンＷＭ１も静止させたパターンとした変調処理を実行して電子透かしパターンＷＭ２を生成し、大きさが０でない追従量情報Ｆ（Ｖ）＝Ｖ（Ｖｘ，Ｖｙ）を入力した場合は、追従量情報Ｆ（Ｖ）＝Ｖ（Ｖｘ，Ｖｙ）に応じて電子透かしパターンＷＭ１を画像に追従して動かす変調処理を実行して電子透かしパターンＷＭ２を生成して加算部１２５に出力する。
【０１２６】
すなわち検出された動き情報Ｖに基づいて、電子透かしパターンの追従量が決定され、入力デジタルビデオ信号ＤＶ１が、静止、または動き量が極めて小さい場合、さらには動き量が極めて大きい場合に電子透かしパターンを静止させ、画像信号の動き量がこれらの中間程度である場合に、画像信号の動き量に併せて移動するように電子透かしパターンの追従量を設定した変調処理を実行して電子透かしパターンＷＭ２を生成する。
【０１２７】
続いて電子透かし埋め込み処理装置は、ステップＳ２８において、入力信号にこの変調した電子透かしパターンＷＭ２を加算し、続くステップＳ２９において、入力信号と同一の形式により電子透かし情報を埋め込んだ信号を出力する。
【０１２８】
続いて電子透かし埋め込み処理装置はステップＳ３０において、入力信号の処理を完了したか否かを判断し、ここで否定結果が得られるとステップＳ２３に戻り、以下の処理を繰り返し実行する。電子透かし埋め込み処理装置は、順次入力信号について、同様の処理を繰り返して入力信号を処理し、ステップＳ３０における入力終了の判定において肯定結果が得られると、処理を完了する。
【０１２９】
本実施例の構成は、入力画像から動きベクトルを算出し、算出された動きベクトルに基づいて電子透かしの追従量を設定する構成であり、人間の視覚特性に応じた電子透かしパターンの追従を実現する電子透かしパターンの変調が可能となり、視覚的に目立たない電子透かしの埋め込みが可能となる。
【０１３０】
［電子透かし埋め込み処理装置構成例３］
次に、画像信号から検出された動き情報に基づいて、電子透かしの埋め込み強度を変更する処理を実行して、人間の目に感知しにくい電子透かしの埋め込みを実行する構成について説明する。
【０１３１】
図１０は、時間的に連続する画像信号に対して電子透かしパターンを重畳する際の埋め込み強度の調整処理について説明する図である。ここで埋め込み強度とは前述の［数１０］に示す非負のスカラー量Ｃに対応する値である。前述したように電子透かし検出の信頼性を向上するためには、非負のスカラー量Ｃを用いて電子透かしの埋め込み強度を大きくする処理が実行される。スカラー量Ｃを用いて電子透かしの埋め込み強度を大きくして電子透かしを埋め込んだ場合の輝度信号のフレームデータＤＶ２は、ＤＶ２＝ＤＶ１＋ＣＷＭで示される。
【０１３２】
時間的に連続する画像信号から検出された動き情報に基づいて例えばフレーム０〜フレムｎまでは動きなし、フレームｎ〜フレームｍまでは動きあり、さらにフレームｍ〜は動きなしといった具合に時間変化していく画像信号について考える。ここで画像信号の動きは、前述の［数１２］に基づいてマッチング値を求め、求めたマッチング値から[数１３]に基づいて求められる動きベクトルの大きさに基づいて求められる。
【０１３３】
電子透かしの強度を変化させない場合は、図１０（ａ）に示すようにフレーム０〜ｎ〜ｍ〜の各フレームに一定の埋め込み強度により電子透かしパターンを重畳することになる。電子透かしの検出の信頼性向上のためには、より強度の高い電子透かしを埋め込むことが望ましい。しかし、強度の高い電子透かしは人間の目につきやすく画質劣化を招くという問題がある。また、画像に動きがある場合は電子透かしが認知しにくくなり、静止している場合には電子透かしが認知しやすいという傾向がある。そこで、本実施例の電子透かし埋め込み処理装置は、画像の動きがある場合には電子透かしの埋め込み強度を高め、画像に動きがない場合は、電子透かしの埋め込み強度を低下させる処理を実行する構成とした。
【０１３４】
例えば図１０（ｂ）に示すように、動きのあるフレームにおける埋め込み強度を動きのないフレームにおける埋め込み強度よりも大きく設定して電子透かしパターンを重畳する。この際、画像信号の動きに電子透かしパターンを追従させる処理を行なうことが好ましい。本構成により、人の目に認知されにくく、かつ電子透かし検出処理における検出の信頼性を向上させることが可能となる。
【０１３５】
また、画像の動きの無いフレームと、画像の動きのあるフレーム間において、電子透かしの強度を急激に変更することは、フレーム境界において電子透かしパターンの強度変化が知覚されやすくなる可能性がある。すなわち例えば動きのあるフレームから動きのないフレームへと変化していく画像信号において、画像信号の動きが静止する瞬間に画像信号の動きに追従するように重畳された電子透かしパターンの強度と動きが急激に変化し、画質の変化（劣化）が大きくなる場合がある。
【０１３６】
このような場合には、例えば図１０（ｃ）に示すように、動きのあるフレームと動きのないフレームとの境界において電子透かしパターンの埋め込み強度を滑らかに変化させる処理を実行する構成とすることにより、フレーム境界における電子透かしパターンの埋め込み強度変化による画質の劣化を効果的に抑えることが可能になる。
【０１３７】
このように、画像信号のフレーム間の動きの変遷に応じて、最も人間の目に入りにくい態様で電子透かしパターンを埋め込む処理を実現する電子透かし埋め込み処理装置構成について、以下説明する。本構成の電子透かし埋め込み処理装置では、時間的に連続する画像信号から検出された動き情報、具体的には、前述の［数１２］に基づいてマッチング値を求め、求めたマッチング値から[数１３]に基づいて求められる動きベクトルの大きさに基づいて、画像信号の動き情報を求め、動き情報に基づいて強度を調整した電子透かしパターンの埋め込みを実行する。従って、基本構成は、先の図３の電子透かし埋め込み処理装置１００と同様である。本実施例の電子透かし埋め込み処理装置は、図３の電子透かし埋め込み処理装置１００の信号変調部１２４の構成を変更することによって実現される。
【０１３８】
図１１は、本実施例の電子透かし埋め込み処理装置の信号変調部１２４の構成を示すブロック図である。信号変調部１２４は、動き検出部１２３から動き情報Ｖを受領し、また乗算部１２２から電子透かしパターンＷＭ１を受領し、電子透かしパターンＷＭ１の変調処理を実行して電子透かしパターンＷＭ２を加算部１２５に出力する。ここで、動き情報Ｖは、動き検出部１２３が前述の［数１２］に基づいてマッチング値を求め、求めたマッチング値から[数１３]に基づいて求められる動きベクトルに相当する。
【０１３９】
信号変調部１２４の強度設定部１４１は、動き検出部１２３から動き情報Ｖを受領し、動き情報Ｖに基づいて埋め込み電子透かしパターンの埋め込み強度を決定する。強度設定部１４１は、先の図１０（ｂ）または図１０（ｃ）の画像信号の動き量と、電子透かしパターンの埋め込み強度Ｃの対応付けデータ、または、画像信号の動き量、すなわち動き情報Ｖを入力として、電子透かしパターンの埋め込み強度Ｃを出力する演算機能を有する。
【０１４０】
すなわち、強度設定部１４１は、動き検出部１２３からの動き情報Ｖ、すなわち動きベクトルの大きさ｜Ｖ｜に応じて電子透かしパターンの強度Ｃを以下のように設定して変調処理部１４２に出力する。
【０１４１】
【数１５】
｜Ｖ｜＝０→Ｃ＝Ｃ１
｜Ｖ｜≠０→Ｃ＝Ｃ２
【０１４２】
上記式において、Ｃ１，Ｃ２は、動きベクトルの大きさ（速度値）に対応して設定される電子透かし埋め込み強度スカラー値であり、Ｃ１＜Ｃ２の関係にある。強度設定部１４１は、動き検出部１２３からの動き情報Ｖに応じて上記のように電子透かしパターンの埋め込み強度Ｃを設定して変調処理部１４２に出力する。変調処理部１４２は、強度設定部１４１の設定した埋め込み強度Ｃ１，Ｃ２に応じて電子透かしパターンＷＭ１の変調を実行して電子透かしパターンＷＭ２を加算部１２６に出力する。
【０１４３】
なお、変調処理部１４２は、動き検出部１２３から入力される動き情報Ｖ、すなわち動きベクトルも入力し、前述の電子透かし埋め込み処理装置１と同様の画像の動きに応じた電子透かしの追従させる変調処理も行なう。
【０１４４】
すなわち、変調処理部１４２は、入力デジタルビデオ信号ＤＶ１が静止している場合には、動き検出部１２３が出力する動き情報Ｖ＝（０，０）に応じて電子透かしパターンＷＭ１も静止させたパターンとして変調するとともに、スカラー量Ｃ１に基づく強度変調を実行して電子透かしパターンＷＭ２を生成する。また、入力デジタルビデオ信号ＤＶ１が動きベクトル（Ｖｘ，Ｖｙ）により移動する場合には、動き検出部１２３が出力する動き情報Ｖ＝（Ｖｘ，Ｖｙ）に応じて電子透かしパターンＷＭ１を画像に追従して動かす変調処理を実行するとともに、スカラー量Ｃ２に基づく強度変調を実行して電子透かしパターンＷＭ２を生成する。
【０１４５】
この処理により、静止画には、静止した強度の弱い電子透かしパターンの埋め込み、動画には、強度の強い動きに追従した電子透かしパターンの埋め込みが可能となり、人間の目に感知しにくくなるように電子透かしを埋め込むことができる。
【０１４６】
なお、上述の実施例では、強度設定のスカラー量をＣ１，Ｃ２の２種類としたが、画像の動き量に応じてＣ１，Ｃ２，Ｃ３…等、画像の動ベクトルの値に応じてさらに細分化した強度設定を行なう構成としてもよい。
【０１４７】
また、図１０（ｃ）を用いて説明したように、動きのあるフレームと動きのないフレームとの境界において電子透かしパターンの埋め込み強度を滑らかに変化させる処理を実行する構成としてもよい。すなわち、画像が静止したフレームから画像が動くフレームへ以降する境界付近の複数フレームにおいて電子透かし埋め込み強度を徐々に大とし、画像が動くフレームから画像が静止したフレームへ以降する境界付近の複数フレームにおいて電子透かし埋め込み強度を徐々に小とする設定の変調処理を実行する。本構成の場合には、信号変調部１２４における電子透かしパターンの変調処理に先立って、先行する画像フレームの動き検出を実行し、先行する各画像フレームにおける動きベクトルデータをメモリに蓄積し、メモリに蓄積された先行する画像フレームの動き情報に基づいて強度設定部１４１が各フレームにおける強度Ｃを変調処理部１４２に出力する。
【０１４８】
［電子透かし埋め込み処理フロー］
次に、上述した強度変調処理を実行するめ電子透かし埋め込み処理装置の処理手順について、図１２に示すフローを参照して説明する。図１２は、例えばデジタルビデオ信号等の入力信号に対して動き検出を実行して、動き情報に応じた電子透かしパターンの強度変調を実行して入力信号に埋め込む処理を実行する電子透かし埋め込み処理装置の処理手順を示すフローチャートである。各ステップについて説明する。
【０１４９】
電子透かし埋め込み処理装置は、まず、ステップＳ３１においてＰＮ系列の乱数データを生成し、ステップＳ３２において、電子透かし埋め込み対象信号に応じて、「複製可能（ＣｏｐｙＦｒｅｅ）」、「１回複製可能（Ｃｏｐｙ Ｏｎｃｅ）」「絶対複製禁止（Ｎｅｖｅｒ Ｃｏｐｙ）」などの複製制御情報などからなる埋め込み情報を乱数データＰＮによりスペクトラム拡散し、電子透かしパターンＷＭ１を生成する。
【０１５０】
続いて電子透かし埋め込み処理装置は、ステップＳ３３において、入力デジタルビデオ信号ＤＶ１を順次フレームデータ毎に読み込み、ステップＳ３４において、時間的に連続する入力デジタルビデオ信号に対して、画像相関を計算し、相関情報Ｍを出力する。続いて電子透かし埋め込み処理装置はステップＳ３５において、相関情報Ｍに基づいて画像の動き検出を行い、動き情報Ｖを出力する。
【０１５１】
例えば、デジタルビデオ信号ＤＶ１をフレーム毎に記憶して１フレーム遅延させた遅延デジタルビデオ信号ＤＶ１’を生成し、時間的に連続する２つのデジタルビデオ信号ＤＶ１’とＤＶ１において、前述の［数１２］に基づいて、動きベクトルの探索範囲（Ｖｘ，Ｖｙ）における相関平面を算出し、［数１３］に基づいて最大の相関を与える動きベクトル（Ｖｘ，Ｖｙ）を決定し、動き情報Ｖを出力する。
【０１５２】
続いて電子透かし埋め込み処理装置は、ステップＳ３６において、動き情報Ｖに基づいて電子透かし埋め込み強度を決定する。すなわち、例えば、入力される動きベクトルの大きさが、０である場合は、Ｃ＝Ｃ１とした強度を設定し、入力される動きベクトルの大きさが、０でない場合は、Ｃ＝Ｃ２とする強度設定を実行する。
【０１５３】
続いて電子透かし埋め込み処理装置は、ステップＳ３７において、強度および動き情報に基づいて電子透かしパターンＷＭ１を変調し、人間の視覚特性を考慮した電子透かしパターンＷＭ２を出力する。すなわち、変調処理部１３２は、強度設定部からの出力がＣ１である場合は、Ｃ１ＷＭ１、強度設定部からの出力がＣ２である場合は、Ｃ２ＷＭ１の強度変調を実行し、また、動き検出部１２３が出力する動き情報Ｖに応じて電子透かしパターンを静止または追従させる変調処理を実行して電子透かしパターンＷＭ２を生成する。
【０１５４】
続いて電子透かし埋め込み処理装置は、ステップＳ３８において、入力信号にこの変調した電子透かしパターンＷＭ２を加算し、続くステップＳ３９において、入力信号と同一の形式により電子透かし情報を埋め込んだ信号を出力する。
【０１５５】
続いて電子透かし埋め込み処理装置はステップＳ４０において、入力信号の処理を完了したか否かを判断し、ここで否定結果が得られるとステップＳ３３に戻り、以下の処理を繰り返し実行する。電子透かし埋め込み処理装置は、順次入力信号について、同様の処理を繰り返して入力信号を処理し、ステップＳ４０における入力終了の判定において肯定結果が得られると、処理を完了する。
【０１５６】
本実施例の構成は、入力画像から動きベクトルを算出し、算出された動きベクトルに基づいて電子透かしの埋め込み強度を設定する構成であり、人間の視覚特性に応じた電子透かしパターンの強度変調が可能となり、視覚的に目立たない電子透かしの埋め込みが可能となる。
【０１５７】
［電子透かし検出処理装置］
次に図１３を参照して、電子透かし検出処理装置の構成について説明する。図１３に示す電子透かし検出処理装置１５０は、例えば放送局等より衛星波や地上波、ケーブル等の媒体を介して受信して得られるデジタルビデオ信号ＤＶ２や、光ディスク等を再生して得られるデジタルビデオ信号ＤＶ２より、埋め込まれた電子透かし情報ＤＣを検出する。
【０１５８】
電子透かし検出装置１５０において、ＰＮ生成部１５１はＰＮ系列の乱数データＰＮを生成し、これを基本パターンとして電子透かしを検出する。このときＰＮ生成部１５１は、電子透かし埋め込み処理装置１００におけるＰＮ生成部１２１またはＰＮ生成部１４１と同一の乱数データＰＮを生成することにより、スペクトラム拡散を用いて解析困難に埋め込んだ電子透かし情報ＤＣを正しく検出することができる。
【０１５９】
電子透かし検出装置１５０において、内積計算部１５２は順次入力されるデジタルビデオ信号ＤＶ２に対して乱数データＰＮとの内積値を計算し、内積値Ｓを出力する。続く比較判定部１５３は、この内積値Ｓを最適に設定した閾値と比較することにより、電子透かし情報ＤＣの有無、さらには埋め込まれた電子透かし情報ＤＣの極性を判定する。すなわち非負の閾値ＴＨに基づいて以下に示す判定を行なう。
【０１６０】
【数１６】
Ｓ≦−ＴＨ ：電子透かしあり（極性０）
｜Ｓ｜＜ＴＨ ：電子透かしなし
Ｓ≧ＴＨ ：電子透かしあり（極性１）
【０１６１】
上記式のように、入力信号から埋め込み電子透かし情報ＤＣを検出することができる。
【０１６２】
例えば、放送局等より衛星波や地上波、ケーブル等の媒体を介して受信して得られるデジタルビデオ信号ＤＶ２や、光ディスク等を再生して得られるデジタルビデオ信号ＤＶ２をコピーする際に、この電子透かし情報ＤＣに基づいてコピー制限できるように成され、さらに不正コピーされた疑いのあるソースについては、ソースの出所を究明できるように成されている。
【０１６３】
［電子透かし検出処理フロー］
次に、電子透かし検出処理装置における処理手順について、図１４に示すフローを参照して説明する。各ステップについて説明する。
【０１６４】
電子透かし検出処理装置は、まず、ステップＳ５１において、ＰＮ系列の乱数データＰＮを生成する。続いて電子透かし検出処理装置は、ステップＳ５２において、例えばデジタルビデオ信号ＤＶ２等のフレームデータを順次読み込み、ステップＳ５３において、入力フレームデータと乱数データＰＮとの内積値を計算し、内積値Ｓを出力する。
【０１６５】
続いて電子透かし検出処理装置はステップＳ５４において、算出した内積値Ｓを設定した閾値（ＴＨ）と比較することにより、電子透かし情報ＤＣの有無、さらには埋め込まれた電子透かし情報ＤＣの極性を判定する。すなわち非負の閾値ＴＨに対して、上述の［数１４］の判定に基づいて入力信号から電子透かし情報ＤＣを検出することができる。続いて電子透かし検出処理装置は、ステップＳ５５において、このようにして検出された電子透かし情報ＤＣを出力する。
【０１６６】
続いて電子透かし検出処理装置は、ステップＳ５６に移り、入力信号の処理を完了したか否かを判断し、ここで否定結果が得られるとステップＳ５２に戻り、順次入力データ毎に同様の処理手順を繰り返して入力信号を処理する。ステップＳ５６において入力信号の終了判定について肯定結果が得られると、処理を完了する。
【０１６７】
［システム構成］
上述の実施例で述べた一連の処理は、ハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたデータ処理装置内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、例えば汎用のコンピュータや１チップのマイクロコンピュータ等にインストールされる。図１５は、上述した一連の処理、具体的には、電子透かし埋め込み、検出の少なくともいずれかの処理を実行する装置のシステム構成例を示している。
【０１６８】
システムは、ＣＰＵ(Central Processing Unit)２０２を有する。ＣＰＵ(Central processing Unit)２０２は、各種アプリケーションプログラムや、ＯＳ（Operating System）を実際に実行する。ＲＯＭ（Read-Only-Memory）２０３は、ＣＰＵ２０２が実行するプログラム、あるいは演算パラメータとしての固定データを格納する。ＲＡＭ（Random Access Memory）２０４は、ＣＰＵ２０２の処理において実行されるプログラム、およびプログラム処理において適宜変化するパラメータの格納エリア、ワーク領域として使用される。ＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４、およびハードディスク２０５はバス２０１によって接続されており、相互にデータ転送が実行可能である。さらに入出力インタフェース２１１に接続された各種入出力装置とのデータ転送が可能となっている。
【０１６９】
キーボード２１２、マウス２１３はＣＰＵ２０２に各種の指令を入力するためにユーザにより操作され、コマンド入力データ入力などの際にユーザによって操作され、キーボードマウスコントローラ２１４介して入力される。
【０１７０】
ドライブ２０９は、フロッピーディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１０の記録再生を実行するドライブであり、各リムーバブル記録媒体２１０からのプログラムまたはデータ再生、リムーバブル記録媒体２１０に対するプログラムまたはデータ格納を実行する。
【０１７１】
ＣＰＵ２０２は、入出力インタフェース２１０を介して、キーボード２１２やマウス２１３等を介して指令が入力されると、入力にしたがって、ＲＯＭ(Read Only Memory)２０３に格納されているプログラムを実行する。
【０１７２】
上述の実施例における電子透かしの埋め込み対象となる画像等の信号、あるいは検出対象となる信号は、入力部２０７に接続されたカメラ２０７１他の入力機器、例えばスキャナ等のデータ入力装置、あるいはドライブ２０９に接続されたフロッピーディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１０から入力可能である。音声データの入力もマイク２０７２を介して可能な構成である。さらに、通信部２０８を介して受信するデータを電子透かしの埋め込み対象とするデータ、あるいは検出対象となるデータとして処理することも可能である。
【０１７３】
ＣＰＵ２０２は、ＲＯＭ格納プログラムに限らず、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１０から読み出されてハードディスク２０５にインストールされたプログラムを、ＲＡＭ(Random Access Memory)２０４にロードして実行することも可能である。
【０１７４】
図１５に示す構成を持つシステムにおいて、ＣＰＵ２０２は、上述した各実施例にしたがった処理、あるいは上述したブロック図、フローチャートに従って行われる処理を行う。そして、ＣＰＵ２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１１を介して、ＬＣＤ(Liquid Crystal Display)やＣＲＴなどの表示装置２０６１、スピーカ２０６２に対して出力部２０６を介して出力する。また、処理データは通信部２０８からの送信、さらには、ハードディスク２０５等の記録媒体に対する格納処理が可能である。
【０１７５】
各種処理の実行プログラムは、システムに内蔵されている記録媒体としてのハードディスク２０５やＲＯＭ２０３に予め記録しておくことができる。あるいは、プログラムはフロッピーディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１０に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１０は、いわゆるパッケージソフトウエアとして提供することができる。
【０１７６】
なお、プログラムは、上述したようなリムーバブル記録媒体２１０からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
【０１７７】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１７８】
また、プログラムは、１つのコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１７９】
なお上述の実施の形態においては、時間的に連続する２つのデジタルビデオ信号において、それぞれ対応する画素間で輝度値の差分の絶対値を計算して総和する場合について述べたが、本発明はこれに限らず、例えばそれぞれ対応する画素間で輝度値の積を計算して総和する相互相関を用いる場合等に広く適用することができる。
【０１８０】
また上述の実施の形態においては、時間的に連続する２つのデジタルビデオ信号の画像相関（マッチング）を利用して動き検出を行う場合について述べたが、本発明はこれに限らず、例えば時間的に連続する２つのデジタルビデオ信号の勾配や位相相関を利用して動き検出を行う場合等に広く適用することができる。
【０１８１】
また上述の実施の形態においては、時間的に連続する２つのデジタルビデオ信号の画像相関を利用して動き検出を行う場合について述べたが、本発明はこれに限らず、例えば時間的に連続する３つ以上のデジタルビデオ信号の画像相関を利用して動き検出を行う場合等に広く適用することができる。このようにすれば、その分時間方向への変動の小さい動き検出を行うことができる。
【０１８２】
また上述の実施の形態においては、時間的に連続する２つのデジタルビデオ信号のフレーム相関を利用して動き検出を行う場合について述べたが、本発明はこれに限らず、例えばデジタルビデオ信号に対してブロック分割を施した上でブロック相関を利用して動き検出を行う場合等に広く適用することができる。このようにすれば、各ブロック毎の動きベクトルを評価判定してより人間の視覚特性に合致した動き検出を行うことができる。
【０１８３】
また上述の実施の形態においては、デジタルビデオ信号のフレーム信号に対して動き検出を行う場合について述べたが、本発明はこれに限らず、デジタルビデオ信号のフィールド信号に対して動き検出を行う場合に広く適用することができる。この場合には各フィールド信号毎に動き検出を行ってもよく、またはどちらか一方のフィールド信号に対してのみ動き検出を行ってもよい。このようにすれば、より少ない演算量により動き検出を行うことができる。
【０１８４】
また上述の実施の形態においては、人間の視覚特性を考慮した画像分析に際して、デジタルビデオ信号の動き情報を検出して電子透かしパターンをこれに追従させる場合について述べたが、本発明はこれに限らず、デジタルビデオ信号のエッジ情報等を検出して電子透かしパターンを変調する場合や、デジタルビデオ信号の輝度情報や色情報等の種々の情報を分析して処理する場合等と組み合わせて画像分析を行う場合に広く適用することができる。
【０１８５】
また上述の実施の形態においては、著作権情報を乱数データによりスペクトラム拡散することで電子透かしパターンを生成し、この電子透かしパターンをデジタルビデオ信号に加算する場合について述べたが、本発明はこれに限らず、デジタルビデオ信号のベースバンド信号上で電子透かしの重畳を行う種々の電子透かし埋め込み方式、さらにはデジタルビデオ信号のビットストリーム信号上で電子透かしの重畳を行う種々の電子透かし埋め込み方式に広く適用することができる。
【０１８６】
また上述の実施の形態においては、著作権情報をＰＮ系列の乱数データによりスペクトラム拡散する場合について述べたが、本発明はこれに限らず、統計的に総和が０になるような種々の数値パターンにより著作権情報を解析困難に変調する場合に広く適用することができる。
【０１８７】
さらに上述の実施の形態においては、著作権情報を重畳する場合について述べたが、本発明はこれに限らず、必要に応じて種々の情報を重畳して伝送する場合に広く適用することができる。
【０１８８】
また上述の実施の形態においては、放送局等よりデジタルビデオ信号を衛星波や地上波、ケーブル等の媒体を介して伝送する場合、および光ディスクにデジタルビデオ信号を記録、再生する場合について述べたが、本発明はこれに限らず、例えばインターネットを介して種々の情報を伝送する場合等に広く適用することができる。
【０１８９】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１９０】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【０１９１】
【発明の効果】
以上の説明から明らかなように本発明によれば、入力デジタルビデオ信号に対する電子透かし埋め込み処理を実行する際に、時間的に連続する入力デジタルビデオ信号に対してフレーム相関を用いて動き検出を行い、検出された動き情報に基づいて、画像が静止している場合には電子透かしパターンも静止させ、画像が動いている場合には電子透かしパターンも追従して動かすことにより、人間の目に感知しにくくなるように入力デジタルビデオ信号に電子透かしを重畳することができ、これにより全体の埋め込み強度を変えることなく、電子透かしの画質に及ぼす影響を効果的に抑制することが可能になる。
【０１９２】
また、本発明によれば、入力デジタルビデオ信号に対する電子透かし埋め込み処理を実行する際に、時間的に連続する入力デジタルビデオ信号に対してフレーム相関を用いて動き検出を行い、検出された動き情報に基づいて、人間の目が静止パターンを感知できない速さで画像が動いている場合には電子透かしパターンを静止させ、人間の目が静止パターンを感知できる速さで画像が動いている場合には電子透かしパターンも追従して動かすことにより、演算量を適応的に低減してより効率的に入力デジタルビデオ信号に電子透かしを重畳することができる。
【０１９３】
また、本発明によれば、入力デジタルビデオ信号に対する電子透かし埋め込み処理を実行する際に、時間的に連続する入力デジタルビデオ信号に対してフレーム相関を用いて動き検出を行い、検出された動き情報に基づいて、画像が動いている場合の埋め込み強度を画像が静止している場合の埋め込み強度よりも大きく設定して電子透かしパターンを変調することにより、電子透かしの検出精度を向上するように入力デジタルビデオ信号に電子透かしを重畳することができる。これらにより電子透かしの画質に及ぼす影響を効果的に抑制することが可能になり、また電子透かし検出の信頼性を確保することが可能になる。
【０１９４】
本発明の構成によれば、画像信号の動きを検出して追従、または強度を調整して電子透かし情報を埋め込む構成であるので、検出の信頼性を確保しながら画質に及ぼす影響を効果的に抑制した電子透かし埋め込みが可能となり、デジタルネットワーク時代のコンテンツ配信において、画質劣化の少なく信頼性の高い著作権保護システムを構築することが可能になる。
【図面の簡単な説明】
【図１】電子透かし検出の説明に供する、内積値の確率密度関数を示す図である。
【図２】電子透かしの埋め込み、検出処理による著作権保護処理について説明する図である。
【図３】本発明の電子透かしの埋め込み処理装置の構成例を示す図である。
【図４】本発明の電子透かしの埋め込み処理装置における動き検出部の構成例を示す図である。
【図５】本発明の電子透かしの埋め込み処理装置の処理例を示すフロー図である。
【図６】本発明の電子透かしの埋め込み処理装置における動きベクトルの検出、電子透かし埋め込み処理について説明する図である。
【図７】本発明の電子透かしの埋め込み処理装置における画像の動きに応じた電子透かしの追従について説明する図である。
【図８】本発明の電子透かしの埋め込み処理装置における信号変調部の構成例を示す図である。
【図９】本発明の電子透かしの埋め込み処理装置における処理フローを示す図である。
【図１０】本発明の電子透かしの埋め込み処理装置における画像の動きに応じた電子透かしの強度調整について説明する図である。
【図１１】本発明の電子透かしの埋め込み処理装置における信号変調部の構成例を示す図である。
【図１２】本発明の電子透かしの埋め込み処理装置における処理フローを示す図である。
【図１３】電子透かしの検出処理装置の構成例を示す図である。
【図１４】電子透かしの検出処理装置の処理例を示すフロー図である。
【図１５】電子透かし埋め込み、検出の少なくともいずれかの処理を実行するシステム構成例を示す図である。
【符号の説明】
１ 電子透かし埋め込み装置
２ 録画機器
３ 電子透かし検出装置
４ 電子透かし書き換え装置
５ 光ディスク
６ 録画機器
７ 光ディスク
８ 光ディスク
１００ 電子透かし埋め込み処理装置
１２１ ＰＮ生成部
１２２ 乗算部
１２３ 動き検出部
１２４ 信号変調部
１２５ 加算部
１２６ 信号記憶部
１２７ 相関計算部
１２８ 動き判定部
１２９ 信号分割部
１３１ 追従量設定算部
１３２ 変調処理部
１４１ 強度設定部
１４２ 変調処理部
１５０ 電子透かし検出処理装置
１５１ ＰＮ生成部
１５２ 内積計算部
１５３ 比較判定部
２０２ ＣＰＵ
２０３ ＲＯＭ
２０４ ＲＡＭ
２０５ ハードディスク
２０６ 出力部
２０７ 入力部
２０８ 通信部
２０９ ドライブ
２１０ リムーバブル記録媒体
２１２ キーボード
２１３ マウス
２１４ キーボードマウスコントローラ
２０６１ 表示装置
２０６２ スピーカ
２０７１ カメラ
２０７２ マイク

Claims (10)

1. 画像信号に対する電子透かしの埋め込み処理を実行する電子透かし埋め込み処理装置であり、
   埋め込み情報に基づいて第１の電子透かしパターンを生成する電子透かしパターン生成手段と、
   電子透かしパターン埋め込み処理対象となる画像信号に基づいて一つの動きベクトルを取得し、該動きベクトルを前記画像信号の動き情報として出力する動き検出手段と、
   前記動き情報のベクトル量に対応した分だけ前記第１の電子透かしパターン全体を平行移動させることにより、前記第１の電子透かしパターンを前記動き情報の示す動きに追従する動きを示すように修正した第２の電子透かしパターンを生成する電子透かしパターン修正手段と、
   電子透かしパターン修正手段により生成した前記第２の電子透かしパターンを前記画像信号に対して埋め込む処理を実行する加算手段と、
   を有することを特徴とする電子透かし埋め込み処理装置。
2. 画像信号に対する電子透かしの埋め込み処理を実行する電子透かし埋め込み処理方法であり、
   埋め込み情報に基づいて第１の電子透かしパターンを生成する電子透かしパターン生成ステップと、
   電子透かしパターン埋め込み処理対象となる画像信号に基づいて一つの動きベクトルを取得し、該動きベクトルを前記画像信号の動き情報として出力する動き検出ステップと、
   前記動き情報のベクトル量に対応した分だけ前記第１の電子透かしパターン全体を平行移動させることにより、前記第１の電子透かしパターンを前記動き情報の示す動きに追従する動きを示すように修正した第２の電子透かしパターンを生成する電子透かしパターン修正ステップと、
   前記電子透かしパターン修正ステップにおいて生成した前記第２の電子透かしパターンを前記画像信号に対して埋め込む処理を実行する加算ステップと、
   を有することを特徴とする電子透かし埋め込み処理方法。
3. 前記電子透かしパターン修正ステップは、
   前記電子透かしパターン生成ステップにおいて生成した第１の電子透かしパターンに対して、前記動き情報の示す速度対応値に応じて、前記動きベクトルの示す動きに追従する動きを示すように、画像の動き量に比例する電子透かしの追従量を設定して、前記第１の電子透かしパターン全体を平行移動させることにより、前記第１の電子透かしパターンを前記動き情報の示す動きに追従する動きを示すように修正した第２の電子透かしパターンを生成することを特徴とする請求項２に記載の電子透かし埋め込み処理方法。
4. 前記電子透かしパターン修正ステップは、
   前記電子透かしパターン生成ステップにおいて生成した第１の電子透かしパターンに対して、前記動き情報が画像が動いていることを示す場合に、電子透かしをランダムに移動する動きを示すように修正した第２の電子透かしパターンを生成することを特徴とする請求項２に記載の電子透かし埋め込み処理方法。
5. 前記電子透かしパターン修正ステップは、
   前記電子透かしパターン生成ステップにおいて生成した第１の電子透かしパターンに対して、前記動き情報の示す速度対応値が予め定めた範囲内ａ〜ｂ（ただし０＜ａ＜ｂ）にある場合に前記動きベクトルの示す動きに追従する動きを示すように修正した第２の電子透かしパターンを生成する処理を実行し、前記動き情報の示す速度対応値が０〜ａ、あるいはｂ、すなわち、静止またはa以下の低速またはｂ以上の高速である場合には、前記電 子透かしパターン生成ステップにおいて生成した第１の電子透かしパターンを静止させた状態とした移動のない第２の電子透かしパターンを生成する処理を実行することを特徴とする請求項２に記載の電子透かし埋め込み処理方法。
6. 前記電子透かしパターン修正ステップは、
   前記動き情報の示す速度対応値に基づいて、電子透かしパターンの追従量を設定する追従量設定ステップと、
   前記追従量設定ステップにおいて設定した追従量に基づいて、前記動き情報の示す速度対応値が予め定めた範囲内にある場合に前記動きベクトルの示す動きに追従させた第２の電子透かしパターンを生成し、前記動き情報の示す速度対応値が前記予め定めた範囲外である場合には、電子透かしパターンを静止させた第２の電子透かしパターンを生成する第２の電子透かしパターンを生成ステップと、
   を有することを特徴とする請求項２に記載の電子透かし埋め込み処理方法。
7. 前記動き検出ステップは、
   画像信号をフレーム毎に読み込み、時間的に連続する複数の画像フレームデータ間の相関を計算し相関情報を出力する相関計算ステップと、
   前記相関計算ステップにおいて出力する相関情報に基づいて動きベクトルを算出して、算出された動きベクトルに基づいて動き情報Ｖを出力する動き判定ステップとを有し、
   前記電子透かしパターン修正ステップは、
   前記電子透かしパターン生成ステップにおいて生成した第１の電子透かしパターンを、前記動き情報Ｖのベクトル量分だけ平行移動させることにより、前記第１の電子透かしパターンを前記動き情報の示す動きに追従する動きを示すように修正した第２の電子透かしパターンを生成することを特徴とする請求項２に記載の電子透かし埋め込み処理方法。
8. 前記動き検出ステップは、
   画像信号をフレーム毎に読み込み、時間的に連続する複数の画像フレームデータ間の相関を、フレーム内における対応画素の輝度値の差分の絶対値の総和として算出するマッチング値に基づいて相関情報を出力する相関計算ステップと、
   前記相関計算ステップにおいて出力する相関情報に基づいて、最小のマッチング値となる動きベクトルを算出して、算出した動きベクトルに基づいて動き情報Ｖを出力する動き判定ステップとを有し、
   前記電子透かしパターン修正ステップは、
   前記電子透かしパターン生成ステップにおいて生成した第１の電子透かしパターンを、前記動き情報Ｖのベクトル量分だけ平行移動させることにより、前記第１の電子透かしパターンを前記動き情報の示す動きに追従する動きを示すように修正した第２の電子透かしパターンを生成することを特徴とする請求項２に記載の電子透かし埋め込み処理方法。
9. 前記電子透かしパターン修正ステップは、
   前記電子透かしパターン生成ステップにおいて生成した第１の電子透かしパターンに対して、前記動き情報が画像が動いていることを示す場合に電子透かし埋め込み強度を大とし、前記動き情報が画像が動いていないことを示す場合に電子透かし埋め込み強度を小とする埋め込み強度設定処理を実行することを特徴とする請求項２に記載の電子透かし埋め込み処理方法。
10. 画像信号に対する電子透かしの埋め込み処理をコンピュータ・システム上で実行せしめるプログラムであって、
    埋め込み情報に基づいて第１の電子透かしパターンを生成する電子透かしパターン生成ステップと、
    電子透かしパターン埋め込み処理対象となる画像信号に基づいて一つの動きベクトルを取得し、該動きベクトルを前記画像信号の動き情報として出力する動き検出ステップと、
    前記動き情報のベクトル量に対応した分だけ前記第１の電子透かしパターン全体を平行移動させることにより、前記第１の電子透かしパターンを前記動き情報の示す動きに追従する動きを示すように修正した第２の電子透かしパターンを生成する電子透かしパターン修正ステップと、
    前記電子透かしパターン修正ステップにおいて生成した前記第２の電子透かしパターンを前記画像信号に対して埋め込む処理を実行する加算ステップと、
    を有することを特徴とするプログラム。

Images