JP3861623B2 - 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム - Google Patents
電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP3861623B2 JP3861623B2 JP2001169109A JP2001169109A JP3861623B2 JP 3861623 B2 JP3861623 B2 JP 3861623B2 JP 2001169109 A JP2001169109 A JP 2001169109A JP 2001169109 A JP2001169109 A JP 2001169109A JP 3861623 B2 JP3861623 B2 JP 3861623B2
- Authority
- JP
- Japan
- Prior art keywords
- digital watermark
- motion
- information
- watermark pattern
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、画像等のデータに著作権情報、編集情報などの付加情報を埋め込みまたは読み取る技術に関し、例えば画像中に通常の観察状態では認識困難な付加情報として電子透かし(ウォーターマーク:Digital Watermarkingまたは、Data Hidingとも呼ばれる)を埋め込む処理を実行する電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラムに関する。
【0002】
【従来の技術】
デジタル技術の進歩に伴い、記録、再生処理の繰り返し実行による画質劣化、音質劣化等の発生しないデジタル記録再生装置が普及し、また一方では、様々な画像、音楽等のデジタテルコンテンツがDVD,CDなどの媒体またはネットワーク等を通じて配信、流通可能な状態となってきている。
【0003】
デジタル記録再生では、アナログ記録再生と異なり、記録再生処理を繰り返し実行してもデータの劣化が発生しないため、オリジナルデータと同様の品質が保たれる。このようなデジタル記録再生技術の普及は不正コピーの氾濫を招く結果となり、著作権の保護という観点から大きな問題となっている。
【0004】
デジタルコンテンツについての不正な複製(コピー)による著作権侵害に対処するため、デジタルコンテンツに複製制御のための複製制御情報を付加し、コンテンツの記録再生時に複製制御情報を読み取り、読み取られた制御情報に従った処理を実行することにより不正な複製を防止する構成が提案されている。
【0005】
コンテンツ複製制御態様には様々な態様があるが、例えば代表的方式として、CGMS(Copy Generation Management System;コピー・ジェネレーション・マネージメント・システム)方式がある。このCGMS方式は、アナログ映像信号(CGMS−Aと呼ばれる)であれば、その輝度信号の垂直ブランキング期間内の特定の1水平区間、例えばNTSC信号の場合には、第20水平区間の有効映像部分に重畳する20ビットの付加情報のうちの2ビットを複製制御用の情報として重畳し、また、デジタル映像信号(CGMS−Dと呼ばれる)であれば、デジタル映像データに挿入付加する付加情報として、複製制御用の2ビットの情報を含めて伝送する方式である。
【0006】
このCGMS方式の場合の2ビットの情報(以下、CGMS情報という)の意味内容は、[00]……複製可能[10]……1回複製可能(1世代だけ複製可能)
[11]……複製禁止(絶対複製禁止)
である。
【0007】
上述のCGMS方式は代表的な複製制御方式の1例であり、他にもコンテンツの著作権保護のための方式が様々ある。例えば放送局が行なうデジタル放送などでは、デジタルデータを構成するトランスポートストリーム(TS)パケットに含まれる番組配列情報(SI:Service Information)内にデジタル複製制御記述子(Digital Copy Control Descriptor)を格納し、受信機器において受信したデータを記録装置に記録する際に記述子に従った複製世代制御を行なう方式がある。
【0008】
しかし、上述の制御情報は例えばコンテンツのヘッダ等にビットデータとして付加されるものであり、付加されたデータの改竄の可能性を完全に排除することが困難である。データ改竄の可能性の排除という点で有利な構成が電子透かし(ウォーターマーク)である。電子透かし(ウォーターマーク)は、通常のコンテンツ(画像データまたは音声データ)の再生状態では視覚あるいは知覚困難であり、電子透かしの検出、埋め込みは特定のアルゴリズムの実行、または特定のデバイスによる処理によってのみ可能となる。受信器、記録再生装置等におけるコンテンツ処理時に電子透かし(ウォーターマーク(WM))を検出して、電子透かしに従った制御を行なうことにより、より信頼度の高い制御が可能となる。
【0009】
光ディスク等の記録媒体や、放送局等より衛星波や地上波、ケーブル等の媒体を介して伝送されるコンテンツ等についての電子透かし(ウォーターマーク(WM))による著作権の保護方法は、ビデオ信号やオーディオ信号等の再生に影響を与えない程度の微小な信号レベルにより、著作権に関するデータの変調信号等をビデオ信号やオーディオ信号等に重畳して記録するものである。画像、音声、データ等様々なデジタルコンテンツが劣化のない状態でコピーされたり配信されたりする可能性のあるデジタルネットワーク時代において、電子透かし技術はコンテンツ自身に情報を埋め込むことにより著作権を保護することのできる有力な技術である。
【0010】
電子透かし(ウォーターマーク(WM))によってコンテンツに埋め込まれる情報としては、上述の複製制御情報に限らず、コンテンツの著作権情報、コンテンツ加工情報、コンテンツ構成情報、コンテンツ処理情報、コンテンツ編集情報、あるいはコンテンツ再生処理方式等、様々な情報が埋め込み可能であり、例えばコンテンツの編集処理時に編集情報を埋め込み、各編集ステップにおいて、電子透かしを参照して処理ステップを確認することなどが行なわれる。このような編集情報は、例えばコンテンツの編集ステップ毎にコンテンツに対して新たな電子透かしとして埋め込まれ、最終的にコンテンツから取り除かれるなどの処理が行なわれる。
【0011】
データに対する電子透かしの埋め込みおよび検出態様としては様々な手法が提案されている。1つの代表的な電子透かし埋め込み検出態様には、元信号としてのデータ、例えば画像のもつ統計的性質に基づいた手法がある。デジタルビデオ信号等の画像信号の持つ統計的な性質に基づいて、PN系列の乱数データを基本パターンとして電子透かしを埋め込む方法について説明する。簡単のため輝度信号のフレームデータを水平サイズ8画素、垂直サイズ6画素とする。
【0012】
まずPN系列の乱数データPNを、下記式のように設定する。
【0013】
【数1】
【0014】
この乱数データPNは統計的に総和が0になるように生成される。次に埋め込み情報DCを、上記式のような性質を持つ乱数データPNによりスペクトラム拡散する。すなわち埋め込み情報DCの極性が“1”の場合には、乱数データPNのパターンをそのまま使用することにより、電子透かしパターンWMは、下記式のようになる。
【0015】
【数2】
【0016】
また埋め込み情報DCの極性が“0”の場合には、乱数データPNのパターンを反転したものを使用することにより、電子透かしパターンWMは、下記式のようになる。
【0017】
【数3】
【0018】
なお埋め込み情報DCが複数の情報ビットから構成される場合には、例えば輝度信号のフレームデータを適当な小領域に分割し、各情報ビットをそれぞれの小領域に対応させればよい。また、例えば互いに直行するような複数の異なる電子透かしパターンを使用し、各情報ビットをそれぞれの電子透かしパターンに対応させればよい。また、これらの手法を組み合わせて使用してもよい。
【0019】
一方デジタルビデオ信号等の画像信号において、あるフレームデータの輝度信号画素値を示すフレームデータDV1が以下のような式で示されたとする。なお、デジタルビデオ信号の画像信号において、近接する輝度信号は同程度の画素値を持つという性質があり、隣接する画素の値は近似した値に設定してある。
【0020】
【数4】
【0021】
電子透かしの埋め込みは、輝度信号のフレームデータDV1に電子透かしパターンWMを加算することによって実現する。電子透かし埋め込み情報DCの極性が“1”の場合には、前述の[数2]に示される電子透かしパターンWMを、上述の[数4]に示される輝度信号に加算する処理となり、電子透かしを埋め込んだ輝度信号のフレームデータDV2は、下記式によって示されるデータとなる。
【0022】
【数5】
【0023】
このようにして電子透かしを埋め込んだ輝度信号のフレームデータDV2から、埋め込み情報DCを検出するためには、埋め込み時と同一のPN系列の乱数データPNを使用する。まず元の輝度信号のフレームデータDV1と乱数データPNとの内積値P1は、下記式によって示される値を持つ。
【0024】
【数6】
P1=DV1・PN=1
【0025】
画像信号の持つ統計的な性質から内積値P1は0近傍の値となる。これに対して電子透かしを埋め込んだ輝度信号のフレームデータDV2と乱数データPNとの内積値P2は、埋め込み情報DCの極性が“1”の場合には、下記式によって示される値を持つ。
【0026】
【数7】
【0027】
一方、埋め込み情報DCの極性が“0”の場合には、下記式によって示される値を持つ。
【0028】
【数8】
【0029】
すなわち内積値P2の絶対値は、乱数データPN自身の内積値PN2近傍の値となる。元の輝度信号のフレームデータDV1と乱数データPNの内積値P1および、電子透かしを埋め込んだ輝度信号のフレームデータDV2と乱数データPNの内積値P2を様々な画像に対して計算すると、内積値P1およびP2の分布は図1に示すような確率密度関数で表現することができる。したがって、適当な非負の閾値THを設定することによって、以下に示すように電子透かしの有無および極性を判別することが可能となる。
【0030】
【数9】
P2≦−TH :電子透かしあり(極性0)
|P2|<TH :電子透かしなし
P2≧TH :電子透かしあり(極性1)
【0031】
上記式のように、電子透かしを埋め込んだ輝度信号のフレームデータDV2から埋め込み情報DCを検出することができる。
【0032】
実際に電子透かしを実現する際には、電子透かし検出の信頼性と、電子透かしの画質に及ぼす影響の2点が重要なポイントである。電子透かしの有無を正確に判別するためには、図1における“電子透かしあり”の場合の確率密度関数と、“電子透かしなし”の場合の確率密度関数の分離を精度良く行うような閾値THを設定しなければならない。しかし実際には確率密度関数の裾野が重なり合い、電子透かしの有無を正確に判別できるような閾値THの選択は難しい。電子透かしが埋め込まれていないのに“電子透かしあり”と判断されてしまう確率を特にFalse Positiveと呼び、健全なコンテンツ流通を保証するためには極めて小さいFalse Positive値が要求される。したがって電子透かし検出の信頼性を向上するためには、非負のスカラー量Cを用いて電子透かしの埋め込み強度を大きくする処理が実行される。スカラー量Cを用いて電子透かしの埋め込み強度を大きくして電子透かしを埋め込んだ場合の輝度信号のフレームデータDV2は、下記式によって示される値を持つ。
【0033】
【数10】
DV2=DV1+CWM
【0034】
電子透かしを埋め込んだ輝度信号のフレームデータDV2と乱数データPNの内積値P2を十分に大きくすればよい。具体的には、フレームデータDV2は、下記式によって示される値を持つ。
【0035】
【数11】
【0036】
しかし、このようにして電子透かしの埋め込み強度を大きくした場合、電子透かしの画質に及ぼす影響は無視できないものになってしまう。電子透かし検出の信頼性と電子透かしの画質に及ぼす影響とは、トレードオフの関係にある。
【0037】
電子透かしを埋め込んだ画像に対して、画像フォーマット変換、デジタル-アナログ変換、MPEG圧縮、フィルタリング、クリッピング、リサイズ、ローテーション等の種々の攻撃を加えた場合にも、埋め込まれた電子透かし情報は正しく検出されなければならない。著作権を不当に侵そうとする者は、電子透かしを埋め込んだ画像に対して悪意を持ってこれらの攻撃を加える恐れがある。そこでこれらの攻撃に対する耐性を強化して、電子透かし検出の信頼性を確保するために、様々な手法が提案されている。しかしあらゆる攻撃に対して頑強な耐性を有するような電子透かし技術は未だ開発されておらず、早急な対策が望まれている。
【0038】
図2は、電子透かしを用いてコピー制御情報をデータに埋め込み、電子透かし検出によるコピー制御を実行する態様について説明する図である。
【0039】
ビデオソースであるデジタルビデオ信号DVを放送局等より衛星波や地上波、ケーブル等の媒体を介して送信する際に、電子透かし埋め込み処理装置100により電子透かし情報DCを付加して送信する。ここで埋め込む電子透かし情報DCはビデオソースの著作権情報等により構成され、“Copy Once”(1回コピー可)という情報を持つものとする。
【0040】
このように、“Copy Once”(1回コピー可)という情報を電子透かしにより埋め込んで送信されたデジタルビデオ信号のうちセットトップボックス等により受信して再生するデジタルビデオ信号においては、再生したデジタルビデオ信号から録画機器2に内蔵する電子透かし検出装置3により埋め込まれた電子透かし情報DCを検出する。
【0041】
録画機器2に内蔵された電子透かし検出装置3が、“Copy Once”という電子透かし情報を検出すると、録画機器2に内蔵する電子透かし書換装置4が電子透かし情報DCを書き換えて光ディスク5等に記録する。ここで書き換える電子透かし情報DCはビデオソースの著作権情報等により構成され、“No More Copy”(コピー禁止)という情報を有する。
【0042】
このようにして録画機器2によって複製記録された光ディスク5が、例えば市場に流通する媒体として提供された場合、提供された複製記録光ディスク5を録画機器6において再度複製しようとすると、録画機器6に内蔵する電子透かし検出装置3が再生したデジタルビデオ信号から埋め込まれた電子透かし情報DCを検出する。
【0043】
この場合の電子透かし情報DCは、複製を許可しない“No More Copy”という情報であり、録画機器6は、“No More Copy”に従った処理、すなわち、再生したデジタルビデオ信号を光ディスク7に記録するのを中止する。これによりコピー世代が管理される。
【0044】
また、電子透かし埋め込み処理装置100は、ビデオソースであるデジタルビデオ信号DVを格納した光ディスク8を製造する際に、“Never Copy”(コピー禁止)という情報を持つ電子透かし情報DCを付加して光ディスク8等に記録する処理を実行したとする。
【0045】
このようにして記録された光ディスク8が市場に流通する場合において、提供された光ディスク8を録画機器6において再生して他の記録媒体に複製しようとすると、録画機器6に内蔵する電子透かし検出装置3が再生したデジタルビデオ信号から埋め込まれた電子透かし情報DCを検出する。
【0046】
この場合の電子透かし情報DCは、複製を許可しない“Never Copy”(コピー禁止)という情報であり、録画機器6は、“Never Copy”に従った処理、すなわち、再生したデジタルビデオ信号を光ディスク7に記録するのを中止する。これにより不正コピーが排除される。
【0047】
電子透かし検出の信頼性を確保しつつ、電子透かしの画質に及ぼす影響を極力抑えるために、人間の視覚特性を効果的に利用して電子透かしを埋め込む手法が提案されている。これらの手法は人間の視覚特性を考慮して、電子透かしパターンを画像内で配分しなおすものや、電子透かしパターンを画像の動きに追従させるもの等であり、全体の埋め込み強度を変えることなく電子透かしの画質に及ぼす影響を効果的に抑えている。人間の目は平坦部分等の低周波領域での変化には敏感であるが、エッジ部分等の高周波領域での変化には鈍感である。これを利用して電子透かしパターンを目立ちやすい平坦部分から目立ちにくいエッジ部分へと再配分することにより、電子透かし検出の信頼性を確保しつつ、電子透かしの画質に及ぼす影響を抑えることができる。また画像が静止している場合には電子透かしパターンも静止させ、画像が動いている場合には電子透かしパターンも追従して動かすことにより、人間の目に感知しにくくなるように電子透かしを埋め込むことができる。
【0048】
動き検出は、動画像符号化の国際標準規格MPEG2(Moving Picture Experts Group-2)やサンプリングレート変換等において用いられる手法である。しかし電子透かしの重畳に応用して好適な動き検出手法は未だ提案されておらず、効果的な動き検出手法を実現して、電子透かしの画質に及ぼす影響を抑制することが望まれている。
【0049】
【発明が解決しようとする課題】
本発明は、上述の問題点に鑑みてなされたものであり、動画に対する電子透かし埋め込みに際して、動き検出を実行して、電子透かし検出の信頼性を確保しながら人間の目に感知しにくくなるように電子透かしを埋め込むことを可能とする電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラムを提供することを目的とする。
【0050】
さらに具体的には、画像が静止している場合には電子透かしパターンも静止させ、画像が動いている場合には電子透かしパターンも追従して動かすことにより、電子透かし検出の信頼性を確保しながら人間の目に感知しにくくなるように電子透かしを埋め込むことを可能とした電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラムを提供することを目的とする。
【0051】
【課題を解決するための手段】
本発明の第1の側面は、
画像信号に対する電子透かしの埋め込み処理を実行する電子透かし埋め込み処理装置であり、
埋め込み情報に基づいて第1の電子透かしパターンを生成する電子透かしパターン生成手段と、
電子透かしパターン埋め込み処理対象となる画像信号を分割したブロック領域単位で動きベクトルを取得し、取得された複数の動きベクトルの大きさおよび方向の統計的評価に基き一つの動きベクトルを求め、該一つの動きベクトルを前記画像信号の動き情報として出力する動き検出手段と、
前記動き情報のベクトル量分だけ前記第1の電子透かしパターン全体を平行移動させることにより、前記第1の電子透かしパターンを前記動き情報の示す動きに追従する動きを示すように修正した第2の電子透かしパターンを生成する電子透かしパターン修正手段と、
電子透かしパターン修正手段により生成した前記第2の電子透かしパターンを前記画像信号に対して埋め込む処理を実行する加算手段と、
を有することを特徴とする電子透かし埋め込み処理装置にある。
【0061】
さらに、本発明の第2の側面は、
画像信号に対する電子透かしの埋め込み処理を実行する電子透かし埋め込み処理方法であり、
埋め込み情報に基づいて第1の電子透かしパターンを生成する電子透かしパターン生成ステップと、
電子透かしパターン埋め込み処理対象となる画像信号を分割したブロック領域単位で動きベクトルを取得し、取得された複数の動きベクトルの大きさおよび方向の統計的評価に基き一つの動きベクトルを求め、該一つの動きベクトルを前記画像信号の動き情報として出力する動き検出ステップと、
前記動き情報のベクトル量分だけ前記第1の電子透かしパターン全体を平行移動させることにより、前記第1の電子透かしパターンを前記動き情報の示す動きに追従する動きを示すように修正した第2の電子透かしパターンを生成する電子透かしパターン修正ステップと、
前記電子透かしパターン修正ステップにおいて生成した前記第2の電子透かしパターンを前記画像信号に対して埋め込む処理を実行する加算ステップと、
を有することを特徴とする電子透かし埋め込み処理方法にある。
【0062】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記動き検出ステップは、画像信号をフレーム毎に読み込み、フレーム内の画像を複数ブロックに分割する信号分割ステップと、前記信号分割ステップにおいて分割した各ブロックデータに基づいて、時間的に連続する複数のフレームデータ間の相関を、各ブロック単位で計算し相関情報を出力する相関計算ステップと、前記相関計算ステップにおいて出力するブロック単位の相関情報に基づいて、各ブロック毎に動きベクトルを算出し、ブロック数に応じて算出された複数の動きベクトルの大きさおよび方向の統計的評価処理を実行して前記フレーム毎に一つの動きベクトルを求め、該一つの動きベクトルを前記フレームの動き情報Vとして出力する動き判定ステップとを有し、前記電子透かしパターン修正ステップは、前記動き情報Vのベクトル量分だけ前記第1の電子透かしパターン全体を平行移動させることにより、前記第1の電子透かしパターンを前記動き情報の示す動きに追従する動きを示すように修正した第2の電子透かしパターンを生成するステップであることを特徴とする。
【0063】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記動き検出ステップは、電子透かしパターン埋め込み処理対象となる画像信号をフレーム単位で均等に複数分割したブロック領域毎に動きベクトルを取得する処理を実行することを特徴とする。
【0064】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記動き検出ステップは、電子透かしパターン埋め込み処理対象となる画像信号をフレーム単位で微少領域に分割したブロック領域毎に動きベクトルを取得する処理を実行し、同様の動きベクトルを持つ画像領域を1つのオブジェクト領域と判定し、オブジェクト単位の動きベクトル間における評価処理に基づいて動き情報を出力することを特徴とする。
【0065】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記動き検出ステップは、ブロック領域単位で求められる複数の動きベクトルの評価処理を、複数の動きベクトルについて、過半数をしめる方向および大きさを持つ動きベクトルに対応する情報を動き情報Vとして出力する構成であることを特徴とする。
【0066】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記動き検出ステップは、ブロック領域単位で求められる複数の動きベクトルの評価処理を、複数の動きベクトルについて、方向および大きさが最多数の動きベクトルに対応する情報を動き情報Vとして出力することを特徴とする。
【0067】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記動き検出ステップは、ブロック領域単位で求められる複数の動きベクトルの評価処理を、複数の動きベクトルについての平均値の取得処理として実行し、動き情報Vとして出力することを特徴とする。
【0068】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記動き検出ステップは、ブロック領域単位で求められる複数の動きベクトルについて、大きな動きを示す動きベクトルに対しては、重み付けを大とし、小さな動きを示す動きベクトルに対しては、重み付けを小とした評価処理に基づいて動き情報Vを出力することを特徴とする。
【0069】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記動き検出ステップは、ブロック領域単位で求められる複数の動きベクトルについて、画像中心に近い領域の動きベクトルに対しては、重み付けを大とし、画像周辺部に近い領域の動きベクトルに対しては、重み付けを小とした評価処理に基づいて動き情報Vを出力することを特徴とする。
【0070】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記電子透かし埋め込み処理方法は、さらに、電子透かしパターン埋め込み処理対象となる画像信号の画像フォーマットの縮小処理を実行する信号縮小ステップを有し、前記動き検出ステップは、前記信号縮小ステップにおいて縮小された画像データについて、分割したブロック領域単位で動きベクトルを取得し、該動きベクトルの評価処理に基いて動き情報を出力することを特徴とする。
【0071】
さらに、本発明の第3の側面は、
画像信号に対する電子透かしの埋め込み処理をコンピュータ・システム上で実行せしめるプログラムであって、
埋め込み情報に基づいて第1の電子透かしパターンを生成する電子透かしパターン生成ステップと、
電子透かしパターン埋め込み処理対象となる画像信号を分割したブロック領域単位で動きベクトルを取得し、取得された複数の動きベクトルの大きさおよび方向の統計的評価に基き一つの動きベクトルを求め、該一つの動きベクトルを前記画像信号の動き情報として出力する動き検出ステップと、
前記動き情報のベクトル量分だけ前記第1の電子透かしパターン全体を平行移動させることにより、前記第1の電子透かしパターンを前記動き情報の示す動きに追従する動きを示すように修正した第2の電子透かしパターンを生成する電子透かしパターン修正ステップと、
前記電子透かしパターン修正ステップにおいて生成した前記第2の電子透かしパターンを前記画像信号に対して埋め込む処理を実行する加算ステップと、
を有することを特徴とするプログラムにある。
【0072】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する媒体、例えば、CDやFD、MOなどの記憶媒体に格納されて提供可能であり、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・プログラムをコンピュータ可読な形式で提供する媒体に記憶可能である。媒体は、CDやFD、MOなどの記録媒体、あるいは、ネットワークなどの伝送媒体など、その形態は特に限定されない。
【0073】
このようなプログラムは、プロセッサ制御の下でプログラムの読み取りに基づき、システムの有する各種機能の実行を規程するとともに、システム上の協働的作用を発揮するものであり、本発明の他の側面と同様の作用効果を得ることができるものである。
【0074】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【0075】
【発明の実施の形態】
以下、図面を参照して、本発明の電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法について詳細に説明する。
【0076】
[電子透かし埋め込み処理装置構成例1]
図3は、本発明の一実施例に係る電子透かし埋め込み処理装置100を示すブロック図である。電子透かし埋め込み処理装置100において、PN生成部121はPN(Pseudorandom Noise;擬似雑音符号)系列の乱数データPNを生成し、これを基本パターンとして電子透かしを埋め込む。続く乗算部122は電子透かし埋め込み情報DCをこの乱数データPNによりスペクトラム拡散し、これを電子透かしパターンWM1とする。埋め込み情報DCを乱数データPNによりスペクトラム拡散することにより、解析困難な電子透かしパターンWM1を生成することができる。図3の構成において、PN生成部121、乗算部122が電子透かしパターンWM1を生成するための第1の電子透かしパターン生成手段を構成する。
【0077】
なお、電子透かし埋め込み情報DCは、例えば複製制御情報として、電子透かし埋め込み対象信号に応じて、「複製可能(CopyFree)」、「1回複製可能(Copy Once)」「絶対複製禁止(Never Copy)」などを意味する情報を含む情報である。
【0078】
電子透かし埋め込み処理装置100において、動き検出部123は順次入力されるデジタルビデオ信号DV1に対して画像の動き検出を行い、動き情報Vを出力する。この動き検出部123における動き検出処理は人間の視覚特性を考慮した画像分析手法により、入力画像を分析することにより実行される。
【0079】
本発明の電子透かし埋め込み処理装置100は、動き検出部123の検出した動き情報に基づいて、画像が静止している場合には電子透かしパターンも静止させ、画像が動いている場合には電子透かしパターンも追従して動かす処理を実行する構成としたことにより、人間の目に感知しにくくなるように電子透かしを埋め込むものである。これにより全体の埋め込み強度を変えることなく、電子透かしの画質に及ぼす影響を効果的に抑えることができる。
【0080】
図4は、電子透かし埋め込み処理装置100中の動き検出部123の詳細構成を示すブロック図である。動き検出部123において、信号記憶部126は順次入力されるデジタルビデオ信号DV1をフレーム毎に記憶し、1フレーム遅延させた遅延デジタルビデオ信号DV1’を出力する。ここでは時間的に連続する2つの画像信号は相関の高い画素値となることを利用して、最適に設定した探索範囲においてフレーム相関が最大になるような動きベクトルを決定することにより、画像信号の動き検出を行う。
【0081】
続く相関計算部127は、この信号記憶部126が出力する遅延デジタルビデオ信号DV1’と入力デジタルビデオ信号DV1とのフレーム相関を計算し、相関情報Mを出力する。ここでは時間的に連続する2つのデジタルビデオ信号DV1’とDV1において、例えばそれぞれ対応する画素間で輝度値の差分の絶対値を計算し、フレーム内で総和したマッチング値をフレーム相関の指標とする。すなわち、動きベクトルの探索範囲(Vx,Vy)におけるマッチング値は、以下の式で示される値となる。
【0082】
【数12】
M(Vx,Vy)
=Σ|DV1’(x,y)−DV1(x+Vx,y+Vy)|
【0083】
次に動きベクトルの探索範囲を変更して、上記[数12]の計算を繰り返し、それぞれの動きベクトルに対するマッチング値を全て算出する。これにより、動きベクトルの探索範囲(Vx,Vy)におけるフレーム相関平面が得られる。
【0084】
続く動き判定部128は、この相関計算部127が出力する相関情報Mに基づいてフレーム相関が最大になる動きベクトル(Vx,Vy)を決定し、動き情報Vを出力する。すなわち相関計算部127で得られたフレーム相関平面において、最大の相関を与える(この場合は最小のマッチング値となる)動きベクトル(Vx,Vy)を動き情報Vとして出力する。動き情報は以下に示す式によって示される。
【0085】
【数13】
V(x,y)
=arg min M(Vx,Vy)
【0086】
このとき遅延デジタルビデオ信号DV1’は、動きベクトル(Vx,Vy)により移動して入力デジタルビデオ信号DV1に時間変化したことになる。これにより最適に設定した探索範囲において、時間的に連続する2つの画像信号のフレーム相関を最大化するような動きベクトルを決定することにより、画像信号の動き情報を検出することができる。
【0087】
図3に戻り、電子透かし埋め込み処理装置の説明を続ける。信号変調部124は、動き検出部123が出力する動き情報Vを入力し、動き情報Vに基づいて電子透かしパターンWM1を変調し、人間の視覚特性を考慮した電子透かしパターンWM2を加算部125に出力する。すなわち、信号変調部124は、動き検出部123が出力する動き情報Vのベクトル量に対応した分だけ第1の電子透かしパターンWM1全体を平行移動させて電子透かしパターンWM2を生成することにより、第1の電子透かしパターンを動き情報の示す動きに追従する動きを示すように修正した第2の電子透かしパターンを生成する電子透かしパターン修正手段として機能する。
【0088】
信号変調部124は、入力デジタルビデオ信号DV1が静止している場合には、動き検出部123が出力する動き情報V=(0,0)に応じて電子透かしパターンWM1も静止させたパターンとして変調して電子透かしパターンWM2を生成し、入力デジタルビデオ信号DV1が動きベクトル(Vx,Vy)により移動する場合には、動き検出部123が出力する動き情報V=(Vx,Vy)に応じて電子透かしパターンWM1を画像に追従して動かす処理を実行した変調処理により電子透かしパターンWM2を生成して加算部125に出力する。この処理により、静止画には、静止した電子透かしパターン埋め込み、動画には、動きに追従した電子透かしパターン埋め込みが可能となり、人間の目に感知しにくくなるように電子透かしを埋め込むことができる。これにより全体の埋め込み強度を変えることなく、電子透かしの画質に及ぼす影響を効果的に抑制することが可能になる。
【0089】
動き検出部123が出力する動き情報Vに従って、信号変調部124が電子透かしパターンWM1の変調処理を実行することによって生成した電子透かしパターンWM2を入力する加算部125は、入力デジタルビデオ信号DV1に信号変調部124が出力する電子透かしパターンWM2を加算することにより、入力デジタルビデオ信号DV1と同一の形式により電子透かし情報DCを埋め込んだデジタルビデオ信号DV2を出力する。
【0090】
この出力デジタルビデオ信号DV2は、例えば、所定のエンコーダによりエンコードして放送局等より衛星波や地上波、ケーブル等の媒体を介して伝送されたり、また出力デジタルビデオ信号DV2を所定のエンコーダによりエンコードしてディスク原盤を露光し、このディスク原盤より光ディスクによって提供される。
【0091】
このように、図3に示す本発明の電子透かし埋め込み処理装置は、電子透かしの埋め込み処理対象画像の動き情報を取得し、動き情報に応じて電子透かしパターンの変調処理を実行して、静止画に対しては静止した電子透かしパターンを入力画像に加算し、動画には、動きに追従した電子透かしパターン埋め込みを実行する構成としたので、人間の目に感知しにくくなるように電子透かしを埋め込むことができる。これにより全体の埋め込み強度を変えることなく、電子透かしの画質に及ぼす影響を効果的に抑制することが可能になる。
【0092】
[電子透かし埋め込み処理フロー]
次に、本発明の電子透かし埋め込み処理装置における処理手順について、図5に示すフローを参照して説明する。図5は、例えばデジタルビデオ信号等の入力信号に対して動き検出を実行して、動き情報に応じた電子透かしパターンの変調を実行して入力信号に埋め込む処理を実行する電子透かし埋め込み処理装置の処理手順を示すフローチャートである。各ステップについて説明する。
【0093】
電子透かし埋め込み処理装置は、まず、ステップS11においてPN系列の乱数データを生成し、ステップS12において、電子透かし埋め込み対象信号に応じて、「複製可能(CopyFree)」、「1回複製可能(Copy Once)」「絶対複製禁止(Never Copy)」などの複製制御情報などからなる埋め込み情報を乱数データPNによりスペクトラム拡散し、電子透かしパターンWM1を生成する。
【0094】
続いて電子透かし埋め込み処理装置は、ステップS13において、入力デジタルビデオ信号DV1を順次フレームデータ毎に読み込み、ステップS14において、時間的に連続する入力デジタルビデオ信号DV1に対して画像相関を計算し、相関情報Mを出力する。続いて電子透かし埋め込み処理装置はステップS15において、相関情報Mに基づいて画像の動き検出を行い、動き情報Vを出力する。すなわち入力デジタルビデオ信号DV1をフレーム毎に記憶して1フレーム遅延させた遅延デジタルビデオ信号DV1’を生成し、時間的に連続する2つのデジタルビデオ信号DV1’とDV1とに基づいて、前述の[数12]を適用して、動きベクトルの探索範囲(Vx,Vy)においてフレーム相関平面を算出し、さらに[数13]を適用して最大の相関を与える動きベクトル(Vx,Vy)を決定し、これを動き情報Vとして出力する。
【0095】
続いて電子透かし埋め込み処理装置は、ステップS16において、動き情報Vに基づいて電子透かしパターンWM1を変調し、人間の視覚特性を考慮した電子透かしパターンWM2を出力する。すなわち検出された動き情報Vに基づいて、入力デジタルビデオ信号DV1が静止している場合には電子透かしパターンWM1も静止させ、入力デジタルビデオ信号DV1が動いている場合には電子透かしパターンWM1も追従して動かす処理を実行して電子透かしパターンWM2を生成して出力する。
【0096】
このような変調処理のなされた電子透かしパターンWM2は、入力画像が静止しているときは、静止し、入力画像に動きがあるときは、画像の動きに併せて移動することになり、人間の目に感知しにくくなる。これにより全体の埋め込み強度を変えることなく、電子透かしの画質に及ぼす影響を効果的に抑制することが可能になる。
【0097】
続いて電子透かし埋め込み処理装置は、ステップS17に移り、入力信号にこの変調した電子透かしパターンWM2を加算し、続くステップS18において、入力信号と同一の形式により電子透かし情報を埋め込んだ信号を出力する。
【0098】
続いて電子透かし埋め込み処理装置はステップS19において、入力信号の処理を完了したか否かを判断し、ここで否定結果が得られるとステップS13に戻り、以下の処理を繰り返し実行する。電子透かし埋め込み処理装置は、順次入力信号について、同様の処理を繰り返して入力信号を処理し、ステップS19における入力終了の判定において肯定結果が得られると、処理を完了する。
【0099】
[電子透かし埋め込み処理装置構成例2]
上述した電子透かし埋め込み処理装置は、画像信号のフレーム相関を利用して動き検出を行なう構成であった。しかし、このようなフレーム相関からの動き検出処理に基づく電子透かしパターンの調整処理においても電子透かしパターンが目立たないように設定されない場合がある。
【0100】
例えば図6は画像信号が横方向にシフトする場合の、図7は画像信号がズームアウトする場合の、ブロック分割を施した動き検出を説明する図である。この図6、図7の画像の例は走行している車と背景の家や木、そしてさらに後方の景色といった具合に画像信号中に複数の動きベクトルが存在する画像信号である。時間的に連続する画像信号(a)および(b)に対してフレーム相関を利用して、前述の[数12]および[数13]により動き情報を検出すると、フレーム全体に対して画像相関を計算することになるため、検出される動き情報は面積比が大きい物体の動きベクトルに大きく影響されることになる。
【0101】
このため、例えば図6の横方向シフトの例において、上述の手法では、フレーム相関による動き情報が面積比に依存して出力されることになり、電子透かしパターンは後方の景色の動きベクトル、この場合、ほとんど静止状態を示す動きベクトルであり、動き情報Vは、静止した動きベクトルに大きく依存することになる。従って、電子透かしを例えば走行している車の動きベクトルに電子透かしパターンを追従させようとしても、上述の方法では、追従がなされないことになる。
【0102】
また図7のズームアウトの例において、フレーム全体としては、例えば1方向へのシフトが存在しないため電子透かしパターンを静止させようとしても、フレーム相関による動き情報が面積比に依存することにより、電子透かしパターンは何らかの予期せぬ方向への動きベクトルに追従する可能性があり、通常の観察状態においても人間の視覚にとらえられてしまうような電子透かしとなる場合がある。
【0103】
上述のような問題を解決するために、画像信号に対してブロック分割等の前処理を施した上で画像信号のブロック相関を利用して動き検出を行って電子透かしの埋め込み処理を実行する電子透かし埋め込み処理装置について、以下、説明する。
【0104】
図6および図7の例において、まず時間的に連続する画像信号(a)および(b)に対して複数の画像ブロックへの分割を行い、適当なブロックサイズの分割画像信号(c)および(d)に変換した上で、これらの分割画像信号(c)および(d)の各ブロックに対してブロック相関を利用して、前述のマッチング値算出式[数12]および動き情報算出式[数13]に基づいて、各ブロックにおける動き情報(e)を検出する。図6,図7の例では、1フレーム画像を9ブロックに分割してあるが、分割ブロック数は任意の数に設定可能である。
【0105】
分割した各ブロックに対して動きベクトルが算出され、算出された複数の動きベクトルについて、所定の評価を行ない、評価結果に基づいてその画像信号全体の最適な動き情報(f)を一つ設定する。
【0106】
ブロック領域単位で求められる複数の動きベクトルについての評価方法は、様々に設定可能である。例えば複数の動きベクトルについて、方向および大きさが最多数の動きベクトルを選択して、この最多数を占めるベクトルに対応する情報を動き情報Vとして出力する。または、複数の動きベクトルについての平均値を取得して、平均値を動き情報Vとして出力するなどの処理が可能である。
【0107】
さらに、ブロック領域単位で求められる複数の動きベクトルについて、大きな動きを示す動きベクトルに対しては、重み付けを大とし、小さな動きを示す動きベクトルに対しては、重み付けを小とした評価処理に基づいて動き情報Vを出力する。あるいは、画像中心に近い領域の動きベクトルに対しては、重み付けを大とし、画像周辺部に近い領域の動きベクトルに対しては、重み付けを小とした評価処理に基づいて動き情報Vを出力する構成とするなどである。
【0108】
具体的には、例えば分割した複数ブロックのうち過半数以上のブロックにおいて1方向への動きベクトルが算出された場合には、多数決によりその動きベクトルをこの画像信号の動き情報とする方法がある。
【0109】
また各ブロック毎に算出された動きベクトルに対して、その動きベクトルの大きさで重み付けを行って動きベクトルを評価判定する構成としてもよい。人間の目は、より大きな動きを持つ領域に集中しやすい傾向があり、動きベクトルが大きい場合には重み付けを大とすることで、人間の目が集中しやすい動きのある部分を重視した、画像信号の動き情報を取得することができる。
【0110】
さらに各ブロック毎に算出された動きベクトルに対して、画像中央部分のブロックが大きく、画像周縁部分のブロックが小さくなるような重み付けを行って動きベクトルを評価判定することにより、人間の目が集中しやすい画像中央部分を重視した、画像信号の動き情報を取得することができる。
【0111】
このように、ブロック分割した各領域において、動きベクトルを算出し、算出された複数の動きベクトルの評価に基づいて取得した動き情報に基づいて、埋め込み電子透かしパターンの調整をする。このような構成によれば、例えば図6の横方向シフトの例において、前述のフレーム相関を利用した際には後方の景色の動きベクトルが画像信号の動き情報として検出され、ほとんど静止状態の電子透かしパターン埋め込みがなされるのに対して、本実施例におけるブロック相関を利用した複数の動きベクトル検出による手法を実行し、例えば人間の目が集中しやすい動きのある部分や画像中央部分を重視して動きベクトルを評価判定すれば、走行する車に追従するような画像信号の動き情報(f)を抽出して、走行する車に追従する電子透かしパターン埋め込みがなされることになる。
【0112】
また図7のズームアウトの例において、前述のフレーム相関を利用した際には何らかの予期せぬ方向への動きベクトルが画像信号の動き情報として検出され、予期せぬ方向への動きを示す電子透かしパターン埋め込みがなされるのに対して、本実施例におけるブロック相関を利用した複数の動きベクトル検出による手法を実行し、例えば多数決により動きベクトルを評価判定する方法を採用すれば、どの方向にも追従しない静止画と同様の動き情報(f)を抽出することができ、ほとんど静止状態の電子透かしパターン埋め込みがなされることになる。
【0113】
このように、ブロック分割した各領域において、動きベクトルを算出し、算出された複数の動きベクトルの評価に基づいて動き情報を取得することにより、人間の視覚特性に合致した動き検出が可能になり、元の電子透かしパターン(g)を取得された動きベクトルに追従させるように調整処理により電子透かしパターン(h)を変調した後、画像信号に重畳することにより、電子透かしの画質に及ぼす影響を効果的に抑制し、視覚的に目立たない電子透かしの埋め込みが可能となる。
【0114】
図6、図7では、画像を9ブロックに分割した例について説明したが、さらに細密なブロック分割を行った上で、画像信号のオブジェクト毎のブロック相関を利用して動き検出を行い、画像信号の動き情報を検出してもよい。
【0115】
例えば図8は、先に説明した図6に示す画像と同様、画像信号が横方向シフトする場合の、微少ブロックへの分割を施し、各ブロックの動き情報からオブジェクト毎の動きを検出する処理を説明する図である。この図8に示す例において、まず時間的に連続する画像信号(a)および(b)に対して多数の微少な画像ブロックへの分割を行い、各ブロックについて動きベクトル検出処理を実行する。
【0116】
すなわち、各ブロックサイズの分割画像信号(c)および(d)に変換し、これらの分割画像信号(c)および(d)の各ブロックに対してブロック相関を利用して、前述のマッチング値算出式[数12]および動きベクトル算出式[数13]に基づいて、各ブロックにおける動き情報(e)を検出する。
【0117】
微少ブロックにおける多数の動きベクトルのうち同方向への動きベクトルを有する複数ブロックをまとめて1つのオブジェクトとして判定する。図8(e)のように、家、車、木の各領域において、ほぼ同様の動きベクトルを持つ領域が抽出され、3つの異なる動きベクトルを持つオブジェクトが抽出される。さらに、各オブジェクト毎に算出された複数の動きベクトルを評価判定し、その結果、その画像信号全体の最適な動き情報(f)を一つ抽出する。すなわち、同様の動きベクトルを持つ画像領域を1つのオブジェクト領域と判定し、オブジェクト単位の動きベクトル間における評価処理に基づいて動き情報を出力する。
【0118】
なお、動きベクトルの評価は、前述したように、過半数をしめるベクトルを抽出、多数決、または最も動きの大きなものに大きな重み付けを行なう、あるいは画面中央部に大きな重み付けを行なうなどの方法が適用可能である。また、これらの評価は複合的に適用、すなわち、動きの大きなもので中央部にあるものについては、さらに大きな重みづけを行なうといった評価方法を適用してもよい。
【0119】
このように、ブロック分割した各領域において、動きベクトルを算出し、算出された複数の動きベクトルの評価に基づいて動き情報を取得して取得した動き情報に基づいて電子透かしの埋め込み処理を実行する電子透かし埋め込み処理装置は、先の図3の電子透かし埋め込み処理装置100において動き検出部123の構成を変更することによって実現される。
【0120】
図9は、ブロック分割等の前処理を施した上で画像信号のブロック相関を利用して動き検出を行う、電子透かし埋め込み処理装置100中の動き検出部123を示すブロック図である。まず動き検出部123において、信号分割部129は順次入力されるデジタルビデオ信号DV1を適当なサイズの複数ブロック(例えばn)に分割し、ブロック分割された分割デジタルビデオ信号DV1Bを出力する。続く信号記憶部130は、この信号分割部129が出力する分割デジタルビデオ信号DV1Bをフレーム毎に記憶し、1フレーム遅延させた遅延分割デジタルビデオ信号DV1B’を出力する。ここでは時間的に連続する2つの画像信号は相関の高い画素値となることを利用して、最適に設定した探索範囲において、n個の各ブロック毎にブロック相関が最大になるような動きベクトルを評価判定することにより、画像信号の動き検出を行う。
【0121】
続く相関計算部131は、信号記憶部130が出力する遅延分割デジタルビデオ信号DV1B’と分割デジタルビデオ信号DV1Bとの各ブロック毎のブロック相関を計算し、相関情報Mを出力する。ここでは時間的に連続する2つのデジタルビデオ信号DV1B’とDV1Bにおいて、前述の[数12]を適用してそれぞれ対応する画素間で輝度値の差分の絶対値を各ブロック内で総和したマッチング値を計算し、これをブロック相関の指標とする。次に動きベクトルの探索範囲を変更して[数12]の計算を繰り返し、それぞれの動きベクトルに対するマッチング値を全て算出する。これにより、動きベクトルの探索範囲(Vx,Vy)におけるn個の各ブロック毎のブロック相関平面が得られる。
【0122】
動き判定部132は、相関計算部131が出力する相関情報Mに基づいてn個の各ブロック毎にブロック相関が最大になる動きベクトル(Vx,Vy)を決定し、さらにこれらの複数の動きベクトルを評価判定することにより動き情報Vを出力する。すなわち相関計算部131で得られた各ブロック毎のブロック相関平面において、前述の[数13]に基づいて最大の相関を与えるn個の動きベクトル(Vx,Vy)が算出される。
【0123】
次に、動き判定部132は、これらのn個のブロックに対応するn個の動きベクトル(Vx,Vy)の評価を実行する。評価は、前述したように、多数決方式、あるいは最も動きの大きなものに大きな重み付けを行なったり、画面中央部に大きな重み付けを行なうなどの方法が適用可能である。
【0124】
例えば、多数決方式の評価を実行する場合は、分割したn個の複数ブロックのうち過半数以上のブロックにおいて1方向への動きベクトルが算出された場合には、その動きベクトルをこの画像信号の動き情報Vとして設定する。また各ブロック毎に算出された動きベクトルに対して、その動きベクトルの大きさで重み付けを行って動きベクトルを評価判定する場合は、重み付け係数を各算出ベクトルに乗算し総和を算出するなどの演算を実行する。このような手法で出力した動き情報Vに基づいて電子透かしパターンの調整を実行することにより、人間の目が集中しやすい動きのある部分を重視した、画像信号の動き情報を検出することができる。
【0125】
あるいは、各ブロック毎に算出された動きベクトルに対して、画像中央部分のブロックに大きく、画像周縁部分のブロックに小さい重み付けを行って、各動きベクトルを評価判定も可能である。この評価手法によれば、人間の目が集中しやすい画像中央部分を重視した、画像信号の動き情報を検出することができる。
【0126】
[画像フォーマット変換を伴う動きベクトル検出処理]
ところで画像相関を利用した動き情報の検出は演算量が膨大であり、前述のマッチング算出式[数12]の演算量は画像信号のフレームサイズと動きベクトル探索範囲との積に比例する。これはHD(High Definition)画像信号から動き検出を行って電子透かし情報を埋め込む際に特に問題となり、動きベクトルを精度良く検出するためには高効率な動き検出アルゴリズムの実現が重要である。
【0127】
この演算量の増加という問題を解決する構成について、以下、説明する。演算量の増加を解決するために、画像信号に対してフォーマット縮小等の前処理を施した上で画像信号のフレーム相関を利用して動き検出を行う。
【0128】
図10は、画像信号が横方向シフトする場合の、フォーマット縮小を施した動き検出処理について説明する図である。まず時間的に連続する画像信号(a)および(b)に対して画像フォーマットの縮小を行い、適当なフレームサイズの縮小画像信号(c)および(d)に変換する。
【0129】
これらの縮小画像信号(c)および(d)に対してフレーム相関を利用して、前述のマッチング値算出式[数12]および動きベクトル算出式[数13]に基づいて、動きベクトル、すなわち動き情報(e)を算出する。このような縮小処理による画像フォーマット変換を経た場合でも時間的に連続する2つの画像信号は相関の高い画素値となる。この縮小画像信号(c)および(d)において最適に設定した探索範囲においてフレーム相関が最大になるような動きベクトルを決定する。このように、画像フォーマットの縮小を行なうことにより、少ない演算量で画像信号の動き検出を行うことができる。なおこのようにして検出された動き情報(e)は縮小画像信号の動きベクトルであり、元の縮尺に拡大することにより元の画像信号の動き情報(f)を得ることができる。
【0130】
図10に示す例は、画像全体の処理を実行して1つの動きベクトルを算出する処理例を示しているが、図6、図7、図8等を用いて説明したブロック分割を実行して、各ブロックにおいて、前述のマッチング値算出式[数12]および動きベクトル算出式[数13]に基づいて、各ブロック毎の動きベクトルを算出する場合も、このような縮小処理による画像フォーマット変換を経た後に算出処理を実行することで演算量が低減する。この構成例については、後段で説明する。
【0131】
例えば画像信号に対して水平方向、垂直方向共に1/2になるような画像フォーマット変換を施した場合、縮小画像信号のフレームサイズは元の画像信号の(1/2)×(1/2)=1/4に低減することができる。このようにすれば、前述の[数12]を適用した演算において、動き検出に要する演算量は画像信号のフレームサイズと動きベクトル探索範囲との積に比例するから、1/4の演算量で画像信号の高効率な動き検出を行うことができ、高速処理が可能となる。
【0132】
なお、画像フォーマットの縮小を行なうことにより設定可能な動きベクトルの探索範囲も水平方向、垂直方向共に1/2の精度に落ちるため、実用上十分な検出精度が確保できる範囲において画像信号のフレームサイズを縮小し、動き検出に要する演算量を低減させる必要がある。このようにして検出された縮小画像信号の動き情報(e)を2倍することにより元の画像信号の動き情報(f)が得られ、元の電子透かしパターン(g)をこうして検出された動きベクトルにより移動して電子透かしパターン(h)に変調した後画像信号に重畳することにより、電子透かしの画質に及ぼす影響を効果的に抑制し、視覚的に目立ち難い電子透かし埋め込みが実現される。
【0133】
また画像フォーマットの縮小に際しては、実用上十分な検出精度が確保できる範囲においてより簡易的にフォーマット変換を施すことができる。例えば水平方向1/m、垂直方向1/nになるように画像フォーマットを縮小する場合には、水平方向1/m、垂直方向1/nになるようにサンプルを間引くことによりフォーマット変換を施してもよい。また水平方向mピクセル×垂直方向nピクセルのブロックにおいて、相加平均等により新しいサンプルを算出することによりフォーマット変換を施してもよい。
【0134】
このように、画像のフォーマット変換をした後、動きベクトルを算出し、算出された動きベクトルに基づいて動き情報を取得して取得した動き情報に基づいて電子透かしの埋め込み処理を実行する電子透かし埋め込み処理装置は、先の図3の電子透かし埋め込み処理装置100において動き検出部123の構成を変更することによって実現される。
【0135】
図11は、このように画像信号に対してフォーマット縮小等の前処理を施した上で画像信号のフレーム相関を利用して動き検出を行う電子透かし埋め込み処理装置100中の動き検出部123を示すブロック図である。図11に示す動き検出部123において、信号縮小部133は順次入力されるデジタルビデオ信号DV1を適当なフレームサイズの縮小画像にフォーマット変換し、フォーマット変換された縮小デジタルビデオ信号DV1Rを出力する。続く信号記憶部134は、この信号縮小部133が出力する縮小デジタルビデオ信号DV1Rをフレーム毎に記憶し、1フレーム遅延させた遅延縮小デジタルビデオ信号DV1R’を出力する。ここでは時間的に連続する2つの縮小画像信号は相関の高い画素値となることを利用して、最適に設定した探索範囲においてフレーム相関が最大になるような動きベクトルを決定することにより、画像信号の動き検出を行う。
【0136】
続く相関計算部135は、この信号記憶部134が出力する遅延縮小デジタルビデオ信号DV1R’と縮小デジタルビデオ信号DV1Rとのフレーム相関を計算し、相関情報Mを出力する。ここでは時間的に連続する2つのデジタルビデオ信号DV1R’とDV1Rにおいて、前述の[数12]を適用して、それぞれ対応する画素間で輝度値の差分の絶対値をフレーム内で総和したマッチング値を計算し、これをフレーム相関の指標とする。次に動きベクトルの探索範囲を変更して[数12]の計算を繰り返し、それぞれの動きベクトルに対するマッチング値を全て算出する。これにより、動きベクトルの探索範囲(Vx,Vy)におけるフレーム相関平面が得られる。
【0137】
動き判定部136は、相関計算部135が出力する相関情報Mに基づいてフレーム相関が最大になる動きベクトル(Vx,Vy)を決定し、動き情報Vを出力する。すなわち相関計算部135で得られたフレーム相関平面において、前述の[数13]に基づいて最大の相関を与える動きベクトル(Vx,Vy)を動き情報Vとして出力する。最適設定探索範囲において、時間的に連続する2つの縮小画像信号のフレーム相関を最大化するような動きベクトルを決定することにより、効果的に演算量を低減して高効率に画像信号の動き情報を検出することができる。
【0138】
[フォーマット変換およびブロック分割を実行する電子透かし埋め込み処理装置]
次に、画像信号に対してフォーマット縮小等の前処理を施し、さらに、前述の複数ブロックに分割して各ブロック毎に動きベクトルを算出して、複数の動きベクトルに基づいて動き情報を算出する構成とした電子透かし埋め込み処理装置について説明する。このような電子透かし埋め込み処理装置は、先の図3の電子透かし埋め込み処理装置100において動き検出部123の構成を変更することによって実現される。
【0139】
動き検出部の構成を図12を用いて説明する。図12示す動き検出部123において、信号縮小部141は順次入力されるデジタルビデオ信号DV1を適当なフレームサイズの縮小画像にフォーマット変換し、フォーマット変換された縮小デジタルビデオ信号DV1Rを出力する。続いて、縮小画像データは、信号分割部142に入力され、信号分割部142は順次入力される縮小デジタルビデオ信号DV1Rを適当なサイズの複数ブロック(例えばn)に分割し、ブロック分割された分割デジタルビデオ信号DV1RBを出力する。
【0140】
信号記憶部143は、信号分割部142が出力する縮小分割デジタルビデオ信号DV1RBをフレーム毎に記憶し、1フレーム遅延させた遅延分割デジタルビデオ信号DV1RB’を出力する。ここでは時間的に連続する2つの画像信号は相関の高い画素値となることを利用して、最適に設定した探索範囲において、n個の各ブロック毎にブロック相関が最大になるような動きベクトルを評価判定することにより、画像信号の動き検出を行う。
【0141】
続く相関計算部144は、信号記憶部143が出力する遅延分割デジタルビデオ信号DV1RB’と分割デジタルビデオ信号DV1RBとの各ブロック毎のブロック相関を計算し、相関情報Mを出力する。ここでは時間的に連続する2つのデジタルビデオ信号DV1RB’とDV1RBにおいて、前述の[数12]を適用してそれぞれ対応する画素間で輝度値の差分の絶対値を各ブロック内で総和したマッチング値を計算し、これをブロック相関の指標とする。次に動きベクトルの探索範囲を変更して[数12]の計算を繰り返し、それぞれの動きベクトルに対するマッチング値を全て算出する。これにより、縮小画像の各ブロックにおける動きベクトルの探索範囲(Vx,Vy)でブロック毎のブロック相関平面が得られる。
【0142】
動き判定部145は、相関計算部144が出力する相関情報Mに基づいてn個の各ブロック毎にブロック相関が最大になる動きベクトル(Vx,Vy)を決定し、さらにこれらの複数の動きベクトルを評価判定することにより動き情報Vを出力する。すなわち相関計算部144で得られた各ブロック毎のブロック相関平面において、前述の[数13]に基づいて最大の相関を与えるn個の動きベクトル(Vx,Vy)が算出される。
【0143】
次に、動き判定部145は、これらのn個のブロックに対応するn個の動きベクトル(Vx,Vy)の評価を実行する。評価は、前述したように、多数決方式、あるいは最も動きの大きなものに大きな重み付けを行なったり、画面中央部に大きな重み付けを行なうなどの方法が適用可能である。
【0144】
例えば、多数決方式の評価を実行する場合は、分割したn個の複数ブロックのうち過半数以上のブロックにおいて1方向への動きベクトルが算出された場合には、その動きベクトルをこの画像信号の動き情報Vとして設定する。また各ブロック毎に算出された動きベクトルに対して、その動きベクトルの大きさで重み付けを行って動きベクトルを評価判定する場合は、重み付け係数を各算出ベクトルに乗算し総和を算出するなどの演算を実行する。このような手法で出力した動き情報Vに基づいて電子透かしパターンの調整を実行することにより、人間の目が集中しやすい動きのある部分を重視した、画像信号の動き情報を検出することができる。
【0145】
あるいは、各ブロック毎に算出された動きベクトルに対して、画像中央部分のブロックに大きく、画像周縁部分のブロックに小さい重み付けを行って、各動きベクトルを評価判定も可能である。この評価手法によれば、人間の目が集中しやすい画像中央部分を重視した、画像信号の動き情報を検出することができる。
【0146】
このように、縮小処理によるフォーマット変換を実行し、かつブロック分割した領域毎に動きベクトルを取得して、動き情報を取得する構成によれば、動きベクトルの算出処理数は、プロック数に応じて増加するが、縮小処理により演算量の低減が実現でき、演算量を大幅に増大させることなく、最適な電子透かし調整、埋め込みが可能となり、高効率に画像信号の動き情報を検出し、電子透かしの画質に及ぼす影響を効果的に抑制し、視覚的に目立ち難い電子透かし埋め込みが実現される。
【0147】
[電子透かし埋め込み処理フロー]
次に、上述したブロック分割あるいはフォーマット変換等の処理を実行する電子透かし埋め込み処理装置における処理手順について、図13に示すフローを参照して説明する。図13は、例えばデジタルビデオ信号等の入力信号に対してブロック分割あるいはフォーマット変換等の処理を実行した後、動き検出を実行して、動き情報に応じた電子透かしパターンの変調を実行して入力信号に埋め込む処理を実行する電子透かし埋め込み処理装置の処理手順を示すフローチャートである。各ステップについて説明する。
【0148】
電子透かし埋め込み処理装置は、まず、ステップS31においてPN系列の乱数データを生成し、ステップS32において、電子透かし埋め込み対象信号に応じて、「複製可能(CopyFree)」、「1回複製可能(Copy Once)」「絶対複製禁止(Never Copy)」などの複製制御情報などからなる埋め込み情報を乱数データPNによりスペクトラム拡散し、電子透かしパターンWM1を生成する。
【0149】
続いて電子透かし埋め込み処理装置は、ステップS33において、入力デジタルビデオ信号DV1を順次フレームデータ毎に読み込み、ステップS34において、入力デジタルビデオ信号DV1に対して前処理を施す。この前処理は、前述したブロック分割処理、あるいは縮小等のフォーマット変換の少なくともいずれかの処理、または2つの処理をシーケンシャルに実行する処理として行なわれる。
【0150】
例えば前処理として、入力デジタルビデオ信号DV1に対してブロック分割を施し、分割デジタルビデオ信号DV1Bを出力する。このブロック分割により、人間の視覚特性に合致した画像信号の動き検出が可能となる。または入力デジタルビデオ信号DV1に対してフォーマット縮小を施し、縮小デジタルビデオ信号DV1Rを出力する。この前処理により、少ない演算量で画像信号の動き検出が可能となる。あるいは、入力デジタルビデオ信号DV1に対してフォーマット縮小を施し、縮小デジタルビデオ信号DV1Rを出力し、さらに、入力デジタルビデオ信号DV1Rに対してブロック分割を施し、分割デジタルビデオ信号DV1RBを出力する。
【0151】
次に、ステップS35において、前処理の施された時間的に連続する入力デジタルビデオ信号DV1R、またはDV1B、またはDV1RBに対して画像相関を計算し、相関情報Mを出力する。続いて電子透かし埋め込み処理装置はステップS36において、相関情報Mに基づいて画像の動き検出を行い、動き情報Vを出力する。
【0152】
例えば、分割デジタルビデオ信号DV1Bをフレーム毎に記憶して1フレーム遅延させた遅延デジタルビデオ信号DV1B’を生成し、時間的に連続する2つのデジタルビデオ信号DV1B’とDV1Bにおいて、前述の[数12]に基づいて、動きベクトルの探索範囲(Vx,Vy)における各ブロック毎のブロック相関平面を算出し、[数13]に基づいて各ブロック毎に最大の相関を与える動きベクトル(Vx,Vy)を決定し、これらの複数の動きベクトルを評価判定することにより動き情報Vを出力する。
【0153】
または、縮小デジタルビデオ信号DV1Rをフレーム毎に記憶して1フレーム遅延させた縮小デジタルビデオ信号DV1R’を生成し、時間的に連続する2つのデジタルビデオ信号DV1R’とDV1Rにおいて、前述の[数12]に基づいて、動きベクトルの探索範囲(Vx,Vy)におけるフレーム相関平面を算出し、前述の[数13]に基づいて、最大の相関を与える動きベクトル(Vx,Vy)を決定し、これを動き情報Vとして出力する。
【0154】
あるいは、縮小分割デジタルビデオ信号DV1RBをフレーム毎に記憶して1フレーム遅延させた遅延デジタルビデオ信号DV1RB’を生成し、時間的に連続する2つの縮小分割デジタルビデオ信号DV1RB’とDV1RBにおいて、前述の[数12]に基づいて、動きベクトルの探索範囲(Vx,Vy)における各ブロック毎のブロック相関平面を算出し、[数13]に基づいて各ブロック毎に最大の相関を与える動きベクトル(Vx,Vy)を決定し、これらの複数の動きベクトルを評価判定することにより動き情報Vを出力する。
【0155】
続いて電子透かし埋め込み処理装置は、ステップS37において、動き情報Vに基づいて電子透かしパターンWM1を変調し、人間の視覚特性を考慮した電子透かしパターンWM2を出力する。すなわち検出された動き情報Vに基づいて、入力デジタルビデオ信号DV1が静止している場合には電子透かしパターンWM1も静止させ、入力デジタルビデオ信号DV1が動いている場合には電子透かしパターンWM1も追従して動かす処理を実行して電子透かしパターンWM2を生成して出力する。このような変調処理のなされた電子透かしパターンWM2は、入力画像が静止ししているときは、静止し、入力画像に動きがあるときは、画像の動きに併せて移動することになる。
【0156】
続いて電子透かし埋め込み処理装置は、ステップS38に移り、入力信号にこの変調した電子透かしパターンWM2を加算し、続くステップS39において、入力信号と同一の形式により電子透かし情報を埋め込んだ信号を出力する。
【0157】
続いて電子透かし埋め込み処理装置はステップS40において、入力信号の処理を完了したか否かを判断し、ここで否定結果が得られるとステップS33に戻り、以下の処理を繰り返し実行する。電子透かし埋め込み処理装置は、順次入力信号について、同様の処理を繰り返して入力信号を処理し、ステップS40における入力終了の判定において肯定結果が得られると、処理を完了する。
【0158】
本発明のブロック分割した各領域において、動きベクトルを算出し、算出された複数の動きベクトルの評価に基づいて動き情報を取得する構成によれば、人間の視覚特性に合致した動き検出に基づく電子透かしパターンの変調が可能となり、画像信号に重畳することにより、電子透かしの画質に及ぼす影響を効果的に抑制し、視覚的に目立たない電子透かしの埋め込みが可能となる。
【0159】
また、本発明の画像縮小等のフォーマット変換処理後の画像についての動きベクトルを算出する構成によれば、動きベクトルの算出に必要な演算量が低減され、動きベクトルの算出効率、電子透かし埋め込み処理効率の向上が達成される。
【0160】
[電子透かし検出処理装置]
次に図14を参照して、電子透かし検出処理装置の構成について説明する。図14に示す電子透かし検出処理装置150は、例えば放送局等より衛星波や地上波、ケーブル等の媒体を介して受信して得られるデジタルビデオ信号DV2や、光ディスク等を再生して得られるデジタルビデオ信号DV2より、埋め込まれた電子透かし情報DCを検出する。
【0161】
電子透かし検出装置150において、PN生成部151はPN系列の乱数データPNを生成し、これを基本パターンとして電子透かしを検出する。このときPN生成部151は、電子透かし埋め込み処理装置100におけるPN生成部121またはPN生成部141と同一の乱数データPNを生成することにより、スペクトラム拡散を用いて解析困難に埋め込んだ電子透かし情報DCを正しく検出することができる。
【0162】
電子透かし検出装置150において、内積計算部152は順次入力されるデジタルビデオ信号DV2に対して乱数データPNとの内積値を計算し、内積値Sを出力する。続く比較判定部153は、この内積値Sを最適に設定した閾値と比較することにより、電子透かし情報DCの有無、さらには埋め込まれた電子透かし情報DCの極性を判定する。すなわち非負の閾値THに基づいて以下に示す判定を行なう。
【0163】
【数14】
S≦−TH :電子透かしあり(極性0)
|S|<TH :電子透かしなし
S≧TH :電子透かしあり(極性1)
【0164】
上記式のように、入力信号から埋め込み電子透かし情報DCを検出することができる。
【0165】
例えば、放送局等より衛星波や地上波、ケーブル等の媒体を介して受信して得られるデジタルビデオ信号DV2や、光ディスク等を再生して得られるデジタルビデオ信号DV2をコピーする際に、この電子透かし情報DCに基づいてコピー制限できるように成され、さらに不正コピーされた疑いのあるソースについては、ソースの出所を究明できるように成されている。
【0166】
[電子透かし検出処理フロー]
次に、電子透かし検出処理装置における処理手順について、図15に示すフローを参照して説明する。各ステップについて説明する。
【0167】
電子透かし検出処理装置は、まず、ステップS51において、PN系列の乱数データPNを生成する。続いて電子透かし検出処理装置は、ステップS52において、例えばデジタルビデオ信号DV2等のフレームデータを順次読み込み、ステップS53において、入力フレームデータと乱数データPNとの内積値を計算し、内積値Sを出力する。
【0168】
続いて電子透かし検出処理装置はステップS54において、算出した内積値Sを設定した閾値(TH)と比較することにより、電子透かし情報DCの有無、さらには埋め込まれた電子透かし情報DCの極性を判定する。すなわち非負の閾値THに対して、上述の[数14]の判定に基づいて入力信号から電子透かし情報DCを検出することができる。続いて電子透かし検出処理装置は、ステップS55において、このようにして検出された電子透かし情報DCを出力する。
【0169】
続いて電子透かし検出処理装置は、ステップS56に移り、入力信号の処理を完了したか否かを判断し、ここで否定結果が得られるとステップS52に戻り、順次入力データ毎に同様の処理手順を繰り返して入力信号を処理する。ステップS56において入力信号の終了判定について肯定結果が得られると、処理を完了する。
【0170】
[システム構成]
上述の実施例で述べた一連の処理は、ハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたデータ処理装置内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、例えば汎用のコンピュータや1チップのマイクロコンピュータ等にインストールされる。図16は、上述した一連の処理、具体的には、電子透かし埋め込み、検出の少なくともいずれかの処理を実行する装置のシステム構成例を示している。
【0171】
システムは、CPU(Central Processing Unit)202を有する。CPU(Central processing Unit)202は、各種アプリケーションプログラムや、OS(Operating System)を実際に実行する。ROM(Read-Only-Memory)203は、CPU202が実行するプログラム、あるいは演算パラメータとしての固定データを格納する。RAM(Random Access Memory)204は、CPU202の処理において実行されるプログラム、およびプログラム処理において適宜変化するパラメータの格納エリア、ワーク領域として使用される。CPU202、ROM203、RAM204、およびハードディスク205はバス201によって接続されており、相互にデータ転送が実行可能である。さらに入出力インタフェース211に接続された各種入出力装置とのデータ転送が可能となっている。
【0172】
キーボード212、マウス213はCPU202に各種の指令を入力するためにユーザにより操作され、コマンド入力データ入力などの際にユーザによって操作され、キーボードマウスコントローラ214介して入力される。
【0173】
ドライブ209は、フロッピーディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体210の記録再生を実行するドライブであり、各リムーバブル記録媒体210からのプログラムまたはデータ再生、リムーバブル記録媒体210に対するプログラムまたはデータ格納を実行する。
【0174】
CPU202は、入出力インタフェース210を介して、キーボード212やマウス213等を介して指令が入力されると、入力にしたがって、ROM(Read Only Memory)203に格納されているプログラムを実行する。
【0175】
上述の実施例における電子透かしの埋め込み対象となる画像等の信号、あるいは検出対象となる信号は、入力部207に接続されたカメラ2071他の入力機器、例えばスキャナ等のデータ入力装置、あるいはドライブ209に接続されたフロッピーディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体210から入力可能である。音声データの入力もマイク2072を介して可能な構成である。さらに、通信部208を介して受信するデータを電子透かしの埋め込み対象とするデータ、あるいは検出対象となるデータとして処理することも可能である。
【0176】
CPU202は、ROM格納プログラムに限らず、ハードディスク205に格納されているプログラム、衛星若しくはネットワークから転送され、通信部208で受信されてハードディスク205にインストールされたプログラム、またはドライブ209に装着されたリムーバブル記録媒体210から読み出されてハードディスク205にインストールされたプログラムを、RAM(Random Access Memory)204にロードして実行することも可能である。
【0177】
図16に示す構成を持つシステムにおいて、CPU202は、上述した各実施例にしたがった処理、あるいは上述したブロック図、フローチャートに従って行われる処理を行う。そして、CPU202は、その処理結果を、必要に応じて、例えば、入出力インタフェース211を介して、LCD(Liquid Crystal Display)やCRTなどの表示装置2061、スピーカ2062に対して出力部206を介して出力する。また、処理データは通信部208からの送信、さらには、ハードディスク205等の記録媒体に対する格納処理が可能である。
【0178】
各種処理の実行プログラムは、システムに内蔵されている記録媒体としてのハードディスク205やROM203に予め記録しておくことができる。あるいは、プログラムはフロッピーディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体210に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体210は、いわゆるパッケージソフトウエアとして提供することができる。
【0179】
なお、プログラムは、上述したようなリムーバブル記録媒体210からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部208で受信し、内蔵するハードディスク205にインストールすることができる。
【0180】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。
【0181】
また、プログラムは、1つのコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【0182】
なお上述の実施の形態においては、時間的に連続する2つのデジタルビデオ信号において、それぞれ対応する画素間で輝度値の差分の絶対値を計算して総和する例を中心として説明したが、本発明はこれに限らず、例えばそれぞれ対応する画素間で輝度値の積を計算して総和する相互相関を用いる構成においても適用することができる。
【0183】
また上述の実施の形態においては、時間的に連続する2つのデジタルビデオ信号の画像相関(マッチング)を利用して動き検出を行う場合について述べたが、本発明はこれに限らず、例えば時間的に連続する2つのデジタルビデオ信号の勾配や位相相関を利用して動き検出を行う構成においても適用することができる。
【0184】
また上述の実施の形態においては、時間的に連続する2つのデジタルビデオ信号の画像相関を利用して動き検出を行う場合について述べたが、本発明はこれに限らず、例えば時間的に連続する3つ以上のデジタルビデオ信号の画像相関を利用して動き検出を行う構成としてもよい。このように3以上の複数画像の相関を検出する処理構成とすれば、その分時間方向への変動の小さい動き検出を行うことができる。
【0185】
また上述の実施の形態においては、デジタルビデオ信号に対してフォーマット縮小を施した上で動き検出を行う場合について述べたが、本発明はこれに限らず、実用上十分な精度を確保できる場合には、より簡易的にデジタルビデオ信号を縮小して動き検出を行う場合に広く適用することができる。このようにすれば、その分全体構成を簡略化することができる。
【0186】
また上述の実施の形態においては、デジタルビデオ信号のフレーム信号に対して動き検出を行う場合について述べたが、本発明はこれに限らず、デジタルビデオ信号のフィールド信号に対して動き検出を行う場合に広く適用することができる。この場合には各フィールド信号毎に動き検出を行ってもよく、またはどちらか一方のフィールド信号に対してのみ動き検出を行ってもよい。このようにすれば、より少ない演算量により動き検出を行うことができる。
【0187】
また上述の実施の形態においては、人間の視覚特性を考慮した画像分析に際して、デジタルビデオ信号の動き情報を検出して電子透かしパターンをこれに追従させる場合について述べたが、本発明はこれに限らず、デジタルビデオ信号のエッジ情報等を検出して電子透かしパターンを変調する場合や、デジタルビデオ信号の輝度情報や色情報等の種々の情報を分析して処理する場合等と組み合わせて画像分析を行う場合に広く適用することができる。
【0188】
また上述の実施の形態においては、著作権情報を乱数データによりスペクトラム拡散することで電子透かしパターンを生成し、この電子透かしパターンをデジタルビデオ信号に加算する場合について述べたが、本発明はこれに限らず、デジタルビデオ信号のベースバンド信号上で電子透かしの重畳を行う種々の電子透かし埋め込み方式、さらにはデジタルビデオ信号のビットストリーム信号上で電子透かしの重畳を行う種々の電子透かし埋め込み方式に広く適用することができる。
【0189】
また上述の実施の形態においては、著作権情報をPN系列の乱数データによりスペクトラム拡散する場合について述べたが、本発明はこれに限らず、統計的に総和が0になるような種々の数値パターンにより著作権情報を解析困難に変調する場合に広く適用することができる。
【0190】
さらに上述の実施の形態においては、著作権情報を重畳する場合について述べたが、本発明はこれに限らず、必要に応じて種々の情報を重畳して伝送する場合に広く適用することができる。
【0191】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【0192】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【0193】
【発明の効果】
以上の説明から明らかなように本発明によれば、入力デジタルビデオ信号を処理する際に、時間的に連続する入力デジタルビデオ信号に対してフレーム相関を用いて動き検出を行い、検出された動き情報に基づいて、画像が静止している場合には電子透かしパターンも静止させ、画像が動いている場合には電子透かしパターンも追従して動かすことにより、人間の目に感知しにくくなるように入力デジタルビデオ信号に電子透かしを重畳することができ、これにより全体の埋め込み強度を変えることなく、電子透かしの画質に及ぼす影響を効果的に抑制することが可能になる。
【0194】
さらに、本発明によれば、入力デジタルビデオ信号を処理する際に、時間的に連続する入力デジタルビデオ信号に対してブロック分割等の前処理を施した上でブロック相関を用いて動き検出を行い、各ブロック毎に算出された複数の動き情報を多数決や重み付け等により評価判定し、検出された動き情報に基づいて電子透かしパターンを画像に追従させることにより、人間の目が集中しやすい部分を重視する等より視覚特性に合致するように入力デジタルビデオ信号に電子透かしを重畳することができる。
【0195】
さらに、本発明によれば、入力デジタルビデオ信号を処理する際に、時間的に連続する入力デジタルビデオ信号に対してフォーマット縮小等の前処理を施した上でフレーム相関を用いて動き検出を行い、検出された動き情報に基づいて電子透かしパターンを画像に追従させることにより、より演算量を低減して高効率に入力デジタルビデオ信号に電子透かしを重畳することができる。
【0196】
本発明によれば、画像信号の動きを検出してこれに追従する電子透かし情報の埋め込みが可能となり、デジタルネットワーク時代のコンテンツ配信において、画質劣化の少なく信頼性の高い著作権保護システムを構築することができ、今後デジタル放送等において開始されるHD画像コンテンツの配信に際しても電子透かしの高効率な重畳を実現することが可能になる。
【図面の簡単な説明】
【図1】電子透かし検出の説明に供する、内積値の確率密度関数を示す図である。
【図2】電子透かしの埋め込み、検出処理による著作権保護処理について説明する図である。
【図3】本発明の電子透かしの埋め込み処理装置の構成例を示す図である。
【図4】本発明の電子透かしの埋め込み処理装置における動き検出部の構成例を示す図である。
【図5】本発明の電子透かしの埋め込み処理装置の処理例を示すフロー図である。
【図6】本発明の電子透かしの埋め込み処理装置におけるブロック分割処理について説明する図である。
【図7】本発明の電子透かしの埋め込み処理装置におけるブロック分割処理について説明する図である。
【図8】本発明の電子透かしの埋め込み処理装置におけるブロック分割処理について説明する図である。
【図9】本発明の電子透かしの埋め込み処理装置における動き検出部の構成例を示す図である。
【図10】本発明の電子透かしの埋め込み処理装置におけるフォーマット変換処理について説明する図である。
【図11】本発明の電子透かしの埋め込み処理装置における動き検出部の構成例を示す図である。
【図12】本発明の電子透かしの埋め込み処理装置における動き検出部の構成例を示す図である。
【図13】本発明の電子透かしの埋め込み処理装置における処理フローを示す図である。
【図14】電子透かしの検出処理装置の構成例を示す図である。
【図15】電子透かしの検出処理装置の処理例を示すフロー図である。
【図16】電子透かし埋め込み、検出の少なくともいずれかの処理を実行するシステム構成例を示す図である。
【符号の説明】
1 電子透かし埋め込み装置
2 録画機器
3 電子透かし検出装置
4 電子透かし書き換え装置
5 光ディスク
6 録画機器
7 光ディスク
8 光ディスク
100 電子透かし埋め込み処理装置
121 PN生成部
122 乗算部
123 動き検出部
124 信号変調部
125 加算部
126 信号記憶部
127 相関計算部
128 動き判定部
129 信号分割部
130 信号記憶部
131 相関計算部
132 動き判定部
133 信号縮小部
134 信号記憶部
135 相関計算部
136 動き判定部
141 信号縮小部
142 信号分割部
143 信号記憶部
144 相関計算部
145 動き判定部
150 電子透かし検出処理装置
151 PN生成部
152 内積計算部
153 比較判定部
202 CPU
203 ROM
204 RAM
205 ハードディスク
206 出力部
207 入力部
208 通信部
209 ドライブ
210 リムーバブル記録媒体
212 キーボード
213 マウス
214 キーボードマウスコントローラ
2061 表示装置
2062 スピーカ
2071 カメラ
2072 マイク
【発明の属する技術分野】
本発明は、画像等のデータに著作権情報、編集情報などの付加情報を埋め込みまたは読み取る技術に関し、例えば画像中に通常の観察状態では認識困難な付加情報として電子透かし(ウォーターマーク:Digital Watermarkingまたは、Data Hidingとも呼ばれる)を埋め込む処理を実行する電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラムに関する。
【0002】
【従来の技術】
デジタル技術の進歩に伴い、記録、再生処理の繰り返し実行による画質劣化、音質劣化等の発生しないデジタル記録再生装置が普及し、また一方では、様々な画像、音楽等のデジタテルコンテンツがDVD,CDなどの媒体またはネットワーク等を通じて配信、流通可能な状態となってきている。
【0003】
デジタル記録再生では、アナログ記録再生と異なり、記録再生処理を繰り返し実行してもデータの劣化が発生しないため、オリジナルデータと同様の品質が保たれる。このようなデジタル記録再生技術の普及は不正コピーの氾濫を招く結果となり、著作権の保護という観点から大きな問題となっている。
【0004】
デジタルコンテンツについての不正な複製(コピー)による著作権侵害に対処するため、デジタルコンテンツに複製制御のための複製制御情報を付加し、コンテンツの記録再生時に複製制御情報を読み取り、読み取られた制御情報に従った処理を実行することにより不正な複製を防止する構成が提案されている。
【0005】
コンテンツ複製制御態様には様々な態様があるが、例えば代表的方式として、CGMS(Copy Generation Management System;コピー・ジェネレーション・マネージメント・システム)方式がある。このCGMS方式は、アナログ映像信号(CGMS−Aと呼ばれる)であれば、その輝度信号の垂直ブランキング期間内の特定の1水平区間、例えばNTSC信号の場合には、第20水平区間の有効映像部分に重畳する20ビットの付加情報のうちの2ビットを複製制御用の情報として重畳し、また、デジタル映像信号(CGMS−Dと呼ばれる)であれば、デジタル映像データに挿入付加する付加情報として、複製制御用の2ビットの情報を含めて伝送する方式である。
【0006】
このCGMS方式の場合の2ビットの情報(以下、CGMS情報という)の意味内容は、[00]……複製可能[10]……1回複製可能(1世代だけ複製可能)
[11]……複製禁止(絶対複製禁止)
である。
【0007】
上述のCGMS方式は代表的な複製制御方式の1例であり、他にもコンテンツの著作権保護のための方式が様々ある。例えば放送局が行なうデジタル放送などでは、デジタルデータを構成するトランスポートストリーム(TS)パケットに含まれる番組配列情報(SI:Service Information)内にデジタル複製制御記述子(Digital Copy Control Descriptor)を格納し、受信機器において受信したデータを記録装置に記録する際に記述子に従った複製世代制御を行なう方式がある。
【0008】
しかし、上述の制御情報は例えばコンテンツのヘッダ等にビットデータとして付加されるものであり、付加されたデータの改竄の可能性を完全に排除することが困難である。データ改竄の可能性の排除という点で有利な構成が電子透かし(ウォーターマーク)である。電子透かし(ウォーターマーク)は、通常のコンテンツ(画像データまたは音声データ)の再生状態では視覚あるいは知覚困難であり、電子透かしの検出、埋め込みは特定のアルゴリズムの実行、または特定のデバイスによる処理によってのみ可能となる。受信器、記録再生装置等におけるコンテンツ処理時に電子透かし(ウォーターマーク(WM))を検出して、電子透かしに従った制御を行なうことにより、より信頼度の高い制御が可能となる。
【0009】
光ディスク等の記録媒体や、放送局等より衛星波や地上波、ケーブル等の媒体を介して伝送されるコンテンツ等についての電子透かし(ウォーターマーク(WM))による著作権の保護方法は、ビデオ信号やオーディオ信号等の再生に影響を与えない程度の微小な信号レベルにより、著作権に関するデータの変調信号等をビデオ信号やオーディオ信号等に重畳して記録するものである。画像、音声、データ等様々なデジタルコンテンツが劣化のない状態でコピーされたり配信されたりする可能性のあるデジタルネットワーク時代において、電子透かし技術はコンテンツ自身に情報を埋め込むことにより著作権を保護することのできる有力な技術である。
【0010】
電子透かし(ウォーターマーク(WM))によってコンテンツに埋め込まれる情報としては、上述の複製制御情報に限らず、コンテンツの著作権情報、コンテンツ加工情報、コンテンツ構成情報、コンテンツ処理情報、コンテンツ編集情報、あるいはコンテンツ再生処理方式等、様々な情報が埋め込み可能であり、例えばコンテンツの編集処理時に編集情報を埋め込み、各編集ステップにおいて、電子透かしを参照して処理ステップを確認することなどが行なわれる。このような編集情報は、例えばコンテンツの編集ステップ毎にコンテンツに対して新たな電子透かしとして埋め込まれ、最終的にコンテンツから取り除かれるなどの処理が行なわれる。
【0011】
データに対する電子透かしの埋め込みおよび検出態様としては様々な手法が提案されている。1つの代表的な電子透かし埋め込み検出態様には、元信号としてのデータ、例えば画像のもつ統計的性質に基づいた手法がある。デジタルビデオ信号等の画像信号の持つ統計的な性質に基づいて、PN系列の乱数データを基本パターンとして電子透かしを埋め込む方法について説明する。簡単のため輝度信号のフレームデータを水平サイズ8画素、垂直サイズ6画素とする。
【0012】
まずPN系列の乱数データPNを、下記式のように設定する。
【0013】
【数1】
【0014】
この乱数データPNは統計的に総和が0になるように生成される。次に埋め込み情報DCを、上記式のような性質を持つ乱数データPNによりスペクトラム拡散する。すなわち埋め込み情報DCの極性が“1”の場合には、乱数データPNのパターンをそのまま使用することにより、電子透かしパターンWMは、下記式のようになる。
【0015】
【数2】
【0016】
また埋め込み情報DCの極性が“0”の場合には、乱数データPNのパターンを反転したものを使用することにより、電子透かしパターンWMは、下記式のようになる。
【0017】
【数3】
【0018】
なお埋め込み情報DCが複数の情報ビットから構成される場合には、例えば輝度信号のフレームデータを適当な小領域に分割し、各情報ビットをそれぞれの小領域に対応させればよい。また、例えば互いに直行するような複数の異なる電子透かしパターンを使用し、各情報ビットをそれぞれの電子透かしパターンに対応させればよい。また、これらの手法を組み合わせて使用してもよい。
【0019】
一方デジタルビデオ信号等の画像信号において、あるフレームデータの輝度信号画素値を示すフレームデータDV1が以下のような式で示されたとする。なお、デジタルビデオ信号の画像信号において、近接する輝度信号は同程度の画素値を持つという性質があり、隣接する画素の値は近似した値に設定してある。
【0020】
【数4】
【0021】
電子透かしの埋め込みは、輝度信号のフレームデータDV1に電子透かしパターンWMを加算することによって実現する。電子透かし埋め込み情報DCの極性が“1”の場合には、前述の[数2]に示される電子透かしパターンWMを、上述の[数4]に示される輝度信号に加算する処理となり、電子透かしを埋め込んだ輝度信号のフレームデータDV2は、下記式によって示されるデータとなる。
【0022】
【数5】
【0023】
このようにして電子透かしを埋め込んだ輝度信号のフレームデータDV2から、埋め込み情報DCを検出するためには、埋め込み時と同一のPN系列の乱数データPNを使用する。まず元の輝度信号のフレームデータDV1と乱数データPNとの内積値P1は、下記式によって示される値を持つ。
【0024】
【数6】
P1=DV1・PN=1
【0025】
画像信号の持つ統計的な性質から内積値P1は0近傍の値となる。これに対して電子透かしを埋め込んだ輝度信号のフレームデータDV2と乱数データPNとの内積値P2は、埋め込み情報DCの極性が“1”の場合には、下記式によって示される値を持つ。
【0026】
【数7】
【0027】
一方、埋め込み情報DCの極性が“0”の場合には、下記式によって示される値を持つ。
【0028】
【数8】
【0029】
すなわち内積値P2の絶対値は、乱数データPN自身の内積値PN2近傍の値となる。元の輝度信号のフレームデータDV1と乱数データPNの内積値P1および、電子透かしを埋め込んだ輝度信号のフレームデータDV2と乱数データPNの内積値P2を様々な画像に対して計算すると、内積値P1およびP2の分布は図1に示すような確率密度関数で表現することができる。したがって、適当な非負の閾値THを設定することによって、以下に示すように電子透かしの有無および極性を判別することが可能となる。
【0030】
【数9】
P2≦−TH :電子透かしあり(極性0)
|P2|<TH :電子透かしなし
P2≧TH :電子透かしあり(極性1)
【0031】
上記式のように、電子透かしを埋め込んだ輝度信号のフレームデータDV2から埋め込み情報DCを検出することができる。
【0032】
実際に電子透かしを実現する際には、電子透かし検出の信頼性と、電子透かしの画質に及ぼす影響の2点が重要なポイントである。電子透かしの有無を正確に判別するためには、図1における“電子透かしあり”の場合の確率密度関数と、“電子透かしなし”の場合の確率密度関数の分離を精度良く行うような閾値THを設定しなければならない。しかし実際には確率密度関数の裾野が重なり合い、電子透かしの有無を正確に判別できるような閾値THの選択は難しい。電子透かしが埋め込まれていないのに“電子透かしあり”と判断されてしまう確率を特にFalse Positiveと呼び、健全なコンテンツ流通を保証するためには極めて小さいFalse Positive値が要求される。したがって電子透かし検出の信頼性を向上するためには、非負のスカラー量Cを用いて電子透かしの埋め込み強度を大きくする処理が実行される。スカラー量Cを用いて電子透かしの埋め込み強度を大きくして電子透かしを埋め込んだ場合の輝度信号のフレームデータDV2は、下記式によって示される値を持つ。
【0033】
【数10】
DV2=DV1+CWM
【0034】
電子透かしを埋め込んだ輝度信号のフレームデータDV2と乱数データPNの内積値P2を十分に大きくすればよい。具体的には、フレームデータDV2は、下記式によって示される値を持つ。
【0035】
【数11】
【0036】
しかし、このようにして電子透かしの埋め込み強度を大きくした場合、電子透かしの画質に及ぼす影響は無視できないものになってしまう。電子透かし検出の信頼性と電子透かしの画質に及ぼす影響とは、トレードオフの関係にある。
【0037】
電子透かしを埋め込んだ画像に対して、画像フォーマット変換、デジタル-アナログ変換、MPEG圧縮、フィルタリング、クリッピング、リサイズ、ローテーション等の種々の攻撃を加えた場合にも、埋め込まれた電子透かし情報は正しく検出されなければならない。著作権を不当に侵そうとする者は、電子透かしを埋め込んだ画像に対して悪意を持ってこれらの攻撃を加える恐れがある。そこでこれらの攻撃に対する耐性を強化して、電子透かし検出の信頼性を確保するために、様々な手法が提案されている。しかしあらゆる攻撃に対して頑強な耐性を有するような電子透かし技術は未だ開発されておらず、早急な対策が望まれている。
【0038】
図2は、電子透かしを用いてコピー制御情報をデータに埋め込み、電子透かし検出によるコピー制御を実行する態様について説明する図である。
【0039】
ビデオソースであるデジタルビデオ信号DVを放送局等より衛星波や地上波、ケーブル等の媒体を介して送信する際に、電子透かし埋め込み処理装置100により電子透かし情報DCを付加して送信する。ここで埋め込む電子透かし情報DCはビデオソースの著作権情報等により構成され、“Copy Once”(1回コピー可)という情報を持つものとする。
【0040】
このように、“Copy Once”(1回コピー可)という情報を電子透かしにより埋め込んで送信されたデジタルビデオ信号のうちセットトップボックス等により受信して再生するデジタルビデオ信号においては、再生したデジタルビデオ信号から録画機器2に内蔵する電子透かし検出装置3により埋め込まれた電子透かし情報DCを検出する。
【0041】
録画機器2に内蔵された電子透かし検出装置3が、“Copy Once”という電子透かし情報を検出すると、録画機器2に内蔵する電子透かし書換装置4が電子透かし情報DCを書き換えて光ディスク5等に記録する。ここで書き換える電子透かし情報DCはビデオソースの著作権情報等により構成され、“No More Copy”(コピー禁止)という情報を有する。
【0042】
このようにして録画機器2によって複製記録された光ディスク5が、例えば市場に流通する媒体として提供された場合、提供された複製記録光ディスク5を録画機器6において再度複製しようとすると、録画機器6に内蔵する電子透かし検出装置3が再生したデジタルビデオ信号から埋め込まれた電子透かし情報DCを検出する。
【0043】
この場合の電子透かし情報DCは、複製を許可しない“No More Copy”という情報であり、録画機器6は、“No More Copy”に従った処理、すなわち、再生したデジタルビデオ信号を光ディスク7に記録するのを中止する。これによりコピー世代が管理される。
【0044】
また、電子透かし埋め込み処理装置100は、ビデオソースであるデジタルビデオ信号DVを格納した光ディスク8を製造する際に、“Never Copy”(コピー禁止)という情報を持つ電子透かし情報DCを付加して光ディスク8等に記録する処理を実行したとする。
【0045】
このようにして記録された光ディスク8が市場に流通する場合において、提供された光ディスク8を録画機器6において再生して他の記録媒体に複製しようとすると、録画機器6に内蔵する電子透かし検出装置3が再生したデジタルビデオ信号から埋め込まれた電子透かし情報DCを検出する。
【0046】
この場合の電子透かし情報DCは、複製を許可しない“Never Copy”(コピー禁止)という情報であり、録画機器6は、“Never Copy”に従った処理、すなわち、再生したデジタルビデオ信号を光ディスク7に記録するのを中止する。これにより不正コピーが排除される。
【0047】
電子透かし検出の信頼性を確保しつつ、電子透かしの画質に及ぼす影響を極力抑えるために、人間の視覚特性を効果的に利用して電子透かしを埋め込む手法が提案されている。これらの手法は人間の視覚特性を考慮して、電子透かしパターンを画像内で配分しなおすものや、電子透かしパターンを画像の動きに追従させるもの等であり、全体の埋め込み強度を変えることなく電子透かしの画質に及ぼす影響を効果的に抑えている。人間の目は平坦部分等の低周波領域での変化には敏感であるが、エッジ部分等の高周波領域での変化には鈍感である。これを利用して電子透かしパターンを目立ちやすい平坦部分から目立ちにくいエッジ部分へと再配分することにより、電子透かし検出の信頼性を確保しつつ、電子透かしの画質に及ぼす影響を抑えることができる。また画像が静止している場合には電子透かしパターンも静止させ、画像が動いている場合には電子透かしパターンも追従して動かすことにより、人間の目に感知しにくくなるように電子透かしを埋め込むことができる。
【0048】
動き検出は、動画像符号化の国際標準規格MPEG2(Moving Picture Experts Group-2)やサンプリングレート変換等において用いられる手法である。しかし電子透かしの重畳に応用して好適な動き検出手法は未だ提案されておらず、効果的な動き検出手法を実現して、電子透かしの画質に及ぼす影響を抑制することが望まれている。
【0049】
【発明が解決しようとする課題】
本発明は、上述の問題点に鑑みてなされたものであり、動画に対する電子透かし埋め込みに際して、動き検出を実行して、電子透かし検出の信頼性を確保しながら人間の目に感知しにくくなるように電子透かしを埋め込むことを可能とする電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラムを提供することを目的とする。
【0050】
さらに具体的には、画像が静止している場合には電子透かしパターンも静止させ、画像が動いている場合には電子透かしパターンも追従して動かすことにより、電子透かし検出の信頼性を確保しながら人間の目に感知しにくくなるように電子透かしを埋め込むことを可能とした電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラムを提供することを目的とする。
【0051】
【課題を解決するための手段】
本発明の第1の側面は、
画像信号に対する電子透かしの埋め込み処理を実行する電子透かし埋め込み処理装置であり、
埋め込み情報に基づいて第1の電子透かしパターンを生成する電子透かしパターン生成手段と、
電子透かしパターン埋め込み処理対象となる画像信号を分割したブロック領域単位で動きベクトルを取得し、取得された複数の動きベクトルの大きさおよび方向の統計的評価に基き一つの動きベクトルを求め、該一つの動きベクトルを前記画像信号の動き情報として出力する動き検出手段と、
前記動き情報のベクトル量分だけ前記第1の電子透かしパターン全体を平行移動させることにより、前記第1の電子透かしパターンを前記動き情報の示す動きに追従する動きを示すように修正した第2の電子透かしパターンを生成する電子透かしパターン修正手段と、
電子透かしパターン修正手段により生成した前記第2の電子透かしパターンを前記画像信号に対して埋め込む処理を実行する加算手段と、
を有することを特徴とする電子透かし埋め込み処理装置にある。
【0061】
さらに、本発明の第2の側面は、
画像信号に対する電子透かしの埋め込み処理を実行する電子透かし埋め込み処理方法であり、
埋め込み情報に基づいて第1の電子透かしパターンを生成する電子透かしパターン生成ステップと、
電子透かしパターン埋め込み処理対象となる画像信号を分割したブロック領域単位で動きベクトルを取得し、取得された複数の動きベクトルの大きさおよび方向の統計的評価に基き一つの動きベクトルを求め、該一つの動きベクトルを前記画像信号の動き情報として出力する動き検出ステップと、
前記動き情報のベクトル量分だけ前記第1の電子透かしパターン全体を平行移動させることにより、前記第1の電子透かしパターンを前記動き情報の示す動きに追従する動きを示すように修正した第2の電子透かしパターンを生成する電子透かしパターン修正ステップと、
前記電子透かしパターン修正ステップにおいて生成した前記第2の電子透かしパターンを前記画像信号に対して埋め込む処理を実行する加算ステップと、
を有することを特徴とする電子透かし埋め込み処理方法にある。
【0062】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記動き検出ステップは、画像信号をフレーム毎に読み込み、フレーム内の画像を複数ブロックに分割する信号分割ステップと、前記信号分割ステップにおいて分割した各ブロックデータに基づいて、時間的に連続する複数のフレームデータ間の相関を、各ブロック単位で計算し相関情報を出力する相関計算ステップと、前記相関計算ステップにおいて出力するブロック単位の相関情報に基づいて、各ブロック毎に動きベクトルを算出し、ブロック数に応じて算出された複数の動きベクトルの大きさおよび方向の統計的評価処理を実行して前記フレーム毎に一つの動きベクトルを求め、該一つの動きベクトルを前記フレームの動き情報Vとして出力する動き判定ステップとを有し、前記電子透かしパターン修正ステップは、前記動き情報Vのベクトル量分だけ前記第1の電子透かしパターン全体を平行移動させることにより、前記第1の電子透かしパターンを前記動き情報の示す動きに追従する動きを示すように修正した第2の電子透かしパターンを生成するステップであることを特徴とする。
【0063】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記動き検出ステップは、電子透かしパターン埋め込み処理対象となる画像信号をフレーム単位で均等に複数分割したブロック領域毎に動きベクトルを取得する処理を実行することを特徴とする。
【0064】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記動き検出ステップは、電子透かしパターン埋め込み処理対象となる画像信号をフレーム単位で微少領域に分割したブロック領域毎に動きベクトルを取得する処理を実行し、同様の動きベクトルを持つ画像領域を1つのオブジェクト領域と判定し、オブジェクト単位の動きベクトル間における評価処理に基づいて動き情報を出力することを特徴とする。
【0065】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記動き検出ステップは、ブロック領域単位で求められる複数の動きベクトルの評価処理を、複数の動きベクトルについて、過半数をしめる方向および大きさを持つ動きベクトルに対応する情報を動き情報Vとして出力する構成であることを特徴とする。
【0066】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記動き検出ステップは、ブロック領域単位で求められる複数の動きベクトルの評価処理を、複数の動きベクトルについて、方向および大きさが最多数の動きベクトルに対応する情報を動き情報Vとして出力することを特徴とする。
【0067】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記動き検出ステップは、ブロック領域単位で求められる複数の動きベクトルの評価処理を、複数の動きベクトルについての平均値の取得処理として実行し、動き情報Vとして出力することを特徴とする。
【0068】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記動き検出ステップは、ブロック領域単位で求められる複数の動きベクトルについて、大きな動きを示す動きベクトルに対しては、重み付けを大とし、小さな動きを示す動きベクトルに対しては、重み付けを小とした評価処理に基づいて動き情報Vを出力することを特徴とする。
【0069】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記動き検出ステップは、ブロック領域単位で求められる複数の動きベクトルについて、画像中心に近い領域の動きベクトルに対しては、重み付けを大とし、画像周辺部に近い領域の動きベクトルに対しては、重み付けを小とした評価処理に基づいて動き情報Vを出力することを特徴とする。
【0070】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記電子透かし埋め込み処理方法は、さらに、電子透かしパターン埋め込み処理対象となる画像信号の画像フォーマットの縮小処理を実行する信号縮小ステップを有し、前記動き検出ステップは、前記信号縮小ステップにおいて縮小された画像データについて、分割したブロック領域単位で動きベクトルを取得し、該動きベクトルの評価処理に基いて動き情報を出力することを特徴とする。
【0071】
さらに、本発明の第3の側面は、
画像信号に対する電子透かしの埋め込み処理をコンピュータ・システム上で実行せしめるプログラムであって、
埋め込み情報に基づいて第1の電子透かしパターンを生成する電子透かしパターン生成ステップと、
電子透かしパターン埋め込み処理対象となる画像信号を分割したブロック領域単位で動きベクトルを取得し、取得された複数の動きベクトルの大きさおよび方向の統計的評価に基き一つの動きベクトルを求め、該一つの動きベクトルを前記画像信号の動き情報として出力する動き検出ステップと、
前記動き情報のベクトル量分だけ前記第1の電子透かしパターン全体を平行移動させることにより、前記第1の電子透かしパターンを前記動き情報の示す動きに追従する動きを示すように修正した第2の電子透かしパターンを生成する電子透かしパターン修正ステップと、
前記電子透かしパターン修正ステップにおいて生成した前記第2の電子透かしパターンを前記画像信号に対して埋め込む処理を実行する加算ステップと、
を有することを特徴とするプログラムにある。
【0072】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する媒体、例えば、CDやFD、MOなどの記憶媒体に格納されて提供可能であり、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・プログラムをコンピュータ可読な形式で提供する媒体に記憶可能である。媒体は、CDやFD、MOなどの記録媒体、あるいは、ネットワークなどの伝送媒体など、その形態は特に限定されない。
【0073】
このようなプログラムは、プロセッサ制御の下でプログラムの読み取りに基づき、システムの有する各種機能の実行を規程するとともに、システム上の協働的作用を発揮するものであり、本発明の他の側面と同様の作用効果を得ることができるものである。
【0074】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【0075】
【発明の実施の形態】
以下、図面を参照して、本発明の電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法について詳細に説明する。
【0076】
[電子透かし埋め込み処理装置構成例1]
図3は、本発明の一実施例に係る電子透かし埋め込み処理装置100を示すブロック図である。電子透かし埋め込み処理装置100において、PN生成部121はPN(Pseudorandom Noise;擬似雑音符号)系列の乱数データPNを生成し、これを基本パターンとして電子透かしを埋め込む。続く乗算部122は電子透かし埋め込み情報DCをこの乱数データPNによりスペクトラム拡散し、これを電子透かしパターンWM1とする。埋め込み情報DCを乱数データPNによりスペクトラム拡散することにより、解析困難な電子透かしパターンWM1を生成することができる。図3の構成において、PN生成部121、乗算部122が電子透かしパターンWM1を生成するための第1の電子透かしパターン生成手段を構成する。
【0077】
なお、電子透かし埋め込み情報DCは、例えば複製制御情報として、電子透かし埋め込み対象信号に応じて、「複製可能(CopyFree)」、「1回複製可能(Copy Once)」「絶対複製禁止(Never Copy)」などを意味する情報を含む情報である。
【0078】
電子透かし埋め込み処理装置100において、動き検出部123は順次入力されるデジタルビデオ信号DV1に対して画像の動き検出を行い、動き情報Vを出力する。この動き検出部123における動き検出処理は人間の視覚特性を考慮した画像分析手法により、入力画像を分析することにより実行される。
【0079】
本発明の電子透かし埋め込み処理装置100は、動き検出部123の検出した動き情報に基づいて、画像が静止している場合には電子透かしパターンも静止させ、画像が動いている場合には電子透かしパターンも追従して動かす処理を実行する構成としたことにより、人間の目に感知しにくくなるように電子透かしを埋め込むものである。これにより全体の埋め込み強度を変えることなく、電子透かしの画質に及ぼす影響を効果的に抑えることができる。
【0080】
図4は、電子透かし埋め込み処理装置100中の動き検出部123の詳細構成を示すブロック図である。動き検出部123において、信号記憶部126は順次入力されるデジタルビデオ信号DV1をフレーム毎に記憶し、1フレーム遅延させた遅延デジタルビデオ信号DV1’を出力する。ここでは時間的に連続する2つの画像信号は相関の高い画素値となることを利用して、最適に設定した探索範囲においてフレーム相関が最大になるような動きベクトルを決定することにより、画像信号の動き検出を行う。
【0081】
続く相関計算部127は、この信号記憶部126が出力する遅延デジタルビデオ信号DV1’と入力デジタルビデオ信号DV1とのフレーム相関を計算し、相関情報Mを出力する。ここでは時間的に連続する2つのデジタルビデオ信号DV1’とDV1において、例えばそれぞれ対応する画素間で輝度値の差分の絶対値を計算し、フレーム内で総和したマッチング値をフレーム相関の指標とする。すなわち、動きベクトルの探索範囲(Vx,Vy)におけるマッチング値は、以下の式で示される値となる。
【0082】
【数12】
M(Vx,Vy)
=Σ|DV1’(x,y)−DV1(x+Vx,y+Vy)|
【0083】
次に動きベクトルの探索範囲を変更して、上記[数12]の計算を繰り返し、それぞれの動きベクトルに対するマッチング値を全て算出する。これにより、動きベクトルの探索範囲(Vx,Vy)におけるフレーム相関平面が得られる。
【0084】
続く動き判定部128は、この相関計算部127が出力する相関情報Mに基づいてフレーム相関が最大になる動きベクトル(Vx,Vy)を決定し、動き情報Vを出力する。すなわち相関計算部127で得られたフレーム相関平面において、最大の相関を与える(この場合は最小のマッチング値となる)動きベクトル(Vx,Vy)を動き情報Vとして出力する。動き情報は以下に示す式によって示される。
【0085】
【数13】
V(x,y)
=arg min M(Vx,Vy)
【0086】
このとき遅延デジタルビデオ信号DV1’は、動きベクトル(Vx,Vy)により移動して入力デジタルビデオ信号DV1に時間変化したことになる。これにより最適に設定した探索範囲において、時間的に連続する2つの画像信号のフレーム相関を最大化するような動きベクトルを決定することにより、画像信号の動き情報を検出することができる。
【0087】
図3に戻り、電子透かし埋め込み処理装置の説明を続ける。信号変調部124は、動き検出部123が出力する動き情報Vを入力し、動き情報Vに基づいて電子透かしパターンWM1を変調し、人間の視覚特性を考慮した電子透かしパターンWM2を加算部125に出力する。すなわち、信号変調部124は、動き検出部123が出力する動き情報Vのベクトル量に対応した分だけ第1の電子透かしパターンWM1全体を平行移動させて電子透かしパターンWM2を生成することにより、第1の電子透かしパターンを動き情報の示す動きに追従する動きを示すように修正した第2の電子透かしパターンを生成する電子透かしパターン修正手段として機能する。
【0088】
信号変調部124は、入力デジタルビデオ信号DV1が静止している場合には、動き検出部123が出力する動き情報V=(0,0)に応じて電子透かしパターンWM1も静止させたパターンとして変調して電子透かしパターンWM2を生成し、入力デジタルビデオ信号DV1が動きベクトル(Vx,Vy)により移動する場合には、動き検出部123が出力する動き情報V=(Vx,Vy)に応じて電子透かしパターンWM1を画像に追従して動かす処理を実行した変調処理により電子透かしパターンWM2を生成して加算部125に出力する。この処理により、静止画には、静止した電子透かしパターン埋め込み、動画には、動きに追従した電子透かしパターン埋め込みが可能となり、人間の目に感知しにくくなるように電子透かしを埋め込むことができる。これにより全体の埋め込み強度を変えることなく、電子透かしの画質に及ぼす影響を効果的に抑制することが可能になる。
【0089】
動き検出部123が出力する動き情報Vに従って、信号変調部124が電子透かしパターンWM1の変調処理を実行することによって生成した電子透かしパターンWM2を入力する加算部125は、入力デジタルビデオ信号DV1に信号変調部124が出力する電子透かしパターンWM2を加算することにより、入力デジタルビデオ信号DV1と同一の形式により電子透かし情報DCを埋め込んだデジタルビデオ信号DV2を出力する。
【0090】
この出力デジタルビデオ信号DV2は、例えば、所定のエンコーダによりエンコードして放送局等より衛星波や地上波、ケーブル等の媒体を介して伝送されたり、また出力デジタルビデオ信号DV2を所定のエンコーダによりエンコードしてディスク原盤を露光し、このディスク原盤より光ディスクによって提供される。
【0091】
このように、図3に示す本発明の電子透かし埋め込み処理装置は、電子透かしの埋め込み処理対象画像の動き情報を取得し、動き情報に応じて電子透かしパターンの変調処理を実行して、静止画に対しては静止した電子透かしパターンを入力画像に加算し、動画には、動きに追従した電子透かしパターン埋め込みを実行する構成としたので、人間の目に感知しにくくなるように電子透かしを埋め込むことができる。これにより全体の埋め込み強度を変えることなく、電子透かしの画質に及ぼす影響を効果的に抑制することが可能になる。
【0092】
[電子透かし埋め込み処理フロー]
次に、本発明の電子透かし埋め込み処理装置における処理手順について、図5に示すフローを参照して説明する。図5は、例えばデジタルビデオ信号等の入力信号に対して動き検出を実行して、動き情報に応じた電子透かしパターンの変調を実行して入力信号に埋め込む処理を実行する電子透かし埋め込み処理装置の処理手順を示すフローチャートである。各ステップについて説明する。
【0093】
電子透かし埋め込み処理装置は、まず、ステップS11においてPN系列の乱数データを生成し、ステップS12において、電子透かし埋め込み対象信号に応じて、「複製可能(CopyFree)」、「1回複製可能(Copy Once)」「絶対複製禁止(Never Copy)」などの複製制御情報などからなる埋め込み情報を乱数データPNによりスペクトラム拡散し、電子透かしパターンWM1を生成する。
【0094】
続いて電子透かし埋め込み処理装置は、ステップS13において、入力デジタルビデオ信号DV1を順次フレームデータ毎に読み込み、ステップS14において、時間的に連続する入力デジタルビデオ信号DV1に対して画像相関を計算し、相関情報Mを出力する。続いて電子透かし埋め込み処理装置はステップS15において、相関情報Mに基づいて画像の動き検出を行い、動き情報Vを出力する。すなわち入力デジタルビデオ信号DV1をフレーム毎に記憶して1フレーム遅延させた遅延デジタルビデオ信号DV1’を生成し、時間的に連続する2つのデジタルビデオ信号DV1’とDV1とに基づいて、前述の[数12]を適用して、動きベクトルの探索範囲(Vx,Vy)においてフレーム相関平面を算出し、さらに[数13]を適用して最大の相関を与える動きベクトル(Vx,Vy)を決定し、これを動き情報Vとして出力する。
【0095】
続いて電子透かし埋め込み処理装置は、ステップS16において、動き情報Vに基づいて電子透かしパターンWM1を変調し、人間の視覚特性を考慮した電子透かしパターンWM2を出力する。すなわち検出された動き情報Vに基づいて、入力デジタルビデオ信号DV1が静止している場合には電子透かしパターンWM1も静止させ、入力デジタルビデオ信号DV1が動いている場合には電子透かしパターンWM1も追従して動かす処理を実行して電子透かしパターンWM2を生成して出力する。
【0096】
このような変調処理のなされた電子透かしパターンWM2は、入力画像が静止しているときは、静止し、入力画像に動きがあるときは、画像の動きに併せて移動することになり、人間の目に感知しにくくなる。これにより全体の埋め込み強度を変えることなく、電子透かしの画質に及ぼす影響を効果的に抑制することが可能になる。
【0097】
続いて電子透かし埋め込み処理装置は、ステップS17に移り、入力信号にこの変調した電子透かしパターンWM2を加算し、続くステップS18において、入力信号と同一の形式により電子透かし情報を埋め込んだ信号を出力する。
【0098】
続いて電子透かし埋め込み処理装置はステップS19において、入力信号の処理を完了したか否かを判断し、ここで否定結果が得られるとステップS13に戻り、以下の処理を繰り返し実行する。電子透かし埋め込み処理装置は、順次入力信号について、同様の処理を繰り返して入力信号を処理し、ステップS19における入力終了の判定において肯定結果が得られると、処理を完了する。
【0099】
[電子透かし埋め込み処理装置構成例2]
上述した電子透かし埋め込み処理装置は、画像信号のフレーム相関を利用して動き検出を行なう構成であった。しかし、このようなフレーム相関からの動き検出処理に基づく電子透かしパターンの調整処理においても電子透かしパターンが目立たないように設定されない場合がある。
【0100】
例えば図6は画像信号が横方向にシフトする場合の、図7は画像信号がズームアウトする場合の、ブロック分割を施した動き検出を説明する図である。この図6、図7の画像の例は走行している車と背景の家や木、そしてさらに後方の景色といった具合に画像信号中に複数の動きベクトルが存在する画像信号である。時間的に連続する画像信号(a)および(b)に対してフレーム相関を利用して、前述の[数12]および[数13]により動き情報を検出すると、フレーム全体に対して画像相関を計算することになるため、検出される動き情報は面積比が大きい物体の動きベクトルに大きく影響されることになる。
【0101】
このため、例えば図6の横方向シフトの例において、上述の手法では、フレーム相関による動き情報が面積比に依存して出力されることになり、電子透かしパターンは後方の景色の動きベクトル、この場合、ほとんど静止状態を示す動きベクトルであり、動き情報Vは、静止した動きベクトルに大きく依存することになる。従って、電子透かしを例えば走行している車の動きベクトルに電子透かしパターンを追従させようとしても、上述の方法では、追従がなされないことになる。
【0102】
また図7のズームアウトの例において、フレーム全体としては、例えば1方向へのシフトが存在しないため電子透かしパターンを静止させようとしても、フレーム相関による動き情報が面積比に依存することにより、電子透かしパターンは何らかの予期せぬ方向への動きベクトルに追従する可能性があり、通常の観察状態においても人間の視覚にとらえられてしまうような電子透かしとなる場合がある。
【0103】
上述のような問題を解決するために、画像信号に対してブロック分割等の前処理を施した上で画像信号のブロック相関を利用して動き検出を行って電子透かしの埋め込み処理を実行する電子透かし埋め込み処理装置について、以下、説明する。
【0104】
図6および図7の例において、まず時間的に連続する画像信号(a)および(b)に対して複数の画像ブロックへの分割を行い、適当なブロックサイズの分割画像信号(c)および(d)に変換した上で、これらの分割画像信号(c)および(d)の各ブロックに対してブロック相関を利用して、前述のマッチング値算出式[数12]および動き情報算出式[数13]に基づいて、各ブロックにおける動き情報(e)を検出する。図6,図7の例では、1フレーム画像を9ブロックに分割してあるが、分割ブロック数は任意の数に設定可能である。
【0105】
分割した各ブロックに対して動きベクトルが算出され、算出された複数の動きベクトルについて、所定の評価を行ない、評価結果に基づいてその画像信号全体の最適な動き情報(f)を一つ設定する。
【0106】
ブロック領域単位で求められる複数の動きベクトルについての評価方法は、様々に設定可能である。例えば複数の動きベクトルについて、方向および大きさが最多数の動きベクトルを選択して、この最多数を占めるベクトルに対応する情報を動き情報Vとして出力する。または、複数の動きベクトルについての平均値を取得して、平均値を動き情報Vとして出力するなどの処理が可能である。
【0107】
さらに、ブロック領域単位で求められる複数の動きベクトルについて、大きな動きを示す動きベクトルに対しては、重み付けを大とし、小さな動きを示す動きベクトルに対しては、重み付けを小とした評価処理に基づいて動き情報Vを出力する。あるいは、画像中心に近い領域の動きベクトルに対しては、重み付けを大とし、画像周辺部に近い領域の動きベクトルに対しては、重み付けを小とした評価処理に基づいて動き情報Vを出力する構成とするなどである。
【0108】
具体的には、例えば分割した複数ブロックのうち過半数以上のブロックにおいて1方向への動きベクトルが算出された場合には、多数決によりその動きベクトルをこの画像信号の動き情報とする方法がある。
【0109】
また各ブロック毎に算出された動きベクトルに対して、その動きベクトルの大きさで重み付けを行って動きベクトルを評価判定する構成としてもよい。人間の目は、より大きな動きを持つ領域に集中しやすい傾向があり、動きベクトルが大きい場合には重み付けを大とすることで、人間の目が集中しやすい動きのある部分を重視した、画像信号の動き情報を取得することができる。
【0110】
さらに各ブロック毎に算出された動きベクトルに対して、画像中央部分のブロックが大きく、画像周縁部分のブロックが小さくなるような重み付けを行って動きベクトルを評価判定することにより、人間の目が集中しやすい画像中央部分を重視した、画像信号の動き情報を取得することができる。
【0111】
このように、ブロック分割した各領域において、動きベクトルを算出し、算出された複数の動きベクトルの評価に基づいて取得した動き情報に基づいて、埋め込み電子透かしパターンの調整をする。このような構成によれば、例えば図6の横方向シフトの例において、前述のフレーム相関を利用した際には後方の景色の動きベクトルが画像信号の動き情報として検出され、ほとんど静止状態の電子透かしパターン埋め込みがなされるのに対して、本実施例におけるブロック相関を利用した複数の動きベクトル検出による手法を実行し、例えば人間の目が集中しやすい動きのある部分や画像中央部分を重視して動きベクトルを評価判定すれば、走行する車に追従するような画像信号の動き情報(f)を抽出して、走行する車に追従する電子透かしパターン埋め込みがなされることになる。
【0112】
また図7のズームアウトの例において、前述のフレーム相関を利用した際には何らかの予期せぬ方向への動きベクトルが画像信号の動き情報として検出され、予期せぬ方向への動きを示す電子透かしパターン埋め込みがなされるのに対して、本実施例におけるブロック相関を利用した複数の動きベクトル検出による手法を実行し、例えば多数決により動きベクトルを評価判定する方法を採用すれば、どの方向にも追従しない静止画と同様の動き情報(f)を抽出することができ、ほとんど静止状態の電子透かしパターン埋め込みがなされることになる。
【0113】
このように、ブロック分割した各領域において、動きベクトルを算出し、算出された複数の動きベクトルの評価に基づいて動き情報を取得することにより、人間の視覚特性に合致した動き検出が可能になり、元の電子透かしパターン(g)を取得された動きベクトルに追従させるように調整処理により電子透かしパターン(h)を変調した後、画像信号に重畳することにより、電子透かしの画質に及ぼす影響を効果的に抑制し、視覚的に目立たない電子透かしの埋め込みが可能となる。
【0114】
図6、図7では、画像を9ブロックに分割した例について説明したが、さらに細密なブロック分割を行った上で、画像信号のオブジェクト毎のブロック相関を利用して動き検出を行い、画像信号の動き情報を検出してもよい。
【0115】
例えば図8は、先に説明した図6に示す画像と同様、画像信号が横方向シフトする場合の、微少ブロックへの分割を施し、各ブロックの動き情報からオブジェクト毎の動きを検出する処理を説明する図である。この図8に示す例において、まず時間的に連続する画像信号(a)および(b)に対して多数の微少な画像ブロックへの分割を行い、各ブロックについて動きベクトル検出処理を実行する。
【0116】
すなわち、各ブロックサイズの分割画像信号(c)および(d)に変換し、これらの分割画像信号(c)および(d)の各ブロックに対してブロック相関を利用して、前述のマッチング値算出式[数12]および動きベクトル算出式[数13]に基づいて、各ブロックにおける動き情報(e)を検出する。
【0117】
微少ブロックにおける多数の動きベクトルのうち同方向への動きベクトルを有する複数ブロックをまとめて1つのオブジェクトとして判定する。図8(e)のように、家、車、木の各領域において、ほぼ同様の動きベクトルを持つ領域が抽出され、3つの異なる動きベクトルを持つオブジェクトが抽出される。さらに、各オブジェクト毎に算出された複数の動きベクトルを評価判定し、その結果、その画像信号全体の最適な動き情報(f)を一つ抽出する。すなわち、同様の動きベクトルを持つ画像領域を1つのオブジェクト領域と判定し、オブジェクト単位の動きベクトル間における評価処理に基づいて動き情報を出力する。
【0118】
なお、動きベクトルの評価は、前述したように、過半数をしめるベクトルを抽出、多数決、または最も動きの大きなものに大きな重み付けを行なう、あるいは画面中央部に大きな重み付けを行なうなどの方法が適用可能である。また、これらの評価は複合的に適用、すなわち、動きの大きなもので中央部にあるものについては、さらに大きな重みづけを行なうといった評価方法を適用してもよい。
【0119】
このように、ブロック分割した各領域において、動きベクトルを算出し、算出された複数の動きベクトルの評価に基づいて動き情報を取得して取得した動き情報に基づいて電子透かしの埋め込み処理を実行する電子透かし埋め込み処理装置は、先の図3の電子透かし埋め込み処理装置100において動き検出部123の構成を変更することによって実現される。
【0120】
図9は、ブロック分割等の前処理を施した上で画像信号のブロック相関を利用して動き検出を行う、電子透かし埋め込み処理装置100中の動き検出部123を示すブロック図である。まず動き検出部123において、信号分割部129は順次入力されるデジタルビデオ信号DV1を適当なサイズの複数ブロック(例えばn)に分割し、ブロック分割された分割デジタルビデオ信号DV1Bを出力する。続く信号記憶部130は、この信号分割部129が出力する分割デジタルビデオ信号DV1Bをフレーム毎に記憶し、1フレーム遅延させた遅延分割デジタルビデオ信号DV1B’を出力する。ここでは時間的に連続する2つの画像信号は相関の高い画素値となることを利用して、最適に設定した探索範囲において、n個の各ブロック毎にブロック相関が最大になるような動きベクトルを評価判定することにより、画像信号の動き検出を行う。
【0121】
続く相関計算部131は、信号記憶部130が出力する遅延分割デジタルビデオ信号DV1B’と分割デジタルビデオ信号DV1Bとの各ブロック毎のブロック相関を計算し、相関情報Mを出力する。ここでは時間的に連続する2つのデジタルビデオ信号DV1B’とDV1Bにおいて、前述の[数12]を適用してそれぞれ対応する画素間で輝度値の差分の絶対値を各ブロック内で総和したマッチング値を計算し、これをブロック相関の指標とする。次に動きベクトルの探索範囲を変更して[数12]の計算を繰り返し、それぞれの動きベクトルに対するマッチング値を全て算出する。これにより、動きベクトルの探索範囲(Vx,Vy)におけるn個の各ブロック毎のブロック相関平面が得られる。
【0122】
動き判定部132は、相関計算部131が出力する相関情報Mに基づいてn個の各ブロック毎にブロック相関が最大になる動きベクトル(Vx,Vy)を決定し、さらにこれらの複数の動きベクトルを評価判定することにより動き情報Vを出力する。すなわち相関計算部131で得られた各ブロック毎のブロック相関平面において、前述の[数13]に基づいて最大の相関を与えるn個の動きベクトル(Vx,Vy)が算出される。
【0123】
次に、動き判定部132は、これらのn個のブロックに対応するn個の動きベクトル(Vx,Vy)の評価を実行する。評価は、前述したように、多数決方式、あるいは最も動きの大きなものに大きな重み付けを行なったり、画面中央部に大きな重み付けを行なうなどの方法が適用可能である。
【0124】
例えば、多数決方式の評価を実行する場合は、分割したn個の複数ブロックのうち過半数以上のブロックにおいて1方向への動きベクトルが算出された場合には、その動きベクトルをこの画像信号の動き情報Vとして設定する。また各ブロック毎に算出された動きベクトルに対して、その動きベクトルの大きさで重み付けを行って動きベクトルを評価判定する場合は、重み付け係数を各算出ベクトルに乗算し総和を算出するなどの演算を実行する。このような手法で出力した動き情報Vに基づいて電子透かしパターンの調整を実行することにより、人間の目が集中しやすい動きのある部分を重視した、画像信号の動き情報を検出することができる。
【0125】
あるいは、各ブロック毎に算出された動きベクトルに対して、画像中央部分のブロックに大きく、画像周縁部分のブロックに小さい重み付けを行って、各動きベクトルを評価判定も可能である。この評価手法によれば、人間の目が集中しやすい画像中央部分を重視した、画像信号の動き情報を検出することができる。
【0126】
[画像フォーマット変換を伴う動きベクトル検出処理]
ところで画像相関を利用した動き情報の検出は演算量が膨大であり、前述のマッチング算出式[数12]の演算量は画像信号のフレームサイズと動きベクトル探索範囲との積に比例する。これはHD(High Definition)画像信号から動き検出を行って電子透かし情報を埋め込む際に特に問題となり、動きベクトルを精度良く検出するためには高効率な動き検出アルゴリズムの実現が重要である。
【0127】
この演算量の増加という問題を解決する構成について、以下、説明する。演算量の増加を解決するために、画像信号に対してフォーマット縮小等の前処理を施した上で画像信号のフレーム相関を利用して動き検出を行う。
【0128】
図10は、画像信号が横方向シフトする場合の、フォーマット縮小を施した動き検出処理について説明する図である。まず時間的に連続する画像信号(a)および(b)に対して画像フォーマットの縮小を行い、適当なフレームサイズの縮小画像信号(c)および(d)に変換する。
【0129】
これらの縮小画像信号(c)および(d)に対してフレーム相関を利用して、前述のマッチング値算出式[数12]および動きベクトル算出式[数13]に基づいて、動きベクトル、すなわち動き情報(e)を算出する。このような縮小処理による画像フォーマット変換を経た場合でも時間的に連続する2つの画像信号は相関の高い画素値となる。この縮小画像信号(c)および(d)において最適に設定した探索範囲においてフレーム相関が最大になるような動きベクトルを決定する。このように、画像フォーマットの縮小を行なうことにより、少ない演算量で画像信号の動き検出を行うことができる。なおこのようにして検出された動き情報(e)は縮小画像信号の動きベクトルであり、元の縮尺に拡大することにより元の画像信号の動き情報(f)を得ることができる。
【0130】
図10に示す例は、画像全体の処理を実行して1つの動きベクトルを算出する処理例を示しているが、図6、図7、図8等を用いて説明したブロック分割を実行して、各ブロックにおいて、前述のマッチング値算出式[数12]および動きベクトル算出式[数13]に基づいて、各ブロック毎の動きベクトルを算出する場合も、このような縮小処理による画像フォーマット変換を経た後に算出処理を実行することで演算量が低減する。この構成例については、後段で説明する。
【0131】
例えば画像信号に対して水平方向、垂直方向共に1/2になるような画像フォーマット変換を施した場合、縮小画像信号のフレームサイズは元の画像信号の(1/2)×(1/2)=1/4に低減することができる。このようにすれば、前述の[数12]を適用した演算において、動き検出に要する演算量は画像信号のフレームサイズと動きベクトル探索範囲との積に比例するから、1/4の演算量で画像信号の高効率な動き検出を行うことができ、高速処理が可能となる。
【0132】
なお、画像フォーマットの縮小を行なうことにより設定可能な動きベクトルの探索範囲も水平方向、垂直方向共に1/2の精度に落ちるため、実用上十分な検出精度が確保できる範囲において画像信号のフレームサイズを縮小し、動き検出に要する演算量を低減させる必要がある。このようにして検出された縮小画像信号の動き情報(e)を2倍することにより元の画像信号の動き情報(f)が得られ、元の電子透かしパターン(g)をこうして検出された動きベクトルにより移動して電子透かしパターン(h)に変調した後画像信号に重畳することにより、電子透かしの画質に及ぼす影響を効果的に抑制し、視覚的に目立ち難い電子透かし埋め込みが実現される。
【0133】
また画像フォーマットの縮小に際しては、実用上十分な検出精度が確保できる範囲においてより簡易的にフォーマット変換を施すことができる。例えば水平方向1/m、垂直方向1/nになるように画像フォーマットを縮小する場合には、水平方向1/m、垂直方向1/nになるようにサンプルを間引くことによりフォーマット変換を施してもよい。また水平方向mピクセル×垂直方向nピクセルのブロックにおいて、相加平均等により新しいサンプルを算出することによりフォーマット変換を施してもよい。
【0134】
このように、画像のフォーマット変換をした後、動きベクトルを算出し、算出された動きベクトルに基づいて動き情報を取得して取得した動き情報に基づいて電子透かしの埋め込み処理を実行する電子透かし埋め込み処理装置は、先の図3の電子透かし埋め込み処理装置100において動き検出部123の構成を変更することによって実現される。
【0135】
図11は、このように画像信号に対してフォーマット縮小等の前処理を施した上で画像信号のフレーム相関を利用して動き検出を行う電子透かし埋め込み処理装置100中の動き検出部123を示すブロック図である。図11に示す動き検出部123において、信号縮小部133は順次入力されるデジタルビデオ信号DV1を適当なフレームサイズの縮小画像にフォーマット変換し、フォーマット変換された縮小デジタルビデオ信号DV1Rを出力する。続く信号記憶部134は、この信号縮小部133が出力する縮小デジタルビデオ信号DV1Rをフレーム毎に記憶し、1フレーム遅延させた遅延縮小デジタルビデオ信号DV1R’を出力する。ここでは時間的に連続する2つの縮小画像信号は相関の高い画素値となることを利用して、最適に設定した探索範囲においてフレーム相関が最大になるような動きベクトルを決定することにより、画像信号の動き検出を行う。
【0136】
続く相関計算部135は、この信号記憶部134が出力する遅延縮小デジタルビデオ信号DV1R’と縮小デジタルビデオ信号DV1Rとのフレーム相関を計算し、相関情報Mを出力する。ここでは時間的に連続する2つのデジタルビデオ信号DV1R’とDV1Rにおいて、前述の[数12]を適用して、それぞれ対応する画素間で輝度値の差分の絶対値をフレーム内で総和したマッチング値を計算し、これをフレーム相関の指標とする。次に動きベクトルの探索範囲を変更して[数12]の計算を繰り返し、それぞれの動きベクトルに対するマッチング値を全て算出する。これにより、動きベクトルの探索範囲(Vx,Vy)におけるフレーム相関平面が得られる。
【0137】
動き判定部136は、相関計算部135が出力する相関情報Mに基づいてフレーム相関が最大になる動きベクトル(Vx,Vy)を決定し、動き情報Vを出力する。すなわち相関計算部135で得られたフレーム相関平面において、前述の[数13]に基づいて最大の相関を与える動きベクトル(Vx,Vy)を動き情報Vとして出力する。最適設定探索範囲において、時間的に連続する2つの縮小画像信号のフレーム相関を最大化するような動きベクトルを決定することにより、効果的に演算量を低減して高効率に画像信号の動き情報を検出することができる。
【0138】
[フォーマット変換およびブロック分割を実行する電子透かし埋め込み処理装置]
次に、画像信号に対してフォーマット縮小等の前処理を施し、さらに、前述の複数ブロックに分割して各ブロック毎に動きベクトルを算出して、複数の動きベクトルに基づいて動き情報を算出する構成とした電子透かし埋め込み処理装置について説明する。このような電子透かし埋め込み処理装置は、先の図3の電子透かし埋め込み処理装置100において動き検出部123の構成を変更することによって実現される。
【0139】
動き検出部の構成を図12を用いて説明する。図12示す動き検出部123において、信号縮小部141は順次入力されるデジタルビデオ信号DV1を適当なフレームサイズの縮小画像にフォーマット変換し、フォーマット変換された縮小デジタルビデオ信号DV1Rを出力する。続いて、縮小画像データは、信号分割部142に入力され、信号分割部142は順次入力される縮小デジタルビデオ信号DV1Rを適当なサイズの複数ブロック(例えばn)に分割し、ブロック分割された分割デジタルビデオ信号DV1RBを出力する。
【0140】
信号記憶部143は、信号分割部142が出力する縮小分割デジタルビデオ信号DV1RBをフレーム毎に記憶し、1フレーム遅延させた遅延分割デジタルビデオ信号DV1RB’を出力する。ここでは時間的に連続する2つの画像信号は相関の高い画素値となることを利用して、最適に設定した探索範囲において、n個の各ブロック毎にブロック相関が最大になるような動きベクトルを評価判定することにより、画像信号の動き検出を行う。
【0141】
続く相関計算部144は、信号記憶部143が出力する遅延分割デジタルビデオ信号DV1RB’と分割デジタルビデオ信号DV1RBとの各ブロック毎のブロック相関を計算し、相関情報Mを出力する。ここでは時間的に連続する2つのデジタルビデオ信号DV1RB’とDV1RBにおいて、前述の[数12]を適用してそれぞれ対応する画素間で輝度値の差分の絶対値を各ブロック内で総和したマッチング値を計算し、これをブロック相関の指標とする。次に動きベクトルの探索範囲を変更して[数12]の計算を繰り返し、それぞれの動きベクトルに対するマッチング値を全て算出する。これにより、縮小画像の各ブロックにおける動きベクトルの探索範囲(Vx,Vy)でブロック毎のブロック相関平面が得られる。
【0142】
動き判定部145は、相関計算部144が出力する相関情報Mに基づいてn個の各ブロック毎にブロック相関が最大になる動きベクトル(Vx,Vy)を決定し、さらにこれらの複数の動きベクトルを評価判定することにより動き情報Vを出力する。すなわち相関計算部144で得られた各ブロック毎のブロック相関平面において、前述の[数13]に基づいて最大の相関を与えるn個の動きベクトル(Vx,Vy)が算出される。
【0143】
次に、動き判定部145は、これらのn個のブロックに対応するn個の動きベクトル(Vx,Vy)の評価を実行する。評価は、前述したように、多数決方式、あるいは最も動きの大きなものに大きな重み付けを行なったり、画面中央部に大きな重み付けを行なうなどの方法が適用可能である。
【0144】
例えば、多数決方式の評価を実行する場合は、分割したn個の複数ブロックのうち過半数以上のブロックにおいて1方向への動きベクトルが算出された場合には、その動きベクトルをこの画像信号の動き情報Vとして設定する。また各ブロック毎に算出された動きベクトルに対して、その動きベクトルの大きさで重み付けを行って動きベクトルを評価判定する場合は、重み付け係数を各算出ベクトルに乗算し総和を算出するなどの演算を実行する。このような手法で出力した動き情報Vに基づいて電子透かしパターンの調整を実行することにより、人間の目が集中しやすい動きのある部分を重視した、画像信号の動き情報を検出することができる。
【0145】
あるいは、各ブロック毎に算出された動きベクトルに対して、画像中央部分のブロックに大きく、画像周縁部分のブロックに小さい重み付けを行って、各動きベクトルを評価判定も可能である。この評価手法によれば、人間の目が集中しやすい画像中央部分を重視した、画像信号の動き情報を検出することができる。
【0146】
このように、縮小処理によるフォーマット変換を実行し、かつブロック分割した領域毎に動きベクトルを取得して、動き情報を取得する構成によれば、動きベクトルの算出処理数は、プロック数に応じて増加するが、縮小処理により演算量の低減が実現でき、演算量を大幅に増大させることなく、最適な電子透かし調整、埋め込みが可能となり、高効率に画像信号の動き情報を検出し、電子透かしの画質に及ぼす影響を効果的に抑制し、視覚的に目立ち難い電子透かし埋め込みが実現される。
【0147】
[電子透かし埋め込み処理フロー]
次に、上述したブロック分割あるいはフォーマット変換等の処理を実行する電子透かし埋め込み処理装置における処理手順について、図13に示すフローを参照して説明する。図13は、例えばデジタルビデオ信号等の入力信号に対してブロック分割あるいはフォーマット変換等の処理を実行した後、動き検出を実行して、動き情報に応じた電子透かしパターンの変調を実行して入力信号に埋め込む処理を実行する電子透かし埋め込み処理装置の処理手順を示すフローチャートである。各ステップについて説明する。
【0148】
電子透かし埋め込み処理装置は、まず、ステップS31においてPN系列の乱数データを生成し、ステップS32において、電子透かし埋め込み対象信号に応じて、「複製可能(CopyFree)」、「1回複製可能(Copy Once)」「絶対複製禁止(Never Copy)」などの複製制御情報などからなる埋め込み情報を乱数データPNによりスペクトラム拡散し、電子透かしパターンWM1を生成する。
【0149】
続いて電子透かし埋め込み処理装置は、ステップS33において、入力デジタルビデオ信号DV1を順次フレームデータ毎に読み込み、ステップS34において、入力デジタルビデオ信号DV1に対して前処理を施す。この前処理は、前述したブロック分割処理、あるいは縮小等のフォーマット変換の少なくともいずれかの処理、または2つの処理をシーケンシャルに実行する処理として行なわれる。
【0150】
例えば前処理として、入力デジタルビデオ信号DV1に対してブロック分割を施し、分割デジタルビデオ信号DV1Bを出力する。このブロック分割により、人間の視覚特性に合致した画像信号の動き検出が可能となる。または入力デジタルビデオ信号DV1に対してフォーマット縮小を施し、縮小デジタルビデオ信号DV1Rを出力する。この前処理により、少ない演算量で画像信号の動き検出が可能となる。あるいは、入力デジタルビデオ信号DV1に対してフォーマット縮小を施し、縮小デジタルビデオ信号DV1Rを出力し、さらに、入力デジタルビデオ信号DV1Rに対してブロック分割を施し、分割デジタルビデオ信号DV1RBを出力する。
【0151】
次に、ステップS35において、前処理の施された時間的に連続する入力デジタルビデオ信号DV1R、またはDV1B、またはDV1RBに対して画像相関を計算し、相関情報Mを出力する。続いて電子透かし埋め込み処理装置はステップS36において、相関情報Mに基づいて画像の動き検出を行い、動き情報Vを出力する。
【0152】
例えば、分割デジタルビデオ信号DV1Bをフレーム毎に記憶して1フレーム遅延させた遅延デジタルビデオ信号DV1B’を生成し、時間的に連続する2つのデジタルビデオ信号DV1B’とDV1Bにおいて、前述の[数12]に基づいて、動きベクトルの探索範囲(Vx,Vy)における各ブロック毎のブロック相関平面を算出し、[数13]に基づいて各ブロック毎に最大の相関を与える動きベクトル(Vx,Vy)を決定し、これらの複数の動きベクトルを評価判定することにより動き情報Vを出力する。
【0153】
または、縮小デジタルビデオ信号DV1Rをフレーム毎に記憶して1フレーム遅延させた縮小デジタルビデオ信号DV1R’を生成し、時間的に連続する2つのデジタルビデオ信号DV1R’とDV1Rにおいて、前述の[数12]に基づいて、動きベクトルの探索範囲(Vx,Vy)におけるフレーム相関平面を算出し、前述の[数13]に基づいて、最大の相関を与える動きベクトル(Vx,Vy)を決定し、これを動き情報Vとして出力する。
【0154】
あるいは、縮小分割デジタルビデオ信号DV1RBをフレーム毎に記憶して1フレーム遅延させた遅延デジタルビデオ信号DV1RB’を生成し、時間的に連続する2つの縮小分割デジタルビデオ信号DV1RB’とDV1RBにおいて、前述の[数12]に基づいて、動きベクトルの探索範囲(Vx,Vy)における各ブロック毎のブロック相関平面を算出し、[数13]に基づいて各ブロック毎に最大の相関を与える動きベクトル(Vx,Vy)を決定し、これらの複数の動きベクトルを評価判定することにより動き情報Vを出力する。
【0155】
続いて電子透かし埋め込み処理装置は、ステップS37において、動き情報Vに基づいて電子透かしパターンWM1を変調し、人間の視覚特性を考慮した電子透かしパターンWM2を出力する。すなわち検出された動き情報Vに基づいて、入力デジタルビデオ信号DV1が静止している場合には電子透かしパターンWM1も静止させ、入力デジタルビデオ信号DV1が動いている場合には電子透かしパターンWM1も追従して動かす処理を実行して電子透かしパターンWM2を生成して出力する。このような変調処理のなされた電子透かしパターンWM2は、入力画像が静止ししているときは、静止し、入力画像に動きがあるときは、画像の動きに併せて移動することになる。
【0156】
続いて電子透かし埋め込み処理装置は、ステップS38に移り、入力信号にこの変調した電子透かしパターンWM2を加算し、続くステップS39において、入力信号と同一の形式により電子透かし情報を埋め込んだ信号を出力する。
【0157】
続いて電子透かし埋め込み処理装置はステップS40において、入力信号の処理を完了したか否かを判断し、ここで否定結果が得られるとステップS33に戻り、以下の処理を繰り返し実行する。電子透かし埋め込み処理装置は、順次入力信号について、同様の処理を繰り返して入力信号を処理し、ステップS40における入力終了の判定において肯定結果が得られると、処理を完了する。
【0158】
本発明のブロック分割した各領域において、動きベクトルを算出し、算出された複数の動きベクトルの評価に基づいて動き情報を取得する構成によれば、人間の視覚特性に合致した動き検出に基づく電子透かしパターンの変調が可能となり、画像信号に重畳することにより、電子透かしの画質に及ぼす影響を効果的に抑制し、視覚的に目立たない電子透かしの埋め込みが可能となる。
【0159】
また、本発明の画像縮小等のフォーマット変換処理後の画像についての動きベクトルを算出する構成によれば、動きベクトルの算出に必要な演算量が低減され、動きベクトルの算出効率、電子透かし埋め込み処理効率の向上が達成される。
【0160】
[電子透かし検出処理装置]
次に図14を参照して、電子透かし検出処理装置の構成について説明する。図14に示す電子透かし検出処理装置150は、例えば放送局等より衛星波や地上波、ケーブル等の媒体を介して受信して得られるデジタルビデオ信号DV2や、光ディスク等を再生して得られるデジタルビデオ信号DV2より、埋め込まれた電子透かし情報DCを検出する。
【0161】
電子透かし検出装置150において、PN生成部151はPN系列の乱数データPNを生成し、これを基本パターンとして電子透かしを検出する。このときPN生成部151は、電子透かし埋め込み処理装置100におけるPN生成部121またはPN生成部141と同一の乱数データPNを生成することにより、スペクトラム拡散を用いて解析困難に埋め込んだ電子透かし情報DCを正しく検出することができる。
【0162】
電子透かし検出装置150において、内積計算部152は順次入力されるデジタルビデオ信号DV2に対して乱数データPNとの内積値を計算し、内積値Sを出力する。続く比較判定部153は、この内積値Sを最適に設定した閾値と比較することにより、電子透かし情報DCの有無、さらには埋め込まれた電子透かし情報DCの極性を判定する。すなわち非負の閾値THに基づいて以下に示す判定を行なう。
【0163】
【数14】
S≦−TH :電子透かしあり(極性0)
|S|<TH :電子透かしなし
S≧TH :電子透かしあり(極性1)
【0164】
上記式のように、入力信号から埋め込み電子透かし情報DCを検出することができる。
【0165】
例えば、放送局等より衛星波や地上波、ケーブル等の媒体を介して受信して得られるデジタルビデオ信号DV2や、光ディスク等を再生して得られるデジタルビデオ信号DV2をコピーする際に、この電子透かし情報DCに基づいてコピー制限できるように成され、さらに不正コピーされた疑いのあるソースについては、ソースの出所を究明できるように成されている。
【0166】
[電子透かし検出処理フロー]
次に、電子透かし検出処理装置における処理手順について、図15に示すフローを参照して説明する。各ステップについて説明する。
【0167】
電子透かし検出処理装置は、まず、ステップS51において、PN系列の乱数データPNを生成する。続いて電子透かし検出処理装置は、ステップS52において、例えばデジタルビデオ信号DV2等のフレームデータを順次読み込み、ステップS53において、入力フレームデータと乱数データPNとの内積値を計算し、内積値Sを出力する。
【0168】
続いて電子透かし検出処理装置はステップS54において、算出した内積値Sを設定した閾値(TH)と比較することにより、電子透かし情報DCの有無、さらには埋め込まれた電子透かし情報DCの極性を判定する。すなわち非負の閾値THに対して、上述の[数14]の判定に基づいて入力信号から電子透かし情報DCを検出することができる。続いて電子透かし検出処理装置は、ステップS55において、このようにして検出された電子透かし情報DCを出力する。
【0169】
続いて電子透かし検出処理装置は、ステップS56に移り、入力信号の処理を完了したか否かを判断し、ここで否定結果が得られるとステップS52に戻り、順次入力データ毎に同様の処理手順を繰り返して入力信号を処理する。ステップS56において入力信号の終了判定について肯定結果が得られると、処理を完了する。
【0170】
[システム構成]
上述の実施例で述べた一連の処理は、ハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたデータ処理装置内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、例えば汎用のコンピュータや1チップのマイクロコンピュータ等にインストールされる。図16は、上述した一連の処理、具体的には、電子透かし埋め込み、検出の少なくともいずれかの処理を実行する装置のシステム構成例を示している。
【0171】
システムは、CPU(Central Processing Unit)202を有する。CPU(Central processing Unit)202は、各種アプリケーションプログラムや、OS(Operating System)を実際に実行する。ROM(Read-Only-Memory)203は、CPU202が実行するプログラム、あるいは演算パラメータとしての固定データを格納する。RAM(Random Access Memory)204は、CPU202の処理において実行されるプログラム、およびプログラム処理において適宜変化するパラメータの格納エリア、ワーク領域として使用される。CPU202、ROM203、RAM204、およびハードディスク205はバス201によって接続されており、相互にデータ転送が実行可能である。さらに入出力インタフェース211に接続された各種入出力装置とのデータ転送が可能となっている。
【0172】
キーボード212、マウス213はCPU202に各種の指令を入力するためにユーザにより操作され、コマンド入力データ入力などの際にユーザによって操作され、キーボードマウスコントローラ214介して入力される。
【0173】
ドライブ209は、フロッピーディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体210の記録再生を実行するドライブであり、各リムーバブル記録媒体210からのプログラムまたはデータ再生、リムーバブル記録媒体210に対するプログラムまたはデータ格納を実行する。
【0174】
CPU202は、入出力インタフェース210を介して、キーボード212やマウス213等を介して指令が入力されると、入力にしたがって、ROM(Read Only Memory)203に格納されているプログラムを実行する。
【0175】
上述の実施例における電子透かしの埋め込み対象となる画像等の信号、あるいは検出対象となる信号は、入力部207に接続されたカメラ2071他の入力機器、例えばスキャナ等のデータ入力装置、あるいはドライブ209に接続されたフロッピーディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体210から入力可能である。音声データの入力もマイク2072を介して可能な構成である。さらに、通信部208を介して受信するデータを電子透かしの埋め込み対象とするデータ、あるいは検出対象となるデータとして処理することも可能である。
【0176】
CPU202は、ROM格納プログラムに限らず、ハードディスク205に格納されているプログラム、衛星若しくはネットワークから転送され、通信部208で受信されてハードディスク205にインストールされたプログラム、またはドライブ209に装着されたリムーバブル記録媒体210から読み出されてハードディスク205にインストールされたプログラムを、RAM(Random Access Memory)204にロードして実行することも可能である。
【0177】
図16に示す構成を持つシステムにおいて、CPU202は、上述した各実施例にしたがった処理、あるいは上述したブロック図、フローチャートに従って行われる処理を行う。そして、CPU202は、その処理結果を、必要に応じて、例えば、入出力インタフェース211を介して、LCD(Liquid Crystal Display)やCRTなどの表示装置2061、スピーカ2062に対して出力部206を介して出力する。また、処理データは通信部208からの送信、さらには、ハードディスク205等の記録媒体に対する格納処理が可能である。
【0178】
各種処理の実行プログラムは、システムに内蔵されている記録媒体としてのハードディスク205やROM203に予め記録しておくことができる。あるいは、プログラムはフロッピーディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体210に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体210は、いわゆるパッケージソフトウエアとして提供することができる。
【0179】
なお、プログラムは、上述したようなリムーバブル記録媒体210からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部208で受信し、内蔵するハードディスク205にインストールすることができる。
【0180】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。
【0181】
また、プログラムは、1つのコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【0182】
なお上述の実施の形態においては、時間的に連続する2つのデジタルビデオ信号において、それぞれ対応する画素間で輝度値の差分の絶対値を計算して総和する例を中心として説明したが、本発明はこれに限らず、例えばそれぞれ対応する画素間で輝度値の積を計算して総和する相互相関を用いる構成においても適用することができる。
【0183】
また上述の実施の形態においては、時間的に連続する2つのデジタルビデオ信号の画像相関(マッチング)を利用して動き検出を行う場合について述べたが、本発明はこれに限らず、例えば時間的に連続する2つのデジタルビデオ信号の勾配や位相相関を利用して動き検出を行う構成においても適用することができる。
【0184】
また上述の実施の形態においては、時間的に連続する2つのデジタルビデオ信号の画像相関を利用して動き検出を行う場合について述べたが、本発明はこれに限らず、例えば時間的に連続する3つ以上のデジタルビデオ信号の画像相関を利用して動き検出を行う構成としてもよい。このように3以上の複数画像の相関を検出する処理構成とすれば、その分時間方向への変動の小さい動き検出を行うことができる。
【0185】
また上述の実施の形態においては、デジタルビデオ信号に対してフォーマット縮小を施した上で動き検出を行う場合について述べたが、本発明はこれに限らず、実用上十分な精度を確保できる場合には、より簡易的にデジタルビデオ信号を縮小して動き検出を行う場合に広く適用することができる。このようにすれば、その分全体構成を簡略化することができる。
【0186】
また上述の実施の形態においては、デジタルビデオ信号のフレーム信号に対して動き検出を行う場合について述べたが、本発明はこれに限らず、デジタルビデオ信号のフィールド信号に対して動き検出を行う場合に広く適用することができる。この場合には各フィールド信号毎に動き検出を行ってもよく、またはどちらか一方のフィールド信号に対してのみ動き検出を行ってもよい。このようにすれば、より少ない演算量により動き検出を行うことができる。
【0187】
また上述の実施の形態においては、人間の視覚特性を考慮した画像分析に際して、デジタルビデオ信号の動き情報を検出して電子透かしパターンをこれに追従させる場合について述べたが、本発明はこれに限らず、デジタルビデオ信号のエッジ情報等を検出して電子透かしパターンを変調する場合や、デジタルビデオ信号の輝度情報や色情報等の種々の情報を分析して処理する場合等と組み合わせて画像分析を行う場合に広く適用することができる。
【0188】
また上述の実施の形態においては、著作権情報を乱数データによりスペクトラム拡散することで電子透かしパターンを生成し、この電子透かしパターンをデジタルビデオ信号に加算する場合について述べたが、本発明はこれに限らず、デジタルビデオ信号のベースバンド信号上で電子透かしの重畳を行う種々の電子透かし埋め込み方式、さらにはデジタルビデオ信号のビットストリーム信号上で電子透かしの重畳を行う種々の電子透かし埋め込み方式に広く適用することができる。
【0189】
また上述の実施の形態においては、著作権情報をPN系列の乱数データによりスペクトラム拡散する場合について述べたが、本発明はこれに限らず、統計的に総和が0になるような種々の数値パターンにより著作権情報を解析困難に変調する場合に広く適用することができる。
【0190】
さらに上述の実施の形態においては、著作権情報を重畳する場合について述べたが、本発明はこれに限らず、必要に応じて種々の情報を重畳して伝送する場合に広く適用することができる。
【0191】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【0192】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【0193】
【発明の効果】
以上の説明から明らかなように本発明によれば、入力デジタルビデオ信号を処理する際に、時間的に連続する入力デジタルビデオ信号に対してフレーム相関を用いて動き検出を行い、検出された動き情報に基づいて、画像が静止している場合には電子透かしパターンも静止させ、画像が動いている場合には電子透かしパターンも追従して動かすことにより、人間の目に感知しにくくなるように入力デジタルビデオ信号に電子透かしを重畳することができ、これにより全体の埋め込み強度を変えることなく、電子透かしの画質に及ぼす影響を効果的に抑制することが可能になる。
【0194】
さらに、本発明によれば、入力デジタルビデオ信号を処理する際に、時間的に連続する入力デジタルビデオ信号に対してブロック分割等の前処理を施した上でブロック相関を用いて動き検出を行い、各ブロック毎に算出された複数の動き情報を多数決や重み付け等により評価判定し、検出された動き情報に基づいて電子透かしパターンを画像に追従させることにより、人間の目が集中しやすい部分を重視する等より視覚特性に合致するように入力デジタルビデオ信号に電子透かしを重畳することができる。
【0195】
さらに、本発明によれば、入力デジタルビデオ信号を処理する際に、時間的に連続する入力デジタルビデオ信号に対してフォーマット縮小等の前処理を施した上でフレーム相関を用いて動き検出を行い、検出された動き情報に基づいて電子透かしパターンを画像に追従させることにより、より演算量を低減して高効率に入力デジタルビデオ信号に電子透かしを重畳することができる。
【0196】
本発明によれば、画像信号の動きを検出してこれに追従する電子透かし情報の埋め込みが可能となり、デジタルネットワーク時代のコンテンツ配信において、画質劣化の少なく信頼性の高い著作権保護システムを構築することができ、今後デジタル放送等において開始されるHD画像コンテンツの配信に際しても電子透かしの高効率な重畳を実現することが可能になる。
【図面の簡単な説明】
【図1】電子透かし検出の説明に供する、内積値の確率密度関数を示す図である。
【図2】電子透かしの埋め込み、検出処理による著作権保護処理について説明する図である。
【図3】本発明の電子透かしの埋め込み処理装置の構成例を示す図である。
【図4】本発明の電子透かしの埋め込み処理装置における動き検出部の構成例を示す図である。
【図5】本発明の電子透かしの埋め込み処理装置の処理例を示すフロー図である。
【図6】本発明の電子透かしの埋め込み処理装置におけるブロック分割処理について説明する図である。
【図7】本発明の電子透かしの埋め込み処理装置におけるブロック分割処理について説明する図である。
【図8】本発明の電子透かしの埋め込み処理装置におけるブロック分割処理について説明する図である。
【図9】本発明の電子透かしの埋め込み処理装置における動き検出部の構成例を示す図である。
【図10】本発明の電子透かしの埋め込み処理装置におけるフォーマット変換処理について説明する図である。
【図11】本発明の電子透かしの埋め込み処理装置における動き検出部の構成例を示す図である。
【図12】本発明の電子透かしの埋め込み処理装置における動き検出部の構成例を示す図である。
【図13】本発明の電子透かしの埋め込み処理装置における処理フローを示す図である。
【図14】電子透かしの検出処理装置の構成例を示す図である。
【図15】電子透かしの検出処理装置の処理例を示すフロー図である。
【図16】電子透かし埋め込み、検出の少なくともいずれかの処理を実行するシステム構成例を示す図である。
【符号の説明】
1 電子透かし埋め込み装置
2 録画機器
3 電子透かし検出装置
4 電子透かし書き換え装置
5 光ディスク
6 録画機器
7 光ディスク
8 光ディスク
100 電子透かし埋め込み処理装置
121 PN生成部
122 乗算部
123 動き検出部
124 信号変調部
125 加算部
126 信号記憶部
127 相関計算部
128 動き判定部
129 信号分割部
130 信号記憶部
131 相関計算部
132 動き判定部
133 信号縮小部
134 信号記憶部
135 相関計算部
136 動き判定部
141 信号縮小部
142 信号分割部
143 信号記憶部
144 相関計算部
145 動き判定部
150 電子透かし検出処理装置
151 PN生成部
152 内積計算部
153 比較判定部
202 CPU
203 ROM
204 RAM
205 ハードディスク
206 出力部
207 入力部
208 通信部
209 ドライブ
210 リムーバブル記録媒体
212 キーボード
213 マウス
214 キーボードマウスコントローラ
2061 表示装置
2062 スピーカ
2071 カメラ
2072 マイク
Claims (12)
- 画像信号に対する電子透かしの埋め込み処理を実行する電子透かし埋め込み処理装置であり、
埋め込み情報に基づいて第1の電子透かしパターンを生成する電子透かしパターン生成手段と、
電子透かしパターン埋め込み処理対象となる画像信号を分割したブロック領域単位で動きベクトルを取得し、取得された複数の動きベクトルの大きさおよび方向の統計的評価に基き一つの動きベクトルを求め、該一つの動きベクトルを前記画像信号の動き情報として出力する動き検出手段と、
前記動き情報のベクトル量分だけ前記第1の電子透かしパターン全体を平行移動させることにより、前記第1の電子透かしパターンを前記動き情報の示す動きに追従する動きを示すように修正した第2の電子透かしパターンを生成する電子透かしパターン修正手段と、
電子透かしパターン修正手段により生成した前記第2の電子透かしパターンを前記画像信号に対して埋め込む処理を実行する加算手段と、
を有することを特徴とする電子透かし埋め込み処理装置。 - 画像信号に対する電子透かしの埋め込み処理を実行する電子透かし埋め込み処理方法であり、
埋め込み情報に基づいて第1の電子透かしパターンを生成する電子透かしパターン生成ステップと、
電子透かしパターン埋め込み処理対象となる画像信号を分割したブロック領域単位で動きベクトルを取得し、取得された複数の動きベクトルの大きさおよび方向の統計的評価に基き一つの動きベクトルを求め、該一つの動きベクトルを前記画像信号の動き情報として出力する動き検出ステップと、
前記動き情報のベクトル量分だけ前記第1の電子透かしパターン全体を平行移動させることにより、前記第1の電子透かしパターンを前記動き情報の示す動きに追従する動きを示すように修正した第2の電子透かしパターンを生成する電子透かしパターン修正ステップと、
前記電子透かしパターン修正ステップにおいて生成した前記第2の電子透かしパターンを前記画像信号に対して埋め込む処理を実行する加算ステップと、
を有することを特徴とする電子透かし埋め込み処理方法。 - 前記動き検出ステップは、
画像信号をフレーム毎に読み込み、フレーム内の画像を複数ブロックに分割する信号分割ステップと、
前記信号分割ステップにおいて分割した各ブロックデータに基づいて、時間的に連続する複数のフレームデータ間の相関を、各ブロック単位で計算し相関情報を出力する相関計算ステップと、
前記相関計算ステップにおいて出力するブロック単位の相関情報に基づいて、各ブロック毎に動きベクトルを算出し、ブロック数に応じて算出された複数の動きベクトルの大きさおよび方向の統計的評価処理を実行して前記フレーム毎に一つの動きベクトルを求め、該一つの動きベクトルを前記フレームの動き情報Vとして出力する動き判定ステップとを有し、
前記電子透かしパターン修正ステップは、前記動き情報Vのベクトル量分だけ前記第1の電子透かしパターン全体を平行移動させることにより、前記第1の電子透かしパターンを前記動き情報の示す動きに追従する動きを示すように修正した第2の電子透かしパターンを生成するステップであることを特徴とする請求項2に記載の電子透かし埋め込み処理方法。 - 前記動き検出ステップは、
電子透かしパターン埋め込み処理対象となる画像信号をフレーム単位で均等に複数分割したブロック領域毎に動きベクトルを取得する処理を実行することを特徴とする請求項2に記載の電子透かし埋め込み処理方法。 - 前記動き検出ステップは、
電子透かしパターン埋め込み処理対象となる画像信号をフレーム単位で微少領域に分割したブロック領域毎に動きベクトルを取得する処理を実行し、同様の動きベクトルを持つ画像領域を1つのオブジェクト領域と判定し、オブジェクト単位の動きベクトル間における評価処理に基づいて動き情報を出力することを特徴とする請求項2に記載の電子透かし埋め込み処理方法。 - 前記動き検出ステップは、
ブロック領域単位で求められる複数の動きベクトルの評価処理を、複数の動きベクトルについて、過半数をしめる方向および大きさを持つ動きベクトルに対応する情報を動き情報Vとして出力する構成であることを特徴とする請求項2に記載の電子透かし埋め込み処理方法。 - 前記動き検出ステップは、
ブロック領域単位で求められる複数の動きベクトルの評価処理を、複数の動きベクトルについて、方向および大きさが最多数の動きベクトルに対応する情報を動き情報Vとして出力することを特徴とする請求項2に記載の電子透かし埋め込み処理方法。 - 前記動き検出ステップは、
ブロック領域単位で求められる複数の動きベクトルの評価処理を、複数の動きベクトルについての平均値の取得処理として実行し、動き情報Vとして出力することを特徴とする請求項2に記載の電子透かし埋め込み処理方法。 - 前記動き検出ステップは、
ブロック領域単位で求められる複数の動きベクトルについて、大きな動きを示す動きベクトルに対しては、重み付けを大とし、小さな動きを示す動きベクトルに対しては、重み付けを小とした評価処理に基づいて動き情報Vを出力することを特徴とする請求項2に記載の電子透かし埋め込み処理方法。 - 前記動き検出ステップは、
ブロック領域単位で求められる複数の動きベクトルについて、画像中心に近い領域の動きベクトルに対しては、重み付けを大とし、画像周辺部に近い領域の動きベクトルに対しては、重み付けを小とした評価処理に基づいて動き情報Vを出力することを特徴とする請求項2に記載の電子透かし埋め込み処理方法。 - 前記電子透かし埋め込み処理方法は、さらに、
電子透かしパターン埋め込み処理対象となる画像信号の画像フォーマットの縮小処理を実行する信号縮小ステップを有し、
前記動き検出ステップは、
前記信号縮小ステップにおいて縮小された画像データについて、分割したブロック領域単位で動きベクトルを取得し、該動きベクトルの評価処理に基いて動き情報を出力することを特徴とする請求項2に記載の電子透かし埋め込み処理方法。 - 画像信号に対する電子透かしの埋め込み処理をコンピュータ・システム上で実行せしめるプログラムであって、
埋め込み情報に基づいて第1の電子透かしパターンを生成する電子透かしパターン生成ステップと、
電子透かしパターン埋め込み処理対象となる画像信号を分割したブロック領域単位で動きベクトルを取得し、取得された複数の動きベクトルの大きさおよび方向の統計的評価に基き一つの動きベクトルを求め、該一つの動きベクトルを前記画像信号の動き情報として出力する動き検出ステップと、
前記動き情報のベクトル量分だけ前記第1の電子透かしパターン全体を平行移動させることにより、前記第1の電子透かしパターンを前記動き情報の示す動きに追従する動きを示すように修正した第2の電子透かしパターンを生成する電子透かしパターン修正ステップと、
前記電子透かしパターン修正ステップにおいて生成した前記第2の電子透かしパターンを前記画像信号に対して埋め込む処理を実行する加算ステップと、
を有することを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001169109A JP3861623B2 (ja) | 2001-06-05 | 2001-06-05 | 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム |
US10/162,101 US7564973B2 (en) | 2001-06-05 | 2002-06-03 | Digital watermark embedding device and digital watermark embedding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001169109A JP3861623B2 (ja) | 2001-06-05 | 2001-06-05 | 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002369158A JP2002369158A (ja) | 2002-12-20 |
JP3861623B2 true JP3861623B2 (ja) | 2006-12-20 |
Family
ID=19011224
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001169109A Expired - Fee Related JP3861623B2 (ja) | 2001-06-05 | 2001-06-05 | 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US7564973B2 (ja) |
JP (1) | JP3861623B2 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4541632B2 (ja) * | 2002-05-13 | 2010-09-08 | パナソニック株式会社 | 電子透かし埋め込み装置、その方法及び記録媒体 |
US7340778B2 (en) * | 2002-07-24 | 2008-03-04 | Macrovision Corporation | Method and apparatus for ensuring the copy protection of digital data |
WO2004073168A2 (en) * | 2003-02-07 | 2004-08-26 | Warner Bros. Entertainment Inc. | Methods for encoding data in an analog video signal such that it survives resolution conversion |
US20070223693A1 (en) * | 2004-06-08 | 2007-09-27 | Koninklijke Philips Electronics, N.V. | Compensating Watermark Irregularities Caused By Moved Objects |
JP2006033751A (ja) * | 2004-07-21 | 2006-02-02 | Fuji Photo Film Co Ltd | デジタル画像提供システム |
GB2421133A (en) * | 2004-12-09 | 2006-06-14 | Sony Uk Ltd | Registering a water marked image by calculating distortion vector estimates |
FR2887389A1 (fr) * | 2005-06-21 | 2006-12-22 | Thomson Licensing Sa | Appareil et procede d'affichage d'images |
KR100736041B1 (ko) * | 2005-06-30 | 2007-07-06 | 삼성전자주식회사 | 에러 은닉 방법 및 장치 |
FR2890517A1 (fr) * | 2005-09-08 | 2007-03-09 | Thomson Licensing Sas | Procede et dispositif d'affichage d'images |
JP4254802B2 (ja) * | 2006-05-11 | 2009-04-15 | ソニー株式会社 | 画像処理装置および方法、プログラム並びに記録媒体 |
JP4813517B2 (ja) * | 2008-05-29 | 2011-11-09 | オリンパス株式会社 | 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 |
KR100938211B1 (ko) * | 2008-08-29 | 2010-01-22 | 성균관대학교산학협력단 | 동영상 화질 평가 시스템 및 방법 |
KR101343761B1 (ko) | 2009-08-26 | 2013-12-19 | 서울과학기술대학교 산학협력단 | Ofdm 워터마킹을 이용한 위치인식 장치 및 방법 |
JP5729464B2 (ja) * | 2011-03-22 | 2015-06-03 | 富士通株式会社 | 位置情報付加装置、位置情報付加方法及び位置情報付加用コンピュータプログラムならびに位置検出装置 |
US9251549B2 (en) | 2013-07-23 | 2016-02-02 | Verance Corporation | Watermark extractor enhancements based on payload ranking |
US20160232672A1 (en) * | 2015-02-06 | 2016-08-11 | Qualcomm Incorporated | Detecting motion regions in a scene using ambient-flash-ambient images |
JP6784122B2 (ja) * | 2016-09-29 | 2020-11-11 | 富士通株式会社 | 電子透かし埋込プログラム、電子透かし埋込装置、及び電子透かし埋込方法 |
US11126199B2 (en) * | 2018-04-16 | 2021-09-21 | Baidu Usa Llc | Learning based speed planner for autonomous driving vehicles |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5506622A (en) * | 1994-05-02 | 1996-04-09 | Daewoo Electronics Co., Ltd. | Block matching type motion vector determination using correlation between error signals |
US6957350B1 (en) * | 1996-01-30 | 2005-10-18 | Dolby Laboratories Licensing Corporation | Encrypted and watermarked temporal and resolution layering in advanced television |
US6282299B1 (en) * | 1996-08-30 | 2001-08-28 | Regents Of The University Of Minnesota | Method and apparatus for video watermarking using perceptual masks |
US5960081A (en) * | 1997-06-05 | 1999-09-28 | Cray Research, Inc. | Embedding a digital signature in a video sequence |
JP3696723B2 (ja) * | 1997-09-02 | 2005-09-21 | ソニー株式会社 | 画像データ処理装置及び方法 |
JPH11220736A (ja) * | 1998-01-30 | 1999-08-10 | Canon Inc | 画像処理装置および方法、記録媒体 |
JP4035257B2 (ja) | 1998-04-10 | 2008-01-16 | キヤノン株式会社 | 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 |
US6188728B1 (en) * | 1998-09-29 | 2001-02-13 | Sarnoff Corporation | Block motion video coding and decoding |
JP4130503B2 (ja) * | 1998-11-30 | 2008-08-06 | 株式会社東芝 | 電子透かし埋込み装置 |
JP3698901B2 (ja) * | 1998-12-03 | 2005-09-21 | 株式会社日立製作所 | 情報埋込み方法および装置 |
US6442284B1 (en) * | 1999-03-19 | 2002-08-27 | Digimarc Corporation | Watermark detection utilizing regions with higher probability of success |
FR2792797B1 (fr) * | 1999-04-23 | 2001-07-13 | Thomson Csf | Procede de tatouage d'images |
US6262299B1 (en) * | 1999-07-06 | 2001-07-17 | National Starch And Chemical Investment Holding Corporation | Zwitterionic monomer having amino-multicarboxylic acid functionality |
EP1336161A1 (en) * | 2000-11-07 | 2003-08-20 | Koninklijke Philips Electronics N.V. | Method and arrangement for embedding a watermark in an information signal |
JP3861624B2 (ja) * | 2001-06-05 | 2006-12-20 | ソニー株式会社 | 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム |
US7203335B2 (en) * | 2001-08-07 | 2007-04-10 | Gabriel Fielding | System and method for extracting a watermark signal in a digital image sequence |
-
2001
- 2001-06-05 JP JP2001169109A patent/JP3861623B2/ja not_active Expired - Fee Related
-
2002
- 2002-06-03 US US10/162,101 patent/US7564973B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002369158A (ja) | 2002-12-20 |
US7564973B2 (en) | 2009-07-21 |
US20020181706A1 (en) | 2002-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3861623B2 (ja) | 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム | |
JP4764433B2 (ja) | 安全、堅固かつ高忠実度の透かし入れ | |
JP3861624B2 (ja) | 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム | |
US7415128B2 (en) | Method and apparatus for providing an asymmetric watermark carrier | |
US7287163B2 (en) | Digital watermark embedding apparatus and method, and computer program | |
US7587604B2 (en) | Watermark signal generating method | |
US7903868B2 (en) | Video fingerprinting apparatus in frequency domain and method using the same | |
JP2002533961A (ja) | 電子透かし信号をデータに挿入する方法 | |
JP2009514305A (ja) | 情報信号にデータを埋め込む方法 | |
GB2419763A (en) | Image watermarking using weighted code word coefficients | |
JP3736379B2 (ja) | 電子透かし埋め込み処理装置、電子透かし検出処理装置、および電子透かし埋め込み処理方法、電子透かし検出処理方法、並びにプログラム記憶媒体、およびプログラム | |
JP2003304388A (ja) | 付加情報検出処理装置、コンテンツ再生処理装置、および方法、並びにコンピュータ・プログラム | |
JP4079620B2 (ja) | 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにコンピュータ・プログラム | |
JP2002369161A (ja) | 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム | |
JP2002320085A (ja) | 電子透かし埋め込み処理装置、電子透かし検出処理装置、および電子透かし埋め込み処理方法、電子透かし検出処理方法、並びにプログラム記憶媒体、プログラム | |
JP2004056224A (ja) | 信号処理装置およびその方法 | |
JP2002359805A (ja) | 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム | |
JP2002369160A (ja) | 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム | |
JP4064215B2 (ja) | 動画用低ビットレート可逆電子透かし装置およびそのプログラム | |
Lee et al. | Novel robust video watermarking algorithm based on adaptive modulation | |
JP2004080153A (ja) | 情報重畳装置、情報重畳方法、情報検出装置、情報検出方法および重畳情報検出システム | |
KR101025311B1 (ko) | 복합적 왜곡에 강인한 자기 동기화 신호 기반의 고화질 동영상 워터마킹 시스템 | |
JP2004048096A (ja) | 付加情報重畳装置、付加情報重畳方法、付加情報検出装置および付加情報検出方法 | |
JP2002354227A (ja) | 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム | |
JP2003304389A (ja) | 付加情報重畳処理装置、付加情報検出処理装置、および方法、並びにコンピュータ・プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050606 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060918 |
|
LAPS | Cancellation because of no payment of annual fees |