JP4127636B2 - 電子透かし埋め込み装置及び方法 - Google Patents
電子透かし埋め込み装置及び方法 Download PDFInfo
- Publication number
- JP4127636B2 JP4127636B2 JP2002255719A JP2002255719A JP4127636B2 JP 4127636 B2 JP4127636 B2 JP 4127636B2 JP 2002255719 A JP2002255719 A JP 2002255719A JP 2002255719 A JP2002255719 A JP 2002255719A JP 4127636 B2 JP4127636 B2 JP 4127636B2
- Authority
- JP
- Japan
- Prior art keywords
- digital watermark
- signal
- embedding
- image signal
- strength
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/0085—Time domain based watermarking, e.g. watermarks spread over several images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
- G06T1/0071—Robust watermarking, e.g. average attack or collusion attack resistant using multiple or alternating watermarks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0083—Image watermarking whereby only watermarked image required at decoder, e.g. source-based, blind, oblivious
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0202—Image watermarking whereby the quality of watermarked images is measured; Measuring quality or performance of watermarking methods; Balancing between quality and robustness
Description
【０００１】
【発明の属する技術分野】
この発明は、例えば記録媒体を介して提供されるディジタル動画像信号の不正な複製を防止するのに有効な電子透かし埋め込み装置に関する。
【０００２】
【従来の技術】
ディジタルＶＴＲ、あるいはＤＶＤ（ディジタルバーサタイルディスク）のようなディジタル画像データを記録及び再生する装置の普及により、これらの装置で再生が可能な数多くのディジタル動画像が提供されるようになってきている。またインターネット、放送衛星、通信衛星等を介したディジタルテレビ放送を通じて様々なディジタル動画像が流通し、ユーザは高品質のディジタル動画像を利用することが可能となりつつある。
【０００３】
ディジタル動画像は、ディジタル信号レベルで簡易に高品質の複製を作成することが可能であり、何らかの複製禁止あるいは複製制御を施さない場合には、無制限に複製されるおそれがある。従って、ディジタル動画像の不正な複製（コピー）を防止し、あるいは正規ユーザによる複製の世代数を制御するために、ディジタル動画像に複製制御のための情報を付加し、この付加情報を用いて不正な複製を防止し、複製を制限する方法が考えられている。
【０００４】
このようにディジタル動画像に別の付加情報を重畳する技術として、電子透かし(digital watermarking)が知られている。電子透かしは、ディジタルデータ化された音声、音楽、動画、静止画等のコンテンツに対して、コンテンツの著作権者や利用者の識別情報、著作権者の権利情報、コンテンツの利用条件、その利用時に必要な秘密情報、あるいは上述した複製制御情報などの情報(これらを透かし情報と呼ぶ)を知覚が容易ではない状態となるように埋め込み、後に必要に応じて透かし情報をコンテンツから検出することによって利用制御、複製制御を含む著作権保護を行なったり、二次利用の促進を行うための技術である。
【０００５】
電子透かしの一つの方式として、スペクトラム拡散技術を応用した方式が知られている。この方式では、以下の手順により透かし情報をディジタル動画像に埋め込む。
［ステップＥ１］画像信号にＰＮ(Pseudorandom Noise)系列を乗積してスペクトラム拡散を行う。
［ステップＥ２］スペクトル拡散後の画像信号を周波数変換（例えばＤＣＴ変換）する。
［ステップＥ３］特定の周波数成分の値を変更することで透かし情報を埋め込む。
［ステップＥ４］逆周波数変換（例えばＩＤＣＴ変換）を施す。
［ステップＥ５］スペクトル逆拡散を施す（ステップＥ１と同じＰＮ系列を乗積する）。
【０００６】
一方、こうして透かし情報が埋め込まれたディジタル動画像からの透かし情報の検出は、以下の手順により行う。
［ステップＤ１］画像信号にＰＮ(Pseudorandom Noise)系列（ステップＥ１と同じＰＮ系列）を乗積してスペクトル拡散を行う。
［ステップＤ２］スペクトル拡散後の画像信号を周波数変換（例えばＤＣＴ変換）する。
［ステップＤ３］特定の周波数成分の値に着目し、埋め込まれた透かし情報を抽出する。
【０００７】
【発明が解決しようとする課題】
不正利用の防止を目的として電子透かしを適用する場合、ディジタル著作物に対して通常に施されると想定される各種の操作や意図的な攻撃によって、透かし情報が消失したり改竄されたりしないような性質（ロバスト性）を持つ必要がある。
【０００８】
ロバスト性を高めるのに最も効果的な方法の一つは、電子透かしの埋め込み強度を強くして、情報の消失を防ぐことである。しかし、電子透かしの埋め込み強度を強くすると、電子透かし信号がノイズとして知覚され、画像品質を落としてしまう。一方、電子透かし信号自体が視覚的に見えてしまうと、電子透かし方式の秘匿性を弱め、より攻撃を容易にしてしまうという危険性がある。
【０００９】
つまり、電子透かし信号が知覚されないこと（トランスペアレンシーという）とロバスト性との間にはトレードオフの関係があり、トランスペアレンシーを落とさずにロバスト性を高めることが、電子透かし埋め込みにおいて最も重要な課題の一つとなる。
【００１０】
従って、本発明はトランスペアレンシーを維持しつつ、ロバスト性を高めることが可能な電子透かし埋め込み装置を提供することを目的とする。
より具体的な目的は、電子透かし信号の埋め込み強度を最適に制御することを可能とすることにある。
本発明の他の目的は、画像信号の圧縮符号化を考慮した電子透かし信号の埋め込みを行うことにある。
本発明の他の目的は、テレシネ変換や逆テレシネ変換を考慮した電子透かし信号の埋め込みを行うことにある。
本発明の他の目的は、電子透かし信号の的確な再埋め込みを実現することにある。
本発明の他の目的は、再埋め込みされた電子透かし信号の検出を安定に行うことができる再埋め込みを行うことにある。
本発明の他の目的は、フレームレート変換を考慮した電子透かし信号の埋め込みを行うことにある。
【００１１】
【課題を解決するための手段】
（１）入力画像信号に対して電子透かし信号を埋め込んで出力画像信号を生成する電子透かし埋め込みに際して、出力画像信号から電子透かし信号を抽出して、該抽出した電子透かし信号の信号強度を検出し、該信号強度に応じて入力画像信号に対する電子透かし信号の埋め込み強度を制御する。
【００１２】
このように埋め込まれた電子透かし信号の信号強度をフィードバッグして、動的に電子透かし信号の埋め込み強度を制御することで、画像信号の絵柄や性質に依存せず、安定した電子透かしの埋め込みを行うことが可能となり、電子透かし検出時における所望の検出性能を保証した、よりロバスト性の高い埋め込みを容易に実現することが可能となる。
【００１３】
（２）入力画像信号に対して電子透かし信号を埋め込んで出力画像信号を生成する電子透かし埋め込みに際して、入力画像信号に対する出力画像信号の画質劣化度を検出し、この画質劣化度に応じて入力画像信号に対する電子透かし信号の埋め込み強度を制御する。
【００１４】
このように電子透かし信号の埋め込みに起因する画質劣化度のフィードバッグによる埋め込み強度の動的な制御により、画質劣化を一定にした埋め込みや、画質劣化度の最大値を所定値以下に抑えた埋め込みなどを容易に制御することが可能となる。これにより画質劣化を抑えて、最大限埋め込み強度を高めることが容易となり、より画質劣化の少なく且つロバスト性の高い電子透かし埋め込みを行うことが可能となる。
【００１５】
（３）入力画像信号に対して電子透かし信号を埋め込んで出力画像信号を生成する電子透かし埋め込みに際して、入力画像信号及び電子透かし信号の少なくとも一方からアクティビティを検出し、該アクティビティに応じて入力画像信号に対する電子透かし信号の埋め込み強度を制御する。
【００１６】
このように画像信号や電子透かし信号の性質の一つであるアクティビティに合わせて、フィードフォワード制御により適応的に埋め込み強度を制御することによって、画質劣化を抑えつつ、最大限に電子透かし埋め込み強度を高めることができ、よりロバストな電子透かしの埋め込みを行うことが可能となる。
【００１７】
（４）上述した第１〜第３の手法による埋め込み強度の制御、すなわち電子透かし信号の信号強度のフィードバック、電子透かし信号の埋め込みによる画質劣化度のフィードバック及びアクティビティのフィードフォワードのうち任意の２つ以上の組み合わせで電子透かし信号の埋め込み強度を制御する構成とすることも可能である。このように複数の手法による埋め込み強度の制御を有機的に結合することで、画質劣化が少なく、且つ安定した高い検出性能が保証された電子透かし埋め込みを実現することが可能となる。
【００１８】
（５）リピートフィールドの挿入によるテレシネ変換により生成された入力画像信号に対して、フィールド単位で電子透かし信号を埋め込んで出力画像信号を生成する電子透かし埋め込みに際して、入力画像信号からリピートフィールドを検出し、この検出結果に基づき入力画像信号のうち、リピートフィールドに対しては２フィールド前のフィールド（直前のフレームの同相フィールド）に埋め込まれた電子透かし信号と同一の電子透かし信号を埋め込む。
【００１９】
ＤＶＤなどで用いられているＭＰＥＧ２動画像符号化では、テレシネ変換されたビデオ信号を逆テレシネ変換して符号化することがしばしば行われる。テレシネ変換では、フレーム周波数２４Ｈｚのフィルム素材を周期的に繰り返しフィールドを挿入して６０Ｈｚのフィールド信号に変換して、ＴＶに表示させたり、あるいはＶＴＲのような記録再生機器によって記録する。
【００２０】
ＤＶＤなどでは、圧縮効率を高めるため、テレシネ変換された映像信号に対して自動的に逆テレシネ変換を施し、２４Ｈｚのフレーム映像として圧縮符号化を行い、再生時に、再度テレシネ変換して表示する。逆テレシネ変換は通常、リピートフィールドを自動検出することにより実現されるが、逆テレシネ変換の前にフィールド単位で異なる電子透かし信号を埋め込むと、リピートフィールドの検出率の低下を招き、正確な逆テレシネ変換を妨げてしまう。その結果、圧縮符号化の符号化効率を低下させ、画質劣化の原因となってしまう。
【００２１】
ここで、上述したように電子透かし埋め込み時においても、テレシネ変換のリピートフィードの検出を行い、リピートフィールドでは１フレーム前の同相フィールドと同一の電子透かし信号を埋め込むようにすることにより、圧縮符号化における逆テレシネ変換の検出性能を低下させることなく、電子透かし信号を埋め込むことが可能となる。
【００２２】
（６）入力画像信号に対して逆テレシネ変換を行い、逆テレシネ変換後の画像信号に対してフレーム単位で電子透かし信号を生成し、逆テレシネ変換後の画像信号に対して電子透かし信号をフレーム単位で埋め込む。
【００２３】
このようにすると、例えばＭＰＥＧ２などの動画像符号化と電子透かし埋め込みを連動させ、動画像符号化のために逆テレシネ変換したフレームに対して電子透かし信号を埋め込み、その後に符号化を行うことで、電子透かし埋め込みによる逆テレシネ変換への影響を完全に排除しつつ、電子透かし信号を画像信号に埋め込むことが可能となる。
【００２４】
（７）第１の電子透かし信号が埋め込まれた入力画像信号から該入力画像信号が受けている幾何変形を推定し、該推定した幾何変形に関わるパラメータを生成し、該パラメータに従って幾何変形された第２の電子透かし信号を生成して、入力画像信号に対して第２の電子透かし信号の再埋め込みを行って出力画像信号を生成する。
【００２５】
電子透かしの利用形態として、予め埋め込まれた電子透かし情報を検出するだけでなく、電子透かし情報を書き換える（リマーク）、弱まった電子透かし信号を再書き込みにより補強するといったことも考えられる。前者は、電子透かしによる世代管理などで用いられる。例えば、１回コピー可という信号が電子透かしにより書き込まれている場合、１回のコピーの実施に併せて電子透かし信号の情報を「コピー不可」のように改める必要がある。後者では、映像信号の拡大・縮小などの幾何変形や、符号化／復号化や録画再生などによる画質劣化とともに減衰した電子透かし信号に対して同じ情報を上書きすることによる補強を行って、電子透かし信号の強度を正常に戻す場合などがある。
【００２６】
これらリマークや上書きいずれの場合においても、画像信号自体が当初の電子透かし埋め込み後に何らかの幾何変形を受けている場合、正常な再埋め込みが困難となるが、上述のようにリマークや上書き等の再埋め込みの際に、例えば予め埋め込まれた電子透かし情報を検出するとともに、拡大・縮小や時間あるいは空間の位相といった幾何変形に関わるパラメータを検出し、検出された幾何変形パラメータに合わせて、再埋め込みを行う電子透かし信号を生成することで、より正確に再埋め込みを行うことが可能となる。
【００２７】
（８）このような電子透かし信号の再埋め込みに際して、入力画像信号から第１の電子透かし信号を抽出して該第１の電子透かし信号の信号強度を検出する一方、出力画像信号から第２の電子透かし信号を抽出して該第２の電子透かし信号の信号強度を検出し、これら第１及び第２の電子透かし信号の検出信号強度の大小関係に応じて、入力画像信号に対する第２の電子透かし信号の再埋め込み強度を制御するようにしてもよい。
【００２８】
電子透かし信号のリマークなどの再埋め込みの際に、特定の情報のみを変更する場合、再埋め込み後、変更された部分と変更されない部分との電子透かし信号の信号強度のバランスが極端に乱れると、リマーク後の電子透かしの検出性能を大幅に低下させる場合がある。特に、幾何変形や圧縮符号化などの画質劣化を受けた画像信号では、予め埋め込まれた電子透かし信号の強度も低下しており、再埋め込みの埋め込み強度を一意に決定することが困難となる。
【００２９】
ここで、上述のように再埋め込み前の電子透かし信号の検出強度と、再埋め込み後の電子透かし信号の検出強度のバランスから、再埋め込み強度を動的に制御するようにすると、予め埋め込まれた電子透かし信号と強度バランスのとれた再埋め込みを実現することが可能となり、部分的な再埋め込みに対しても、安定した検出性能を保証することができる。
【００３０】
（９）さらに、上述のような電子透かし信号の再埋め込みに際して、入力画像信号から第１の電子透かし信号を所定間隔で検出し、再埋め込みにおいて第１の電子透かし信号が検出された時点から所定時間以上継続して入力画像信号に第２の電子透かし信号の再埋め込みを行うようにしてもよい。
【００３１】
電子透かし信号のリマークなどの再埋め込みを行う場合、予め埋め込まれた電子透かし情報の検出結果に応じて、リマークすべき電子透かし情報を決定する場合がある。この場合、例えば何らかの画像変形により予め埋め込まれた電子透かし情報の検出が不安定であると、それに連動した再埋め込み自体も不安定となり、再埋め込み後の電子透かし信号を安定に検出することが困難となる。
【００３２】
これに対し、上述のように電子透かし信号の再埋め込みの際、例えば電子透かし検出に必要な所定時間以上継続して再埋め込み処理を行うことで、再埋め込み後の画像信号から安定して電子透かし信号を検出することが可能となる。
【００３３】
（１０）圧縮された画像信号を復号化し、復号化された画像信号のフレームレートを変換して出力し、フレームレートの変換前の復号化された画像信号から電子透かし信号を検出する。
【００３４】
（１１）圧縮された画像信号を復号化し、復号化された画像信号のフレームレートを変換して出力し、フレームレートの変換前の復号化された画像信号から電子透かし信号を検出する。
【００３５】
（１２）第１の電子透かし信号が埋め込まれている圧縮された画像信号を復号化し、復号化された画像信号のフレームレートを変換して出力し、フレームレートの変換前の復号化された画像信号に対して第２の電子透かし信号の再埋め込みを行う。
【００３６】
画像信号がＭＰＥＧ２などのディジタル動画像圧縮を受けた状態で伝送あるいは蓄積される系においては、電子透かし信号の検出、埋め込み、あるいは再埋め込みは、圧縮された画像信号の復号化時に行われることが多い。圧縮された画像信号は、表示デバイスに合わせて様々なフレームレートに変換されて出力される場合がある。任意のフレームレートに合わせて、電子透かしの検出、埋め込み、あるいは再埋め込みを行うようにすると、これらの電子透かしに関する処理コストが増大し、また、時間方向のジッタ等の影響を受け、電子透かしの検出性能を低下させる原因ともなる。
【００３７】
電子透かしの検出、埋め込み、あるいは再埋め込みの処理を圧縮された画像信号が復号化された直後、すなわちフレームレート変換を受ける前の画像フレームに対して施すことにより、上記のようなコスト増や性能低下を抑制することが可能となる。
【００３８】
（１３）圧縮された画像信号を復号化して、復号化された画像信号と画像フレームまたはフィールドの表示タイミングに関する情報を出力し、復号化された画像信号に対して、表示タイミングの情報に応じて電子透かし信号を埋め込む。
【００３９】
（１４）圧縮された画像信号を復号化して、復号化された画像信号と画像フレームまたはフィールドの表示タイミングに関する情報を出力し、復号化された画像信号から、表示タイミングの情報に応じて電子透かし信号を検出する。
【００４０】
第１の電子透かし信号が埋め込まれている圧縮された画像信号を復号化して、復号化された画像信号と画像フレームまたはフィールドの表示タイミングに関する情報を出力し、復号化された画像信号に対して、表示タイミングの情報に応じて第２の電子透かし信号の再埋め込みを行う。
【００４１】
電子透かしが時間方向の状態遷移や位相特性を持つ場合、フレームレート変換やトリック再生などの影響を受けると、電子透かしの検出性能を低下させる原因となる場合がある。一方、ＭＰＥＧ２などで圧縮された画像信号データでは、フレームあるいはフィールド毎の表示時刻に関する情報も合わせて符号化されている。従って、上述のように圧縮符号化が併せ持つ表示時刻に関する情報を電子透かしの検出、埋め込み、及び再埋め込みにおける時間情報として使用すると、電子透かしの時間方向の位相特性を適切に制御することが可能となり、電子透かしの検出性能を向上させることができる。
【００４２】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図である。本実施形態の電子透かし埋め込み装置は、電子透かし信号生成部１０、電子透かし埋め込み部１１、電子透かし検出部１２及び電子透かし強度制御部１３を有する。
【００４３】
入力画像信号１４は、電子透かし信号生成部１０と電子透かし埋め込み部１１に入力される。電子透かし信号生成部１０により入力画像信号１４に基づいて公知の手法により電子透かし信号１５が生成され、この電子透かし信号１５が電子透かし埋め込み部１１により入力画像信号１４に対して埋め込まれることによって、出力画像信号１６が生成される。
【００４４】
出力画像信号１６は、電子透かし検出部１２に入力される。電子透かし検出部１２は、出力画像信号１６から電子透かし信号を抽出し、抽出した電子透かし信号の信号強度を求めて、信号強度情報１７を電子透かし強度制御部１３に供給する。電子透かし強度制御部１３は、信号強度情報１７に従って電子透かし信号の埋め込み強度を例えば電子透かし検出部１２により抽出された電子透かし信号の信号強度が一定となるように決定し、それに基づき電子透かし埋め込み部１１に対して埋め込み強度制御信号１８を供給する。埋め込み強度制御信号１８に従って、電子透かし埋め込み部１１における電子透かし信号１５の埋め込み強度が例えば所望の一定強度となるように制御される。
【００４５】
このように出力画像信号１６に埋め込まれている電子透かし信号の強度を電子透かし埋め込み部１１に埋め込み強度としてフィードバックし、電子透かし信号１５の埋め込み強度を制御することにより、電子透かし信号１５の埋め込みを一定の強度で安定して行うことが可能となる。
【００４６】
（第２の実施形態）
図２は、本発明の第２の実施形態に係る電子透かし埋め込み装置の構成を示している。本実施形態は、図１における電子透かし検出部１２が画質劣化度検出部１９に置き換わっている点が第１の実施形態と異なる。画質劣化度検出部１９は、電子透かし信号１５の埋め込み前と埋め込み後の画像信号、すなわち入力画像信号１４と出力画像信号１６を入力し、入力画像信号１４に対する出力画像信号１６の画質劣化度を検出して、画質劣化度情報２０を電子透かし強度制御部１３に供給する。画質劣化度は、例えば入力画像信号１４と出力画像信号１６との画素値（輝度値）の差分絶対値和、あるいは平均自乗誤差として求められる。
【００４７】
電子透かし強度制御部１３は、画質劣化度情報２０に従って電子透かし信号の埋め込み強度を例えば画質劣化度が所定のしきい値以下となるように決定し、それに基づき電子透かし埋め込み部１１に対して埋め込み強度制御信号１８を供給する。埋め込み強度制御信号１８に従って電子透かし埋め込み部１１における電子透かし信号１５の埋め込み強度が制御されることにより、電子透かし信号１５の埋め込みに起因する画質劣化が知覚されないようにすることができる。
【００４８】
（第３の実施形態）
図３には、本発明の第３の実施形態に係る電子透かし埋め込み装置の構成を示す。第１及び第２の実施形態では、フィードバックにより電子透かし信号の埋め込み強度を制御しているのに対し、本実施形態ではフィードフォワード制御により電子透かし信号の埋め込み強度の制御を行う。具体的には、入力画像信号１４及び電子透かし信号生成部１０で生成された電子透かし信号１５から、アクティビティ検出部２１でそれぞれのアクティビティ、すなわち複雑度を検出し、例えば入力画像信号１４と電子透かし信号１５のアクティビティの比を示すアクティビティ情報２２を電子透かし強度制御部１３に供給する。
【００４９】
電子透かし強度制御部１３は、アクティビティ情報２２に従って電子透かし信号の埋め込み強度を例えば入力画像信号１４と電子透かし信号１５のアクティビティの比が予め定められた一定の値となるように決定し、それに基づき電子透かし埋め込み部１１に対して埋め込み強度制御信号１８を供給する。埋め込み強度制御信号１８に従って電子透かし埋め込み部１１における電子透かし信号１５の埋め込み強度が制御されることにより、電子透かし信号１５の埋め込みに起因する画質劣化を抑えつつ、電子透かし信号の埋め込み強度を最大限に高めることが可能となる。
【００５０】
（第４の実施形態）
図４は、本発明の第４の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図である。本実施形態では、第１の実施形態で説明した出力画像信号１６に含まれる電子透かし信号の信号強度に基づくフィードバック制御と、第３の実施形態で説明したアクティビティ情報に基づくフィードフォワード制御とを組み合わせて、電子透かし信号の埋め込み強度を制御する。
【００５１】
すなわち、電子透かし強度制御部１３は電子透かし検出部１２から出力される信号強度情報１７とアクティビティ検出部２１から出力されるアクティビティ情報２２を用いて、画質劣化を抑えつつ所定の埋め込み強度を維持できるように、たとえば、信号強度情報１７に基づく埋め込み強度調整量と、アクティビティ情報２２に基づく埋め込み強度調整量との積として、埋め込み強度制御信号１８を生成する。埋め込み強度制御信号１８に従って電子透かし埋め込み部１１における電子透かし信号１５の埋め込み強度が制御されることにより、電子透かし信号１５の埋め込みに起因する画質劣化を抑えつつ、安定して電子透かし信号１５の埋め込み強度を高めることができる。従って、電子透かし信号が埋め込まれた後の出力画像信号１６が劣化や変形を受けても、よりロバストに電子透かしを検出することが可能となる。
【００５２】
（第５の実施形態）
図５には、本発明の第５の実施形態に係る電子透かし埋め込み装置の構成を示す。本実施形態では、第２の実施形態で説明した入力画像信号１４に対する出力画像信号１６の画質劣化度に基づくフィードバック制御と、第３の実施形態で説明したアクティビティ情報に基づくフィードフォワード制御とを組み合わせて、電子透かし信号の埋め込み強度を制御する。
【００５３】
すなわち、電子透かし強度制御部１３は画質劣化度検出部１９から出力される画質劣化度情報２０とアクティビティ検出部２１から出力されるアクティビティ情報２２を用いて、画質劣化を抑えつつ所定の埋め込み強度を維持できるように、例えば画質劣化度情報２０に基づく埋め込み強度調整量と、アクティビティ情報２２に基づく埋め込み強度調整量との積として、埋め込み強度制御信号１８を生成する。このような構成とすることで、埋め込み強度制御信号１８に従って電子透かし埋め込み部１１における電子透かし信号１５の埋め込み強度が制御されることにより、電子透かし信号１５の埋め込みに起因する画質劣化を抑えつつ、安定して電子透かし信号１５の埋め込み強度を高めることができる。
【００５４】
（第６の実施形態）
図６は、本発明の第６の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図である。本実施形態では、入力画像信号１４がテレシネ変換により生成された画像信号である場合に、テレシネ変換を考慮して電子透かし信号の埋め込みを行う。
【００５５】
本実施形態を説明するために、まず図７を用いてテレシネ変換及び逆テレシネ変換について述べる。映画フィルムに記録されている映像のフレームレート（フレーム周波数）は一般的に２４Ｈｚであり、このフィルム映像をフレームレートが３０Ｈｚ（フィールド周波数６０Ｈｚ）のビデオ信号（ＴＶ信号）に変換する処理をテレシネ変換と呼ぶ。
【００５６】
テレシネ変換に際しては、図７に示すようにフィルム映像の各フレーム３０〜３５をインターレースによりトップフィールドとボトムフィールドの２つのフィールドに分割する。次に、フィルム映像の２フレームに１回ずつボトムフィールドを再表示するフィールド（リピートフィールド）を挿入することにより、フィールド４０ａ〜４０ｃ，４１ａ〜４１ｂ，…からなるビデオ画像を生成する。
【００５７】
この操作によって、フィルム映像中の例えばフレーム３０は３つのフィールド４０ａ，４０ｂ，４０ｃに変換される。これらのフィールドのうち、フィールド４０ａ，４０ｂはインターレースに基づくフィールドであり、フィールド４０ｃがフィールド４０ａと同じリピートフィールドである。フィールド映像中の次のフレーム３１は、インターレースに基づく２つのフィールド４１ａ，４１ｂに変換される。このようにフィルム映像の各１フレームを３フィールドと２フィールドとに交互に変換することで、２４Ｈｚから３０Ｈｚへのフレームレート変換、すなわちテレシネ変換が行われる。
【００５８】
逆に、テレシネ変換によって得られたフレームレート３０Ｈｚのビデオ信号をフレームレート２４Ｈｚのフィルム映像の信号に戻す操作を逆テレシネ変換と呼ぶ。逆テレシネ変換は、リピートフィールドを削除し、インターレースされた２フィールドから１フレームを復元することで行われる。
【００５９】
ＤＶＤなどで用いられるＭＰＥＧ２動画像圧縮では、テレシネ変換により得られたビデオ信号を圧縮する場合、符号化効率を上げるため、逆テレシネ変換を行ってフレームレートを元の２４Ｈｚに戻した後に、圧縮符号化を行うことが一般的である。逆テレシネ変換では通常、ビデオ信号のフィールド毎に１フレーム前の同相フィールドとの相関もしくは差分を計算することで自動的にリピートフィールドを検出する。例えば、数式（１）で示すように、ｙi(v,h)がｉ番目のフィールドの画素(v,h)の輝度信号を示しており、２フィールド前のフィールドの輝度信号との絶対値差分の和Ｊi を計算し、Ｊi が所定の閾値より小さい場合、フィールドｉをリピートフィールドとして検出する。
【００６０】
【数１】
【００６１】
本実施形態では、図６に示すようにリピートフィールド検出部２３を有し、テレシネ変換により得られた入力画像信号１４から、上述した逆テレシネ変換におけると同様にしてリピートフィールドの検出を行って、検出信号２４を電子透かし信号生成部１０に供給する。電子透かし信号生成部１０は、検出信号２４に基づいて入力画像信号１０が通常のフィールドかリピートフィールドかどうかを認識し、リピートフィールドに対しては２フィールド前のフィールドに埋め込んだ電子透かし信号と同一の信号を生成する。こうして生成された電子透かし信号１５は、電子透かし埋め込み部１１によって入力画像信号１０に埋め込まれる。
【００６２】
フィールド毎に異なる電子透かし信号を埋め込むと、圧縮符号化時における逆テレシネ変換においてリピートフィールドの検出が困難となり、符号化効率を低下させてしまう。あるいは、圧縮符号化時にリピートフィールドが検出されてリピートフィールドが削除されると、電子透かし信号の欠落が生じてしまうという問題がある。
【００６３】
これに対し、本実施形態のようにリピートフィールドについては２フィールド前と同じ電子透かし信号を埋め込むようにすると、電子透かし信号１５の埋め込み後にも、リピートフィールドと２フィールド前のフィールドとの信号が一致する。従って、圧縮符号化時の逆テレシネ変換においてリピートフィールドの検出が容易となり、符号化効率の低下などの、逆テレシネ変換への影響を無くすことができる。また、逆テレシネ変換時にリピートフィールドが削除されても、リピートフィールドで埋め込まれた電子透かし信号は２フィールド前と同じであるため、電子透かし信号の欠落を防ぐことが可能となる。
【００６４】
（第７の実施形態）
図８は、本発明の第７の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図である。本実施形態は、第６の実施形態と同様に入力画像信号１４がテレシネ変換により生成された画像信号である場合に、テレシネ変換を考慮して電子透かし信号の埋め込みを行う手法の他の例である。
【００６５】
本実施形態では、入力画像信号１４は逆テレシネ変換部２５によって逆テレシネ変換された後、電子透かし信号生成部１０及び電子透かし埋め込み部１１に入力される。このようにテレシネ変換によって生成された入力画像信号１４に対して、逆テレシネ変換後に電子透かし信号１５を埋め込む。これにより、電子透かし信号１５の埋め込みに伴う自動的な逆テレシネ変換への影響を排除し、かつ、逆テレシネ変換に伴う電子透かし信号の欠落を防ぐことも可能となる。
【００６６】
（第８の実施形態）
次に、図９〜図１３を用いて本発明の第８の実施形態について説明する。図９は、本実施形態に係る電子透かし埋め込み装置の構成を示す図であり、電子透かし信号が埋め込まれた画像信号に対して、電子透かし信号の再埋め込みを行う装置である。
このような電子透かし信号の再埋め込みは、圧縮符号化や記録再生の繰り返しにより弱まった電子透かし信号を補強するため、既に埋め込まれている電子透かし信号を再度上書きしたり、あるいは、コピーの世代管理を行うため、コピーされる回数に応じて電子透かし信号の書き換えを行う場合などに用いられる。
【００６７】
本実施形態では、入力画像信号５３から電子透かし検出部５０で電子透かしの検出と幾何変形の検出を行い、これらの検出結果に基づいて電子透かし／幾何変形情報５４を電子透かし信号生成部５１へ供給する。電子透かし信号生成部５１では、入力画像信号５３と電子透かし検出部５０で検出された電子透かし／幾何変形情報５４に基づいて電子透かし信号５５を生成する。こうして生成された電子透かし信号５５を電子透かし再埋め込み部５２で入力画像信号５３に重畳することにより、電子透かし信号の再埋め込みを行い、電子透かしの再埋め込みが施された出力画像信号５６を生成する。
【００６８】
一般に、電子透かし信号が埋め込まれた画像信号は、何らかの幾何変形を受ける場合がある。具体的には、例えば画面の拡大・縮小または平行移動のような空間的な幾何変形と、早送り、スロー再生、またはフレームレート変換のような時間的な幾何変形とがある。
【００６９】
図１０には、空間的な幾何変形の例を示す。フレーム６０は、電子透かし信号が埋め込まれた画像であり、中央の波線部分に電子透かし信号が埋め込まれている。フレーム６０に対して、フレーム６１は縮小された画像、フレーム６２は拡大された画像、フレーム６３は左上に平行移動された画像を示している。
【００７０】
図１１は、画像信号の時空間に三次元的に埋め込まれた電子透かし信号が時間方向の変形を受けた例を示している。複数のフレーム６４は、それぞれ網掛け部分に３次元的に電子透かし信号が埋め込まれた画像である。フレーム６５はフレーム６４の時間軸のシフトに伴い、電子透かし信号の位相が時間方向にシフトした画像の例、フレーム６６は、スロー再生やフレームレート変換により、時間方向に電子透かし信号が伸張された画像の例、フレーム６７はフレーム６６とは逆に時間軸の圧縮を受けた画像の例である。
【００７１】
画像が図１０あるいは図１１に示したような空間あるいは時間的な幾何変形を受けると、一般に埋め込まれている電子透かし信号の検出や電子透かし信号の再埋め込みが困難となる。しかし、これらの幾何変形を受けた画像信号に対して、電子透かし信号の検出や再埋め込みを行う際に、幾何変形のパラメータを推定することにより、電子透かし信号の検出性能を高めることができ、また電子透かし信号の再埋め込みを正確に行うことが可能となる。本実施形態では、図９中に示した電子透かし検出部５０により、このような幾何変形のパラメータの検出が行われる。
【００７２】
図１２は、図９における電子透かし検出部５０の内部構成の例を示している。図１２の構成によると、電子透かしの検出と幾何変形の推定を同時に行うことができる。まず、予め電子透かし信号が埋め込まれた画像信号５３に基づき、電子透かし信号の埋め込み時と同様の方法で、電子透かし信号生成部７１により電子透かし信号７２を生成する。
【００７３】
次に、複数の幾何変形部７３により、電子透かし信号７２に対して拡大・縮小あるいは平行移動等の複数の異なるパラメータの幾何変形処理を施し、幾何変形処理が施された複数の電子透かし信号７５ａを生成するとともに、各々の幾何変形パラメータ７５ｂを出力する。
【００７４】
これら幾何変形処理後の複数の電子透かし信号７５ａと入力画像信号５３は、マッチング部７４に入力され、各々の電子透かし信号７５ａと入力画像信号５３との相関演算を行い、各々の電子透かし信号７５ａに対応した複数の相関係数７６を生成する。
【００７５】
各々の相関係数７６と幾何変形パラメータ７５ｂは、幾何変形推定部７７に有力され、幾何変形推定部７７では、各々の相関係数７６の大きさを比較し、幾何変形処理後の複数の電子透かし信号７５ａのうち最大の相関係数を与える幾何変形パラメータを７５ｂの中から選択すると共に、電子透かし情報の検出を行う。幾何変形推定部７７からは、選択された幾何変形パラメータの情報７８及び検出した電子透かし情報７９が図９で説明した電子透かし／幾何変形情報５４として出力される。
【００７６】
図１３は、図９における電子透かし信号生成部５１及び電子透かし再埋め込み部５２の内部構成の例を示している。これらの電子透かし信号生成部５１及び電子透かし再埋め込み部５２は、図１２で示した電子透かし検出部５０の後段に配置される。
【００７７】
再埋め込み電子透かし信号生成部８０では、入力画像信号５３および図１２の電子透かし検出部５０で検出された電子透かし情報７９に基づいて、再埋め込み電子透かし信号８１が生成される。再埋め込み電子透かし信号生成部８０は、電子透かし信号の再埋め込みが、既に入力画像信号５３に埋め込まれている電子透かし信号の補強を目的としている場合は、検出された電子透かし情報７９と同様の電子透かし信号を生成する。電子透かし信号の再埋め込みがコピー世代管理等を目的としている場合は、再埋め込み電子透かし信号生成部８０はコピー世代が進んだことを示す電子透かし信号の生成を行う。
【００７８】
再埋め込み電子透かし信号８１は幾何変形部８２に入力され、ここで図１２で示した電子透かし検出部５０により検出された幾何変形パラメータ７８に基づいて、幾何変形が施される。幾何変形後の再埋め込み電子透かし信号は、電子透かし再埋め込み部８３により入力画像信号５３に再埋め込みされる。
【００７９】
最後に、電子透かし検出部５０で検出された電子透かし情報７９に応じて、電子透かし信号が再埋め込みされた画像信号、あるいは再埋め込みされていない画像信号のいずれかをセレクタ８４で切り替えて出力する。例えば、セレクタ８４ではコピー世代管理用の電子透かし信号が埋め込まれていた場合、世代情報を更新した電子透かし信号の再埋め込みされた画像信号を出力し、コピー世代管理不要の電子透かし信号が埋め込まれていた場合には、電子透かし信号の再埋め込みがなされていない入力画像信号５３をそのまま出力する。
【００８０】
（第９の実施形態）
図１４は、本発明の第９の実施形態に係る電子透かし再埋め込み装置の構成を示すブロック図であり、第８の実施形態で説明した電子透かし信号が既に埋め込まれた入力画像信号に対して電子透かし信号の再埋め込みを行う電子透かし再埋め込み装置に、再埋め込み強度の制御機能を持たせている。
【００８１】
電子透かし検出部９１では、第８の実施形態で説明した電子透かし検出部５０と同様に、既に電子透かし信号が埋め込まれた入力画像信号９０について、電子透かし情報の検出と幾何変形パラメータの推定を行い、電子透かし／幾何変形情報９３ａを出力する。電子透かし検出部９１はさらに、検出した電子透かし信号の強度を示す信号強度情報９３ｂを出力し、電子透かし強度制御部９５に供給する。
【００８２】
再埋め込み電子透かし信号生成部９２は、電子透かし検出部９１からの電子透かし／幾何変形情報９３ａと入力画像信号９０に基づいて、第８の実施形態と同様に再埋め込み電子透かし信号９４を生成する。電子透かし再埋め込み部９７は、再埋め込み電子透かし信号９４を入力画像信号９０に重畳することによって、出力画像信号１００を生成する。
【００８３】
電子透かし信号が再埋め込みされた出力画像信号１００は、電子透かし検出部９９に入力される。電子透かし検出部９９は、第１の実施形態と同様に出力画像信号１００から電子透かし信号を抽出し、さらに信号強度を検出することによって、信号強度情報９８を電子透かし強度制御部９５に供給する。
【００８４】
電子透かし強度制御部９５は、信号強度情報９３ｂ及び９８に基づいて入力画像信号９０中の電子透かし信号の信号強度と、電子透かし信号再埋め込み後の出力画像信号１００中の電子透かし信号の信号強度とから、電子透かし信号の再埋め込み時の埋め込み強度を決定し、それに基づき再埋め込み強度制御信号９６を電子透かし再埋め込み部９７に供給する。これにより、電子透かし再埋め込み部９７での電子透かし信号の再埋め込み強度の動的な制御を行う。
【００８５】
例えば、電子透かし信号の再埋め込みが上書きによる強度補強を目的としている場合、電子透かし検出部９９の検出強度が電子透かし検出部９１の検出強度よりも高くなるように、再埋め込み強度の制御を行う。電子透かし再埋め込みがコピー世代管理を目的としている場合には、電子透かし検出部９９の検出強度が電子透かし検出部９１の検出強度とほぼ同等となるように、再埋め込み強度の制御を行う。
従って、本実施形態によれば電子透かしの再埋め込みの強度を安定的に制御することができ、再埋め込み後の電子透かし信号の検出性能を保証することが可能となる。
【００８６】
（第１０の実施形態）
図１５は、本発明の第１０の実施形態に係る電子透かし信号の再埋め込み強度の制御機能を有する電子透かし埋め込み装置の構成を示すブロック図である。本実施形態は、図１４に示した第９の実施形態の構成に再埋め込みカウンタ１０１とセレクタ１０２が追加された構成となっており、その他の構成要素は図１４と同一である。
【００８７】
本実施形態では、電子透かし検出部９１が電子透かし信号の有無を検出して電子透かしの再埋め込みが必要か否かを判断する機能を持っており、電子透かし信号を検出し、再埋め込みが必要と判断した場合には、信号９３ｃにより再埋め込みカウンタ１０１をリセット、すなわちカウンタ１０１に所定の初期値を設定する。再埋め込みカウンタ１０１は減算カウンタであり、値がゼロになるまでカウントダウンを続ける。セレクタ１０２は、再埋め込みカウンタ１０１の値が非ゼロの値である期間、電子透かし再埋め込み部９７からの電子透かし信号再埋め込み後の画像信号１００を選択し、再埋め込みカウンタ１０１の値がゼロになると入力画像信号９０を選択して、それぞれ出力画像信号１０３として出力する。
【００８８】
次に、図１６に示すフローチャートを用いて本実施形態における電子透かし再埋め込み処理の手順を説明する。
電子透かし検出部９１は、一定周期で検出イベントを発生し（ステップＳ１）、検出イベントが発生した時点での電子透かし信号の情報を解読して、再埋め込み（リマーク）すべきか否かの判断を行い（ステップＳ２）、リマークすべきと判断した場合には、再埋め込みカウンタ１０１をリセットして初期値をセットする（ステップＳ３）。
【００８９】
次に、再埋め込みカウンタ１０１の値が正であるか否かを調べ（ステップＳ４）、正であれば電子透かし信号の再埋め込みを行い（ステップＳ５）、再埋め込みカウンタ１０１のカウントダウンを行う（ステップＳ６）。検出イベントが発生していない場合（ステップＳ１でＮｏとなった場合）、及びリマークすべき電子透かし信号が検出されない場合（ステップＳ２でＮｏとなった場合）においても、ステップＳ４で再埋め込みカウンタの値が正である限り、電子透かしの再埋め込み（ステップＳ５）は継続する。
【００９０】
図１７は、本実施形態における図１６で示した処理をタイミングチャートで示している。入力画像信号９０には、図１７の期間１０４に電子透かし信号が埋め込まれている。電子透かし検出部９１は、一定の時間幅の検出ウインド１０５をスライドさせながら所定周期で検出イベントを発生する。各検出ウインドの終了時点（検出ウインド１０５の場合は図中１０６）が検出イベントの発生時刻であり、これらの検出イベントのうち図中矢印で示したもの（例えば１０７）は、リマークすべき電子透かしが検出されたことを示している。図１７中の再埋込パターンＡ及び再埋込パターンＢにおける斜線部は、それぞれ再埋め込み処理が実行される期間を示している。
【００９１】
再埋込パターンＡでは、検出イベント毎にリマークすべき電子透かしが検出された場合、１検出イベント周期の期間だけ電子透かしの再埋め込みを行う。再埋込パターンＡを用いると、電子透かし検出部９１での電子透かし信号検出率が１００％でない場合、電子透かし信号の再埋め込み処理のオン／オフが断続的に発生してしまう。従って、電子透かし再埋め込み装置から出力される画像信号１０３を、伝送路や記録メディアを介して受信した後に電子透かし信号を検出する場合に、安定して検出を行うことが困難となる。
【００９２】
一方、再埋込パターンＢでは、リマークすべき電子透かし信号が検出される度に再埋め込みカウンタ１０１に初期値を設定し、再埋め込みカウンタ１０１の値が正である限り再埋め込みを継続するため、電子透かし検出部９１での電子透かし信号検出率に左右されず、電子透かし再埋め込み部９７で安定して電子透かし信号９４の再埋め込みを行うことが可能となり、電子透かし再埋め込み装置から出力される画像信号１０３を受信し、電子透かし信号を検出する際に、安定して再埋め込みされた電子透かしを検出することが可能となる。
【００９３】
図１７では、再埋込カウンタ１０１の値の時間変動パターン１０８も示されている。このパターン１０８から明らかなように、再埋め込みカウンタ１０１のリセット時の初期値は、検出ウインド１０５の長さと同一もしくは、それより長い方が好ましく、それによって再埋め込みされた電子透かし信号の検出をより安定に行うことが可能となる。
【００９４】
（第１１の実施形態）
図１８は、本発明の第１１の実施形態に係る電子透かし埋め込み装置の構成を示す図である。本実施形態では、ＭＰＥＧなどの動画像圧縮方式で圧縮された画像データ１１０の復号化を行うＭＰＥＧデコーダ１１１の後段に、電子透かし信号生成部１１３と電子透かし埋め込み部１１５が順次配置される。電子透かし埋め込み部１１５の後段には、フレームレート変換部１１７が配置される。
【００９５】
すなわち、ＭＰＥＧデコーダ１１１によって復号化された画像信号１１２に対して、電子透かし信号生成部１１３により生成された電子透かし信号１１４を電子透かし埋め込み部１１５によって埋め込む。電子透かし信号１１４が埋め込まれた画像信号１１６に対して、フレームレート変換部１１７によりフレームレートの変換を行い、出力画像信号１１８を生成する。フレームレート変換部１１７は、テレシネ変換あるいは、表示デバイスの特性等に応じたフレームレートの変換を行う。
【００９６】
本実施形態によれば、フレームレート変換がなされる前の復号化直後の画像信号１１２に対して、電子透かし信号の埋め込みを行うことにより、出力フレームレート（出力画像信号１１８のフレームレート）によらず、共通した電子透かし信号の埋め込みを容易に行うことができる。従って、出力フレームレート毎に異なる電子透かし埋め込みを行う必要が無くなり、電子透かし信号の埋め込み処理を低コストで実現することが可能となる。
【００９７】
（第１２の実施形態）
図１９は、本発明の第１２の実施形態に係る電子透かし検出装置の構成を示す図である。本実施形態では、ＭＰＥＧなどの動画像圧縮方式で圧縮された画像データ１１０の復号化を行うＭＰＥＧデコーダ１１１の後段に、電子透かし検出部１１９とフレームレート変換部１１７が並列的に配置される。すなわち、ＭＰＥＧデコーダ１１１により復号化された画像信号１１２に対して、電子透かし信号の検出を行うと同時にフレームレート変換を行って、出力画像信号１１８を生成する。
【００９８】
本実施形態によると、第１１の実施形態と同様にフレームレート変換がなされる前の復号化直後の画像信号１１２に対して、電子透かし信号の検出を行うことにより、出力フレームレート（出力画像信号１１８のフレームレート）によらず、共通した電子透かし信号の検出を容易に行うことができ、出力フレームレート毎に異なる電子透かし検出を行う必要が無くなるため、検出コストを抑えつつ、安定した電子透かし検出を行うことが可能となる。
【００９９】
（第１３の実施形態）
図２０は、本発明の第１３の実施形態に係る電子透かし再埋め込み装置の構成を示す図である。本実施形態では、ＭＰＥＧなどの動画像圧縮方式で圧縮された画像データ１１０の復号化を行うＭＰＥＧデコーダ１１１の後段に、電子透かし検出部１２０、電子透かし信号生成部１２２及び電子透かし再埋め込み部１２４が順次配置される。電子透かし再埋め込み部１２４の後段には、フレームレート変換部１１７が配置される。
【０１００】
すなわち、ＭＰＥＧデコーダ１１１によって復号化された画像信号１１２に対して、電子透かし検出部１２０で電子透かし信号の検出を行い、電子透かし検出結果１２１と復号化された画像信号１１２に応じて再埋め込み電子透かし信号生成部１２２により再埋め込み電子透かし信号１２３を生成し、電子透かし再埋め込み部１２４により電子透かし信号の再埋め込みがなされた画像信号１２５に対して、フレームレート変換部１１７によりフレームレート変換を行い、出力画像信号１１８を生成する。
【０１０１】
本実施形態によれば、フレームレート変換がなされる前の復号化直後の画像信号１１２に対して、電子透かしの検出及び再埋め込みを行うことで、出力フレームレート（出力画像信号１１８のフレームレート）によらず、電子透かし検出及び再埋め込みの処理を共通化することが可能となる。従って、出力フレームレート毎に異なる電子透かし検出及び再埋め込みを行う必要が無くなり、処理コストを抑えつつ、安定した電子透かし検出及び再埋め込みを行うことができる。
【０１０２】
（第１４の実施形態）
図２１は、本発明の他の実施形態に係る電子透かし埋め込み装置の構成を示す図である。本実施形態では、ＭＰＥＧなどの動画像圧縮方式で圧縮された画像データ１１０の復号化を行うＭＰＥＧデコーダ１１１の後段に、電子透かし信号生成部１１３及び電子透かし埋め込み部１１５が順次配置される。
【０１０３】
ＭＰＥＧデコーダ１１１からは、復号化された画像信号１１２と復号化された各フレームあるいはフィールドの表示時刻に関するタイムスタンプ情報２１２が出力される。復号化された画像信号１１２に対して、表示時刻に関するタイムスタンプ情報２１２に応じて電子透かし信号生成部１１３による電子透かし信号の生成及び電子透かし埋め込み部１１５による電子透かし信号の埋め込みを行い、電子透かしの埋め込まれた出力画像信号１１６を生成する。
【０１０４】
（第１５の実施形態）
図２２は、本発明の他の実施形態に係る電子透かし検出装置の構成を示すブロック図である。本実施形態では、ＭＰＥＧなどの動画像圧縮方式で圧縮された画像データ１１０の復号化を行うＭＰＥＧデコーダ１１１の後段に、電子透かし検出部１１９が配置される。
【０１０５】
第１４の実施形態と同様に、ＭＰＥＧデコーダ１１１から復号化された画像信号１１２と復号化された各フレームあるいはフィールドの表示時刻に関するタイムスタンプ情報２１２が出力される。本実施形態では、復号化された画像信号１１２に対して、表示時刻に関するタイムスタンプ情報２１２に応じて電子透かし検出部１１９による電子透かし信号の検出を行うと同時に、復号化された画像信号１１２を出力する。
【０１０６】
（第１６の実施形態）
図２３は、本発明の第１６の実施形態に係る電子透かし信号の再埋め込みを行う電子透かし埋め込み装置の構成を示す図である。本実施形態では、ＭＰＥＧなどの動画像圧縮方式で圧縮された画像データ１１０の復号化を行うＭＰＥＧデコーダ１１１の後段に、電子透かし検出部１２０、電子透かし信号生成部１２２及び電子透かし再埋め込み部１２４が順次配置される。第１４及び第１５の実施形態と同様に、ＭＰＥＧデコーダ１１１から復号化された画像信号１１２と、復号化された各フレームあるいはフィールドの表示時刻に関するタイムスタンプ情報２１２が出力される。
【０１０７】
本実施形態では、復号化された画像信号１１２に対して、表示時刻に関するタイムスタンプ情報２１２に応じて電子透かし検出部１２０による電子透かし信号の検出、電子透かし信号生成部１２２による再埋め込み電子透かし信号の生成及び電子透かし再埋め込み部１２４による電子透かし信号の再埋め込みを行い、電子透かし信号が再埋め込みされた画像信号１２５を出力する。
【０１０８】
ＭＰＥＧ等で圧縮された動画像信号は、フレーム間引きや逆テレシネ変換等により符号化フレームレートが一定でない場合があり、また、フレームあるいはフィールドの符号化及び復号化順序と表示順序がリオーダリングにより、異なる場合がある。この様子を図２４及び図２５に示す。
図２４は、フレーム間引きによりフレームレートが可変となった例を示している。符号化フレーム１３０，１３１，１３２には、各々の表示時刻に関するタイムスタンプが各フレームの表示時刻を決定付ける情報として復号化時に一意に決定される。
図２５は、リオーダリングの例を示しており、符号化フレーム１４０，１４１，１４２，１４３は符号化あるいは復号化順に並べられ、各々のタイムスタンプは表示時刻を決定付ける情報として一意に決定される。
【０１０９】
電子透かしの埋め込み、検出、あるいは再埋め込みが動画像信号に対して時空間の３次元パターンとして処理される場合、符号化に起因するフレーム間引きやリオーダリングの影響を受けると、正確に埋め込み、検出、あるいは再埋め込みを行うことが困難となる。しかし、ＭＰＥＧなどの動画像符号化方式では、符号化フレームあるいはフィールド毎に、表示時刻に関するタイムスタンプが復号化時に一意に決定される。従って、本実施形態のようにＭＰＥＧデコーダ１１１からタイムスタンプ情報２１２を受け取り、電子透かしの埋め込み、検出、あるいは再埋め込みを行うことによって、それぞれの処理に時空間処理が含まれている場合でも、正確に電子透かしの埋め込み、検出、あるいは再埋め込みを行うことが可能となる。
【０１１０】
【発明の効果】
以上説明したように、本発明によれば、フィードバッグあるいはフィードフォワードの最適な埋め込み強度制御、及び画像信号の圧縮符号化を考慮した埋め込みを行うことで、画質劣化を抑えつつ、ロバスト性の高い電子透かし埋め込みを実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図
【図２】本発明の第２の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図
【図３】本発明の第３の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図
【図４】本発明の第４の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図
【図５】本発明の第５の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図
【図６】本発明の第６の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図
【図７】テレシネ変換及び逆テレシネ変換を説明する図
【図８】本発明の第７の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図
【図９】本発明の第８の実施形態に係る幾何変形を考慮して電子透かし信号の再埋め込みを行う電子透かし埋め込み装置の構成を示すブロック図
【図１０】画像信号の空間方向の幾何変形の例を示す図
【図１１】画像信号の時間方向の幾何変形の例を示す図
【図１２】本発明の第８の実施形態における電子透かし検出部の構成例を示すブロック図
【図１３】本発明の第８の実施形態における電子透かし信号生成部及び電子透かし再埋め込み部の構成例を示すブロック図
【図１４】本発明の第９の実施形態に係るフィードバック強度制御部を有する電子透かし信号の再埋め込みを行う電子透かし埋め込み装置の構成を示すブロック図
【図１５】本発明の第１０の実施形態に係る電子透かし信号の再埋め込みを行う電子透かし埋め込み装置の構成を示すブロック図
【図１６】本発明の第１０の実施形態における電子透かし再埋め込み制御の手順を示すフローチャート
【図１７】本発明の第１０の実施形態における電子透かし再埋め込み制御の手順を示すタイミングチャート
【図１８】本発明の第１１の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図
【図１９】本発明の第１２の実施形態に係る電子透かし検出装置の構成を示すブロック図
【図２０】本発明の第１３の実施形態に係る電子透かし再埋め込み装置の構成を示すブロック図
【図２１】本発明の第１４の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図
【図２２】本発明の第１５の実施形態に係る電子透かし検出装置の構成を示すブロック図
【図２３】本発明の第１６の実施形態に係る電子透かし再埋め込み装置の構成を示すブロック図
【図２４】復号化画像のタイムスタンプの例を示す図
【図２５】復号化画像のタイムスタンプの例を示す図
【符号の説明】
１０…電子透かし信号生成部
１１…電子透かし埋め込み部
１２…電子透かし検出部
１３…電子透かし強度制御部
１９…画質劣化度検出部
２１…アクティビティ検出部
２３…リピートフィールド検出部
２５…逆テレシネ変換部
５０…電子透かし検出部
５１…電子透かし信号生成部
５２…電子透かし再埋め込み部
７１…電子透かし生成部
９１…電子透かし検出部
９２…再埋め込み電子透かし信号生成部
９５…電子透かし強度制御部
９７…電子透かし再埋め込み部
９９…電子透かし検出部
１０１…再埋め込みカウンタ
１０２…セレクタ
１１１…ＭＰＥＧデコーダ
１１３…電子透かし信号生成部
１１５…電子透かし埋め込み部
１１７…フレームレート変換部
１１９…電子透かし検出部
１２０…電子透かし検出部
１２２…電子透かし信号生成部
１２４…電子透かし再埋め込み部
【発明の属する技術分野】
この発明は、例えば記録媒体を介して提供されるディジタル動画像信号の不正な複製を防止するのに有効な電子透かし埋め込み装置に関する。
【０００２】
【従来の技術】
ディジタルＶＴＲ、あるいはＤＶＤ（ディジタルバーサタイルディスク）のようなディジタル画像データを記録及び再生する装置の普及により、これらの装置で再生が可能な数多くのディジタル動画像が提供されるようになってきている。またインターネット、放送衛星、通信衛星等を介したディジタルテレビ放送を通じて様々なディジタル動画像が流通し、ユーザは高品質のディジタル動画像を利用することが可能となりつつある。
【０００３】
ディジタル動画像は、ディジタル信号レベルで簡易に高品質の複製を作成することが可能であり、何らかの複製禁止あるいは複製制御を施さない場合には、無制限に複製されるおそれがある。従って、ディジタル動画像の不正な複製（コピー）を防止し、あるいは正規ユーザによる複製の世代数を制御するために、ディジタル動画像に複製制御のための情報を付加し、この付加情報を用いて不正な複製を防止し、複製を制限する方法が考えられている。
【０００４】
このようにディジタル動画像に別の付加情報を重畳する技術として、電子透かし(digital watermarking)が知られている。電子透かしは、ディジタルデータ化された音声、音楽、動画、静止画等のコンテンツに対して、コンテンツの著作権者や利用者の識別情報、著作権者の権利情報、コンテンツの利用条件、その利用時に必要な秘密情報、あるいは上述した複製制御情報などの情報(これらを透かし情報と呼ぶ)を知覚が容易ではない状態となるように埋め込み、後に必要に応じて透かし情報をコンテンツから検出することによって利用制御、複製制御を含む著作権保護を行なったり、二次利用の促進を行うための技術である。
【０００５】
電子透かしの一つの方式として、スペクトラム拡散技術を応用した方式が知られている。この方式では、以下の手順により透かし情報をディジタル動画像に埋め込む。
［ステップＥ１］画像信号にＰＮ(Pseudorandom Noise)系列を乗積してスペクトラム拡散を行う。
［ステップＥ２］スペクトル拡散後の画像信号を周波数変換（例えばＤＣＴ変換）する。
［ステップＥ３］特定の周波数成分の値を変更することで透かし情報を埋め込む。
［ステップＥ４］逆周波数変換（例えばＩＤＣＴ変換）を施す。
［ステップＥ５］スペクトル逆拡散を施す（ステップＥ１と同じＰＮ系列を乗積する）。
【０００６】
一方、こうして透かし情報が埋め込まれたディジタル動画像からの透かし情報の検出は、以下の手順により行う。
［ステップＤ１］画像信号にＰＮ(Pseudorandom Noise)系列（ステップＥ１と同じＰＮ系列）を乗積してスペクトル拡散を行う。
［ステップＤ２］スペクトル拡散後の画像信号を周波数変換（例えばＤＣＴ変換）する。
［ステップＤ３］特定の周波数成分の値に着目し、埋め込まれた透かし情報を抽出する。
【０００７】
【発明が解決しようとする課題】
不正利用の防止を目的として電子透かしを適用する場合、ディジタル著作物に対して通常に施されると想定される各種の操作や意図的な攻撃によって、透かし情報が消失したり改竄されたりしないような性質（ロバスト性）を持つ必要がある。
【０００８】
ロバスト性を高めるのに最も効果的な方法の一つは、電子透かしの埋め込み強度を強くして、情報の消失を防ぐことである。しかし、電子透かしの埋め込み強度を強くすると、電子透かし信号がノイズとして知覚され、画像品質を落としてしまう。一方、電子透かし信号自体が視覚的に見えてしまうと、電子透かし方式の秘匿性を弱め、より攻撃を容易にしてしまうという危険性がある。
【０００９】
つまり、電子透かし信号が知覚されないこと（トランスペアレンシーという）とロバスト性との間にはトレードオフの関係があり、トランスペアレンシーを落とさずにロバスト性を高めることが、電子透かし埋め込みにおいて最も重要な課題の一つとなる。
【００１０】
従って、本発明はトランスペアレンシーを維持しつつ、ロバスト性を高めることが可能な電子透かし埋め込み装置を提供することを目的とする。
より具体的な目的は、電子透かし信号の埋め込み強度を最適に制御することを可能とすることにある。
本発明の他の目的は、画像信号の圧縮符号化を考慮した電子透かし信号の埋め込みを行うことにある。
本発明の他の目的は、テレシネ変換や逆テレシネ変換を考慮した電子透かし信号の埋め込みを行うことにある。
本発明の他の目的は、電子透かし信号の的確な再埋め込みを実現することにある。
本発明の他の目的は、再埋め込みされた電子透かし信号の検出を安定に行うことができる再埋め込みを行うことにある。
本発明の他の目的は、フレームレート変換を考慮した電子透かし信号の埋め込みを行うことにある。
【００１１】
【課題を解決するための手段】
（１）入力画像信号に対して電子透かし信号を埋め込んで出力画像信号を生成する電子透かし埋め込みに際して、出力画像信号から電子透かし信号を抽出して、該抽出した電子透かし信号の信号強度を検出し、該信号強度に応じて入力画像信号に対する電子透かし信号の埋め込み強度を制御する。
【００１２】
このように埋め込まれた電子透かし信号の信号強度をフィードバッグして、動的に電子透かし信号の埋め込み強度を制御することで、画像信号の絵柄や性質に依存せず、安定した電子透かしの埋め込みを行うことが可能となり、電子透かし検出時における所望の検出性能を保証した、よりロバスト性の高い埋め込みを容易に実現することが可能となる。
【００１３】
（２）入力画像信号に対して電子透かし信号を埋め込んで出力画像信号を生成する電子透かし埋め込みに際して、入力画像信号に対する出力画像信号の画質劣化度を検出し、この画質劣化度に応じて入力画像信号に対する電子透かし信号の埋め込み強度を制御する。
【００１４】
このように電子透かし信号の埋め込みに起因する画質劣化度のフィードバッグによる埋め込み強度の動的な制御により、画質劣化を一定にした埋め込みや、画質劣化度の最大値を所定値以下に抑えた埋め込みなどを容易に制御することが可能となる。これにより画質劣化を抑えて、最大限埋め込み強度を高めることが容易となり、より画質劣化の少なく且つロバスト性の高い電子透かし埋め込みを行うことが可能となる。
【００１５】
（３）入力画像信号に対して電子透かし信号を埋め込んで出力画像信号を生成する電子透かし埋め込みに際して、入力画像信号及び電子透かし信号の少なくとも一方からアクティビティを検出し、該アクティビティに応じて入力画像信号に対する電子透かし信号の埋め込み強度を制御する。
【００１６】
このように画像信号や電子透かし信号の性質の一つであるアクティビティに合わせて、フィードフォワード制御により適応的に埋め込み強度を制御することによって、画質劣化を抑えつつ、最大限に電子透かし埋め込み強度を高めることができ、よりロバストな電子透かしの埋め込みを行うことが可能となる。
【００１７】
（４）上述した第１〜第３の手法による埋め込み強度の制御、すなわち電子透かし信号の信号強度のフィードバック、電子透かし信号の埋め込みによる画質劣化度のフィードバック及びアクティビティのフィードフォワードのうち任意の２つ以上の組み合わせで電子透かし信号の埋め込み強度を制御する構成とすることも可能である。このように複数の手法による埋め込み強度の制御を有機的に結合することで、画質劣化が少なく、且つ安定した高い検出性能が保証された電子透かし埋め込みを実現することが可能となる。
【００１８】
（５）リピートフィールドの挿入によるテレシネ変換により生成された入力画像信号に対して、フィールド単位で電子透かし信号を埋め込んで出力画像信号を生成する電子透かし埋め込みに際して、入力画像信号からリピートフィールドを検出し、この検出結果に基づき入力画像信号のうち、リピートフィールドに対しては２フィールド前のフィールド（直前のフレームの同相フィールド）に埋め込まれた電子透かし信号と同一の電子透かし信号を埋め込む。
【００１９】
ＤＶＤなどで用いられているＭＰＥＧ２動画像符号化では、テレシネ変換されたビデオ信号を逆テレシネ変換して符号化することがしばしば行われる。テレシネ変換では、フレーム周波数２４Ｈｚのフィルム素材を周期的に繰り返しフィールドを挿入して６０Ｈｚのフィールド信号に変換して、ＴＶに表示させたり、あるいはＶＴＲのような記録再生機器によって記録する。
【００２０】
ＤＶＤなどでは、圧縮効率を高めるため、テレシネ変換された映像信号に対して自動的に逆テレシネ変換を施し、２４Ｈｚのフレーム映像として圧縮符号化を行い、再生時に、再度テレシネ変換して表示する。逆テレシネ変換は通常、リピートフィールドを自動検出することにより実現されるが、逆テレシネ変換の前にフィールド単位で異なる電子透かし信号を埋め込むと、リピートフィールドの検出率の低下を招き、正確な逆テレシネ変換を妨げてしまう。その結果、圧縮符号化の符号化効率を低下させ、画質劣化の原因となってしまう。
【００２１】
ここで、上述したように電子透かし埋め込み時においても、テレシネ変換のリピートフィードの検出を行い、リピートフィールドでは１フレーム前の同相フィールドと同一の電子透かし信号を埋め込むようにすることにより、圧縮符号化における逆テレシネ変換の検出性能を低下させることなく、電子透かし信号を埋め込むことが可能となる。
【００２２】
（６）入力画像信号に対して逆テレシネ変換を行い、逆テレシネ変換後の画像信号に対してフレーム単位で電子透かし信号を生成し、逆テレシネ変換後の画像信号に対して電子透かし信号をフレーム単位で埋め込む。
【００２３】
このようにすると、例えばＭＰＥＧ２などの動画像符号化と電子透かし埋め込みを連動させ、動画像符号化のために逆テレシネ変換したフレームに対して電子透かし信号を埋め込み、その後に符号化を行うことで、電子透かし埋め込みによる逆テレシネ変換への影響を完全に排除しつつ、電子透かし信号を画像信号に埋め込むことが可能となる。
【００２４】
（７）第１の電子透かし信号が埋め込まれた入力画像信号から該入力画像信号が受けている幾何変形を推定し、該推定した幾何変形に関わるパラメータを生成し、該パラメータに従って幾何変形された第２の電子透かし信号を生成して、入力画像信号に対して第２の電子透かし信号の再埋め込みを行って出力画像信号を生成する。
【００２５】
電子透かしの利用形態として、予め埋め込まれた電子透かし情報を検出するだけでなく、電子透かし情報を書き換える（リマーク）、弱まった電子透かし信号を再書き込みにより補強するといったことも考えられる。前者は、電子透かしによる世代管理などで用いられる。例えば、１回コピー可という信号が電子透かしにより書き込まれている場合、１回のコピーの実施に併せて電子透かし信号の情報を「コピー不可」のように改める必要がある。後者では、映像信号の拡大・縮小などの幾何変形や、符号化／復号化や録画再生などによる画質劣化とともに減衰した電子透かし信号に対して同じ情報を上書きすることによる補強を行って、電子透かし信号の強度を正常に戻す場合などがある。
【００２６】
これらリマークや上書きいずれの場合においても、画像信号自体が当初の電子透かし埋め込み後に何らかの幾何変形を受けている場合、正常な再埋め込みが困難となるが、上述のようにリマークや上書き等の再埋め込みの際に、例えば予め埋め込まれた電子透かし情報を検出するとともに、拡大・縮小や時間あるいは空間の位相といった幾何変形に関わるパラメータを検出し、検出された幾何変形パラメータに合わせて、再埋め込みを行う電子透かし信号を生成することで、より正確に再埋め込みを行うことが可能となる。
【００２７】
（８）このような電子透かし信号の再埋め込みに際して、入力画像信号から第１の電子透かし信号を抽出して該第１の電子透かし信号の信号強度を検出する一方、出力画像信号から第２の電子透かし信号を抽出して該第２の電子透かし信号の信号強度を検出し、これら第１及び第２の電子透かし信号の検出信号強度の大小関係に応じて、入力画像信号に対する第２の電子透かし信号の再埋め込み強度を制御するようにしてもよい。
【００２８】
電子透かし信号のリマークなどの再埋め込みの際に、特定の情報のみを変更する場合、再埋め込み後、変更された部分と変更されない部分との電子透かし信号の信号強度のバランスが極端に乱れると、リマーク後の電子透かしの検出性能を大幅に低下させる場合がある。特に、幾何変形や圧縮符号化などの画質劣化を受けた画像信号では、予め埋め込まれた電子透かし信号の強度も低下しており、再埋め込みの埋め込み強度を一意に決定することが困難となる。
【００２９】
ここで、上述のように再埋め込み前の電子透かし信号の検出強度と、再埋め込み後の電子透かし信号の検出強度のバランスから、再埋め込み強度を動的に制御するようにすると、予め埋め込まれた電子透かし信号と強度バランスのとれた再埋め込みを実現することが可能となり、部分的な再埋め込みに対しても、安定した検出性能を保証することができる。
【００３０】
（９）さらに、上述のような電子透かし信号の再埋め込みに際して、入力画像信号から第１の電子透かし信号を所定間隔で検出し、再埋め込みにおいて第１の電子透かし信号が検出された時点から所定時間以上継続して入力画像信号に第２の電子透かし信号の再埋め込みを行うようにしてもよい。
【００３１】
電子透かし信号のリマークなどの再埋め込みを行う場合、予め埋め込まれた電子透かし情報の検出結果に応じて、リマークすべき電子透かし情報を決定する場合がある。この場合、例えば何らかの画像変形により予め埋め込まれた電子透かし情報の検出が不安定であると、それに連動した再埋め込み自体も不安定となり、再埋め込み後の電子透かし信号を安定に検出することが困難となる。
【００３２】
これに対し、上述のように電子透かし信号の再埋め込みの際、例えば電子透かし検出に必要な所定時間以上継続して再埋め込み処理を行うことで、再埋め込み後の画像信号から安定して電子透かし信号を検出することが可能となる。
【００３３】
（１０）圧縮された画像信号を復号化し、復号化された画像信号のフレームレートを変換して出力し、フレームレートの変換前の復号化された画像信号から電子透かし信号を検出する。
【００３４】
（１１）圧縮された画像信号を復号化し、復号化された画像信号のフレームレートを変換して出力し、フレームレートの変換前の復号化された画像信号から電子透かし信号を検出する。
【００３５】
（１２）第１の電子透かし信号が埋め込まれている圧縮された画像信号を復号化し、復号化された画像信号のフレームレートを変換して出力し、フレームレートの変換前の復号化された画像信号に対して第２の電子透かし信号の再埋め込みを行う。
【００３６】
画像信号がＭＰＥＧ２などのディジタル動画像圧縮を受けた状態で伝送あるいは蓄積される系においては、電子透かし信号の検出、埋め込み、あるいは再埋め込みは、圧縮された画像信号の復号化時に行われることが多い。圧縮された画像信号は、表示デバイスに合わせて様々なフレームレートに変換されて出力される場合がある。任意のフレームレートに合わせて、電子透かしの検出、埋め込み、あるいは再埋め込みを行うようにすると、これらの電子透かしに関する処理コストが増大し、また、時間方向のジッタ等の影響を受け、電子透かしの検出性能を低下させる原因ともなる。
【００３７】
電子透かしの検出、埋め込み、あるいは再埋め込みの処理を圧縮された画像信号が復号化された直後、すなわちフレームレート変換を受ける前の画像フレームに対して施すことにより、上記のようなコスト増や性能低下を抑制することが可能となる。
【００３８】
（１３）圧縮された画像信号を復号化して、復号化された画像信号と画像フレームまたはフィールドの表示タイミングに関する情報を出力し、復号化された画像信号に対して、表示タイミングの情報に応じて電子透かし信号を埋め込む。
【００３９】
（１４）圧縮された画像信号を復号化して、復号化された画像信号と画像フレームまたはフィールドの表示タイミングに関する情報を出力し、復号化された画像信号から、表示タイミングの情報に応じて電子透かし信号を検出する。
【００４０】
第１の電子透かし信号が埋め込まれている圧縮された画像信号を復号化して、復号化された画像信号と画像フレームまたはフィールドの表示タイミングに関する情報を出力し、復号化された画像信号に対して、表示タイミングの情報に応じて第２の電子透かし信号の再埋め込みを行う。
【００４１】
電子透かしが時間方向の状態遷移や位相特性を持つ場合、フレームレート変換やトリック再生などの影響を受けると、電子透かしの検出性能を低下させる原因となる場合がある。一方、ＭＰＥＧ２などで圧縮された画像信号データでは、フレームあるいはフィールド毎の表示時刻に関する情報も合わせて符号化されている。従って、上述のように圧縮符号化が併せ持つ表示時刻に関する情報を電子透かしの検出、埋め込み、及び再埋め込みにおける時間情報として使用すると、電子透かしの時間方向の位相特性を適切に制御することが可能となり、電子透かしの検出性能を向上させることができる。
【００４２】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図である。本実施形態の電子透かし埋め込み装置は、電子透かし信号生成部１０、電子透かし埋め込み部１１、電子透かし検出部１２及び電子透かし強度制御部１３を有する。
【００４３】
入力画像信号１４は、電子透かし信号生成部１０と電子透かし埋め込み部１１に入力される。電子透かし信号生成部１０により入力画像信号１４に基づいて公知の手法により電子透かし信号１５が生成され、この電子透かし信号１５が電子透かし埋め込み部１１により入力画像信号１４に対して埋め込まれることによって、出力画像信号１６が生成される。
【００４４】
出力画像信号１６は、電子透かし検出部１２に入力される。電子透かし検出部１２は、出力画像信号１６から電子透かし信号を抽出し、抽出した電子透かし信号の信号強度を求めて、信号強度情報１７を電子透かし強度制御部１３に供給する。電子透かし強度制御部１３は、信号強度情報１７に従って電子透かし信号の埋め込み強度を例えば電子透かし検出部１２により抽出された電子透かし信号の信号強度が一定となるように決定し、それに基づき電子透かし埋め込み部１１に対して埋め込み強度制御信号１８を供給する。埋め込み強度制御信号１８に従って、電子透かし埋め込み部１１における電子透かし信号１５の埋め込み強度が例えば所望の一定強度となるように制御される。
【００４５】
このように出力画像信号１６に埋め込まれている電子透かし信号の強度を電子透かし埋め込み部１１に埋め込み強度としてフィードバックし、電子透かし信号１５の埋め込み強度を制御することにより、電子透かし信号１５の埋め込みを一定の強度で安定して行うことが可能となる。
【００４６】
（第２の実施形態）
図２は、本発明の第２の実施形態に係る電子透かし埋め込み装置の構成を示している。本実施形態は、図１における電子透かし検出部１２が画質劣化度検出部１９に置き換わっている点が第１の実施形態と異なる。画質劣化度検出部１９は、電子透かし信号１５の埋め込み前と埋め込み後の画像信号、すなわち入力画像信号１４と出力画像信号１６を入力し、入力画像信号１４に対する出力画像信号１６の画質劣化度を検出して、画質劣化度情報２０を電子透かし強度制御部１３に供給する。画質劣化度は、例えば入力画像信号１４と出力画像信号１６との画素値（輝度値）の差分絶対値和、あるいは平均自乗誤差として求められる。
【００４７】
電子透かし強度制御部１３は、画質劣化度情報２０に従って電子透かし信号の埋め込み強度を例えば画質劣化度が所定のしきい値以下となるように決定し、それに基づき電子透かし埋め込み部１１に対して埋め込み強度制御信号１８を供給する。埋め込み強度制御信号１８に従って電子透かし埋め込み部１１における電子透かし信号１５の埋め込み強度が制御されることにより、電子透かし信号１５の埋め込みに起因する画質劣化が知覚されないようにすることができる。
【００４８】
（第３の実施形態）
図３には、本発明の第３の実施形態に係る電子透かし埋め込み装置の構成を示す。第１及び第２の実施形態では、フィードバックにより電子透かし信号の埋め込み強度を制御しているのに対し、本実施形態ではフィードフォワード制御により電子透かし信号の埋め込み強度の制御を行う。具体的には、入力画像信号１４及び電子透かし信号生成部１０で生成された電子透かし信号１５から、アクティビティ検出部２１でそれぞれのアクティビティ、すなわち複雑度を検出し、例えば入力画像信号１４と電子透かし信号１５のアクティビティの比を示すアクティビティ情報２２を電子透かし強度制御部１３に供給する。
【００４９】
電子透かし強度制御部１３は、アクティビティ情報２２に従って電子透かし信号の埋め込み強度を例えば入力画像信号１４と電子透かし信号１５のアクティビティの比が予め定められた一定の値となるように決定し、それに基づき電子透かし埋め込み部１１に対して埋め込み強度制御信号１８を供給する。埋め込み強度制御信号１８に従って電子透かし埋め込み部１１における電子透かし信号１５の埋め込み強度が制御されることにより、電子透かし信号１５の埋め込みに起因する画質劣化を抑えつつ、電子透かし信号の埋め込み強度を最大限に高めることが可能となる。
【００５０】
（第４の実施形態）
図４は、本発明の第４の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図である。本実施形態では、第１の実施形態で説明した出力画像信号１６に含まれる電子透かし信号の信号強度に基づくフィードバック制御と、第３の実施形態で説明したアクティビティ情報に基づくフィードフォワード制御とを組み合わせて、電子透かし信号の埋め込み強度を制御する。
【００５１】
すなわち、電子透かし強度制御部１３は電子透かし検出部１２から出力される信号強度情報１７とアクティビティ検出部２１から出力されるアクティビティ情報２２を用いて、画質劣化を抑えつつ所定の埋め込み強度を維持できるように、たとえば、信号強度情報１７に基づく埋め込み強度調整量と、アクティビティ情報２２に基づく埋め込み強度調整量との積として、埋め込み強度制御信号１８を生成する。埋め込み強度制御信号１８に従って電子透かし埋め込み部１１における電子透かし信号１５の埋め込み強度が制御されることにより、電子透かし信号１５の埋め込みに起因する画質劣化を抑えつつ、安定して電子透かし信号１５の埋め込み強度を高めることができる。従って、電子透かし信号が埋め込まれた後の出力画像信号１６が劣化や変形を受けても、よりロバストに電子透かしを検出することが可能となる。
【００５２】
（第５の実施形態）
図５には、本発明の第５の実施形態に係る電子透かし埋め込み装置の構成を示す。本実施形態では、第２の実施形態で説明した入力画像信号１４に対する出力画像信号１６の画質劣化度に基づくフィードバック制御と、第３の実施形態で説明したアクティビティ情報に基づくフィードフォワード制御とを組み合わせて、電子透かし信号の埋め込み強度を制御する。
【００５３】
すなわち、電子透かし強度制御部１３は画質劣化度検出部１９から出力される画質劣化度情報２０とアクティビティ検出部２１から出力されるアクティビティ情報２２を用いて、画質劣化を抑えつつ所定の埋め込み強度を維持できるように、例えば画質劣化度情報２０に基づく埋め込み強度調整量と、アクティビティ情報２２に基づく埋め込み強度調整量との積として、埋め込み強度制御信号１８を生成する。このような構成とすることで、埋め込み強度制御信号１８に従って電子透かし埋め込み部１１における電子透かし信号１５の埋め込み強度が制御されることにより、電子透かし信号１５の埋め込みに起因する画質劣化を抑えつつ、安定して電子透かし信号１５の埋め込み強度を高めることができる。
【００５４】
（第６の実施形態）
図６は、本発明の第６の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図である。本実施形態では、入力画像信号１４がテレシネ変換により生成された画像信号である場合に、テレシネ変換を考慮して電子透かし信号の埋め込みを行う。
【００５５】
本実施形態を説明するために、まず図７を用いてテレシネ変換及び逆テレシネ変換について述べる。映画フィルムに記録されている映像のフレームレート（フレーム周波数）は一般的に２４Ｈｚであり、このフィルム映像をフレームレートが３０Ｈｚ（フィールド周波数６０Ｈｚ）のビデオ信号（ＴＶ信号）に変換する処理をテレシネ変換と呼ぶ。
【００５６】
テレシネ変換に際しては、図７に示すようにフィルム映像の各フレーム３０〜３５をインターレースによりトップフィールドとボトムフィールドの２つのフィールドに分割する。次に、フィルム映像の２フレームに１回ずつボトムフィールドを再表示するフィールド（リピートフィールド）を挿入することにより、フィールド４０ａ〜４０ｃ，４１ａ〜４１ｂ，…からなるビデオ画像を生成する。
【００５７】
この操作によって、フィルム映像中の例えばフレーム３０は３つのフィールド４０ａ，４０ｂ，４０ｃに変換される。これらのフィールドのうち、フィールド４０ａ，４０ｂはインターレースに基づくフィールドであり、フィールド４０ｃがフィールド４０ａと同じリピートフィールドである。フィールド映像中の次のフレーム３１は、インターレースに基づく２つのフィールド４１ａ，４１ｂに変換される。このようにフィルム映像の各１フレームを３フィールドと２フィールドとに交互に変換することで、２４Ｈｚから３０Ｈｚへのフレームレート変換、すなわちテレシネ変換が行われる。
【００５８】
逆に、テレシネ変換によって得られたフレームレート３０Ｈｚのビデオ信号をフレームレート２４Ｈｚのフィルム映像の信号に戻す操作を逆テレシネ変換と呼ぶ。逆テレシネ変換は、リピートフィールドを削除し、インターレースされた２フィールドから１フレームを復元することで行われる。
【００５９】
ＤＶＤなどで用いられるＭＰＥＧ２動画像圧縮では、テレシネ変換により得られたビデオ信号を圧縮する場合、符号化効率を上げるため、逆テレシネ変換を行ってフレームレートを元の２４Ｈｚに戻した後に、圧縮符号化を行うことが一般的である。逆テレシネ変換では通常、ビデオ信号のフィールド毎に１フレーム前の同相フィールドとの相関もしくは差分を計算することで自動的にリピートフィールドを検出する。例えば、数式（１）で示すように、ｙi(v,h)がｉ番目のフィールドの画素(v,h)の輝度信号を示しており、２フィールド前のフィールドの輝度信号との絶対値差分の和Ｊi を計算し、Ｊi が所定の閾値より小さい場合、フィールドｉをリピートフィールドとして検出する。
【００６０】
【数１】
本実施形態では、図６に示すようにリピートフィールド検出部２３を有し、テレシネ変換により得られた入力画像信号１４から、上述した逆テレシネ変換におけると同様にしてリピートフィールドの検出を行って、検出信号２４を電子透かし信号生成部１０に供給する。電子透かし信号生成部１０は、検出信号２４に基づいて入力画像信号１０が通常のフィールドかリピートフィールドかどうかを認識し、リピートフィールドに対しては２フィールド前のフィールドに埋め込んだ電子透かし信号と同一の信号を生成する。こうして生成された電子透かし信号１５は、電子透かし埋め込み部１１によって入力画像信号１０に埋め込まれる。
【００６２】
フィールド毎に異なる電子透かし信号を埋め込むと、圧縮符号化時における逆テレシネ変換においてリピートフィールドの検出が困難となり、符号化効率を低下させてしまう。あるいは、圧縮符号化時にリピートフィールドが検出されてリピートフィールドが削除されると、電子透かし信号の欠落が生じてしまうという問題がある。
【００６３】
これに対し、本実施形態のようにリピートフィールドについては２フィールド前と同じ電子透かし信号を埋め込むようにすると、電子透かし信号１５の埋め込み後にも、リピートフィールドと２フィールド前のフィールドとの信号が一致する。従って、圧縮符号化時の逆テレシネ変換においてリピートフィールドの検出が容易となり、符号化効率の低下などの、逆テレシネ変換への影響を無くすことができる。また、逆テレシネ変換時にリピートフィールドが削除されても、リピートフィールドで埋め込まれた電子透かし信号は２フィールド前と同じであるため、電子透かし信号の欠落を防ぐことが可能となる。
【００６４】
（第７の実施形態）
図８は、本発明の第７の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図である。本実施形態は、第６の実施形態と同様に入力画像信号１４がテレシネ変換により生成された画像信号である場合に、テレシネ変換を考慮して電子透かし信号の埋め込みを行う手法の他の例である。
【００６５】
本実施形態では、入力画像信号１４は逆テレシネ変換部２５によって逆テレシネ変換された後、電子透かし信号生成部１０及び電子透かし埋め込み部１１に入力される。このようにテレシネ変換によって生成された入力画像信号１４に対して、逆テレシネ変換後に電子透かし信号１５を埋め込む。これにより、電子透かし信号１５の埋め込みに伴う自動的な逆テレシネ変換への影響を排除し、かつ、逆テレシネ変換に伴う電子透かし信号の欠落を防ぐことも可能となる。
【００６６】
（第８の実施形態）
次に、図９〜図１３を用いて本発明の第８の実施形態について説明する。図９は、本実施形態に係る電子透かし埋め込み装置の構成を示す図であり、電子透かし信号が埋め込まれた画像信号に対して、電子透かし信号の再埋め込みを行う装置である。
このような電子透かし信号の再埋め込みは、圧縮符号化や記録再生の繰り返しにより弱まった電子透かし信号を補強するため、既に埋め込まれている電子透かし信号を再度上書きしたり、あるいは、コピーの世代管理を行うため、コピーされる回数に応じて電子透かし信号の書き換えを行う場合などに用いられる。
【００６７】
本実施形態では、入力画像信号５３から電子透かし検出部５０で電子透かしの検出と幾何変形の検出を行い、これらの検出結果に基づいて電子透かし／幾何変形情報５４を電子透かし信号生成部５１へ供給する。電子透かし信号生成部５１では、入力画像信号５３と電子透かし検出部５０で検出された電子透かし／幾何変形情報５４に基づいて電子透かし信号５５を生成する。こうして生成された電子透かし信号５５を電子透かし再埋め込み部５２で入力画像信号５３に重畳することにより、電子透かし信号の再埋め込みを行い、電子透かしの再埋め込みが施された出力画像信号５６を生成する。
【００６８】
一般に、電子透かし信号が埋め込まれた画像信号は、何らかの幾何変形を受ける場合がある。具体的には、例えば画面の拡大・縮小または平行移動のような空間的な幾何変形と、早送り、スロー再生、またはフレームレート変換のような時間的な幾何変形とがある。
【００６９】
図１０には、空間的な幾何変形の例を示す。フレーム６０は、電子透かし信号が埋め込まれた画像であり、中央の波線部分に電子透かし信号が埋め込まれている。フレーム６０に対して、フレーム６１は縮小された画像、フレーム６２は拡大された画像、フレーム６３は左上に平行移動された画像を示している。
【００７０】
図１１は、画像信号の時空間に三次元的に埋め込まれた電子透かし信号が時間方向の変形を受けた例を示している。複数のフレーム６４は、それぞれ網掛け部分に３次元的に電子透かし信号が埋め込まれた画像である。フレーム６５はフレーム６４の時間軸のシフトに伴い、電子透かし信号の位相が時間方向にシフトした画像の例、フレーム６６は、スロー再生やフレームレート変換により、時間方向に電子透かし信号が伸張された画像の例、フレーム６７はフレーム６６とは逆に時間軸の圧縮を受けた画像の例である。
【００７１】
画像が図１０あるいは図１１に示したような空間あるいは時間的な幾何変形を受けると、一般に埋め込まれている電子透かし信号の検出や電子透かし信号の再埋め込みが困難となる。しかし、これらの幾何変形を受けた画像信号に対して、電子透かし信号の検出や再埋め込みを行う際に、幾何変形のパラメータを推定することにより、電子透かし信号の検出性能を高めることができ、また電子透かし信号の再埋め込みを正確に行うことが可能となる。本実施形態では、図９中に示した電子透かし検出部５０により、このような幾何変形のパラメータの検出が行われる。
【００７２】
図１２は、図９における電子透かし検出部５０の内部構成の例を示している。図１２の構成によると、電子透かしの検出と幾何変形の推定を同時に行うことができる。まず、予め電子透かし信号が埋め込まれた画像信号５３に基づき、電子透かし信号の埋め込み時と同様の方法で、電子透かし信号生成部７１により電子透かし信号７２を生成する。
【００７３】
次に、複数の幾何変形部７３により、電子透かし信号７２に対して拡大・縮小あるいは平行移動等の複数の異なるパラメータの幾何変形処理を施し、幾何変形処理が施された複数の電子透かし信号７５ａを生成するとともに、各々の幾何変形パラメータ７５ｂを出力する。
【００７４】
これら幾何変形処理後の複数の電子透かし信号７５ａと入力画像信号５３は、マッチング部７４に入力され、各々の電子透かし信号７５ａと入力画像信号５３との相関演算を行い、各々の電子透かし信号７５ａに対応した複数の相関係数７６を生成する。
【００７５】
各々の相関係数７６と幾何変形パラメータ７５ｂは、幾何変形推定部７７に有力され、幾何変形推定部７７では、各々の相関係数７６の大きさを比較し、幾何変形処理後の複数の電子透かし信号７５ａのうち最大の相関係数を与える幾何変形パラメータを７５ｂの中から選択すると共に、電子透かし情報の検出を行う。幾何変形推定部７７からは、選択された幾何変形パラメータの情報７８及び検出した電子透かし情報７９が図９で説明した電子透かし／幾何変形情報５４として出力される。
【００７６】
図１３は、図９における電子透かし信号生成部５１及び電子透かし再埋め込み部５２の内部構成の例を示している。これらの電子透かし信号生成部５１及び電子透かし再埋め込み部５２は、図１２で示した電子透かし検出部５０の後段に配置される。
【００７７】
再埋め込み電子透かし信号生成部８０では、入力画像信号５３および図１２の電子透かし検出部５０で検出された電子透かし情報７９に基づいて、再埋め込み電子透かし信号８１が生成される。再埋め込み電子透かし信号生成部８０は、電子透かし信号の再埋め込みが、既に入力画像信号５３に埋め込まれている電子透かし信号の補強を目的としている場合は、検出された電子透かし情報７９と同様の電子透かし信号を生成する。電子透かし信号の再埋め込みがコピー世代管理等を目的としている場合は、再埋め込み電子透かし信号生成部８０はコピー世代が進んだことを示す電子透かし信号の生成を行う。
【００７８】
再埋め込み電子透かし信号８１は幾何変形部８２に入力され、ここで図１２で示した電子透かし検出部５０により検出された幾何変形パラメータ７８に基づいて、幾何変形が施される。幾何変形後の再埋め込み電子透かし信号は、電子透かし再埋め込み部８３により入力画像信号５３に再埋め込みされる。
【００７９】
最後に、電子透かし検出部５０で検出された電子透かし情報７９に応じて、電子透かし信号が再埋め込みされた画像信号、あるいは再埋め込みされていない画像信号のいずれかをセレクタ８４で切り替えて出力する。例えば、セレクタ８４ではコピー世代管理用の電子透かし信号が埋め込まれていた場合、世代情報を更新した電子透かし信号の再埋め込みされた画像信号を出力し、コピー世代管理不要の電子透かし信号が埋め込まれていた場合には、電子透かし信号の再埋め込みがなされていない入力画像信号５３をそのまま出力する。
【００８０】
（第９の実施形態）
図１４は、本発明の第９の実施形態に係る電子透かし再埋め込み装置の構成を示すブロック図であり、第８の実施形態で説明した電子透かし信号が既に埋め込まれた入力画像信号に対して電子透かし信号の再埋め込みを行う電子透かし再埋め込み装置に、再埋め込み強度の制御機能を持たせている。
【００８１】
電子透かし検出部９１では、第８の実施形態で説明した電子透かし検出部５０と同様に、既に電子透かし信号が埋め込まれた入力画像信号９０について、電子透かし情報の検出と幾何変形パラメータの推定を行い、電子透かし／幾何変形情報９３ａを出力する。電子透かし検出部９１はさらに、検出した電子透かし信号の強度を示す信号強度情報９３ｂを出力し、電子透かし強度制御部９５に供給する。
【００８２】
再埋め込み電子透かし信号生成部９２は、電子透かし検出部９１からの電子透かし／幾何変形情報９３ａと入力画像信号９０に基づいて、第８の実施形態と同様に再埋め込み電子透かし信号９４を生成する。電子透かし再埋め込み部９７は、再埋め込み電子透かし信号９４を入力画像信号９０に重畳することによって、出力画像信号１００を生成する。
【００８３】
電子透かし信号が再埋め込みされた出力画像信号１００は、電子透かし検出部９９に入力される。電子透かし検出部９９は、第１の実施形態と同様に出力画像信号１００から電子透かし信号を抽出し、さらに信号強度を検出することによって、信号強度情報９８を電子透かし強度制御部９５に供給する。
【００８４】
電子透かし強度制御部９５は、信号強度情報９３ｂ及び９８に基づいて入力画像信号９０中の電子透かし信号の信号強度と、電子透かし信号再埋め込み後の出力画像信号１００中の電子透かし信号の信号強度とから、電子透かし信号の再埋め込み時の埋め込み強度を決定し、それに基づき再埋め込み強度制御信号９６を電子透かし再埋め込み部９７に供給する。これにより、電子透かし再埋め込み部９７での電子透かし信号の再埋め込み強度の動的な制御を行う。
【００８５】
例えば、電子透かし信号の再埋め込みが上書きによる強度補強を目的としている場合、電子透かし検出部９９の検出強度が電子透かし検出部９１の検出強度よりも高くなるように、再埋め込み強度の制御を行う。電子透かし再埋め込みがコピー世代管理を目的としている場合には、電子透かし検出部９９の検出強度が電子透かし検出部９１の検出強度とほぼ同等となるように、再埋め込み強度の制御を行う。
従って、本実施形態によれば電子透かしの再埋め込みの強度を安定的に制御することができ、再埋め込み後の電子透かし信号の検出性能を保証することが可能となる。
【００８６】
（第１０の実施形態）
図１５は、本発明の第１０の実施形態に係る電子透かし信号の再埋め込み強度の制御機能を有する電子透かし埋め込み装置の構成を示すブロック図である。本実施形態は、図１４に示した第９の実施形態の構成に再埋め込みカウンタ１０１とセレクタ１０２が追加された構成となっており、その他の構成要素は図１４と同一である。
【００８７】
本実施形態では、電子透かし検出部９１が電子透かし信号の有無を検出して電子透かしの再埋め込みが必要か否かを判断する機能を持っており、電子透かし信号を検出し、再埋め込みが必要と判断した場合には、信号９３ｃにより再埋め込みカウンタ１０１をリセット、すなわちカウンタ１０１に所定の初期値を設定する。再埋め込みカウンタ１０１は減算カウンタであり、値がゼロになるまでカウントダウンを続ける。セレクタ１０２は、再埋め込みカウンタ１０１の値が非ゼロの値である期間、電子透かし再埋め込み部９７からの電子透かし信号再埋め込み後の画像信号１００を選択し、再埋め込みカウンタ１０１の値がゼロになると入力画像信号９０を選択して、それぞれ出力画像信号１０３として出力する。
【００８８】
次に、図１６に示すフローチャートを用いて本実施形態における電子透かし再埋め込み処理の手順を説明する。
電子透かし検出部９１は、一定周期で検出イベントを発生し（ステップＳ１）、検出イベントが発生した時点での電子透かし信号の情報を解読して、再埋め込み（リマーク）すべきか否かの判断を行い（ステップＳ２）、リマークすべきと判断した場合には、再埋め込みカウンタ１０１をリセットして初期値をセットする（ステップＳ３）。
【００８９】
次に、再埋め込みカウンタ１０１の値が正であるか否かを調べ（ステップＳ４）、正であれば電子透かし信号の再埋め込みを行い（ステップＳ５）、再埋め込みカウンタ１０１のカウントダウンを行う（ステップＳ６）。検出イベントが発生していない場合（ステップＳ１でＮｏとなった場合）、及びリマークすべき電子透かし信号が検出されない場合（ステップＳ２でＮｏとなった場合）においても、ステップＳ４で再埋め込みカウンタの値が正である限り、電子透かしの再埋め込み（ステップＳ５）は継続する。
【００９０】
図１７は、本実施形態における図１６で示した処理をタイミングチャートで示している。入力画像信号９０には、図１７の期間１０４に電子透かし信号が埋め込まれている。電子透かし検出部９１は、一定の時間幅の検出ウインド１０５をスライドさせながら所定周期で検出イベントを発生する。各検出ウインドの終了時点（検出ウインド１０５の場合は図中１０６）が検出イベントの発生時刻であり、これらの検出イベントのうち図中矢印で示したもの（例えば１０７）は、リマークすべき電子透かしが検出されたことを示している。図１７中の再埋込パターンＡ及び再埋込パターンＢにおける斜線部は、それぞれ再埋め込み処理が実行される期間を示している。
【００９１】
再埋込パターンＡでは、検出イベント毎にリマークすべき電子透かしが検出された場合、１検出イベント周期の期間だけ電子透かしの再埋め込みを行う。再埋込パターンＡを用いると、電子透かし検出部９１での電子透かし信号検出率が１００％でない場合、電子透かし信号の再埋め込み処理のオン／オフが断続的に発生してしまう。従って、電子透かし再埋め込み装置から出力される画像信号１０３を、伝送路や記録メディアを介して受信した後に電子透かし信号を検出する場合に、安定して検出を行うことが困難となる。
【００９２】
一方、再埋込パターンＢでは、リマークすべき電子透かし信号が検出される度に再埋め込みカウンタ１０１に初期値を設定し、再埋め込みカウンタ１０１の値が正である限り再埋め込みを継続するため、電子透かし検出部９１での電子透かし信号検出率に左右されず、電子透かし再埋め込み部９７で安定して電子透かし信号９４の再埋め込みを行うことが可能となり、電子透かし再埋め込み装置から出力される画像信号１０３を受信し、電子透かし信号を検出する際に、安定して再埋め込みされた電子透かしを検出することが可能となる。
【００９３】
図１７では、再埋込カウンタ１０１の値の時間変動パターン１０８も示されている。このパターン１０８から明らかなように、再埋め込みカウンタ１０１のリセット時の初期値は、検出ウインド１０５の長さと同一もしくは、それより長い方が好ましく、それによって再埋め込みされた電子透かし信号の検出をより安定に行うことが可能となる。
【００９４】
（第１１の実施形態）
図１８は、本発明の第１１の実施形態に係る電子透かし埋め込み装置の構成を示す図である。本実施形態では、ＭＰＥＧなどの動画像圧縮方式で圧縮された画像データ１１０の復号化を行うＭＰＥＧデコーダ１１１の後段に、電子透かし信号生成部１１３と電子透かし埋め込み部１１５が順次配置される。電子透かし埋め込み部１１５の後段には、フレームレート変換部１１７が配置される。
【００９５】
すなわち、ＭＰＥＧデコーダ１１１によって復号化された画像信号１１２に対して、電子透かし信号生成部１１３により生成された電子透かし信号１１４を電子透かし埋め込み部１１５によって埋め込む。電子透かし信号１１４が埋め込まれた画像信号１１６に対して、フレームレート変換部１１７によりフレームレートの変換を行い、出力画像信号１１８を生成する。フレームレート変換部１１７は、テレシネ変換あるいは、表示デバイスの特性等に応じたフレームレートの変換を行う。
【００９６】
本実施形態によれば、フレームレート変換がなされる前の復号化直後の画像信号１１２に対して、電子透かし信号の埋め込みを行うことにより、出力フレームレート（出力画像信号１１８のフレームレート）によらず、共通した電子透かし信号の埋め込みを容易に行うことができる。従って、出力フレームレート毎に異なる電子透かし埋め込みを行う必要が無くなり、電子透かし信号の埋め込み処理を低コストで実現することが可能となる。
【００９７】
（第１２の実施形態）
図１９は、本発明の第１２の実施形態に係る電子透かし検出装置の構成を示す図である。本実施形態では、ＭＰＥＧなどの動画像圧縮方式で圧縮された画像データ１１０の復号化を行うＭＰＥＧデコーダ１１１の後段に、電子透かし検出部１１９とフレームレート変換部１１７が並列的に配置される。すなわち、ＭＰＥＧデコーダ１１１により復号化された画像信号１１２に対して、電子透かし信号の検出を行うと同時にフレームレート変換を行って、出力画像信号１１８を生成する。
【００９８】
本実施形態によると、第１１の実施形態と同様にフレームレート変換がなされる前の復号化直後の画像信号１１２に対して、電子透かし信号の検出を行うことにより、出力フレームレート（出力画像信号１１８のフレームレート）によらず、共通した電子透かし信号の検出を容易に行うことができ、出力フレームレート毎に異なる電子透かし検出を行う必要が無くなるため、検出コストを抑えつつ、安定した電子透かし検出を行うことが可能となる。
【００９９】
（第１３の実施形態）
図２０は、本発明の第１３の実施形態に係る電子透かし再埋め込み装置の構成を示す図である。本実施形態では、ＭＰＥＧなどの動画像圧縮方式で圧縮された画像データ１１０の復号化を行うＭＰＥＧデコーダ１１１の後段に、電子透かし検出部１２０、電子透かし信号生成部１２２及び電子透かし再埋め込み部１２４が順次配置される。電子透かし再埋め込み部１２４の後段には、フレームレート変換部１１７が配置される。
【０１００】
すなわち、ＭＰＥＧデコーダ１１１によって復号化された画像信号１１２に対して、電子透かし検出部１２０で電子透かし信号の検出を行い、電子透かし検出結果１２１と復号化された画像信号１１２に応じて再埋め込み電子透かし信号生成部１２２により再埋め込み電子透かし信号１２３を生成し、電子透かし再埋め込み部１２４により電子透かし信号の再埋め込みがなされた画像信号１２５に対して、フレームレート変換部１１７によりフレームレート変換を行い、出力画像信号１１８を生成する。
【０１０１】
本実施形態によれば、フレームレート変換がなされる前の復号化直後の画像信号１１２に対して、電子透かしの検出及び再埋め込みを行うことで、出力フレームレート（出力画像信号１１８のフレームレート）によらず、電子透かし検出及び再埋め込みの処理を共通化することが可能となる。従って、出力フレームレート毎に異なる電子透かし検出及び再埋め込みを行う必要が無くなり、処理コストを抑えつつ、安定した電子透かし検出及び再埋め込みを行うことができる。
【０１０２】
（第１４の実施形態）
図２１は、本発明の他の実施形態に係る電子透かし埋め込み装置の構成を示す図である。本実施形態では、ＭＰＥＧなどの動画像圧縮方式で圧縮された画像データ１１０の復号化を行うＭＰＥＧデコーダ１１１の後段に、電子透かし信号生成部１１３及び電子透かし埋め込み部１１５が順次配置される。
【０１０３】
ＭＰＥＧデコーダ１１１からは、復号化された画像信号１１２と復号化された各フレームあるいはフィールドの表示時刻に関するタイムスタンプ情報２１２が出力される。復号化された画像信号１１２に対して、表示時刻に関するタイムスタンプ情報２１２に応じて電子透かし信号生成部１１３による電子透かし信号の生成及び電子透かし埋め込み部１１５による電子透かし信号の埋め込みを行い、電子透かしの埋め込まれた出力画像信号１１６を生成する。
【０１０４】
（第１５の実施形態）
図２２は、本発明の他の実施形態に係る電子透かし検出装置の構成を示すブロック図である。本実施形態では、ＭＰＥＧなどの動画像圧縮方式で圧縮された画像データ１１０の復号化を行うＭＰＥＧデコーダ１１１の後段に、電子透かし検出部１１９が配置される。
【０１０５】
第１４の実施形態と同様に、ＭＰＥＧデコーダ１１１から復号化された画像信号１１２と復号化された各フレームあるいはフィールドの表示時刻に関するタイムスタンプ情報２１２が出力される。本実施形態では、復号化された画像信号１１２に対して、表示時刻に関するタイムスタンプ情報２１２に応じて電子透かし検出部１１９による電子透かし信号の検出を行うと同時に、復号化された画像信号１１２を出力する。
【０１０６】
（第１６の実施形態）
図２３は、本発明の第１６の実施形態に係る電子透かし信号の再埋め込みを行う電子透かし埋め込み装置の構成を示す図である。本実施形態では、ＭＰＥＧなどの動画像圧縮方式で圧縮された画像データ１１０の復号化を行うＭＰＥＧデコーダ１１１の後段に、電子透かし検出部１２０、電子透かし信号生成部１２２及び電子透かし再埋め込み部１２４が順次配置される。第１４及び第１５の実施形態と同様に、ＭＰＥＧデコーダ１１１から復号化された画像信号１１２と、復号化された各フレームあるいはフィールドの表示時刻に関するタイムスタンプ情報２１２が出力される。
【０１０７】
本実施形態では、復号化された画像信号１１２に対して、表示時刻に関するタイムスタンプ情報２１２に応じて電子透かし検出部１２０による電子透かし信号の検出、電子透かし信号生成部１２２による再埋め込み電子透かし信号の生成及び電子透かし再埋め込み部１２４による電子透かし信号の再埋め込みを行い、電子透かし信号が再埋め込みされた画像信号１２５を出力する。
【０１０８】
ＭＰＥＧ等で圧縮された動画像信号は、フレーム間引きや逆テレシネ変換等により符号化フレームレートが一定でない場合があり、また、フレームあるいはフィールドの符号化及び復号化順序と表示順序がリオーダリングにより、異なる場合がある。この様子を図２４及び図２５に示す。
図２４は、フレーム間引きによりフレームレートが可変となった例を示している。符号化フレーム１３０，１３１，１３２には、各々の表示時刻に関するタイムスタンプが各フレームの表示時刻を決定付ける情報として復号化時に一意に決定される。
図２５は、リオーダリングの例を示しており、符号化フレーム１４０，１４１，１４２，１４３は符号化あるいは復号化順に並べられ、各々のタイムスタンプは表示時刻を決定付ける情報として一意に決定される。
【０１０９】
電子透かしの埋め込み、検出、あるいは再埋め込みが動画像信号に対して時空間の３次元パターンとして処理される場合、符号化に起因するフレーム間引きやリオーダリングの影響を受けると、正確に埋め込み、検出、あるいは再埋め込みを行うことが困難となる。しかし、ＭＰＥＧなどの動画像符号化方式では、符号化フレームあるいはフィールド毎に、表示時刻に関するタイムスタンプが復号化時に一意に決定される。従って、本実施形態のようにＭＰＥＧデコーダ１１１からタイムスタンプ情報２１２を受け取り、電子透かしの埋め込み、検出、あるいは再埋め込みを行うことによって、それぞれの処理に時空間処理が含まれている場合でも、正確に電子透かしの埋め込み、検出、あるいは再埋め込みを行うことが可能となる。
【０１１０】
【発明の効果】
以上説明したように、本発明によれば、フィードバッグあるいはフィードフォワードの最適な埋め込み強度制御、及び画像信号の圧縮符号化を考慮した埋め込みを行うことで、画質劣化を抑えつつ、ロバスト性の高い電子透かし埋め込みを実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図
【図２】本発明の第２の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図
【図３】本発明の第３の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図
【図４】本発明の第４の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図
【図５】本発明の第５の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図
【図６】本発明の第６の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図
【図７】テレシネ変換及び逆テレシネ変換を説明する図
【図８】本発明の第７の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図
【図９】本発明の第８の実施形態に係る幾何変形を考慮して電子透かし信号の再埋め込みを行う電子透かし埋め込み装置の構成を示すブロック図
【図１０】画像信号の空間方向の幾何変形の例を示す図
【図１１】画像信号の時間方向の幾何変形の例を示す図
【図１２】本発明の第８の実施形態における電子透かし検出部の構成例を示すブロック図
【図１３】本発明の第８の実施形態における電子透かし信号生成部及び電子透かし再埋め込み部の構成例を示すブロック図
【図１４】本発明の第９の実施形態に係るフィードバック強度制御部を有する電子透かし信号の再埋め込みを行う電子透かし埋め込み装置の構成を示すブロック図
【図１５】本発明の第１０の実施形態に係る電子透かし信号の再埋め込みを行う電子透かし埋め込み装置の構成を示すブロック図
【図１６】本発明の第１０の実施形態における電子透かし再埋め込み制御の手順を示すフローチャート
【図１７】本発明の第１０の実施形態における電子透かし再埋め込み制御の手順を示すタイミングチャート
【図１８】本発明の第１１の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図
【図１９】本発明の第１２の実施形態に係る電子透かし検出装置の構成を示すブロック図
【図２０】本発明の第１３の実施形態に係る電子透かし再埋め込み装置の構成を示すブロック図
【図２１】本発明の第１４の実施形態に係る電子透かし埋め込み装置の構成を示すブロック図
【図２２】本発明の第１５の実施形態に係る電子透かし検出装置の構成を示すブロック図
【図２３】本発明の第１６の実施形態に係る電子透かし再埋め込み装置の構成を示すブロック図
【図２４】復号化画像のタイムスタンプの例を示す図
【図２５】復号化画像のタイムスタンプの例を示す図
【符号の説明】
１０…電子透かし信号生成部
１１…電子透かし埋め込み部
１２…電子透かし検出部
１３…電子透かし強度制御部
１９…画質劣化度検出部
２１…アクティビティ検出部
２３…リピートフィールド検出部
２５…逆テレシネ変換部
５０…電子透かし検出部
５１…電子透かし信号生成部
５２…電子透かし再埋め込み部
７１…電子透かし生成部
９１…電子透かし検出部
９２…再埋め込み電子透かし信号生成部
９５…電子透かし強度制御部
９７…電子透かし再埋め込み部
９９…電子透かし検出部
１０１…再埋め込みカウンタ
１０２…セレクタ
１１１…ＭＰＥＧデコーダ
１１３…電子透かし信号生成部
１１５…電子透かし埋め込み部
１１７…フレームレート変換部
１１９…電子透かし検出部
１２０…電子透かし検出部
１２２…電子透かし信号生成部
１２４…電子透かし再埋め込み部
Claims (2)
- 入力画像信号に対して電子透かし信号を埋め込んで出力画像信号を生成する電子透かし埋め込み装置において、
前記入力画像信号に対する前記出力画像信号の画質劣化度を検出する第１の検出手段と、
前記入力画像信号と前記電子透かし信号からそれぞれのアクティビティを検出する第２の検出手段と、
前記第１の検出手段により検出される画質劣化度が所定のしきい値以下となるように前記入力画像信号に対する前記電子透かし信号の埋め込み強度をフィードバック制御により調整するための第１の埋め込み強度調整量と、前記第２の検出手段により検出される前記入力画像信号と前記電子透かし信号のアクティビティの比が予め定められた一定の値となるように前記埋め込み強度をフィードフォワード制御により調整するための第２の埋め込み強度調整量との積をとって埋め込み強度制御信号を生成し、該埋め込み強度制御信号によって前記埋め込み強度を制御する制御手段とを具備する電子透かし埋め込み装置。 - 入力画像信号に対して電子透かし信号を埋め込んで出力画像信号を生成する電子透かし埋め込み方法において、
前記入力画像信号に対する前記出力画像信号の画質劣化度を検出し、
前記入力画像信号と前記電子透かし信号からそれぞれのアクティビティを検出し、
前記画質劣化度が所定のしきい値以下となるように前記入力画像信号に対する前記電子透かし信号の埋め込み強度をフィードバック制御により調整するための第１の埋め込み強度調整量と、前記入力画像信号と前記電子透かし信号のアクティビティの比が予め定められた一定の値となるように前記埋め込み強度をフィードフォワード制御により調整するための第２の埋め込み強度調整量との積をとって埋め込み強度制御信号を生成し、該埋め込み強度制御信号によって前記埋め込み強度を制御する電子透かし埋め込み方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002255719A JP4127636B2 (ja) | 2002-08-30 | 2002-08-30 | 電子透かし埋め込み装置及び方法 |
| US10/649,830 US7515731B2 (en) | 2002-08-30 | 2003-08-28 | Digital watermark embedding apparatus and digital watermark detecting apparatus |
| EP20030255372 EP1394738A3 (en) | 2002-08-30 | 2003-08-29 | Apparatus for embedding and detection of digital watermark |
| EP20080000046 EP1901227A3 (en) | 2002-08-30 | 2003-08-29 | Watermarking telecine video |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002255719A JP4127636B2 (ja) | 2002-08-30 | 2002-08-30 | 電子透かし埋め込み装置及び方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006156406A Division JP4580898B2 (ja) | 2006-06-05 | 2006-06-05 | 電子透かし埋め込み装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004096476A JP2004096476A (ja) | 2004-03-25 |
| JP4127636B2 true JP4127636B2 (ja) | 2008-07-30 |
Family
ID=31492681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002255719A Expired - Fee Related JP4127636B2 (ja) | 2002-08-30 | 2002-08-30 | 電子透かし埋め込み装置及び方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7515731B2 (ja) |
| EP (2) | EP1901227A3 (ja) |
| JP (1) | JP4127636B2 (ja) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7006661B2 (en) | 1995-07-27 | 2006-02-28 | Digimarc Corp | Digital watermarking systems and methods |
| US7373513B2 (en) * | 1998-09-25 | 2008-05-13 | Digimarc Corporation | Transmarking of multimedia signals |
| US7197156B1 (en) * | 1998-09-25 | 2007-03-27 | Digimarc Corporation | Method and apparatus for embedding auxiliary information within original data |
| US7532740B2 (en) * | 1998-09-25 | 2009-05-12 | Digimarc Corporation | Method and apparatus for embedding auxiliary information within original data |
| JP4127636B2 (ja) | 2002-08-30 | 2008-07-30 | 株式会社東芝 | 電子透かし埋め込み装置及び方法 |
| JP4754204B2 (ja) * | 2004-11-15 | 2011-08-24 | 三菱電機株式会社 | 電子透かし埋込装置 |
| US8332646B1 (en) * | 2004-12-10 | 2012-12-11 | Amazon Technologies, Inc. | On-demand watermarking of content |
| KR100849436B1 (ko) * | 2004-12-13 | 2008-07-30 | 한국전자통신연구원 | 비디오 워터마킹 기법의 성능 평가를 위한 테스트 동영상선택 방법 및 시스템 |
| JP4519678B2 (ja) * | 2005-02-21 | 2010-08-04 | 株式会社東芝 | 電子透かし検出方法及び装置、電子透かし埋め込み方法及び装置 |
| JP4118279B2 (ja) * | 2005-03-11 | 2008-07-16 | 株式会社東芝 | 電子透かし検出装置及びその方法 |
| JP2006319949A (ja) * | 2005-04-11 | 2006-11-24 | Toshiba Tec Corp | 非可逆圧縮画像に対する電子透かし作成装置、電子透かし作成プログラム及び電子透かし作成方法 |
| US20070053325A1 (en) * | 2005-04-26 | 2007-03-08 | Interdigital Technology Corporation | Method and apparatus for securing wireless communications |
| FR2889014A1 (fr) * | 2005-07-22 | 2007-01-26 | Nextamp Sa | Procede et dispositif de tatouage d'horodates, procede et dispositif de decodage d'horodates, applications et produits programmes d'ordinateur correspondants |
| CN101053256B (zh) * | 2005-08-04 | 2010-09-01 | 日本电信电话株式会社 | 电子水印嵌入方法及装置 |
| JP4134128B2 (ja) * | 2005-09-26 | 2008-08-13 | 富士通株式会社 | エンコード可否判定装置、エンコード可否判定方法およびエンコード可否判定プログラム |
| JP4343179B2 (ja) * | 2006-02-17 | 2009-10-14 | 株式会社東芝 | 電子透かし検出方法及び装置 |
| US7720254B2 (en) * | 2006-03-13 | 2010-05-18 | Smi Holdings, Inc. | Automatic microparticle mark reader |
| JP4901678B2 (ja) | 2007-10-02 | 2012-03-21 | 株式会社東芝 | 電子透かし埋め込み装置及び電子透かし検出装置 |
| US8948513B2 (en) * | 2009-01-27 | 2015-02-03 | Apple Inc. | Blurring based content recognizer |
| JP5175908B2 (ja) | 2010-09-14 | 2013-04-03 | 株式会社東芝 | 情報処理装置及びプログラム |
| US8905314B2 (en) | 2010-09-30 | 2014-12-09 | Apple Inc. | Barcode recognition using data-driven classifier |
| CN103891282B (zh) * | 2011-03-29 | 2017-05-17 | 爱迪德技术有限公司 | 加水印的内容分段 |
| JP5735437B2 (ja) * | 2012-01-17 | 2015-06-17 | 日本電信電話株式会社 | 映像表示装置 |
| US9167314B2 (en) * | 2012-05-21 | 2015-10-20 | Video Expressions LLC | Embedding information in an image |
| WO2014179810A1 (en) | 2013-05-03 | 2014-11-06 | Digimarc Corporation | Watermarking and signal recogniton for managing and sharing captured content, metadata discovery and related arrangements |
| JP6221394B2 (ja) | 2013-06-19 | 2017-11-01 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| EP2835917A1 (en) * | 2013-08-09 | 2015-02-11 | Thomson Licensing | Second screen device and system for displaying a playload of a watermark |
| US10218994B2 (en) * | 2015-05-01 | 2019-02-26 | Verance Corporation | Watermark recovery using audio and video watermarking |
| US9959586B1 (en) * | 2016-12-13 | 2018-05-01 | GoAnimate, Inc. | System, method, and computer program for encoding and decoding a unique signature in a video file as a set of watermarks |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5940135A (en) | 1997-05-19 | 1999-08-17 | Aris Technologies, Inc. | Apparatus and method for encoding and decoding information in analog signals |
| ATE222040T1 (de) | 1997-10-08 | 2002-08-15 | Macrovision Corp | Verfahren und vorrichtung zum einsetzen eines einmal-kopie-wasserzeichens zur videoaufnahme |
| US6145081A (en) | 1998-02-02 | 2000-11-07 | Verance Corporation | Method and apparatus for preventing removal of embedded information in cover signals |
| JP3156667B2 (ja) | 1998-06-01 | 2001-04-16 | 日本電気株式会社 | 電子透かし挿入システム、電子透かし特性表作成装置 |
| JP3589111B2 (ja) | 1998-09-04 | 2004-11-17 | 日本電信電話株式会社 | 電子透かし方法及びその装置 |
| JP2000152199A (ja) | 1998-11-13 | 2000-05-30 | Sony Corp | 電子透かし情報の重畳方法、電子透かし情報の伝送方法、電子透かし情報の重畳装置、オーサリング装置および映像信号出力装置 |
| JP4130503B2 (ja) | 1998-11-30 | 2008-08-06 | 株式会社東芝 | 電子透かし埋込み装置 |
| JP2001224029A (ja) | 2000-02-07 | 2001-08-17 | Toshiba Corp | 画像圧縮符号化装置 |
| JP2002077589A (ja) | 2000-09-04 | 2002-03-15 | Nippon Telegr & Teleph Corp <Ntt> | 電子透かし埋め込み装置、方法およびプログラム記録媒体 |
| EP1220152A3 (en) | 2000-12-07 | 2004-11-24 | Sony United Kingdom Limited | Embedding data in material |
| JP2002191033A (ja) | 2000-12-21 | 2002-07-05 | Hitachi Ltd | 電子透かし埋め込み装置、および電子透かし埋め込み方法 |
| JP4127636B2 (ja) | 2002-08-30 | 2008-07-30 | 株式会社東芝 | 電子透かし埋め込み装置及び方法 |
-
2002
- 2002-08-30 JP JP2002255719A patent/JP4127636B2/ja not_active Expired - Fee Related
-
2003
- 2003-08-28 US US10/649,830 patent/US7515731B2/en not_active Expired - Fee Related
- 2003-08-29 EP EP20080000046 patent/EP1901227A3/en not_active Withdrawn
- 2003-08-29 EP EP20030255372 patent/EP1394738A3/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| EP1901227A2 (en) | 2008-03-19 |
| EP1901227A3 (en) | 2008-05-14 |
| EP1394738A2 (en) | 2004-03-03 |
| EP1394738A3 (en) | 2006-11-02 |
| JP2004096476A (ja) | 2004-03-25 |
| US20040117629A1 (en) | 2004-06-17 |
| US7515731B2 (en) | 2009-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4127636B2 (ja) | 電子透かし埋め込み装置及び方法 | |
| JP4580898B2 (ja) | 電子透かし埋め込み装置 | |
| US8995711B2 (en) | Efficient watermarking approaches of compressed media | |
| Hartung et al. | Digital watermarking of raw and compressed video | |
| US8638978B2 (en) | Digital watermarking of low bit rate video | |
| US6341350B1 (en) | Device and method for processing image data, transmitting medium, and recording medium | |
| US5809139A (en) | Watermarking method and apparatus for compressed digital video | |
| JP4181489B2 (ja) | データ処理装置及びデータ処理方法 | |
| EP2495965B1 (en) | Device and method for detecting inserted watermarks | |
| Sherly et al. | A compressed video steganography using TPVD | |
| JP3137022B2 (ja) | 動画像エンコード装置 | |
| US20020150247A1 (en) | Watermark embedding | |
| JP4035257B2 (ja) | 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 | |
| GB2383220A (en) | Adaptive strength watermarking | |
| JP2009514305A (ja) | 情報信号にデータを埋め込む方法 | |
| EP1286304A2 (en) | System and method for extracting a watermark signal in a digital image sequence | |
| JP4023324B2 (ja) | 透かし埋め込み及び画像圧縮部 | |
| JP2005341525A (ja) | ビデオウォーターマーキング方法及び装置と、ビデオウォーターマーキングを用いたビデオコンテンツの保護方法及び装置 | |
| US8213673B2 (en) | Watermarking of motion pictures | |
| Tsang et al. | Robust and high-quality video watermarking with the use of temporal redundancy | |
| Alattar et al. | Evaluation of watermarking low-bit-rate MPEG-4 bit streams | |
| GB2348071A (en) | Watermarking | |
| KR101025311B1 (ko) | 복합적 왜곡에 강인한 자기 동기화 신호 기반의 고화질 동영상 워터마킹 시스템 | |
| Busch et al. | Video Watermarking: Requirements | |
| ed eric Deguillaume et al. | Countermeasures for Unintentional and Intentional Video Watermarking Attacks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060404 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060605 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070416 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070522 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070709 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070803 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080401 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080408 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080507 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080509 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120523 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120523 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130523 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130523 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140523 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |