JP4024153B2

JP4024153B2 - Digital watermark embedding method and encoding device and decoding device capable of using the method

Info

Publication number: JP4024153B2
Application number: JP2003003987A
Authority: JP
Inventors: 亜輝臣国狭
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2003-01-10
Filing date: 2003-01-10
Publication date: 2007-12-19
Anticipated expiration: 2023-01-10
Also published as: JP2004221715A

Description

【０００１】
【発明の属する技術分野】
この発明は、電子透かし技術に関し、特に電子透かしの埋め込み方法、およびその方法を利用可能な符号化装置と復号装置に関する。
【０００２】
【従来の技術】
ここ数年、インターネット利用人口が急増し、インターネット利用の新たなステージともいえるブロードバンド時代に入ろうとしている。ブロードバンド通信では通信帯域が格段に広がるため、音声、静止画、動画などデータ量の大きいコンテンツの配信も気軽にできるようになる。このようなデジタルコンテンツの流通が盛んになると、コンテンツの著作権の保護がより一層求められることになる。
【０００３】
ネットワーク上に流通するコンテンツのデータは他人に容易にコピーされ、著作権に対する保護が十分ではないのが現状である。そこで著作権を保護するために、コンテンツの作成者や利用者の情報を電子透かしとしてコンテンツデータに埋め込む技術が開発されている。この電子透かし技術を用いることにより、ネットワーク上で流通するコンテンツデータから電子透かしを抽出して、不正利用を検出したり、不正コピーの流通経路を追跡することが可能となる。
【０００４】
従来の電子透かしの埋め込み技術には、電子透かし情報を埋め込む処理の自由度を維持しつつ、耐性の強い電子透かしの埋め込みを可能とするものがある（たとえば、非特許文献１参照）。
【０００５】
【非特許文献１】
Ingemar J. Cox, Joe Kilian, F. Thomson Leighton, and Talal Shamoon, "Secure Spread Spectrum Watermarking for Multimedia," IEEE Trans. on Image Processing, Vol. 6, No. 12, December 1997.
【０００６】
【発明が解決しようとする課題】
電子透かしは、不正利用者による改ざんを防止するために、利用者には分からないようにコンテンツデータに埋め込まれる。しかしコンテンツデータは、流通過程や利用過程で、圧縮符号化や各種フィルタリングなどの信号処理が加えられたり、ユーザにより加工されたり、あるいは透かし情報が改ざんされるなど、さまざまな操作を受けることがあり、その過程で埋め込まれた電子透かしデータの一部が変更されたり、消失する可能性がある。したがって電子透かしはこういった操作に対する耐性が要求される。
【０００７】
電子透かしの耐性を高めるための電子透かしの埋め込み技術が提案されているが、人間の視覚特性に合わせて、画像のエッジ部分やテクスチャ領域の中でも変化の大きな部分など高周波成分に電子透かしを埋め込む方法であり、個々のコンテンツデータの内容に強く依存し、透かし埋め込み後のコンテンツデータに対するさまざまな操作に対して耐性を強化するには、汎用性や柔軟性の面で限界がある。
【０００８】
また、画像を圧縮符号化する際、画像をブロックに分割して、ブロック単位で圧縮符号化が行われる。ブロック分割することで、処理に必要なメモリ量を一定量に抑えることができるからである。一方、電子透かしは画像全体に埋め込まれるのが普通であり、ブロック単位の圧縮符号化との整合性がなく、画像全体をバッファするメモリを前提とした埋め込み処理であるため、大きなメモリ容量が必要である。
【０００９】
本発明はこうした状況に鑑みてなされたもので、その目的は、耐性の強い電子透かしを埋め込み、電子透かしの検出誤差を低減することの可能な技術の提供にある。また別の目的は、圧縮符号化および復号に同期して、電子透かしの埋め込みおよび抽出を行うことの可能な技術の提供にある。
【００１０】
【課題を解決するための手段】
本発明のある態様は電子透かし埋め込み方法に関する。この方法は、ホストデータの圧縮符号化と同期して、圧縮符号化の行われるブロックを電子透かしの埋め込み単位として、複数のブロックに実質的に同一の電子透かしデータを重複して埋め込む。
【００１１】
ここでいうブロックとは、ホストデータを分割して圧縮符号化する際の処理単位であり、通常、一定のサイズであり、その処理単位毎にメモリに格納されて圧縮符号化処理がなされる。圧縮符号化の処理単位で電子透かしが埋め込まれるため、メモリ効率がよく、圧縮符号化と連動してリアルタイムに電子透かしの埋め込み処理が可能である。また複数のブロックに実質的に同一の電子透かしデータが繰り返し埋め込まれるため、透かしの耐性が強化される。ここで「実質的に同一の電子透かしデータ」とは、同一の電子透かしをブロック番号などの情報を用いてブロックごとに変更して埋め込む場合や、透かしのデータをブロックのデータに依存してスクランブルする場合も含める趣旨である。
【００１２】
ホストデータは、電子透かしを埋め込む対象となるオリジナルデータであり、たとえば静止画、動画、音声などのデータである。埋め込まれる電子透かしには、オリジナルデータの識別情報、作成者情報、利用者情報などが含まれる。その他、認証を目的として、ホストデータのダイジェストデータ、すなわちホストデータの特徴を端的に表したデータを電子透かしとして埋め込むことも可能である。電子透かしの耐性とは、電子透かしの埋め込まれたホストデータが改変されるなどの攻撃を受けた場合や、電子透かしの埋め込まれたホストデータに圧縮符号化やフィルタリングなどの信号処理が施された場合など、電子透かしの埋め込み後のホストデータに対して何らかの操作が加えられた場合に電子透かしデータがもつ頑強性をいう。
【００１３】
前記複数のブロックの各々に前記透かしデータを埋め込む際、前記透かしデータをスクランブルして生成された複数の透かしデータの候補を埋め込み、埋め込まれた透かしの候補の耐性をそれぞれ評価し、その評価が良好である前記透かしデータの候補が埋め込まれたブロックを埋め込みブロックとして選択してもよい。このようにブロックごとに透かしデータをスクランブルして高い耐性をもつ透かしデータを埋め込むことにより、ブロックごとのデータの特性を活かして、透かしの耐性をさらに強化することができる。
【００１４】
電子透かしを埋め込む側では、電子透かしデータをスクランブルする際、元の電子透かしデータを複数の透かしデータの候補に対応づける１対多の写像が用いられる。電子透かしを抽出する側では、逆写像を行って、スクランブルされた透かしデータから元の電子透かしデータを得る。そのため電子透かしを抽出する側では、元の電子透かしデータと複数の透かしデータの候補の対応テーブルが利用されてもよい。また、電子透かしを埋め込む側で、元の電子透かしデータから所定の初期値のもとで複数の透かしデータの候補を生成するスクランブル関数が利用されてもよい。この場合、電子透かしを抽出する側では、スクランブルに利用された初期値とスクランブル関数にもとづいて、抽出された電子透かしの逆スクランブルが行われる。
【００１５】
本発明の別の態様は符号化装置に関する。この装置は、ホストデータをブロック単位で圧縮符号化する符号化処理部と、ホストデータの圧縮符号化と同期して、圧縮符号化の行われる複数のブロックに実質的に同一の電子透かしデータを埋め込む透かし埋め込み処理部とを含む。前記透かし埋め込み処理部は、前記透かしデータをスクランブルして複数の透かしデータの候補を生成するスクランブル部と、前記ブロックに前記複数の透かしデータの候補のそれぞれを埋め込み、複数の埋め込みブロックの候補を生成する埋め込み部と、前記複数の埋め込みブロックの候補の各々について、当該電子透かしの耐性を評価する評価部と、前記耐性の評価値に基づいて前記複数の埋め込みブロックの候補の一つを選択する選択部とを含む。
【００１６】
前記埋め込み部は、前記複数のブロックに埋め込まれる前記透かしデータの情報系列を誤り訂正符号化したときのパリティ系列を、前記複数のブロックの内、一部のブロックに電子透かしとして埋め込んでもよい。前記透かし埋め込み処理部は、圧縮符号化の行われるＮ個のブロックの内、Ｋ個のブロックに埋め込まれるべき前記透かしデータの情報ビットからなる情報系列を、符号化率がＫ／Ｎの誤り訂正符号を用いて誤り訂正符号化し、残りの（Ｎ−Ｋ）個のブロックに埋め込まれるべき、前記情報ビットと同一ビット長の冗長ビットからなるパリティ系列を生成するブロック誤り訂正符号化部をさらに含んでもよい。透かしデータの情報ビットがｎビット（ｎは整数）であるとすると、Ｋ個のブロックに埋め込まれる情報系列はｎ×Ｋビットである。このＫ個のブロックに埋め込まれた情報系列の全体をＫ／Ｎの符号化率で誤り訂正符号化すると、全体でｎ×（Ｎ−Ｋ）ビットのパリティ系列が得られる。このパリティ系列をｎビットずつ区切ることにより得られるｎビットの冗長ビットを（Ｎ−Ｋ）個のブロックに電子透かしとして埋め込む。Ｋ個のブロックを情報系列埋め込み用ブロックと呼び、（Ｎ−Ｋ）個のブロックをパリティ系列埋め込み用ブロックと呼ぶ。情報系列埋め込み用ブロックに埋め込まれる情報ビット、およびパリティ系列埋め込み用ブロックに埋め込まれる冗長ビットはともにｎビットであるから、電子透かしとしての埋め込み時には特に区別することなく両者を同一の方式で埋め込むことができる。
【００１７】
本発明のさらに別の態様は復号装置に関する。この装置は、符号化ホストデータをブロック単位で復号する復号処理部と、前記符号化ホストデータの復号と同期して、復号の行われる複数のブロックから実質的に同一の電子透かしデータを抽出する透かし抽出処理部とを含む。前記透かし抽出処理部は、復号の行われる複数のブロックの各々からスクランブルされた透かしデータを抽出する抽出部と、前記スクランブルされた透かしデータのスクランブルを解除するデスクランブル部と、前記複数のブロックから抽出された複数の前記透かしデータを多数決判定することにより、埋め込まれた透かしデータを特定する判定部とを含む。複数のブロックから透かしデータを抽出して多数決判定することにより、透かしデータの検出精度を向上させることができる。
【００１８】
前記抽出部は、前記複数のブロックから抽出される前記透かしデータの情報系列の誤り訂正のためのパリティ系列を、前記複数のブロックの内、一部のブロックから電子透かしとして抽出してもよい。前記透かし抽出処理部は、復号の行われるＮ個のブロックの内、Ｋ個のブロックから抽出される前記透かしデータの情報ビットからなる情報系列を、残りの（Ｎ−Ｋ）個のブロックから抽出される、前記情報ビットと同一ビット長の冗長ビットからなるパリティ系列により、誤り訂正するブロック誤り訂正復号部をさらに含んでもよい。
【００１９】
本発明のさらに別の態様はコンピュータプログラムに関する。このプログラムは、ホストデータの圧縮符号化と同期して、スクランブルして生成された複数の電子透かしデータの候補を、圧縮符号化の行われるブロックに埋め込み、複数の埋め込みブロックの候補を生成するステップと、前記複数の埋め込みブロックの候補の各々について、埋め込まれた電子透かしの耐性を評価するステップと、前記耐性の評価値に基づいて前記複数の埋め込みブロックの候補の１つを最終的に電子透かしが埋め込まれたブロックとして選択するステップとをコンピュータに実行させる。
【００２０】
本発明のさらに別の態様もコンピュータプログラムに関する。このプログラムは、符号化ホストデータの復号と同期して、復号の行われる複数のブロックの各々からスクランブルされた透かしデータを抽出するステップと、前記スクランブルされた透かしデータのスクランブルを解除するステップと、前記複数のブロックから抽出された複数の前記透かしデータを多数決判定して、埋め込まれた透かしデータを特定するステップとをコンピュータに実行させる。
【００２１】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【００２２】
【発明の実施の形態】
実施の形態１
図１は、実施の形態１に係る符号化装置１００の構成を示す。この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた電子透かし埋め込み機能および圧縮符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００２３】
符号化装置１００は、ホストデータＳを圧縮符号化する符号化処理部１０と、圧縮符号化が行われるホストデータＳのブロックＶに透かし情報Ｉを埋め込む透かし埋め込み処理部３８とを含む。ホストデータＳは、たとえば音声、静止画、動画などのデータである。透かし情報Ｉは、そのホストデータＳの識別情報、作成者情報、利用者情報など著作権に関する情報、ホストデータＳの改ざん検出を行う認証情報、タイムスタンプなどである。以下では、ホストデータＳとして画像を例に挙げ、ブロックＶは二次元のピクセルデータであるとして説明するが、ホストデータＳが音声であっても、圧縮符号化の処理単位として一次元のブロックＶを考えることができ、同様の処理が可能である。
【００２４】
ホストデータＳは符号化処理部１０のブロック分割部１２によりブロックＶに分割され、直交変換部１４により離散コサイン変換や離散ウェーブレット変換などの直交変換により、空間周波数成分に変換される。直交変換部１４により直交変換されたブロックＶは、透かし埋め込み処理部３８に供給される。透かし埋め込み処理部３８はブロックＶに透かし情報Ｉを埋め込み、埋め込みブロックＷを符号化処理部１０の量子化部１６に与える。量子化部１６は埋め込みブロックＷを量子化する。可変長符号化部１８は、ホストデータＳの量子化された埋め込みブロックＷを可変長符号化することにより、ホストデータＳを圧縮し、透かし入り符号化ホストデータＴを出力する。
【００２５】
透かし埋め込み処理部３８の暗号化部３２は、秘密鍵Ｋを用いて、透かし情報Ｉを暗号化して、透かしデータＸを生成する。暗号化部３２は、ブロック分割部１２から現在符号化処理中のブロックＶのブロック番号の入力を受けて、ブロック番号によって透かし情報Ｉを暗号化することもできる。この場合、同一の透かし情報Ｉに対してブロック毎に異なる透かしデータＸが生成されるが、暗号を復号して元の透かし情報Ｉを一意に復元できるため、ブロック番号によって異なる透かしデータＸを実質的に同一の透かしであるとして扱う。
【００２６】
変更部３４は、暗号化部３２から透かしデータＸの入力を、直交変換部１４から現在符号化処理中のブロックＶの入力を受けて、ブロックＶに依存して透かしデータＸをスクランブルし、スクランブルされた透かしデータＸ’を出力する。埋め込み部３６は、秘密鍵Ｋを用いて、直交変換部１４から入力される現在符号化処理中のブロックＶにスクランブルされた透かしデータＸ’を埋め込み、埋め込みブロックＷを出力して量子化部１６に与える。秘密鍵Ｋに依存しない埋め込み方式を用いてもよい。
【００２７】
透かし埋め込み処理部３８による透かし埋め込み処理は、符号化処理部１０によって圧縮符号化がなされるホストデータＳのすべてのブロックＶについて、繰り返し行われ、すべてのブロックＶに同一もしくは実質的に同一の透かしデータＸが埋め込まれることになる。
【００２８】
変更部３４と埋め込み部３６は協同して、複数のスクランブルされた透かしデータＸ’を生成し、それぞれをブロックＶに埋め込み、複数の埋め込みブロックＷの候補を生成し、それらの候補の一つを選択する機能をもつ。
【００２９】
図２は変更部３４と埋め込み部３６の機能構成図である。Ｌ個のマルチプレクサ２０は、透かしデータＸの先頭にそれぞれ初期データＣ_０〜Ｃ_Ｌ−１を挿入したＬ種類のビット系列Ｘ_ｂを生成する。Ｌ個のスクランブラ２２はＬ種類のビット系列をそれぞれスクランブルして、Ｌ種類のスクランブルされた透かしデータＸ’_ｂを生成する。Ｌ個のＥＣＣ（Error Correction Code）部２４はＬ種類のスクランブルされた透かしデータＸ’_ｂのそれぞれに誤り訂正のためのパリティを付加した透かしデータＸ’_ｃを生成する。ＥＣＣ部２４は、透かしビットの検出率を向上させるためのオプションであって、アプリケーションによっては必要ない場合もあり、この構成を省略してもよい。また、スクランブラ２２とＥＣＣ部２４の順序を逆にして、Ｌ種類のビット系列に誤り訂正のためのパリティを付加した後に、それらをスクランブルして、Ｌ種類のスクランブルされた透かしデータを生成してもよい。
【００３０】
Ｌ個の埋め込み部２６は、Ｌ種類のスクランブルされた透かしデータＸ’_ｃのそれぞれを、圧縮符号化の行われるブロックＶに埋め込み、Ｌ種類の埋め込みブロックＷの候補を生成する。Ｌ個のＳＮＲ計算部２８は、Ｌ種類の埋め込みブロックＷの候補のそれぞれについて、透かしデータＸの耐性を評価する。セレクタ３０は、耐性の評価値が最良である埋め込みブロックＷの候補を選択し、それを最終的な埋め込みブロックＷとして出力する。
【００３１】
図３は、実施の形態１に係る復号装置２００の構成を示す。符号化装置１００により電子透かしが埋め込まれて圧縮された、透かし入り符号化ホストデータＴは、ネットワーク上で流通し、コンピュータにおいて利用される。その過程で透かし入り符号化ホストデータＴは圧縮符号化や改ざんなどの操作を受ける。画像データであれば、ＪＰＥＧ圧縮、フィルタリング、量子化、色補正などの信号処理や、スケーリング、クロッピング、回転、並行移動等の幾何学的な変換など有用性のある操作が施されたり、電子透かしを除去したり改変するなどの不正な攻撃が加えられたりする。そのような操作による変形を埋め込みホストデータＴに対するノイズＮとみなし、ノイズＮが付加した透かし入り符号化ホストデータＴをＴ’（＝Ｔ＋Ｎ）と表記する。同様に透かし入り符号化ホストデータＴの埋め込みブロックＷについてもノイズＮが付加したものをＷ’（＝Ｗ＋Ｎ）と表記する。
【００３２】
復号装置２００は、透かし入り符号化ホストデータＴ’を復号する復号処理部６０と、透かし入り符号化ホストデータＴ’の埋め込みブロックＷ’から透かし情報Ｉを抽出する透かし抽出処理部４０とを含む。
【００３３】
透かし入り符号化ホストデータＴ’は復号処理部６０の可変長符号復号部６２により可変長符号が復号され、ブロック分割部６４により埋め込みブロックＷ’に分割される。逆量子化部６６は埋め込みブロックＷ’を逆量子化する。逆直交変換部６８は埋め込みブロックＷ’を逆直交変換して、透かし入りホストデータＵ’を出力する。逆量子化部６６は、透かしの抽出のために、逆量子化後の埋め込みブロックＷ’を透かし抽出処理部４０に与える。
【００３４】
透かし抽出処理部４０の抽出部４２は、秘密鍵Ｋを用いて、逆量子化部６６から入力される現在復号処理中の埋め込みブロックＷ’に埋め込まれた透かしデータＸ’_ｃを抽出する。ＥＣＣ復号部４４はこの透かしデータＸ’_ｃに付加されているパリティビットを用いて誤り訂正を行い、透かしデータＸ’_ｂを生成する。デスクランブラ４６は、誤り訂正後の透かしデータＸ’_ｂのスクランブルを解除し、透かしデータＸを出力する。暗号復号部４８は、秘密鍵Ｋを用いて、暗号化されている透かしデータＸを復号して元の透かし情報Ｉを出力する。
【００３５】
以上の透かし抽出処理を、復号処理部６０が復号する透かし入り符号化ホストデータＴ’の埋め込みブロックＷ’に対して、繰り返し行うことで、すべての埋め込みブロックＷ’からそれぞれ透かし情報Ｉを抽出することができる。多数決判定部５０は、すべての埋め込みブロックＷ’から抽出された複数の透かし情報Ｉを多数決判定して、最も多い透かし情報Ｉを正しい透かし情報Ｉであると特定する。
【００３６】
多数決判定部５０は、多数決判定により特定された透かし情報Ｉが検出された埋め込みブロックＷ’の数が所定の閾値より小さい場合には、透かしが埋め込まれていないと判断する。あるいは、何らかの透かしが埋め込まれていることが仮定されている場合には、多数決判定部５０は、ホストデータＳに対する改ざんが多数のブロックＶに及んでいるため、正しい透かしの検出ができない旨の警告を出力してもよい。また、多数決判定部５０は、最終的に特定された透かし情報Ｉとは異なる透かしが検出された埋め込みブロックＷ’については、改ざんの可能性があると判断し、その埋め込みブロックＷ’のブロック番号を通知する警告メッセージを出力することもできる。
【００３７】
なお、多数決判定部５０は、暗号復号部４８により暗号が復号される前の透かしデータＸについて、多数決判定を行うようにしてもよい。また、多数決判定部５０は、抽出された複数の透かしビット列全体を互いに比較して、多数決判定により正しい透かしビット列を特定してもよく、あるいは、透かしの情報語の単位で互いに比較して、正しい情報語を特定してもよい。さらに、透かしデータＸの情報ビット単位で多数決判定を行い、ビット毎に正しい値を特定してもよい。
【００３８】
以上の構成の符号化装置１００および復号装置２００による電子透かしの埋め込みと抽出の手順を説明する。図１０は、符号化装置１００の透かし埋め込み処理部３８による電子透かしの埋め込み手順を説明するフローチャートである。フローチャートの説明にあたり、図４から図９を適宜参照する。
【００３９】
マルチプレクサ２０は、暗号化部３２により暗号化された透かしデータＸの先頭にＬ種類の初期データを挿入してＬ個の符号系列を生成し（Ｓ１０）、スクランブラ２２は、それらの符号系列をスクランブルしてＬ種類のスクランブルされた透かしデータＸ’を生成する（Ｓ１２）。
【００４０】
図４は、透かしデータＸとＬ種類のスクランブルされた透かしデータＸ’との関係を示す。（ｎ−ｒ）ビットの透かしデータＸの先頭に、ｒビットの冗長語を識別データＩＤ［０］〜ＩＤ［Ｌ−１］として付加し、Ｌ種類の透かしデータの候補を作成する。最大２^ｒ種類の候補が作成される。これらの候補に含まれる透かしデータＸのビット列はこれから述べるスクランブル方式により、スクランブルされる。
【００４１】
スクランブル方式の一例として、伝送や磁気記録におけるデジタル変調の際に利用されるＧＳ（Guided Scramble）方式を採用する。ＧＳ方式は、ある一定のデータブロック長からなる情報系列に対して、Ｌ種類の符号系列を生成し、これらを次に送信する符号系列の候補として扱う。これらの候補の中から、伝送媒体の性質に合わせて最適なものを選択して最終的な符号系列とする。このＧＳ方式により、多様性に富んだ符号系列の候補を簡単な方法で生成することができる。
【００４２】
符号化装置１００におけるマルチプレクサ２０とスクランブラ２２がＧＳ符号化器の一部として機能する。ＧＳ符号化器は、Ｍビットからなる情報系列Ｄ（ｘ）の直前にＬ種類のｒビットの冗長語ｃ_ｉ（ｉ＝０，・・・，Ｌ−１）を付加し、Ｌ種類の符号系列ｃ_ｉｘ^Ｍ＋Ｄ（ｘ）を生成する。この符号系列の符号長は（Ｍ＋ｒ）ビットとなる。このようにして冗長語が付加された符号系列に対して、次式のようにＮ次元のスクランブル多項式Ｓ（ｘ）で除算することにより商Ｔ_ｉ（ｘ）を求める。
【００４３】
Ｔ_ｉ（ｘ）＝Ｑ_Ｓ（ｘ）［（ｃ_ｉｘ^Ｍ＋Ｄ（ｘ））ｘ^Ｎ］（１）
ただし、Ｑ_ａ［ｂ］はｂをａで除算した商を示す。商集合｛Ｔ_０（ｘ），・・・，Ｔ_Ｌ−１（ｘ）｝がスクランブル後の符号系列の候補である。これらの候補の各々について、その符号系列が実際に用いられた際の性能を評価し、その評価値が最良であるものを最終的な符号系列として選択する。
【００４４】
復調時には、復号装置４０におけるデスクランブラ４６がＧＳ復号器として機能し、符号系列にＳ（ｘ）を乗算し、下位Ｎビットと上位ｒビットの変換情報を捨てることにより、元の情報系列Ｄ（ｘ）が得られる。
【００４５】
ここでスクランブル多項式Ｓ（ｘ）として、Ｓ（ｘ）＝ｘ^ｒ＋１を用いた場合を説明する。Ｍｍｏｄｒ＝０の場合、（１）式は次式に示す畳み込み演算で表現可能である。
【００４６】
ｔ_ｊ＝ｄ_ｊ（＋）ｃ_ｉ（ｊ＝０）
ｔ_ｊ＝ｄ_ｊ（＋）ｔ_ｊ−１（ｊ＝１，・・・，Ｍ／ｒ−１）
ただし、ｉ＝０，・・・，Ｌ−１であり、ｄ_ｊは元の情報系列Ｄ（ｘ）をｒビットずつ区切ったビット列、ｔ_ｊは変換後の符号系列Ｔ_ｉ（ｘ）の先頭のｒビットの冗長語ｃ_ｉ以降をｒビットずつ区切ったビット列である。また（＋）は排他的論理和（ＥＸ−ＯＲ）演算を示す。
【００４７】
図５はこの符号化時の畳み込み演算を説明する図である。たとえば、Ｍ＝６、ｒ＝２の場合を考える。元の情報系列Ｄ（ｘ）＝（１，０，１，０，０，１）に対して、冗長語ｃ_０＝（０，０）を付加して、変換後の符号系列Ｔ_０（ｘ）を生成する。上記の符号化時の畳み込み演算により、ｔ_０＝ｄ_０（＋）ｃ_０＝（１，０）（＋）（０，０）＝（１，０）、ｔ_１＝ｄ_１（＋）ｔ_０＝（１，０）（＋）（１，０）＝（０，０）、ｔ_２＝ｄ_２（＋）ｔ_１＝（０，１）（＋）（０，０）＝（０，１）となり、変換後の符号系列Ｔ_０＝（０，０，１，０，０，０，０，１）が得られる。ここで変換後の符号系列Ｔ_０の先頭の２ビットは冗長語ｃ_０であることに注意する。
【００４８】
同様にして、冗長語ｃ_１＝（０，１）、ｃ_２＝（１，０）、ｃ_３＝（１，１）に対して、それぞれ変換後の符号系列Ｔ_１＝（０，１，１，１，０，１，０，０）、Ｔ_２＝（１，０，０，０，１，０，１，１）、Ｔ_３＝（１，１，０，１，１，１，１，０）が得られる。
【００４９】
復号時は次式のように畳み込み演算を行うことにより、元の情報系列Ｄ（ｘ）が得られる。
【００５０】
ｄ_ｊ＝ｔ_ｊ（＋）ｃ_ｉ（ｊ＝０）
ｄ_ｊ＝ｔ_ｊ（＋）ｔ_ｊ−１（ｊ＝１，・・・，Ｍ／ｒ−１）
【００５１】
図６はこの復号時の畳み込み演算を説明する図である。前述の例において、変換後の符号化系列Ｔ_０＝（０，０，１，０，０，０，０，１）が与えられると、先頭の２ビットから冗長語ｃ_０＝（０，０）が得られ、上記の復号時の畳み込み演算により、ｄ_０＝ｔ_０（＋）ｃ_０＝（１，０）（＋）（０，０）＝（１，０）、ｄ_１＝ｔ_１（＋）ｔ_０＝（０，０）（＋）（１，０）＝（１，０）、ｄ_２＝ｔ_２（＋）ｔ_１＝（０，１）（＋）（０，０）＝（０，１）となり、元の情報系列Ｄ（ｘ）＝（１，０，１，０，０，１）が得られる。他の変換後の符号化系列Ｔ_１，Ｔ_２，Ｔ_３についてもこの畳み込み演算により、元の情報系列Ｄ（ｘ）が得られる。
【００５２】
再び図１０を参照する。スクランブラ２２によって生成されたＬ種類のスクランブルされた透かしデータＸ’は、ＥＣＣ部２４により誤り訂正のためのパリティを付加された後に、埋め込み部２６によりホストデータＶのブロックＶに埋め込まれる（Ｓ１４）。
【００５３】
Ｌ種類のスクランブルされた透かしデータＸ’をｘ^０，ｘ^１，・・・，ｘ^Ｌ−１とする。各透かしデータの候補のビット系列は、次式のように表される。先頭のｒビットは識別データである。また、スクランブル処理後のビット０は、−１に置き換えて、以下の処理を行う。
【００５４】
ｘ^０＝｛−１，・・・，−１，−１，ｘ^０ _０，ｘ^０ _１，・・・，ｘ^０ _{ｎ−ｒ−１}｝
ｘ^１＝｛−１，・・・，−１，１，ｘ^１ _０，ｘ^１ _１，・・・，ｘ^１ _{ｎ−ｒ−１}｝
・・・
ｘ^Ｌ−１＝｛１，・・・，１，１，ｘ^Ｌ−１ _０，ｘ^Ｌ−１ _１，・・・，ｘ^Ｌ−１ _{ｎ−ｒ−１}｝
【００５５】
ホストデータＳのブロックＶ内から、ｎビットの透かしデータの埋め込み対象としてサンプル集合のペア（Ｖ^＋，Ｖ⁻）を選択する。埋め込みサンプルの集合Ｖ^＋，Ｖ⁻は、それぞれ次のようにｎ個の要素をもつ。
【００５６】
Ｖ^＋＝｛ｖ^＋ _０，ｖ^＋ _１，・・・，ｖ^＋ _ｎ−１｝
Ｖ⁻＝｛ｖ⁻ _０，ｖ⁻ _１，・・・，ｖ⁻ _ｎ−１｝
ここでサンプルの集合Ｖ^＋，Ｖ⁻の要素であるサブセットｖ^＋ _ｉ、ｖ⁻ _ｉ（ｉ＝０，１，・・・，ｎ−１）は、いずれも同一のブロックＶ内でランダムに選択されたｍ個のサンプルデータからなる。
【００５７】
ｖ^＋ _ｉ＝｛ｖ^＋ _ｉ，０，ｖ^＋ _ｉ，１，・・・，ｖ^＋ _{ｉ，ｍ−１}｝
ｖ⁻ _ｉ＝｛ｖ⁻ _ｉ，０，ｖ⁻ _ｉ，１，・・・，ｖ⁻ _{ｉ，ｍ−１}｝
【００５８】
透かしデータの候補ｘ^ｋ（ｋ＝０，・・・，Ｌ−１）をサンプル集合のペア（Ｖ^＋，Ｖ⁻）に次のように埋め込み、Ｌ種類の埋め込みブロックの候補Ｗ^ｋを生成する。
【００５９】
ｗ^＋ｋ _ｉ，ｊ＝ｖ^＋ _ｉ，ｊ＋α^＋ _ｉ，ｊ・ｘ^ｋ _ｉ
ｗ^−ｋ _ｉ，ｊ＝ｖ⁻ _ｉ，ｊ−α⁻ _ｉ，ｊ・ｘ^ｋ _ｉ
ここでα^＋ _ｉ，ｊおよびα⁻ _ｉ，ｊは人間の視覚モデルにもとづいて知覚されるノイズを減少するためのスケーリングパラメータであり、いずれも正の値である。あるいは、α^＋ _ｉ，ｊおよびα⁻ _ｉ，ｊは、ある確率分布、たとえばガウシアン分布、一様分布などに従うように、秘密鍵Ｋによって生成される正の値であってもよい。この場合、透かしの埋め込み強度は減少するが、埋め込まれた透かしの秘匿性は向上する。このようにして、ｋ番目の透かしデータの候補の各ビットｘ^ｋ _ｉは各サブセットｖ^＋ _ｉ、ｖ⁻ _ｉのそれぞれｍ個のサンプルに重複して埋め込まれる。重複の数ｍが大きいほど、透かしビットが失われる可能性が低くなり、検出誤差が小さくなる一方で、ホストデータに埋め込むことができる透かしのビット数が減少する。α^＋ _ｉ，ｊおよびα⁻ _ｉ，ｊは、視覚上の劣化を検知できないように各ピクセル毎に設定される値であり、原理的には、埋め込むピクセル数ｍを増やしても、人間の視覚上、画質の劣化は検知されない。しかし、１ビットを埋め込むのに費やすピクセル数が増加するということは、埋め込み領域には制限があるため、埋め込むことができるビット数が減少することを意味し、したがって埋め込み率の低下を招くことなる。
【００６０】
符号化処理部１０の直交変換部１４が、ホストデータＳを離散コサイン変換（Discrete Cosine Transform）により変換するときは、ブロックＶはＤＣＴブロックであり、サンプル集合の各サブセットｖ^＋ _ｉ、ｖ⁻ _ｉのｍ個のサンプルデータは、１つのＤＣＴブロックに含まれるｍ個のＤＣＴ係数である。
【００６１】
図７は、離散コサイン変換されたホストデータＳのブロックＶにスクランブルされた透かしデータＸ’が埋め込まれる様子を説明する図である。同図のように、ＪＰＥＧで用いられている離散コサイン変換では、ホストデータＳの空間領域は縦横８ピクセルからなるブロックＶに分割され、それぞれのブロックＶが空間周波数成分に変換される。直交変換後の各ブロックＶにスクランブルされた透かしデータＸ’の透かしビット列ｘ^ｋが埋め込まれる。
【００６２】
図８は、８×８のサイズのＤＣＴブロックであるブロックＶ内の２ｍ個のＤＣＴ係数に透かしビットｘ^ｋ _ｉが埋め込まれる様子を示している。各サブセットｖ^＋ _ｉ、ｖ⁻ _ｉとして選ばれるそれぞれｍ個のＤＣＴ係数は、秘密鍵Ｋに基づいて選択される。このようにして、１ビットの透かしが１つのブロックＶに埋め込まれる。この処理をｎ回繰り返すことで、ブロックＶ内の２ｎｍ個のＤＣＴ係数にｎビットの透かしデータが埋め込まれる。
【００６３】
直交変換部１４が、ホストデータＳを離散ウェーブレット変換（Discrete Wavelet Transform）により変換するときは、ブロックＶは、離散ウェーブレット変換により生成されるサブバンドであり、サンプル集合の各サブセットｖ^＋ _ｉ、ｖ⁻ _ｉのｍ個のサンプルデータは、１つのサブバンドに含まれるｍ個のウェーブレット変換係数である。
【００６４】
図９は、離散ウェーブレット変換されたホストデータＳの各サブバンドを説明する図である。同図に示すとおり、ホストデータＳは離散ウェーブレット変換により４つの周波数サブバンドへ分割される。これらのサブバンドは、縦横両方向において低周波成分を有するＬＬサブバンドと、縦横のいずれかひとつの方向において低周波成分を有し、かつもう一方の方向において高周波成分を有するＨＬおよびＬＨサブバンドと、縦横両方向において高周波成分を有するＨＨサブバンドである。各サブバンドの縦横のピクセル数は処理前のホストデータＳのそれぞれ１／２であり、一回のフィルタリングでサイズが１／４のサブバンドデータが得られる。
【００６５】
こうして得られたサブバンドのうち、ＬＬサブバンドに対して離散ウェーブレット変換によるフィルタリング処理が再度施され、さらにＬＬ、ＨＬ、ＬＨ、ＨＨの４つのサブバンドに分割される。このフィルタリングは所定の回数行われ、最後のフィルタリングで生じたＬＬサブバンドがホストデータＶのＤＣ成分に最も近いデータとなる。
【００６６】
同図の例では、ホストデータＳに離散ウェーブレット変換が３回施され、第１階層のＨＬサブバンドＨＬ_１、ＬＨサブバンドＬＨ_１およびＨＨサブバンドＨＨ_１、第２階層のＨＬサブバンドＨＬ_２、ＬＨサブバンドＬＨ_２およびＨＨサブバンドＨＨ_２、第３階層のＬＬサブバンドＬＬ_３、ＨＬサブバンドＨＬ_３、ＬＨサブバンドＬＨ_３、およびＨＨサブバンドＨＨ_３の順に圧縮符号化が行われる。透かし埋め込み処理部３８は、これらのサブバンドの各々を透かしデータＸ’の埋め込みブロックとして透かしデータＸ’を埋め込む。各サブセットｖ^＋ _ｉ、ｖ⁻ _ｉとして選ばれるそれぞれｍ個のウェーブレット変換係数は、各サブバンドから秘密鍵Ｋに基づいて選択される。
【００６７】
図１０に戻り、ＳＮＲ計算部２８は、Ｌ種類の埋め込みブロックの候補Ｗ^ｋに対して透かしデータｘ^ｋの耐性、すなわち埋め込み強度を評価し（Ｓ１６）、セレクタ３０は埋め込み強度が最大となる埋め込みブロックの候補Ｗ^ｋを最終的な埋め込みブロックＷとして選択する（Ｓ１８）。
【００６８】
埋め込み強度の評価式を与える前に、埋め込みブロックＷに対して信号処理や画像処理などにより変形が加えられた場合に、透かしデータＸ’がどのように検出されるかを検討する。埋め込みブロックＷに加えられる変形をノイズＮとして扱う。ノイズの付加された埋め込みブロックＷ’から透かしデータＸ’を抽出する方法を説明する。埋め込みブロックの集合のペア（Ｗ’^＋，Ｗ’⁻）を次のように定義する。埋め込みブロックの集合Ｗ’^＋，Ｗ’⁻は次のようにそれぞれｎ個の要素をもつ。
【００６９】
Ｗ’^＋＝｛ｗ’^＋ _０，ｗ’^＋ _１，・・・，ｗ’^＋ _ｎ−１｝
Ｗ’⁻＝｛ｗ’⁻ _０，ｗ’⁻ _１，・・・，ｗ’⁻ _ｎ−１｝
ここで埋め込みブロックの集合Ｗ’^＋，Ｗ’⁻の要素である各サブセットｗ’^＋ _ｉ、ｗ’⁻ _ｉは、電子透かしの埋め込み位置に対応して、次のように埋め込みブロックＷ’のｍ個のサンプルデータからなる。
ｗ’^＋ _ｉ＝｛ｗ’^＋ _ｉ，０，ｗ’^＋ _ｉ，１，・・・，ｗ’^＋ _{ｉ，ｍ−１}｝
ｗ’⁻ _ｉ＝｛ｗ’⁻ _ｉ，０，ｗ’⁻ _ｉ，１，・・・，ｗ’⁻ _{ｉ，ｍ−１}｝
【００７０】
透かしビットｘ^ｋ _ｉを検出するために、次の検出値ｚ_ｉを計算する。
ｚ_ｉ＝Σ_ｊ＝０ ^ｍ−１（ｗ’^＋ _ｉ，ｊ−ｗ’⁻ _ｉ，ｊ）
＝Σ_ｊ＝０ ^ｍ−１［（ｗ^＋ _ｉ，ｊ＋ｎ^＋ _ｉ，ｊ）−（ｗ⁻ _ｉ，ｊ＋ｎ⁻ _ｉ，ｊ）］
＝Σ_ｊ＝０ ^ｍ−１［（ｖ^＋ _ｉ，ｊ−ｖ⁻ _ｉ，ｊ）＋（α^＋ _ｉ，ｊ＋α⁻ _ｉ，ｊ）・ｘ^ｋ _ｉ＋（ｎ^＋ _ｉ，ｊ−ｎ⁻ _ｉ，ｊ）］
ここでΣ_ｊ＝０ ^ｍ−１（ｖ^＋ _ｉ，ｊ−ｖ⁻ _ｉ，ｊ）はｍが十分に大きいとき、一般にガウス分布に従い、０に近づく。またノイズの項Σ_ｊ＝０ ^ｍ−１（ｎ^＋ _ｉ，ｊ−ｎ⁻ _ｉ，ｊ）についても同様に０に近づく。したがって、ｚ_ｉはΣ_ｊ＝０ ^ｍ−１［（α^＋ _ｉ，ｊ＋α⁻ _ｉ，ｊ）・ｘ^ｋ _ｉ］の値で近似できる。（α^＋ _ｉ，ｊ＋α⁻ _ｉ，ｊ）は正であるから、透かしビットｘ^ｋ _ｉが１ならばｚ_ｉは正であり、透かしビットｘ^ｋ _ｉが−１ならばｚ_ｉは負である。したがってｚ_ｉの正負により透かしビットｘ^ｋ _ｉの値を判定することができる。
【００７１】
埋め込み強度の評価は、ホストデータＳのブロックＶを透かしデータＸに対するノイズとみなして、埋め込まれた透かしデータｘ^ｋに対して検出される透かしデータの分散を計算することにより行われる。分散が小さいほど、耐性が強いと考えることができる。埋め込みブロックの候補のペア（Ｗ^＋ｋ，Ｗ^−ｋ）に対して次式によりＳＮ比を評価して、最適な候補Ｋを選択する。
【００７２】
Ｋ＝ａｒｇｍａｘ_ｋ（Ｐ_ｋ／σ_ｋ ^２）
Ｐ_ｋ＝Σ_ｉ＝０ ^ｎ−１｜Σ_ｊ＝０ ^ｍ−１（ｗ^＋ｋ _ｉ，ｊ−ｗ^−ｋ _ｉ，ｊ）｜^２／ｎ
σ_ｋ ^２＝Σ_ｉ＝０ ^ｎ−１｜Σ_ｊ＝０ ^ｍ−１（ｗ^＋ｋ _ｉ，ｊ−ｗ^−ｋ _ｉ，ｊ）−Ｐ_ｋ ^１／２・ｘ^ｋ _ｉ｜^２／ｎ
【００７３】
透かしビットｘ^ｋ _ｉが｛１，−１｝のいずれであるかを判定するための前述の検出値ｚ_ｉは、埋め込みブロックＷにノイズが付加される前の状態では、ｚ_ｉ＝Σ_ｊ＝０ ^ｍ−１（ｗ^＋ｋ _ｉ，ｊ−ｗ^−ｋ _ｉ，ｊ）で与えられることを考慮すると、分散σ_ｋ ^２は、透かしビットに関する検出値ｚ_ｉと実際に埋め込まれた透かしビットの平均値Ｐ_ｋ ^１／２・ｘ^ｋ _ｉとの差の自乗をｉ＝０，・・・，ｎ−１について評価して平均化したものであると言える。ただし、Ｐ_ｋは検出値ｚ_ｉのｉ＝０，・・・，ｎ−１についての自乗平均であり、埋め込まれた透かしの平均パワーを示す。したがって、埋め込まれた透かしデータｘ^ｋと抽出される透かしデータとの間のユークリッド距離が小さく、透かしビットを検出するための検出値の絶対値が大きいほど、Ｐ_ｋ／σ_ｋ ^２の値は大きくなる。言い換えれば、Ｐ_ｋ／σ_ｋ ^２が最大となる候補を選択することは、透かしビットの検出誤差が最小である候補を選択することを意味する。
【００７４】
検出値ｚ_ｉについて、ｖ^＋ _ｉ，ｊ＞ｖ⁻ _ｉ，ｊかつｘ^ｋ _ｉ＝１ならばｚ_ｉ＞＞０となり、ｖ^＋ _ｉ，ｊ＜ｖ⁻ _ｉ，ｊかつｘ^ｋ _ｉ＝−１ならばｚ_ｉ＜＜０となる。したがって前述の評価により最適な透かしデータｘ^ｋの候補を選択することは、検出値ｚ_ｉによる透かしビットｘ^ｋ _ｉの検出性能を向上させるために、ｖ^＋ _ｉ，ｊ＞ｖ⁻ _ｉ，ｊならばｘ’_ｉ＝１となり、ｖ^＋ _ｉ，ｊ＜ｖ⁻ _ｉ，ｊならばｘ’_ｉ＝−１となるように、元の透かしビットｘ_ｉをｘ’_ｉに変更することを意味する。これがＧＳ方式のガイディングルールであり、これにより検出値ｚ_ｉのレスポンスが改善する。
【００７５】
ＳＮＲ計算部２８は、Ｌ種類の埋め込みブロックＷの候補について、透かしデータＸの耐性を評価する際に、圧縮符号化の際の量子化誤差を考慮に入れてもよい。具体的には、埋め込まれた透かしデータと検出される透かしデータとの間の分散により埋め込み強度を評価する際に、埋め込みホストデータＷに対する量子化誤差を考慮した以下の重み付け分散を用いる。
【００７６】
Ｋ＝ａｒｇｍａｘ_ｋ（Ｐ_ｋ／σ_ｋ ^２）
Ｐ_ｋ＝Σ_ｉ＝０ ^ｎ−１｜Σ_ｊ＝０ ^ｍ−１（ｗ^＊＋ｋ _ｉ，ｊ−ｗ^＊−ｋ _ｉ，ｊ）｜^２／ｎ
σ_ｋ ^２＝Σ_ｉ＝０ ^ｎ−１｜Σ_ｊ＝０ ^ｍ−１（ｗ^＊＋ｋ _ｉ，ｊ−ｗ^＊−ｋ _ｉ，ｊ）−Ｐ_ｋ ^１／２・ｘ^ｋ _ｉ｜^２／ｎ
ここでｗ^＊＋ｋ _ｉ，ｊ、ｗ^＊−ｋ _ｉ，ｊは量子化がなされた後の埋め込みホストデータＷである。たとえばＪＰＥＧ２０００による圧縮符号化がなされる場合、ｗ^＊＋ｋ _ｉ，ｊ、ｗ^＊−ｋ _ｉ，ｊはＪＰＥＧ２０００の量子化方法を用いて以下のように計算することができる。
【００７７】
ＪＰＥＧ２０００の規格書「ISO/IEC 15444-1: JPEG 2000 image coding system, JPEG 2000 final committee draft, 18 August 2000」にもとづいて、ＪＰＥＧ２０００の量子化方法を簡単に説明する。サブバンドｂにおける量子化前のウェーブレット変換係数をａ_ｂ（ｕ，ｖ）、サブバンドｂにおける量子化後のウェーブレット変換係数をｑ_ｂ（ｕ，ｖ）とすると、ＪＰＥＧ２０００では以下の量子化式を用いてウェーブレット変換係数の量子化が行われる。
【００７８】
ｑ_ｂ（ｕ，ｖ）＝ｓｉｇｎ（ａ_ｂ（ｕ，ｖ））・［｜ａ_ｂ（ｕ，ｖ）｜／Δｂ］
ここで［ｘ］はｘを越えない最大の整数を表す。Δｂはサブバンドｂにおける量子化ステップであり、次式で与えられる。
Δｂ＝２＾（Ｒ_ｂ−ε_ｂ）・（１＋μ_ｂ／２^１１）
ここでＲ_ｂはサブバンドｂにおけるダイナミックレンジ、ε_ｂはサブバンドｂにおける量子化の指数、μ_ｂはサブバンドｂにおける量子化の仮数である。
【００７９】
このようにＪＰＥＧ２０００では、同一のサブバンドに属するウェーブレット変換係数は同じ量子化ステップで除算され、整数の値に丸められる。ブロックＶに埋め込まれる透かしデータＸはこのような量子化演算に対して耐性をもつ必要があるため、ＪＰＥＧ２０００による量子化がなされた後の埋め込みブロックＷの値を算出して、上述のようにその算出された埋め込みブロックＷに対して透かしデータの耐性を評価する。透かし埋め込み処理部３８は、符号化処理部１０による圧縮符号化に同期して透かしの埋め込み処理を行うため、符号化処理部１０において用いられる量子化パラメータを適宜参照することができる。
【００８０】
図１１は、復号装置２００の透かし抽出処理部４０による電子透かしの抽出手順を説明するフローチャートである。透かし抽出処理部４０の抽出部４２は、ノイズの付加された埋め込みブロックＷ’を受け取ると、ＥＣＣ復号部４４が硬入力の復号器で構成される場合には、検出値ｚ_ｉを次のように計算し、検出値ｚ_ｉの正負で、透かしビットｘ’が｛−１，１｝のいずれであるかを判定し、透かしデータＸ’を得る（Ｓ３０）。また、ＥＣＣ復号部４４が軟入力の復号器で構成される場合には、検出値ｚ_ｉを｛−１，１｝に硬判定することなく、そのまま、ＥＣＣ復号部４４に送る。
【００８１】
ｚ_ｉ＝Σ_ｊ＝０ ^ｍ−１（ｗ’^＋ _ｉ，ｊ−ｗ’⁻ _ｉ，ｊ）
＝Σ_ｊ＝０ ^ｍ−１［（ｗ^＋ _ｉ，ｊ＋ｎ^＋ _ｉ，ｊ）−（ｗ⁻ _ｉ，ｊ＋ｎ⁻ _ｉ，ｊ）］
＝Σ_ｊ＝０ ^ｍ−１［（ｖ^＋ _ｉ，ｊ−ｖ⁻ _ｉ，ｊ）＋（α^＋ _ｉ，ｊ＋α⁻ _ｉ，ｊ）・ｘ’_ｉ＋（ｎ^＋ _ｉ，ｊ−ｎ⁻ _ｉ，ｊ）］
【００８２】
抽出された透かしデータＸ’はさらにＥＣＣ復号部４４により誤り訂正がなされ、デスクランブラ４６によりスクランブルを解除され、元の透かしデータＸが得られる（Ｓ３２）。
【００８３】
多数決判定部５０は、複数の埋め込みブロックＷ’から得られる複数の透かしデータＸを多数決判定することにより、埋め込まれた透かしを特定する（Ｓ３４）。多数決判定部５０は、多数決判定により特定された透かしと同じ透かしデータＸが抽出された埋め込みブロックＷ’の数が所定の閾値より小さい場合（Ｓ３６のＮ）、透かしが埋め込まれていないと判定する（Ｓ３８）。特定された透かしが抽出された埋め込みブロックＷ’の数が所定の閾値以上の場合（Ｓ３６のＹ）、特定された透かしとは異なる透かしデータＸが抽出された埋め込みブロックＷ’について改ざんの可能性がある旨を警告する（Ｓ４０）。
【００８４】
以上述べたように、実施の形態によれば、ホストデータＳの圧縮符号化処理に同期して透かしを埋め込むため、圧縮符号化に利用される小容量のメモリを利用して、圧縮符号化と同時に透かしの埋め込みが可能である。また、同様に透かし入り符号化ホストデータＴの復号に同期して透かしを抽出することができる。
【００８５】
また、ＧＳ方式を利用することにより、電子透かしを埋め込む画像や音声などのメディアデータが与えられると、透かしビット系列をそのメディアデータに埋め込みやすいビット系列に変換した上で埋め込むことができる。したがって信号処理、幾何変換、圧縮、データの改ざんなどに対する電子透かしの耐性を強化することができ、透かしの検出精度が大幅に改善する。
【００８６】
また、複数のブロックＶに実質的に同一の透かしを重複して埋め込むため、透かしの耐性をさらに強化することができる。また、ブロックＶのデータ特性によっては、透かしの埋め込みが困難な場合もあるが、複数のブロックＶを埋め込み対象とすることにより、比較的埋め込みやすいブロックに耐性を強化した透かしを埋め込むことができ、透かし抽出時の多数決判定により、全体として透かしの検出精度を向上させることができる。さらに、多数決判定により、ブロック単位で改ざんの有無を調べることができる。
【００８７】
実施の形態２
図１２は実施の形態２に係る符号化装置１００の構成図である。本実施の形態では、ＧＳ符号化による透かしの埋め込みを行う前に誤り訂正符号化を行う点が、実施の形態１とは異なる。以下、実施の形態１と共通する構成については同一符号を付して説明を省き、実施の形態１とは異なる構成と動作について説明する。
【００８８】
本実施の形態の透かし埋め込み処理部３８は、圧縮符号化の行われるＮ個のブロックＶの各々に独立に（ｎ−ｒ）ビットの透かし系列を埋め込む際、各ブロックＶの（ｎ−ｒ）ビットの透かし系列を全てのブロックＶにまたがって連結した（ｎ−ｒ）×Ｎビットのビット系列が、符号化率Ｋ／Ｎで誤り訂正符号化された一つの符号語を構成するように誤り訂正符号化を行う。このようなＮ個のブロックＶ全体を用いる誤り訂正符号の一例として、リードソロモン符号やＢＣＨ符号などのブロック符号（以下、ブロックＥＣＣと呼ぶ）を用いる。この誤り訂正符号化の処理により、圧縮符号化の行われる複数のブロックＶの内、一部のブロックＶに、冗長データが埋め込まれることになる。
【００８９】
ブロックＥＣＣ部３３は、暗号化部３２によって生成された透かしデータＸの情報ビットＤを後述のブロック誤り訂正符号により符号化して、冗長ビットＰを出力する。セレクタ３５は、暗号化部３２から透かしデータＸの情報ビットＤの入力を、ブロックＥＣＣ部３３から透かしデータＸの冗長ビットＰの入力を受け、ブロック分割部１２から入力される現在符号化処理中のブロックＶのブロック番号にもとづいて、情報ビットＤと冗長ビットＰのどちらかを選択し、変更部３４に与える。変更部３４と埋め込み部３６により、情報ビットＤまたは冗長ビットＰがＧＳ符号化されて、現在符号化処理中のブロックＶに透かしとして埋め込まれる。
【００９０】
図１３はブロック誤り訂正符号を説明する図である。ホストデータＳのＮ個のブロックＶは、Ｋ個の情報系列埋め込み用ブロック１１０と、（Ｎ−Ｋ）個のパリティ系列埋め込み用ブロック１２０に分けられる。暗号化部３２により生成された（ｎ−ｒ）ビットの透かしデータＸの情報ビットＤは、Ｋ個の情報系列埋め込み用ブロック１１０の各々に埋め込まれる。Ｋ個の情報系列埋め込み用ブロック１１０に埋め込まれる（ｎ−ｒ）×Ｋビットの情報系列の全体をＫ／Ｎの符号化率で誤り訂正符号化すると、全体で（ｎ−ｒ）×（Ｎ−Ｋ）ビットのパリティ系列が得られる。このパリティ系列を（ｎ−ｒ）ビットずつ区切ることにより（ｎ−ｒ）ビットの冗長ビットＰが得られる。この冗長ビットＰが残りの（Ｎ−Ｋ）個のパリティ系列埋め込み用ブロック１２０の各々に埋め込まれる。
【００９１】
一つのブロックＶに埋め込まれる冗長ビットＰのビット数は情報ビットＤのビット数と同じであるから、特に冗長ビットＰであるか情報ビットＤであるかを区別せず、ホストデータＳのブロックＶに透かしとして埋め込むことができる。再び図１２を参照し、セレクタ３５は、現在符号化処理中のブロックＶが情報系列埋め込み用ブロック１１０である場合は、情報ビットＤを選択し、現在符号化処理中のブロックＶがパリティ系列埋め込み用ブロック１２０である場合は、冗長ビットＰを選択する。（ｎ−ｒ）ビットの情報ビットＤまたは冗長ビットＰは、変更部３４によりｒビットの冗長語を付加された後にスクランブルされ、埋め込み部３６によりブロックＶに埋め込まれる。
【００９２】
図１４は、実施の形態２に係る復号装置２００の構成図である。実施の形態１の復号装置２００とは異なり、透かし抽出処理部４０は、ブロックＥＣＣ復号部４９をさらに含む。デスクランブラ４６によりスクランブルを解除された透かしデータＸは、現在復号処理中の埋め込みブロックＷ’が図１３で説明した情報系列埋め込み用ブロック１１０に該当する場合は、情報ビットＤであり、パリティ系列埋め込み用ブロック１２０に該当する場合は、冗長ビットＰである。ブロックＥＣＣ復号部４９は、Ｋ個の情報系列埋め込み用ブロック１１０から抽出された情報ビットＤからなる情報系列を、（Ｎ−Ｋ）個のパリティ系列埋め込み用ブロック１２０から抽出された冗長ビットＰからなるパリティ系列により、誤り訂正する。これにより、Ｋ個の情報系列埋め込み用ブロック１１０から誤り訂正復号されたＫ個の透かしデータＸが得られる。
【００９３】
暗号復号部４８は、誤り訂正復号された透かしデータＸの暗号を復号して透かし情報Ｉを生成する。多数決判定部５０は、Ｋ個の情報系列埋め込み用ブロック１１０から得られたＫ個の透かし情報Ｉを多数決判定する。本実施の形態では、（Ｎ−Ｋ）個のパリティ系列埋め込み用ブロック１２０はパリティ系列の埋め込みに使用されているので、これらのブロックからは透かし情報Ｉが得られないことに注意する。ただし、復号されたパリティ系列を多数決判定に利用することは可能である。この場合は、図１２の透かし埋め込み処理部３８のブロックＥＣＣ部３３から出力されるパリティ系列と復号されたパリティ系列との比較結果を多数決判定に利用する。そのためには、透かし抽出処理部４０が、図１２の暗号化部３２およびブロックＥＣＣ部３３と同一の機能構成をさらに含むことが必要である。
【００９４】
なお、実施の形態１では、透かしデータＸのスクランブルの段階で、図２のＥＣＣ部２４による誤り訂正符号化を行っていたが、本実施の形態のようにブロック誤り訂正符号化を行う場合は、スクランブルの段階でのＥＣＣ部２４による誤り訂正符号化は省略してもよい。
【００９５】
実施の形態１のＥＣＣ部２４のように、ブロック毎に、独立に、誤り訂正符号化を行う方式では、透かしの埋め込みにくい単調なデータを含むブロックや、強い攻撃を受けたブロックなど、非常に大きなノイズを含むブロックがある場合、誤り訂正が十分に働かないことがある。本実施の形態では、他のブロックと共同で誤り訂正符号化を行うため、いずれかのブロックで誤りが生じたとしても、その誤り数が訂正能力内であれば、他のブロックの助けを借りて誤り訂正することができ、符号長がＮ倍になったことで誤り訂正能力が向上する。
【００９６】
実施の形態３
図１５は実施の形態３に係る符号化装置１００の構成図である。本実施の形態では、ブロック全体を誤り訂正符号化の単位とする点は、実施の形態２と同じであるが、使用される誤り訂正符号化方式が異なる。以下、実施の形態２と共通する構成については同一符号を付して説明を省き、実施の形態２とは異なる構成と動作について説明する。
【００９７】
本実施の形態の透かし埋め込み処理部３８は、圧縮符号化の行われるＮ個のブロックＶの各々に独立に（ｎ−ｒ）ビットの透かし系列を埋め込む際、各ブロックＶの（ｎ−ｒ）ビットの透かし系列を全てのブロックＶにまたがって連結した（ｎ−ｒ）×Ｎビットのビット系列が、符号化率Ｋ／Ｎで誤り訂正符号化された一つの符号語を構成するように誤り訂正符号化を行う。このようなＮ個のブロックＶ全体を用いる誤り訂正符号の一例として、畳み込み符号を用いる。なお、畳み込み符号の代わりに、ターボ符号などのより誤り訂正能力の高い符号化方式を用いることも可能である。
【００９８】
畳み込み符号化部３７は、暗号化部３２によって生成された透かしデータＸの入力を受け、組織型の畳み込み符号によって透かしデータＸのビット系列を逐次符号化し、情報ビットとパリティビットを交互に出力し、変更部３４に与える。変更部３４と埋め込み部３６により、（ｎ−ｒ）×Ｋ／Ｎビットの情報ビットＤと（ｎ−ｒ）×（１−Ｋ／Ｎ）ビットの冗長ビットＰがＧＳ符号化されて、現在符号化処理中のブロックＶにｎビットの透かしとして埋め込まれる。
【００９９】
図１６はブロック全体の畳み込み符号化を説明する図である。ホストデータＳのＮ個のブロックＶの各々に、（ｎ−ｒ）＊Ｋ／Ｎビットの情報ビットＤと（ｎ−ｒ）＊（１−Ｋ／Ｎ）ビットの冗長ビットＰで構成された（ｎ−ｒ）ビットの透かしビットがＧＳ符号化された後に埋め込まれ、ブロック全体で見た場合、（ｎ−ｒ）×Ｋビットの情報系列と（ｎ−ｒ）×（Ｎ−Ｋ）ビットの冗長系列により構成された透かし系列がＧＳ符号化された後に埋め込まれる。したがって、ホストデータＳ全体に埋め込まれている（ｎ−ｒ）ビットの透かし系列で見た場合、符号化率Ｋ／Ｎの誤り訂正符号化がなされた一つの符号語が形成されている。
【０１００】
畳み込み符号化部３７は、非組織型の畳み込み符号を用いて、透かしデータＸのビット系列を誤り訂正符号化してもよい。非組織型の畳み込み符号の場合、情報ビットとパリティビットの区別なく、２種類の符号化ビットが交互に生成され、各ブロックＶに（ｎ−ｒ）ビットの符号化系列が埋め込まれる。
【０１０１】
図１７は、実施の形態３に係る復号装置２００の構成図である。実施の形態２の復号装置２００のブロックＥＣＣ復号部４９に代えて、畳み込み符号復号部５１が用いられる。組織型の畳み込み符号の場合、現在復号処理中の埋め込みブロックＷ’から抽出される透かしデータＸにはそれぞれ情報ビットＤと冗長ビットＰが含まれる。畳み込み符号復号部５１は、Ｎ個の埋め込みブロックＷ’から抽出された情報系列とパリティ系列を一つの符号語として扱い、Ｎ個の埋め込みブロックＷ’全体で誤り訂正を行う。非組織型の畳み込み符号の場合には、情報ビットとパリティビットの区別がなく、Ｎ個の埋め込みブロックＷ’全体から抽出される符号化系列に対して誤り訂正が行われる。
【０１０２】
以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【０１０３】
上記の説明では、ホストデータＳをブロック分割したときのすべてのブロックＶに実質的に同一の透かしを埋め込むこととしたが、複数のブロックに同一の透かしを埋め込むのは、透かしの耐性強化のためであるから、耐性が弱まるが、一部のブロックまたは１つのブロックにだけ透かしを埋め込むことにしてもよい。また、１つの電子透かしをいくつかの部分に分け、ホストデータＳの複数のブロックＶに分散して埋め込んでもよい。いずれの場合でも、圧縮符号化および復号の処理に同期して、ブロック単位で透かしの埋め込みおよび抽出が可能であり、処理効率が向上する効果に変わりはない。また、このような処理により、複数種類の透かしの埋め込みが可能となる。
【０１０４】
また、実施の形態２および３では、すべてのブロックに埋め込まれている透かしを用いて一つの誤り訂正符号語を形成するようにしたが、この誤り訂正符号語の長さをｈ分の１にして、ｈ個の誤り訂正符号語で全ブロックに埋め込まれる透かしを構成し、それらをすべてのブロックに埋め込むようにしてもよい。ただし、ｈが大きいほど、誤り訂正能力は低下する。
【０１０５】
また、上記の説明では透かし埋め込み対象のブロックＶとして、直交変換の処理単位としてのブロックを想定し、ＤＣＴブロックや離散ウェーブレット変換のサブバンドをブロックＶとして扱ったが、本発明の趣旨は、圧縮符号化の処理単位としてのブロックを透かし埋め込み対象とすることであるから、たとえば画像を所定サイズの領域に分割し、その分割画像をバッファリングして圧縮符号化を行う場合は、そのような分割画像を透かし埋め込み対象のブロックＶとして扱ってもよい。また、静止画圧縮の標準規格であるＪＰＥＧ２０００では、画像をタイルという小領域に分割して、各タイルに対してウェーブレット変換を施すタイリングと呼ばれる手法が取られることがあるが、この場合には、タイルをブロックＶとして扱ってもよい。したがって、これらの場合には、ブロックＶには、複数のＤＣＴブロックが含まれることや、離散ウェーブレット変換の複数のサブバンドが含まれることもありえる。いずれにしても、圧縮符号化の処理単位を透かし埋め込み対象とすることで、圧縮符号化および復号のプロセスと同期して、透かしの埋め込みおよび抽出がなされることで、必要メモリの削減と処理時間の短縮が図られる。
【０１０６】
また、上記の説明では、量子化前のブロックに対して、電子透かしデータが埋め込まれたが、量子化されたブロックに対して、電子透かしデータを埋め込んでもよい。もっともその場合は、透かしの埋め込みにより圧縮率が低下する。
【０１０７】
また、上記の説明では、複数の透かしデータの候補または埋め込み位置の候補を生成するために、多様性に富んだ候補の生成が可能なＧＳ方式を用いたが、他のスクランブル方式を適用してもよく、また何らかの方法でランダムに候補のデータを生成してもよい。また実施の形態では、逆スクランブルにより、生成された透かしデータの候補から元の透かしデータを再現したが、生成された透かしデータの候補と元の透かしデータとを対応づけたテーブルを備え、このテーブルを参照して元の透かしデータを求めてもよい。
【０１０８】
またスクランブルの際に初期データとして使用した識別データは、透かしデータの先頭に挿入されて復号側に提供されていたが、この識別データを透かしには埋め込まずに、符号化側で秘密鍵として保持、管理してもよい。その場合、復号側はこの秘密鍵を取得した上で、透かしデータのスクランブルを解除する。
【０１０９】
また、上記の説明では、図２で示したように、Ｌ種類の透かしデータの候補を生成するために、Ｌ個のマルチプレクサ２０、スクランブラ２２、ＥＣＣ部２４、埋め込み部２６、およびＳＮＲ計算部２８が並列に設けられたが、これらの部材を単一構成にして、Ｌ種類の透かしデータの候補を逐次的に生成、評価して最適な候補を選択してもよい。
【０１１０】
【発明の効果】
本発明によれば、電子透かしの埋め込みと抽出処理を効率化し、透かしの耐性と検出精度を改善することができる。
【図面の簡単な説明】
【図１】実施の形態１に係る符号化装置の構成図である。
【図２】図１の変更部と埋め込み部の機能構成図である。
【図３】実施の形態１に係る復号装置の構成図である。
【図４】元の透かしデータとＬ種類のスクランブルされた透かしデータとの関係を説明する図である。
【図５】符号化時の畳み込み演算を説明する図である。
【図６】復号時の畳み込み演算を説明する図である。
【図７】離散コサイン変換されたホストデータのブロックに透かしデータが埋め込まれる様子を説明する図である。
【図８】図７のブロックに透かしビットが埋め込まれる様子を説明する図である。
【図９】離散ウェーブレット変換されたホストデータのサブバンドを説明する図である。
【図１０】実施の形態１に係る電子透かしの埋め込み手順を説明するフローチャートである。
【図１１】実施の形態１に係る電子透かしの抽出手順を説明するフローチャートである。
【図１２】実施の形態２に係る符号化装置の構成図である。
【図１３】実施の形態２に係るブロック誤り訂正を説明する図である。
【図１４】実施の形態２に係る復号装置の構成図である。
【図１５】実施の形態３に係る符号化装置の構成図である。
【図１６】実施の形態３に係るブロック全体の畳み込み符号を説明する図である。
【図１７】実施の形態３に係る復号装置の構成図である。
【符号の説明】
１０符号化処理部、１２ブロック分割部、１４直交変換部、１６量子化部、１８可変長符号化部、２０マルチプレクサ、２２スクランブラ、２４ＥＣＣ部、２６埋め込み部、２８ＳＮＲ計算部、３２暗号化部、３３ブロックＥＣＣ部、３４変更部、３６埋め込み部、３７畳み込み符号化部、３８透かし埋め込み処理部、４０透かし抽出処理部、４２抽出部、４４ＥＣＣ復号部、４６デスクランブラ、４８暗号復号部、４９ブロックＥＣＣ復号部、５０多数決判定部、５１畳み込み符号復号部、６０復号処理部、６２可変長符号復号部、６４ブロック分割部、６６逆量子化部、６８逆直交変換部、１００符号化装置、２００復号装置。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a digital watermark technique, and more particularly to a digital watermark embedding method and an encoding device and a decoding device that can use the method.
[0002]
[Prior art]
Over the past few years, the Internet population has increased rapidly and is entering a broadband era, a new stage of Internet usage. With broadband communication, the communication band is greatly expanded, so it is possible to easily distribute content with a large amount of data such as voice, still images, and moving images. When such digital content distribution becomes popular, protection of the copyright of the content will be further demanded.
[0003]
The content data distributed on the network is easily copied by others and the copyright protection is not sufficient. Therefore, in order to protect the copyright, a technique for embedding information of a content creator and a user into content data as a digital watermark has been developed. By using this digital watermark technology, it is possible to extract digital watermarks from content data distributed on the network, detect unauthorized use, and track distribution routes of unauthorized copies.
[0004]
Some conventional digital watermark embedding techniques enable embedding of a strong digital watermark while maintaining the degree of freedom of the process of embedding digital watermark information (see Non-Patent Document 1, for example).
[0005]
[Non-Patent Document 1]
Ingemar J. Cox, Joe Kilian, F. Thomson Leighton, and Talal Shamoon, "Secure Spread Spectrum Watermarking for Multimedia," IEEE Trans. On Image Processing, Vol. 6, No. 12, December 1997.
[0006]
[Problems to be solved by the invention]
The digital watermark is embedded in the content data so as not to be understood by the user in order to prevent tampering by an unauthorized user. However, content data may be subjected to various operations in the distribution process and usage process, such as signal processing such as compression coding and various filtering, processing by the user, and alteration of watermark information. In this process, a part of the embedded digital watermark data may be changed or lost. Therefore, the digital watermark is required to be resistant to such operations.
[0007]
Digital watermark embedding technology has been proposed to increase the resistance of digital watermarks, but in accordance with human visual characteristics, a method for embedding digital watermarks in high-frequency components such as edge portions of images and portions with large changes in texture regions Therefore, there is a limit in terms of versatility and flexibility to reinforce resistance to various operations on content data after embedding a watermark, which strongly depends on the contents of individual content data.
[0008]
In addition, when compressing and encoding an image, the image is divided into blocks, and compression encoding is performed in units of blocks. This is because the amount of memory required for processing can be suppressed to a certain amount by dividing the block. On the other hand, digital watermarks are usually embedded in the entire image, and are inconsistent with compression coding in units of blocks, and are embedded based on a memory that buffers the entire image, so a large memory capacity is required. It is.
[0009]
The present invention has been made in view of such circumstances, and an object thereof is to provide a technique capable of embedding a strong digital watermark and reducing a detection error of the digital watermark. Another object is to provide a technique capable of embedding and extracting a digital watermark in synchronization with compression encoding and decoding.
[0010]
[Means for Solving the Problems]
One embodiment of the present invention relates to a digital watermark embedding method. In this method, in synchronism with the compression encoding of host data, substantially the same digital watermark data is redundantly embedded in a plurality of blocks using a block on which compression encoding is performed as a digital watermark embedding unit.
[0011]
The block here is a processing unit when the host data is divided and compressed and encoded, and usually has a fixed size, and is stored in the memory for each processing unit and subjected to the compression encoding process. Since the digital watermark is embedded in the compression coding processing unit, the memory efficiency is high, and the digital watermark embedding process can be performed in real time in conjunction with the compression coding. Also, since substantially the same digital watermark data is repeatedly embedded in a plurality of blocks, the watermark resistance is enhanced. Here, “substantially the same digital watermark data” refers to the case where the same digital watermark is embedded by changing the block number or other information for each block, or the watermark data is scrambled depending on the block data. The purpose is to include.
[0012]
The host data is original data to be embedded with a digital watermark, and is data such as a still image, a moving image, and audio. The embedded digital watermark includes original data identification information, creator information, user information, and the like. In addition, for the purpose of authentication, digest data of host data, that is, data that directly represents the characteristics of host data can be embedded as a digital watermark. Digital watermark resistance refers to the case where the host data with embedded digital watermark is subjected to an attack such as alteration, or the host data with embedded digital watermark is subjected to signal processing such as compression coding or filtering. This refers to the robustness of the digital watermark data when some operation is applied to the host data after the digital watermark is embedded.
[0013]
When embedding the watermark data in each of the plurality of blocks, a plurality of watermark data candidates generated by scrambling the watermark data are embedded, and the tolerance of the embedded watermark candidates is evaluated, and the evaluation is good. The block in which the watermark data candidate is embedded may be selected as an embedded block. As described above, by scrambled the watermark data for each block and embedding watermark data having high tolerance, the tolerance of the watermark can be further enhanced by taking advantage of the data characteristics of each block.
[0014]
On the electronic watermark embedding side, when the digital watermark data is scrambled, a one-to-many mapping that associates the original digital watermark data with a plurality of watermark data candidates is used. On the digital watermark extraction side, reverse mapping is performed to obtain the original digital watermark data from the scrambled watermark data. Therefore, on the side of extracting a digital watermark, a correspondence table of original digital watermark data and a plurality of watermark data candidates may be used. In addition, a scramble function for generating a plurality of watermark data candidates based on a predetermined initial value from the original digital watermark data may be used on the side of embedding the digital watermark. In this case, on the side of extracting the digital watermark, the extracted digital watermark is descrambled based on the initial value and the scramble function used for scrambling.
[0015]
Another aspect of the present invention relates to an encoding apparatus. This apparatus includes an encoding processing unit that compresses and encodes host data in units of blocks, and substantially the same digital watermark data in a plurality of blocks that are subjected to compression encoding in synchronization with the compression encoding of host data. A watermark embedding processing unit to be embedded. The watermark embedding processing unit scrambles the watermark data to generate a plurality of watermark data candidates, and embeds each of the plurality of watermark data candidates in the block to generate a plurality of embedded block candidates. And selecting each of the plurality of embedded block candidates based on the evaluation value of the tolerance, and an evaluation unit that evaluates the resistance of the digital watermark for each of the plurality of embedded block candidates Part.
[0016]
The embedding unit may embed a parity sequence when an information sequence of the watermark data embedded in the plurality of blocks is subjected to error correction coding as a digital watermark in a part of the plurality of blocks. The watermark embedding processing unit converts an information sequence composed of information bits of the watermark data to be embedded in K blocks out of N blocks subjected to compression encoding, and performs error correction with a coding rate of K / N A block error correction encoding unit that generates a parity sequence composed of redundant bits having the same bit length as the information bits to be error correction encoded using a code and embedded in the remaining (N−K) blocks But you can. If the information bits of the watermark data are n bits (n is an integer), the information series embedded in K blocks is n × K bits. When the entire information sequence embedded in the K blocks is subjected to error correction coding at a coding rate of K / N, a parity sequence of n × (NK) bits is obtained as a whole. The n redundant bits obtained by dividing the parity sequence by n bits are embedded in (NK) blocks as a digital watermark. K blocks are called information sequence embedding blocks, and (N−K) blocks are called parity sequence embedding blocks. Since both the information bits embedded in the information sequence embedding block and the redundant bits embedded in the parity sequence embedding block are n bits, they can be embedded in the same method without distinction when embedding as a digital watermark. it can.
[0017]
Yet another embodiment of the present invention relates to a decoding apparatus. This apparatus extracts substantially the same digital watermark data from a plurality of blocks to be decoded in synchronization with decoding of the encoded host data and a decoding processing unit for decoding the encoded host data in units of blocks. And a watermark extraction processing unit. The watermark extraction processing unit includes: an extraction unit that extracts scrambled watermark data from each of a plurality of blocks to be decoded; a descrambling unit that unscrambles the scrambled watermark data; and the plurality of blocks A determination unit that identifies embedded watermark data by performing majority determination of the plurality of extracted watermark data. By extracting watermark data from a plurality of blocks and making a majority decision, watermark data detection accuracy can be improved.
[0018]
The extraction unit may extract a parity sequence for error correction of an information sequence of the watermark data extracted from the plurality of blocks as a digital watermark from a part of the plurality of blocks. The watermark extraction processing unit extracts, from the remaining (N−K) blocks, an information sequence including information bits of the watermark data extracted from K blocks among N blocks to be decoded. The block may further include a block error correction decoding unit that performs error correction using a parity sequence including redundant bits having the same bit length as the information bits.
[0019]
Yet another embodiment of the present invention relates to a computer program. The program includes a step of embedding a plurality of digital watermark data candidates generated by scrambling in a block subjected to compression encoding in synchronization with compression encoding of host data to generate a plurality of embedded block candidates And, for each of the plurality of embedded block candidates, evaluating the resistance of the embedded digital watermark, and finally selecting one of the plurality of embedded block candidates based on the evaluation value of the digital watermark And selecting the block as an embedded block.
[0020]
Still another embodiment of the present invention also relates to a computer program. The program includes a step of extracting scrambled watermark data from each of a plurality of blocks to be decoded in synchronization with decoding of encoded host data, a step of unscrambled the scrambled watermark data, and A step of determining the majority of the plurality of watermark data extracted from the plurality of blocks and identifying the embedded watermark data.
[0021]
It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1
FIG. 1 shows a configuration of encoding apparatus 100 according to Embodiment 1. This configuration can be realized in hardware by a CPU, memory, or other LSI of any computer, and in software by a program with a digital watermark embedding function and a compression encoding function loaded in the memory. However, here, functional blocks realized by their cooperation are depicted. Therefore, those skilled in the art will understand that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
[0023]
The encoding apparatus 100 includes an encoding processing unit 10 that compresses and encodes host data S, and a watermark embedding processing unit 38 that embeds watermark information I in a block V of host data S on which compression encoding is performed. The host data S is data such as audio, still images, and moving images. The watermark information I is information relating to copyright such as identification information of the host data S, creator information, user information, authentication information for detecting falsification of the host data S, a time stamp, and the like. In the following description, an image is taken as an example of the host data S, and the block V is described as being two-dimensional pixel data. The same processing is possible.
[0024]
The host data S is divided into blocks V by the block dividing unit 12 of the encoding processing unit 10, and is converted into spatial frequency components by orthogonal transformation such as discrete cosine transformation and discrete wavelet transformation by the orthogonal transformation unit. The block V orthogonally transformed by the orthogonal transformation unit 14 is supplied to the watermark embedding processing unit 38. The watermark embedding processing unit 38 embeds the watermark information I in the block V and supplies the embedding block W to the quantization unit 16 of the encoding processing unit 10. The quantization unit 16 quantizes the embedded block W. The variable length encoding unit 18 compresses the host data S by variable length encoding the quantized embedded block W of the host data S, and outputs watermarked encoded host data T.
[0025]
The encryption unit 32 of the watermark embedding processing unit 38 encrypts the watermark information I using the secret key K, and generates watermark data X. The encryption unit 32 can also receive the input of the block number of the block V currently being encoded from the block division unit 12 and can encrypt the watermark information I by the block number. In this case, different watermark data X is generated for each block with respect to the same watermark information I. However, since the original watermark information I can be uniquely restored by decrypting the code, the watermark data X that differs depending on the block number is substantially changed. Are treated as the same watermark.
[0026]
The changing unit 34 receives the input of the watermark data X from the encryption unit 32 and the input of the block V currently being encoded from the orthogonal transform unit 14, scrambles the watermark data X depending on the block V, and scrambles it. The watermark data X ′ thus output is output. Using the secret key K, the embedding unit 36 embeds the scrambled watermark data X ′ input from the orthogonal transform unit 14 into the block V currently being encoded, and outputs the embedded block W to output the quantizing unit 16. To give. An embedding method that does not depend on the secret key K may be used.
[0027]
The watermark embedding processing by the watermark embedding processing unit 38 is repeatedly performed for all the blocks V of the host data S to be compression-encoded by the encoding processing unit 10, and the same or substantially the same watermark is applied to all the blocks V. Data X is embedded.
[0028]
The changing unit 34 and the embedding unit 36 cooperate to generate a plurality of scrambled watermark data X ′, embed each in the block V, generate a plurality of embedded block W candidates, and select one of these candidates. Has a function to select.
[0029]
FIG. 2 is a functional configuration diagram of the changing unit 34 and the embedding unit 36. The L multiplexers 20 have initial data C at the head of the watermark data X, respectively.₀~ C_L-1L-type bit sequence X with inserted_bIs generated. The L scramblers 22 scramble each of the L types of bit sequences, and the L types of scrambled watermark data X ′._bIs generated. The L error correction code (ECC) units 24 include L types of scrambled watermark data X ′._bWatermark data X 'with parity for error correction added to each_cIs generated. The ECC unit 24 is an option for improving the watermark bit detection rate and may not be necessary depending on the application, and this configuration may be omitted. Also, the order of the scrambler 22 and the ECC unit 24 is reversed, and parity for error correction is added to the L types of bit sequences, and then they are scrambled to generate L types of scrambled watermark data. May be.
[0030]
The L embedding units 26 are provided with L types of scrambled watermark data X ′._cAre embedded in a block V on which compression encoding is performed, and L types of embedded block W candidates are generated. The L SNR calculators 28 evaluate the tolerance of the watermark data X for each of the L types of embedded block W candidates. The selector 30 selects an embedded block W candidate having the best tolerance evaluation value, and outputs it as the final embedded block W.
[0031]
FIG. 3 shows a configuration of decoding apparatus 200 according to Embodiment 1. The watermarked encoded host data T, in which the digital watermark is embedded and compressed by the encoding device 100, is distributed on the network and used in the computer. In the process, the watermarked encoded host data T is subjected to operations such as compression encoding and tampering. For image data, useful operations such as signal processing such as JPEG compression, filtering, quantization, and color correction, and geometric transformations such as scaling, cropping, rotation, and translation are performed. Unauthorized attacks such as removing or altering The deformation caused by such an operation is regarded as noise N with respect to the embedded host data T, and the watermarked encoded host data T to which the noise N is added is expressed as T ′ (= T + N). Similarly, the embedded block W of the watermarked encoded host data T to which noise N is added is denoted as W ′ (= W + N).
[0032]
The decoding apparatus 200 includes a decoding processing unit 60 that decodes the watermarked encoded host data T ′ and a watermark extraction processing unit 40 that extracts the watermark information I from the embedded block W ′ of the watermarked encoded host data T ′. .
[0033]
The watermarked encoded host data T ′ is decoded by the variable length code decoding unit 62 of the decoding processing unit 60 and divided by the block dividing unit 64 into the embedded blocks W ′. The inverse quantization unit 66 inversely quantizes the embedded block W ′. The inverse orthogonal transform unit 68 performs inverse orthogonal transform on the embedded block W ′ and outputs watermarked host data U ′. The inverse quantization unit 66 provides the watermark extraction processing unit 40 with the embedded block W ′ after the inverse quantization in order to extract the watermark.
[0034]
The extraction unit 42 of the watermark extraction processing unit 40 uses the secret key K, and the watermark data X ′ embedded in the embedded block W ′ currently being decrypted and input from the inverse quantization unit 66._cTo extract. The ECC decoding unit 44 uses the watermark data X ′._cError correction using the parity bit added to the watermark data X ′_bIs generated. The descrambler 46 uses the watermark data X ′ after error correction._bIs scrambled and watermark data X is output. The encryption / decryption unit 48 decrypts the encrypted watermark data X using the secret key K, and outputs the original watermark information I.
[0035]
By repeating the above-described watermark extraction processing on the embedded block W ′ of the watermarked encoded host data T ′ decoded by the decoding processing unit 60, the watermark information I is extracted from all the embedded blocks W ′. be able to. The majority decision determining unit 50 performs majority decision on the plurality of watermark information I extracted from all the embedded blocks W ′, and identifies the most watermark information I as the correct watermark information I.
[0036]
The majority decision determining unit 50 determines that the watermark is not embedded when the number of embedded blocks W ′ in which the watermark information I specified by the majority decision is detected is smaller than a predetermined threshold. Alternatively, if it is assumed that some kind of watermark is embedded, the majority decision unit 50 warns that correct watermark detection cannot be performed because the falsification of the host data S has reached a large number of blocks V. May be output. Further, the majority decision determining unit 50 determines that there is a possibility that the embedded block W ′ in which the watermark different from the finally specified watermark information I is detected has been tampered with, and the block number of the embedded block W ′. It is also possible to output a warning message to notify
[0037]
The majority decision determination unit 50 may perform majority decision on the watermark data X before encryption is decrypted by the encryption / decryption unit 48. Further, the majority decision determining unit 50 may compare the whole extracted plurality of watermark bit sequences with each other and specify the correct watermark bit sequence by majority decision, or may compare the results with each other in units of watermark information words. An information word may be specified. Further, the majority decision may be performed for each information bit of the watermark data X, and a correct value may be specified for each bit.
[0038]
A procedure for embedding and extracting a digital watermark by the encoding apparatus 100 and the decoding apparatus 200 having the above configuration will be described. FIG. 10 is a flowchart for explaining a digital watermark embedding procedure by the watermark embedding processing unit 38 of the encoding apparatus 100. In the description of the flowchart, FIGS. 4 to 9 are appropriately referred to.
[0039]
The multiplexer 20 generates L code sequences by inserting L types of initial data at the head of the watermark data X encrypted by the encryption unit 32 (S10), and the scrambler 22 It is scrambled to generate L types of scrambled watermark data X ′ (S12).
[0040]
FIG. 4 shows the relationship between the watermark data X and the L types of scrambled watermark data X ′. At the beginning of the (n−r) -bit watermark data X, r-bit redundant words are added as identification data ID [0] to ID [L−1] to create L types of watermark data candidates. 2 max^rKind candidates are created. The bit string of the watermark data X included in these candidates is scrambled by the scramble method described below.
[0041]
As an example of the scramble system, a GS (Guided Scramble) system used for digital modulation in transmission or magnetic recording is adopted. In the GS method, L types of code sequences are generated for an information sequence having a certain data block length, and these are treated as candidates for a code sequence to be transmitted next. Among these candidates, an optimum one is selected in accordance with the properties of the transmission medium to obtain a final code sequence. By this GS method, a variety of code sequence candidates can be generated by a simple method.
[0042]
The multiplexer 20 and the scrambler 22 in the encoding device 100 function as a part of the GS encoder. The GS encoder performs L kinds of r-bit redundant words c immediately before the information sequence D (x) consisting of M bits._i(I = 0,..., L−1) is added, and L types of code sequences c_ix^M+ D (x) is generated. The code length of this code sequence is (M + r) bits. By dividing the code sequence to which redundant words are added in this way by an N-dimensional scrambled polynomial S (x) as shown in the following equation, the quotient T_i(X) is obtained.
[0043]
T_i(X) = Q_{S (x)}[(C_ix^M+ D (x)) x^N] (1)
However, Q_a[B] indicates a quotient obtained by dividing b by a. Quotient set {T₀(X), ..., T_L-1(X)} is a scrambled code sequence candidate. For each of these candidates, the performance when the code sequence is actually used is evaluated, and the one with the best evaluation value is selected as the final code sequence.
[0044]
At the time of demodulation, the descrambler 46 in the decoding device 40 functions as a GS decoder, multiplies the code sequence by S (x), and discards the conversion information of the lower N bits and the upper r bits, thereby removing the original information sequence D ( x) is obtained.
[0045]
Here, S (x) = x as scramble polynomial S (x)^rA case where +1 is used will be described. When M mod r = 0, the expression (1) can be expressed by the convolution operation shown in the following expression.
[0046]
t_j= D_j(+) C_i  (J = 0)
t_j= D_j(+) T_j-1  (J = 1,..., M / r-1)
Where i = 0,..., L−1 and d_jIs a bit string obtained by dividing the original information series D (x) by r bits, t_jIs the converted code sequence T_iThe first r-bit redundant word c in (x)_iThis is a bit string obtained by dividing the rest by r bits. (+) Indicates an exclusive OR (EX-OR) operation.
[0047]
FIG. 5 is a diagram for explaining the convolution operation at the time of encoding. For example, consider the case where M = 6 and r = 2. For the original information series D (x) = (1, 0, 1, 0, 0, 1), the redundant word c₀= (0,0) is added, and the converted code sequence T₀(X) is generated. By the above convolution operation at the time of encoding, t₀= D₀(+) C₀= (1, 0) (+) (0, 0) = (1, 0), t₁= D₁(+) T₀= (1,0) (+) (1,0) = (0,0), t₂= D₂(+) T₁= (0,1) (+) (0,0) = (0,1), and the converted code sequence T₀= (0,0,1,0,0,0,0,1) is obtained. Here, the converted code sequence T₀The first 2 bits of the redundant word c₀Note that
[0048]
Similarly, the redundant word c₁= (0,1), c₂= (1,0), c₃= (1, 1) for each converted code sequence T₁= (0,1,1,1,0,1,0,0), T₂= (1, 0, 0, 0, 1, 0, 1, 1), T₃= (1,1,0,1,1,1,1,0) is obtained.
[0049]
At the time of decoding, the original information series D (x) is obtained by performing a convolution operation as in the following equation.
[0050]
d_j= T_j(+) C_i  (J = 0)
d_j= T_j(+) T_j-1  (J = 1,..., M / r-1)
[0051]
FIG. 6 is a diagram for explaining the convolution operation at the time of decoding. In the above example, the converted encoded sequence T₀= (0, 0, 1, 0, 0, 0, 0, 1), the redundant word c from the first two bits₀= (0,0) is obtained, and by the above convolution operation at the time of decoding, d₀= T₀(+) C₀= (1,0) (+) (0,0) = (1,0), d₁= T₁(+) T₀= (0,0) (+) (1,0) = (1,0), d₂= T₂(+) T₁= (0,1) (+) (0,0) = (0,1), and the original information series D (x) = (1,0,1,0,0,1) is obtained. Other converted encoded sequence T₁, T₂, T₃Also, the original information series D (x) is obtained by this convolution operation.
[0052]
Refer to FIG. 10 again. The L types of scrambled watermark data X ′ generated by the scrambler 22 are added with parity for error correction by the ECC unit 24 and then embedded in the block V of the host data V by the embedding unit 26 (S14). ).
[0053]
L types of scrambled watermark data X '⁰, X¹, ..., x^L-1And The bit sequence of each watermark data candidate is expressed as follows. The leading r bits are identification data. Also, bit 0 after the scramble process is replaced with -1, and the following process is performed.
[0054]
x⁰= {-1, ...,-1, -1, x⁰ ₀, X⁰ ₁, ..., x⁰ _n-r-1}
x¹= {-1, ...,-1,1, x¹ ₀, X¹ ₁, ..., x¹ _n-r-1}
...
x^L-1= {1, ..., 1,1, x^L-1 ₀, X^L-1 ₁, ..., x^L-1 _n-r-1}
[0055]
From the block V of the host data S, a pair of sample sets (V⁺, V⁻) Is selected. Set of embedded samples V⁺, V⁻Each has n elements as follows.
[0056]
V⁺= {V⁺ ₀, V⁺ ₁, ..., v⁺ _n-1}
V⁻= {V⁻ ₀, V⁻ ₁, ..., v⁻ _n-1}
Here a set of samples V⁺, V⁻A subset v that is an element of⁺ _i, V⁻ _i(I = 0, 1,..., N−1) are composed of m pieces of sample data randomly selected in the same block V.
[0057]
v⁺ _i= {V⁺ _{i, 0}, V⁺ _{i, 1}, ..., v⁺ _{i, m-1}}
v⁻ _i= {V⁻ _{i, 0}, V⁻ _{i, 1}, ..., v⁻ _{i, m-1}}
[0058]
Watermark data candidate x^k(K = 0,..., L−1) is a sample set pair (V⁺, V⁻) As follows, and L types of embedded block candidates W^kIs generated.
[0059]
w^{+ K} _{i, j}= V⁺ _{i, j}+ Α⁺ _{i, j}・ X^k _i
w^-K _{i, j}= V⁻ _{i, j}-Α⁻ _{i, j}・ X^k _i
Where α⁺ _{i, j}And α⁻ _{i, j}Is a scaling parameter for reducing noise perceived based on the human visual model, and is a positive value. Or α⁺ _{i, j}And α⁻ _{i, j}May be a positive value generated by the secret key K so as to follow a certain probability distribution, such as a Gaussian distribution, a uniform distribution, or the like. In this case, the embedding strength of the watermark is reduced, but the confidentiality of the embedded watermark is improved. In this way, each bit x of the kth watermark data candidate^k _iIs each subset v⁺ _i, V⁻ _iAre embedded in m samples. The greater the number of duplicates m, the less likely the watermark bits are lost and the smaller the detection error, while the fewer the number of watermark bits that can be embedded in the host data. α⁺ _{i, j}And α⁻ _{i, j}Is a value set for each pixel so that visual deterioration cannot be detected. In principle, even if the number m of pixels to be embedded is increased, deterioration of image quality is not detected by human vision. However, an increase in the number of pixels used to embed one bit means that the number of bits that can be embedded is reduced because the embedment area is limited, thus leading to a decrease in the embedment rate. .
[0060]
When the orthogonal transformation unit 14 of the encoding processing unit 10 transforms the host data S by discrete cosine transform, the block V is a DCT block, and each subset v of the sample set⁺ _i, V⁻ _iThe m sample data are m DCT coefficients included in one DCT block.
[0061]
FIG. 7 is a diagram for explaining how the scrambled watermark data X ′ is embedded in the block V of the host data S subjected to discrete cosine transform. As shown in the figure, in the discrete cosine transform used in JPEG, the spatial region of the host data S is divided into blocks V each consisting of 8 pixels vertically and horizontally, and each block V is converted into a spatial frequency component. Watermark bit string x of watermark data X 'scrambled to each block V after orthogonal transformation^kIs embedded.
[0062]
FIG. 8 shows a watermark bit x with 2m DCT coefficients in block V, which is a DCT block of 8 × 8 size.^k _iShows the state of embedded. Each subset v⁺ _i, V⁻ _iEach of the m DCT coefficients selected as is selected based on the secret key K. In this way, a 1-bit watermark is embedded in one block V. By repeating this process n times, n-bit watermark data is embedded in 2 nm DCT coefficients in the block V.
[0063]
When the orthogonal transform unit 14 transforms the host data S by the discrete wavelet transform, the block V is a subband generated by the discrete wavelet transform, and each subset v of the sample set⁺ _i, V⁻ _iM sample data are m wavelet transform coefficients included in one subband.
[0064]
FIG. 9 is a diagram for explaining each subband of the host data S subjected to discrete wavelet transform. As shown in the figure, the host data S is divided into four frequency subbands by discrete wavelet transform. These subbands include LL subbands having low frequency components in both vertical and horizontal directions, HL and LH subbands having low frequency components in any one of vertical and horizontal directions, and high frequency components in the other direction. This is an HH subband having a high frequency component in both vertical and horizontal directions. The number of vertical and horizontal pixels in each subband is ½ of the host data S before processing, and subband data having a size of ¼ can be obtained by one filtering.
[0065]
Of the subbands obtained in this way, the filtering process by the discrete wavelet transform is again performed on the LL subband, and further divided into four subbands of LL, HL, LH, and HH. This filtering is performed a predetermined number of times, and the LL subband generated by the last filtering becomes data closest to the DC component of the host data V.
[0066]
In the example of the figure, the discrete wavelet transform is performed three times on the host data S, and the HL subband HL of the first layer is applied.₁, LH subband LH₁And HH subband HH₁, HL subband HL of the second layer₂, LH subband LH₂And HH subband HH₂, LL subband LL of the third layer₃, HL subband HL₃, LH subband LH₃, And HH subband HH₃In this order, compression encoding is performed. The watermark embedding processing unit 38 embeds the watermark data X ′ using each of these subbands as an embedded block of the watermark data X ′. Each subset v⁺ _i, V⁻ _iEach of the m wavelet transform coefficients selected as is selected from each subband based on the secret key K.
[0067]
Returning to FIG. 10, the SNR calculation unit 28 selects L types of embedded block candidates W.^kWatermark data x^kResistance, i.e., the embedding strength, is evaluated (S16), and the selector 30 selects the embedding block candidate W that maximizes the embedding strength.^kIs selected as the final embedded block W (S18).
[0068]
Before giving an embedding strength evaluation formula, how the watermark data X ′ is detected when the embedding block W is deformed by signal processing, image processing, or the like will be considered. The deformation applied to the embedded block W is treated as noise N. A method of extracting the watermark data X ′ from the noise-embedded embedded block W ′ will be described. A pair of sets of embedded blocks (W '⁺, W ’⁻) Is defined as follows. Set of embedding blocks W ′⁺, W ’⁻Each has n elements as follows.
[0069]
W ’⁺= {W ’⁺ ₀, W ’⁺ ₁, ..., w '⁺ _n-1}
W ’⁻= {W ’⁻ ₀, W ’⁻ ₁, ..., w '⁻ _n-1}
Here, a set W ′ of embedded blocks⁺, W ’⁻Each subset w ′ that is an element of⁺ _i, W ’⁻ _iCorresponds to the embedding position of the digital watermark, and consists of m sample data of the embedding block W ′ as follows.
w ’⁺ _i= {W ’⁺ _{i, 0}, W ’⁺ _{i, 1}, ..., w '⁺ _{i, m-1}}
w ’⁻ _i= {W ’⁻ _{i, 0}, W ’⁻ _{i, 1}, ..., w '⁻ _{i, m-1}}
[0070]
Watermark bit x^k _iTo detect the following detection value z_iCalculate
z_i= Σ_{j = 0} ^m-1(W ’⁺ _{i, j}-W ’⁻ _{i, j})
= Σ_{j = 0} ^m-1[(W⁺ _{i, j}+ N⁺ _{i, j})-(W⁻ _{i, j}+ N⁻ _{i, j}]]
= Σ_{j = 0} ^m-1[(V⁺ _{i, j}-V⁻ _{i, j}) + (Α⁺ _{i, j}+ Α⁻ _{i, j}) X^k _i+ (N⁺ _{i, j}-N⁻ _{i, j}]]
Where Σ_{j = 0} ^m-1(V⁺ _{i, j}-V⁻ _{i, j}) Generally follows a Gaussian distribution and approaches 0 when m is sufficiently large. The noise term Σ_{j = 0} ^m-1(N⁺ _{i, j}-N⁻ _{i, j}) Approaches 0 in the same manner. Therefore, z_iIs Σ_{j = 0} ^m-1[(Α⁺ _{i, j}+ Α⁻ _{i, j}) X^k _i]. (Α⁺ _{i, j}+ Α⁻ _{i, j}) Is positive, so the watermark bit x^k _iZ is 1_iIs positive and the watermark bit x^k _iZ if -1_iIs negative. Therefore z_iWatermark bit x^k _iCan be determined.
[0071]
The embedding strength is evaluated by regarding the block V of the host data S as noise with respect to the watermark data X, and the embedded watermark data x^kIs performed by calculating the variance of the detected watermark data. It can be considered that the smaller the variance, the stronger the tolerance. Embedded block candidate pairs (W^{+ K}, W^-K) To evaluate the signal-to-noise ratio according to the following equation and select an optimal candidate K.
[0072]
K = argmax_k(P_k/ Σ_k ²)
P_k= Σ_{i = 0} ^n-1｜ Σ_{j = 0} ^m-1(W^{+ K} _{i, j}-W^-K _{i, j}) ｜²/ N
σ_k ²= Σ_{i = 0} ^n-1｜ Σ_{j = 0} ^m-1(W^{+ K} _{i, j}-W^-K _{i, j}-P_k ^1/2・ X^k _i｜²/ N
[0073]
Watermark bit x^k _iDetection value z for determining whether {1} is {1, -1}_iIs z before the noise is added to the embedded block W._i= Σ_{j = 0} ^m-1(W^{+ K} _{i, j}-W^-K _{i, j}), The variance σ_k ²Is the detected value z for the watermark bits_iAnd the average value P of the watermark bits actually embedded_k ^1/2・ X^k _iIt can be said that the square of the difference is evaluated and averaged for i = 0,..., N−1. However, P_kIs the detected value z_iOf squares of i = 0,..., N−1, indicating the average power of the embedded watermark. Therefore, the embedded watermark data x^kAnd Euclidean distance between the extracted watermark data and the extracted watermark data are smaller and the absolute value of the detected value for detecting the watermark bit is larger._k/ Σ_k ²The value of increases. In other words, P_k/ Σ_k ²Selecting a candidate that maximizes the value means selecting a candidate having the smallest watermark bit detection error.
[0074]
Detection value z_iV⁺ _{i, j}> V⁻ _{i, j}And x^k _i= 1 if z_i>> 0 and v⁺ _{i, j}<V⁻ _{i, j}And x^k _i== z if -1_i<< 0. Therefore, the optimum watermark data x is evaluated according to the above evaluation.^kSelecting a candidate for the detected value z_iWatermark bit x by^k _iIn order to improve the detection performance of⁺ _{i, j}> V⁻ _{i, j}Then x ’_i= 1, v⁺ _{i, j}<V⁻ _{i, j}Then x ’_i= Original watermark bit x such that = 1_iX ’_iMeans to change. This is the GS method guiding rule._iResponse is improved.
[0075]
The SNR calculation unit 28 may take into account a quantization error at the time of compression encoding when evaluating the tolerance of the watermark data X for L types of embedded block W candidates. Specifically, when evaluating the embedding strength by the variance between the embedded watermark data and the detected watermark data, the following weighted variance considering the quantization error with respect to the embedded host data W is used.
[0076]
K = argmax_k(P_k/ Σ_k ²)
P_k= Σ_{i = 0} ^n-1｜ Σ_{j = 0} ^m-1(W^{* + K} _{i, j}-W^{* -K} _{i, j}) ｜²/ N
σ_k ²= Σ_{i = 0} ^n-1｜ Σ_{j = 0} ^m-1(W^{* + K} _{i, j}-W^{* -K} _{i, j}-P_k ^1/2・ X^k _i｜²/ N
Where w^{* + K} _{i, j}, W^{* -K} _{i, j}Is embedded host data W after quantization. For example, when JPEG2000 compression encoding is performed, w^{* + K} _{i, j}, W^{* -K} _{i, j}Can be calculated using the JPEG2000 quantization method as follows.
[0077]
Based on the JPEG2000 standard “ISO / IEC 15444-1: JPEG 2000 image coding system, JPEG 2000 final committee draft, 18 August 2000”, the JPEG 2000 quantization method will be briefly described. The wavelet transform coefficient before quantization in subband b is expressed as a_b(U, v), the wavelet transform coefficient after quantization in subband b is q_bAssuming that (u, v), in JPEG 2000, the wavelet transform coefficient is quantized using the following quantization formula.
[0078]
q_b(U, v) = sign (a_b(U, v)) ・ [| a_b(U, v) | / Δb]
Here, [x] represents the maximum integer not exceeding x. Δb is the quantization step in subband b and is given by:
Δb = 2 ^ (R_b−ε_b) ・ (1 + μ_b/ 2¹¹)
Where R_bIs the dynamic range in subband b, ε_bIs the quantization index in subband b, μ_bIs the mantissa of quantization in subband b.
[0079]
Thus, in JPEG2000, wavelet transform coefficients belonging to the same subband are divided by the same quantization step and rounded to an integer value. Since the watermark data X embedded in the block V needs to be resistant to such a quantization operation, the value of the embedded block W after being quantized by JPEG2000 is calculated, and as described above, The resistance of the watermark data is evaluated for the calculated embedded block W. Since the watermark embedding processing unit 38 performs watermark embedding processing in synchronization with the compression encoding performed by the encoding processing unit 10, the watermark embedding processing unit 38 can appropriately refer to the quantization parameter used in the encoding processing unit 10.
[0080]
FIG. 11 is a flowchart for explaining a digital watermark extraction procedure performed by the watermark extraction processing unit 40 of the decoding device 200. Upon receiving the noise-embedded embedded block W ′, the extraction unit 42 of the watermark extraction processing unit 40 detects the detected value z when the ECC decoding unit 44 is configured with a hard input decoder._iIs calculated as follows, and the detected value z_iWhether the watermark bit x ′ is {−1, 1} or not is determined to obtain watermark data X ′ (S30). When the ECC decoding unit 44 is composed of a soft input decoder, the detected value z_iIs sent to the ECC decoding unit 44 as it is without making a hard decision to {-1, 1}.
[0081]
z_i= Σ_{j = 0} ^m-1(W ’⁺ _{i, j}-W ’⁻ _{i, j})
= Σ_{j = 0} ^m-1[(W⁺ _{i, j}+ N⁺ _{i, j})-(W⁻ _{i, j}+ N⁻ _{i, j}]]
= Σ_{j = 0} ^m-1[(V⁺ _{i, j}-V⁻ _{i, j}) + (Α⁺ _{i, j}+ Α⁻ _{i, j}) ・ X ’_i+ (N⁺ _{i, j}-N⁻ _{i, j}]]
[0082]
The extracted watermark data X 'is further subjected to error correction by the ECC decoder 44, descrambled by the descrambler 46, and the original watermark data X is obtained (S32).
[0083]
The majority decision determining unit 50 identifies the embedded watermark by making a majority decision on the plurality of watermark data X obtained from the plurality of embedded blocks W '(S34). The majority decision unit 50 determines that the watermark is not embedded when the number of embedded blocks W ′ from which the same watermark data X as the watermark specified by the majority decision is extracted is smaller than a predetermined threshold (N in S36). (S38). If the number of embedded blocks W ′ from which the specified watermark is extracted is equal to or greater than a predetermined threshold (Y in S36), the possibility of falsification of the embedded block W ′ from which the watermark data X different from the specified watermark is extracted There is a warning (S40).
[0084]
As described above, according to the embodiment, in order to embed a watermark in synchronization with the compression encoding process of the host data S, the compression encoding is performed using a small-capacity memory used for the compression encoding. At the same time, watermarks can be embedded. Similarly, the watermark can be extracted in synchronization with the decoding of the watermarked encoded host data T.
[0085]
Also, by using the GS method, when media data such as an image or sound for embedding a digital watermark is given, the watermark bit sequence can be embedded after being converted into a bit sequence that can be easily embedded in the media data. Therefore, it is possible to enhance the digital watermark resistance against signal processing, geometric transformation, compression, data tampering, and the like, and the watermark detection accuracy is greatly improved.
[0086]
Further, since substantially the same watermark is redundantly embedded in the plurality of blocks V, the watermark resistance can be further enhanced. Also, depending on the data characteristics of the block V, it may be difficult to embed a watermark, but by embedding a plurality of blocks V, it is possible to embed a watermark with enhanced resistance to a block that is relatively easy to embed, Through the majority decision at the time of watermark extraction, the watermark detection accuracy can be improved as a whole. Furthermore, the presence of tampering can be checked in block units by majority decision.
[0087]
Embodiment 2
FIG. 12 is a configuration diagram of encoding apparatus 100 according to Embodiment 2. This embodiment is different from the first embodiment in that error correction coding is performed before watermark embedding by GS coding. In the following, the same reference numerals are given to configurations common to the first embodiment, description thereof is omitted, and configurations and operations different from the first embodiment will be described.
[0088]
The watermark embedding processing unit 38 according to the present embodiment embeds an (n−r) -bit watermark sequence independently in each of the N blocks V on which compression encoding is performed, and (n−r) of each block V An error occurs such that a bit sequence of (n−r) × N bits obtained by concatenating a watermark sequence of bits across all the blocks V forms one codeword that is error-correction coded at a coding rate K / N. Perform correction encoding. As an example of such an error correction code using the entire N blocks V, a block code (hereinafter referred to as a block ECC) such as a Reed-Solomon code or a BCH code is used. By this error correction encoding process, redundant data is embedded in some blocks V among the plurality of blocks V subjected to compression encoding.
[0089]
The block ECC unit 33 encodes the information bits D of the watermark data X generated by the encryption unit 32 using a block error correction code described later, and outputs redundant bits P. The selector 35 receives the input of the information bit D of the watermark data X from the encryption unit 32 and the input of the redundant bit P of the watermark data X from the block ECC unit 33, and is currently performing the encoding process input from the block division unit 12. Based on the block number of the block V, either the information bit D or the redundant bit P is selected and given to the changing unit 34. The information bit D or the redundant bit P is GS-encoded by the changing unit 34 and the embedding unit 36 and embedded as a watermark in the block V currently being encoded.
[0090]
FIG. 13 is a diagram for explaining a block error correction code. The N blocks V of the host data S are divided into K information sequence embedding blocks 110 and (N−K) parity sequence embedding blocks 120. The information bits D of the (n−r) -bit watermark data X generated by the encryption unit 32 are embedded in each of the K information series embedding blocks 110. When the entire (n−r) × K-bit information sequence embedded in the K information sequence embedding blocks 110 is subjected to error correction coding at a coding rate of K / N, the total (n−r) × (N -K) A parity sequence of bits is obtained. By dividing this parity sequence by (n−r) bits, (n−r) redundant bits P are obtained. This redundant bit P is embedded in each of the remaining (N−K) parity sequence embedding blocks 120.
[0091]
Since the number of redundant bits P embedded in one block V is the same as the number of information bits D, it is not particularly distinguished whether it is redundant bits P or information bits D, and the block V of the host data S is not distinguished. Can be embedded as a watermark. Referring to FIG. 12 again, when the block V currently being encoded is the information sequence embedding block 110, the selector 35 selects the information bit D, and the block V currently being encoded is embedded in the parity sequence. In the case of the block 120, the redundant bit P is selected. The information bits D or redundant bits P of (n−r) bits are scrambled after an r-bit redundant word is added by the changing unit 34 and embedded in the block V by the embedding unit 36.
[0092]
FIG. 14 is a configuration diagram of the decoding device 200 according to the second embodiment. Unlike the decoding device 200 according to the first embodiment, the watermark extraction processing unit 40 further includes a block ECC decoding unit 49. The watermark data X descrambled by the descrambler 46 is the information bit D when the embedded block W ′ currently being decoded corresponds to the information sequence embedding block 110 described with reference to FIG. In the case of corresponding to the block 120, the redundant bit P is used. The block ECC decoding unit 49 generates an information sequence composed of information bits D extracted from the K information sequence embedding blocks 110 from the redundant bits P extracted from the (NK) parity sequence embedding blocks 120. An error correction is performed using the parity sequence. As a result, K pieces of watermark data X subjected to error correction decoding are obtained from the K pieces of information series embedding blocks 110.
[0093]
The encryption / decryption unit 48 generates watermark information I by decoding the encryption of the watermark data X that has been subjected to error correction decoding. The majority decision determination unit 50 makes a majority decision on the K pieces of watermark information I obtained from the K pieces of information series embedding blocks 110. In this embodiment, since (N−K) parity sequence embedding blocks 120 are used for embedding parity sequences, it is noted that the watermark information I cannot be obtained from these blocks. However, it is possible to use the decoded parity sequence for majority decision. In this case, the comparison result between the parity sequence output from the block ECC unit 33 of the watermark embedding processing unit 38 in FIG. 12 and the decoded parity sequence is used for majority decision. For this purpose, it is necessary that the watermark extraction processing unit 40 further includes the same functional configuration as that of the encryption unit 32 and the block ECC unit 33 of FIG.
[0094]
In the first embodiment, error correction coding is performed by the ECC unit 24 in FIG. 2 at the stage of scrambling the watermark data X. However, in the case of performing block error correction coding as in the present embodiment. The error correction coding by the ECC unit 24 at the scramble stage may be omitted.
[0095]
As in the ECC unit 24 of the first embodiment, the error correction coding method is independent for each block, such as a block including monotonous data that is difficult to embed a watermark or a block that has been subjected to a strong attack. If there are blocks containing large noise, error correction may not work sufficiently. In this embodiment, since error correction coding is performed jointly with other blocks, even if an error occurs in any block, if the number of errors is within the correction capability, with the help of the other blocks. Thus, the error correction capability is improved by increasing the code length by N times.
[0096]
Embodiment 3
FIG. 15 is a configuration diagram of encoding apparatus 100 according to Embodiment 3. In the present embodiment, the point that the entire block is used as a unit for error correction coding is the same as in Embodiment 2, but the error correction coding method used is different. Hereinafter, configurations common to the second embodiment are denoted by the same reference numerals, description thereof is omitted, and configurations and operations different from those of the second embodiment are described.
[0097]
The watermark embedding processing unit 38 according to the present embodiment embeds an (n−r) -bit watermark sequence independently in each of the N blocks V on which compression encoding is performed, and (n−r) of each block V An error occurs such that a bit sequence of (n−r) × N bits obtained by concatenating a watermark sequence of bits across all the blocks V forms one codeword that is error-correction coded at a coding rate K / N. Perform correction encoding. A convolutional code is used as an example of such an error correction code that uses the entire N blocks V. In place of the convolutional code, it is also possible to use a coding method having higher error correction capability such as a turbo code.
[0098]
The convolutional encoding unit 37 receives the watermark data X generated by the encryption unit 32, sequentially encodes the bit sequence of the watermark data X using a systematic convolutional code, and alternately outputs information bits and parity bits. To the change unit 34. The changing unit 34 and the embedding unit 36 GS-encode (n−r) × K / N bits of information D and (n−r) × (1−K / N) redundant bits P, It is embedded as an n-bit watermark in the block V being encoded.
[0099]
FIG. 16 is a diagram for explaining the convolutional coding of the entire block. Each of the N blocks V of the host data S is composed of (n−r) * K / N information bits D and (n−r) * (1−K / N) redundant bits P. When the watermark bits of (n−r) bits are embedded after GS encoding and viewed as a whole block, an information sequence of (n−r) × K bits and (n−r) × (N−K) bits A watermark sequence composed of redundant sequences is embedded after GS encoding. Therefore, when viewed from the (n−r) -bit watermark sequence embedded in the entire host data S, one codeword subjected to error correction coding at the coding rate K / N is formed.
[0100]
The convolutional encoding unit 37 may perform error correction encoding on the bit sequence of the watermark data X using an unorganized convolutional code. In the case of a non-systematic convolutional code, two types of encoded bits are alternately generated without distinguishing between information bits and parity bits, and an encoded sequence of (n−r) bits is embedded in each block V.
[0101]
FIG. 17 is a configuration diagram of the decoding apparatus 200 according to Embodiment 3. A convolutional code decoding unit 51 is used instead of the block ECC decoding unit 49 of the decoding apparatus 200 according to the second embodiment. In the case of the systematic convolutional code, the watermark data X extracted from the embedded block W ′ currently being decoded includes information bits D and redundant bits P, respectively. The convolutional code decoding unit 51 treats the information sequence and the parity sequence extracted from the N embedded blocks W ′ as one code word, and performs error correction on the entire N embedded blocks W ′. In the case of an unstructured convolutional code, there is no distinction between information bits and parity bits, and error correction is performed on a coded sequence extracted from all N embedded blocks W ′.
[0102]
The present invention has been described based on the embodiments. Those skilled in the art will understand that these embodiments are exemplifications, and that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are also within the scope of the present invention. By the way.
[0103]
In the above description, the substantially same watermark is embedded in all the blocks V when the host data S is divided into blocks. However, the same watermark is embedded in a plurality of blocks in order to enhance the resistance of the watermark. Therefore, although the tolerance is weakened, a watermark may be embedded only in some blocks or only one block. Further, one digital watermark may be divided into several parts and distributed and embedded in a plurality of blocks V of the host data S. In either case, the watermark can be embedded and extracted in units of blocks in synchronization with the compression encoding and decoding processes, and the effect of improving the processing efficiency remains unchanged. In addition, by such processing, a plurality of types of watermarks can be embedded.
[0104]
In the second and third embodiments, one error correction codeword is formed using a watermark embedded in all blocks, but the length of this error correction codeword is set to 1 / h. Thus, a watermark to be embedded in all blocks may be configured with h error correction codewords and embedded in all blocks. However, the error correction capability decreases as h increases.
[0105]
In the above description, the block V as a watermark embedding target is assumed to be a block as a unit of orthogonal transform processing, and a DCT block or a subband of discrete wavelet transform is treated as a block V. However, the gist of the present invention is compression Since a block as an encoding processing unit is a watermark embedding target, for example, when an image is divided into regions of a predetermined size and the divided image is buffered and compressed and encoded, such division is performed. The image may be handled as a block V to be watermark embedded. In addition, in JPEG2000, which is a standard for still image compression, a technique called tiling may be used in which an image is divided into small areas called tiles and wavelet transform is performed on each tile. The tile may be treated as a block V. Therefore, in these cases, the block V may include a plurality of DCT blocks or a plurality of subbands of the discrete wavelet transform. In any case, by setting the processing unit of compression coding as a watermark embedding target, watermark embedding and extraction are performed in synchronization with the compression coding and decoding processes, thereby reducing the required memory and processing time. Is shortened.
[0106]
In the above description, the digital watermark data is embedded in the block before quantization. However, the digital watermark data may be embedded in the quantized block. In that case, however, the compression rate is lowered by embedding the watermark.
[0107]
In the above description, in order to generate a plurality of watermark data candidates or embedding position candidates, the GS method capable of generating a variety of candidates is used. However, other scramble methods can be applied. Alternatively, candidate data may be randomly generated by some method. In the embodiment, the original watermark data is reproduced from the generated watermark data candidates by descrambling. , The original watermark data may be obtained.
[0108]
The identification data used as the initial data at the time of scrambling was inserted at the beginning of the watermark data and provided to the decoding side, but this identification data is not embedded in the watermark but is held as a secret key on the encoding side. , You may manage. In that case, the decryption side acquires the secret key and then descrambles the watermark data.
[0109]
In the above description, as shown in FIG. 2, L multiplexers 20, scramblers 22, ECC units 24, embedding units 26, and SNR calculation units are used to generate L types of watermark data candidates. 28 are provided in parallel, but these members may be configured in a single configuration, and L types of watermark data candidates may be sequentially generated and evaluated to select the optimal candidate.
[0110]
【The invention's effect】
According to the present invention, it is possible to improve the efficiency of watermark embedding and extraction, and improve watermark tolerance and detection accuracy.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of an encoding apparatus according to Embodiment 1. FIG.
FIG. 2 is a functional configuration diagram of a changing unit and an embedding unit in FIG. 1;
3 is a configuration diagram of a decoding apparatus according to Embodiment 1. FIG.
FIG. 4 is a diagram illustrating a relationship between original watermark data and L types of scrambled watermark data.
FIG. 5 is a diagram illustrating a convolution operation at the time of encoding.
FIG. 6 is a diagram illustrating a convolution operation at the time of decoding.
FIG. 7 is a diagram illustrating a state in which watermark data is embedded in a block of host data that has been subjected to discrete cosine transform.
FIG. 8 is a diagram illustrating a state in which watermark bits are embedded in the block of FIG.
FIG. 9 is a diagram for explaining a subband of host data subjected to discrete wavelet transform;
FIG. 10 is a flowchart for explaining a digital watermark embedding procedure according to the first embodiment;
FIG. 11 is a flowchart for explaining a digital watermark extraction procedure according to the first embodiment;
12 is a configuration diagram of an encoding apparatus according to Embodiment 2. FIG.
FIG. 13 is a diagram for explaining block error correction according to the second embodiment.
14 is a block diagram of a decoding apparatus according to Embodiment 2. FIG.
15 is a configuration diagram of an encoding apparatus according to Embodiment 3. FIG.
FIG. 16 is a diagram for explaining convolutional codes for the entire block according to Embodiment 3;
FIG. 17 is a configuration diagram of a decoding apparatus according to Embodiment 3.
[Explanation of symbols]
10 coding processing unit, 12 block division unit, 14 orthogonal transform unit, 16 quantization unit, 18 variable length coding unit, 20 multiplexer, 22 scrambler, 24 ECC unit, 26 embedding unit, 28 SNR calculation unit, 32 cipher Conversion unit, 33 block ECC unit, 34 changing unit, 36 embedding unit, 37 convolutional encoding unit, 38 watermark embedding processing unit, 40 watermark extraction processing unit, 42 extraction unit, 44 ECC decoding unit, 46 descrambler, 48 encryption decoding Unit, 49 block ECC decoding unit, 50 majority decision determination unit, 51 convolutional code decoding unit, 60 decoding processing unit, 62 variable length code decoding unit, 64 block division unit, 66 inverse quantization unit, 68 inverse orthogonal transform unit, 100 code 200 decoding apparatus.

Claims

An encoding processing unit that compresses and encodes host data in units of blocks;
And compression coding of host data and synchronization, and a watermark embedding processing unit embeds the child watermark data collector into a plurality of blocks made of compression coding,
The watermark embedding processing unit
A scramble unit that scrambles the watermark data to generate a plurality of watermark data candidates;
An embedding unit that embeds each of the plurality of watermark data candidates in the block and generates a plurality of embedded block candidates;
For each of the plurality of embedded block candidates, an evaluation unit that evaluates the resistance of the digital watermark;
And a selection unit that selects one of the plurality of embedded block candidates based on the tolerance evaluation value.

The encoding apparatus according to claim 1 , wherein the evaluation unit evaluates the tolerance based on an S / N ratio calculated when the host data is regarded as noise with respect to the watermark data.

The evaluation unit, the encoding apparatus according to claim 1 or 2 in consideration of the quantization error in compression encoding of the embedded blocks and evaluating the resistance.

The embedding unit performs error correction coding so that a data sequence obtained by concatenating the watermark data embedded in the plurality of blocks across blocks constitutes one codeword in which error correction coding is performed, The encoding apparatus according to claim 1 , wherein the watermark data is embedded in units of blocks.

The embedding unit embeds a parity sequence when an information sequence of the watermark data embedded in the plurality of blocks is subjected to error correction coding as a digital watermark in a part of the plurality of blocks. The encoding device according to claim 1 .

The watermark embedding processing unit converts an information sequence composed of information bits of the watermark data to be embedded in K blocks out of N blocks subjected to compression encoding, and performs error correction with a coding rate of K / N A block error correction encoding unit that generates a parity sequence composed of redundant bits having the same bit length as the information bits, which is to be error correction encoded using a code, and to be embedded in the remaining (N−K) blocks The encoding apparatus according to claim 5 , wherein:

A decoding processor that decodes encoded host data in units of blocks;
In synchronism with the decoding of the encoded host data, and a watermark extracting unit for extracting child watermark data collector from a plurality of blocks made of decoding,
The watermark extraction processing unit
An extractor for extracting scrambled watermark data from each of a plurality of blocks to be decoded;
A descrambling unit for descrambling the scrambled watermark data;
A decoding apparatus comprising: a determination unit that identifies embedded watermark data by performing a majority decision on the plurality of watermark data extracted from the plurality of blocks.

8. The decoding apparatus according to claim 7 , wherein the determination unit outputs a warning that there is a possibility of falsification of a block in which watermark data different from the watermark data specified by the majority determination is extracted. .

The extraction unit extracts a parity sequence for error correction of an information sequence of the watermark data extracted from the plurality of blocks as a digital watermark from a part of the plurality of blocks. The decoding device according to claim 7 .

The watermark extraction processing unit extracts, from the remaining (N−K) blocks, an information sequence including information bits of the watermark data extracted from K blocks among N blocks to be decoded. The decoding apparatus according to claim 9 , further comprising a block error correction decoding unit configured to perform error correction using a parity sequence including redundant bits having the same bit length as the information bits.

Synchronizing with the compression encoding of the host data, embedding a plurality of digital watermark data candidates generated by scrambling into a block subjected to compression encoding, and generating a plurality of embedded block candidates;
Evaluating the embedded digital watermark resistance for each of the plurality of embedded block candidates;
A computer program causing a computer to execute a step of finally selecting one of the plurality of embedded block candidates as a block in which a digital watermark is embedded based on the evaluation value of the tolerance.

Extracting scrambled watermark data from each of a plurality of blocks to be decoded in synchronization with decoding of the encoded host data;
Descrambling the scrambled watermark data; and
A computer program for causing a computer to execute majority determination of a plurality of the watermark data extracted from the plurality of blocks and to specify embedded watermark data.