JP4945541B2 - 劣化ホスト信号利用の電子透かし埋め込み検出方法 - Google Patents

Description

本発明は，デジタルコンテンツに任意の情報を埋め込み，または，検出する電子透かし技術に関し，特に，検出性能を向上させる技術に関する。

近年，インターネット上では，動画投稿サイトが人気を集め，個人が創作した動画を共有することによって，新しいコミュニティができつつある。その一方で，動画投稿サイトには，著作権違反の不正コピーや，個人のプライバシーを侵害する盗撮動画等が投稿されることがあり，社会問題化している。不正な投稿により被害が生じても，多くの動画投稿サイトでは，投稿者の匿名性が高く，損害賠償などの被害回復につなぐことが難しい。さらに，いったん共有された動画データは，さらに別のコミュニティでも共有されうるため，被害拡大防止も困難な状況にある。

不正に利用されうるコンテンツの著作権保護や身元確認が可能な技術の一つとして，電子透かし技術が期待されている。電子透かし技術は，コンテンツを微小に変更することによって，見た目に分からないように識別情報など任意の情報をコンテンツの中に埋め込み，検出する技術である。埋め込んだ情報は，フォーマット変換などの処理を経た後からでも，検出できるため，不正に投稿された動画の著作権主張，流通経路追跡などに応用できる。

電子透かし技術は，コンテンツの冗長部分を利用して，情報を埋め込む技術である。しかしながら，動画投稿サイトへの投稿時には，画格の縮小処理や，高い圧縮率での再圧縮符号化処理などの複合的な画像処理を伴う。これらの処理は，いずれも画像の冗長部分を非可逆に圧縮符号化することにより，データ量を削減しようとするため，冗長部分に埋め込まれた情報も，画像処理を経るたびに削られていくこととなる。

コンテンツ流通過程で受けるコンテンツに対する操作は，電子透かしを意図的に除去しようとするものもあれば，別の意図に基づいてコンテンツ操作がなされ，結果的に電子透かしが除去される場合もある。本明細書では，これら，利用者の意図に関わらず，透かし入りコンテンツに対する操作を，電子透かしに対する攻撃と総称する。電子透かしは，攻撃に対して耐性を持たなければならない。このため，縮小や圧縮符号化などの処理に対して耐性をもつ電子透かし技術が提案されているものの，すべての攻撃に対して１００％有効な技術は，いまだ提案されていない。特に，不正ユーザの手によって，何の処理が加えられるかがわからず，電子透かしの検出が困難化しがちである。このため，コンテンツの種別を問わず，画像，音，文書データなどの信号全般について，電子透かしの検出高性能化が強く求められている。

動画，静止画，音など，電子透かしを埋め込む対象となる信号のオリジナルデータを，電子透かしで埋め込む情報が寄生する宿主の意味で，ホストデータあるいはホスト信号と呼ぶ。これに対して，電子透かし埋め込み後の信号を透かし信号と呼ぶ。電子透かし技術においては，埋め込みと検出が一体化しており，ホスト信号に対して電子透かしを強く埋め込めば，検出が容易化する。しかし，強すぎる電子透かしは，ホスト信号のノイズとして知覚されやすくなるため，利用者サービスの質を低下させるため，実用上，あまり強い信号が使えない。

電子透かしの検出には，ホスト信号を用いる技術と，ホスト信号を必要とせず，検査対象信号単体から検出可能な技術がある。より多くの情報を活用できる点で，前者が優れた潜在能力をもつ。しかし，従来技術では，その潜在能力を活用する具体的な方法が開示されていなかった。電子透かしの検出に係わる技術として，例えば，特許文献１，特許文献２がある。

特許文献１は，「抽出処理において，上記検査対象画像を，上記原画像と同縮尺のサイズに幾何変換し，上記原画像を各々劣化させた複数種類の劣化原画像を作成し，幾何変換した検査対象画像と複数種類の劣化原画像の各々との間の差分をとった複数の差分画像を作成し，複数の差分画像の各々から，上記認証用情報に相当する情報を抽出することを特徴とした電子透かし画像の認証方法（段落００１１）」を提供する。

特許文献２は，「ファジィ理論を利用して，例えば活字体に対する手書き文字のように基本パターンから変形されたパターンについても的確に認識する機能を備えたファジィパターン認識装置」に関する。この認識装置は，「ノイズ成分の多い入力パターンに対し，ノイズ成分の影響を少なくして理想的形状に近い成分をより強く評価する（段落００１１）」ことを開示している。

特開２０００−７６４１８号公報 特開平５−２９０１７０号公報

特許文献１では，圧縮符号化などの複雑な攻撃への対策や原理が具体的に開示されていない。また，複雑な攻撃に対して適切に対応した透かし埋め込み方法が開示されていない。

特許文献２を電子透かし検出に当てはめる具体的手段が開示されていない。また，ホスト信号に対して，ノイズと電子透かし情報の２種類が加わったものが透かし信号であり，ホスト信号の信号強度と比べると，ノイズと電子透かし情報の信号強度はいずれも小さい。このため，特許文献２では，ノイズと電子透かしの区別がつかない。従って，これを特許文献１と組み合わせても，電子透かし検出に寄与しない。

信号劣化とは，ある信号処理後に入力信号にノイズが加わることをいう。また，ホスト信号に対して，ある信号処理を加えた時に生じるノイズを，ここではΔ（デルタ）と呼ぶ。劣化ホスト信号とは，Δ（デルタ）をホスト信号に加えた状態となるように，模擬的に作成する信号である。劣化ホスト信号の作成方法の代表例は，ホスト信号にΔ（デルタ）が生じるような信号処理を加え，出力信号を得ることである。

電子透かしによる情報の埋め込み処理も，上記定義における信号劣化のひとつである。情報埋め込み処理によって，生じたノイズの中に，埋め込まれた情報が表現される。ホスト信号に，電子透かしによる情報埋め込み処理に加えて，他の信号処理が施される場合，複合的なノイズとなって，電子透かしによって生じたノイズとの区別，すなわち，電子透かし検出が困難化する。また，生じたノイズから，どのような信号処理が施されたかを特定することは難しい。

本発明は，情報を埋め込む対象である原ホスト信号に電子透かし技術を用いて情報が埋め込まれた透かし入りホスト信号に対して，圧縮符号化など更なる信号処理が施された透かし入りホスト信号からでさえ，埋め込まれた情報を検出可能な，従来の電子透かし技術と互換性を備える電子透かし情報の検出方法を提供する。

本明細書において開示される発明のうち，信号の例として画像コンテンツを取り上げて，代表的なものの概要を簡単に説明すれば，次のとおりである。

コンテンツの冗長部分を越えて，強い信号をコンテンツに埋め込む（コンテンツの変更量を大きくする）ことにより，耐性性能を向上させることができるものの，品質劣化の問題が大きくなるため，多くの場合，電子透かしの信号は微弱なものを用いる（コンテンツの変更量を少なくする）。また，画像配布時には圧縮符号化した上で配布することが多いため，圧縮符号化で生じるノイズ程度の信号強度で用いられることが多い。

電子透かしを検出しようとする検査対象画像は，不正ユーザの未知の攻撃によって，原画像，あるいは原画像に対して電子透かしを埋め込んだ透かし入り画像と比べて，何らかの品質劣化を生じている。このため，検査対象画像には，電子透かし信号に生じるノイズδ１と，電子透かしの母体となるコンテンツ信号そのものに生じるノイズδ２とが生じる。コンテンツ信号に比べて電子透かし信号が微弱なため，ノイズδ１はさらに微弱なものと期待されるが，ノイズδ２は，再圧縮符号化ノイズなど，電子透かし信号にとって無視できない強い信号となりがちであり，電子透かし検出時に生じる誤差の主因の一つとなる。

本発明による劣化原画像利用の電子透かしシステムは，不正ユーザの攻撃による画像処理Ａを原画像を用いてシミュレーションし，電子透かし検出に不要な誤差を検出，削除することを特徴とする。

具体的には，原画像を利用して，未知の画像処理Ａの内容を適切に類推し，ノイズδ１，δ２を考慮した劣化原画像を作成する。これと検査対象画像との差分を作成し，電子透かし信号を強調することにより，電子透かし検出に利用する。

より具体的には，本発明は，情報を埋め込む対象である原ホスト信号に電子透かし技術を用いて情報が埋め込まれ，データ形式１に変換されて配信された透かし入りホスト信号に対して，透かし検出装置が，信号処理が施されたデータ形式２の透かし入りホスト信号から，埋め込まれた情報を検出する電子透かし情報の検出方法において，ホスト信号をデータ形式１に変換するためのエンコードＡのステップと，データ形式１に変換されたホスト信号を逆変換するためのデコードＡのステップと，逆変換されたホスト信号をデータ形式２に変換するためのエンコードＢのステップと，データ形式２に変換されたホスト信号を逆変換するためのデコードＢのステップと，エンコードＡステップと，エンコードＢステップとを制御するパラメータを設定するステップと，設定されたパラメータに基づいて，情報が埋め込まれていない原ホスト信号に，エンコードＡのステップ，デコードＡのステップ，エンコードＢのステップ，デコードＢのステップの処理を行った劣化ホスト信号を作成するステップと，情報が埋め込まれた，データ形式２の透かし入りホスト信号を入力として受け付け，デコード２ステップの処理により復号化した復号化透かし入りホスト信号を作成するステップと，劣化ホスト信号と，複合化透かし入りホスト信号との差分信号を作成するステップと，差分信号から，埋め込まれた情報を検出するステップと，を備えることを特徴とする。

さらに，エンコードＢステップを制御するパラメータを設定するステップは，データ形式１に変換された透かし入りホスト信号を読み取ることにより，パラメータの設定を行い，不明なパラメータがあれば高品質な出力を得る設定を行うステップを備えてもよい。

さらに，デコードＡのステップおよび／またはデコードＢのステップにより，複数のブロックから構成されている透かし入りホスト信号を復号化する際に，ブロックの圧縮符号化の処理内容に基づく信頼性マップを準備するステップと，信頼性マップに応じて電子透かしの検出時に，信頼性を高く設定したブロックを優先的に復号するステップと，を備えてもよい。

さらに，原ホスト信号に代えて，原ホスト信号に電子透かし技術を用いて情報が埋め込まれた，データ形式１に変換される前の透かし入りホスト信号から，劣化透かし入りホスト信号を作成するステップを備え，パラメータを設定するステップは，劣化透かし入りホスト信号とデータ形式２の透かし入りホスト信号との差分からエンコード２ステップのパラメータ設定内容を推定するステップを備えてもよい。

なお，上述の信頼性マップを準備するステップは，透かし入りホスト信号を構成するブロックについて，可逆変換を用いて圧縮符号化されているブロックの信頼性を，信頼性マップ上で高く設定し，信号の予測や他のブロックを参照することにより圧縮符号化されているブロックの信頼性を低く設定するステップを備えてもよいし，エンコードＡのステップにより圧縮符号化された透かし入りホスト信号を対象として，デコードＡのステップを利用して信頼性マップを作成するステップと，情報の埋め込み位置および／または強度を制御するよう，信頼性マップを，透かし入りホスト信号を作成する装置に出力するステップを備えてもよい。

さらに，原ホスト信号が動画像である場合，上記信頼性マップを準備するステップは，高品質な出力を得る設定として，全フレームをＭＰＥＧのＩフレームとして劣化ホスト信号を作成してもよい。

また，本発明の他の態様は，電子透かしを用いてホスト信号に情報を埋め込んだ透かし入りホスト信号をデータ形式１で配信し，データ形式１で配信された透かし入りホスト信号に対して信号処理が施されたデータ形式２の透かし入りホスト信号から，埋め込まれた情報を検出する電子透かし情報の検出方法において，透かし入りホスト信号に信号劣化処理を施すことによって劣化透かし入りホスト信号を作成するステップと，透かし入りホスト信号と劣化透かし入りホスト信号との差分信号を作成するステップと，差分信号から情報を検出するステップと，を備えることを特徴とする。

なお，電子透かし検出に用いるアルゴリズムとしては，元々，原画像なしに，検査対象画像単体からでも電子透かしを検出可能な技術を使うことが可能である。

さらに，同じ考え方を埋め込み時にも適用し，ノイズδ１，δ２を生じる部分の埋め込み強度を制御することにより，適切な強度，位置に電子透かしを埋め込む。

上記各態様によれば，圧縮符号化などの攻撃内容を適切に推定できた場合には電子透かし検出性能が向上する。また，攻撃内容の推定結果が最適でなくとも，近似的な推定により，電子透かし検出性能が向上する。

さらに，上記各態様によれば，従来の電子透かし埋め込み方法，従来の検出方法と互換性を保ちながら，変更なく利用できる。

さらに，上記各態様によれば，原画像を利用可能な場合に，本発明によって，検出性能が向上する。

さらに，上記各態様によって，従来の電子透かし技術と互換性を保ちながら，埋め込み後の画質劣化を低減させながら，耐性性能を向上できる。

上記各態様は，デジタルコンテンツの電子透かし埋め込み，検出システムおよびその応用用途に適用可能である。

従来の電子透かし技術と互換性を保ちながら検出性能を向上可能な，電子透かし埋め込み技術，検出技術を提供可能になる。

以下，本発明の実施の形態を図面に基づいて詳細に説明する。なお，実施の形態を説明するための全図において，同一の部材には原則として同一の符号を付し，その繰り返しの説明は省略する。

実施例１〜３は，動画像をホスト信号とし，特に，検出時に原画像を利用できる電子透かし埋め込み検出システムについて説明する。

なお，これらの実施形態で対象とするホスト信号も画像に限らず，音楽，文書など別種のデータを対象としてもよい。また，実施例１〜３では，信号を画像，ホスト信号を原画像，劣化ホスト信号を劣化原画像と，それぞれ言い替えて説明する。

図１に，本実施例における劣化原画像利用の電子透かしシステムを実現するシステム構成図を示す。本実施形態に係わる装置は，コンテンツ配布者が利用する透かし埋め込み装置１２０１とエンコード装置１２０２，画像処理装置１２０３，検査者が利用する透かし検出装置１２０４である。ただし，画像処理装置１２０３は，不正行為者が利用する場合は，劣化原画像利用の電子透かしシステムには含めない。

また，各装置は，図示していない，インターネットなどのネットワークで接続されていて，互いにデータを送受信できる。また，各装置は，可搬媒体を用いて，データをやり取りしてもよい。

上記各装置と，以下に説明する各装置における処理は，メモリ，ＣＰＵ，ディスク，入出力装置を備えた，パソコンなど一般的な情報処理装置上で，入出力や画像処理などを制御するプログラムを実行することにより具現化される各処理部が実行する。プログラムは予め，各装置の記憶装置に格納されていても良いし，必要なときに，入出力装置と各装置が利用可能な媒体を介して、他の装置から上記記憶装置に導入されてもよい。媒体とは、たとえば、入出力装置に着脱可能な記憶媒体、または通信媒体（すなわち，インターネットなどのネットワークまたはネットワークを伝搬する搬送波やディジタル信号）を指す。

また，透かし埋め込み装置１２０１とエンコード装置１２０２が同一の情報処理装置情に構成されてもよい。

図１のシステムにおける画像処理の概要を説明する。

［埋め込み］
透かし埋め込み装置１２０１は，原画像１０１に対して，情報１０３を電子透かしとして埋め込み，透かし入り画像１０４を作成する。この際に，透かし検出装置１２０４が作成した信頼性マップ情報１２０５を得ることができる場合は，これを，電子透かし埋め込み処理１０２時に利用して，電子透かしとして埋め込む。

［配布・流通］
エンコード装置１２０２は，透かし入り画像１０４の圧縮符号化を行い，透かし入り圧縮符号化画像１０７を作成する。

透かし入り圧縮符号化画像１０７は，作成された後に，配付され，不正流通，合法流通を問わず，画像処理装置１２０３によって何らかの画像処理を施されることによって，検査対象画像１０９に変化する。検査者装置を使う検査者が，通報を受けてネット上で発見するなどの方法によって，検査対象画像１０９を入手する。

［検出］
透かし検出装置１２０４は，検査対象画像１０９を入力として受け付け，電子透かしを検出することによって，情報１２４を抽出する。透かし検出装置１２０４が，原画像１０１を利用可能な場合には，劣化原画像１１９を生成することにより，検出性能を向上させることができる。

原画像１０１の代わりに透かし入り画像１０４を用いて，劣化原画像１１９作成と同様の処理によって劣化透かし入り画像を作成し，差分計算１２２の代わりに，検査対象画像との相関を求めて，情報１０３を色々変えながら繰り返し処理を行い，高い相関を示す情報１０３をもって，検出結果の情報１２４としてもよい。

透かし入り画像１０４の代わりに，透かし入り圧縮符号化画像１０７を利用する場合には，エンコードＡ１１３を省略し，デコードＡ１１４以降について，上記と同等の処理で相関を計算して情報１２４を得ることができる。

［埋め込み性能向上］
透かし入り画像１０４を用いて劣化透かし入り画像を作成する処理を，検出処理に役立てるのではなく，埋め込み処理の性能向上に役立ててもよい。具体的には，劣化透かし入り画像を作成する処理において，信頼性マップ作成処理１２５を実行し得られた信頼性マップ情報１２０５を，電子透かし埋め込み処理１０２で利用する。

［サービス］
これらの機器の提供するソフトウェア機能を，ネットワーク経由で利用者に提供してもよい。よく使うパラメータＡ設定やパラメータＢ設定をプロファイルとして保存しておくことにより，再利用が容易化する。また，信頼性マップ作成処理１２５の結果の信頼性マップ情報１２０５をプロファイルとして保存しておき，必要に応じて再利用させてもよい。同一原画像１０１に対して，複数種類の情報１０３を別々に埋め込み，複数の透かし入り画像１０４を得るときに，効率よく，適切な電子透かし埋め込みを行うことができる。

以下，図１のシステムにおける処理の詳細を説明する。

透かし埋め込み装置１２０１は，原画像１０１に対して，電子透かし埋め込み処理１０２によって，情報１０３を埋め込み，透かし入り画像１０４を作成する。埋め込み方法については，後で説明する。

エンコード装置１２０２は，透かし入り画像１０４に対して，パラメータＡ設定処理１０５により，圧縮符号化条件を指定し，圧縮符号化を行うエンコードＡ１０６の処理により，透かし入り圧縮符号化画像１０７を作成する。

透かし入り圧縮符号化画像１０７は配布され，不正行為者装置によって，何らかの攻撃１０８を受ける。

透かし検出装置１２０４は，攻撃を受けたと思われる検査対象画像１０９を入手，解析し，属性抽出処理１１０により，画格，ビットレート，フレームレート，および，使用コーデックなどの情報を抽出する。不足するパラメータは，パラメータ推定処理１１１によって補い，パラメータＢ設定処理１１２を行い，以下の一連の処理の詳細処理方法を定義する。

すなわち，透かし検出装置１２０４は，原画像１０１に対して，コンテンツ配布時処理のシミュレーションを施す。すなわち，パラメータＡ設定１０５の処理後に，エンコードＡ１１３の処理を行う。エンコードＡ１１３はエンコードＡ１０６と技術的に等価である。さらに，続けて，不正な攻撃のシミュレーションとして，デコードＡ処理１１４，幾何変形処理１１５，エンコードＢ処理１１６，デコードＢ処理１１７，逆幾何変形処理１１８を行い，劣化原画像１１９を作成する。幾何変形や逆幾何変形の処理は，エンコードＢの処理部（エンコーダＢという），デコードＢの処理部（デコーダＢという）がそれぞれ装備していてもよい。

幾何変形や逆幾何変形も原理上可逆であるが，誤差を生じる処理である。このため，幾何変形や逆幾何変形でそれぞれ何のアルゴリズムで処理しているかを推定して選択するか，すべての可能性を試すか，または，最も高品質（動画の場合は高画質）なアルゴリズムを適用する。

一方，検査対象画像１０９においても，デコードＢ１２０，逆幾何変形１２１の処理を行った後に，劣化原画像１１９との差分計算処理１２２を行う。デコードＢ１２０とデコードＢ１１７は技術的に等価であり，逆幾何変形１２１と逆幾何変形１１８は技術的に等価である。

２つの動画を用いた差分計算においては，タイムスタンプを参照して，対応フレームを照合する。タイムスタンプが適切に付与されていない場合などは変換を行いながら照合する。照合のために画像類似度を示す特徴量を計算して判定をしてもよい。

この差分計算１２２により，不正行為によって生じた多様な誤差が消えて，電子透かし信号が強調された差分画像を得られる。差分画像から電子透かし検出１２３を行い，情報１２４を抽出する。

ここで，電子透かし埋め込み処理に話を戻す。電子透かし埋め込み処理１０２は，既存技術の電子透かし埋め込み処理でもよいが，次の埋め込み処理を用いても良い。

すなわち，攻撃内容を配布前に想定し，検出時と同様のエンコードＡ処理１１３，幾何変形処理１１５，エンコードＢ処理１１６などの処理部を用いて検出シミュレーションを行うことができる。シミュレーションの結果，原画像１０１と比べて大きなノイズを生じる箇所の信頼性は低く，ノイズを生じにくい場所の信頼性は高いと考えられる。

信頼性マップ作成処理１２５により，シミュレーション結果を，画像のブロック，あるいはピクセルごとの信頼性マップとして作成する。信頼性マップに適応させて，電子透かし埋め込み位置，埋め込み強度などを制御することにより，適切な画質，適切な耐性をもった透かし入り画像が得られる。これらの一連の処理の詳細については，後で詳細に説明を加える。

図２に，ビデオアーカイブ管理センタの業務を例に，本実施形態の図１に示す電子透かしシステムの利用イメージを示す。

本実施形態におけるビデオアーカイブ管理センタ２０１では，動画データ活用先２０２からの委託を受けて，多数の動画データ２０３を蓄積，管理している。動画データ２０３には，著作権保護対象となる芸術的な作品以外にも，個人のプライバシーに関わる重大な事柄や，重要な企業機密などが撮影されていることがあり，その取り扱いには慎重さを要する。

ビデオアーカイブ管理センタ２０１では，内容確認のために内部職員２０４が動画を閲覧したり，社外２０５からの依頼や契約に基づいて，貸し出しを行ったりすることがある。内部職員２０４も貸し出し先２０５も，契約や信頼関係に基づいた業務として動画データ２０３にアクセスしており，通常は，そこから情報漏えいが起きるとは考えにくい。

それでも万一，動画投稿サイト２０６で，自社管理の動画データが発見された場合には，著作権侵害，プライバシー侵害などの重大な問題となりうるため，原因究明と適切な事後対処が求められる。その対処の一つとして，内部職員２０４からの情報漏えいか，貸出先２０５の過失かの識別は，内部統制上，把握しておきたい重要な項目である。

動画投稿サイト２０６では投稿者の匿名性が高く，動画投稿サイト２０６側が把握しているアクセス情報（投稿時のユーザＩＤ，アクセスしてきたＩＰアドレスなど）だけで，投稿者を特定できないことが多い。加えて，投稿者のプライバシー保護のため，動画投稿サイト２０６が投稿者情報の開示に簡単に応じないこともありうる。その場合，検査対象画像２０７となる動画データから電子透かしが検出できれば，不正流出経路の特定に寄与する。

図２では，動画データの貸し出し時に，電子透かし技術を用いて貸し出し管理情報を埋め込んでおき，検査対象画像２０７から，流出経路を特定する利用方法を想定している。特に，ビデオアーカイブ２０１の管理センタが電子透かし検出を行う主体の場合，検出において，保有する原画を活用しやすい点が特徴的である。また，多少処理時間がかかってでも，不正流出経路が特定できるなら，事業者の内部統制上，電子透かしは有効な技術である。

一般に，貸し出し時や閲覧時には，ＭＰＥＧ２形式など，高精細な圧縮符号化方法がよく用いられる。一方，動画投稿サイトでは，画格が小さく，ビットレートの低い動画が主に扱われる。従って，動画投稿サイトで発見された検査対象画像は，少なくとも，画格縮小の幾何変形，および再圧縮符号化を受けている，と考えてよい。さらに，不正利用者の手によると，再々圧縮符号化，ノイズフィルター処理，字幕の追加，画像のオーバーレイなど，多種多様な画像処理の可能性がありうる。

すべての不正行為を網羅して説明することは困難なので，本実施例では，電子透かしに対する攻撃を，現実の利用場面で脅威となっているもので例示する。すなわち，貸し出し時の圧縮符号化，および，不正流出時の画格縮小の幾何変形と再圧縮符号化とする攻撃モデルを想定する。不正行為のシミュレーションを行う上で，オーバーレイなどの更なる画像処理を図１に加えて，実施内容を拡充することは容易である。

次に，図３（ａ）（ｂ）を用いて，本実施例で用いる電子透かし検出の原理を説明する。

本実施例では，画像に情報を埋め込む電子透かしのアルゴリズムとしてパッチワーク法を用いる。はじめに，パッチワーク法の概要を説明する。ただし，本実施形態は，電子透かしのアルゴリズムには依存せず，周波数成分に埋め込むなど，他の方法ででも実現できる。

原画像Ｓｏの輝度情報をｙとし，ｙの中の２点の組合せ（ａ_ｉ， ｂ_ｉ）｛ｉは１以上ｎ以下の整数｝をｎ組選択し，埋め込み強度をα_ｉ，埋め込み情報をｉｄ｛１，０｝とする。このとき，式（１）の処理によって，１ビット情報の埋め込みができる。

なお，上記によって，１ビットの電子透かしが可能になるが，これらをさらにｕ組揃えることにより，ｕビットを表現できる。以下では説明の簡単化のために，１ビット表現の透かしを例示するが，以下の説明に基づき多ビット化することが可能である。

埋め込まれた情報は，しきい値Ｔを用いて（数２）によって抽出できる。

（数１）を用いたパッチワーク法による透かし埋め込みを行い，透かし画Ｓ１に対して縮小または拡大を施した後の電子透かし検出を行った際の処理イメージを図３（ａ）に示す。説明の簡単化のために，原画像を画素１０点（座標０〜９）だけの１次元信号として表現し，埋め込む情報１０３の信号を「０」を示す１ビットのみとして，強度αで，原画像の２箇所（ａ＝１，ｂ＝６）に埋め込む。透かし入り画像は原画像と１ビット信号の加算として得られる。

透かし入り画像に，縮小処理に相当する攻撃を行うと，画素１０点は５点に減る。これを，再度，１０点に拡大した劣化透かし入り画像（検査対象画像）は，元の透かし入り画像には戻らない。それでも，検査対象画像の２箇所（ａ，ｂ）に，（数２）を適用することにより，「０」が検出できる。（数１）（数２）による電子透かしは，一定の画像処理耐性をもつ。

この方法を，画像の中の別の場所に対して施すことにより，多ビット埋め込みに拡張できる。また，画像Ｓｏ全体に，同じ情報ｂを繰り返し埋め込むことにより，電子透かしの画像処理耐性を向上させることができる。このアルゴリズム自体は，検出時に検査対象画像Ｓｔのみを使用し，原画像Ｓｏの参照を必要としない。

図３（ｂ）に，（数７）を用いた電子透かしの拡張方法を示し，以下では，順を追って詳細に説明をする。

原画像Ｓｏに対して埋め込み情報Ｍを埋め込んだ後，線形行列として表現可能な画像処理Ａを施すことにより，画像Ｓｔを得る場合（数３）について考える。なお，画像処理を単純な行列で近似する場合は，例えば，縮小処理であっても，実際の縮小処理は行列の乗算後に得られた実数値から，適切な整数値を得るように，周辺画素による補間計算を行うなどの処理が望ましい。つまり，より適切な表現方法としては，画像処理を関数として記述すべきであるが，記述の簡単化のために，関数表現ではなく，行列計算を念頭において記述する。

Ａが可逆変換であれば，理論上，（数３）は（数４）に変換できる。従って，埋め込み情報Ｍは，検査対象画像Ｓｔに対して，画像処理ｉＡ（透かし画（Ｓｏ＋Ｍ）に対して施された画像処理Ａの逆変換）を行い，原画像との差分を取ることにより，情報Ｍを抽出できる。しかし，（数４）による検出だけでは，充分ではない。

多くの場合，格納可能な情報精度の限界等により，誤差の切り捨てが行われるため，（数４）では，情報Ｍを近似解として求めることになる。例えば，いったん縮小処理により画素データが減ると，拡大しても完全に元に戻せない。

実用上多くの場合に，画像処理Ａは非可逆変換であり，逆変換処理ｉＡによって元に戻らない。ただし，計算誤差の観点では，（数１）の加算で生じるオーバーフロー時の例外処理等があると，（数３）の線形性が厳密には保証されない場合もあるが，あくまで例外的である。多くの場合に，加算は線形的に展開可能である。そして，ＡとｉＡの非可逆変換による誤差だけに着目すると，（数３）は，（数５）の形に変形できる。

ここで，検査対象画像には，電子透かし信号に生じるノイズδ１と，電子透かしの母体となるコンテンツ信号そのものに生じるノイズδ２とが生じる。コンテンツ信号に比べて電子透かし信号が微弱なため，ノイズδ１はさらに微弱なものと期待されるが，ノイズδ２は，再圧縮符号化ノイズなど，電子透かし信号にとって無視できない強い信号となりがちであり，電子透かし検出時に生じる誤差の主因の一つとなる。（数５）の右辺第１項にはノイズδ２が含まれており，第２項にはノイズδ１が含まれている。ノイズδ１は微弱なので，第２項のみ，非可逆変換に伴う誤差を無視して近似すると，（数６）を得る。

さらに，（数６）は（数７）に変形可能である。（数７）の右辺は，電子透かし検出に邪魔で原画像固有のノイズδ１を相殺し，情報Ｍを顕在化するよう計算している。このときの右辺第２項が劣化原画像である。

本実施例では，電子透かしの検出方法として（数７）をベースとする。（数７）は，透かし画（Ｓｏ＋Ｍ）が受けた画像処理と同じ変換を，原画に対して施した後に，検査対象画像Ｓｔとともに逆変換処理ｉＡ後の差分を計算することにより，情報Ｍを抽出するものである。すなわち，不正ユーザの攻撃による画像処理Ａを原画を用いてシミュレーションし，シミュレーション結果と検査対象画像との差分により，電子透かし検出に不要なデータを相殺しようとするものである。この方法は，元々，検査対象画像Ｓｔ単体だけから電子透かしが検出可能であるものの，未知のパラメータであるＡを適切に推定することにより，（数７）は（数２）よりも，検出性能が上がる。

もし，攻撃が画像処理Ａだけにとどまらず，字幕追加など，Ｂ，Ｃと多種多様な攻撃があった場合においても，（数７）を拡張することで，劣化原画像を生成すればよい。さらに，同様の考え方を埋め込みに対しても拡張できる。

図３（ｂ）では，図３（ａ）と同様に，原画像を画素１０点だけの１次元信号として表現し，埋め込む情報１０３の信号を「０」を示す１ビットのみとして，強度αで，原画像の２箇所（ａ，ｂ）に埋め込む。透かし入り画像は原画像と，この１ビット信号の加算として得られる。画像の縮小処理に相当する攻撃を行うと，１０点は５点に減る。これを，再度，１０点に拡大した劣化透かし入り画像（検査対象画像）は，元の透かし入り画像には戻らない。これらの処理を原画像に対しても施し，劣化原画像を作成する。劣化透かし入り画像（検査対象画像）と劣化原画像の差分を作成すると，透かし信号が強調される。差分画像の２箇所（ａ，ｂ）を抽出し，（数２）を適用することにより，「０」が検出できる。

次に，図４を用いて，図１の透かし検出装置１２０４が実行する，デコードＢ処理１２０の代表例として，ＭＰＥＧのデコード方法の概要説明を行う。

ＭＰＥＧデコーダでの処理は，圧縮符号化画像入力４０１により，ＭＰＥＧ圧縮符号化画像データを解析し，逆量子化４０２，逆ＤＣＴ４０３を行うことにより，絵柄を復元し，復号画像出力４０４を行う。あるフレームが隣のフレームの情報を参照する場合には，予測メモリ４０５に一時的に復号画像を格納しておき，他のフレームの復号時に利用する。

動画像は，複数のフレームから構成し，１つのフレームが１つの画像データに対応している。代表的な圧縮符号化規格であるＭＰＥＧでは，一つの画像は，マクロブロック（ＭＢ）という小さな単位に分割されている。マクロブロックの中に，画素値（Ｙ，Ｃｒ，Ｃｂ）が格納されている。さらに，共通の処理を行う複数のマクロブロックを束ねて，スライス（Ｓｌｉｃｅ）という単位で管理し，複数のスライスで１つのフレームを構成する。フレームには，Ｉ，Ｐ，Ｂの３種類がある。

Ｉフレームは，他の画像からのデータを使わずに，イメージを構成できるように符号化されたマクロブロックのみからなる画像であり，フレーム内符号化画像，Ｉピクチャ，キーフレームなどとも呼ばれる。Ｐフレームは，符号化されたマクロブロックまたは先を予測して符号化されたマクロブロックからなる画像である。Ｂフレームは，符号化されたマクロブロック，先を予測して符号化されたマクロブロック，後を予測して符号化されたマクロブロック，または，前後の組み合わせとして内挿したものからなる画像である。Ｉ，Ｐ，Ｂフレームを組み合わせたひとまとまりの独立したデータ単位をＧＯＰという。ＭＰＥＧデータに対するランダムアクセスを可能とするために，定期的にＩフレームを軸としたＧＯＰ単位を作成する。例えば，頭出し処理によって，ＢフレームやＰフレームの情報を直接指定されたとしても，これらを復号するためには，ＧＯＰ単位での情報を解釈した後となる。

Ｂフレームは大きな圧縮率を期待できる半面，あまりＢフレームばかりを利用すると，誤差が累積して大きな画質劣化を引き起こす。２つのＢをＩもしくはＰではさむパターン（Ｍａｉｎ Ｐｒｏｆｉｌｅ）がよく用いられる。また，Ｂフレームを使わないパターン（Ｓｉｍｐｌｅ Ｐｒｏｆｉｌｅ）もよく用いられ，エンコード時の演算負荷が小さく，再生時のディレイも生じにくい。

図４において，ＭＰＥＧ圧縮符号化画像の入力を受け付けると，ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）単位で処理を行う。圧縮符号化画像として入力されたデータの中から，符号化されたマクロブロックの情報を取り出し，逆量子化処理を行い，さらに，逆ＤＣＴ変換を行い，マクロブロック画像を復号する。復号されたマクロブロック画像が処理中のフレームにあれば，そのまま画像として出力する。処理中のフレームにないなら，予測メモリに一次保存した後に，適切な時刻のフレームの適切な位置に格納する。このようにして，ＧＯＰ全体を復号していく。ＭＰＥＧでは，フレーム間の類似性を利用して，他のフレームの情報を参照することがあるため，ＧＯＰ単位の中では，復号順序が映像再生順序と必ずしも一致しない。

ＭＰＥＧの圧縮符号化で用いられる離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）と逆ＤＣＴ変換は，原理上可逆であるが，これらを利用するＭＰＥＧ圧縮符号化処理は非可逆である。ＤＣＴでは，低周波数領域に，相関の強い信号の電力が集中する傾向がある。風景写真などのように，通常の画像の多くは相関の強い信号となりやすい。データ圧縮では，この電力集中を応用して，電力の集中する領域に多くのビット数を，電力が集中しない領域では少ないビット量を割り当てることで行う。例えば，高周波領域の一部が０に近いことを利用して，この部分のデータを切り捨てる方法がよく用いられる。また，画像にＤＣＴ変換を施して得られるＤＣＴ係数は量子化され，適切な精度に丸められている。これを復元する場合は，切り捨てた部分に０の値を挿入して，逆ＤＣＴ変換を行う。これらの処理過程において，圧縮符号化したものを復号化しても，誤差が生じて，近似的な状態となる。本実施形態では，劣化原画像を作成して透かし画像との差分を取ることにより，ＤＣＴ変換および逆ＤＣＴ返還に伴う誤差を解消しようとするものである。

ＤＣＴ変換および逆ＤＣＴ変換は有限個のデータに対しての変換なので，入力データはＮ点ごとに分割する必要がある。通常は，Ｎには２のべき乗の長さをとり，８個や６４個がよく用いられる。有限個のデータに対しての計算では，ＤＣＴ変換および，逆ＤＣＴ変換は，変換関数Ｄを用いて次のように表せる（Ｘｓｏｕｒｃｅは原画像，ＸｔａｒｇｅｔはＤＣＴ係数）。ＸｓｏｕｒｃｅとＸｓｏｕｒｃｅ′は近似的に一致するものの，誤差を含む。

ＪＰＥＧ，ＤＶ形式やＪＰＥＧ２０００形式のように，複数画像間の独立が保たれている場合や，ＤＣＴ変換，あるいは，これに類似するウェーブレット変換などの可逆変換ベースの画像圧縮符号化方法を用いた攻撃に対して，（数７）は有効である。ただし，ＭＰＥＧなどは，ＤＣＴ変換に加えて，フレーム間の画像の類似性を利用して冗長部分を削減する圧縮符号化技術である。

例えば，あるフレームの画像の微小部分を示すマクロブロックが，将来，あるいは過去のフレームのどこの場所から移動しているかを，動きのベクトル値として予測表現することにより，大幅なデータ量削減を可能とする。圧縮符号化画像データの中では，ＰフレームやＢフレームの中で表現される。

動きベクトルを用いて複数フレーム間の情報を参照することにより，原理上は画像が再構成できるが，実際の画像の中の物の動きと，整数値表現で格納されたベクトル値の誤差が生じる。また，似たマクロブロックが近くにあると，ものの動きを誤解してベクトル表現してしまうこともあり，その場合には，大きな絵柄の変化を生じる。

予測して符号化されたマクロブロックを使う利点は，必要ビット数が減少することである。予測が正確であれば，マクロブロックのデータと，動きベクトルによって動画像が少ないデータ量で表現できる。動画像の圧縮符号化を行うエンコーダの内部処理では，近隣の画像との差分により動きを予測できる。例えば，オブジェクト（マクロブロック）の位置を水平，垂直に±１５画素以内に順次ずらして，もっとも差分が小さくなる位置に，オブジェクトが移動したと考えることができる。予測した動きが正確であるほど，圧縮符号化後の画像は，原画に近い画像を再現する。予測した動きが正確でない場合，コンテンツの絵柄上，たまたま結果的に主観上の違和感がない場合もあるし，著しく画質劣化を感じる場合もある。

一方，エンコーダで行う処理は，大きな流れとして，デコーダと逆の処理となる。画像をＤＣＴ変換し，量子化，符号化することにより，圧縮符号化画像を得る。このとき，エンコーダに指定するユーザ入力を，エンコーダパラメータと呼ぶ。エンコーダパラメータの指定の仕方によって，圧縮符号化後の画質は変化する。

また，指定されたビットレートが小さくてデータ量が不足する場合，不足部分は，ノイズとして認知され，画面が乱れる。通常，まず発生するのはモスキートノイズとよばれる細かなノイズである。特に，輪郭の周りなどに発生しやすい，細かな画面の粗れをいう。

圧縮符号化時に，さらに高い圧縮率（低いビットレート）で圧縮符号化すると，ブロックノイズが発生する。ブロックノイズは８ピクセル，１６ピクセルなどの正方形の単位で画面上に現れやすい。このように，ノイズが目視で目立つほどに生じた画像部分では，電子透かしが正常に検出できる可能性が低いだけにとどまらず，他の正常に復号された画像に含まれている電子透かし検出処理にとってノイズとなりうる。

本実施例によると，圧縮符号化時のＤＣＴ変換に伴うノイズは（数７）の考え方により相殺される。ただし，マクロブロックの動きを予測したベクトルに伴うノイズについては，時間軸方向の誤差を含む。しかし，動きベクトルに伴うノイズに対しても，本実施例によると，未知の圧縮符号化処理に対してシミュレーションを行い，適切なパラメータ設定を行うことにより，電子透かし検出に不要なノイズを除去し，検出性能を向上させることができる。圧縮符号化された動画像が，動きベクトルを使って他のフレームを参照していたとしても，動画の中での背景の部分などの中で絵柄が硬直的な場所については，原理上，電子透かしの検出に悪影響をもたらさないため，（数７）の考え方により，ノイズが適切に相殺される。

また，行列計算で表現しきれない複雑な画像処理を伴う場合においても，（数７）の拡張として，Ａ，Ｂ２種類の関数で記述できる攻撃が複合した攻撃に対して，可逆変換の誤差を考慮した（数９）を適用できる。さらに多種類の攻撃についても同様である。

次に，図５を用いて，図１の透かし検出装置１２０４が実行する，攻撃方法をシミュレーションするためのパラメータＢ推定１１１の手順説明を行う。

動画の圧縮符号化画像には，ヘッダ情報として，下記の情報等が定義されている。

ファイル形式（ＡＶＩなど），データサイズ，再生時間，映像ストリーム数，コーデック（Ｈ２６４／ＡＶＣなど），画格（６４０ｘ４８０など），色深度（２４ｂｉｔなど），ビットレート（１Ｍ ｂｉｔ ｐｅｒ ｓｅｃｏｎｄなど），フレームレート（３０ ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄなど），インタレース，アスペクト比，コメント情報（コーデックツール名，バージョンなど）
また，動画の圧縮符号化画像を解析すると，下記の情報等も入手できる。

ＧＯＰ構成，フレームタイプ（Ｉ，Ｐ，Ｂ），エンコーダバッファあふれ，フレーム落ち，タイムコード，参照フレーム番号，量子化レベル
ステップ５０１において，条件１では，これらの情報を利用して，パラメータＢを設定する。ただし，不正行為者が使うエンコーダと完全に同一のエンコーダを使ったとしても，一部のパラメータが指定できない場合も考えられる。例えば，簡易なエンコーダでは，他のパラメータと一緒に，単に高画質（低速処理），低画質（高速処理）という２択をユーザが設定するだけのものもある。この場合においては，ビットレート制約を外して高画質設定を選択すると，動きベクトルの悪影響を除外しやすい。

ステップ５０１における，より具体的なパラメータＢ指定方法について，例示する。エンコードＡ１０６の出力ＧＯＰ構造５０８は，透かし付圧縮符号化画像１０７の配布時のデータであり，パラメータＡ設定１０５による出力結果として，検査者が把握している。攻撃者が画像処理１０８として再圧縮符号化処理を行っていた場合には，ＧＯＰ構造５０８を保持する保証がない。

従って，属性抽出処理１１０によって解析される検査対象画像１０９のＧＯＰ構造５０９は，配布時から変化しうる。そこで，劣化原画像１１９を生成する攻撃内容のシミュレーションにおいて，エンコーダＢ１１６のＧＯＰ構造５１０を検査対象画像１０９のＧＯＰ構造５０９と同一設定として，パラメータＢ設定処理１１２を行う。

ステップ５０２において，条件１の元で，図１のシステム全体を動作させて，劣化原画像１１９を作成し，電子透かし検出処理１２３を行う。検出できなければ，条件２による検出を試みる。

ステップ５０３において，条件２では，検査対象画像のＧＯＰ構成５０９を無視し，すべてのフレームをＩフレームとして，エンコーダＢ１１６のＧＯＰ構造５１１とする。すなわち，高画質な劣化原画像１１９を作成する設定を行う。これにより，動きベクトルの影響を無視し，Ｉフレームとの差分を取ることにより，ＤＣＴ変換と量子化に伴うノイズを低減することが可能になる。

ステップ５０４において，条件２の元で，図１のシステム全体を動作させて，劣化原画像１１９を作成し，電子透かし検出処理１２３を行う。条件２での検出に失敗した場合，条件３の処理に進む。

ステップ５０５において，条件３では，考えうる組合せを複数試しながら，電子透かし検出を繰り返す。パラメータ指定の順序は高画質設定から低画質設定に向けて順に行う。低画質設定においては，ブロックノイズを生じる情報欠落や，動きベクトルの不適切な計算がなされる可能性が高いものの，この中に，不正行為者の指定内容と一致したものや近いものがあれば，検出性能が向上する。これらの組合せの中で，劣化原画像１１９の代わりに，劣化原画像１１９の模擬として，透かし入り画像１０７や検査対象画像１０９を劣化させたものを用いてもよい。

ステップ５０６において，さらに，条件３での検出の繰り返し処理に失敗した場合，以下で説明する信頼性マップを用いた検出５０７を試みる。

図６を用いて，図１の透かし検出装置１２０４が実行する，信頼性マップの作成処理１２５について説明する。

ステップ６０１において，圧縮符号化データ（検査対象画像，および，原画像を圧縮符号化したものなど）を読み出す。

ステップ６０２において，フレームタイプ（Ｉ，Ｐ，Ｂ等）を調べ，フレームごとに信頼性を評価し，フレーム信頼性情報６１５を抽出，作成する。
フレーム信頼性情報６１５は，フレーム番号６１５，フレームタイプ６１６，信頼性６１７から構成し，Ｉフレームの信頼性を最も高く，Ｉフレーム，Ｐフレーム，Ｂフレームの順に信頼性を高く評点する。

ステップ６０３において，スライス情報を読み込む。

ステップ６０４において，符号化されたマクロブロック（ＭＢ）情報を読み込み，復号する。

ステップ６０５において，マクロブロック（ＭＢ）の信頼性を評価し，ＭＢ信頼性情報６２１を作成する。ＭＢ信頼性情報６２１は，ＭＢ位置６１８，動きベクトル値など６１９，信頼性６２０から構成する。マクロブロックごとに，動きベクトルが参照しているフレームと，現在のフレームとの距離（時間のズレ），動きベクトルの値の大きさと方向，量子化テーブルの内容との乖離状態，などの指標を設ける。これらを入力とする関数ｆを用意し，信頼性を数値化して算出する。関数ｆは，参照先フレームとの時間のズレの大きいもの，動きベクトルの大きいものは低い信頼性を出力するものとする。

ステップ６０６において，マクロブロック（ＭＢ）情報を逆量子化する。

ステップ６０７において，逆ＤＣＴ変換する。

ステップ６０８において，別のフレームとの関係がある場合などには，予測用のメモリを用いて，予測補正を行う。

ステップ６０９において，別のフレームとの関係がある場合などには，ステップ６１０において，予測用のメモリに書き出す。

ステップ６１１において，フレーム画像を復号，書き出しを行う。

ステップ６１２において，ＧＯＰ単位の処理がすべて終われば１サイクルが終了するが，続きの入力データがあれば，ステップ６０１に戻り，処理を繰り返す。

ステップ６１３において，マクロブロックごとに計算された信頼性情報６１４を，画像上の画素の位置と対応付けて，信頼性マップ情報１２０５を作成，出力する。信頼性情報６１４は，ＭＢ信頼性情報６２１の値をそのまま用いてもよいし，ＭＢ信頼性情報６２１とフレーム信頼性情報６１５との積算結果を用いてもよい。

なお，信頼性マップの作成方法には，図４のデコードＢ処理１２０と共有する処理が多く，デコードＡ１１４やデコードＢ１１７と一体化させて計算すると効率よい。

次に，図７を用いて，図１の透かし検出装置１２０４が実行する処理，すなわち，複数の信頼性マップを集計し，総合信頼性マップを作成する処理について説明する。

ステップ７０１において，圧縮符号化画像Ａ（エンコードＡ）による劣化原画像，配布画像など）を読み込む
ステップ７０２において，図６で説明した信頼性マップ作成処理を用いて，信頼性マップＡ７０７を作成する。

ステップ７０３において，圧縮符号化画像Ｂ（エンコードＡおよびエンコードＢ）による劣化原画像，あるいは，検査対象画像など）を読み込む。

ステップ７０４において，同様に信頼性マップＢ７０８を作成する。

ステップ７０５において，信頼性マップＡ７０７および信頼性マップＢ７０８の乗算によって，総合信頼性マップＲ７０９を作成する。

ステップ７０６において，他に攻撃が加えられている場合，さらに，信頼性マップＣを作成し，総合信頼性マップＲと組合せ，総合信頼性マップＲ’として反映させる。幾何変形においても，例えば，縮小・拡大処理によって生じる丸め誤差等のノイズは，拡大縮小率と画格の関係で定まる共振箇所で強くなる。ノイズ期待値を算出し，信頼性を算出することができる。縮小拡大時には，バイリニア法，キューブリック法など多様なアルゴリズムが知られている。どのアルゴリズムを用いたとしても，同じ信頼性としてもよいし，より厳密にアルゴリズムごとに信頼性評価してもよい。

次に，図８を用いて，図１の透かし検出装置１２０４が実行する，上述の総合信頼性マップＲ７０９を用いた電子透かし検出処理１２３について説明する。

ステップ８０１において，検査対象画像Ｂ，あるいは，差分画像を読み込む。

ステップ８０２において，総合信頼性マップＲ７０９を読み込む。Ｒは画素の位置によって信頼性が異なることを示す。（数１）に基づいて，あらかじめ定めてあるａ，ｂの２組の情報を抽出する（原画像Ｓｏの輝度情報をｙとし，ｙの中の２点の組合せ（ａ_ｉ， ｂ_ｉ）｛ｉは１以上ｎ以下の整数｝をｎ組）。そして，（数２）を拡張した検出方法として，（数１０）を用いて検出する。

具体的には，ステップ８０３において，注目画素２組（Ａ，Ｂ）を抽出する。

ステップ８０４において，信頼性マップを参照し，（数８）の評価値ｓを計算する。

ステップ８０５において，総和の統計処理のための加算を行う。

ステップ８０６において，すべての注目画素ｎ個分の処理を繰り返す。

ステップ８０７において，（数８）によりビット判定し，出力値ｅを得る。

多ビット埋め込みをしている場合には，ステップ８０８において，すべてのビット情報を繰り返し，ステップ８０９において，最終的な埋め込み情報を検出する。

次に，図９を用いて，図１の透かし埋め込み装置１２０１とエンコード装置１２０２が実行する，信頼性マップを用いた電子透かし埋め込み処理１０２について説明する。

上述したように，信頼性マップは，画像の絵柄に起因する信頼性を評価して，検出率向上させることができる。この考え方は，電子透かし埋め込み処理にも適用できる。信頼性マップを用いると，信頼性のある場所とない場所に応じて，埋め込み強度，埋め込み位置を制御することによって，適切な画質で適切な耐性を得ることができる。その具体的な方法について説明する。

透かし埋め込み装置１２０１は，
ステップ９０１において，原画像１０１を読み込む。

ステップ９０２において，（数１）をベースとする電子透かしを埋め込む。

エンコード装置１２０２は，
ステップ９０３において，エンコードＡ１０６を行う。

ステップ９０４において，透かし付圧縮符号化画像１０７を書き出す。

透かし検出装置１２０４は，
ステップ９０５において，図６の方法を用いて，透かし付圧縮符号化画像１０７の信頼性マップ１２０５を作成する。さらに，将来攻撃されることを想定して，総合信頼性マップ７０９を作成して，信頼性マップ１２０５の代わりに用いてもよい。

透かし埋め込み装置１２０１は，
ステップ９０６において，信頼度を計算し，信頼性マップ１２０５全体の評価を行う。例えば，どの程度の耐性が期待されるかを，信頼性マップ１２０５のすべての信頼性の値の平均値を信頼度と定義し，あらかじめ定めたしきい値より大きいか小さいかで判定できる。フレーム単位の計算とすることもできるしマクロブロック，画素単位の計算でもよい。

ステップ９０７において，信頼できると評価されればそのまま終了する。信頼できないと評価すれば，信頼性マップ１２０５を用いた埋め込み制御を行う。

ステップ９０８において，原画像１０１を再度読み込む。

ステップ９０９において，信頼性制御透かし埋め込み処理を行う。

上記エンコードＡ１０６による圧縮符号化を行い，再度，ステップ９０３以降の上記の処理を繰り返す。圧縮符号化処理のツーパスエンコーディングと近い考え方となる。

図１０を用いて，図９のステップ９０９で行う信頼性制御透かし埋め込み処理の詳細な手順について説明する。

ステップ１００１において，まず，埋め込み戦略を定める。例えば，信頼性が高い場所に強く埋め込む戦略，信頼性の低い場所に強く埋め込む戦略がある。信頼性が低い場所には，埋め込まなければ，画質がきれいに保たれる。検出時にも，そこを検出対象としなければ，ノイズの影響はない。逆に，信頼性が低い場所には，強く透かしを埋め込む戦略がある。強い信号として電子透かしを埋め込んだ場合，圧縮符号化プロセスにおける当該箇所の処理方法が変わる可能性がある。例えば，従来は別フレームに似たマクロブロックがあったので，そこを参照していたが，似たマクロブロックが見つからず，動きベクトル表現をしなくなるなどである。これらの戦略に，特開２０００−４３５０号公報に開示されるような、画質を維持する方法を組み合わせてもよい。検出時においても，この埋め込み戦略に沿った検出を行えば，更に有効である。

信頼性と強度の関係を選択的に定義する以外に，多様な戦略が考えられる。例えば，信頼性の順に，ビットの並びを入れ替える方法も考えられる。また，重要な情報は高信頼度の場所に埋め込み，比較的重要性の低い情報は，低信頼度の場所に埋め込むことができる。また，高信頼度の場所と低信頼度の場所を組み合わせて埋め込むことにより，低信頼度の場所に埋め込んだ情報の検証を，高信頼度の場所に埋め込んだ情報（例えば，パリティチェックなど）で補佐することもできる。また，これらの組合せも容易に実現できる。検出時に，これらの戦略に沿った検出方法を行うことにより，さらに検出性能が向上する。

ステップ１００２において，次に，設定された埋め込み戦略に応じて，信頼性マップを参照する。

ステップ１００２において，信頼性が高いと判断されれば，ステップ１００５において，強度Ｓを選択する。そうでなければ，ステップ１００４に進む。

ステップ１００４において，信頼性が中くらいと判断されれば，ステップ１００６において，強度Ｍを選択する。そうでなければ，ステップ１００７において，強度Ｗを選択する。

ステップ１００８において，最後に，信頼性に応じて処理内容を制御しながら，画像の改変を行う。

図１１を用いて，劣化透かし入り画像を用いる第２の実施例について説明する。

第１の実施例では，劣化原画像１１９と検査対象画像１０９の差分を用いた。第２の実施例では，劣化透かし入り画像１１０９と検査対象画像１０９を用いる。検査対象画像１０９が不正流出後に検査を行う画像であることと比べ，劣化透かし入り画像１１０９は，原画像１０１と埋め込み情報１１０３を用いて，検査者が作成し，意図的に画像処理を加えて劣化させるものである。検査対象画像１０９に埋め込んである情報１０３を調べることが検査者の目的である。その情報１０３として，数種類の候補がある場合には，劣化透かし入り画像をすべての場合を作成し，繰り返し処理を行う。あるいは全件検査してもよい。

図１１において，２種類の攻撃Ａ，Ｂが想定されるときに，第２の実施例の簡単な検出方法は次の通りである。情報推定生成処理１１０４に疑わしいと考える初期値を与え，埋め込み情報Ｍ１１０３を推定し，原画像１０１から，透かし入り画像１１０２を作成する。さらに，（数１１）の計算に基づき，劣化透かし入り画像１１０９を作成した後，類似度判定処理１１０８において，検査対象画像との差分として，Ｚを求める。パラメータＢの推定，および，情報Ｍの推定が適当であれば，Ｚは理論値ゼロとなる。そこで，あるしきい値を設け，Ｚの値がゼロに近い場合に，検査対象画像Ｓｔに埋め込まれている情報は，情報Ｍと判断する。ゼロに近くなければ，パラメータ推定戦略支援情報生成処理１１０５により，情報Ｍ１１０３の他の候補，パラメータＢ１１２の他の候補を推定し，その結果を。情報推定生成処理１１０４，および，パラメータ推定処理１１１に反映する。これらの一連の処理を，フィードバック制御処理１１０７により，繰り返す。

（数１１）で計算して求めるＺは１次元配列情報なので，すべてのＺの構成要素の絶対値を加算したｓｕｍ（｜Ｚ｜）を，「推定した情報Ｍが正しいという可能性」の評価値として計算できる。そこで，容疑者リスト作成処理１１０６において，いくつかの情報Ｍに対応するｓｕｍ（Ｚ）を順次計算し，小さいもの順にソートする。このとき，最も疑わしい情報Ｍが最上位に現れる。情報Ｍを完全に特定できなくても，疑わしい情報Ｍの集合，すなわち，容疑者を絞り込むことができる。従って，検査対象画像が発見されて不正流出経路を調べる事後調査において，調査作業を効率化することができる。

類似度判定処理１１０８では，情報Ｍの推定，および攻撃Ｂの推定により，下記の劣化透かし入り画像を利用する。
ｉＢ（Ｂ（ｉＡ（Ａ（Ｓ０＋Ｍ））））
この劣化透かし入り画像と検査対象画像Ｓｔを比較し，（数９）の演算が一致すれば，推定した情報Ｍ，攻撃Ｂは正しかったと考える。また，考えられる情報Ｍ，攻撃Ｂの組合せすべてについて，劣化透かし入り画像を作成した後，劣化透かし入り画像と検査対象画像の相関係数を計算し，考えられる情報Ｍ，攻撃Ｂの組合せ順に相関値の高いもの順に並べる。相関の計算においては，相関係数に加えて，サポート値，コンフィデンス値を補佐させる。このとき，最も疑わしい情報Ｍ，攻撃Ｂの組合せが，相関演算の最上位に現れ，容疑者リスト管理処理１１０６によって，容疑者リスト情報が保守される。攻撃Ｂの推定，情報Ｍの推定には，別の方法で得た不正者の行った操作記録を入手することによって行っても良い。

第３の実施例について説明する。

攻撃者が悪意を持って電子透かしを除去しようとするとき，同じ埋め込み情報を埋め込んだ透かし画を多数集めることにより，電子透かしを選択的に除去しようとする加算攻撃が考えられる。動画像の場合，時間方向に変化するすべてのフレーム画像を重ね合わせることにより，原画の信号変化が平均化されると，透かし信号だけが浮き上がって見えてしまうことがある。

仮に，多数のフレーム画像の統計として，無限に画像を加算していくと，原画の輝度が１〜２５６の間に分布しているとき，その平均値は１２８に近づく。透かし信号がなければ，加算攻撃により得られる加算画像の画素の輝度は，すべて理論値１２８に収束したグレー画像ができあがると期待される。しかし，（数１）により埋め込まれた透かし信号が加わった画像が加算されていると，（数１）により，１２８から＋αあるいは−αずれたところに収束していくことが攻撃者にとっての期待である。

すなわち，攻撃者は，加算攻撃によって，埋め込み強度，埋め込み位置を同時に推定しようとする。そして，推定された透かし信号（＋αあるいは−α）と透かし画各フレームの差分を作成することにより，透かし画から原画に近い絵柄を復元し，電子透かしだけを選択的に除去しようとする。

現実の画像フレームは有限個であり，絵柄の偏りがあるため，加算攻撃によって，上述したような平均値１２８の正規分布が得られる場合は考えられない。すなわち，加算攻撃による埋め込み強度，埋め込み位置の推定は完全ではなく，電子透かしを完全に除去できない。推定がある程度正しくても，推定された透かし信号と透かし画との差分を計算するときに，電子透かしの除去のために，推定透かし信号を定数倍（例えば１．５倍）してから，透かし画との差分を計算する場合，情報Ｍが消える可能性は高まるものの，Ｒ（Ｍ）が新たに生成されていく方向に画像処理される。情報Ｍが検出できなくてもＲ（Ｍ）が検出されることにより，強い加算攻撃が加えられたことが検知され，埋め込み情報Ｍが流出経路を示す場合に流出経路の特定につながる。このため，電子透かしの選択的な除去をたくらむ攻撃者にとって，推定された透かし信号で電子透かしが確実に消去できるかどうか不安である。

仮に，攻撃者が（数２）の電子透かし検出器の実装を利用できる場合，電子透かし信号消去の確認が可能となる。例えば，家電製品の映像再生装置に電子透かし検出器が組み込まれた場合に，映像から電子透かしが検出されたときに，不正コピーか正規のコンテンツかの識別を行い，不正コピーの再生を差し止めるような電子透かし利用法が考えられる。

このとき，映像再生装置の利用が電子透かし信号消去の確認に相当する。映像再生できることで電子透かしが消去されたと考えた攻撃者が，別の場所に不正コピーを再配布することを考えるかもしれず，被害が拡大しうる。

しかし，本実施形態によれば，（数２）だけで検出できなかった電子透かしも，検出できるようになる。このため，攻撃者が（数２）の電子透かし検出器の実装を利用できる場合においても，電子透かし除去の確認ができなくなるため，不正流通を思いとどまるなど，抑止効果が高まることが期待される。

電子透かし検出はアルゴリズムそのものを鍵として秘匿して，安全性を担保する。本実施形態では，アルゴリズムを第１の鍵とし，そのアルゴリズムの弱点を突かれた場合においても，原画を第２の鍵として，電子透かし検出性能を確保するものである。

なお，上述したような加算攻撃に対しては，時間軸方向に定期的に情報Ｍのビットの１，０を反転させたＲ（Ｍ）を用いて，埋め込んでおくことにより，攻撃耐性を高めることができる。すなわち，動画像のある時刻２ｔにおけるフレーム画像がＳ（２ｔ），埋め込み情報を情報Ｍとするとき，透かし入り画像Ｓ’（２ｔ）は，（数１）をベースとして，下式で求める。
Ｓ’（２ｔ）＝Ｓ（２ｔ）＋Ｍ
次の時刻２ｔ＋１においては，下式を用いる。
Ｓ’（２ｔ＋１）＝Ｓ（２ｔ＋１）＋Ｒ（Ｍ）
この埋め込み方法を用いれば，複数フレームの加算を行ったときに，情報ＭとＲ（Ｍ）が打ち消しあうため，加算攻撃によって電子透かしだけが浮かび上がることはない。また，１フレームおきにビット反転していても，これに対応するアルゴリズムで検出することは容易である。また，偶数奇数の時刻で切り替える以外にも，数フレームおきやランダムにビット反転させてもよい。情報ＭとＲ（Ｍ）を両方同じフレームに埋め込み，攻撃者をかく乱させることも有効である。単純なビット反転でなく，鍵を用いて，埋め込み情報を暗号化することにより，Ｅｎｃ（Ｍ）やＥｎｃ（Ｒ（Ｍ））を生成してもよい。この暗号化はアルゴリズムには依存しないが，共通鍵による暗号化を用いると，高速処理可能である。

さらに，電子透かしを埋め込まない位置の画素を利用して，可視画像を表現することも利用できる。例えば「禁複写」という牽制文字を表現した画像を（数１）の＋α側だけを利用して埋め込んでおくと，加算攻撃によって得られる加算画像には，禁複写という牽制文字が現れる。攻撃者に対して，想定された攻撃範囲であることを伝え，攻撃失敗を認識させ，抑止効果が期待できる。

音の場合の第４の実施例について説明する。

ここまで，ホスト信号として動画像を例にあげて実施例を説明してきた。ホスト信号が音楽の場合も同様である。攻撃内容を推定して劣化ホスト信号を作成し，劣化ホスト信号と検査対象信号の時間上の同期を合わせ，劣化ホスト信号と検査対象信号の差分を求めることによって，電子透かし信号が強調されて出力される原理は，第１の実施例と同様である。

音の圧縮符号化でよく用いられるＭＰＥＧでは，人間の可聴特性を考慮して冗長な信号を削減しようとする。例えば，数十Ｈｚの低周波数や２０ｋＨｚの高周波数の音に対しては人間の感度が低く，音圧（ｄＢ）の変化を検知しにくいことや，大きな音の前後で小さい音が聞きわけにくくなるマスキング効果が利用される。

音の圧縮符号化を行う処理部も動画同様にエンコーダと呼ばれる。エンコーダでは，サンプリングレート，ビットレート，ノイズフィルターのオンオフ，モノラル変換，音質などを指定することにより，音データの圧縮符号化ファイルを作成する。設定内容によっては，エンコーダ実装によって異なる出力を生成する。デジタル化に伴う量子化方法の違いや音質の考え方の違いに起因する。そこで，検査対象音からサンプリングレート，ビットレートを特定しうるものの，検査対象音だけから推定することが難しい音質設定などについては，動画像の場合と同様に，高音質設定を用いて検出を試みることにより，検出性能が向上する。

以上，本発明の実施の形態を具体的に説明したが，本発明は上記実施の形態に限定されるものではなく，その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

第１の実施例における，劣化原画像を用いるシステムの全体構成図である。 システムの利用場面を示すイメージ図である。 （ａ）は電子透かし埋め込み，検出の基本アルゴリズムを説明する図であり，（ｂ）は拡張アルゴリズムを説明する図である。 ＭＰＥＧ圧縮符号化画像をデコードする処理を説明する図である。 パラメータＢ推定戦略の処理手順を説明する図である。 信頼性マップ作成の詳細な処理手順を説明する図である。 信頼性マップ作成の全体の処理手順を説明する図である。 電子透かし検出方法の処理手順を説明する図である。 電子透かし埋め込み方法の処理手順を説明する図である。 図９を補足し，信頼性制御部分の処理手順を説明する図である。 第２の実施例における，劣化透かし入り画像を用いるシステムの全体構成図である。

符号の説明

１０１：原画像，１０４：透かし入り画像，１０５：パラメータＡ設定処理，１０６，１１３：エンコードＡ，１０７：透かし入り圧縮符号化画像，１０８：画像処理，１０９：検査対象画像，１１１：パラメータ推定処理，１１２：パラメータＢ設定，１１４：デコードＡ，１１５：幾何変形，１１６：エンコードＢ，１１７，１２０：デコードＢ，１１８，１２１：逆幾何変形，１１９：劣化原画像，１２２：差分計算処理，１２３：電子透かし検出，１２０１：透かし埋め込み装置，１２０２：エンコード装置，１２０３：画像処理装置，１２０４：透かし検出装置，１２０５：信頼性マップ情報。

Claims (6)

1. 情報を埋め込む対象である原ホスト信号に電子透かし技術を用いて情報が埋め込まれ，埋め込まれた前記情報を検出する電子透かし情報の検出方法であって，
   ホスト信号をデータ形式１に変換するためのエンコードＡのステップと，
   前記データ形式１に変換されたホスト信号を逆変換するためのデコードＡのステップと，
   逆変換された前記ホスト信号をデータ形式２に変換するためのエンコードＢのステップと，
   前記データ形式２に変換されたホスト信号を逆変換するためのデコードＢのステップと，
   前記データ形式１に変換されて配信された透かし入りホスト信号を読み取ることにより，前記エンコードＢのエンコード条件を指定するためのパラメータの設定を行い，不明なパラメータがあれば高品質な出力を得るパラメータの設定を行うステップと，
   を有し，
   設定された前記パラメータに基づいて，前記情報が埋め込まれていない原ホスト信号に，前記エンコードＡのステップ，前記デコードＡのステップ，前記エンコードＢのステップ，前記デコードＢのステップの処理を行った劣化ホスト信号を作成するステップと，
   前記情報が埋め込まれ，前記データ形式１に変換されて配信された透かし入りホスト信号を入力として受け付け，前記デコードBのステップの処理により復号化した復号化透かし入りホスト信号を作成するステップと，
   前記劣化ホスト信号と，前記復号化透かし入りホスト信号との差分信号を作成するステップと，
   前記差分信号から，前記埋め込まれた情報を検出するステップと，を備える
   ことを特徴とする電子透かし情報の検出方法。
2. 請求項１に記載の電子透かし情報の検出方法であって，
   デコードＡのステップおよび／またはデコードＢのステップにより，複数のブロックから構成されている前記透かし入りホスト信号を復号化する際に，ブロックの圧縮符号化の処理内容に基づく信頼性マップを作成するステップと，
   前記信頼性マップに応じて電子透かしの検出時に，信頼性を高く設定したブロックを優先的に復号するステップと，を備える
   ことを特徴とする電子透かし情報の検出方法。
3. 請求項２に記載の電子透かし情報の検出方法であって，
   前記信頼性マップを作成するステップは，前記透かし入りホスト信号を構成するブロックについて，可逆変換を用いて圧縮符号化されているブロックの信頼性を，前記信頼性マップ上で高く設定し，信号の予測や他のブロックを参照することにより圧縮符号化されているブロックの信頼性を低く設定するステップを備える
   ことを特徴とする電子透かし情報の検出方法。
4. 請求項２または３に記載の電子透かし情報の検出方法であって，
   前記信頼性マップを作成するステップは，前記エンコードＡのステップにより圧縮符号化された前記透かし入りホスト信号を対象として，前記デコードＡのステップを利用して前記信頼性マップを作成するステップと，
   前記情報の埋め込み位置および／または強度を制御するよう，前記信頼性マップを，前記透かし入りホスト信号を作成する装置に出力するステップを備える
   ことを特徴とする電子透かし情報の検出方法。
5. 請求項３に記載の電子透かし情報の検出方法であって，
   前記原ホスト信号が動画像であって，
   前記信頼性マップを作成するステップは，前記高品質な出力を得る設定として，全フレームをＭＰＥＧのＩフレームとして前記劣化ホスト信号を作成する
   ことを特徴とする電子透かし情報の検出方法。
6. 請求項１から５のいずれか一に記載の電子透かし情報の検出方法であって，
   前記原ホスト信号に代えて，前記原ホスト信号に電子透かし技術を用いて情報が埋め込まれた，データ形式１に変換される前の透かし入りホスト信号から，劣化透かし入りホスト信号を作成するステップを備え，
   前記パラメータを設定するステップは，前記劣化透かし入りホスト信号と前記データ形式１に変換されて配信された透かし入りホスト信号との差分から前記エンコードBのステップのパラメータ設定内容を推定するステップを備える
   ことを特徴とする電子透かし情報の検出方法。

Images