JP5486839B2 - 小型検出窓を利用した電子透かし埋め込み検出方法 - Google Patents

Description

本発明は，音信号などのデジタルコンテンツに識別情報を埋め込み，検出する電子透かし技術に関し，特に，音声の電子透かし検出性能を向上させる技術に関する。

近年，インターネット上では，動画投稿サイトが人気を集め，個人が創作した動画を共有することによって，新しいコミュニティができつつある。その一方で，動画投稿サイトには，著作権違反の不正コピーや，個人のプライバシーを侵害する盗撮動画等が投稿されることがあり，社会問題化している。不正な投稿により被害が生じても，多くの動画投稿サイトでは，投稿者の匿名性が高く，損害賠償などの被害回復につなげることが難しい。さらに，いったん共有された動画データは，さらに別のコミュニティでも共有されうるため，被害拡大防止も困難な状況にある。

不正に利用されうるコンテンツの著作権保護や身元確認が可能な技術の一つとして，電子透かし技術が期待されている。電子透かし技術は，コンテンツを微小に変更することによって，見た目に分からないように識別情報をコンテンツの中に埋め込み，検出する技術である。埋め込んだ識別情報は，フォーマット変換などの処理を経た後からでも，検出できるため，不正に投稿された動画の著作権主張，流通経路追跡などに応用できる。

電子透かし技術は，コンテンツの冗長部分を利用して，埋め込んだ識別情報を表現する技術である。例えば，動画投稿サイトへの投稿時には，高い圧縮率での再圧縮符号化処理などの複合的な処理を伴う。これらの処理は，いずれもコンテンツの冗長部分を非可逆に圧縮符号化することにより，データ量を削減しようとする。このため，冗長部分に埋め込まれた識別情報も，処理を経るたびに削られていくこととなる。このように，コンテンツ流通過程で受けるコンテンツに対する操作は，電子透かしを意図的に除去しようとするものもあれば，別の意図に基づいてコンテンツ操作がなされ，結果的に電子透かしが除去される場合もある。これらを合わせて，利用者の意図に関わらず，透かし入りコンテンツに対する操作を，電子透かしに対する攻撃とも呼ぶ。電子透かしは，攻撃に対して耐性を持たなければならない。このため，縮小や圧縮符号化などの処理に対して耐性をもつ電子透かし方式が提案されているものの，すべての攻撃に対して１００％有効な方式は，いまだ提案されていない。特に，不正ユーザの手によって，何の処理が加えられるかがわからず，電子透かしの検出が困難化しがちである。

コンテンツの種別を問わず，画像，音，文書データなどの信号全般について，電子透かしの検出高性能化は強く求められている。動画，静止画，音など，電子透かしを埋め込む対象となる信号のオリジナルデータを，電子透かしで埋め込む情報が寄生する宿主の意味で，ホストデータあるいはホスト信号と呼ぶ。これに対して，電子透かし埋め込み後の信号を透かし信号と呼ぶ。電子透かし技術においては，埋め込みと検出が一体化しており，ホスト信号に対して大きな変化を与えることによって電子透かしを強く埋め込めば，検出が容易化する。しかし，強すぎる電子透かしは，ホスト信号のノイズとして知覚されやすくなり，利用者サービスの質を低下させるため，実用上，あまり強い信号を使いにくい。

電子透かしの検出にはホスト信号を用いる技術と，ホスト信号を必要とせず，検査対象信号単体から検出可能な技術がある。より多くの情報を活用できる点で，前者が性能上優れた潜在能力をもつ。しかし，従来技術では，その潜在能力を活用する具体的な方法が開示されていなかった。

特許文献１では，ホスト信号と透かし信号の差分を利用する一例として，次のような開示がある。

「抽出処理において、上記検査対象画像を、上記原画像と同縮尺のサイズに幾何変換し、上記原画像を各々劣化させた複数種類の劣化原画像を作成し、幾何変換した検査対象画像と複数種類の劣化原画像の各々との間の差分をとった複数の差分画像を作成し、複数の差分画像の各々から、上記認証用情報に相当する情報を抽出することを特徴とした電子透かし画像の認証方法」を提供する。

特許文献２では，ホスト信号と透かし信号の同期を取る技術の一例として，次のような開示がある。

「（１）平坦な領域において、データを削除したり追加しても、ほとんど人間が認知できない。（２）急激な変化の直前の平坦な領域において、データを削除したり追加しても、ほとんど人間が認知できない」
「音データを入力する手段と、音データに情報を埋め込む手段を有する情報処理システムにおいて、人間に知覚できない、あるいは、人間の音参照の妨害にならない音データのデータ値変更の範囲を求め、上記変更可能範囲内で音データの値を変更することにより情報を埋め込む」
「加工候補点検出４により原音データ２の加工候補点データ５を作成する。次に、スタート位置検出２２により原音データ２と被検査音データ１３と加工候補点データ５を用いてスタート位置データ２３を検出する。次に、透かし情報検出２４により原音データ２と被検査音データ１３と加工候補点データ５を用い検出透かし情報データ２５出力する」。

特許文献３では，電子透かしの繰り返し埋め込み技術の一例として，次のような開示がある。

「音声コンテンツのチャネルごとのＰＣＭデータに対し、複数の鍵を用いて透かし信号の検出値を計算する透かし信号検出部１１と、各チャネルおよび各鍵に対応する検出値を、各チャネルおよび各鍵の可能な組合せごとに加算する複数の検出値加算部１２と、この複数の検出値加算部１２による各加算結果の中から１つの加算結果を選択して出力する比較選択部とを備える。また、この検出値を異なる蓄積周期で蓄積し蓄積された検出値から電子透かしとして埋め込まれたメッセージを復元すると共に、音声コンテンツの境界検出を行って、電子透かしの埋め込まれた音声コンテンツの検出を行うメッセージ復元部１３と、このメッセージ復元部１３による各処理結果を合成して出力する検出結果出力部１４とを備える。」

特開２０００−７６４１８号公報 特開２０００−２４２２８６号公報 特開２００５−２８４０８５号公報

特許文献１では，画像の場合の実施例の開示であり，ホスト信号と透かし信号の同期を取る方法が具体的に開示されていない。

特許文献２では，ホスト信号と透かし信号の類似度判定によって同期を取る一方式を開示するものの，両者の差分を得るための同期方法ではない。

特許文献３では，微弱な電子透かしを埋め込むときに，蓄積周期を変えながら繰り返し埋め込み，検出時に，これらを集めてから検出しようとするため，検出単位となる再生時間が長くなる。この発明に基づいて電子透かしを構築すると，検出に要するコンテンツ再生時間が数十秒といった検出単位となる。

本発明は，小さな検出窓を利用した電子透かし埋め込み検出方法によって，短いコンテンツ再生時間からの電子透かし検出が可能な方法を提供する。

本明細書において開示される発明のうち，代表的な構成と作用を簡単に説明すれば以下のとおりである。

埋め込みの準備として，識別情報に管理情報，誤り訂正符号を付与して符号化された埋め込み情報に対して，利用者に対して秘匿する鍵を用いて電子透かしパターンを構成する。

ホスト信号に対して，埋め込み窓を設定し，微弱な電子透かし強度を用いて，電子透かしパターンを繰り返し埋め込む。ここで，埋め込み窓は，ホスト信号の参照開始位置，埋め込み窓のデータ長から構成する概念上のデータアクセスインタフェースである。埋め込み窓はコンテンツ再生時間の長さの意味で小さな埋め込み単位（再生時間）として構成する。埋め込みは信号の振幅値を微小に変更することによって行う。

検出においては，ホスト信号を参照信号とする。参照信号と透かし信号の差分データを生成し，埋め込み窓と同じサイズの検出窓を設定し，検出窓は小さな検出単位（再生時間）として構成し，検出窓から参照できる差分データから，電子透かしパターン候補を取り出す。なお，検出窓は，参照信号の参照開始位置，透かし信号の参照開始位置，検出窓のデータ長から構成する概念上のデータアクセスインタフェースである。電子透かしパターン候補は，透かし信号が受けた信号処理によって，埋め込み時に用いた電子透かしパターンと異なる場合が多い。

取り出した電子透かしパターン候補に対して，埋め込みに用いた鍵の逆演算を行い，識別情報を抽出する。誤り訂正に成功した電子透かしパターン候補は電子透かし検出成功である。一方，埋め込み窓と検出窓の同期がずれている場合には電子透かしパターン候補が適切に復元されていないため，電子透かし検出に失敗する。このとき，参照信号の参照開始位置，および，透かし信号の参照開始位置の値，検出窓のサイズを調整して，電子透かし検出を繰り返すことにより，適切な検出窓を定め，電子透かしが検出可能となる。

また，本明細書において開示される発明のうち，別の代表的な構成と作用を簡単に説明すれば以下のとおりである。

ホスト信号として，Ｔｅｘｔ−ｔｏ−Ｓｐｅｅｃｈなどの合成音声を用いる場合，音声合成ソフトを用いて合成音声ファイルを出力する前に，音声合成ソフト利用者ＩＤを電子透かしによって埋め込む。検出時に置いては，透かし信号の再生音声を解釈し，音声構成要素を抽出生成することにより，ホスト信号を直接用いずに，音声合成によって参照信号を得ることができる。この参照信号を利用して電子透かしが検出可能となる。

本明細書において開示される発明のうち，代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

透かし信号に加えられた信号処理によって，透かし信号は時間軸上の伸長縮小，周波数の変化，振幅の変化，ノイズの重畳など，多様な変化が生じ，かつ，これらの変化量もケースバイケースである。

全体として大きな信号劣化が生じている場合においても，参照信号を利用し，小さな検出窓を利用することによって，激しく変化した部分の情報を信頼せずに，変化の小さかった場所から電子透かしを検出することができる。例えば，局所的なピッチ変化などがあっても，他の再生時間における電子透かし検出処理に影響が及ばない。

上記態様は，ホスト信号として合成音声を用いる場合にも効果的である。埋め込みと検出に同じ音声合成ソフトを用いれば，ホスト信号そのものを保持管理しなくても，合成音声を再合成することによって参照信号を作成し，電子透かし検出が可能となる。電子透かしの埋め込みより，合成音声ソフトの利用者ＩＤを埋め込むと，合成音声ソフトの利用規約外の不正な合成音声が流出していたときに，不正利用者を特定した上で，音声合成ソフトの利用違反についての被害回復などの対策を取ることができる。再合成した参照信号は，利用者の個別チューニングによって局所的にホスト信号と一致していない場合もあるものの，多くの部分については，合成音声ソフトのデフォルト設定に従って出力されていて両者は類似した信号になると期待される。従って，再合成した参照信号によってでも，検出性能が向上する。

上記態様によると，参照信号がなくても，電子透かしパターンのサイズＬのｎ倍の長さＬ＊ｎをもつ大きな検出窓を用いることによって電子透かし検出が可能である。ｎは，特殊なコンテンツに対して理論値１以上の整数であるが，通常のコンテンツでは，埋め込み操作によってコンテンツ内に恣意的に作成した統計量が，統計的に意味を持つよう大きな数字，例えばｎ＝３０などが必要である。
一方，ホスト信号を参照信号として利用する場合，電子透かしパターンのサイズＬに対して，位相ずれ量ｍ（ｍ≧０，例えば後述の実施例ではｍ＝３）を加えた（Ｌ＋ｍ）以上の小さいサイズの検出窓，すなわち，小型検出窓での電子透かし検出が可能となり，検出性能が向上する。また，ホスト信号を直接利用しない場合でも，再合成信号を参照信号として利用することにより，小型検出窓での電子透かし検出が可能となり，検出性能が向上する。

さらに，参照信号を利用して，小型検出窓で検出位置を丹念に調べることにより，電子透かし検出の高性能化，すなわち，信頼性の向上，証拠性の向上，高速化および検出率の向上，が可能となる。さらに，検出性能の高性能化の効果が期待できるために，電子透かしの埋め込み処理における強度２１４の設定値α４０９を小さな数値として，透かし信号を微弱なものとしても，安定的な検出性能を発揮できる。このことから，電子透かしの埋め込みにおいて，音質劣化が少なく高音質な音データの出力が可能という効果が得られる。知覚モデルの分析において複雑な計算を行わなくても音質劣化が少ないため，埋め込み処理の高速化も実現できる。また，検出窓の小ささは，検出処理の高速度化，高分解能化にもつながる。

本発明によれば，短いコンテンツ再生時間であっても，電子透かし検出が可能になる。

第１の実施例の構成図である。 埋め込みユニットの説明図である。 埋め込み方法のＰＡＤである。 埋め込みデータフローの説明図である。 検出ユニットの説明図である。 検出窓の概念説明図である。 検出方法のＰＡＤである。 検出データフローの説明図である。 検出窓位置調整方法の説明図である。 第２の実施例の構成図である。

以下，本発明の実施の形態を図面に基づいて詳細に説明する。なお，実施の形態を説明するための全図において，同一の部材には原則として同一の符号を付し，その繰り返しの説明は省略する。

第１の実施例は，ホスト信号として音を取り上げ，電子透かし埋め込み検出システムであって，特に，検出時に原音を利用できる環境において，次のシステム構成を提供することにより実現した。以下では，ホスト信号と原音と原信号はいずれも同じ意味で用いる。

図１に，第一の実施例における電子透かしシステムのシステム構成図を示す。

電子透かしシステムは，ネットワークで相互接続された管理サーバ１１２，電子透かし埋め込み装置１０１，電子透かし検出装置１０２から構成する。

電子透かし埋め込み装置１０１，電子透かし検出装置１０２は，それぞれ，入出力手段としてマルチモーダルインタフェースおよび機器接続インタフェースを備え，さらに，ＣＰＵとディスクとメモリを搭載した計算機上に，ＣＰＵがディスクあるいはメモリに格納されているプログラムを実行することにより，後述する埋め込み方法，検出方法を実現したものである。各プログラムは，あらかじめ，上記ディスクあるいはメモリに格納されていても良いし，必要なときに，機器接続インタフェースと上記計算機が利用可能な媒体を介して，他の装置から上記記憶装置に導入されてもよい。媒体とは，たとえば，機器接続インタフェースに着脱可能な記憶媒体，または通信媒体（すなわち有線，無線，光などのネットワーク，または当該ネットワークを伝搬する搬送波やディジタル信号）を指す。

電子透かし埋め込み装置１０１の利用者は，電子透かし埋め込み装置１０１に原信号１１０を入力し，利用者入力あるいは自動設定による識別情報１０４を設定する。符号化１０５，透かし鍵設定１０８，強度調整１０６，重畳１０７のそれぞれ処理を経て，原信号１１０に識別情報１０４が埋め込まれた透かし信号１０９を得る。

透かし信号１０９はそのまま再生利用してもよいし，同じ利用者あるいは他の利用者によって，ＭＰＥＧなどの圧縮符号化を行ってから再生利用してもよい。場合によっては，再圧縮符号化やノイズフィルタ処理などのさまざまな信号処理が加えられることがある。信号処理後の透かし信号は，元の透かし信号と比較した場合に，何らかのノイズが載る形で信号波形の変化を伴う。電子透かしは，一般にこれらの信号処理に対して耐性を備えており，信号処理後の透かし信号の中から検出することができる。一方，不正コピーなどで流通したコンテンツを対象として検出する場合には，これから検査しようとする信号に電子透かしが埋め込まれているかどうかも不明である。そこで，信号処理後の透かし信号を含めて，これから検査しようとする信号を検査対象信号１１１と呼ぶ。

電子透かし検出装置１０２の利用者は，電子透かし検出装置１０２に検査対象信号１１１を入力する。さらに，必要に応じて，検査対象信号１１１に対して，解釈手段１１３を実施することにより，管理サーバ１０３に原信号を照会し，参照信号１１４を入手し，これを電子透かし検出装置１０２に入力する。管理サーバに照会した原信号は，検査対象信号１１１を解釈して照会するものであり，原信号１１０と等価とは限らない。この照会によって蓄積管理処理１１２は，原信号１１０あるいは原信号１１０に類似する参照信号１１４を返す。解釈手段１１３で信号特徴量の抽出を行い，蓄積管理事にあらかじめ登録してあった原信号１１０あるいは他の信号の特徴量との照合によって，特徴量が類似する信号を，蓄積管理された多数の原信号の中から探し出すことは容易に実現できる。例えば，蓄積管理１１２において，原信号１１０を圧縮符号化したものを保存し，これを参照信号としてもよい。

電子透かし検出装置１０２では，検出窓調整１１７，調整差分１１５，検出１１６，透かし鍵設定１１８の処理を行い，検査対象信号１１１から電子透かしを検出できれば，識別情報１１９として出力する。なお，埋め込み時に透かし鍵設定１０８で設定した透かし鍵のデータは，検出時にも同じデータを利用する。

図２を用いて，透かし埋め込み装置１０１における埋め込み処理フローを説明する。

電子透かし埋め込み装置１０１は，埋め込みユニット２０１を含む。統括制御２０４は，埋め込みユニット２０１全体の処理の流れを統括的に制御する。原信号２０２は入力制御処理２０３によって，読み込まれ，知覚モデル処理２０６に基づく音質評価分析を行い，分析結果を強度調整処理２１０に反映させる。さらに，原信号２０２へのアクセスインタフェースを設定する，埋め込み窓設定処理２０７を行う。透かしパターンを原信号に重畳する際に，埋め込み窓を通して，原信号のうち埋め込み窓から参照可能な一部分に対して，透かしパターンと原信号の重畳処理２１１を行う。透かしパターンを繰り返し埋め込む際には，埋め込み窓を移動させながら，繰り返し重畳処理２１１を行う。埋め込み情報２０５，透かし鍵２１３，強度２１４など利用者の入力，あるいは，自動設定に基づくパラメータ制御処理２１５を行い，符号化処理２０８，透かしパターン生成処理２０９，強度調整処理２１０，重畳処理２１１，出力制御処理２１２の各処理を経て，透かし信号２０３が生成される。

知覚モデル処理２０６について，補足する。例えば，無音時間帯に電子透かしを埋め込むと，電子透かしだけが音として聞こえる状態となって，小さな音であっても一部の視聴者にとっては耳障りな場合もある。加えて，電子透かし部分と原信号部分が容易に分離可能となってしまうため，透かし信号をデータとして閲覧可能な第３者には，電子透かしアルゴリズムを類推される危険がある。電子透かしはアルゴリズムを秘匿することによってセキュリティを担保するため，長時間の無音時間帯に電子透かしを埋め込むことは，セキュリティ上好ましくない。知覚モデル処理２０６では，原信号の振幅値が予め定めた閾値ｓ１より小さい値のデータが，予め定めた閾値ｓ２より多くの回数連続的に続くかどうかによって無音時間帯を判定する。その無音時間帯に電子透かしを埋め込むことを回避するルールを設定し，埋め込み可否マスクとして，重畳処理２１１に伝達する。知覚モデルの他の実現方法として，特許文献２に記載された方法を用いてもよい。他にも非可聴時間帯に埋め込むよう制御する方法や非可聴周波数帯に埋め込む方法なども，一般に知られている。

図３を用いて，埋め込み方法のＰＡＤについて説明する。

ステップ３０１において，原信号データをオープンしメモリ入力する。

ステップ３０２において，知覚モデルの計算を行う。

ステップ３０３において，埋め込み窓の初期設定を行う。すなわち，原信号を格納したメモリへのアクセスアドレスを取得，データ長を設定する。

ステップ３０４において，入力データが終わるまで，以下のステップの繰り返し処理の制御を行う。

ステップ３０５において，埋め込み情報の設定を行う。

ステップ３０６において，透かしパターンの形成を行う。

ステップ３０７において，電子透かし強度の設定を行う。

ステップ３０８において，原信号への透かしパターンの重畳処理を行う。

ステップ３０９において，電子透かしが埋め込まれた透かし信号を出力バッファに書き出す。透かし信号は，即座に電子透かし埋め込み装置の出力制御によって，ファイル出力，あるいは，ネットワーク出力，直接音声出力される。

ステップ３１０において，埋め込み窓を移動する。ステップ３０４において，入力データが終わるまで，以上のステップの繰り返し処理の制御を行う。

ステップ３１１において，バッファのフラッシュ，オープンしたファイルをクローズするなど，終了処理を行う。

図４を用いて，埋め込みデータフローについて説明する。

埋め込み情報４０１は電子透かしで信号の中に埋め込む情報であり，識別情報１０４，埋め込み情報２１６と技術的に同等である。埋め込み情報４０１の例は，ユーザＩＤとして「Ｘ１Ａ」および日付情報として「２００９年４月１日１２：００」の文字列を示すデータである。例えば，４０ビットあれば，１０００年以上の符号化日付表現が可能である。ユーザＩＤに２４ビットを割り振ると，１００万人以上の利用者を識別できる。日付とユーザＩＤを表現する埋め込み情報４０１を６４ビットで構成できる。さらに多くのビット数を搭載してもよい。データベースに関連情報を登録し，データベース上に関連情報を格納したレコードの識別子を埋め込み情報として，さらに多くのビット数の関連情報と，透かし信号データを関係つけてもよい。

符号化埋め込み情報４０４は，符号化処理２０８により，埋め込み情報４０１をビット列で表現し，管理情報４０２，誤り訂正符号４０３を付与したビット列である。管理情報４０２には，多目的な固定値を用いてもよいし，製品提供者名やライセンス条件情報などを入れてもよい。誤り訂正符号４０３にはＢＣＨ方式，ｆｉｒｅ方式などが利用できる。

透かし鍵４０５は，符号化埋め込み情報４０４を透かしパターン４０７に変換するための変換規則情報４１７である。透かし鍵４０５は，変換前のビット位置４１８，変換後に正の値を取るビット位置４１９，変換後に負の値を取るビット位置４２０の情報から構成する。正負２値でなくとも３値以上の論理を用いてもよいし，正負いずれか片方でもよい。なお，透かし鍵４０５を透かし埋め込み装置１０１に設定する前に事前に暗号化しておき，ネットワーク経由の認証処理あるいは正規利用者に対して限定的に配布した復号鍵を用いて，利用時に透かし鍵４０５を取り出してもよい。透かし鍵４０５は同じものを検出時にも用い，検出時の利用においても同様の暗号化処理を透かし鍵４０５に施してもよい。

透かしパターン４０７は，透かし鍵４０５に指定された配置に基づいて，符号化埋め込み情報４０４を，拡散および／あるいは攪拌および／あるいは繰り返し処理４０６を施したビット列である。図４の例のように，３ビットごとにデータを拡散させている場合，１ビットずつずれた位置，すなわち，位相のずれた位置に３回同じパターンを繰り返し定義することも可能である。３回同じパターンを位相のずれとして，符号化埋め込み情報４０４を表現することにより，埋め込み窓のサイズＬに対して，Ｌ＋３のサイズの領域内に３回符号化埋め込み情報４０４を表現してもよい。さらに，ランダムな拡散，攪拌，繰り返し方法を用いてもよい。

知覚モデルデータ４１０は，知覚モデルデータ４２１に示したデータ構造を持ち，原信号４１４のデータ位置４２２と信号の振幅値の許容変動範囲４２３を備えた例を示している。周波数帯の知覚モデルの場合など，別の知覚モデルデータ形式としてもよい。

強度補正透かしパターン４０８は，透かしパターン４０７に対して，あらかじめ指定された透かし強度設定値α４０９との積を求め，さらに，知覚モデルデータ４２１の許容範囲４２２を用いて上限と下限を設定して得るものである。あるいは，知覚モデルデータの許容範囲４２２と原信号の振幅値の積を取ってもよい。知覚モデルデータを用いなくてもよい。

原信号４１４は，信号の振幅値の集合として表す。振幅値を正規化して用いてもよい。原信号には，透かしパターン４０７と同じ大きさの埋め込み窓４２４を設定する。埋め込み窓の位置４１５の初期値は，原信号４１４の先頭である。最初にすべての原信号４１４を読み込んでもよいし，逐次，埋め込み窓４２４をずらしながら原信号４１４を読み込んで利用してもよい。

透かし信号４１３は，重畳処理４１２によって原信号４１４と強度補正透かしパターン４０８の和を求め，さらに，データ格納形式に応じた信号値の上限と下限を設定して得るものである。また，透かしパターン４０７と原信号４１４の振幅値の値を直接加算するのではなく，ＦＦＴなどの周波数変換処理を用いて，原信号の振幅値の集合を周波数領域に変換した後に埋め込み，逆変換して得られる振幅値の集合を透かし信号としても，電子透かしとして機能する。このとき，検出時にも，対応する同様の周波数変換および逆変換の処理が必要となる。

図５を用いて電子透かし検出装置１０２における透かし検出フローの説明を行う。

検出ユニット５０１は電子透かし検出装置１０２に含まれる。統括制御処理５０３は電子透かし検出処理全体の処理の流れを統括的に制御する。

検出窓調整処理５０８は，検査対象信号５１４および参照信号５０２へのアクセスインタフェースとして検出窓を設定する。

調整差分処理５１１は，検出窓を介して検査対象信号５１４を読み込み，参照信号５０２があれば参照信号５０２も読み込み，検査対象信号５１４と参照信号５０２の同期を調整しながら調整差分データを作成する。

増幅／閾値判定処理５０９は，調整差分データを増幅し，あらかじめ定めた閾値によって適切に量子化判定する。参照信号５０２がなければ，重畳処理５１０によって，前後の検出窓のデータと重畳保存しておき，あらかじめ定めた重畳回数の経過後に，重畳データを対象として以降の検出処理を行う。なお，検査対象信号５１４に電子透かしが埋め込まれているとき，検査対象信号５１４を原信号成分と透かしパターンの信号成分の和と考える。このとき，検出窓単位で透かし信号を重畳していくと，原信号がランダムにばらつく前提においては原信号成分がゼロ界隈に収束していく原理であり，一方，人為的な透かしパターンの信号成分だけが浮き上がる。

透かしパターン照合処理５０７は，埋め込み時に利用した透かし鍵５１３を用いて，透かし鍵５１３による拡散／攪拌／繰り返し処理４０６の逆変換に相当する処理を行うことにより，埋め込み情報５１２を再現しようとするものである。透かし鍵データ４１７において，正のビットと設定されている箇所４１９と，負のビットと設定されている箇所４２０について，それぞれ，検出した透かしパターンとの符号の類似度を求める。

予め定めた閾値を用いて，閾値より大きな類似度を得ることを検出に成功と解釈し，検出成功していれば，復号化処理５０５，出力制御処理５０４を経て，埋め込み情報５１２が出力される。

検出が不成功のとき，参照信号評価処理５０６によって，透かしパターン照合処理５０７で得られた類似度を，検出窓調整処理５０８にフィードバックして，検出窓の位置，サイズを調整する。

図６を用いて検出窓の概念を示す。

電子透かし埋め込み直後の透かし信号と比べて，音声エンコードなどの各種信号処理を経た検査対象信号は，同期がずれていることがある。さらに，局所的にピッチが微小に伸び縮みしたり，直流成分が混じって信号電力が増減したり，ローパスフィルタ処理のように特定の周波数成分だけが微弱化したり，多種多様な変化が考えられる。

検査対象信号に対して，検出窓を設定する。

検出窓は，検査対象信号に対するアクセスインタフェースであり，検出処理では，検出窓を介して検査対象信号の一部データを参照する。

同期がずれていると，検出窓の位置が変化する。この変化量は一定ではなく，検出窓ごとに変化量が異なる。さらに，検出窓の大きさは，初期値として埋め込み窓と同一サイズを設定するが，ピッチ変換がある場合，埋め込み窓と異なるサイズの検出窓を設定し，参照信号振幅値ｎ個と検査対象信号振幅値ｍの対応関係について処理を進める必要がある。参照信号と検査対象信号の調整差分を求める処理では，これらが適切な対応関係に至るよう調整しながら差分を求める。

図７を用いて，検出方法のＰＡＤについて説明する。

ステップ７０１において，検査対象信号ＴＡＲ［０．．Ｎ］を読み込む。

ステップ７０２において，検出窓サイズの初期設定値Ｌを埋め込み窓サイズに基づいて設定する。

ステップ７０３において，検出窓の位置Ｐの初期設定をゼロとする。

ステップ７０４において，検出窓を調整しながら以降の検出を繰り返し，検査対象信号のサンプル終了位置に検出窓がかかるとループ処理を終了する。

ステップ７０５において，検出窓のシフト位置Ｑを初期値Ｐ，ピッチ調整値Ｕの初期値ゼロとして設定する。

ステップ７０６において，検出窓のシフト位置Ｑが，検出窓の位置Ｐの前後について，検出窓の長さの半分までの範囲で，検出窓の位置やピッチ調整値を調整しながら，以降の検出処理を繰り返す。

ステップ７０７において，ステップ７０６のループを抜け出した後，検出窓の位置Ｐの値を，検出窓のサイズＬだけ増加させて，ステップ７０４のループを繰り返す。

ステップ７０８において，参照信号がある場合，ステップ７０９を実行する。参照信号がなければ，ステップ７１３を実行する。

ステップ７０９において，参照信号データをオープンし，読み込む。

ステップ７１０において，検査対象信号ＴＡＲ［Ｑ．．Ｑ＋Ｌ＋Ｕ］と参照信号ＲＥＦ［Ｐ．．Ｐ＋Ｌ］の調整差分を生成，増幅し，調整差分データＤ［０．．Ｌ］を得る。

ステップ７１１において，調整差分データＤから透かし検出を行う。

ステップ７１２において，検出窓からアクセスする範囲において，検査対象信号と参照信号との同期の度合いを評価する。

ステップ７１３において，検査対象信号ＴＡＲ［Ｑ．．Ｑ＋Ｌ］を蓄積保存する。対応する検出窓に関わるパラメータ（シフト位置，ピッチ調整値）ごとに検査対象信号を蓄積してもよい。蓄積されたデータあるいは蓄積されたデータを重畳したデータから電子透かし検出を行う。

ステップ７１４において，検出に成功したかどうか判定を行う。成功していれば，ステップ７１５を実行し，失敗していれば，ステップ７１６を実行する。

ステップ７１５において，ステップ７０６の制御下にあるループを脱出し，ステップ７０７を実行する。あるいは，検出成功時にはステップ７１９に直接進んでもよい。

ステップ７１６において，蓄積されたデータ上に新しい検出窓のデータを重畳する。参照信号がある場合，この処理は省略してもよいし，実行してもよい。

ステップ７１７において，検出窓の位置を微調整する調整値Ｓの計算を行い，検出窓の位置Ｑの値をＰ＋Ｓに更新する。

ステップ７１８において，ピッチ調整値Ｕの計算を行う。−５〜５など固定値範囲を設定してもよい。ステップ７０６の判定に処理を戻す。

ステップ７１９において，検出結果を集計する。検出率などの性能指標を求める。必要に応じて，複数の埋め込み窓に分散して格納した情報を，複数の検出窓から分散して検出し，情報を再結合してもよい。

ステップ７２０において，検出成功したかどうかの判定を行う。成功していれば，ステップ７２１において，結果を出力するとともに，埋め込み情報を出力する。埋め込み情報に関係付けられた別の情報をサーバなどから取得あるいは演算して，同時に出力してもよい。

図８を用いて，検出データフローについて説明する。図８では，図４の埋め込みデータフローで用いた用語，データ構造と技術的に同等な部分が多く，両者の用語定義は技術的に同等である。また，埋め込みデータフローと比べて，基本的には逆向きにデータが流れる。

検査対象信号８１３に検出窓８１７を設定し，参照信号８１４があるときに，参照信号８１４との調整差分を取得する処理８１２を行う。検査対象信号８１３にかけられた検出窓８１７は，シフト位置の調整後，位置Ｑ８１６から位置（Ｑ＋Ｌ＋Ｕ）の範囲であり，参照信号８１４の対応するデータ位置は，位置Ｐ８１５から位置（Ｐ＋Ｌ）の範囲である。データサイズが異なる場合には，ピッチ変換を行って，検出窓８１７の範囲にある検査対象信号８１３を，参照信号８１４のサイズ，すなわち，埋め込み窓４２４に設定したサイズに合わせてから，差分を生成する。

検出窓８１７を通して調整差分によって得られた透かしパターン候補８１１は，埋め込みデータフローにおける強度補正透かしパターン４１１に相当する情報であるものの，シフト位置やピッチの変化を伴う信号処理が加えられている場合には，かならずしも，強度補正透かしパターン４１１と同一データ集合が復元されない。このため，これを透かしパターン候補８１１と呼ぶ。シフト位置，ピッチ調整値が理想的に調整されれば，透かしパターン候補８１１を適切に増幅し，閾値を用いて，適切な透かしパターン８０７を抽出できる。増幅前に，透かしパターン８０７に関わらない周波数のノイズを除外するフィルターなどを適用してもよい。

埋め込み窓のサイズＬに対して，検出窓のサイズＬを初期値とする。検出窓の中で，位相のずれた位置に３回符号化埋め込み情報４０４が埋め込まれている場合には，符号化埋め込み情報４０４を表現した埋め込み窓のサイズＬに対して，Ｌ＋３のサイズの領域内に３箇所の透かしパターン候補８１１が存在する。検出窓のサイズをＬ＋３として，抽出位置を１ビットずつシフトしながら，透かしパターン候補８１１を３個抽出し，透かしパターン候補（８１１）３個の平均値に対して，予め定めたゼロ近傍の閾値との比較によって正負を判定し，透かしパターン８０７を得る。音データ上でのアドレス，あるいは位置Ｑに設定したｉ番目の検出窓に対して，さらに，（ｉ＋１）番目の検出単位となるデータ上のアドレスは，（Ｑ＋Ｌ），あるいは，（Ｑ＋Ｌ＋３）となる。ｉ番目の透かしパターン候補（８１１）の平均値に，（ｉ＋１）番目の透かしパターン候補（８１１）の平均値を加えてもよい。そうすれば，さらに検出性能が安定する。検出単位の長さは，検出窓のサイズの２倍となる。さらにｎ倍の長さの検出窓のサイズを利用してもよい。

透かしパターン８０７が抽出できると，埋め込みに用いた透かし鍵８０５のデータを参照し，ビット値を判定できる。具体的には，まず，透かしパターン８０７のビット列ＷＰ［０．．Ｌ］において，透かし鍵８０５のｉ番目の拡散前ビット情報４１８は，透かし鍵４１７において定義された正のビット位置４１９とされる場所（Ｋｉｐ）と負のビット位置（Ｋｉｍ）とされる場所４２０，すなわち，ＷＰ（Ｋｉｐ）とＷＰ（Ｋｉｍ）を参照する。これらの差分，すなわち，ＷＰ（Ｋｉｐ）−ＷＰ（Ｋｉｍ）が予め定めた閾値よりおおきな正の数値であれば，符号化埋め込み情報のビット値は１，予め定めた閾値より小さな負の数値であれば０と判定できる。この処理を符号化埋め込み情報のすべてのビット値について行う処理８０６により，符号化埋め込み情報４０４を復元する。このとき，同時に参照信号評価８０９を行う。符号化埋め込み情報４０４から，管理情報８０２，誤り訂正符号８０３を用いて誤り訂正を行い，誤り訂正に成功すれば，埋め込み情報８０１の抽出が完了する。検出時のビット値検出判定結果の信頼性が高い場合には，誤り訂正を行わなくてもよい。

図９を用いて，検出窓８１７のシフト位置８１６の調整方法（図７ステップ７１７）について補足説明する。検出窓のシフト位置の調整は，図７に示す検出窓位置調整値Ｓによって行う。検出窓８１７のシフト位置８１６は，検出窓８１７のシフト位置８１６の初期値に，検出窓位置調整値Ｓを加算して算出する。Ｓの値の変え方によって，検出に至るまでの処理時間が異なる。図９（ａ）（ｂ）（ｃ）ではいずれも，横軸が調整回数であり，縦軸は，検出窓位置調整値Ｓの値を示す。検出窓位置調整値Ｓの値をどのように変化させるかによって，検出成功に至るまでの処理時間が変わる。

図９（ａ）に示す探索方法においては，Ｓの値を順次増加させることにより，考えうる調整範囲を端から順に見ていく方法である。実装が簡単となる反面，適切なシフト位置を見出すまでの処理時間が平均的に長くなる。

図９（ｂ）は，信号処理によるシフト位置が小さいと予想される場合に有効なアプローチであり，シフト量ゼロから開始して，正負両方に探索範囲を広げていく。ループを廻すたびに，符号反転する変数とカウントアップする変数と，予め定めた定数βの積として調整値Ｓを得る。調整値Ｓは１きざみに限らず，１未満の小数点単位数値の場合もあり，２以上の場合もある。あるいは，予め定めた変換テーブルや変換関数を用いてもよい。

図９（ｃ）は，検出が成功する位置を予測しながら調整値Ｓの値を変更していく方法であり，適切なシフト位置を平均して高速に見つけることができる。これは，電子透かし検出処理（図７）において，透かし鍵と透かしパターンの一致度合いを照合し，参照信号評価（図７ステップ７１２）することにより，検出窓の調整方法に反映（図７ステップ７１７，ステップ７１８）する形で行う。具体的には，次の演算手順によって実現できる。

透かし鍵のデータにおいて，拡散後に正の数となるデータ位置の集合Ａと，拡散後に負の数となるデータ位置の集合Ｂがある。検査対象信号から抽出した透かしパターンのビット値集合において，Ａのデータ位置に属するビット値部分集合のうち，さらに正の値を取っているビット値部分集合は，正しく検出できている可能性が高い。同様にＢのデータ位置に属するビット値部分集合のうち，負の値を取っているビット値部分集合は，正しく検出できている可能性が高い。

埋め込み時の符号化埋め込み情報のうち，管理情報の一部を固定値とし，透かしパターンの中で必ず１または必ず０と判定されるはずのビット位置を予め定めておく。あるいは，疑わしい利用者ＩＤなどの埋め込み情報４０１が定まっている場合に，その埋め込み情報を指定して，ステップ３０５，ステップ３０６相応の処理を行うことにより，透かしパターン４０７を作成し，ビット位置の０／１の値を定めておくこともできる。

このことにより，透かしパターンの中で，上述した集合Ａのデータ位置に属するビット値部分集合の数と，その中で実際に正の値を取っているビット値部分集合の数の比として，検出結果の信頼性の指標Ｗａ（０≦Ｗａ≦１）を得ることができる。上述した集合Ｂについても同様に演算を行うことにより，Ｗｂを得る。さらに，誤り訂正時のビット誤り数の少なさを信頼性の指標Ｗｃとして以降の処理に利用してもよい。透かしパターンの代わりに透かしパターン候補を利用してもよい。本実施例では，Ｗａ，Ｗｂ，Ｗｃの総和を参照信号評価値Ｗとして毎回保存しておく。検出窓の位置調整に伴い，参照信号評価値Ｗは変化する。保存したＷの集合ｗ［ｉ］｛ｉ＝０．．Ｎ}を調べることにより，参照信号評価値の傾向判断を行う。参照信号評価値Ｗが大きくなるように，検出窓位置調整値Ｓを設定する戦略を取り，傾向判断処理の具体としては，下記の処理を行う。

予めしきい値Ｔ１，Ｔ２を定め，参照信号評価値Ｗ＜Ｔ１ならば，検出窓位置調整値Ｓの増分Ｚを予め定めた大きな値Ｖ１に設定し，Ｔ２＜Ｗならば，Ｓの増分Ｚを予め定めた小さな値Ｖ２に設定する。さらに，参照信号評価値差分ｄＷ（ｗ［ｉ］−ｗ［ｉ−１］）に対応するしきい値Ｔ３，Ｔ４を定めておき，Ｗ＞０およびｄＷ＞０の場合には，ｄＷ＜Ｔ３であれば，検出窓位置調整値Ｓの増分Ｚを予め定めた別の小さな値Ｖ３に設定する。Ｔ４＜ｄＷとなった後には，Ｓの増分Ｚを予め定めた小さな値Ｖ４に設定する。このように，ＷおよびｄＷの正負に応じて，加算減算，正負符号の扱いが異なるものの，同様の方法を用いて適切にＺを算出できる。

以上の手続きにより，（ｉ−１）番目の検出処理の評価結果を分析し，次回の検出処理における検出窓位置調整値Ｓとして，（Ｓ＋Ｚ）に設定する。検出窓位置調整値Ｓを設定しながら，検出処理を繰り返すことにより，適切な位置に向かって検出窓の位置が収束していく。すなわち，図９（ｃ）の高速収束探索が実現できる。

別の例では，図９（ｂ）の中心重視探索方法をベースとして，プラス側の参照信号評価値Ｗ＋とマイナス側の参照信号評価値Ｗ−を比較し，信頼性の高い方だけの符号側を探索することとし，符号反転を中止して単調増加することにより，図９（ｃ）の高速収束探索が実現できる。ピッチ調整値Ｕの調整方法にも，同様に応用できる。

図１０を用いて，第２の実施例について説明する。

本実施例における各処理も，第１の実施例と同様，ＣＰＵとディスクとメモリを備える一般的な計算機において，ＣＰＵがディスクあるいはメモリに格納されているプログラムを実行することにより，上記計算機上に実現される。

合成音声は，音楽と比べると特殊なデータの偏りが見られる。例えば，無音時間帯が多いこと，使用周波数が低域に偏在すること，ダイナミックレンジが楽曲に比べて小さく，必要な量子化ビット数が少ないことなどである。データフォーマットの観点から見ると，高周波数部分など未使用領域が多く，電子透かしの埋め込み場所は多種多様に考えられる。

しかし，未使用領域への電子透かし埋め込みは，電子透かしそのものが信号波として知覚されやすく，電子透かしと信号の分離が容易となる。また，電子透かしアルゴリズムを秘匿する上で好ましくない。一方，合成音声信号の発声信号自体には，きれいな声を出力する仕様の裏返しとしてデータ冗長性が少ないため，弱い透かし強度での電子透かしの埋め込みが難しかった。また，波形が特異なことから，信号変換に対してピッチ変化や同期ずれが生じやすく，耐性の確保も難しかった。

従来の音楽電子透かしの検出性能では，例えば，埋め込み情報量の製品仕様の実例として，１５秒以内に２ｂｉｔ，３０秒以内に７２ｂｉｔなど，検出処理に長い再生時間を要していた。本実施例では，原音を利用することにより，弱い透かし強度で電子透かしを埋め込み，小さな検出窓を利用することにより，高性能な検出耐性を確保できる。

自然語テキストデータ１００１を入力して合成音声１００５を得るＴｅｘｔ−ｔｏ−Ｓｐｅｅｃｈ１００４を用いた音声合成ソフト１００３の例について説明する。図１０に示すように，音声合成ソフト１００３を用いて合成音声１００５を得た後，データをファイルとして出力する前に，音声合成ソフト利用者ＩＤ１００２を電子透かしによって埋め込んでから，電子透かし入り合成音声ファイル１００７を出力する。

電子透かし入り合成音声ファイル１００７はエンコーダ等１０１０によってノイズ１００９が混入した検査対象音声ファイル１０１１となる。不正コピーなどの信号処理に伴う操作もエンコーダ同様のノイズを生じる意味で，正規のデータ利用と不正なデータ利用いずれにしても，電子透かし入り合成音声ファイル１００７は，何らかの信号処理１０１０を経ることとなる。信号処理１０１０は，複数の要因による複合的な信号処理となる場合もあるが，埋め込まれた電子透かしはデータ内に残り続け，元のデータとの系統性の立証，利用者ＩＤの特定に寄与する。

もし，合成音声ソフト１００３の利用規約外の不正な合成音声が流出し，検査対象音声１０１１としてどこかで発見されたときに，検査対象音声１０１１データから電子透かしを検出することにより，不正利用者ＩＤ１００２を特定した上で，音声合成ソフト１００３の利用違反についての被害回復などの対策を取ることができる。

電子透かし検出ソフト１０１４においては，透かし信号である検査対象音声ファイル１０１１の再生音声を解釈し，音声構成要素を抽出生成することにより，原信号１００５を直接用いずに，音声合成処理１０１５によって参照信号１０１６を得ることができる。この参照信号１０１６を利用することにより，電子透かしの検出性能が向上する。音声構成要素を抽出生成する処理１０１２においては，人間が聞き取って手作業で文字列に変換してもよいし，音声認識機能によって文字列を抽出してもよい。

音声合成処理１００４と音声合成処理１０１５の処理が技術的に等価であっても，ホスト信号となる合成音声１００５が，利用者の個別チューニングによって出力調整されていた場合，再合成した参照信号１０１６は，局所的にホスト信号１００５と完全に一致していなくなる場合もありうる。それでも，合成音声１００５の多くの部分については，合成音声ソフト１００３のデフォルト設定に従って出力されていて，合成音声１００５と参照音声１０１６は類似した信号になると期待される。従って，再合成した参照信号１０１６によってでも，検出性能が向上する。

音声合成処理１００４と音声合成処理１０１５について，埋め込みと検出に同じ音声合成機能を用いれば，原音データそのものを保持管理しなくても，合成音声１００５を再合成することによって参照信号１０１６を作成すればよい。

第１の実施例，第２の実施例にあげたように，参照信号を利用して，小さな検出窓で検出位置を丹念に調べることにより，電子透かし検出の高性能化，すなわち，信頼性の向上，証拠性の向上，高速化および検出率の向上，が可能となる。さらに，参照信号を利用すると，これらの効果が期待できるために，電子透かしの埋め込み処理における強度２１４の設定値α４０９を小さな数値として，透かし信号を微弱なものとしても，安定的な検出性能を発揮できる。このことから，電子透かしの埋め込みにおいて，音質劣化が少なく高音質な音データの出力が可能という効果が得られる。

以上説明した各実施例は，デジタルコンテンツの電子透かし埋め込み，検出システムおよびその応用用途に適用可能である。

Claims (1)

1. 電子透かしを用いてホスト信号に識別情報を埋め込み、電子透かしが埋め込まれた透かし信号に対して、前記識別情報を検出する方法であって、
   前記識別情報には利用者情報と管理情報と誤り訂正符号とを含み、
   前記識別情報から透かし鍵を用いて拡散および／あるいは攪拌および／あるいは繰り返しによって透かしパターンを生成し、前記透かしパターンに対応して前記ホスト信号を変更することによって、前記透かしパターンが繰り返し重畳されている場合に、
   前記ホスト信号が自然語文字列に対応した音声構成要素から合成される音声信号である場合に、前記透かし信号から前記音声構成要素を抽出し、抽出した前記音声構成要素から音声信号を再合成することで、原信号を直接用いることなく、参照信号を得るステップ、
   前記透かし信号の先頭に前記参照信号の同期位置を定めて、前記透かし信号と前記参照信号の差分信号を生成するステップ、
   前記透かしパターンの長さと同じ長さの検出窓を初期設定するステップ、
   前記識別情報の前記透かしパターン内での位相のずれを示す変数値Ｖを前記検出窓の長さに加えた長さを持つ小型検出窓を設定するステップ、
   前記小型検出窓の位置を示す検出窓位置を前記差分信号の先頭に定めて、前記小型検出窓を経由して前記差分信号にアクセスするステップ、
   前記小型検出窓から透かしパターン候補を検出して、前記透かし鍵を用いて識別情報を得るステップ、
   前記同期位置、および／あるいは前記検出窓位置、および／あるいは前記検出窓の長さ、を調節しながら、電子透かし検出処理を繰り返すステップ、を備え、
   前記同期位置、および／あるいは前記検出窓位置、および／あるいは前記小型検出窓の長さ、を調節する方法は、
   前記透かしパターン候補のビット位置の中で必ず１または必ず０と判定されるはずの前記ビット位置がｎ個予測可能な場合において、ｎ個のビット値部分集合の要素数と、その中で実際に予測値通りの値が検出されるビット値部分集合の要素数の比として、参照信号評価値を算出する処理を備え、
   前記参照信号評価値が大きくなるように、前記検出窓位置の調整を設定する方法であって、
   前記参照信号評価値と直前の検出処理において得られた参照信号評価値との差分値を取得するステップ、
   前記参照信号評価値の符号および前記差分値の符号を調べるステップ、
   予め定めた定数値と前記参照信号評価値の比較を行うステップ、
   予め定めた定数値と前記差分値の比較を行うステップ、
   前記参照信号評価値との比較および前記差分値との比較の結果から、予め定めた複数の定数値の中から適切な値を選択し、前記検出窓位置の調整量を算出するステップ、
   前記参照信号評価値が大きくなるように、前記検出窓位置の調整を設定するステップ、を備えることを特徴とする電子透かし埋め込み検出方法。

Images