JP5218020B2 - 電子透かし情報の埋め込みおよび抽出を行うための装置およびプログラム - Google Patents

Description

この発明は、電子透かし情報の埋め込み伝送技術に係り、特に空気中を伝播する音響信号等を対象とした電子透かし情報の埋め込みおよび抽出を行うための装置およびプログラムに関する。

音響信号等のキャリア信号に電子透かし情報を埋め込む技術として、振幅変調方式、位相変調方式、音響ＯＦＤＭ（Orthogonal Frequency Division Multiplexing；直交周波数分割多重）方式、エコーハイディング方式等の各埋め込み技術がある。振幅変調方式は、キャリア信号を帯域分割したサブキャリアに対し、埋め込み対象である電子透かし情報のシンボル列に応じた振幅変調処理を施すことにより、シンボル列のキャリア信号への埋め込みを行う技術である（例えば特許文献１、２参照）。位相変調方式は、キャリア信号を全域通過フィルタに通し、その際に、全域通過フィルタの周波数位相特性を埋め込み対象であるシンボルに応じて変化させる方式である（例えば特許文献３参照）。音響ＯＦＤＭ方式は、各々オーディオ帯域に属し、かつ、直交関係にある複数のサブキャリア、すなわち、シンボルフレーム長の逆数に相当する周波数間隔を持った各サブキャリアに対し（非特許文献１参照）、埋め込み対象であるシンボル列に応じた変調を施して加算し、この加算後の信号とマスク音等の音響信号とを加算することにより、シンボル列の埋め込まれた音響信号を得る方式である（例えば特許文献４参照）。エコーハイディング方式は、埋め込み対象であるシンボルに応じた時間差を持った２つのインパルス応答をキャリア信号に畳み込むことにより、シンボルに応じた遅延時間を持ったエコー音信号をキャリア信号に重畳させる方式である（例えば特許文献５参照）。
特許第３６５９３２１号 特開２００６−２５１６７６号公報 特開２００３−４４０６７号公報 特開２００７−１０４５９８号公報 特許第３５５４８２５号 ＯＦＤＭ／ＯＦＤＭＡ教科書、ｐｐ．５１−５５、株式会社インプレスＲ＆Ｄ、２００８年９月２１日発行 マルチレート信号処理とフィルタバンク、科学技術出版、２００２年３月１０日発行

ところで、振幅変調方式の埋め込み技術は、雑音に対する頑健性が弱いという問題、すなわち、シンボルの埋め込まれたキャリア信号がその伝播過程において雑音に晒されるとき、キャリア信号の受信側においてキャリア信号からシンボルを抽出するのが困難になるという問題があった。また、位相変調方式の埋め込み技術は、雑音に対する頑健性は振幅変調方式よりも優れているものの、シンボルの埋め込まれたキャリア信号の受信側において、シンボルの抽出のために、シンボルの埋め込みに伴うキャリア信号の位相の変化量を求める必要があるため、原信号、すなわち、シンボル埋め込み前のキャリア信号が必要であるという問題があった。また、音響ＯＦＤＭ方式の埋め込み技術では、シンボルに応じた変調のなされた後の各サブキャリアに着目すると、各サブキャリアにおけるシンボル間の区切り位置においてサブキャリアの位相の不連続が生じ、これが聴感上の違和感を発生させる原因となるという問題があった。また、エコーハイディング方式は、キャリア信号が空気中を伝播する過程においてエコーが発生し、このエコーの成分を含んだ状態のキャリア信号が受信されるような場合に、キャリア信号とエコーの成分との位相関係如何によっては、キャリア信号からシンボルを抽出することが困難になるという問題があった。

この発明は、以上説明した事情に鑑みてなされたものであり、シンボルの埋め込まれたキャリア信号からシンボルを抽出するに当たって原信号が不要であり、シンボルの埋め込まれたキャリア信号を音として伝播させる際に聴感上の違和感を発生させることが少なく、かつ、伝播過程において発生する雑音やエコーに対する頑健性に優れた電子透かし情報の埋め込み伝送技術を提供することを目的とする。

この発明は、キャリア信号に帯域分割を施し、複数帯域のサブキャリアを生成するサブキャリア生成手段と、埋め込み対象である電子透かし情報のデータシンボル列を示す連続した波形のデータシンボル用変調信号を生成するデータシンボル用変調信号生成手段と、前記複数帯域のサブキャリアの少なくとも一部の帯域のサブキャリアをデータシンボル列の埋め込み先であるデータキャリアとし、前記データキャリアの位相成分を前記データシンボル用変調信号により置き換える位相変調手段と、前記位相変調手段の処理を経た前記複数帯域のサブキャリアに帯域合成を施し、電子透かし情報の埋め込まれたキャリア信号として出力するキャリア合成手段とを具備することを特徴とする電子透かし情報の埋め込み装置を提供する。
かかる発明によれば、キャリア信号を構成するサブキャリア信号の位相成分を、電子透かし情報のデータシンボル列を示す連続した波形のデータシンボル用変調信号に置き換えて出力するので、シンボルの埋め込まれたキャリア信号からシンボルを抽出するに当たって原信号が不要であり、シンボルの埋め込まれたキャリア信号を音として伝播させる際に聴感上の違和感を発生させることが少なく、かつ、伝播過程において発生する雑音やエコーに対する頑健性を高めることができる。

以下、図面を参照し、この発明の一実施形態について説明する。図１は、キャリア信号に電子透かし情報を埋め込む埋め込み装置１００の構成を示すブロック図である。そして、図２は、この電子透かし情報の埋め込まれたキャリア信号から電子透かし情報を抽出する本実施形態による抽出装置２００の構成を示すブロック図である。なお、埋め込み装置１００および抽出装置２００の各々は、キャリア信号へ電子透かし情報を埋め込む処理またはキャリア信号から電子透かし情報を抽出する処理を実行する専用のハードウェアとして実現してもよいし、埋め込み処理や抽出処理をコンピュータに実行させるコンピュータプログラムとして実現してもよい。

まず、電子透かし情報の埋め込み装置１００について説明する。図１に示すように、埋め込み装置１００は、変調信号生成部１１０と、サブキャリア生成部１２０と、埋め込み部１３０と、キャリア合成部１４０とを有する。

変調信号生成部１１０は、埋め込み対象であるデータシンボル列を示すデータシンボル用変調信号を生成するデータシンボル用変調信号生成部１１１と、データシンボル列の同期信号であるパイロットシンボル列を示すパイロットシンボル用変調信号を生成するパイロットシンボル用変調信号生成部１１２とを有する。本実施形態において、１個のデータシンボルを示す１周期分のデータシンボル用変調信号は、Ｎｂ個のサンプルからなるサンプル列である。また、本実施形態において、シンボルは２値情報（ビット）である。そして、ビット“０”を示すデータシンボル用変調信号は、下記式（１）に示すＮｂ個のサンプル列Ｇ_ｐｍ０（ｎ）（ｎ＝０〜Ｎｂ−１）からなり、ビット“１”を示すデータシンボル用変調信号は、下記式（２）に示すＮｂ個のサンプル列Ｇ_ｐｍ１（ｎ）（ｎ＝０〜Ｎｂ−１）からなる。ただし、下記式（１）および（２）において、Ａ_ｐｍは、０＜Ａ_ｐｍ＜πを満たす数値である。データシンボル用変調信号生成部１１１は、データシンボル“０”に対応したデータシンボル用変調信号のサンプル列Ｇ_ｐｍ０（ｎ）（ｎ＝０〜Ｎｂ−１）とデータシンボル“１”に対応したデータシンボル用変調信号のサンプル列Ｇ_ｐｍ１（ｎ）（ｎ＝０〜Ｎｂ−１）とを内蔵のメモリに記憶している。そして、埋め込むべきデータシンボルが“０”であるときは前者のサンプル列Ｇ_ｐｍ０（ｎ）（ｎ＝０〜Ｎｂ−１）を、埋め込むべきデータシンボルが“１”であるときは後者のサンプル列Ｇ_ｐｍ１（ｎ）（ｎ＝０〜Ｎｂ−１）をメモリから読み出して埋め込み部１３０に供給する。

パイロットシンボル用変調信号は、データシンボル用変調信号と同じ周期（サンプル数）を持った信号である。例えば上記式（１）に示すサンプル列Ｇ_ｐｍ０（ｎ）（ｎ＝０〜Ｎｂ−１）を１周期分のパイロットシンボル用変調信号として用いてもよい。パイロットシンボル用変調信号生成部１１２は、データシンボル用変調信号生成部１１１が１個のデータシンボル“０”または“１”に対応したデータシンボル用変調信号のＮｂ個のサンプル列を埋め込み部１３０に供給するとき、１周期分のパイロットシンボル用変調信号のサンプル列を埋め込み部１３０に供給する。

本実施形態において１個のデータシンボルを示す１周期分のデータシンボル用変調信号は、上記式（１）および（２）にも示されるように、１周期内において飛躍のない連続した波形を有する。また、データシンボル“０”を表すものもデータシンボル“１”を表すものも、データシンボルの境界のタイミング（ｎ＝０のタイミング）においてデータシンボル用変調信号のサンプル値は０となる。このため、先行するデータシンボルを示す１周期分のデータシンボル用変調信号と後続のデータシンボルを示す１周期分のデータシンボル用変調信号との境界においてもデータシンボル用変調信号の波形は飛躍のない連続したものとなる。従って、電子透かし情報のシンボル列を表すデータシンボル用変調信号の波形は、全区間を通じて連続した波形となる。パイロットシンボル用変調信号も同様である。この点に本実施形態の１つの特徴がある。

サブキャリア生成部１２０は、音響信号等のキャリア信号をデータシンボル列およびパイロットシンボル列の埋め込み先となる互いに帯域の異なった複数のサブキャリアに分割する手段である。このサブキャリア生成部１２０から得られる複数のサブキャリアの各々を１シンボルフレームの長さに区切った各区間が１シンボル分のデータシンボルまたはパイロットシンボルの埋め込み先となる。ここで、キャリア信号を複数のサブキャリアに分割するのは、１シンボルフレームの区間内において、データシンボルまたはパイロットシンボルの埋め込み先となる信号数（ここではサブキャリアの数）を増加させ、データレートを向上させるためである。

サブキャリア生成部１２０は、帯域分割部１２１と、帯域グループ化部１２２と、データ／パイロットキャリア分離部１２３とを有する。本実施形態における帯域分割部１２１は、図３（ａ）に例示するように、入力されるサンプルをＭサンプルに１個の割合で選択して出力する２Ｍ個のダウンサンプラ１２１１_ｋ（ｋ＝０〜Ｍ−１）と、その後段の２Ｍ個の分析フィルタ１２１２_ｋ（ｋ＝０〜２Ｍ−１）と、行列演算部１２１３とを有する分析フィルタバンクである。より具体的には、帯域分割部１２１である分析フィルタバンクは、複素指数変調フィルタバンクであり、余弦変調フィルタバンク（Cosine Modulated Filter Bank:CMFB）と正弦変調フィルタバンク（Sine Modulated Filter Bank:SMFB）とを並列化した機能構成となっている。

この複素指数変調フィルタバンクにおける分析フィルタ１２１２_ｋ（ｋ＝０〜２Ｍ−１）の各々は、下記式（３）を満足するプロトタイプフィルタｐ_０（ｎ）を下記式（４）に示すように指数変調関数により変調したポリフェ−ズ表現による分析フィルタを実現するものである。ただし、下記式（３）において、ｎ＝０〜Ｎであり、Ｎ＝２ｍＭ−１（ｍは１以上の整数）である。

プロトタイプフィルタｐ_０（ｎ）は、複素指数変調フィルタの実数部である余弦変調フィルタのプロトタイプフィルタを設計し、この余弦変調フィルタのプロトタイプフィルタを使用する。余弦変調フィルタのプロトタイプフィルタの設計に当たっては、サブキャリアの変調を行った場合に帯域の隣接したサブキャリア間で消去し切れないエイリアジングによる埋め込みシンボルの歪みをできるだけ発生させないように配慮する必要がある。そこで、無変調時において帯域の隣接したサブキャリア間でのエイリアジングを消去するのに有効な擬似ＱＭＦ（Quadrature Mirror Filter；直交ミラーフィルタ）バンクの設計手法を採用する。具体的には、非特許文献２の第８章の８．２節に記載されているように、下記式（５）に示す評価関数φを最小化するプロトタイプフィルタｐ_０（ｎ）を求める。ただし、下記式（５）において０＜α＜１である。

ここで、上記式（５）におけるφ_１およびφ_２は、下記式（６）および（７）により与えられる。ただし、下記式（６）および（７）において、ε＞０であり、Ｐ_０（ｅ^ｊω）はプロトタイプフィルタｐ_０（ｎ）の周波数応答であり、ｐ_０（ｎ）にＦＦＴ（Fast Fourier Transform;高速フーリエ変換）を施すことにより得られる。すなわち、プロトタイプフィルタｐ_０（ｎ）にＦＦＴを施した結果である周波数応答Ｐ_０（ｅ^ｊω）が上記式（５）の評価関数φを最小化するようにプロトタイプフィルタｐ_０（ｎ）の内容を定めるのである。

図３（ａ）において、Ｘ（ｚ）はキャリア信号のサンプルｘ（ｎ）のｚ変換、ｚ^−１は１サンプル遅延、Ｘ_ｋ（ｚ）（ｋ＝０〜Ｍ−１）はサブキャリアのサンプルのｚ変換である。また、行列演算部１２１３は、式（８）に示す要素ｔ_ｋｎからなる２Ｍ×Ｍの複素値行列｛ｔ_ｋｎ｝（ｋ＝０〜Ｍ−１、ｎ＝０〜２Ｍ−１）を分析フィルタ１２１２_ｋ（ｋ＝０〜２Ｍ−１）の２Ｍ個の出力サンプル列に乗算し、Ｍ帯域分のサブキャリアのサンプルＸｋ（ｚ）（ｋ＝０〜Ｍ−１）を生成するものである。

図１において、帯域グループ化部１２２は、以上のようにして帯域分割部１２１から出力されるＭ帯域のサブキャリアを各々帯域の近いもの同士の複数のサブキャリアのグループである複数のグループに分ける。これらの複数のグループの各々は、データシンボルの埋め込み先であるデータキャリアのグループまたはパイロットシンボルの埋め込み先であるパイロットキャリアのグループとなる。データシンボルの埋め込み先となるデータキャリアのグループと、このデータシンボルの同期信号としての役割を果たすパイロットシンボルの埋め込み先となるパイロットキャリアのグループは周波数軸上において隣接していることが好ましい。データキャリアのグループとパイロットキャリアのグループとの関係は１対１の関係でなくてもよい。例えば１つのパイロットキャリアのグループを周波数軸上においてその両側にある２つのデータキャリアのグループに対応付け、当該パイロットキャリアのグループに対し、その両側のデータキャリアのグループに埋め込む各データシンボルの同期信号としての役割を果たすパイロットシンボルを埋め込んでもよい。

ここで、複数のグループ（データキャリアのグループまたはパイロットキャリアのグループ）の各々の帯域幅は、埋め込み装置１００から抽出装置２００までの音響信号の伝送過程において発生することが予想される残響のインパルス応答時間長によって決定されることが望ましい。理想的には対をなすデータキャリアのグループとパイロットキャリアのグループの全体としての帯域幅が同応答時間長の逆数に比べて十分に短いという条件が満たされる場合には、データキャリアのグループおよびパイロットキャリアのグループの全帯域内において残響による位相変動が同様であるとみなせる。１つのグループを何個のデータキャリアまたはパイロットキャリアにより構成するかは、この条件を満たす範囲内において決定する。残響のインパルス応答時間長の逆数が短い場合には、１つのグループを１つのデータキャリアまたは１つのパイロットキャリアのみにより構成することもあり得る。

データ／パイロットキャリア分離部１２３は、帯域グループ化部１２２によって分けられた複数のグループをデータキャリアのグループ同士の群とパイロットキャリアのグループ同士の群とに分離する。

埋め込み部１３０は、振幅／位相分離部１３１と、位相変調部１３２と、振幅／位相結合部１３３とを有する。振幅／位相分離部１３１は、データキャリアのグループ内およびパイロットキャリアのグループ内の各サブキャリアのサンプルを振幅成分と位相成分とに分離する。さらに詳述すると、第ｋ帯域のサブキャリアの時刻ｎにおけるサンプルの実数部をＸ_ｋｒ（ｎ）、虚数部をＸ_ｋｉ（ｎ）とした場合、振幅／位相分離部１３１は、下記式（９）によりサンプルの振幅成分Ａ_ｋ（ｎ）を算出し、下記式（１０）によりサンプルの位相成分φ_ｋ（ｎ）を算出する。

位相変調部１３２は、データキャリアのサンプルの位相成分をデータシンボル用変調信号のサンプルにより置き換えるとともに、パイロットキャリアのサンプルの位相成分をパイロットシンボル用変調信号のサンプルにより置き換える。その際に、位相変調部１３２は、複数のデータキャリアのグループおよび複数のパイロットキャリアのグループの各グループ毎に、当該グループの中央の帯域において関数値が高く、当該グループの上限の帯域および下限の帯域において関数値の低い窓関数を用いて、当該グループ内の各帯域のデータキャリアまたはパイロットキャリアの位相成分と置き換えるデータシンボル用変調信号またはパイロットシンボル用変調信号の振幅を各帯域の関数値により制限する。勿論、１つのグループに１つのデータキャリアまたはパイロットキャリアしか含まれていない場合にはこの窓関数掛けは行わない。

下記式（１１）は、データキャリアの位相成分に関して、位相変調部１３２が実行する演算処理の内容を示すものである。この式（１１）に示すように、各帯域ｋのデータキャリアに関し、当該帯域ｋに埋め込むデータシンボルｂが“０”である場合には、位相変調部１３２は、当該帯域ｋのデータキャリアのサンプルの位相成分φ_ｋ（ｎ）を、そのときデータシンボル用変調信号生成部１１１が出力するシンボル“０”に対応したデータシンボル用変調信号のサンプルＧ_ｐｍ０（ｎ）に当該帯域ｋに対応した窓関数値ｗ（ｋ）を乗算したものに置き換える。一方、当該帯域ｋに埋め込むデータシンボルｂが“１”である場合には、当該帯域ｋのデータキャリアのサンプルの位相成分φ_ｋ（ｎ）を、そのときデータシンボル用変調信号生成部１１１が出力するシンボル“１”に対応したデータシンボル用変調信号のサンプルＧ_ｐｍ１（ｎ）に当該帯域ｋに対応した窓関数値ｗ（ｋ）を乗算したものに置き換えるのである。パイロットキャリアのサンプルの位相成分に関しては、パイロット変調用信号のサンプルに当該帯域に対応した窓関数値を乗算したものに置き換える。

このようにデータキャリアまたはパイロットキャリアのグループ毎に当該グループ内の各帯域のデータシンボル用変調信号またはパイロットシンボル用変調信号に窓関数掛けを行うのは、グループの境界付近の帯域においてサブキャリアに位相成分として埋め込むデータシンボル用変調信号またはパイロットシンボル用変調信号の振幅を低下させることにより、帯域間の位相の急激な変化を抑制し、聴感上の違和感が発生するのを防止するためである。

振幅／位相結合部１３３は、振幅／位相分離部１３１から出力されたデータキャリアの振幅成分およびパイロットキャリアの振幅成分の各々と、振幅／位相分離部１３１から出力され、かつ、位相変調部１３２の処理（データシンボル用変調信号またはパイロットシンボル用変調信号との置き換えおよび窓掛け処理）を経たデータキャリアの位相成分およびパイロットキャリアの位相成分の各々とを結合させ、複素形式のデータキャリアおよびパイロットキャリアを合成する。さらに詳述すると、振幅／位相結合部１３３は、帯域ｋのデータキャリアまたはパイロットキャリアのサンプルの振幅成分をＡ_ｋ（ｎ）、位相成分をφ_ｋ（ｎ）とした場合、下記式（１２）により帯域ｋのサブキャリアのサンプルＸ_ｋ（ｎ）を算出する。

図４は以上説明したサブキャリア生成部１２０および埋め込み部１３０の各部の処理内容を示すものである。図４に示すように、サブキャリア生成部１２０では、キャリア信号のｍＭサンプルが与えられる毎に、それまでの最新の２ｍＭサンプルを用いて、一帯域当たりｍサンプルのサブキャリアがＭ帯域分生成され、埋め込み部１３０の振幅／位相分離部１３１ではＭ帯域の各サブキャリアの各サンプルが振幅成分と位相成分とに分離される。そして、位相変調部１３２では、帯域グループ化の操作が行われた場合には、フレーム長Ｎｂのシンボルフレーム毎に、データキャリアの各グループにおけるデータキャリアのサンプルの位相成分が、埋め込み対象であるシンボルｂを示すデータシンボル用変調信号のサンプルに帯域ｋに応じた窓関数値ｗ（ｋ）を乗算したものに置き換えられ、かつ、パイロットキャリアの各グループにおけるパイロットキャリアのサンプルの位相成分が、パイロットシンボル用変調信号のサンプルに帯域ｋに応じた窓関数値ｗ（ｋ）を乗算したものに置き換えられる。そして、この位相変調部１３２の処理を経たデータキャリアのサンプルの位相成分およびパイロットキャリアのサンプルの位相成分と、振幅／位相分離部１３１から出力されたデータキャリアのサンプルの振幅成分およびパイロットキャリアのサンプルの振幅成分とが各々結合され、複素形式のデータキャリアのサンプルおよびパイロットキャリアのサンプルが得られるのである。

図１において、キャリア合成部１４０は、データ／パイロットキャリア合成部１４１と、帯域グループ分離部１４２と、帯域合成部１４３とを有する。ここで、データ／パイロットキャリア合成部１４１は、振幅／位相結合部１３３から得られるデータキャリアのグループおよびパイロットキャリアのグループをデータ／パイロットキャリア分離部１２３の処理を経る前の並び順に並び換える。また、帯域グループ分離部１４２は、データ／パイロットキャリア合成部１４１の処理を経たデータキャリアおよびパイロットキャリアを帯域グループ化部１２２によるグループ化を経る前の並び順に並び替える。そして、帯域合成部１４３は、帯域グループ分離部１４２から出力されるＭ帯域分のサブキャリア（データキャリアおよびパイロットキャリア）の帯域合成を行い、時間領域のキャリア信号に変換する。

本実施形態において、帯域合成部１４３は、Ｍ帯域の合成フィルタバンクである。図３（ｂ）に示すように、この合成フィルタバンクは、行列演算部１４３１と、２Ｍ個の合成フィルタ１４３２_ｋ（ｋ＝０〜２Ｍ−１）と、その後段の２Ｍ個のアップサンプラ１４３３_ｋ（ｋ＝０〜２Ｍ−１）とを有する。なお、図３（ｂ）において、Ｘ_ｋ（ｚ）（ｋ＝０〜Ｍ−１）はサブキャリアのサンプルのｚ変換、Ｘ（ｚ）は帯域合成されたキャリア信号のサンプルｘ（ｎ）のｚ変換である。ここで、行列演算部１４３１は、帯域分割部１２１の行列演算部１２１３が用いた行列の転置行列をＭ帯域のサブキャリアのサンプルに乗算し、２Ｍ個のサンプルを生成して合成フィルタ１４３２_ｋ（ｋ＝０〜２Ｍ−１）に供給する。合成フィルタ１４３２_ｋ（ｋ＝０〜２Ｍ−１）は、帯域分割部１２１の分析フィルタ１２１２_ｋ（ｋ＝０〜２Ｍ−１）と同様なフィルタ処理を各々に与えられるサンプルに施して、アップサンプラ１４３３_ｋ（ｋ＝０〜２Ｍ−１）に出力する。アップサンプラ１４３３_ｋ（ｋ＝０〜２Ｍ−１）は、各々に入力されるサブキャリアの各サンプル間にＭ−１個の零サンプルを挿入し、サブキャリアのサンプリング周波数をＭ倍にする。このアップサンプラ１４３３_ｋ（ｋ＝０〜２Ｍ−１）の各出力サンプルを１サンプルずつ位相をずらして加算したものが帯域合成されたキャリア信号となる。
以上が埋め込み装置１００の詳細である。

次に図２を参照し、電子透かし情報の抽出装置２００について説明する。本実施形態による抽出装置２００の動作は同期探索フェーズとデータ抽出フェーズとに大別することができる。ここで、同期探索フェーズとは、キャリア信号のパイロットキャリアにおけるパイロットシンボルの埋め込み区間、すなわち、キャリア信号のデータキャリアにおけるデータシンボルの埋め込み区間を概略的に探索するフェーズである。また、データ抽出フェーズとは、同期探索フェーズにより探索されたデータシンボル列の埋め込み区間からデータシンボル列を抽出するフェーズである。以下説明する各部は、同期探索フェーズとデータ抽出フェーズとで動作が異なる場合がある。

バッファ２１０は、電子透かし情報の埋め込まれたキャリア信号を蓄積する装置である。例えば音響信号をキャリア信号として用いる場合、前述した埋め込み装置１００により電子透かし情報の埋め込まれたキャリア信号（音響信号）は、音として空気中に放音され、図示しない収音装置により収音され、音声波形の時系列サンプルであるキャリア信号となってバッファ２１０に蓄積される。

基準信号生成部２２０は、データシンボル用基準信号生成部２２１と、パイロットシンボル用基準信号生成部２２２とを有する。データシンボル用基準信号生成部２２１は、データシンボル“０”を示すデータシンボル用変調信号と同様な波形のデータシンボル用基準信号の１周期分（Ｎｂ個）のサンプル列Ｇ_ｐｍ０（ｎ）（ｎ＝０〜Ｎｂ−１）を出力する機能とデータシンボル“１”を示すデータシンボル用変調信号と同様な波形のデータシンボル用基準信号の１周期分（Ｎｂ個）のサンプル列Ｇ_ｐｍ１（ｎ）（ｎ＝０〜Ｎｂ−１）を出力する機能を有する。また、パイロットシンボル用基準信号生成部２２２は、埋め込み装置１００のパイロットシンボル用変調信号生成部１１２が出力するパイロットシンボル用変調信号と同様な波形のパイロットシンボル用基準信号の１周期分（Ｎｂ個）のサンプル列を出力する機能を有する。

サブキャリア生成部２３０は、埋め込み装置１００のサブキャリア生成部１２０のものと同様な帯域分割部２３１と、帯域グループ化部２３２と、データ／パイロットキャリア分離部２３３とを有する。このサブキャリア生成部２３０は、バッファ２１０から読み出されるキャリア信号をＭ帯域のサブキャリアに帯域分割し、データキャリアのグループとパイロットキャリアのグループに分けて出力する。

復調処理部２４０は、振幅／位相分離部２４１と、位相復調部２４２とを有する。ここで、振幅／位相分離部２４１と、埋め込み装置１００の振幅／位相分離部１３１と同様、複素値であるデータキャリアおよびパイロットキャリアの各サンプルを振幅成分と位相成分とに分離する。位相復調部２４２は、後述するフレーム同期探索部２５０による制御の下、データキャリアにおけるデータシンボル列の埋め込み区間を探索するための信号処理およびデータシンボル列の抽出に備えて埋め込み区間内のデータキャリアの位相成分を補正する信号処理を行う。

フレーム同期探索部２５０は、バッファ２１０に記憶されたキャリア信号の読み出し制御を行うとともに抽出装置２００の各部のタイミング制御を行う装置である。このフレーム同期探索部２５０は、バッファ２１０にキャリア信号が蓄積されると、同期探索フェーズを実行するための各部の制御を行い、その後、データ抽出フェーズを実行するための各部の制御を行う。

同期探索フェーズにおいて、フレーム同期探索部２５０は、各パイロットキャリアの位相成分に基づきパイロットシンボル列の埋め込み区間の開始点の概略的な位置を求める概略同期探索処理を実行する。具体的には、図５に示す処理を各帯域のパイロットキャリアの各々について実施する。

図５に示す例では、１つのパイロットキャリアを示すストライプが示されている。このストライプを上下方向に区切る実線は、パイロットシンボルが埋め込まれているか否かを調べる評価区間の境界を例示するものである。また、ストライプ内の破線による正弦波は、パイロットキャリアの位相成分に内在するパイロットシンボル用変調信号波形を例示するものであり、上下方向の破線はパイロットシンボルの境界を例示するものである。

最初、キャリア信号の先頭位置Ｂ_０から始まる１シンボルフレーム分の区間（２ｍＭＬ個のサンプルを含む区間）を評価区間として、この評価区間内のキャリア信号をバッファ２１０から読み出し、サブキャリア生成部２３０および振幅／位相分離部２４１に処理させる。そして、振幅／位相分離部２４１から出力される情報のうちキャリア信号における１つのパイロットキャリアの１シンボルフレーム分のサンプル列（Ｎｂ個のサンプル）の位相成分とパイロットシンボル用基準信号生成部２２２が出力するパイロットシンボル用基準信号のサンプル列（Ｎｂ個のサンプル）との相互相関係数を位相復調部２４２に算出させ、この相互相関係数を蓄積する。

さらに詳述すると、このときパイロットシンボル用基準信号生成部２２２は、例えば１周期分のパイロットシンボル用基準信号のサンプル列に対し、最後尾のサンプルをサンプル列の先頭に移動するという巡回シフト操作を繰り返し施すことにより、初期位相が１サンプルずつずれた各１周期分のパイロットシンボル用基準信号を順次出力する。位相復調部２４２は、評価区間内のキャリア信号から生成された１つのパイロットキャリアのサンプル列の位相成分と、このパイロットシンボル用基準信号生成部２２２が順次出力する各パイロットシンボル用基準信号との相互相関係数を各々算出し、フレーム同期探索部２５０は各相互相関係数を蓄積するのである。

フレーム同期探索部２５０は、このようにして蓄積された各相互相関係数の中に所定の閾値を越えるものがあるか否かを判定する。そして、所定の閾値を越える相互相関係数がない場合、フレーム同期探索部２５０は、キャリア信号の現在の評価区間内にパイロットシンボルが埋め込まれていないとみなし、評価区間の先頭を現在の位置Ｂ_０から１シンボルフレーム相当の長さだけ後方の区切り位置Ｂ_１にシフトさせる。そして、区切り位置Ｂ_１から始まる新たな評価区間について上記と同様な処理を繰り返すのである。

評価区間がパイロットシンボル列の埋め込み区間から完全に外れている間は、位相復調部２４２が出力する相互相関係数はほぼ０（すなわち、無相関）になるので、フレーム同期探索部２５０は、評価区間の先頭位置を先頭位置Ｂ_０から区切り位置Ｂ_１へ、区切り位置Ｂ_１から区切り位置Ｂ_２へ、…という具合に順次後方へシフトしてゆく。

そして、図５に例示するように、区切り位置Ｂ_ｋから始まる区間が評価区間となり、評価区間内にパイロットシンボルの先頭部分が位置するような位相関係になったとき、位相復調部２４２から得られる相互相関係数が上昇する。そこで、フレーム同期探索部２５０は、この状態において位相復調部２４２から得られる相互相関係数の履歴を監視し、相互相関係数がピークとなったときのパイロットシンボル用基準信号の位相遅れ量を求め、区切り位置Ｂ_ｋからこの位相遅れ量だけ後の位置をパイロットシンボル列の埋め込み区間の開始位置とする。

概略同期探索処理では、以上の処理を各帯域のパイロットキャリアについて実施し、パイロットキャリアの帯域毎に埋め込み区間の開始位置を各々求める。図６は、キャリア信号を帯域分割した各サブキャリア位相成分のうちデータキャリアＤｋ（ｋ＝１、２、…）の位相成分の波形、パイロットキャリアＰｋ（ｋ＝１、２、…）の位相成分の波形を例示するものである。図６に例示するように、抽出装置２００側においてキャリア信号を帯域分割することにより得られる各サブキャリアの位相は、帯域に依存して変化する。これは、帯域分割部１２１における分析フィルタバンクを構成する各分析フィルタおよび帯域合成部１４３における合成フィルタバンクを構成する各合成フィルタは、直線位相特性を持たないためである（非特許文献２の８．１．４節参照）。そこで、本実施形態では、概略同期探索処理において、図６に例示するように、各帯域のパイロットキャリアについて求めた埋め込み区間の開始位置を平均化し、その結果を全帯域についての埋め込み区間の開始点の概略的な位置とし、この位置から始まる一シンボルフレーム長の各区間Ｆ_ｓ０、Ｆ_ｓ１、Ｆ_ｓ２、…を各シンボルの埋め込み区間と判定する。このように平均化された開始点の位置を概略的な開始点の位置として用いるのは、１つのパイロットキャリアから求めた開始点の位置を全帯域についての埋め込み区間の開始点として用いると、この開始点から大きく外れた位置に開始点のあるデータキャリアからのシンボルの抽出が不正確なものになるからである。

次に、データ抽出フェーズにおいて、フレーム同期探索部２５０は、バッファ２１０内のキャリア信号のサンプルを、同期探索フェーズにおいて求めたデータシンボル列の埋め込み区間の開始点の概略的な位置から順に読み出し、サブキャリア生成部２３０および振幅／位相分離部１３１に処理させる。そして、フレーム同期探索部２５０による制御の下、位相復調部２４２は次の処理を実行する。まず、振幅／位相分離部１３１から得られるパイロットキャリアのグループにおける各パイロットキャリアの各位相成分に埋め込み装置１００の位相変調部１３２が用いるものを同様な窓関数値ｗ（ｋ）を必要に応じて乗算する。そして、フレーム同期位置、すなわち、上述したデータシンボル列の埋め込み区間の開始点の概略的な位置から始まる１シンボルフレーム長間隔で並んだ各位置において、窓関数値乗算後の各位相成分を用いて得られたパイロットキャリアのグループの位相成分のずれを求め、このずれを信号伝送時の残響等による位相変動とする。こうして得られた位相変動分が、対応するデータキャリアのグループの位相変動分に等しいとみなして、対応するデータキャリアのグループの位相変動分を補正する。そして、この補正後のデータキャリアの位相成分をシンボル抽出部２６０に出力する。

シンボル抽出部２６０には、データシンボル“０”を示すデータシンボル用基準信号とデータシンボル“１”を示すデータシンボル用基準信号がデータシンボル用基準信号生成部２２１から供給される。シンボル抽出部２６０は、１シンボルフレーム分の補正後のデータキャリアの位相成分を位相復調部２４２から受け取る毎に、その１シンボルフレーム分の位相成分とデータシンボル“０”を示すデータシンボル用基準信号との相互相関係数ｃｏｒｒ０を算出するとともに、その１シンボルフレーム分の位相成分とデータシンボル“１”を示すデータシンボル用基準信号との相互相関係数ｃｏｒｒ１を算出する。そして、ｃｏｒｒ０＞ｃｏｒｒ１であれば、データキャリアに埋め込まれたデータシンボルは“０”、ｃｏｒｒ０＜ｃｏｒｒ１であれば、データキャリアに埋め込まれたデータシンボルは“１”であると判定し、判定結果に基づき、埋め込まれた電子透かし情報のシンボルを出力する。
以上が本実施形態による抽出装置２００の詳細である。

以上説明した本実施形態によれば、次の効果が得られる。

（１）本実施形態によれば、キャリア信号中のデータキャリアの位相成分をデータシンボル列を示す連続した波形の変調信号により置き換えて伝送するので、キャリア信号からデータシンボルを抽出するに当たって原信号が不要である。また、データシンボル列を示す変調信号はデータキャリアの位相成分としてキャリア信号に埋め込まれるので、キャリア信号の伝播過程において発生する雑音やエコーに対する埋め込みシンボルの頑健性を高めることができる。また、キャリア信号のデータキャリアに位相成分として埋め込まれた変調信号はデータシンボル列全体を通じて連続した波形の信号なので、データシンボルの埋め込まれたキャリア信号を音として伝播させる際に聴感上の違和感を発生させることが少ない。

（２）サブキャリア間の周波数間隔が短い状況では、仮に隣接する帯域の２つのデータキャリアの一方の位相成分がシンボル“０”に対応した正弦波により置き換えられ、他方の位相成分がシンボル“１”に対応した正弦波により置き換えられると、帯域の隣接したデータキャリア間で急激な位相の変化が生じ、聴感上の違和感を生じさせる。しかしながら、本実施形態では、帯域の隣接した複数のサブキャリアをグループ化し、グループ内の複数のサブキャリアの位相成分を同一シンボルに対応した同一の波形の変調信号に置き換えている。従って、同一グループ内では、隣接するサブキャリア間での位相成分の急激な変化が回避される。一方、例えばデータキャリアのグループが２つ隣接しており、高域側のグループにはシンボル“０”が埋め込まれ、低域側のグループにはシンボル“１”が埋め込まれるような場合がある。この場合、何ら策を講じないとすると、高域側のグループの下限の帯域のデータキャリアの位相成分と低域側のグループの上限の帯域のデータキャリアの位相成分との間に急激な位相変化が生じて好ましくない。そこで、本実施形態では、各グループ毎にグループ内の複数のサブキャリアを跨る窓関数を各サブキャリアの位相成分と置き換える変調信号に乗算し、グループ内における各サブキャリア間の位相成分の変化を緩やかなものにしつつ、グループ間の境界付近におけるサブキャリア間の位相成分の変化を抑えている。従って、サブキャリア間の周波数間隔が狭い状況において、キャリア信号が音として出力されたときに聴感上の違和感が生じるのを防止することができる。

（３）キャリア信号が埋め込み装置１００のスピーカ（図示略）から音として放射されるとき、あるいは音であるキャリア信号が壁により反射されるとき、あるいはキャリア信号が抽出装置２００のマイクロホン（図示略）により受信されるとき、キャリア信号を構成する各サブキャリアには、帯域毎のスピーカからマイクロフォンまでの伝達関数の位相特性に応じた位相ずれが生じる。しかしながら、本実施形態における埋め込み装置１００では、データキャリアと隣接する帯域のサブキャリアをパイロットキャリアとし、このパイロットキャリアの位相成分を、パイロットシンボルを表す正弦波の変調信号に置き換えている。また、本実施形態における抽出装置２００では、受信したキャリア信号において、データキャリアに生じている位相ずれは、データキャリアと隣接した帯域のパイロットキャリアに生じている位相ずれと同じであるとみなし、パイロットキャリアの位相成分に基づいてデータキャリアの位相成分の補正を行っている。従って、キャリア信号の伝送過程においてサブキャリアに帯域に依存した位相ずれが発生する状況においても、データキャリアの位相成分に埋め込まれたシンボルを安定して抽出することができる。

＜他の実施形態＞
以上、この発明の一実施形態を説明したが、この発明には、他にも各種の実施形態が考えられる。例えば次の通りである。

（１）埋め込み装置１００の帯域グループ化部２３２、帯域グループ分離部１４２、抽出装置２００の帯域グループ化部２３２を省略し、サブキャリアをグループ化せず、１系統のデータシンボル列を１つのデータキャリアに埋め込み、１系統のパイロットシンボル列を１つのパイロットキャリアに埋め込んで伝送してもよい。

（２）キャリア信号のサンプリング周波数が高いと、シンボルの埋め込みに利用可能な低域のサブキャリアの数が少なくなる。そのため、帯域分割の数Ｍを大きくして、シンボルの埋め込みに利用可能な低域のサブキャリアの数を増加させる必要がある。しかし、帯域分割の数Ｍを大きくするためには、プロトタイプフィルタの通過帯域を非常に狭くする必要があり、プロトタイプフィルタの設計が難しくなる。そこで、このような不都合を回避するため、必要に応じてキャリア信号をリサンプルし、サンプリング周波数を低くしてシンボルの埋め込みを行うようにしてもよい。図７はその構成例を示すものである。この構成例では、サンプリング周波数４４．１ｋＨｚのキャリア信号はＨＰＦ３１１とＬＰＦ３０１により８ｋ〜２２．０５ｋＨｚの高域成分と０〜８ｋＨｚの低域成分に分けられる。ＬＰＦ３０１を通過した低域成分はダウンサンプラ３０２によってダウンサンプルされ、上述した埋め込み装置１００に供給される。埋め込み装置１００は、ダウンサンプラ３０２を介して与えられるキャリア信号の例えば４ｋ〜８ｋＨｚの帯域のサブキャリアにシンボルを埋め込み、帯域合成してキャリア信号を出力する。アップサンプラ３０３は、このキャリア信号のサンプリング周波数を元のサンプリング周波数４４．１ｋＨｚに戻す。ＬＰＦ３０４は、アップサンプラ３０３のアップサンプリングによって発生した高域ノイズをキャリア信号から除去する。そして、加算器３２０は、このＬＰＦ３０４を通過したキャリア信号（０〜８ｋＨｚ）と、ＨＰＦ３１１を通過したキャリア信号の高域成分（８ｋ〜２２．０５ｋＨｚ）とを加算し、例えばスピーカから音として出力する。この構成によれば、埋め込み装置１００に与えられるキャリア信号のサンプリング周波数が低いため、同埋め込み装置１００においてキャリア信号を帯域分割してサブキャリアを生成する際、帯域分割の数Ｍが小さくても、シンボルの埋め込みに利用可能な低域のサブキャリアの数が多くなるので、プロトタイプフィルタの設計が容易になる。

この発明の一実施形態による電子透かし情報の埋め込み装置１００の構成を示すブロック図である。 同実施形態による電子透かし情報の抽出装置２００の構成を示すブロック図である。 同埋め込み装置１００において用いられる分析フィルタバンクと合成フィルタバンクの構成例を示すブロック図である。 同埋め込み装置１００におけるサブキャリア生成部１２０および埋め込み部１３０の処理内容を示す図である。 同抽出装置２００において行われる概略同期探索処理の内容を示す図である。 同抽出装置２００において帯域分割により得られる各サブキャリアの位相波形を例示する図である。 この発明の他の実施形態による電子透かし情報の埋め込み装置の構成を示すブロック図である。

符号の説明

１００……埋め込み装置、２００……抽出装置、１１０……変調信号生成部、１１１……データシンボル用変調信号生成部、１１２……パイロットシンボル用変調信号生成部、１２０，２３０……サブキャリア生成部、１２１，２３１……帯域分割部、１２２，２３２……帯域グループ化部、１２３，２３３……データ／パイロットキャリア分離部、１３０……埋め込み部、１３１……振幅／位相分離部、１３２……位相変調部、１３３……振幅／位相結合部、１４０……キャリア合成部、１４１……データ／パイロットキャリア合成部、１４２……帯域グループ分離部、１４３……帯域合成部、２１０……バッファ、２２０……基準信号生成部、２２１……データシンボル用基準信号生成部、２２２……パイロットシンボル用基準信号生成部、２４０……復調処理部、２４１……振幅／位相分離部、２４２……位相復調部、２５０……フレーム同期探索部、２６０……シンボル抽出部、３０１，３０４……ＬＰＦ、３１１……ＨＰＦ、３０２……ダウンサンプラ、３０３……アップサンプラ、３２０……加算器。

Claims (5)

1. キャリア信号に帯域分割を施し、複数帯域のサブキャリアを生成するサブキャリア生成手段と、
   埋め込み対象である電子透かし情報のデータシンボル列を示す連続した波形のデータシンボル用変調信号を生成するデータシンボル用変調信号生成手段と、
   前記データシンボル列の同期信号であるパイロットシンボル列を示す連続した波形のパイロットシンボル用変調信号を生成するパイロットシンボル用変調信号生成手段と、
   前記複数帯域のサブキャリアの少なくとも一部の帯域のサブキャリアをデータシンボル列の埋め込み先であるデータキャリアとし、前記データキャリアの位相成分を前記データシンボル用変調信号により置き換え、前記複数帯域のサブキャリアの少なくとも一部の帯域のサブキャリアであって、前記データキャリア以外のものをパイロットシンボル列の埋め込み先であるパイロットキャリアとし、前記パイロットキャリアの位相成分を前記パイロットシンボル用変調信号により置き換える位相変調手段と、
   前記位相変調手段の処理を経た前記複数帯域のサブキャリアに帯域合成を施し、電子透かし情報の埋め込まれたキャリア信号として出力するキャリア合成手段と
   を具備することを特徴とする電子透かし情報の埋め込み装置。
2. 前記位相変調手段は、前記複数帯域のサブキャリアを各々帯域の近いもの同士のグループからなる複数のデータキャリアのグループおよび複数のパイロットキャリアのグループに分け、前記複数のデータキャリアのグループ内の全てのデータキャリアの位相成分を前記データシンボル用変調信号により置き換えるとともに、前記複数のパイロットキャリアのグループ内の全てのパイロットキャリアの位相成分を前記パイロットシンボル用変調信号により置き換え、かつ、その際に、前記複数のデータキャリアのグループおよび前記複数のパイロットキャリアのグループの各グループ毎に、当該グループの中央の帯域において関数値が高く、当該グループの上限の帯域および下限の帯域において関数値の低い窓関数を用いて、当該グループ内の各帯域のデータキャリアまたはパイロットキャリアの位相成分と置き換えるデータシンボル用変調信号またはパイロットシンボル用変調信号の振幅を各帯域の関数値により制限することを特徴とする請求項１に記載の電子透かし情報の埋め込み装置。
3. キャリア信号を受け取って帯域分割を施し、複数帯域のサブキャリアを出力する帯域分割手段と、
   前記複数帯域のサブキャリアの中から電子透かし情報のデータシンボル列の埋め込み先であるデータキャリアと同期信号であるパイロットシンボル列の埋め込み先であるパイロットキャリアとを特定し、前記データキャリアの位相成分と前記パイロットキャリアの位相成分を抽出し、前記パイロットキャリアの位相成分により前記データキャリアの位相成分を補正して出力する復調処理手段と、
   前記復調処理手段から出力される補正後のデータキャリアの位相成分と所定のシンボルを示す基準信号との相互相関係数を算出し、算出した相互相関係数に基づいて前記データキャリアに位相成分として埋め込まれた電子透かし情報のシンボルを判定するシンボル抽出手段と
   を具備することを特徴とする電子透かし情報の抽出装置。
4. コンピュータを、
   キャリア信号に帯域分割を施し、複数帯域のサブキャリアを生成するサブキャリア生成手段と、
   埋め込み対象である電子透かし情報のデータシンボル列を示す連続した波形のデータシンボル用変調信号を生成するデータシンボル用変調信号生成手段と、
   前記データシンボル列の同期信号であるパイロットシンボル列を示す連続した波形のパイロットシンボル用変調信号を生成するパイロットシンボル用変調信号生成手段と、
   前記複数帯域のサブキャリアの少なくとも一部の帯域のサブキャリアをデータシンボル列の埋め込み先であるデータキャリアとし、前記データキャリアの位相成分を前記データシンボル用変調信号により置き換え、前記複数帯域のサブキャリアの少なくとも一部の帯域のサブキャリアであって、前記データキャリア以外のものをパイロットシンボル列の埋め込み先であるパイロットキャリアとし、前記パイロットキャリアの位相成分を前記パイロットシンボル用変調信号により置き換える位相変調手段と、
   前記位相変調手段の処理を経た前記複数帯域のサブキャリアに帯域合成を施し、電子透かし情報の埋め込まれたキャリア信号として出力するキャリア合成手段と
   して機能させることを特徴とするコンピュータプログラム。
5. コンピュータを、
   キャリア信号を受け取って帯域分割を施し、複数帯域のサブキャリアを出力する帯域分割手段と、
   前記複数のサブキャリアの中から電子透かし情報のデータシンボル列の埋め込み先であるデータキャリアと同期信号であるパイロットシンボル列の埋め込み先であるパイロットキャリアとを特定し、前記データキャリアの位相成分と前記パイロットキャリアの位相成分とを抽出し、前記パイロットキャリアの位相成分により前記データキャリアの位相成分を補正して出力する復調処理手段と、
   前記復調処理手段から出力される補正後のデータキャリアの位相成分と所定のシンボルを示す基準信号との相互相関係数を算出し、算出した相互相関係数に基づいて前記データキャリアに位相成分として埋め込まれた電子透かし情報のシンボルを判定するシンボル抽出手段と
   して機能させることを特徴とするコンピュータプログラム。

Images