JP5494289B2 - 電子透かし情報の埋め込み装置および抽出装置 - Google Patents

Description

この発明は、オーディオ信号等のキャリア信号への電子透かし情報の埋め込みおよびキャリア信号からの電子透かし情報の抽出を行う装置に関する。

オーディオ信号を電子透かし情報の担い手であるキャリア信号とし、このオーディオ信号自体に電子透かし情報を埋め込んで伝送する技術が各種提案されている。例えば特許文献１は、オーディオ信号を複数の帯域のサブバンド信号に帯域分割し、一部のサブバンド信号に電子透かし情報に基づく振幅変調を施す技術を開示している。

特開２００６−２５１６７６号公報

ところで、電子透かし情報が埋め込まれたオーディオ信号は、スピーカ等から音として出力されることが多い。従って、電子透かし情報をオーディオ信号に埋め込む際には、オーディオ信号の音質を劣化させないように配慮する必要がある。しかしながら、電子透かし情報を埋め込んだオーディオ信号の音質とオーディオ信号に埋め込まれた電子透かし情報の頑健性はトレードオフの関係にある。例えば上記特許文献１に開示の技術において、電子透かし情報の頑健性を必要なレベルに維持するために、オーディオ信号に電子透かし情報に基づく振幅変調を与える際の変調度を大きくすると、オーディオ信号の音質が著しく劣化するという問題が発生する。

この発明は以上説明した事情に鑑みてなされたものであり、大きな音質劣化を招くことなくキャリア信号に電子透かし情報を埋め込むことができる技術的手段を提供することを目的とする。

この発明は、キャリア信号を所定サンプル数からなるフレームに区切るフレーム分割手段と、前記キャリア信号に対してフレーム単位で電子透かし情報を示すシンボルに対応したＤＣオフセットを付加する埋め込み手段とを具備することを特徴とする電子透かし情報の埋め込み装置を提供する。

かかる発明によれば、ＤＣオフセットの付加によりキャリア信号への電子透かし情報の埋め込みを行うので、キャリア信号の音質劣化を少なくすることができる。

また、この発明は、上記埋め込み装置によって電子透かし情報が埋め込まれたキャリア信号から電子透かし情報を抽出する抽出装置を提供する。

好ましい態様において、電子透かし情報の抽出装置は、所定サンプル数からなるフレーム単位で電子透かし情報のシンボルを示すＤＣオフセットが付加されたキャリア信号のサンプル列を受け取って記憶するバッファと、前記バッファに記憶されたキャリア信号のサンプル列から高域成分を除去し、この高域成分除去後のサンプル列に基づいてキャリア信号を区分するフレーム境界を判定するフレーム境界判定手段と、前記バッファからキャリア信号のサンプル列を読み出し、前記フレーム境界判定手段によって判定されたフレーム境界においてサンプル列を区切るフレーム分割手段と、前記キャリア信号を前記フレーム分割手段により区切られたフレーム単位でデコードする手段であって、フレーム毎にキャリア信号のサンプル列のＤＣオフセットを算出し、このＤＣオフセットに基づいて各フレームに埋め込まれた電子透かし情報のシンボルを判定するデコード手段とを具備する。

この態様によれば、キャリア信号のサンプル列から高域成分が除去され、この高域除去後のサンプル列に基づきフレーム境界が判定される。そして、キャリア信号のサンプル列がフレーム境界において区切られ、フレーム毎にサンプル列のＤＣオフセットが算出され、このＤＣオフセットに基づき、そのフレームに埋め込まれた電子透かし情報のシンボルが判定される。

他の好ましい態様において、電子透かし情報の抽出装置は、所定サンプル数からなるフレーム単位で電子透かし情報を示すシンボルに対応したＤＣオフセットが付加されたキャリア信号のサンプル列を受け取り、この受け取ったキャリア信号を、各々前記フレームを構成するサンプル数よりも少ないサンプル数からなり、かつ、各々時間軸方向に沿って前記フレームと同じ周期で並び、かつ、時間軸方向における位置が各種類間で互いにずれたＭ種類のサブフレームに区切るサブフレーム分割手段と、前記サブフレーム分割手段により区切られたキャリア信号の各サブフレームについて、当該サブフレーム内の各サンプルの平均値を算出し、この平均値に基づいて当該サブフレームに各種のシンボルが埋め込まれている尤度を判定し、閾値よりも高く、かつ、各シンボル間で最大である尤度の得られたシンボルをデコード結果とするとともに、いずれのシンボルについても閾値を越える尤度が得られない場合にはデコード結果を不定とし、前記サブフレーム分割手段により区切られた各サブフレームの種類毎に、不定でないデコード結果の得られたサブフレーム数を求め、Ｍ種類のサブフレームの中から不定でないデコード結果の得られたサブフレームの個数が最大であるサブフレームの種類を選択し、選択した種類の各サブフレームから算出されたデコード結果を選択して出力するデコード手段とを具備する。

この態様によれば、Ｍ種類のサブフレームのうち少なくとも１種類のサブフレームは、１シンボルが埋め込まれた１フレームに包含された状態となる。このようなフレームに包含されたサブフレーム内のサンプル列は、同フレーム内のサンプル列に近いＤＣオフセットを有する。従って、Ｍ種類のサブフレームのうち少なくとも１種類のサブフレームから高い尤度でデコード結果を得ることができる。

この発明の第１実施形態である電子透かし情報の埋め込み装置および抽出装置により構成された電子透かし情報の伝送システムの構成例を示すブロック図である。 同抽出装置の構成例を示すブロック図である。 この発明の第２実施形態である電子透かし情報の抽出装置の構成例を示すブロック図である。 この発明の第３実施形態である電子透かし情報の埋め込み装置の動作例を示す波形図である。 この発明の第４実施形態である電子透かし情報の埋め込み装置の動作例を示す図である。 この発明の第６実施形態である電子透かし情報の抽出装置の構成を示すブロック図である。 同実施形態の第１の動作例を示すタイムチャートである。 同実施形態の第２の動作例を示すタイムチャートである。 この発明の第７実施形態である電子透かし情報の抽出装置の第１の動作例を示すタイムチャートである。 同実施形態の第２の動作例を示すタイムチャートである。

以下、図面を参照し、この発明の一実施形態について説明する。

＜第１実施形態＞
図１はこの発明の第１実施形態である電子透かし情報の埋め込み装置１および抽出装置２により構成された電子透かし情報の伝送システムの構成を示すブロック図である。この伝送システムにおいて、埋め込み装置１には、例えば４８ｋＨｚのサンプリング周波数でサンプリングされた２チャネル（例えばＬチャネルとＲチャネル）のキャリア信号が与えられる。このキャリア信号は、例えば楽曲の音波形をサンプリングしたサンプル列である。本実施形態では、このキャリア信号がＤＣ成分を含まないこと、より具体的には、どのタイミングにおいてもキャリア信号の過去Ｎ（本実施形態ではＮ＝１０００）サンプルの移動平均値が常に０になることを前提としている。

透かし情報作成装置３には、埋め込み装置１に供給されるキャリア信号が示す楽曲の曲ＩＤと、図示しない時計回路が発生するタイムコード情報が与えられる。ここで、タイムコード情報は、現在が楽曲の再生開始から何秒目に当たるかを示す情報であり、例えば１秒に１回更新される。透かし情報作成装置３は、タイムコード情報が１秒に１回更新される都度、１６ビットからなる同期パターンと、１６ビットからなるデータ信号と、１６ビットからなる誤り検出符号（例えばＣＲＣ符号）とにより構成された４８ビットの電子透かし情報を構成し、埋め込み装置１へと供給する。本実施形態では、この４８ビットからなる電子透かし情報のデータ長を１watermarkと呼ぶ。ここで、第１のチャネルの電子透かし情報は、データ信号として、１６ビットからなる曲ＩＤを含み、第２のチャネルの電子透かし情報は、データ信号として、１６ビットからなるタイムコード情報を含む。２チャネルの電子透かし情報は、各々４８ｋｂｐｓのビットレートで透かし情報作成装置３から埋め込み装置１に供給される。

埋め込み装置１は、フレーム分割部１１と、埋め込み部１２とにより構成されている。ここで、フレーム分割部１１は、各チャネル毎に、順次供給されるキャリア信号のサンプルをＮ（＝１０００）サンプルからなるフレームに区切る。埋め込み部１２は、各チャネル毎に、１フレームに１ビットの割合で、１個当たり４８ビットからなる電子透かし情報の各ビットをキャリア信号に埋め込む。

さらに詳述すると、本実施形態では、ビット“０”を示すＤＣオフセットＸ０（例えばＸ０はキャリア信号の振幅の許容値の−１．０％）、ビット“１”を示すＤＣオフセットＸ１（例えばＸ１はキャリア信号の振幅の許容値の１．０％）が予め決められており、埋め込み部１２は、あるフレーム（１０００サンプル）に埋め込むべきシンボルがビット“０”であるときは、そのフレームを構成する１０００個のサンプルの各々にＤＣオフセットＸ０を加え、あるフレーム（１０００サンプル）に埋め込むべきシンボルがビット“１”であるときは、そのフレームを構成する１０００個のサンプルの各々にＤＣオフセットＸ１を加えるのである。

なお、本実施形態において、キャリア信号の振幅がキャリア信号の正の最大定格ＭＡＸまたは負の最大定格−ＭＡＸと接近している場合には、キャリア信号とＤＣオフセットＸ１またはＸ０との加算結果が正の最大定格ＭＡＸを越え、または負の最大定格−ＭＡＸを下回る場合があり、かかる場合にはＤＣオフセットの付加によりキャリア信号にクリップが生じる恐れがある。そこで、埋め込み装置１内において、キャリア信号全体を通じてのサンプルの絶対値の最大値ＡＭＡＸを求め、ＡＭＡＸ＋Ｘ１がＭＡＸを越える場合には、係数ＭＡＸ／（ＡＭＡＸ＋Ｘ１）をキャリア信号の全サンプルに乗算し、フレーム分割部１１に供給するようにしてもよい。

埋め込み装置１によってフレーム毎にシンボルを示すオフセットＸ０またはＸ１の付加されたキャリア信号は、電子透かし情報の埋め込まれたキャリア信号として出力され、抽出装置２へと伝送される。ある態様では、電子透かし情報の埋め込まれた２チャネルのキャリア信号は、ネットワークを介して配信され、抽出装置２へと伝送される。他の態様では、電子透かし情報の埋め込まれた２チャネルのキャリア信号は記録媒体に記録され、抽出装置２を所持するユーザに届けられ、この記録媒体から読み出されて抽出装置２に供給される。

抽出装置２は、このようにして供給される２チャネルのキャリア信号から電子透かし情報を抽出する装置である。図２は、この抽出装置２のうち１チャネル分の抽出処理を行う回路の構成例を示すブロック図である。図２に示すように、抽出装置２は、シフトレジスタ２１と、移動平均算出部２２と、シフトレジスタ２３と、フレーム境界判定部２４と、フレーム分割部２５と、デコード部２６とを有する。

シフトレジスタ２１には所定周波数のサンプルクロックに同期して、１チャネル分のキャリア信号のサンプルが順次与えられる。シフトレジスタ２１は、Ｎステージからなるシフトレジスタであり、サンプルクロックに同期してキャリア信号のサンプルを順次受け取り、現時点までに受け取った過去Ｎ個のサンプルの列を第１〜第Ｎステージに記憶する。

移動平均算出部２２は、サンプルクロックに同期して新たなサンプルがシフトレジスタ２１に書き込まれる都度、シフトレジスタ２１に記憶されたＮ個のサンプルの総和をＮによって除算した移動平均値を算出して出力する。このように移動平均値を算出するのは、キャリア信号のサンプル列から高域成分を除去し、ＤＣオフセットを主成分とするサンプル列を得るためである。シフトレジスタ２３は、Ｎステージのシフトレジスタであり、サンプルクロックが与えられる都度、移動平均算出部２２からサンプルの移動平均値（すなわち、高域成分の除去されたサンプル）を受け取り、現時点までに受け取った過去Ｎ個分の移動平均値を第１〜第Ｎステージに記憶する。

フレーム境界判定部２４には、シフトレジスタ２３の第１〜第Ｎステージの各出力信号とサンプルクロックのＮ倍の周期のフレームクロックが与えられる。フレーム境界判定部２４は、シフトレジスタ２３の第１〜第Ｎステージの各出力信号をフレームクロックによりサンプリングし、このサンプリングにより得られるＮ個のデジタル信号の中から振幅が最大であるものを選択し、この選択結果に基づいてキャリア信号のフレーム境界を判定する。

さらに詳述すると、フレーム境界判定部２４は、サンプリングの結果、シフトレジスタ２３の第ｍステージの出力信号の振幅が最大である場合に、フレームクロックのタイミングにおいてシフトレジスタ２１の第ｍステージにフレーム境界のサンプルが記憶されているとみなし、この第ｍステージからのサンプルの取り込みをフレーム分割部２５に指示する。

なお、このように第１ステージから第ｍステージの各出力信号を観測して振幅が最大となるステージを選択するとなると、一時に大きな演算量が必要になる。そこで、例えば第１ステージ、第Ｎ／４ステージ、第Ｎ／２ステージ、第３Ｎ／４ステージ、第Ｎステージの各出力信号の振幅を比較し、次に振幅が第１位および第２位である各ステージ間を３等分する４個のステージを選択して同様のことを行う、という繰り返しにより、振幅が最大となるステージの探索を行ってもよい。

フレーム分割部２５は、第ｍステージからの取り込み指示がフレーム境界判定部２４から与えられると、その指示に従ってシフトレジスタ２１の第ｍステージからキャリア信号のサンプルをサンプルクロックに同期して取り込み、以後、フレームクロックが与えられる都度、その時点までにシフトレジスタ２１の第ｍステージから取り込んだ最新のＮ個分のサンプルを１フレーム分のサンプル列とし、デコード部２６に引き渡す。また、フレーム分割部２５は、タイミング調整のための遅延手段を有しており、デコード部２６に引き渡す各フレームのサンプル列をこの遅延手段により所定時間だけ遅延させて、図示しないサウンドシステムに供給する。

デコード部２６は、１フレーム分のキャリア信号のサンプル列がフレーム分割部２５から引き渡される都度、その１フレーム分のサンプル列の平均値を算出し、この平均値が閾値Ｙ１より大きいときには、当該フレームに埋め込まれたシンボルが“１”であると判定し、閾値Ｙ０より小さいときには当該フレームに埋め込まれたシンボルが“０”であると判定する。ここで、閾値Ｙ１およびＹ０は、埋め込み装置側の閾値Ｘ１およびＸ０よりも絶対値の小さな閾値であり、例えばＹ１＝＋０．８％、Ｙ０＝−０．８％である。なお、１フレーム分のサンプル列の平均値が閾値Ｙ１と閾値Ｙ０の中間の値である場合には、この平均値が閾値（Ｙ１＋Ｙ０）／２より大きいか否かにより当該フレームに埋め込まれているシンボルがビット“１”かビット“０”かを判定してもよいし、判定結果を不定としてもよい。そして、デコード部２６は、このようにして得られる判定結果であるシンボルを内蔵のバッファに保存する。

そして、デコード部２６は、バッファに２watermark分のシンボルが蓄積されたとき、次の各処理を順次実行する。
（１）バッファに蓄積された２watermark分のシンボル列の中から同期パターンを探索する。
（２）同期パターンに続く１６ビットのデータ信号（曲ＩＤまたはタイムコード情報）をバッファから取り出す。
（３）データ信号に続く１６ビットの誤り検出符号をバッファから取り出す。
（４）誤り検出符号を用いてデータ信号の誤り検出を行う。誤りがなければデータ信号を同期情報出力装置４（図１参照）に出力する。誤りがある場合には、データ信号の補正を行って同期情報出力部４へ出力する。この場合の補正の態様としては、次のものが考えられる。まず、曲ＩＤは、同一楽曲の場合にキャリア信号の全体を通じて同じものが埋め込まれているはずであるので、例えば直前の１watermark分のシンボル列から誤りなく抽出された曲ＩＤを同期情報出力装置４に出力する。また、タイムコード情報は、１秒ずつ増加する情報であるため、誤りが検出された場合には、直前に同期情報出力部４へ出力したタイムコード情報に１秒を加えたタイムコード情報を同期情報出力部４へ出力する。
（５）（４）までの処理が終了した場合には、次の１watermark分のシンボルがバッファに蓄積されるのを待ち、（１）〜（４）の処理を繰り返す。
以上が抽出装置２の構成の詳細である。

図１における同期情報出力装置４は、以上説明した抽出装置２のデコード部２６から出力される曲ＩＤとタイムコード情報を受け取り、例えば電子楽器にタイムコード情報を送って、曲ＩＤにより指定された曲の自動演奏を行わせる。本実施形態では、あるタイムコード情報が同期情報出力装置４から電子楽器に送られ、電子楽器によりそのタイムコード情報により指定された演奏箇所の演奏が行われるとき、そのタイムコード情報の埋め込まれたフレームのキャリア信号がフレーム分割部２５からサウンドシステムに送られ、音として出力されるように、上述したフレーム分割部２５の遅延手段の遅延時間が調整されている。従って、本実施形態によれば、埋め込み装置１から受信されるキャリア信号を音として再生する処理に同期させて、同期情報出力装置４に接続された電子楽器に自動同期演奏を行わせる、といったことが可能になる。

以上説明した実施形態において、埋め込み装置１では、あるフレームにおいてキャリア信号に埋め込むべきシンボルがビット“１”である場合には正のＤＣオフセットＸ１を当該フレームの各サンプルに付加し、埋め込むべきシンボルがビット“０”である場合には負のＤＣオフセットＸ０を当該フレームの各サンプルに付加した。このため、隣接する２フレームに対して互いに異なるシンボルを埋め込む場合には、例えば先行するフレームの各サンプルには正のオフセットＸ１が付加され、後続のフレームの各サンプルには負のオフセットＸ０が付加されることとなり、２フレームの境界においてキャリア信号が示す音波形に段差が発生する。そして、本実施形態では、このようなキャリア信号が埋め込み装置１から抽出装置２に伝送され、抽出装置２ではこのキャリア信号がそのまま音として放音された。しかしながら、本実施形態では、ＤＣオフセットの絶対値を十分に小さくするので、キャリア信号が示す音波形に生じる段差も僅かなものとなり、このキャリア信号をサウンドシステムから放音したとしても、この音を聴くユーザが段差を耳障りに感じることはない。

＜第２実施形態＞
上記第１実施形態において、キャリア信号のサンプルに付加するＤＣオフセットの絶対値を大きくすると、キャリア信号が示す音波形に生じる段差が大きくなる。そして、この大きな段差を持った音波形を示すキャリア信号がサウンドシステムから放音されると、この段差がユーザにとって耳障りになる可能性がある。この発明の第２実施形態は、この問題を解決するための手段を抽出装置２に追加したものである。

図３はこの発明の第２実施形態における抽出装置２Ａの構成を示すブロック図である。この抽出装置２Ａは、上記第１実施形態における抽出装置２（図２参照）に対して透かし除去部２７が加わった構成となっている。

透かし除去部２７は、フレーム分割部２５から１フレーム分のサンプル列を受け取り、かつ、デコード部２６から当該フレームのデコード結果であるシンボルを受け取ると、シンボルが示すＤＣオフセットを当該フレームの各サンプルから各々減算し、このＤＣオフセット減算後のサンプル列を出力する。さらに詳述すると、当該フレームのデコード結果がビット“１”である場合には、ＤＣオフセットＸ１を当該フレームの各サンプルから減算し、当該フレームのデコード結果がビット“０”である場合には、ＤＣオフセットＸ０を当該フレームの各サンプルから減算し、このＤＣオフセット減算後の各サンプルを出力するのである。この透かし除去部２７が出力するサンプル列は、電子透かし情報の除去されたキャリア信号として例えばサウンドシステムに送られ、音として出力される。

以上説明した実施形態によれば、埋め込まれたＤＣオフセットがキャリア信号から除去され、ＤＣオフセット除去後のキャリア信号が音として出力される。従って、ＤＣオフセットが付加される前のキャリア信号を音としてユーザに聴かせることができ、ユーザに違和感が与えられるのを防止するができる。

＜第３実施形態＞
上記第２実施形態では、ＤＣオフセットの付加に起因してキャリア信号の波形に不連続が発生する問題を抽出装置２の改良により解決した。これに対し、この発明の第３実施形態および後述する第４、第５実施形態では埋め込み装置の改良により同問題に対処する。

図４はこの発明の第３実施形態による埋め込み装置の各部の波形を示す図である。上記第１実施形態では、図４（ｃ）に示すように、あるフレームにおいてビット“１”を埋め込む場合にはそのフレーム内の全サンプルにＤＣオフセットＸ１を付加し、ビット“０”を埋め込む場合にはそのフレーム内の全サンプルにＤＣオフセットＸ０を付加したので、フレーム境界においてキャリア信号のＤＣオフセットに残差が生じる。この発明の第３実施形態による埋め込み装置では、キャリア信号が音として放音されたときにこの段差を目立たなくさせるために、図４（ｄ）に示す波形を持ったＤＣオフセットをキャリア信号のサンプルに付加する。すなわち、フレーム境界においてキャリア信号に付加するＤＣオフセットの極性が変化する場合、フレーム境界の少し手前（例えばＮサンプルの１％に相当するサンプル数だけ手前）から少し後（例えばＮサンプルの１％に相当するサンプル数だけ後）までの期間を要して、ＤＣオフセットをＸ１からＸ０へまたはＸ０からＸ１へ緩やかに変化させるのである。

本実施形態によれば、このようにＤＣオフセットを付加することで、ＤＣオフセットの付加されたキャリア信号を音として放音した場合に、ＤＣオフセットの変化によって生じる音波形の段差が聴感上目立たなくすることができる。

＜第４実施形態＞
キャリア信号を構成する各サンプル間の変化に着目すると、キャリア信号のゼロクロス点の両側の２個のサンプル間の変化量は一般的に大きいが、ゼロクロス点から離れたところにある２個の連続したサンプル間の変化量は一般的に小さい。このため、フレーム境界がゼロクロス点を挟む２個のサンプルの間にある場合には、そのフレーム境界の前後においてＤＣオフセットの極性が変化し、そのフレーム境界においてキャリア信号に段差が生じたとしても、この段差はあまり目立たない。しかし、ゼロクロス点から離れた２個のサンプル間にフレーム境界があり、このフレーム境界の前後においてＤＣオフセットの極性が変化するような場合、フレーム境界においてＤＣオフセットの変化によりキャリア信号に生じる段差が聴感上目立つものとなる。そこで、本実施形態による埋め込み装置では、このような不具合を回避するためにフレーム境界の修正を行う。すなわち、フレーム境界がゼロクロス点を挟む２個のサンプル間になく、かつ、そのフレーム境界を境にＤＣオフセットの極性が反転する場合には、そのフレーム境界に最も近いゼロクロス点を探索し、このゼロクロス点を挟む２個のサンプル間に当該フレーム境界を移動させるのである。

図５（ａ）および（ｂ）は各々本実施形態の動作例を示すものである。図５（ａ）に示す例において、Ｐｎ−１、Ｐｎ、Ｐｎ＋１、Ｐｎ＋２は各々キャリア信号のサンプルである。この例では、２個の連続したサンプルＰｎおよびＰｎ＋１間にキャリア信号のゼロクロス点とフレーム境界がある。そして、このフレーム境界を境にキャリア信号に付加するＤＣオフセットがＸ１からＸ０に変化している。しかし、この図５（ａ）に示す動作例では、フレーム境界とゼロクロス点の両方が２個のサンプルＰｎおよびＰｎ＋１間に属している。従って、この図５（ａ）の動作例ではフレーム境界の移動は行われない。これに対し、図５（ｂ）に示す動作例では、キャリア信号のフレーム境界がサンプルＰｎおよびＰｎ＋１間にあるのに対し、キャリア信号のゼロクロス点はこれと異なる区間であるサンプルＰｎ＋１およびＰｎ＋２間にある。そこで、この動作例では、キャリア信号のフレーム境界をサンプルＰｎおよびＰｎ＋１間からサンプルＰｎ＋１およびＰｎ＋２間に移動するのである。

本実施形態においても、上記第３実施形態と同様、ＤＣオフセットの極性反転に伴ってキャリア信号波形に生じる段差の影響を少なくすることができる。なお、以上説明した実施形態では、ゼロクロス点を挟む２サンプル間から外れた位置にあるフレーム境界のうちＤＣオフセットの極性の反転が起こるフレーム境界のみを移動の対象としたが、ＤＣオフセットの極性反転の有無は無視して、ゼロクロス点を挟む２サンプル間から外れた位置にある全てのフレーム境界を移動の対象としてもよい。

＜第５実施形態＞
本実施形態は、上記第３実施形態と第４実施形態とを組み合わせた実施形態である。本実施形態において、埋め込み装置は、キャリア信号のフレーム境界がゼロクロス点を挟む２サンプル間から外れた位置にあり、かつ、そのフレーム境界を境にキャリア信号に付加するＤＣオフセットの極性が反転する場合に、当該フレーム境界とその最近傍のゼロクロス点との距離（フレーム境界とゼロクロス点との間に挟まれたサンプル数）を求める。そして、この距離が所定の閾値（例えば１フレーム分のサンプル数Ｎの１％）よりも大きい場合には、上記第４実施形態に従い、当該フレーム境界を最近傍のゼロクロス点を挟む２サンプル間に移動させる。一方、距離が所定の閾値（例えば１フレーム分のサンプル数Ｎの１％）以下である場合には、当該フレーム境界の移動は行わず、上記第３実施形態に従い、当該フレーム境界の上記閾値だけ手前（例えばＮサンプルの１％に相当するサンプル数だけ手前）から上記閾値だけ後（例えばＮサンプルの１％に相当するサンプル数だけ後）までの期間を要して、ＤＣオフセットをＸ１からＸ０へまたはＸ０からＸ１へ緩やかに変化させるのである。

本実施形態においても、上記第３実施形態および第４実施形態と同様、ＤＣオフセットの極性反転に伴ってキャリア信号波形に生じる段差の影響を少なくすることができる。なお、本実施形態において、ゼロクロス点を挟む２サンプル間から外れた位置にあるフレーム境界のうちＤＣオフセットの極性の反転が起こるフレーム境界のみを移動またはＤＣオフセットの波形の修正の対象としたが、ＤＣオフセットの極性反転の有無は無視して、ゼロクロス点を挟む２サンプル間から外れた位置にある全てのフレーム境界を移動またはＤＣオフセットの波形の修正の対象としてもよい。

＜第６実施形態＞
図６はこの発明の第６実施形態である抽出装置２Ｂの構成を示すブロック図である。この抽出装置２Ｂは、上記第１実施形態における抽出装置２と同様、Ｎサンプルからなる１フレーム毎にビット“１”を示す正のＤＣオフセットＸ１またはビット“０”を示す負のＤＣオフセットＸ０が付加されたキャリア信号を受け取り、このキャリア信号からビット“１”および“０”を抽出する装置である。

本実施形態による抽出装置２Ｂには、上記第１実施形態による抽出装置２に設けられていたようなフレーム境界を探索するための手段（具体的にはシフトレジスタ２１および２３、移動平均算出部２２、フレーム境界判定部２４からなる回路）は設けられていない。その代わりに、本実施形態による抽出装置２Ｂには、サブフレーム分割部２７とデコード部２８が設けられている。

サブフレーム分割部２７は、電子透かし情報の埋め込まれたキャリア信号を受け取り、このキャリア信号のサンプル列を１フレームの半分のサンプル数Ｎ／２からなるサブフレームに分割する。そして、サブフレーム分割部２７は、キャリア信号のサンプル列をサブフレーム単位でデコード部２８に引き渡す。

デコード部２８は、このようにして引き渡されるキャリア信号のサンプル列を、奇数番目の各サブフレームに対応したサンプル列のグループ（以下、奇数グループという）と、偶数番目の各サブフレームに対応したサンプル列のグループ（以下、偶数グループ）とに分け、奇数グループおよび偶数グループの各々について、各々に含まれる各サブフレームのサンプル列のデコードを行う。

さらに詳述すると、奇数グループまたは偶数グループに対応したデコード処理では、当該グループ（奇数グループまたは偶数グループの一方）を構成する各サブグループ毎に、当該サブグループに属するサンプル列の平均値を求め、この平均値を閾値Ｙ１およびＹ０と比較することにより、当該サブグループにビット“１”が埋め込まれている尤度（各サブグループのサンプル列にＤＣオフセットＸ１が付加されている尤度）が高いか、当該サブグループにビット“０”が埋め込まれている尤度（各サブグループのサンプル列にＤＣオフセットＸ０が付加されている尤度）が高いかを判定し、高い尤度の得られたシンボルをデコード結果とする。

具体的には、あるサブフレームのサンプル列の平均値が閾値Ｙ１（Ｙ１は例えばキャリア信号の最大値の０．８％）より大きければ、ビット“１”が当該サブフレームに埋め込まれている尤度が高いと判定してデコード結果をビット“１”とし、閾値Ｙ０（Ｙ０は例えばキャリア信号の最大値の−０．８％）よりも低い場合には、ビット“０”が当該サブフレームに埋め込まれている尤度が高いと判定してデコード結果をビット“０”とする。また、サンプル列の平均値が閾値Ｙ１とＹ０の中間である場合には、ビット“１”が埋め込まれている尤度とビット“０”が埋め込まれている尤度の両方が低いと判定し、デコード結果を不定とする。

そして、デコード部２８は、所定期間内において、奇数グループから得られた不定でないデコード結果の個数と、偶数グループから得られた不定でないデコード結果の個数を比較し、奇数グループまたは偶数グループのうちこの個数の多いグループから得られたデコード結果を最終的なデコード結果として選択する。

デコード部２８は、以後、このようにして選択した一方のグループ（奇数グループまたは偶数グループ）のデコード処理を継続し、デコード処理においてデコード結果として得られるシンボルを内蔵のバッファに格納する。このバッファに格納された各シンボルの処理は上記第１実施形態と同様である。

図７および図８は各々本実施形態の動作例を示すタイムチャートである。これらの図において、キャリア信号を示すストライプは、縦方向の実線により区切られている。この縦方向の実線は、埋め込み装置側において各々１シンボルの埋め込みを行う各フレームのフレーム境界を示している。また、図７および図８において、デコード結果を示すストライプは、縦方向の実線により区切られている。この縦方向の実線は、抽出装置２Ｂのサブフレーム分割部２７がキャリア信号を複数のサブフレームに区切った際の各サブフレームのサブフレーム境界を示している。そして、図７および図８のキャリア信号を示すストライプにおいて、各フレームを示す各矩形内には各フレームに埋め込まれたシンボル（ビット“０”または“１”）が示されており、デコード結果を示すストライプにおいて、各サブフレームを示す矩形内には各サブフレームにおけるデコード結果が示されている。

図７に示す動作例では、シンボル埋め込み時におけるキャリア信号のフレーム境界と、サブフレーム分割部２７がキャリア信号をサブフレームに区切る際の奇数番目のサブフレームの開始点とが一致している。この場合において、図７の左端に図示された１フレームに着目すると、このフレームの前半部分をなす１番目のサブフレーム内の各サンプルにはビット“１”に対応したＤＣオフセットＸ１が付加されている。従って、このサブフレーム内の各サンプルの平均値はＤＣオフセットＸ１に近い値となり、デコード結果は“１”となる。

一方、２番目のサブフレームは、上記１フレームの後半に相当する。従って、この２番目のサブフレーム内の各サンプルの平均値もＤＣオフセットＸ１に近い値となる。従って、２番目のサブフレームのデコード結果も“１”となる。

３番目以降の各サブフレームについても同様であり、例えばビット“０”の埋め込まれた２番目のフレームの前半に相当する３番目のサブフレームではデコード結果がビット“０”、後半に相当する４番目のサブフレームでも、デコード結果がビット“０”となる。

このように埋め込み時のフレーム境界と抽出時の奇数番目のサブフレームの開始点とが一致する状況では、奇数グループと、偶数グループの両方において、不定でないデコード結果が得られるサブフレームが多数発生し、優劣を付けがたい状況になる。この場合の対処の方法として次の２つが考えられる。第１の態様は、奇数グループおよび偶数グループ間において不定でないデコード結果の得られるサブフレームが同数である場合には、例えば奇数グループから得られたデコード結果を最終的なデコード結果として選択する態様である。第２の態様は、奇数グループと偶数グループとの間で不定でないデコード結果の得られるサブフレームの数に差が出るように、閾値Ｙ１を上昇させ、閾値Ｙ０を低下させる態様である。

図８に示す動作例では、シンボル埋め込み時におけるキャリア信号のフレーム境界に対して、サブフレーム分割部２７がキャリア信号をサブフレームに区切る際の奇数番目のサブフレームの開始点が所定サンプル数だけ後方にずれている。この場合において、１番目のサブフレームは、ビット“１”の埋め込まれたフレームの中央付近を位置を占めている。従って、この１番目のサブフレーム内の各サンプルの平均値はＤＣオフセットＸ１に近い値となり、１番目のサブフレームのデコード結果はビット“１”となる。一方、２番目のサブフレームは、ビット“１”が埋め込まれた１番目のフレームとビット“０”が埋め込まれた２番目のフレームとのフレーム境界を跨いでいる。このため、２番目のサブフレームでは、サブフレーム内の各サンプルの平均値がＤＣオフセットＸ１とＤＣオフセットＸ０の中間の値となり、デコード結果は不定（“？”）となる。３番目以降の各サブフレームについても同様であり、例えばビット“０”の埋め込まれた２番目のフレームに包含される３番目のサブフレームではデコード結果が“０”となり、２番目のフレームと３番目のフレームとのフレーム境界を跨ぐ４番目のサブフレームでは、デコード結果が不定となる。

このように、図８に示す動作例において、奇数グループに属するサブフレームは、１フレームに包含されているため、不定でないデコード結果が得られ、フレーム境界を跨ぐ偶数グループの各サブフレームでは、サブフレーム内の各サンプルの平均値がＤＣオフセットＸ１およびＸ２間の中間値となるため、デコード結果が不定となる。そこで、デコード部２６は、奇数グループから得られたデコード結果を最終的なデコード結果として選択して出力するのである。

このようにして、奇数グループを選択すると、以後、デコード部２７は、奇数グループのサブフレームのみについて、デコード処理を行い、キャリア信号に埋め込まれたシンボルを判定する。

本実施形態においても、上記第１実施形態と同様な効果が得られる。また、本実施形態によれば、演算量の多いフレーム境界探索を行うことなく、キャリア信号に埋め込まれたシンボルを抽出することができる。また、奇数グループおよび偶数グループの一方を選択するために、キャリア信号の全サブフレームのデコードを行う必要はなく、例えば先頭の所定個数のサブフレームについてのみデコードを行えばよい。従って、電子透かし情報の抽出装置をＣＰＵやＤＳＰの演算処理により実現する場合に、ＣＰＵやＤＳＰの演算処理能力を高くすることなく、リアルタイムに受信されるキャリア信号からリアルタイムにシンボルを抽出することができる。また、従来、電子透かし情報の抽出処理の演算量において、フレーム境界探索処理の実行時に演算量がピークとなり、このピークの演算量を処理することができるように高速のＣＰＵやＤＳＰを使用する必要があった。しかし、本実施形態によれば、フレーム境界探索処理が不要となり、抽出処理の演算量が平準化され、抽出処理におけるピークの演算量が小さくなるので、抽出処理に用いるＣＰＵやＤＳＰのコストを低減することができる。

＜第７実施形態＞
上記第６実施形態では、キャリア信号をフレーム長の１／２（Ｎ／２サンプル）の長さを持ったサブフレームに分割し、サブフレーム毎にビット“１”が埋め込まれている尤度とビット“０”が埋め込まれている尤度を判定した。これに対し、本実施形態では、キャリア信号をＮ／Ｍサンプル（Ｍは２以上の整数）からなるＭ種類のサブフレームに分割し、サブフレーム毎にビット“１”が埋め込まれている尤度とビット“０”が埋め込まれている尤度を判定し、尤度の高いビットをデコード結果とする。また、ビット“１”が埋め込まれている尤度とビット“０”が埋め込まれている尤度の両方が低い場合にはデコード結果を不定とする。そして、一定期間内に各サブフレームについて得られたデコード結果を、Ｍｋ＋１番目（ｋは整数）のサブフレームについてのデコード結果と、Ｍｋ＋２番目のサブフレームについてのデコード結果と、…Ｍｋ＋Ｍ番目のサブフレームについてのデコード結果というＭ種類のデコード結果に分類し、各種類毎に不定でないデコード結果の得られたサブフレームの個数を求める。そして、各種類間においてサブフレームの個数が最大である種類を求め、その種類のサブフレームのグループから得られたデコード結果を最終的なデコード結果として選択するのである。

図９および図１０は、各々Ｍ＝３である場合における本実施形態の動作例を示すタイムチャートである。図９に示す動作例では、埋め込み時におけるキャリア信号のフレーム境界と、抽出時におけるキャリア信号の３ｋ＋１番目のサブフレームの開始点が一致している。この場合、３ｋ＋１番目のサブフレームも３ｋ＋２番目のサブフレームも３ｋ＋３番目のサブフレームも共通のフレームに包含されている。そして、ビット“１”の埋め込まれたフレームに包含される３種類のサブフレームでは、サブフレーム内の各サンプルの平均値がいずれもＤＣオフセットＸ１に近い値となり、デコード結果はビット“１”となる。一方、ビット“０”の埋め込まれたフレームに包含される３種類のサブフレームでは、サブフレーム内の各サンプルの平均値がいずれもＤＣオフセットＸ０に近い値となり、デコード結果はビット“０”となる。

図１０に示す動作例では、シンボル埋め込み時におけるキャリア信号のフレーム境界に対して、サブフレーム分割部２７がキャリア信号をサブフレームに区切る際の３ｋ＋１番目のサブフレームの開始点が所定サンプル数だけ後方にずれている。このため、３ｋ＋１番目および３ｋ＋２番目の各サブフレームは、埋め込み時におけるキャリア信号の１フレーム内に包含されているが、３ｋ＋３番目のサブフレームは、埋め込み時におけるキャリア信号のフレーム境界を跨いでいる。このため、３ｋ＋１番目および３ｋ＋２番目の各サブフレームでは、デコード結果としてビット“０”または“１”が得られ、３ｋ＋３番目のサブフレームでは、デコード結果が不定となる。

上記第６実施形態と同様、本実施形態におけるデコード部２８は、上記Ｍ種類（この例ではＭ＝３）のデコード結果の中に不定でないデコード結果の発生回数が最大（同率一位）であるデコード結果が複数発生した場合に、現状よりも閾値Ｙ１を高くするとともに閾値Ｙ０を低くことにより、不定でないデコード結果の発生個数が単独一位であるデコード結果を１種類発生させ、そのデコード結果を選択する。このようにすることで、上記Ｍ種類のデコード結果の中から最も信頼できるデコード結果を選択することができる。本実施形態においても上記第６実施形態と同様な効果が得られる。

＜他の実施形態＞
以上、この発明の第１〜第７実施形態について説明したが、この発明には他にも実施形態が考えられる。例えば次の通りである。

（１）上記各実施形態において、キャリア信号に埋め込む１watermark分の電子透かし情報の内容を決定する際、１watermark分の電子透かし情報におけるビット“１”の個数とビット“０”の個数が同数になるようにするとよい。このように電子透かし情報の内容を決定することにより、長期的に見た場合のキャリア信号のＤＣオフセットを０に近づけることができ、電子透かしの埋め込まれたキャリア信号を例えばスピーカから再生する場合にスピーカに与えるダメージを軽減することができるからである。あるいは、例えば電子透かし情報におけるビット“１”をシンボル“１０”により表現し、ビット“０”をシンボル“０１”により表現し、それらのシンボルをキャリア信号に埋め込んでもよい。この場合、埋め込み効率を下げることにはなるが、１watermark分の電子透かし情報におけるビット“１”の個数とビット“０”の個数が同数になることが保証される。

（２）上記各実施形態では、正のＤＣオフセットＸ１を１％とし、負のＤＣオフセットＸ０を−１％とし、正負のＤＣオフセットを０を対称軸として対称にした。しかし、例えば正のＤＣオフセットＸ１を２％とし、負のＤＣオフセットを−１％にする等、正負のＤＣオフセットを非対称にしてもよい。この場合、キャリア信号からシンボルを抽出する際に、正のＤＣオフセットと負のＤＣオフセットの中間が０Ｖとなるようにキャリア信号にＤＣオフセットを付加し、このＤＣオフセットの付加されたキャリア信号からシンボルの抽出を行えばよい。

（３）上記各実施形態では、１フレームに２値のシンボルを埋め込んだが、シンボルを示すＤＣオフセットを３種類以上用意して、３値以上の多値のシンボルをキャリア信号に埋め込んでもよい。例えば３値のシンボルを埋め込む場合、埋め込み装置側では、第１のシンボルを示すＤＣオフセットとして１％以上の範囲内のＤＣオフセットを使用し、第２のシンボルを示すＤＣオフセットとして１％〜−１％の範囲内のＤＣオフセットを使用し、第３のシンボルを示すＤＣオフセットとして−１％以下の範囲内のＤＣオフセットを使用する。そして、抽出装置側では、各フレームまたはサブフレームから得られるサンプルの平均値が１％以上の範囲、１％〜−１％の範囲、−１％以下の範囲のいずれに属するかにより埋め込まれたシンボルを判定するのである。

（４）例えば上記第１実施形態において、埋め込み装置側では、フレーム内のサンプルの平均値が閾値Ｙ１と閾値Ｙ０の中間値である場合にデコード結果を不定としたが、このような場合当該フレームには電子透かし情報が埋め込まれていないと判断するようにしてもよい。

（５）上記第６および第７実施形態において、抽出装置に次のような動作を行わせてもよい。まず、複数種類のサブフレームのグループの中から１種類のサブフレームのグループを選択した後、サブフレーム境界を後方または前方にＬサンプル（Ｌは１以上の整数）ずらして、選択した種類のサブフレーム内にビット“１”が埋め込まれている尤度とビット“０”が埋め込まれている尤度を求める。そして、Ｌサンプルシフト前において得られた尤度と、Ｌサンプルシフト後において得られた尤度とを比較し、後者の尤度が前者の尤度よりも改善されている場合には、以後、抽出装置はＬサンプルシフト後のサブフレーム境界を選択する。そして、抽出装置は、このような処理を例えば定期的に行い、尤度が改善させるようにサブフレーム境界を補正するのである。この態様によれば、例えばフレーム境界とサブフレーム境界とのずれ量が時間経過に伴って変化するような状況においても、安定してキャリア信号からシンボルを抽出することができる。

（６）上記第６および第７実施形態では、サブフレームの長さをフレームの１／Ｍに等分割した長さとしたが、サブフレームの長さをフレームの長さの１／Ｍより長くしてもよい。この場合、同一種類のサブフレーム（例えばＭｋ＋１番目のサブフレーム）がフレーム長と同じ周期で並ぶようにして、種類の異なるサブフレーム（例えばＭｋ＋１番目のサブフレームとＭｋ＋２番目のサブフレーム）同士をオーバラップさせればよい。

（７）同一内容（同一ビット列）の電子透かし情報を同期させて２チャネルのキャリア信号に埋め込むようにしてもよい。また、この場合において、第１チャネルのキャリア信号には、ビット“１”を示すＤＣオフセットとして正のＤＣオフセットＸ１を付加し、ビット“０”を示すＤＣオフセットとして負のＤＣオフセットＸ０を付加する一方、第２チャネルのキャリア信号には、ビット“１”を示すＤＣオフセットとして負のＤＣオフセット−Ｘ１を付加し、ビット“０”を示すＤＣオフセットとして正のＤＣオフセット−Ｘ０を付加するのである。そして、抽出装置側では、フレーム毎に第１チャネルのキャリア信号の平均値（ＤＣオフセット）と第２チャネルのキャリア信号の平均値（ＤＣオフセット）を求めるとともに、それらの平均値間の差分を算出し、この差分に基づいて各フレームに埋め込まれたシンボルを判定するのである。この態様によれば、シンボルを示すＤＣオフセットの絶対値が小さくても、抽出装置側では、上記の２つの平均値値の差分として、このＤＣオフセットの絶対値の２倍の大きさを持った差分が得られ、シンボルの抽出が容易になる。従って、この態様によれば、キャリア信号に付加するＤＣオフセットの絶対値を小さくすることができる。

（８）本発明は、上記各実施形態に開示された電子透かし情報の埋め込み装置および抽出装置として実現する他、これらの埋め込み装置または抽出装置が実行する各処理をパーソナルコンピュータや携帯電話の各種の電子機器のＣＰＵ等に実行させるプログラムとして実現してもよい。

３……透かし情報作成装置、１……埋め込み装置、２，２Ａ，２Ｂ……抽出装置、４……同期情報出力装置、１１，２５……フレーム分割部、１２……埋め込み部、２１，２３……シフトレジスタ、２２……移動平均算出部、２４……フレーム境界判定部、２６，２８……デコード部、２７……サブフレーム分割部。

Claims (4)

1. キャリア信号を所定サンプル数からなるフレームに区切るフレーム分割手段と、
   前記キャリア信号に対してフレーム単位で電子透かし情報を示すシンボルに対応したＤＣオフセットを付加する埋め込み手段であって、前記フレームの境界において前記キャリア信号に付加するＤＣオフセットの極性が変化する場合、前記フレームの境界を挟む所定長の期間を要して、前記キャリア信号に付加するＤＣオフセットを極性変化前のＤＣオフセットから極性変化後のＤＣオフセットへ緩やかに変化させる埋め込み手段と
   を具備することを特徴とする電子透かし情報の埋め込み装置。
2. キャリア信号を所定サンプル数からなるフレームに区切るフレーム分割手段と、
   前記キャリア信号に対してフレーム単位で電子透かし情報を示すシンボルに対応したＤＣオフセットを付加する埋め込み手段であって、前記フレームの境界が前記キャリア信号のゼロクロス点を挟む２個のサンプル間になく、かつ、当該フレームの境界を境にＤＣオフセットの極性が反転する場合には、前記キャリア信号において当該フレームの境界に最も近いゼロクロス点を探索し、このゼロクロス点を挟む２個のサンプル間に当該フレームの境界を移動させる埋め込み手段と
   を具備することを特徴とする電子透かし情報の埋め込み装置。
3. 所定サンプル数からなるフレーム単位で電子透かし情報を示すシンボルに対応したＤＣオフセットが付加されたキャリア信号のサンプル列を受け取って記憶するバッファと、
   前記バッファに記憶されたキャリア信号のサンプル列から高域成分を除去し、この高域成分除去後のサンプル列に基づいてキャリア信号を区分するフレーム境界を判定するフレーム境界判定手段と、
   前記バッファからキャリア信号のサンプル列を読み出し、前記フレーム境界判定手段によって判定されたフレーム境界においてサンプル列を区切るフレーム分割手段と、
   前記キャリア信号を前記フレーム分割手段により区切られたフレーム単位でデコードする手段であって、フレーム毎にキャリア信号のサンプル列のＤＣオフセットを算出し、このＤＣオフセットに基づいて各フレームに埋め込まれた電子透かし情報のシンボルを判定するデコード手段と
   を具備することを特徴とする電子透かし情報の抽出装置。
4. 所定サンプル数からなるフレーム単位で電子透かし情報を示すシンボルに対応したＤＣオフセットが付加されたキャリア信号のサンプル列を受け取り、この受け取ったキャリア信号を、各々前記フレームを構成するサンプル数よりも少ないサンプル数からなり、かつ、各々時間軸方向に沿って前記フレームと同じ周期で並び、かつ、時間軸方向における位置が各種類間で互いにずれたＭ種類のサブフレームに区切るサブフレーム分割手段と、
   前記サブフレーム分割手段により区切られたキャリア信号の各サブフレームについて、当該サブフレーム内の各サンプルの平均値を算出し、この平均値に基づいて当該サブフレームに各種のシンボルが埋め込まれている尤度を判定し、閾値よりも高く、かつ、各シンボル間で最大である尤度の得られたシンボルをデコード結果とするとともに、いずれのシンボルについても閾値を越える尤度が得られない場合にはデコード結果を不定とし、前記サブフレーム分割手段により区切られた各サブフレームの種類毎に、不定でないデコード結果の得られたサブフレーム数を求め、Ｍ種類のサブフレームの中から不定でないデコード結果の得られたサブフレームの個数が最大であるサブフレームの種類を選択し、選択した種類の各サブフレームから算出されたデコード結果を選択して出力するデコード手段と
   を具備することを特徴とする電子透かし情報の抽出装置。

Images