JP6003099B2 - 音響信号に対する異なる音響信号の埋め込み装置 - Google Patents

Description

本発明は、ＣＤ・ＤＶＤ・ＢＤ等を用いた民生・業務用途における鑑賞用のパッケージ音楽分野、および音楽コンテンツプロバイダー等が商業目的で配信するネットワーク音楽配信分野に関し、特に、音楽コンテンツのコピーを防止する技術に関する。

従来、音楽コンテンツの複製防止のため、様々な技術が開発されている。例えば、ＤＲＭ（特許文献１参照）という方式では、デジタルの音楽コンテンツに暗号化を施すことにより音楽コンテンツの複製を防止している。具体的には、商用ＤＶＤやＢＤメディアから別のＤＶＤ−Ｒ等の記録メディアにデジタルケーブル接続でレコーダ機器で録画したり、パソコンのドライブに挿入してパソコン上で動画ファイルとしてリッピングすることを不可能にしている。しかし、ＤＲＭ方式では、デジタルコンテンツのコピーを防止することは可能であるが、アナログコンテンツのコピーを防止することはできない。すなわち、再生中のディスプレイ画面をビデオカメラで撮影したり、再生信号をスピーカ出力よりラインまたはマイクロフォンで録音することにより複製可能となる。現状、最も大きな問題は、映画館やホールなどに小型ビデオカメラを持ち込み、スクリーンに映し出された映像とともに、スピーカから流れるサウンドトラックが収録され、無尽蔵にＤＶＤが作成され商品（海賊版）として出荷されている例がある。近年の民生用ビデオカメラはＨＤＴＶ対応になっておりＢＤ並みの画質で記録が可能であるため、それをマスターにして複製されるＤＶＤは商用品質を確保することが容易である。

特表２００３−５１７７６７号公報 ＷＯ２０１１／００２０５９ ＷＯ２０１１／１０５１６４

アナログコンテンツの複製を防止する手法として、主として前述の海賊版ＤＶＤ製造への対抗策としては、映像信号に不可視のコピー妨害信号を付加する技術が提案されている（特許文献２参照）。特許文献２に開示の手法では、コピー妨害信号として赤外線を用いているため、人間には不可視だが、ビデオカメラには映り込み、違法コピーを牽制することができる。しかし、コピー妨害信号はコンテンツ自体には埋め込むことができず、コピー妨害信号を発射する特殊なモジュールを装着したスクリーンやディスプレイでないと機能せず、業務用ビデオカメラや赤外カットフィルタを装着したカメラを用いるとコピー妨害信号の映り込みを回避できるという問題がある。また、映像のサウンドトラックの違法コピーに対しては全く無防備である。

一方、デジタル状態での複製を防止する方法としては、空間（映像・画像）または時間（音響）サンプリング時におけるエイリアシング（折り返し歪み）を活用する方法も提案されている（特許文献３参照）。これは旧来のアナログ形態の映像信号または音響信号には無限大の周波数成分を記録することができていたが、デジタル形態に変換する過程で、シャノン・ナイキストの情報理論に基づきサンプリング周波数の１／２の周波数（ナイキスト周波数）を超える信号成分が記録できないという制約があり、かつナイキスト周波数を超える高帯域の信号成分はナイキスト周波数を中心に低域に折り返され、低帯域の信号成分として誤った周波数帯域に重畳されてしまう現象（エイリアシング）に着目したものである。特許文献３では保護対象の動画像の各フレームの高帯域にコピー牽制用の二値画像を重畳させている。通常再生では、画像のエッジ部にわずかなノイズが認識される程度であるが、同動画像に対してサンプリング周波数が１／２以下になるように縮小操作を施すと、重畳された二値画像の信号成分が低帯域に折り返され同動画像の上に重畳して二値画像が可視化される。本方法では、二値画像の信号成分が埋め込まれている周波数帯域が不可視ではないため、通常の動画再生時において若干の品質劣化が避けられないことと、画像サイズを変更させずにサンプリング周波数の変更を伴わないように複製されてしまえば、あるいは一度アナログ系に変換されて再サンプリングされてしまえば、重畳された二値画像は可視化されないという問題がある。

そこで、本発明は、流れている音をマイクロフォンで取得して得たアナログ音響信号や、オーディオライン接続で得たアナログ音響信号を所定のサンプリング周波数でサンプリングして複製を行ったり、デジタル化された音響ファイルに対して所定のサンプリング周波数で圧縮処理を伴いながら複製を行うと、複製後のデジタル化された音響ファイルを再生した場合に、音響信号に非可聴に埋め込まれた異なる音響信号に基づく音が再生されることにより、正常な状態での複製を防止することが可能な音響信号に対する異なる音響信号の埋め込み装置を提供することを課題とする。

上記課題を解決するため、本発明第１の態様では、
時系列のサンプル列で構成されるサンプリング周波数Ｆｓの原音響信号に対して、時系列のサンプル列で構成される複数の音響信号を聴取不能な状態で埋め込む装置であって、
前記原音響信号である第１音響信号から所定数のサンプルで構成される第１音響フレームを読み込むとともに、埋め込むべき音響信号である第２音響信号から所定数のサンプルで構成される第２音響フレーム、埋め込むべき音響信号である第３音響信号から所定数のサンプルで構成される第３音響フレームを読み込む音響フレーム読込手段と、
前記第１音響フレームに対して周波数変換を行い、複素周波数成分である第１スペクトルを得て、前記第２音響フレームに対して周波数変換を行い、複素周波数成分である第２スペクトルを得て、前記第３音響フレームに対して周波数変換を行い、複素周波数成分である第３スペクトルを得る周波数変換手段と、
前記第２スペクトルの信号成分の中で、周波数Ｆｋ以上の信号成分を除去するとともに、前記周波数Ｆｋ以上の周波数Ｆｔを中心に前記周波数Ｆｋ以下の信号成分を高域の周波数方向に折り返し、折り返された周波数Ｆｔ＋（Ｆｔ−Ｆｋ）から周波数２・Ｆｔの範囲の第２スペクトルの信号成分に対して所定の係数を乗算した後、前記第１スペクトルの対応する周波数の信号成分に対して加算することにより、前記第１スペクトルの高域の信号成分に対して改変を加え、さらに前記第３スペクトルの信号成分の中で、周波数Ｆｋ２以上の信号成分を除去するとともに、前記周波数Ｆｋ２以上であって前記周波数Ｆｔとは異なる周波数Ｆｔ２を中心に前記周波数Ｆｋ２以下の信号成分を高域の周波数方向に折り返し、折り返された周波数Ｆｔ２＋（Ｆｔ２−Ｆｋ２）から周波数２・Ｆｔ２の範囲の第３スペクトルの信号成分に対して所定の係数を乗算した後、前記第１スペクトルの対応する周波数の信号成分に対して加算することにより、前記第１スペクトルの高域の信号成分に対して改変を加える周波数成分改変手段と、
前記周波数成分が改変された第１スペクトルに対して周波数逆変換を行って、改変音響フレームを生成する周波数逆変換手段と、
前記生成された改変音響フレームを順次出力する改変音響フレーム出力手段を有する音響信号に対する異なる音響信号の埋込み装置を提供する。

本発明第１の態様によれば、原音響信号に対して埋め込む第２音響信号において、所定の周波数Ｆｋ以上の信号成分を０にするとともに、周波数Ｆｋより大きい周波数Ｆｔを中心に周波数Ｆｋ以下の信号成分を高域の周波数方向に折り返し、折り返された周波数Ｆｔ＋（Ｆｔ−Ｆｋ）から周波数２・Ｆｔの範囲の第２スペクトルの信号成分に対して減衰係数γを乗算した後、生成された第１スペクトルの対応する周波数の信号成分に対して加算する改変を行うようにしたので、通常再生では、原音響信号に埋め込まれた第２音響信号は不可聴であるが、通常再生した音をサンプリング周波数２・Ｆｔで再サンプリングされ複製された音響信号を再生した場合には、前記Ｆｔ＋（Ｆｔ−Ｆｋ）から周波数２・Ｆｔの範囲の第２スペクトルの信号成分が、逆に周波数Ｆｔを中心に周波数Ｆｋ以下の低域の周波数方向に折り返され、原音響信号の周波数Ｆｋ以下の信号成分に重畳され、第２音響信号に基づく音が原音響信号上に合成再生され、純粋な原音響信号に基づく音のみの再生を防ぐことを可能とする。また、複製する際のサンプリング周波数は２・Ｆｔ丁度である必要はなく、２・Ｆｔ前後以下（３・Ｆｔ以下）であれば設定されたサンプリング周波数の１／２の周波数を中心に折り返しが発生し、折り返される対象の信号成分や折り返される低域の周波数帯は所望の位置からずれて、合成再生される第２音響信号に歪みが加わり雑音化されるものの、少なくとも純粋な原音響信号に基づく音のみの再生を防ぐという目的は達成可能となる。また、本発明第１の態様によれば、原音響信号に対して、第２音響信号に加えてさらに第３音響信号を埋め込むようにしたので、改変音響信号に対してサンプリング周波数２・Ｆｔで再サンプリングを行うと第２音響信号が原音響信号上に合成再生されるとともに、サンプリング周波数２・Ｆｔ２で再サンプリングを行うと第３音響信号が原音響信号上に合成再生されるようにすることができ、複数種のサンプリング周波数に対して、原音響信号に記録された音のみを複製されることを防ぐことが可能となる。また、複製する際のサンプリング周波数は２・Ｆｔ丁度または２・Ｆｔ２丁度である必要はなく、各々の前後以下（Ｆｔ＞Ｆｔ２として、３・Ｆｔ以下）であれば設定されたサンプリング周波数の１／２の周波数を中心に折り返しが発生し、折り返される対象の信号成分や折り返される低域の周波数帯は所望の位置からずれて、合成再生される第２音響信号または第３音響信号に歪みが加わり雑音化されるものの、少なくとも純粋な原音響信号に基づく音のみの再生を防ぐという目的は達成可能となる。

本発明第２の態様では、本発明第１の態様の音響信号に対する異なる音響信号の埋込み装置において、前記Ｆｋ＝Ｆｔ＝Ｆｓ／４であることを特徴とする。

本発明第２の態様によれば、第２音響信号の信号成分除去の下限である周波数Ｆｋ、折り返しの中心である周波数Ｆｔを、原音響信号のサンプリング周波数Ｆｓの１／４としたので、折り返した第２音響信号の信号成分の上限がＦｓ／２となり、原音響信号の周波数Ｆｓ／４からＦｓ／２までの信号成分に第２音響信号の成分が重畳されており、サンプリング周波数Ｆｓ／２で複製された場合に、複製された音響信号を再生すると、エイリアシングが発生して、周波数Ｆｓ／４からＦｓ／２までの原音響信号および第２音響信号の信号成分が周波数Ｆｓ／４を中心に周波数Ｆｓ／４以下に折り返され、第２音響信号が可聴な状態で出力される。このため、原音響信号のサンプリング周波数の１／２のサンプリング周波数で、原音響信号に記録された音のみを複製されることを防ぐことが可能となる。また、複製する際のサンプリング周波数はＦｓ／２丁度である必要はなく、Ｆｓ／２前後以下（３・Ｆs／４以下）であれば設定されたサンプリング周波数の１／２の周波数を中心に折り返しが発生し、折り返される対象の信号成分や折り返される低域の周波数帯は所望の位置からずれて、合成再生される第２音響信号に歪みが加わり雑音化されるものの、少なくとも純粋な原音響信号に基づく音のみの再生を防ぐという目的は達成可能となる。

本発明第３の態様では、本発明第１の態様の音響信号に対する異なる音響信号の埋込み装置において、前記Ｆｋ＝Ｆｔ＝Ｆｓ／２であり、前記周波数変換手段が、原音響信号に対して周波数変換を行う前に、あらかじめ補間によりサンプル数を２倍に増加させて２倍の数のサンプルで構成される前記第１音響フレームに対して周波数変換を行い、前記周波数成分改変手段は周波数帯域幅が２倍になった前記第１スペクトルの高域の信号成分に対して改変を加えるようにし、前記周波数逆変換手段は２倍の数のサンプルで構成される改変音響フレームを生成するものであることを特徴とする。

本発明第３の態様によれば、第２音響信号の信号成分除去の下限である周波数Ｆｋ、折り返しの中心である周波数Ｆｔを、原音響信号のサンプリング周波数Ｆｓの１／２とし、改変音響信号のサンプル数を原音響信号のサンプル数の２倍となるように改変するようにしたので、埋め込まれた第２音響信号の成分の下限がＦｓ／２となり、周波数Ｆｓ／２を人間の可聴域の上限付近に設定しておくことにより、第２音響信号の信号成分は完全に非可聴域に入り、第２音響信号は全く聴取されない。ところが、前記改変音響信号がアナログ系に変換されるかデジタルの状態で、サンプリング周波数Ｆｓで再度サンプリングされ複製された場合に、複製された音響信号を再生すると、エイリアシングが発生して周波数Ｆｓ／２以上の第２音響信号の信号成分が周波数Ｆｓ／２を中心に周波数Ｆｓ／２以下の可聴帯域に折り返され、第２音響信号が可聴な状態で出力される。このため、原音響信号のサンプリング周波数と同一のサンプリング周波数で、原音響信号に記録された音のみを複製されることを防ぐことが可能となる。また、複製する際のサンプリング周波数はＦｓ丁度である必要はなく、Ｆｓ前後以下（３・Ｆs／２以下）であれば設定されたサンプリング周波数の１／２の周波数を中心に折り返しが発生し、折り返される対象の信号成分や折り返される低域の周波数帯は所望の位置からずれて、合成再生される第２音響信号に歪みが加わり雑音化されるものの、少なくとも純粋な原音響信号に基づく音のみの再生を防ぐという目的は達成可能となる。

本発明第４の態様では、本発明第１の態様の音響信号に対する異なる音響信号の埋込み装置において、前記Ｆｋ２＝Ｆｓ／８、かつＦｔ２＝３・Ｆｓ／１６であることを特徴とする。

本発明第５の態様では、本発明第１から第４のいずれか１つの態様の音響信号に対する異なる音響信号の埋込み装置において、前記減衰係数は、１より小さい実数値であることを特徴とする。

本発明第５の態様によれば、第２音響信号、第３音響信号の減衰係数を１より小さい実数値としたので、第２音響信号または第３音響信号の信号成分が可聴帯域内に重畳されても、原音響信号に影響を与えないように第２音響信号、第３音響信号の成分が聴取されにくくすることが可能となる。

本発明第６の態様では、本発明第１から第５のいずれか１つの態様の音響信号に対する異なる音響信号の埋込み装置において、前記周波数変換手段は、窓幅Ｎサンプルとして、サンプル位置ｉ（０≦ｉ≦Ｎ−１）における重みＷ（ｉ）（０≦Ｗ（ｉ）≦１）が、Ｗ（ｉ）＝０．５−０．５ｃｏｓ（２πｉ／Ｎ）で定義されるハニング窓関数を用いて周波数変換を行うものであることを特徴とする。

本発明第６の態様によれば、周波数解析を行う際に、ハニング窓関数を用いるようにしたので、擬似高調波成分を発生させることなく、原音響信号に与える歪みを低減させながら周波数変換を行うことが可能になる。

本発明によれば、流れている音をマイクロフォン経由で得たアナログ形式の音響信号またはオーディオラインケーブル接続（デジタル光ケーブルも対応可）で録音機器に接続して得たアナログ形式の音響信号を所定のサンプリング周波数以下でサンプリングして複製を行うか、デジタル形式の音響ファイルに対して所定のサンプリング周波数以下で再サンプリングして複製を行うと、複製後のデジタル化された音響ファイルを再生した場合に、原音響信号に非可聴に埋め込まれた異なる１つまたは複数の音響信号に基づく音が再生されることにより、正常な状態での複製を防止することが可能となる。

エイリアシングの原理を示す図である。 本発明の基本原理を示す図である。 本発明に係る音響信号に対する異なる音響信号の埋め込み装置のハードウェア構成図である。 本発明に係る音響信号に対する異なる音響信号の埋め込み装置の構成を示す機能ブロック図である。 第１の実施形態に係る音響信号に対する異なる音響信号の埋め込み装置の処理動作を示すフローチャートである。 ステップＳ５における第２スペクトルに対する改変処理を示す図である。 ステップＳ６における第１スペクトルと改変後の第２スペクトルの合成処理を示す図である。 再生音を録音することにより得られた複製音響信号を示す図である。 第２の実施形態に係る音響信号に対する異なる音響信号の埋め込み装置の処理動作を示すフローチャートである。 ステップＳ１７における第２スペクトルに対する改変処理を示す図である。 ステップＳ１８における第３スペクトルに対する改変処理を示す図である。 ステップＳ１９における第１スペクトルと改変後の第２スペクトルの合成処理を示す図である。 ステップＳ１９における第１スペクトルに改変後の第２スペクトルを合成したスペクトルと、改変後の第３スペクトルの合成処理を示す図である。 再生音を録音することにより得られた複製音響信号を示す図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。
（１．本発明の基本概念）
最初に、本発明の基本概念について説明しておく。本発明では、特許文献３と同様にエイリアシングと呼ばれる折り返し歪みを利用して、複製を防止したい原音響信号に、警告メッセージや妨害音等の異なる音響信号を埋め込み、改変音響信号を得る処理を行う。埋め込まれた異なる音響信号は、改変音響信号の通常再生時には聴き取ることができないが、再生された改変音響信号を録音して再サンプリングされ複製された複製音響信号（複製方法はデジタルコピーであるか、アナログコピーであるかは問わないが、原音響信号と同一のサンプリング周波数による複製を防止する場合にはアナログコピーに限定される）を再生すると、異なる音響信号に基づく警告メッセージや妨害音等が可聴な状態で再生される。

図１は、エイリアシングの原理を示す図である。このうち、図１（ａ）は、原音響信号の信号波形、図１（ｂ）は図１（ａ）の原音響信号をサンプリング周波数Ｆｓでサンプリングしたサンプリングデータの直線近似波形を示している。原音響信号に対して、サンプリング周波数Ｆｓでサンプリングを行うと、ナイキスト周波数Ｆｓ／２を超える高周波の信号成分が、Ｆｓ／２を中心に低域側に折り返され、Ｆｓ／２以下の低域信号成分として誤解析され重畳されてしまう。これが、エイリアシングである。図１の例では、サンプリング周波数Ｆｓでサンプリングを行うことにより、周波数Ｆｓ／２〜Ｆｓの信号成分は周波数方向に反転して重畳され、周波数Ｆｓ〜３・Ｆｓ／２の信号成分は周波数方向に２回反転して元の向きで重畳される。図１（ｂ）の例では、３種のスペクトル成分を重ねて表示しているが、実際には複素ベクトルで加算される。

図２は、本発明の基本原理を示す図である。図２において、図２（ａ）は、サンプリング周波数Ｆｓでサンプリングされた原音響信号の信号波形、図２（ｂ）は、サンプリング周波数Ｆｓでサンプリングされた異なる音響信号の信号波形、図２（ｃ）は、本発明による埋め込み処理の結果得られた改変音響信号の信号波形、図２（ｄ）は、改変音響信号をなんらかの複製手段で再サンプリングして得られた複製音響信号の信号波形である。

図２（ａ）に示した原音響信号、図２（ｂ）に示した異なる音響信号は、ともにサンプリング前にハイカットフィルタ処理により高域成分を削除し、エイリアシングが生じていないものを用いる。本発明では、図１（ａ）に示した原音響信号に対してあらかじめ同サンプリング周波数を２・Ｆｓに拡大して、図２（ｂ）に示した異なる音響信号を周波数Ｆｓ／２を中心に高域側へ折り返したものをサンプリング周波数が拡大された原音響信号に合成し、図２（ｃ）に示す改変音響信号を得る。このようにして得られた図２（ｃ）に示す改変音響信号を再生した場合、Ｆｓ／２を人間の可聴域より高い値（例えば、２２．０５ｋＨｚ）に設定しておくことにより、Ｆｓ／２より高い異なる音響信号に由来する信号成分に基づく音は、人間にはほとんど聴こえない。図２（ｃ）に示す改変音響信号を、複製してサンプリング周波数Ｆｓで再サンプリングすると、図２（ｄ）に示す複製音響信号が得られる。図２（ｄ）に示す複製音響信号は、エイリアシングが発生し、異なる音響信号に由来する信号成分が、人間の可聴域であるＦｓ／２以下に折り返されるため、異なる音響信号として記録された警告メッセージや妨害音等が原音響信号として記録された音とともに人間に聴こえることになる。警告メッセージや妨害音が音楽に重ねて聴こえると、正常な状態で音楽を鑑賞することができない。このため、複製に対する抑止力が働くことになる。

（２．１．埋め込み装置の構成）
次に、本発明に係る音響信号に対する異なる音響信号の埋め込み装置について説明する。図３は、本発明に係る音響信号に対する異なる音響信号の埋め込み装置のハードウェア構成図である。音響信号に対する異なる音響信号の埋め込み装置は、汎用のコンピュータで実現することができ、図３に示すように、ＣＰＵ１（CPU: Central Processing Unit）と、コンピュータのメインメモリであるＲＡＭ２（RAM: Random Access Memory）と、ＣＰＵ１が実行するプログラムやデータを記憶するための大容量の記憶装置３（例えば、ハードディスク、フラッシュメモリ等）と、キーボード、マウス等のキー入力Ｉ／Ｆ（インターフェース）４と、外部装置（データ記憶媒体等）とデータ通信するためのデータ入出力Ｉ／Ｆ（インターフェース）５と、表示装置（ディスプレイ）に情報を送出するための表示出力Ｉ／Ｆ（インターフェース）６と、を備え、互いにバスを介して接続されている。

図４は、本発明に係る音響信号に対する異なる音響信号の埋め込み装置の構成を示す機能ブロック図である。図４において、１０は音響フレーム読込手段、２０は周波数変換手段、３０は周波数成分改変手段、４０は周波数逆変換手段、５０は改変音響フレーム出力手段、６０は記憶手段、６１は音響信号記憶部、６２は改変音響信号記憶部である。なお、図４に示す装置は、ステレオ音響信号、モノラル音響信号あるいは３チャンネル以上のサラウンド音響信号のいずれにも対応可能であるが、本実施形態では、２チャンネルのステレオ音響信号に対して処理を行う場合について説明していく。

音響フレーム読込手段１０は、原音響信号である第１音響信号、異なる音響信号である第２音響信号それぞれの各チャンネルから所定数のサンプルを１音響フレームとして読み込む機能を有している。周波数変換手段２０は、音響フレーム読込手段１０が第１音響信号から読み込んだ音響フレーム（以下、第１音響フレームという。）、第２音響信号から読み込んだ音響フレーム（以下、第２音響フレームという。）をフーリエ変換等により周波数変換して周波数次元の複素数のスペクトルを生成する機能を有している。周波数成分改変手段３０は、第１音響フレームから得られたスペクトルを、第２音響フレームから得られたスペクトルを用いて改変する機能を有している。周波数逆変換手段４０は、改変されたスペクトル集合を含む複数の複素数のスペクトルに対して周波数逆変換を行うことにより、時間次元の改変音響フレームを生成する機能を有している。改変音響フレーム出力手段５０は、生成された改変音響フレームを順次出力する機能を有している。

記憶手段６０は、第１音響信号、第２音響信号を記憶した音響信号記憶部６１と、改変音響信号を記憶する改変音響信号記憶部６２を有しており、その他処理に必要な各種情報を記憶するものである。

図４に示した各構成手段は、現実には図３に示したように、コンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。

図３の記憶装置３には、ＣＰＵ１を動作させ、コンピュータを、音響信号に対する異なる音響信号の埋め込み装置として機能させるための専用のプログラムが実装されている。この専用のプログラムを実行することにより、ＣＰＵ１は、音響フレーム読込手段１０、周波数変換手段２０、周波数成分改変手段３０、周波数逆変換手段４０、改変音響フレーム出力手段５０、記憶手段６０としての機能を実現することになる。また、記憶装置３は、処理に必要な様々なデータを記憶する。

（２．２．埋め込み装置の処理動作）
（２．２．１．第１の実施形態）
次に、図４に示した音響信号に対する異なる音響信号の埋め込み装置の処理動作について説明する。図５は、本実施形態に係る音響信号に対する異なる音響信号の埋め込み装置の処理動作を示すフローチャートである。本実施形態では、第１音響信号、第２音響信号ともに、サンプリング周波数Ｆｓとして９６ｋＨｚ、４８ｋＨｚ（映画など映像・放送業務用）または４４．１ｋＨｚ（ＣＤなど民生用）でサンプリングしたものを用いる。音響フレーム読込手段１０は、第１音響信号記憶部６１に記憶されたステレオの第１音響信号の左右の各チャンネルから、それぞれ所定数Ｎのサンプルを１つの第１音響フレームとして読み込む（ステップＳ１）。同様に、音響フレーム読込手段１０は、音響信号記憶部６１に記憶されたステレオの第２音響信号の左右の各チャンネルから、それぞれ所定数Ｎのサンプルを１つの第２音響フレームとして読み込む（ステップＳ２）。

音響フレーム読込手段１０が読み込む１つの第１音響フレーム、第２音響フレームのサンプル数Ｎは、適宜設定することができるが、サンプリング周波数が４４．１ｋＨｚの場合、４０９６サンプル程度とすると、最も原音に対するダメージを少なくできることが分かっているので、以下この設定値で説明する。したがって、音響フレーム読込手段１０は、第１音響信号、第２音響信号それぞれから、左チャンネル、右チャンネルについてそれぞれ４０９６サンプルずつ、順次第１音響フレーム、第２音響フレームとして読み込んでいくことになる。

本実施形態では、第１音響フレーム、第２音響フレームともに、奇数番目の音響フレーム、偶数番目の音響フレームは、互いに所定数（本実施形態ではＮ／２、例えば２０４８）のサンプルを重複して設定される。したがって、奇数番目の音響フレームを先頭からＡ１、Ａ２、Ａ３…とし、偶数番目の音響フレームを先頭からＢ１、Ｂ２、Ｂ３…とすると、Ａ１はサンプル１〜４０９６、Ａ２はサンプル４０９７〜８１９２、Ａ３はサンプル８１９３〜１２２８８、Ｂ１はサンプル２０４９〜６１４４、Ｂ２はサンプル６１４５〜１０２４０、Ｂ３はサンプル１０２４１〜１４３３６となる。なお、重複させるサンプル数は適宜設定することが可能である。

次に、周波数変換手段２０が、第１音響フレームに対して周波数変換を行って、その第１音響フレームの複素数のスペクトルを得る（ステップＳ３）。同様に、周波数変換手段２０が、第２音響フレームに対して周波数変換を行って、その第２音響フレームの複素数のスペクトルを得る（ステップＳ４）。ステップＳ３、Ｓ４では、具体的には、窓関数を利用して周波数変換を行う。周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができるが、複素数のスペクトルを得られる手法である必要がある。本実施形態では、フーリエ変換を用いた場合を例にとって説明する。

一般に、所定の信号に対してフーリエ変換を行う場合、信号を所定の長さに区切って行う必要があるが、この場合、区切った信号に対してそのまま矩形窓でフーリエ変換を行うと、区切った境界部に基づく擬似高調波成分が発生する。そこで、一般にフーリエ変換を行う場合には、ハニング窓と呼ばれる窓関数を用いて、窓境界部の値を減衰変化させた後、変化後の値に対してフーリエ変換を実行する。

本実施形態においても、ハニング窓関数Ｗ（ｉ）を利用している。ハニング窓関数Ｗ（ｉ）は、中央の所定のサンプル番号ｉの位置において最大値１をとり、両端付近のサンプル番号ｉの位置において最小値０をとるように設定されている。本実施形態では、各第１音響フレーム、第２音響フレームについてのフーリエ変換は、以下の〔数式１〕で定義されるハニング窓関数Ｗ（ｉ）を乗じたものに対して行われることになる。

〔数式１〕
Ｗ（ｉ）＝０．５−０．５ｃｏｓ（２πｉ／Ｎ）

本実施形態においては、第１音響フレーム、第２音響フレームいずれについても、奇数番目の音響フレームと偶数番目の音響フレームを、所定サンプルずつ重複して読み込む。したがって、周波数成分の改変を行った後、音響信号の状態に復元する際、窓関数を乗じた奇数番目の音響フレームと、窓関数を乗じた偶数番目の音響フレームの重複サンプルを加算した場合に、ほぼ元の値に戻るようにしなければならない。このため、奇数番目の音響フレームと偶数番目の音響フレームの重複部分において、窓関数Ｗ（ｉ）を加算すると、全区間固定値１になるように定義される必要がある。

周波数変換手段２０が、第１音響フレームに対してフーリエ変換を行う場合は、左チャンネル信号Ｘ１ｌ（ｉ）、右チャンネル信号Ｘ１ｒ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、窓関数Ｗ（ｉ）を用いて、以下の〔数式２〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａ１ｌ（ｊ）、虚部Ｂ１ｌ（ｊ）、右チャンネルに対応する変換データの実部Ａ１ｒ（ｊ）、虚部Ｂ１ｒ（ｊ）を得る。

〔数式２〕
Ａ１ｌ（ｊ）＝Σ_i=0,…,N-1Ｗ（ｉ）・Ｘ１ｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂ１ｌ（ｊ）＝Σ_i=0,…,N-1Ｗ（ｉ）・Ｘ１ｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａ１ｒ（ｊ）＝Σ_i=0,…,N-1Ｗ（ｉ）・Ｘ１ｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂ１ｒ（ｊ）＝Σ_i=0,…,N-1Ｗ（ｉ）・Ｘ１ｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）

周波数変換手段２０が、第２音響フレームに対してフーリエ変換を行う場合は、左チャンネル信号Ｘ２ｌ（ｉ）、右チャンネル信号Ｘ２ｒ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、窓関数Ｗ（ｉ）を用いて、以下の〔数式３〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａ２ｌ（ｊ）、虚部Ｂｌ（ｊ）、右チャンネルに対応する変換データの実部Ａ２ｒ（ｊ）、虚部Ｂｒ（ｊ）を得る。

〔数式３〕
Ａ２ｌ（ｊ）＝Σ_i=0,…,N-1Ｗ（ｉ）・Ｘ２ｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂ２ｌ（ｊ）＝Σ_i=0,…,N-1Ｗ（ｉ）・Ｘ２ｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａ２ｒ（ｊ）＝Σ_i=0,…,N-1Ｗ（ｉ）・Ｘ２ｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂ２ｒ（ｊ）＝Σ_i=0,…,N-1Ｗ（ｉ）・Ｘ２ｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）

上記〔数式２〕〔数式３〕において、ｉは、各音響フレーム内のＮ個のサンプルに付した通し番号であり、ｉ＝０，１，２，…Ｎ−１の整数値をとる。また、ｊは周波数の値について、値の小さなものから順に付した通し番号であり、ｉと同様にｊ＝０，１，２，…Ｎ／２−１の整数値をとる。サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が約１０．８Ｈｚ異なることになる。

ステップＳ３、Ｓ４においてそれぞれ上記〔数式２〕〔数式３〕に従った処理を実行することにより、各第１音響フレーム、第２音響フレームに対応する複素数のスペクトルが得られる。続いて、周波数成分改変手段３０が、第２音響フレームから得られた第２スペクトルに対する改変処理を行う（ステップＳ５）。具体的には、高域成分除去、低域成分減衰、減衰後の低域成分の高域部への折り返し処理を実行する。

図６は、ステップＳ５における第２スペクトルに対する改変処理を示す図である。図６（ａ）は、サンプリング周波数Ｆｓでサンプリングされた第２音響信号のうち有効な周波数Ｆｓ／２以下の第２スペクトルを示している。図６（ａ）に示した第２スペクトルに対して、周波数成分改変手段３０は、高域成分を除去する処理を行う。具体的には、有効な周波数Ｆｓ／２以下のスペクトルのうち、周波数Ｆｋより大きい周波数成分を除去する。本実施形態では、有効な周波数Ｆｓ／２以下のスペクトルのうち、高域半分を除去するため、Ｆｋ＝Ｆｓ／４に設定している。この結果、第２スペクトルは、図６（ｂ）に示すような状態となる。

次に、周波数成分改変手段３０は、低域成分を減衰させる処理を行う。具体的には、高域成分を除去することにより得られた周波数Ｆｓ／４以下のスペクトルの成分強度を１／２に減衰させる。この結果、第２スペクトルは、図６（ｃ）に示すような状態となる。続いて、周波数成分改変手段３０は、減衰後の低域成分を高域部へ折り返す処理を行う。具体的には、周波数Ｆｔを中心として減衰後の低域成分を反転させた状態にスペクトルを改変する。本実施形態では、Ｆｔ＝Ｆｓ／４に設定している。周波数Ｆｓ／４を中心として減衰後の低域成分を反転させた状態にスペクトルを改変する。この結果、第２スペクトルは、図６（ｄ）に示すような状態となる。

ステップＳ５における第２スペクトルに対する改変処理を行ったら、次に、周波数成分改変手段３０は、第１スペクトルと改変後の第２スペクトルの合成を行う（ステップＳ６）。図７は、ステップＳ６における第１スペクトルと改変後の第２スペクトルの合成処理を示す図である。図７（ａ）は、サンプリング周波数Ｆｓでサンプリングされた第１音響信号のうち有効な周波数Ｆｓ／２以下の第１スペクトルを示している。図７（ｂ）は、図６（ｄ）と同一であり、高域成分除去、低域成分減衰、減衰後の低域成分の高域部への折り返し処理後の第２スペクトルを示している。

ステップＳ６において、周波数成分改変手段３０は、第１スペクトルと改変後の第２スペクトルの合成処理として、各スペクトルの成分を周波数ごとに加算する処理を行う。この結果、第１スペクトル（合成スペクトル）は、図７（ｃ）に示すような状態となる。図７（ｂ）に示したように、改変処理後の第２スペクトルには、周波数Ｆｓ／４以下の周波数成分が存在しないため、図７（ｃ）に示すように、合成後の第１スペクトルの周波数Ｆｓ／４以下の周波数成分は、元の第１スペクトルから変化がない。合成後の第１スペクトルにおいては、周波数Ｆｓ／４より大きい範囲において、２つのスペクトル成分が合成される。

図７（ｃ）の例では、２種のスペクトル成分を重ねて表示しているが、実際には複素ベクトルで加算される。図７（ｃ）に示すように、合成後のスペクトルでは、第２音響信号に由来する成分は雑音化されて、第１音響信号の成分にマスキングされるため、改変音響信号を再生したとしても、第２音響信号として記録された音は、人間には聴取されない。

周波数成分改変手段３０が上記ステップＳ５、Ｓ６で行った処理は以下の〔数式４〕としてまとめることができる。

〔数式４〕
Ａ１ｌ´（ｊ）← Ａ１ｌ（ｊ）＋Ａ２ｌ（Ｎ／４−ｊ）・γ
Ｂ１ｌ´（ｊ）← Ｂ１ｌ（ｊ）＋Ｂ２ｌ（Ｎ／４−ｊ）・γ
Ａ１ｒ´（ｊ）← Ａ１ｒ（ｊ）＋Ａ２ｒ（Ｎ／４−ｊ）・γ
Ｂ１ｒ´（ｊ）← Ｂ１ｒ（ｊ）＋Ｂ２ｒ（Ｎ／４−ｊ）・γ

周波数成分改変手段３０は、周波数成分Ａ１ｌ（ｊ）、Ｂ１ｌ（ｊ）、Ａ２ｌ（ｊ）、Ｂ２ｌ（ｊ）に対して、上記〔数式４〕に従った処理を、ｊ＝Ｎ／８＋１，・・・，Ｎ／４−１の各ｊについて実行する。１音響フレームのサンプル数Ｎ=４０９６、サンプリング周波数Ｆｓ＝４４．１ｋＨｚの場合、ｊ＝Ｎ／８は、周波数Ｆｓ／４に対応し、ｊ＝Ｎ／４は、周波数Ｆｓ／２に対応する。したがって、〔数式４〕においては、ｊ＝５１３，・・・，１０２５が処理対象となり、約５．５ｋＨｚ〜約１１ｋＨｚの周波数成分が変更される。

上記〔数式４〕において、γは減衰係数であり、０＜γ＜１の範囲で設定される実数値である。本実施形態ではγ＝０．５に設定されている。上記〔数式４〕に示した各式右辺の第２項（Ａ２ｌ（Ｎ／４−ｊ）・γ等）は、高域成分除去、低域成分減衰、減衰後の低域成分の高域部への折り返し処理後の第２スペクトルの成分であり、減衰係数γに応じて減衰されることを示している。このように、第２音響信号の成分を減衰させると、警告メッセージや妨害音等の出力レベルが小さくなってしまうため、本来は実施したくないが、この減衰処理は、第２音響信号の成分が、折り返し前の高域に存在する際、聴感度が低い帯域ではあるが可聴帯域であるため、通常再生において聴取されないようにするためのオプション的な処理であり、サンプリング周波数Ｆｓ＝９６ｋＨｚの場合はこのような減衰は不要でγ＝１．０で良い。

図５のフローチャートと上記〔数式４〕の対応関係を示すと、ステップＳ５における第２スペクトルに対する改変処理が、上記〔数式４〕の右辺第２項を算出する処理に対応し、ステップＳ６における第１スペクトルと第２スペクトルの合成処理が、上記〔数式４〕の右辺第１項と第２項を加算する処理に対応することになる。

周波数成分改変手段３０が、ステップＳ６における合成処理を終えたら、次に、周波数逆変換手段４０が、改変後の第１スペクトルを周波数逆変換して改変音響フレームを得る処理を行う（ステップＳ７）。この周波数逆変換は、当然のことながら、周波数変換手段２０が実行した手法に対応していることが必要となる。本実施形態では、周波数変換手段２０において、フーリエ変換を施しているため、周波数逆変換手段４０は、フーリエ逆変換を実行することになる。

具体的には、周波数逆変換手段４０は、周波数成分改変手段３０により得られた第１スペクトルの左チャンネルの実部Ａ１ｌ´（ｊ）、虚部Ｂ１ｌ´（ｊ）、右チャンネルの実部Ａ１ｒ´（ｊ）、虚部Ｂ１ｒ´（ｊ）を用いて、以下の〔数式５〕に従った処理を行い、Ｘ１ｌ´（ｉ）、Ｘ１ｒ´（ｉ）を算出する。なお、周波数成分改変手段３０において改変されていない周波数成分については、Ａ１ｌ´（ｊ）、Ｂ１ｌ´（ｊ）、Ａ１ｒ´（ｊ）、Ｂ１ｒ´（ｊ）として、それぞれ元の周波数成分であるＡ１ｌ（ｊ）、Ｂ１ｌ（ｊ）、Ａ１ｒ（ｊ）、Ｂ１ｒ（ｊ）を用いる。

〔数式５〕
Ｘ１ｌ´（ｉ）＝１／Ｎ・｛Σ_jＡ１ｌ´（ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−Σ_jＢ１ｌ´（ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋Ｘ１ｌｐ（ｉ＋Ｎ／２）
Ｘ１ｒ´（ｉ）＝１／Ｎ・｛Σ_jＡ１ｒ´（ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−Σ_jＢ１ｒ´（ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋Ｘ１ｒｐ（ｉ＋Ｎ／２）

上記〔数式５〕においては、式が繁雑になるのを防ぐため、Σ_j=0,…_,N-1をΣ_jとして示している。上記〔数式５〕における第１式の“＋Ｘ１ｌｐ（ｉ＋Ｎ／２）”、第２式の“＋Ｘ１ｒｐ（ｉ＋Ｎ／２）”の項は、直前に改変された改変音響フレームのデータＸ１ｌｐ（ｉ）、Ｘ１ｒｐ（ｉ）が存在する場合に、時間軸上Ｎ／２サンプル分重複することを考慮して加算するためのものである。上記〔数式５〕により改変音響フレームの左チャンネルの各サンプルＸ１ｌ´（ｉ）、右チャンネルの各サンプルＸ１ｒ´（ｉ）、が得られることになる。

改変音響フレーム出力手段５０は、周波数逆変換手段４０の処理により得られた改変音響フレームを順次出力ファイルに出力する。上記図５のフローチャートに示した処理は、第１音響信号の全ての第１音響フレームに対して実行される。第１音響フレームの数が、第２音響フレームの数より多い場合は、先頭の第２音響フレームに戻って繰り返し処理を行う。このようにして全ての第１音響フレームに対して処理を行った結果、改変音響フレームの集合である改変音響信号が、改変音響信号記憶部６２に記憶される。本実施形態では、第１音響信号の先頭から最後まで第２音響信号を埋め込むようにしたが、埋め込む位置を設定して、その範囲にだけ埋め込むようにすることも可能である。

このようにして得られた改変音響信号は、元の第１音響信号に、上述のような改変がなされた第２音響信号が埋め込まれたものとなる。この改変音響信号のスペクトルは、図７（ｃ）に示したようなものとなるので、再生した場合、Ｆｓ／２以下の周波数成分が音として発せられる。Ｆｓ／２を人間の可聴域の上限付近に設定しておくことにより、Ｆｓ／４〜Ｆｓ／２の範囲の音も発せられるが、第２音響信号に由来する成分はあらかじめ減衰させていて、かつスペクトルが周波数方向に反転されているため雑音化されて、第１音響信号の成分にマスキングされるため、第２音響信号として記録された音は、人間には聴取されない。

改変音響信号を再生してスピーカから発せられた音を録音するなど改変音響信号に対して何らかの複製手段でサンプリング周波数Ｆｓ／２で再サンプリングし、複製音響信号とした場合について説明する。この場合、改変音響信号の信号成分のうち、ナイキスト周波数Ｆｓ／４を超える高周波の信号成分が、Ｆｓ／４以下の低域信号成分として折り返され重畳される。すなわち、エイリアシングが発生し、周波数Ｆｓ／４〜Ｆｓ／２の信号成分は反転してＦｓ／４以下の周波数帯に重畳される。この結果、複製音響信号のスペクトルは、図８（ｂ）に示したようなものになる。図８（ｂ）の例では、２種のスペクトル成分を重ねて表示しているが、実際には複素ベクトルで加算される。

図８（ｂ）に示すように、複製音響信号では、第２音響信号に由来する信号成分が、複製音響信号のＦｓ／４以下の低域部分に復元される。このため、図８（ｂ）に示した複製音響信号を再生すると、第２音響信号に記録された音と同等の音が原音響信号と共に発せられ、人間の耳に明瞭に聴取されることになる。したがって、複製音響信号を再生しても、鑑賞に堪える再生音を得ることができなくなるため、複製を抑止することが可能となる。また、改変音響信号に対して複製する際のサンプリング周波数がＦｓ／２より若干小さくＦｓ／４より大きいＦｓ´の場合でも、同様にエイリアシングが発生し、周波数Ｆｓ´／２〜Ｆｓ´の信号成分は反転してＦｓ´／２以下の周波数帯に重畳される。即ち、図８（ａ）の右半分より左端が左側にずれて、図８（ａ）の右半分より帯域幅が狭い信号成分が図８（ｂ）の左半分より右端が左側にずれた位置に折り返される。この複製音響信号を再生すると、第２音響信号に記録された音と同等の音が発せられることは期待できないが、歪みやかなりの雑音を伴って第２音響信号に基づく音が人間の耳に明瞭に聴取されることになる。この場合でも、少なくとも鑑賞に堪える再生音を得ることができなくなるという目的は達成できるため、複製を抑止することが可能となる。

更に、改変音響信号に対して複製する際のサンプリング周波数がＦｓ／４より小さい場合には、顕著なエイリアシングが発生して原音響信号自身の主要信号成分が破壊され鑑賞に堪える再生音を得ることができなくなる。逆に、改変音響信号に対して複製する際のサンプリング周波数がＦｓ／２より若干大きく３・Ｆｓ／４より小さいＦｓ´の場合でも、同様にエイリアシングが発生し、周波数Ｆｓ´／２〜Ｆｓ´の信号成分は反転してＦｓ´／２以下の周波数帯に重畳される。即ち、図８（ａ）の右半分より右端が右側にずれて、図８（ａ）の右半分より帯域幅が広い信号成分が図８（ｂ）の左半分より右端が右側にずれた位置に折り返される。この複製音響信号を再生すると、第２音響信号に記録された音と同等の音が発せられることは期待できないが、歪みやかなりの雑音を伴って第２音響信号に基づく音が人間の耳に明瞭に聴取されることになる。この場合でも、少なくとも鑑賞に堪える再生音を得ることができなくなるという目的は達成できるため、複製を抑止することが可能となる。しかし、３・Ｆｓ／４より大きい場合には、エイリアシングが殆ど発生せず、原音響信号および第２音響信号の品質は維持され、第２音響信号は可聴化されず複製を抑止することはできない。以上のことから、改変音響信号に対して複製する際のサンプリング周波数が３・Ｆｓ／４より小さい場合には、エイリアシングが発生して。複製を抑止することが可能となる。

（２．２．２．第１の実施形態の変形例）
上記実施形態では、第１音響信号のサンプリング周波数Ｆｓの半分の周波数であるＦｓ／２前後以下でサンプリングして複製される場合に対応することができる。次に、第１音響信号のサンプリング周波数Ｆｓと同一周波数であるＦｓ前後以下でサンプリングして複製される場合に対応する例について説明する。

この場合、周波数Ｆｋ、周波数ＦｔをいずれもＦｓ／２に設定する。そして、図２に示したように、第２音響信号（異なる音響信号）を周波数Ｆｓ／２を中心に反転して第１音響信号（原音響信号）と合成する。具体的な処理は、上記ステップＳ１〜Ｓ５と同様に行う。ただし、上記ステップＳ３の周波数変換において、補間して１つの第１音響フレームにおけるサンプル数を２倍に増やしながら、周波数変換を行い、音響フレームの左チャンネルの各サンプルＸ１ｌ（ｉ）、右チャンネルの各サンプルＸ１ｒ（ｉ）を得る。これにより、１つの第１音響フレームにおけるサンプル数は２Ｎ個となる。その後、ステップＳ６およびステップＳ７を経て、改変音響フレームの左チャンネルの各サンプルＸ１ｌ´（ｉ）、右チャンネルの各サンプルＸ１ｒ´（ｉ）を得る。この結果、改変音響信号は、サンプリング周波数２・Ｆｓでサンプリングした場合と同様の形態となる。

このようにして得られた改変音響信号は、図２（ｃ）に示すようになる。このような改変音響信号を再生した場合、Ｆｓ／２を人間の可聴域の上限に設定しておくことにより、Ｆｓ／２より高い第２音響信号に由来する信号成分に基づく音は、人間にはほとんど聴こえない。図２（ｃ）に示す改変音響信号に対して同音響信号を再生して発せられた音を、アナログ系で録音するなどの複製手段によりサンプリング周波数Ｆｓで再サンプリングすると、図２（ｄ）に示す複製音響信号が得られる。図２（ｄ）に示す複製音響信号は、エイリアシングが発生し、第２音響信号に由来する信号成分が、人間の可聴域であるＦｓ／２以下に存在するため、第２音響信号として記録された警告メッセージや妨害音等が原音響信号として記録された音とともに人間に聴こえることになる。警告メッセージや妨害音が音楽に重ねて聴こえると、正常な状態で音楽を鑑賞することができない。このため、複製に対する抑止力が働くことになる。

また、改変音響信号に対して複製する際のサンプリング周波数がＦｓより若干小さくＦｓ／２より大きいＦｓ´の場合でも、同様にエイリアシングが発生し、周波数Ｆｓ´／２〜Ｆｓ´の信号成分は反転してＦｓ´／２以下の周波数帯に重畳される。即ち、図２（ｃ）の右半分より左端が左側にずれて、図２（ｃ）の右半分より帯域幅が狭い信号成分が図２（ｄ）の左半分より右端が左側にずれた位置に折り返される。この複製音響信号を再生すると、第２音響信号に記録された音と同等の音が発せられることは期待できないが、歪みやかなりの雑音を伴って第２音響信号に基づく音が人間の耳に明瞭に聴取されることになる。この場合でも、少なくとも鑑賞に堪える再生音を得ることができなくなるという目的は達成できるため、複製を抑止することが可能となる。更に、改変音響信号に対して複製する際のサンプリング周波数がＦｓ／２より小さい場合には、顕著なエイリアシングが発生して原音響信号自身の主要信号成分が破壊され鑑賞に堪える再生音を得ることができなくなる。逆に、改変音響信号に対して複製する際のサンプリング周波数がＦｓより若干大きく３・Ｆｓ／２より小さいＦｓ´の場合でも、同様にエイリアシングが発生し、周波数Ｆｓ´／２〜Ｆｓ´の信号成分は反転してＦｓ´／２以下の周波数帯に重畳される。即ち、図２（ｃ）の右半分より右端が右側にずれて、図２（ｃ）の右半分より帯域幅が広い信号成分が図２（ｄ）の左半分より右端が右側にずれた位置に折り返される。この複製音響信号を再生すると、第２音響信号に記録された音と同等の音が発せられることは期待できないが、歪みやかなりの雑音を伴って第２音響信号に基づく音が人間の耳に明瞭に聴取されることになる。この場合でも、少なくとも鑑賞に堪える再生音を得ることができなくなるという目的は達成できるため、複製を抑止することが可能となる。しかし、３・Ｆｓ／２より大きい場合には、エイリアシングが殆ど発生せず、原音響信号および第２音響信号の品質は維持され、第２音響信号は可聴化されず複製を抑止することはできない。以上のことから、改変音響信号に対して複製する際のサンプリング周波数が３・Ｆｓ／２より小さい場合には、エイリアシングが発生して。複製を抑止することが可能となる。

（２．２．３．第２の実施形態）
次に、本発明の音響信号に対する異なる音響信号の埋め込み装置の第２の実施形態について説明する。図９は、第２の実施形態に係る音響信号に対する異なる音響信号の埋め込み装置の処理動作を示すフローチャートである。第１の実施形態では、第１音響信号に、第２音響信号１つを異なる音響信号として埋め込むのみであったが、第２の実施形態では、第１音響信号に、第２音響信号、第３音響信号の２つの異なる音響信号を埋め込む処理を行う。本実施形態では、第１音響信号、第２音響信号、第３音響信号のいずれも、サンプリング周波数Ｆｓとして４４．１ｋＨｚでサンプリングしたものを用いる。音響フレーム読込手段１０は、音響信号記憶部６１に記憶されたステレオの第１音響信号の左右の各チャンネルから、それぞれ所定数Ｎのサンプルを１つの第１音響フレームとして読み込む（ステップＳ１１）。同様に、音響フレーム読込手段１０は、音響信号記憶部６１に記憶されたステレオの第２音響信号の左右の各チャンネルから、それぞれ所定数Ｎのサンプルを１つの第２音響フレームとして読み込む（ステップＳ１２）。同様に、音響フレーム読込手段１０は、音響信号記憶部６１に記憶されたステレオの第３音響信号の左右の各チャンネルから、それぞれ所定数Ｎのサンプルを１つの第３音響フレームとして読み込む（ステップＳ１３）。

音響フレーム読込手段１０が読み込む１つの第１音響フレーム、第２音響フレーム、第３音響フレームのサンプル数Ｎは、適宜設定することができるが、サンプリング周波数が４４．１ｋＨｚの場合、４０９６サンプル程度とすると、最も原音に対するダメージを少なくできることが分かっているので、以下この設定値で説明する。したがって、音響フレーム読込手段１０は、第１音響信号、第２音響信号、第３音響信号それぞれから、左チャンネル、右チャンネルについてそれぞれ４０９６サンプルずつ、順次第１音響フレーム、第２音響フレーム、第３音響フレームとして読み込んでいくことになる。

本実施形態でも、第１の実施形態と同様、第１音響フレーム、第２音響フレーム、第３音響フレームともに、奇数番目の音響フレーム、偶数番目の音響フレームは、互いに所定数（本実施形態では２０４８）のサンプルを重複して設定される。したがって、奇数番目の音響フレームを先頭からＡ１、Ａ２、Ａ３…とし、偶数番目の音響フレームを先頭からＢ１、Ｂ２、Ｂ３…とすると、Ａ１はサンプル１〜４０９６、Ａ２はサンプル４０９７〜８１９２、Ａ３はサンプル８１９３〜１２２８８、Ｂ１はサンプル２０４９〜６１４４、Ｂ２はサンプル６１４５〜１０２４０、Ｂ３はサンプル１０２４１〜１４３３６となる。

次に、周波数変換手段２０が、第１音響フレームに対して周波数変換を行って、その第１音響フレームの複素数のスペクトルを得る（ステップＳ１４）。同様に、周波数変換手段２０が、第２音響フレームに対して周波数変換を行って、その第２音響フレームの複素数のスペクトルを得る（ステップＳ１５）。さらに、周波数変換手段２０が、第３音響フレームに対して周波数変換を行って、その第３音響フレームの複素数のスペクトルを得る（ステップＳ１６）。ステップＳ１４、Ｓ１５、Ｓ１６では、第１の実施形態におけるステップＳ３、Ｓ４と同様、上記〔数式１〕に示した窓関数Ｗ（ｉ）を利用して周波数変換を行う。

周波数変換手段２０が、第１音響フレームに対してフーリエ変換を行う場合は、左チャンネル信号Ｘ１ｌ（ｉ）、右チャンネル信号Ｘ１ｒ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、窓関数Ｗ（ｉ）を用いて、上記〔数式２〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａ１ｌ（ｊ）、虚部Ｂ１ｌ（ｊ）、右チャンネルに対応する変換データの実部Ａ１ｒ（ｊ）、虚部Ｂ１ｒ（ｊ）を得る。

周波数変換手段２０が、第２音響フレームに対してフーリエ変換を行う場合は、左チャンネル信号Ｘ２ｌ（ｉ）、右チャンネル信号Ｘ２ｒ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、窓関数Ｗ（ｉ）を用いて、上記〔数式３〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａ２ｌ（ｊ）、虚部Ｂｌ（ｊ）、右チャンネルに対応する変換データの実部Ａ２ｒ（ｊ）、虚部Ｂｒ（ｊ）を得る。

周波数変換手段２０が、第３音響フレームに対してフーリエ変換を行う場合は、左チャンネル信号Ｘ３ｌ（ｉ）、右チャンネル信号Ｘ３ｒ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、窓関数Ｗ（ｉ）を用いて、以下の〔数式６〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａ３ｌ（ｊ）、虚部Ｂ３ｌ（ｊ）、右チャンネルに対応する変換データの実部Ａ３ｒ（ｊ）、虚部Ｂ３ｒ（ｊ）を得る。

〔数式６〕
Ａ３ｌ（ｊ）＝Σ_i=0,…,N-1Ｗ（ｉ）・Ｘ３ｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂ３ｌ（ｊ）＝Σ_i=0,…,N-1Ｗ（ｉ）・Ｘ３ｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａ３ｒ（ｊ）＝Σ_i=0,…,N-1Ｗ（ｉ）・Ｘ３ｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂ３ｒ（ｊ）＝Σ_i=0,…,N-1Ｗ（ｉ）・Ｘ３ｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）

上記〔数式６〕においては、上記〔数式２〕〔数式３〕と同様、ｉは、各音響フレーム内のＮ個のサンプルに付した通し番号であり、ｉ＝０，１，２，…Ｎ−１の整数値をとる。また、ｊは周波数の値について、値の小さなものから順に付した通し番号であり、ｉと同様にｊ＝０，１，２，…Ｎ／２−１の整数値をとる。サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が約１０．８Ｈｚ異なることになる。

ステップＳ１４、Ｓ１５、Ｓ１６においてそれぞれ上記〔数式２〕〔数式３〕〔数式６〕に従った処理を実行することにより、各第１音響フレーム、第２音響フレーム、第３音響フレームに対応する複素数のスペクトルが得られる。続いて、周波数成分改変手段３０が、第２音響フレームから得られた第２スペクトルに対する改変処理を行う（ステップＳ１７）。具体的には、高域成分除去、低域成分減衰、減衰後の低域成分の高域部への折り返し処理を実行する。

図１０は、ステップＳ１７における第２スペクトルに対する改変処理を示す図である。図１０（ａ）は、サンプリング周波数Ｆｓでサンプリングされた第２音響信号のうち有効な周波数Ｆｓ／２以下の第２スペクトルを示している。図１０（ａ）に示した第２スペクトルに対して、周波数成分改変手段３０は、高域成分を除去する処理を行う。具体的には、有効な周波数Ｆｓ／２以下のスペクトルのうち、周波数Ｆｋより大きい周波数成分を除去する。本実施形態では、有効な周波数Ｆｓ／２以下のスペクトルのうち、上位３／４となる周波数までの成分を除去するため、Ｆｋ＝Ｆｓ／８に設定している。この結果、第２スペクトルは、図１０（ｂ）に示すような状態となる。

次に、周波数成分改変手段３０は、低域成分を減衰させる処理を行う。具体的には、高域成分を除去することにより得られた周波数Ｆｓ／８以下のスペクトルの成分強度を１／２に減衰させる。この結果、第２スペクトルは、図１０（ｃ）に示すような状態となる。続いて、周波数成分改変手段３０は、減衰後の低域成分を高域部へ折り返す処理を行う。具体的には、周波数Ｆｔを中心として減衰後の低域成分を反転させた状態にスペクトルを改変する。本実施形態では、Ｆｔ＝Ｆｓ／４に設定している。この結果、第２スペクトルは、図１０（ｄ）に示すような状態となる。

同様に、周波数成分改変手段３０は、第３音響フレームから得られた第３スペクトルに対する改変処理を行う（ステップＳ１８）。具体的には、高域成分除去、低域成分減衰、減衰後の低域成分の高域部への折り返し処理を実行する。第２音響フレームに対する処理とは、高域部への折り返し処理の際の中心となる周波数が異なる。

図１１は、ステップＳ１８における第３スペクトルに対する改変処理を示す図である。図１１（ａ）は、サンプリング周波数Ｆｓでサンプリングされた第３音響信号のうち有効な周波数Ｆｓ／２以下の第２スペクトルを示している。図１０、図１１の例では、説明の便宜上、スペクトルを示す波形として同一のものを用いている。実際に、第２音響信号、第３音響信号として図１０、図１１に示すように同一の音響信号を用いても良いし、互いに異なる音響信号を用いても良い。（同一の音響信号を２回埋め込む場合には、２種類の異なるサンプリング周波数のいずれかを用いて複製処理を行っても、同一の音響信号が適切に再生されるという効果がある。）図１１（ａ）に示した第３スペクトルに対して、周波数成分改変手段３０は、高域成分を除去する処理を行う。具体的には、有効な周波数Ｆｓ／２以下のスペクトルのうち、周波数Ｆｋ２より大きい周波数成分を除去する。本実施形態では、有効な周波数Ｆｓ／２以下のスペクトルのうち、上位３／４となる周波数Ｆｓ／８より大きい成分を除去するため、Ｆｋ２＝Ｆｓ／８に設定している。この結果、第３スペクトルは、図１１（ｂ）に示すような状態となる。

次に、周波数成分改変手段３０は、低域成分を減衰させる処理を行う。具体的には、高域成分を除去することにより得られた周波数Ｆｓ／８以下のスペクトルの成分強度を１／２に減衰させる。この結果、第２スペクトルは、図１１（ｃ）に示すような状態となる。続いて、周波数成分改変手段３０は、減衰後の低域成分を高域部へ折り返す処理を行う。具体的には、周波数Ｆｔ２を中心として減衰後の低域成分を反転させた状態にスペクトルを改変する。本実施形態では、Ｆｔ２＝３・Ｆｓ／１６（＜Ｆｔ）に設定している。この結果、第２スペクトルは、図１１（ｄ）に示すような状態となる。

上記ステップＳ１７、Ｓ１８の処理は、どちらを先に実行しても良い。ステップＳ１７、Ｓ１８における第２スペクトルに対する改変処理、第３スペクトルに対する改変処理を行ったら、次に、周波数成分改変手段３０は、第１スペクトルと改変後の第２スペクトル、改変後の第３スペクトルの合成を行う（ステップＳ１９）。まず、第２スペクトルとの合成から説明する。図１２は、ステップＳ１９における第１スペクトルと改変後の第２スペクトルの合成処理を示す図である。同図はスカラー量で概念的に図示しているが、実際は実部と虚部の２次元要素をもつ複素数ベクトル量同士の合成となり、合成後のスカラー量は単一の曲線となるが図示を省略してある。図１２（ａ）は、サンプリング周波数Ｆｓでサンプリングされた第１音響信号のうち有効な周波数Ｆｓ／２以下の第１スペクトルを示している。図１２（ｂ）は、図１０（ｄ）と同一であり、高域成分除去、低域成分減衰、減衰後の低域成分の高域部への折り返し処理後の第２スペクトルを示している。

ステップＳ１９において、周波数成分改変手段３０は、第１スペクトルと改変後の第２スペクトルの合成処理として、各スペクトルの成分を周波数ごとに加算する処理を行う。この結果、第１スペクトル（合成スペクトル）は、図１２（ｃ）に示すような状態となる。図１２（ｂ）に示したように、改変処理後の第２スペクトルには、周波数３・Ｆｓ／８以下の周波数成分が存在しないため、図１２（ｃ）に示すように、合成後の第１スペクトルの周波数３・Ｆｓ／８以下の周波数成分は、元の第１スペクトルから変化がない。合成後の第１スペクトルにおいては、周波数３・Ｆｓ／８より大きい範囲において、２つのスペクトル成分が合成される。

次に、第３スペクトルとの合成について説明する。図１３は、ステップＳ１９における第１スペクトルに改変後の第２スペクトルを合成したスペクトルと、改変後の第３スペクトルの合成処理を示す図である。図１３（ａ）は、図１２（ｃ）と同一であり、第１スペクトルに改変後の第２スペクトルを合成したスペクトルを示している。図１３（ｂ）は、図１１（ｄ）と同一であり、高域成分除去、低域成分減衰、減衰後の低域成分の高域部への折り返し処理後の第３スペクトルを示している。

ステップＳ１９において、周波数成分改変手段３０は、第１スペクトルに改変後の第２スペクトルを合成したスペクトルと、改変後の第３スペクトルの合成処理として、各スペクトルの成分を周波数ごとに加算する処理を行う。この結果、第１スペクトル（合成スペクトル）は、図１３（ｃ）に示すような状態となる。図１３（ｃ）に示すように、合成後の第１スペクトルは、周波数Ｆｓ／４以下は元の第１スペクトルの状態、周波数Ｆｓ／４〜３・Ｆｓ／８の範囲は、元の第１スペクトルと元の第３スペクトルの成分が合成された状態、周波数３・Ｆｓ／８〜Ｆｓ／２の範囲は、元の第１スペクトルと元の第２スペクトルの成分が合成された状態となる。

周波数成分改変手段３０が上記ステップＳ１７、Ｓ１９で行った処理は以下の〔数式７〕としてまとめることができる。

〔数式７〕
Ａ１ｌ´（ｊ）← Ａ１ｌ（ｊ）＋Ａ２ｌ（Ｎ／４−ｊ）・γ２
Ｂ１ｌ´（ｊ）← Ｂ１ｌ（ｊ）＋Ｂ２ｌ（Ｎ／４−ｊ）・γ２
Ａ１ｒ´（ｊ）← Ａ１ｒ（ｊ）＋Ａ２ｒ（Ｎ／４−ｊ）・γ２
Ｂ１ｒ´（ｊ）← Ｂ１ｒ（ｊ）＋Ｂ２ｒ（Ｎ／４−ｊ）・γ２

周波数成分改変手段３０は、周波数成分Ａ１ｌ（ｊ）、Ｂ１ｌ（ｊ）、Ａ２ｌ（ｊ）、Ｂ２ｌ（ｊ）に対して、上記〔数式７〕に従った処理を、ｊ＝３・Ｎ／１６＋１，・・・，Ｎ／４−１の各ｊについて実行する。１音響フレームのサンプル数Ｎ=４０９６、サンプリング周波数Ｆｓ＝４４．１ｋＨｚの場合、ｊ＝３・Ｎ／１６は、周波数３・Ｆｓ／８に対応し、ｊ＝Ｎ／４は、周波数Ｆｓ／２に対応する。したがって、〔数式７〕においては、ｊ＝７６９，・・・，１０２５が処理対象となり、約８．３ｋＨｚ〜約１１ｋＨｚの周波数成分が変更される。

周波数成分改変手段３０が上記ステップＳ１８、Ｓ１９で行った処理は以下の〔数式８〕としてまとめることができる。

〔数式８〕
Ａ１ｌ´（ｊ）← Ａ１ｌ（ｊ）＋Ａ３ｌ（３・Ｎ／１６−ｊ）・γ３
Ｂ１ｌ´（ｊ）← Ｂ１ｌ（ｊ）＋Ｂ３ｌ（３・Ｎ／１６−ｊ）・γ３
Ａ１ｒ´（ｊ）← Ａ１ｒ（ｊ）＋Ａ３ｒ（３・Ｎ／１６−ｊ）・γ３
Ｂ１ｒ´（ｊ）← Ｂ１ｒ（ｊ）＋Ｂ３ｒ（３・Ｎ／１６−ｊ）・γ３

周波数成分改変手段３０は、周波数成分Ａ１ｌ（ｊ）、Ｂ１ｌ（ｊ）、Ａ３ｌ（ｊ）、Ｂ３ｌ（ｊ）に対して、上記〔数式４〕に従った処理を、ｊ＝Ｎ／８＋１，・・・，３・Ｎ／１６−１の各ｊについて実行する。１音響フレームのサンプル数Ｎ=４０９６、サンプリング周波数Ｆｓ＝４４．１ｋＨｚの場合、ｊ＝Ｎ／８は、周波数Ｆｓ／４に対応し、ｊ＝３・Ｎ／１６は、周波数３・Ｆｓ／８に対応する。したがって、〔数式８〕においては、ｊ＝５１３，・・・，７６７が処理対象となり、約５．５ｋＨｚ〜約８．２８ｋＨｚの周波数成分が変更される。

上記〔数式７〕〔数式８〕において、γ２、γ３はいずれも減衰係数であり、０＜γ２＜１、０＜γ３＜１の範囲で設定される実数値である。本実施形態ではγ２＝γ３＝０．５に設定されている。γ２とγ３の値は等しくなくても良い。上記〔数式７〕に示した各式右辺の第２項（Ａ２ｌ（Ｎ／４−ｊ）・γ２等）は、高域成分除去、低域成分減衰、減衰後の低域成分の高域部への折り返し処理後の第２スペクトルの成分であり、減衰係数γ２に応じて減衰されることを示している。また、上記〔数式８〕に示した各式右辺の第２項（Ａ３ｌ（３・Ｎ／１６−ｊ）・γ３等）は、高域成分除去、低域成分減衰、減衰後の低域成分の高域部への折り返し処理後の第３スペクトルの成分であり、減衰係数γ３に応じて減衰されることを示している。このように、第２音響信号、第３音響信号の成分を減衰させることにより、警告メッセージや妨害音等の出力レベルを小さくすることができる。この減衰処理は、第１音響信号の成分に影響を与えすぎないため、行うことが望ましい。

図９のフローチャートと上記〔数式７〕〔数式８〕の対応関係を示すと、ステップＳ１７における第２スペクトルに対する改変処理が、上記〔数式７〕の右辺第２項を算出する処理に対応し、ステップＳ１８における第３スペクトルに対する改変処理が、上記〔数式８〕の右辺第２項を算出する処理に対応し、ステップＳ１９における第１スペクトルと第２スペクトル、第３スペクトルの合成処理が、上記〔数式７〕〔数式８〕の右辺第１項と第２項を加算する処理に対応することになる。

周波数成分改変手段３０が、ステップＳ１９における合成処理を終えたら、次に、周波数逆変換手段４０が、改変後の第１スペクトルを周波数逆変換して改変音響フレームを得る処理を行う（ステップＳ２０）。この周波数逆変換は、当然のことながら、周波数変換手段２０が実行した手法に対応していることが必要となる。本実施形態では、周波数変換手段２０において、フーリエ変換を施しているため、周波数逆変換手段４０は、フーリエ逆変換を実行することになる。

具体的には、第１の実施形態におけるステップＳ６と同様、周波数逆変換手段４０は、周波数成分改変手段３０により得られた第１スペクトルの左チャンネルの実部Ａ１ｌ´（ｊ）、虚部Ｂ１ｌ´（ｊ）、右チャンネルの実部Ａ１ｒ´（ｊ）、虚部Ｂ１ｒ´（ｊ）を用いて、上記〔数式５〕に従った処理を行い、Ｘ１ｌ´（ｉ）、Ｘ１ｒ´（ｉ）を算出する。

改変音響フレーム出力手段５０は、周波数逆変換手段４０の処理により得られた改変音響フレームを順次出力ファイルに出力する。この結果、改変音響フレームの集合である改変音響信号が、改変音響信号記憶部６２に記憶される。上記図９に示した処理は、第１音響信号の全ての第１音響フレームに対して実行される。第２音響フレームの数、第３音響フレームの数が第１音響フレームの数より少ない場合、第２音響フレーム、第３音響フレームについては、それぞれ全フレーム終了後、先頭の音響フレームに戻って繰り返し処理を行う。このようにして全ての第１音響フレームに対して処理を行った結果、改変音響フレームの集合である改変音響信号が、改変音響信号記憶部６２に記憶される。本実施形態では、第１音響信号の先頭から最後まで第２音響信号、第３音響信号を埋め込むようにしたが、埋め込む位置を設定して、その範囲にだけ埋め込むようにすることも可能である。

第２の実施形態において得られた改変音響信号は、元の第１音響信号に、上述のような改変がなされた第２音響信号および第３音響信号が埋め込まれたものとなる。この改変音響信号のスペクトルは、図１３（ｃ）に示したようなものとなるので、再生した場合、Ｆｓ／２以下の周波数成分が音として発せられる。Ｆｓ／２を人間の可聴域の上限付近に設定しておくことにより、Ｆｓ／４〜Ｆｓ／２の範囲の音も発せられるが、高音部の聴感度が低い帯域であり、第２音響信号に由来する成分、第３音響信号に由来する成分はスペクトルが反転して雑音化されて、第１音響信号の成分によりマスキングされるため、第２音響信号として記録された音、第３音響信号として記録された音は、人間には聴取されない。

図１４は、改変音響信号と複製音響信号を示す図である。このうち、図１４（ａ）は、図１３（ｃ）と同一であり、第２音響信号と第３音響信号が埋め込まれた改変音響信号を示している。改変音響信号に対して同信号を再生してスピーカから発せられた音を録音するなどの複製手段により、サンプリング周波数２・Ｆｔ（＝Ｆｓ／２）で再サンプリングし、複製音響信号とした場合について説明する。この場合、改変音響信号の信号成分のうち、ナイキスト周波数Ｆｓ／４（＝Ｆｔ）を超える高周波の信号成分が、Ｆｓ／４以下の低域信号成分として折り返され重畳される。すなわち、エイリアシングが発生し、周波数Ｆｓ／４〜Ｆｓ／２の信号成分は反転して重畳される。この結果、複製音響信号のスペクトルは、図１４（ｂ）に示したようなものになる。図１４（ｂ）の例では、３種のスペクトル成分を重ねて表示しているが、実際には複素ベクトルで加算される。

図１４（ｂ）に示すように、複製音響信号では、第２音響信号に由来する信号成分が、複製音響信号のＦｓ／８以下の低域部分に復元され、第３音響信号に由来する信号成分が、複製音響信号のＦｓ／８〜Ｆｓ／４の低域部分に復元される。このため、図１４（ｂ）に示した複製音響信号を再生すると、第２音響信号に記録された音が原音再生され、第３音響信号については、第３音響信号に記録された本来の音とＦｓ／８だけ高域にずれて雑音再生される。したがって、複製音響信号を再生しても、鑑賞に堪える再生音を得ることができなくなるため、複製を抑止することが可能となる。

改変音響信号に対して同信号を再生してスピーカから発せられた音を録音するなどの複製手段により、サンプリング周波数２・Ｆｔ２（＝３・Ｆｓ／８）で再サンプリングし、複製音響信号とした場合について説明する。この場合、改変音響信号の信号成分のうち、ナイキスト周波数３・Ｆｓ／１６（＝Ｆｔ２）を超える高周波の信号成分が、３・Ｆｓ／１６以下の低域信号成分として折り返され重畳される。すなわち、エイリアシングが発生し、周波数３・Ｆｓ／１６〜３・Ｆｓ／８の信号成分は反転して重畳され、周波数３・Ｆｓ／８〜Ｆｓ／２の信号成分は２回反転して重畳される。この結果、複製音響信号のスペクトルは、図１４（ｃ）に示したようなものになる。図１４（ｃ）の例では、３種のスペクトル成分を重ねて表示しているが、実際には複素ベクトルで加算される。

図１４（ｃ）に示すように、複製音響信号では、第２音響信号に由来する信号成分が、複製音響信号の３・Ｆｓ／１６以下の低域部分に反転して復元され、第３音響信号に由来する信号成分が、複製音響信号の３・Ｆｓ／１６以下の低域部分に復元される。このため、図１４（ｃ）に示した複製音響信号を再生すると、第３音響信号に記録された音が原音再生され、第２音響信号については、スペクトルが反転して雑音再生される。したがって、複製音響信号を再生しても、鑑賞に堪える再生音を得ることができなくなるため、複製を抑止することが可能となる。また、改変音響信号に対して複製する際のサンプリング周波数が２・Ｆｔ２未満、あるいは２・Ｆｔ２と２・Ｆｔの中間、すなわち３・Ｆｔ以下のいずれかの周波数Ｆｓ´の場合でも、同様にエイリアシングが発生し、周波数Ｆｓ´／２以上の信号成分は周波数Ｆｓ´／２を中心に１回または複数回反転してＦｓ´／２以下の低域周波数帯に重畳される。この複製音響信号を再生すると、Ｆｓ´の値により再生音は変化し、第２音響信号や第３音響信号に記録された音と同等の音が発せられることは期待できず、歪みやかなりの雑音を伴って各々再生され、場合により両者が混ざった不快な音になることもあるが、少なくとも鑑賞に堪える再生音を得ることができなくなるという目的は達成できるため、複製を抑止することが可能となる。しかし、３・Ｆｔより大きい場合には、エイリアシングが殆ど発生せず、原音響信号および第２音響信号の品質は維持され、第２音響信号は可聴化されず複製を抑止することはできない。以上のことから、改変音響信号に対して複製する際のサンプリング周波数が３・Ｆｔより小さい場合には、エイリアシングが発生して。複製を抑止することが可能となる。

（３．変形例等）
以上、本発明の好適な実施形態について限定したが、本発明は上記実施形態に限定されず、種々の変形が可能である。例えば、上記第１の実施形態では、原音響信号に対して１つの異なる音響信号、上記第２の実施形態では、原音響信号に対して２つの異なる音響信号を埋め込む処理を行ったが、３つ以上の異なる音響信号を埋め込むようにしても良い。

また、上記実施形態では、異なる音響信号において周波数Ｆｋ、Ｆｋ２以上の信号成分を除去し、周波数Ｆｔ、Ｆｔ２を中心に信号成分を高域の周波数方向に折り返し、折り返された周波数Ｆｔ＋（Ｆｔ−Ｆｋ）、Ｆｔ２＋（Ｆｔ２−Ｆｋ２）から周波数２・Ｆｔ、２・Ｆｔ２までの範囲の信号成分を原音響信号の成分に合成しているが、具体的なＦｋ、Ｆｔ、Ｆｋ２、Ｆｔ２の値は上記実施形態に限定されず、様々な値を設定することが可能である。

また、上記実施形態では、商品として一般に流通している２チャンネルのステレオ音響信号を利用した場合を例にとって説明したが、５．１チャンネルのサラウンド音響信号に対してもＬＦＣを除く５チャンネルの各音響信号に同様な処理を施せば良く（ＬＦＣ重低音チャンネルに対しては、第２の周波数範囲のみ適用）、逆に１チャンネルのモノラル音響信号を利用しても良い。この場合は、上記ＬチャンネルまたはＲチャンネルのいずれか一方に対して行った処理を実行すれば良い。

１・・・ＣＰＵ
２・・・ＲＡＭ
３・・・記憶装置
４・・・キー入力Ｉ／Ｆ
５・・・データ入出力Ｉ／Ｆ
６・・・表示出力Ｉ／Ｆ
１０・・・音響フレーム読込手段
２０・・・周波数変換手段
３０・・・周波数成分改変手段
４０・・・周波数逆変換手段
５０・・・改変音響フレーム出力手段
６０・・・記憶手段
６１・・・音響信号記憶部
６２・・・改変音響信号記憶部

Claims (7)

1. 時系列のサンプル列で構成されるサンプリング周波数Ｆｓの原音響信号に対して、時系列のサンプル列で構成される複数の音響信号を聴取不能な状態で埋め込む装置であって、
   前記原音響信号である第１音響信号から所定数のサンプルで構成される第１音響フレームを読み込むとともに、埋め込むべき音響信号である第２音響信号から所定数のサンプルで構成される第２音響フレーム、埋め込むべき音響信号である第３音響信号から所定数のサンプルで構成される第３音響フレームを読み込む音響フレーム読込手段と、
   前記第１音響フレームに対して周波数変換を行い、複素周波数成分である第１スペクトルを得て、前記第２音響フレームに対して周波数変換を行い、複素周波数成分である第２スペクトルを得て、前記第３音響フレームに対して周波数変換を行い、複素周波数成分である第３スペクトルを得る周波数変換手段と、
   前記第２スペクトルの信号成分の中で、周波数Ｆｋ以上の信号成分を除去するとともに、前記周波数Ｆｋ以上の周波数Ｆｔを中心に前記周波数Ｆｋ以下の信号成分を高域の周波数方向に折り返し、折り返された周波数Ｆｔ＋（Ｆｔ−Ｆｋ）から周波数２・Ｆｔの範囲の第２スペクトルの信号成分に対して所定の係数を乗算した後、前記第１スペクトルの対応する周波数の信号成分に対して加算することにより、前記第１スペクトルの高域の信号成分に対して改変を加え、さらに前記第３スペクトルの信号成分の中で、周波数Ｆｋ２以上の信号成分を除去するとともに、前記周波数Ｆｋ２以上であって前記周波数Ｆｔとは異なる周波数Ｆｔ２を中心に前記周波数Ｆｋ２以下の信号成分を高域の周波数方向に折り返し、折り返された周波数Ｆｔ２＋（Ｆｔ２−Ｆｋ２）から周波数２・Ｆｔ２の範囲の第３スペクトルの信号成分に対して所定の係数を乗算した後、前記第１スペクトルの対応する周波数の信号成分に対して加算することにより、前記第１スペクトルの高域の信号成分に対して改変を加える周波数成分改変手段と、
   前記周波数成分が改変された第１スペクトルに対して周波数逆変換を行って、改変音響フレームを生成する周波数逆変換手段と、
   前記生成された改変音響フレームを順次出力する改変音響フレーム出力手段と、
   を有することを特徴とする音響信号に対する異なる音響信号の埋込み装置。
2. 請求項１において、
   前記Ｆｋ＝Ｆｔ＝Ｆｓ／４であることを特徴とする音響信号に対する異なる音響信号の埋込み装置。
3. 請求項１において、
   前記Ｆｋ＝Ｆｔ＝Ｆｓ／２であり、
   前記周波数変換手段が、原音響信号に対して周波数変換を行う前に、あらかじめ補間によりサンプル数を２倍に増加させて２倍の数のサンプルで構成される前記第１音響フレームに対して周波数変換を行い、前記周波数成分改変手段は周波数帯域幅が２倍になった前記第１スペクトルの高域の信号成分に対して改変を加えるようにし、前記周波数逆変換手段は２倍の数のサンプルで構成される改変音響フレームを生成するものであることを特徴とする音響信号に対する異なる音響信号の埋込み装置。
4. 請求項１において、
   前記Ｆｋ２＝Ｆｓ／８、かつＦｔ２＝３・Ｆｓ／１６であることを特徴とする音響信号に対する異なる音響信号の埋込み装置。
5. 請求項１から請求項４のいずれか一項において、
   前記所定の係数は、１より小さい実数値であることを特徴とする音響信号に対する異なる音響信号の埋込み装置。
6. 請求項１から請求項５のいずれか一項において、
   前記周波数変換手段は、窓幅Ｎサンプルとして、サンプル位置ｉ（０≦ｉ≦Ｎ−１）における重みＷ（ｉ）（０≦Ｗ（ｉ）≦１）が、Ｗ（ｉ）＝０．５−０．５ｃｏｓ（２πｉ／Ｎ）で定義されるハニング窓関数を用いて周波数変換を行うものであることを特徴とする音響信号に対する異なる音響信号の埋込み装置。
7. 請求項１から請求項６のいずれか一項に記載の音響信号に対する異なる音響信号の埋込み装置として、コンピュータを機能させるためのプログラム。

Images