JP5906659B2 - 音響信号に対する妨害信号の埋め込み装置 - Google Patents

音響信号に対する妨害信号の埋め込み装置 Download PDF

Info

Publication number
JP5906659B2
JP5906659B2 JP2011232068A JP2011232068A JP5906659B2 JP 5906659 B2 JP5906659 B2 JP 5906659B2 JP 2011232068 A JP2011232068 A JP 2011232068A JP 2011232068 A JP2011232068 A JP 2011232068A JP 5906659 B2 JP5906659 B2 JP 5906659B2
Authority
JP
Japan
Prior art keywords
spectrum
frequency
odd
frequency band
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011232068A
Other languages
English (en)
Other versions
JP2013088771A (ja
Inventor
茂出木　敏雄
敏雄 茂出木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2011232068A priority Critical patent/JP5906659B2/ja
Publication of JP2013088771A publication Critical patent/JP2013088771A/ja
Application granted granted Critical
Publication of JP5906659B2 publication Critical patent/JP5906659B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

本発明は、ＣＤ・ＤＶＤ・ＢＤ等を用いた民生・業務用途における鑑賞用のパッケージ音楽分野、および音楽コンテンツプロバイダー等が商業目的で配信するネットワーク音楽配信分野に関し、特に、音楽コンテンツのコピーを防止する技術に関する。
従来、音楽コンテンツの複製防止のため、様々な技術が開発されている。例えば、ＤＲＭ（特許文献１参照）という方式では、デジタルの音楽コンテンツに暗号化を施すことにより音楽コンテンツの複製を防止している。しかし、ＤＲＭ方式では、デジタルコンテンツのコピーを防止することは可能であるが、アナログコンテンツのコピーを防止することはできない。すなわち、再生信号をスピーカ出力よりラインまたはマイクロフォンで録音することにより複製可能となる。現状、最も大きな問題は、映画館やホールなどに小型ビデオカメラを持ち込み、スクリーンに映し出された映像とともに、スピーカから流れるサウンドトラックが収録され、無尽蔵にＤＶＤが作成され商品（海賊版）として出荷されている例がある。近年の民生用ビデオカメラはＨＤＴＶ対応になっておりＢＤ並みの画質で記録が可能であるため、それをマスターにして複製されるＤＶＤは商用品質を確保することが容易である。
特表２００３−５１７７６７号公報 ＷＯ２０１１／００２０５９ 特開２００８−２５６９４８号公報 特開２００９−７５３３２号公報
アナログコンテンツの複製を防止する手法としては、主として前述の海賊版ＤＶＤ製造への対抗策として、映像信号については、不可視のコピー妨害信号を付加する技術が提案されている（特許文献２参照）。特許文献２に開示の手法では、コピー妨害信号として赤外線を用いているため、ヒトには不可視だが、ビデオカメラには映り込み、違法コピーを牽制することができる。しかし、コピー妨害信号はコンテンツ自体には埋め込むことができず、コピー妨害信号を発射する特殊なモジュールを装着したスクリーンやディスプレイでないと機能せず、業務用ビデオカメラや赤外カットフィルタを装着したカメラを用いるとコピー妨害信号の映り込みを回避できるという問題がある。また、映像のサウンドトラックの違法コピーに対しては全く無防備である。
一方、出願人は、音響信号に所定の改変を加えることにより、付加情報を聴取不能な状態で埋め込む技術を開発している。特に、ヒトの聴覚感度が高い周波数範囲においても、音脈分凝の原理により不快感なく付加情報の埋め込みを行う技術も提案している（特許文献３、４参照）。
そこで、本発明は、音響信号に所定の改変を加えることにより改変を加えた音響信号の再生時に聴取されないように妨害信号を埋め込み、改変を加えた音響信号の再生により発せられた音を録音された場合に、録音信号に妨害信号が残るようにし、かつ録音信号の再生時に妨害信号が聴取されるようにすることにより、原音と同等な品質で再生可能な状態での複製を防止することが可能な音響信号に対する妨害信号の埋め込み装置を提供することを課題とする。
上記課題を解決するため、本発明第１の態様では、時系列のサンプル列で構成される音響信号に対して、雑音を発する妨害信号および当該妨害信号による雑音を打ち消す補間信号を聴取不能な状態で埋め込み、埋め込まれた音響信号に対して周波数帯域幅を狭めて取得された場合に、前記埋め込まれた補間信号が欠落することにより、前記埋め込まれた妨害信号が聴取可能になるように埋め込む装置であって、前記音響信号より、所定数のサンプルを１つの音響フレームとして読み込む音響フレーム読込手段と、前記読み込んだ音響フレームのうち、奇数番目および偶数番目の双方の音響フレームに対して所定の窓関数を用いて周波数変換を行い、複素周波数成分である奇数窓スペクトルおよび偶数窓スペクトルを得る周波数変換手段と、前記生成された各奇数窓スペクトルおよび偶数窓スペクトルの第１の周波数範囲における互いに重複しない２つの周波数帯である第１上位周波数帯、第１下位周波数帯から、スペクトル集合を各々抽出し、奇数窓スペクトルの第１下位周波数帯に対応する第１下位奇数スペクトル集合と、偶数窓スペクトルの第１上位周波数帯に対応する第１上位偶数スペクトル集合を１つの組、奇数窓スペクトルの第１上位周波数帯に対応する第１上位奇数スペクトル集合と、偶数窓スペクトルの第１下位周波数帯に対応する第１下位偶数スペクトル集合を１つの組とし、一方の組の各スペクトル集合の強度を減弱させるように所定の１未満の係数を乗算するとともに、他方の組の各スペクトル集合の強度を増強させるように所定の１以上の係数を乗算することにより、第１上位奇数スペクトル集合、第１下位奇数スペクトル集合、第１上位偶数スペクトル集合、第１下位偶数スペクトル集合の各強度を変更するとともに、前記生成された各奇数窓スペクトルおよび偶数窓スペクトルにおける、前記第１の周波数範囲より低い第２の周波数範囲において互いに重複しない２つの周波数帯である第２上位周波数帯、第２下位周波数帯から、スペクトル集合を各々抽出し、奇数窓スペクトルの第２下位周波数帯に対応する第２下位奇数スペクトル集合と、偶数窓スペクトルの第２上位周波数帯に対応する第２上位偶数スペクトル集合を１つの組、奇数窓スペクトルの第２上位周波数帯に対応する第２上位奇数スペクトル集合と、偶数窓スペクトルの第２下位周波数帯に対応する第２下位偶数スペクトル集合を１つの組とし、一方の組の各スペクトル集合の強度を減弱させるように所定の１未満の係数を乗算するとともに、他方の組の各スペクトル集合の強度を増強させるように所定の１以上の係数を乗算することにより、第２上位奇数スペクトル集合、第２下位奇数スペクトル集合、第２上位偶数スペクトル集合、第２下位偶数スペクトル集合の各強度を変更する周波数成分変更手段と、前記周波数成分が変更された第１上位奇数スペクトル集合、第１下位奇数スペクトル集合、第２上位奇数スペクトル集合、第２下位奇数スペクトル集合を含む各奇数窓スペクトル、および前記周波数成分が変更された上位第１偶数スペクトル集合、第１下位偶数スペクトル集合、第２上位偶数スペクトル集合、第２下位偶数スペクトル集合を含む各偶数窓スペクトルに対して周波数逆変換を行って、改変音響フレームを生成する周波数逆変換手段と、前記生成された改変音響フレームを順次出力する改変音響フレーム出力手段と、を有し、前記第１上位周波数帯が、スピーカにより出力可能であって、マイクロフォン入力や音声圧縮処理により、前記第１下位周波数帯に比べて減衰する範囲に設定され、前記第２下位周波数帯が、スピーカにより出力可能であって、マイクロフォン入力や音声圧縮処理により、前記第２上位周波数帯に比べて減衰する周波数範囲に設定される音響信号に対する妨害信号の埋め込み装置を提供する。
本発明第１の態様によれば、音響信号において、奇数番目および偶数番目の音響フレームに対して周波数変換を行って、奇数窓スペクトルおよび偶数窓スペクトルを得て、第１の周波数範囲における互いに重複しない２つの周波数帯である第１上位周波数帯、第１下位周波数帯とし、奇数窓スペクトルの第１上位周波数帯に対応する第１上位奇数スペクトル集合と、偶数窓スペクトルの第１下位周波数帯に対応する第１下位偶数スペクトル集合を１つの組とし、一方の組の各スペクトル集合の強度を減弱させるように所定の１未満の係数を乗算するとともに、他方の組の各スペクトル集合の強度を増強させるように所定の１以上の係数を乗算するようにしたので、スピーカから発せられた音を人が聞いた場合には、音脈分凝により減弱されたスペクトル集合と増強されたスペクトル集合が時間軸方向に互いに補間され平坦化されるため、振幅のゆらぎ雑音は聞こえないが、第１上位周波数帯と第１下位周波数帯の間付近の周波数を録音上限周波数とする録音機器で、スピーカから発せられた音を録音した場合には、第１上位周波数帯のスペクトル集合が欠落し、第１下位周波数帯のスペクトル集合のみとなるため、音脈分凝が働かず平坦化されないため、再生時に１フレームごとに減弱または増強を繰り返す第１下位周波数帯のスペクトル集合による振幅ゆらぎ雑音が妨害音として再生されるため、原音と同等な品質で再生可能な状態での録音を防止することが可能になる。
また、本発明第１の態様によれば、第１の周波数範囲より低い第２の周波数範囲を設定し、第１の周波数範囲と同様に周波数成分を変更する処理を行うようにしたので、スピーカから発せられた音を人が聞いた場合には、音脈分凝により互いに補間されるため、雑音は聞こえないが、第２の周波数範囲における上位周波数帯と下位周波数帯の間付近の周波数を録音下限周波数とする録音機器で、スピーカから発せられた音を録音した場合には、第２下位周波数帯のスペクトル集合が欠落し、第２上位周波数帯のスペクトル集合のみとなるため、音脈分凝が働かず平坦化されないため、再生時に１フレームごとに減弱または増強を繰り返す第２上位周波数帯のスペクトル集合による振幅ゆらぎ雑音が妨害音として再生されるため、録音機器の下限周波数側においても原音と同等な品質で再生可能な状態での録音を防止することが可能になる。本発明第２の態様のように、高周波側の第１の周波数範囲と低周波側の第２の周波数範囲において妨害信号を埋め込むことにより、録音後再生した場合に高周波側、低周波側の双方において妨害信号に基づく雑音が発生される。また、録音機器の上限周波数または下限周波数が、高周波側、低周波側のどちらか一方の補間信号まで含んでしまう場合または妨害信号を含まない場合があっても、他方において妨害信号のみを含むような状況になれば、録音した音は正常な複製にはならず、複製を防止することが可能となる。
本発明第２の態様では、本発明第１の態様の音響信号に対する妨害信号の埋め込み装置において、前記第１上位周波数帯と第１下位周波数帯の境界は１１ｋＨｚ〜１３ｋＨｚの範囲で設定され、前記第２上位周波数帯と第２下位周波数帯の境界は１５０Ｈｚ〜３５０Ｈｚの範囲で設定されることを特徴とする。
本発明第３の態様では、時系列のサンプル列で構成される音響信号に対して、雑音を発する妨害信号および当該妨害信号による雑音を打ち消す補間信号を聴取不能な状態で埋め込み、埋め込まれた音響信号に対して周波数帯域幅を狭めて取得された場合に、前記埋め込まれた補間信号が欠落することにより、前記埋め込まれた妨害信号が聴取可能になるように埋め込む装置であって、前記音響信号より、所定数のサンプルを１つの音響フレームとして読み込む音響フレーム読込手段と、前記読み込んだ音響フレームのうち、奇数番目および偶数番目の双方の音響フレームに対して所定の窓関数を用いて周波数変換を行い、複素周波数成分である奇数窓スペクトルおよび偶数窓スペクトルを得る周波数変換手段と、前記生成された各奇数窓スペクトルおよび偶数窓スペクトルの第１の周波数範囲における互いに重複しない２つの周波数帯である第１上位周波数帯、第１下位周波数帯から、スペクトル集合を各々抽出し、奇数窓スペクトルの第１下位周波数帯に対応する第１下位奇数スペクトル集合と、偶数窓スペクトルの第１上位周波数帯に対応する第１上位偶数スペクトル集合を１つの組、奇数窓スペクトルの第１上位周波数帯に対応する第１上位奇数スペクトル集合と、偶数窓スペクトルの第１下位周波数帯に対応する第１下位偶数スペクトル集合を１つの組とし、一方の組の各スペクトル集合の強度を減弱させるように所定の１未満の係数を乗算するとともに、他方の組の各スペクトル集合の強度を増強させるように所定の１以上の係数を乗算することにより、第１上位奇数スペクトル集合、第１下位奇数スペクトル集合、第１上位偶数スペクトル集合、第１下位偶数スペクトル集合の各強度を変更するとともに、前記生成された各奇数窓スペクトル、偶数窓スペクトルのいずれか一方における、前記第１の周波数範囲より低い第２の周波数範囲において互いに重複しない２つの周波数帯である第２上位周波数帯、第２下位周波数帯から、スペクトル集合を各々抽出し、第２下位周波数帯に対応する第２下位スペクトル集合の各周波数成分の平均強度に所定の係数γを乗じたものを、第２上位周波数帯に対応する第２上位スペクトル集合の各周波数成分の強度に加算することにより、第２上位スペクトル集合の強度を変更する周波数成分変更手段と、前記周波数成分が変更された第１上位奇数スペクトル集合、第１下位奇数スペクトル集合を含む各奇数窓スペクトル、および前記周波数成分が変更された第１上位偶数スペクトル集合、第１下位偶数スペクトル集合を含む各偶数窓スペクトルに対して周波数逆変換を行って、改変音響フレームを生成する周波数逆変換手段と、前記生成された改変音響フレームを順次出力する改変音響フレーム出力手段と、を有することを特徴とする音響信号に対する妨害信号の埋め込み装置を提供する。
本発明第３の態様によれば、第１の周波数範囲より低い第２の周波数範囲を設定し、第２の周波数範囲における互いに重複しない２つの周波数帯である第２上位周波数帯、第２下位周波数帯から、スペクトル集合を各々抽出し、第２下位周波数帯に対応する下位スペクトル集合の各周波数成分の平均強度に所定の係数γを乗じたものを、第２上位周波数帯に対応する上位スペクトル集合の各周波数成分の強度に加算するようにしたので、スピーカから発せられた音を人が聞いた場合には、下位スペクトル集合の各周波数成分をマスカーとして上位スペクトル集合の各周波数成分に加算された周波数成分に対して聴覚マスキングが働き、マスキーである上位スペクトル集合の各周波数成分に加算された周波数成分は聴取されなくなるため、加算された信号成分が雑音として聞こえないが、第２の周波数範囲における第２上位周波数帯と第２下位周波数帯の間付近の周波数を録音下限周波数とする録音機器で、スピーカから発せられた音を録音した場合には、マスカーである第２下位周波数帯のスペクトル集合が欠落し、マスキーである第２上位周波数帯のスペクトル集合のみとなるため、聴覚マスキングが働かず、再生時に１フレーム置きに上位周波数帯のスペクトル集合の周波数成分に加算された信号成分が雑音として聞こえ、妨害音として再生されるため、録音機器の下限周波数側においても原音と同等な品質で再生可能な状態での録音を防止することが可能になる。本発明第３の態様においても、本発明第１の態様と同様、高周波側の第１の周波数範囲と低周波側の第２の周波数範囲において妨害信号を埋め込むことにより、録音後再生した場合に高周波側、低周波側の双方において妨害信号に基づく雑音が発生される。また、録音機器の上限周波数または下限周波数が、高周波側の補間信号まで含んでしまう場合または妨害信号を含まない場合があっても、あるいは低周波側の妨害信号より下方の周波数成分を含んでしまう場合または妨害信号を含まない場合があっても、他方において妨害信号のみを含むような状況になれば、録音した音は正常な複製にはならず、複製を防止することが可能となる。
本発明第４の態様では、本発明第１から第３のいずれかの態様の音響信号に対する妨害信号の埋め込み装置において、前記音響信号に対して、さらに付加情報を聴取不能な状態で埋め込む装置であって、前記周波数変換手段は、前記所定の窓関数として互いに異なる第１窓関数と第２窓関数を用い、奇数番目および偶数番目の音響フレームの一方に対しては第１窓関数を用いて周波数変換を行い、他方に対しては第２窓関数を用いて周波数変換を行うものであり、前記周波数成分変更手段は、前記生成された各奇数窓スペクトルおよび偶数窓スペクトルにおける、前記第１の周波数範囲、前記第２の周波数範囲のいずれとも重複しない第３の周波数範囲において互いに重複しない２つの周波数帯である第３上位周波数帯、第３下位周波数帯から、スペクトル集合を各々抽出し、奇数窓スペクトルの第３下位周波数帯に対応する第３下位奇数スペクトル集合と、偶数窓スペクトルの上位周波数帯に対応する第３上位偶数スペクトル集合を１つの組、奇数窓スペクトルの第３上位周波数帯に対応する第３上位奇数スペクトル集合と、偶数窓スペクトルの第３下位周波数帯に対応する第３下位偶数スペクトル集合を１つの組とし、埋め込むべきビット配列に基づいて、一方の組の各スペクトル集合の強度に対して相対的に大きい係数を乗じ、他方の組の各スペクトル集合の強度に対して相対的に小さい係数を乗じて、第３上位奇数スペクトル集合、第３下位奇数スペクトル集合、第３上位偶数スペクトル集合、第３下位偶数スペクトル集合の各強度を変更するものであることを特徴とする。
本発明第４の態様によれば、第１の周波数範囲より低い第３の周波数範囲を設定し、第３の周波数範囲における互いに重複しない２つの周波数帯である第３上位周波数帯、第３下位周波数帯から、スペクトル集合を各々抽出し、奇数窓スペクトルの第３下位周波数帯に対応する第３下位奇数スペクトル集合と、偶数窓スペクトルの第３上位周波数帯に対応する第３上位偶数スペクトル集合を１つの組、奇数窓スペクトルの第３上位周波数帯に対応する第３上位奇数スペクトル集合と、偶数窓スペクトルの第３下位周波数帯に対応する第３下位偶数スペクトル集合を１つの組とし、埋め込むべきビット配列に基づいて、一方の組の各スペクトル集合の強度に対して相対的に大きい係数を乗じ、他方の組の各スペクトル集合の強度に対して相対的に小さい係数を乗じて、第３上位奇数スペクトル集合、第３下位奇数スペクトル集合、第３位偶数スペクトル集合、第３下位偶数スペクトル集合の各強度を変更するようにしたので、スピーカから発せられた音を人が聞いた場合には、音脈分凝により互いに補間されるため、聴取不能であるが、周波数成分が識別し易い所定の状態に変更されているため、携帯電話（スマートフォンではなくフィーチャーフォン）など録音可能な上限周波数が低く下限周波数が高い帯域幅の狭い録音機器を抽出装置として使用した場合でも、埋め込まれた付加情報を抽出することができる。所定の周波数範囲において妨害信号および補間信号を埋め込んだ手法と同様の手法により周波数成分を変更するため、妨害信号の埋め込みと付加情報の埋め込みを一括して効率的に行うことが可能となる。また、同時に付加情報として著作権者情報を埋め込むことができ、万が一、第１の周波数範囲および第２の周波数範囲を完全に削除するような改変が行われても、コピー元を追跡することが可能となる。
本発明第５の態様では、本発明第１から第３のいずれかの態様の音響信号に対する妨害信号の埋め込み装置において、前記音響信号に対して、さらに付加情報を聴取不能な状態で埋め込む装置であって、前記周波数変換手段は、前記所定の窓関数として互いに異なる第１窓関数と第２窓関数を用い、奇数番目および偶数番目の音響フレームの一方に対しては第１窓関数を用いて周波数変換を行い、他方に対しては第２窓関数を用いて周波数変換を行うものであり、前記周波数成分変更手段は、前記生成された各奇数窓スペクトルおよび偶数窓スペクトルにおける、前記第１の周波数範囲、前記第２の周波数範囲のいずれとも重複しない第３の周波数範囲において互いに重複しない４つの周波数帯である最上位周波数帯、中上位周波数帯、中下位周波数帯、最下位周波数帯から、スペクトル集合を各々抽出し、中上位周波数帯以上においては、奇数窓スペクトルの中上位周波数帯に対応する中上位奇数スペクトル集合と、偶数窓スペクトルの最上位周波数帯に対応する最上位偶数スペクトル集合を１つの組、奇数窓スペクトルの最上位周波数帯に対応する最上位奇数スペクトル集合と、偶数窓スペクトルの中上位周波数帯に対応する中上位偶数スペクトル集合を１つの組とし、一方の組の各スペクトル集合の強度に対して相対的に大きい係数を乗じ、他方の組の各スペクトル集合の強度に対して相対的に小さい係数を乗じて、最上位奇数スペクトル集合、中上位奇数スペクトル集合、最上位偶数スペクトル集合、中上位偶数スペクトル集合の各強度を変更し、中下位周波数帯以下においては、奇数窓スペクトルの最下位周波数帯に対応する最下位奇数スペクトル集合と、偶数窓スペクトルの中下位周波数帯に対応する中下位偶数スペクトル集合を１つの組、奇数窓スペクトルの中下位周波数帯に対応する中下位奇数スペクトル集合と、偶数窓スペクトルの最下位周波数帯に対応する最下位偶数スペクトル集合を１つの組とし、一方の組の各スペクトル集合の強度に対して相対的に大きい係数を乗じ、他方の組の各スペクトル集合の強度に対して相対的に小さい係数を乗じて、中下位奇数スペクトル集合、最下位奇数スペクトル集合、中下位偶数スペクトル集合、最下位偶数スペクトル集合の各強度を変更するものであることを特徴とする。
本発明第５の態様によれば、第１の周波数範囲より低い第３の周波数範囲を設定し、互いに重複しない４つの周波数帯である最上位周波数帯、中上位周波数帯、中下位周波数帯、最下位周波数帯から、スペクトル集合を各々抽出し、中上位周波数帯以上においては、奇数窓スペクトルの中上位周波数帯に対応する中上位奇数スペクトル集合と、偶数窓スペクトルの最上位周波数帯に対応する最上位偶数スペクトル集合を１つの組、奇数窓スペクトルの最上位周波数帯に対応する最上位奇数スペクトル集合と、偶数窓スペクトルの中上位周波数帯に対応する中上位偶数スペクトル集合を１つの組とし、一方の組の各スペクトル集合の強度に対して相対的に大きい係数を乗じ、他方の組の各スペクトル集合の強度に対して相対的に小さい係数を乗じて、最上位奇数スペクトル集合、中上位奇数スペクトル集合、最上位偶数スペクトル集合、中上位偶数スペクトル集合の各強度を変更し、中下位周波数帯以下においては、奇数窓スペクトルの最下位周波数帯に対応する最下位奇数スペクトル集合と、偶数窓スペクトルの中下位周波数帯に対応する中下位偶数スペクトル集合を１つの組、奇数窓スペクトルの中下位周波数帯に対応する中下位奇数スペクトル集合と、偶数窓スペクトルの最下位周波数帯に対応する最下位偶数スペクトル集合を１つの組とし一方の組の各スペクトル集合の強度に対して相対的に大きい係数を乗じ、他方の組の各スペクトル集合の強度に対して相対的に小さい係数を乗じて、中下位奇数スペクトル集合、最下位奇数スペクトル集合、中下位偶数スペクトル集合、最下位偶数スペクトル集合の各強度を変更するようにしたので、スピーカから発せられた音を人が聞いた場合には、音脈分凝により互いに補間されるため、聴取不能であるが、周波数成分が識別し易い所定の状態に変更されているため、携帯電話（スマートフォンではなくフィーチャーフォン）など録音可能な上限周波数が低く下限周波数が高い帯域幅の狭い録音機器を抽出装置として使用した場合でも、埋め込まれた付加情報を抽出することができる。所定の周波数範囲において妨害信号および補間信号を埋め込んだ手法と同様の手法により周波数成分を変更するため、妨害信号の埋め込みと付加情報の埋め込みを一括して効率的に行うことが可能となる。第５の態様では、第４の態様に比べてより多くの周波数帯を用いているため、多くの情報を埋め込むことが可能になり、より安定して抽出することが可能になる。
本発明第６の態様では、本発明第４または第５の態様の音響信号に対する妨害信号の埋め込み装置において、前記第３の周波数範囲は８５０Ｈｚから３．４ｋＨｚであり、スピーカにより出力可能であって、マイクロフォン入力や音声圧縮処理により減衰の少ない範囲に設定されていることを特徴とする。
本発明第６の態様によれば、第３の周波数範囲を８５０Ｈｚから３．４ｋＨｚとし、スピーカにより出力可能であって、マイクロフォン入力や音声圧縮処理により減衰の少ない範囲に設定するようにしたので、携帯電話（スマートフォンではなくフィーチャーフォン）など抽出装置の感度領域が特別広いものでなくても、付加情報を抽出することが可能になる。
本発明第７の態様では、本発明第４または第５の態様の音響信号に対する妨害信号の埋め込み装置において、前記第１窓関数および第２窓関数は、前記１つの音響フレームのサンプル数をＮとして、サンプル位置ｉ（０≦ｉ≦Ｎ−１）におけるにおける重みＷ（ｉ）（０≦Ｗ（ｉ）≦１）が、Ｗ（ｉ）＝０．５−０．５ｃｏｓ（２πｉ／Ｎ）で定義されるハニング窓関数を時間軸方向の中心Ｎ／２から非対称に２分割したものであり、前記第１窓関数は、前半分（０≦ｉ≦Ｎ／２−１）に重みの最大値が存在し、前記第２窓関数は、後半分（Ｎ／２≦ｉ≦Ｎ−１）に重みの最大値があることを特徴とする。
本発明第７の態様によれば、第１窓関数、第２窓関数として、ハニング窓関数を時間軸方向に非対称に分割したものを奇数番目、偶数番目の音響フレームに交互に用いるようにしたので、奇数番目、偶数番目の音響フレームで最大値をとる位置が異なり、奇数番目と偶数番目を互いに誤って認識しないようになり、高精度に付加情報を抽出可能になる。
本発明第８の態様では、本発明第１から第７のいずれかの態様の音響信号に対する妨害信号の埋め込み装置において、前記第２の周波数範囲は２０Ｈｚから６００Ｈｚであり、前記第２下位周波数帯が、スピーカにより出力可能であって、マイクロフォン入力や音声圧縮処理により、前記第２上位周波数帯に比べて顕著に減衰する範囲に設定されることを特徴とする。
本発明第８の態様によれば、第２の周波数範囲を２０Ｈｚから６００Ｈｚとし、第２下位周波数帯が、スピーカにより出力可能であって、マイクロフォン入力や音声圧縮処理により、第２上位周波数帯に比べて顕著に減衰する範囲に設定するようにしたので、一般的な録音機器により録音した場合に、妨害信号のみが記録されることになる。
本発明第９の態様では、本発明第１から第３のいずれかの態様の音響信号に対する妨害信号の埋め込み装置において、前記所定の窓関数は、前記１つの音響フレームのサンプル数をＮとして、サンプル位置ｉ（０≦ｉ≦Ｎ−１）における重みＷ（ｉ）（０≦Ｗ（ｉ）≦１）が、Ｗ（ｉ）＝０．５−０．５ｃｏｓ（２πｉ／Ｎ）で定義されるハニング窓関数であることを特徴とする。
本発明第９の態様によれば、所定の窓関数として、奇数番目、偶数番目の音響フレームいずれに対しても、共通のハニング窓関数を用いるようにしたので、妨害信号を埋め込む場合に、原信号に与えるダメージを低減でき、改変による再生品質への影響を抑えることが可能となる。
本発明第１０の態様では、本発明第１から第９のいずれかの態様の音響信号に対する妨害信号の埋め込み装置において、前記第１の周波数範囲は４ｋＨｚから１８ｋＨｚであり、前記第１上位周波数帯が、スピーカにより出力可能であって、マイクロフォン入力や音声圧縮処理により、前記第１下位周波数帯に比べて顕著に減衰する範囲に設定されることを特徴とする。
本発明第１０の態様によれば、第１の周波数範囲を４ｋＨｚから１８ｋＨｚとし、第１上位周波数帯が、スピーカにより出力可能であって、マイクロフォン入力や音声圧縮処理により、第１下位周波数帯に比べて顕著に減衰する範囲に設定するようにしたので、一般的な録音機器により録音した場合に、妨害信号のみが記録されることになる。
本発明によれば、音響信号に所定の改変を加えることにより改変を加えた音響信号の再生時に聴取されないように妨害信号を埋め込み、改変を加えた音響信号の再生により発せられた音を録音された場合に、録音信号に妨害信号が残るようにし、かつ録音信号の再生時に妨害信号が聴取されるようにすることにより、原音と同等な品質で再生可能な状態での複製を防止することが可能となる。
本発明の基本概念を説明するための図である。 人間の聴覚心理特性である音脈分凝の原理の説明図である。 埋め込み時の各音響フレームの強度変化の様子を示す図である。 本発明に係る音響信号に対する妨害信号の埋め込み装置のハードウェア構成図である。 音響信号に対する妨害信号の埋め込み装置の機能ブロック図である。 本発明で用いる時間方向窓関数を示す図である。 第１の周波数範囲における妨害信号・補間信号の埋め込みによる周波数成分の変化を示す図である。 第２の周波数範囲における音脈分凝に対応した妨害信号・補間信号の埋め込みによる周波数成分の変化を示す図である。 第２の周波数範囲における聴覚マスキングに対応した妨害信号の埋め込みによる周波数成分の変化を示す図である。 第３の周波数範囲における単一音脈分凝に対応した付加情報の埋め込みによる周波数成分の変化を示す図である。 第３の周波数範囲における二重音脈分凝に対応した付加情報の埋め込みによる周波数成分の変化を示す図である。 図５に示した装置の処理概要を示すフローチャートである。 第１の周波数範囲に音脈分凝、第２の周波数範囲に聴覚マスキングに対応した妨害信号の埋め込みを行った場合の周波数成分の変化を示す図である。 図１３（ｂ）に示した妨害信号・補間信号埋め込み後の音響信号を再生した場合の、人の聴取状態、録音機器で録音された音響信号を示す図である。
以下、本発明の実施形態について図面を参照して詳細に説明する。
（１．本発明の基本概念）
最初に、本発明の基本概念について説明しておく。本発明では、違法コピーにおいて利用が想定されるマイクロフォン等の録音機器の感度上限周波数付近または違法コピーにおいて利用が想定される音声・音楽非可逆圧縮ツールの符号化上限周波数付近の所定の周波数範囲に妨害信号を埋め込む。そして、好適な実施形態として、さらにマイクロフォン等の録音機器の感度下限周波数付近の所定の周波数範囲にも妨害信号を埋め込む。
図１は、本発明の基本概念を説明するための図である。図１（ａ）（ｂ）（ｃ）は、それぞれヒトの聴覚により取得された音、音響コンテンツ、録音機器により取得された音、の周波数範囲別の構成を示している。図１において左右方向は周波数を示し、左側が低周波、右側が高周波である。ヒトの聴覚の感度領域は２０Ｈｚ〜２０ｋＨｚであり、一般的な音響コンテンツ（音響信号）もヒトの聴覚の感度領域に合わせて２０Ｈｚ〜２０ｋＨｚで構成されている。違法コピーでの使用が想定されるボイスレコーダ・ビデオレコーダなど超小型の録音機器（スタジオ収録用の業務用録音機器等、感度領域が人の聴覚域に近いまたは聴覚域より広いものを除く）については、機器により若干のバラツキはあるが、大半の録音機器の感度領域は２５０Ｈｚ〜１２ｋＨｚである。
後述する本発明の好適な一実施形態では、図１（ｂ）に示すように、６ｋＨｚ〜１２ｋＨｚに妨害信号を埋め込み、１２ｋＨｚ〜１８ｋＨｚに雑音補間信号を埋め込む。さらに、２５０Ｈｚ〜４５０Ｈｚにも妨害信号を埋め込む。高域側の６ｋＨｚ〜１２ｋＨｚと、低域側の２５０Ｈｚ〜４５０Ｈｚでは、高域側に合わせた同一の埋め込み手法をとることも可能であるが（ただし、図１の低域側と同一の埋め込み手法を高域側に適用することはできない）、より妨害雑音の再生効果を高めることが可能な好適な実施形態としては、図１に示すように異なる埋め込み手法を用いる方が良い。図１に示される例では、妨害信号を埋め込む手法が異なり、妨害信号の状態も異なったものとなる。高域側では、音脈分凝の原理を利用して妨害信号と雑音補間信号を埋め込み、低域側では、聴覚マスキングが働くように妨害信号を埋め込む。
図１（ｂ）に示したような音響コンテンツが再生されると、高域側においては、１２ｋＨｚ〜１８ｋＨｚに記録された雑音補間信号から出る音と、６ｋＨｚ〜１２ｋＨｚに記録された妨害信号から出る音との間でヒト聴覚系（大脳聴覚野）で音脈分凝が働き、上下２パートの音脈が流れていると判断され、双方において加えられている時間軸方向の振幅変化を補間し、平坦な流れとして聴取されるようになる。これが音脈分凝の原理である。また、低域側においては、２５０Ｈｚ以下に記録された正規の音がマスカーとして、２５０Ｈｚ〜４５０Ｈｚに記録された妨害信号から出る音をマスキーとしてかき消す。これがヒト聴覚系（内耳の蝸牛）で働く聴覚マスキングの原理である。この結果、高域側においても低域側においても、ヒトの耳には、妨害信号が聞こえなくなり、本来の音響コンテンツを聴くことが可能となる。
図１（ｂ）に示したような音響コンテンツ（音響信号）を、感度領域が２５０Ｈｚ〜１２ｋＨｚの一般的な録音機器で録音すると、図１（ｃ）に示すように、２５０Ｈｚ〜１２ｋＨｚの範囲の音響信号として録音される。図１（ｃ）に示したような音響信号を再生すると、高域側においては、雑音補間信号が存在しないため、ヒト聴覚系（大脳聴覚野）の音脈分凝が働かなくなり、下側の単一パートの音脈において加えられている時間軸方向の振幅変化がそのまま聴取されるようになり、妨害信号が出力される。また、低域側においても、聴覚マスキングを働かせるためのマスカー音が存在しないため、マスキー音である妨害信号がそのまま聴取される。その結果、ヒトの聴覚系には、高域側・低域側双方の妨害信号が聞こえることになり、一般的な録音機器では、原音と同等な品質を保つ複製という意味での録音が不可能となる。
（１．２．音脈分凝の原理）
次に、音脈分凝の原理について説明しておく。本発明では、人間の聴覚心理特性である音脈分凝の原理を利用する。音脈分凝とは、時系列に高い音と低い音が交互に進行するパターンに対して、人間が、あたかも高低２つのトラックが連続して流れるように音を補間して聞いてしまう錯覚現象である。
たとえば、図２（ａ）に示すように、３つの低い音である低音１、低音３、低音５と３つの高い音である高音２、高音４、高音６が、低音１、高音２、低音３、高音４、低音５、高音６の順に演奏されている場合を考えてみる。低音１、低音３、低音５と高音２、高音４、高音６は１オクターブ程度離れており、低い音と高い音は同時に演奏されることはないが、時間的間隔は、ほぼ連続しているものとする。この場合、人間には、図２（ｂ）に示すように、低い音と高い音が演奏されていない部分も補間されて演奏されているように聞こえる。すなわち、実際の演奏は単旋律であるのに、人間には、図２（ｂ）に示すように、高音１´、高音３´、高音５´、低音２´、低音４´、低音６´が補間されて複旋律であるように聞こえる。例えば、高音３´は高音２と高音４が連続的につながるように、高音２と高音４の平均的な成分に聞こえる。また、末端部の高音１´と低音６´についても、隣接する高音２と低音５に近い成分で、各々低音１と高音６に対応するように聞こえる。しかし、マイクロフォン等の電気音響装置は、図２（ａ）に示したものをそのままの音として取得することになる。本発明および特許文献３、４の発明は、このような性質を利用するのである。なお、補間された音は、心理的な錯覚現象であるため定量的に計測することは困難であるが、前後に演奏されている音と必ずしも同じレベルに補間されて聴こえるのではなく、大雑把に言って、前後に演奏されている音の５０％程度があたかも補間されているように聞こえる。特許文献３、４に記載の発明では、この音脈分凝の原理を利用して付加情報の埋め込みを行っている。
本発明および特許文献３、４に記載の発明のいずれにおいても、音響信号をサンプリングすることにより得られた所定数のサンプルを１音響フレームとして、処理を行う。先頭から奇数番目と偶数番目の音響フレームは、互いに半分のサンプルを重複する形で設定される。ここで、特許文献３の発明における埋め込み時の各音響フレームの強度変化の様子を図３に示す。ステレオ音響信号の場合は、Ｌ-ch（左チャンネル）、Ｒ-ch（右チャンネル）とも同様に処理が行われるが、図３においては、Ｌ-ch（左チャンネル）のみを示している。また、ｕ、ｄはそれぞれ相対的に高周波、低周波成分を示し、１〜６は先頭からの音響フレームの順番を示している。したがって、図３の例では、６個の音響フレームを示しており、例えば、“Ｕｕ１”は、１番目の音響フレームの高周波側成分を示していることになる。また、奇数番目と偶数番目の音響フレームは、実際に半分のサンプルが重複して設定されるが、図３では、説明の便宜上独立した形態で示している。また、図３において、“Ｕｕ１”等の各周波数成分の文字の大きさは、相対的な強度の大小を示している。
図３においては、図３（ａ）は元の音響信号を示しており、図３（ｂ）は埋め込み処理後の音響信号を示している。特許文献３に記載の発明では、奇数番目の音響フレームの高周波側と低周波側の成分強度の大小関係と、偶数番目の音響フレームの高周波側と低周波側の成分強度の大小関係が逆転するように処理を行う。奇数番目と偶数番目のどちらの音響フレームの高周波側を大きくするかによって、埋め込むビット値を変化させることができる。図３の例では、偶数番目の音響フレームの高周波側を大きくすることにより“０”、奇数番目の音響フレームの高周波側を大きくすることにより“１”を埋め込むことを示している。したがって、元の音響信号に“０１０”という３ビットの情報を埋め込んだ場合、音響フレームの状態は、図３（ｂ）に示すように変化する。
特許文献３、４に記載の発明では、奇数番目と偶数番目の音響フレームで高周波側の強度と低周波側の強度を逆転させるので、図３（ｂ）に示すように、２音響フレーム単位で見た場合、高周波側にも低周波側にも必ず信号強度の強い部分が交互に存在する。このため、音脈分凝の原理により、人間には、音が途切れたようには聞こえないが、抽出装置では、その明確な変化を認識することができる。
（２．１．埋め込み装置の構成）
次に、本発明に係る音響信号に対する妨害信号の埋め込み装置について説明する。図４は、本発明に係る音響信号に対する妨害信号の埋め込み装置のハードウェア構成図である。音響信号に対する妨害信号の埋め込み装置は、汎用のコンピュータで実現することができ、図４に示すように、ＣＰＵ１（CPU: Central Processing Unit）と、コンピュータのメインメモリであるＲＡＭ２（RAM: Random Access Memory）と、ＣＰＵ１が実行するプログラムやデータを記憶するための大容量の記憶装置３（例えば、ハードディスク、フラッシュメモリ等）と、キーボード、マウス等のキー入力Ｉ／Ｆ（インターフェース）４と、外部装置（データ記憶媒体等）とデータ通信するためのデータ入出力Ｉ／Ｆ（インターフェース）５と、表示装置（ディスプレイ）に情報を送出するための表示出力Ｉ／Ｆ（インターフェース）６と、を備え、互いにバスを介して接続されている。
図５は、本発明に係る音響信号に対する妨害信号の埋め込み装置の構成を示す機能ブロック図である。図５において、１０は音響フレーム読込手段、２０は周波数変換手段、３０は周波数成分変更手段、４０は周波数逆変換手段、５０は改変音響フレーム出力手段、６０は記憶手段、６１は音響信号記憶部、６２は付加情報記憶部、６３は改変音響信号記憶部、７０はビット配列作成手段、である。なお、図５に示す装置は、ステレオ音響信号、モノラル音響信号の両方に対応可能であるが、ここでは、ステレオ音響信号に対して処理を行う場合について説明していく。
音響フレーム読込手段１０は、付加情報の埋め込み対象とする元のステレオ音響信号の各チャンネルから所定数のサンプルを１フレームとして読み込む機能を有している。周波数変換手段２０は、音響フレーム読込手段１０が読み込んだ音響信号のフレームをフーリエ変換等により周波数変換して複素数のスペクトルを生成する機能を有している。周波数成分変更手段３０は、生成されたスペクトルから第１の周波数範囲、第２の周波数範囲に相当するスペクトル集合を複数抽出し、妨害信号および補間信号を埋め込むように、スペクトル集合の状態を変更する機能を有している。このとき、スペクトル集合の状態を変更する規則は１フレームごとに画一的に行われるが、付加情報を埋め込む場合は、埋め込むビット配列に基づいて変化する。付加情報を埋め込む場合には、さらに第３の周波数範囲に相当するスペクトル集合を複数抽出し、付加情報記憶部６２から抽出した付加情報よりビット配列作成手段７０が作成したビット配列に基づいて、スペクトル集合の状態を変更する機能を有している。周波数逆変換手段４０は、変更されたスペクトル集合を含む複数の複素数のスペクトルに対して周波数逆変換を行うことにより、改変前の音響フレームの位相を維持しながら改変音響フレームを生成する機能を有している。改変音響フレーム出力手段５０は、生成された改変音響フレームを順次出力する機能を有している。
記憶手段６０は、妨害信号、補間信号、付加情報を埋め込む対象とするステレオ音響信号を記憶した音響信号記憶部６１と、ビット列として構成され、ステレオ音響信号に埋め込まれる付加情報を記憶した付加情報記憶部６２と、妨害信号、補間信号、付加情報埋め込み後の改変音響信号を記憶する改変音響信号記憶部６３を有しており、その他処理に必要な各種情報を記憶するものである。ビット配列作成手段７０は、付加情報記憶部６２から付加情報を抽出し、付加情報の各ワードについて、対応するビット配列を作成する機能を有している。
なお、付加情報とは、音響情報に付加して埋め込むべき情報であり、タイトルやアーティスト名等の属性情報、および属性情報以外の他の情報を含むものである。図５に示した各構成手段は、現実には図４に示したように、コンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。
図４の記憶装置３には、ＣＰＵ１を動作させ、コンピュータを、音響信号に対する妨害信号の埋め込み装置として機能させるための専用のプログラムが実装されている。この専用のプログラムを実行することにより、ＣＰＵ１は、音響フレーム読込手段１０、周波数変換手段２０、周波数成分変更手段３０、周波数逆変換手段４０、改変音響フレーム出力手段５０、記憶手段６０、音響信号記憶部６１、付加情報記憶部６２、改変音響信号記憶部６３、ビット配列作成手段７０としての機能を実現することになる。また、記憶装置３は、処理に必要な様々なデータを記憶する。
（２．２．埋め込み装置の処理動作）
（２．２．１．周波数変換）
次に、図５に示した音響信号に対する妨害信号の埋め込み装置の処理動作について説明する。音響フレーム読込手段１０は、音響信号記憶部６１に記憶されたステレオ音響信号の左右の各チャンネルから、それぞれ所定数Ｎのサンプルを１音響フレームとして読み込む。音響フレーム読込手段１０が読み込む１音響フレームのサンプル数Ｎは、適宜設定することができるが、設定値により妨害雑音の聴取具合、音脈分凝の働き方、埋め込み可能な付加情報の容量、付加情報の抽出精度が変化する。サンプリング周波数が４４．１ｋＨｚの場合、４０９６サンプル程度とすると、最も原音に対するダメージを少なくできることが分かっているので、以下この設定値で説明する。（実用的には音脈分凝が最も働きやすい２０４８サンプルに設定することが多い。）したがって、音響フレーム読込手段１０は、左チャンネル、右チャンネルについてそれぞれ４０９６サンプルずつ、順次音響フレームとして読み込んでいくことになる。
本発明では、奇数番目の音響フレームと、偶数番目の音響フレームに対して異なった処理を行う。また、奇数番目の音響フレーム、偶数番目の音響フレームは、互いに所定数（本実施形態では２０４８）のサンプルを重複して設定される。したがって、奇数番目の音響フレームを先頭からＡ１、Ａ２、Ａ３…とし、偶数番目の音響フレームを先頭からＢ１、Ｂ２、Ｂ３…とすると、Ａ１はサンプル１〜４０９６、Ａ２はサンプル４０９７〜８１９２、Ａ３はサンプル８１９３〜１２２８８、Ｂ１はサンプル２０４９〜６１４４、Ｂ２はサンプル６１４５〜１０２４０、Ｂ３はサンプル１０２４１〜１４３３６となる。なお、奇数番目と偶数番目は相対的なものであるので、奇数番目と偶数番目に対して異なる処理が行われれば良い。すなわち、交互に異なる処理が行われれば良い。例えば、後述する処理において、奇数番目には第１窓関数、偶数番目には第２窓関数が用いられるが、逆であっても良い。したがって、偶数番目の音響フレームから処理を行うようにしても良いが、以下では、奇数番目の音響フレームから処理を行う場合を例にとって説明する。
周波数変換手段２０は、振幅変換後の音響フレームに対して周波数変換を行って、その音響フレームの複素数のスペクトルを得る。具体的には、窓関数を利用して周波数変換を行う。周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができるが、複素数のスペクトルを得られる手法である必要がある。本実施形態では、フーリエ変換を用いた場合を例にとって説明する。
一般に、所定の信号に対してフーリエ変換を行う場合、信号を所定の長さに区切って行う必要があるが、この場合、所定長さの信号に対してそのままフーリエ変換を行うと、擬似高調波成分が発生する。そこで、一般にフーリエ変換を行う場合には、ハニング窓と呼ばれる窓関数を用いて、信号の値を変化させた後、変化後の値に対してフーリエ変換を実行する。
本実施形態においても、窓関数を利用しているが、奇数番目の音響フレーム、偶数番目の音響フレームで、使用する窓関数を分けている。本実施形態では、図６（ａ）（ｂ）に示したような第１窓関数Ｗ（１，ｉ）、第２窓関数Ｗ（２，ｉ）を用意し、抽出側で認識し易いようにした。第１窓関数Ｗ（１，ｉ）は、奇数番目の音響フレームに対して用いるためのものであり、図６（ａ）に示すように所定のサンプル番号ｉの位置において、最大値１をとり、後部においては、最小値０をとるように設定されている。どのサンプル番号の場合に最大値をとるかについては、第１窓関数Ｗ（１，ｉ）の設計によって異なってくるが、本実施形態では、後述する〔数式１〕で定義される。奇数番目の音響フレームについてのフーリエ変換は、この第１窓関数Ｗ（１，ｉ）を乗じたものに対して行われることになる。
また、第２窓関数Ｗ（２，ｉ）は、偶数番目の音響フレームに対して用いるためのものであり、図６（ｂ）に示すように、所定のサンプル番号ｉの位置において、最大値１をとり、前部においては、最小値０をとるように設定されている。どのサンプル番号の場合に最大値をとるかについては、第２窓関数Ｗ（２，ｉ）の設計によって異なってくるが、本実施形態では、後述する〔数式２〕で定義される。偶数番目の音響フレームについてのフーリエ変換は、この第２窓関数Ｗ（２，ｉ）を乗じたものに対して行われることになる。
なお、上述のように、本実施形態においては、音響フレームは重複して読み込まれる。すなわち、奇数番目の音響フレームと偶数番目の音響フレームは、所定数のサンプルを重複して読み込む。上記のように、奇数番目の音響フレームと偶数番目の音響フレームでは、用いられる窓関数が異なるが、奇数番目の音響フレームと偶数番目の音響フレームは単に奇数か偶数かの違いだけであるため、どちらに対してどちらの処理を行っても良い。
本実施形態では、窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）は、以下の〔数式１〕〔数式２〕で定義される。なお、図６において、横軸は時間軸（ｉ）である。ｉは、後述するように、各音響フレーム内のＮ個のサンプルに付した通し番号であるため時刻ｔに比例している。また、図６（ａ）（ｂ）において縦軸は信号の振幅値（レベル）を示す。図６（ａ）（ｂ）において縦軸は窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）の値を示しており、Ｗ（１，ｉ）、Ｗ（２，ｉ）の最大値はいずれも１である。
〔数式１〕
ｉ≦Ｎ／８のとき、Ｗ（１，ｉ）＝０．０
Ｎ／８＜ｉ≦３Ｎ／８のとき、Ｗ（１，ｉ）＝０．５−０．５ｃｏｓ（４π（ｉ−Ｎ／８）／Ｎ）
３Ｎ／８＜ｉ≦１１Ｎ／１６のとき、Ｗ（１，ｉ）＝１．０
１１Ｎ／１６＜ｉ≦１３Ｎ／１６のとき、Ｗ（１，ｉ）＝０．５＋０．５ｃｏｓ（８π（ｉ−１１Ｎ／１６）／Ｎ）
ｉ＞１３Ｎ／１６のとき、Ｗ（１，ｉ）＝０．０
〔数式２〕
ｉ≦３Ｎ／１６のとき、Ｗ（２，ｉ）＝０．０
３Ｎ／１６＜ｉ≦５Ｎ／１６のとき、Ｗ（２，ｉ）＝０．５−０．５ｃｏｓ（８π（ｉ−３Ｎ／１６）／Ｎ）
５Ｎ／１６＜ｉ≦５Ｎ／８のとき、Ｗ（２，ｉ）＝１．０
５Ｎ／８＜ｉ≦７Ｎ／８のとき、Ｗ（２，ｉ）＝０．５＋０．５ｃｏｓ（４π（ｉ−５Ｎ／８）／Ｎ）
ｉ＞７Ｎ／８のとき、Ｗ（２，ｉ）＝０．０
なお、図６および上記〔数式１〕〔数式２〕から明らかなように、窓関数Ｗ（１，ｉ）とＷ（２，ｉ）は、互いに非対称な形状である。これは、抽出側において、両者の識別を容易にするためである。
本発明においては、奇数番目の音響フレームと偶数番目の音響フレームを、所定サンプルずつ重複して読み込むため、情報の埋め込みを行った後、音響信号に復元する際に、窓関数を乗じた奇数番目の音響フレームと、窓関数を乗じた偶数番目の音響フレームの重複サンプルを加算した場合に、ほぼ元の値に戻るようにしなければならない。このため、奇数番目の音響フレームと偶数番目の音響フレームの重複部分において、窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）を加算すると、全区間固定値１になるように定義されている。
付加情報を埋め込まず、妨害信号および補間信号の埋め込みのみを行う場合には、以降の処理において、Ｗ（１，ｉ）＝Ｗ（２，ｉ）＝Ｗ（ｉ）＝０．５−０．５ｃｏｓ（２πｉ／Ｎ）で定義される窓関数Ｗ（ｉ）を奇数番目の音響フレーム、偶数番目の音響フレーム双方に適用する。
周波数変換手段２０が、奇数番目の音響フレームに対してフーリエ変換を行う場合は、左チャンネル信号Ｘｌ（ｉ）、右チャンネル信号Ｘｒ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、第１窓関数Ｗ（１，ｉ）を用いて、以下の〔数式３〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（１，ｊ）、虚部Ｂｌ（１，ｊ）、右チャンネルに対応する変換データの実部Ａｒ（１，ｊ）、虚部Ｂｒ（１，ｊ）を得る。
〔数式３〕
Ａｌ（１，ｊ）＝Σi=0,…,N-1Ｗ（１，ｉ）・Ｘｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｌ（１，ｊ）＝Σi=0,…,N-1Ｗ（１，ｉ）・Ｘｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｒ（１，ｊ）＝Σi=0,…,N-1Ｗ（１，ｉ）・Ｘｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｒ（１，ｊ）＝Σi=0,…,N-1Ｗ（１，ｉ）・Ｘｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
周波数変換手段２０が、偶数番目の音響フレームに対してフーリエ変換を行う場合は、左チャンネル信号Ｘｌ（ｉ＋Ｎ／２）、右チャンネル信号Ｘｒ（ｉ＋Ｎ／２）（ｉ＝０，…，Ｎ−１）に対して、第２窓関数Ｗ（２，ｉ）を用いて、以下の〔数式４〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（２，ｊ）、虚部Ｂｌ（２，ｊ）、右チャンネルに対応する変換データの実部Ａｒ（２，ｊ）、虚部Ｂｒ（２，ｊ）を得る。
〔数式４〕
Ａｌ（２，ｊ）＝Σi=0,…,N-1Ｗ（２，ｉ）・Ｘｌ（ｉ＋Ｎ／２）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｌ（２，ｊ）＝Σi=0,…,N-1Ｗ（２，ｉ）・Ｘｌ（ｉ＋Ｎ／２）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｒ（２，ｊ）＝Σi=0,…,N-1Ｗ（２，ｉ）・Ｘｒ（ｉ＋Ｎ／２）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｒ（２，ｊ）＝Σi=0,…,N-1Ｗ（２，ｉ）・Ｘｒ（ｉ＋Ｎ／２）・ｓｉｎ（２πｉｊ／Ｎ）
上記〔数式３〕〔数式４〕において、ｉは、各音響フレーム内のＮ個のサンプルに付した通し番号であり、ｉ＝０，１，２，…Ｎ−１の整数値をとる。また、ｊは周波数の値について、値の小さなものから順に付した通し番号であり、ｉと同様にｊ＝０，１，２，…Ｎ／２−１の整数値をとる。サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が１０．８Ｈｚ異なることになる。
上記〔数式３〕〔数式４〕に従った処理を実行することにより、各音響フレームの各窓関数に対応するスペクトルが得られる。続いて、周波数成分変更手段３０が、生成されたスペクトルから所定周波数範囲のスペクトル集合を抽出する。本実施形態では、第１の周波数範囲、第２の周波数範囲、第３の周波数範囲のものを抽出する。
（２．２．２．振幅変換）
同時に付加情報の埋め込みを行う場合には、周波数変換手段２０は、周波数変換を実行した後に、各スペクトル集合の平均値が設定値になるように変換する。いわゆる振幅を変換する処理を行う。この振幅変換は、各フレームごとのレベル差を軽減し、適切な情報の埋め込みが可能になるようにすることを目的としているため、設定値Ｙｏとしては適宜設定することができる。逆に、妨害信号の埋め込みのみを行う場合には、原信号へのダメージを大きくするだけのデメリットしかないため、本振幅変換を行わない。
周波数変換手段２０は、得られたスペクトル集合に対して、振幅変換を行うにあたり、まず変換倍率の算出を行う。変換倍率の算出は、所定周波数範囲のスペクトル集合の実効強度値の平均である平均実効値で上記設定値を除算することにより行う。具体的には、Ｌチャンネルの奇数番目の音響フレーム、偶数番目の音響フレーム、Ｒチャンネルの奇数番目の音響フレーム、偶数番目の音響フレームのスペクトル集合についての変換倍率Ｙｌ（１）、Ｙｌ（２）、Ｙｒ（１）、Ｙｒ（２）は、以下の〔数式５〕に従った処理により算出される。対象音響フレームが無音に近く、分母の二乗総和値が所定の値に満たない場合は、変換倍率を１．０に設定し、振幅変換は行わないようにする。振幅変換が実行されることにより、全ての音響フレームは、元の状態における信号強度に関わらず、各音響フレームのスペクトル集合の平均実効値が設定値となるように振幅変換された状態で、情報の埋め込みが行われることになる。
〔数式５〕
Ｙｌ（１）＝Ｙｏ／［Σj=m,…,M-1｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝］1/2
Ｙｌ（２）＝Ｙｏ／［Σj=m,…,M-1｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2｝］1/2
Ｙｒ（１）＝Ｙｏ／［Σj=m,…,M-1｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝］1/2
Ｙｒ（２）＝Ｙｏ／［Σj=m,…,M-1｛Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝］1/2
上記〔数式５〕において、ｍおよびＭは後述する付加情報埋め込みのための第３の周波数範囲の下限および上限で、Ｙｏ＝Ｍ−ｍであり、本実施形態では、Ｙｏ＝２４０である。
さらに、ｊ＝ｍ，…，Ｍ−１（後述する周波数Ｆ3D，．．．，Ｆ3Hに相当）の範囲で、Ａｌ（１，ｊ）およびＢｌ（１，ｊ）の各々の要素に対してＹｌ（１）を乗じ、Ａｌ（２，ｊ）およびＢｌ（２，ｊ）の各々の要素に対してＹｌ（２）を乗じ、Ａｒ（１，ｊ）およびＢｒ（１，ｊ）の各々の要素に対してＹｒ（１）を乗じ、Ａｒ（２，ｊ）およびＢｒ（２，ｊ）の各々の要素に対してＹｒ（２）を乗じることにより、振幅変換を行う。以下説明において、Ａｌ（１，ｊ）、Ｂｌ（１，ｊ）、Ａｌ（２，ｊ）、Ｂｌ（２，ｊ）、Ａｒ（１，ｊ）、Ｂｒ（１，ｊ）、Ａｒ（２，ｊ）、Ｂｒ（２，ｊ）はこれらの振幅変換を行った値とする。
（２．２．３．高周波成分の変換（音脈分凝））
周波数成分変更手段３０は、妨害信号を埋め込むため、奇数番目および偶数番目の音響フレームについて、均一な規則で比較的高域に位置する所定周波数成分の強度を変更する処理を行う。
具体的には、埋め込み装置で、音響信号から抽出した所定数のサンプルで構成される音響フレーム内の所定周波数範囲の周波数成分を変更するに際し、その強弱が音脈分凝を発生させるような状態に変更する。これにより、人間には、音の振幅ゆらぎ雑音が聞こえないが、変更された周波数成分のうち、低い方の周波数成分のみを抽出して録音した場合には、再生すると妨害信号による振幅ゆらぎ雑音が発生することになる。
本実施形態では、音脈分凝の原理を利用して、音響フレームの第１の周波数範囲の成分を変更し、妨害信号および補間信号を埋め込むようにしている。ここで、埋め込み処理の前後における音響フレームの所定周波数成分の変化の状態について説明する。図７に、本実施形態による奇数番目、偶数番目のＬチャンネル１音響フレームの第１の周波数範囲における周波数成分の状態を示す。Ｒチャンネルについては、Ｌチャンネルと同様であるので省略してある。図７に示す各音響フレームにおいて、横軸は時間方向、縦軸は周波数方向を示している。
図７においては、縦軸の周波数方向において、周波数領域が４つに区分されているが、上から２番目、３番目の領域、すなわち、周波数Ｆ1D以上Ｆ1H未満の間が変更対象となる第１の周波数範囲であり、最上部すなわち周波数Ｆ1H超、最下部すなわちＦ1D未満は、変更対象でない周波数範囲である。なお、ここでいう「変更対象でない」とは、音脈分凝の原理を利用した妨害信号および補間信号の埋め込みのための変更対象でないということであり、Ｆ1D未満の周波数帯においては、後述するように、付加情報の埋め込みや低周波数帯における妨害信号の埋め込みを行う場合もある。本実施形態では、周波数Ｆ1D以上Ｆ1H未満を第１の周波数範囲として、スペクトル集合の強度を変更することになる。第１の周波数範囲のうち、周波数Ｆ1M以上を上位周波数帯、周波数Ｆ1Mより下を下位周波数帯として区別する。図７（ａ）に示すように、奇数番目の音響フレームの変更対象周波数帯については、周波数が低い順に、そのスペクトル集合をｋ１Ｌ、ｋ１Ｈで表現することとする。また、図７（ｂ）に示すように、偶数番目の音響フレームの変更対象周波数帯については、周波数が低い順に、そのスペクトル集合をｇ１Ｌ、ｇ１Ｈで表現することとする。
妨害信号および補間信号を埋め込む場合、図７（ｃ）（ｄ）に示すように、上位周波数帯におけるスペクトル集合ｋ１Ｈ、ｇ１Ｌそれぞれの強度を相対的に強い状態に変更し、下位周波数帯におけるスペクトル集合ｋ１Ｌ、ｇ１Ｈそれぞれの強度を相対的に弱い状態に変更する。図７においては、網掛けの色が濃い方が相対的に強度が強い状態に変更されるスペクトル集合を示している。
図７に示すように、本発明では、奇数番目、偶数番目の音響フレームの上位周波数帯、下位周波数帯におけるスペクトル集合の強度を交互に強弱が逆転するように変更する。これを全ての音響フレームに対して実行することにより、図２（ａ）に示したように、低音と高音が交互に入れ替わる状態が実現でき、これを再生すると、図２（ｂ）に示したように、音脈分凝が発生する。
本実施形態では、上記第１の周波数範囲の下限Ｆ1D、中間Ｆ1M、上限Ｆ1Hを、それぞれ６ｋＨｚ、１２ｋＨｚ、１８ｋＨｚに設定する。これは、一般的な録音機器が取得可能な高周波の上限が１２ｋＨｚであるためである。したがって、中間Ｆ1Mは、一般的な録音機器の感度領域上限に位置する範囲で設定することができる（例えば、１１ｋＨｚ〜１３ｋＨｚ）。音声・音楽非可逆圧縮ツールによる複製を防ぐためには、その再サンプリング周波数に合わせて設定しておくことができる。例えばＭＰＥＧ−１／Ｌａｙｅｒ３方式による複製を防ぐためには、再サンプリング周波数２４または３２ｋＨｚに合わせて、中間Ｆ1Mを１２ｋＨｚまたは１６ｋＨｚに設定しておくことが望ましい。妨害信号および補間信号が埋め込まれた音響信号を再生したものを、一般的な録音機器で録音したり、非可逆圧縮を行ったりした場合、妨害信号のみが記録されることになり、録音または圧縮された音響信号を再生すると、妨害信号に基づく騒音が再生されることになる。また、下限Ｆ1Dとしては、４ｋＨｚ程度まで下げて設定することも可能である。妨害信号を埋め込む下位周波数帯を幅広く確保できることが望ましいが、４ｋＨｚ未満になると記録されている音楽や音声の周波数領域と重複してしまうためである。なお、６ｋＨｚ、１２ｋＨｚ、１８ｋＨｚという値は、画一的に設定することは難しく、再生環境、再生時に使用されるスピーカ、録音に使用されることが想定される録音機器によって調整する必要があるため、必ずしも固定の値である必要はなく、適宜変更した値であっても良い。
下位周波数帯におけるスペクトル集合ｋ１Ｌ、ｇ１Ｌの強度の変更は、ｊ＝Ｄ１，・・・，Ｍ１−１の各周波数成分Ａｌ（１，ｊ）、Ｂｌ（１，ｊ）、Ａｌ（２，ｊ）、Ｂｌ（２，ｊ）、Ａｒ（１，ｊ）、Ｂｒ（１，ｊ）、Ａｒ（２，ｊ）、Ｂｒ（２，ｊ）に対して、以下の〔数式６〕に従った処理を実行することにより行う。本実施形態では、Ｄ１＝５５６、Ｍ１＝１１１１に設定し、約６ｋＨｚ〜約１２ｋＨｚの周波数成分の強度を変更する。
〔数式６〕
Ａｌ´（１，ｊ）←Ａｌ（１，ｊ）・γｌ
Ｂｌ´（１，ｊ）←Ｂｌ（１，ｊ）・γｌ
Ａｌ´（２，ｊ）←Ａｌ（２，ｊ）・γｈ
Ｂｌ´（２，ｊ）←Ｂｌ（２，ｊ）・γｈ
Ａｒ´（１，ｊ）←Ａｒ（１，ｊ）・γｌ
Ｂｒ´（１，ｊ）←Ｂｒ（１，ｊ）・γｌ
Ａｒ´（２，ｊ）←Ａｒ（２，ｊ）・γｈ
Ｂｒ´（２，ｊ）←Ｂｒ（２，ｊ）・γｈ
また、上位周波数帯におけるスペクトル集合ｋ１Ｈ、ｇ１Ｈの強度の変更は、ｊ＝Ｍ１，・・・，Ｈ１−１の各周波数成分Ａｌ（１，ｊ）、Ｂｌ（１，ｊ）、Ａｌ（２，ｊ）、Ｂｌ（２，ｊ）、Ａｒ（１，ｊ）、Ｂｒ（１，ｊ）、Ａｒ（２，ｊ）、Ｂｒ（２，ｊ）に対して、以下の〔数式７〕に従った処理を実行することにより行う。本実施形態では、Ｍ１＝１１１１、Ｈ１＝１６６７に設定し、約１２ｋＨｚ〜約１８ｋＨｚの周波数成分の強度を変更する。
〔数式７〕
Ａｌ´（１，ｊ）←Ａｌ（１，ｊ）・γｈ
Ｂｌ´（１，ｊ）←Ｂｌ（１，ｊ）・γｈ
Ａｌ´（２，ｊ）←Ａｌ（２，ｊ）・γｌ
Ｂｌ´（２，ｊ）←Ｂｌ（２，ｊ）・γｌ
Ａｒ´（１，ｊ）←Ａｒ（１，ｊ）・γｈ
Ｂｒ´（１，ｊ）←Ｂｒ（１，ｊ）・γｈ
Ａｒ´（２，ｊ）←Ａｒ（２，ｊ）・γｌ
Ｂｒ´（２，ｊ）←Ｂｒ（２，ｊ）・γｌ
上記〔数式６〕〔数式７〕において、γｈ、γｌは、それぞれγｈ＞１、０＜γｌ＜１を満たす実数であり、その範囲内で適宜設定可能であるが、本実施形態では、γｈ＝２．０、γｌ＝０．５に設定してある。従って、強くされる周波数成分は２倍に、弱くされる周波数成分は１／２に変更されることになる。
（２．２．４．低周波成分の変換（音脈分凝））
周波数成分変更手段３０は、低周波成分にも妨害信号を埋め込むことが可能である。低周波成分に妨害信号を埋め込むためには、上記（２．２．３．高周波成分の変換（音脈分凝））において説明した処理と同様の処理を低周波成分に対して実行し、比較的低域に位置する所定周波数成分の割合を変更する。
図８に、本実施形態による奇数番目、偶数番目のＬチャンネル１音響フレームの第２の周波数範囲における周波数成分の状態を示す。図７と同様、Ｒチャンネルについては、Ｌチャンネルと同様であるので省略してある。図８に示す各音響フレームにおいて、横軸は時間方向、縦軸は周波数方向を示している。
図８においては、縦軸の周波数方向において、周波数領域が４つに区分されているが、上から２番目、３番目の領域、すなわち、周波数Ｆ2D以上Ｆ2H未満の間が変更対象となる第２の周波数範囲であり、最下部すなわちＦ2D未満は、変更対象でない周波数帯である。図７を用いて説明したように、Ｆ2Hより高い高周波成分においては、並行して周波数成分の変更が行われる。本実施形態では、周波数Ｆ2D以上Ｆ2H未満においても、スペクトル集合の強度を変更することになる。第２の周波数範囲のうち、周波数Ｆ1M以上を第２上位周波数帯、周波数Ｆ1Mより下を第２下位周波数帯として区別する。図８（ａ）に示すように、奇数番目音響フレームの第２の周波数範囲については、第２下位周波数帯、第２上位周波数帯のスペクトル集合をそれぞれｋ２Ｌ、ｋ２Ｈで表現することとする。また、図８（ｂ）に示すように、偶数番目音響フレームの第２の周波数範囲については、第２下位周波数帯、第２上位周波数帯のスペクトル集合をそれぞれｇ２Ｌ、ｇ２Ｈで表現することとする。
妨害信号および補間信号を埋め込む場合、図８（ｃ）（ｄ）に示すように、スペクトル集合ｋ２Ｈ、ｇ２Ｌそれぞれの強度を相対的に強い状態に変更し、スペクトル集合ｋ２Ｌ、ｇ２Ｈそれぞれの強度を相対的に弱い状態に変更する。図８においても、図７と同様に、網掛けの色が濃い方が相対的に強度が強い状態に変更されるスペクトル集合を示している。
図８に示すように、本実施形態では、奇数番目、偶数番目の音響フレームの第２上位周波数帯、第２下位周波数帯におけるスペクトル集合の強度を交互に強弱が逆転するように変更する。これを全ての音響フレームに対して実行することにより、図２（ａ）に示したように、低音と高音が交互に入れ替わる状態が実現でき、これを再生すると、図２（ｂ）に示したように、音脈分凝が発生する。
本実施形態では、上記変更対象周波数帯の下限Ｆ2D、中間Ｆ2M、上限Ｆ2Hを、それぞれ５０Ｈｚ、２５０Ｈｚ、４５０Ｈｚに設定する。これは、一般的な録音機器が取得可能な高周波の下限が２５０Ｈｚであるためである。したがって、中間Ｆ2Mは、一般的な録音機器の感度領域下限に位置する範囲で設定することができる（例えば、１５０Ｈｚ〜３５０Ｈｚ）。音声・音楽非可逆圧縮ツールによる複製を防ぐためには、その再サンプリング周波数に合わせて設定しておくことができる。例えば３ＧＰＰ音声圧縮モードによる複製を防ぐためには、中間Ｆ2Mを３００Ｈｚに設定しておくことが望ましい。３ＧＰＰ音声圧縮モードでは３００Ｈｚ以下の成分が削除されるためである。また、再サンプリング周波数８ｋＨｚに合わせて、中間Ｆ1Mを４ｋＨｚに設定しておくことが望ましい。妨害信号および補間信号が埋め込まれた音響信号を再生したものを、一般的な録音機器で録音したり、非可逆圧縮を行ったりした場合、妨害信号のみが記録されることになり、録音または圧縮された音響信号を再生すると、妨害信号に基づく雑音が再生されることになる。また、下限Ｆ2Dとしては、２０Ｈｚ程度まで下げて設定することも可能であり、上限Ｆ2Hとしては、６００Ｈｚ程度まで上げて設定することも可能である。妨害信号を埋め込む第２上位周波数帯を幅広く確保できることが望ましいが、６００Ｈｚ以上になると記録されている音楽や音声の周波数領域と重複してしまうためである。なお、５０Ｈｚ、２５０Ｈｚ、４５０Ｈｚという値は、画一的に設定することは難しく、再生環境、再生時に使用されるスピーカ、録音に使用されることが想定される録音機器によって調整する必要があるため、必ずしも固定の値である必要はなく、適宜変更した値であっても良い。
第２下位周波数帯におけるスペクトル集合ｋ２Ｌ、ｇ２Ｌの強度の変更は、ｊ＝Ｄ２，・・・，Ｍ２−１の各周波数成分Ａｌ（１，ｊ）、Ｂｌ（１，ｊ）、Ａｌ（２，ｊ）、Ｂｌ（２，ｊ）、Ａｒ（１，ｊ）、Ｂｒ（１，ｊ）、Ａｒ（２，ｊ）、Ｂｒ（２，ｊ）に対して、上記〔数式６〕に従った処理を実行することにより行う。本実施形態では、Ｄ２＝５、Ｍ２＝２３に設定し、約５０Ｈｚ〜約２５０Ｈｚの周波数成分の強度を変更する。
また、第２上位周波数帯におけるスペクトル集合ｋ２Ｈ、ｇ２Ｈの強度の変更は、ｊ＝Ｍ２，・・・，Ｈ２−１の各周波数成分Ａｌ（１，ｊ）、Ｂｌ（１，ｊ）、Ａｌ（２，ｊ）、Ｂｌ（２，ｊ）、Ａｒ（１，ｊ）、Ｂｒ（１，ｊ）、Ａｒ（２，ｊ）、Ｂｒ（２，ｊ）に対して、上記〔数式７〕に従った処理を実行することにより行う。本実施形態では、Ｍ２＝２３、Ｈ２＝４２に設定し、約２５０Ｈｚ〜約４５０Ｈｚの周波数成分の強度を変更する。
第２の周波数範囲における周波数成分の変更の際、どちらのスペクトル集合を強くするかについては、第１の周波数範囲と同期させるか、反対にするかの２通りを選択することができる。前者に設定すると、聴取される妨害雑音の音量が大きくなるので、通常は、第１の周波数範囲のスペクトル集合ｋ１Ｈが強く変更されたときに、第２の周波数範囲のスペクトル集合ｋ２Ｈも強く変更した方が効果的である。
（２．２．５．低周波成分の変換（聴覚マスキング））
他の実施形態として、周波数成分変更手段３０は、上記（２．２．４）で説明した音脈分凝に代えて、低周波成分に聴覚マスキングを利用した妨害信号を埋め込むことが可能である。
具体的には、埋め込み装置で、音響信号から抽出した所定数のサンプルで構成される音響フレーム内の第２の周波数範囲の周波数成分を変更するに際し、その強弱が聴覚マスキングを発生させるような状態に変更する。これにより、人間には、付加された妨害信号が聞こえないが、変更された第２の周波数範囲の周波数成分のうち、第２上位周波数帯の周波数成分のみを抽出して録音した場合には、再生すると妨害信号による音が発生することになる。
本実施形態では、聴覚マスキングが発生するように、音響フレームの変更対象となる第２の周波数範囲の成分を変更し、妨害信号を埋め込むようにしている。ここで、埋め込み処理の前後における音響フレームの第２の周波数範囲における周波数成分の変化の状態について説明する。図９に、本実施形態による奇数番目のＬチャンネル１音響フレームの第２の周波数範囲における周波数成分の状態を示す。Ｒチャンネルについては、Ｌチャンネルと同様であるので省略してある。図９に示す各音響フレームにおいて、横軸は時間方向、縦軸は周波数方向を示している。
図９においては、縦軸の周波数方向において、３つの周波数Ｆ2D、Ｆ2M、Ｆ2Hにより周波数領域が４つに区分されている。この区分は、図８と同一である。したがって、埋め込み前の原状態を示す図９（ａ）は、図８（ａ）と同一である。図９においては、奇数番目音響フレームの第２上位周波数帯におけるスペクトル集合ｋ２Ｈのみを変更対象とする。図７を用いて説明したように、Ｆ2Hより高い高周波成分においては、並行して周波数成分の変更が行われる。
聴覚マスキングによる妨害信号を埋め込む場合、図９（ｂ）に示すように、スペクトル集合ｋ２Ｌの強度に応じた割合だけ、スペクトル集合ｋ２Ｈの強度を強くする。図９（ｂ）においては、網掛けの色が濃い方が相対的に強度が強く変更されることを示している。
聴覚マスキングによる妨害信号を埋め込む場合、スペクトル集合ｋ２Ｌの成分に応じた分をｋ２Ｈの強度に付加するように変更する。これを全ての奇数番目音響フレームに対して実行することにより、１音響フレームおきに高い方の強度が強く変化する状態が実現でき、これを単独で再生すると雑音が発生してしまうが、ｋ２Ｌの強度より所定の割合だけ減弱させた信号成分をｋ２Ｈに付加するようにしているため、ｋ２Ｌの信号成分とｋ２Ｈ信号成分とを同時に再生すると、ｋ２Ｌの信号成分がマスカーとなり、ｋ２Ｈに付加された信号成分が聴覚マスキングによりかき消される。
具体的な処理としては、周波数成分変更手段３０は、まず、参照周波数領域となる第２下位周波数帯におけるスペクトル集合ｋ２Ｌのエネルギー平均値Ｚｌ、Ｚｒを、以下の〔数式８〕に従った処理を実行することにより算出する。
〔数式８〕
Ｚｌ＝［Σj=D2,…,M2-1｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝／（Ｍ２−Ｄ２）］1/2
Ｚｒ＝［Σj=D2,…,M2-1｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝／（Ｍ２−Ｄ２）］1/2
続いて、周波数成分変更手段３０は、算出されたエネルギー平均値Ｚｌ、Ｚｒを用いて、以下の〔数式９〕に従った処理を実行することによりスペクトル集合ｋ２Ｈの強度の絶対値を増強させるように変更を行う。
〔数式９〕
Ａｌ（１，ｊ）≧０の場合、Ａｌ´（１，ｊ）←Ａｌ（１，ｊ）＋γ・Ｚｌ
Ａｌ（１，ｊ）＜０の場合、Ａｌ´（１，ｊ）←Ａｌ（１，ｊ）−γ・Ｚｌ
Ｂｌ（１，ｊ）≧０の場合、Ｂｌ´（１，ｊ）←Ｂｌ（１，ｊ）＋γ・Ｚｌ
Ｂｌ（１，ｊ）＜０の場合、Ｂｌ´（１，ｊ）←Ｂｌ（１，ｊ）−γ・Ｚｌ
Ａｒ（１，ｊ）≧０の場合、Ａｒ´（１，ｊ）←Ａｒ（１，ｊ）＋γ・Ｚｒ
Ａｒ（１，ｊ）＜０の場合、Ａｒ´（１，ｊ）←Ａｒ（１，ｊ）−γ・Ｚｒ
Ｂｒ（１，ｊ）≧０の場合、Ｂｒ´（１，ｊ）←Ｂｒ（１，ｊ）＋γ・Ｚｒ
Ｂｒ（１，ｊ）＜０の場合、Ｂｒ´（１，ｊ）←Ｂｒ（１，ｊ）−γ・Ｚｒ
上記〔数式９〕において、γは、０≦γ≦１を満たす実数であり、その範囲内で適宜設定可能であるが、本実施形態では、γ＝０．５に設定してある。従って、参照周波数領域であるスペクトル集合ｋ２Ｌのエネルギー平均値Ｚｌ、Ｚｒの１／２の強度が、スペクトル集合ｋ２Ｈに加算されることになる。
（２．２．６．付加情報の埋め込み１．単一音脈分凝）
周波数成分変更手段３０は、上記妨害信号の埋め込みに加えて、付加情報を埋め込むことも可能である。付加情報を埋め込む場合、奇数番目の音響フレームについて、ビット配列作成手段７０が作成したビット配列に応じて、所定周波数成分の割合を変更する処理を行う。本実施形態では、ビット配列を１ビットずつ読み込み、奇数番目、偶数番目の１対の音響フレームに対して１ビットの情報を埋め込む。埋め込まれる１ビットの値は、“０” “１”の２通りがある。本実施形態では、これらを値１、値２と定義する。２種類の符号を埋め込むことができるという点で、これらを符号１、符号２と表現することも可能である。この際、“０”“１”の２通りのうち、いずれを値１、値２（符号１、符号２）と定義しても良い。抽出側において、埋め込み側で埋め込まれた１ビットが特定できれば良いためである。したがって、この定義は、埋め込み側と抽出側で一致している必要がある。
具体的には、埋め込み装置で、音響信号から抽出した所定数のサンプルで構成される音響フレーム内の所定周波数範囲の周波数成分を変更するに際し、その強弱が音脈分凝を発生させるような状態に変更する。これにより、人間には、音が途切れたようには聞こえないが、抽出装置では、その明確な変化を認識することができる。
本実施形態では、音脈分凝の原理を利用して、音響フレームの第３の周波数範囲の成分を２つの状態に変更し、１ビットの情報を埋め込むようにしている。ここで、埋め込み処理の前後における音響フレームの第３の周波数範囲における周波数成分の変化の状態について説明する。
図１０に、本実施形態による奇数番目、偶数番目のＬチャンネル１音響フレームの所定周波数成分の状態を示す。Ｒチャンネルについては、Ｌチャンネルと同様であるので省略してある。図１０に示す各音響フレームにおいて、横軸は時間方向、縦軸は周波数方向を示している。また、網掛けされた部分は、周波数成分が存在している部分を示し、網掛けが濃いほど成分強度が強いことを示している。
図１０においては、縦軸の周波数方向において、周波数領域が４つに区分されているが、上から２番目と３番目の領域、すなわち、周波数Ｆ3D以上Ｆ3H未満の間が変更対象となる第３の周波数範囲であり、最上部すなわち周波数Ｆ3H超と、最下部すなわちＦ3D未満は、変更対象でない周波数帯である。すなわち、本実施形態では、周波数Ｆ3D以上Ｆ3H未満を所定周波数範囲として、スペクトル集合の強度を変更することになる。第３の周波数範囲のうち、周波数Ｆ3M以上を第３上位周波数帯、周波数Ｆ3Mより下を第３下位周波数帯として区別する。図１０（ａ）に示すように、奇数番目音響フレームの第３の周波数範囲については、第３上位周波数帯におけるスペクトルを１Ｕ、第３下位周波数帯におけるスペクトルを１Ｄで表現することとする。また、図１０（ｂ）に示すように、偶数番目音響フレームの第３の周波数範囲については、第３上位周波数帯におけるスペクトルを２Ｕ、第３下位周波数帯におけるスペクトルを２Ｄで表現することとする。
本実施形態で、符号１を埋め込む場合、図１０（ｃ）（ｅ）に示すように、１Ｄ、２Ｕの成分を相対的に強い状態に変更し、１Ｕ、２Ｄの成分を相対的に弱い状態に変更する。この状態を“状態１”と呼ぶことにする。符号２を埋め込む場合は、図１０（ｄ）（ｆ）に示すように、１Ｕ、２Ｄの成分を相対的に強い状態に変更し、１Ｄ、２Ｕの成分を相対的に弱い状態に変更する。この状態を“状態２”と呼ぶことにする。
本実施形態では、図１０（ｃ）（ｅ）または（ｄ）（ｆ）に示すような２つの状態に奇数番目、偶数番目の音響フレームの周波数成分を変更することにより、情報の埋め込みを行っている。２つの状態であるので１ビット分の情報量に相当する。
本実施形態では、上記第３の周波数範囲Ｆ3D〜Ｆ3Hを、“１．７ｋＨｚ〜３．４ｋＨｚ”に設定する。これは、以下のような理由による。
すなわち、音声通信として普及度の高い携帯電話機を受信端末として利用する場合、上限については、電話回線帯域および携帯電話機の上限である３．４ｋＨｚとする必要がある。そして、下限については、１オクターブ下（周波数１／２）の、１．７ｋＨｚとした。なお、“１．７ｋＨｚ”“３．４ｋＨｚ”という値は、代表的な値であり、必ずしも正確な値である必要はなく、そこから若干ずれた値であっても良い。
図１０に示した例では、相対的に強い状態と弱い状態に変更することについて説明したが、この強弱の程度については、状況に応じて設定することが可能である。両者の割合は、以下に述べるように、大きいほど抽出時の精度が高くなるが、補間される割合は不完全になり、再生時に不連続成分によるノイズが聞こえる。一方、両者の割合が均等であるほど再生品質は原音に近付くが、埋め込んだビットの抽出ができなくなり、再生品質と抽出精度はトレードオフの関係になる。例えば、強い方を１００％、弱い方を０％とした場合、音脈分凝により、補間される部分の音は図１０のような変更を行なう前に原音響信号で鳴っていた音の５０％程度となることが確認されている。そこで、強い方を７０％、弱い方を３０％とした場合、音脈分凝により、補間される部分の音は図１０のような変更を行なう前に原音響信号で鳴っていた音とほぼ同程度となり、この割合が抽出精度を維持できる限界であることが確認されている。このため、相対的に強いスペクトル集合と、相対的に弱いスペクトル集合の強度の割合を７０％と３０％とすることを目標に設定することが好ましい。これを実現するため、本実施形態では、後述する具体的な処理において、強い状態を設定するための係数α＝０．７、弱い状態を設定するための係数β＝０．３とする。ただし、強い状態に変更すべきスペクトル集合の強度が元々小さい場合には、係数α、βを補正する必要が生じる。このため、周波数成分変更手段３０は、まず、以下の〔数式１０〕に従った処理を実行することにより、弱い状態に変更すべきスペクトル集合に対する強い状態に変更すべきスペクトル集合の強度割合εを算出する。
〔数式１０〕
Ｅ１ｄ＝Σj=m,…,m+G-1｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝
Ｅ２ｄ＝Σj=m,…,m+G-1｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2｝
Ｅ１ｕ＝Σj=m+G,…,m+2G-1｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝
Ｅ２ｕ＝Σj=m+G,…,m+2G-1｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2｝
埋め込みデータが値１の場合、ε＝（Ｅ１ｄ＋Ｅ２ｕ）／（Ｅ１ｕ＋Ｅ２ｄ）
埋め込みデータが値２の場合、ε＝（Ｅ１ｕ＋Ｅ２ｄ）／（Ｅ１ｄ＋Ｅ２ｕ）
上記〔数式１０〕において、ｍは第３の周波数範囲の下限の成分の番号、ｍ＋２Ｇは第３の周波数範囲の上限の成分の番号である。例えば、第３の周波数範囲として、１．７ｋＨｚ〜３．４ｋＨｚを設定する場合、ｍ＝１６０、ｍ＋２Ｇ＝３２０となる。したがって、１つの周波数領域の幅Ｇ＝８０である。
そして、さらに強度割合εの値に応じて、周波数成分変更手段３０は、以下の〔数式１１〕に従った処理を実行することにより、係数α、βを補正して係数α´、β´を得る。
〔数式１１〕
ε＜１．０の場合、α´＝α・ε-1/2、β´＝β・ε1/2
ε≧１．０の場合、α´＝α・ε1/2、β´＝β・ε-1/2
なお、ε≧１．０の場合は、補正を行わないような設定にしておいても良い。さらに、周波数成分変更手段３０は、埋め込むべき情報が“値１”である場合、以下の〔数式１２〕に従った処理を実行することにより、周波数成分の状態を“状態１”、すなわち、図１０（ｃ）（ｅ）に示したような状態に変更する。
〔数式１２〕
ｊ＝ｍ〜ｍ＋Ｇ−１の各成分に対して
Ｅ（１，ｊ）＝｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2＋Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ａｌ´（１，ｊ）＝Ａｌ（１，ｊ）・Ｅ（１，ｊ）・α／｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝1/2
Ｂｌ´（１，ｊ）＝Ｂｌ（１，ｊ）・Ｅ（１，ｊ）・α／｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝1/2
Ａｒ´（１，ｊ）＝Ａｒ（１，ｊ）・Ｅ（１，ｊ）・α／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｂｒ´（１，ｊ）＝Ｂｒ（１，ｊ）・Ｅ（１，ｊ）・α／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｅ（２，ｊ）＝｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2＋Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
Ａｌ´（２，ｊ）＝Ａｌ（２，ｊ）・Ｅ（２，ｊ）・β／｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2｝1/2
Ｂｌ´（２，ｊ）＝Ｂｌ（２，ｊ）・Ｅ（２，ｊ）・β／｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2｝1/2
Ａｒ´（２，ｊ）＝Ａｒ（２，ｊ）・Ｅ（２，ｊ）・β／｛Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
Ｂｒ´（２，ｊ）＝Ｂｒ（２，ｊ）・Ｅ（２，ｊ）・β／｛Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
ｊ＝ｍ＋Ｇ〜ｍ＋２Ｇ−１の各成分に対して
Ｅ（１，ｊ）＝｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2＋Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ａｌ´（１，ｊ）＝Ａｌ（１，ｊ）・Ｅ（１，ｊ）・β／｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝1/2
Ｂｌ´（１，ｊ）＝Ｂｌ（１，ｊ）・Ｅ（１，ｊ）・β／｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝1/2
Ａｒ´（１，ｊ）＝Ａｒ（１，ｊ）・Ｅ（１，ｊ）・β／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｂｒ´（１，ｊ）＝Ｂｒ（１，ｊ）・Ｅ（１，ｊ）・β／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｅ（２，ｊ）＝｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2＋Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
Ａｌ´（２，ｊ）＝Ａｌ（２，ｊ）・Ｅ（２，ｊ）・α／｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2｝1/2
Ｂｌ´（２，ｊ）＝Ｂｌ（２，ｊ）・Ｅ（２，ｊ）・α／｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2｝1/2
Ａｒ´（２，ｊ）＝Ａｒ（２，ｊ）・Ｅ（２，ｊ）・α／｛Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
Ｂｒ´（２，ｊ）＝Ｂｒ（２，ｊ）・Ｅ（２，ｊ）・α／｛Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
埋め込むべき情報が“値２”である場合は、以下の〔数式１３〕に従った処理を実行することにより、周波数成分の状態を“状態２” 、すなわち、図１０（ｄ）（ｆ）に示したような状態に変更する。
〔数式１３〕
ｊ＝ｍ〜ｍ＋Ｇ−１の各成分に対して
Ｅ（１，ｊ）＝｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2＋Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ａｌ´（１，ｊ）＝Ａｌ（１，ｊ）・Ｅ（１，ｊ）・β／｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝1/2
Ｂｌ´（１，ｊ）＝Ｂｌ（１，ｊ）・Ｅ（１，ｊ）・β／｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝1/2
Ａｒ´（１，ｊ）＝Ａｒ（１，ｊ）・Ｅ（１，ｊ）・β／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｂｒ´（１，ｊ）＝Ｂｒ（１，ｊ）・Ｅ（１，ｊ）・β／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｅ（２，ｊ）＝｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2＋Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
Ａｌ´（２，ｊ）＝Ａｌ（２，ｊ）・Ｅ（２，ｊ）・α／｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2｝1/2
Ｂｌ´（２，ｊ）＝Ｂｌ（２，ｊ）・Ｅ（２，ｊ）・α／｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2｝1/2
Ａｒ´（２，ｊ）＝Ａｒ（２，ｊ）・Ｅ（２，ｊ）・α／｛Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
Ｂｒ´（２，ｊ）＝Ｂｒ（２，ｊ）・Ｅ（２，ｊ）・α／｛Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
ｊ＝ｍ＋Ｇ〜ｍ＋２Ｇ−１の各成分に対して
Ｅ（１，ｊ）＝｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2＋Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ａｌ´（１，ｊ）＝Ａｌ（１，ｊ）・Ｅ（１，ｊ）・α／｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝1/2
Ｂｌ´（１，ｊ）＝Ｂｌ（１，ｊ）・Ｅ（１，ｊ）・α／｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝1/2
Ａｒ´（１，ｊ）＝Ａｒ（１，ｊ）・Ｅ（１，ｊ）・α／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｂｒ´（１，ｊ）＝Ｂｒ（１，ｊ）・Ｅ（１，ｊ）・α／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｅ（２，ｊ）＝｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2＋Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
Ａｌ´（２，ｊ）＝Ａｌ（２，ｊ）・Ｅ（２，ｊ）・β／｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2｝1/2
Ｂｌ´（２，ｊ）＝Ｂｌ（２，ｊ）・Ｅ（２，ｊ）・β／｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2｝1/2
Ａｒ´（２，ｊ）＝Ａｒ（２，ｊ）・Ｅ（２，ｊ）・β／｛Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
Ｂｒ´（２，ｊ）＝Ｂｒ（２，ｊ）・Ｅ（２，ｊ）・β／｛Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
なお、上記〔数式１１〕に従った処理を実行して係数α´、β´を得た場合は、上記〔数式１２〕〔数式１３〕において、係数α、βに代えて係数α´、β´を用いる。
（２．２．７．付加情報の埋め込み２．二重音脈分凝）
図１１に、本実施形態による奇数番目、偶数番目のＬチャンネル１音響フレームの所定周波数成分の状態を示す。Ｒチャンネルについては、Ｌチャンネルと同様であるので省略してある。図１１に示す各音響フレームにおいて、横軸は時間方向、縦軸は周波数方向を示している。
図１１においては、縦軸の周波数方向において、周波数領域が６つに区分されているが、上から２番目〜５番目の領域、すなわち、周波数Ｆ3D以上Ｆ3H未満の間が変更対象となる第３の周波数範囲であり、最上部すなわち周波数Ｆ3H超と、最下部すなわちＦ3D未満は、変更対象でない周波数帯である。すなわち、本実施形態では、周波数Ｆ3D以上Ｆ3H未満を第３の周波数範囲として、スペクトル集合の強度を変更することになる。二重音脈分凝を利用して付加情報を埋め込む場合には、第３の周波数範囲における４つの周波数帯を、周波数が高い方から順に最上位周波数帯、中上位周波数帯、中下位周波数帯、最下位周波数帯として区別する。図１１（ａ）に示すように、奇数番目音響フレームの第３の周波数範囲については、周波数が低い順に、そのスペクトル集合を１Ｄ１、１Ｄ２、１Ｕ１、１Ｕ２で表現することとする。また、図１１（ｂ）に示すように、偶数番目音響フレームの第３の周波数範囲については、周波数が低い順に、そのスペクトル集合を２Ｄ１、２Ｄ２、２Ｕ１、２Ｕ２で表現することとする。
図１１（ａ）（ｂ）に示される２フレームの対に１ビットまたは２ビットの情報を埋め込むことが可能であるが、１ビット埋め込み方式で、符号１を埋め込む場合、図１１（ｃ）（ｅ）に示すように、１Ｄ１と２Ｄ２の強度の積、１Ｕ１と２Ｕ２の強度の積を相対的に強い状態に変更し、１Ｄ２と２Ｄ１の強度の積、１Ｕ２と２Ｕ１の強度の積を相対的に弱い状態に変更する。この状態を“状態１”と呼ぶことにする。符号２を埋め込む場合は、図１１（ｄ）（ｆ）に示すように、１Ｄ２と２Ｄ１の強度の積、１Ｕ２と２Ｕ１の強度の積を相対的に強い状態に変更し、１Ｄ１と２Ｄ２の強度の積、１Ｕ１と２Ｕ２の強度の積を相対的に弱い状態に変更する。この状態を“状態２”と呼ぶことにする。網掛けされた部分の濃さは、同濃度のものは、積を求めるための組となるスペクトル集合であることを示している。網掛けの色が濃い方が相対的に強度が強い状態に変更される組を示している。
１ビット埋め込み方式では、図１１（ｃ）（ｅ）または（ｄ）（ｆ）に示すような２つの状態に奇数番目、偶数番目の音響フレームの周波数成分を変更することにより、情報の埋め込みを行っている。２つの状態であるので１ビット分の情報量に相当する。図１１（ｃ）〜（ｆ）に示したように、１ビット埋め込み方式の場合、第３の周波数範囲の最上位周波数帯と中上位周波数帯の組み合わせと、中下位周波数帯と最下位周波数帯の組み合わせが全く同一のパターンとなっている。２ビット埋め込み方式の場合は、最上位周波数帯と第３上位周波数帯の組み合わせと、中下位周波数帯と最下位周波数帯の組み合わせを独立に変更することにより、最上位周波数帯と中上位周波数帯の組み合わせで１ビット、と、中下位周波数帯と最下位周波数帯の組み合わせで１ビットの表現が可能となる。
本実施形態では、上記第３の周波数範囲Ｆ3D〜Ｆ3Hを、“８５０Ｈｚ〜３．４ｋＨｚ”に設定する。これは、以下のような理由による。すなわち、音声通信として普及度の高い携帯電話機を受信端末として利用する場合、上限については、電話回線帯域および携帯電話機の上限である３．４ｋＨｚとする必要がある。これは、携帯電話機の内部に搭載されているローパスフィルターが、電話交換機に合わせて、３．４ｋＨｚ以下に対応したものとなっているためである。また、中上位周波数帯の下限Ｆ3Mについては、最上位周波数帯上限の３．４ｋＨｚから１オクターブ下がった１．７ｋＨｚとすることとした。そして、中下位周波数帯の上限を中上位周波数帯の下限と同じく、１．７ｋＨｚとし、最下位周波数帯の下限については、中下位周波数帯の上限の１／２である８５０Ｈｚとすることとした。中下位周波数帯と最下位周波数帯を合わせた周波数範囲は、最上位周波数帯と中上位周波数帯を合わせた周波数範囲に比べ１／２になるが、分布している信号成分の強度は平均４倍程度になるため、むしろ第３最上位周波数帯と中上位周波数帯より中下位周波数帯と最下位周波数帯の方が大きな感度を持つと推定できる。なお、“８５０Ｈｚ”“１．７ｋＨｚ”“３．４ｋＨｚ”という値は、代表的な値であり、必ずしも固定な値である必要はなく、使用環境に応じて適宜調整されても良い。
図１１に示した例では、相対的に強い状態と弱い状態に変更することについて説明したが、この強弱の程度については、状況に応じて設定することが可能である。両者の割合は、以下に述べるように、大きいほど抽出時の精度が高くなるが、補間される割合は不完全になり、再生時に不連続成分によるノイズが聞こえる。一方、両者の割合が均等であるほど再生品質は原音に近付くが、埋め込んだビットの抽出ができなくなり、再生品質と抽出精度はトレードオフの関係になる。例えば、強い方を１００％、弱い方を０％とした場合、音脈分凝により、補間される部分の音は図１１のような変更を行なう前に原音響信号で鳴っていた音の５０％程度となることが確認されている。そこで、強い方を７０％、弱い方を３０％とした場合、音脈分凝により、補間される部分の音は図１１のような変更を行なう前に原音響信号で鳴っていた音とほぼ同程度となり、この割合が抽出精度を維持できる限界であることが確認されている。このため、相対的に強いスペクトル集合と、相対的に弱いスペクトル集合の強度の割合を７０％と３０％とすることを目標に設定することが好ましい。これを実現するため、本実施形態では、後述する具体的な処理において、強い状態を設定するための係数α＝０．７、弱い状態を設定するための係数β＝０．３とする。ただし、強い状態に変更すべきスペクトル集合の強度が元々小さい場合には、係数α、βを補正する必要が生じる。このため、周波数成分変更手段３０は、まず、以下の〔数式１４〕に従った処理を実行することにより、各スペクトル集合の強度Ｅ1D1、Ｅ2D1、Ｅ1D2、Ｅ2D2、Ｅ1U1、Ｅ2U1、Ｅ1U2、Ｅ2U2を算出する。
〔数式１４〕
Ｅ1D1＝Σj=m,…,m+G-1｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝
Ｅ2D1＝Σj=m,…,m+G-1｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2｝
Ｅ1D2＝Σj=m+G,…,m+2G-1｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝
Ｅ2D2＝Σj=m+G,…,m+2G-1｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2｝
Ｅ1U1＝Σj=m+2G,…,m+2G+Gu-1｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝
Ｅ2U1＝Σj=m+2G,…,m+2G+Gu-1｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2｝
Ｅ1U2＝Σj=m+2G+Gu,…,m+2G+2Gu-1｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝
Ｅ2U2＝Σj=m+2G+Gu,…,m+2G+2Gu-1｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2｝
上記〔数式１４〕において、ｍは第３の周波数範囲の下限の成分の番号、Ｇは中下位周波数帯、最下位周波数帯の幅で、Ｇｕは変更対象周波数帯内の最上位周波数帯、中上位周波数帯の幅で、ｍ＋２Ｇ＋２Ｇｕは第３の周波数範囲の上限の成分の番号である。例えば、第３の周波数範囲として、８５０Ｈｚ〜３．４ｋＨｚを設定する場合、ｍ＝８０、ｍ＋２Ｇ＋２Ｇｕ＝３２０（＝Ｍ）となる。したがって、中下位周波数帯、最下位周波数帯の幅Ｇ（＝（Ｍ／２−ｍ）／２）＝６４で、最上位周波数帯、中上位周波数帯の幅Ｇｕ（＝（Ｍ−Ｍ／２）／２）＝８０である。
さらに、周波数成分変更手段３０は、算出された各スペクトル集合の強度を利用して、弱い状態に変更すべきスペクトル集合に対する強い状態に変更すべきスペクトル集合の強度割合γを算出する。これは、１音響フレームに１ビット埋め込む場合と、２ビット埋め込む場合により異なる。１音響フレームに１ビット埋め込む場合は、以下の〔数式１５〕に従って強度割合εを算出する。
〔数式１５〕
埋め込みデータが値１の場合、ε＝（Ｅ1D1・Ｅ1U1・Ｅ2D2・Ｅ2U2）／（Ｅ1D2・Ｅ1U2・Ｅ2D1・Ｅ2U1）
埋め込みデータが値２の場合、ε＝（Ｅ1D2・Ｅ1U2・Ｅ2D1・Ｅ2U1）／（Ｅ1D1・Ｅ1U1・Ｅ2D2・Ｅ2U2）
１音響フレームに１ビット埋め込む場合、さらに強度割合εの値に応じて、周波数成分変更手段３０は、以下の〔数式１６〕に従った処理を実行することにより、係数α、βを補正して係数α´、β´を得る。
〔数式１６〕
０．０１≦ε＜１．０の場合、α´＝α・ε-1/4、β´＝β・ε1/4
ε＜０．０１の場合、α´＝１０．０・α、β´＝０．１・β
ε≧１．０の場合、補正を行わない。
一方、１音響フレームに２ビット埋め込む場合は、以下の〔数式１７〕に従って強度割合ε1、ε2を算出する。
〔数式１７〕
第１埋め込みデータが値１の場合、ε1＝（Ｅ1D1・Ｅ2D2）／（Ｅ1D2・Ｅ2D1）
第１埋め込みデータが値２の場合、ε1＝（Ｅ1D2・Ｅ2D1）／（Ｅ1D1・Ｅ2D2）
第２埋め込みデータが値１の場合、ε2＝（Ｅ1U1・Ｅ2U2）／（Ｅ1U2・Ｅ2U1）
第２埋め込みデータが値２の場合、ε2＝（Ｅ1U2・Ｅ2U1）／（Ｅ1U1・Ｅ2U2）
１音響フレームに２ビット埋め込む場合、さらに強度割合ε1、ε2の値に応じて、周波数成分変更手段３０は、以下の〔数式１８〕に従った処理を実行することにより、係数α、βを補正して係数α1´、β1´、α2´、β2´を得る。
〔数式１８〕
０．０１≦ε1＜１．０の場合、α1´＝α・ε1 -1/2、β1´＝β・ε1 1/2
ε＜０．０１の場合、α1´＝１０．０・α、β1´＝０．１・β
ε≧１．０の場合、補正を行わない。
０．０１≦ε2＜１．０の場合、α2´＝α・ε2 -1/2、β2´＝β・ε2 1/2
ε＜０．０１の場合、α2´＝１０．０・α、β2´＝０．１・β
ε≧１．０の場合、補正を行わない。
さらに、周波数成分変更手段３０は、連続する奇数番目音響フレーム、偶数番目音響フレームにおける実部Ａｌ（１，ｊ）、Ａｒ（１，ｊ）、Ａｌ（２，ｊ）、Ａｒ（２，ｊ）、Ｂｌ（１，ｊ）、Ｂｒ（１，ｊ）、Ｂｌ（２，ｊ）、Ｂｒ（２，ｊ）に対して、周波数領域パラメータとして、下限ｍ（＝３２）から上限Ｍ（＝３２０）を設定し、ｍからＭ／２を幅Ｇ（＝（Ｍ／２−ｍ）／２）をもつ２個の領域に分割し、ｍ＋２ＧからＭを幅Ｇｕ（＝（Ｍ−Ｍ／２）／２）をもつ２個の領域に分割し、埋め込むべきビット値に応じて、各々改変を加える。一例として、１音響フレームに２ビット埋め込む方式で、埋め込むべきビット値が１ビット目、２ビット目ともに“値１”である場合、以下の〔数式１９〕に従った処理を実行することにより、周波数成分の状態を“状態１”、すなわち、図１１（ｃ）（ｅ）に示したような状態に変更する。
〔数式１９〕
ｊ＝ｍ〜ｍ＋Ｇ−１の各成分に対して
Ｅ（１，ｊ）＝｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2＋Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ａｌ´（１，ｊ）＝Ａｌ（１，ｊ）・Ｅ（１，ｊ）・α1／｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝1/2
Ｂｌ´（１，ｊ）＝Ｂｌ（１，ｊ）・Ｅ（１，ｊ）・α1／｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝1/2
Ａｒ´（１，ｊ）＝Ａｒ（１，ｊ）・Ｅ（１，ｊ）・α1／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｂｒ´（１，ｊ）＝Ｂｒ（１，ｊ）・Ｅ（１，ｊ）・α1／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｅ（２，ｊ）＝｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2＋Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
Ａｌ´（２，ｊ）＝Ａｌ（２，ｊ）・Ｅ（２，ｊ）・β1／｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2｝1/2
Ｂｌ´（２，ｊ）＝Ｂｌ（２，ｊ）・Ｅ（２，ｊ）・β1／｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2｝1/2
Ａｒ´（２，ｊ）＝Ａｒ（２，ｊ）・Ｅ（２，ｊ）・β1／｛Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
Ｂｒ´（２，ｊ）＝Ｂｒ（２，ｊ）・Ｅ（２，ｊ）・β1／｛Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
ｊ＝ｍ＋Ｇ〜ｍ＋２Ｇ−１の各成分に対して
Ｅ（１，ｊ）＝｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2＋Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ａｌ´（１，ｊ）＝Ａｌ（１，ｊ）・Ｅ（１，ｊ）・β1／｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝1/2
Ｂｌ´（１，ｊ）＝Ｂｌ（１，ｊ）・Ｅ（１，ｊ）・β1／｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝1/2
Ａｒ´（１，ｊ）＝Ａｒ（１，ｊ）・Ｅ（１，ｊ）・β1／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｂｒ´（１，ｊ）＝Ｂｒ（１，ｊ）・Ｅ（１，ｊ）・β1／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｅ（２，ｊ）＝｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2＋Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
Ａｌ´（２，ｊ）＝Ａｌ（２，ｊ）・Ｅ（２，ｊ）・α1／｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2｝1/2
Ｂｌ´（２，ｊ）＝Ｂｌ（２，ｊ）・Ｅ（２，ｊ）・α1／｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2｝1/2
Ａｒ´（２，ｊ）＝Ａｒ（２，ｊ）・Ｅ（２，ｊ）・α1／｛Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
Ｂｒ´（２，ｊ）＝Ｂｒ（２，ｊ）・Ｅ（２，ｊ）・α1／｛Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
ｊ＝ｍ＋２Ｇ〜ｍ＋２Ｇ＋Ｇｕ−１の各成分に対して
Ｅ（１，ｊ）＝｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2＋Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ａｌ´（１，ｊ）＝Ａｌ（１，ｊ）・Ｅ（１，ｊ）・α2／｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝1/2
Ｂｌ´（１，ｊ）＝Ｂｌ（１，ｊ）・Ｅ（１，ｊ）・α2／｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝1/2
Ａｒ´（１，ｊ）＝Ａｒ（１，ｊ）・Ｅ（１，ｊ）・α2／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｂｒ´（１，ｊ）＝Ｂｒ（１，ｊ）・Ｅ（１，ｊ）・α2／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｅ（２，ｊ）＝｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2＋Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
Ａｌ´（２，ｊ）＝Ａｌ（２，ｊ）・Ｅ（２，ｊ）・β2／｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2｝1/2
Ｂｌ´（２，ｊ）＝Ｂｌ（２，ｊ）・Ｅ（２，ｊ）・β2／｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2｝1/2
Ａｒ´（２，ｊ）＝Ａｒ（２，ｊ）・Ｅ（２，ｊ）・β2／｛Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
Ｂｒ´（２，ｊ）＝Ｂｒ（２，ｊ）・Ｅ（２，ｊ）・β2／｛Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
ｊ＝ｍ＋２Ｇ＋Ｇｕ〜Ｍ−１の各成分に対して
Ｅ（１，ｊ）＝｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2＋Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ａｌ´（１，ｊ）＝Ａｌ（１，ｊ）・Ｅ（１，ｊ）・β2／｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝1/2
Ｂｌ´（１，ｊ）＝Ｂｌ（１，ｊ）・Ｅ（１，ｊ）・β2／｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝1/2
Ａｒ´（１，ｊ）＝Ａｒ（１，ｊ）・Ｅ（１，ｊ）・β2／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｂｒ´（１，ｊ）＝Ｂｒ（１，ｊ）・Ｅ（１，ｊ）・β2／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｅ（２，ｊ）＝｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2＋Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
Ａｌ´（２，ｊ）＝Ａｌ（２，ｊ）・Ｅ（２，ｊ）・α2／｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2｝1/2
Ｂｌ´（２，ｊ）＝Ｂｌ（２，ｊ）・Ｅ（２，ｊ）・α2／｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2｝1/2
Ａｒ´（２，ｊ）＝Ａｒ（２，ｊ）・Ｅ（２，ｊ）・α2／｛Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
Ｂｒ´（２，ｊ）＝Ｂｒ（２，ｊ）・Ｅ（２，ｊ）・α2／｛Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
１音響フレームに２ビット埋め込む方式で、１ビット目、２ビット目のいずれかもしくは両方の埋め込むべきビット値が“値２”である場合は、それに応じて上記〔数式１９〕において、α1とβ1を互いに交換するか、α2とβ2を互いに交換して処理を実行する。また、１音響フレームに１ビット埋め込む方式の場合は、上記〔数式１９〕において、α1＝α2＝α、β1＝β2＝βとして処理を実行する。この場合は、スペクトル集合単位の強弱パターンは、高周波側と低周波側で同一となる。
なお、上記〔数式１６〕〔数式１８〕に従った処理を実行して係数α´、β´、α1´、β1´、α2´、β2´を得た場合は、上記〔数式１９〕において、係数α、β、α1、β1、α2、β2に代えて係数α´、β´、α1´、β1´、α2´、β2´を用いる。
（２．２．８．周波数成分変更後の処理）
周波数逆変換手段４０は、上記のようにして、妨害信号、付加情報を埋め込むために周波数成分の状態が変更されたフレームスペクトルを周波数逆変換して改変音響フレームを得る処理を行う。この周波数逆変換は、当然のことながら、周波数変換手段２０が実行した手法に対応していることが必要となる。本実施形態では、周波数変換手段２０において、フーリエ変換を施しているため、周波数逆変換手段４０は、フーリエ逆変換を実行することになる。
具体的には、奇数番目の音響フレームに対しては、周波数逆変換手段４０は、周波数成分変更手段３０により得られたスペクトルの左チャンネルの実部Ａｌ´（１，ｊ）等、虚部Ｂｌ´（１，ｊ）等、右チャンネルの実部Ａｒ´（１，ｊ）等、虚部Ｂｒ´（１，ｊ）等を用いて、以下の〔数式２０〕に従った処理を行い、Ｘｌ´（ｉ）、Ｘｒ´（ｉ）を算出する。なお、周波数成分変更手段３０において改変されていない周波数成分については、Ａｌ´（１，ｊ）等として、元の周波数成分であるＡｌ（１，ｊ）等を用いる。付加情報の埋め込みを同時に行っている場合のみ、周波数逆変換を計算するにあたり、Ａｌ´（１，ｊ）およびＢｌ´（１，ｊ）に対しては〔数式５〕におけるＹｌ（１）を、Ａｒ´（１，ｊ）およびＢｒ´（１，ｊ）に対しては〔数式５〕におけるＹｒ（１）を除することにより、同時に振幅逆変換を施す必要がある。逆に、妨害信号の埋め込みのみを行う場合には振幅逆変換を行わず、〔数式２０〕におけるＹｌ（１）＝Ｙｒ（１）＝１．０とする。
〔数式２０〕
Ｘｌ´（ｉ）＝１／Ｎ・｛ΣjＡｌ´（１，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）／Ｙｌ（１）−ΣjＢｌ´（１，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）／Ｙｌ（１）｝＋Ｘｌｐ（ｉ＋Ｎ／２）
Ｘｒ´（ｉ）＝１／Ｎ・｛ΣjＡｒ´（１，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）／Ｙｒ（１）−ΣjＢｒ´（１，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）／Ｙｒ（１）｝＋Ｘｒｐ（ｉ＋Ｎ／２）
上記〔数式２０〕においては、式が繁雑になるのを防ぐため、Σj=0,…,N-1をΣjとして示している。上記〔数式２０〕における第１式の“＋Ｘｌｐ（ｉ＋Ｎ／２）”、第２式の“＋Ｘｒｐ（ｉ＋Ｎ／２）”の項は、直前に改変された改変音響フレームのデータＸｌｐ（ｉ）、Ｘｒｐ（ｉ）が存在する場合に、時間軸上Ｎ／２サンプル分重複することを考慮して加算するためのものである。上記〔数式２０〕により奇数番目の改変音響フレームの左チャンネルの各サンプルＸｌ´（ｉ）、右チャンネルの各サンプルＸｒ´（ｉ）、が得られることになる。
偶数番目の音響フレームに対しては、周波数逆変換手段４０は、上記〔数式１９〕により得られたスペクトルの左チャンネルの実部Ａｌ´（２，ｊ）、虚部Ｂｌ´（２，ｊ）、右チャンネルの実部Ａｒ´（２，ｊ）、虚部Ｂｒ´（２，ｊ）を用いて、以下の〔数式２１〕に従った処理を行い、Ｘｌ´（ｉ）、Ｘｒ´（ｉ）を算出する。なお、周波数成分変更手段３０において改変されていない周波数成分については、以下の〔数式２１〕においてはＡｌ´（２，ｊ）、Ｂｌ´（２，ｊ）、Ａｒ´（２，ｊ）、Ｂｒ´（２，ｊ）として、元の値であるＡｌ（２，ｊ）、Ｂｌ（２，ｊ）、Ａｒ（２，ｊ）、Ｂｒ（２，ｊ）を用いる。付加情報の埋め込みを同時に行っている場合のみ、周波数逆変換を計算するにあたり、Ａｌ´（２，ｊ）およびＢｌ´（２，ｊ）に対しては〔数式５〕におけるＹｌ（２）を、Ａｒ´（２，ｊ）およびＢｒ´（２，ｊ）に対しては〔数式５〕におけるＹｒ（２）を除することにより、同時に振幅逆変換を施す必要がある。逆に、妨害信号の埋め込みのみを行う場合には振幅逆変換を行わず、〔数式２１〕におけるＹｌ（２）＝Ｙｒ（２）＝１．０とする。
〔数式２１〕
Ｘｌ´（ｉ＋Ｎ／２）＝１／Ｎ・｛ΣjＡｌ´（２，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）／Ｙｌ（２）−ΣjＢｌ´（２，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）／Ｙｌ（２）｝＋Ｘｌｐ（ｉ＋Ｎ）
Ｘｒ´（ｉ＋Ｎ／２）＝１／Ｎ・｛ΣjＡｒ´（２，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）／Ｙｒ（２）−ΣjＢｒ´（２，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）／Ｙｒ（２）｝＋Ｘｒｐ（ｉ＋Ｎ）
上記〔数式２１〕により偶数番目の改変音響フレームの左チャンネルの各サンプルＸｌ´（ｉ）、右チャンネルの各サンプルＸｒ´（ｉ）、が得られることになる。
改変音響フレーム出力手段５０は、周波数逆変換手段４０の処理により得られた奇数番目の改変音響フレーム、偶数番目の改変音響フレームを順次出力ファイルに出力する。
（２．３．処理の全体的な流れ）
次に、図５に示した音響信号に対する情報の埋め込み装置の処理の全体的な流れを、図１２のフローチャートに従って説明する。図５に示した装置を構成する各構成要素は、連携して図１２に従った処理を実行する。図１２は、付加情報１ワード分の処理に対応したものとなっている。１ワードのビット数Ｎｗとしては、任意のビット数に設定することができるが、上述のように、本実施形態では、ＡＳＣＩＩコードの実質７ビットに設定されている。
図１２においては、まず、ビット配列作成手段７０は、付加情報記憶部６２から抽出した付加情報の各ワードについて、対応するビット配列を作成する（Ｓ１０１）。ただし、付加情報の埋め込みを行わない場合には、以下Ｓ１０１の処理は行わない。具体的には、まず、付加情報記憶部６２から１ワード（７ビット）単位で抽出し、事前に準備された符号変換テーブルを参照し、対応するハミング符号で構成される所定ビット数Ｎｈ（例えば１６ビット）のビット配列を抽出する。このように、ハミング符号で構成される所定ビット数に変換することにより各符号のハミング距離を所定数以上とすることができ、抽出側で埋め込まれていた値を特定するのに役立つ。このような符号変換テーブルの作成や符号変換テーブルを用いたビット配列の作成は、特許文献３、４等に開示されている手法により行われる。
そして、この１６ビットが、音響信号に対する情報の埋め込み装置として用いられるコンピュータ内のレジスタに読み込まれることになる。このように、付加情報記憶部６２においては、１ワードは７ビットであるが、埋め込み処理時は、この１６ビットの配列で、付加情報内の１ワード分の処理を行う。
次に、周波数成分変更手段３０が、レジスタに保持されたＮｈ（＝１６）ビットから１ビットを読み込む処理を行う（Ｓ１０２）。付加情報の埋め込みを行わない場合には、同様にＳ１０２の処理は行わない。続いて、音響フレーム読込手段１０が、音響信号記憶部６１に記憶されたステレオ音響信号の左右の各チャンネルから、それぞれ所定数のサンプルを奇数番目の１音響フレームとして読み込み、周波数変換手段２０が周波数変換を行う（Ｓ１０３）。具体的には、まず、読み込んだ音響フレームに対して、周波数変換を行って、その音響フレームのスペクトルであるフレームスペクトルを得る。すなわち、各音響フレームについて、窓関数Ｗ（１，ｉ）を用いて、上記〔数式２〕に従った処理を行う。さらに、付加情報を埋め込む場合には、上記〔数式５〕に従った処理を実行してＹｌ（１）、Ｙｒ（１）を算出し振幅変換を行う。同様に、音響フレーム読込手段１０が、音響信号記憶部６１に記憶されたステレオ音響信号の左右の各チャンネルから、それぞれ所定数のサンプルを偶数番目の１音響フレームとして読み込み、周波数変換手段２０が周波数変換を行う（Ｓ１０４）。具体的には、まず、読み込んだ音響フレームに対して、周波数変換を行って、その音響フレームのスペクトルであるフレームスペクトルを得る。すなわち、各音響フレームについて、窓関数Ｗ（２，ｉ）を用いて、上記〔数式３〕に従った処理を行う。さらに、付加情報を埋め込む場合には、上記〔数式５〕に従った処理を実行してＹｌ（２）、Ｙｒ（２）を算出し振幅変換を行う。続いて、付加情報を埋め込む場合には、周波数成分変更手段３０が、読み込んだビット値に応じて奇数番目音響フレームおよび偶数番目音響フレームの周波数成分の状態を変更するにあたり、〔数式１１〕〔数式１６〕〔数式１８〕に従った処理を実行して変換割合α、β等を決定する処理を行う（Ｓ１０５）。付加情報を埋め込まない場合には、Ｓ１０５の処理は行わない。そして、周波数成分変更手段３０は、妨害信号を埋め込むために、上記〔数式６〕〜〔数式９〕に従った処理を実行し、第１の周波数範囲、第２の周波数範囲の周波数成分の状態を変更する。付加情報を１ビット埋め込み方式で埋め込む場合には、周波数成分変更手段３０は、併せて、Ｓ１０５において決定された変換割合を用いて、ビット配列作成手段７０から受け取った値１、値２に応じて上記〔数式１９〕に従った処理を実行し、第３の周波数範囲の成分の状態を“状態１”、“状態２”に応じた状態のいずれかに変更する（Ｓ１０６）。
次に、周波数逆変換手段４０が、上記Ｓ１０６の処理により奇数番目の音響フレームに対応する各スペクトル集合の強度が変更されたスペクトルを振幅逆変換（付加情報を埋め込む場合のみ）、周波数逆変換して改変音響フレームを得る処理を行う（Ｓ１０７）。この振幅逆変換は〔数式５〕で算出したＹｌ（１）、Ｙｒ（１）の逆数をスペクトルに乗じることにより行ない、この周波数逆変換は、当然のことながら、周波数変換手段２０がＳ１０３において実行した手法に対応していることが必要となる。本実施形態では、周波数変換手段２０において、フーリエ逆変換を施しているため、周波数逆変換手段４０は、フーリエ逆変換を実行することになる。具体的には、上記〔数式１９〕により得られたスペクトルの左チャンネルの実部Ａｌ´（１，ｊ）等、虚部Ｂｌ´（１，ｊ）等、右チャンネルの実部Ａｒ´（１，ｊ）等、虚部Ｂｒ´（１，ｊ）等を用いて、上記〔数式２０〕に従った処理を行い、Ｘｌ´（ｉ）、Ｘｒ´（ｉ）を算出する。改変音響フレーム出力手段５０は、得られた改変音響フレームを順次出力ファイルに出力する。
同様に、周波数逆変換手段４０が、上記Ｓ１０６の処理により偶数番目の音響フレームに対応する各スペクトル集合の強度が変更されたスペクトルを振幅逆変換（付加情報を埋め込む場合のみ）、周波数逆変換して改変音響フレームを得る処理を行う（Ｓ１０８）。具体的には、振幅逆変換は〔数式５〕で算出したＹｌ（２）、Ｙｒ（２）の逆数をスペクトルに乗じることにより行ない、上記〔数式１９〕により得られたスペクトルの左チャンネルの実部Ａｌ´（２，ｊ）等、虚部Ｂｌ´（２，ｊ）等、右チャンネルの実部Ａｒ´（２，ｊ）等、虚部Ｂｒ´（２，ｊ）等を用いて、上記〔数式２１〕に従った処理を行い、Ｘｌ´（ｉ）、Ｘｒ´（ｉ）を算出する。
改変音響フレーム出力手段５０は、得られた改変音響フレームを順次出力ファイルに出力する。こうして各チャンネルについて、奇数番目および偶数番目の２つの音響フレームに対する処理を終えたら、付加情報を埋め込む場合には、周波数成分変更手段３０がビット配列中の次の１ビットを読み込む（Ｓ１０２）。以上のような処理を音響信号の両チャンネルの全サンプルに渡って実行していく。すなわち、所定数のサンプルを音響フレームとして読み込み、音響信号から読み込むべき音響フレームがなくなったら（Ｓ１０３、Ｓ１０４）、処理を終了する。なお、付加情報を埋め込む場合には、Ｓ１０１において読み込んだ１ワード分のビット配列（Ｎｈ＝１６ビット）の各ビットに対応する処理を終えた場合、Ｓ１０２からＳ１０１に戻り、付加情報の次のワードを読み込んでビット配列を作成する処理を行うことになる。付加情報の全ワードに対して処理が終了した場合は、付加情報の先頭ワードに戻って処理を行う。この結果、全ての音響フレームに対して処理を行った全ての改変音響フレームが出力ファイルに記録されて、改変音響信号として得られる。得られた改変音響信号は、記憶手段６０内の改変音響信号記憶部６３に出力され、記憶される。
なお、本実施形態では、付加情報を埋め込む場合には、付加情報を１ワード７ビットとし、符号変換テーブルにより１６ビットのビット配列に変換して、付加情報１ワード分の処理をする場合について説明したが、本発明では、抽出側と取り決めがある限り、付加情報の１ワードを他のビット数単位で記録することが可能である。
上記のようにして得られた改変音響信号のうち、第１の周波数範囲においては、多少の強度の差はあるものの、上位周波数帯、下位周波数帯ともに１フレーム間隔で強弱パターンを繰り返す分布になる。また、第２の周波数範囲においては、音脈分凝を適用する場合は、第１の周波数範囲と同様、上位周波数帯、下位周波数帯ともに１フレーム間隔で強弱パターンを繰り返す分布となり、聴覚マスキングを適用する場合は、上位周波数帯のみ１フレーム間隔で狭帯域の白色雑音が付加される分布となる。また、付加情報が埋め込まれている第３の周波数範囲については、変更対象周波数帯の成分は、１ビット埋め込み方式の場合は、状態１、状態２の２通り、２ビット埋め込み方式の場合は、それぞれのビットについて２通りの計４通りの分布しかないことになる。しかし、第１〜第３の周波数範囲の成分以外については、元の音響信号のままであるので、制作者の設定に基づいた種々な分布になる。
以上のようにして、妨害信号、補間信号が埋め込まれた音響信号が再生されると、上述のように、高周波側の第１の周波数範囲では音脈分凝、低周波側の第２の周波数範囲では音脈分凝または聴覚マスキングにより妨害信号が補間またはかき消され知覚されなくなるため、スピーカから発せられた音を聴いた人には、妨害音は聞こえない。しかし、その音を一般的な録音機器により録音すると、その感度領域に含まれる第１の周波数範囲の下位側、第２の周波数範囲の上位側の音を比較的減衰されずに取得し、第１の周波数範囲の上位側、第２の周波数範囲の下位側の音を比較的減衰された状態で取得するか、または取得しない。そのため、録音により得られた音響信号を再生すると、補間信号が殆ど存在しないため、妨害音が聞こえることになり、少なくとも複製品を商品（海賊版）として出荷することは困難になる。この結果、ビデオカメラやボイスレコーダ等のマイクを介した録音により音響信号を複製することを防止することが可能となる。
また、ビデオカメラやボイスレコーダで記録される際に、MPEGなど公知の音声または音楽非可逆圧縮が施されることが多い。妨害信号、補間信号が埋め込まれた音響信号に対して、音声または音楽非可逆圧縮を施すと、圧縮仕様によっては、第１の周波数範囲の上位側の成分が符号化対象にならず完全に削除されることが多く、更に第２の周波数範囲の下位側の成分も符号化対象にならず削除されることがある。（例えば、ＭＰＥＧ−１／Ｌａｙｅｒ３方式では、２４または３２ｋＨｚで再サンプリングされるため、１２ｋＨｚまたは１６ｋＨｚ以上の成分は完全に削除される。更に３ＧＰＰ音声圧縮モードでは、８ｋＨｚで再サンプリングされるため、４ｋＨｚ以上の成分は完全に削除されるとともに、３００Ｈｚ以下の成分も削除される。）そのため、たとえマイクロフォンの感度領域が広帯域であっても、符号化・記録の段階で同様に帯域圧縮がなされ、記録された音響信号を再生すると、妨害音が聞こえることになり、同様に複製品を商品（海賊版）として出荷することは困難になる。
一方、第３の周波数範囲に埋め込まれた付加情報については、特許文献３、４に開示の抽出装置により抽出することが可能となる。
（３．妨害信号の埋め込みと録音により得られる音）
ここで、妨害信号の埋め込みによる音のパターンの変化と、妨害信号が埋め込まれた音響信号の再生音を録音した場合に得られる音について説明する。図１３は、第１の周波数範囲に音脈分凝、第２の周波数範囲に聴覚マスキングに対応した妨害信号の埋め込みを行った場合の周波数成分の変化の様子を概念的に示した図である。
図１３においては、Ｌ-ch（左チャンネル）のみを示している。また、ｕ、ｄはそれぞれ相対的に高周波、低周波成分を示し、１〜６は先頭からの音響フレームの順番を示している。したがって、図１３の例では、６個の音響フレームを示しており、例えば、“Ｈｕ１”は、１番目の音響フレームの高周波側成分を示していることになる。また、奇数番目と偶数番目の音響フレームは、実際に半分のサンプルが重複して設定されるが、図１３では、説明の便宜上独立した形態で示している。また、図１３において、“Ｈｕ１”等の各周波数成分の文字の大きさは、相対的な強度の大小を示している。
図１３においては、図１３（ａ）は元の音響信号を示しており、図１３（ｂ）は埋め込み処理後の音響信号を示している。図１３（ａ）と図１３（ｂ）を比較するとわかるように、第１の周波数範囲では、第１上位周波数帯のスペクトル集合と第１下位周波数帯のスペクトル集合の強度が交互に強弱が入れ替わるように変更される。また、第２の周波数範囲では、奇数番目の音響フレームの第２上位周波数帯のスペクトル集合に第２下位周波数帯に基づく強度が加算される。
図１４は、図１３（ｂ）に示した妨害信号・補間信号埋め込み後の音響信号を再生した場合における、人の聴取状態、録音機器により録音された音響信号を示す図である。図１４（ａ）は、図１３（ｂ）に示した埋め込み後の音響信号の再生音が人に聞こえる状態、図１４（ｂ）は、録音機器により録音された音響信号を示す。図１４（ａ）に示すように、図１３（ｂ）の埋め込み音響信号は、そのまま人の耳に入る。しかし、音脈分凝および聴覚マスキングにより補間されて人には妨害信号による雑音は聞こえない。しかし、図１４（ｂ）に示すように、第１上位周波数帯と第２下位周波数帯の成分は録音機器により録音されない。そのため、第１下位周波数帯では音脈分凝が働かず、振幅揺らぎが可聴化されて雑音となる。また、第２上位周波数帯では聴覚マスキングが働かず、雑音が可聴化される。
（４．変形例等）
以上、本発明の好適な実施形態について限定したが、本発明は上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、第３の周波数範囲に付加情報を埋め込むようにしたが、これは必須の処理ではない。第１の周波数範囲に音脈分凝に対応した妨害信号および補間信号を埋め込むだけでも、一般的な録音機器の感度領域の上限に埋め込まれた妨害信号により複製という意味での録音を防止することができる。また、第２の周波数範囲に聴覚マスキングに対応した妨害信号を埋め込むだけでも、一般的な録音機器の感度領域の下限に埋め込まれた妨害信号により複製という意味での録音を防止することができる。第１の周波数範囲に妨害信号および補間信号を埋め込み、第２の周波数範囲に妨害信号および補間信号（聴覚マスキングの場合は妨害信号のみ）を埋め込んだ場合は、一般的な録音機器の感度領域の上限および下限に埋め込まれた妨害信号により複製という意味での録音を防止することができる。第３の周波数範囲に付加情報を埋め込む場合、同時に著作権者情報を抽出することができ、万が一、第１の周波数範囲および第２の周波数範囲を完全に削除するような改変が行われても、コピー元を追跡することが可能となる。
また、上記実施形態では、商品として一般に流通している２チャンネルのステレオ音響信号を利用した場合を例にとって説明したが、５．１チャンネルのサラウンド音響信号に対してもＬＦＣを除く５チャンネルの各音響信号に同様な処理を施せば良く（ＬＦＣ重低音チャンネルに対しては、第２の周波数範囲のみ適用）、逆に１チャンネルのモノラル音響信号を利用しても良い。この場合は、上記ＬチャンネルまたはＲチャンネルのいずれか一方に対して行った処理を実行すれば良い。
１０・・・音響フレーム読込手段
２０・・・周波数変換手段
３０・・・周波数成分変更手段
４０・・・周波数逆変換手段
５０・・・改変音響フレーム出力手段
６０・・・記憶手段
６１・・・音響信号記憶部
６２・・・付加情報記憶部
６３・・・改変音響信号記憶部
７０・・・ビット配列作成手段

Claims (11)

  1. 時系列のサンプル列で構成される音響信号に対して、雑音を発する妨害信号および当該妨害信号による雑音を打ち消す補間信号を聴取不能な状態で埋め込み、埋め込まれた音響信号に対して周波数帯域幅を狭めて取得された場合に、前記埋め込まれた補間信号が欠落することにより、前記埋め込まれた妨害信号が聴取可能になるように埋め込む装置であって、
    前記音響信号より、所定数のサンプルを１つの音響フレームとして読み込む音響フレーム読込手段と、
    前記読み込んだ音響フレームのうち、奇数番目および偶数番目の双方の音響フレームに対して所定の窓関数を用いて周波数変換を行い、複素周波数成分である奇数窓スペクトルおよび偶数窓スペクトルを得る周波数変換手段と、
    前記生成された各奇数窓スペクトルおよび偶数窓スペクトルの第１の周波数範囲における互いに重複しない２つの周波数帯である第１上位周波数帯、第１下位周波数帯から、スペクトル集合を各々抽出し、奇数窓スペクトルの第１下位周波数帯に対応する第１下位奇数スペクトル集合と、偶数窓スペクトルの第１上位周波数帯に対応する第１上位偶数スペクトル集合を１つの組、奇数窓スペクトルの第１上位周波数帯に対応する第１上位奇数スペクトル集合と、偶数窓スペクトルの第１下位周波数帯に対応する第１下位偶数スペクトル集合を１つの組とし、一方の組の各スペクトル集合の強度を減弱させるように所定の１未満の係数を乗算するとともに、他方の組の各スペクトル集合の強度を増強させるように所定の１以上の係数を乗算することにより、第１上位奇数スペクトル集合、第１下位奇数スペクトル集合、第１上位偶数スペクトル集合、第１下位偶数スペクトル集合の各強度を変更するとともに、前記生成された各奇数窓スペクトルおよび偶数窓スペクトルにおける、前記第１の周波数範囲より低い第２の周波数範囲において互いに重複しない２つの周波数帯である第２上位周波数帯、第２下位周波数帯から、スペクトル集合を各々抽出し、奇数窓スペクトルの第２下位周波数帯に対応する第２下位奇数スペクトル集合と、偶数窓スペクトルの第２上位周波数帯に対応する第２上位偶数スペクトル集合を１つの組、奇数窓スペクトルの第２上位周波数帯に対応する第２上位奇数スペクトル集合と、偶数窓スペクトルの第２下位周波数帯に対応する第２下位偶数スペクトル集合を１つの組とし、一方の組の各スペクトル集合の強度を減弱させるように所定の１未満の係数を乗算するとともに、他方の組の各スペクトル集合の強度を増強させるように所定の１以上の係数を乗算することにより、第２上位奇数スペクトル集合、第２下位奇数スペクトル集合、第２上位偶数スペクトル集合、第２下位偶数スペクトル集合の各強度を変更する周波数成分変更手段と、
    前記周波数成分が変更された第１上位奇数スペクトル集合、第１下位奇数スペクトル集合、第２上位奇数スペクトル集合、第２下位奇数スペクトル集合を含む各奇数窓スペクトル、および前記周波数成分が変更された上位第１偶数スペクトル集合、第１下位偶数スペクトル集合、第２上位偶数スペクトル集合、第２下位偶数スペクトル集合を含む各偶数窓スペクトルに対して周波数逆変換を行って、改変音響フレームを生成する周波数逆変換手段と、
    前記生成された改変音響フレームを順次出力する改変音響フレーム出力手段と、を有し、
    前記第１上位周波数帯が、スピーカにより出力可能であって、マイクロフォン入力や音声圧縮処理により、前記第１下位周波数帯に比べて減衰する範囲に設定され、前記第２下位周波数帯が、スピーカにより出力可能であって、マイクロフォン入力や音声圧縮処理により、前記第２上位周波数帯に比べて減衰する周波数範囲に設定されることを特徴とする音響信号に対する妨害信号の埋め込み装置。
  2. 請求項１において、
    前記第１上位周波数帯と第１下位周波数帯の境界は１１ｋＨｚ〜１３ｋＨｚの範囲で設定され、前記第２上位周波数帯と第２下位周波数帯の境界は１５０Ｈｚ〜３５０Ｈｚの範囲で設定されることを特徴とする音響信号に対する妨害信号の埋め込み装置。
  3. 時系列のサンプル列で構成される音響信号に対して、雑音を発する妨害信号および当該妨害信号による雑音を打ち消す補間信号を聴取不能な状態で埋め込み、埋め込まれた音響信号に対して周波数帯域幅を狭めて取得された場合に、前記埋め込まれた補間信号が欠落することにより、前記埋め込まれた妨害信号が聴取可能になるように埋め込む装置であって、
    前記音響信号より、所定数のサンプルを１つの音響フレームとして読み込む音響フレーム読込手段と、
    前記読み込んだ音響フレームのうち、奇数番目および偶数番目の双方の音響フレームに対して所定の窓関数を用いて周波数変換を行い、複素周波数成分である奇数窓スペクトルおよび偶数窓スペクトルを得る周波数変換手段と、
    前記生成された各奇数窓スペクトルおよび偶数窓スペクトルの第１の周波数範囲における互いに重複しない２つの周波数帯である第１上位周波数帯、第１下位周波数帯から、スペクトル集合を各々抽出し、奇数窓スペクトルの第１下位周波数帯に対応する第１下位奇数スペクトル集合と、偶数窓スペクトルの第１上位周波数帯に対応する第１上位偶数スペクトル集合を１つの組、奇数窓スペクトルの第１上位周波数帯に対応する第１上位奇数スペクトル集合と、偶数窓スペクトルの第１下位周波数帯に対応する第１下位偶数スペクトル集合を１つの組とし、一方の組の各スペクトル集合の強度を減弱させるように所定の１未満の係数を乗算するとともに、他方の組の各スペクトル集合の強度を増強させるように所定の１以上の係数を乗算することにより、第１上位奇数スペクトル集合、第１下位奇数スペクトル集合、第１上位偶数スペクトル集合、第１下位偶数スペクトル集合の各強度を変更するとともに、前記生成された各奇数窓スペクトル、偶数窓スペクトルのいずれか一方における、前記第１の周波数範囲より低い第２の周波数範囲において互いに重複しない２つの周波数帯である第２上位周波数帯、第２下位周波数帯から、スペクトル集合を各々抽出し、第２下位周波数帯に対応する第２下位スペクトル集合の各周波数成分の平均強度に所定の係数γを乗じたものを、第２上位周波数帯に対応する第２上位スペクトル集合の各周波数成分の強度に加算することにより、第２上位スペクトル集合の強度を変更する周波数成分変更手段と、
    前記周波数成分が変更された第１上位奇数スペクトル集合、第１下位奇数スペクトル集合を含む各奇数窓スペクトル、および前記周波数成分が変更された第１上位偶数スペクトル集合、第１下位偶数スペクトル集合を含む各偶数窓スペクトルに対して周波数逆変換を行って、改変音響フレームを生成する周波数逆変換手段と、
    前記生成された改変音響フレームを順次出力する改変音響フレーム出力手段と、
    を有することを特徴とする音響信号に対する妨害信号の埋め込み装置。
  4. 請求項１から請求項３のいずれか一項において、
    前記音響信号に対して、さらに付加情報を聴取不能な状態で埋め込む装置であって、
    前記周波数変換手段は、前記所定の窓関数として互いに異なる第１窓関数と第２窓関数を用い、奇数番目および偶数番目の音響フレームの一方に対しては第１窓関数を用いて周波数変換を行い、他方に対しては第２窓関数を用いて周波数変換を行うものであり、
    前記周波数成分変更手段は、前記生成された各奇数窓スペクトルおよび偶数窓スペクトルにおける、前記第１の周波数範囲、前記第２の周波数範囲のいずれとも重複しない第３の周波数範囲において互いに重複しない２つの周波数帯である第３上位周波数帯、第３下位周波数帯から、スペクトル集合を各々抽出し、奇数窓スペクトルの第３下位周波数帯に対応する第３下位奇数スペクトル集合と、偶数窓スペクトルの第３上位周波数帯に対応する第３上位偶数スペクトル集合を１つの組、奇数窓スペクトルの第３上位周波数帯に対応する第３上位奇数スペクトル集合と、偶数窓スペクトルの第３下位周波数帯に対応する第３下位偶数スペクトル集合を１つの組とし、埋め込むべきビット配列に基づいて、一方の組の各スペクトル集合の強度に対して相対的に大きい係数を乗じ、他方の組の各スペクトル集合の強度に対して相対的に小さい係数を乗じて、第３上位奇数スペクトル集合、第３下位奇数スペクトル集合、第３上位偶数スペクトル集合、第３下位偶数スペクトル集合の各強度を変更するものであることを特徴とする音響信号に対する妨害信号の埋め込み装置。
  5. 請求項１から請求項３のいずれか一項において、
    前記音響信号に対して、さらに付加情報を聴取不能な状態で埋め込む装置であって、
    前記周波数変換手段は、前記所定の窓関数として互いに異なる第１窓関数と第２窓関数を用い、奇数番目および偶数番目の音響フレームの一方に対しては第１窓関数を用いて周波数変換を行い、他方に対しては第２窓関数を用いて周波数変換を行うものであり、
    前記周波数成分変更手段は、前記生成された各奇数窓スペクトルおよび偶数窓スペクトルにおける、前記第１の周波数範囲、前記第２の周波数範囲のいずれとも重複しない第３の周波数範囲において互いに重複しない４つの周波数帯である最上位周波数帯、中上位周波数帯、中下位周波数帯、最下位周波数帯から、スペクトル集合を各々抽出し、中上位周波数帯以上においては、奇数窓スペクトルの中上位周波数帯に対応する中上位奇数スペクトル集合と、偶数窓スペクトルの最上位周波数帯に対応する最上位偶数スペクトル集合を１つの組、奇数窓スペクトルの最上位周波数帯に対応する最上位奇数スペクトル集合と、偶数窓スペクトルの中上位周波数帯に対応する中上位偶数スペクトル集合を１つの組とし、一方の組の各スペクトル集合の強度に対して相対的に大きい係数を乗じ、他方の組の各スペクトル集合の強度に対して相対的に小さい係数を乗じて、最上位奇数スペクトル集合、中上位奇数スペクトル集合、最上位偶数スペクトル集合、中上位偶数スペクトル集合の各強度を変更し、中下位周波数帯以下においては、奇数窓スペクトルの最下位周波数帯に対応する最下位奇数スペクトル集合と、偶数窓スペクトルの中下位周波数帯に対応する中下位偶数スペクトル集合を１つの組、奇数窓スペクトルの中下位周波数帯に対応する中下位奇数スペクトル集合と、偶数窓スペクトルの最下位周波数帯に対応する最下位偶数スペクトル集合を１つの組とし、一方の組の各スペクトル集合の強度に対して相対的に大きい係数を乗じ、他方の組の各スペクトル集合の強度に対して相対的に小さい係数を乗じて、中下位奇数スペクトル集合、最下位奇数スペクトル集合、中下位偶数スペクトル集合、最下位偶数スペクトル集合の各強度を変更するものであることを特徴とする音響信号に対する妨害信号の埋め込み装置。
  6. 請求項４または請求項５において、
    前記第３の周波数範囲は８５０Ｈｚから３．４ｋＨｚであり、スピーカにより出力可能であって、マイクロフォン入力や音声圧縮処理により減衰の少ない範囲に設定されていることを特徴とする音響信号に対する妨害信号の埋め込み装置。
  7. 請求項４または請求項５において、
    前記第１窓関数および第２窓関数は、前記１つの音響フレームのサンプル数をＮとして、サンプル位置ｉ（０≦ｉ≦Ｎ−１）におけるにおける重みＷ（ｉ）（０≦Ｗ（ｉ）≦１）が、Ｗ（ｉ）＝０．５−０．５ｃｏｓ（２πｉ／Ｎ）で定義されるハニング窓関数を時間軸方向の中心Ｎ／２から非対称に２分割したものであり、前記第１窓関数は、前半分（０≦ｉ≦Ｎ／２−１）に重みの最大値が存在し、前記第２窓関数は、後半分（Ｎ／２≦ｉ≦Ｎ−１）に重みの最大値があることを特徴とする音響信号に対する妨害信号の埋め込み装置。
  8. 請求項１から請求項７のいずれか一項において、
    前記第２の周波数範囲は２０Ｈｚから６００Ｈｚであり、
    前記第２下位周波数帯が、スピーカにより出力可能であって、マイクロフォン入力や音声圧縮処理により、前記第２上位周波数帯に比べて顕著に減衰する範囲に設定されることを特徴とする音響信号に対する妨害信号の埋め込み装置。
  9. 請求項１から請求項３のいずれか一項において、
    前記所定の窓関数は、前記１つの音響フレームのサンプル数をＮとして、サンプル位置ｉ（０≦ｉ≦Ｎ−１）における重みＷ（ｉ）（０≦Ｗ（ｉ）≦１）が、Ｗ（ｉ）＝０．５−０．５ｃｏｓ（２πｉ／Ｎ）で定義されるハニング窓関数であることを特徴とする音響信号に対する妨害信号の埋め込み装置。
  10. 請求項１から請求項９のいずれか一項において、
    前記第１の周波数範囲は４ｋＨｚから１８ｋＨｚであり、
    前記第１上位周波数帯が、スピーカにより出力可能であって、マイクロフォン入力や音声圧縮処理により、前記第１下位周波数帯に比べて顕著に減衰する範囲に設定されることを特徴とする音響信号に対する妨害信号の埋め込み装置。
  11. 請求項１から請求項１０のいずれか一項に記載の音響信号に対する妨害信号の埋め込み装置として、コンピュータを機能させるためのプログラム。
JP2011232068A 2011-10-21 2011-10-21 音響信号に対する妨害信号の埋め込み装置 Expired - Fee Related JP5906659B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011232068A JP5906659B2 (ja) 2011-10-21 2011-10-21 音響信号に対する妨害信号の埋め込み装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011232068A JP5906659B2 (ja) 2011-10-21 2011-10-21 音響信号に対する妨害信号の埋め込み装置

Publications (2)

Publication Number Publication Date
JP2013088771A JP2013088771A (ja) 2013-05-13
JP5906659B2 true JP5906659B2 (ja) 2016-04-20

Family

ID=48532699

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011232068A Expired - Fee Related JP5906659B2 (ja) 2011-10-21 2011-10-21 音響信号に対する妨害信号の埋め込み装置

Country Status (1)

Country Link
JP (1) JP5906659B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5987511B2 (ja) * 2012-07-10 2016-09-07 大日本印刷株式会社 音響信号に対する妨害音の埋め込み装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4867765B2 (ja) * 2007-04-05 2012-02-01 大日本印刷株式会社 音響信号に対する情報の埋め込み装置および音響信号からの情報の抽出装置
WO2011100802A1 (en) * 2010-02-19 2011-08-25 The Bionic Ear Institute Hearing apparatus and method of modifying or improving hearing
JP5569033B2 (ja) * 2010-02-26 2014-08-13 大日本印刷株式会社 音響信号に対する情報の埋め込み装置

Also Published As

Publication number Publication date
JP2013088771A (ja) 2013-05-13

Similar Documents

Publication Publication Date Title
US9361898B2 (en) Three-dimensional sound compression and over-the-air-transmission during a call
CN101133680B (zh) 用于产生已编码立体声信号的设备及方法
TWI352971B (en) Apparatus and method for generating an ambient sig
JP4664431B2 (ja) アンビエンス信号を生成するための装置および方法
WO2007137232A2 (en) Method of modifying audio content
JP2010538572A (ja) オーディオ信号デコーディング方法及び装置
JP5611970B2 (ja) オーディオ信号を変換するためのコンバータ及び方法
JP2012509632A5 (ja) オーディオ信号を変換するためのコンバータ及び方法
JP4867765B2 (ja) 音響信号に対する情報の埋め込み装置および音響信号からの情報の抽出装置
KR20140017639A (ko) 부가적인 출력 채널들을 제공하기 위하여 스테레오 출력 신호를 발생시키기 위한 장치와 방법 및 컴퓨터 프로그램
WO2022014326A1 (ja) 信号処理装置および方法、並びにプログラム
JP2006323182A (ja) 音響信号に対する情報の埋め込み装置、音響信号からの情報の抽出装置、および音響信号再生装置
JP5906659B2 (ja) 音響信号に対する妨害信号の埋め込み装置
US20110261971A1 (en) Sound Signal Compensation Apparatus and Method Thereof
JP4910920B2 (ja) 音響信号に対する情報の埋め込み装置および音響信号からの情報の抽出装置
JP6078993B2 (ja) 音響信号に対する妨害音の埋込み装置
JP2010169443A (ja) 音響信号に対する情報の埋め込み装置および音響信号を利用した位置検出装置
JP5569033B2 (ja) 音響信号に対する情報の埋め込み装置
JP4910959B2 (ja) 音響信号に対する情報の埋め込み装置および音響信号からの情報の抽出装置
JP6003098B2 (ja) 音響信号に対する妨害雑音の埋め込み装置
JP5987511B2 (ja) 音響信号に対する妨害音の埋め込み装置
JP5310498B2 (ja) 音響信号に対する情報の埋め込み装置
JP6003107B2 (ja) 音響信号に対する第２の音響信号の埋め込み装置および音響信号に対する妨害音の埋め込み装置
JP4968468B2 (ja) 音響信号に対する情報の埋め込み装置および音響信号からの情報の抽出装置
JP6003099B2 (ja) 音響信号に対する異なる音響信号の埋め込み装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20130823

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150728

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160223

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160307

R150 Certificate of patent or registration of utility model

Ref document number: 5906659

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees