JP5082257B2 - 音響信号検索装置 - Google Patents

Description

本発明は、ＣＤ・ＤＶＤ等を用いた民生・業務用途における鑑賞用のパッケージ音楽分野、放送事業者等が商業目的で配信する放送・ネットワーク音楽配信分野における音楽著作権の保護（不正コピーの監視）および音楽属性情報の提供（楽曲タイトル検索サービス）分野に関する。

最近、流れている音楽のタイトル等を知ることができる楽曲属性情報の提供サービスとして、放送された音楽に対して日時と地域を放送局に照会したり、携帯電話で流れている音楽断片を録音してデータベースに登録されているメロディーと照合したりするサービスが実用化されている（例えば、特許文献１、２参照）。
特表２００４−５３６３４８号公報 特表２００４−５３７７６０号公報

しかしながら、上記従来の手法では、データベースに登録されているメロディーと、録音したメロディーの照合精度を高めるため、流れているメロディーを長時間録音しなければならず、また、録音により取得したメロディーとデータベースに登録されているメロディーとの照合処理にも負荷がかかるという問題がある。

そこで、本発明は、録音により取得したメロディーとデータベースに登録されているメロディーとの照合処理を高速に行うことが可能な音響信号検索装置を提供することを課題とする。

上記課題を解決するため、本発明第１の態様では、録音により得られた音響信号の特徴と、データベースに登録された音響信号の特徴との照合を行って、録音した音響信号に関連する情報を取得する装置であって、各音響信号について、その特徴を表現した複数の特徴ワードと、当該音響信号の関連情報を登録した関連情報データベースと、音源より発信されている音声を音響信号として獲得する音響信号獲得手段と、前記音響信号に対して、所定の区間単位で、当該区間の特徴を表現するスペクトルを、所定の周波数領域内を周波数方向に８Ｋ個のバンドに分割して算出し、８Ｋ個のバンド全体で０と１の個数が均等になるように、前記各バンドのスペクトル成分に対して、０または１を与えることにより二値化を行い、前記８Ｋ個のバンドのスペクトルに基づいて、当該区間における音響信号の特徴を表現したＫバイトの特徴ワードを生成する特徴ワード生成手段と、前記特徴ワードを複数個で１セットとし、当該１セット内の特徴ワードと、前記関連情報データベースに登録されている登録特徴ワードとを照合する処理を、前記１セット内の先頭の特徴ワードから順次行って、ビット合致度が所定より高い複数の候補レコードを抽出する処理を順次行い、１つの候補レコードに絞り込む特徴ワード照合手段と、前記絞り込まれた候補レコードに対応する関連情報を前記関連情報データベースから抽出する関連情報抽出手段を有する音響信号検索装置を提供する。

本発明第２の態様では、本発明第１の態様の音響信号検索装置における特徴ワード変換手段が、８Ｋ個のバンドを複数のグループに分類し、各グループにおいて、０と１の個数が均等になるように、前記各バンドのスペクトル成分に対して、０または１を与えることにより二値化を行うものとしたことを特徴とする。

本発明第３の態様では、本発明第１、第２の態様の音響信号検索装置において、前記所定の区間はＴ個の音響フレームにより構成されるものであり、前記特徴ワード生成手段は、前記各音響フレームに対してフーリエ変換を行い、隣接音響フレームとの差分値を、前記Ｔ個の音響フレームに渡って加算したものを前記区間の特徴を表現するスペクトルとして算出するようにしたことを特徴とする。

本発明第４の態様では、本発明第３の態様の音響信号検索装置において、前記特徴ワード生成手段は、前記各音響フレームに対してフーリエ変換を行った後、所定フレーム数単位でずらした各位置において前記区間の特徴を表現するスペクトルを算出することにより、複数の特徴ワードを生成し、前記特徴ワード照合手段は、前記複数の特徴ワードを用いて候補レコードを抽出するようにしたことを特徴とする。

本発明第５の態様では、本発明第１から第４のいずれか一つの態様の音響信号検索装置において、前記関連情報は、ネットワーク上の所定のサイトにアクセスするためのアドレス情報であり、当該アドレス情報を用いてネットワーク上の所定のサイトにアクセスするネットワークアクセス手段をさらに有することを特徴とする。

本発明第６の態様では、本発明第１から第４のいずれか一つの態様の音響信号検索装置において、前記関連情報データベースに登録されている特徴ワードは、付加情報が埋め込まれた音響信号について作成されたものであり、前記録音された音響信号は、付加情報が埋め込まれたものであり、前記音響信号から付加情報を抽出する付加情報抽出手段をさらに有するものであることを特徴とする。

本発明第１の態様によれば、音響信号に対して、所定の区間単位における音響信号の特徴を表現した所定バイト数の特徴ワードに変換し、この特徴ワードを複数個で１セットとし、当該１セット内の特徴ワードと、関連情報データベースに登録されている登録特徴ワードとを照合する処理を、前記１セット内の先頭の特徴ワードから順次行って、ビット合致度が所定より高い複数の候補レコードを抽出する処理を順次行い、１つの候補レコードに絞り込み、絞り込まれた候補レコードに対応する関連情報を抽出するようにし、音響信号の特徴を表現した特徴ワードを、区間の特徴を表現するスペクトルを算出し、所定の周波数領域内を周波数方向に８Ｋ個のバンドに分割し、８Ｋ個のバンド全体で０と１の個数が均等になるように、前記各バンドのスペクトル成分に対して、０または１を与えることにより二値化を行い、８ＫバンドのスペクトルをＫバイトの特徴ワードとして得るようにしたので、録音により取得したメロディーとデータベースに登録されているメロディーとの照合処理を高速に行うことが可能となるという効果を奏するとともに、特徴ワードが、コンピュータが処理し易い８ビットの倍数単位、すなわちバイト単位であるため、高速な照合が可能となるという効果を奏する。

本発明第２の態様によれば、特徴ワードの生成において、区間の特徴を表現するスペクトルを、８Ｋ個のバンドに分割して算出した後、８Ｋ個のバンドを複数のグループに分類し、各グループにおいて、０と１の個数が均等になるように、前記各バンドのスペクトル成分に対して、０または１を与えることにより二値化を行うようにしたので、マイクロフォンを通すことによる周波数特性の影響を補正することが可能となるという効果を奏する。

本発明第３の態様によれば、特徴ワードの生成を、複数の音響フレームについてのスペクトルの差分の総和に基づいて行うようにしたので、音響信号の信号レベルが大きく変化するような箇所についても、信号レベルの大小に影響されない特徴ワードの生成が可能となるという効果を奏する。

本発明第４の態様によれば、各音響フレームに対してフーリエ変換を行った後、所定フレーム数単位でずらした各位置において区間の特徴を表現するスペクトルを算出することにより、複数の特徴ワードを生成し、生成した複数の特徴ワードを用いて候補レコードを抽出するようにしたので、録音した音響信号が位置ずれしていた場合であっても、精度の高い検索が可能となるという効果を奏する。

本発明第５の態様によれば、関連情報として、ネットワーク上の所定のサイトにアクセスするためのアドレス情報を登録しておき、当該アドレス情報を用いてネットワーク上の所定のサイトにアクセスするようにしたので、流れている音を録音して取得すると、対応するサイトの情報を得ることが可能となるという効果を奏する。

本発明第６の態様によれば、関連情報データベースに登録されている特徴ワードを、電子透かしの手法により付加情報を埋め込んだ音響信号から生成しておくとともに、再生する音響信号にも電子透かしの手法により付加情報を埋め込んでおき、再生された音響信号を録音して、埋め込まれた付加情報を抽出するようにしたので、特徴ワードと併せてより精度の高い検索を行うことが可能となるという効果を奏する。

以下、本発明の実施形態について図面を参照して詳細に説明する。
（１．関連情報データベースの準備）
まず、関連情報データベースに登録する特徴ワードの生成を、登録特徴ワード生成装置により行う。図１は、登録特徴ワード生成装置の構成を示す機能ブロック図である。図１において、１０は音響フレーム読込手段、２０は特徴ワード生成手段、３０は特徴ワード登録手段、４０は関連情報データベースである。

音響フレーム読込手段１０は、ある音を素材として記録したデジタルの音響信号から所定数のサンプルを音響フレームとして順次読み込む機能を有している。特徴ワード生成手段２０は、読み込んだ音響フレームを利用して、周波数解析を行い、その素材についての音響信号の特徴を表現した特徴ワードを生成する機能を有している。この特徴ワードは、ある音響信号の特徴を少ないデータ量で表現したものであり、特徴ベクトルとも呼ばれるものである。特徴ワード登録手段３０は、生成した特徴ワードを、元の音響信号が表す素材に関連する関連情報、および音響信号の素材を特定するためのＩＤと対応付けて登録特徴ワードとして関連情報データベース４０に登録する機能を有している。ここで、素材とは、音響信号に記録されている楽曲や音声を示すものである。図１に示した各構成手段は、現実にはコンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。

次に、図１に示した登録特徴ワード生成装置の処理動作について図２のフローチャートに従って説明する。まず、登録特徴ワード生成装置は、音響データファイルからデジタルの音響信号を読み込む。このデジタル音響信号は、アナログ音響信号に対して、ＰＣＭ等の手法によりサンプリングを行うことにより得られたものである。登録特徴ワード生成装置では、音響フレーム読込手段１０が、音響信号ファイルから、所定数のサンプルを１音響フレームとして読み込む。音響フレーム読込手段１０が読み込む１音響フレームのサンプル数は、適宜設定することができるが、サンプリング周波数が４４．１ｋＨｚの場合、４０９６サンプル程度とすることが望ましい。これは、約０．０９２秒に相当する。ただし、後述する周波数変換におけるハニング窓関数の利用により、値が減少するサンプルを考慮して、音響フレームは、所定数分のサンプルを重複させて読み込むことにしている。本実施形態では、音響フレームの区間長のちょうど半分となる２０４８サンプルを重複させている。したがって、先頭の音響フレームはサンプル１〜４０９６、２番目の音響フレームはサンプル２０４９〜６１４４、３番目の音響フレームはサンプル４０９７〜８１９２というように、順次読み込まれていくことになる。

続いて、特徴ワード生成手段２０は、読み込んだ各音響フレームに対して、周波数変換を行って、その音響フレームのスペクトルであるフレームスペクトルを得る（Ｓ１０１）。具体的には、音響フレーム読込手段１０が読み込んだ音響フレームについて、窓関数を利用して周波数変換を行う。周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができる。本実施形態では、フーリエ変換を用いた場合を例にとって説明する。

ここで、本実施形態においてフーリエ変換に利用する窓関数について説明しておく。一般に、所定の信号に対してフーリエ変換を行う場合、信号を所定の長さに区切って行う必要があるが、この場合、所定長さの信号に対してそのままフーリエ変換を行うと、高域部に擬似成分が発生する。そこで、一般にフーリエ変換を行う場合には、ハニング窓と呼ばれる窓関数を用いて、信号の値を変化させた後、変化後の値に対してフーリエ変換を実行する。

Ｓ１０１においてフーリエ変換を行う場合、具体的には、サンプルｉにおける値Ｘ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、ハニング窓関数Ｗ（ｉ）を用いて、以下の〔数式１〕の第１式、第２式に従った処理を行い、各周波数における実部Ａ（ｊ）、虚部Ｂ（ｊ）を得る。

続いて、スペクトル成分の算出を行う（Ｓ１０２）。具体的には、以下の〔数式１〕第３式に従った処理を行い、各周波数における強度値Ｅ（ｊ）を得る。

〔数式１〕
Ａ（ｊ）＝Σ_i=0,…,N-1Ｗ（ｉ）・Ｘ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂ（ｊ）＝Σ_i=0,…,N-1Ｗ（ｉ）・Ｘ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ｅ（ｊ）＝Ａ（ｊ）²＋Ｂ（ｊ）²

〔数式１〕において、ｉは、各音響フレーム内のＮ個のサンプルに付した通し番号であり、ｉ＝０，１，２，…Ｎ−１の整数値をとる。また、ｊは周波数の値について、値の小さなものから順に付した通し番号であり、ｊ＝０，１，２，…Ｎ／２−１の整数値をとる。サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が１０．８Ｈｚ異なることになる。

続いて、スペクトル成分の間引き処理を行う（Ｓ１０３）。上記の周波数変換により、２２ｋＨｚ付近までのスペクトル成分が得られるが、本実施形態における特徴ワードの生成には、４ｋＨｚ付近より低いものを用いる。これは、携帯電話の音声録音で対応できるレベルに対応させるためである。したがって、ｊ＝０〜２０４７の周波数成分のうち、４ｋＨｚ付近より高いｊ＝３８５〜２０４７については利用しない。また、音の特徴の抽出が困難なｊ＝０〜３２の低周波成分についても利用しない。すなわち、本実施形態では、ｊ＝３３〜３８４の周波数成分を用いる。具体的には、以下の〔数式２〕に従った処理を実行し、１１周波数成分単位のＰ（ｎ）に間引くことになる。

〔数式２〕
Ｐ（０）＝（Ｅ₃₃＋Ｅ₃₄＋…＋Ｅ₄₃）^1/4
Ｐ（１）＝（Ｅ₄₄＋Ｅ₄₅＋…＋Ｅ₅₄）^1/4
：
：
Ｐ（３１）＝（Ｅ₃₇₄＋Ｅ₃₇₅＋…＋Ｅ₃₈₄）^1/4

上記〔数式２〕により、ｊ＝３３〜３８４の３５２の周波数成分が、ｎ＝０〜３１の３２の周波数成分に間引かれることになる。上記処理は、各音響フレームについて行われ、各音響フレームについて、３２個の周波数成分が得られることになる。

次に、各音響フレームについて、直前の音響フレームのスペクトル成分との差分を算出する（Ｓ１０４）。上記Ｓ１０１〜Ｓ１０３の処理は、各音響フレームに対して順次行われる。このＳ１０４におけるフレーム間の処理は、各音響フレームについてＳ１０３までの処理を行った結果得られたＰ（０）〜Ｐ（３１）を利用するものである。具体的には、以下の〔数式３〕に従った処理を行い、差分Ｄｎ（ｔ）を得る。

〔数式３〕
Ｄｎ（ｔ）＝｜Ｐｎ（ｔ）−Ｐｎ（ｔ−１）｜、ｎ＝０，…，３１

このように、隣接する音響フレーム間の差分を算出するのは、音響信号の信号レベルが大きく変化するような箇所についても、信号レベルの大小に影響されず、音響信号の特徴を反映した特徴ワードを生成するためである。

音響フレーム間の差分Ｄｎ（ｔ）がＴ個（本実施形態では１１個）得られたら、そのＴ個分の総和を求める（Ｓ１０６）。すなわち、以下の〔数式４〕に従った処理を行い、差分の総和Ｓｎを得る。

〔数式４〕
Ｓｎ＝Σ_t=0,…,T-1Ｄｎ（ｔ）

続いて、この差分総和Ｓｎが音響フレームの個数Ｔ以上であるかどうかの判定を行う（Ｓ１０７）。ここで、差分総和ＳｎがＴより小さい場合は、Ｔ個の音響フレームに相当する区間において音が小さく、無音である可能性が高いため、そのフレーム群についての特徴ワードの生成は中止し、後続のフレーム群についての処理に移行する（Ｓ１０１）。逆に、差分総和ＳｎがＴ以上である場合は、音が存在する可能性が高いため、特徴ワードの生成を続行する。

特徴ワードの生成を続行する場合、上記〔数式４〕により得られたＳｎの二値化処理を行う（Ｓ１０８）。具体的には、まず、Ｓｎ配列をｎ≧１４とｎ≦１３の上下帯域で２分割し、ｎ≦１３の１４個中値の大きい７個に１を与え、値の小さい７個に０を与えるとともに、ｎ≧１４の１８個中値の大きい９個に１を与え、値の小さい９個に０を与える。ここで、単純に全３２個のＳｎ中値の大きい１６個と、小さい１６個に１と０を与えるのではなくて、３２バンドを周波数が高い１８バンドのグループと、周波数が高い１４バンドのグループに分けてそれぞれそのグループ内で均等に１と０を与えるようにしたのは、後述する音響信号検索装置において、マイクロフォンを通すことによる周波数特性の影響を補正するためである。上下のバンドを１８バンドと１４バンドの位置で分けたのは、実験の結果、この位置で分けたとき検索精度が最も高かったためである。Ｓ１０８における処理により、各ｎについてのＳｎが１ビットで表現可能となる。そして、ｎ＝０をＬＳＢ、ｎ＝３１をＭＳＢとして３２ビットの特徴ワードを得る。

以上の処理を各音響フレームに対して実行することにより、その音響信号の特徴ワードが生成されることになる。例えば、上記の例のように、サンプリング周波数４４．１ｋＨｚ、１音響フレームが４０９６サンプル、音響フレームを２０４８サンプルづつ重複させた場合、１特徴ワードは約０．５０６秒となり、１分の音響信号からは、約１２０個の特徴ワードが生成されることになる。

上記のようにして、各音響信号について特徴ワードを生成したら、各音響信号について、その音響信号の素材についての関連情報、ＩＤと特徴ワードとを対応付けて関連情報データベース４０に登録する。関連情報としては、その素材に関連する情報であれば、どのようなものでも良いが、例えば、その素材が楽曲であれば、曲名や演奏者名、その素材がＣＭ音声であれば、そのスポンサー企業の名前やＵＲＬ等を用いることができる。

ここで、上記特徴ワードの生成処理を、図３の概念図を用いて説明する。図３（ａ）は、特徴ワードの生成対象とする音響信号の波形を示す図である。登録特徴ワード生成装置では、音響信号を音響フレーム単位で読み取っていくが、図３（ｂ）に示すように、読取範囲を重複させて読み取らせる。そして、各音響フレームに対して、図３（ｃ）に示すように３２バンドに分離する。これは、上記Ｓ１０１〜Ｓ１０３に相当する。次に、図３（ｄ）に示すように分離成分の差分処理を行う。これは、上記Ｓ１０４に相当する。次に、図３（ｅ）に示すように３２バンド差分成分の総和処理を行う。これは、上記Ｓ１０６に相当する。次に、図３（ｆ）に示すように３２バンド総和成分の二値化処理を行う。これは、上記Ｓ１０８に相当する。図３に示すように、音響信号から順次音響フレームを読み込み、Ｔ個の音響フレーム単位で１つの特徴ワードを生成していく処理が行われることになる。

（２．音響信号の検索）
次に、本発明に係る音響信号検索装置について説明する。図４は、本発明に係る音響信号検索装置の構成図である。図４において、５０はマイクロフォン、１１は音響フレーム読込手段、２１は特徴ワード生成手段、６０は特徴ワード照合手段、７０は関連情報出力手段である。

マイクロフォン５０は、携帯電話等で用いられている汎用的なマイクロフォンである。マイクロフォン５０は、低周波成分や高周波成分を取り込む性能を持っている必要はなく、上記のような４００Ｈｚ弱から４ｋＨｚ強（ｊ＝３３〜３８４に対応）に相当する周波数感度を有していれば良い。音響フレーム読込手段１１は、音響フレーム読込手段１０と同様、デジタルの音響信号から所定数のサンプルを音響フレームとして順次読み込む機能を有している。ただし、音響フレーム読込手段１１は、マイクロフォン５０で取り込んだアナログ音響信号をデジタル化する機能も有している。本実施形態では、マイクロフォン５０と音響フレーム読込手段１１で、音源より発信されている音声を音響信号として獲得する音響信号獲得手段としての役割を果たすことになる。

特徴ワード生成手段２１は、特徴ワード生成手段２０と同様、読み込んだ音響フレームを利用して、周波数解析を行い、その素材についての音響信号の特徴を表現した特徴ワードを生成する機能を有している。ただし、後述するように、特徴ワード生成手段２０よりも多くの特徴ワードを生成するようにしている。特徴ワード照合手段６０は、生成した特徴ワードと、関連情報データベース４０に登録されている登録特徴ワードとの照合を行う機能を有している。関連情報出力手段７０は、特徴ワード照合手段６０による照合の結果、録音により得られた音響信号の特徴に最も類似する素材についての関連情報を、関連情報データベース４０から抽出して出力する機能を有している。図４に示した各構成手段は、現実には演算処理装置を備えた機器に専用のプログラムを搭載することにより実現される。好ましい例としては、演算処理機能を備えている携帯電話機が、専用のプログラムに従って各手段の内容を実行する場合が挙げられる。

続いて、図４に示した装置の処理動作について説明する。まず、利用者が流れている音についての関連情報を知りたいと思った場合、音響信号検索装置に対して起動の指示を行う。これは、例えば、音響信号検索装置を携帯電話機等の携帯端末で実現している場合は、所定のボタンを操作することにより実行できる。音響信号検索装置は、指示が入力されると、マイクロフォン５０から流れている音楽を取り込み、録音してデジタル音響信号として入力する。具体的には、マイクロフォン５０から入力される音声を、Ａ／Ｄ変換器によりデジタル化する処理を行うことになる。

次に、音響フレーム読込手段１１が、マイクロフォン５０から取り込んでデジタル化した音響信号から、それぞれ所定数のサンプルを１音響フレームとして読み込む。この処理は、登録特徴ワード生成装置が行ったのと同様に行われる。すなわち、１音響フレームのサンプル数は、サンプリング周波数が４４．１ｋＨｚの場合、４０９６サンプルとする。また、音響フレームは、２０４８サンプルを重複させて読み込むことにしている。

ここから特徴ワードの生成までの処理は、図５のフローチャートに従ったものとなる。図５のフローチャートは、登録特徴ワード生成装置についての図２のフローチャートとほぼ同様のものとなっている。周波数変換手段２１は、読み込んだ各音響フレームに対して、周波数変換を行って、その音響フレームのスペクトルであるフレームスペクトルを得る（Ｓ２０１）。登録特徴ワード生成装置と同様、周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができるが、特徴ワード生成装置の処理と合わせる必要があるため、本実施形態では、フーリエ変換を用いる。

さらに、Ｓ２０２〜Ｓ２０８において、上記〔数式２〕〜上記〔数式４〕に従った処理を行ってＳｎを得た後、３２ビットの特徴ワードを生成する。ただし、音響信号検索装置では、登録特徴ワード生成装置に比べて５倍の特徴ワードを生成する。音響信号検索装置においては、流れている音声を録音して音響信号を取得するため、録音開始のタイミングにより、位置ずれが生じることがある。登録特徴ワード生成装置において生成した手法でも、１１個の音響フレームを平均化して生成しているため、比較的位置ずれには強い。しかし、リズム変化が激しい音楽素材の場合、特徴ワードの生成単位である１１音響フレームの、ほぼ半分である５音響フレーム程度ずれると、顕著に異なる特徴ワードが生成され、誤った情報が検索されてしまう。そのため、１解析単位である１１音響フレームの範囲内で２フレームずつ遅らせて複数の特徴ワードを生成して、関連情報データベース４０内の登録特徴ワードと照合するようにする。

具体的には、登録特徴ワード生成装置では、フレーム１〜フレーム１１までで１つの特徴ワードを生成するが、音響信号検索装置では、フレーム１〜フレーム１１で特徴ワードを生成するとともに、２フレーム分、４フレーム分、６フレーム分、８フレーム分ずらしたフレーム群からも特徴ワードを生成する。すなわち、フレーム３〜フレーム１３、フレーム５〜フレーム１５、フレーム７〜フレーム１７、フレーム９〜フレーム１９においても特徴ワードを生成する。

本実施形態では、利用者に３秒程度録音を行わせるようにしている。これは、あまり長すぎると、利用者が作業をわずらわしく感じるためであり、短すぎると、照合に必要な特徴ワードが生成できない可能性があるためである。上述のように、本実施形態の場合、１特徴ワードは約０．５０６秒であるため、３秒程度録音することにより、６個の特徴ワードが生成される。この６個の特徴ワードを１セットとする。ただし、上述のように、２〜８フレームずらした特徴ワードを生成するため、全部で３０個の特徴ワードが１セットとして生成されることになる。

続いて、特徴ワード照合手段６０が、特徴ワード生成手段２１により生成された特徴ワードと、関連情報データベース４０に登録された特徴ワードとの照合を行う。ここで、関連情報データベース４０に登録された情報の一例を図６（ａ）に示す。図６（ａ）に示すように、関連情報データベース４０には、音響素材を特定するＩＤである素材ＩＤと、登録特徴ワードが対応付けて登録されている。実際には、音響素材に対応する関連情報も登録されているが、図６（ａ）においては省略している。

まず、ずらし０グループの６個の特徴ワード０１〜０６のうち、先頭の特徴ワード０１を抽出し、この特徴ワード０１と、関連情報データベース４０に登録された全ての特徴ワードとの照合を行う。生成した特徴ワードと、関連情報データベース４０内の登録特徴ワードはともに同様の規則で作成され、低周波成分をＬＳＢ、高周波成分をＭＳＢとした３２ビットの構成であるので、照合はこれらの各ビット値が一致するかどうかにより行うことができる。特にコンピュータが処理し易い８ビットの倍数単位であるため、高速な照合が可能である。

そして、値が不一致となるビット数が最小となる場合のビット数を各素材ごとに記録していく、同様にずらし２グループ〜ずらし８グループの先頭の特徴ワード２１〜特徴ワード８１についてもデータベース内の特徴ワードとの照合を行い、値が不一致となるビット数が最小となる場合のビット数を各素材ごとに記録していく。この結果、図６（ｂ）に示すように、各素材について、ずらしグループ別の不一致ビット数が得られることになる。

そして、この最小ビット数が、あらかじめ定めた閾値より小さい場合は、その最小ビット数が記録された素材のレコードのみを候補レコードとして抽出し、２番目の特徴ワードの照合対象とする。

次に、ずらし０グループから、２番目の特徴ワード０２を抽出し、この特徴ワード０２と、先頭の特徴ワードにより絞り込まれた候補レコードについての全ての登録特徴ワードとの照合を行う。そして、値が不一致となるビット数が最小となる場合のビット数を各素材（候補レコード）ごとに記録していく、同様にずらし２グループ〜ずらし８グループの先頭の特徴ワード２２〜特徴ワード８２についても絞り込まれた素材の登録特徴ワードとの照合を行い、値が不一致となるビット数が最小となる場合のビット数を各素材単位で記録していく。そして、この最小ビット数が、あらかじめ定めた閾値より小さい場合は、その最小ビット数が記録された素材のレコードのみを新たな候補レコードとして抽出し、３番目の特徴ワードの照合対象とする。

以上のようにして、６番目の特徴ワード０６〜特徴ワード８６と、絞り込まれた素材の登録特徴ワードとの照合までを行っていく。ただし、途中で素材が１つに絞り込まれた場合には、その素材を適合音響素材として決定する。適合音響素材が決定されたら、関連情報出力手段７０が、その関連情報を抽出し、音響信号検索装置が備える表示装置等に出力する。

以上のようにして、流れている音を録音することにより、流れている音に関連した情報を抽出することができる。検索装置を携帯電話機で実現した場合には、関連情報をその液晶画面に表示させることができる。

また、ネットワーク接続機能を有する携帯電話機では、ＵＲＬを利用して他のコンピュータにアクセスすることが可能であるが、本発明の装置で取得する関連情報として、アドレス情報であるＵＲＬをデータベースに記録しておき、関連情報としてＵＲＬを取得した際に、上記ネットワーク接続機能を利用すれば、流れている音に対応したサイトにアクセスすることが可能となる。ここで、ネットワーク接続機能を有する音響信号検索装置の機能ブロック図を図７に示す。図７において、８０はネットワークアクセス部、１００はネットワーク、２００はサイトである。

ネットワークアクセス部８０は、関連情報抽出手段７０が関連情報として抽出したアドレス情報を用いて、そのアドレス情報に対応するサイト２００に、ネットワーク１００を介してアクセスする機能を有している。ネットワークアクセス部８０は、アドレス情報を取得してネットワーク上のサイトにアクセスするＷｅｂブラウザにより実現される。図７に示した装置によれば、例えば、関連情報データベース４０にライオンの鳴き声から作成した特徴ワードと、ライオンの情報を有するサイトのＵＲＬとを対応付けて記録しておき、利用者が動物園などでライオンの鳴き声を録音するだけで、携帯電話機からライオンの情報を有するサイト２００にアクセスすることになる。

（３．電子透かしによる情報埋め込みとの組み合わせ）
本発明に係る音響信号検索装置は、付加情報を電子透かしとして音響信号に埋め込む手法と組み合わせることにより、関連情報抽出の精度を高めることを可能としている。ここで、電子透かしの埋め込みおよび抽出を組み合わせた場合の音響信号検索装置の機能ブロック図を図８に示す。図８においては、図７に示したものに、さらに音響信号再生装置５００と埋込情報抽出部９０を追加している。音響信号再生装置は、付加情報を埋め込んだ音響信号を再生するためのものである。これは、デジタル音響信号を再生可能な市販の音楽プレーヤを採用することができる。埋込情報抽出部９０は、デジタル音響信号から、埋め込まれている付加情報を抽出する機能を有している。この埋込情報抽出部９０の処理については、後述する。図８に示した装置によれば、埋め込み情報抽出部が付加情報を抽出するので、この付加情報を事前に関連情報データベース４０にも登録しておくことにより、特徴ワードの照合により得られた情報をさらに絞り込んだ検索を行うことが可能となる。以下、音響信号再生装置５００で再生する音響信号に付加情報を埋め込む手法と、埋込情報抽出部９０における付加情報の抽出について説明する。

（３．１．音響信号への付加情報の埋め込み）
次に、音響信号への付加情報の埋め込みについて説明する。この付加情報が埋め込まれた音響信号は、音響信号再生装置５００により再生される。図７は、音響信号に対する情報の埋込装置の構成を示す機能ブロック図である。図７において、３１０は音響フレーム読込手段、３２０は周波数変換手段、３３０は低周波成分変更手段、３４０は周波数逆変換手段、３５０は改変音響フレーム出力手段、３６０は記憶手段、３６１は音響信号記憶部、３６２は付加情報記憶部、３６３は改変音響信号記憶部、３７０は付加情報読込手段である。なお、図７に示す装置は、ステレオ音響信号、モノラル音響信号の両方に対応可能であるが、ここでは、ステレオ音響信号に対して処理を行う場合について説明していく。

音響フレーム読込手段３１０は、付加情報の埋め込み対象とする元のステレオ音響信号の各チャンネルから所定数のサンプルを１フレームとして読み込む機能を有している。周波数変換手段３２０は、音響フレーム読込手段３１０が読み込んだ音響信号のフレームをフーリエ変換等により周波数変換してフレームスペクトルを生成する機能を有している。低周波成分変更手段３３０は、Ａタイプの音響フレームについては、生成されたフレームスペクトルから３つの所定周波数範囲に相当するスペクトル集合を３セット抽出し、付加情報記憶部６２から抽出した付加情報に基づいて、低周波強度データのスペクトル集合間の割合（比率）を変更し、Ｂタイプの音響フレームについては、生成されたフレームスペクトルの所定周波数範囲の低周波強度データを“０”にする機能を有している。周波数逆変換手段３４０は、変更された低周波強度データを含む複数のフレームスペクトルに対して周波数逆変換を行うことにより、改変音響フレームを生成する機能を有している。改変音響フレーム出力手段３５０は、生成された改変音響フレームを順次出力する機能を有している。記憶手段３６０は、付加情報を埋め込む対象とするステレオ音響信号を記憶した音響信号記憶部３６１と、ビット配列として構成され、ステレオ音響信号に埋め込まれる付加情報を記憶した付加情報記憶部６２と、付加情報埋め込み後の改変音響信号を記憶する改変音響信号記憶部３６３を有しており、その他処理に必要な各種情報を記憶するものである。付加情報読込手段３７０は、付加情報記憶部６２から付加情報を抽出する機能を有している。なお、付加情報とは、音響信号に付加するものとして埋め込む音響信号そのもの以外の情報であり、その内容は、ＩＰアドレスやＵＲＬ等の、ネットワーク上のコンピュータにアクセスするためのアドレス情報であるか、またはアドレス情報に変換するためのＩＤである。本実施形態では、ＩＤを用いた場合について説明する。図７に示した各構成手段は、現実にはコンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。

次に、図７に示した音響信号に対する情報の埋込装置の処理動作について図１０のフローチャートに従って説明する。ここでは、音響信号として、Ｌ（左）、Ｒ（右）の２チャンネルを有するステレオ音響信号に対して処理を行う場合について説明していく。図１０は、付加情報１ワード分の処理に対応したものとなっている。１ワードとしては、任意のビット数に設定することができるが、通常１バイトに設定する。まず、付加情報読込手段３７０は、付加情報記憶部６２から付加情報を１ワード単位で読み込む（Ｓ３０１）。具体的には、音響信号に対する情報の埋め込み装置として用いられるコンピュータ内のレジスタに１ワード読み込むことになる。続いて、モードを区切りモードに設定する（Ｓ３０２）。モードは区切りモードと、ビットモード、継続識別モードの３種類が存在する。区切りモードは１ワード単位の区切りにおける処理を行うモードを示し、ビットモードは１ワードの各ビットの値に基づいた処理を行うモードを示している。付加情報記憶部６２から１ワード読み込んだ場合には、その直後に必ず区切りモードに設定されることになる。継続識別モードは、低周波成分の信号レベルが小さい音響フレームが出現した場合に、区切り情報が埋め込まれた場合、次のビットが先頭から始まる新規なものか、中断されたために継続されたものであるかを識別するための情報を記録するモードを示している。

続いて、音響フレーム読込手段３１０が、音響信号記憶部３６１に記憶されたステレオ音響信号の左右の各チャンネルから、それぞれ所定数のサンプルを１音響フレームとして読み込む（Ｓ３０４）。音響フレーム読込手段３１０が読み込む１音響フレームのサンプル数は、適宜設定することができるが、サンプリング周波数が４４．１ｋＨｚの場合、４０９６サンプル程度とすることが望ましい。したがって、音響フレーム読込手段３１０は、左チャンネル、右チャンネルについてそれぞれ４０９６サンプルずつ、順次音響フレームとして読み込んでいくことになる。本発明においては、音響フレームとしてＡタイプとＢタイプが存在する。Ａタイプの音響フレーム、Ｂタイプの音響フレームは、それぞれ同タイプの先行する音響フレームの最後のサンプルの次のサンプルを先頭サンプルとして設定される。そして、ＡタイプとＢタイプの音響フレームは互いに所定数（本実施形態では２０４８）のサンプルを重複して設定される。例えば、Ａタイプの音響フレームを先頭からＡ１、Ａ２、Ａ３…とし、Ｂタイプの音響フレームを先頭からＢ１、Ｂ２、Ｂ３…とすると、Ａ１はサンプル１〜４０９６、Ａ２はサンプル４０９７〜８１９２、Ａ３はサンプル８１９３〜１２２８８、Ｂ１はサンプル２０４９〜６１４４、Ｂ２はサンプル６１４５〜１０２４０、Ｂ３はサンプル１０２４１〜１４３３６となる。なお、ＡタイプとＢタイプは相対的なものであるので、どちらが先であっても良い。すなわち、上記とは逆にＡ１がサンプル２０４９〜６１４４、Ａ２がサンプル６１４５〜１０２４０、Ａ３がサンプル１０２４１〜１４３３６、Ｂ１がサンプル１〜４０９６、Ｂ２がサンプル４０９７〜８１９２、Ｂ３がサンプル８１９３〜１２２８８であっても良い。図１０の例では、Ｂタイプ音響フレームを先に設定した場合を示している。

続いて、周波数変換手段３２０は、読み込んだＢタイプの音響フレームに対して、周波数変換を行って、その音響フレームのスペクトルであるフレームスペクトルを得る（Ｓ３０５）。具体的には、Ｓ３０４で読み込んだＢタイプの音響フレームについて、窓関数を利用して周波数変換を行う。周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができる。本実施形態では、フーリエ変換を用いた場合を例にとって説明する。なお、後述するＳ３０９においては、同様にして、Ｓ３０８で読み込んだＡタイプの音響フレームについて、窓関数を利用して周波数変換を行う。

ここで、本実施形態においてフーリエ変換に利用する窓関数について説明しておく。一般に、所定の信号に対してフーリエ変換を行う場合、信号を所定の長さに区切って行う必要があるが、この場合、所定長さの信号に対してそのままフーリエ変換を行うと、高域部に擬似成分が発生する。そこで、一般にフーリエ変換を行う場合には、ハニング窓と呼ばれる窓関数を用いて、信号の値を変化させた後、変化後の値に対してフーリエ変換を実行する。本実施形態においては、Ａタイプの音響フレームに対しては、ハニング窓関数に代えて図１１（ｂ）〜（ｄ）に示したような窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）を用いてフーリエ変換を行う。これにより、埋め込まれた情報が抽出側でより認識し易くなる。窓関数Ｗ（１，ｉ）は、音響フレームの前部を抽出するためのものであり、図１１（ｂ）に示すように前部の所定のサンプル番号ｉの位置において、最大値１をとり、後部においては、最小値０をとるように設定されている。どのサンプル番号の場合に最大値をとるかについては、窓関数Ｗ（１，ｉ）の設計によって異なってくるが、本実施形態では、後述する〔数式５〕で定義される。窓関数Ｗ（１，ｉ）を乗じることにより、図１１（ａ）に示すような音響フレームの信号波形は、図１１（ｆ）に示すように、前部に信号成分が残り、後部の信号成分が削除されたものとなり、これがフーリエ変換対象となる。

また、窓関数Ｗ（２，ｉ）は、音響フレームの中央部を抽出するためのものであり、図１１（ｃ）に示すように、中央部の所定のサンプル番号ｉの位置において、最大値１をとり、前部、後部においては、最小値０をとるように設定されている。どのサンプル番号の場合に最大値をとるかについては、窓関数Ｗ（２，ｉ）の設計によって異なってくるが、本実施形態では、後述する〔数式６〕で定義される。窓関数Ｗ（２，ｉ）を乗じることにより、図１１（ａ）に示すような音響フレームの信号波形は、図１１（ｇ）に示すように、中央部に信号成分が残り、前部と後部の信号成分が除去されたものとなり、これがフーリエ変換対象となる。

また、窓関数Ｗ（３，ｉ）は、音響フレームの後部を抽出するためのものであり、図１１（ｄ）に示すように、前部においては最小値０をとり、後部の所定のサンプル番号ｉの位置において、最大値１をとるように設定されている。どのサンプル番号の場合に最大値をとるかについては、窓関数Ｗ（３，ｉ）の設計によって異なってくるが、本実施形態では、後述する〔数式７〕で定義される。窓関数Ｗ（３，ｉ）を乗じることにより、図１１（ａ）に示すような音響フレームの信号波形は、図１１（ｈ）に示すように、前部の信号成分が除去され、後部に信号成分が残ったものとなり、これがフーリエ変換対象となる。このように前部、中央部、後部を抽出した後、フーリエ変換を実行するため、前部、中央部、後部に対応したスペクトルが得られることになる。１つの音響フレームにビット値を埋め込むためには、本来、前部と後部の２つに分けられれば良いのであるが、抽出側においては、必ずしも、信号を同期して読み込むことができるとは限らず、したがって、前部と後部をはっきりと区別するため、本実施形態では、埋め込み時に中央部の信号成分を常に削除し、前部と後部を時間的に分離することとしている（ただし、抽出時は前部と後部だけを解析すればよく、中央部は無視してよい）。本実施形態において用いる窓関数の最大の特徴は、窓関数Ｗ（１，ｉ）と窓関数Ｗ（３，ｉ）が左右非対称である点である。このため、特に、ビット反転が起こりにくくなる。

また、本実施形態では、音響フレームを重複させて読み込み、奇数フレーム（または偶数フレーム）については、窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）を用い、偶数フレーム（または奇数フレーム）については、図１１（ｅ）に示したような窓関数Ｗ（４，ｉ）を用いるようにした。

なお、本実施形態においては、音響フレームは重複して読み込まれる。すなわち、奇数番目の音響フレームと偶数番目の音響フレームは、所定数のサンプルを重複して読み込む。上記のように、奇数フレームと偶数フレームでは、用いられる窓関数が異なるが、奇数フレームと偶数フレームは単に奇数か偶数かの違いだけであるため、どちらに対して処理をどちらの処理を行っても良い。したがって、本明細書では、奇数フレーム、偶数フレームの一方をＡタイプフレーム、他方をＢタイプフレームと呼ぶことにする。図１０の例に従うと、奇数フレームをＢタイプフレーム、偶数フレームをＡタイプフレームとなるが、逆に偶数フレームをＢタイプフレーム、奇数フレームをＡタイプフレームとしても良い。

本実施形態では、窓関数Ｗ（１，ｉ）〜Ｗ（４，ｉ）は、以下の〔数式５〕〜〔数式８〕で定義される。なお、図１１において、横軸は時間軸（ｉ）である。ｉは、後述するように、各音響フレーム内のＮ個のサンプルに付した通し番号であるため時刻ｔに比例している。また、図１１（ａ）（ｆ）（ｇ）（ｈ）（ｉ）において縦軸は信号の振幅値（レベル）を示す。図１１（ｂ）〜（ｅ）において縦軸は窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）、Ｗ（４，ｉ）の値を示しており、Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）、Ｗ（４，ｉ）の最大値はいずれも１である。

〔数式５〕
ｉ≦３Ｎ／８のとき、Ｗ（１，ｉ）＝０．５−０．５ｃｏｓ（８πｉ／（３Ｎ））
３Ｎ／８＜ｉ≦Ｎ／２のとき、Ｗ（１，ｉ）＝０．５−０．５ｃｏｓ（８π（ｉ−Ｎ／４）／Ｎ）
ｉ＞Ｎ／２のとき、Ｗ（１，ｉ）＝０．０

〔数式６〕
ｉ≦３Ｎ／８のとき、Ｗ（２，ｉ）＝０．０
３Ｎ／８＜ｉ≦Ｎ／２のとき、Ｗ（２，ｉ）＝０．５−０．５ｃｏｓ（４π（ｉ−Ｎ／４）／Ｎ）
ｉ＞３Ｎ／４のとき、Ｗ（２，ｉ）＝０．０

〔数式７〕
ｉ≦Ｎ／２のとき、Ｗ（３，ｉ）＝０．０
ｉ＞Ｎ／２のとき、Ｗ（３，ｉ）＝０．５−０．５ｃｏｓ（４π（ｉ−Ｎ／２）／Ｎ）

〔数式８〕
ｉ≦Ｎ／４のとき、Ｗ（４，ｉ）＝０．０
Ｎ／４＜ｉ≦Ｎ／２のとき、Ｗ（４，ｉ）＝０．５−０．５ｃｏｓ（４π（ｉ−Ｎ／４）／Ｎ）
Ｎ／２＜ｉ≦７Ｎ／８のとき、Ｗ（４，ｉ）＝０．５−０．５ｃｏｓ（８π（ｉ−Ｎ／８）／（３Ｎ））
ｉ＞７Ｎ／８のとき、Ｗ（４，ｉ）＝０．０

なお、図１６および上記〔数式５〕〜〔数式８〕から明らかなように、窓関数Ｗ（１，ｉ）とＷ（３，ｉ）は、互いに非対称な形状である。これは、後述する抽出側において、両者の識別を容易にするためである。また、窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）は、ｉが所定の値のときに最大値１をとり、ｉがその他の値をとる場合には、ｉの値に応じて単調増加、または単調減少する窓関数を分割したものであるため、窓関数Ｗ（１，ｉ）とＷ（３，ｉ）が定まると、窓関数Ｗ（２，ｉ）も必然的に定まる。このため、窓関数Ｗ（２，ｉ）は左右非対称の形状となっている。

本実施形態においては、奇数フレームと偶数フレームを、所定サンプルずつ重複して読み込むため、情報の埋め込みを行った後、音響信号に復元する際に、窓関数を乗じた奇数フレームと、窓関数を乗じた偶数フレームの重複サンプルを加算した場合に、ほぼ元の値に戻るようにしなければならない。このため、窓関数Ｗ（４，ｉ）の形状は、窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）の値に応じて必然的に定まる。すなわち、奇数フレームと偶数フレームの重複部分において、窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）、Ｗ（４，ｉ）を加算すると、全区間固定値１になるように定義されている。以上が、本実施形態で用いる窓関数の概要である。

Ｓ３０５に戻って説明する。Ｓ３０５おいてフーリエ変換を行う場合、具体的には、左チャンネル信号Ｘｌ（ｉ）、右チャンネル信号Ｘｒ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、窓関数Ｗ（４，ｉ）を用いて、以下の〔数式９〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（４，ｊ）、虚部Ｂｌ（４，ｊ）、右チャンネルに対応する変換データの実部Ａｒ（４，ｊ）、虚部Ｂｒ（４，ｊ）を得る。

〔数式９〕
Ａｌ（４，ｊ）＝Σ_i=0,…,N-1Ｗ（４，ｉ）・Ｘｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｌ（４，ｊ）＝Σ_i=0,…,N-1Ｗ（４，ｉ）・Ｘｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｒ（４，ｊ）＝Σ_i=0,…,N-1Ｗ（４，ｉ）・Ｘｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｒ（４，ｊ）＝Σ_i=0,…,N-1Ｗ（４，ｉ）・Ｘｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）

〔数式９〕において、ｉは、各音響フレーム内のＮ個のサンプルに付した通し番号であり、ｉ＝０，１，２，…Ｎ−１の整数値をとる。また、ｊは周波数の値について、値の小さなものから順に付した通し番号であり、ｉと同様にｊ＝０，１，２，…Ｎ−１の整数値をとる。サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が１０．８Ｈｚ異なることになる。次に、低周波成分変更手段３３０は、窓４成分（第４窓関数による低周波スペクトルの各成分）の除去を行う（Ｓ３０６）。具体的には、窓４成分に対して、以下の〔数式１０〕に従った処理を実行することになる。

上記〔数式９〕に従った処理を実行することにより、各音響フレームの信号成分を周波数に対応した成分であるスペクトルで表現されたフレームスペクトルが得られる。続いて、低周波成分変更手段３３０が、生成されたフレームスペクトルから３つの所定周波数範囲のスペクトル集合を抽出する。人間の聴覚は、２００〜３００Ｈｚ程度までの低周波成分については、方向性を感知しにくくなっていることが知られている（コロナ社１９９０年１０月３０日発行「音響工学講座１．基礎音響工学、日本音響学会編」ｐ２４７図９・２６参照）。したがって、本実施形態では、低周波成分を２００Ｈｚ程度以下としている。周波数２００Ｈｚ付近は、上記ｊが２０に相当するので、上記〔数式９〕により算出された実部Ａｌ（４，ｊ）、虚部Ｂｌ（４，ｊ）、実部Ａｒ（４，ｊ）、虚部Ｂｒ（４，ｊ）、のうち、ｊ≦２０（＝Ｍ）のものを抽出することになる。

〔数式１０〕
ｊ＝１〜Ｍの各成分に対して
Ａｌ´（４，ｊ）＝０
Ｂｌ´（４，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（４，ｊ）＝｛Ａｌ（４，ｊ）²＋Ｂｌ（４，ｊ）²＋Ａｒ（４，ｊ）²＋Ｂｒ（４，ｊ）²｝^1/2
Ａｒ´（４，ｊ）＝Ａｒ（４，ｊ）・Ｅ（４，ｊ）／｛Ａｒ（４，ｊ）²＋Ｂｒ（４，ｊ）²｝^1/2
Ｂｒ´（４，ｊ）＝Ｂｒ（４，ｊ）・Ｅ（４，ｊ）／｛Ａｒ（４，ｊ）²＋Ｂｒ（４，ｊ）²｝^1/2

次に、周波数逆変換手段３４０が、上記Ｓ３０６の処理により窓４成分が除去されたフレームスペクトルを周波数逆変換して改変音響フレームを得る処理を行う（Ｓ３０７）。この周波数逆変換は、当然のことながら、周波数変換手段３２０がＳ３０５において実行した手法に対応していることが必要となる。本実施形態では、周波数変換手段３２０において、フーリエ変換を施しているため、周波数逆変換手段３４０は、フーリエ逆変換を実行することになる。具体的には、上記〔数式１０〕のいずれかにより得られたスペクトルの左チャンネルの実部Ａｌ´（４，ｊ）、虚部Ｂｌ´（４，ｊ）、右チャンネルの実部Ａｒ´（４，ｊ）、虚部Ｂｒ´（４，ｊ）を用いて、以下の〔数式１１〕に従った処理を行い、Ｘｌ´（ｉ）、Ｘｒ´（ｉ）を算出する。なお、上記〔数式１０〕において改変されていない周波数成分については、以下の〔数式１１〕においてはＡｌ´（４，ｊ）、Ｂｌ´（４，ｊ）、Ａｒ´（４，ｊ）、Ｂｒ´（４，ｊ）として、元の値であるＡｌ（４，ｊ）、Ｂｌ（４，ｊ）、Ａｒ（４，ｊ）、Ｂｒ（４，ｊ）を用いる。

〔数式１１〕
Ｘｌ´（ｉ）＝１／Ｎ・｛Σ_jＡｌ´（４，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−Σ_jＢｌ´（４，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋Ｘｌｐ（ｉ＋Ｎ／２）
Ｘｒ´（ｉ）＝１／Ｎ・｛Σ_jＡｒ´（４，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−Σ_jＢｒ´（４，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋Ｘｒｐ（ｉ＋Ｎ／２）

上記〔数式１１〕によりＡタイプの改変音響フレームの左チャンネルの各サンプルＸｌ´（ｉ）、右チャンネルの各サンプルＸｒ´（ｉ）、が得られることになる。改変音響フレーム出力手段３５０は、得られた改変音響フレームを順次出力ファイルに出力する。続いて、音響フレーム読込手段３１０が、音響信号記憶部３６１に記憶されたステレオ音響信号の左右の各チャンネルから、それぞれ所定数のサンプルをＡタイプの音響フレームとして読み込む（Ｓ３０８）。上述のように、Ｂタイプの音響フレームとＡタイプの音響フレームは、２０４８サンプル重複したものとなっている。したがって、音響フレーム読込手段３１０は、Ｓ３０８においては、Ｓ３０４でＢタイプ音響フレームを読み込んだ位置から２０４８サンプル分移動させて、音響フレームを読み込むことになる。

続いて、周波数変換手段３２０は、読み込んだＡタイプの音響フレームに対して、周波数変換を行って、その音響フレームのスペクトルであるフレームスペクトルを得る（Ｓ３０９）。具体的には、各音響フレームについて、窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）の３つの窓関数を用いて行う。周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができるが、上記Ｓ３０５の場合と同様、本実施形態では、フーリエ変換を用いる。

Ｓ３０９においてフーリエ変換を行う場合、具体的には、左チャンネル信号Ｘｌ（ｉ）、右チャンネル信号Ｘｒ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、３つの窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）を用いて、以下の〔数式１２〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（１，ｊ）、Ａｌ（２，ｊ）、Ａｌ（３，ｊ）、虚部Ｂｌ（１，ｊ）、Ｂｌ（２，ｊ）、Ｂｌ（３，ｊ）、右チャンネルに対応する変換データの実部Ａｒ（１，ｊ）、Ａｒ（２，ｊ）、Ａｒ（３，ｊ）、虚部Ｂｒ（１，ｊ）、Ｂｒ（２，ｊ）、Ｂｒ（３，ｊ）を得る。なお、窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）は、それぞれ音響フレームの前部（先頭）付近、中央付近、後部付近において値が大きくなる関数となっている。

〔数式１２〕
Ａｌ（１，ｊ）＝Σ_i=0,…,N-1Ｗ（１，ｉ）・Ｘｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｌ（１，ｊ）＝Σ_i=0,…,N-1Ｗ（１，ｉ）・Ｘｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｌ（２，ｊ）＝Σ_i=0,…,N-1Ｗ（２，ｉ）・Ｘｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｌ（２，ｊ）＝Σ_i=0,…,N-1Ｗ（２，ｉ）・Ｘｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｌ（３，ｊ）＝Σ_i=0,…,N-1Ｗ（３，ｉ）・Ｘｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｌ（３，ｊ）＝Σ_i=0,…,N-1Ｗ（３，ｉ）・Ｘｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｒ（１，ｊ）＝Σ_i=0,…,N-1Ｗ（１，ｉ）・Ｘｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｒ（１，ｊ）＝Σ_i=0,…,N-1Ｗ（１，ｉ）・Ｘｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｒ（２，ｊ）＝Σ_i=0,…,N-1Ｗ（２，ｉ）・Ｘｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｒ（２，ｊ）＝Σ_i=0,…,N-1Ｗ（２，ｉ）・Ｘｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｒ（３，ｊ）＝Σ_i=0,…,N-1Ｗ（３，ｉ）・Ｘｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｒ（３，ｊ）＝Σ_i=0,…,N-1Ｗ（３，ｉ）・Ｘｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）

上記〔数式９〕と同様に、〔数式１２〕において、ｉは、各音響フレーム内のＮ個のサンプルに付した通し番号であり、ｉ＝０，１，２，…Ｎ−１の整数値をとる。また、ｊは周波数の値について、値の小さなものから順に付した通し番号であり、ｉと同様にｊ＝０，１，２，…Ｎ−１の整数値をとる。サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が１０．８Ｈｚ異なることになる。

上記〔数式１２〕に従った処理を実行することにより、各音響フレームの信号成分を周波数に対応した成分であるスペクトルで表現されたフレームスペクトルが得られる。続いて、低周波成分変更手段３３０が、生成されたフレームスペクトルから３つの所定周波数範囲のスペクトル集合を抽出する。上述のように、人間の聴覚は、２００〜３００Ｈｚ程度までの低周波成分については、方向性を感知しにくくなっているため、ここでも、低周波成分を２００Ｈｚ程度以下としている。周波数２００Ｈｚ付近は、上記ｊが２０に相当するので、上記〔数式１２〕により算出された実部Ａｌ（１，ｊ）、Ａｌ（２，ｊ）、Ａｌ（３，ｊ）、虚部Ｂｌ（１，ｊ）、Ｂｌ（２，ｊ）、Ｂｌ（３，ｊ）、実部Ａｒ（１，ｊ）、Ａｒ（２，ｊ）、Ａｒ（３，ｊ）、虚部Ｂｒ（１，ｊ）、Ｂｒ（２，ｊ）、Ｂｒ（３，ｊ）のうち、ｊ≦２０（＝Ｍ）のものを抽出することになる。

続いて、低周波成分変更手段３３０は、抽出した左チャンネルの実部Ａｌ（１，ｊ）、Ａｌ（３，ｊ）、虚部Ｂｌ（１，ｊ）、Ｂｌ（３，ｊ）、右チャンネルの実部Ａｒ（１，ｊ）、Ａｒ（３，ｊ）、虚部Ｂｒ（１，ｊ）、Ｂｒ（３，ｊ）を利用して、以下の〔数式１３〕により、合算値Ｅ₁、合算値Ｅ₂を算出する。

〔数式１３〕
Ｅ₁＝Σ_j=1,…,M-3｛Ａｌ（１，ｊ）²＋Ｂｌ（１，ｊ）²＋Ａｒ（１，ｊ）²＋Ｂｒ（１，ｊ）²｝
Ｅ₂＝Σ_j=1,…,M-3｛Ａｌ（３，ｊ）²＋Ｂｌ（３，ｊ）²＋Ａｒ（３，ｊ）²＋Ｂｒ（３，ｊ）²｝

上記〔数式１３〕により算出されたＥ₁は音響フレーム前部付近のスペクトル集合の成分強度の合算値、Ｅ₂は音響フレーム後部付近のスペクトル集合の成分強度の合算値を示すことになる。続いて、この合算値Ｅ₁、Ｅ₂がレベル下限値Ｌｅｖ以上であるかどうかの判定を行う。レベル下限値Ｌｅｖは、音響信号Ｘｌ（ｉ）、Ｘｒ（ｉ）の振幅最大値が１に正規化されており、Ｍ＝２０に設定されている場合、０．５に設定する。このＬｅｖ＝０．５という値は、経験的にアナログ変換への耐性が維持できるレベルであり、低周波成分が少ない場合は適宜下げることになるが、その場合は、アナログ変換により検出精度も低下することになる。

合算値Ｅ₁、Ｅ₂がレベル下限値Ｌｅｖ以上であるかどうかを判断するのは、信号の強度が小さいと、信号を変化させても、その変化を抽出側で検出することができないためである。また、本実施形態では、第１の値（例えば“１”）と第２の値（例えば“０”）をとり得るビット値が“１”の場合、窓３成分（第３窓関数による低周波スペクトルの各成分）に、ビット値が“０”の場合、窓１成分（第１窓関数による低周波スペクトルの各成分）に、埋め込むこととしている。したがって、埋め込むビット値が“１”の場合は、合算値Ｅ₁が下限値Ｌｅｖ未満であるとき、埋め込むビット値が“０”の場合は、合算値Ｅ₂がレベル下限値Ｌｅｖ未満であるとき、アクセス情報のビット値に応じた記録をせず、先頭ビットから再度処理するため、読み込み位置を先頭ビットに戻し、モードを区切りモードに設定する（Ｓ３１０）。一方、埋め込むビット値が“１”で合算値Ｅ₁がレベル下限値Ｌｅｖ以上であるか、埋め込むビット値が“０”で合算値Ｅ₂がレベル下限値Ｌｅｖ以上であるときには、モードを判断することになる。

低周波成分変更手段３３０は、モードが区切りモードである場合、左（Ｌ）チャンネル信号において、窓１成分と窓３成分の低周波成分を均等（全て０となる場合も含む）とする処理を行う（Ｓ３１２）。具体的には、以下の〔数式１４〕に従って、Ｌ側の双方を０に設定する処理を実行することになる。この場合、右（Ｒ）チャンネル信号の窓１成分と窓３成分は必ずしも均等ではない。

〔数式１４〕
ｊ＝１〜Ｍに対して、
Ａｌ´（１，ｊ）＝０
Ｂｌ´（１，ｊ）＝０
Ａｌ´（３，ｊ）＝０
Ｂｌ´（３，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（１，ｊ）＝｛Ａｌ（１，ｊ）²＋Ｂｌ（１，ｊ）²＋Ａｒ（１，ｊ）²＋Ｂｒ（１，ｊ）²｝^1/2
Ａｒ´（１，ｊ）＝Ａｒ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｒ（１，ｊ）²＋Ｂｒ（１，ｊ）²｝^1/2
Ｂｒ´（１，ｊ）＝Ｂｒ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｒ（１，ｊ）²＋Ｂｒ（１，ｊ）²｝^1/2
Ｅ（３，ｊ）＝｛Ａｌ（３，ｊ）²＋Ｂｌ（３，ｊ）²＋Ａｒ（３，ｊ）²＋Ｂｒ（３，ｊ）²｝^1/2
Ａｒ´（３，ｊ）＝Ａｒ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｒ（３，ｊ）²＋Ｂｒ（３，ｊ）²｝^1/2
Ｂｒ´（３，ｊ）＝Ｂｒ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｒ（３，ｊ）²＋Ｂｒ（１，ｊ）²｝^1/2

上記〔数式１４〕に従った処理を実行することにより、左チャンネルのフレームスペクトルの低周波数成分は、窓１成分と窓３成分共に“０” で同一となる。この窓１成分と窓３成分が均等のパターンは、付加情報の先頭位置（区切り）を示す情報となる。なお、上記〔数式１４〕においては、窓１成分と窓３成分ともにＡｌ´（ｊ）＝Ｂｌ´（ｊ）＝０としているが、抽出側で区切りであることが認識可能とすることを目的としているため、十分小さな値であれば、必ずしも０とする必要はない。また、必ずしも窓１成分と窓３成分において同一である必要はなく、差が小さければ良い。この意味で、ここでは「均等」という言葉を用いている。

一方、低周波成分変更手段３３０は、モードがビットモード又は継続識別モードである場合、付加情報記憶部６２から抽出した付加情報のビット配列のビット値に応じて、左チャンネル信号の窓１成分と窓３成分のスペクトル強度の割合を窓１成分が優位か、窓３成分が優位かのいずれかの状態に変更する処理を行う（Ｓ３１１）。ここで、「優位」とは、一方の窓成分のスペクトル集合におけるスペクトル強度が、他方の窓成分のスペクトル集合におけるスペクトル強度よりも大きいことを示す。そこで、Ｓ３１１においては、第１の値と第２の値をとり得るビット値に応じて以下の〔数式１５〕、〔数式１６〕のいずれかに従った処理を実行することにより、窓１成分のスペクトル強度と、窓３成分のスペクトル強度の大小関係を変更し、窓１成分が優位か、窓３成分が優位かのいずれかに変更する処理を行う。例えば、第１の値を１、第２の値を０とした場合、ビット値が１のとき、窓１成分に対して、以下の〔数式１５〕に従った処理を実行する。

〔数式１５〕
ｊ＝１〜Ｍに対して
Ａｌ´（１，ｊ）＝０
Ｂｌ´（１，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（１，ｊ）＝｛Ａｌ（１，ｊ）²＋Ｂｌ（１，ｊ）²＋Ａｒ（１，ｊ）²＋Ｂｒ（１，ｊ）²｝^1/2
Ａｒ´（１，ｊ）＝Ａｒ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｒ（１，ｊ）²＋Ｂｒ（１，ｊ）²｝^1/2
Ｂｒ´（１，ｊ）＝Ｂｒ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｒ（１，ｊ）²＋Ｂｒ（１，ｊ）²｝^1/2

なお、この場合、窓３成分に対しては、以下の〔数式１６〕に従った処理を実行する。

〔数式１６〕
ｊ＝Ｍ−２、Ｍ−１、Ｍの３成分に対して
Ａｌ´（３，ｊ）＝０
Ｂｌ´（３，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（３，ｊ）＝｛Ａｌ（３，ｊ）²＋Ｂｌ（３，ｊ）²＋Ａｒ（３，ｊ）²＋Ｂｒ（３，ｊ）²｝^1/2
Ａｒ´（３，ｊ）＝Ａｒ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｒ（３，ｊ）²＋Ｂｒ（３，ｊ）²｝^1/2
Ｂｒ´（３，ｊ）＝Ｂｒ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｒ（３，ｊ）²＋Ｂｒ（３，ｊ）²｝^1/2
更にステレオの場合、残存成分を強調させるため、次のように右チャンネル成分を左チャンネル成分に移動させる処理を行う。ｊ＝１〜Ｍ−３に対して
Ａｒ´（３，ｊ）＝０
Ｂｒ´（３，ｊ）＝０
Ａｌ´（３，ｊ）＝Ａｌ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｌ（３，ｊ）²＋Ｂｌ（３，ｊ）²｝^1/2
Ｂｌ´（３，ｊ）＝Ｂｌ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｌ（３，ｊ）²＋Ｂｌ（３，ｊ）²｝^1/2

上記〔数式１５〕〔数式１６〕による処理を行った結果、窓３成分のｊ＝Ｍ−２、Ｍ−１、Ｍにおいては、値が“０”となるが、他は所定値以上の信号成分が存在することになる。したがって、この場合、窓３成分が優位な状態にスペクトル強度の割合が変更されたことになる。続いて、ビット値が０のとき、窓３成分に対して、以下の〔数式１７〕に従った処理を実行する。

〔数式１７〕
ｊ＝１〜Ｍの各成分に対して
Ａｌ´（３，ｊ）＝０
Ｂｌ´（３，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（３，ｊ）＝｛Ａｌ（３，ｊ）²＋Ｂｌ（３，ｊ）²＋Ａｒ（３，ｊ）²＋Ｂｒ（３，ｊ）²｝^1/2
Ａｒ´（３，ｊ）＝Ａｒ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｒ（３，ｊ）²＋Ｂｒ（３，ｊ）²｝^1/2
Ｂｒ´（３，ｊ）＝Ｂｒ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｒ（３，ｊ）²＋Ｂｒ（３，ｊ）²｝^1/2

なお、この場合、窓１成分に対しては、以下の〔数式１８〕に従った処理を実行する。

〔数式１８〕
ｊ＝Ｍ−２、Ｍ−１、Ｍの３成分に対して
Ａｌ´（１，ｊ）＝０
Ｂｌ´（１，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（１，ｊ）＝｛Ａｌ（１，ｊ）²＋Ｂｌ（１，ｊ）²＋Ａｒ（１，ｊ）²＋Ｂｒ（１，ｊ）²｝^1/2
Ａｒ´（１，ｊ）＝Ａｒ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｒ（１，ｊ）²＋Ｂｒ（１，ｊ）²｝^1/2
Ｂｒ´（１，ｊ）＝Ｂｒ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｒ（１，ｊ）²＋Ｂｒ（１，ｊ）²｝^1/2
更にステレオの場合、残存成分を強調させるため、次のように右チャンネル成分を左チャンネル成分に移動させる処理を行う。ｊ＝１〜Ｍ−３に対して
Ａｒ´（１，ｊ）＝０
Ｂｒ´（１，ｊ）＝０
Ａｌ´（１，ｊ）＝Ａｌ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｌ（１，ｊ）²＋Ｂｌ（１，ｊ）²｝^1/2
Ｂｌ´（１，ｊ）＝Ｂｌ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｌ（１，ｊ）²＋Ｂｌ（１，ｊ）²｝^1/2

上記〔数式１７〕〔数式１８〕による処理を行った結果、窓１成分のｊ＝Ｍ−２、Ｍ−１、Ｍにおいては、値が“０”となるが、他は所定値以上の信号成分が存在することになる。したがって、この場合、窓１成分が優位な状態にスペクトル強度の割合が変更されたことになる。

上記〔数式１５〕および〔数式１６〕、又は〔数式１７〕および〔数式１８〕のいずれかに従った処理を実行することにより、付加情報のビット配列の各ビット値に応じて、左チャンネル信号の窓１成分が優位か、窓３成分が優位かのどちらかのパターンに変更されることになる。なお、Ｓ３１１においては、継続識別モードの場合は、新規であるときは〔数式１５〕に従って低周波成分の窓１成分、窓３成分間の分布を窓３成分が優位な状態に変更し、継続であるときは〔数式１６〕に従って低周波成分の窓１成分、窓３成分間の分布を窓１成分が優位な状態に変更することになる。

この場合、高周波帯と低周波数帯の間には、必ず信号成分が“０”の部分が存在し、これにより、高周波帯と低周波数帯の信号成分が混在することを防いでいる。結局、低周波成分変更手段３３０は、区切りモードの場合に〔数式１４〕に基づく処理をＳ３１２において行い、ビットモード又は継続識別モードの場合に〔数式１５〕〔数式１６〕又は〔数式１７〕〔数式１８〕に基づく処理をＳ３１１において行うことになる。

上記Ｓ３１１、Ｓ３１２いずれの場合であっても、次に、低周波成分変更手段３３０は、窓２成分（第２窓関数による低周波スペクトルの各成分）の削除を行う（Ｓ３１３）。具体的には、窓２成分に対して、以下の〔数式１９〕に従った処理を実行することになる。

〔数式１９〕
ｊ＝１〜Ｍの各成分に対して
Ａｌ´（２，ｊ）＝０
Ｂｌ´（２，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（２，ｊ）＝｛Ａｌ（２，ｊ）²＋Ｂｌ（２，ｊ）²＋Ａｒ（２，ｊ）²＋Ｂｒ（２，ｊ）²｝^1/2
Ａｒ´（２，ｊ）＝Ａｒ（２，ｊ）・Ｅ（２，ｊ）／｛Ａｒ（２，ｊ）²＋Ｂｒ（２，ｊ）²｝^1/2
Ｂｒ´（２，ｊ）＝Ｂｒ（２，ｊ）・Ｅ（２，ｊ）／｛Ａｒ（２，ｊ）²＋Ｂｒ（２，ｊ）²｝^1/2

次に、周波数逆変換手段３４０が、上記Ｓ３１１〜Ｓ３１３の処理により各窓成分のスペクトル集合間の割合が変更されたフレームスペクトルを周波数逆変換して改変音響フレームを得る処理を行う（Ｓ３１４）。この周波数逆変換は、当然のことながら、周波数変換手段３２０がＳ３０５において実行した手法に対応していることが必要となる。本実施形態では、周波数変換手段３２０において、フーリエ逆変換を施しているため、周波数逆変換手段３４０は、フーリエ逆変換を実行することになる。具体的には、上記〔数式１４〕〜〔数式１９〕のいずれかにより得られたスペクトルの左チャンネルの実部Ａｌ´（１，ｊ）等、虚部Ｂｌ´（１，ｊ）等、右チャンネルの実部Ａｒ´（１，ｊ）等、虚部Ｂｒ´（１，ｊ）等を用いて、以下の〔数式２０〕に従った処理を行い、Ｘｌ´（ｉ）、Ｘｒ´（ｉ）を算出する。なお、上記〔数式１４〕〜〔数式１９〕において改変されていない周波数成分については、Ａｌ´（１，ｊ）等として、元の周波数成分であるＡｌ（１，ｊ）等を用いる。

〔数式２０〕
Ｘｌ´（ｉ）＝１／Ｎ・｛Σ_jＡｌ´（１，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−Σ_jＢｌ´（１，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋１／Ｎ・｛Σ_jＡｌ´（２，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−Σ_jＢｌ´（２，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋１／Ｎ・｛Σ_jＡｌ´（３，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−Σ_jＢｌ´（３，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋Ｘｌｐ（ｉ＋Ｎ／２）
Ｘｒ´（ｉ）＝１／Ｎ・｛Σ_jＡｒ´（１，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−Σ_jＢｒ´（１，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋１／Ｎ・｛Σ_jＡｒ´（２，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−Σ_jＢｒ´（２，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋１／Ｎ・｛Σ_jＡｒ´（３，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−Σ_jＢｒ´（３，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋Ｘｒｐ（ｉ＋Ｎ／２）

上記〔数式２０〕においては、式が繁雑になるのを防ぐため、Σ_j=0,…_,N-1をΣ_jとして示している。上記〔数式２０〕における第１式の“＋Ｘｌｐ（ｉ＋Ｎ／２）”、第２式の“＋Ｘｒｐ（ｉ＋Ｎ／２）”の項は、直前に改変された改変音響フレームのデータＸｌｐ（ｉ）、Ｘｒｐ（ｉ）が存在する場合に、時間軸上Ｎ／２サンプル分重複することを考慮して加算するためのものである。上記〔数式２０〕によりＡタイプの改変音響フレームの左チャンネルの各サンプルＸｌ´（ｉ）、右チャンネルの各サンプルＸｒ´（ｉ）、が得られることになる。改変音響フレーム出力手段３５０は、得られた改変音響フレームを順次出力ファイルに出力する。こうして１つの音響フレームに対する処理を終えたら、モードの判定を行い（Ｓ３１６）、モードが区切りモードである場合は、モードを継続識別モードに設定した後（Ｓ３１７）、音響フレーム読込手段３１０が、Ｂタイプ音響フレームを読み込む（Ｓ３０４）。一方、モードがビットモード又は継続識別モードである場合は、モードをビットモードに設定した後（Ｓ３１８）、低周波成分変更手段３３０がアクセス情報のビット配列中の次のビットを読み込む（Ｓ３０３）。以上のような処理を音響信号の両チャンネルの全サンプルに渡って実行していく。すなわち、所定数のサンプルを音響フレームとして読み込み、音響信号から読み込むべき音響フレームがなくなったら（Ｓ３０４）、処理を終了する。なお、Ｓ３０１において読み込んだ１ワードのデータの各ビットに対応する処理を終えた場合、Ｓ３０３からＳ３０１に戻り、アクセス情報の次のワードを読み込み処理をすることになる。アクセス情報の全ワードに対して処理が終了した場合は、アクセス情報の先頭ワードに戻って処理を行う。この結果、全ての音響フレームに対して処理を行った全ての改変音響フレームが出力ファイルに記録されて、改変音響信号として得られる。得られた改変音響信号は、記憶手段３６０内の改変音響信号記憶部３６３に出力され、記憶される。

以上の処理による左チャンネル信号の変化の様子を図１２を用いて説明する。図１２において、図面左右方向は、時間軸であり、サンプル数に比例する。また、図中多数存在する矩形は、改変音響フレームの窓１成分、窓３成分を示している。窓成分を示す矩形の横幅はサンプル数、縦幅は強度を示しているが、図１２においては、横幅、縦幅とも正確に示したものではなく、窓１成分に対応する先頭部分に強い信号成分があるか、窓３成分に対応する後部部分に強い信号成分があるかということを示すものである。図１２（ａ）は、上記〔数式１３〕により算出された合算値Ｅ₁、Ｅ₂がレベル下限値Ｌｅｖ未満となる音響フレームが存在しない場合、すなわち、付加情報を埋め込むには、良好な信号である場合を示している。図１２（ｂ）は、上記〔数式１３〕により算出された合算値Ｅ₁、Ｅ₂がレベル下限値Ｌｅｖ未満となる音響フレームが存在する場合、すなわち、付加情報を埋め込むには、良好でない信号である場合を示している。

例えば、付加情報として、１ワード目が「１１０１１１００」、２ワード目が「１１０００００１」の２ワードのビット配列を埋め込むとする。まず、各ワードの先頭には、区切りを示す情報として、窓１成分、窓３成分が均等な状態に設定されることになる。これは、Ｓ３０２により区切りモードに設定され、Ｓ３１２において、上記〔数式１４〕に従った処理を実行した結果得られる。続いて、付加情報の各ビットに対応した処理を行う前に、新規であるか継続であるかを示す情報を記録することになる。

本実施形態では、レベル下限値Ｌｅｖ未満となる音響フレームが存在した場合であっても、その時点で処理したビットは有効とし、そこから継続して行うため、そのビットが新規であるか継続であるかの情報を記録しておく必要がある。そこで、区切りを示す情報を記録した後には、新規であるか継続であるかを示す情報を記録する。具体的には、区切りモードの状態で、モード判断を行うことにより（Ｓ３１６）、継続識別モードに設定され（Ｓ３１７）、付加情報のビットを読み込むことなく、Ｂタイプ音響フレームの抽出に戻る（Ｓ３０４）。そして、周波数変換後（Ｓ３０９）、新規である場合には、〔数式１５〕に従った処理により、低周波成分である窓１成分、窓３成分間の分布を窓３成分が優位な状態に変更する（Ｓ３１１）。

このようにして、新規か継続かを示す情報を記録した後は、継続識別モードの状態でモード判断を行うため（Ｓ３１６）、ビットモードに設定され（Ｓ３１８）、レジスタから先頭のビットを読み込み（Ｓ３０３）、Ｂタイプ音響フレームの抽出を行う（Ｓ３０４）。図１２（ａ）の例では、レベル下限値Ｌｅｖ未満となる音響フレームが存在しないため、１ワードが連続してＳ３１１により処理されることになる。これは、Ｓ３０３からＳ３１８を経由するループが８回（１ワード＝１バイトの場合）連続して繰り返され、その間レベル下限値Ｌｅｖ未満であるとしてＳ３１０およびＳ３１２、Ｓ３１７を経由することがなかったことを示している。図１２に示すように、付加情報のビット値が１の場合は、窓３成分に低周波成分が存在し、付加情報のビット値が０の場合は、窓１成分に低周波成分が存在する。上記〔数式１５〕〜〔数式１８〕からもわかるように、この場合は他方の窓成分の低周波成分は０となる。

図１２（ｂ）の例では、上記〔数式１３〕に従った処理の結果、レベル下限値Ｌｅｖ未満となる音響フレームが存在するので、この場合Ｓ３１０およびＳ３１２を経由して、上記〔数式１４〕に従った処理を実行した結果、窓１成分と窓３成分が均等な状態に設定される。この場合、Ｓ３１０において、区切りモードに設定されるため、Ｓ３１７を経由して、新規か継続かを示す情報を記録することになる。図１２（ｂ）の例では、１ワード目の「１１０１１１００」を埋め込む場合に、最初は第１ビット目の「１」の１ビット処理した時点でレベル下限値Ｌｅｖ未満の音響フレームが出現しているため、区切りを示す情報を記録した後、継続を示す情報を記録し、継続して第２ビット目の「１」から処理をしている。そして、第２ビット目から第５ビット目の「１０１１」を処理した時点でレベル下限値Ｌｅｖ未満の音響フレームが出現しているため、区切りを示す情報を記録した後、継続を示す情報を記録し、継続して第６ビット目の「１」から処理をしている。

なお、図１２の例では、付加情報の１ワードを１バイトとした場合について説明したが、新規か継続かを示す情報を記録するため、付加情報の１ワードを任意のビット数単位で記録することが可能である。

上記のようにして得られた改変音響信号の左チャンネルのうち、付加情報が埋め込まれている部分については、低周波成分は、窓１成分と窓３成分が均等となっているか、あるいは窓１成分が優位か、窓３成分が優位かの３通りの分布しかないことになる。しかし、高周波成分については、元の音響信号のままであるので、制作者の設定に基づいた種々な分布になる。また、上記の例で示したように、ステレオ音響信号を利用した場合には、左チャンネルにおいて変化させられた低周波成分は、上記〔数式１４〕〜〔数式１９〕の処理からも明らかなように、必ず右チャンネルの低周波成分に付加されている。したがって、右チャンネルが左チャンネルにおいて削除された成分を補っているため、両チャンネル全体として見ると、信号の劣化がない。人間の聴覚は、高周波成分については、方向性を感知し易いが、低周波成分については、方向性を感知しにくくなっている。したがって、低周波成分が一方に偏っていても、聴いている人にとっては、通常の音響信号と変わりなく聴こえることになる。

したがって、上記のようにして付加情報が埋め込まれた音響信号を音響信号再生装置５００において再生して、スピーカから音として発した音は、通常の音響信号と変わりなく聴こえるが、その音を取得した音響信号検索装置においては、付加情報の抽出が可能となる。

（３．２．埋込情報抽出部９０の詳細）
次に、上記埋込情報抽出部９０の詳細について説明する。図１３は、埋込情報抽出部９０の詳細を示す図である。図１３において、４１０は基準フレーム獲得手段、４２０は位相変更フレーム設定手段、４３０は周波数変換手段、４４０は符号判定パラメータ算出手段、４５０は符号出力手段、４６０は付加情報抽出手段、４７０は音響フレーム保持手段である。

基準フレーム獲得手段４１０は、入力されたデジタルのモノラル音響信号（あるいはステレオ音響信号の１チャンネル）から所定数のサンプルで構成される音響フレームを基準フレームとして読み込む機能を有している。位相変更フレーム設定手段４２０は、基準フレームと所定サンプルずつ移動させることにより位相を変更した音響フレームを位相変更フレームとして設定する機能を有している。周波数変換手段４３０は、図９に示した周波数変換手段３２０と同様の機能を有している。符号判定パラメータ算出手段４４０は、生成されたフレームスペクトルから所定の周波数以下に相当する各低周波強度データを抽出し、窓１成分、窓３成分ごとに各低周波強度データの合算値Ｅ_C1、Ｅ_C2を以下の〔数式２１〕に基づいて算出し、この合算値Ｅ_C1、Ｅ_C2を符号判定パラメータとし、この符号判定パラメータＥ_C1、Ｅ_C2の比率に基づいて、所定の状態であると判断する機能を有している。以下の〔数式２１〕は上記〔数式１３〕において右チャンネル成分を削除したもので、抽出時には右チャンネル成分を参照しないためである。

〔数式２１〕
Ｅ_C1＝Σ_j=1,…,M-3｛Ａｌ（１，ｊ）²＋Ｂｌ（１，ｊ）²｝
Ｅ_C2＝Σ_j=1,…,M-3｛Ａｌ（３，ｊ）²＋Ｂｌ（３，ｊ）²｝

符号出力手段４５０は、１つの基準フレームに対応する音響フレーム（基準フレームおよび位相変更フレーム）の中から最適な位相であると判断されるものを判断し、その音響フレームの状態に対応する符号を出力する機能を有している。付加情報抽出手段４６０は、符号出力手段４５０により出力された符号の集合である３値配列を、所定の規則により変換して意味のある付加情報として抽出する機能を有している。音響フレーム保持手段４７０は、連続する２個の基準フレームを保持可能なバッファメモリである。

次に、図１３に示した埋込情報抽出部９０の処理動作について図１４のフローチャートに従って説明する。まず、本装置では、平均符号レベルＨＬ１、ＨＬ２、位相判定テーブルが初期化される。これらについて説明する。平均符号レベルＨＬ１、ＨＬ２は、ビット値に対応する２値が埋め込まれていたと判断される音響フレーム（以下、有効フレームと呼ぶことにする）についての、上記〔数式２１〕で算出される低周波成分の合算値Ｅ_C1、Ｅ_C2の平均値、すなわち、過去の有効フレームにおける合算値Ｅ_C1、Ｅ_C2の平均値で与えられるものであり、初期値は、上記埋め込み装置においても用いられるレベル下限値Ｌｅｖに設定されている。位相判定テーブルＳ（ｐ）は、位相を判定するためのテーブルであり、ｐは０〜５の整数値をとる。初期値はＳ（ｐ）＝０に設定されている。

このように、初期値が設定されている状態で、基準フレーム獲得手段４１０が、デジタル化された音響信号から、所定数のサンプルで構成される音響フレームを基準フレームとして抽出する（Ｓ４０１）。具体的には、基準フレームを抽出して音響フレーム保持手段４７０に読み込むことになる。基準フレーム獲得手段４１０が基準フレームとして読み込む１音響フレームのサンプル数は、図９に示した音響フレーム読込手段３１０で設定されたものと同一にする必要がある。したがって、本実施形態の場合、基準フレーム獲得手段４１０は、４０９６サンプルずつ、順次基準フレームとして読み込んでいくことになる。音響フレーム保持手段４７０には、上述のように２個の基準フレームが格納可能となっており、新しい基準フレームが読み込まれると、古い基準フレームを破棄するようになっている。したがって、音響フレーム保持手段４７０には、常に基準フレーム２個分（連続する８１９２サンプル）が格納されていることになる。

埋込情報抽出部９０で処理する音響フレームは、先頭から途切れることなく隣接して設定される基準フレームと、この基準フレームと位相を変更した位相変更フレームとに分けることができる。基準フレームについては、最初の基準フレームをサンプル番号１からサンプル番号４０９６までを設定したら、次の基準フレームは、サンプル番号４０９７からサンプル番号８１９２、さらに次の基準フレームは、サンプル番号８１９３からサンプル番号１２２８８、というように途切れることなく設定される。そして、各基準フレームについて、１／６フレーム（約６８３サンプル）ずつ移動した５個の位相変更フレームを設定する。例えば、最初の基準フレームについては、サンプル番号６８３、１３６６、２０４９、２７３２、３４１３から始まる４０９６のサンプルで構成される５個の位相変更フレームが設定されることになる。

続いて、周波数変換手段４３０、符号判定パラメータ算出手段４４０が、読み込んだ各音響フレームから、埋め込まれている情報を判定し、対応する符号を出力する（Ｓ４０２）。出力される情報の形式は、埋め込み側のビット値に対応する２値、および区切りとして入力された値の３値の形式となる。

ここで、ステップＳ４０２の符号判定処理の詳細を図１５のフローチャートに従って説明する。まず、周波数変換手段４３０が、読み込んだ各音響フレームに対して、周波数変換を行ってフレームスペクトルを得る（Ｓ５０１）。この処理は、図９に示した周波数変換手段３２０における処理と同様である。ただし、抽出に用いるのは、左チャンネルだけであるので、上記〔数式１２〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（１，ｊ）等、虚部Ｂｌ（１，ｊ）等を得る。

上記周波数変換手段４３０における処理により、周波数に対応した成分であるスペクトルで表現されたフレームスペクトルが得られる。続いて、符号判定パラメータ算出手段４４０は、平均符号レベルＨＬ１、ＨＬ２の算出を行う（Ｓ５０２）。具体的には、過去窓１成分が優位な状態と判断された音響フレームについての合算値Ｅ_C1の積算値であるｖ１を、過去窓１成分が優位な状態と判断された音響フレームの数であるｎ１で除算することによりＨＬ１を算出し、過去窓３成分が優位な状態と判断された音響フレームについての合算値Ｅ_C2の積算値であるｖ２を、過去窓３成分が優位な状態と判断された音響フレームの数であるｎ２で除算することによりＨＬ２を算出する。したがって、平均符号レベルＨＬ１、ＨＬ２は、過去対応する窓成分が優位な状態と判断された音響フレームの低周波強度データの合算値の平均値となる。

さらに、符号判定パラメータ算出手段４４０は、生成されたフレームスペクトルから所定の周波数範囲の各低周波強度データを抽出する。抽出すべき周波数範囲は、埋め込み装置と対応させる必要がある。したがって、ここでは、周波数が２００Ｈｚ程度以下の低周波強度データを抽出することになり、埋め込み装置の場合と同様、上記〔数式１２〕により算出された左チャンネルの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）のうち、ｊ≦２０のものを抽出する。そして、符号判定パラメータ算出手段４４０は、上記〔数式２１〕に従った処理を実行することにより、窓１成分の合算値Ｅ_C1、窓３成分の合算値Ｅ_C2を算出する。埋込情報抽出部９０においては、これを符号判定パラメータとして用いる。

続いて、符号判定パラメータ算出手段４４０は、候補符号テーブルの初期化を行う（Ｓ５０３）。候補符号テーブルは、１つの基準フレームおよび５個の位相変更フレームを特定する０〜５の位相番号および、この６個の音響フレームの状態から得られる３値の符号を記録するものである。

続いて、符号判定パラメータ算出手段４４０は、窓１成分の合算値Ｅ_C1、窓３成分の合算値Ｅ_C2がそれぞれ所定値以下であるかどうかの判定を行う（Ｓ５０４）。具体的には、所定値としてそれぞれ平均符号レベルＨＬ１、ＨＬ２の２０分の１を設定する。合算値Ｅ_C1が平均符号レベルＨＬ１の２０分の１以下であり、かつ、合算値Ｅ_C2が平均符号レベルＨＬ２の２０分の１以下である場合、符号判定パラメータ算出手段４４０は、区切り情報であると判定する（Ｓ５０８）。

一方、符号判定パラメータ算出手段４４０は、上記算出された符号判定パラメータＥ_C1、Ｅ_C2の所定値との比較判定および相互の比較判定を以下の〔数式２２〕に従って行い（Ｓ５０５）、比較結果に対応する符号を出力する。

〔数式２２〕
Ｅ_C2＞（所定値）かつＥ_C2／Ｅ_C1＞２の場合、窓３成分が優位な状態
Ｅ_C1＞（所定値）かつＥ_C1／Ｅ_C2＞２の場合、窓１成分が優位な状態
上記以外の場合、両窓成分が均等

符号判定パラメータ算出手段４４０は、各音響フレーム単位で、上記判定結果に応じて３値の符号を出力する。すなわち、窓３成分が優位な状態と判定した場合には、第１のビット値（例えば“１”）を出力し（Ｓ５０６）、窓１成分が優位な状態と判定した場合には、第２のビット値（例えば“０”）を出力し（Ｓ５０７）、両窓成分が均等と判定した場合には、区切り情報を示す符号を出力する（Ｓ５０８）。なお、Ｓ５０５において、窓３成分が優位な状態と判定した場合は、Ｅ_C1がＨＬ１以上であるか、また、窓１成分が優位な状態と判定した場合は、Ｅ_C2がＨＬ２以上であるかを判定し、これらの条件を満たしていない場合は、区切り情報を示す符号を出力する（Ｓ５０８）。

窓３成分が優位な状態と判定して、第１のビット値を出力した場合（Ｓ５０６）、又は窓１成分が優位な状態と判定して、第２のビット値を出力した場合（Ｓ５０７）は、さらに、以下の〔数式２３〕に従って位相判定テーブルＳ（ｐ）の更新を行う（Ｓ５０９）。

〔数式２３〕
窓３成分が優位な状態の場合、Ｓ（ｐ）←Ｓ（ｐ）＋Ｅ_C1／Ｅ_C2
窓１成分が優位な状態の場合、Ｓ（ｐ）←Ｓ（ｐ）＋Ｅ_C2／Ｅ_C1

続いて、符号判定パラメータ算出手段４４０は、候補符号テーブルに、最適位相となる候補を保存する（Ｓ４１０）。具体的には、位相判定テーブルに記録されているＳ（ｐ）の値が最大となる位相番号ｐの値、前記Ｓ５０６〜Ｓ５０８により判定された３値のいずれかの符号、その音響フレームについての上記〔数式１３〕に従った処理を実行することにより算出した、低周波数成分に対応する各Ｅ_C1、Ｅ_C2の値を最適位相の候補として候補符号テーブルに保存する。

続いて、全ての位相番号ｐに対応する処理を終えたかどうかを判定する（Ｓ４１１）。これは、ある基準フレームに対して全ての位相変更フレームの処理を行ったかどうかを判定している。本実施形態では、ｐが０〜５までの値をとるので、６回分処理していない場合は、処理していた音響フレームから所定サンプル数ずらして、位相の異なる音響フレームを設定し、Ｓ５０４に戻って処理を繰り返す。なお、ｐ＝０の場合が基準フレームであり、ｐ＝１〜５の場合が位相変更フレームである。全ての位相番号ｐに対応する処理を終えた場合は、候補保存テーブルに記録されている位相番号ｐに対応する位相が最適位相であると判定し、候補保存テーブルに記録されている符号を出力する（Ｓ４１２）。

再び図１４のフローチャートに戻って説明する。Ｓ４０２による処理の結果、ビット値に相当する符号が出力された場合には、平均符号レベルのパラメータの更新を行う（Ｓ４０３）。具体的には、平均符号レベルＨＬ１、ＨＬ２算出の際の分子となる積算値ｖ１、ｖ２にそれぞれ合算値Ｅ_C1、Ｅ_C2を加算して積算値ｖ１、ｖ２を更新し、分母となるフレーム数ｎ１、ｎ２にそれぞれ１を加算してフレーム数ｎ１、ｎ２を更新する。続いて、モードの判定を行う（Ｓ４０４）。モードは、区切りモードとビット出力モードの２つが用意されている。ビット出力モードである場合は、そのビット値をバッファに保存する（Ｓ４０９）。続いて、ビットカウンタをカウントアップする（Ｓ４１０）。一方、Ｓ４０４による判定の結果、区切りモードである場合には、さらに抽出された符号が、新規を意味するものか継続を意味するものかを判定する（Ｓ４０５）。この結果、新規である場合には、その直前で１ワードが終了していることを意味するので、バッファに記録された１ワード分のデータを、付加情報抽出手段４６０が出力する（Ｓ４０６）。そして、ビットカウンタを０に初期化する（Ｓ４０７）。さらに、モードをビット出力モードに設定する（Ｓ４０８）。Ｓ４０５において、継続と判定された場合には、バッファ内のビットに値を出力すべきであるので、ビット出力モードに設定する処理のみを行う。また、Ｓ４０２において、区切り情報に相当する符号が抽出された場合には、次の音響フレームから新規か継続かの情報を抽出するため、モードを区切りモードに設定する（Ｓ４１１）。図１４に示す処理を各基準フレームに対して実行することにより、付加情報が抽出されることになる。Ｓ４０１において全ての基準フレームが抽出されたと判断された場合には、処理を終了する。

上記Ｓ４０６の処理において、付加情報抽出手段４６０は、まず、符号判定パラメータ算出手段４４０により出力された３値の符号のうち、窓３成分と窓１成分が均等であることを示す符号を区切り位置として、その次の符号を先頭とし、窓３成分が優位な状態、窓１成分が優位な状態であることを示す符号をビット値に対応させて、ビット配列を作成する。続いて、このビット配列を、所定の規則により変換して意味のある付加情報として抽出する。所定の規則としては、情報を埋め込む者が意図した情報が受け取った者に認識可能な状態とできるものであれば、さまざまな規則が適用できるが、本実施形態では、文字情報として認識するための規則としている。すなわち、付加情報抽出手段４６０は、符号判定パラメータ算出手段４４０が判定し、符号出力手段４５０から出力される符号を１バイト（８ビット）単位で認識し、これを設定されたコード体系に従って文字情報であるアクセス情報を認識する。本実施形態ではＵＲＬを認識することになる。

従って、埋め込み装置により音響信号に、その楽曲の曲名やアーチスト等に関連するｗｅｂサイトのＵＲＬを文字情報として埋め込んでおけば、利用者は、その音楽が流れているのを聞いて、その曲名やアーチストに関連する詳細な情報を知りたいと思ったときに、抽出装置として機能する自身の携帯端末に所定の操作を行えば、自身の携帯端末で、その楽曲やアーチストに関連するｗｅｂサイトのＵＲＬが取得できることになる。

ここで本実施形態に示すような窓関数窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）、Ｗ（４，ｉ）を用いることの利点について説明する。図１６は、本実施形態の特徴を有しない窓関数を利用した場合の埋め込み直前と埋め込み後の低周波成分の状態を示す図であり、図１７は、本発明による埋め込み直前と埋め込み後の低周波成分の状態を示す図である。埋め込み後の低周波成分の状態である図１６（ｂ）と図１７（ｂ）を比較すると、本実施形態では、そうでない場合と比べてＡタイプ音響フレームにおいて広い範囲で値を有していることがわかる。そのため、Ｓ５０２において〔数式２１〕を用いて算出される合算値Ｅ_C1、Ｅ_C2の値が大きくなり、Ｓ５０６、Ｓ５０７においてビット値が抽出される確率が高まる。

以上の処理においては、埋込情報抽出部９０において正確に付加情報を抽出するために、位相を補正する処理、窓３成分と窓１成分の強度のバランスを補正する処理、無効フレームであることを判断するための下限閾値を補正する処理を行っている。次に、これら３つの補正処理について補足説明を行う。

上記のように、抽出時には、埋め込み時に埋め込んだ音響フレームに対応して、音響信号を読み込むことができるとは限らない。そこで、音響フレームの位相をずらして複数通り（本実施形態では６通り）で読み込み、その中で最適な位相を決定し、その位相で特定される音響フレームに対応する符号を出力することにしている。例えば、６通りで読み込む場合、先頭の音響フレームは、本来サンプル番号１〜４０９６のサンプルであるが、サンプル番号１、６８３、１３６６、２０４９、２７３２、３４１３から始まる４０９６のサンプルで構成される６個の各音響フレームに対して処理を行い、最適な音響フレームに対応する符号を出力することになる。この位相補正処理は、Ｓ５０３、Ｓ５０９、Ｓ４１０、Ｓ４１１、Ｓ４１２における処理を中心として行われることになる。

信号レベルが小さい場合には、窓成分の強度の大小が判定できず、抽出側で誤判断することが多くなる。そこで、合算値Ｅ_C1およびＥ_C2が所定の閾値以下のフレームについては、無効なフレームであると判断するようにしているが、この際の閾値を過去の有効フレームについての低周波強度の積算値を利用して補正する処理を行っている。このように閾値を変動させることにより、信号レベルが変動しても無効なフレームであるか、有効なフレームであるかを正確に判断することが可能となる。この下限閾値補正処理は、Ｓ５０２、Ｓ４０３における処理を中心として行われることになる。

上記実施形態においては、埋め込み装置、埋込情報抽出部９０のいずれにおいても、左右のチャンネルを有するステレオ音響信号の左チャンネル信号に付加情報を埋め込む場合を例にとって説明したが、逆に右チャンネル信号に付加情報を埋め込むようにしても良い。本発明は、左右の特性には無関係だからである。また、１つのチャンネルしかないモノラル音響信号に対して処理を行う場合は、上記実施形態において、左チャンネル信号に対して行った処理を行うことになる。本発明は、１つのチャンネル信号に対して付加情報を埋め込み、また抽出を行うので、モノラル音響信号であってもステレオ音響信号であっても同様に行うことができる。

図１８にステレオ音響信号とモノラル音響信号に対して、本発明により付加情報を埋め込む場合の概念図を示す。図１８（ａ）はステレオ音響信号の場合、図１８（ｂ）はモノラル音響信号の場合である。なお、図１８の例では、音響フレーム１つ分の低周波成分を波形で表現しており、ビット値“０”を埋め込む場合を例に示している。

ステレオ音響信号の場合、埋め込みは左チャンネル（Ｌ−ｃｈ）信号に対して行われる。図１８（ａ）に示すように、周波数変換後、信号分離し、さらに、ビット埋め込み処理を行う。具体的には、〔数式１４〕〜〔数式１９〕の処理の結果、ビット埋め込みがなされることになる。ここで、上述のように、“０”を埋め込む場合は〔数式１７〕および〔数式１８〕を用いる。したがって、ビット埋め込み処理後は、音響フレームの中央付近（窓２に相当）と後部付近（窓３に相当）は、低周波数帯の信号成分は０（図中、波形がないことで表現）となる。この際、〔数式１７〕および〔数式１８〕の内容から明らかなように、左チャンネル信号の削除された信号成分は、右チャンネル（Ｒ−ｃｈ）信号に加算される。したがって、図１８（ａ）の下段に示すように、右チャンネル信号の低周波成分は大きくなる。ビット埋め込み処理後は、高周波成分を含めて信号合成された後、周波数逆変換され、改変音響信号が得られることになる。一方、上記〔数式１５〕の最後の３つの式から明らかなように、左チャンネル信号の残っている信号成分に対応する右チャンネル（Ｒ−ｃｈ）信号の成分は、左チャンネル信号に加算される。したがって、図１８（ａ）の上段に示すように、左チャンネル信号の窓１に相当する低周波成分は大きくなる。

モノラル音響信号の場合、図１８（ｂ）に示すように処理が行われるが、図１８（ａ）の上段と比較するとわかるように、ステレオ音響信号の左チャンネルと同様の処理が行われることになる。

ここまで、説明してきた処理においては、窓１成分、窓３成分に所定の大きさ以上の信号成分が存在していることが必要となり、窓１成分、窓３成分が共に所定の大きさ以下の場合には、情報の埋め込みを行うことができない。そこで、以下、窓１成分、窓３成分が共に所定の大きさ以下であっても、信号の埋め込みを可能とする手法について説明する。

この場合、図９に示した埋め込み装置における情報の埋め込み処理は、図１９のフローチャートに従って行われる。図１９のフローチャートにおいて、図１０のフローチャートと異なる点は、Ｓ７０９における周波数変換処理において低周波成分変更手段３３０がレベルの判定を行わず、さらに、Ｓ３１０に相当する区切りモードへの設定処理が存在しない点である。これは、図１９に従った処理では、信号レベルが小さくても強制的に情報を埋め込むこととしているため、情報の埋め込みが不可能な信号レベルが小さい部分が存在するかどうかを判断し、区切りモードに設定する必要がないからである。

したがって、Ｓ７１０における窓１成分、窓３成分のいずれかを優位な状態に設定する処理としては、まず、以下の〔数式２４〕に従って算出される固定値Ｖを、低周波成分の強度として、上記合算値Ｅ₁、Ｅ₂に代えて設定する。

〔数式２４〕
Ｖ＝｛０．５・Ｌｅｖ／（Ｍ−３）｝^1/2

そして、第１の値を１、第２の値を０とした場合、ビット値が１のとき、上記〔数式１５〕および〔数式１６〕に従った処理を実行した後、以下の〔数式２５〕に従った処理を実行する。

〔数式２５〕
窓３成分に対して
Ａｌ´（３，ｊ）＝Ａｌ（３，ｊ）・Ｖ／｛Ａｒ（３，ｊ）²＋Ｂｒ（３，ｊ）²｝^1/2
Ｂｌ´（３，ｊ）＝Ｂｌ（３，ｊ）・Ｖ／｛Ａｒ（３，ｊ）²＋Ｂｒ（３，ｊ）²｝^1/2

ビット値が０の場合、上記〔数式１７〕および〔数式１８〕に従った処理を実行した後、以下の〔数式２６〕に従った処理を実行する。

〔数式２６〕
窓１成分に対して
Ａｌ´（１，ｊ）＝Ａｌ（１，ｊ）・Ｖ／｛Ａｒ（１，ｊ）²＋Ｂｒ（１，ｊ）²｝^1/2
Ｂｌ´（１，ｊ）＝Ｂｌ（１，ｊ）・Ｖ／｛Ａｒ（１，ｊ）²＋Ｂｒ（１，ｊ）²｝^1/2

Ｓ７１０における上記処理を行った後、窓２成分削除処理（Ｓ７１２）以降の処理は、図１０に示したＳ３１３以降の処理と同様にして行われる。

上記のように、周波数成分が小さい場合に情報を埋め込んだ場合であっても、抽出側の、音響信号からの情報の抽出装置の構成は図１３と同一であり、処理動作は図１４のフローチャートに従ったものと同一である。

図２０にステレオ音響信号とモノラル音響信号に対して、信号成分が小さい場合に、付加情報を埋め込む場合の概念図を示す。図２０（ａ）はステレオ音響信号の場合、図２０（ｂ）はモノラル音響信号の場合である。なお、図２０の例では、図１８の場合と同様に、音響フレーム１つ分の低周波成分を波形で表現しており、ビット値“０”を埋め込む場合を例に示している。

図２０において、図１８の場合と異なるのは、元の信号成分が小さい点である。図２０（ａ）に示す例のように、信号分離後の段階では、窓１成分、窓３成分の値が小さい場合であっても、上記〔数式２４〕〜〔数式２６〕の処理に従ってビット埋め込みを行うことにより、図１８と同様な信号成分を有することとなる。

モノラル音響信号の場合、図２０（ｂ）に示すように処理が行われるが、図２０（ａ）の上段と比較するとわかるように、ステレオ音響信号の左チャンネルと同様の処理が行われることになる。

登録特徴ワード生成装置の構成図である。 図１に示した装置の処理動作を示すフローチャートである。 特徴ワードの生成処理の概念図である。 本発明に係る音響信号検索装置の構成図である。 図２に示した装置の処理動作を示すフローチャートである。 関連情報データベース４０に登録された情報および処理過程で生じる情報を示す図である。 関連情報としてサイトのアドレス情報を登録した場合を示す図である。 電子透かしによる付加情報の埋め込みおよび抽出との組み合わせの例を示す図である。 音響信号に対する情報の埋込装置の機能ブロック図である。 図９に示した装置の処理概要を示すフローチャートである。 本発明で用いる窓関数を示す図である。 図１０に従った処理による低周波成分の変化の様子を示すである。 埋込情報抽出部９０の詳細を示す機能ブロック図である。 図１３に示した装置の処理概要を示すフローチャートである。 図１４のＳ４０２の符号判定処理の詳細を示すフローチャートである。 本実施形態の窓関数を用いない場合の、埋め込み前後の、音響信号の低周波部分を示す概念図である。 本実施形態による埋め込み前後の、音響信号の低周波部分を示す概念図である。 本発明による付加情報の埋め込み処理の概念図である。 図９に示した装置において、元の信号成分が小さくても情報の埋め込みを可能とする場合の処理概要を示すフローチャートである。 元の信号成分が小さい場合の、付加情報の埋め込み処理の概念図である。

符号の説明

１０、１１、３１０、４１０・・・音響フレーム読込手段
２０、２１・・・特徴ワード生成手段
３０・・・特徴ワード登録手段
４０・・・関連情報データベース
５０・・・マイクロフォン
６０・・・特徴ワード照合手段
７０・・・関連情報出力手段
８０・・・ネットワークアクセス部
９０・・・埋込情報抽出部
１００・・・ネットワーク
２００・・・サイト
３２０・・・周波数変換手段
３３０・・・低周波成分変更手段
３４０・・・周波数逆変換手段
３５０・・・改変音響フレーム出力手段
３６０・・・記憶手段
３６１・・・音響信号記憶部
３６２・・・付加情報記憶部
３６３・・・改変音響信号記憶部
３７０・・・付加情報読込手段
４１０・・・基準フレーム獲得手段
４２０・・・位相変更フレーム設定手段
４３０・・・周波数変換手段
４４０・・・符号判定パラメータ算出手段
４５０・・・符号出力手段
４６０・・・付加情報抽出手段
４７０・・・音響フレーム保持手段
５００・・・音響信号再生装置

Claims (7)

1. 録音により得られた音響信号の特徴と、データベースに登録された音響信号の特徴との照合を行って、録音した音響信号に関連する情報を取得する装置であって、
   各音響信号について、その特徴を表現した複数の特徴ワードと、当該音響信号の関連情報を登録した関連情報データベースと、
   音源より発信されている音声を音響信号として獲得する音響信号獲得手段と、
   前記音響信号に対して、所定の区間単位で、当該区間の特徴を表現するスペクトルを、所定の周波数領域内を周波数方向に８Ｋ個のバンドに分割して算出し、８Ｋ個のバンド全体で０と１の個数が均等になるように、前記各バンドのスペクトル成分に対して、０または１を与えることにより二値化を行い、前記８Ｋ個のバンドのスペクトルに基づいて、当該区間における音響信号の特徴を表現したＫバイトの特徴ワードを生成する特徴ワード生成手段と、
   前記特徴ワードを複数個で１セットとし、当該１セット内の特徴ワードと、前記関連情報データベースに登録されている登録特徴ワードとを照合する処理を、前記１セット内の先頭の特徴ワードから順次行って、ビット合致度が所定より高い複数の候補レコードを抽出する処理を順次行い、１つの候補レコードに絞り込む特徴ワード照合手段と、
   前記絞り込まれた候補レコードに対応する関連情報を前記関連情報データベースから抽出する関連情報抽出手段と、
   を有することを特徴とする音響信号検索装置。
2. 請求項１において、
   前記特徴ワード生成手段は、前記８Ｋ個のバンドを複数のグループに分類し、各グループにおいて、０と１の個数が均等になるように、前記各バンドのスペクトル成分に対して、０または１を与えることにより二値化を行うものであることを特徴とする音響信号検索装置。
3. 請求項１または請求項２において、
   前記所定の区間はＴ個の音響フレームにより構成されるものであり、
   前記特徴ワード生成手段は、前記各音響フレームに対してフーリエ変換を行い、隣接音響フレームとの差分値を、前記Ｔ個の音響フレームに渡って加算したものを前記区間の特徴を表現するスペクトルとして算出するものであることを特徴とする音響信号検索装置。
4. 請求項３において、
   前記特徴ワード生成手段は、前記各音響フレームに対してフーリエ変換を行った後、所定フレーム数単位でずらした各位置において前記区間の特徴を表現するスペクトルを算出することにより、複数の特徴ワードを生成し、
   前記特徴ワード照合手段は、前記複数の特徴ワードを用いて候補レコードを抽出するものであることを特徴とする音響信号検索装置。
5. 請求項１から請求項４のいずれか一項において、
   前記関連情報は、ネットワーク上の所定のサイトにアクセスするためのアドレス情報であり、
   当該アドレス情報を用いてネットワーク上の所定のサイトにアクセスするネットワークアクセス手段をさらに有することを特徴とする音響信号検索装置。
6. 請求項１から請求項４のいずれか一項において、
   前記関連情報データベースに登録されている特徴ワードは、付加情報が埋め込まれた音響信号について作成されたものであり、
   前記録音された音響信号は、付加情報が埋め込まれたものであり、
   前記音響信号から付加情報を抽出する付加情報抽出手段をさらに有するものであることを特徴とする音響信号検索装置。
7. 請求項１から請求項５のいずれか一項において、
   前記音響信号獲得手段、前記特徴ワード生成手段、前記特徴ワード照合手段、前記関連情報抽出手段を、単一の携帯電話機で実現するものであることを特徴とする音響信号検索装置。

Images