JP6841095B2

JP6841095B2 - 音響解析方法および音響解析装置

Info

Publication number: JP6841095B2
Application number: JP2017044432A
Authority: JP
Inventors: 陽前澤
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2017-03-08
Filing date: 2017-03-08
Publication date: 2021-03-10
Anticipated expiration: 2037-03-08
Also published as: JP2018146901A

Description

本発明は、音を表す音響信号を解析する技術に関する。

事前に用意された複数の音片を時間軸上で相互に配列することにより多様な音響信号を合成する音響処理技術（例えば録音編集方式の音声合成技術）が従来から提案されている。例えば特許文献１には、事前に録音された音片と規則合成処理で生成された音声とを相互に結合することで、合成音声を生成する技術が開示されている。

特開２００６−１４５６９１号公報

音響信号の合成に適用された複数の音片の時系列を、合成後の音響信号から推定することが要求される場面がある。例えば、電車等の交通機関の案内音声を合成する場面では、合成後の音響信号を構成する複数の音片を推定することで、案内音声の発話内容に応じた各種の情報を利用者に提供するサービスが実現される。以上の事情を考慮して、本発明は、音響信号を構成する複数の音片の時系列を当該音響信号から推定することを目的とする。

以上の課題を解決するために、本発明の好適な態様に係る音響解析方法は、Ｎ個の音片信号の各々と音響信号とを対比することで、前記音響信号を構成する複数の音片信号の時系列を推定する。また、本発明の好適な態様に係る音響解析装置は、Ｎ個の音片信号の各々と音響信号とを対比することで、前記音響信号を構成する複数の音片信号の時系列を推定する解析処理部を具備する。

本発明の第１実施形態における音響解析装置の構成図である。音響信号と複数の音片信号との関係を示す説明図である。音響信号と音片信号との相互相関の説明図である。推定処理部の動作の説明図である。音響解析装置の動作を例示するフローチャートである。第３実施形態における情報提供装置の構成図である。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る音響解析装置１００の構成図である。音響解析装置１００は、音声を表す音響信号Ｓを解析する信号処理装置であり、制御装置１２と記憶装置１４とを具備するコンピュータシステムで実現される。例えば携帯電話機、スマートフォンまたはパーソナルコンピュータ等の各種の情報処理装置が音響解析装置１００として利用され得る。

制御装置１２は、例えばＣＰＵ（Central Processing Unit）等の処理回路で構成され、音響解析装置１００の動作を統括的に制御する。記憶装置１４は、制御装置１２が実行するプログラムと制御装置１２が使用する各種のデータとを記憶する。例えば磁気記録媒体および半導体記録媒体等の公知の記録媒体が記憶装置１４として利用され得る。相互に別体で構成された同種または異種の複数の記録媒体の組合せを記憶装置１４として利用することも可能である。

第１実施形態の記憶装置１４は、音響信号Ｓを記憶する。図２に例示される通り、音響信号Ｓは、複数の音片信号Ｑ（Ｑ_１〜Ｑ_３）を時系列に配列して相互に接続することで事前に生成された時間領域の信号である。音片信号Ｑは、言語音を構成する部分的な音声（以下「音片」という）の波形を表す信号である。１個の音片は、例えば単語，文節，語句等の分節単位を発音した音声である。図２には、電車の到来を利用者に案内する「まもなく１番線に電車が参ります」という音声を表す音響信号Ｓが例示されている。図２に例示される通り、音響信号Ｓは、「まもなく」という音片を表す音片信号Ｑ_１と、「１番線に」という音片を表す音片信号Ｑ_２と、「電車が参ります」という音片を表す音片信号Ｑ_３とで構成される。各音片信号Ｑの時間長は相違し得る。

以上の説明から理解される通り、例えば事前に録音された音片を表す複数の音片信号Ｑを接続する録音編集方式の音声合成技術により音響信号Ｓは事前に生成される。複数の音片信号Ｑの配列（総数，組合せ，順番）を変更することで、多様な発話内容を表す音響信号Ｓが生成される。音響信号Ｓを構成する複数の音片信号Ｑの配列は未知である。第１実施形態の音響解析装置１００は、音響信号Ｓを構成する複数の音片信号Ｑの時系列を推定する。

第１実施形態の記憶装置１４は、相異なる音片を表す複数（Ｎ個）の音片信号Ｑを記憶する。Ｎ個の音片信号Ｑの各々には相異なる番号（以下「音片番号」という）が付与される。音片番号ｎ（ｎ＝１〜Ｎ）は、音片信号Ｑを識別するための識別情報である。記憶装置１４に記憶されたＮ個の音片信号Ｑは、音響信号Ｓの解析に使用される。すなわち、第１実施形態の音響解析装置１００は、記憶装置１４に記憶されたＮ個の音片信号Ｑの各々と音響信号Ｓとを相互に対比することで、音響信号Ｓを構成する複数の音片信号Ｑの時系列を推定する。

制御装置１２は、記憶装置１４に記憶されたプログラムを実行することで、音響信号Ｓから複数の音片信号Ｑの時系列を推定するための解析処理部２０として機能する。なお、制御装置１２の機能を複数の装置に分散した構成、または、制御装置１２の機能の少なくとも一部を専用の電子回路が実現する構成も採用され得る。

解析処理部２０は、記憶装置１４に記憶されたＮ個の音片信号Ｑの各々と音響信号Ｓとを対比することで、音響信号Ｓを構成する複数の音片信号Ｑの時系列を推定する。図１に例示される通り、第１実施形態の解析処理部２０は、相関解析部２２と推定処理部２４とを含んで構成される。

相関解析部２２は、記憶装置１４に記憶されたＮ個の音片信号Ｑの各々について、当該音片信号Ｑと音響信号Ｓとの相互相関Ｃ_ｔ，ｎを単位期間（フレーム）毎に算定する。記号ｔは、音響信号Ｓを時間軸上で区分した複数（Ｔ個）の単位期間のうち任意の１個の単位期間を示す変数である（ｔ＝１〜Ｔ）。具体的には、音片番号ｎの音片信号Ｑと音響信号Ｓとの相互相関Ｃ_ｔ，ｎは、以下の数式（１）で表現される。

数式（１）の記号Ｘ_ｔは、音響信号Ｓのうち第ｔ番目の単位期間における周波数スペクトルである。また、数式（１）の記号Ｄ_ｎ，ｔは、音片番号ｎの音片信号Ｑのうち第ｔ番目の単位期間における周波数スペクトルである。周波数スペクトルＸ_ｔおよび周波数スペクトルＤ_ｎ，ｔの各々は、周波数軸上の相異なる周波数（周波数ビン）に対応する複数の数値の系列で表現され、例えば短時間フーリエ変換等の公知の周波数解析により算定される。

数式（１）の記号Ｌ_ｎは、音片番号ｎの音片信号Ｑの時間長である。また、数式（１）の記号￣は複素共役を意味し、数式（１）の記号＊は要素毎の積を意味する。数式（１）の記号Ｆ^−１は、逆離散フーリエ変換である。

以上の説明から理解される通り、音響信号Ｓに対する音片番号ｎの音片信号Ｑの時間軸上の位置を変化させた場合に、音片信号Ｑと音響信号Ｓとの間で波形が類似するほど、当該音片信号Ｑの末尾に相当する時点ｔの相互相関Ｃ_ｔ，ｎは大きい数値となる。すなわち、図３に例示される通り、音響信号Ｓのうち相互相関Ｃ_ｔ，ｎが極大となる時点ｔに末尾が一致するように音片信号Ｑを配置した状態で、音響信号Ｓの波形と音片信号Ｑの波形とが類似する。音響信号Ｓのうち相互相関Ｃ_ｔ，ｎが極大となる時点ｔから逆方向（時間を遡及する方向）の時間長Ｌ_ｎにわたる区間が、音片番号ｎの音片信号Ｑの波形に類似する、とも換言され得る。以上の説明から理解される通り、第１実施形態の相関解析部２２は、Ｎ個の音片信号Ｑの各々と音響信号Ｓとを対比する要素として表現される。

図４に例示される通り、時間軸上で相互に接続された複数の音片信号Ｑの時系列（以下「音片系列」という）Ｚを想定する。図４には、３個の音片信号Ｑ_１〜Ｑ_３のうちの２個の組合せで構成された２通りの音片系列Ｚ（Ｚ_１２，Ｚ_２３）が便宜的に図示されている。また、３個の音片信号Ｑ_１〜Ｑ_３の各々について、当該音片信号Ｑと音響信号Ｓとの間で算定された相互相関Ｃ_ｔ，ｎ（Ｃ_ｔ，１，Ｃ_ｔ，２，Ｃ_ｔ，３）が図４には併記されている。

いま、図４に例示される通り、音片系列Ｚを構成する各音片信号Ｑの末尾の時点における当該音片信号Ｑと音響信号Ｓとの相互相関Ｃ_ｔ，ｎを、音片系列Ｚを構成する複数の音片信号Ｑについて累積した数値（以下「累積相互相関」という）Ｒを検討する。

例えば、音片信号Ｑ_１に音片信号Ｑ_２を後続させた音片系列Ｚ_１２については、相互相関Ｃ_ｔａ，１と相互相関Ｃ_ｔｂ，２との合計値が累積相互相関Ｒ_１２として算定される。相互相関Ｃ_ｔａ，１は、音片信号Ｑ_１と音響信号Ｓとの相互相関Ｃ_１，１〜Ｃ_Ｔ，１のうち、音片系列Ｚ_１２における音片信号Ｑ_１の末尾の時点ｔ_ａに対応する数値である。他方、相互相関Ｃ_ｔｂ，２は、音片信号Ｑ_２と音響信号Ｓとの相互相関Ｃ_１，２〜Ｃ_Ｔ，２のうち、音片系列Ｚ_１２における音片信号Ｑ_２の末尾の時点ｔ_ｂに対応する数値である。

また、音片信号Ｑ_２に音片信号Ｑ_３を後続させた音片系列Ｚ_２３については、相互相関Ｃ_ｔｃ，２と相互相関Ｃ_ｔｄ，３との合計値が累積相互相関Ｒ_２３として算定される。相互相関Ｃ_ｔｃ，２は、音片信号Ｑ_２と音響信号Ｓとの相互相関Ｃ_１，２〜Ｃ_Ｔ，２のうち音片系列Ｚ_２３における音片信号Ｑ_２の末尾の時点ｔ_ｃに対応する数値である。相互相関Ｃ_ｔｄ，３は、音片信号Ｑ_３と音響信号Ｓとの相互相関Ｃ_１，３〜Ｃ_Ｔ，３のうち音片系列Ｚ_２３における音片信号Ｑ_３の末尾の時点ｔ_ｄに対応する数値である。

図４では、音響信号Ｓが実際には音片信号Ｑ_１と音片信号Ｑ_２とで構成される場合（すなわち音片系列Ｚ_１２が正解である場合）が想定されている。したがって、音片系列Ｚ_１２における音片信号Ｑ_１の末尾の時点ｔ_ａにおける相互相関Ｃ_ｔａ，１と音片信号Ｑ_２の末尾の時点ｔ_ｂにおける相互相関Ｃ_ｔｂ，２とは大きい数値（最大値１に近い数値）となる。すなわち、累積相互相関Ｒ_１２は大きい数値となる。他方、音片系列Ｚ_２３における音片信号Ｑ_２の末尾の時点ｔ_ｃにおける相互相関Ｃ_ｔｃ，２と音片信号Ｑ_３の末尾の時点ｔ_ｄにおける相互相関Ｃ_ｔｄ，３とは小さい数値となる。すなわち、累積相互相関Ｒ_２３は小さい数値となる。

以上の説明から理解される通り、音響信号Ｓを構成する複数の音片信号Ｑの組合せに音片系列Ｚが近いほど、当該音片系列Ｚについて算定される累積相互相関Ｒは大きい数値となる。したがって、音片系列Ｚの適否を評価するための指標として累積相互相関Ｒを利用可能である。すなわち、音片系列Ｚの累積相互相関Ｒが大きいほど、音響信号Ｓを構成する複数の音片信号Ｑの組合せとして当該音片系列Ｚが適正であると評価できる。以上の傾向を背景として、推定処理部２４は、累積相互相関Ｒが最大化されるように音片系列Ｚ（複数の音片信号Ｑの時系列）を推定する。

ところで、累積相互相関Ｒを最大化する音片系列Ｚを推定する方法としては、複数の音片信号Ｑを配列する全通りの順列（音片系列Ｚ）について累積相互相関Ｒを算定し、累積相互相関Ｒが最大となる音片系列Ｚを選択する方法も想定される。しかし、以上の方法では演算量が膨大となる可能性がある。そこで、第１実施形態の推定処理部２４は、推定処理を効率化し得る動的計画法を利用して、累積相互相関Ｒを最大化する音片系列Ｚを探索する。推定処理部２４の具体的な動作を以下に詳述する。

音響信号Ｓの時点ｔに音片番号ｎの音片信号Ｑの末尾が位置すると仮定すると、当該時点ｔにおける累積相互相関Ｒ_ｔ，ｎは、以下の数式（２）で表現される。数式（２）の累積相互相関Ｒ_ｔ，ｎは、Ｎ個の音片信号Ｑの各々について算定される。

数式（２）のうち右辺の第１項は、時点ｔから音片番号ｎの音片信号Ｑの時間長Ｌ_ｎだけ遡及した時点(ｔ−Ｌ_ｎ)について算定されたＮ個の累積相互相関Ｒ_{ｔ−Ｌｎ，１}〜Ｒ_{ｔ−Ｌｎ，Ｎ}の最大値（ｍａｘ）である。推定処理部２４は、現在の時点ｔについて相関解析部２２が算定した相互相関Ｃ_ｔ，ｎを当該最大値に加算することで、累積相互相関Ｒ_ｔ，ｎを算定する。

また、数式（２）におけるＲ_{ｔ−Ｌｎ，ｍ}を最大化させる音片信号Ｑの音片番号Ｉ_ｔ，ｎは、以下の数式（３）で表現される。

各音片番号ｎについて音響信号Ｓの末尾までの累積相互相関Ｒ_１，ｎ〜Ｒ_Ｔ，ｎを算定すると、推定処理部２４は、音響信号Ｓの末尾（ｔ＝ｔ_０＝Ｔ）におけるＮ個の累積相互相関Ｒ_Ｔ，１〜Ｒ_Ｔ，Ｎの最大値に対応する音片信号Ｑの音片番号ｎ_０を選択する。すなわち、音片番号ｎ_０は以下の数式（４）で表現される。

数式（４）の音片番号ｎ_０は、音響信号Ｓの最後に位置する音片信号Ｑの音片番号ｎである。音片番号ｎ_０の音片信号Ｑの直前に位置すべき音片信号Ｑの音片番号ｎ_１は、数式（３）から理解される通り、音片番号Ｉ_{ｔ０，ｎ０}であり、当該直前の音片信号Ｑの末尾の時点ｔ_１は、時点ｔ_０から第ｎ_０番目の音片信号Ｑの時間長Ｌ_ｎ０だけ遡及した時点（ｔ_０−Ｌ_ｎ０）である。以上の説明から理解される通り、音響信号Ｓの末尾から逆方向に音片信号Ｑを辿る処理（バックトラック）は、以下の数式（５）および数式（６）の漸化式で表現される。

推定処理部２４は、数式（５）および数式（６）で表現されるバックトラックを、音響信号Ｓの始点に到達するまで反復する。以上の手順で探索した音片番号ｎ_ｉの系列｛ｎ_Ｉ，ｎ_Ｉ−１，…，ｎ_１，ｎ_０｝により、音響信号Ｓを構成する複数の音片信号Ｑの時系列（音片系列Ｚ）が表現される。

図５は、第１実施形態の制御装置１２が音片系列Ｚを推定する動作（以下「音響解析処理」という）のフローチャートである。例えば利用者からの指示を契機として音響解析処理が開始される。音響解析処理を開始すると、相関解析部２２は、記憶装置１４に記憶されたＮ個の音片信号Ｑの各々について、当該音片信号Ｑと音響信号Ｓとの相互相関Ｃ_ｔ，ｎを単位期間（フレーム）毎に算定する（Ｓ１）。相互相関Ｃ_ｔ，ｎの算定が完了すると、推定処理部２４は、累積相互相関Ｒを最大化する音片系列Ｚを、前述の動的計画法により推定する（Ｓ２）。

以上に説明した通り、第１実施形態では、Ｎ個の音片信号Ｑの各々と音響信号Ｓとを対比することで、音響信号Ｓを構成する複数の音片信号Ｑの時系列を推定することが可能である。第１実施形態では特に、各音片信号Ｑの末尾の時点ｔにおける相互相関Ｃ_ｔ，ｎを複数の音片信号Ｑの時系列にわたり累積した数値（累積相互相関Ｒ）が最大化されるように、複数の音片信号Ｑの時系列（音片系列Ｚ）が推定される。したがって、各音片信号Ｑと音響信号Ｓとの波形の類似性という観点から、音響信号Ｓを構成する複数の音片信号Ｑの時系列を高精度に推定できるという利点がある。また、第１実施形態では、動的計画法により音片系列Ｚが推定される。したがって、例えば複数の音片信号Ｑを配列する全通りの順列について累積相互相関Ｒを算定したうえで、累積相互相関Ｒが最大となる音片系列Ｚを選択する方法と比較して、制御装置１２による演算量を削減することが可能である。ただし、複数の音片信号Ｑの全通りの順列について累積相互相関Ｒを算定したうえで最大値を探索する方法を採用してもよい。

＜第２実施形態＞
本発明の第２実施形態について説明する。なお、以下に例示する各形態において作用または機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。

第１実施形態では、複数の音片信号Ｑが時間軸上に重複も隙間もなく配列されることで音響信号Ｓが構成されるから、相前後する２個の音片信号Ｑの末尾の間隔（時点ｔ_ｉ−１と時点ｔ_ｉとの間隔）は音片信号Ｑの時間長Ｌ_ｎに一致する。しかし、実際には、相前後する２個の音片信号Ｑが相互に重複または離間した状態で配列され得る。すなわち、相前後する２個の音片信号Ｑの末尾の間隔（時点ｔ_ｉ−１と時点ｔ_ｉとの間隔）は、音片信号Ｑの時間長Ｌ_ｎとは僅かに相違した時間長である可能性がある。以上の事情を考慮して、第２実施形態では、相前後する２個の音片信号Ｑの末尾の間隔に誤差εを加味したうえで、音響信号Ｓを構成する複数の音片信号Ｑの時系列（音片系列Ｚ）を推定する。

具体的には、第２実施形態では、第１実施形態の数式（２）が以下の数式（２ａ）に置換される。

すなわち、数式（２ａ）における右辺の第１項は、時点ｔから音片番号ｎの音片信号Ｑの時間長Ｌ_ｎだけ遡及した時点(ｔ−Ｌ_ｎ)を中心として幅２Ｅの範囲内（ｔ−Ｌ_ｎ±Ｅ）におけるＮ個の累積相互相関Ｒ_{ｔ−Ｌｎ＋ε，１}〜Ｒ_{ｔ−Ｌｎ＋ε，Ｎ}の最大値（ｍａｘ）である。定数Ｅは所定の正数である。数式（２ａ）における累積相互相関Ｒ_{ｔ−Ｌｎ＋ε，ｍ}を最大化させる音片信号Ｑの音片番号Ｉ_ｔ，ｎは、以下の数式（３ａ）で表現される。すなわち、第１実施形態の数式（３）が第２実施形態では数式（３ａ）に置換される。

また、累積相互相関Ｒ_{ｔ−Ｌｎ＋ε，ｍ}を最大化させる誤差εは、以下の数式（７）で表現される。

第２実施形態の推定処理部２４が実行するバックトラックは、第１実施形態の数式（６）に数式（７）の誤差Ｊ_ｔ，ｎを導入した以下の数式（６ａ）で表現される。

数式（６ａ）から理解される通り、推定処理部２４は、時点ｔ_ｉ−１に対して音片信号Ｑの時間長Ｌ_ｎｉ−１だけ遡及した時点から更に誤差Ｊ_{ｔｉ−１，ｎｉ−１}だけずれた時点を時間軸上の逆方向に辿る。すなわち、推定処理部２４は、第１実施形態と同様の数式（５）と誤差Ｊ_ｔ，ｎを含む数式（６ａ）とで表現されるバックトラックにより、音片番号ｎ_ｉの系列｛ｎ_Ｉ，ｎ_Ｉ−１，…，ｎ_１，ｎ_０｝（音響信号Ｓを構成する複数の音片信号Ｑの時系列）を推定する。

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、各音片信号Ｑの時間長Ｌ_ｎに誤差εが加味されるから、相前後する２個の音片信号Ｑが相互に重複または離間している場合でも、音響信号Ｓを構成する複数の音片信号Ｑの時系列を高精度に推定できるという利点がある。

＜第３実施形態＞
図６は、第１実施形態または第２実施形態の音響解析装置１００を利用した情報提供装置２００の構成図である。図６に例示される通り、第３実施形態の情報提供装置２００は、制御装置３２と記憶装置３４と収音装置３６と放音装置３８とを具備するコンピュータシステムで実現される。なお、情報提供装置２００は、単体の装置として実現されるほか、相互に別体で構成された複数の装置でも実現され得る。

制御装置３２は、例えばＣＰＵ等の処理回路で構成され、情報提供装置２００の動作を統括的に制御する。記憶装置３４は、制御装置３２が実行するプログラムと制御装置３２が使用する各種のデータとを記憶する。例えば磁気記録媒体および半導体記録媒体等の公知の記録媒体が記憶装置３４として利用され得る。第３実施形態の記憶装置３４は、前述の各形態で例示したＮ個の音片信号Ｑを記憶する。

収音装置３６は、交通施設または商業施設等の各種の施設で発音または放送された案内用の音声（以下「案内音声」という）Ｇを収音することで、当該案内音声Ｇを表す音響信号Ｓを生成する。音響信号Ｓが表す案内音声Ｇは、複数の音片の時系列である。放音装置３８は、制御装置３２による制御のもとで音を再生する。

制御装置３２は、記憶装置３４に記憶されたプログラムを実行することで、第１実施形態または第２実施形態で例示した解析処理部２０に加えて、変調処理部４２および混合処理部４４として機能する。なお、制御装置３２の機能を複数の装置に分散した構成、または、制御装置３２の機能の少なくとも一部を専用の電子回路が実現する構成も採用され得る。解析処理部２０は、第１実施形態または第２実施形態で例示した構成および動作により、収音装置３６が生成した音響信号Ｓから音片系列Ｚを推定する。すなわち、第３実施形態の情報提供装置２００は、第１実施形態または第２実施形態の音響解析装置１００を含んで構成される。したがって、第３実施形態においても第１実施形態または第２実施形態と同様の効果が実現される。

変調処理部４２は、解析処理部２０が推定した音片系列Ｚに応じた変調信号Ｍを生成する。変調信号Ｍは、音片系列Ｚに応じた配信情報Ｂを音響成分として含む信号である。配信情報Ｂは、例えば音片系列Ｚ自体または当該音片系列Ｚを識別するための識別情報である。変調処理部４２は、例えば所定の周波数の正弦波等の搬送波を配信情報Ｂにより変調する周波数変調、または、拡散符号を利用した配信情報Ｂの拡散変調等の変調処理により変調信号Ｍを生成する。配信情報Ｂの音響成分の周波数帯域は、例えば、放音装置３８による再生が可能な周波数帯域であり、かつ、利用者が通常の環境で聴取する音の周波数帯域を上回る範囲（例えば１８ｋＨｚ以上かつ２０ｋＨｚ以下）に包含される。

混合処理部４４は、収音装置３６から供給される音響信号Ｓと変調処理部４２が生成した変調信号Ｍとを混合（例えば加算）することで音響信号Ｙを生成する。放音装置３８は、音響信号Ｙが表す音を放音する。すなわち、音響信号Ｓが表す案内音声Ｇと変調信号Ｍが表す配信情報Ｂの音響成分とが放音装置３８から再生される。以上の説明から理解される通り、第１実施形態の放音装置３８は、案内音声Ｇを再生する音響機器として機能するほか、空気振動としての音波を伝送媒体とした音響通信で配信情報Ｂを送信する送信機としても機能する。

図６の端末装置３００は、例えば携帯電話機またはスマートフォン等の情報端末である。なお、例えば、電光掲示板または電子看板（例えばデジタルサイネージ）等の案内用の表示端末を端末装置３００として利用することも可能である。第３実施形態の端末装置３００は、情報提供装置２００による再生音から配信情報Ｂを復調し、当該配信情報Ｂに対応する関連情報を出力装置（例えば表示装置または放音装置）から出力する。案内音声Ｇの音響信号Ｓから生成された配信情報Ｂが示す関連情報は、当該案内音声Ｇに関連する情報（例えば案内音声Ｇを表す文字列やその翻訳文）である。以上の説明から理解される通り、端末装置３００の利用者は、情報提供装置２００が再生する案内音声Ｇを聴取するほか、当該案内音声Ｇに対応する関連情報を端末装置３００により確認することが可能である。

なお、以上の説明では、配信情報Ｂを音響通信により端末装置３００に送信したが、配信情報Ｂを送信するための通信方式は以上の例示に限定されない。例えば、電磁波を伝送媒体として利用した無線通信（典型的には近距離無線通信）により配信情報Ｂを端末装置３００に送信することも可能である。また、関連情報を配信情報Ｂとして端末装置３００に送信することも可能である。

＜変形例＞
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。

（１）音響信号Ｓのサンプル値を所定の比率で間引いたうえで各音片信号Ｑと対比してもよい。以上の構成によれば、制御装置１２の演算量を削減することが可能である。

（２）数式（３）または数式（３ａ）の音片番号Ｉ_ｔ，ｎと数式（７）の誤差Ｊ_ｔ，ｎとは、音響信号Ｓの全区間にわたり保持する必要があるものの、推定処理部２４が時点ｔの累積相互相関Ｒ_ｔ，ｎを算定する段階では、時点（ｔ−Ｌ_ｍａｘ−ε）よりも過去の累積相互相関Ｒは不要である。時間長Ｌ_ｍａｘは、Ｎ個の音片信号Ｑの時間長Ｌ_ｎの最大値である。以上の説明から理解される通り、任意の時点ｔでは、｛(Ｌ_ｍａｘ＋Ｅ)×Ｎ｝個の累積相互相関Ｒを記憶装置１４に保持すれば足りる。

（３）前述の各形態では、音声を表す音響信号Ｓを例示したが、音声以外の音（例えば楽音）を表す音響信号Ｓについても、前述の各形態と同様の方法により、当該音響信号Ｓを構成する複数の音片信号Ｑの時系列を推定することが可能である。したがって、各音片信号Ｑが表す音も音声には限定されない。例えば、相異なる楽曲から抽出された音片を表す複数の音片信号Ｑで構成される音響信号Ｓを解析することで、音響信号Ｓの素材として利用された音片（さらには楽曲名）を特定することが可能である。

（４）第１実施形態および第２実施形態では、記憶装置１４に記憶された音響信号Ｓを解析したが、第３実施形態での例示からも理解される通り、収音装置による収音で生成された音響信号Ｓを解析することも可能である。

（５）前述の各形態に係る音響解析装置１００は、各形態での例示の通り、制御装置１２とプログラムとの協働により実現される。前述の各形態に係るプログラムは、制御装置１２（コンピュータの例示）に、Ｎ個の音片信号Ｑの各々と音響信号Ｓとを対比することで、音響信号Ｓを構成する複数の音片信号Ｑの時系列（音片系列Ｚ）を推定する音響解析処理を実行させる。

以上に例示したプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供することも可能である。

（６）以上に例示した形態から、例えば以下の構成が把握される。
＜態様１＞
本発明の好適な態様（態様１）に係る音響解析方法は、Ｎ個の音片信号の各々と音響信号とを対比することで、前記音響信号を構成する複数の音片信号の時系列を推定する。以上の構成によれば、Ｎ個の音片信号の各々と音響信号とを対比することで、音響信号を構成する複数の音片信号の時系列を推定することが可能である。
＜態様２＞
態様１の好適例（態様２）において、前記複数の音片信号の時系列の推定は、前記Ｎ個の音片信号の各々について、当該音片信号と前記音響信号との相互相関を算定する相関解析と、前記Ｎ個の音片信号から選択した前記複数の音片信号の時系列を推定する推定処理とを含み、前記推定処理においては、時間軸上に配列された２以上の音片信号の末尾の時点における当該音片信号と前記音響信号との相互相関を、前記２以上の音片信号について累積した累積相互相関が最大化されるように、前記複数の音片信号の時系列を推定する。以上の態様では、各音片信号の末尾の時点における相互相関を複数の音片信号の時系列にわたり累積した累積相互相関が最大化されるように、複数の音片信号の時系列が推定される。したがって、各音片信号と音響信号との波形の類似性という観点から、音響信号を構成する複数の音片信号Ｑの時系列を高精度に推定できるという利点がある。

＜態様３＞
本発明の好適な態様（態様３）に係る音響解析装置は、Ｎ個の音片信号の各々と音響信号とを対比することで、前記音響信号を構成する複数の音片信号の時系列を推定する解析処理部を具備する。以上の構成によれば、Ｎ個の音片信号の各々と音響信号とを対比することで、音響信号を構成する複数の音片信号の時系列を推定することが可能である。

１００…音響解析装置、２００…情報提供装置、３００…端末装置、１２，３２…制御装置、１４，３４…記憶装置、２０…解析処理部、２２…相関解析部、２４…推定処理部、３６…収音装置、３８…放音装置、４２…変調処理部、４４…混合処理部。

Claims

Ｎ個の音片信号の各々と音響信号とを対比することで、前記音響信号を構成する複数の音片信号の時系列を推定する、コンピュータシステムにより実現される音響解析方法であって、
前記複数の音片信号の時系列の推定は、
前記Ｎ個の音片信号の各々について、当該音片信号と前記音響信号との相互相関を算定する相関解析と、
前記Ｎ個の音片信号から選択した前記複数の音片信号の時系列を推定する推定処理とを含み、
前記推定処理においては、時間軸上に配列された２以上の音片信号の末尾の時点における当該音片信号と前記音響信号との相互相関を、前記２以上の音片信号について累積した累積相互相関が最大化されるように、前記複数の音片信号の時系列を推定する
音響解析方法。
Ｎ個の音片信号の各々と音響信号とを対比することで、前記音響信号を構成する複数の音片信号の時系列を推定する解析処理部、を具備する音響解析装置であって、
前記解析処理部は、
前記Ｎ個の音片信号の各々について、当該音片信号と前記音響信号との相互相関を算定する相関解析部と、
前記Ｎ個の音片信号から選択した前記複数の音片信号の時系列を推定する推定処理部とを含み、
前記推定処理部は、時間軸上に配列された２以上の音片信号の末尾の時点における当該音片信号と前記音響信号との相互相関を、前記２以上の音片信号について累積した累積相互相関が最大化されるように、前記複数の音片信号の時系列を推定する
音響解析装置。