JP5784075B2 - 信号区間分類装置、信号区間分類方法、およびプログラム - Google Patents

Description

本発明は、複数個のチャネルのデジタル音響信号から音源位置に基づいた信号区間分類を行う技術に関する。

複数のマイクロホンを利用して信号区間を分類する手法には、マイクロホンアレーを使った技術がある。マイクロホンアレーとは、２個以上のマイクを利用して音を観測し、信号処理を施す技術である。このマイクロホンアレーを利用して複数のマイクロホンで観測された音の波形をフレームごとに分割し、各フレームにおける全てのマイクペアに関して音声の到来時間差を推定する。推定した全てのマイクペアにおける到来時間差の値から到来時間差のベクトルとする。到来時間差のベクトルから到来方向ベクトルを求め、到来方向ベクトルをクラスタリングすることで各話者の発話区間である信号区間を分類する（例えば、非特許文献１等参照）。

荒木章子，藤本雅清，石塚健太郎，澤田宏，牧野昭二，"音声区間検出と方向情報を用いた会議音声話者識別システムとその評価，" 音講論（春），ｐｐ．１−２，２００８．

従来手法のマイクロホンアレーを利用した音源方向に基づいて信号区間を分類する手法では、マイクロホンの相対位置関係が既知である必要がある。そのため自由に配置されたマイクロホンで観測して得られたデジタル音響信号に対しては、従来のマイクロホンアレー処理を行い、音源方向に基づいて信号区間を分類することが出来ない。

本発明の課題は、観測位置が未知な複数個のチャネルのデジタル音響信号から、音源位置に基づいた信号区間分類を行うことである。

本発明では、チャネルごとに音声区間のデジタル音響信号の大きさを非音声区間のデジタル音響信号の大きさで正規化して特徴量を得て、複数個のチャネルに対して得られた特徴量からなる特徴量列をクラスタリングし、当該特徴量列が属する信号区間分類を決定する。

本発明では、音声区間のデジタル音響信号の大きさを非音声区間のデジタル音響信号の大きさで正規化して得られる特徴量を用いるため、観測位置が未知な複数個のチャネルのデジタル音響信号から、音源位置に基づいた信号区間分類を行うことができる。

図１は実施形態の信号区間分類装置の構成を説明するためのブロック図である。 図２は実施形態の信号区間分類方法を説明するためのフロー図である。 図３Ａは各チャネルのデジタル音響信号から算出したＳ／Ｎベクトルの成分ごとの時間変化を例示する図であり、図３Ｂは信号区間分類結果を例示する図である。 図４Ａは各チャネルのデジタル音響信号から算出したＳ／Ｎベクトルの成分ごとの時間変化を例示する図であり、図４Ｂは信号区間分類結果を例示する図である。

以下、図面を参照して本発明の実施形態を説明する。
［第１実施形態］
図１に例示するように、本形態の信号区間分類装置１０は、サンプリング周波数変換部１１、信号同期部１２、フレーム分割部１３、ＶＡＤ判定部１４、Ｓ／Ｎベクトル生成部１５（特徴量列取得部）、記憶部１６、およびベクトル分類部１７（分類部）を有する。本形態の信号区間分類装置１０は、例えばＣＰＵ（central processing unit）やＲＡＭ（random-access memory）等を備える公知のコンピュータに所定のプログラムが読み込まれて構成される特別な装置である。信号区間分類装置１０に入力されたデータおよび処理されたデータは、図示していないメモリに格納され、必要に応じて処理部から読み出される。

信号区間分類装置１０は、自由に配置されたＫ個（Ｋは２以上の整数）の観測装置２０−１，・・・，２０−Ｋに接続されている。観測装置２０−１，・・・，２０−Ｋの位置や互いの相対位置は、未知であってもよいし、既知であってもよい。ただし、観測装置２０−１，・・・，２０−Ｋの位置がすべて同一でないことが好ましく、より好ましくは観測装置２０−１，・・・，２０−Ｋの位置が互いに相違することが望ましい。また各観測装置２０−ｋ（ｋ＝１，２，・・・，Ｋ）は、マイクロホン２１−ｋおよびＡ／Ｄ変換器２２−ｋを有する。観測装置２０−１，・・・，２０−Ｋは互いに独立に動作する。マイクロホン２１−１，・・・，２１−Ｋの感度は、互いに異なっていてもよいし、同一であってもよく、Ａ／Ｄ変換器２２−１，・・・，２２−Ｋのサンプリング周波数は、互いに異なっていてもよいし、同一であってもよい。観測装置２０−１，・・・，２０−Ｋの具体例は、互いにサンプリング周波数およびマイクロホン感度が異なる、スマートフォン、固定電話、ボイスレコーダなどの録音機能をもつ端末装置である。

各観測装置２０−ｋのマイクロホン２１−ｋは音響信号を観測する。各マイクロホン２１−ｋで観測された音響信号はＡ／Ｄ変換器２２−ｋに入力される。各Ａ／Ｄ変換器２２−ｋはそれぞれのサンプリング周波数で当該音響信号をＡ／Ｄ変換し、複数個のサンプル点での入力デジタル音響信号ｘ_ｋ（ｉ_ｋ）を得て出力する。ただし、ｉ_ｋは時間領域のサンプル点を表す整数のインデックスである。すなわち、ｘ_ｋ（ｉ_ｋ）は、インデックスｉ_ｋで表されるサンプル点の入力デジタル音響信号を表す。

観測装置２０−ｋで得られた入力デジタル音響信号ｘ_ｋ（ｉ_ｋ）に対応する処理を行う処理系列をチャネルｋと呼ぶ。言い換えると、Ａ／Ｄ変換器２２−ｋで音響信号を変換して得られた入力デジタル音響信号ｘ_ｋ（ｉ_ｋ）に対応する処理を行う処理系列をチャネルｋと呼ぶ。すなわち、チャネルｋは入力デジタル音響信号ｘ_ｋ（ｉ_ｋ）および入力デジタル音響信号ｘ_ｋ（ｉ_ｋ）から得られる値を取り扱う。本形態ではＫ個のチャネルｋ＝１，・・・，Ｋが存在する。

＜サンプリング周波数変換部１１＞
複数個の観測装置２０−１，・・・，２０−Ｋで得られた複数個のチャネルｋ＝１，・・・，Ｋの入力デジタル音響信号ｘ_ｋ（ｉ_ｋ）は、サンプリング周波数変換部１１に入力される。異なるチャネルｋの入力デジタル音響信号ｘ_ｋ（ｉ_ｋ）は、異なるＡ／Ｄ変換器２２−ｋで得られたものであるため、サンプリング周波数が異なる場合がある。サンプリング周波数変換部１１は、すべてのチャネルｋ＝１，・・・，Ｋの入力デジタル音響信号ｘ_ｋ（ｉ_ｋ）のサンプリング周波数を任意の同一のサンプリング周波数に揃える。言い換えると、サンプリング周波数変換部１１は、複数個のチャネルｋ＝１，・・・，Ｋの入力デジタル音響信号ｘ_ｋ（ｉ_ｋ）をサンプリング周波数変換し、特定のサンプリング周波数の変換デジタル音響信号ｃｘ_ｋ（ｉ_ｋ）を複数個のチャネルｋ＝１，・・・，Ｋについて得る。「特定のサンプリング周波数」は、Ａ／Ｄ変換器２２−１，・・・，２２−Ｋの何れか一つのサンプリング周波数であってもよいし、その他のサンプリング周波数であってもよい。「特定のサンプリング周波数」の一例は１６ｋＨｚである。サンプリング周波数変換部１１は、各Ａ／Ｄ変換器２２−ｋのサンプリング周波数の公称値に基づいてサンプリング周波数変換を行う。すなわち、サンプリング周波数変換部１１は、各Ａ／Ｄ変換器２２−ｋのサンプリング周波数の公称値でサンプリングされた信号を、特定のサンプリング周波数でサンプリングされた信号に変換する。このようなサンプリング周波数変換は周知である。サンプリング周波数変換部１１は、以上のように得た各チャネルｋの変換デジタル音響信号ｃｘ_ｋ（ｉ_ｋ）を出力する（ステップＳ１１）。

＜信号同期部１２＞
信号同期部１２は、チャネルｋ＝１，・・・，Ｋの変換デジタル音響信号ｃｘ_１（ｉ_１），・・・，ｃｘ_Ｋ（ｉ_Ｋ）を入力として受け取る。信号同期部１２は、変換デジタル音響信号ｃｘ_１（ｉ_１），・・・，ｃｘ_Ｋ（ｉ_Ｋ）をチャネルｋ＝１，・・・，Ｋ間で同期させ、チャネルｋ＝１，・・・，Ｋのデジタル音響信号ｓｘ_１（ｉ_１），・・・，ｓｘ_Ｋ（ｉ_Ｋ）を得て出力する（ステップＳ１２）。以下にこの詳細を説明する。

Ａ／Ｄ変換器２２−ｋには個体差がある。そのためＡ／Ｄ変換器２２−ｋのサンプリング周波数の公称値がｆ_ｋであったとしても、Ａ／Ｄ変換器２２−ｋがサンプリング周波数ｆ_ｋ／α_ｋでＡ／Ｄ変換を行う場合もある。ただし、α_ｋはＡ／Ｄ変換器２２−ｋの実際のサンプリング周波数とサンプリング周波数の公称値との間の周波数ずれを表す正のパラメータである。音響信号をサンプリング周波数ｆ_ｋでＡ／Ｄ変換して得られる入力デジタル音響信号をｘ_ｋ’（ｉ_ｋ）とおくと、同じ音響信号をサンプリング周波数ｆ_ｋ／α_ｋでＡ／Ｄ変換して得られる入力デジタル音響信号はｘ_ｋ’（ｉ_ｋ×α_ｋ）となる。ただし「×」は乗算演算子を表す。すなわち、サンプリング周波数の周波数ずれは、入力デジタル音響信号の時間領域でのタイミングずれとなって現れる。

サンプリング周波数変換部１１は、各Ａ／Ｄ変換器２２−ｋのサンプリング周波数の公称値ｆ_ｋに基づいてサンプリング周波数変換を行っている。すなわち、すべてのチャネルｋ＝１，・・・，Ｋに共通の「特定のサンプリング周波数」をｆとすると、サンプリング周波数変換部１１は、各チャネルｋのサンプリング周波数をｆ／ｆ_ｋ倍にするサンプリング周波数変換を行っている。そのため、各Ａ／Ｄ変換器２２−ｋの実際のサンプリング周波数がｆ_ｋ／α_ｋであるとすると、各チャネルｋの変換デジタル音響信号ｃｘ_ｋ（ｉ_ｋ）のサンプリング周波数はｆ×α_ｋとなる。この個体差に基づく周波数ずれは、チャネルｋ＝１，・・・，Ｋ間における、変換デジタル音響信号ｃｘ_ｋ（ｉ_ｋ）の時間領域でのタイミングずれとなって現れる。

信号同期部１２は、個体差に基づく変換デジタル音響信号ｃｘ_ｋ（ｉ_ｋ）の時間領域でのタイミングずれを減らすために、時間領域の変換デジタル音響信号ｃｘ_１（ｉ_１），・・・，ｃｘ_Ｋ（ｉ_Ｋ）をチャネルｋ＝１，・・・，Ｋ間で同期させる。例えば信号同期部１２は、チャネル間の相互相関が最大になるように、変換デジタル音響信号ｃｘ_１（ｉ_１），・・・，ｃｘ_Ｋ（ｉ_Ｋ）を時間軸方向（サンプル点方向）に互いにずらし、同期後のデジタル音響信号ｓｘ_１（ｉ_１），・・・，ｓｘ_Ｋ（ｉ_Ｋ）を得る。

例えば信号同期部１２は、各チャネルｋの変換デジタル音響信号ｃｘ_ｋ（ｉ_ｋ）から、単語の発話など十分特徴的な波形の変化を観測できる長さ（例えば３秒）のサンプル列ｃｘ_ｋ（１），・・・，ｃｘ_ｋ（Ｉ）をとりだす（ステップＳ１２１）。ただし、Ｉは正整数を表す。次に信号同期部１２は、取り出したサンプル列のうち１つのチャネルｋ’∈｛１，・・・，Ｋ｝のサンプル列ｃｘ_ｋ’（１），・・・，ｃｘ_ｋ’（Ｉ）を基準サンプル列とする（ステップＳ１２２）。次に信号同期部１２は、チャネルｋ’以外のチャネルｋ”∈｛１，・・・，Ｋ｝（ｋ”≠ｋ’）のサンプル列ｃｘ_ｋ”（１），・・・，ｃｘ_ｋ”（Ｉ）を時間軸にずらしたサンプル列ｃｘ_ｋ”（１＋τ_ｋ”），・・・，ｃｘ_ｋ”（Ｉ＋τ_ｋ”）と基準サンプル列ｃｘ_ｋ’（１），・・・，ｃｘ_ｋ’（Ｉ）との相互相関Σ_ｎ｛ｃｘ_ｋ”（ｎ）×ｃｘ_ｋ’（ｎ）｝を最大にする遅延τ_ｋ”を所定の探索範囲から探索し、ｓｘ_ｋ”（ｉ_ｋ”）＝ｃｘ_ｋ”（ｉ_ｋ”＋τ_ｋ”）およびｓｘ_ｋ’（ｉ_ｋ’）＝ｃｘ_ｋ’（ｉ_ｋ’）とする（ステップＳ１２３）。さらに信号同期部１２は、サンプル列ｃｘ_ｋ（１），・・・，ｃｘ_ｋ（Ｉ）を切り出す範囲をシフトさせ（例えば１秒の時間に対応するサンプル点だけシフトさせ）、ステップＳ１２１〜Ｓ１２３の処理を実行する処理を繰り返し、同期後のデジタル音響信号ｓｘ_１（ｉ_１），・・・，ｓｘ_Ｋ（ｉ_Ｋ）をすべてのサンプル点について得て出力する。

＜フレーム分割部１３＞
フレーム分割部１３は、同期後のデジタル音響信号ｓｘ_１（ｉ_１），・・・，ｓｘ_Ｋ（ｉ_Ｋ）を入力として受け取る。フレーム分割部１３は、チャネルｋごとにデジタル音響信号ｓｘ_ｋ（ｉ_ｋ）を所定の時間区間であるフレームに分割する（ステップＳ１３）。このフレーム分割処理では、フレーム切り出し区間長（フレーム長）Ｌ点と切り出し区間のずらし幅ｍ点を任意に決めることができる。ただし、Ｌおよびｍは正整数である。例えば、切り出し区間長を２０４８点、切り出し区間のずらし幅を２５６点とする。フレーム分割部１３は、チャネルｋごとに切り出し区間長のデジタル音響信号ｓｘ_ｋ（ｉ_ｋ）を切り出して出力する。さらにフレーム分割部１３は、決められた切り出し区間のずらし幅に従い切り出し区間をずらし、チャネルｋごとに上記切り出し区間長のデジタル音響信号ｓｘ_ｋ（ｉ_ｋ）を切り出して出力する処理を繰り返す。以上の処理により、各チャネルｋについて各フレームのデジタル音響信号が出力される。以下では、チャネルｋのｒ番目のフレームｒに属するデジタル音響信号をｓｘ_ｋ（ｉ_{ｋ，ｒ，０}），・・・，ｓｘ_ｋ（ｉ_{ｋ，ｒ，Ｌ−１}）と表現する。

＜ＶＡＤ判定部１４＞
ＶＡＤ判定部１４は、各チャネルｋの各フレームｒに属するデジタル音響信号ｓｘ_ｋ（ｉ_{ｋ，ｒ，０}），・・・，ｓｘ_ｋ（ｉ_{ｋ，ｒ，Ｌ−１}）を入力として受け取る。ＶＡＤ判定部１４は、入力されたデジタル音響信号を用い、各チャネルｋの各フレームｒが音声区間であるか非音声区間であるかを判定する（ステップＳ１４）。ＶＡＤ判定部１４は、例えば参考文献１に記載されたような周知技術を用い、フレームｒが音声区間であるか非音声区間であるかの判定を行う。
［参考文献１］Jongseo Sohn, Nam Soo Kim, Wonyong Sung, “A Statistic Model-Based Voice Activity Detection,” IEEE SIGNAL PROCESSING LETTERS, VOL.6, NO.1, 1999．

これらの判定に基づき、ＶＡＤ判定部１４は、各フレームｒに対し、音声区間であるか非音声区間であるかの判定結果を表すラベルθ_ｒを付与する。例えば、「フレームｒが音声区間であると判定されたチャネルの個数」が「フレームｒが非音声区間であると判定されたチャネルの個数」以上である場合、ＶＡＤ判定部１４は、フレームｒが音声区間であると判定し、音声区間であることを表すラベルθ_ｒをフレームｒに対して付与する。一方、「フレームｒが音声区間であると判定されたチャネルの個数」が「フレームｒが非音声区間であると判定されたチャネルの個数」未満である場合、ＶＡＤ判定部１４は、フレームｒが非音声区間であると判定し、非音声区間であることを表すラベルθ_ｒをフレームｒに対して付与する。その他、チャネルｋ＝１，・・・，Ｋのうち、デジタル音響信号ｓｘ_ｋ（ｉ_{ｋ，ｒ，０}），・・・，ｓｘ_ｋ（ｉ_{ｋ，ｒ，Ｌ−１}）の平均パワーや平均Ｓ／Ｎ比が最も大きなチャネルに対する判定結果を表すラベルθ_ｒをフレームｒに付与してもよい。また、音声区間であることを表すラベルの例はθ_ｒ＝１であり、非音声区間であることを表すラベルの例はθ_ｒ＝０である。ＶＡＤ判定部１４は、各ラベルθ_ｒを出力する。

＜Ｓ／Ｎベクトル生成部１５＞
Ｓ／Ｎベクトル生成部１５は、各チャネルｋの各フレームｒのデジタル音響信号ｓｘ_ｋ（ｉ_{ｋ，ｒ，０}），・・・，ｓｘ_ｋ（ｉ_{ｋ，ｒ，Ｌ−１}）およびラベルθ_ｒを入力として受け取る。Ｓ／Ｎベクトル生成部１５は、チャネルｋごとに音声区間のデジタル音響信号の大きさを非音声区間のデジタル音響信号の大きさで正規化した特徴量を得、チャネルｋ＝１，・・・，Ｋに対して得られた特徴量を要素とするＳ／Ｎベクトル（特徴量列）を得て出力する（ステップＳ１５）。「特徴量」の例は、非音声区間のデジタル音響信号の大きさに対する音声区間のデジタル音響信号の大きさの比を表す値である。「デジタル音響信号の大きさ」の例は、デジタル音響信号のパワーや絶対値、デジタル音響信号のパワーの平均値や絶対値の平均値、デジタル音響信号のパワーの合計値や絶対値の合計値、それらの正負反転値や関数値などである。「比を表す特徴量」の例は、「非音声区間のデジタル音響信号の大きさに対する音声区間のデジタル音響信号の大きさの比」そのもの、その逆数その他の関数値である。以下では、デジタル音響信号のパワーの平均値を「デジタル音響信号の大きさ」とし、「非音声区間のデジタル音響信号の大きさに対する音声区間のデジタル音響信号の大きさの比」そのものを「特徴量」とした例を示す。

Ｓ／Ｎベクトル生成部１５は、以下の処理を実行する。
［ステップＳ１５１］
Ｓ／Ｎベクトル生成部１５は、ｒを１に初期化する。

［ステップＳ１５２］
Ｓ／Ｎベクトル生成部１５は、ラベルθ_ｒが音声区間を表すか非音声区間を表すかを判定する。

［ステップＳ１５３］
ラベルθ_ｒが非音声区間を表す場合、Ｓ／Ｎベクトル生成部１５は、すべてのチャネルｋ＝１，・・・，Ｋについて、フレームｒに属するデジタル音響信号ｓｘ_ｋ（ｉ_{ｋ，ｒ，０}），・・・，ｓｘ_ｋ（ｉ_{ｋ，ｒ，Ｌ−１}）の平均パワーＰ_Ｎ（ｋ，ｒ）を計算し（式（１）参照）、平均パワーＰ_Ｎ（ｋ，ｒ）をｋ番目の要素とする平均パワーベクトルＰ_Ｎ（ｒ）＝（Ｐ_Ｎ（１，ｒ），・・・，Ｐ_Ｎ（Ｋ，ｒ））を記憶部１６に格納する。

［ステップＳ１５４］
ラベルθ_ｒが音声区間を表す場合、Ｓ／Ｎベクトル生成部１５は、記憶部１６に格納されている非音声区間のフレームｒ’の平均パワーベクトルＰ_Ｎ（ｒ’）＝（Ｐ_Ｎ（１，ｒ’），・・・，Ｐ_Ｎ（Ｋ，ｒ’））を取り出す。このフレームｒ’は処理対象のフレームｒに近いことが望ましい。例えば、Ｓ／Ｎベクトル生成部１５は、フレームｒに最も近い非音声区間のフレームｒ’の平均パワーベクトルＰ_Ｎ（ｒ’）を取り出す。なお、記憶部１６には平均パワーベクトルの初期値も格納されている。平均パワーベクトルの初期値の例は、Ｋ個の定数（例えば１）を要素とするベクトルなどである。非音声区間の平均パワーベクトルが得られていない場合、Ｓ／Ｎベクトル生成部１５は、平均パワーベクトルの初期値を記憶部１６から取り出し、それをＰ_Ｎ（ｒ’）＝（Ｐ_Ｎ（１，ｒ’），・・・，Ｐ_Ｎ（Ｋ，ｒ’））とする。

さらにＳ／Ｎベクトル生成部１５は、すべてのチャネルｋ＝１，・・・，Ｋについて、音声区間のフレームｒに属するデジタル音響信号ｓｘ_ｋ（ｉ_{ｋ，ｒ，０}），・・・，ｓｘ_ｋ（ｉ_{ｋ，ｒ，Ｌ−１}）の平均パワーをＰ_Ｎ（ｋ，ｒ’）で除算し、正規化平均パワーＰ_Ｖ（ｋ，ｒ）を得る（式（２）参照）。

Ｐ_Ｎ（ｋ，ｒ’）で除算することで各チャネルｋのデジタル音響信号の平均パワーを正規化し、各チャネルｋのマイクロホン２１−ｋの感度の違いによる影響を排除できる。Ｓ／Ｎベクトル生成部１５は、得られた正規化平均パワーＰ_Ｖ（ｋ，ｒ）をｋ番目の要素とするＳ／ＮベクトルＰ_Ｖ（ｒ）＝（Ｐ_Ｖ（１，ｒ），・・・，Ｐ_Ｖ（Ｋ，ｒ））を出力する。すなわち、Ｓ／ＮベクトルＰ_Ｖ（ｒ）は、音声区間のフレームｒのみについて出力される。

［ステップＳ１５５］
未処理のデジタル音響信号が存在する場合、Ｓ／Ｎベクトル生成部１５はｒに１を加算した値を新たなｒとし、処理がステップＳ１５２に進む。未処理のデジタル音響信号が存在しない場合、Ｓ／Ｎベクトル生成部１５の処理を終える。

＜記憶部１６＞
前述のように、記憶部１６は、平均パワーベクトルの初期値、およびＳ／Ｎベクトル生成部１５で得られた平均パワーベクトルＰ_Ｎ（ｒ）を格納する。

＜ベクトル分類部１７＞
ベクトル分類部１７は、複数個のＳ／ＮベクトルＰ_Ｖ（ｒ）（複数個のチャネルに対して得られた特徴量からなる特徴量列）を入力として受け取る。ベクトル分類部１７は、入力された複数個のＳ／ＮベクトルＰ_Ｖ（ｒ）をクラスタリングし、各Ｓ／ＮベクトルＰ_Ｖ（ｒ）が属する信号区間分類（クラスタ）を決定する（ステップＳ１７）。ベクトル分類部１７は、複数個のＳ／ＮベクトルＰ_Ｖ（ｒ）（例えば、５秒間に対応する区間でのＳ／ＮベクトルＰ_Ｖ（ｒ））が入力されるたびに、新たに入力されたＳ／ＮベクトルＰ_Ｖ（ｒ）をクラスタリング対象に追加してクラスタリングを実行してもよいし、１個のＳ／ＮベクトルＰ_Ｖ（ｒ）が入力されるたびに、新たに入力されたＳ／ＮベクトルＰ_Ｖ（ｒ）をクラスタリング対象に追加してクラスタリングを実行してもよい。クラスタリングの例は、教師なし学習であるオンラインクラスタリングなどであり、その一例はｌｅａｄｅｒ−ｆｏｌｌｏｗｅｒクラスタリング（例えば、参考文献２参照）である。クラスタリングの指標となる距離にはコサイン類似度を用いることができる。コサイン類似度の距離関数は以下のように定義できる。

ただし、ＣＬは各クラスタのラベルであり、ラベルＣＬは非音声区間を表すラベルθ_ｒ（例えば０）以外の値（例えば、１以上の整数）をとる。Ｐ_ＣＬはクラスタＣＬの重心ベクトルである。ｄ（ＣＬ）はクラスタＣＬの重心ベクトルＰ_ＣＬと入力されたＳ／ＮベクトルＰ_Ｖ（ｒ）との距離を表す。Ｐ_Ｖ（ｒ）・Ｐ_ＣＬはＰ_Ｖ（ｒ）とＰ_ＣＬの内積を表し、｜Ｐ_Ｖ（ｒ）｜｜Ｐ_ＣＬ｜は、Ｐ_Ｖ（ｒ）の大きさ｜Ｐ_Ｖ（ｒ）｜とＰ_ＣＬの大きさ｜Ｐ_ＣＬ｜との積を表す。大きさの例は、ユークリッドノルム等のノルムである。コサイン類似度を距離関数とするクラスタリングによって得られたラベルＣＬが、入力されたＳ／ＮベクトルＰ_Ｖ（ｒ）が属する信号区間分類を表す。ベクトル分類部１７は、入力されたＳ／ＮベクトルＰ_Ｖ（ｒ）（すなわち、音声区間のフレームｒに対応するＳ／ＮベクトルＰ_Ｖ（ｒ））に対して得られたラベルＣＬをラベルθ_ｒに代入してラベルθ_ｒを更新する。これにより、音声区間のフレームｒのラベルθ_ｒはラベルＣＬの値となり、非音声区間のフレームｒのラベルθ_ｒは非音声区間を表す値となる。
［参考文献２］Richard O. Duda, Peter E. Hart, David G. Stork, “Pattern
Classication，” Wiley-Interscience, 2000．

ベクトル分類部１７は各フレームｒのラベルθ_ｒを出力し、Ｓ／Ｎベクトル生成部１５は各フレームｒのＳ／ＮベクトルＰ_Ｖ（ｒ）を出力する。

本実施例では、Ｋ＝５とし、観測装置２０−ｋ（ｋ＝１，・・・，５）としてスマートフォン端末装置を用い、直線配置されていない３個の音源から発音された音を録音して観測信号を得、上記の信号区間分類装置１０での信号区間分類を行った。クラスタリングにはｌｅａｄｅｒ−ｆｏｌｌｏｗｅｒクラスタリングを用い、新たなクラスタリングを生成するための距離ｄ（ＣＬ）の閾値を０．６５とした。図３Ａはこの場合の各チャネルｋ＝１，・・・，５のデジタル音響信号ｓｘ_ｋ（ｉ_ｋ）から算出したＳ／ＮベクトルＰ_Ｖ（ｒ）の成分Ｐ_Ｖ（ｋ，ｒ）ごとの時間変化を示し、図３Ｂは信号区間分類結果（ラベルθ_ｒ）を示す。

＜第１実施形態の作用効果＞
本形態では、音声区間のデジタル音響信号の大きさを非音声区間のデジタル音響信号の大きさで正規化して得られる複数個のＳ／Ｎベクトルをクラスタリングする。そのため、自由に配置されたマイクロホン感度が異なる複数個のスマートフォン端末装置、固定電話、ボイスレコーダなどの録音機能をもつ端末装置で録音されたデジタル音響信号から、音源位置に基づいた信号区間分類を行うことができる。区間分類結果を用いて目的音区間とその他の音源区間に分類ができるため、雑音を抑圧し目的音を強調するフィルタの設計のための情報として利用できる。

さらに本形態では、サンプリング周波数変換部１１でサンプリング周波数変換を行ってチャネル間のサンプリング周波数のずれを補正し、信号同期部１２でチャネル間での同期を行って観測装置２０−ｋの個体差による影響を抑制した。そのため、各チャネルのＡ／Ｄ変換器２２−ｋのサンプリング周波数の公称値が互いに異なっていたり、サンプリング周波数の個体差があったりしても、信号区間分類を精度よく決定することができる。

［第２実施形態］
第１実施形態では、ベクトル分類部１７が行うＳ／ＮベクトルＰ_Ｖ（ｒ）のクラスタリングの一例としてｌｅａｄｅｒ−ｆｏｌｌｏｗｅｒクラスタリングを例示した。従来のｌｅａｄｅｒ−ｆｏｌｌｏｗｅｒクラスタリングを用いる場合、ベクトル分類部１７は、入力されたＳ／ＮベクトルＰ_Ｖ（ｒ）と各クラスタ（信号区間分類）のクラスタＣＬの重心ベクトルＰ_ＣＬとの距離を計算する。ここで、Ｓ／ＮベクトルＰ_Ｖ（ｒ）と重心ベクトルＰ_ＣＬとの最小距離が閾値を超えない場合、ベクトル分類部１７は、入力されたＳ／ＮベクトルＰ_Ｖ（ｒ）との距離が最小の（最も近い）重心ベクトルＰ_ＣＬを持つクラスタを当該Ｓ／ＮベクトルＰ_Ｖ（ｒ）が属するクラスタとして決定し、このクラスタを表すラベルＣＬをラベルθ_ｒに代入してラベルθ_ｒを更新する。一方、入力されたＳ／ＮベクトルＰ_Ｖ（ｒ）と重心ベクトルＰ_ＣＬとの最小距離が閾値を超える場合、ベクトル分類部１７はこのＳ／ＮベクトルＰ_Ｖ（ｒ）が属する新たなクラスタを生成し、このＳ／ＮベクトルＰ_Ｖ（ｒ）をその新たなクラスタの重心ベクトルＰ_ＣＬとして記憶部１６に記憶する。この新たなクラスタを表すラベルＣＬをラベルθ_ｒに代入してラベルθ_ｒを更新する。しかしながら、従来のｌｅａｄｅｒ−ｆｏｌｌｏｗｅｒクラスタリングでは、適切な閾値は環境によって異なり、閾値が不適切である場合にはクラスタリング性能が大きく劣化してしまうという課題がある。このような課題は、ｌｅａｄｅｒ−ｆｏｌｌｏｗｅｒクラスタリングに限らず、クラスタリング対象の特徴ベクトルとクラスタの代表値との距離を評価し、距離が閾値を超える場合に新たなクラスタを生成するクラスタリング手法に共通する。

そこで本形態では、クラスタ数を動的に変更せず、クラスタ（信号区間分類）の総数を観測装置２０−ｋの総数Ｋ（チャネルｋの総数Ｋ）に対応する値Ωに固定する。総数Ｋに対応する値Ωの例は、総数Ｋ、総数Ｋに対して定まるＫ未満の正整数、または総数Ｋに対して定まるＫよりも大きな正整数である。クラスタの総数を観測装置２０−ｋの総数Ｋに対応する値とする理由は次の通りである。前述のように、Ｓ／ＮベクトルＰ_Ｖ（ｒ）は、チャネルｋ（ただし、ｋ＝１，・・・，Ｋ）ごとに音声区間のデジタル音響信号の大きさを非音声区間のデジタル音響信号の大きさで正規化した値（例えば、非音声区間のデジタル音響信号のパワーに対する音声区間のデジタル音響信号のパワーの比）Ｐ_Ｎ（ｋ，ｒ）を要素とする列Ｐ_Ｖ（ｒ）＝（Ｐ_Ｖ（１，ｒ），・・・，Ｐ_Ｖ（Ｋ，ｒ））である。ここで、音源から発せられた音響信号の大きさ（パワー等）は空気中を伝搬する間に減衰し、その大きさは空気中を伝搬する距離が大きいほど小さくなる。そのため、Ｐ_Ｖ（ｋ，ｒ）の大きさは、観測装置２０−ｋが音源に近いほど大きくなる傾向があり、各Ｐ_Ｖ（ｋ，ｒ）を要素とするＳ／ＮベクトルＰ_Ｖ（ｒ）は、音響信号を発した音源に最も近い観測装置２０−ｋに対応する値となる傾向がある。例えば、観測装置２０−１，・・・，２０−Ｋが互いに離れており、音源から発せられた音響信号が何れか１つの観測装置２０−ｋのみで観測される環境では、Ｐ_Ｖ（ｋ，ｒ）のみが０以外の値（例えば１）であり、その他のＰ_Ｖ（ｋ’，ｒ）（ｋ’＝１，・・・，Ｋ、ｋ’≠ｋ）が０であるＳ／ＮベクトルＰ_Ｖ（ｒ）となる。このような性質から、複数個のＳ／ＮベクトルＰ_Ｖ（ｒ）をクラスタリングすることで、観測装置２０−１，・・・，２０−Ｋのそれぞれに対応する合計Ｋ個のクラスタが構成される傾向があるといえる。また、音源の個数がＫより少ない場合にはＫ−γ個（ただしγは正整数）のクラスタが構成される傾向があり、音源の個数がＫより多い場合にはＫ＋γ個のクラスタが構成される傾向があるともいえる。以上より、クラスタの総数を観測装置２０−ｋの総数Ｋ（すなわち、チャネルの総数Ｋ）に対応する値Ωとすることは妥当である。なお、総数Ｋそのものをクラスタの総数とするのか、総数Ｋに対して定まるＫ未満の正整数をクラスタの総数とするのか、総数Ｋに対して定まるＫよりも大きな正整数をクラスタの総数とするのかは、環境に応じて事前に定めておく。いずれを選択すべきか判断できない場合には、例えば総数Ｋそのものをクラスタの総数とする。

また本形態では、上述のクラスタごとに基準ベクトルＣＰ_ＣＬ（基準特徴量列）が対応し、互いに異なるクラスタには互いに異なる基準ベクトルＣＰ_ＣＬが対応する。基準ベクトルＣＰ_ＣＬはＫ個の要素からなる。本形態の基準ベクトルＣＰ_ＣＬはクラスタごとに予め定められたものであり、必ずしもクラスタに属するＳ／Ｎベクトルの重心ベクトルである必要はない。例えば、総数Ｋそのものをクラスタの総数とする場合には、互いに異なるクラスタに対応する基準ベクトルＣＰ_ＣＬが互いに直交するように設定される。言い換えると、互いに異なるクラスタに対応する基準ベクトルＣＰ_ＣＬの内積が０となるように、各クラスタの基準ベクトルＣＰ_ＣＬが設定される。例えば、１個の要素のみが０以外の値（例えば１）であり、他のＫ−１個の要素がすべて０のＫ次元ベクトルを基準ベクトルＣＰ_ＣＬとする。例えば、ｋ番目の要素が１であり、他の要素が０のＫ次元ベクトルをＣＬ＝ｋに対応する重基準ベクトルＣＰ_ＣＬ＝ｋとする。その一例はＣＰ_ＣＬ＝１＝［１，０，・・・，０］^Ｔである（ただし、＊^Ｔは＊の転置を表す）。

以下では、第１実施形態との相違点のみを説明し、第１実施形態と共通する部分およびステップについては、第１実施形態と同じ参照番号を用いて説明を省略する。

図１に例示するように、本形態の信号区間分類装置２０は、サンプリング周波数変換部１１、信号同期部１２、フレーム分割部１３、ＶＡＤ判定部１４、Ｓ／Ｎベクトル生成部１５（特徴量列取得部）、記憶部２６、およびベクトル分類部２７（分類部）を有する。本形態の信号区間分類装置２０は、例えば公知のコンピュータに所定のプログラムが読み込まれて構成される特別な装置である。信号区間分類装置２０に入力されたデータおよび処理されたデータは、図示していないメモリに格納され、必要に応じて処理部から読み出される。

＜記憶部２６＞
記憶部２６は、第１実施形態で説明した平均パワーベクトルの初期値、およびＳ／Ｎベクトル生成部１５で得られた平均パワーベクトルＰ_Ｎ（ｒ）に加え、さらに各クラスタに対して予め定められた基準ベクトルＣＰ_ＣＬが格納される。

＜ベクトル分類部２７＞
ベクトル分類部２７は、複数個のＳ／ＮベクトルＰ_Ｖ（ｒ）（複数個のチャネルに対して得られた特徴量からなる特徴量列）を入力として受け取り、さらに予め定められたΩ個のクラスタにそれぞれ対応する基準ベクトルＣＰ_ＣＬを記憶部２６から抽出する。ベクトル分類部２７は、入力されたＳ／ＮベクトルＰ_Ｖ（ｒ）（特徴量列）との距離が最小の基準ベクトルＣＰ_ＣＬ（基準特徴量列）に対応するクラスタ（信号区間分類）を当該Ｓ／ＮベクトルＰ_Ｖ（ｒ）が属するクラスタに決定し、決定されたクラスタを表すラベルＣＬをラベルθ_ｒに代入してラベルθ_ｒを更新する（ステップＳ２７）。なお、Ｓ／ＮベクトルＰ_Ｖ（ｒ）と基準ベクトルＣＰ_ＣＬとの距離関数に何を用いるかについての限定はないが、例えば、コサイン類似度の距離関数を用いることができる。この場合のＳ／ＮベクトルＰ_Ｖ（ｒ）と基準ベクトルＣＰ_ＣＬとの距離関数ｄ（ＣＬ）は、例えば以下のようになる。

Ｓ／ＮベクトルＰ_Ｖ（ｒ）は音声区間のフレームｒに対応するため、音声区間のフレームｒのラベルθ_ｒはラベルＣＬの値となり、非音声区間のフレームｒのラベルθ_ｒは非音声区間を表す値となる。その他は第１実施形態と同じである。

本実施例では、Ｋ＝５とし、観測装置２０−ｋ（ｋ＝１，・・・，５）としてスマートフォン端末装置を用い、分散して配置された２個の音源から発音された音を録音して観測信号を得、上記の信号区間分類装置２０での信号区間分類を行った。図４Ａはこの場合の各チャネルｋ＝１，・・・，５のデジタル音響信号ｓｘ_ｋ（ｉ_ｋ）から算出したＳ／ＮベクトルＰ_Ｖ（ｒ）の成分Ｐ_Ｖ（ｋ，ｒ）ごとの時間変化を示し、図４Ｂは信号区間分類結果（ラベルθ_ｒ）を示す。

＜第２実施形態の作用効果＞
本形態では、クラスタリングの処理に閾値を用いる必要がないため、閾値の設定によってクラスタリング性能が低下することがない。また、本形態のクラスタリング処理は処理コストが小さく、リアルタイム処理に適している。さらに、１個の要素のみが０以外の値（例えば１）であり、他のＫ−１個の要素がすべて０のＫ次元ベクトルを基準ベクトルＣＰ_ＣＬとして用いることで、各音源をそれに最も近い観測装置２０−ｋに対応する識別子で区別することができる。その他、本形態でも前述した第１実施形態と同じ作用効果を奏する。

＜変形例等＞
なお、本発明は上述の各実施形態に限定されるものではない。例えば、すべてのチャネルｋ＝１，・・・，ＫのＡ／Ｄ変換器２２−ｋのサンプリング周波数の公称値が互いに同一であるならば、サンプリング周波数変換部１１の処理を行わなくてもよい。この場合には「入力デジタル音響信号」がそのまま「変換デジタル音響信号」として信号同期部１２に入力されてもよい。このような場合にはサンプリング周波数変換部１１を設けなくてもよい。

さらにすべてのチャネルｋ＝１，・・・，ＫのＡ／Ｄ変換器２２−ｋのサンプリング周波数の公称値が互いに同一であり、それらの個体差の影響も小さいのであれば、サンプリング周波数変換部１１および信号同期部１２の処理を行わなくてもよい。この場合には「入力デジタル音響信号」がそのまま「デジタル音響信号」としてフレーム分割部１３に入力されてもよい。このような場合にはサンプリング周波数変換部１１および信号同期部１２を設けなくてもよい。

上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。

上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。

１０，２０ 信号区間分類装置
２０−１〜Ｋ 観測装置

Claims (4)

1. 複数個のチャネルの入力デジタル音響信号を入力とし、前記複数個のチャネルの入力デジタル音響信号をサンプリング周波数変換し、特定のサンプリング周波数の変換デジタル音響信号を得るサンプリング周波数変換部と、
   前記複数個の変換デジタル音響信号について各チャネルから一定時間長のサンプル列をそれぞれ取得し、１つのチャネルのサンプル列を基準サンプル列として、当該基準サンプル列としたチャネル以外のチャネルの非基準サンプル列に対して前記基準サンプル列との相互相関を最大にする遅延量をそれぞれ探索し、前記非基準サンプル列に対して当該遅延量を加えたサンプル列をそれぞれ生成することを前記一定時間長よりも短い時間間隔で前記サンプル列を取得する範囲をシフトさせながら定期的に繰り返すことによって、チャネル間で同期した変換デジタル音響信号を取得する信号同期部と、
   チャネルごとに音声区間の前記チャネル間で同期した変換デジタル音響信号の大きさを非音声区間の前記チャネル間で同期した変換デジタル音響信号の大きさで正規化した要素からなるＳ／Ｎベクトルである特徴量を得る特徴量列取得部と、
   前記複数個のチャネルに対して得られた前記特徴量からなる特徴量列をクラスタリングし、前記特徴量列が属する信号区間分類を決定する分類部と、
   を有し、
   前記信号区間分類の総数が前記チャネルの総数であり、
   前記信号区間分類ごとに基準特徴量列が対応し、
   互いに異なる前記信号区間分類に対応する前記基準特徴量列が互いに直交し、前記分類部は、前記特徴量列との距離が最小の前記基準特徴量列に対応する前記信号区間分類を当該特徴量列が属する前記信号区間分類とする、
   ことを特徴とする信号区間分類装置。
2. 請求項１の信号区間分類装置であって、
   前記複数個のチャネルの入力デジタル音響信号のそれぞれは、録音機能を持つ複数個の装置のそれぞれで得られたものである、
   ことを特徴とする信号区間分類装置。
3. 複数個のチャネルの入力デジタル音響信号を入力とし、前記複数個のチャネルの入力デジタル音響信号をサンプリング周波数変換し、特定のサンプリング周波数の変換デジタル音響信号を得るサンプリング周波数変換ステップと、
   前記複数個の変換デジタル音響信号について各チャネルから一定時間長のサンプル列をそれぞれ取得し、１つのチャネルのサンプル列を基準サンプル列として、当該基準サンプル列としたチャネル以外のチャネルの非基準サンプル列に対して前記基準サンプル列との相互相関を最大にする遅延量をそれぞれ探索し、前記非基準サンプル列に対して当該遅延量を加えたサンプル列をそれぞれ生成することを前記一定時間長よりも短い時間間隔で前記サンプル列を取得する範囲をシフトさせながら定期的に繰り返すことによって、チャネル間で同期した変換デジタル音響信号を取得する信号同期ステップと、
   チャネルごとに音声区間の前記チャネル間で同期した変換デジタル音響信号の大きさを非音声区間の前記チャネル間で同期した変換デジタル音響信号の大きさで正規化した特徴量を得る特徴量列取得ステップと、
   前記複数個のチャネルに対して得られた特徴量からなる特徴量列をクラスタリングし、前記特徴量列が属する信号区間分類を決定する分類ステップと、
   を有し、
   前記信号区間分類の総数が前記チャネルの総数であり、
   前記信号区間分類ごとに基準特徴量列が対応し、
   互いに異なる前記信号区間分類に対応する前記基準特徴量列が互いに直交し、前記分類ステップは、前記特徴量列との距離が最小の前記基準特徴量列に対応する前記信号区間分類を当該特徴量列が属する前記信号区間分類とするステップである、
   ことを特徴とする信号区間分類方法。
4. 請求項１または２の信号区間分類装置の各部としてコンピュータを機能させるためのプログラム。

Images