JP4875656B2

JP4875656B2 - 信号区間推定装置とその方法と、プログラムとその記録媒体

Info

Publication number: JP4875656B2
Application number: JP2008119717A
Authority: JP
Inventors: 章子荒木; 健太郎石塚; 雅清藤本; 昭二牧野
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2008-05-01
Filing date: 2008-05-01
Publication date: 2012-02-15
Anticipated expiration: 2028-05-01
Also published as: JP2009271183A

Description

この発明は、複数人による会話などを複数のマイクロホンで収録し、「いつ誰が話したか」を推定する技術に関連する。特に、複数の音源からの信号が混在しているデータについて、各音源から信号が発せられている区間を推定する複数信号区間推定装置とその方法と、プログラムと記録媒体に関する。

複数人の発話者の各話者の発言している音声区間を検出する技術は、例えば会議録自動作成において各発言に発話者を自動的に付与したり、会議収録データに話者情報を付与して録音データの検索や頭出しを容易にしたりする際に重要である。

従来の音源方向推定装置として、非特許文献１に開示された方法が知られている。図１０に非特許文献１の音源方向推定装置２００の機能構成を示して簡単に説明する。音源方向推定装置２００は、周波数領域変換部２０１と、音声区間推定部２０２と、到来方向推定部２０３と、到来方向分類部２０４を備える。周波数領域変換部２０１は、離散値化された複数のマイクロホンで収録された観測信号を例えば３２ｍｓ毎に窓関数で切り出したあと（切り出した１区間を以降、「フレーム」と称する。）、観測信号をフーリエ変換などで周波数領域の信号に変換する。音声区間推定部２０２は、周波数領域に変換された観測信号から音声区間を推定する。到来方向推定部２０３は、音声区間とされた各フレームの観測信号から音声到来方向を推定する。到来方向分類部２０４は、音声到来方向が類似した音声区間をその方向の話者が話した区間として出力する。
S.Araki,H.Sawada,and S.Makino,"Blind speech separation in a meeting situation with maximum SNR beamformers,"ICASSP2007,vol.1,pp.41-44,Apr.2007.

従来の方法では次の問題点があった。その１つは、音声区間推定部２０２が、音声区間か否かを決定論的に出力する点である。これは音声区間推定部２０２において、音声区間であるのにそうではないと判定する誤棄却や、音声が無い区間を音声区間と判定する誤受理の推定誤りが発生することを意味する。非音声区間と判定されたフレームは以後扱われないので、誤棄却は音声の取りこぼしの原因になる。一般に誤棄却と誤受理は、トレードオフの関係にある。誤棄却と誤受理との関係を複数話者の音声区間検出に適したものに設定することは大変難しく、従来の方法では音声区間の取りこぼしが発生していた。

また、問題点の２つ目としては、到来方向推定部２０３が、各フレームにおいて１つの到来方向しか出力しないため、フレーム内に複数人の発言が混在する場合でも１つの到来方向の情報しか得られない。このため、検出されなかった方向からの話者についての音声区間を取りこぼしてしまう。このように従来の方法では、音声区間推定部２０２と到来方向推定部２０３のそれぞれに、音声区間を欠損させてしまう問題点があった。
この発明は、このような点に鑑みてなされたものであり、音声区間を欠損させることのない複数信号区間推定装置と、その方法とプログラムと、その記録媒体を提供することを目的とする。

この発明の信号区間推定装置は、複数のマイクロホンで収録された複数の音源からの音声信号から、各音源から信号が発せられている区間を推定するものであって、周波数領域変換部と、音声存在確率推定部と、到来方向推定部と、到来方向確率計算部と、乗算部と、判定部とを具備する。周波数領域変換部は、音声信号をフレーム毎に周波数領域の信号に変換する。音声存在確率推定部は、フレーム毎の周波数領域の信号からフレーム毎に音声の存在確率を推定する。到来方向推定部は、フレーム毎の周波数領域の信号からフレーム毎に各周波数成分についての音声到来方向を推定する。到来方向確率計算部は、各周波数成分についての音声到来方向からフレーム毎に各音源に関する音声到来方向確率を計算する。乗算部は、音声存在確率と、音声到来方向確率との積を計算して各フレームにおける音源毎の存在確率を出力する。判定部は、音源毎の存在確率が所定の閾値を超える場合に、当該フレームを当該音源の信号区間と判定する。

この発明の複数信号区間推定装置は、各フレームにおける音声存在確率を計算すると共に、各フレームの全ての周波数における音声到来方向確率を推定する。そして、音声存在確率と音声到来方向確率を乗算した値を音源毎の発音確率として出力する。これにより、音声区間検出部の決定的な推定誤りによる性能低下を防げる。また、各フレームで複数の音源の到来方向を確率的に推定できる。よって、音声区間の取りこぼしの少ない複数信号区間推定装置を実現することができる。

以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。

図１にこの発明の複数信号区間推定装置１００の機能構成例を示す。図２に動作フローを示す。複数信号区間推定装置１００は、周波数領域変換部１１と、音声存在確率推定部１２と、到来方向推定部１３と、到来方向確率計算部１４と、乗算部１５とを具備する。周波数領域変換部１１に入力される観測信号ｘ（τ）は、複数のマイクロホンで収録された複数の音源からの音声信号であり、例えばサンプリング周波数１６ｋＨｚで離散値化された信号である。図１では観測信号を離散値化するＡＤ変換器については省略している。複数信号区間推定装置１００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。

周波数領域変換部１１は、離散値化された観測信号を、例えば５１２点毎に窓関数で切り出し、フーリエ変換などで周波数領域の信号に変換する（ステップＳ１１、図２参照）。この場合、フレーム長は５１２/１６ｋＨｚ＝３２ｍｓである。音声存在確率推定部１２は、各フレーム（τ）における音声の存在確率ｐ_ｖ（τ）を推定する（ステップＳ１２）。到来方向推定部１３は、各フレームの各周波数成分についての音声到来方向ｑ（ｆ，τ）を推定する（ステップＳ１３）。到来方向確率計算部１４は、音声到来方向を分類して各音源に関する音声到来方向の分布を求め、各音源に関する音声到来方向確率ｐ_ｋ（τ）を計算する（ステップＳ１４）。乗算部１５は、音声存在確率ｐ_ｖ（τ）と、音声到来方向確率ｐ_ｋ（τ）との積を計算して音源毎の発音確率Ｐ_ｋ（τ）を出力する（ステップＳ１５）。

以上のように音声区間を音声存在確率として、また音声到来方向を各フレームで複数音源に関する音声到来方向確率として処理するのでフレームが欠損することが少ない。つまり音声信号の取りこぼしを少なくした複数信号区間推定装置が実現できる。以下、複数信号区間推定装置１００の各部の動作を詳しく説明する。ただし、周波数領域変換部１１と乗算部１５については、従来技術で簡単に構成できるので、詳しい説明は省略する。

〔音声存在確率推定部〕
図３に音声存在確率推定部１２の機能ブロックを示す。音声存在確率推定部１２は、ＧＭＭパラメータ記録部１２０と、カルマンフィルタ１２１と、ＧＭＭ尤度計算部１２２と、単一ガウス分布尤度計算部１２３と、推移確率記録部１２４と、前向き確率算出部１２５と、前向き確率保持部１２６を備える。音声存在確率推定部１２は、入力の特徴ベクトルを混合ガウス分布で表現したＧＭＭ（Gaussian Mixture model）を用いて、式（１）と（２）に示すように音声存在確率ｐ_ｖ（τ）を前向き確率α_ｊ（τ）として算出するものである。

ここで、時刻τ−１における音声状態（音声＋雑音の状態）をｉ＝１とし、非音声状態（無音＋雑音の状態）をi＝０とする。また時刻τにおける音声状態をｊ＝１とし、非音声状態をｊ＝０とする。ａ_ijは時刻τでの状態ｉからｊに推移する推移確率である。ｂ_ｊ（τ）は音声ＧＭＭ又は非音声ＧＭＭの出力確率である。

カルマンフィルタ１２１は、観測信号ｘ（ｆ，τ）とＧＭＭパラメータを入力として、時刻τ−１における音声/非音声ＧＭＭから、時刻τにおける各ガウス分布（ｋ番目）の平均値μ_jmkτと分散値Σ_jmkτを推定する。単一ガウス分布尤度計算部１２３は、ガウス分布の平均値μ_jmkτと分散値Σ_jmkτを入力として各ガウス分布の尤度ｂ_ｊｋ（τ）を式（３）で計算する。

ここでｘ（ｍ，τ）はフレームτのｍ次のメルスペクトルである。
ＧＭＭ尤度計算部１２２は、各ガウス分布の尤度ｂ_ｊｋ（τ）と、重み係数ω_jkを入力として音声ＧＭＭｂ_１（τ）及び非音声ＧＭＭｂ_０（τ）の尤度ｂ_ｊ（τ）を式（４）で計算する。

前向き確率算出部１２５は、音声ＧＭＭｂ_１（τ）と、非音声ＧＭＭｂ_０（τ）と、前向き確率保持部１２６に記録された１時刻前の前向き確率α_ｊ（τ−１）と、推移確率記録部１２４に記録された推移確率ａ_ijを入力として、式（２）で得られた前向き確率α_１（τ）を音声存在確率ｐ_ｖ（τ）として出力する。
なお、音声存在確率ｐ_ｖ（τ）を式（５）に示す演算で求めても良い。

ここでΛは、式（６）と（７）で表わせる。

ここでλ_Ｎ（ｆ）は周波数ｆにおけるノイズの平均パワー（音声が明らかに存在しない録音ファイルの冒頭区間などで求める。）、Ｌはフーリエ変換で用いる周波数の個数である。（例えば参考文献参照）
〔参考文献〕J.Sohn,N.S.Kim and W.Sung,“A Statistical Model-Based Voice Activity Detection,IEEE Signal Processing letters”,vol.6,no.1,pp.1-3,1999.

〔到来方向推定部〕
図４に到来方向推定部１３と到来方向確率計算部１４の機能構成例を示す。到来方向推定部１３は、マイク間位相差計算部１３１と音源方向ベクトル計算部１３２を備える。マイク間位相差計算部１３１は、周波数領域に変換された観測信号ｘ（ｆ，τ）の各フレームτ、各周波数ｆにおけるマイク間位相差ｑ´_ｊｊ´を式（８）で計算する。

ここでｘ_ｊ（ｆ，τ）はマイクｊでのフレームτ、周波数ｆにおける観測信号である。＊は複素共役を表わす。全てのマイクペアにおけるマイク間位相差ｑ´_ｊｊ´を並べたベクトルをｑ´（ｆ，τ）と記載する。ベクトルｑ´（ｆ，τ）は音源方向ベクトル計算部１３２に入力される。音源方向ベクトル計算部１３２は、ムーア・ペンローズ（Moore-Penrose）の擬似逆行列を用いて式（９）により音源方向ベクトルｑ（ｆ，τ）を計算する。

ここで＋はMoore-Penroseの擬似逆行列を表わし、Ｄ＝[ｄ_１−ｄ_J，…，ｄ_Ｍ−ｄ_J]^Ｔであり、ｄ_ｊはマイクｊの座標を[ｘ，ｙ，ｚ]と並べたベクトルである。マイクから見た音源の水平角をθ、仰角をφとすると音源方向ベクトルｑ（ｆ，τ）は式（１０）で表わせる。

音源方向ベクトルｑ（ｆ，τ）は到来方向確率計算部１４に入力される。以降、記載の簡単化のために水平角θ（ｆ，τ）のみを用いて説明をする。

〔到来方向確率計算部〕
到来方向確率計算部１４は、クラスタリング部１４０と、各クラスタの分布計算部１６０と、確率計算部１７０を備える。この実施例では、クラスタリング部１４０が、音源方向ベクトルｑ（ｆ，τ）の各フレームの各周波数（ｆ，τ）における水平角θ（ｆ，τ）をオンラインクラスタリングする。到来方向確率計算部１４の動作フローを図５に示す。到来方向確率計算過程（ステップＳ１４、図２参照）は、クラスタリング部１４０が音源方向ベクトルとクラスタのセントロイドとの距離で音源方向ベクトルを分類する分類ステップ（ステップＳ１４０、図５参照）と、各クラスタの分布計算部が分類毎の音源方向ベクトルの分布を計算する分布計算ステップ（ステップＳ１６０）と、確率計算部１７０が分類毎の音源方向ベクトルの分布を、音源方向ベクトルの全体の分布で除して音声到来方向確率として計算する確率計算ステップ（ステップＳ１７０）とを含む。図６に分類ステップＳ１４０の詳細な動作フローを示して説明する。

<ステップＳ１４１>
まず、分類するグループの中心値であるセントロイドを更新する大きさである更新ステップサイズβと、グループ分けするための閾値ｚを設定する。更新ステップサイズβと閾値ｚは、この発明を実施する環境に応じて適宜実験的に定められる値である。
<ステップＳ１４２>
フレームτと周波数ｆを初期化（τ＝１，ｆ＝１）する。
<ステップＳ１４３>
最初のフレームτ＝１の最小周波数ｆ＝１の音源方向ベクトルｑ（ｆ，τ）の水平角θ（ｆ，τ）を、第１のセントロイドｃ_１とする。
<ステップＳ１４４>
周波数ｆを次の周波数にインクリメントする。

<ステップＳ１４５>
水平角θ（ｆ，τ）に最も近い既存セントロイドｃ_ｋを見つけ、その番号をｋとする。つまり式（１１）で、クラスタリングする周波数成分の水平角に最も近いクラスタｋを選択する。

<ステップＳ１４６>
ステップＳ１４５で求めた最も近いセントロイドｃ_ｋとθ（ｆ，τ）の距離と閾値ｚを比較する。距離が閾値ｚより小さければ（ステップＳ１４６のＹｅｓ）、θ（ｆ，τ）も同方向（音源）からの周波数成分と判定してステップＳ１４７の処理を行う。距離が閾値ｚよりも大きければ（ステップＳ１４６のＮｏ）、他の方向の音源からの周波数成分と判定してステップＳ１４９の処理を行う。
<ステップＳ１４７>
セントロイドｃ_ｋを式（１２）で更新する。

式（１２）はセントロイドｃ_ｋを、水平角θ（ｆ，τ）に近づけることを意味する。これは、セントロイドｃ_ｋの初期値にクラスタリングの性能が左右されないようにするクラスタリングの一般的な手法である。
<ステップＳ１４８>
距離が閾値ｚより小さいので同方向（音源）からの周波数成分と判断し、その時間周波数（ｆ，τ）にクラスタＫのクラスタ番号を付与する。ここでは、ある時間周波数（ｆ，τ）のクラスタ番号をＣ（ｆ，τ）に保持する。

<ステップＳ１４９>
距離が閾値ｚよりも大きいので、この音源方向ベクトルｑ（ｆ，τ）は、他の方向の音源からの周波数成分と判定する（ステップＳ１４６のＮｏ）。他の方向からの周波数成分として分類するために、ｍａｘ（ｋ）＋１番目の新しいクラスタを生成し、そのセントロイドをｃ_{max（ｋ）＋１}＝θ（ｆ，τ）として与える。
<ステップＳ１５０>
その時間周波数（ｆ，τ）に新しいクラスタ番号を付与する。
<ステップＳ１５１>
周波数ｆが、最後の周波数か否かを判定する。最後の周波数で無い場合（ステップＳ１５１のＮｏ）、周波数をインクリメント（ステップＳ１５４）してステップＳ１４５の動作に戻る。

<ステップＳ１５２>
周波数ｆが、最後の周波数の場合（ステップＳ１５１のＹｅｓ）、フレームτが最後であるか否かを判定する。フレームτが最後の場合、クラスタリング動作を終了する（ステップＳ１５２のＹｅｓ）。フレームτが最後で無い場合（ステップＳ１５２のＮｏ）、フレームτをインクリメントすると共に周波数を初期化（ステップＳ１５５）してステップＳ１４５の動作に戻る。なお、メンバ数が少ないクラスタは除外しても良い（破線で示すステップＳ１５３）。

以上のように動作することで、音源方向ベクトルｑ（ｆ，τ）の全てのフレーム、全ての周波数がクラスタリングされ、音源方向ベクトルｑ（ｆ，τ）にクラスタ番号ｋが付与される。
クラスタリング部１４０で分類された音源方向ベクトルｑ（ｆ，τ）の水平角θ（ｆ，τ）の分布を、各クラスタの分布計算部１６０が計算する。各クラスタの分布計算部１６０は、式（１３）を用いて各クラスタを平均値ｃ_ｋ，分散σ_ｋ ^２の正規分布でモデル化する（ステップＳ１６０、図５参照）。

ここで、平均値ｃ_ｋは、クラスタのセントロイド又は式（１４）で計算した値を用いる。
分散σ_ｋ ^２は式（１５）で計算する。

ここで、｜Ｃ_ｋ｜は、クラスタ番号Ｃ（ｆ，τ）＝ｋである成分の個数である。確率計算部１７０は、各フレームτでｋの方向の音源が存在する確率を式（１６）と（１７）を用いて計算する。

最後に乗算部１５にて各フレームτにおける音声存在確率ｐ_ｖ（τ）と到来方向確率ｐ_ｋ（τ）との積を計算し、その確率値を音源ｋの発話確率Ｐ_ｋ（τ）として出力する（ステップＳ１７０）。

これを全てのクラスタｋに対して計算することで、全ての音源の発話確率Ｐ_ｋ（τ）を得ることができる。

次に到来方向確率ｐ_ｋ（τ）を、クラスタリングされた音源方向ベクトルｑ（ｆ，τ）の水平角θ（ｆ，τ）の度数から求めるようにした実施例２を説明する。実施例２の到来方向確率計算部１４´は、クラスタリング部１４０´と、確率計算部１７０´を備える（図４参照）。他の構成は実施例１と同じである。動作フローを図７に示す。
クラスタリング部１４０´は、ある時刻τまでに存在するクラスタのセントロイドｃ_ｋについて、式（１９）に示す計算をして音源方向ベクトルｑ（ｆ，τ）をクラスタリングする（ステップＳ１４０´）。

ここでｔｈはある閾値であり、図６の閾値ｚと例えば同じ値で構わない。あるクラスタＣ_ｋに属する水平角θ（ｆ，τ）については１を、そうでなければ０に分類する。この分類によって各クラスタの度数が求められる。その動作フローについては、前述した図６から明らかであるので省略する。
確率計算部１７０´は、式（２０）で到来方向確率ｐ_ｋ（τ）を計算する（ステップＳ１７０´）。

以上のように到来方向確率ｐ_ｋ（τ）を求めることで、計算負荷を軽減することができる。計算負荷を軽減することで処理速度を向上させる効果が期待できる。

実施例３として雑音を抑圧するようにした到来方向確率計算部６０の構成を図４に示して説明する。到来方向確率計算部６０は、振幅計算部６１を備える。他の構成は実施例１，２と同じである。動作フローを図８に示す。
振幅計算部６１は、音源方向ベクトルｑ（ｆ，τ）の時間周波数（ｆ，τ）における正規化された振幅値ａ（ｆ，τ）を式（２１）で計算する（ステップＳ６１）。

ｘ₁（ｆ，τ）の1はマイクロホン番号である。定数ｂは１〜４の整数が望ましく、ｂ＝１ならば振幅、ｂ＝２ならばパワー、ｂ＝４ならば尖度の正規化された振幅値ａ（ｆ，τ）となる。
確率計算部６２は、振幅値ａ（ｆ，τ）を用いて到来方向確率ｐ_ｋ（τ）を式（２２）で算出する（ステップＳ１７０´）。

ここで正規化された振幅値ａ（ｆ，τ）は、重み係数である。音声が存在する音源方向ベクトルｑ（ｆ，τ）の時間周波数（ｆ，τ）の振幅は大きな値を持つ。それに対して音声が存在しない雑音だけの振幅は小さな値を持つ。したがって、音声区間における正規化された振幅値ａ（ｆ，τ）は大きくなり、非音声区間におけるそれは小さな値になる。

この正規化された振幅値ａ（ｆ，τ）を到来方向確率ｐ_ｋ（τ）の算出の際に、式（２２）に示すように考慮することで、雑音を音声として誤検出してしまうことを抑制することができる。
なお、式（２２）は実施例２に振幅計算部６１を設けた場合の式である。音源方向ベクトルの分布を正規分布として求めた実施例１に振幅計算部６１を設けても、雑音を抑圧する効果が期待できる。

〔シミュレーション結果〕
実施例２の複数信号区間推定装置の性能を確認するシミュレーションを行った。シミュ
レーション条件を簡単に説明する。図７にシミュレーションに用いた部屋の平面図を示す。奥行きのある部屋の幅側の一辺を、３０５ｃｍの幅のパーテーションで仕切り、幅が約４ｍで奥行き約９.３ｍの部屋を形成した。この部屋の残響時間は約３５０ｍｓである。パーテーションの一方の隅にはパーソナルコンピュータ（ＰＣ）があり、そのファンノイズが本システムに対する雑音となった。パーテーション側に近い位置に長円形のテーブルを配置した。テーブルを挟んでパーテーション側に話者ＡとＢの二人、反対側に話者ＣとＤの二人を座らせた。そして４人の話者のほぼ中央付近の位置に３個のマイクロホンを、４ｃｍの正三角形の頂点に位置するように配置した。

話者Ａ〜Ｄの４名の会議を５分間、サンプリング周波数１６ｋＨｚ、フーリエ変換のフレーム長を６４ｍｓ、フレームシフト長を３２ｍｓとし、上記した式（１６）の発話確率Ｐ_ｋ（τ）が０.４以上となるクラスタｋの方向の話者が話したと判定した。評価指標としては、ＤＥＲ＝（誤受理・誤棄却・話者誤りの時間長）/全音声区間長×１００[％（Diarization Error Rate）を利用した。

ここで、誤受理（FAT：false alarm speaker time）は、誰も話していないにもかかわらず誰かが話していると判定した時間長である。誤棄却（MST：missed speaker time）は、誰かが話しているにもかかわらず話していないと判定した時間長である。話者誤り（SET：speaker error time）は、話者を誤って判定した時間長である。ＤＥＲ値は、小さい方が話者区間推定の精度が高いことを意味する。全てを[％]で表わす。表１に結果を示す。

従来法では、全てのエラーが多く、ＤＥＲも大きかった。それに対して実施例２の方
法では、特に誤棄却（ＭＳＴ）が大きく改善され、その結果としてＤＥＲの値が改善した。これは、フレーム毎に、音声区間と音声到来方向が、確率値として処理されること、及び各フレームで複数の方向を推定することにより音声区間が欠損することが少ないことによる。

以上述べたように、この発明の複数信号区間推定装置によれば、音声信号の取りこぼしを少なくした複数信号の区間推定を行うことができる。この発明の技術思想に基づく複数信号区間推定装置とその方法は、上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能である。上記した装置及び方法において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
例えば、音声存在確率ｐ_ｖ（τ）と到来方向確率ｐ_ｋ（τ）の一方を、計算を軽くする目的で、決定論的に算出するようにしても良い。一方を決定論的に算出しても、音声が在ると判定されたフレームにおいては、複数音源があれば複数方向の方向確率が計算されるので、そのフレーム内の複数の音源を取りこぼすことが従来法に比べて少なくなる。

また、到来方向確率ｐ_ｋ（τ）は、式（１７）を満たす水平角θ（ｆ，τ）が各周波数でｔｈ_２個以上存在していればｐ_ｋ（τ）＝１、そうでなければｐ_ｋ（τ）＝０としても良い。また、クラスタリング部におけるセントロイドｃ_ｋは、予めそれぞれの音源の方向θ_ｋが分かっていればその角度をｃ_ｋ＝θ_ｋとして与えても良い。また、各フレーム、周波数（ｆ，τ）における水平角θ（ｆ，τ）ではなく、従来のＧＣＣ−ＰＨＡＴ法のように各フレームτ毎に１つだけ求めた水平角θ（τ）をオンラインクラスタリングし、そのセントロイドをｃ_ｋとして用いても良い。また、水平角θ（ｆ，τ）を用いて音源の到来方向を分類する例で説明を行ったが、音源方向ベクトルｑ（ｆ，τ）そのものを用いて分類するようにしても良い。

また、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ-ＲＡＭ（Random Access Memory）、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ-Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてフラッシュメモリー等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

この発明の複数信号区間推定装置１００の機能構成例を示す図。複数信号区間推定装置１００の動作フローを示す図。音声存在確率推定部１２の機能ブロックを示す図。到来方向推定部１３と到来方向確率計算部１４の機能ブロックを示す図。到来方向確率計算部１４の動作フローを示す図。クラスタリング部１４０の動作フローを示す図。実施例２の到来方向確率計算部１４´の動作フローを示す図。実施例３の到来方向確率計算部６０の動作フローを示す図。シミュレーションを行った部屋の平面を示す図。非特許文献１に開示された従来の音声区間推定装置２００の機能構成を示す図。

Claims

複数のマイクロホンで収録された複数の音源からの音声信号から、各音源から信号が発せられている区間を推定する信号区間推定装置であって、
上記音声信号を、フレーム毎に周波数領域の信号に変換する周波数領域変換部と、
上記フレーム毎の周波数領域の信号からフレーム毎に音声の存在確率を推定する音声存在確率推定部と、
上記フレーム毎の周波数領域の信号からフレーム毎に各周波数成分についての音声到来方向を推定する到来方向推定部と、
上記各周波数成分についての音声到来方向からフレーム毎に上記各音源に関する音声到来方向確率を計算する到来方向確率計算部と、
上記音声存在確率と、上記音声到来方向確率との積を計算して上記各フレームにおける音源毎の存在確率を出力する乗算部と、
上記音源毎の存在確率が所定の閾値を越える場合に、当該フレームを当該音源の信号区間と判定する判定部と、
を具備する信号区間推定装置。
請求項１に記載の信号区間推定装置において、
上記到来方向確率計算部は、クラスタリング部と、各クラスタの分布計算部と、確率計算部を備え、
上記クラスタリング部は、上記フレーム毎に計算された各周波数での音源方向をクラスタリングすることにより、上記音源方向をクラスタに分けるものであり、
上記各クラスタの分布計算部は、上記クラスタリング部で得られた各クラスタの上記音源方向の分布を計算するものであり、
上記確率計算部は、上記クラスタ毎の上記音源方向の分布を、上記音源方向の全体の分布で正規化して音声到来方向確率として出力するものである、
ことを特徴とする信号区間推定装置。
請求項１に記載の信号区間推定装置において、
上記到来方向確率計算部は、クラスタリング部と、確率計算部を備え、
上記クラスタリング部は、上記フレーム毎に計算された各周波数での音源方向と閾値との距離で上記音源方向をクラスタリングするものであり、
上記確率計算部は、上記クラスタの各メンバ数を上記音源方向の全体のメンバ数で除した値を音声到来方向確率として出力するものであることを特徴とする信号区間推定装置。
請求項１乃至３の何れかに記載した信号区間推定装置において、
上記到来方向確率計算部は、上記各フレーム、各周波数における正規化された振幅値を計算する振幅計算部を備え、
上記音声到来方向確率を計算する際に、上記正規化された振幅値を重み係数として用いることを特徴とする信号区間推定装置。
複数のマイクロホンで収録された複数の音源からの音声信号から、各音源から信号が発せられている区間を推定する信号区間推定方法であって、
周波数領域変換部が、上記音声信号を、フレーム毎に周波数領域の信号に変換する周波数領域過程と、
音声存在確率推定部が、上記フレーム毎の周波数領域の信号からフレーム毎に音声存在確率を推定する音声存在確率推定過程と、
到来方向推定部が、上記フレーム毎の周波数領域の信号からフレーム毎に各周波数成分についての音声到来方向を推定する到来方向推定過程と、
到来方向確率計算部が、上記各周波数成分についての音声到来方向からフレーム毎に上記各音源に関する音声到来方向確率を計算する到来方向確率計算過程と、
乗算部が、上記音声存在確率と、上記音声到来方向確率との積を計算して上記各フレームにおける音源毎の存在確率を出力する乗算過程と、
判定部が、上記音源毎の存在確率が所定の閾値を越える場合に、当該フレームを当該音源の信号区間と判定する判定過程と、
を含む信号区間推定方法。
請求項５に記載の信号区間推定方法において、
上記到来方向確率計算過程は、クラスタリング部が、上記フレーム毎に計算された各周波数での音源方向をクラスタリングすることにより、上記音源方向をクラスタに分ける分類ステップと、
各クラスタの分布計算部が、上記クラスタの上記音源方向の分布を計算する分布計算ステップと、
確率計算部が、上記クラスタ毎の上記音源方向の分布を、上記音源方向の全体の分布で正規化して音声到来方向確率として計算する確率計算ステップと、
を含むことを特徴とする信号区間推定方法。
請求項５に記載した信号区間推定方法において、
上記到来方向確率計算過程は、クラスタリング部が、上記フレーム毎に計算された各周波数での音源方向をクラスタリングする分類ステップと、
確率計算部が、上記クラスタの各メンバ数を上記音源方向の全体のメンバ数で除した値を音声到来方向確率として計算する確率計算ステップと、
を含むことを特徴とする信号区間推定方法。
請求項５乃至７の何れかに記載した信号区間推定方法において、
上記到来方向確率計算過程は、振幅計算部が、上記各フレーム、各周波数における正規化された振幅値を計算する振幅計算ステップを含み、
上記正規化された振幅値を重み係数として用いて上記音声到来方向確率を計算することを特徴とする信号区間推定方法。
請求項１乃至４の何れかに記載した信号区間推定装置としてコンピュータを機能させるためのプログラム。
請求項９に記載したプログラムを記録したコンピュータで読み取り可能な記録媒体。