JPH11109014A

JPH11109014A - 音分離装置

Info

Publication number: JPH11109014A
Application number: JP9272995A
Authority: JP
Inventors: Hidefumi Obata; 秀文小畑; Hiroshi Aoki; 廣志青木
Original assignee: Ono Sokki Co Ltd
Current assignee: Ono Sokki Co Ltd
Priority date: 1997-10-06
Filing date: 1997-10-06
Publication date: 1999-04-23

Abstract

(57)【要約】【課題】本発明は、比較的少ないセンサによって受信
された受信波に基づいて、複数の音源から発音された複
数の音を精度よく分離することができ、かつ、音源が移
動する場合であっても音源を容易に追尾することができ
る音分離装置を提供することを目的とする。【解決手段】音分離装置１００には、推定部１５０
と、合成部１６０と、評価部１７０と、更新部１８０と
が備えられており、測定受信波から推定部１５０によっ
て推定音源波が推定・分離され、合成部１６０によって
合成された推定受信波が、評価部１７０によって、測定
受信波と比較・評価された結果に従って更新部１８０に
よって音源とセンサとの間の距離が更新される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の音源から発
せられ相互に重畳されてなる音を複数のセンサで受信
し、それら複数のセンサで得られた複数の受信波に基づ
いて、複数の音源それぞれから発せられた音を相互に分
離する音分離装置に関する。

【０００２】

【従来の技術】複数の音源から発せられた音を表す音源
波を、相互に分離された状態で得る手段として、従来よ
り、複数の音源から発せられ相互に重畳されてなる音を
１つのセンサで受信し、そのセンサで得られた受信波か
らフィルタを用いて音源波を分離する方法や、指向性マ
イクを用いて音源波を個別に取得する方法が知られてい
る。また、複数の音源から発せられ相互に重畳されてな
る音を複数のセンサで受信し、それら複数のセンサで得
られた複数の受信波に基づいて、複数の音源から発音さ
れた複数の音を分離する技術が提案されている。

【０００３】

【発明が解決しようとする課題】しかし、フィルタを用
いて分離する場合には、音源波の周波数等が互いに明確
に異なっていることが必要であるので、一般的な複数の
音源波の場合には分離ができないという問題がある。ま
た、指向性マイクを用いる場合には、音源が移動すると
その音源を追尾する装置が別途必要であるという問題
や、音源相互間の距離が比較的短い場合には十分な指向
性を得るために多数のマイクが必要になるので設備の規
模が大きくなりがちであるという問題がある。また、従
来提案されている、複数のセンサで得られた複数の受信
波に基づいて、複数の音源から発音された複数の音を分
離する技術では、音源の数の約１０倍程度の多数のセン
サを必要とするため、設備の規模が大きくなりがちであ
るという問題がある。

【０００４】本発明は、上記事情に鑑み、比較的少ない
センサによって受信された受信波に基づいて、複数の音
源から発音された一般的な複数の音を分離することがで
き、かつ、音源が移動する場合であっても音源を容易に
追尾することができる音分離装置を提供することを目的
とする。

【０００５】

【課題を解決するための手段】上記目的を達成する本発
明の音分離装置は、複数の音源から発せられ相互に重畳
されてなる音を複数のセンサで受信することにより複数
の測定受信波を得、それら複数の測定受信波に基づい
て、前記複数の音源それぞれから発せられた音を相互に
分離する音分離装置において、複数の音源それぞれと複
数のセンサそれぞれとの間の距離演算用に複数の音源の
位置を測定する位置測定部、および複数の音源それぞれ
と複数のセンサそれぞれとの間の各距離、および複数の
センサで得られた複数の測定受信波に基づいて、複数の
音源から発せられた複数の音を表す複数の音源波を推定
してなる複数の推定音源波を求める音源波推定手段と、
音源波推定手段により求められた複数の推定音源波が複
数のセンサそれぞれに伝達されたときの、上記各距離を
変数として含む推定受信波の、複数のセンサそれぞれで
得られた測定受信波からの誤差を表す第１の項と、第１
の項と比べ相対的に、推定受信波と測定受信波との間の
位相誤差に敏感な第２の項とからなる評価関数を用い
て、推定受信波が測定受信波に近づくように上記各距離
を更新する距離演算手段とを有する音分離部を備えたこ
とを特徴とする。

【０００６】本発明の音分離装置は、上記距離演算手段
が、一旦更新した各距離が同一の距離誤差を含むものと
したときの距離誤差を推定することにより各距離を補正
する距離補正手段を含むものであることが望ましく、あ
るいは上記距離演算手段が、上記第２の項として相互相
関を含む項を用いるものであることが望ましい。

【０００７】

【発明の実施の形態】以下、本発明の実施形態について
説明する。図１は、本発明の音分離装置の一実施形態を
示すブロック図である。この音分離装置１００には、セ
ンサ群１１０と、カメラ１２０と、解析部１３０とが備
えられており、これらのうちのカメラ１２０および解析
部１３０が本発明にいう位置測定部の一例である。

【０００８】図２は、図１に示すセンサ群１１０および
カメラ１２０と、音源との位置関係を示す概念図であ
る。この概念図には、音源の一例である、室内にいる３
人の人間２１０，２２０，２３０が示されており、ま
た、部屋の８つの隅のうちの４つの隅に設けられた、図
１に示すセンサ群１１０を構成する４つのセンサ１１
１，１１２，１１３，１１４と、上記４つの隅以外の隅
に備えられたカメラ１２０とが示されている。これら４
つのセンサ１１１，１１２，１１３，１１４によって、
３人の人間２１０，２２０，２３０の発声音が受信され
ることにより測定受信波が得られ、カメラ１２０によっ
て３人の人間２１０，２２０，２３０の映像が撮影され
る。

【０００９】なお、本発明の音分離装置によれば後述す
る動作によって、Ａ個の音源から発音される音源波をＡ
＋１個のセンサの受信波に基づいて分離することができ
る。図１に戻って説明を続ける。音分離装置１００に
は、解析部１３０が備えられており、カメラ１２０によ
って撮影された画像が解析され、図２に示す３人の人間
２１０，２２０，２３０それぞれと４つのセンサ１１
１，１１２，１１３，１１４それぞれとの間の距離が約
１０％程度の誤差で求められる。また、音分離装置１０
０には、記憶部１４０が備えられており、センサ群１１
０の各センサによって得られた測定受信波が記憶され
る。

【００１０】音分離装置１００には、本発明にいう音源
波推定手段の一例である推定部１５０が備えられてお
り、記憶部１４０に記憶されている測定受信波のうち
の、所定の窓関数によって抜き出された部分に基づい
て、３人の人間それぞれの発声音が推定・分離される。
以下、この推定・分離された発声音を表す音源波のこと
を、人間によって実際に発声された発声音を表す音源波
自体と区別して「推定音源波」と称する。また、以下で
は説明の便宜上、測定受信波の、窓関数によって抜き出
された部分と測定受信波全体とを区別せずにいずれも
「測定受信波」と称する場合がある。

【００１１】音分離装置１００には、合成部１６０と、
評価部１７０と、更新部１８０とが備えられており、こ
れらによって本発明にいう距離演算手段の一例が構成さ
れており、推定部１５０、合成部１６０、評価部１７
０、および更新部１８０によって本発明にいう音分離部
の一例が構成されている。合成部１６０によって、推定
音源波が４つのセンサそれぞれにより受信された場合の
推定受信波が合成され、評価部１７０によって推定受信
波と測定受信波との比較・評価が行われ、この比較・評
価の結果に従って更新部１８０によって３人の人間それ
ぞれと４つのセンサそれぞれとの間の距離が更新されて
推定部１５０に送られる。この更新された距離が用いら
れて、上述の過程が繰り返される。推定部１５０、合成
部１６０、評価部１７０および更新部１８０の動作の詳
細については後述する。

【００１２】音分離装置１００には、出力部１９０が備
えられており、推定部１５０、合成部１６０、評価部１
７０および更新部１８０の動作が繰り返された結果、評
価部１７０における比較・評価の結果が所定の評価基準
を満足した場合には、推定部１５０によって推定・分離
された３人の発声音の波形を表すグラフが出力される。

【００１３】図３は、本実施形態における音源波の推定
・分離方法の原理を示す図である。図３には、Ａ個の音
源から発音された音源波がＢ個のセンサによって受信さ
れる場合が示されている。便宜上、以下の説明において
各関数の表現は、いわゆるｚ変換（ｚ＝ｅｘｐ（ｊ２π
ｆｔ））が施された表現を用いることとする。

【００１４】図３（ａ）に示すように、Ａ個の音源のう
ちのａ番目の音源から発音される音源波は、伝達関数Ｈ
_baで表される伝達を経てＢ個のセンサのうちのｂ番目の
センサに到達する。その結果、Ａ個の音源それぞれから
発音されたＡ個の音源波が重畳された音波がｂ番目のセ
ンサによって受信される。従って、Ａ個の音源それぞれ
から発音されたＡ個の音源波のスペクトルである音源ス
ペクトルＳをＳ＝（Ｓ ₁ （ｚ），・・・，Ｓ_a （ｚ），
・・・，Ｓ_A （ｚ））とし、Ｂ個のセンサそれぞれによ
って受信されるＢ個の測定受信波のスペクトルであるセ
ンサスペクトルＺをＺ＝（Ｚ₁ （ｚ），・・・，Ｚ_b
（ｚ），・・・，Ｚ_B （ｚ））とし、Ａ個の音源とＢ個
のセンサとの間の各伝達関数を表すＢ×Ａの行列である
伝達関数行列ＨをＨ＝［Ｈ_ba（ｚ）］とすれば式（１）
が成り立つ。

【００１５】Ｚ＝ＨＳ・・・（１）ここで、図３（ｂ）に示すように、ｂ番目のセンサの位
置からスペクトルＺ_b（ｚ）で表される音が発音され、
逆フィルタＧ_abで表される伝達を経てａ番目の音源の位
置に到達した結果、Ｂ個のセンサそれぞれの位置から発
音されたＢ個の音が音源の位置において重畳されて音源
スペクトルＳで表される音が生じるような伝達を表す逆
フィルタＧ_abを考える。この関係を満たす逆フィルタＧ
_abが得られれば、センサスペクトルＺから音源スペクト
ルＳを分離することができる。即ち、Ａ個の音源それぞ
れとＢ個のセンサそれぞれとの間の各逆フィルタを表す
Ａ×Ｂの行列である逆フィルタ行列ＧをＧ＝［Ｇ
_ab（ｚ）］とすれば式（２）が成り立つ。

【００１６】Ｓ＝ＧＺ・・・（２）逆フィルタ行列Ｇは、伝達関数行列Ｈの一般化逆行列と
して求めることができることが知られており、即ち式
（３）が成り立つ。Ｇ＝（Ｈ^* Ｈ）^-1Ｈ^* ・・・（３）但し、行列Ｈ^* は伝達関数行列Ｈの共役転置行列であ
る。

【００１７】従って、伝達関数行列Ｈがわかれば逆フィ
ルタ行列Ｇを求めることができ、センサスペクトルＺか
ら音源スペクトルＳを分離することができる。本実施形
態では簡単のため、音源から発音される球面波が自由空
間を伝播されてセンサに到達すると仮定する。従って音
源スペクトルＳが長時間変化せず、かつ、音源が移動し
ない場合には、ｂ番目の音源とａ番目のセンサとの間の
距離である音源センサ間距離ｒ_baを用いて式（４）によ
り伝達関数Ｈ_ba（ｚ）が求められる。

【００１８】

【数１】

【００１９】しかし、音源が移動する場合や、音源から
発音される音が変化する場合には、センサによって受音
される音の波形からいわゆる窓関数を用いて一部分が抜
き出され、この部分が用いられて音源スペクトルＳの分
離が行われることとなる。この場合には、音源スペクト
ルＳをＳ＝［Ｓ_ak］と表し、センサスペクトルＺをＺ＝
［Ｚ_b （ｎ／ＮＴ）］と表せば、伝達関数行列Ｈは、窓
関数による畳込みの影響も考慮された式（５）で表され
る。

【００２０】

【数２】

【００２１】ここで、Ｔはサンプリング周期であり、ｆ
_a はａ番目の音源の基本周波数であり、Ｗ（ｆ）は窓関
数の周波数特性を表す関数である。この伝達関数行列Ｈ
が用いられて式（３）により逆フィルタ行列Ｇが求めら
れ、この逆フィルタ行列Ｇが用いられて式（２）により
音源スペクトルＳが分離される。

【００２２】結局、基本周波数ｆ_a および音源センサ間
距離ｒ_baが求められれば、センサスペクトルＺから音源
スペクトルＳが分離されることとなる。本実施形態では
この基本周波数ｆ_a および音源センサ間距離ｒ_baの推定
値を、以下で説明する最小二乗法を用いた推定方法によ
って得、その推定値を用いて求められた逆フィルタ行列
Ｇによって音源スペクトルＳの推定・分離が行われる。
以下、本実施形態において測定受信波から音源波が推定
・分離される具体的動作について説明する。

【００２３】図４は、図１に示す推定部１５０、合成部
１６０、評価部１７０および更新部１８０の動作を示す
フローチャートである。まず、音源波を推定・分離する
ための、基本周波数および音源センサ間距離の初期値が
設定される。測定受信波から窓関数によって最初に抜き
出された部分に基づいて音源波が推定・分離される場合
には、解析部１３０によって得られた音源センサ間距離
の初期値が用いられ、測定受信波から窓関数によって２
回目以後に抜き出された部分に基づいて音源波が推定・
分離される場合には、前回抜き出された部分に基づいて
推定・分離された結果得られた音源センサ間距離が初期
値として用いられる。これによって音源が移動する場合
であっても容易に追尾する事ができる。また、基本周波
数の初期値にはサンプリング周期の逆数が用いられる
（ステップＳ１０１）。

【００２４】次に、図１に示す推定部１５０において、
上記の初期値と式（５）に基づいて伝達関数行列Ｈが求
められ、式（３）によって、音源スペクトルＳを推定・
分離するための逆フィルタ行列Ｇが求められ、式（２）
によってセンサスペクトルＺから音源スペクトルＳが推
定・分離され、推定音源波が得られる（ステップＳ１０
２）。

【００２５】次に、図１に示す合成部１６０において、
推定音源波が４つのセンサそれぞれに伝達された場合の
受信波を表す推定受信波が合成される。図１に示す評価
部１７０において、この推定受信波と、図１に示す記憶
手段１４０に記憶されている測定受信波とを用いて式
（６）で表される評価式Ｅが計算され、評価式Ｅの値に
よってこれらの波形の相違が評価される（ステップＳ１
０３）。

【００２６】

【数３】

【００２７】ここで、ε_b は推定受信波と測定受信波と
の間のいわゆる誤差であり、φ^b _eZは、測定受信波と誤
差との相互相関である。誤差ε_b を含む第１の項の値
は、振幅誤差と位相誤差にほぼ同等に依存している。こ
のため第１の項だけを用いた評価式では推定受信波と測
定受信波との相違を適切に評価することができないこと
が経験的に知られている。

【００２８】そこで本実施形態においては、第１の項に
比べ相対的に位相誤差に敏感な、相互相関φ^b _eZ を含む
第２の項が評価式Ｅに導入されており、この結果、評価
式Ｅによって推定受信波と測定受信波との相違が適切に
評価される。図１に示す評価部１７０において、評価式
Ｅの値が所定の基準値以上であるか否かが判定され、所
定の基準値以上であると判定された場合には、基本周波
数および音源センサ間距離の推定値は真の値に対して十
分に近づいていないので、更新部１８０において評価式
Ｅの値に基づいて、評価式Ｅの値を小さくする方向へ基
本周波数および音源センサ間距離の推定値が更新される
（ステップＳ１０４）。この更新された推定値が用いら
れて、再び推定部１５０において伝達関数行列Ｈが求め
られ、上述の過程が繰り返される。

【００２９】図１に示す評価部１７０において、評価式
Ｅの値が所定の基準値未満であると判定され、即ち、基
本周波数および音源センサ間距離の推定値は真の値に十
分近づいたと判定された場合には推定値の更新は終了す
る。しかし、この場合であっても音源センサ間距離の各
推定値には、以下で説明するような誤差が含まれている
場合があるので、これを補正する必要がある。

【００３０】図５は、音源センサ間距離の各推定値に含
まれている誤差を説明する図である。この図では説明の
便宜のため２つの音源２４０，２５０と３つのセンサ１
１５，１１６，１１７が示されており、音源は黒丸で示
され、センサは黒い四角で示されている。また、１つの
音源から遠ざかる方向（あるいは音源に近づく方向）に
各センサが同一距離だけ移動したものに相当する各虚像
センサ１１５ａ，１１６ａ，１１７ａ，１１５ｂ，１１
６ｂ，１１７ｂが、白い四角で音源毎に３つずつ合計で
６つ示されている。ここで、各音源２４０，２５０から
発音された音源波がセンサ１１５，１１６，１１７で受
信された受信波が即ち、図１の記憶部１４０に記憶され
ている測定受信波であり、虚像センサ１１５ａ，１１６
ａ，１１７ａ，１１５ｂ，１１６ｂ，１１７ｂで受信さ
れた場合の受信波が推定されたものが即ち、図１に示す
合成部１６０によって合成された推定受信波である。

【００３１】各センサ１１５，１１６，１１７の位置と
各虚像センサ１１５ａ，１１６ａ，１１７ａ，１１５
ｂ，１１６ｂ，１１７ｂの位置との関係が上記のような
関係なので、測定受信波相互間の位相差と推定受信波相
互間の位相差が等しくなることが容易にわかる。また、
音源における初期値がわからないのであるから、推定受
信波の位相の絶対値は、図１に示す推定部１５０におい
て推定音源波を推定する際に測定受信波の位相に合わせ
て決定される。また、センサ１１５，１１６，１１７と
虚像センサ１１５ａ，１１６ａ，１１７ａ，１１５ｂ，
１１６ｂ，１１７ｂとの間の距離が音波の波長程度であ
れば、測定受信波と推定受信波との間の振幅誤差はほと
んど生じない。

【００３２】従って、図５に示されるような場合には、
評価式Ｅの値は測定受信波と推定受信波との間の差を表
すことができず、各音源センサ間距離の推定値がセンサ
１１５，１１６，１１７と虚像センサ１１５ａ，１１６
ａ，１１７ａ，１１５ｂ，１１６ｂ，１１７ｂとの間の
距離に対応するような誤差を含んでいても評価式Ｅの値
は収束することとなる。

【００３３】図４のフローチャートに戻って説明を続け
る。図５で説明されたような誤差を評価するために、図
１に示す更新部１８０において、式（７）で表される評
価式Ｅ_r が計算される。

【００３４】

【数４】

【００３５】ここでｒ_baはａ番目の音源からｂ番目の音
源までの音源センサ間距離の推定値であり、Δｒ_a はａ
番目の音源から各センサまでの各音源センサ間距離の推
定値に共通して含まれている誤差であり、Ｘ_biはｂ番目
のセンサの位置のｉ座標であり、ｘ_aiはａ番目の音源の
位置のｉ座標である。更新部１８０において、式（７）
で表される評価式Ｅ_r の値が最小となる誤差Δｒ_a およ
び座標ｘ_aiの値が求められ、この誤差Δｒ_a の値が用い
られて各音源センサ間距離の推定値の補正が行われる
（ステップＳ１０５）。

【００３６】さらに更新部１８０において、誤差Δｒ_a
の値が所定の基準値以上であるか否かが判定され（ステ
ップＳ１０６）、所定の基準値以上であれば、図１に示
す推定部１５０において、補正された各音源センサ間距
離の推定値が用いられて再び推定音源波の推定・分離が
行われて上記手順が繰り返される。誤差Δｒ_a の値が所
定の基準値未満であれば推定部１５０において推定音源
波の最後の推定・分離が行われて動作が終了する（ステ
ップＳ１０７）。

【００３７】本発明の音分離装置は以上説明した動作に
よって、Ａ個の音源から発音された音源波を、Ａ＋１個
という比較的少ないセンサで受信された受信波に基づい
て分離することができ、かつ、音源が移動する場合であ
っても容易に追尾することができる。

【００３８】

【実施例】以下、本発明の音分離装置の実施例について
説明する。本実施例では２つの周期的な音源波と、１つ
の非周期的な音源波とを発音させ４つのセンサで受信し
た。４つのセンサで受信した４つの測定受信波の波形を
図６に示す。

【００３９】図６に示された４つの測定受信波から、上
述の手順に従って各音源波を分離した結果の波形を図７
〜図９に示す。各図の上段側に示された波形が、推定・
分離された推定音源波の波形であり、各図の下段側に示
された波形が、音源から発音された音源波の波形であ
る。これらの図に示す波形から明らかなように、各推定
音源波は、音源から発音された各音源波を非常によく再
現しており、周期的な音源波でも非周期的な音源波でも
いずれも精度よく分離することできることがわかった。
また、音源波の時間変化に対してよく追随することがで
きることもわかった。

【００４０】

【発明の効果】以上説明したように、本発明の音分離装
置によれば、比較的少ないセンサによって受信された受
信波に基づいて、複数の音源から発音された複数の音を
精度よく分離することができ、かつ、音源が移動する場
合であっても音源を容易に追尾することができる。

【図面の簡単な説明】

【図１】本発明の音分離装置の一実施形態を示すブロッ
ク図である。

【図２】センサ群とカメラと音源との位置関係を示す概
念図である。

【図３】本実施形態における音源波の推定・分離方法の
原理を示す図である。

【図４】推定部、合成部、評価部および更新部の動作を
示すフローチャートである。

【図５】音源センサ間距離の各推定値に含まれている誤
差を説明する図である。

【図６】本実施例で得られた４つの測定受信波の波形を
示す図である。

【図７】第１の音源から発音された音源波およびその推
定音源波の波形を示す図である。

【図８】第２の音源から発音された音源波およびその推
定音源波の波形を示す図である。

【図９】第３の音源から発音された音源波およびその推
定音源波の波形を示す図である。

【符号の説明】

１００音分離装置１１０センサ群１１１，１１２，１１３，１１４，１１５，１１６，１
１７センサ１１５ａ，１１６ａ，１１７ａ，１１５ｂ，１１６ｂ，
１１７ｂ虚像センサ１２０カメラ１３０解析部１４０記憶部１５０推定部１６０合成部１７０評価部１８０更新部１９０出力部２１０，２２０，２３０人間２４０，２５０音源

Claims

【特許請求の範囲】

【請求項１】複数の音源から発せられ相互に重畳され
てなる音を複数のセンサで受信することにより複数の測
定受信波を得、それら複数の測定受信波に基づいて、前
記複数の音源それぞれから発せられた音を相互に分離す
る音分離装置において、前記複数の音源それぞれと前記複数のセンサそれぞれと
の間の距離演算用に該複数の音源の位置を測定する位置
測定部、および前記複数の音源それぞれと前記複数のセ
ンサそれぞれとの間の各距離、および前記複数のセンサ
で得られた複数の測定受信波に基づいて、前記複数の音
源から発せられた複数の音を表す複数の音源波を推定し
てなる複数の推定音源波を求める音源波推定手段と、前
記音源波推定手段により求められた複数の推定音源波が
前記複数のセンサそれぞれに伝達されたときの、前記各
距離を変数として含む推定受信波の、該複数のセンサそ
れぞれで得られた測定受信波からの誤差を表す第１の項
と、該第１の項と比べ相対的に、該推定受信波と該測定
受信波との間の位相誤差に敏感な第２の項とからなる評
価関数を用いて、該推定受信波が該測定受信波に近づく
ように前記各距離を更新する距離演算手段とを有する音
分離部を備えたことを特徴とする音分離装置。
【請求項２】前記距離演算手段が、一旦更新した各距
離が同一の距離誤差を含むものとしたときの該距離誤差
を推定することにより該各距離を補正する距離補正手段
を含むものであることを特徴とする請求項１記載の音分
離装置。
【請求項３】前記距離演算手段が、前記第２の項とし
て相互相関を含む項を用いるものであることを特徴とす
る請求項１記載の音分離装置。