JP7014682B2 - 音源分離の評価装置および音源分離装置 - Google Patents
音源分離の評価装置および音源分離装置 Download PDFInfo
- Publication number
- JP7014682B2 JP7014682B2 JP2018135067A JP2018135067A JP7014682B2 JP 7014682 B2 JP7014682 B2 JP 7014682B2 JP 2018135067 A JP2018135067 A JP 2018135067A JP 2018135067 A JP2018135067 A JP 2018135067A JP 7014682 B2 JP7014682 B2 JP 7014682B2
- Authority
- JP
- Japan
- Prior art keywords
- sound source
- sound
- separation
- spatial correlation
- correlation matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Description
図1は、第1の実施の形態の音源分離の評価装置1の構成を示す図である。第1の実施の形態の音源分離の評価装置1は、混合系手法によって音源分離を行い、その分離性能を評価する装置である。図1は、音源数L=3の場合を記載している。
図3は、第2の実施の形態の音源分離の評価装置2の構成を示す図である。第2の実施の形態の音源分離の評価装置2は、例えば独立成分分析、独立ベクトル分析等の分離系手法によって音源を分離する装置である。図3では、音源数L=3の場合を記載している。
y =Wf x ・・・(6)
図4は、第3の実施の形態の音源分離の評価装置3の構成を示す図である。図2に示したように、音源の分離結果とMUSICスペクトルの重なりには関係がある。第3の実施の形態の音源分離の評価装置3は、分離度算出部16を備えている。分離度算出部16は、第1の実施の形態と同様にして推定されたMUSICスペクトルSfl(θ)を用いて、音源の分離度を定量的に評価する。
|0.4-(-1)|+|-1-(-1.25)|+|0.4-(-1.25)|=3.3
である。これに対して、右のケースでは、音源S1,S2,S3のピーク位置がそれぞれ0.25,0.25,-1である。各ピーク位置の差の絶対値の総和は、
|0.25-0.25|+|0.25-(-1)|+|0.25-(-1)|=2.5
である。したがって、左のケースの方が、各ピーク位置の差が大きく、音源の分離度が大きいと判断できる。
第4の実施の形態の音源分離装置について説明する。第4の実施の形態では、MUSICスペクトルの情報をパーミュテーションの解決に使う。全周波数ビンに対して足し合わせたMUSICスペクトル
4 音源分離装置
10 マイク
11 音源分離部
12 空間相関行列算出部
13 固有値分解部
14 到来方向推定部
15 逆行列算出部
16 分離度算出部
17 パーミュテーション算出部
Claims (10)
- 複数の音源から到来した音を収音する収音部と、
前記収音部にて収音した音の音源を分離する音源分離部と、
前記各音源に対する空間相関行列を求める空間相関行列算出部と、
前記空間相関行列を固有値分解して固有値及び固有ベクトルを求める固有値分解部と、
前記固有値及び固有ベクトルを用いて、MUSIC法により、各音源の各周波数について、MUSICスペクトルを求める到来方向推定部と、
前記到来方向推定部にて求めた各音源のMUSICスペクトルの近さを評価する分離度算出部と、
を備える音源分離の評価装置。 - 前記音源分離部は、前記収音部にて収音した音のスペクトログラムを複数の基底とそれに対応するアクティベーションに分解し、前記基底とアクティベーションをクラスタリングして音源分離し、
前記空間相関行列算出部は、前記音源分離部にて分離された各音源について、空間相関行列を求める、請求項1に記載の音源分離の評価装置。 - 前記音源分離部は、前記収音部にて収音した音を独立した信号に分離する分離行列を、前記音のスペクトログラムの周波数ビンごとに推定して音源を分離し、
前記空間相関行列算出部は、前記分離行列の逆行列を求めることにより、各音源の空間相関行列を求める、請求項1に記載の音源分離の評価装置。 - 複数の音源から到来した音を収音する収音部と、
前記収音部にて収音した音の音源を分離する音源分離部と、
前記各音源に対する空間相関行列を求める空間相関行列算出部と、
前記空間相関行列を固有値分解して固有値及び固有ベクトルを求める固有値分解部と、
前記固有値及び固有ベクトルを用いて、MUSIC法により、各音源の各周波数について、MUSICスペクトルを求める到来方向推定部と、
各音源の全周波数のMUSICスペクトルを加算したMUSICスペクトルと、比較対象の音源の周波数ごとのMUSICスペクトルとを比較して、パーミュテーションが起こっているか否かを判定するパーミュテーション算出部と、
を備え、
前記音源分離部は、前記パーミュテーション算出部での判定結果を、音源の分離に用いる音源分離装置。 - 前記音源分離部は、前記収音部にて収音した音のスペクトログラムを複数の基底とそれに対応するアクティベーションに分解し、前記基底とアクティベーションをクラスタリングして音源分離し、
前記空間相関行列算出部は、前記音源分離部にて分離された各音源について、空間相関行列を求める、請求項4に記載の音源分離装置。 - 前記音源分離部は、前記収音部にて収音した音を独立した信号に分離する分離行列を、前記音のスペクトログラムの周波数ビンごとに推定して音源を分離し、
前記空間相関行列算出部は、前記分離行列の逆行列を求めることにより、各音源の空間相関行列を求める、請求項4に記載の音源分離装置。 - 到来した音の音源を分離し、その分離性能を評価する方法であって、
収音した音の音源を分離するステップと、
前記各音源に対する空間相関行列を求めるステップと、
前記空間相関行列を固有値分解して固有値及び固有ベクトルを求めるステップと、
前記固有値及び固有ベクトルを用いて、MUSIC法により、各音源の各周波数について、MUSICスペクトルを求めるステップと、
各音源のMUSICスペクトルの近さを評価するステップと、
を備える音源分離の評価方法。 - 到来した音の音源を分離する方法であって、
収音した音の音源を分離するステップと、
前記各音源に対する空間相関行列を求めるステップと、
前記空間相関行列を固有値分解して固有値及び固有ベクトルを求めるステップと、
前記固有値及び固有ベクトルを用いて、MUSIC法により、各音源の各周波数について、MUSICスペクトルを求めるステップと、
各音源の全周波数のMUSICスペクトルを加算したMUSICスペクトルと、比較対象の音源の周波数ごとのMUSICスペクトルとを比較して、パーミュテーションが起こっているか否かを判定するステップと、
を備え、
前記各音源を分離するステップにおいて、前記パーミュテーションが起こっているか否かの判定結果を、音源の分離に用いる音源分離方法。 - 到来した音の音源を分離し、その分離性能を評価するためのプログラムであって、コンピュータに、
収音した音の音源を分離するステップと、
前記各音源に対する空間相関行列を求めるステップと、
前記空間相関行列を固有値分解して固有値及び固有ベクトルを求めるステップと、
前記固有値及び固有ベクトルを用いて、MUSIC法により、各音源の各周波数について、MUSICスペクトルを求めるステップと、
各音源のMUSICスペクトルの近さを評価するステップと、
を実行させるプログラム。 - 到来した音の音源を分離するためのプログラムであって、コンピュータに、
収音した音の音源を分離するステップと、
前記各音源に対する空間相関行列を求めるステップと、
前記空間相関行列を固有値分解して固有値及び固有ベクトルを求めるステップと、
前記固有値及び固有ベクトルを用いて、MUSIC法により、各音源の各周波数について、MUSICスペクトルを求めるステップと、
各音源の全周波数のMUSICスペクトルを加算したMUSICスペクトルと、比較対象の音源の周波数ごとのMUSICスペクトルとを比較して、パーミュテーションが起こっているか否かを判定するステップと、
を実行させ、
前記各音源を分離するステップにおいて、前記パーミュテーションが起こっているか否かの判定結果を、音源の分離に用いるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018135067A JP7014682B2 (ja) | 2018-07-18 | 2018-07-18 | 音源分離の評価装置および音源分離装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018135067A JP7014682B2 (ja) | 2018-07-18 | 2018-07-18 | 音源分離の評価装置および音源分離装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020012976A JP2020012976A (ja) | 2020-01-23 |
JP7014682B2 true JP7014682B2 (ja) | 2022-02-01 |
Family
ID=69169196
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018135067A Active JP7014682B2 (ja) | 2018-07-18 | 2018-07-18 | 音源分離の評価装置および音源分離装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7014682B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113593529B (zh) * | 2021-07-09 | 2023-07-25 | 北京字跳网络技术有限公司 | 说话人分离算法的评估方法、装置、电子设备和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014137226A (ja) | 2013-01-15 | 2014-07-28 | Advanced Telecommunication Research Institute International | 移動体、音響源マップ作成システムおよび音響源マップ作成方法 |
WO2018207453A1 (ja) | 2017-05-08 | 2018-11-15 | ソニー株式会社 | 情報処理装置 |
-
2018
- 2018-07-18 JP JP2018135067A patent/JP7014682B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014137226A (ja) | 2013-01-15 | 2014-07-28 | Advanced Telecommunication Research Institute International | 移動体、音響源マップ作成システムおよび音響源マップ作成方法 |
WO2018207453A1 (ja) | 2017-05-08 | 2018-11-15 | ソニー株式会社 | 情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2020012976A (ja) | 2020-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10901063B2 (en) | Localization algorithm for sound sources with known statistics | |
Arberet et al. | A robust method to count and locate audio sources in a multichannel underdetermined mixture | |
EP2068308B1 (en) | Signal separation method, signal separation device, and signal separation program | |
US7647209B2 (en) | Signal separating apparatus, signal separating method, signal separating program and recording medium | |
US20060064299A1 (en) | Device and method for analyzing an information signal | |
Yang et al. | Under-determined convolutive blind source separation combining density-based clustering and sparse reconstruction in time-frequency domain | |
US10262678B2 (en) | Signal processing system, signal processing method and storage medium | |
WO2007025680A2 (en) | A method and apparatus for blind source separation | |
Orovi et al. | Time-frequency analysis and singular value decomposition applied to the highly multicomponent musical signals | |
Aissa-El-Bey et al. | Blind separation of underdetermined convolutive mixtures using their time–frequency representation | |
CN105580074B (zh) | 信号处理系统和方法 | |
CN110709929A (zh) | 处理声音数据以分离多声道信号中的声源 | |
Osterwise et al. | On over-determined frequency domain BSS | |
JP7014682B2 (ja) | 音源分離の評価装置および音源分離装置 | |
JP5791081B2 (ja) | 音源分離定位装置、方法、及びプログラム | |
KR100653173B1 (ko) | 다중경로 혼합신호 분리계수의 교환 모호성을 해소하는방법 및 그 장치 | |
JP4946330B2 (ja) | 信号分離装置及び方法 | |
Sawada et al. | Solving the permutation problem of frequency-domain BSS when spatial aliasing occurs with wide sensor spacing | |
JP2011176535A (ja) | 信号処理装置 | |
JP4095348B2 (ja) | 雑音除去システムおよびプログラム | |
Mallis et al. | Convolutive audio source separation using robust ICA and an intelligent evolving permutation ambiguity solution | |
Jang et al. | Single channel signal separation using MAP-based subspace decomposition | |
Sawada et al. | Estimating the number of sources for frequency-domain blind source separation | |
Hsu et al. | Array configuration-agnostic personalized speech enhancement using long-short-term spatial coherence | |
Mazur et al. | A new clustering approach for solving the permutation problem in convolutive blind source separation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211004 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220118 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220120 |