JP5726709B2 - 音源分離装置、音源分離方法及びプログラム - Google Patents
音源分離装置、音源分離方法及びプログラム Download PDFInfo
- Publication number
- JP5726709B2 JP5726709B2 JP2011240054A JP2011240054A JP5726709B2 JP 5726709 B2 JP5726709 B2 JP 5726709B2 JP 2011240054 A JP2011240054 A JP 2011240054A JP 2011240054 A JP2011240054 A JP 2011240054A JP 5726709 B2 JP5726709 B2 JP 5726709B2
- Authority
- JP
- Japan
- Prior art keywords
- sound source
- signal
- time difference
- spectrum
- arrival time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
Description
図1は本実施形態に係る音源分離装置1の機能ブロック図を、図2はその処理フローを示す。
ここで、観測信号は、
まず、周波数領域変換部11は、マイクL、Rで収音した時間領域の観測信号x(t)=[xL(t),xR(t)]Tを入力とし、これを短時間フーリエ変換等により周波数領域の観測信号xf,t=[xf,t,L,xf,t,R]Tに変換し(s1)、パラメタ推定部12及び分離信号生成部13に出力する。
次に、パラメタ推定部12は、観測信号xf,tから、音源分離のために必要なパラメタθを推定する(s2)。なおθ={δf,k,σf 2,sf,t,k,p(k|θ)}であり、δf,kは原信号の、二個のマイクへの到達時間差を表す。σf 2は雑音のパワースペクトルを、sf,t,kは音源スペクトルを、p(k|θ)は音源存在確率(混合信号中の音源kの寄与率)を表す。
上記(仮定1)、(仮定2)に基づけば、到達時間差δf,kとなる方向に存在する音源kから発せられる原信号が到来してxf,tが観測される尤度は、
具体的には、期待値最大化法(以下「EMアルゴリズム」ともいう)を適用し、Q関数
Eステップ計算部121の事後確率推定部1211は、観測信号xf,tと、一回前の繰り返しで得られているパラメタθ’(但し、一回前の繰り返しで得られているパラメタθ’が存在しない場合、つまり、一回目の事後確率推定においては、前述の初期化したパラメタ)とを入力とし、これらの値を用いて事後確率mf,t,k=p(k|xf,t,θ’)を以下の式(11)により求め(s22)、Q関数計算部1212とMステップ計算部122とに出力する。
Mステップ計算部122の時間差推定部1221の逆正接計算部12211は、観測信号xf,tと、事後確率mf,t,kと、一回前の繰り返しで得られているパラメタθ’(より詳しく説明するとθ’のうちの音源スペクトルsf,t,kである。但し、一回前の繰り返しで得られているパラメタθ’が存在しない場合、つまり、一回目の逆正接計算においては、前述の初期化したパラメタ)とを入力とし、これらの値を用いて、到達時間差δf,k(より詳しく言うと到達時間差δf,kに2πfを乗じた値2πfδf,k)を以下の式(13)により推定し(s25)、時間補正部12212に出力する。
Mステップ計算部122の時間差推定部1221の時間補正部12212は、観測信号xf,tと、事後確率mf,t,kと、一回前の繰り返しで得られているパラメタθ’(但し、一回前の繰り返しで得られているパラメタθ’が存在しない場合、つまり、一回目の時間補正においては、前述の初期化したパラメタ)とを入力とし、これらの値を用いて、式(13)にて推定した到達時間差δf,kが内包する±πの不定性を補正する(s26)。この補正は、式(13)の左辺2πfδf,kが−πからπの値を取るのに対し、式(13)の右辺の逆正接が−π/2からπ/2の値しか返すことができないため、2πfδf,kが−π〜−π/2及びπ/2〜πの範囲を取る場合の値を正しく求めるために必要である。式(13)で得られた値を2πfδ’f,kと記載すると、補正は以下のように行なう。
Mステップ計算部122の音源スペクトル推定部1222は、到達時間差δf,kと観測信号xf,tを入力とし、これらの値を用いて、音源スペクトルsf,t,kを以下の式(19)により推定し(s27)、雑音パワー推定部1223とQ関数計算部1212とに出力する。
Mステップ計算部122の雑音パワー推定部1223は、到達時間差δf,kと音源スペクトルsf,t,kと観測信号xf,tと事後確率mf,t,kとを入力とし、これらの値を用いて、雑音のパワースペクトルσf 2を以下の式(20)により推定し(s28)、Q関数計算部1212に出力する。
Mステップ計算部122の音源存在確率推定部1224は、事後確率mf,t,kを入力とし、音源存在確率を以下の式(21)により推定し(s29)、Q関数計算部1212に出力する。
Eステップ計算部121のQ関数計算部1212は、観測信号xf,tと、パラメタθ={δf,k,σf 2,sf,t,k,p(k|θ)}と、事後確率mf,t,kと、を入力とし、これらの値を用いてQ関数を上述の式(10)により求める(s30)。
分離信号生成部13は、事後確率mf,t,kと到達時間差δf,kと観測信号xf,tとを入力とし、以下の式(22)により、分離信号yf,t,kを生成し(s3)、時間領域変換部14へ出力する。
時間領域変換部14は、分離信号yf,t,kを入力とし、周波数領域変換部11において行った周波数領域変換方法に対応する時間領域変換方法(例えば短時間フーリエ逆変換)で、分離信号yf,t,kを時間領域の分離信号yk(t)に変換し(s4)、音源分離装置1の出力値として出力する。
以下、本実施形態のポイントを説明し、式(13)、(17)、(18)の導出方法を説明する。
(性質1)到達時間差δf,kがRチャネルとLチャネルの位相差に影響を与える値であること
(性質2)位相差が周期的な値を取る量であること
という2つの性質を利用して、到着時間差δf,kを推定する。ここで(性質1)は、式(2)にてノイズnf,tが十分に小さい場合を考えれば明らかである。(性質2)は、ある2つの位相を表わす量の差Θが、−π≦Θ<πの範囲の値だけではなく、Θ±2πM(Mは任意の整数)という周期的な不定性を内包する値を取る性質を持つことを意味する。
[参考文献1]C.M.ビショップ著,元田ら訳,“パターン認識と機械学習(上)”,シュプリンガー・ジャパン,2006.
(1)RチャネルとLチャネルの位相差ψxf,t,R−ψxf,t,Lという周期的な値を取る変数の分布が、平均μ=2πfδf,kを取る、
(2)Von Mises分布の集中度κが、SN比|sf,k,t|2/σf 2に対応するようになる。すなわち、SN比が低い(条件が悪い)と、RチャネルとLチャネルの位相差の値の集中度が下がる(=分散が大きくなる)。これは、SN比が低い条件においては位相差の測定値がばらつく現象と対応する、
の2点が言える。
また時間補正部12212における関数Fの式(17)、(18)は、Q関数の2階微分
従来法においては、時間差推定部において解析的な更新式が与えられていなかったため、多くの計算コストを要する全探索操作が必要であった。よって、時間差推定部の計算コストを削減し、高速な音源分離手段を提供することが課題である。本実施形態では、到着時間差δf,kが、マイクRとマイクLの位相差に影響を与える値であることと、位相差が周期的な値を取る性質を持つことに着目し、到着時間差δf,kを推定する。これにより、従来必要であった全探索操作が不要となるため、高速な音源分離手段を提供することが可能となる。
発明の効果を示すため実験を行なった。図6に示す部屋において、音源数は2つ(70度と150度)又は3つ(30,70,150度)とした。音源は、英語話者音声を用い、音源数2及び3の場合それぞれにおいて10通りの音源組合せにて実験を行なった。
本実施形態のポイントは上述の通り、到達時間差の推定方法である。従って、他の処理やパラメタの推定方法については、上記の実施形態に限定されるものではなく、他の従来技術を用いてもよい。
上述した音源分離装置は、コンピュータにより機能させることもできる。この場合はコンピュータに、目的とする装置(各種実施例で図に示した機能構成をもつ装置)として機能させるためのプログラム、またはその処理手順(各実施例で示したもの)の各過程をコンピュータに実行させるためのプログラムを、CD−ROM、磁気ディスク、半導体記憶装置などの記録媒体から、あるいは通信回線を介してそのコンピュータ内にダウンロードし、そのプログラムを実行させればよい。
Claims (3)
- 複数の原信号がノイズとともに混合され、二個のマイクで観測される状況で、観測信号からそれぞれの原信号を分離抽出する音源分離装置であって、
前記原信号の音源のインデックスをkとし、周波数領域の前記観測信号xf,t=[xf,t,L,xf,t,R]Tから、前記二個のマイクへの前記原信号の到達時間差δf,kと雑音のパワースペクトルσf 2と原信号のスペクトルsf,t,kと音源存在確率p(k|θ)とを推定するパラメタ推定手段と、
前記観測信号xf,tと推定されたパラメタθ={δf,k,σf 2,sf,t,k,p(k|θ)}とから分離信号yf,t,kを生成する分離信号生成手段とを含み、
前記パラメタ推定手段は、
観測信号xf,tが音源kに帰属する期待値を示す事後確率をmf,t,kとし、前記二個のマイクの間隔をDとし、前記原信号の速度をcとし、φf=sinc(2πfD/c)とし、ξf,t,k=[xf,t,R−φf(xt,t,L−sf,t,k)]とし、前記スペクトルsf,t,k及び前記ξf,t,kの位相をそれぞれψsk及びψξkとし、前記到達時間差δf,kを
推定された前記到達時間差δf,kが内包する±πの不定性を補正する補正手段と、
前記到達時間差δ f,k と前記観測信号x f,t とを用いて、前記原信号のスペクトルs f,t,k を
前記到達時間差δ f,k と前記音源スペクトルs f,t,k と前記観測信号x f,t と前記事後確率m f,t,k とを用いて、前記雑音のパワースペクトルσ f 2 を
前記事後確率m f,t,k を用いて、前記音源存在確率p(k|θ)を
前記分離信号生成手段は、前記分離信号y f,t,k を
音源分離装置。 - 複数の原信号がノイズとともに混合され、二個のマイクで観測される状況で、観測信号からそれぞれの原信号を分離抽出する音源分離方法であって、
前記原信号の音源のインデックスをkとし、周波数領域の前記観測信号xf,t=[xf,t,L,xf,t,R]Tから、前記二個のマイクへの前記原信号の到達時間差δf,kと雑音のパワースペクトルσf 2と原信号のスペクトルsf,t,kと音源存在確率p(k|θ)とを推定するパラメタ推定ステップと、
前記観測信号xf,tと推定されたパラメタθ={δf,k,σf 2,sf,t,k,p(k|θ)}とから分離信号yf,t,kを生成する分離信号生成ステップとを含み、
前記パラメタ推定ステップは、
観測信号xf,tが音源kに帰属する期待値を示す事後確率をmf,t,kとし、前記二個のマイクの間隔をDとし、前記原信号の速度をcとし、φf=sinc(2πfD/c)とし、ξf,t,k=[xf,t,R−φf(xt,t,L−sf,t,k)]とし、前記スペクトルsf,t,k及び前記ξf,t,kの位相をそれぞれψsk及びψξkとし、前記到達時間差δf,kを
推定された前記到達時間差δf,kが内包する±πの不定性を補正する補正ステップと、
前記到達時間差δ f,k と前記観測信号x f,t とを用いて、前記原信号のスペクトルs f,t,k を
前記到達時間差δ f,k と前記音源スペクトルs f,t,k と前記観測信号x f,t と前記事後確率m f,t,k とを用いて、前記雑音のパワースペクトルσ f 2 を
前記事後確率m f,t,k を用いて、前記音源存在確率p(k|θ)を
前記分離信号生成ステップは、前記分離信号y f,t,k を
音源分離方法。 - コンピュータを請求項1記載の音源分離装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011240054A JP5726709B2 (ja) | 2011-11-01 | 2011-11-01 | 音源分離装置、音源分離方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011240054A JP5726709B2 (ja) | 2011-11-01 | 2011-11-01 | 音源分離装置、音源分離方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013097176A JP2013097176A (ja) | 2013-05-20 |
JP5726709B2 true JP5726709B2 (ja) | 2015-06-03 |
Family
ID=48619166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011240054A Active JP5726709B2 (ja) | 2011-11-01 | 2011-11-01 | 音源分離装置、音源分離方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5726709B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11418877B2 (en) | 2019-11-21 | 2022-08-16 | Samsung Electronics Co., Ltd. | Electronic apparatus and controlling method thereof |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113932912B (zh) * | 2021-10-13 | 2023-09-12 | 国网湖南省电力有限公司 | 一种变电站噪声抗干扰估计方法、系统及介质 |
CN113823317B (zh) * | 2021-10-18 | 2023-06-30 | 国网重庆市电力公司电力科学研究院 | 基于频谱结构化识别的变电站噪声分离方法、设备及介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008145610A (ja) * | 2006-12-07 | 2008-06-26 | Univ Of Tokyo | 音源分離定位方法 |
JP5134525B2 (ja) * | 2008-12-19 | 2013-01-30 | 日本電信電話株式会社 | 方向情報分布推定装置、音源数推定装置、音源方向測定装置、音源分離装置、それらの方法、それらのプログラム |
-
2011
- 2011-11-01 JP JP2011240054A patent/JP5726709B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11418877B2 (en) | 2019-11-21 | 2022-08-16 | Samsung Electronics Co., Ltd. | Electronic apparatus and controlling method thereof |
Also Published As
Publication number | Publication date |
---|---|
JP2013097176A (ja) | 2013-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101871604B1 (ko) | 심화 신경망을 이용한 다채널 마이크 기반의 잔향시간 추정 방법 및 장치 | |
JP5337072B2 (ja) | モデル推定装置、音源分離装置、それらの方法及びプログラム | |
US9349375B2 (en) | Apparatus, method, and computer program product for separating time series signals | |
Mohammadiha et al. | A new linear MMSE filter for single channel speech enhancement based on nonnegative matrix factorization | |
CN103559888A (zh) | 基于非负低秩和稀疏矩阵分解原理的语音增强方法 | |
JP5568530B2 (ja) | 音源分離装置とその方法とプログラム | |
WO2013132926A1 (ja) | 雑音推定装置、雑音推定方法、雑音推定プログラム及び記録媒体 | |
Seki et al. | Generalized multichannel variational autoencoder for underdetermined source separation | |
Wang | Multi-band multi-centroid clustering based permutation alignment for frequency-domain blind speech separation | |
JP2015210512A (ja) | ブラインド信号分離方法およびその装置 | |
JP2022529912A (ja) | 深層フィルタを決定するための方法および装置 | |
JP5726709B2 (ja) | 音源分離装置、音源分離方法及びプログラム | |
Garg | Speech enhancement using long short term memory with trained speech features and adaptive wiener filter | |
Jiang et al. | An Improved Unsupervised Single‐Channel Speech Separation Algorithm for Processing Speech Sensor Signals | |
JP4960933B2 (ja) | 音響信号強調装置とその方法と、プログラムと記録媒体 | |
JP5406866B2 (ja) | 音源分離装置、その方法及びプログラム | |
JP5726790B2 (ja) | 音源分離装置、音源分離方法、およびプログラム | |
Narayanaswamy et al. | Audio source separation via multi-scale learning with dilated dense u-nets | |
WO2020184210A1 (ja) | 雑音空間共分散行列推定装置、雑音空間共分散行列推定方法、およびプログラム | |
Maas et al. | A highly efficient optimization scheme for REMOS-based distant-talking speech recognition | |
Ji et al. | A priori SAP estimator based on the magnitude square coherence for dual-channel microphone system | |
Wan et al. | Multi-Loss Convolutional Network with Time-Frequency Attention for Speech Enhancement | |
Inoue et al. | Sepnet: a deep separation matrix prediction network for multichannel audio source separation | |
Gang et al. | Towards automated single channel source separation using neural networks | |
JP7270869B2 (ja) | 情報処理装置、出力方法、及び出力プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140902 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150324 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150401 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5726709 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |