JP7126659B2 - 信号処理装置、信号処理方法及び信号処理プログラム - Google Patents
信号処理装置、信号処理方法及び信号処理プログラム Download PDFInfo
- Publication number
- JP7126659B2 JP7126659B2 JP2019026899A JP2019026899A JP7126659B2 JP 7126659 B2 JP7126659 B2 JP 7126659B2 JP 2019026899 A JP2019026899 A JP 2019026899A JP 2019026899 A JP2019026899 A JP 2019026899A JP 7126659 B2 JP7126659 B2 JP 7126659B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- target
- signal processing
- recorded
- frequency domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
Description
実施の形態1について説明する。実施の形態1として、例えば、雑音除去、残響除去、音源分離などを行うマイクロホンアレイ用の音声強調装置の前段に設けられる、サンプリング周波数ミスマッチ量を推定する信号処理装置について説明する。
図1は、実施の形態1に係る信号処理装置の機能を模式的に示す図である。図1に示すように、実施の形態1に係る信号処理装置10は、空間的定常区間推定部11(第1の推定部)及びサンプリング周波数ミスマッチ量推定部12(第2の推定部)を有する。信号処理装置10は、参照信号及び対象信号の入力を受け付けて、サンプリング周波数ミスマッチ量εを出力する。
次に、空間的定常区間推定部11について説明する。図2は、図1に示す空間的定常区間推定部11の機能を模式的に示す図である。図2に示すように、空間的定常区間推定部11は、時間周波数領域変換部111、クラスタリング部112及び最尤クラス選択部113(第3の推定部)を有する。
次に、サンプリング周波数ミスマッチ量推定部12について説明する。図3は、図1に示すサンプリング周波数ミスマッチ量推定部12の機能を模式的に示す図である。図3に示すように、時間周波数領域変換部111と同様の機能を有する時間周波数領域変換部121及び最尤ε推定部122を有する。最尤ε推定部122は、空間的定常区間C^kにおける、周波数領域変換後の参照信号と対象信号とを用いて、サンプリング周波数ミスマッチ量εを推定する。
次に、信号処理装置10による信号処理の処理手順について説明する。図4は、実施の形態1に係る信号処理の処理手順を示すフローチャートである。
次に、図4に示す空間的定常区間推定処理(ステップS2)について説明する。図5は、図4に示す空間的定常区間推定処理の処理手順を示すフローチャートである。
このように、本実施の形態1に係る信号処理装置10は、周波数領域変換後の参照信号及び対象信号を用いて、収録した音源の空間的定常性が高い時間区間である空間的定常区間C^kを推定する。そして、信号処理装置10は、この空間的定常区間C^kにおける、周波数領域変換後の参照信号と対象信号とを用いて、サンプリング周波数ミスマッチ量εを推定する。すなわち、信号処理装置10は、サンプリング周波数ミスマッチ量推定のための尤度関数である(16)式を、空間的定常性が高いクラスの時間フレームn∈C^kのみで計算する。
次に、実施の形態2について説明する。図6は、実施の形態2に係る信号処理装置の機能を模式的に示す図である。図7は、図6に示す空間的定常区間推定部211の機能を模式的に示す図である。
次に、信号処理装置210による信号処理の処理手順について説明する。図8は、実施の形態2に係る信号処理の処理手順を示すフローチャートである。
実施の形態1,2における信号処理装置10,210は、クラスタリングの特徴量として、共分散行列Vdk(f)に代えて、他の量を用いてもよい。例えば、信号処理装置10,210は、クラスタリングの特徴量として、各端末におけるLチャネルとRチャネルとのマイク間位相差φ(f,n)((17)式参照)、マイク間時間差τ(f,n)((18)式参照)、端末で推定した到来方向θ(f,n)((19)式参照)などを特徴量として、これを変量正規分布でモデル化してクラスタリングを行なってもよい。なお、(18)式において、Ffは、周波数インデックスfが示す周波数である。また、(19)式において、mは、マイク間距離である。
実施の形態1,2では、(11)式に示すように、データが1つのクラスに属する形で出力するハードクラスタリング法を用いたが、データが複数のクラスに属することを許すソフトクラスタリング法を用いることもできる。ソフトクラスタリング法を用いた場合、クラスタリング部112は、データが各クラスに属する度合いを出力する。
サンプリング周波数ミスマッチ量推定部12は、サンプリング周波数ミスマッチ量推定方法として他の方法を用いてもよい。たとえば、サンプリング周波数ミスマッチ量推定部12は、X1Bと^X2Bとの相関を最大にするεを求めてもよい(例えば、L.Wang and S. Doclo, “Correlation Maximization Based Sampling Rate Offset Estimation for Distributed Microphone Arrays”, IEEE Trans. Audio, Speech and Language Processing, vol. 24, no. 3, pp.571-582, March 2016.参照)。
次に、実施の形態1を用いて評価実験を行った。図9は、評価実験における収録条件を示す図である。
シナリオ1:1方向に移動(ルートは4種類:A→B,B→A,C→D,D→C)
シナリオ2:ある直線上を2往復(ルートは4種類:A→B→A→B→A,B→A→B→A→B,C→D→C→D→C,D→C→D→C→D)
図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
図12は、プログラムが実行されることにより、信号処理装置10,210が実現されるコンピュータの一例を示す図である。コンピュータ1000は、例えば、メモリ1010、CPU1020を有する。また、コンピュータ1000は、ハードディスクドライブインタフェース1030、ディスクドライブインタフェース1040、シリアルポートインタフェース1050、ビデオアダプタ1060、ネットワークインタフェース1070を有する。これらの各部は、バス1080によって接続される。
11,211 空間的定常区間推定部
12 サンプリング周波数ミスマッチ量推定部
111,121,2111 時間周波数領域変換部
112 クラスタリング部
113 最尤クラス選択部
122 最尤ε推定部
Claims (7)
- サンプリング周波数が異なる複数の録音端末により収録された音響信号を処理する信号処理装置であって、
基準となる参照端末において収録された参照信号と、サンプリング周波数のミスマッチ量の推定対象である対象端末において収録された1または複数の対象信号とを所定の時間間隔で切り出して周波数領域の信号に変換し、周波数領域変換後の参照信号及び対象信号を基に、収録した音源の空間的定常性が高い時間区間である空間的定常区間を推定する第1の推定部と、
前記空間的定常区間における周波数領域変換後の参照信号及び対象信号を用いて、サンプリング周波数のミスマッチ量を推定する第2の推定部と、
を有することを特徴とする信号処理装置。 - サンプリング周波数が異なる複数の録音端末により収録された音響信号を処理する信号処理装置であって、
基準となる参照端末において収録された参照信号、サンプリング周波数のミスマッチ量の推定対象である対象端末において収録された1または複数の対象信号、または、その他の録音端末において収録されたサブアレイ信号を所定の時間間隔で切り出して周波数領域の信号に変換し、周波数領域変換後の参照信号、対象信号またはサブアレイ信号を基に、収録した音源の空間的定常性が高い時間区間である空間的定常区間を推定する第1の推定部と、
前記空間的定常区間における周波数領域変換後の参照信号及び対象信号を用いて、サンプリング周波数のミスマッチ量を推定する第2の推定部と、
を有することを特徴とする信号処理装置。 - 前記第1の推定部は、所定の時間で切り出した各時間フレームを、空間的特徴量に基づいてクラスタリングするクラスタリング部を有することを特徴とする請求項1または2に記載の信号処理装置。
- 前記第1の推定部は、前記クラスタリング部によってクラスタリングされたクラスのうち定常的な信号に対応するクラスを、尤度に基づいて推定する第3の推定部をさらに有することを特徴とする請求項3に記載の信号処理装置。
- サンプリング周波数が異なる複数の録音端末により収録された音響信号を処理する信号処理装置が実行する信号処理方法であって、
基準となる参照端末において収録された参照信号と、サンプリング周波数のミスマッチ量の推定対象である対象端末において収録された1または複数の対象信号とを所定の時間間隔で切り出して周波数領域の信号に変換し、周波数領域変換後の参照信号及び対象信号を基に、収録した音源の空間的定常性が高い時間区間である空間的定常区間を推定する第1の推定工程と、
前記空間的定常区間における周波数領域変換後の参照信号及び対象信号を用いて、サンプリング周波数のミスマッチ量を推定する第2の推定工程と、
を含んだことを特徴とする信号処理方法。 - サンプリング周波数が異なる複数の録音端末により収録された音響信号を処理する信号処理装置が実行する信号処理装置であって、
基準となる参照端末において収録された参照信号、サンプリング周波数のミスマッチ量の推定対象である対象端末において収録された1または複数の対象信号、または、その他の録音端末において収録されたサブアレイ信号を所定の時間間隔で切り出して周波数領域の信号に変換し、周波数領域変換後の参照信号、対象信号またはサブアレイ信号を基に、収録した音源の空間的定常性が高い時間区間である空間的定常区間を推定する第1の推定工程と、
前記空間的定常区間における周波数領域変換後の参照信号及び対象信号を用いて、サンプリング周波数のミスマッチ量を推定する第2の推定工程と、
を含んだことを特徴とする信号処理方法。 - コンピュータを、請求項1~4のいずれか一つに記載の信号処理装置として機能させるための信号処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019026899A JP7126659B2 (ja) | 2019-02-18 | 2019-02-18 | 信号処理装置、信号処理方法及び信号処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019026899A JP7126659B2 (ja) | 2019-02-18 | 2019-02-18 | 信号処理装置、信号処理方法及び信号処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020134659A JP2020134659A (ja) | 2020-08-31 |
JP7126659B2 true JP7126659B2 (ja) | 2022-08-29 |
Family
ID=72262931
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019026899A Active JP7126659B2 (ja) | 2019-02-18 | 2019-02-18 | 信号処理装置、信号処理方法及び信号処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7126659B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014174393A (ja) | 2013-03-11 | 2014-09-22 | Research Organization Of Information & Systems | 音声信号処理装置及び方法 |
WO2018037643A1 (ja) | 2016-08-23 | 2018-03-01 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
-
2019
- 2019-02-18 JP JP2019026899A patent/JP7126659B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014174393A (ja) | 2013-03-11 | 2014-09-22 | Research Organization Of Information & Systems | 音声信号処理装置及び方法 |
WO2018037643A1 (ja) | 2016-08-23 | 2018-03-01 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020134659A (ja) | 2020-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Erdogan et al. | Improved mvdr beamforming using single-channel mask prediction networks. | |
Miyabe et al. | Blind compensation of interchannel sampling frequency mismatch for ad hoc microphone array based on maximum likelihood estimation | |
US9668066B1 (en) | Blind source separation systems | |
Sawada et al. | Underdetermined convolutive blind source separation via frequency bin-wise clustering and permutation alignment | |
JP6434657B2 (ja) | 空間相関行列推定装置、空間相関行列推定方法および空間相関行列推定プログラム | |
Li et al. | Multiple-speaker localization based on direct-path features and likelihood maximization with spatial sparsity regularization | |
Miyabe et al. | Blind compensation of inter-channel sampling frequency mismatch with maximum likelihood estimation in STFT domain | |
Li et al. | Online localization and tracking of multiple moving speakers in reverberant environments | |
Mohammadiha et al. | Single channel speech enhancement using Bayesian NMF with recursive temporal updates of prior distributions | |
WO2016130885A1 (en) | Audio source separation | |
EP3113508B1 (en) | Signal-processing device, method, and program | |
Liu | Sound source seperation with distributed microphone arrays in the presence of clocks synchronization errors | |
JP6538624B2 (ja) | 信号処理装置、信号処理方法および信号処理プログラム | |
Asaei et al. | Binary sparse coding of convolutive mixtures for sound localization and separation via spatialization | |
Sarmiento et al. | A contrast function based on generalized divergences for solving the permutation problem in convolved speech mixtures | |
JP5406866B2 (ja) | 音源分離装置、その方法及びプログラム | |
JP7126659B2 (ja) | 信号処理装置、信号処理方法及び信号処理プログラム | |
JP6973254B2 (ja) | 信号分析装置、信号分析方法および信号分析プログラム | |
Bando et al. | Weakly-Supervised Neural Full-Rank Spatial Covariance Analysis for a Front-End System of Distant Speech Recognition. | |
Yoshioka et al. | Dereverberation by using time-variant nature of speech production system | |
Mazur et al. | Robust room equalization using sparse sound-field reconstruction | |
JP6285855B2 (ja) | フィルタ係数算出装置、音声再生装置、フィルタ係数算出方法及びプログラム | |
Li et al. | Low complex accurate multi-source RTF estimation | |
Makishima et al. | Column-wise update algorithm for independent deeply learned matrix analysis | |
Llerena et al. | Synchronization for classical blind source separation algorithms in wireless acoustic sensor networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20190220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190220 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210527 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210702 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220317 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220808 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7126659 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |