JP4891805B2 - 残響除去装置、残響除去方法、残響除去プログラム、記録媒体 - Google Patents
残響除去装置、残響除去方法、残響除去プログラム、記録媒体 Download PDFInfo
- Publication number
- JP4891805B2 JP4891805B2 JP2007043430A JP2007043430A JP4891805B2 JP 4891805 B2 JP4891805 B2 JP 4891805B2 JP 2007043430 A JP2007043430 A JP 2007043430A JP 2007043430 A JP2007043430 A JP 2007043430A JP 4891805 B2 JP4891805 B2 JP 4891805B2
- Authority
- JP
- Japan
- Prior art keywords
- estimation
- speech
- speech signal
- signal
- autocorrelation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
Description
これは他のさまざまな音響信号処理システムの要素技術として用いることで、そのシステム全体の性能向上につながる技術である。残響除去処理が要素技術として性能向上に寄与できるような音響信号処理システムには、例えば、以下のようなものが列挙できる。
1.残響除去を前処理として用いる音声認識システム。
2.残響除去により音声の明瞭度を向上させるTV会議システムなどの通信システム。
3.講演の録音に含まれる残響を除去することで、録音された音声の明瞭度を向上させる再生システム。
4.残響を除去することで聞き取りやすさを向上させる補聴器。
5.人が発した声に反応して機械にコマンドをわたす機械制御インターフェース、および機械と人間との対話装置。
Miyoshi, M., and Kaneda, Y., "Inverse filtering of room acoustics," IEEE Trans. ASSP, 36(2), pp. 145-152, 1988. Schmidt, R. O., "Multiple emitter location and signal parameter estimation," IEEE Trans. AP, 34(3), pp. 276-280, 1986.
本発明による残響除去装置で機能する残響除去方法は音声の確率モデルに基づく残響除去方法として、自己相関コードブックに基づく残響除去方法を採る点を特徴とする。
自己相関コードブックに基づく残響除去の原理
本発明では、音声の確率モデルを表現するために、事後確率密度関数p(St  ̄|Ht  ̄;θ)を用いる。後述するように、音声信号の波形は、短時間区間ごとに平均0の定常ガウス過程に基づくと仮定し、各時間区間ごとに変化する音声の自己相関行列(定常ガウス過程では共分散行列と等価)だけで特定することができる。
自己相関コードブックを用いた音声の確率モデル
このため、一つの実施例として、クラスタリングの前に音声の短時間区間をエネルギーに関してエネルギー正規化部7で正規化するとともに、エネルギーの対数値を時間差0の項の置き換え部10において当該短時間区間の自己相関の時間差ゼロのラグの値と置き換えておき、クラスタリング部11におけるクラスタリングをユークリッド距離尺度に基づいて行う方法などが挙げられる。
図1を用いて、本発明の実施例1で提案する残響除去装置の構成を説明する。実施例1で提案する残響除去装置は音声信号推定手段21と、収束判定手段22と、音声自己相関推定手段23と、逆フィルタ推定手段24とによって構成される。
音声信号推定手段21は観測信号と逆フィルタ推定手段24が推定した逆フィルタの推定値を受け取り、音声信号を推定する。
音声自己相関推定手段23は音声信号の初期推定値もしくは音声信号推定手段が推定した音声信号の推定値を受け取り、音声信号の確率モデルにしたがって各短時間区間ごとの音声の自己相関関数を推定する。
収束判定手段22は音声自己相関推定手段23と、逆フィルタ推定手段24と、音声信号推定手段21が順に各推定を繰り返すことで各推定の精度を向上させ、音声信号推定手段21が推定した音声信号の推定値を受け取り、繰り返しによる推定の収束を判定し、推定の繰り返しを終了させるとともに、音声信号の当該推定値を出力する。
まず、もし、音源信号が平均0分散1の白色ガウス過程であり、室内インパルス応答が事前に観測できる場合、式(2)を最大にする解は以下のように与えることができる。
もう一つの残響除去の構成法として、室内インパルス応答が既知でない場合に自己相関コードブックに基づき逆フィルタを推定し残響除去を行う方法について、図3を用いて説明する。図1とこの構成の違いはインパルス応答が既知でないことから、逆フィルタ推定部24に観測信号を入力している点である。その他の構成は図1と同じである。
実施例1の効果を確認するために、室内インパルス応答を畳み込んだ音声に、白色雑音を付加したものを観測信号として用意した。このとき、平均の信号対雑音比(SNR)を10dBとした。ムーアペンローズ擬似逆行列、Tikhonov正則化法、および実施例1による残響除去性能を比較した。以下、簡単のため、ムーアペンローズ擬似逆行列に基づく方法をMPI、Tikhonov正則化法をCRI、および実施例1をPROP1と表記することとする。PROP1では、st  ̄の初期値としてCRIが残響除去した後の信号を用いた。また、PROP1の繰り返し数は5回に固定した。図7は、残響除去前後の音声のスペクトログラムを示している。MPIは音声信号が完全に埋もれてしまう程まで背景雑音を増幅してしまうのに対し、CRIは背景雑音を増幅することなく適切に残響除去が行えている。
実施例2の効果を残響除去後の音声の品質に基づいて評価した。以後、簡単化のため、実施例2をPROP2と表記する。この実験においては、各チャンネルの逆フィルタのフィルタ長を3000とした。1単語の列、および5単語の列からなる2種類の観測信号を用意した。また、PROP2ではst  ̄の初期値として、観測信号xt  ̄をそのまま用いた。クリーン音声と、5回繰り返し推定後の残響除去後の音声とのケプストラム距離、残響除去後の信号のスペクトログラムを、それぞれ、図8のBおよび図9に示す。図より、明らかなようにPROP2は、信号の品質を大変良く回復できていることがわかる。特に、5単語列の観測信号を用いた実験の結果得られたケプストラム距離はほとんど常に2dB以下である。1単語観測の場合も、耳で実際に聴取した音声の品質は大変良い。200msおよび800ms付近のケプストラム距離が大変大きくなっているが、実際には、この時間領域の信号のエネルギーは充分に小さいため、音声を耳で聴取した品質にはほとんど影響を与えていなかった。
21 音声信号推定手段 24 逆フィルタ推定手段
22 収束判定手段
Claims (10)
- 音声信号の確率モデルを、短時間区間ごとの音声信号の自己相関関数に対応する状態変数をパラメータとして持つ確率密度関数で表現し、音声信号の初期推定値もしくは音声信号推定手段が推定した音声信号の推定値を受け取り、前記確率密度関数を含む尤度関数を最大化する前記パラメータを求めることで、各短時間区間ごとの音声信号の自己相関関数を推定する音声自己相関推定手段と、
話者の位置からマイクロフォンまでの室内インパルス応答の推定値と上記音声自己相関推定手段が推定した短時間区間ごとの音声の自己相関を受け取り、逆フィルタを推定する逆フィルタ推定手段と、
観測信号と上記逆フィルタ推定手段が推定した逆フィルタの推定値を受け取り、音声信号を推定する音声信号推定手段と、
上記音声自己相関推定手段、逆フィルタ推定手段、および音声信号推定手段が順に各推定を繰り返すことで各推定の精度を向上させ、上記音声信号推定手段が推定した音声信号の推定値を受け取り、上記繰り返しによる推定の収束を判定し、推定の繰り返しを終了させると共に、音声信号の推定値を出力する収束判定手段と、
を備えることを特徴とする残響除去装置。 - 請求項1記載の残響除去装置において、観測信号を受け取り、観測信号に含まれる背景雑音の統計量を推定する背景雑音推定手段を備え、この背景雑音推定手段が推定した背景雑音の統計量と音声自己相関推定手段が推定する音声自己相関推定値とを上記逆フィルタ推定手段が受け取って逆フィルタを推定することを特徴とする残響除去装置。
- 音声信号の確率モデルを、短時間区間ごとの音声信号の自己相関関数に対応する状態変数をパラメータとして持つ確率密度関数で表現し、音声信号の初期推定値もしくは後記音声信号推定手段が推定した音声信号の推定値を受け取り、前記確率密度関数を含む尤度関数を最大化する前記パラメータを求めることで、各短時間区間ごとの音声信号の自己相関関数を推定する音声自己相関推定手段と、
観測信号と上記音声自己相関推定手段が推定した短時間区間ごとの音声の自己相関を受け取り逆フィルタを推定する逆フィルタ推定手段と、
観測信号と上記逆フィルタ推定手段が推定した逆フィルタの推定値を受け取り、音声信号を推定する音声信号推定手段と、
上記音声自己相関推定手段、逆フィルタ推定手段、音声信号推定手段が順に各推定を繰り返すことで各推定精度を向上させ、上記音声信号推定手段が推定した音声信号の推定値を受け取り上記繰り返しによる推定の収束を判定し、推定の繰り返しを終了させると共に、音声信号の当該推定値を出力する収束判定手段と、
を備えることを特徴とする残響除去装置。 - 音声信号の確率モデルを、短時間区間ごとの音声信号の自己相関関数に対応する状態変数をパラメータとして持つ確率密度関数で表現し、音声信号の初期推定値もしくは音声信号推定手段が推定した音声信号の推定値を受け取り、前記確率密度関数を含む尤度関数を最大化する前記パラメータを求めることで、各短時間区間ごとの音声信号の自己相関関数を推定する音声自己相関推定処理ステップと、
話者の位置からマイクロフォンまでの室内インパルス応答の推定値と上記音声自己相関推定処理ステップが推定した短時間区間ごとの音声の自己相関を受け取り、逆フィルタを推定する逆フィルタ推定処理ステップと、
観測信号と上記逆フィルタ推定処理ステップが推定した逆フィルタの推定値を受け取り、音声信号を推定する音声信号推定処理ステップと、
上記音声自己相関推定処理ステップ、逆フィルタ推定処理ステップ、および音声信号推定処理ステップが順に各推定を繰り返すことで各推定の精度を向上させ、上記音声信号推定処理ステップで推定した音声信号の推定値を受け取り、上記繰り返しによる推定の収束を判定し、推定の繰り返しを終了させると共に、音声信号の推定値を出力する収束判定処理ステップと、
を実行させる残響除去方法。 - 請求項5記載の残響除去方法において、観測信号を受け取り、観測信号に含まれる背景雑音の統計量を推定する背景雑音推定処理ステップを含み、この背景雑音推定処理ステップが推定した背景雑音の統計量と音声自己相関推定処理ステップで推定する音声自己相関推定値とを上記逆フィルタ推定処理ステップが受け取って逆フィルタを推定することを特徴とする残響除去方法。
- 音声信号の確率モデルを、短時間区間ごとの音声信号の自己相関関数に対応する状態変数をパラメータとして持つ確率密度関数で表現し、音声信号の初期推定値もしくは後記音声信号推定部が推定した音声信号の推定値を受け取り、前記確率密度関数を含む尤度関数を最大化する前記パラメータを求めることで、各短時間区間ごとの音声信号の自己相関関数を推定する音声自己相関推定処理ステップと、
観測信号と上記音声自己相関推定処理ステップで推定した短時間区間ごとの音声の自己相関を受け取り逆フィルタを推定する逆フィルタ推定処理ステップと、
観測信号と上記逆フィルタ推定処理ステップで推定した逆フィルタの推定値を受け取り、音声信号を推定する音声信号推定処理ステップと、
上記音声自己相関推定処理ステップ、逆フィルタ推定処理ステップ、音声信号推定処理ステップが順に各推定処理を繰り返すことで各推定精度を向上させ、上記音声信号推定処理ステップが推定した音声信号の推定値を受け取り上記繰り返しによる推定の収束を判定し、推定の繰り返しを終了させると共に、音声信号の当該推定値を出力する収束判定処理ステップと、
を実行させることを特徴とする残響除去方法。 - コンピュータが解読可能なプログラム言語によって記述され、コンピュータに請求項1乃至4の何れかに記載の残響除去装置として機能させる残響除去プログラム。
- コンピュータが読み取り可能な記録媒体によって構成され、この記録媒体に請求項9記載の残響除去プログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007043430A JP4891805B2 (ja) | 2007-02-23 | 2007-02-23 | 残響除去装置、残響除去方法、残響除去プログラム、記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007043430A JP4891805B2 (ja) | 2007-02-23 | 2007-02-23 | 残響除去装置、残響除去方法、残響除去プログラム、記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008209445A JP2008209445A (ja) | 2008-09-11 |
JP4891805B2 true JP4891805B2 (ja) | 2012-03-07 |
Family
ID=39785829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007043430A Expired - Fee Related JP4891805B2 (ja) | 2007-02-23 | 2007-02-23 | 残響除去装置、残響除去方法、残響除去プログラム、記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4891805B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4977062B2 (ja) * | 2008-02-29 | 2012-07-18 | 日本電信電話株式会社 | 残響除去装置とその方法と、そのプログラムと記録媒体 |
US20110058676A1 (en) * | 2009-09-07 | 2011-03-10 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for dereverberation of multichannel signal |
JP5633673B2 (ja) * | 2010-05-31 | 2014-12-03 | ヤマハ株式会社 | 雑音抑圧装置およびプログラム |
JP6677662B2 (ja) * | 2017-02-14 | 2020-04-08 | 株式会社東芝 | 音響処理装置、音響処理方法およびプログラム |
JP6728250B2 (ja) * | 2018-01-09 | 2020-07-22 | 株式会社東芝 | 音響処理装置、音響処理方法およびプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6135630A (ja) * | 1984-07-27 | 1986-02-20 | Matsushita Electric Ind Co Ltd | エコ−キヤンセラ |
JP3270866B2 (ja) * | 1993-03-23 | 2002-04-02 | ソニー株式会社 | 雑音除去方法および雑音除去装置 |
US6377682B1 (en) * | 2000-06-26 | 2002-04-23 | Lucent Technologies Inc. | Robust adaptive filter for use in acoustic and network echo cancellation |
JP3583980B2 (ja) * | 2000-08-17 | 2004-11-04 | 日本電信電話株式会社 | 収音装置及び受信装置 |
JP2002258897A (ja) * | 2001-02-27 | 2002-09-11 | Fujitsu Ltd | 雑音抑圧装置 |
JP4473709B2 (ja) * | 2004-11-18 | 2010-06-02 | 日本電信電話株式会社 | 信号推定方法、信号推定装置、信号推定プログラム及びその記録媒体 |
JP2006227152A (ja) * | 2005-02-16 | 2006-08-31 | Nippon Telegr & Teleph Corp <Ntt> | 計算装置およびその計算装置を利用した収音装置 |
JP4581114B2 (ja) * | 2005-05-16 | 2010-11-17 | 株式会社国際電気通信基礎技術研究所 | 適応型ビーム形成器 |
-
2007
- 2007-02-23 JP JP2007043430A patent/JP4891805B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008209445A (ja) | 2008-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4880036B2 (ja) | 音源と室内音響の確率モデルに基づく音声残響除去のための方法及び装置 | |
CN107393550B (zh) | 语音处理方法及装置 | |
JP4842583B2 (ja) | 多感覚音声強調のための方法および装置 | |
KR102316537B1 (ko) | 잡음 환경에 강인한 화자 인식을 위한 심화신경망 기반의 특징 강화 및 변형된 손실 함수를 이용한 결합 학습 방법 및 장치 | |
WO2014153800A1 (zh) | 语音识别系统 | |
CN101930746B (zh) | 一种mp3压缩域音频自适应降噪方法 | |
Tu et al. | A hybrid approach to combining conventional and deep learning techniques for single-channel speech enhancement and recognition | |
JP4891805B2 (ja) | 残響除去装置、残響除去方法、残響除去プログラム、記録媒体 | |
KR102410850B1 (ko) | 잔향 제거 오토 인코더를 이용한 잔향 환경 임베딩 추출 방법 및 장치 | |
CN114041185A (zh) | 用于确定深度过滤器的方法和装置 | |
Al-Ali et al. | Enhanced forensic speaker verification using multi-run ICA in the presence of environmental noise and reverberation conditions | |
JP4098647B2 (ja) | 音響信号の残響除去方法、装置、及び音響信号の残響除去プログラム、そのプログラムを記録した記録媒体 | |
JP5740362B2 (ja) | 雑音抑圧装置、方法、及びプログラム | |
Kim et al. | Sound source separation algorithm using phase difference and angle distribution modeling near the target. | |
JP4729534B2 (ja) | 残響除去装置、残響除去方法、残響除去プログラム、および、その記録媒体 | |
KR101610708B1 (ko) | 음성 인식 장치 및 방법 | |
WO2022068675A1 (zh) | 发声者语音抽取方法、装置、存储介质及电子设备 | |
JP6106618B2 (ja) | 音声区間検出装置、音声認識装置、その方法、及びプログラム | |
Li et al. | Joint sparse representation based cepstral-domain dereverberation for distant-talking speech recognition | |
CN100495537C (zh) | 强鲁棒性语音分离方法 | |
KR101022457B1 (ko) | Casa 및 소프트 마스크 알고리즘을 이용한 단일채널 음성 분리방법 | |
JP2005321539A (ja) | 音声認識方法、その装置およびプログラム、その記録媒体 | |
GB2580655A (en) | Reducing a noise level of an audio signal of a hearing system | |
JP5498452B2 (ja) | 背景音抑圧装置、背景音抑圧方法、およびプログラム | |
RU2788939C1 (ru) | Способ и устройство для определения глубокого фильтра |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090105 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110516 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111206 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111216 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4891805 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141222 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |