JP5699844B2 - 残響抑制装置および残響抑制方法並びに残響抑制プログラム - Google Patents
残響抑制装置および残響抑制方法並びに残響抑制プログラム Download PDFInfo
- Publication number
- JP5699844B2 JP5699844B2 JP2011165274A JP2011165274A JP5699844B2 JP 5699844 B2 JP5699844 B2 JP 5699844B2 JP 2011165274 A JP2011165274 A JP 2011165274A JP 2011165274 A JP2011165274 A JP 2011165274A JP 5699844 B2 JP5699844 B2 JP 5699844B2
- Authority
- JP
- Japan
- Prior art keywords
- impulse response
- reverberation
- microphone
- sound
- corrected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
- H04R2227/007—Electronic adaptation of audio signals to reverberation of the listening space for PA
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Circuit For Audible Band Transducer (AREA)
- Telephone Function (AREA)
Description
hw(t)=α(t)・h1(t)+β(t)・h2(t) ・・・(1)
なお、上述した第1期間P1において、重み関数α(t)は、重み関数β(t)が第2インパルス応答h2(t)に与える重みよりも大きい重みを、第1インパルス応答h1(t)に与えることが望ましい。一方、第2期間P2においては、重み関数β(t)は、重み関数α(t)が第1インパルス応答h1(t)に与える重みよりも大きい重みを、第2インパルス応答に与えることが望ましい。
|Y(ω)|2=Re{FFT(y(t))}2+Im{FFT(y(t))}2 ・・・(2)
また、図4に示した音声補正部110は、図1に示した推定部112の一例として、抽出部123と、部分応答変換部124と、特性算出部125と、補正応答変換部126とを含む。
H(ω)=Hd(ω)+Hr(ω) ・・・(3)
このモデルにおいて、上述した伝達特性Hd(ω)を用いて、入力音声スペクトルY(ω)に含まれる直接音成分スペクトルYd(ω)は式(4)のように表される。また、入力音声スペクトルY(ω)に含まれる残響音成分スペクトルYr(ω)は、伝達特性Hr(ω)を用いて式(5)のように表される。
Yd(ω)=Hd(ω)X(ω) ・・・(4)
Yr(ω)=Hr(ω)X(ω) ・・・(5)
これらの式(2)〜(4)を、入力音声スペクトルY(ω)が直接音成分スペクトルYd(ω)と残響音成分スペクトルYr(ω)との和であることを利用して整理することにより、残響音成分スペクトルYr(ω)を表す式(6)が得られる。
|Hw(ω)|2=Re{FFT(hw(t))}2+Im{FFT(hw(t))}2 ・・・(7)
図4に示した抽出部123は、補正インパルス応答hw(t)から、残響音の成分を示す部分インパルス応答hp(t)を抽出する。例えば、抽出部123は、図6(B)に示した補正インパルス応答hw(t)に含まれる上述した第2期間P2の部分を、部分インパルス応答hp(t)として抽出してもよい。なお、抽出部123は、例えば、第2インパルス応答h2(t)に、図5(B)に示したように、第1期間P1において重み0を与え、第2期間P2において重み1を与える重み関数を適用することにより、部分インパルス応答hp(t)を抽出してもよい。また、抽出部123は、上述した加重加算部121による加重加算処理の過程で、図5(B)に示した重み関数β(t)によって重み付けされた第2インパルス応答h2(t)を部分インパルス応答hp(t)として受け取ってもよい。
|Hp(ω)|2=Re{FFT(hp(t))}2+Im{FFT(hp(t))}2 ・・・(8)
上述した補正インパルス応答スペクトルHw(ω)の電力|Hw(ω)|2に対する部分インパルス応答スペクトルHp(ω)の電力|Hp(ω)|2との比は、式(6)に示した室内空間の伝達特性H(ω)に対する残響音についての伝達特性Hr(ω)の比に相当する。
C=R−1・q ・・・(11)
なお、式(11)において、特性係数ベクトルCは、補正インパルス応答hw(t)を示す行列hwの自己相関行列Rの逆行列と、インパルスIpと行列hwとの相互相関ベクトルqとの積で表される。なお、行列hwの自己相関行列Rの定義を式(12)に示し、また、インパルスIpと行列hwとの相互相関ベクトルqの定義を式(13)に示す。
R=hwT・hw ・・・(12)
q=Ip・hw ・・・(13)
図13に示した音声補正部110は、マイクロホン104からの音声信号y(t)を、上述した式(11)で示される特性係数ベクトルCが設定された残響抑制フィルタ134に入力することにより、残響音成分が抑制された補正音声信号y’(t)を得る。
Claims (12)
- 携帯端末に搭載されたスピーカ又はマイクロホンの指向性に基づいて配置された音源がインパルスを出力した際に前記マイクロホンが出力する信号から得られる第1インパルス応答を示す情報を予め保持する第1保持部と、
残響音を抑制する対象となる室内において、前記携帯端末に搭載されたスピーカがインパルスを出力した際に前記マイクロホンが出力する信号から得られる第2インパルス応答を示す情報を保持する第2保持部と、
前記第1インパルス応答を示す情報を用いて、前記第2保持部に保持された情報で示される前記第2インパルス応答を補正することにより、前記室内の環境を反映した補正インパルス応答を求める応答補正部と、
前記補正インパルス応答に基づいて、前記室内において前記マイクロホンに音声が入力される際に当該マイクロホンによって得られる音声信号を補正する音声補正部と、
を備えたことを特徴とする残響抑制装置。 - 請求項1に記載の残響抑制装置において、
前記第1保持部は、前記第1インパルス応答の波形を示す情報を保持し、
前記第2保持部は、前記第2インパルス応答の波形を示す情報を保持し、
前記応答補正部は、前記第1インパルス応答の波形を示す情報と前記第2インパルス応答の波形を示す情報とに、前記インパルスが出力された時刻から所定の第1時刻までの第1期間と前記第1時刻以降の第2期間とについてそれぞれ異なる重みを適用して加重加算することにより、前記補正インパルス応答を求める
ことを特徴とする残響抑制装置。 - 請求項1に記載の残響抑制装置において、
前記第1保持部は、前記第1インパルス応答の前記第1期間における音声のパワーと、前記携帯端末に搭載されたスピーカによってインパルスを出力した際に前記第1期間において前記マイクロホンに到来する音声のパワーとの比を示す情報を、前記第1インパルスを示す情報として予め保持し、
前記第2保持部は、前記第2インパルス応答の波形を示す情報を保持し、
前記応答補正部は、前記第2インパルス応答の第1期間における波形を、前記比を示す情報を用いて増幅する補正を行うことにより、前記補正インパルス応答を求める
ことを特徴とする残響抑制装置。 - 請求項1または請求項2に記載の残響抑制装置において、
前記音声補正部は、
前記音声信号を周波数領域の信号に変換する変換部と、
前記補正インパルス応答と前記周波数領域の信号とに基づいて、前記音声信号に含まれる残響音の周波数特性を示す残響特性を推定する推定部と、
前記推定部によって推定された残響特性に基づいて、前記残響音の各周波数成分を抑制するためのゲインを算出するゲイン算出部と、
前記周波数領域の信号に前記ゲインを乗算する乗算部とを有する
ことを特徴とする残響抑制装置。 - 請求項4に記載の残響抑制装置において、
前記推定部は、
前記補正インパルス応答から残響音の成分を示す部分インパルス応答を抽出する抽出部と、
前記補正インパルス応答に対応する補正インパルス応答スペクトルと、前記部分インパルス応答に対応する部分インパルス応答スペクトルとの比を、前記周波数領域の信号に乗算することにより前記残響特性を算出する特性算出部とを有する
ことを特徴とする残響抑制装置。 - 請求項4に記載の残響抑制装置において、
前記ゲイン算出部は、
所定の第1閾値を超える残響特性が得られた周波数成分に対応するゲインにあらかじめ決定したゲインの下限値を設定し、別の第2閾値未満の残響特性が得られた周波数成分に対応するゲインに前記下限値よりも大きい上限値を設定し、前記第2閾値以上であって前記第1閾値以下の残響特性が得られた周波数成分に対応するゲインとして、前記残響特性の値に応じて、前記上限値から前記下限値に単調に減少するようなゲインを設定する
ことを特徴とする残響抑制装置。 - 携帯端末に搭載されたスピーカ又はマイクロホンの指向性に基づいて配置された音源がインパルスを出力した際に前記マイクロホンが出力する信号から得られる第1インパルス応答を示す情報を用いて、
残響音を抑制する対象となる室内において前記携帯端末に搭載されたスピーカがインパルスを出力した際に前記マイクロホンが出力する信号から得られる第2インパルス応答を補正することにより、前記室内の環境を反映した補正インパルス応答を求め、
前記補正インパルス応答に基づいて、前記室内において前記マイクロホンに音声が入力される際に当該マイクロホンによって得られる音声信号を補正する、
ことを特徴とする残響抑制方法。 - 携帯端末に搭載されたスピーカ又はマイクロホンの指向性に基づいて配置された音源がインパルスを出力した際に前記マイクロホンが出力する信号から得られる第1インパルス応答を示す情報を用いて、
残響音を抑制する対象となる室内において前記携帯端末に搭載されたスピーカがインパルスを出力した際に前記マイクロホンが出力する信号から得られる第2インパルス応答を補正することにより、前記室内の環境を反映した補正インパルス応答を求め、
前記補正インパルス応答に基づいて、前記室内において前記マイクロホンに音声が入力される際に当該マイクロホンによって得られる音声信号を補正する、
処理をコンピュータに実行させる残響抑制プログラム。 - 請求項8に記載の残響抑制プログラムにおいて、
前記補正インパルス応答を求める処理として、
前記第1インパルス応答の波形を示す情報と前記第2インパルス応答の波形を示す情報とに、前記インパルスが出力された時刻から所定の第1時刻までの第1期間と前記第1時刻以降の第2期間とについてそれぞれ異なる重みを適用して加重加算する処理を含む、
処理をコンピュータに実行させる残響抑制プログラム。 - 請求項8に記載の残響抑制プログラムにおいて、
前記補正インパルス応答を求める処理として、
前記第1インパルス応答の前記第1期間における音声のパワーと、前記携帯端末に搭載されたスピーカによってインパルスを出力した際に前記第1期間において前記マイクロホンに到来する音声のパワーとの比を示す情報を用いて、前記第2インパルス応答の第1期間における波形を増幅する処理を含む、
処理をコンピュータに実行させる残響抑制プログラム。 - 請求項8に記載の残響抑制プログラムにおいて、
音声信号を補正する処理として、
前記音声信号を周波数領域の信号に変換し、
前記補正インパルス応答と前記周波数領域の信号とに基づいて、前記音声信号に含まれる残響音の周波数特性を示す残響特性を推定し、
前記推定された残響特性に基づいて、前記残響音に含まれる各周波数成分を抑制するためのゲインを算出し、
前記周波数領域の信号に前記ゲインを乗算する処理を含む
処理をコンピュータに実行させる残響抑制プログラム。 - 請求項11に記載の残響抑制プログラムにおいて、
前記残響特性を推定する処理として、
前記補正インパルス応答から残響音の成分を示す部分インパルス応答を抽出し、
前記補正インパルス応答に対応する補正インパルス応答スペクトルと、前記部分インパルス応答に対応する部分インパルス応答スペクトルとの比を、前記周波数領域の信号に乗算することにより前記残響特性を算出する処理を含む、
処理をコンピュータに実行させる残響抑制プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011165274A JP5699844B2 (ja) | 2011-07-28 | 2011-07-28 | 残響抑制装置および残響抑制方法並びに残響抑制プログラム |
US13/450,786 US20130028432A1 (en) | 2011-07-28 | 2012-04-19 | Reverberation suppression device, reverberation suppression method, and computer-readable recording medium storing reverberation suppression program |
EP12166270.4A EP2552131A3 (en) | 2011-07-28 | 2012-05-01 | Reverberation suppression device, method, and program for a mobile terminal device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011165274A JP5699844B2 (ja) | 2011-07-28 | 2011-07-28 | 残響抑制装置および残響抑制方法並びに残響抑制プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013030956A JP2013030956A (ja) | 2013-02-07 |
JP5699844B2 true JP5699844B2 (ja) | 2015-04-15 |
Family
ID=46027793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011165274A Expired - Fee Related JP5699844B2 (ja) | 2011-07-28 | 2011-07-28 | 残響抑制装置および残響抑制方法並びに残響抑制プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20130028432A1 (ja) |
EP (1) | EP2552131A3 (ja) |
JP (1) | JP5699844B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5923994B2 (ja) * | 2012-01-23 | 2016-05-25 | 富士通株式会社 | 音声処理装置及び音声処理方法 |
JP5284517B1 (ja) * | 2012-06-07 | 2013-09-11 | 株式会社東芝 | 測定装置およびプログラム |
US9407992B2 (en) * | 2012-12-14 | 2016-08-02 | Conexant Systems, Inc. | Estimation of reverberation decay related applications |
JP6087762B2 (ja) * | 2013-08-13 | 2017-03-01 | 日本電信電話株式会社 | 残響抑圧装置とその方法と、プログラムとその記録媒体 |
JP6078461B2 (ja) * | 2013-12-18 | 2017-02-08 | 本田技研工業株式会社 | 音響処理装置、音響処理方法、及び音響処理プログラム |
JP6305273B2 (ja) * | 2014-08-19 | 2018-04-04 | 鹿島建設株式会社 | 評価値算定方法及び空間特性設計方法 |
US10425730B2 (en) * | 2016-04-14 | 2019-09-24 | Harman International Industries, Incorporated | Neural network-based loudspeaker modeling with a deconvolution filter |
CN107071636B (zh) | 2016-12-29 | 2019-12-31 | 北京小鸟听听科技有限公司 | 对带麦克风的设备的去混响控制方法和装置 |
CN109801643B (zh) * | 2019-01-30 | 2020-12-04 | 龙马智芯(珠海横琴)科技有限公司 | 混响抑制的处理方法和装置 |
JP7532793B2 (ja) * | 2020-02-10 | 2024-08-14 | ヤマハ株式会社 | 音量調整装置および音量調整方法 |
JP2022045086A (ja) * | 2020-09-08 | 2022-03-18 | 株式会社スクウェア・エニックス | 残響を求めるためのシステム |
JP2022144500A (ja) | 2021-03-19 | 2022-10-03 | ヤマハ株式会社 | 音信号処理方法および音信号処理装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0833092A (ja) * | 1994-07-14 | 1996-02-02 | Nissan Motor Co Ltd | 立体音響再生装置の伝達関数補正フィルタ設計装置 |
JP2000099061A (ja) * | 1998-09-25 | 2000-04-07 | Sony Corp | 効果音付加装置 |
AUPQ941600A0 (en) * | 2000-08-14 | 2000-09-07 | Lake Technology Limited | Audio frequency response processing sytem |
JP4059478B2 (ja) * | 2002-02-28 | 2008-03-12 | パイオニア株式会社 | 音場制御方法及び音場制御システム |
JP2006234888A (ja) * | 2005-02-22 | 2006-09-07 | Nippon Telegr & Teleph Corp <Ntt> | 残響除去装置、残響除去方法、残響除去プログラムおよび記録媒体 |
WO2007058121A1 (ja) * | 2005-11-15 | 2007-05-24 | Nec Corporation | 残響抑圧の方法、装置及び残響抑圧用プログラム |
WO2007100137A1 (ja) * | 2006-03-03 | 2007-09-07 | Nippon Telegraph And Telephone Corporation | 残響除去装置、残響除去方法、残響除去プログラム及び記録媒体 |
JP4729534B2 (ja) | 2007-05-25 | 2011-07-20 | 日本電信電話株式会社 | 残響除去装置、残響除去方法、残響除去プログラム、および、その記録媒体 |
US7987090B2 (en) * | 2007-08-09 | 2011-07-26 | Honda Motor Co., Ltd. | Sound-source separation system |
CN102084667B (zh) * | 2008-03-03 | 2014-01-29 | 日本电信电话株式会社 | 回响去除装置、回响去除方法、回响去除程序、以及记录介质 |
WO2009110574A1 (ja) * | 2008-03-06 | 2009-09-11 | 日本電信電話株式会社 | 信号強調装置、その方法、プログラム及び記録媒体 |
JP4532576B2 (ja) * | 2008-05-08 | 2010-08-25 | トヨタ自動車株式会社 | 処理装置、音声認識装置、音声認識システム、音声認識方法、及び音声認識プログラム |
US8218780B2 (en) * | 2009-06-15 | 2012-07-10 | Hewlett-Packard Development Company, L.P. | Methods and systems for blind dereverberation |
US20110058676A1 (en) * | 2009-09-07 | 2011-03-10 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for dereverberation of multichannel signal |
US8761410B1 (en) * | 2010-08-12 | 2014-06-24 | Audience, Inc. | Systems and methods for multi-channel dereverberation |
-
2011
- 2011-07-28 JP JP2011165274A patent/JP5699844B2/ja not_active Expired - Fee Related
-
2012
- 2012-04-19 US US13/450,786 patent/US20130028432A1/en not_active Abandoned
- 2012-05-01 EP EP12166270.4A patent/EP2552131A3/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
EP2552131A3 (en) | 2015-10-07 |
US20130028432A1 (en) | 2013-01-31 |
EP2552131A2 (en) | 2013-01-30 |
JP2013030956A (ja) | 2013-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5699844B2 (ja) | 残響抑制装置および残響抑制方法並びに残響抑制プログラム | |
JP5751110B2 (ja) | 残響抑制装置および残響抑制方法並びに残響抑制プログラム | |
JP5017441B2 (ja) | 携帯型電子機器 | |
US9135924B2 (en) | Noise suppressing device, noise suppressing method and mobile phone | |
CN105976826B (zh) | 应用于双麦克风小型手持设备的语音降噪方法 | |
US20170140771A1 (en) | Information processing apparatus, information processing method, and computer program product | |
WO2020097828A1 (zh) | 回声消除方法、延时估计方法、装置、存储介质及设备 | |
JP2011232691A (ja) | 残響抑圧装置、及び残響抑圧方法 | |
WO2013078474A1 (en) | Processing signals | |
JP2010035044A (ja) | 伝達特性推定装置、雑音抑圧装置、伝達特性推定方法及びコンピュータプログラム | |
JP5834948B2 (ja) | 残響抑制装置、残響抑制方法及び残響抑制用コンピュータプログラム | |
JP6135106B2 (ja) | 音声強調装置、音声強調方法及び音声強調用コンピュータプログラム | |
JP6422885B2 (ja) | エコー抑圧 | |
CN105491495B (zh) | 基于确定性序列的反馈估计 | |
JP2009271359A (ja) | 処理装置、音声認識装置、音声認識システム、音声認識方法、及び音声認識プログラム | |
JP6295722B2 (ja) | エコー抑圧装置、プログラム及び方法 | |
CN107452398B (zh) | 回声获取方法、电子设备及计算机可读存储介质 | |
JP2019219468A (ja) | 生成装置、生成方法及び生成プログラム | |
CN102970638B (zh) | 处理信号 | |
JP6711205B2 (ja) | 音響信号処理装置、プログラム及び方法 | |
JP6638248B2 (ja) | 音声判定装置、方法及びプログラム、並びに、音声信号処理装置 | |
JP6221258B2 (ja) | 信号処理装置、方法及びプログラム | |
JP6369192B2 (ja) | エコー抑圧装置、エコー抑圧プログラム、エコー抑圧方法及び通信端末 | |
JP6361360B2 (ja) | 残響判定装置及びプログラム | |
JP2016158072A (ja) | 集音装置、音声処理方法、および音声処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140404 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5699844 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |