JP4187795B2 - 音声信号障害を低減するための方法 - Google Patents
音声信号障害を低減するための方法 Download PDFInfo
- Publication number
- JP4187795B2 JP4187795B2 JP50648198A JP50648198A JP4187795B2 JP 4187795 B2 JP4187795 B2 JP 4187795B2 JP 50648198 A JP50648198 A JP 50648198A JP 50648198 A JP50648198 A JP 50648198A JP 4187795 B2 JP4187795 B2 JP 4187795B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- noise reduction
- spectral
- mask curve
- curve
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000006735 deficit Effects 0.000 title claims description 4
- 230000003595 spectral effect Effects 0.000 claims abstract description 33
- 230000009467 reduction Effects 0.000 claims abstract description 28
- 230000000873 masking effect Effects 0.000 claims abstract description 21
- 230000005236 sound signal Effects 0.000 claims description 9
- 230000002238 attenuated effect Effects 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 description 22
- 238000001914 filtration Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 230000001629 suppression Effects 0.000 description 4
- 230000005534 acoustic noise Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Noise Elimination (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Description
本発明は、音声信号障害を低減するための方法に関する。
この種の方法は有利には、音声通信、例えば自動車や音声認識システムなどにおける音声信号障害防止のために利用される。
障害のある音声信号における雑音成分の低減に頻繁に用いられる方法は、いわゆるスペクトルサブトラクションである。この方法は、比較的簡単でコストのかからない実現が可能であり、著しい雑音低減が可能になる利点を有している。
スペクトルサブトラクションを用いた音声低減に伴う不快な付随現象は、短時間の可聴ノイズの発生である。この現象はその可聴的な印象から雑音または音声ノイズとも称される。
スペクトルサブトラクションのもとでの雑音抑圧のための手段では、障害レベルの過大評価、つまり音声歪みの高まる欠点を伴った障害過大補償や雑音低減が僅かでしかない欠点を伴った比較的高い雑音ベースの許容が余儀なくされている（例えば公知文献“Enhancement of Speech Corrupted by Acoustic Noise;Berouti M.;Schwarz, R.;Makhoul,J.; in proceedings on ICASSP,pp.208-211,1979”参照）。線形的または非線形的平滑化とそれに伴う雑音抑圧のための方法は、例えば公知文献“Suppression of Acoustic Noise in Speech Using Spectral Subtraction;von S.F.Boll in IEEE Vol.Assp-27,Nr.2,pp.113-120”に記載されている。またメディアフィルタリングによる効果的な非線形的平滑化方法は、ドイツ連邦共和国特許出願DE 44 05 723 A1に開示されている。
スペクトルサブトラクションに対して付加的に音響心理学的知覚機能を考慮する方法も公知である（例えば公知文献“T.Petersen und S.Boll, Acoustic Noise Suppression in a Peceptual Model,in Proc.on ICASSP,pp.1086-1088,1981”参照）。これらの信号は、聴覚的に好都合な処理を行うために、音響心理学的に考慮される音量範囲において変換されている。
公知文献“Speech Enhancement Using Psychoacoustic Criteria,Proc.on ICASSP,pp.II359-II362,1993;D.Tsoukalas,P.Paraskevas und M.Mourjopoulos”及び“Speech Enhancement Based on Msking Properties of the Auditory System,；Proc.on ICASSP,pp.796-799,1995”から公知の手法では、算出されたマスキングカーブが次のことに利用されている。すなわち有効信号のマスキングの必要なスペクトルラインと減衰の必要のないスペクトルラインを検出することに利用されている。これにより音声信号の品質が改善される。しかしながらこの場合障害的な音声は、低減されない。
本発明の課題は、音声信号の障害の低減のための改善された方法を提供することである。
前記課題は請求項１の特徴部分に記載の本発明によって解決される。本発明の別の有利な実施例は従属請求項に記載される。
本発明は実質的に次のことに基づいている。すなわち、ノイズ低減によって最初に個別に現れる可聴の信号成分を障害として識別し、後から選択的減衰によって低減するか取り除くことに基づいている。この場合可聴の基準としては、それ自体公知のマスキングカーブの上回りが利用されている。
このマスキングカーブの算出は、冒頭に述べた従来技術の部分から一般的な形態で公知である（例えば公知文献“Sound Engineering, kap.2.,Psychoakustik und Geraeuschbeurteilung（S.10-33）,Expert Verlag 1994”など）。マスキングカーブの算出は、実際の音声信号や音声中断中の雑音信号に基づいて実施可能である。この場合は種々の音響心理学的作用効果が考慮されてもよい。このマスキングカーブ（これは種々の専門文献においてカバーカーブ、可聴閾値、マスキング閾値などとも称される）は、狭帯域音声の知覚可能性に対する周波数に依存したレベル閾値と見なされてもよい。
この主のマスキングカーブは、障害からの解放のために用いられるほかに、オーディオ信号のコード化の際のデータ整理にも用いられる。マスキングカーブの算出のための手法の例は、前述したような公知文献の他にも次の公知文献、“Transform Coding of Audio Signals Using Perceptual Noise Criteria; von J.Johnston in IEEE Journal on Select Areas Commun.,Vol.6,pp.314-323,Feb.1988”に開示されている。障害性のある音声信号の短期間スペクトルからマスキングカーブを検出するための典型的な方法の実質的なステップは以下の通りである。
−クリティカルな帯域分析ステップ（この分析のもとでは、信号のスペクトルがいわゆるクリティカル帯域に分割され、出力スペクトルｐ（i）からクリティカル帯域内の総和によってクリティカル帯域スペクトルＢ（n）が得られる、この帯域スペクトルは帯域インデックスｎを伴ったバークスペクトルでもある）
−マスキング効果を多数のクリティカル帯域に亘って考慮するための、拡張機能を伴うバークスペクトルの畳込みステップ（修正バークスペクトル）
−信号構成部分から算出されたオフセット係数による、種々のマスキング特性の雑音成分の付加的考慮
−そのつどのエネルギーに応じたクリティカル帯域への再標準化と場合によっては低レベル値の静止可聴閾値の値への引き上げに従った、バークに関するマスキングカーブＴ（n）と、周波数に関するマスキングカーブＶ（i）（そのつどのクリティカル帯域ｎ内のすべての周波数ｉに対しＶ（i）＝Ｔ（n））の生成
所定のマスキングカーブＶ（i）を用いることにより、信号のスペクトル成分は、出力スペクトルＰ（i）のマスキングカーブＶ（i）との比較によって、可聴成分（Ｐ（i）＞Ｖ（i））とマスキング成分（Ｐ（i）＜Ｖ（i））に区別される。
実施例
次に本発明の実施例を図面に基づいて以下に詳細に説明する。この場合図１は、スペクトルサブトラクションのための標準的な方法を示した図であり、図２は本発明による方法を示した図であり、図３は、本発明による信号処理方法の種々のステップにおける音声信号を示した図である。
スペクトラルサブトラクションのための方法は、障害のある入力信号の短時間のスペクトル処理に関している。音声休止中は、障害出力スペクトルが評価され、引き続き同相で障害入力信号が減じられる。この減算は、通常はフィルタリングとして実施される。このフィルタリングにより、実係数による障害スペクトル成分の重み付けが、評価された各スペクトル帯域のＳＮ比に応じて行われる。ノイズリダクションは、その障害成分に関する有効信号の障害を受けたスペクトル領域の減衰によって行われる。図１の簡単なブロック回路図には、スペクトルサブトラクション実現に対する１つの典型例が示されている。分析ステップにおいては、障害のある音声信号の分析が例えば一連の短時間スペクトルＹ（ｉ）への離散フーリエ変換（ＤＦＴ）によって行われる。フーリエ係数からは、ユニットＫＭが短時間平均値を形成する。これは、障害のある入力信号の離散周波数インデックスｉを伴った平均出力Ｙ2（i）に対する評価値を表す。ユニットＫＭでは音声休止検出器ＳＰの制御を介して音声信号なしの区分における平均障害出力スペクトルＮ2（ｉ）の評価が行われる。入力信号の各スペクトルラインＹ（i）は、引き続き実フィルタリング係数Ｈ（i）で乗算される。これは、短時間平均値Ｙ2（i）と障害出力平均値Ｎ2（i）からユニットＦＫにおいて算出される。ノイズリダクションの方法ステップは、乗算ステップＧＲとも称される。逆離散フーリエ変換（ＩＤＦＴ）によって合成段の出力側からはノイズ低減された音声信号が得られる。
フィルタリング係数Ｈ（i）の計算は、種々の公知の重み付け規定に従って行われる。典型的には以下の式に従って行われる。
前記ｆｌは所定の基本値（スペクトルフロア）である。この基本値はフィルタ係数に対する下方の限界を表し、通常は0.1＜ｆｌ＜0.25の範囲にある。この基本値は、スペクトラルサブトラクションの出力信号中に残った残留ノイズ成分を定め、これは課長閾値の低減を制限し、スペクトルサブトラクションのノイズ低減された出力信号中の狭帯域成分が部分的にマスクされる。基本値ｆｌを守ることは、主観的な聴覚印象を改善する。
音声形態の全ての残留障害成分のマスクに対しては、約０．５の基本値が選択されなければならない。これにより最大限達成可能なノイズリダクションが約６ｄＢまで絞られる。
本発明による手法のもとで使用される音声の特徴は、それが人間の耳に対してノイズリダクション手法の出力信号中に最初に障害的に聞こえるように現れることである。この可聴現象はこの出力信号に対する第２のマスク曲線によって定量的に検出可能である。同様に、第２のマスク曲線のレベル閾値を超える、出力信号中の音声有効成分に対しては（これは既に入力信号中で第１のマスク曲線のレベル超過として知覚されている）、音声は、ノイズリダクションの出力信号と入力信号中の可聴信号成分との比較によって新たな可聴成分として区別でき、後続の処理ステップにて選択的に減衰され得る。
次に図２に基づいて、例えば音声状の狭帯域障害成分の検出と抑圧のための本発明による手法を説明する。ここでは図１に示した標準的、スペクトルサブトラクション手法の改善が示されている。この場合図１と図２の間では一致する箇所には同じ符号が付されている。ノイズリダクションＧＲの入力信号Ｙ（i）からは、ユニットＶＥにおいて第１のマスク曲線Ｖ１（i）が算出される。ノイズリダクションの出力信号Ｙ′（i）からはユニットＶＡにおいて第２のマスク曲線Ｖ２（i）が算出される。
それに対して選択的に、第１のマスク曲線Ｖｌ（i）は、音声休止中のノイズリダクション入力側における平均障害出力スペクトルからも算出可能である。第２のマスク曲線は、第１のマスク曲線からも導出可能である（例えば基本値ｆｌとの乗算により→Ｖ２（i）＝ｆｌ・Ｖ１（i））。
ノイズリダクションの目下の入出力信号からのマスク曲線の検出の利点は、特に非定常的なノイズ成分と、マスクすべき音声成分の作用とを考慮することができることである。それに対して第１のマスク曲線は、平均障害出力スペクトルから求められ、第２のマスク曲線は近似的に以下の式
Ｖ２（i）＝ｆｌ・Ｖ１（i）
に従って算出される。それにより計算コストの著しい低減が得られる。この計算コストは、さらに次のことによっても低減可能である。すなわちマスク曲線を著しく少ない頻度で実際化させることである。なぜなら平均障害出力スペクトルは、通常は緩慢にのみ時間変化するからである。但し品質的に良好に合成された音声信号は、実際の信号Ｙ（i）、Ｙ′（i）からのマスク曲線の算出によって得られる。
本発明の別の有利な実施例によれば、定常的な信号成分の検出によってさらなる改善がみられる。この信号成分は選択的な減衰によって取り除かれる（それが出力信号Ｙ′（i）中においてのみ可聴である基準を充たす場合でも）。これに対して図２中に定常性検出器ＳＴＡＴが示されている。
この検出器は種々の方式、例えば個々のスペクトルラインの時間的追従やフィルタリング係数方式によって実現可能である。簡単な実施形態は、例えば時間的に順次連続する複数のフィルタイリング係数がそのつど所定の閾値ｔｈｒstatを上回らなければならない、という要求によって実現される。
Ｈk-n（i）,…,Ｈk-1（i）,Ｈk（i）＞ｔｈｒstat
例えばｎ＝２、ｔｈｒstat＝０．３５
決定回路ＥＮＴは、まず第２のマスク曲線Ｖ2（i）を用いてノイズリダクションシステムの出力信号中の可聴音声成分を求める。この場合定常的な成分でなかった場合には、スペクトル成分が既にフィルタリング（ノイズリダクション）前に可聴であったかどうかが問い合わせされる。このことは第１のマスク曲線Ｖ1（i）を用いて行われる。入力信号Ｙ（i）中の周波数成分がマスクにより検出された場合には、出力信号中のスペクトル成分が音声として受け入れられ、後続処理段ＮＶにて減衰される。その他の場合では、すなわち入力信号中の非マスキングの際には、音声に対する決定を下し、付加的な減衰は行われない。
後続処理段での付加的な減衰は、種々の形式で行われる。そのため例えば障害として識別された新たな可聴スペクトル成分に対してレベル値が第２のマスク曲線の値に設定される。有利には検出された障害スペクトル成分のレベル値が補正値にセットされる。この補正値は、フィルタリング係数としての基本値ｆｌによる相応の入力信号成分のフィルタリングから得られる。
図３には、本発明の手法による、障害音声信号の種々の信号処理段階が示されている。
図３Ａには、障害のある信号のノイズリダクション入力側における出力スペクトルＰ（i）と、そこから算出される第１のマスク曲線Ｖ１（i）がマスク曲線を上回る信号成分Ｓと共に示されている。スペクトルサブトラクションの実施の後では、ノイズの低減された出力スペクトルＰ′（i）＝Ｙ′２（i）が、そこから算出される第２のマスク曲線Ｖ２（i）と共に得られる。ここでは図３Ａでのマスク曲線Ｖ１（i）を越えた信号成分Ｓの他に、さらなる信号成分ｍが第２のマスク閾値を越えたものとして出現している。この成分はマスクされず、そのため新たな可聴信号成分が音声形態で現れる。この新たな可聴信号成分は、検出可能であり、選択的な減衰によって音声成分Ｓを損ねることなく抑圧可能である。この選択的な減衰のもとで生じる出力スペクトルＰ″（i）は図３Ｃに示されている。音声信号として評価された信号成分Ｓのみがマスク曲線を上回る。この場合この信号は、図３Ａの有効なマスク曲線Ｖ１（i）を越えた入力信号中の相応の成分よりも大幅にマスク曲線Ｖ２（i）を上回っている。それにより明らかに可聴である。図３Ｂの音声ｍは、マスク曲線Ｖ２（i）の下方のレベルで抑圧され、それによってもはや個々の音として知覚されない。
本発明は、ノイズリダクションのためのスペクトルサブトラクション手法にのみ限定されるものではない。この、入出力側におけるマスク曲線が求められ、出力側における新たな可聴成分に基づいて障害が検出され抑圧される方法は、その他の信号処理システム、例えば信号符号化システムに対しても適用可能である。
この種の方法は有利には、音声通信、例えば自動車や音声認識システムなどにおける音声信号障害防止のために利用される。
障害のある音声信号における雑音成分の低減に頻繁に用いられる方法は、いわゆるスペクトルサブトラクションである。この方法は、比較的簡単でコストのかからない実現が可能であり、著しい雑音低減が可能になる利点を有している。
スペクトルサブトラクションを用いた音声低減に伴う不快な付随現象は、短時間の可聴ノイズの発生である。この現象はその可聴的な印象から雑音または音声ノイズとも称される。
スペクトルサブトラクションのもとでの雑音抑圧のための手段では、障害レベルの過大評価、つまり音声歪みの高まる欠点を伴った障害過大補償や雑音低減が僅かでしかない欠点を伴った比較的高い雑音ベースの許容が余儀なくされている（例えば公知文献“Enhancement of Speech Corrupted by Acoustic Noise;Berouti M.;Schwarz, R.;Makhoul,J.; in proceedings on ICASSP,pp.208-211,1979”参照）。線形的または非線形的平滑化とそれに伴う雑音抑圧のための方法は、例えば公知文献“Suppression of Acoustic Noise in Speech Using Spectral Subtraction;von S.F.Boll in IEEE Vol.Assp-27,Nr.2,pp.113-120”に記載されている。またメディアフィルタリングによる効果的な非線形的平滑化方法は、ドイツ連邦共和国特許出願DE 44 05 723 A1に開示されている。
スペクトルサブトラクションに対して付加的に音響心理学的知覚機能を考慮する方法も公知である（例えば公知文献“T.Petersen und S.Boll, Acoustic Noise Suppression in a Peceptual Model,in Proc.on ICASSP,pp.1086-1088,1981”参照）。これらの信号は、聴覚的に好都合な処理を行うために、音響心理学的に考慮される音量範囲において変換されている。
公知文献“Speech Enhancement Using Psychoacoustic Criteria,Proc.on ICASSP,pp.II359-II362,1993;D.Tsoukalas,P.Paraskevas und M.Mourjopoulos”及び“Speech Enhancement Based on Msking Properties of the Auditory System,；Proc.on ICASSP,pp.796-799,1995”から公知の手法では、算出されたマスキングカーブが次のことに利用されている。すなわち有効信号のマスキングの必要なスペクトルラインと減衰の必要のないスペクトルラインを検出することに利用されている。これにより音声信号の品質が改善される。しかしながらこの場合障害的な音声は、低減されない。
本発明の課題は、音声信号の障害の低減のための改善された方法を提供することである。
前記課題は請求項１の特徴部分に記載の本発明によって解決される。本発明の別の有利な実施例は従属請求項に記載される。
本発明は実質的に次のことに基づいている。すなわち、ノイズ低減によって最初に個別に現れる可聴の信号成分を障害として識別し、後から選択的減衰によって低減するか取り除くことに基づいている。この場合可聴の基準としては、それ自体公知のマスキングカーブの上回りが利用されている。
このマスキングカーブの算出は、冒頭に述べた従来技術の部分から一般的な形態で公知である（例えば公知文献“Sound Engineering, kap.2.,Psychoakustik und Geraeuschbeurteilung（S.10-33）,Expert Verlag 1994”など）。マスキングカーブの算出は、実際の音声信号や音声中断中の雑音信号に基づいて実施可能である。この場合は種々の音響心理学的作用効果が考慮されてもよい。このマスキングカーブ（これは種々の専門文献においてカバーカーブ、可聴閾値、マスキング閾値などとも称される）は、狭帯域音声の知覚可能性に対する周波数に依存したレベル閾値と見なされてもよい。
この主のマスキングカーブは、障害からの解放のために用いられるほかに、オーディオ信号のコード化の際のデータ整理にも用いられる。マスキングカーブの算出のための手法の例は、前述したような公知文献の他にも次の公知文献、“Transform Coding of Audio Signals Using Perceptual Noise Criteria; von J.Johnston in IEEE Journal on Select Areas Commun.,Vol.6,pp.314-323,Feb.1988”に開示されている。障害性のある音声信号の短期間スペクトルからマスキングカーブを検出するための典型的な方法の実質的なステップは以下の通りである。
−クリティカルな帯域分析ステップ（この分析のもとでは、信号のスペクトルがいわゆるクリティカル帯域に分割され、出力スペクトルｐ（i）からクリティカル帯域内の総和によってクリティカル帯域スペクトルＢ（n）が得られる、この帯域スペクトルは帯域インデックスｎを伴ったバークスペクトルでもある）
−マスキング効果を多数のクリティカル帯域に亘って考慮するための、拡張機能を伴うバークスペクトルの畳込みステップ（修正バークスペクトル）
−信号構成部分から算出されたオフセット係数による、種々のマスキング特性の雑音成分の付加的考慮
−そのつどのエネルギーに応じたクリティカル帯域への再標準化と場合によっては低レベル値の静止可聴閾値の値への引き上げに従った、バークに関するマスキングカーブＴ（n）と、周波数に関するマスキングカーブＶ（i）（そのつどのクリティカル帯域ｎ内のすべての周波数ｉに対しＶ（i）＝Ｔ（n））の生成
所定のマスキングカーブＶ（i）を用いることにより、信号のスペクトル成分は、出力スペクトルＰ（i）のマスキングカーブＶ（i）との比較によって、可聴成分（Ｐ（i）＞Ｖ（i））とマスキング成分（Ｐ（i）＜Ｖ（i））に区別される。
実施例
次に本発明の実施例を図面に基づいて以下に詳細に説明する。この場合図１は、スペクトルサブトラクションのための標準的な方法を示した図であり、図２は本発明による方法を示した図であり、図３は、本発明による信号処理方法の種々のステップにおける音声信号を示した図である。
スペクトラルサブトラクションのための方法は、障害のある入力信号の短時間のスペクトル処理に関している。音声休止中は、障害出力スペクトルが評価され、引き続き同相で障害入力信号が減じられる。この減算は、通常はフィルタリングとして実施される。このフィルタリングにより、実係数による障害スペクトル成分の重み付けが、評価された各スペクトル帯域のＳＮ比に応じて行われる。ノイズリダクションは、その障害成分に関する有効信号の障害を受けたスペクトル領域の減衰によって行われる。図１の簡単なブロック回路図には、スペクトルサブトラクション実現に対する１つの典型例が示されている。分析ステップにおいては、障害のある音声信号の分析が例えば一連の短時間スペクトルＹ（ｉ）への離散フーリエ変換（ＤＦＴ）によって行われる。フーリエ係数からは、ユニットＫＭが短時間平均値を形成する。これは、障害のある入力信号の離散周波数インデックスｉを伴った平均出力Ｙ2（i）に対する評価値を表す。ユニットＫＭでは音声休止検出器ＳＰの制御を介して音声信号なしの区分における平均障害出力スペクトルＮ2（ｉ）の評価が行われる。入力信号の各スペクトルラインＹ（i）は、引き続き実フィルタリング係数Ｈ（i）で乗算される。これは、短時間平均値Ｙ2（i）と障害出力平均値Ｎ2（i）からユニットＦＫにおいて算出される。ノイズリダクションの方法ステップは、乗算ステップＧＲとも称される。逆離散フーリエ変換（ＩＤＦＴ）によって合成段の出力側からはノイズ低減された音声信号が得られる。
フィルタリング係数Ｈ（i）の計算は、種々の公知の重み付け規定に従って行われる。典型的には以下の式に従って行われる。
音声形態の全ての残留障害成分のマスクに対しては、約０．５の基本値が選択されなければならない。これにより最大限達成可能なノイズリダクションが約６ｄＢまで絞られる。
本発明による手法のもとで使用される音声の特徴は、それが人間の耳に対してノイズリダクション手法の出力信号中に最初に障害的に聞こえるように現れることである。この可聴現象はこの出力信号に対する第２のマスク曲線によって定量的に検出可能である。同様に、第２のマスク曲線のレベル閾値を超える、出力信号中の音声有効成分に対しては（これは既に入力信号中で第１のマスク曲線のレベル超過として知覚されている）、音声は、ノイズリダクションの出力信号と入力信号中の可聴信号成分との比較によって新たな可聴成分として区別でき、後続の処理ステップにて選択的に減衰され得る。
次に図２に基づいて、例えば音声状の狭帯域障害成分の検出と抑圧のための本発明による手法を説明する。ここでは図１に示した標準的、スペクトルサブトラクション手法の改善が示されている。この場合図１と図２の間では一致する箇所には同じ符号が付されている。ノイズリダクションＧＲの入力信号Ｙ（i）からは、ユニットＶＥにおいて第１のマスク曲線Ｖ１（i）が算出される。ノイズリダクションの出力信号Ｙ′（i）からはユニットＶＡにおいて第２のマスク曲線Ｖ２（i）が算出される。
それに対して選択的に、第１のマスク曲線Ｖｌ（i）は、音声休止中のノイズリダクション入力側における平均障害出力スペクトルからも算出可能である。第２のマスク曲線は、第１のマスク曲線からも導出可能である（例えば基本値ｆｌとの乗算により→Ｖ２（i）＝ｆｌ・Ｖ１（i））。
ノイズリダクションの目下の入出力信号からのマスク曲線の検出の利点は、特に非定常的なノイズ成分と、マスクすべき音声成分の作用とを考慮することができることである。それに対して第１のマスク曲線は、平均障害出力スペクトルから求められ、第２のマスク曲線は近似的に以下の式
Ｖ２（i）＝ｆｌ・Ｖ１（i）
に従って算出される。それにより計算コストの著しい低減が得られる。この計算コストは、さらに次のことによっても低減可能である。すなわちマスク曲線を著しく少ない頻度で実際化させることである。なぜなら平均障害出力スペクトルは、通常は緩慢にのみ時間変化するからである。但し品質的に良好に合成された音声信号は、実際の信号Ｙ（i）、Ｙ′（i）からのマスク曲線の算出によって得られる。
本発明の別の有利な実施例によれば、定常的な信号成分の検出によってさらなる改善がみられる。この信号成分は選択的な減衰によって取り除かれる（それが出力信号Ｙ′（i）中においてのみ可聴である基準を充たす場合でも）。これに対して図２中に定常性検出器ＳＴＡＴが示されている。
この検出器は種々の方式、例えば個々のスペクトルラインの時間的追従やフィルタリング係数方式によって実現可能である。簡単な実施形態は、例えば時間的に順次連続する複数のフィルタイリング係数がそのつど所定の閾値ｔｈｒstatを上回らなければならない、という要求によって実現される。
Ｈk-n（i）,…,Ｈk-1（i）,Ｈk（i）＞ｔｈｒstat
例えばｎ＝２、ｔｈｒstat＝０．３５
決定回路ＥＮＴは、まず第２のマスク曲線Ｖ2（i）を用いてノイズリダクションシステムの出力信号中の可聴音声成分を求める。この場合定常的な成分でなかった場合には、スペクトル成分が既にフィルタリング（ノイズリダクション）前に可聴であったかどうかが問い合わせされる。このことは第１のマスク曲線Ｖ1（i）を用いて行われる。入力信号Ｙ（i）中の周波数成分がマスクにより検出された場合には、出力信号中のスペクトル成分が音声として受け入れられ、後続処理段ＮＶにて減衰される。その他の場合では、すなわち入力信号中の非マスキングの際には、音声に対する決定を下し、付加的な減衰は行われない。
後続処理段での付加的な減衰は、種々の形式で行われる。そのため例えば障害として識別された新たな可聴スペクトル成分に対してレベル値が第２のマスク曲線の値に設定される。有利には検出された障害スペクトル成分のレベル値が補正値にセットされる。この補正値は、フィルタリング係数としての基本値ｆｌによる相応の入力信号成分のフィルタリングから得られる。
図３には、本発明の手法による、障害音声信号の種々の信号処理段階が示されている。
図３Ａには、障害のある信号のノイズリダクション入力側における出力スペクトルＰ（i）と、そこから算出される第１のマスク曲線Ｖ１（i）がマスク曲線を上回る信号成分Ｓと共に示されている。スペクトルサブトラクションの実施の後では、ノイズの低減された出力スペクトルＰ′（i）＝Ｙ′２（i）が、そこから算出される第２のマスク曲線Ｖ２（i）と共に得られる。ここでは図３Ａでのマスク曲線Ｖ１（i）を越えた信号成分Ｓの他に、さらなる信号成分ｍが第２のマスク閾値を越えたものとして出現している。この成分はマスクされず、そのため新たな可聴信号成分が音声形態で現れる。この新たな可聴信号成分は、検出可能であり、選択的な減衰によって音声成分Ｓを損ねることなく抑圧可能である。この選択的な減衰のもとで生じる出力スペクトルＰ″（i）は図３Ｃに示されている。音声信号として評価された信号成分Ｓのみがマスク曲線を上回る。この場合この信号は、図３Ａの有効なマスク曲線Ｖ１（i）を越えた入力信号中の相応の成分よりも大幅にマスク曲線Ｖ２（i）を上回っている。それにより明らかに可聴である。図３Ｂの音声ｍは、マスク曲線Ｖ２（i）の下方のレベルで抑圧され、それによってもはや個々の音として知覚されない。
本発明は、ノイズリダクションのためのスペクトルサブトラクション手法にのみ限定されるものではない。この、入出力側におけるマスク曲線が求められ、出力側における新たな可聴成分に基づいて障害が検出され抑圧される方法は、その他の信号処理システム、例えば信号符号化システムに対しても適用可能である。
Claims (9)
- ノイズリダクション手法を用いて音声信号の障害を低減するための方法において、
音声信号に対してノイズリダクション手法を適用し、
音響心理学的スペクトルマスキングを考慮し、
ノイズリダクション手法の入力信号に対して第１のスペクトルマスク曲線を算出し、
ノイズリダクション手法の出力信号に対して第２のスペクトルマスク曲線を算出し、
第２のスペクトルマスク曲線を上回る出力信号の信号成分と第１のスペクトルマスク曲線を上回る入力信号の信号成分の比較によって出力信号の新たな可聴成分を識別し、
識別された出力信号の新たな可聴成分を選択的に減衰するようにしたことを特徴とする、音声信号の障害を低減するための方法。 - スペクトルサブトラクション手法が、ノイズリダクション手法である、請求項１記載の方法。
- 前記新たな可聴成分がそのスペクトルサブトラクションの基本値まで低減される、請求項２記載の方法。
- 前記新たな可聴成分が、スペクトルマスク曲線のその値まで低減される、請求項１又は２記載の方法。
- 所定の時間間隔に亘って出力信号の定常的な新たな可聴成分が付加的な選択的減衰によって除かれる、請求項１〜４いずれか１項記載の方法。
- 第２のマスク曲線がノイズリダクション手法の出力信号から算出される、請求項１〜５いずれか１項記載の方法。
- 第２のマスク曲線が第１のマスク曲線から導出される、請求項１〜５いずれか１項記載の方法。
- 第１のマスク曲線がノイズリダクション手法の入力信号から算出される、請求項１〜７いずれか１項記載の方法。
- 第１のマスク曲線が音声休止中のノイズ信号から算出される、請求項１〜７いずれか１項記載の方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE19629132A DE19629132A1 (de) | 1996-07-19 | 1996-07-19 | Verfahren zur Verringerung von Störungen eines Sprachsignals |
| DE19629132.1 | 1996-07-19 | ||
| PCT/EP1997/003482 WO1998003965A1 (de) | 1996-07-19 | 1997-07-02 | Verfahren zur verringerung von störungen eines sprachsignals |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002509620A JP2002509620A (ja) | 2002-03-26 |
| JP4187795B2 true JP4187795B2 (ja) | 2008-11-26 |
Family
ID=7800259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP50648198A Expired - Lifetime JP4187795B2 (ja) | 1996-07-19 | 1997-07-02 | 音声信号障害を低減するための方法 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US6687669B1 (ja) |
| EP (1) | EP0912974B1 (ja) |
| JP (1) | JP4187795B2 (ja) |
| AT (1) | ATE191806T1 (ja) |
| CA (1) | CA2260893C (ja) |
| DE (2) | DE19629132A1 (ja) |
| ES (1) | ES2146107T3 (ja) |
| WO (1) | WO1998003965A1 (ja) |
Families Citing this family (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7062039B1 (en) | 1999-05-27 | 2006-06-13 | Telefonaktiebolaget Lm Ericsson | Methods and apparatus for improving adaptive filter performance by inclusion of inaudible information |
| US7117149B1 (en) * | 1999-08-30 | 2006-10-03 | Harman Becker Automotive Systems-Wavemakers, Inc. | Sound source classification |
| DE19957220A1 (de) * | 1999-11-27 | 2001-06-21 | Alcatel Sa | An den aktuellen Geräuschpegel adaptierte Geräuschunterdrückung |
| US6473733B1 (en) | 1999-12-01 | 2002-10-29 | Research In Motion Limited | Signal enhancement for voice coding |
| JP3566197B2 (ja) * | 2000-08-31 | 2004-09-15 | 松下電器産業株式会社 | 雑音抑圧装置及び雑音抑圧方法 |
| US7457750B2 (en) * | 2000-10-13 | 2008-11-25 | At&T Corp. | Systems and methods for dynamic re-configurable speech recognition |
| US20040078199A1 (en) * | 2002-08-20 | 2004-04-22 | Hanoh Kremer | Method for auditory based noise reduction and an apparatus for auditory based noise reduction |
| US8271279B2 (en) | 2003-02-21 | 2012-09-18 | Qnx Software Systems Limited | Signature noise removal |
| US7949522B2 (en) | 2003-02-21 | 2011-05-24 | Qnx Software Systems Co. | System for suppressing rain noise |
| US8073689B2 (en) | 2003-02-21 | 2011-12-06 | Qnx Software Systems Co. | Repetitive transient noise removal |
| US7725315B2 (en) * | 2003-02-21 | 2010-05-25 | Qnx Software Systems (Wavemakers), Inc. | Minimization of transient noises in a voice signal |
| US7895036B2 (en) * | 2003-02-21 | 2011-02-22 | Qnx Software Systems Co. | System for suppressing wind noise |
| US8326621B2 (en) | 2003-02-21 | 2012-12-04 | Qnx Software Systems Limited | Repetitive transient noise removal |
| US7885420B2 (en) * | 2003-02-21 | 2011-02-08 | Qnx Software Systems Co. | Wind noise suppression system |
| US7406412B2 (en) * | 2004-04-20 | 2008-07-29 | Dolby Laboratories Licensing Corporation | Reduced computational complexity of bit allocation for perceptual coding |
| US7949520B2 (en) | 2004-10-26 | 2011-05-24 | QNX Software Sytems Co. | Adaptive filter pitch extraction |
| US8543390B2 (en) * | 2004-10-26 | 2013-09-24 | Qnx Software Systems Limited | Multi-channel periodic signal enhancement system |
| US7680652B2 (en) | 2004-10-26 | 2010-03-16 | Qnx Software Systems (Wavemakers), Inc. | Periodic signal enhancement system |
| US7610196B2 (en) * | 2004-10-26 | 2009-10-27 | Qnx Software Systems (Wavemakers), Inc. | Periodic signal enhancement system |
| US7716046B2 (en) * | 2004-10-26 | 2010-05-11 | Qnx Software Systems (Wavemakers), Inc. | Advanced periodic signal enhancement |
| US8306821B2 (en) * | 2004-10-26 | 2012-11-06 | Qnx Software Systems Limited | Sub-band periodic signal enhancement system |
| US8170879B2 (en) * | 2004-10-26 | 2012-05-01 | Qnx Software Systems Limited | Periodic signal enhancement system |
| DE102005001345B4 (de) * | 2004-11-10 | 2013-01-31 | Ask Industries Gmbh | Verfahren und Vorrichtung zur Verarbeitung und Wiedergabe von Audiosignalen |
| US8284947B2 (en) * | 2004-12-01 | 2012-10-09 | Qnx Software Systems Limited | Reverberation estimation and suppression system |
| US8027833B2 (en) | 2005-05-09 | 2011-09-27 | Qnx Software Systems Co. | System for suppressing passing tire hiss |
| US8311819B2 (en) * | 2005-06-15 | 2012-11-13 | Qnx Software Systems Limited | System for detecting speech with background voice estimates and noise estimates |
| US8170875B2 (en) | 2005-06-15 | 2012-05-01 | Qnx Software Systems Limited | Speech end-pointer |
| JP4738213B2 (ja) * | 2006-03-09 | 2011-08-03 | 富士通株式会社 | 利得調整方法及び利得調整装置 |
| US7844453B2 (en) | 2006-05-12 | 2010-11-30 | Qnx Software Systems Co. | Robust noise estimation |
| US8326620B2 (en) | 2008-04-30 | 2012-12-04 | Qnx Software Systems Limited | Robust downlink speech and noise detector |
| US8335685B2 (en) * | 2006-12-22 | 2012-12-18 | Qnx Software Systems Limited | Ambient noise compensation system robust to high excitation noise |
| US20080231557A1 (en) * | 2007-03-20 | 2008-09-25 | Leadis Technology, Inc. | Emission control in aged active matrix oled display using voltage ratio or current ratio |
| DE102007030209A1 (de) * | 2007-06-27 | 2009-01-08 | Siemens Audiologische Technik Gmbh | Glättungsverfahren |
| US8904400B2 (en) * | 2007-09-11 | 2014-12-02 | 2236008 Ontario Inc. | Processing system having a partitioning component for resource partitioning |
| US8850154B2 (en) | 2007-09-11 | 2014-09-30 | 2236008 Ontario Inc. | Processing system having memory partitioning |
| US8694310B2 (en) | 2007-09-17 | 2014-04-08 | Qnx Software Systems Limited | Remote control server protocol system |
| US8209514B2 (en) * | 2008-02-04 | 2012-06-26 | Qnx Software Systems Limited | Media processing system having resource partitioning |
| US8135140B2 (en) | 2008-11-20 | 2012-03-13 | Harman International Industries, Incorporated | System for active noise control with audio signal compensation |
| US9020158B2 (en) * | 2008-11-20 | 2015-04-28 | Harman International Industries, Incorporated | Quiet zone control system |
| US8718289B2 (en) * | 2009-01-12 | 2014-05-06 | Harman International Industries, Incorporated | System for active noise control with parallel adaptive filter configuration |
| US8189799B2 (en) * | 2009-04-09 | 2012-05-29 | Harman International Industries, Incorporated | System for active noise control based on audio system output |
| US8199924B2 (en) * | 2009-04-17 | 2012-06-12 | Harman International Industries, Incorporated | System for active noise control with an infinite impulse response filter |
| US8077873B2 (en) * | 2009-05-14 | 2011-12-13 | Harman International Industries, Incorporated | System for active noise control with adaptive speaker selection |
| US9280964B2 (en) * | 2013-03-14 | 2016-03-08 | Fishman Transducers, Inc. | Device and method for processing signals associated with sound |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3639753A1 (de) * | 1986-11-21 | 1988-06-01 | Inst Rundfunktechnik Gmbh | Verfahren zum uebertragen digitalisierter tonsignale |
| DE3805946A1 (de) * | 1988-02-25 | 1989-09-07 | Fraunhofer Ges Forschung | Vorrichtung zur ermittlung von charakteristischen parametern aus den eingangs- und ausgangssignalen eines systems fuer die audiosignalverarbeitung |
| US5400409A (en) * | 1992-12-23 | 1995-03-21 | Daimler-Benz Ag | Noise-reduction method for noise-affected voice channels |
| DE4307688A1 (de) | 1993-03-11 | 1994-09-15 | Daimler Benz Ag | Verfahren zur Geräuschreduktion für gestörte Sprachkanäle |
| DE69420027T2 (de) * | 1993-02-12 | 2000-07-06 | British Telecomm | Rauschverminderung |
| WO1995002288A1 (en) * | 1993-07-07 | 1995-01-19 | Picturetel Corporation | Reduction of background noise for speech enhancement |
| JP3131542B2 (ja) * | 1993-11-25 | 2001-02-05 | シャープ株式会社 | 符号化復号化装置 |
| DE69420705T2 (de) | 1993-12-06 | 2000-07-06 | Koninkl Philips Electronics Nv | System und vorrichtung zur rauschunterdrückung sowie mobilfunkgerät |
| DE4405723A1 (de) | 1994-02-23 | 1995-08-24 | Daimler Benz Ag | Verfahren zur Geräuschreduktion eines gestörten Sprachsignals |
-
1996
- 1996-07-19 DE DE19629132A patent/DE19629132A1/de not_active Withdrawn
-
1997
- 1997-07-02 JP JP50648198A patent/JP4187795B2/ja not_active Expired - Lifetime
- 1997-07-02 US US09/214,910 patent/US6687669B1/en not_active Expired - Lifetime
- 1997-07-02 EP EP97930489A patent/EP0912974B1/de not_active Expired - Lifetime
- 1997-07-02 WO PCT/EP1997/003482 patent/WO1998003965A1/de active IP Right Grant
- 1997-07-02 AT AT97930489T patent/ATE191806T1/de not_active IP Right Cessation
- 1997-07-02 CA CA002260893A patent/CA2260893C/en not_active Expired - Fee Related
- 1997-07-02 DE DE59701446T patent/DE59701446D1/de not_active Expired - Lifetime
- 1997-07-02 ES ES97930489T patent/ES2146107T3/es not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| WO1998003965A1 (de) | 1998-01-29 |
| EP0912974A1 (de) | 1999-05-06 |
| CA2260893A1 (en) | 1998-01-29 |
| US6687669B1 (en) | 2004-02-03 |
| DE19629132A1 (de) | 1998-01-22 |
| CA2260893C (en) | 2005-05-17 |
| ATE191806T1 (de) | 2000-04-15 |
| DE59701446D1 (de) | 2000-05-18 |
| EP0912974B1 (de) | 2000-04-12 |
| JP2002509620A (ja) | 2002-03-26 |
| ES2146107T3 (es) | 2000-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4187795B2 (ja) | 音声信号障害を低減するための方法 | |
| US8489396B2 (en) | Noise reduction with integrated tonal noise reduction | |
| US7376558B2 (en) | Noise reduction for automatic speech recognition | |
| FI92535C (fi) | Kohinan vaimennusjärjestelmä puhesignaaleille | |
| EP1065656B1 (en) | Method for reducing noise in an input speech signal | |
| EP2056296B1 (en) | Dynamic noise reduction | |
| EP1450353B1 (en) | System for suppressing wind noise | |
| EP2031583B1 (en) | Fast estimation of spectral noise power density for speech signal enhancement | |
| EP0459362B1 (en) | Voice signal processor | |
| US20050114128A1 (en) | System for suppressing rain noise | |
| Soon et al. | Speech enhancement using 2-D Fourier transform | |
| WO1994018666A1 (en) | Noise reduction | |
| KR960005740B1 (ko) | 음성신호처리장치 | |
| US8199928B2 (en) | System for processing an acoustic input signal to provide an output signal with reduced noise | |
| KR20200095370A (ko) | 음성 신호에서의 마찰음의 검출 | |
| Jebara | A perceptual approach to reduce musical noise phenomenon with wiener denoising technique | |
| JP2979714B2 (ja) | 音声信号処理装置 | |
| KR101993003B1 (ko) | 잡음 제거 장치 및 방법 | |
| Wolfe et al. | Perceptually motivated approaches to music restoration | |
| Udrea et al. | Reduction of background noise from affected speech using a spectral subtraction algorithm based on masking properties of the human ear | |
| Ma et al. | A perceptual kalman filtering-based approach for speech enhancement | |
| JP2959792B2 (ja) | 音声信号処理装置 | |
| Shimamura et al. | Noise estimation with an inverse comb filter in non-stationary noise environments | |
| Chatlani et al. | Low complexity single microphone tonal noise reduction in vehicular traffic environments | |
| Udrea et al. | A perceptual approach for noise reduction using nonlinear spectral subtraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040702 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070116 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070328 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070521 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070713 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080812 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080910 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130919 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |