JP4276781B2 - 音声信号処理方法および音声信号処理装置 - Google Patents
音声信号処理方法および音声信号処理装置 Download PDFInfo
- Publication number
- JP4276781B2 JP4276781B2 JP2000537202A JP2000537202A JP4276781B2 JP 4276781 B2 JP4276781 B2 JP 4276781B2 JP 2000537202 A JP2000537202 A JP 2000537202A JP 2000537202 A JP2000537202 A JP 2000537202A JP 4276781 B2 JP4276781 B2 JP 4276781B2
- Authority
- JP
- Japan
- Prior art keywords
- audio signal
- segments
- maximum value
- signal
- envelope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000005236 sound signal Effects 0.000 title claims description 55
- 238000012545 processing Methods 0.000 title claims description 13
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000000034 method Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 101100290182 Mus musculus Mas1 gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 108010072348 sperm releasing substance Proteins 0.000 description 1
- 238000002198 surface plasmon resonance spectroscopy Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Description
【０００１】
本発明は、音声信号処理法および音声信号処理装置に関する。
【０００２】
音声認識システムは文献［１］により知られている。そこには、音声認識システムのコンポーネントの基礎的な概説ならびに音声認識において一般的な重要技術についても開示されている。
【０００３】
また、文献［２］によりウェーブレット変換が公知である。ウェーブレット変換は有利には複数の変換段において行われ、その際、１つの変換段によって１つのパターンがハイパスフィルタ成分とローパスフィルタ成分に分けられる。個々のハイパスフィルタ成分とローパスフィルタ成分は、有利にはそのパターンよりも低減された分解能をもっている（英語の用語ではサブサンプリング subsampling、つまり低減されたサンプリングレート、それにより低減された分解能）。ハイパスフィルタ成分とローパスフィルタ成分から、パターンを再構成することができる。このことはたとえば、変換で用いられる変換フィルタの特別な形態によって保証される。ウェーブレット変換は１次元、２次元またはそれ以上の次元で行うことができる。
【０００４】
音声信号には有効信号と妨害信号が含まれており、妨害信号の強さは周囲環境に依存している。音声信号の後続処理のために重要な前提条件は、有効信号を妨害信号から分離することである。
【０００５】
音声信号における周波数スペクトルのそれぞれ異なる領域を、強さの程度の差をつけて抑圧する方法が知られている。その際の欠点は、妨害信号のダイナミックな発生が考慮されないことである。
【０００６】
本発明の課題は、音声信号の処理にあたり上述の欠点が回避されるようにした方法および装置を提供することにある。
【０００７】
この課題は、独立請求項の特徴部分に記載の構成により解決される。
【０００８】
たとえば高速フーリエ変換（ＦＦＴ）による周波数領域への時間信号の変換によって、所定数のサンプリング値の含まれている時間信号の領域が周波数領域に変換される。このプロセスは種々の時点で行われ、それによって周波数領域において漸進的な時点で、時間信号の変換された個々の領域に依存する様々な値が生じることになる。このようにして、周波数経過特性を時間軸上で表すことができる。
【０００９】
ＦＥＴのほかにウェーブレット変換を使用することができるし、あるいは時間領域を周波数領域にマッピングする他のいかなる変換を使用してもよい。
【００１０】
この場合、音声信号を処理するために音声信号を周波数領域に変換する方法が提供される。音声信号における少なくとも１つの所定の周波数について、周波数領域に変換された音声信号の包絡線が時間軸上で求められる。この包絡線は、それぞれ所定の期間によって定められた複数のセグメントに分割される。これら複数のセグメントにおいて各セグメントごとに、包絡線の最大値が求められる。これら複数のセグメントのうち所定数のセグメントに関して、最も小さい最大値が求められる。その際、何らかの係数で重み付けられた最も小さい最大値を音声信号から差し引くようにして、音声信号の処理が行われる。
【００１１】
したがって有利には、時間軸上で包絡線の求められる個々の周波数について所定の期間にわたって最も小さい最大値が定められ、その際、たとえば有効信号と妨害信号をもつ音声信号であれば、その最も小さい最大値には妨害信号が含まれる。殊にこれは、音声信号が発声された言語すなわちスピーチないしはボイスであるときに明らかになる。この場合、スピーチには複数の単語が含まれており、それらは流暢な発音であってもスペクトル的に最小である個所（たとえば個々の単語の間の休止）を有している。スペクトル的に最小であるそのような個所では有効信号はほとんど存在していないのに対し、妨害信号は優勢である。
【００１２】
別の利点は、複数のセグメントについて最も小さい最大値が求められることである。この場合、複数のセグメントは、時間軸上で妨害信号のダイナミックな経過特性を有している。したがって妨害信号を、ある期間にわたり加速し続けている自動車内のエンジンノイズとすることができる。このように自動車内の妨害信号は（加速中）、時間の経過とともに増大する。そのつど複数のセグメントについて最も小さい最大値が求められるので、時間の経過とともに複数のセグメントごとに最も小さい最大値が（新たに）求められ、その結果、妨害信号のダイナミックな発生をいっしょに考慮できるようになる。
【００１３】
本発明の１つの実施形態によれば、複数のセグメントのうちさらに別の複数のセグメントについて最小値が求められ、上述の最も小さい最大値が最小値と結合されて音声信号から差し引かれるようにして、音声信号が処理される。
【００１４】
上記の別の複数のセグメントについて求められた最小値をいっしょに考慮することは、有効信号を得るために音声信号から差し引かれるべき妨害信号の適応化のために、きわめて有利であることが判明した。目下のところ有効信号が存在していなければ、その最小値は妨害信号を表し、したがってそれが音声信号から差し引かれる。
【００１５】
１つの別の実施形態によれば、上述の最小値と最も小さい最大値は式
【００１６】
【数２】
【００１７】
に従って結合され、ここでａは第１の所定の係数を表し、ｂは第２の所定の係数、ｍａｘは最も小さい最大値、ｍｉｎは最小値を表す。その際、これらの係数は、適用事例にとって好適な妨害信号低減が行われるよう、まえもって与えることができる。
【００１８】
１つの有利な実施形態によれば、それぞれ複数のセグメントまたはさらに別の複数のセグメントが経過した後、更新が実行され、これは更新される妨害信号が音声信号から差し引かれることによって行われる。
【００１９】
付加的な実施形態において有利であるのは、音声信号がスピーチ信号ないしはボイス信号であり、たとえば自然に発声された言語すなわちスピーチないしはボイスである場合である。
【００２０】
また、１つの実施形態によれば、処理された音声信号が音声認識のために用いられる。まさに音声認識システムにとっては、可能なかぎり妨害信号のない明瞭な有効信号というのが有利な前提条件である。したがって有効信号が明瞭であればあるほど、音声認識システムは発声された言語をいっそう良好に認識する。さらに、有効信号を出力することもできる。
【００２１】
本発明によればさらに、音声信号処理装置が提供される。この装置はプロセッサユニットを有しており、これは音声信号を周波数領域に変換できるように構成されている。その際、少なくとも１つのまえもって定められた周波数について、周波数領域に変換された音声信号の包絡線を時間軸上で求めることができる。この包絡線は、それぞれ所定の期間により定められた複数のセグメントに分割可能である。複数のセグメントにおいて各セグメントごとに包絡線の最大値が求められる。また、複数のセグメントにおいて所定数のセグメントについて、最も小さい最大値が求められる。さらに、何らかの係数で重み付けられた最も小さい最大値が音声信号から差し引かれるようにして、音声信号が処理される。
【００２２】
このような音声信号処理装置の１つの可能な実施形態によれば、プロセッサユニットは次のように構成されている。すなわち、複数のセグメントのうち別の複数のセグメントについて最小値が求められ、上述の最も小さい最大値がその最小値と結合されて音声信号から差し引かれるようにして、音声信号の処理が行われる。
【００２３】
この装置は、本発明による方法または前述のその実施形態を実行するために殊に適している。従属請求項には実施形態が示されている。
【００２４】
次に、以下の図面を参照しながら本発明の実施例について詳しく説明する。
【００２５】
図１は、音声信号処理方法における複数のステップを示す図である。
【００２６】
【外１】
【００２７】
図３は、プロセッサユニットを示す図である。
【００２８】
図４は、音声認識システムを示す図である。
【００２９】
図１は、音声信号処理方法の複数のステップを示す図である。以下では図１ａと図１ｂを参照しながら、音声信号処理のための２つの変形例について説明する。
【００３０】
図１ａにおいて、音声信号は少なくとも１つの周波数領域に変換される（ステップ１０１参照）。有利には、この変換は高速フーリエ変換（ＦＦＴ）である。その際、変換は所定の時点ｔiにおいて実行され、このため少なくとも１つの周波数の経過特性が時点ｔiにおいて求められる。このような時間に依存した周波数経過特性を介して、ステップ１０２において包絡線が求められる。これは少なくとも１つの周波数について実行され、たとえば音声信号における複数の重要な周波数について実行される。ステップ１０３において個々の周波数包絡線が、有利には等しい期間をもつ複数のセグメントに分けられる。各セグメントごとに、包絡線経過特性中の最大値が求められる（ステップ１０４参照）。ステップ１０５において、所定数のセグメントのうち最も小さい最大値が求められ、その最も小さい最大値は、妨害信号を低減してできるかぎり強い有効信号が得られるようにする目的で、たとえば何らかのファクタによって重みづけられて音声信号から差し引かれる（ステップ１０６）。最も小さい最大値は、決まった個数だけ過去に遡った複数のセグメントについて求められ、この場合、所定時間後に最も小さい最大値について再度、その新しい時点で所定数だけ過去に遡ったセグメントを考慮して更新が実行される。このようにして、個数Ｎの先行のセグメントにより定められたすべての時点で、時間軸上の個々の周波数の包絡線に対する最も小さい最大値のダイナミックな整合が行われる。妨害信号のダイナミックな整合の必要性を具体的に表す１つの実例は、加速中の車両内における妨害信号であって、この場合、エンジンノイズが加速に応じて時間が経つにつれて増大する。エンジンノイズの増大に相応する妨害信号は、所定の周波数の包絡線に対しまえもって定められた時点で最も小さい最大値を更新することによって整合され、これによって質的に価値の高い有効信号を音声信号から得ることができる。
【００３１】
図１ｂには図１ａと同様、ステップ１０１，１０２，１０３，１０４，１０５が示されている。この場合、ステップ１０３の後、最大値の決定（１０４および１０５）のほかに、そのつど調べられている周波数の包絡線において所定の期間における最小値も求められる（ステップ１０７参照）。殊にここで注目しているのは、所定数の先行のセグメントにおける（最も小さい）最小値つまり目下の時点から考慮すべき期間にわたり包絡線において現れた最小値である。ついでステップ１０８において、音声信号から差し引くべき妨害信号を得て、有効信号の品質を著しく改善する目的で、最も小さい最大値も最小値も相互に結合される。
【００３２】
最小値は式
【００３３】
【数３】
【００３４】
に従い最も最大値と結合される。ここで、ａは第１の所定の係数を表し、ｂは第２の所定の係数、ｍａｘは最も小さい最大値、さらにｍｉｎは最小値を表す。
【００３５】
これに基づき有利には、
【００３６】
【数４】
【００３７】
この結合によって、妨害信号の時間的な変化も考慮される。有効信号に一定の妨害信号が重畳されているとき、その妨害信号ないしはそれに比例する成分が正確に消去される。
【００３８】
最小値および必要に応じて最も小さい最大値を求めるために考慮すべきタイムインターバルＴ（これは所定数の先行のセグメントの期間を表す）はたとえば、そのタイムインターバルＴが発生された語よりも長くなるように選定される（ここではもちろん音声信号は発声された言語すなわちスピーチないしはボイスに対応する）。最小値ないしは最も小さい最大値の更新は時点ｔ＝ｎ＊Ｔにおいて行われ、つまりｎ個のタイムインターバルＴごとにて行われる。
【００３９】
【外２】
【００４０】
たとえば、最も小さい最大値と最小値による重み付けられた平均値が、（そのつど考慮すべき周波数ｆiに関する）音声信号から差し引かれる。
【００４１】
さらに、最も小さい最大値と最小値がその時点ｔaktよりも前の所定のＮ個のセグメントを考慮して求められる。音声信号から差し引かれるべき妨害信号の整合によって、それぞれ異なる時点ｔaktで新たに最も小さい最大値と最小値が（過去に遡ったＮ個のセグメントについて）求められ、互いに結合され、（個々の周波数ｆiに関連する）有効信号から差し引かれる。
【００４２】
【外３】
【００４３】
図３にはプロセッサユニットＰＲＺＥが描かれている。プロセッサユニットＰＲＺＥは、プロセッサＣＰＵとメモリＳＰＥと入出力インタフェースＩＯＳを有しており、これはインタフェースＩＦＣを介してそれぞれ異なるやり方で利用される。すなわち出力はグラフィックインタフェースを介して、モニタＭＯＮで見えるように、および／またはプリンタＰＲＴによって送出される。入力は、マウスＭＡＳまたはキーボードＴＡＳＴによって行われる。さらにこのプロセッサユニットＰＲＺＥはデータバスＢＵＳも有しており、このバスによってメモリＭＥＭ、プロセッサＣＰＵおよび入出力インタフェースＩＯＳの接続が保証される。さらにこのデータバスＢＵＳに付加的なコンポーネントを接続可能であって、たとえば付加的なメモリ、データ記憶装置（ハードディスク）またはスキャナを接続することができる。
【００４４】
図４には音声認識システムが示されている。自然に発生された音声を認識するための前提条件は、知識表現のための適切なフォーマリスム（formalis）である。完全な音声認識システムは複数の処理レベルを有している。これはたとえばアコースティック・フォネティクス、イントネーション、シンタックス、セマンティクスならびにプラグマティクスである。図４には、認識の際の複数の処理レベルが示されている（文献［１］参照）。
【００４５】
この音声認識システムに自然のスピーチ信号ＳＰＲＳが到達する。そこではコンポーネントＭＥＸにおいて特徴抽出が実行される。特徴抽出後、周知の音響音声単位ＡＰＥに基づき言語音が認識される（ブロックＳＰＬＥ参照）。この場合、音響的な距離パラメータの計算が行われる。ＳＰＬＥにおける言語音認識後、ブロックＬＤＫにおいて、発音モデルや単語辞書ＷＯＬＸを用いて語彙的なデコーディング（単語認識）が行われ、それにつづいて文法を含む音声モデルＧＲＳＭＬを用いてシンタクス分析ＳＹＡＬが行われる。単語認識ＬＤＫおよびシンタクス分析ＳＹＡＬは、スピーチ信号に対する対応に従った探索を成している。次にブロックＳＥＮＢにおいてセマンティクスによる後処理が実行され、その際、文脈情報やプラグマティクスＫＷＰＭが考慮され、ついで音声認識システムにより認識されたスピーチＥＲＳＰＲが生じる。
【００４６】
本明細書では以下の刊行物を引用した。
【００４７】
［１］ A. Hauenstein: "Optimierung von Alogrithmen und Entwurf eines Prozessors fuer die automatische Spracherkenung", Lehrstuhl fuer Integrierte Schaltungen, Technische Universitaet Muenchen, Dissertation, 19.07.1993 Chapter 2, p. 13 - 26
［２］S.G. Mallat: A Theory for Multiresolution Signal Decompposition: The Wavelet Representation, IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 11, No. 7, 6. 1989, p. 674 - 693
【図面の簡単な説明】
【図１Ａ】 音声信号処理方法における複数のステップを示す図である。
【図１Ｂ】 音声信号処理方法における複数のステップを示す図である。
【図２】 周波数ｆiの包絡線の経過特性を時間ｔにわたり示す図である。
【図３】 プロセッサユニットを示す図である。
【図４】 音声認識システムを示す図である。
本発明は、音声信号処理法および音声信号処理装置に関する。
【０００２】
音声認識システムは文献［１］により知られている。そこには、音声認識システムのコンポーネントの基礎的な概説ならびに音声認識において一般的な重要技術についても開示されている。
【０００３】
また、文献［２］によりウェーブレット変換が公知である。ウェーブレット変換は有利には複数の変換段において行われ、その際、１つの変換段によって１つのパターンがハイパスフィルタ成分とローパスフィルタ成分に分けられる。個々のハイパスフィルタ成分とローパスフィルタ成分は、有利にはそのパターンよりも低減された分解能をもっている（英語の用語ではサブサンプリング subsampling、つまり低減されたサンプリングレート、それにより低減された分解能）。ハイパスフィルタ成分とローパスフィルタ成分から、パターンを再構成することができる。このことはたとえば、変換で用いられる変換フィルタの特別な形態によって保証される。ウェーブレット変換は１次元、２次元またはそれ以上の次元で行うことができる。
【０００４】
音声信号には有効信号と妨害信号が含まれており、妨害信号の強さは周囲環境に依存している。音声信号の後続処理のために重要な前提条件は、有効信号を妨害信号から分離することである。
【０００５】
音声信号における周波数スペクトルのそれぞれ異なる領域を、強さの程度の差をつけて抑圧する方法が知られている。その際の欠点は、妨害信号のダイナミックな発生が考慮されないことである。
【０００６】
本発明の課題は、音声信号の処理にあたり上述の欠点が回避されるようにした方法および装置を提供することにある。
【０００７】
この課題は、独立請求項の特徴部分に記載の構成により解決される。
【０００８】
たとえば高速フーリエ変換（ＦＦＴ）による周波数領域への時間信号の変換によって、所定数のサンプリング値の含まれている時間信号の領域が周波数領域に変換される。このプロセスは種々の時点で行われ、それによって周波数領域において漸進的な時点で、時間信号の変換された個々の領域に依存する様々な値が生じることになる。このようにして、周波数経過特性を時間軸上で表すことができる。
【０００９】
ＦＥＴのほかにウェーブレット変換を使用することができるし、あるいは時間領域を周波数領域にマッピングする他のいかなる変換を使用してもよい。
【００１０】
この場合、音声信号を処理するために音声信号を周波数領域に変換する方法が提供される。音声信号における少なくとも１つの所定の周波数について、周波数領域に変換された音声信号の包絡線が時間軸上で求められる。この包絡線は、それぞれ所定の期間によって定められた複数のセグメントに分割される。これら複数のセグメントにおいて各セグメントごとに、包絡線の最大値が求められる。これら複数のセグメントのうち所定数のセグメントに関して、最も小さい最大値が求められる。その際、何らかの係数で重み付けられた最も小さい最大値を音声信号から差し引くようにして、音声信号の処理が行われる。
【００１１】
したがって有利には、時間軸上で包絡線の求められる個々の周波数について所定の期間にわたって最も小さい最大値が定められ、その際、たとえば有効信号と妨害信号をもつ音声信号であれば、その最も小さい最大値には妨害信号が含まれる。殊にこれは、音声信号が発声された言語すなわちスピーチないしはボイスであるときに明らかになる。この場合、スピーチには複数の単語が含まれており、それらは流暢な発音であってもスペクトル的に最小である個所（たとえば個々の単語の間の休止）を有している。スペクトル的に最小であるそのような個所では有効信号はほとんど存在していないのに対し、妨害信号は優勢である。
【００１２】
別の利点は、複数のセグメントについて最も小さい最大値が求められることである。この場合、複数のセグメントは、時間軸上で妨害信号のダイナミックな経過特性を有している。したがって妨害信号を、ある期間にわたり加速し続けている自動車内のエンジンノイズとすることができる。このように自動車内の妨害信号は（加速中）、時間の経過とともに増大する。そのつど複数のセグメントについて最も小さい最大値が求められるので、時間の経過とともに複数のセグメントごとに最も小さい最大値が（新たに）求められ、その結果、妨害信号のダイナミックな発生をいっしょに考慮できるようになる。
【００１３】
本発明の１つの実施形態によれば、複数のセグメントのうちさらに別の複数のセグメントについて最小値が求められ、上述の最も小さい最大値が最小値と結合されて音声信号から差し引かれるようにして、音声信号が処理される。
【００１４】
上記の別の複数のセグメントについて求められた最小値をいっしょに考慮することは、有効信号を得るために音声信号から差し引かれるべき妨害信号の適応化のために、きわめて有利であることが判明した。目下のところ有効信号が存在していなければ、その最小値は妨害信号を表し、したがってそれが音声信号から差し引かれる。
【００１５】
１つの別の実施形態によれば、上述の最小値と最も小さい最大値は式
【００１６】
【数２】
に従って結合され、ここでａは第１の所定の係数を表し、ｂは第２の所定の係数、ｍａｘは最も小さい最大値、ｍｉｎは最小値を表す。その際、これらの係数は、適用事例にとって好適な妨害信号低減が行われるよう、まえもって与えることができる。
【００１８】
１つの有利な実施形態によれば、それぞれ複数のセグメントまたはさらに別の複数のセグメントが経過した後、更新が実行され、これは更新される妨害信号が音声信号から差し引かれることによって行われる。
【００１９】
付加的な実施形態において有利であるのは、音声信号がスピーチ信号ないしはボイス信号であり、たとえば自然に発声された言語すなわちスピーチないしはボイスである場合である。
【００２０】
また、１つの実施形態によれば、処理された音声信号が音声認識のために用いられる。まさに音声認識システムにとっては、可能なかぎり妨害信号のない明瞭な有効信号というのが有利な前提条件である。したがって有効信号が明瞭であればあるほど、音声認識システムは発声された言語をいっそう良好に認識する。さらに、有効信号を出力することもできる。
【００２１】
本発明によればさらに、音声信号処理装置が提供される。この装置はプロセッサユニットを有しており、これは音声信号を周波数領域に変換できるように構成されている。その際、少なくとも１つのまえもって定められた周波数について、周波数領域に変換された音声信号の包絡線を時間軸上で求めることができる。この包絡線は、それぞれ所定の期間により定められた複数のセグメントに分割可能である。複数のセグメントにおいて各セグメントごとに包絡線の最大値が求められる。また、複数のセグメントにおいて所定数のセグメントについて、最も小さい最大値が求められる。さらに、何らかの係数で重み付けられた最も小さい最大値が音声信号から差し引かれるようにして、音声信号が処理される。
【００２２】
このような音声信号処理装置の１つの可能な実施形態によれば、プロセッサユニットは次のように構成されている。すなわち、複数のセグメントのうち別の複数のセグメントについて最小値が求められ、上述の最も小さい最大値がその最小値と結合されて音声信号から差し引かれるようにして、音声信号の処理が行われる。
【００２３】
この装置は、本発明による方法または前述のその実施形態を実行するために殊に適している。従属請求項には実施形態が示されている。
【００２４】
次に、以下の図面を参照しながら本発明の実施例について詳しく説明する。
【００２５】
図１は、音声信号処理方法における複数のステップを示す図である。
【００２６】
【外１】
図３は、プロセッサユニットを示す図である。
【００２８】
図４は、音声認識システムを示す図である。
【００２９】
図１は、音声信号処理方法の複数のステップを示す図である。以下では図１ａと図１ｂを参照しながら、音声信号処理のための２つの変形例について説明する。
【００３０】
図１ａにおいて、音声信号は少なくとも１つの周波数領域に変換される（ステップ１０１参照）。有利には、この変換は高速フーリエ変換（ＦＦＴ）である。その際、変換は所定の時点ｔiにおいて実行され、このため少なくとも１つの周波数の経過特性が時点ｔiにおいて求められる。このような時間に依存した周波数経過特性を介して、ステップ１０２において包絡線が求められる。これは少なくとも１つの周波数について実行され、たとえば音声信号における複数の重要な周波数について実行される。ステップ１０３において個々の周波数包絡線が、有利には等しい期間をもつ複数のセグメントに分けられる。各セグメントごとに、包絡線経過特性中の最大値が求められる（ステップ１０４参照）。ステップ１０５において、所定数のセグメントのうち最も小さい最大値が求められ、その最も小さい最大値は、妨害信号を低減してできるかぎり強い有効信号が得られるようにする目的で、たとえば何らかのファクタによって重みづけられて音声信号から差し引かれる（ステップ１０６）。最も小さい最大値は、決まった個数だけ過去に遡った複数のセグメントについて求められ、この場合、所定時間後に最も小さい最大値について再度、その新しい時点で所定数だけ過去に遡ったセグメントを考慮して更新が実行される。このようにして、個数Ｎの先行のセグメントにより定められたすべての時点で、時間軸上の個々の周波数の包絡線に対する最も小さい最大値のダイナミックな整合が行われる。妨害信号のダイナミックな整合の必要性を具体的に表す１つの実例は、加速中の車両内における妨害信号であって、この場合、エンジンノイズが加速に応じて時間が経つにつれて増大する。エンジンノイズの増大に相応する妨害信号は、所定の周波数の包絡線に対しまえもって定められた時点で最も小さい最大値を更新することによって整合され、これによって質的に価値の高い有効信号を音声信号から得ることができる。
【００３１】
図１ｂには図１ａと同様、ステップ１０１，１０２，１０３，１０４，１０５が示されている。この場合、ステップ１０３の後、最大値の決定（１０４および１０５）のほかに、そのつど調べられている周波数の包絡線において所定の期間における最小値も求められる（ステップ１０７参照）。殊にここで注目しているのは、所定数の先行のセグメントにおける（最も小さい）最小値つまり目下の時点から考慮すべき期間にわたり包絡線において現れた最小値である。ついでステップ１０８において、音声信号から差し引くべき妨害信号を得て、有効信号の品質を著しく改善する目的で、最も小さい最大値も最小値も相互に結合される。
【００３２】
最小値は式
【００３３】
【数３】
に従い最も最大値と結合される。ここで、ａは第１の所定の係数を表し、ｂは第２の所定の係数、ｍａｘは最も小さい最大値、さらにｍｉｎは最小値を表す。
【００３５】
これに基づき有利には、
【００３６】
【数４】
この結合によって、妨害信号の時間的な変化も考慮される。有効信号に一定の妨害信号が重畳されているとき、その妨害信号ないしはそれに比例する成分が正確に消去される。
【００３８】
最小値および必要に応じて最も小さい最大値を求めるために考慮すべきタイムインターバルＴ（これは所定数の先行のセグメントの期間を表す）はたとえば、そのタイムインターバルＴが発生された語よりも長くなるように選定される（ここではもちろん音声信号は発声された言語すなわちスピーチないしはボイスに対応する）。最小値ないしは最も小さい最大値の更新は時点ｔ＝ｎ＊Ｔにおいて行われ、つまりｎ個のタイムインターバルＴごとにて行われる。
【００３９】
【外２】
たとえば、最も小さい最大値と最小値による重み付けられた平均値が、（そのつど考慮すべき周波数ｆiに関する）音声信号から差し引かれる。
【００４１】
さらに、最も小さい最大値と最小値がその時点ｔaktよりも前の所定のＮ個のセグメントを考慮して求められる。音声信号から差し引かれるべき妨害信号の整合によって、それぞれ異なる時点ｔaktで新たに最も小さい最大値と最小値が（過去に遡ったＮ個のセグメントについて）求められ、互いに結合され、（個々の周波数ｆiに関連する）有効信号から差し引かれる。
【００４２】
【外３】
図３にはプロセッサユニットＰＲＺＥが描かれている。プロセッサユニットＰＲＺＥは、プロセッサＣＰＵとメモリＳＰＥと入出力インタフェースＩＯＳを有しており、これはインタフェースＩＦＣを介してそれぞれ異なるやり方で利用される。すなわち出力はグラフィックインタフェースを介して、モニタＭＯＮで見えるように、および／またはプリンタＰＲＴによって送出される。入力は、マウスＭＡＳまたはキーボードＴＡＳＴによって行われる。さらにこのプロセッサユニットＰＲＺＥはデータバスＢＵＳも有しており、このバスによってメモリＭＥＭ、プロセッサＣＰＵおよび入出力インタフェースＩＯＳの接続が保証される。さらにこのデータバスＢＵＳに付加的なコンポーネントを接続可能であって、たとえば付加的なメモリ、データ記憶装置（ハードディスク）またはスキャナを接続することができる。
【００４４】
図４には音声認識システムが示されている。自然に発生された音声を認識するための前提条件は、知識表現のための適切なフォーマリスム（formalis）である。完全な音声認識システムは複数の処理レベルを有している。これはたとえばアコースティック・フォネティクス、イントネーション、シンタックス、セマンティクスならびにプラグマティクスである。図４には、認識の際の複数の処理レベルが示されている（文献［１］参照）。
【００４５】
この音声認識システムに自然のスピーチ信号ＳＰＲＳが到達する。そこではコンポーネントＭＥＸにおいて特徴抽出が実行される。特徴抽出後、周知の音響音声単位ＡＰＥに基づき言語音が認識される（ブロックＳＰＬＥ参照）。この場合、音響的な距離パラメータの計算が行われる。ＳＰＬＥにおける言語音認識後、ブロックＬＤＫにおいて、発音モデルや単語辞書ＷＯＬＸを用いて語彙的なデコーディング（単語認識）が行われ、それにつづいて文法を含む音声モデルＧＲＳＭＬを用いてシンタクス分析ＳＹＡＬが行われる。単語認識ＬＤＫおよびシンタクス分析ＳＹＡＬは、スピーチ信号に対する対応に従った探索を成している。次にブロックＳＥＮＢにおいてセマンティクスによる後処理が実行され、その際、文脈情報やプラグマティクスＫＷＰＭが考慮され、ついで音声認識システムにより認識されたスピーチＥＲＳＰＲが生じる。
【００４６】
本明細書では以下の刊行物を引用した。
【００４７】
［１］ A. Hauenstein: "Optimierung von Alogrithmen und Entwurf eines Prozessors fuer die automatische Spracherkenung", Lehrstuhl fuer Integrierte Schaltungen, Technische Universitaet Muenchen, Dissertation, 19.07.1993 Chapter 2, p. 13 - 26
［２］S.G. Mallat: A Theory for Multiresolution Signal Decompposition: The Wavelet Representation, IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 11, No. 7, 6. 1989, p. 674 - 693
【図面の簡単な説明】
【図１Ａ】 音声信号処理方法における複数のステップを示す図である。
【図１Ｂ】 音声信号処理方法における複数のステップを示す図である。
【図２】 周波数ｆiの包絡線の経過特性を時間ｔにわたり示す図である。
【図３】 プロセッサユニットを示す図である。
【図４】 音声認識システムを示す図である。
Claims (8)
- 音声信号処理方法において、
ａ）音声信号を周波数領域に変換し、
ｂ）少なくとも１つの所定の周波数について、前記周波数領域に変換された音声信号における時間軸上の包絡線を求め、
ｃ）該包絡線を、それぞれ所定の期間により定められた複数のセグメントに分割し、
ｄ）前記の複数のセグメントにおいて各セグメントごとに包絡線の最大値を求め、
ｅ）前記の複数のセグメントのうち所定数のセグメントについて最も小さい最大値を求め、
ｆ）所定のファクタで重み付けられた最も小さい最大値を音声信号から差し引くことによって音声信号を処理することを特徴とする、
音声信号処理方法。 - ａ）複数のセグメントのうちさらに複数のセグメントについて最小値を求め、
ｂ）最も小さい最大値を最小値と結合して音声信号から差し引くことにより音声信号を処理する、
請求項１記載の方法。 - 前記の最小値と最も小さい最大値を式
ここでａは第１の所定の係数を表し、ｂは第２の所定の係数、ｍａｘは最も小さい最大値、ｍｉｎは最小値を表す、
請求項１記載の方法。 - 前記の所定数のセグメントまたは別の複数のセグメントがそのつど経過した後、音声信号を処理する、請求項１から３のいずれか１項記載の方法。
- 前記音声信号はスピーチ信号である、請求項１から４のいずれか１項記載の方法。
- 処理された音声信号を音声認識システムのために使用する、請求項１から５のいずれか１項記載の方法。
- 音声処理装置において、
プロセッサユニットが設けられており、該プロセッサユニットにより、
ａ）音声信号が周波数領域に変換され、
ｂ）少なくとも１つの所定の周波数について、前記周波数領域に変換された音声信号における時間軸上の包絡線が求められ、
ｃ）該包絡線が、それぞれ所定の期間により定められた複数のセグメントに分割され、
ｄ）前記の複数のセグメントにおいて各セグメントごとに包絡線の最大値が求められ、
ｅ）前記の複数のセグメントのうち所定数のセグメントについて最も小さい最大値が求められ、
ｆ）所定のファクタで重み付けられた最も小さい最大値が音声信号から差し引かれることによって音声信号が処理されることを特徴とする、
音声処理装置。 - 前記プロセッサユニットにより、
ａ）複数のセグメントのうちさらに複数のセグメントについて最小値が求められ、
ｂ）最も小さい最大値が最小値と結合されて音声信号から差し引かれることにより音声信号が処理される
請求項７記載の装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE19812207.1 | 1998-03-19 | ||
| DE19812207 | 1998-03-19 | ||
| PCT/DE1999/000615 WO1999048084A1 (de) | 1998-03-19 | 1999-03-08 | Verfahren und vorrichtung zur bearbeitung eines tonsignals |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002507775A JP2002507775A (ja) | 2002-03-12 |
| JP4276781B2 true JP4276781B2 (ja) | 2009-06-10 |
Family
ID=7861632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000537202A Expired - Fee Related JP4276781B2 (ja) | 1998-03-19 | 1999-03-08 | 音声信号処理方法および音声信号処理装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6804646B1 (ja) |
| EP (1) | EP1062659B1 (ja) |
| JP (1) | JP4276781B2 (ja) |
| DE (1) | DE59900797D1 (ja) |
| WO (1) | WO1999048084A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8092034B2 (en) * | 2007-11-07 | 2012-01-10 | Richard David Ashoff | Illuminated tile systems and methods for manufacturing the same |
| US8321209B2 (en) | 2009-11-10 | 2012-11-27 | Research In Motion Limited | System and method for low overhead frequency domain voice authentication |
| US8326625B2 (en) * | 2009-11-10 | 2012-12-04 | Research In Motion Limited | System and method for low overhead time domain voice authentication |
| CN111387978B (zh) * | 2020-03-02 | 2023-09-26 | 京东科技信息技术有限公司 | 一种表面肌电信号的动作段检测方法、装置、设备及介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3196212A (en) | 1961-12-07 | 1965-07-20 | Ibm | Local amplitude detector |
| US4185168A (en) * | 1976-05-04 | 1980-01-22 | Causey G Donald | Method and means for adaptively filtering near-stationary noise from an information bearing signal |
| US4888806A (en) * | 1987-05-29 | 1989-12-19 | Animated Voice Corporation | Computer speech system |
| EP0763810B1 (en) * | 1990-05-28 | 2001-09-26 | Matsushita Electric Industrial Co., Ltd. | Speech signal processing apparatus for detecting a speech signal from a noisy speech signal |
| JPH04150522A (ja) * | 1990-10-15 | 1992-05-25 | Sony Corp | ディジタル信号処理装置 |
| US5323337A (en) * | 1992-08-04 | 1994-06-21 | Loral Aerospace Corp. | Signal detector employing mean energy and variance of energy content comparison for noise detection |
| US5479560A (en) | 1992-10-30 | 1995-12-26 | Technology Research Association Of Medical And Welfare Apparatus | Formant detecting device and speech processing apparatus |
| JP3237089B2 (ja) * | 1994-07-28 | 2001-12-10 | 株式会社日立製作所 | 音響信号符号化復号方法 |
| JP3765171B2 (ja) * | 1997-10-07 | 2006-04-12 | ヤマハ株式会社 | 音声符号化復号方式 |
-
1999
- 1999-03-08 US US09/646,593 patent/US6804646B1/en not_active Expired - Fee Related
- 1999-03-08 DE DE59900797T patent/DE59900797D1/de not_active Expired - Lifetime
- 1999-03-08 EP EP99917771A patent/EP1062659B1/de not_active Expired - Lifetime
- 1999-03-08 WO PCT/DE1999/000615 patent/WO1999048084A1/de active IP Right Grant
- 1999-03-08 JP JP2000537202A patent/JP4276781B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| DE59900797D1 (de) | 2002-03-14 |
| WO1999048084A1 (de) | 1999-09-23 |
| EP1062659A1 (de) | 2000-12-27 |
| US6804646B1 (en) | 2004-10-12 |
| EP1062659B1 (de) | 2002-01-30 |
| JP2002507775A (ja) | 2002-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3364904B2 (ja) | 自動音声認識方法及び装置 | |
| JP5230103B2 (ja) | 自動音声認識器のためのトレーニングデータを生成する方法およびシステム | |
| KR100870889B1 (ko) | 음신호 처리 방법, 음신호 처리 장치 및 기록 매체 | |
| EP0970466B1 (en) | Voice conversion | |
| US6173258B1 (en) | Method for reducing noise distortions in a speech recognition system | |
| US8812312B2 (en) | System, method and program for speech processing | |
| US7254536B2 (en) | Method of noise reduction using correction and scaling vectors with partitioning of the acoustic space in the domain of noisy speech | |
| EP0838805B1 (en) | Speech recognition apparatus using pitch intensity information | |
| US20030093269A1 (en) | Method and apparatus for denoising and deverberation using variational inference and strong speech models | |
| US20110301945A1 (en) | Speech signal processing system, speech signal processing method and speech signal processing program product for outputting speech feature | |
| JP4061094B2 (ja) | 音声認識装置、その音声認識方法及びプログラム | |
| US20100217584A1 (en) | Speech analysis device, speech analysis and synthesis device, correction rule information generation device, speech analysis system, speech analysis method, correction rule information generation method, and program | |
| JP3632529B2 (ja) | 音声認識装置及び方法ならびに記録媒体 | |
| JP4276781B2 (ja) | 音声信号処理方法および音声信号処理装置 | |
| US6470311B1 (en) | Method and apparatus for determining pitch synchronous frames | |
| US6785648B2 (en) | System and method for performing speech recognition in cyclostationary noise environments | |
| JP4571871B2 (ja) | 音声信号分析方法およびこの分析方法を実施する装置、この音声信号分析装置を用いた音声認識装置、この分析方法を実行するプログラムおよびその記憶媒体 | |
| JP4325044B2 (ja) | 音声認識システム | |
| US20020173276A1 (en) | Method for suppressing spurious noise in a signal field | |
| KR100484666B1 (ko) | 성도특성 변환을 이용한 음색변환장치 및 방법 | |
| CN111226278A (zh) | 低复杂度的浊音语音检测和基音估计 | |
| USH2172H1 (en) | Pitch-synchronous speech processing | |
| JP3302075B2 (ja) | 合成パラメータ変換方法および装置 | |
| JPH1097288A (ja) | 背景雑音除去装置及び音声認識装置 | |
| JP4313740B2 (ja) | 残響除去方法、プログラムおよび記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051207 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090206 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090309 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130313 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130313 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140313 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |