JP7042169B2

JP7042169B2 - 音声認識支援システム

Info

Publication number: JP7042169B2
Application number: JP2018117802A
Authority: JP
Inventors: 義規加藤; 信光平野; 征幸佐藤; 宗藤原
Original assignee: 日清紡マイクロデバイス株式会社
Priority date: 2018-06-21
Filing date: 2018-06-21
Publication date: 2022-03-25
Anticipated expiration: 2038-06-21
Also published as: JP2019219556A

Description

本発明は、複数のマイクロフォン（以下マイク）で得られた受信信号に含まれる受信音声信号から雑音成分を除去して目的音声信号を取り出すための音声認識支援システムに関する。

複数のマイクを用いて、それらのマイクで得られた受信信号に含まれる受信音声信号から雑音成分を除去して高Ｓ／Ｎ比の目的音声信号を取り出すために、図１０に示すような音声認識支援システムが提案されている（非特許文献１）。

図１０において、２１Ｌ、２１Ｒは所定間隔で配置されたマイクである。２２はＡ／Ｄ変換処理部であり、マイク２１Ｌ、２１Ｒで受信した受信音声信号をＡ／Ｄ変換し所定時間単位のフレーム信号を生成する。

２３は減算型ビームフォーミング処理部であり、マイク２１Ｌ、２１Ｒで受信した受信音声信号を取り込み特定方向以外の受信音声信号を雑音成分として算出する。２４はその減算型ビームフォーミング処理部２３で得られた雑音成分を時間領域から周波数領域へ変換するＦＦＴ（高速フーリエ変換）処理部である。

２５は時変雑音スペクトル推定処理部であり、ＦＦＴ処理部２４から出力する雑音成分から時間経過で変化する雑音成分のスペクトルを推定する。２６はＡ／Ｄ変換処理部２２から出力する受信音声信号を時間領域から周波数領域へ変換するＦＦＴ処理部である。

２７は目的音声信号抽出処理部であり、ＦＦＴ処理部２６から取り込まれる受信音声信号のスペクトルから時変雑音スペクトル推定処理部２５で推定された雑音成分のスペクトルを減算することで目的音声信号のスペクトルを抽出する。

２８は目的音声信号抽出処理部２７から取り出された目的音声信号を周波数領域から時間領域の信号に逆変換するＩＦＦＴ（逆高速フーリエ変換）処理部である。

この音声認識支援システムでは、マイク２１Ｌ，２１Ｒの受信音声信号から雑音成分を除去することで目的音声信号を取り出すことができる。

マイクロホン対を用いたスペクトルサブトラクションによる雑音雑音除去法、水町・赤木著、電子情報通信学会論文誌Ａ Vol.J82-A、No.4、pp.503-512、1999年4月

ところが、図１０の音声認識支援システムでは、時変雑音スペクトル推定処理部２５で推定した時変雑音スペクトルによって、時間経過で変化する雑音成分に追従して受信音声信号のスペクトルから雑音成分のスペクトルを除去することができるが、環境雑音等の定常的な雑音のスペクトルや車の走行雑音などのスペクトルを推定することができず、定常雑音の除去性能が低く、Ｓ／Ｎ比の改善が望まれていた。また、受信音声信号に含まれる目的音声信号のレベルが小さい場合は、その目的音声信号が雑音成分に埋もれ、目的音声信号の音声認識率が低くなっていた。

本発明の目的は、時変雑音に加えて定常雑音を除去してＳ／Ｎ比を改善し、また入力する目的音声信号のレベルが小さくても当該目的音声信号の音声認識率を高くできるようにした音声認識支援システムを提供することである。

上記目的を達成するために、請求項１にかかる発明は、受信信号を入力し、所定の信号レベルに調整した受信音声信号を出力する入力ＡＧＣ処理部と、該入力ＡＧＣ処理部から出力される前記受信音声信号を取り込んで特定方向以外の受信音声信号を雑音成分として取り出す減算型ビームフォーミング処理部と、該減算型ビームフォーミング処理部によって取り出された雑音成分を取り込んで時間経過で変化する雑音成分スペクトルを推定する時変雑音スペクトル推定処理部と、前記減算型ビームフォーミング処理部によって取り出された雑音成分を取り込んで定常的に発生する雑音成分スペクトルを推定する定常雑音スペクトル推定処理部と、前記入力ＡＧＣ処理部から出力される前記受信音声信号を取り込んで前記時変雑音スペクトル推定処理部で推定された時変雑音スペクトルと前記定常雑音スペクトル推定処理部で推定された定常雑音成分スペクトルを取り除いて目的音声信号を抽出する目的音声信号抽出処理部と、該目的音声信号抽出処理部で抽出された前記目的音声信号を取り込み目的音声区間の信号レベルを調整する出力ＡＧＣ処理部と、前記目的音声信号抽出処理部で抽出された前記目的音声信号の開始タイミングと終了タイミングから前記目的音声区間を検出し前記目的音声区間以外を雑音区間として検出する目的音声区間検出処理部とを備え、前記定常雑音スペクトル推定処理部は、前記目的音声区間検出処理部で検出された前記雑音区間で動作することを特徴とする。
請求項２にかかる発明は、請求項１に記載の音声認識支援システムにおいて、前記定常雑音スペクトル推定処理部は、前記雑音区間で検出された雑音成分のスペクトルを累算することで定常雑音スペクトルを推定することを特徴とする。
請求項３にかかる発明は、請求項１又は２に記載の音声認識支援システムにおいて、前記入力ＡＧＣ処理部は、前記目的音声区間が第１設定時間より長いときレベル圧縮した前記受信信号を出力し、前記雑音区間が第２設定時間より長いときレベル増幅して前記受信音声信号のレベルが第１設定値を超えない範囲の前記受信音声信号を出力することを特徴とする。
請求項４にかかる発明は、請求項１、２又は３に記載の音声認識支援システムにおいて、前記出力ＡＧＣ処理部は、前記出力ＡＧＣ処理部に入力する前記目的音声信号のレベルが第２設定値を超えない範囲で前記目的音声信号を選択的にレベル増幅することを特徴とする。
請求項５にかかる発明は、請求項１、２、３又は４に記載の音声認識支援システムにおいて、前記目的音声信号の開始タイミングを調整する手段を備えていることを特徴とする。

本発明によれば、定常雑音スペクトル推定処理部を設け、その定常雑音スペクトル推定処理部を雑音区間で動作させるので、時変雑音推定と定常雑音推定を並行して処理することができ、あらゆる雑音を低減することができ、目的音声信号のＳ／Ｎ比を大きく改善できる。また、入力ＡＧＣ処理部と出力ＡＧＣ処理部を備えるので、入力する目的音声信号のレベルが小さくても目的音声信号の音声認識率を高くできる。

第１実施例の音声認識支援システムの機能ブロック図である。入力ＡＧＣ処理部のフローチャートである。（ａ）、（ｂ）はマイクと目的音声と雑音の関係を示す説明図、（ｃ）は減算型ビームフォーミング処理部のフローチャートである。時変雑音スペクトル推定処理のフローチャートである。定常雑音スペクトル推定処理のフローチャートである。目的音声信号抽出処理のフローチャートである。目的音声区間検出処理のフローチャートである。（ａ）は通常の受信音声信号のエントロピーの特性図、（ｂ）は過大な受信音声信号のエントロピーの特性図、（ｃ）は過小な受信音声信号のエントロピーの特性図である。出力ＡＧＣ処理部のフローチャートである。従来の音声認識支援システムの機能ブロック図である。

図１に本発明の１つの実施例の音声認識支援システムを示す。１Ｌ、１Ｒは所定間隔で配置されたＬチャネル、Ｒチャネルのマイクである。２はＡ／Ｄ変換処理部であり、マイク１Ｌ、１Ｒで受信した受信信号をＡ/Ｄ変換することにより、所定時間単位のフレーム信号を生成する。３はＡ/Ｄ変換処理部２から取り出された受信信号のレベルを調整し、受信音声信号を出力する入力ＡＧＣ処理部である。

４は減算型ビームフォーミング処理部であり、入力ＡＧＣ処理部３から出力する２個の受信音声信号を取り込み特定方向以外の受信音声信号を雑音成分として算出する。５はその減算型ビームフォーミング処理部４で得られた雑音成分を時間領域から周波数領域へ変換するＦＦＴ（高速フーリエ変換）処理部である。

６は時変雑音スペクトル推定処理部であり、ＦＦＴ処理部５から取り込まれる雑音成分から時間経過で変化する時変雑音スペクトル（周波数とレベル）を推定する。７は定常雑音スペクトル推定処理部であり、ＦＦＴ処理部５から出力する雑音成分によって定常的に発生する定常雑音スペクトルを推定する。

８は入力ＡＧＣ処理部３から出力する受信音声信号を時間領域から周波数領域に変換するＦＦＴ処理部である。９は目的音声信号抽出処理部であり、時変雑音スペクトル推定処理部６で得られた時変雑音スペクトルと定常雑音スペクトル推定処理部７で得られた定常雑音スペクトルを取り込んで、ＦＦＴ処理部８から取り込まれた受信音声信号のスペクトルから時変雑音のスペクトルと定常雑音のスペクトルを取り除くことで、目的音声信号のスペクトルを抽出する。

１０は目的音声区間検出処理部であり、目的音声信号抽出処理部９で得られた目的音声信号のスペクトルを取り込んで、目的音声区間と雑音区間の境界を検出する。１１は目的音声信号抽出処理部９から出力する目的音声信号を周波数領域から時間領域の信号に逆変換するＩＦＦＴ（逆高速フーリエ変換）処理部である。

１２は遅延処理部であり、目的音声区間検出処理部１０において雑音区間と目的音声区間を検出する際に雑音区間から目的音声区間に切り替わるタイミングの誤差を補正する。１３は遅延処理部１２で遅延補正が行われた目的音声信号のレベルを調整する出力ＡＧＣ処理部である。

以下、個々の処理部について説明する。図２は入力ＡＧＣ処理部３の処理フローチャートを示す。Ａ／Ｄ変換処理（Ｓ１）の次に受信信号に含まれる音声帯域以外の信号をハイパスフィルタ、ローパスフィルタによって除去し、受信音声信号を取り出す（Ｓ２）。そして受信音声信号のレベルが設定値Ａを超えていればレベル圧縮を行う（Ｓ３，Ｓ４）。

また、目的音声区間検出処理部１０による目的音声連続検出時間（目的音声区間）が設定時間Ｔ１を超えているときはレベル圧縮を行う（Ｓ５，Ｓ６）。しかし、そうでないときは、次に雑音連続検出時間（雑音区間）が設定時間Ｔ２を超えているかどうかを判定する（Ｓ７）。そして、雑音連続検出時間が設定時間Ｔ２を超えているときは目的音声信号のレベルが小さいと推定して、レベル増幅を行う（Ｓ８）。雑音連続検出時間が設定時間Ｔ２を超えていないときはそのままとする（Ｓ９）。そして、ステップＳ４，Ｓ６，Ｓ８に応じて受信音声信号のレベル変更をおこなう（Ｓ１０）。

以上の処理により、目的音声区間が設定時間Ｔ１より長いとき受信音声信号のレベル圧縮が行われ、雑音区間が設定時間Ｔ２より長いとき受信音声信号のレベルが設定値Ａを超えない範囲で受信音声信号のレベル増幅が行われる。

図３（ａ）、（ｂ）は減算型ビームフォーミング処理部４の処理の説明図、図３（ｂ）はそのフローチャートである。マイク１Ｌとマイク１Ｒが図３（ａ）のように距離Ｌ１だけ離れて配置されていて、実線で示す目的音声と破線で示す雑音が両マイク１Ｌ，１Ｒで受信されたとすると、目的音声はマイク１Ｒに対してマイク１Ｌに到達する時間がｄだけ遅延し、雑音はマイク１Ｌに対してマイク１Ｒに到達する時間がτだけ遅延するので、これを検出する（Ｓ１１）。そして、検出した遅延時間ｄ、τを用いて次の式（１）に示す演算を行うことにより、マイク１Ｌに入力する雑音成分ｇｌｒとマイク１Ｒに入力する雑音成分ｇｒｌを抽出する（Ｓ１２)。これらの雑音成分ｇｌｒ、ｇｒｌが雑音成分として出力する。ｌはマイク１Ｌの受信音声信号、ｒはマイク１Ｒの受信音声信号である。

図４は時変雑音スペクトル推定処理部６の処理のフローチャートである。減算型ビームフォーミング処理部４で得られた雑音成分ｇｌｒ、ｇｒｌをＦＦＴ処理（Ｓ２１）した後、時変雑音スペクトル推定（Ｓ２２）を行う。

時変雑音スペクトル推定値の算出式は次の式（２）ようになる。∧付きのＮ(ω）は周波数領域の推定された雑音成分であることを示す。Ｇ(ω)は減算型ビームフォーミング出力を時間領域から周波数領域に変換した直後の雑音成分のスペクトル、εは０を超えて、１より十分小さい値である。

図５は定常雑音スペクトル推定処理部７の処理のフローチャートである。定常雑音スペクトル推定は、時変雑音スペクトル推定がリアルタイムで変化する雑音成分の推定であるのに対し、定常的に発生している雑音成分を目的音声区間検出処理部１０で検出した雑音区間（減算型ビームフォーミングで処理しきれなかった推定雑音に含まれる残留目的音声成分を除く）で検出することで、雑音除去性能を向上させる処理である。時変雑音スペクトル推定結果を遅延（Ｓ３１）させ、目的音声区間検出処理結果が雑音区間を示すとき（Ｓ３２）、定常雑音スペクトル推定値を算出する（Ｓ３３）。

遅延処理Ｓ３１は、目的音声区間検出処理によって雑音区間と目的音声区間の境界を検出する際に、雑音区間から目的音声区間の切り替わりのタイミング誤差を補正するために、音声区間への切り替わりタイミングより前の雑音スペクトルから定常雑音スペクトルを算出することで、残留目的音声成分が含まれることを防ぐ処理である。

定常雑音スペクトル推定値の算出式は次の累算式となる。αは平均化するための係数（0≦α≦１）である。（ｎ）は現フレーム、（ｎ－１）は１フレーム前のフレームを表す。右側の第２項は現フレームまでの定常雑音スペクトル推定値の累積値である。

図６は目的音声信号抽出処理部９の処理フローチャートである。入力ＡＧＣ処理部３の処理結果をＦＦＴ処理部８で時間領域から周波数領域の信号に処理（Ｓ４１）した結果と、時変雑音スペクトル推定処理部６で推定した結果と、定常雑音スペクトル推定処理部７で処理した結果を取り込んで、目的音声信号抽出処理部９で目的音声信号のスペクトルを算出する（Ｓ４２）。

目的音声信号のスペクトルの推定値の算出式は次の式（４）となる。∧付きのＳ(ω）は周波数領域の目的音声信号、Ｘ(ω）はＦＦＴ処理部８から取り込まれる周波数領域の受信音声信号（目的音声信号と雑音成分を含む）を示す。β、γは係数（０≦β≦１、０≦γ≦１）である。

図７は目的音声区間検出処理部１０の処理のフローチャートである。ここでは、目的音声信号と雑音成分が含まれている受信音声信号から、目的音声区間と雑音区間を判別する。図８（ａ）に示すように、通常の場合は、受信音声信号のエントロピー（パワー）が閾値ｈを超えている場合はその超えている連続期間は目的音声区間、閾値ｈを下回っている連続期間は雑音区間となる。この目的音声区間は、目的音声信号の開始タイミングｔａから、目的音声信号の終了タイミングｔｂまでの区間であり、その他の区間は雑音区間となる。目的音声区間検出処理部１０は隣り合うこの２個のタイミングｔａ，ｔｂを検出して、入力ＡＧＣ処理部３、遅延処理部１２、出力ＡＧＣ処理部１３を制御する。

まず、目的音声信号抽出処理部９で得られた目的音声信号抽出結果を取り込んでそのエントロピーを算出（Ｓ５１）する。そのエントロピーが閾値ｈよりも大きくなったときは、目的音声信号が検出された（タイミングｔａ）として、ホールドタイムを設定する（Ｓ５２，Ｓ５３）。このホールドタイムは、一旦検出した目的音声信号の開始タイミングｔａ以降に目的音声信号が検出されなくなっても、つまり雑音が検出されても、そのホールドタイムの期間中は雑音検出をマスクするためのものである。このようにして、検出した目的音声信号の開始タイミングｔａからホールドタイムが終了するまでは、目的音声信号の終了が検出されても無視し音質劣化を防止する。このホールドタイムは、例えば１００ｍｓｅｃ～２００ｍｓｅｃ程度に設定される。

また、目的音声信号の開始タイミングｔａが検出されてから目的音声信号の終了タイミングｔｂが検出されるまでの目的音声連続検出時間（目的音声区間）が設定時間Ｔ１を超えたら、入力ＡＧＣ処理部３によってレベル圧縮を行う（Ｓ５４，Ｓ５５）。図８（ｂ）に示すように、受信音声信号の全体のエントロピーが高い場合は、目的音声信号の他に雑音成分も閾値ｈを超えてしまうので、全部が目的音声信号と誤認識される。そこで、目的音声連続検出時間が設定時間Ｔ１を超えたら、受信音声信号の目的音声信号と雑音成分の識別が可能なように、入力ＡＧＣ処理部３によって受信音声信号のレベル圧縮を行う。

また、目的音声連続検出時間が設定時間Ｔ１よりも短いときは、目的音声信号の開始タイミングｔａの補正を行う（Ｓ５６）。この補正は、タイミングｔａを補正（実際のタイミングｔａよりも前へ補正）して目的音声信号の検出処理に余裕を持たせるためのものである。また、その補正のための遅延時間の算出を直前フレームの目的音声信号について行い（Ｓ５７）、遅延処理部１２にその遅延時間を設定する。

一方、エントロピーが閾値ｈ未満になったときは、ステップＳ５２において、目的音声信号が検出されなくなったとして、ステップＳ５３で設定されたホールドタイムが満了するのを待つ（Ｓ５８）。そしてホールドタイムが満了したときに、目的音声区間終了タイミングｔｂが検出されてから次の目的音声区間開始タイミングｔａが検出されるまでの雑音区間連続検出時間（雑音区間）が設定時間Ｔ２を超えている場合に、図２で説明した入力ＡＧＣ処理部３においてレベル増幅を行う（Ｓ５９，Ｓ６０）。図８（ｃ）に示すように目的音声信号が含まれていても受信音声信号のエントロピーが全体的に低く閾値ｈに達しない場合は、そのままでは全部が雑音成分として誤認識されてしまう。そこで、目的音声信号と雑音成分の識別が可能なように、受信音声信号のレベル増幅を行う。また、雑音区間連続検出時間が設定時間Ｔ２を超えない場合は、入力ＡＧＣ処理部３におけるレベル変更は行わない（Ｓ６１）。

図９は遅延処理部１２と出力ＡＧＣ処理部１３の処理フローチャートである。目的音声信号抽出処理部９から出力し、ＩＦＦＴ処理部１１で周波数領域から時間領域の信号に復元された目的音声信号は、目的音声区間検出処理部１０で検出された雑音区間から目的音声区間への切り替わりのタイミングｔａの誤差が遅延処理部１２における遅延処理によって補正される（Ｓ７１）。この遅延処理は、出力ＡＧＣ処理部１３での処理に合わせるために行われる。

そして、遅延処理された目的音声信号のレベルが設定値Ｂを超えているときは、出力ＡＧＣ処理部１２においてレベル圧縮が行われる（Ｓ７２、Ｓ７３、Ｓ７４）。また、目的音声区間検出処理部１０で目的音声区間が検出されているときは、出力ＡＧＣ処理部１３においてレベル増幅が行われる（Ｓ７５、Ｓ７６）が、目的音声区間が検出されていないときはそのままとなる（Ｓ７５，Ｓ７７）。このようにして、出力ＡＧＣ処理部１３は、入力する目的音声信号のレベルが設定値Ｂを超えない範囲で目的音声信号を選択的にレベル増幅する。

以上から、本実施例の音声認識支援システムによれは、図３の実線の方向からマイク１Ｌ、１Ｒに入力する目的音声を、図２の破線で示す方向からマイク１Ｌ、１Ｒに入力する雑音に対して分離して取り出し、且つその目的音声を所定のレベルにＳ／Ｎ比を高くして調整することができ、音声認識支援に好適となる。

１Ｌ，１Ｒ：マイク、２：Ａ／Ｄ変換処理部、３：入力ＡＧＣ処理部、４：減算型ビームフォーミング処理部、５：ＦＦＴ処理部、６：時変雑音スペクトル推定処理部、７：定常雑音スペクトル推定処理部、８：ＦＦＴ処理部、９：目的音声信号抽出処理部、１０：目的音声区間検出処理部、１１：ＩＦＦＴ処理部、１２：遅延処理部、１３：出力ＡＧＣ処理部

Claims

受信信号を入力し、所定の信号レベルに調整した受信音声信号を出力する入力ＡＧＣ処理部と、
該入力ＡＧＣ処理部から出力される前記受信音声信号を取り込んで特定方向以外の受信音声信号を雑音成分として取り出す減算型ビームフォーミング処理部と、
該減算型ビームフォーミング処理部によって取り出された雑音成分を取り込んで時間経過で変化する雑音成分スペクトルを推定する時変雑音スペクトル推定処理部と、
前記減算型ビームフォーミング処理部によって取り出された雑音成分を取り込んで定常的に発生する雑音成分スペクトルを推定する定常雑音スペクトル推定処理部と、
前記入力ＡＧＣ処理部から出力される前記受信音声信号を取り込んで前記時変雑音スペクトル推定処理部で推定された時変雑音スペクトルと前記定常雑音スペクトル推定処理部で推定された定常雑音成分スペクトルを取り除いて目的音声信号を抽出する目的音声信号抽出処理部と、
該目的音声信号抽出処理部で抽出された前記目的音声信号を取り込み目的音声区間の信号レベルを調整する出力ＡＧＣ処理部と、
前記目的音声信号抽出処理部で抽出された前記目的音声信号の開始タイミングと終了タイミングから前記目的音声区間を検出し前記目的音声区間以外を雑音区間として検出する目的音声区間検出処理部とを備え、
前記定常雑音スペクトル推定処理部は、前記目的音声区間検出処理部で検出された前記雑音区間で動作することを特徴とする音声認識支援システム。
請求項１に記載の音声認識支援システムにおいて、
前記定常雑音スペクトル推定処理部は、前記雑音区間で検出された雑音成分のスペクトルを累算することで定常雑音スペクトルを推定することを特徴とする音声認識支援システム。
請求項１又は２に記載の音声認識支援システムにおいて、
前記入力ＡＧＣ処理部は、前記目的音声区間が第１設定時間より長いときレベル圧縮した前記受信信号を出力し、前記雑音区間が第２設定時間より長いときレベル増幅して前記受信音声信号のレベルが第１設定値を超えない範囲の前記受信音声信号を出力することを特徴とする音声認識支援システム。
請求項１、２又は３に記載の音声認識支援システムにおいて、
前記出力ＡＧＣ処理部は、前記出力ＡＧＣ処理部に入力する前記目的音声信号のレベルが第２設定値を超えない範囲で前記目的音声信号を選択的にレベル増幅することを特徴とする音声認識支援システム。
請求項１、２、３又は４に記載の音声認識支援システムにおいて、
前記目的音声信号の開始タイミングを調整する手段を備えていることを特徴とする音声認識支援システム。