JP4678773B2 - 音声入力評価装置 - Google Patents

Description

本発明は、音声認識のための音声入力評価装置に関し、特に、音声認識用の音声を入力する際、ユーザの発声の仕方や発声環境が適切であるかをユーザに通知することができる音声入力評価装置に関する。

音声認識システムの認識性能は、ユーザの発声の仕方や発声環境によって変動する。ユーザの発声の仕方や発声環境に関わらず、最も確からしい認識結果を出力するだけの音声認識システムは、発声の仕方が適切であるか、発声環境が静かであるかをユーザに通知しない。

特許文献１には、音声入力がない時間帯における環境雑音の音圧と周波数特性の時間変化を測定し、これに基づき音声認識が可能かどうかを判定してユーザに通知する音声認識システムが記載されている。

特許文献２には、外部から連続的に入力される音声信号の平均電力値と電力変動値とに基づいて子音を正確に検出することにより、話頭切断なく音声の有無(音声区間)を検出する音声検出器が記載されている。

特許文献３には、外部から連続的に入力される音声信号の振幅変動が少ない期間の信号レベルを背景雑音レベルとし、この背景雑音レベルを基準として音声信号レベルが大きくなった時点を有音期間とすることにより、先頭の子音から話頭切断なく有音期間を検出する音声検出装置が記載されている。

特許文献４には、マイクにより入力された音声信号を利得の異なる複数のアンプで増幅し、増幅された信号がオーバーフローしているか否かを判定し、オーバーフローしておらず、かつ最も利得が大きいアンプの信号を選択してＡ／Ｄ変換することにより、歪の小さいデジタル信号を得るデジタル音声回路が記載されている。
特開２００４−２７１５９６号公報 特開平１１−６８５８６号公報 特開平６−１９７０４９号公報 特開平７−１５２６０号公報

音声認識システムが、ユーザの発声の仕方や発声環境に関わらず、最も確からしい認識結果を出力するだけである場合、ユーザは、発声の仕方が適切であるか、発声環境が静かであるかを知ることができない。このため、ユーザは、不適切な発声の仕方や過大な背景雑音によって誤認識が発生したとしてもその原因が解らず、何度も発声して誤認識を繰り返してしまうことがある。

特許文献１の音声認識システムでは、環境雑音の音圧と周波数特性の時間変化に基づいて音声認識が可能かどうかを判定しているので、環境雑音の状況をユーザに通知できる。しかしながら、音声認識システムにおける誤認識は、環境雑音以外にも話頭切断や波形オーバフローなどによって発生するものであり、特許文献１の音声認識システムではこれらの誤認識に対して何らの考慮もされていない。誤認識の原因が複数ある場合、その原因が解るようにユーザに通知することが望ましい。

引用文献２の音声検出器や引用文献３の音声検出装置は、外部から連続的に入力される音声信号における子音をより正確に検出して話頭切断なく音声区間を検出するものであり、例えばプッシュツートーク(Push To Talk)型の音声認識システムにおいてマイクがオンになる前に発声したりして、入力される音声信号そのものが話頭切断されたものである場合に、それを判定してユーザに通知することは意図されていない。

引用文献４のデジタル音声回路は、利得の異なるアンプの信号のうちからオーバーフローしていない信号を選択するものであり、音声認識装置への適用も意図されているが、音声認識の認識精度と相関が高い時間局所的な波形オーバーフローに着目されておらず、誤認識の原因になる時間局所的な波形オーバーフローの判定について開示していない。

本発明の目的は、上記課題を解決し、音声認識用の音声を入力する際、ユーザの発声の仕方や発声環境が誤認識を引き起こすものであるかどうかを、誤認識の原因ごとに区別してユーザに通知することができる音声入力評価装置を提供することにある。

上記課題を解決するために、本発明は、音声認識のために入力された音声が適切であるか否かを評価する音声入力評価装置において、背景雑音レベル評価部、オーバーフロー検出部および話頭切断検出部のうちの少なくとも２つを備え、前記背景雑音レベル評価部は、背景雑音を測定し、測定した背景雑音が一定レベル以上であるかどうかを判定し、一定レベル以上であると判定した場合には背景雑音が大きすぎる旨のメッセージを送出し、前記オーバーフロー検出部は、入力された音声のオーバフローの度合いを検出し、検出したオーバーフローの度合いが音声認識の認識結果に影響を与えるレベル以上であるかどうかを判定し、音声認識の認識結果に影響を与えるレベル以上であると判定した場合には発声が大きすぎる旨のメッセージを送出し、前記話頭切断検出部は、入力された音声の話頭切断の有無を判定し、話頭切断が有ると判定した場合にはその旨のメッセージを送出し、前記背景雑音レベル評価部、前記オーバーフロー検出部および前記話頭切断検出部のうちの少なくとも２つから送出されるメッセージは互いに区別可能であり、前記オーバーフロー検出部は、音声信号の音声区間の時間波形領域でオーバーフローしたサンプル数をカウントすることで局所的(時間局所的)なオーバーフローの度合いを検出し、このカウント数が一定値以上であるかどうかを閾値処理することでオーバーフローの度合いが認識結果に影響を与えるレベル以上であるかどうかを判定することを特徴としている。

また、本発明は、前記背景雑音レベル評価部が、ユーザ発声前あるいはユーザが発声していない所定期間の入力から背景雑音を測定することを特徴としている。

また、本発明は、前記オーバーフロー検出部が、音声認識単位である音響分析フレームごとにオーバーフローしたサンプル数をカウントし、音声信号の全期間における各音響分析フレームでのサンプル数の最大値を音声区間のうちの局所的(時間局所的)なオーバーフローの度合いとして検出することを特徴としている。

また、本発明は、前記オーバーフロー検出部が、音声信号の先頭から所定期間においてオーバーフローしたサンプル数をカウントすることで音声区間のうちの局所的(時間局所的)なオーバーフローの度合いを検出することを特徴としている。

また、本発明は、前記話頭切断検出部が、音声信号の先頭部分と末尾部分の一定期間の平均パワーを比較し、先頭部分の平均パワーと末尾部分の平均パワーの差分に基づいて話頭切断の有無を判定することを特徴としている。

また、本発明は、音声認識のための音声を入力するためのマイクを備え、前記話頭切断検出部が、音声信号の先頭部分の一定期間の平均パワーとして前記マイクのオン直後の一定期間の音声信号の平均パワーを求めることを特徴としている。

本発明によれば、音声認識用の音声を入力する際、背景雑音レベル、オーバーフロー、話頭切断により誤認識が引き起こされるか否かが、その原因ごとに区別してユーザに通知されるので、ユーザは、無駄に何回も繰り返し音声を入力することなく、適切に対処して音声を入力するようになり、長期的にみて適切な発声を心がけるようになることが見込まれることから、認識完了率の向上が期待できる。

また、音声区間のうちの局所的(時間局所的)なオーバーフローの度合いでオーバフローを判定することにより、音声認識の認識精度と高い相関を持たせて、入力された音声のオーバフローを判定できる。音声区間のうちの局所的(時間局所的)なオーバーフローの度合いは、音声信号の時間波形領域でオーバーフローしたサンプル数をカウントしたり、音響分析フレームごとにオーバーフローしたサンプル数をカウントし、音声信号の全期間における各音響分析フレームでのサンプル数の最大値を検出したりして、適切に判定できる。

また、入力された音声の話頭切断は、音声信号の先頭部分と末尾部分の一定期間の平均パワーを比較し、先頭部分の平均パワーと末尾部分の平均パワーの差分を検出することにより、適切に判定できる。

音声認識のための音声を入力するためのマイクを備えている場合には、マイクのオン直後の一定期間の音声信号の平均パワーを求めることで、音声信号の先頭部分の一定期間の平均パワーを適切に検出でき、プッシュツートーク型の音声認識システムにおいてマイクがオンになる前に発声したことによる話頭切断をユーザに効果的に知らせることができる。

以下、図面を参照して本発明の実施形態について説明する。図１は、本発明が適用された音声認識システムを示す機能ブロック図である。ここでは、マイク入力部10と音声認識部20が通信を行う音声認識システムを想定している。

マイク入力部10は、ユーザがマイク30から入力する音声の特徴量(音声認識用パラメータ)抽出を行い、抽出された特徴量を認識要求とともに音声認識部20に送信する。音声認識部20は、マイク入力部10から送信された特徴量を元に音声認識を実行し、認識結果(テキスト)を認識要求に対する応答としてマイク入力部10に返す。マイク入力部10は、音声認識部20から返された認識結果をディスプレイ40に表示する。図１ではマイク30およびディスプレイ40がマイク入力部10に内蔵されているが、これらはマイク入力部10に外付けされていてもよい。

次に、マイク入力部10について詳細に説明する。マイク入力部10は、背景雑音バッファ11、入力音声バッファ12、背景雑音抑圧部13、音響特徴量抽出部14、メッセージ表示部15、背景雑音レベル評価部16、オーバーフロー検出部17および話頭切断検出部18を備える。

背景雑音バッファ12は、ユーザが発声する前の所定期間にマイク30から入力された音声信号を背景雑音として格納する。所定期間は、例えば0.2〜1.0秒間である。話頭切断があってユーザの発声前に背景雑音を取得することができない場合には、入力された音声信号の振幅変動が少ない期間の入力信号を背景雑音とすることができる。入力音声バッファ11は、ユーザに発声を促した後にマイク30から入力されるユーザ発声による音声信号を格納する。

背景雑音抑圧部13は、入力音声バッファ12からの音声信号に含まれる背景雑音を背景雑音バッファ12に格納された背景雑音を使って抑圧し、背景雑音が抑圧された音声信号を音響特徴量抽出部14に送出する。

音響特徴量抽出部14は、背景雑音が抑圧された音声信号を音響的に分析し、分析により抽出された特徴量を音声認識部20に送信する。

背景雑音レベル評価部16は、背景雑音バッファ12に格納された背景雑音が一定レベル以上であるか否かを判定する。背景雑音が一定レベル以上であるか否かは閾値処理で判定でき、閾値処理での閾値は音声認識の認識精度に応じて設定できる。背景雑音レベル評価部16は、背景雑音が一定レベル以上であると判定した場合には背景雑音が大きすぎる旨のメッセージをメッセージ表示部15に送出する。メッセージ表示部15は、このメッセージをディスプレイ40に表示させる。

オーバーフロー検出部17は、音声区間のうちの局所的(時間局所的：バースト的)なオーバーフローの度合いを検出し、これが音声認識の認識結果に影響を与える(誤認識に到る)レベル以上であるか否かを判定し、認識結果に影響を与えるレベル以上のオーバーフローが生じていると判定した場合には発声が大きすぎる旨のメッセージをメッセージ表示部15に送出する。

音声区間のうちの局所的(時間局所的)なオーバーフローの度合いは、音声認識の認識精度と相関の高いので、その認識精度を勘案したオーバフローを判定できる。オーバーフローの度合いと音声認識の認識結果の関係は、予め学習することなどで取得できる。メッセージ表示部15は、このメッセージをディスプレイ40に表示させる。

オーバフローが生じているか否かは、入力された音声信号がA/D変換などの処理レンジの最大値以上となっているか否かで判定できる。さらに、音声信号の最小値を設定し、入力された音声信号がこの最小値以下であるか否かを判定するようにすれば、発声が小さすぎる旨のメッセージも送出できる。

音声区間のうちの局所的(時間局所的)なオーバーフローの度合いは、入力音声バッファ12に格納された音声信号の時間波形領域でオーバーフローしたサンプル数をカウントすることで検出でき、オーバーフローが認識結果に影響を与えるレベル以上であるかどうかの判定は、このカウント数が一定値以上であるかどうかの閾値処理で判定できる。

また、音声認識においては、音声信号を一定期間ごとのフレーム(音響分析フレーム)に区切って処理するのが一般的であるので、音声信号の全期間においてフレームごとにオーバフローしたサンプル数をカウントし、各フレームでのサンプル数のうちの最大値を、音声区間のうちの局所的(時間局所的)なオーバフローの度合いとすることができる。

音声認識の認識精度には話頭付近の音声信号のレベルが大きく影響する。したがって、音声信号の先頭から所定期間、例えば1〜2秒間においてオーバーフローしたサンプル数をカウントし、これを音声区間のうちの局所的(時間局所的)なオーバフローの度合いとすることもでき、これによれば音声入力の初期の段階で早期に発声が大きすぎる旨のメッセージを送出することができる。

話頭切断検出部18は、入力音声バッファ12に格納された音声信号において話頭切断の有無を判定し、話頭切断が有ると判定した場合には発声のタイミングが早過ぎる旨のメッセージをメッセージ表示部15に送出する。メッセージ表示部15は、このメッセージをディスプレイ40に表示させる。

話頭切断は、具体的には、入力音声バッファ12に格納された音声信号の先頭部分の一定期間、例えば数百ミリ秒分の平均パワーと、末尾部分の一定期間、例えば数百ミリ秒分の平均パワーを比較することで判定できる。

音声信号の先頭部分は、入力音声バッファ12と背景雑音抑圧部13の間に音声入力検出器を配設して音声信号の立ち上がりを検出することで判定でき、プッシュツートーク型の音声認識システムではマイク30のオンを始点としても判定できる。また、音声認識部20からユーザに発声を促すような音声認識システムではユーザに発声を促した時点を始点として判定できる。

また、音声信号の末尾部分は、ユーザによる発声が所定期間以上継続してなくなったという終話判定の結果を利用して判定でき、その判定後からマイク30がオフするまでの期間内での平均パワーを取得することができる。なお、音声信号の先頭部分と末尾部分で平均パワーを求める一定期間を同じにする必要はない。

話頭切断が有る場合には、音声信号の先頭部分の平均パワーが大きくなる。一方、音声信号の末尾部分の平均パワーは、ユーザの発声終了時点後の一定期間の音声信号、つまり一定期間の背景雑音のみの平均パワーとなるので、小さい。したがって、音声信号の先頭部分と末尾部分の平均パワーの差を求め、この差が一定レベル以上である場合、話頭切断が有ると判定できる。

以上、実施形態について説明したが、本発明は、上記実施形態に限定されない。例えば、背景雑音レベルとオーバーフローと話頭切断の３種類のうち少なくとも２種類、例えばオーバーフローと話頭切断の判定、背景雑音レベルと話頭切断の判定、背景雑音レベルとオーバーフローの判定を行うものも本発明に含まれる。また、入力される音声が適切であるか否かを、ディスプレイ表示に限らず、LEDなどの発光素子の発光形態や音声などで報知させることもできる。

また、入力音声が不適切と判定された場合にはマイク入力部10から音声認識部20へ認識要求や音響特徴量を送信しないようにしたり、音声認識部20での音声認識処理を行わないようにすれば、無駄な情報送信や処理が行われるのをなくすことができる。

本発明は、携帯電話上の音声認識サービスに適用することができる。

本発明が適用された音声認識システムを示す機能ブロック図である。

符号の説明

10・・・マイク入力部、11・・・背景雑音バッファ、12・・・入力音声バッファ、13・・・背景雑音抑圧部、14・・・音響特徴量抽出部、15・・・メッセージ表示部、16・・・背景雑音レベル評価部、17・・・オーバーフロー検出部、18・・・話頭切断検出部、20・・・音声認識部、30・・・マイク、40・・・ディスプレイ

Claims (6)

1. 音声認識のために入力された音声が適切であるか否かを評価する音声入力評価装置において、
   背景雑音レベル評価部、オーバーフロー検出部および話頭切断検出部のうちの少なくとも２つを備え、
   前記背景雑音レベル評価部は、背景雑音を測定し、測定した背景雑音が一定レベル以上であるかどうかを判定し、一定レベル以上であると判定した場合には背景雑音が大きすぎる旨のメッセージを送出し、
   前記オーバーフロー検出部は、入力された音声のオーバフローの度合いを検出し、検出したオーバーフローの度合いが音声認識の認識結果に影響を与えるレベル以上であるかどうかを判定し、音声認識の認識結果に影響を与えるレベル以上であると判定した場合には発声が大きすぎる旨のメッセージを送出し、
   前記話頭切断検出部は、入力された音声の話頭切断の有無を判定し、話頭切断が有ると判定した場合にはその旨のメッセージを送出し、
   前記背景雑音レベル評価部、前記オーバーフロー検出部および前記話頭切断検出部のうちの少なくとも２つから送出されるメッセージは互いに区別可能であり、
   前記オーバーフロー検出部は、音声信号の音声区間の時間波形領域でオーバーフローしたサンプル数をカウントすることで局所的(時間局所的)なオーバーフローの度合いを検出し、このカウント数が一定値以上であるかどうかを閾値処理することでオーバーフローの度合いが認識結果に影響を与えるレベル以上であるかどうかを判定することを特徴とする音声入力評価装置。
2. 前記背景雑音レベル評価部は、ユーザ発声前あるいはユーザが発声していない所定期間の入力から背景雑音を測定することを特徴とする請求項１に記載の音声入力評価装置。
3. 前記オーバーフロー検出部は、音声認識単位である音響分析フレームごとにオーバーフローしたサンプル数をカウントし、音声信号の全期間における各音響分析フレームでのサンプル数の最大値を音声区間のうちの局所的(時間局所的)なオーバーフローの度合いとして検出することを特徴とする請求項１に記載の音声入力評価装置。
4. 前記オーバーフロー検出部は、音声信号の先頭から所定期間においてオーバーフローしたサンプル数をカウントすることで音声区間のうちの局所的(時間局所的)なオーバーフローの度合いを検出することを特徴とする請求項１に記載の音声入力評価装置。
5. 前記話頭切断検出部は、音声信号の先頭部分と末尾部分の一定期間の平均パワーを比較し、先頭部分の平均パワーと末尾部分の平均パワーの差分に基づいて話頭切断の有無を判定することを特徴とする請求項１ないし４のいずれか１つに記載の音声入力評価装置。
6. 音声認識のための音声を入力するためのマイクを備え、
   前記話頭切断検出部は、音声信号の先頭部分の一定期間の平均パワーとして前記マイクのオン直後の一定期間の音声信号の平均パワーを求めることを特徴とする請求項５に記載の音声入力評価装置。

Images