JP4296290B2 - 音声認識装置、音声認識方法及びプログラム - Google Patents

Description

本発明は、音声認識装置、音声認識方法及びプログラムに係り、特に、音節単位で区切り発声された音声を認識する音声認識装置、音声認識方法及びプログラムに関する。

従来、音声の入力速度を向上させるために、様々な音声認識装置が提案されている。

特許文献１には、音節に対応する音節列（例えば、音節「あ」に対して音節列「あいうえおのあ」）を標準パターンとして登録することにより、単音節単体で認識するのが難しい場合であっても、音節列「あいうえおのあ」が音声入力されれば、音節「あ」を高確率で認識することが記載されている。

特許文献２には、単語を音節に区切って発生された音声と、同じ単語を連続的に発生された音声の両方を使って、高精度に音声を認識することが記載されている。

特許文献３には、音声認識結果と信頼性レベルを確認しやすくするため、信頼性レベルに応じてキャラクタの表情を変えることが記載されている。
特開平９−１７９５７８号公報 特開平１０−３４００９６号公報 特開平９−２９２８９５号公報

特許文献１では、ユーザは、単音節「あ」を認識させるために、それに対応する音節列「あいうえおのあ」を発生しなければならない。このため、音声の入力速度が遅くなってしまう問題があった。

特許文献２では、ユーザは同じ単語を２通りの方法で発声しなければならず、このため音声の入力速度が遅くなってしまう問題があった。

特許文献３では、音声認識結果の信頼度をユーザにフィードバックしているだけに過ぎず、これだけでは音声の入力速度を上げることができなかった。

本発明は、上述した課題を解決するために提案されたものであり、音節毎に区切り発声された音声の入力速度を向上させることができる音声認識装置、音声認識方法及びプログラムを提供することを目的とする。

請求項１に記載の発明である音声認識装置は、音節単位で区切り発声された音声を入力する音声入力手段と、前記音声入力手段により入力された音声を音節毎に認識する音節認識手段と、前記音節認識手段の認識結果の信頼度に応じた態様で前記音節の認識結果を出力する出力手段と、を備え、前記出力手段は、前記認識結果の信頼度が認識不可を示す第１の閾値より低いときは、前記音節の認識結果として予め定められた情報を出力し、前記認識結果の信頼度が前記第１の閾値以上であり認識不完全を示す第２の閾値より低いときは、前記音節の認識結果として少なくとも前記音節の母音を出力する。

請求項４に記載の発明である音声認識方法は、音節単位で区切り発声された音声を音節毎に認識する音節認識工程と、前記音節認識工程による認識結果の信頼度に応じた態様で前記音節の認識結果を出力する出力工程と、を備え、前記出力工程では、前記認識結果の信頼度が認識不可を示す第１の閾値より低いときは、前記音節の認識結果として予め定められた情報を出力し、前記認識結果の信頼度が前記第１の閾値以上であり認識不完全を示す第２の閾値より低いときは、前記音節の認識結果として少なくとも前記音節の母音を出力する。

請求項１１に記載の発明である音声認識プログラムは、コンピュータを、音節単位で区切り発声された音声を入力する音声入力手段と、前記音声入力手段により入力された音声を音節毎に認識する音節認識手段と、前記音節認識手段の認識結果の信頼度に応じた態様で前記音節の認識結果を出力する出力手段と、して機能させ、前記出力手段は、前記認識結果の信頼度が認識不可を示す第１の閾値より低いときは、前記音節の認識結果として予め定められた情報を出力し、前記認識結果の信頼度が前記第１の閾値以上であり認識不完全を示す第２の閾値より低いときは、前記音節の認識結果として少なくとも前記音節の母音を出力するように機能させる。

音節認識手段は、ユーザによって音節単位で区切り発声された音声を音節毎に認識する。ここで、音節認識手段の認識結果は、信頼度が高いものや低いものなど、様々が存在する。しかし、認識結果の信頼度が低いときであってもユーザに何ら情報をフィートバックしないとすると、ユーザは、次の音節を発話しようとしないことが多い。

出力手段は、音節認識手段の認識結果の信頼度に応じた態様で音節の認識結果を出力する。すなわち、出力手段は、音節の認識結果の信頼度に応じて、その認識結果の出力態様を変えている。

したがって、上記発明によれば、次の音節の入力を促すことができるので、その結果、音声入力速度を向上させることができる。

音節の認識結果の信頼度が第１の閾値未満であるときは、当該音節は全く認識されていない。このとき、出力手段はその音節について何ら情報を出力しないと、ユーザは次の音節を発話しようとしない。

したがって、上記発明によれば、音節の認識結果の信頼度が認識不可を示す第１の閾値より低いときは、音節の認識結果として予め定められた情報を出力することによって、音節を全く認識できない場合でも、ユーザに次の音節の発声を促すことができる。なお、予め定められた情報としては、相づちのような情報であってもよい。

音節の認識結果の信頼度が第１の閾値以上第２の閾値未満であるときは、当該音節は一部だけ認識されているが、完全に認識されていない。例えば、当該音節の一部である母音は認識されているが、その他の部分である子音は認識されていない。

このとき、出力手段はその音節について何ら情報を出力しないと、ユーザは次の音節を発話しようとしない。一方、何か情報を出力するときは、認識された部分だけでも出力した方が、ユーザの発声を促すことができる。

したがって、上記発明によれば、認識結果の信頼度が第１の閾値以上であり認識不完全を示す第２の閾値より低いときは、音節の認識結果として少なくとも音節の母音を出力することにより、音節の一部が認識されたことをユーザに報知できるので、ユーザに次の音節の発声を促すことができる。

請求項２に記載の発明である音声認識装置は、請求項１に記載の発明であって、前記出力手段は、音声を出力する音声出力手段、画像を出力する画像出力手段の少なくとも一方である。

請求項５に記載の発明である音声認識方法は、請求項４に記載の発明であって、前記出力工程では、音声、画像の少なくとも一方を出力する。

請求項３に記載の発明である音声認識装置は、請求項１又は請求項２に記載の発明であって、複数の音節列候補を記憶する音節列候補記憶手段と、前記音節列候補記憶手段に記憶された複数の音節列候補の中から、前記音節認識手段により認識された複数の音節で構成された音節列に最も対応する音節列候補を選択する選択手段と、を更に備えている。

請求項６に記載の発明である音声認識方法は、請求項４又は請求項５に記載の発明であって、複数の音節列候補の中から前記音節認識工程で認識された複数の音節で構成された音節列に最も対応する音節列候補を選択する選択工程と、を更に備えている。

１つの音節だけを認識しても意味がなく、最終的には、複数の音節で構成された音節列を認識する必要がある。ここで、意味をなす単語であって例えば名詞などからなる音節列候補を予め用意しておく。そして、選択手段は、音節列候補の中から、既に認識された複数の音節で構成された音節列に最も対応する音節列候補を選択する。

これにより、上記発明によれば、区切り発声された複数の音節からなる音節列について、音節の一部に認識不可又は認識不完全が存在しても、高精度かつ確実に認識することができる。

本発明に係る音声認識装置、音声認識方法及びプログラムは、音節単位で区切り発声された音声を音節毎に認識し、認識結果の信頼度に応じた態様で音節の認識結果を出力することによって、次の音節の入力を促すことができ、この結果、音声入力速度を向上させることができる。

以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。

図１は、本発明の実施の形態に係る音声認識装置の構成を示すブロック図である。上記音声認識装置は、ユーザが音節単位で区切り発声した音声を認識するものである。なお、本実施の形態では、ユーザが「ひ・が・し・や・ま・ど・う・ぶ・つ・え・ん」を音節単位で発声した例を挙げて説明する。

音声認識装置は、ユーザが発声した音声を入力して音声信号を生成するマイク１と、音声信号から音声区間を切り出して音響パラメータを抽出する音声区間切出器２と、単音節の音声認識を行う単音節認識器３と、音節列候補を選択して最終的な認識結果を出力する音節候補選択器４と、複数の音節列候補を表した辞書を記憶する音節列候補辞書データベース５と、認識結果を画像出力する表示装置６と、認識結果を音声出力するスピーカ７と、を備えている。

単音節認識器３は、単音節の音声認識を行うと共に、当該単音節の認識結果の信頼度を演算する。なお、単音節認識器３で認識された複数の単音節を、「認識対象音節列」とする。認識対象音節列は、認識不可又は認識不完全（母音のみ認識可）の音節が含まれてもよい。

音節列候補辞書データベース５は、複数の音節列候補と、各音節列候補に対応する音響モデル列とを記憶している。本実施の形態では、音節列候補は、１つの意味をなす単語であれば特に限定されないが、本実施の形態では、例えば地名や施設などの名詞であるものとする。

音節候補選択器４は、認識対象音節列に基づいて音節列候補辞書データベース５の中から音節列候補を選択し、音響パラメータと音響モデル列とのマッチングを行って、認識対象音節列の最終的な音声認識結果を出力する。

図２は、音声認識装置による音声認識処理の手順を示すフローチャートである。ユーザが音節毎に区切られた音声を発生すると、マイク１はその音声を音声信号に変換して音声区間切出器２に供給する。

音声区間切出器２は、マイク１から供給された音声信号の入力を受け付け（ステップＳＴ１）、音声信号から音声区間を切り出し、音響分析を行うことで特徴パラメータ（音響パラメータ）を抽出する（ステップＳＴ２）。

単音節認識器３は、音声区間切出器２で抽出された音響パラメータを用いて、単音節の認識を行うと共に、その認識結果の信頼度を演算する（ステップＳＴ３）。このとき、表示装置６及びスピーカ７は、単音節の認識結果の信頼度に応じた態様で、その認識結果を出力する。

具体的には、表示装置６は、認識結果の信頼度が高いときはその単音節の文字画像をそのまま表示する。表示装置６は、認識結果の信頼度が少し低いとき（例えば、信頼度が第１の閾値以上第２の閾値未満：母音しか認識できなかったとき）は、その母音の文字画像を表示すると共に、その横に子音認識不可を表す所定画像“？”を表示する。また、表示装置６は、認識結果の信頼度が低いとき（例えば、信頼度が第１の閾値未満：母音及び子音が共に認識できなかったとき）は、音節認識不可であり次の音節入力を促すことを表す所定画像“＊”を表示する。

一方、スピーカ７は、認識結果の信頼度が高いときはその単音節の合成音声を出力し、認識結果の信頼度が少し低いとき（母音しか認識できなかったとき）は、その母音の合成音声のみを出力する。また、スピーカ７は、認識結果の信頼度が低いとき（母音及び子音が共に認識できなかったとき）は、音節認識不可であり次の音節入力を促すことを表す合成音声“はい”を出力する。

このように、音声認識装置は、単音節の認識結果の信頼度が高くない場合であっても、認識結果の信頼度を視覚や聴覚を通じてユーザにフィードバックすることにより、システムが正しく動作しているとユーザに思いこませることができる。この結果、ユーザに次の単音節の入力を促すことができる。

つぎに、単音節認識器３は、単音節の認識結果が正解であるか否かを判定する（ステップＳＴ４）。ここでは、ユーザが、表示装置６及びスピーカ７の出力を介して、単音節の認識結果を確認することができる。そして、ユーザは、その認識結果が誤りであると判断したときは、例えば、認識結果が誤りである旨を示す図示しないボタンを押圧することができる。

そして、単音節認識器３は、所定時間経過しても上記ボタンの押圧を検出しないときは単音節の認識結果が正解であると判定し、上記ボタンの押圧を検出したときは単音節の認識結果が正解でないと判定する。なお、上記ステップＳＴ４において、ユーザに正解か否かを判断させるかわりに、例えば、単音節認識器３が単音節の信頼度に応じて自動的に正解か否かを判断してもよい。

単音節認識器３は、単音節の認識結果が正解でないと判定したときは、次候補となっていた単音節の認識結果を出力することによって、再び音節認識を行う（ステップＳＴ３）。単音節認識器３は、単音節の認識結果が正解になるまでステップＳＴ３及びステップＳＴ４の処理を繰り返し実行する。

一方、単音節認識器３は、認識結果が正解であると判定したときは、当該単音節の波形データ（音響パラメータ）を図示しないメモリに格納する（ステップＳＴ５）。

次に、単音節認識器３は、すべての音節入力が完了したか否かを判定する（ステップＳＴ６）。ここでは、単音節認識器３は、次の単音節の入力があったときは音節入力が完了していないと判定して、ステップＳＴ１に戻る。また、ステップＳＴ５の処理後所定時間経過しても次の単音節の入力がないときは音節入力が完了したと判定する。

これにより、例えば、ステップＳＴ１からステップＳＴ５において単音節「ひ」の音節認識処理が終了したときは、再びステップＳＴ１に戻って、次の単音節「が」の音節認識処理が行われる。そして、音節列「ひ・が・し・や・ま・ど・う・ぶ・つ・え・ん」を構成する各々の単音節について音節認識処理が行われる。

図３は、入力音声「ひ・が・し・や・ま・ど・う・ぶ・つ・え・ん」の単音節毎の認識結果を説明する図である。

ユーザが単音節を発声する毎に、表示装置６は、認識結果として「＊」、「？あ」、「し」、「？あ」、「ま」、「ど」、「う」、「？う」、「＊」、「え」、「＊」の画像を順次出力する。同時に、スピーカ７は、認識結果として、「はい」、「あ」、「し」、「あ」、「ま」、「ど」、「う」、「う」、「はい」、「え」、「はい」の合成音声を順次出力する。

これにより、ユーザは、単音節の認識結果の信頼度に影響されることなく、単音節を連続的に発声することができる。すなわち、音声認識装置は、単音節の認識結果の一部に誤りがあったとしても、ユーザに単音節の連続的な発話を促しているので、単音節毎の修正をできるかぎり回避することができる。なお、図３に示すように認識された複数の単音節を、「認識対象音節列」とする。

音節候補選択器４は、音節列候補辞書データベース５に記憶されている音節列候補辞書の中から、認識対象音節列に形式上一致する（例えば、単音節の数が同じ、同じ音節・母音が同じ位置にある等の条件が一致する）音節列候補を選択する（ステップＳＴ７）。なお、音節候補選択器４は、“＊”に対応する認識不可の単音節については、任意の１文字とみなす。これにより、音節候補選択器４は、認識対象音節列の中に部分的に認識できなかった単音節が含まれていても、音節列候補を選択している。

さらに、音節候補選択器４は、メモリから各音節の音響パラメータを読み出し、認識対象音節列の音響パラメータと各々の音節列候補の音響モデルをマッチングさせて、認識対象音節列に最も対応する音節列候補を選択する。具体的には、認識対象音節列と各々の音節列候補についてスコアを演算し、最もスコアの高い音節列候補を再音節認識結果（最終認識結果）として選択する（ステップＳＴ８）。そして、表示装置６及びスピーカ７は、最終認識結果を出力する。

以上のように、本発明の実施の形態に係る音声認識装置は、ユーザが発話した単音節とその認識結果が完全に一致していなくても、ユーザに単音節の連続的な発話を促すことができるため、見かけ上の誤認識を少なくして、音声入力速度を向上させることができる。

また、上記音声認識装置は、ステップＳＴ７以降の後処理においては、認識不可又は認識不完全の単音節を含んだ認識対象音節列から音節列候補を絞り込んだ後、再び同じ認識対象音節列の音響パラメータを用いて、認識対象音節列に対応する音節列候補を、最終的な認識結果として出力することができる。すなわち、認識結果である認識対象音節列と音節列候補辞書データベース５の音節列候補とを照合し、入力音声の絞り込みを行うことによって、単音節の認識が不可又は不完全であっても、高精度に認識対象音節列を認識することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上変更されたものについても適用可能である。

例えば、上述したステップＳＴ１からステップＳＴ８までの処理を実行する音声認識プログラムをコンピュータにインストールして、そのコンピュータに音声区間切出器２、単音節認識器３、音節候補選択器４、音節列候補辞書データベース５の機能を実行させてもよい。なお、上記コンピュータは、通信回線を介して伝送された音声認識プログラムをインストールしてもよいし、光ディスク、磁気ディスク、半導体メモリなどの記録媒体に記録された音声認識プログラムをインストールしてもよい。

さらに、表示装置６は、“？”や“＊”の代わりに他の記号、文字、キャラクターを表示してもよい。同様に、スピーカ７は、“はい”の代わりに、相づちのような情報、例えば“えー”などの他の合成音声を出力してもよい。

本発明の実施の形態に係る音声認識装置の構成を示すブロック図である。 音声認識装置による音声認識処理の手順を示すフローチャートである。 音声認識結果を説明するための図である。

符号の説明

１ マイク
２ 音声区間切出器
３ 単音節認識器
４ 音節候補選択器
５ 音節列候補辞書データベース
６ 表示装置
７ スピーカ

Claims (7)

1. 音節単位で区切り発声された音声を入力する音声入力手段と、
   前記音声入力手段により入力された音声を音節毎に認識する音節認識手段と、
   前記音節認識手段の認識結果の信頼度に応じた態様で前記音節の認識結果を出力する出力手段と、を備え、
   前記出力手段は、前記認識結果の信頼度が認識不可を示す第１の閾値より低いときは、前記音節の認識結果として予め定められた情報を出力し、前記認識結果の信頼度が前記第１の閾値以上であり認識不完全を示す第２の閾値より低いときは、前記音節の認識結果として少なくとも前記音節の母音を出力する音声認識装置。
2. 前記出力手段は、音声を出力する音声出力手段、画像を出力する画像出力手段の少なくとも一方である
   請求項１に記載の音声認識装置。
3. 複数の音節列候補を記憶する音節列候補記憶手段と、
   前記音節列候補記憶手段に記憶された複数の音節列候補の中から、前記音節認識手段により認識された複数の音節で構成された音節列に最も対応する音節列候補を選択する選択手段と、を更に備えた
   請求項１又は請求項２に記載の音声認識装置。
4. 音節単位で区切り発声された音声を音節毎に認識する音節認識工程と、
   前記音節認識工程による認識結果の信頼度に応じた態様で前記音節の認識結果を出力する出力工程と、を備え
   前記出力工程では、前記認識結果の信頼度が認識不可を示す第１の閾値より低いときは、前記音節の認識結果として予め定められた情報を出力し、前記認識結果の信頼度が前記第１の閾値以上であり認識不完全を示す第２の閾値より低いときは、前記音節の認識結果として少なくとも前記音節の母音を出力する音声認識方法。
5. 前記出力工程では、音声、画像の少なくとも一方を出力する
   請求項４に記載の音声認識方法。
6. 複数の音節列候補の中から前記音節認識工程で認識された複数の音節で構成された音節列に最も対応する音節列候補を選択する選択工程と、を更に備えた
   請求項４又は請求項５に記載の音声認識方法。
7. コンピュータを、
   音節単位で区切り発声された音声を入力する音声入力手段と、
   前記音声入力手段により入力された音声を音節毎に認識する音節認識手段と、
   前記音節認識手段の認識結果の信頼度に応じた態様で前記音節の認識結果を出力する出力手段と、して機能させ、
   前記出力手段は、前記認識結果の信頼度が認識不可を示す第１の閾値より低いときは、前記音節の認識結果として予め定められた情報を出力し、前記認識結果の信頼度が前記第１の閾値以上であり認識不完全を示す第２の閾値より低いときは、前記音節の認識結果として少なくとも前記音節の母音を出力するように機能させる音声認識プログラム。

Images