JP4094255B2 - コマンド入力機能つきディクテーション装置 - Google Patents
コマンド入力機能つきディクテーション装置 Download PDFInfo
- Publication number
- JP4094255B2 JP4094255B2 JP2001228465A JP2001228465A JP4094255B2 JP 4094255 B2 JP4094255 B2 JP 4094255B2 JP 2001228465 A JP2001228465 A JP 2001228465A JP 2001228465 A JP2001228465 A JP 2001228465A JP 4094255 B2 JP4094255 B2 JP 4094255B2
- Authority
- JP
- Japan
- Prior art keywords
- score
- command
- text
- acoustic
- word string
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明はコマンド入力機能つきディクテーション装置に関し、特に、音声入力でテキストとコマンドとを作成するコマンド入力機能つきディクテーション装置に関する。
【０００２】
【従来の技術】
近年、大語彙連続音声認識技術を利用し、音声で任意のテキストを入力するディクテーション装置が実用化されている。ディクテーション装置では、テキスト入力だけでなく、テキスト編集などの機能も必要であり、これらも音声によるコマンド入力で行えることが望ましい。この場合、音声入力がテキスト入力なのかコマンド入力なのかを判断する必要が生じる。簡単なのは、事前にキーやスイッチなどでテキスト入力かコマンド入力かを切り替える方法であるが、使用者は音声入力とキーやスイッチによる操作を併用しなければならず、わずらわしい。
【０００３】
これに対し、キーやスイッチによる切り替えが不要な装置としては、特開２０００−０２００９２号公報に記載されているディクテーション装置があり、一定時間音声が入力されないとコマンド音声のみを受け付けるように制御する装置が開示されている。
【０００４】
また、第二の従来の装置としては、特開２０００−０７６２４１号公報に記載されている音声認識装置があり、テキスト入力が開始されてから所定時間以内に発声された場合に、コマンド入力として扱う装置が開示されている。
【０００５】
さらに、第三の従来の装置としては、特開平６−１３０９９０号公報に記載されている音声認識装置があり、テキスト入力用とコマンド入力用にそれぞれマイクロフォンを用意し、使用者がどちらのマイクロフォンに向かって入力したかをパワー情報をもとに判定することにより、テキスト入力として扱うかコマンド入力として扱うかを制御する装置が開示されている。
【０００６】
【発明が解決しようとする課題】
従来提案されている上記の３つの装置のうち、特開２０００−０２００９２号公報、特開２０００−０７６２４１号公報に開示されている装置に関しては、発声のタイミングを利用して判定しているため、使用者がタイミングを意識する必要があり、またタイミングが合わないと正しく判定できない。
【０００７】
また、特開平６−１３０９９０号公報は、使用者がテキスト入力かコマンド入力かに応じて入力するマイクロフォンを変えなければならないわずらわしさがある上、複数マイクロフォンを用意する必要があるためにコストがかかるという問題もある。
【０００８】
本発明の目的は、複数のマイクロフォンを用意したり、使用者が発声のタイミングを意識したりすることなく、またキーやスイッチによるモード切り替えを行う必要なく、テキスト入力中に音声によるコマンド入力を行うことのできるディクテーション装置を提供することにある。
【０００９】
テキスト認識部とコマンド認識部は同時に入力音声を受け付け、それぞれ認識結果としてのテキストあるいはコマンドとともにスコアを出力する。スコア比較部は、スコアを比較することにより、テキストかコマンドかを選択する。比較に用いるスコアとしては、照合スコア、照合スコアのうち音響モデルにかかわる音響スコア、あるいはそれらを入力音声の長さで正規化したものを用いることができ、比較の際に必要に応じてペナルティ値によりスコアを補正することにより、コマンドが誤ってテキスト認識結果として判定される可能性を低減する。
【００１０】
【課題を解決するための手段】
本発明の第１のコマンド入力機能つきディクテーション装置は、入力音声を言語モデルを参照してテキストに変換しスコアとともに出力するテキスト認識部と、前記入力音声をコマンド認識用の文法を参照してコマンドに変換しスコアとともに出力するコマンド認識部と、前記テキスト認識部の出力するスコアと前記コマンド認識部の出力するスコアを比較し、一方を選択するスコア比較部とを有する。
【００１１】
本発明の第２のコマンド入力機能つきディクテーション装置は、本発明の第１のコマンド入力機能つきディクテーション装置において、前記スコア比較部がスコアを比較する際に、一方に所定の値を加えることを特徴とする。
【００１２】
本発明の第３のコマンド入力機能つきディクテーション装置は、本発明の第１または第２のコマンド入力機能つきディクテーション装置において、前記テキスト認識部が、入力音声を音響モデルと言語モデルを参照して単語列と照合し、照合スコアに基づいて認識結果単語列を得ることによりテキストに変換する手段と、前記コマンド認識部が、前記入力音声をコマンド認識用の文法と前記音響モデルを参照して文法で受理される単語列と照合し、照合スコアに基づいて認識結果単語列を得ることによりコマンドに変換する手段とを有する。
【００１３】
本発明の第４のコマンド入力機能つきディクテーション装置は、本発明の第１または第２のコマンド入力機能つきディクテーション装置において、前記テキスト認識部が、入力音声を第１の音響モデルと言語モデルを参照して単語列と照合し、照合スコアに基づいて認識結果単語列を得ることによりテキストに変換する手段と、前記コマンド認識部が、前記入力音声をコマンド認識用の文法と前記第１の音響モデルとは異なる第２の音響モデルを参照して文法で受理される単語列と照合し、照合スコアに基づいて認識結果単語列を得ることによりコマンドに変換する手段を有する。
【００１４】
本発明の第５のコマンド入力機能つきディクテーション装置は、本発明の第３または第４のコマンド入力機能つきディクテーション装置において、前記テキスト認識部および前記コマンド認識部が出力するスコアとして、前記照合スコアを用いることを特徴とする。
【００１５】
本発明の第６のコマンド入力機能つきディクテーション装置は、本発明の第３または第４のコマンド入力機能つきディクテーション装置において、前記テキスト認識部および前記コマンド認識部が出力するスコアとして、前記照合スコアを入力音声の長さで正規化した値を用いることを特徴とする。
【００１６】
本発明の第７のコマンド入力機能つきディクテーション装置は、本発明の第３または第４のコマンド入力機能つきディクテーション装置において、前記テキスト認識部および前記コマンド認識部が出力するスコアとして、それぞれの前記認識結果単語列と前記音響モデルから求まる音響スコアを用いることを特徴とする。
【００１７】
本発明の第８のコマンド入力機能つきディクテーション装置は、本発明の第３または第４のコマンド入力機能つきディクテーション装置において、前記テキスト認識部および前記コマンド認識部が出力するスコアとして、それぞれの前記認識結果単語列と前記音響モデルから求まる音響スコアを入力音声の長さで正規化した値を用いることを特徴とする。
【００１８】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００１９】
図１は本発明の第１の実施例を示す。図１を参照すると、本発明の第１の実施例は、マイク等からの音声信号を入力する音声分析部１と、音声分析部１に接続されるテキスト認識部２およびコマンド認識部３と、テキスト認識部２およびコマンド認識部３に接続され、比較結果を送出するスコア比較部４と、テキスト認識部２およびコマンド認識部３に接続される音響モデルとを含み、さらに数千から数万単語以上の単語辞書を有する音響モデル１１およびコマンドを表す単語やフレーズのリスト、あるいは単語のネットワークを用いる単語列を有する文法１３を含む。
【００２０】
音声分析部１は、マイク等から入力された音声信号をディジタル信号に変換し、ケプストラムパラメータ等の特徴ベクトルの時系列に変換して、テキスト認識部２およびコマンド認識部３に送る。テキスト認識部２は、音響モデル１１および言語モデル１２を参照して、特徴ベクトル時系列を言語モデル中の単語辞書と照合し、照合結果としてテキスト認識結果の単語列とそのスコアを含む情報を得て、スコア比較部４に送る。
【００２１】
コマンド認識部３は、音響モデル１１および文法１３を参照して、特徴ベクトル時系列を文法１３で受理される単語列と照合し、照合結果としてコマンド認識結果の単語列とそのスコアを含む情報を得て、スコア比較部４に送る。
【００２２】
スコア比較部４は、テキスト認識部２から得られたテキスト認識結果単語列のスコアと、コマンド認識部３から得られたコマンド認識結果単語列のスコアを比較し、いずれかの単語列を選択し、それがテキスト認識結果かコマンド認識結果かの情報とともに出力する。出力結果は、上位の制御部等によって解釈され、テキスト認識結果であれば表示部に表示し、コマンド認識結果であれば対応するコマンドを実行する。
【００２３】
音響モデルとしては、たとえば隠れマルコフモデルを用いることができる。
言語モデルとしては、数千から数万単語以上の単語辞書と、それらの単語の連鎖確率を表すＮグラムモデルを用いることができる。コマンド認識部で参照する文法としては、コマンドを表す単語やフレーズのリスト、あるいは単語のネットワークを用いることができる。テキスト認識結果単語列の照合スコアは、隠れマルコフモデルによって計算される音響スコアと、言語モデルによって計算される言語スコアとを加えたものとなる。
【００２４】
一方、コマンド認識結果単語列の照合スコアは、隠れマルコフモデルによって計算される音響スコアのみとなる。それぞれ、照合スコアの最もよい単語列が照合結果として得られる。音響スコア、言語スコアとしては、確率あるいは尤度の対数値の符号を逆転したものを用いる。したがって、スコアは小さい方がよい値である。なお、以下で説明するように、スコア比較部に送るスコアは、ここで述べた照合スコアとは必ずしも同じではない。
【００２５】
次に、本発明の実施の形態の動作について、とくにスコア比較部４の動作を中心に詳細に説明する。スコア比較部４は、テキスト認識結果単語列のスコアとコマンド認識結果単語列のスコアを比較し、スコアのよい方を選択して出力する。たとえば、「ここで改行」というコマンドを受け付けるように文法１３が構成されているとき、「ここで改行」という音声が入力されると、望ましくはテキスト認識部からは「ここで改行」というテキストが、コマンド認識部からは「ここで改行」というコマンドが、それぞれ認識結果として得られる。テキスト認識部とコマンド認識部とでは同じ音響モデルを参照しているため、それぞれの音響スコアは同一となり、音響スコアからは区別できない。
【００２６】
また、テキスト認識用の辞書は一般に数千から数万以上の語からなるため、類似語も多くふくまれ、発声によっては「ここで改行」が「ここで会議を」等に誤認識されることもありうる。このとき、音響スコアとしても「ここで会議を」の方がよい場合があり、単純に音響スコアを比較するとコマンドが誤ってテキストとして認識されてしまう可能性が高くなる。そこで、「ここで改行」を正しくコマンドの「ここで改行」であると認識するために、コマンド認識結果に有利なように、比較に用いるスコアを調整する。
【００２７】
スコア比較部４で比較に用いるスコアの具体的な算出法に応じて、いくつかの形態が可能である。本発明の第１の実施の形態では、テキスト認識部、コマンド認識部ともに、認識結果単語列のスコアとして照合スコアそのものを用いる。コマンド認識部からの照合スコアは音響スコアのみであるのに対し、テキスト認識部からの照合スコアは音響スコアに言語スコアが加える分、コマンド認識結果に対して不利になる。
【００２８】
したがって、コマンドを入力したとき、テキスト認識部で正しく認識した場合はもちろん、類似語に誤認識して音響スコアがコマンド認識結果単語列の音響スコアより若干よい値となっても、その差がテキスト認識結果単語列の言語スコアより小さければ、全体の照合スコアとしてはコマンド認識結果単語列の方がよい値となり、正しくコマンドとして認識されるようになる。さらに、一方のスコアに所定のペナルティ値を加えることも可能である。ペナルティ値は実験的に調整する。
【００２９】
本発明の第２の実施の形態では、テキスト認識部からの認識結果単語列のスコアとして音響スコアのみを用い、所定のペナルティ値を加えた上でコマンド認識結果単語列のスコアと比較する。言語スコアの大小に影響されずに比較が可能となる。なお、第１および第２の実施の形態で、コマンド認識用文法として、たとえば確率つきネットワーク文法を用いることもできる。その場合は、コマンド認識部から得られる全体のスコアには、その確率値に基づく言語スコアが加わる。そのときは、コマンド認識結果単語列のスコアとして言語スコアを除いた音響スコアのみを用いてもよい。
【００３０】
さらに他の実施の形態では、第１の実施の形態でペナルティ値を用いる場合あるいは第２の実施の形態において、スコアを入力音声の長さ (フレーム数) で正規化する。一般に長い音声ではトータルの照合スコアあるいは音響スコアの差は大きくなるが、長さで正規化することにより安定したペナルティを設定することが可能となる。もちろん、スコアを正規化するかわりにペナルティ値を入力音声の長さに比例して変えるようにしても同じ効果が得られる。
【００３１】
いずれの場合も、コマンドと同じ単語列をテキストとして入力したい場合は、前後の単語と連続して入力したり、途中で分割することで可能である。
【００３２】
たとえば、「ここで改行」の例では、「ここで改行する」と続けて発声したり、「ここで」「改行」と分割して発声することで、テキスト認識結果と判定されるようになる。また、本発明の方法によっても正しく判定できないときのためのバックアップ手段として、キー入力等によるモード切り替えと併用することも可能である。たとえば、あるキーを押している間は音声分析部の出力がテキスト認識部のみに送られるようにし、別のあるキーを押している間はコマンド認識部のみに送られるようにする。
【００３３】
なお、以上の実施の形態では、コマンド認識部あるいはコマンド認識用の文法が１つである場合について説明したが、これらは１には限らない。また、テキスト認識部とコマンド認識部にそれぞれ特徴ベクトルの時系列を送るとしたが、たとえば音響モデルとして隠れマルコフモデルを用いる場合、隠れマルコフモデルの状態ごとの尤度計算はテキスト認識とコマンド認識で共用できるので、そのような構成にすることも可能である。
【００３４】
また、コマンド認識部とテキスト認識部とで必ずしも同一音響モデルを参照する必要はなく、それぞれで別の音響モデルを用いることもできる。ただし、このときは両者の認識結果単語列の音響スコアは直接比較できないため、一方にペナルティ値を加えるなど何らかの補正が必要となる。また、スコア比較部の出力として、テキスト認識結果とコマンド認識結果のうちの選択されたものだけを出力するかわりに、選択されたものにフラグを付与した上で両方の認識結果を出力するようにすることも可能である。
【００３５】
あるいは、両者ともスコアがあらかじめ定めた閾値より低い場合に、「認識結果なし (リジェクト)」という情報を出力するように拡張することも可能である。また、コマンド認識部は、コマンド認識結果単語列のかわりに、その単語列を解釈し、対応するコマンドに変換した結果をスコア比較部に送るようにすることも可能である。
【００３６】
【発明の効果】
以上説明したように、本発明によれば、ディクテーション装置において、複数のマイクロフォンを用意したり、使用者が発声のタイミングを意識したりすることなく、またキーやスイッチによるモード切り替えを行う必要なく、テキスト入力中に音声によるコマンド入力を行うことができる効果が得られる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成を示すブロック図である。
【符号の説明】
１ 音声分析部
２ テキスト認識部
３ コマンド認識部
４ スコア比較部
１１ 音響モデル
１２ 言語モデル
１３ 文法
【発明の属する技術分野】
本発明はコマンド入力機能つきディクテーション装置に関し、特に、音声入力でテキストとコマンドとを作成するコマンド入力機能つきディクテーション装置に関する。
【０００２】
【従来の技術】
近年、大語彙連続音声認識技術を利用し、音声で任意のテキストを入力するディクテーション装置が実用化されている。ディクテーション装置では、テキスト入力だけでなく、テキスト編集などの機能も必要であり、これらも音声によるコマンド入力で行えることが望ましい。この場合、音声入力がテキスト入力なのかコマンド入力なのかを判断する必要が生じる。簡単なのは、事前にキーやスイッチなどでテキスト入力かコマンド入力かを切り替える方法であるが、使用者は音声入力とキーやスイッチによる操作を併用しなければならず、わずらわしい。
【０００３】
これに対し、キーやスイッチによる切り替えが不要な装置としては、特開２０００−０２００９２号公報に記載されているディクテーション装置があり、一定時間音声が入力されないとコマンド音声のみを受け付けるように制御する装置が開示されている。
【０００４】
また、第二の従来の装置としては、特開２０００−０７６２４１号公報に記載されている音声認識装置があり、テキスト入力が開始されてから所定時間以内に発声された場合に、コマンド入力として扱う装置が開示されている。
【０００５】
さらに、第三の従来の装置としては、特開平６−１３０９９０号公報に記載されている音声認識装置があり、テキスト入力用とコマンド入力用にそれぞれマイクロフォンを用意し、使用者がどちらのマイクロフォンに向かって入力したかをパワー情報をもとに判定することにより、テキスト入力として扱うかコマンド入力として扱うかを制御する装置が開示されている。
【０００６】
【発明が解決しようとする課題】
従来提案されている上記の３つの装置のうち、特開２０００−０２００９２号公報、特開２０００−０７６２４１号公報に開示されている装置に関しては、発声のタイミングを利用して判定しているため、使用者がタイミングを意識する必要があり、またタイミングが合わないと正しく判定できない。
【０００７】
また、特開平６−１３０９９０号公報は、使用者がテキスト入力かコマンド入力かに応じて入力するマイクロフォンを変えなければならないわずらわしさがある上、複数マイクロフォンを用意する必要があるためにコストがかかるという問題もある。
【０００８】
本発明の目的は、複数のマイクロフォンを用意したり、使用者が発声のタイミングを意識したりすることなく、またキーやスイッチによるモード切り替えを行う必要なく、テキスト入力中に音声によるコマンド入力を行うことのできるディクテーション装置を提供することにある。
【０００９】
テキスト認識部とコマンド認識部は同時に入力音声を受け付け、それぞれ認識結果としてのテキストあるいはコマンドとともにスコアを出力する。スコア比較部は、スコアを比較することにより、テキストかコマンドかを選択する。比較に用いるスコアとしては、照合スコア、照合スコアのうち音響モデルにかかわる音響スコア、あるいはそれらを入力音声の長さで正規化したものを用いることができ、比較の際に必要に応じてペナルティ値によりスコアを補正することにより、コマンドが誤ってテキスト認識結果として判定される可能性を低減する。
【００１０】
【課題を解決するための手段】
本発明の第１のコマンド入力機能つきディクテーション装置は、入力音声を言語モデルを参照してテキストに変換しスコアとともに出力するテキスト認識部と、前記入力音声をコマンド認識用の文法を参照してコマンドに変換しスコアとともに出力するコマンド認識部と、前記テキスト認識部の出力するスコアと前記コマンド認識部の出力するスコアを比較し、一方を選択するスコア比較部とを有する。
【００１１】
本発明の第２のコマンド入力機能つきディクテーション装置は、本発明の第１のコマンド入力機能つきディクテーション装置において、前記スコア比較部がスコアを比較する際に、一方に所定の値を加えることを特徴とする。
【００１２】
本発明の第３のコマンド入力機能つきディクテーション装置は、本発明の第１または第２のコマンド入力機能つきディクテーション装置において、前記テキスト認識部が、入力音声を音響モデルと言語モデルを参照して単語列と照合し、照合スコアに基づいて認識結果単語列を得ることによりテキストに変換する手段と、前記コマンド認識部が、前記入力音声をコマンド認識用の文法と前記音響モデルを参照して文法で受理される単語列と照合し、照合スコアに基づいて認識結果単語列を得ることによりコマンドに変換する手段とを有する。
【００１３】
本発明の第４のコマンド入力機能つきディクテーション装置は、本発明の第１または第２のコマンド入力機能つきディクテーション装置において、前記テキスト認識部が、入力音声を第１の音響モデルと言語モデルを参照して単語列と照合し、照合スコアに基づいて認識結果単語列を得ることによりテキストに変換する手段と、前記コマンド認識部が、前記入力音声をコマンド認識用の文法と前記第１の音響モデルとは異なる第２の音響モデルを参照して文法で受理される単語列と照合し、照合スコアに基づいて認識結果単語列を得ることによりコマンドに変換する手段を有する。
【００１４】
本発明の第５のコマンド入力機能つきディクテーション装置は、本発明の第３または第４のコマンド入力機能つきディクテーション装置において、前記テキスト認識部および前記コマンド認識部が出力するスコアとして、前記照合スコアを用いることを特徴とする。
【００１５】
本発明の第６のコマンド入力機能つきディクテーション装置は、本発明の第３または第４のコマンド入力機能つきディクテーション装置において、前記テキスト認識部および前記コマンド認識部が出力するスコアとして、前記照合スコアを入力音声の長さで正規化した値を用いることを特徴とする。
【００１６】
本発明の第７のコマンド入力機能つきディクテーション装置は、本発明の第３または第４のコマンド入力機能つきディクテーション装置において、前記テキスト認識部および前記コマンド認識部が出力するスコアとして、それぞれの前記認識結果単語列と前記音響モデルから求まる音響スコアを用いることを特徴とする。
【００１７】
本発明の第８のコマンド入力機能つきディクテーション装置は、本発明の第３または第４のコマンド入力機能つきディクテーション装置において、前記テキスト認識部および前記コマンド認識部が出力するスコアとして、それぞれの前記認識結果単語列と前記音響モデルから求まる音響スコアを入力音声の長さで正規化した値を用いることを特徴とする。
【００１８】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００１９】
図１は本発明の第１の実施例を示す。図１を参照すると、本発明の第１の実施例は、マイク等からの音声信号を入力する音声分析部１と、音声分析部１に接続されるテキスト認識部２およびコマンド認識部３と、テキスト認識部２およびコマンド認識部３に接続され、比較結果を送出するスコア比較部４と、テキスト認識部２およびコマンド認識部３に接続される音響モデルとを含み、さらに数千から数万単語以上の単語辞書を有する音響モデル１１およびコマンドを表す単語やフレーズのリスト、あるいは単語のネットワークを用いる単語列を有する文法１３を含む。
【００２０】
音声分析部１は、マイク等から入力された音声信号をディジタル信号に変換し、ケプストラムパラメータ等の特徴ベクトルの時系列に変換して、テキスト認識部２およびコマンド認識部３に送る。テキスト認識部２は、音響モデル１１および言語モデル１２を参照して、特徴ベクトル時系列を言語モデル中の単語辞書と照合し、照合結果としてテキスト認識結果の単語列とそのスコアを含む情報を得て、スコア比較部４に送る。
【００２１】
コマンド認識部３は、音響モデル１１および文法１３を参照して、特徴ベクトル時系列を文法１３で受理される単語列と照合し、照合結果としてコマンド認識結果の単語列とそのスコアを含む情報を得て、スコア比較部４に送る。
【００２２】
スコア比較部４は、テキスト認識部２から得られたテキスト認識結果単語列のスコアと、コマンド認識部３から得られたコマンド認識結果単語列のスコアを比較し、いずれかの単語列を選択し、それがテキスト認識結果かコマンド認識結果かの情報とともに出力する。出力結果は、上位の制御部等によって解釈され、テキスト認識結果であれば表示部に表示し、コマンド認識結果であれば対応するコマンドを実行する。
【００２３】
音響モデルとしては、たとえば隠れマルコフモデルを用いることができる。
言語モデルとしては、数千から数万単語以上の単語辞書と、それらの単語の連鎖確率を表すＮグラムモデルを用いることができる。コマンド認識部で参照する文法としては、コマンドを表す単語やフレーズのリスト、あるいは単語のネットワークを用いることができる。テキスト認識結果単語列の照合スコアは、隠れマルコフモデルによって計算される音響スコアと、言語モデルによって計算される言語スコアとを加えたものとなる。
【００２４】
一方、コマンド認識結果単語列の照合スコアは、隠れマルコフモデルによって計算される音響スコアのみとなる。それぞれ、照合スコアの最もよい単語列が照合結果として得られる。音響スコア、言語スコアとしては、確率あるいは尤度の対数値の符号を逆転したものを用いる。したがって、スコアは小さい方がよい値である。なお、以下で説明するように、スコア比較部に送るスコアは、ここで述べた照合スコアとは必ずしも同じではない。
【００２５】
次に、本発明の実施の形態の動作について、とくにスコア比較部４の動作を中心に詳細に説明する。スコア比較部４は、テキスト認識結果単語列のスコアとコマンド認識結果単語列のスコアを比較し、スコアのよい方を選択して出力する。たとえば、「ここで改行」というコマンドを受け付けるように文法１３が構成されているとき、「ここで改行」という音声が入力されると、望ましくはテキスト認識部からは「ここで改行」というテキストが、コマンド認識部からは「ここで改行」というコマンドが、それぞれ認識結果として得られる。テキスト認識部とコマンド認識部とでは同じ音響モデルを参照しているため、それぞれの音響スコアは同一となり、音響スコアからは区別できない。
【００２６】
また、テキスト認識用の辞書は一般に数千から数万以上の語からなるため、類似語も多くふくまれ、発声によっては「ここで改行」が「ここで会議を」等に誤認識されることもありうる。このとき、音響スコアとしても「ここで会議を」の方がよい場合があり、単純に音響スコアを比較するとコマンドが誤ってテキストとして認識されてしまう可能性が高くなる。そこで、「ここで改行」を正しくコマンドの「ここで改行」であると認識するために、コマンド認識結果に有利なように、比較に用いるスコアを調整する。
【００２７】
スコア比較部４で比較に用いるスコアの具体的な算出法に応じて、いくつかの形態が可能である。本発明の第１の実施の形態では、テキスト認識部、コマンド認識部ともに、認識結果単語列のスコアとして照合スコアそのものを用いる。コマンド認識部からの照合スコアは音響スコアのみであるのに対し、テキスト認識部からの照合スコアは音響スコアに言語スコアが加える分、コマンド認識結果に対して不利になる。
【００２８】
したがって、コマンドを入力したとき、テキスト認識部で正しく認識した場合はもちろん、類似語に誤認識して音響スコアがコマンド認識結果単語列の音響スコアより若干よい値となっても、その差がテキスト認識結果単語列の言語スコアより小さければ、全体の照合スコアとしてはコマンド認識結果単語列の方がよい値となり、正しくコマンドとして認識されるようになる。さらに、一方のスコアに所定のペナルティ値を加えることも可能である。ペナルティ値は実験的に調整する。
【００２９】
本発明の第２の実施の形態では、テキスト認識部からの認識結果単語列のスコアとして音響スコアのみを用い、所定のペナルティ値を加えた上でコマンド認識結果単語列のスコアと比較する。言語スコアの大小に影響されずに比較が可能となる。なお、第１および第２の実施の形態で、コマンド認識用文法として、たとえば確率つきネットワーク文法を用いることもできる。その場合は、コマンド認識部から得られる全体のスコアには、その確率値に基づく言語スコアが加わる。そのときは、コマンド認識結果単語列のスコアとして言語スコアを除いた音響スコアのみを用いてもよい。
【００３０】
さらに他の実施の形態では、第１の実施の形態でペナルティ値を用いる場合あるいは第２の実施の形態において、スコアを入力音声の長さ (フレーム数) で正規化する。一般に長い音声ではトータルの照合スコアあるいは音響スコアの差は大きくなるが、長さで正規化することにより安定したペナルティを設定することが可能となる。もちろん、スコアを正規化するかわりにペナルティ値を入力音声の長さに比例して変えるようにしても同じ効果が得られる。
【００３１】
いずれの場合も、コマンドと同じ単語列をテキストとして入力したい場合は、前後の単語と連続して入力したり、途中で分割することで可能である。
【００３２】
たとえば、「ここで改行」の例では、「ここで改行する」と続けて発声したり、「ここで」「改行」と分割して発声することで、テキスト認識結果と判定されるようになる。また、本発明の方法によっても正しく判定できないときのためのバックアップ手段として、キー入力等によるモード切り替えと併用することも可能である。たとえば、あるキーを押している間は音声分析部の出力がテキスト認識部のみに送られるようにし、別のあるキーを押している間はコマンド認識部のみに送られるようにする。
【００３３】
なお、以上の実施の形態では、コマンド認識部あるいはコマンド認識用の文法が１つである場合について説明したが、これらは１には限らない。また、テキスト認識部とコマンド認識部にそれぞれ特徴ベクトルの時系列を送るとしたが、たとえば音響モデルとして隠れマルコフモデルを用いる場合、隠れマルコフモデルの状態ごとの尤度計算はテキスト認識とコマンド認識で共用できるので、そのような構成にすることも可能である。
【００３４】
また、コマンド認識部とテキスト認識部とで必ずしも同一音響モデルを参照する必要はなく、それぞれで別の音響モデルを用いることもできる。ただし、このときは両者の認識結果単語列の音響スコアは直接比較できないため、一方にペナルティ値を加えるなど何らかの補正が必要となる。また、スコア比較部の出力として、テキスト認識結果とコマンド認識結果のうちの選択されたものだけを出力するかわりに、選択されたものにフラグを付与した上で両方の認識結果を出力するようにすることも可能である。
【００３５】
あるいは、両者ともスコアがあらかじめ定めた閾値より低い場合に、「認識結果なし (リジェクト)」という情報を出力するように拡張することも可能である。また、コマンド認識部は、コマンド認識結果単語列のかわりに、その単語列を解釈し、対応するコマンドに変換した結果をスコア比較部に送るようにすることも可能である。
【００３６】
【発明の効果】
以上説明したように、本発明によれば、ディクテーション装置において、複数のマイクロフォンを用意したり、使用者が発声のタイミングを意識したりすることなく、またキーやスイッチによるモード切り替えを行う必要なく、テキスト入力中に音声によるコマンド入力を行うことができる効果が得られる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成を示すブロック図である。
【符号の説明】
１ 音声分析部
２ テキスト認識部
３ コマンド認識部
４ スコア比較部
１１ 音響モデル
１２ 言語モデル
１３ 文法
Claims (5)
- 入力音声を音響モデルと言語モデルを参照して単語列と照合し、前記単語列に対する音響スコアと言語スコアに基づいて認識結果単語列を得ることによりテキストに変換し、前記音響スコアにある値を加えた値をスコアとし、前記テキストと前記スコアを出力するテキスト認識部と、
前記入力音声をコマンド認識用の文法と前記音響モデルを参照して文法で受理される単語列と照合し、前記単語列に対する音響スコアに基づいて認識結果単語列を得ることによりコマンドに変換し、前記音響スコアをスコアとし、前記コマンドと前記スコアを出力するコマンド認識部と、
前記テキスト認識部の出力するスコアと前記コマンド認識部の出力するスコアを比較し、一方を選択するスコア比較部と
を有することを特徴とするコマンド入力機能つきディクテーション装置。 - 前記ある値とは、前記言語スコアであること
を特徴とする請求項１記載のコマンド入力機能つきディクテーション装置。 - 前記ある値とは、所定のペナルティ値であること
を特徴とする請求項１記載のコマンド入力機能つきディクテーション装置。 - 入力音声を音響モデルと言語モデルを参照して単語列と照合し、前記単語列に対する音響スコアと言語スコアに基づいて認識結果単語列を得ることによりテキストに変換し、前記音響スコアを前記入力音声の長さで正規化して所定のペナルティ値を加えた値をスコアとし、前記テキストと前記スコアを出力するテキスト認識部と、
前記入力音声をコマンド認識用の文法と前記音響モデルを参照して文法で受理される単語列と照合し、前記単語列に対する音響スコアに基づいて認識結果単語列を得ることによりコマンドに変換し、前記音響スコアを前記入力音声の長さで正規化した値をスコアとし、前記コマンドと前記スコアを出力するコマンド認識部と、
前記テキスト認識部の出力するスコアと前記コマンド認識部の出力するスコアを比較し、一方を選択するスコア比較部と
を有することを特徴とするコマンド入力機能つきディクテーション装置。 - 入力音声を音響モデルと言語モデルを参照して単語列と照合し、前記単語列に対する音響スコアと言語スコアに基づいて認識結果単語列を得ることによりテキストに変換し、前記音響スコアに前記言語スコアを加えた値を前記入力音声の長さで正規化して所定のペナルティ値を加えた値をスコアとし、前記テキストと前記スコアを出力するテキスト認識部と、
前記入力音声をコマンド認識用の文法と前記音響モデルを参照して文法で受理される単語列と照合し、前記単語列に対する音響スコアに基づいて認識結果単語列を得ることによりコマンドに変換し、前記音響スコアを前記入力音声の長さで正規化した値をスコアとし、前記コマンドと前記スコアを出力するコマンド認識部と、
前記テキスト認識部の出力するスコアと前記コマンド認識部の出力するスコアを比較し、一方を選択するスコア比較部と
を有することを特徴とするコマンド入力機能つきディクテーション装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001228465A JP4094255B2 (ja) | 2001-07-27 | 2001-07-27 | コマンド入力機能つきディクテーション装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001228465A JP4094255B2 (ja) | 2001-07-27 | 2001-07-27 | コマンド入力機能つきディクテーション装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003044085A JP2003044085A (ja) | 2003-02-14 |
| JP4094255B2 true JP4094255B2 (ja) | 2008-06-04 |
Family
ID=19060972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001228465A Expired - Lifetime JP4094255B2 (ja) | 2001-07-27 | 2001-07-27 | コマンド入力機能つきディクテーション装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4094255B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7200559B2 (en) * | 2003-05-29 | 2007-04-03 | Microsoft Corporation | Semantic object synchronous understanding implemented with speech application language tags |
| US8301436B2 (en) | 2003-05-29 | 2012-10-30 | Microsoft Corporation | Semantic object synchronous understanding for highly interactive interface |
| US8502876B2 (en) | 2006-09-12 | 2013-08-06 | Storz Endoskop Producktions GmbH | Audio, visual and device data capturing system with real-time speech recognition command and control system |
| JP6016134B2 (ja) | 2012-02-27 | 2016-10-26 | 日本電気株式会社 | 音声入力装置、音声入力方法及びプログラム |
| CN110853669B (zh) * | 2019-11-08 | 2023-05-16 | 腾讯科技（深圳）有限公司 | 音频识别方法、装置及设备 |
| CN116030799B (zh) * | 2023-02-22 | 2023-07-18 | 深圳市友杰智新科技有限公司 | 音频识别模型训练方法、装置、计算机设备及存储介质 |
-
2001
- 2001-07-27 JP JP2001228465A patent/JP4094255B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003044085A (ja) | 2003-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4542974B2 (ja) | 音声認識装置、音声認識方法および音声認識プログラム | |
| JP4709663B2 (ja) | ユーザ適応型の音声認識方法及び音声認識装置 | |
| KR100742888B1 (ko) | 음성 인식 방법 | |
| JP4468264B2 (ja) | 多言語による名称の音声認識のための方法とシステム | |
| EP2048655B1 (en) | Context sensitive multi-stage speech recognition | |
| WO2006054724A1 (ja) | 音声認識装置及び方法ならびにプログラム | |
| JP2003316386A (ja) | 音声認識方法および音声認識装置および音声認識プログラム | |
| JPH10503033A (ja) | 新ワードのモデル化に基づく音声認識方法及びその装置 | |
| JP2002215187A (ja) | 音声認識方法及びその装置 | |
| JP4094255B2 (ja) | コマンド入力機能つきディクテーション装置 | |
| US20070129945A1 (en) | Voice quality control for high quality speech reconstruction | |
| JP2000020089A (ja) | 音声認識方法及びその装置、並びに音声制御システム | |
| JPH0643895A (ja) | 音声認識装置 | |
| KR100622019B1 (ko) | 음성 인터페이스 시스템 및 방법 | |
| JP3254977B2 (ja) | 音声認識方法及び音声認識装置 | |
| JP2004046106A (ja) | 音声認識装置及び音声認識プログラム | |
| JP3285704B2 (ja) | 音声対話のための音声認識方法及び装置 | |
| JPH07230293A (ja) | 音声認識装置 | |
| JPH10133686A (ja) | 非母国語音声認識装置 | |
| JP2975542B2 (ja) | 音声認識装置 | |
| JPH10116093A (ja) | 音声認識装置 | |
| JPH05108091A (ja) | 音声認識装置 | |
| JP3259734B2 (ja) | 音声認識装置 | |
| JP2000242295A (ja) | 音声認識装置および音声対話装置 | |
| JP3100208B2 (ja) | 音声認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050317 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050809 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050816 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051006 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051101 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20070117 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080305 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4094255 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120314 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120314 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130314 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130314 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140314 Year of fee payment: 6 |
|
| EXPY | Cancellation because of completion of term |