JP3700266B2 - 音声対話制御方法および音声対話システム - Google Patents
音声対話制御方法および音声対話システム Download PDFInfo
- Publication number
- JP3700266B2 JP3700266B2 JP18906096A JP18906096A JP3700266B2 JP 3700266 B2 JP3700266 B2 JP 3700266B2 JP 18906096 A JP18906096 A JP 18906096A JP 18906096 A JP18906096 A JP 18906096A JP 3700266 B2 JP3700266 B2 JP 3700266B2
- Authority
- JP
- Japan
- Prior art keywords
- dialogue
- keyword
- voice
- control method
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、情報検索などを行なうために利用する計算機システムに係り、特に、マイクとスピーカあるいは電話などの音声入出力インタフェースを備え、誰でも容易に利用することができる音声対話システムに関するものである。
【０００２】
【従来の技術】
音声対話システムでは一般に、利用者のシステムに対するデータ入力において音声認識の技術を用いている。音声によるデータ入力は、電話を通して使う場合、あるいは車の運転中などのいわゆるハンズアイビジーの状況下使う場合、非常に有効である。
【０００３】
普通は複数の項目（例えば、電話番号検索のアプリケーションでは相手の所属と名前、チケットの予約のアプリケーションでは月日、時間、大人または子供、枚数等）に対してデータを入力する。しかし一方、音声認識において１００％の認識率を実現することは不可能であり、利用者の入力に対して、入力項目毎にシステムの認識結果を確認することが必須である。例えば、文または文節単位の音声認識が可能な音声対話システムでの対話例は、
システム：「相手の所属と名前をどうぞ」
利用者 ：「資材課の佐藤さん」
システム：「資材課の佐藤ですね」
利用者 ：「はい」
となる。この例のように、文または文節単位の音声認識が可能なシステムで認識が正しく行われた場合は、入力時間も短く利用効率が良くなる。しかし、文または文節単位の認識の場合、複数のキーワード（ここでの例では相手の所属と名前）の組合せ分だけ認識対象の種類が多くなるばかりでなく、助詞も含めた表現のバラエティが多様になるという点で、単語認識に比較して認識性能が低くなる。さらに、認識を間違えた場合は、次のような問題も発生する。
【０００４】
システム：「相手の所属と名前をどうぞ」
利用者 ：「資材課の佐藤さん」
システム：「資材課の加藤ですね」
利用者 ：「いいえ」
システム：「相手の所属と名前をどうぞ」
最初のシステムの質問に、所属と名前という２つのキーワードが含まれている。この場合、システム側でこのやりとりだけからでは、利用者が否定したことが所属と名前のどちらか片方だけを誤認識したことを意味するのか、あるいは両方誤認識したことを意味するのか、が特定できない。したがって、所属と名前の両方のキーワードが正しく認識されるまで、同じ質問を繰り返すことになる。この場合は、時間がかかるという問題がある。また別な対処方法として、利用者に誤認識された方だけ再入力してもらう方法も考えられる。この場合は、所属か名前かわからない発声を認識しなければならないので、音声認識の性能に対する要求が現状で対応可能なレベルより高くなるという問題がある上、そのように利用者の発声を誘導するにはどうすれば良いかという、解決が非常に困難な課題が生じる。
【０００５】
これに対して、単語認識の場合は認識対象の表現のバラエティが抑えられ、現状レベルでもほぼ満足のいく認識性能が得られる。また、項目を１つずつ質問し、確認するために、確実に１項目ずつのデータ入力が行える。例えば、次のようになる。
【０００６】
システム：「相手の所属をどうぞ」
利用者 ：「資材課」
システム：「資材課ですか」
利用者 ：「はい」
システム：「相手の名前をどうぞ」
利用者 ：「佐藤」
システム：「佐藤ですか」
利用者 ：「はい」
ただし、ここに示したようにやりとりが長くなり全体に時間がかかる傾向になるという大きな問題が残る。
【０００７】
【発明が解決しようとする課題】
上記のような従来の音声対話システムにおいて、現状の音声認識性能と時間的な利用効率は相反するパラメータであった。
【０００８】
本発明の目的は、現状で可能な音声認識性能の範囲で、最も効率良くデータ入力が行え、利用者とシステムとの間で円滑な対話を実現できる音声対話システムを提供することにある。
【０００９】
【課題を解決するための手段】
本発明によれば、以下のような手段による対話制御方法および以下のような手段を設けた音声対話システムが提供される。
【００１０】
タスク管理手段に要求を出しその返答結果に応じて、応答生成手段、認識語彙補足手段、キーワード判定手段、およびキーワード保持手段を制御し、また認識語彙補足手段を介して音声認識手段を、さらに応答生成手段を介して音声合成手段を制御し、システムと利用者の間の対話を進行させる対話制御手段の元で、
前記キーワード保持手段は、前記対話制御手段の要求に基づき、キーワードの保持、削除、最新のキーワードの通知を行い、
前記対話制御手段は、タスク管理手段に対話の進行上における次のアクションを促すガイダンス内容を要求して該ガイダンス内容を受け取り、また前記キーワード保持手段に最新のキーワードを要求して該最新のキーワードを受け取り、前記ガイダンス内容と前記最新のキーワード、およびそれらを用いて応答文を生成させる指示を応答生成手段へ通知し、前記応答生成手段は、前記対話制御手段から受け取った指示に従い、 対話の進行上における次のアクションを促すガイダンス文の中に、同時に受け取った前段階の認識結果でもある最新のキーワードを含めた応答文を生成し、音声合成手段へ出力し、
次に前記対話制御手段は、タスク管理手段に対話の進行上における次の認識語彙を要求して該認識語彙を受け取り、タスクに依存したキーワードからなる該認識語彙を認識語彙補足手段へ送り、
前記認識語彙補足手段は、前記対話制御手段より受け取った認識語彙に、「取消」「ヘルプ」「ストップ」「もう一度」「わからない」「任意」などのタスクから独立なコマンドを表す単語を補足して、音声認識手段およびキーワード判定手段に渡し、
前記キーワード判定手段は、前記認識語彙補足手段より得た補足後の認識語彙と前記音声認識手段より得た認識結果とを比較し、該認識結果が前記タスクから独立なコマンドか、タスクに依存したキーワードかを判定し、その判定結果を対話制御手段へ送り、
さらに次に前記対話制御手段は、前記キーワード判定手段の判定結果を元に、該判定結果がキーワードである場合は、それをキーワード保持手段に送ると共に該キーワードをタスク管理手段に送り、 前記判定結果がコマンドである場合は、各コマンドに対する処理を行う。
【００１１】
【発明の実施の形態】
以下図を用いて本発明の実施例を説明する。
【００１２】
図１は本発明による音声対話システムの一実施例を示すブロック図である。音声対話システムは、あるタスクを遂行することを目的として、利用者とシステムが音声を使ってやりとりをするようなシステムである。本発明による音声対話システムは、対話制御手段（５）の制御の元に動作する。対話制御手段（５）の動作については、後で詳述する。
【００１３】
タスク管理手段（１０）は、タスクに依存した処理を全て担当する。タスクに依存した情報（タスク遂行の手順、場面毎の入力待ち語彙、等）を管理したり、対話制御手段からのタスクの進行等についての問い合わせなどに返答したりする。
【００１４】
音声認識手段（２）は、与えられた認識語彙の範囲内で、入力される音声（１）を認識し、認識結果を１つの単語あるいは複数の単語の列として出力する。音声認識手段（２）の実現方法としては様々な手法が考えられ、本発明はその方法を限定しない。例えば、ＨＭＭ（ＨｉｄｄｅｎＭａｒｋｏｖＭｏｄｅｌ）という確率モデルを用いる手法が扱いやすい。この方法を用いれば、任意の認識語彙をテキストとして与えるだけで、音声認識できる構成にすることができる。詳細は、“中川聖一：”確率モデルによる音声認識、電子情報通信学会、１９８８”他の文献に詳しいので、本明細書では省略する。
【００１５】
認識語彙補足手段（３）は、対話制御手段（５）より受け取った認識語彙に、特にタスクから独立なコマンドを表す単語等を補足して、音声認識手段に渡す。ここで、コマンドとしては、 「違います」「違う」「いいえ」「取消」「キャンセル」などの否定あるいは取消を意味する単語、 「ヘルプ」などの助言要求を意味する単語、 「ストップ」「停止」「中止」などのシステムの処理の停止要求を意味する単語、「もう一度」
「リピート」などの直前のシステム応答の再出力要求を意味する単語、などがある。さらに、「わかりません」「わからない」などの不明を意味する単語、「問わない」「何でも良い」「任意」などの任意を意味する単語なども認識語彙補足手段（３）で補足され得る単語とする。図３に認識語彙の例を示しており、人名の認識語彙を例に取り、補足前（ａ）と補足後（ｂ）の認識語彙を示している。
【００１６】
キーワード判定手段（６）は、音声認識手段（２）より得られた認識結果がタスクから独立なコマンドか、タスクに依存したキーワードかを判定し、その結果を対話制御手段へ送る。ここで、判定結果は、例えば図４に示すように表現される。図４に示した例では、１つの判定結果が、２つの値の組み合わせで表現される。左側が判定結果の種類を表しており、「ＣＭＤ」はコマンド、「ＫＷ」はキーワードを表す。 また、「ＣＭＤ」と組み合わされている「ＣＡＮＣＥＬ」、「ＨＥＬＰ」はコマンドの種類を表している。さらに「ＫＷ」と組み合わされている“資材課”や“佐藤”は実データ値を示している。
【００１７】
キーワード保持手段（６）は、対話制御手段の指示に従って、渡されたキーワードをスタック形式で保持したり、スタックに積まれているキーワードを対話制御手段に通知したりする。
【００１８】
応答生成手段（７）は、対話制御手段（５）からの指示に従い、タスクを遂行するために必要な項目の内容（名前などの実データ値）を質問するような応答文を生成する。
【００１９】
音声合成手段（８）は、応答生成手段（７）から得られる応答文を音声波形に変換してスピーカなどの電気信号から音波へ変換するデバイスにより空間中を伝播する音声（９）として出力する。
【００２０】
図２は対話制御手段の処理フローを示す図である。簡単のために、本発明による音声対話システムでデータ入力のみが行われる場合のフローを示している。実際のタスクにおいては、利用者に対する結果のみの提示なども含まれることになる。
【００２１】
次に、図２のフローに従って、電話接続サービスなどをタスクとして、所属名に‘資材課’、人名に‘佐藤’を入力する場合を仮定して処理手順を説明する。
【００２２】
同タスク管理手段に対話の進行上における次のアクションを促すガイダンス内容を要求し、
まずサービスが開始された時点では、対話制御手段（５）は、 タスク管理手段（１０）へ対話の進行上における次のアクションを促すガイダンス内容を要求する。この要求に対する返答は、 次のガイダンス内容が「所属の質問」である、として得られる。次に、対話制御手段（５）は、キーワード保持手段から最新のキーワードを受理しようとする。システム利用開始直後は、キーワード保持手段はからであり、その旨が対話制御手段へ通知される。次に、対話制御手段（５）は、次のガイダンス内容（「所属の質問」）と、あれば最新のキーワード（この段階では「なし」）を応答生成手段（７）に送り、応答文を生成するように指示する。応答生成手段（７）では、 ガイダンス内容が「所属の質問」であるので、例えば“所属をどうぞ”というような質問文を生成して、音声出力手段（８）に送る。続いて、対話制御手段（５）は、「所属」を音声認識するための認識語彙を、認識語彙補足手段（３）へ送る。ここでの認識語彙は、先の、次のアクションを促すガイダンス内容を要求した際に、タスク管理手段（１０）より一緒に受け取ることとする。あるいは、この段階であらためて、タスク管理手段に問い合わせて、受理しても良い。この後、認識語彙補足手段（３）で補足された認識語彙は、音声認識手段（２）に送られる。そして、利用者の発声に対する音声認識手段（２）よる認識結果は、キーワード判定手段（４）を介してコマンドかキーワードかの判定が付加され、図４に示したような形式で対話制御手段（５）に戻される。今の仮定では、ここでの受理結果は「ＫＷ］＋「資材課」である。すなわち、対話制御手段（５）はキーワードをキーワード保持手段（６）のスタックにキーワードをＰＯＰし、さらに、タスク管理手段（１０）に対してキーワードを通知する。この時点で、タスク管理手段（１０）は、内部でタスクの進行状態が更新される。
【００２３】
ここで、図２のフローの最初に戻り、対話制御手段（５）は、再びタスク管理手段（１０）へ、対話の進行上における次のアクションを促すガイダンス内容を要求する。この要求に対する返答は、次のガイダンス内容が「名前の質問」であるである、として得られる。次に、対話制御手段（５）は、キーワード保持手段から最新のキーワードを問い合わせ、先ほどＰＯＰされたばかりの「資材課」が得られる。そして、対話管理手段（５）は、次のガイダンス内容（「名前の質問」）と最新のキーワード（「資材課」）を応答生成手段（７）に送り、応答文を生成するように指示する。応答生成手段（７）では、 「資材課」を含めて、かつ、「名前」を問い合わせるような質問文、例えば“資材課で名前は何ですか”とか“資材課の誰ですか”というような質問文を生成して、音声出力手段（８）に送る。続いて、対話制御手段（５）は、「名前」を音声認識するための認識語彙を、認識語彙補足手段（３）へ送る。そしてまた、音声認識手段（２）による認識結果は、キーワード判定手段（４）を介してコマンドかキーワードかの判定が付加され、図４に示したような形式で対話制御手段（５）に戻される。今の仮定では、ここでの受理結果は「ＫＷ］＋「佐藤」となる。以上の繰り返しで、基本的な対話が進行していく。
【００２４】
次に、利用者の「資材課」の発声が誤認識されて、認識結果が「施設課」になったと仮定した場合の例を説明する。先の“資材課の誰ですか”の代わりに“施設課の誰ですか”というシステム出力になっているはずであり、それに対して、利用者は“違います”と答えたとする。キーワード判定手段（４）より受け取った結果が「ＫＷ」＋「佐藤」でなく、「ＣＭＤ」＋「ＣＡＮＣＥＬ」となる。この場合、対話制御手段（５）はキーワード保持手段（６）に対して、キーワードを１つ（今の場合「資材課」）ＰＯＰするように指示する。さらに、タスク管理手段（１０）に対して、ＰＯＰされた「資材課」を取り消すように通知する。ここで、対話制御手段（５）の処理は図２のフローの最初に戻り、タスク管理手段（１０）、キーワード保持手段（６）への問い合わせをし、次のアクションを促すガイダンス内容が「所属の質問」であり、最新のキーワードは「なし」であることを応答生成手段（７）に送り、応答生成手段（７）で再び、“所属をどうぞ”というような質問文が生成される。
【００２５】
最後に、本発明による音声対話システムを利用した場合の、対話例を示す。タスクを電話の接続サービスとした場合の例である。
【００２６】
システム：「相手の所属をどうぞ」
利用者 ：「資材課」
システム：「資材課の誰ですか」
利用者 ：「佐藤」
システム：「佐藤さんに電話をつなぎます」
次に、１番目の項目で誤認識した場合の対話例を示す。
【００２７】
次に、２番目以降の項目で誤認識した場合の対話例を示す。
【００２８】
図１において、利用者とシステムとの間のメディアとして、音声のみしか描いていないが、文字、画像、など他のメディアも含めた対話システムでも良い。また、ボタン入力を用意し、取消などをボタン入力するようにしても良い。遠隔地の電話機から利用している際には、取消などにタッチトーン信号を用いても良い。
【００２９】
図１におけるタスク管理手段はタスクに特有の処理も含んでいる。例えば、遠隔地の電話機からシステムを利用する形態の場合、電話回線の制御などが考えられる。
上記の様に、本願では、タスク管理手段の管理している対話の進行上における次のアクションを促すガイダンス内容と、キーワード保持手段が保持している前段階の認識結果である最新のキーワードを用いて、 対話の進行上における次のアクションを促すガイダンス文の中に、前記最新のキーワードを含めた応答文を応答生成手段で生成し、出力させると共に、認識語彙補足手段において、タスク管理手段の管理している対話の進行上における次の場面での認識語彙に、タスクから独立なコマンドを表す単語を補足し、その補足後の認識語彙の範囲内で、音声認識手段において利用者の発話した音声を認識させ、キーワード判定手段において、その認識結果が前記タスクから独立なコマンドか、それ以外のタスクに依存したキーワードかを判定し、その判定結果がコマンドである場合は、各コマンドに対する処理を行い、さらに前記判定結果が前記キーワードである場合は、該判定結果であるキーワードを新たに最新のキーワードとしてキーワード保持手段へ保持させると同時に、さらに該判定結果であるキーワードをタスク管理手段へ通知する、以上を繰り返すことにより音声を進行させることを特徴とする音声対話制御方法を開示する。
更に前記コマンドについては、以下の実施例を開示する。少なくとも「違います」「違う」「いいえ」「取消」「キャンセル」などの否定あるいは取消を意味する単語を含み、 前記判定結果が該否定あるいは取消を意味する単語である場合に、前記キーワード保持手段に最新のキーワードを１つ削除するように指示し、同時に前記タスク管理手段に１つ前の要求項目の内容が取り消されたことを通知する。少なくとも「ヘルプ」などの助言要求を意味する単語を含み、 前記判定結果が該助言要求を意味する単語である場合に、応答生成手段において、使い方についてのメッセージ文を出力させる。少なくとも「ストップ」「停止」「中止」「中断」などのシステムの処理の停止要求を意味する単語を含み、前記判定結果が該停止要求を意味する単語である場合に、対話進行を停止する。少なくと も「もう一度」「リピート」などの直前のシステム応答の再出力要求を意味する単語を含み、前記判定結果が該再出力要求を意味する単語である場合に、応答生成手段が１つ以上の応答文を蓄積し後で参照できる手段を持ち、直前に出力した応答文の再出力させる。少なくとも「わかりません」「わからない」などの不明を意味する単語を含み、前記判定結果が該不明を意味する単語である場合に、前記タスク管理手段に１つ前の要求項目の内容が不明であることを通知し、同時に同タスク管理手段に対話の進行上における次のアクションを促すガイダンス内容を要求し、その返答内容に従って対話進行する。少なくとも「問わない」「何でも良い」「任意」などの任意を意味する単語を含み、前記判定結果が該任意を意味する単語である場合に、タスク管理手段に要求項目の内容が任意であることを通知し、同時に同タスク管理手段に対話の進行上における次のアクションを促すガイダンス内容を要求し、 その返答内容に従って対話進行する。
【００３０】
【発明の効果】
本発明によれば、複数項目のデータ入力を音声で行う音声対話システムにおいて、音声認識を利用する際に必須の確認に関して、確認のみのシステム出力を省略し、認識結果を次のガイダンス文に含めて提示することでやりとりの数を減少させることにより、 単語音声認識程度の音声認識能力しか持たない音声対話システムでも、利用者とシステムとの間で効率良く音声対話が進行できる効果が得られる。
【図面の簡単な説明】
【図１】本発明による音声対話システムの構成の一実施例を示すブロック図である。
【図２】対話制御手段の処理手順を示すフローチャートである。
【図３】認識語彙の一例を示す図である。
【図４】キーワード判定手段から対話制御手段に渡されるデータ構造の一例を示す図である。
【図５】キーワード保持手段に保持されるデータの一例を示す図である。
【符号の説明】
１…利用者の音声、２…音声認識手段、３…認識語彙補足手段、
４…キーワード判定手段、５…対話制御手段、６…キーワード保持手段、
７…応答生成手段、８…音声出力手段、９…システムの出力音声、
１０…タスク管理手段。
【発明の属する技術分野】
本発明は、情報検索などを行なうために利用する計算機システムに係り、特に、マイクとスピーカあるいは電話などの音声入出力インタフェースを備え、誰でも容易に利用することができる音声対話システムに関するものである。
【０００２】
【従来の技術】
音声対話システムでは一般に、利用者のシステムに対するデータ入力において音声認識の技術を用いている。音声によるデータ入力は、電話を通して使う場合、あるいは車の運転中などのいわゆるハンズアイビジーの状況下使う場合、非常に有効である。
【０００３】
普通は複数の項目（例えば、電話番号検索のアプリケーションでは相手の所属と名前、チケットの予約のアプリケーションでは月日、時間、大人または子供、枚数等）に対してデータを入力する。しかし一方、音声認識において１００％の認識率を実現することは不可能であり、利用者の入力に対して、入力項目毎にシステムの認識結果を確認することが必須である。例えば、文または文節単位の音声認識が可能な音声対話システムでの対話例は、
システム：「相手の所属と名前をどうぞ」
利用者 ：「資材課の佐藤さん」
システム：「資材課の佐藤ですね」
利用者 ：「はい」
となる。この例のように、文または文節単位の音声認識が可能なシステムで認識が正しく行われた場合は、入力時間も短く利用効率が良くなる。しかし、文または文節単位の認識の場合、複数のキーワード（ここでの例では相手の所属と名前）の組合せ分だけ認識対象の種類が多くなるばかりでなく、助詞も含めた表現のバラエティが多様になるという点で、単語認識に比較して認識性能が低くなる。さらに、認識を間違えた場合は、次のような問題も発生する。
【０００４】
システム：「相手の所属と名前をどうぞ」
利用者 ：「資材課の佐藤さん」
システム：「資材課の加藤ですね」
利用者 ：「いいえ」
システム：「相手の所属と名前をどうぞ」
最初のシステムの質問に、所属と名前という２つのキーワードが含まれている。この場合、システム側でこのやりとりだけからでは、利用者が否定したことが所属と名前のどちらか片方だけを誤認識したことを意味するのか、あるいは両方誤認識したことを意味するのか、が特定できない。したがって、所属と名前の両方のキーワードが正しく認識されるまで、同じ質問を繰り返すことになる。この場合は、時間がかかるという問題がある。また別な対処方法として、利用者に誤認識された方だけ再入力してもらう方法も考えられる。この場合は、所属か名前かわからない発声を認識しなければならないので、音声認識の性能に対する要求が現状で対応可能なレベルより高くなるという問題がある上、そのように利用者の発声を誘導するにはどうすれば良いかという、解決が非常に困難な課題が生じる。
【０００５】
これに対して、単語認識の場合は認識対象の表現のバラエティが抑えられ、現状レベルでもほぼ満足のいく認識性能が得られる。また、項目を１つずつ質問し、確認するために、確実に１項目ずつのデータ入力が行える。例えば、次のようになる。
【０００６】
システム：「相手の所属をどうぞ」
利用者 ：「資材課」
システム：「資材課ですか」
利用者 ：「はい」
システム：「相手の名前をどうぞ」
利用者 ：「佐藤」
システム：「佐藤ですか」
利用者 ：「はい」
ただし、ここに示したようにやりとりが長くなり全体に時間がかかる傾向になるという大きな問題が残る。
【０００７】
【発明が解決しようとする課題】
上記のような従来の音声対話システムにおいて、現状の音声認識性能と時間的な利用効率は相反するパラメータであった。
【０００８】
本発明の目的は、現状で可能な音声認識性能の範囲で、最も効率良くデータ入力が行え、利用者とシステムとの間で円滑な対話を実現できる音声対話システムを提供することにある。
【０００９】
【課題を解決するための手段】
本発明によれば、以下のような手段による対話制御方法および以下のような手段を設けた音声対話システムが提供される。
【００１０】
タスク管理手段に要求を出しその返答結果に応じて、応答生成手段、認識語彙補足手段、キーワード判定手段、およびキーワード保持手段を制御し、また認識語彙補足手段を介して音声認識手段を、さらに応答生成手段を介して音声合成手段を制御し、システムと利用者の間の対話を進行させる対話制御手段の元で、
前記キーワード保持手段は、前記対話制御手段の要求に基づき、キーワードの保持、削除、最新のキーワードの通知を行い、
前記対話制御手段は、タスク管理手段に対話の進行上における次のアクションを促すガイダンス内容を要求して該ガイダンス内容を受け取り、また前記キーワード保持手段に最新のキーワードを要求して該最新のキーワードを受け取り、前記ガイダンス内容と前記最新のキーワード、およびそれらを用いて応答文を生成させる指示を応答生成手段へ通知し、前記応答生成手段は、前記対話制御手段から受け取った指示に従い、 対話の進行上における次のアクションを促すガイダンス文の中に、同時に受け取った前段階の認識結果でもある最新のキーワードを含めた応答文を生成し、音声合成手段へ出力し、
次に前記対話制御手段は、タスク管理手段に対話の進行上における次の認識語彙を要求して該認識語彙を受け取り、タスクに依存したキーワードからなる該認識語彙を認識語彙補足手段へ送り、
前記認識語彙補足手段は、前記対話制御手段より受け取った認識語彙に、「取消」「ヘルプ」「ストップ」「もう一度」「わからない」「任意」などのタスクから独立なコマンドを表す単語を補足して、音声認識手段およびキーワード判定手段に渡し、
前記キーワード判定手段は、前記認識語彙補足手段より得た補足後の認識語彙と前記音声認識手段より得た認識結果とを比較し、該認識結果が前記タスクから独立なコマンドか、タスクに依存したキーワードかを判定し、その判定結果を対話制御手段へ送り、
さらに次に前記対話制御手段は、前記キーワード判定手段の判定結果を元に、該判定結果がキーワードである場合は、それをキーワード保持手段に送ると共に該キーワードをタスク管理手段に送り、 前記判定結果がコマンドである場合は、各コマンドに対する処理を行う。
【００１１】
【発明の実施の形態】
以下図を用いて本発明の実施例を説明する。
【００１２】
図１は本発明による音声対話システムの一実施例を示すブロック図である。音声対話システムは、あるタスクを遂行することを目的として、利用者とシステムが音声を使ってやりとりをするようなシステムである。本発明による音声対話システムは、対話制御手段（５）の制御の元に動作する。対話制御手段（５）の動作については、後で詳述する。
【００１３】
タスク管理手段（１０）は、タスクに依存した処理を全て担当する。タスクに依存した情報（タスク遂行の手順、場面毎の入力待ち語彙、等）を管理したり、対話制御手段からのタスクの進行等についての問い合わせなどに返答したりする。
【００１４】
音声認識手段（２）は、与えられた認識語彙の範囲内で、入力される音声（１）を認識し、認識結果を１つの単語あるいは複数の単語の列として出力する。音声認識手段（２）の実現方法としては様々な手法が考えられ、本発明はその方法を限定しない。例えば、ＨＭＭ（ＨｉｄｄｅｎＭａｒｋｏｖＭｏｄｅｌ）という確率モデルを用いる手法が扱いやすい。この方法を用いれば、任意の認識語彙をテキストとして与えるだけで、音声認識できる構成にすることができる。詳細は、“中川聖一：”確率モデルによる音声認識、電子情報通信学会、１９８８”他の文献に詳しいので、本明細書では省略する。
【００１５】
認識語彙補足手段（３）は、対話制御手段（５）より受け取った認識語彙に、特にタスクから独立なコマンドを表す単語等を補足して、音声認識手段に渡す。ここで、コマンドとしては、 「違います」「違う」「いいえ」「取消」「キャンセル」などの否定あるいは取消を意味する単語、 「ヘルプ」などの助言要求を意味する単語、 「ストップ」「停止」「中止」などのシステムの処理の停止要求を意味する単語、「もう一度」
「リピート」などの直前のシステム応答の再出力要求を意味する単語、などがある。さらに、「わかりません」「わからない」などの不明を意味する単語、「問わない」「何でも良い」「任意」などの任意を意味する単語なども認識語彙補足手段（３）で補足され得る単語とする。図３に認識語彙の例を示しており、人名の認識語彙を例に取り、補足前（ａ）と補足後（ｂ）の認識語彙を示している。
【００１６】
キーワード判定手段（６）は、音声認識手段（２）より得られた認識結果がタスクから独立なコマンドか、タスクに依存したキーワードかを判定し、その結果を対話制御手段へ送る。ここで、判定結果は、例えば図４に示すように表現される。図４に示した例では、１つの判定結果が、２つの値の組み合わせで表現される。左側が判定結果の種類を表しており、「ＣＭＤ」はコマンド、「ＫＷ」はキーワードを表す。 また、「ＣＭＤ」と組み合わされている「ＣＡＮＣＥＬ」、「ＨＥＬＰ」はコマンドの種類を表している。さらに「ＫＷ」と組み合わされている“資材課”や“佐藤”は実データ値を示している。
【００１７】
キーワード保持手段（６）は、対話制御手段の指示に従って、渡されたキーワードをスタック形式で保持したり、スタックに積まれているキーワードを対話制御手段に通知したりする。
【００１８】
応答生成手段（７）は、対話制御手段（５）からの指示に従い、タスクを遂行するために必要な項目の内容（名前などの実データ値）を質問するような応答文を生成する。
【００１９】
音声合成手段（８）は、応答生成手段（７）から得られる応答文を音声波形に変換してスピーカなどの電気信号から音波へ変換するデバイスにより空間中を伝播する音声（９）として出力する。
【００２０】
図２は対話制御手段の処理フローを示す図である。簡単のために、本発明による音声対話システムでデータ入力のみが行われる場合のフローを示している。実際のタスクにおいては、利用者に対する結果のみの提示なども含まれることになる。
【００２１】
次に、図２のフローに従って、電話接続サービスなどをタスクとして、所属名に‘資材課’、人名に‘佐藤’を入力する場合を仮定して処理手順を説明する。
【００２２】
同タスク管理手段に対話の進行上における次のアクションを促すガイダンス内容を要求し、
まずサービスが開始された時点では、対話制御手段（５）は、 タスク管理手段（１０）へ対話の進行上における次のアクションを促すガイダンス内容を要求する。この要求に対する返答は、 次のガイダンス内容が「所属の質問」である、として得られる。次に、対話制御手段（５）は、キーワード保持手段から最新のキーワードを受理しようとする。システム利用開始直後は、キーワード保持手段はからであり、その旨が対話制御手段へ通知される。次に、対話制御手段（５）は、次のガイダンス内容（「所属の質問」）と、あれば最新のキーワード（この段階では「なし」）を応答生成手段（７）に送り、応答文を生成するように指示する。応答生成手段（７）では、 ガイダンス内容が「所属の質問」であるので、例えば“所属をどうぞ”というような質問文を生成して、音声出力手段（８）に送る。続いて、対話制御手段（５）は、「所属」を音声認識するための認識語彙を、認識語彙補足手段（３）へ送る。ここでの認識語彙は、先の、次のアクションを促すガイダンス内容を要求した際に、タスク管理手段（１０）より一緒に受け取ることとする。あるいは、この段階であらためて、タスク管理手段に問い合わせて、受理しても良い。この後、認識語彙補足手段（３）で補足された認識語彙は、音声認識手段（２）に送られる。そして、利用者の発声に対する音声認識手段（２）よる認識結果は、キーワード判定手段（４）を介してコマンドかキーワードかの判定が付加され、図４に示したような形式で対話制御手段（５）に戻される。今の仮定では、ここでの受理結果は「ＫＷ］＋「資材課」である。すなわち、対話制御手段（５）はキーワードをキーワード保持手段（６）のスタックにキーワードをＰＯＰし、さらに、タスク管理手段（１０）に対してキーワードを通知する。この時点で、タスク管理手段（１０）は、内部でタスクの進行状態が更新される。
【００２３】
ここで、図２のフローの最初に戻り、対話制御手段（５）は、再びタスク管理手段（１０）へ、対話の進行上における次のアクションを促すガイダンス内容を要求する。この要求に対する返答は、次のガイダンス内容が「名前の質問」であるである、として得られる。次に、対話制御手段（５）は、キーワード保持手段から最新のキーワードを問い合わせ、先ほどＰＯＰされたばかりの「資材課」が得られる。そして、対話管理手段（５）は、次のガイダンス内容（「名前の質問」）と最新のキーワード（「資材課」）を応答生成手段（７）に送り、応答文を生成するように指示する。応答生成手段（７）では、 「資材課」を含めて、かつ、「名前」を問い合わせるような質問文、例えば“資材課で名前は何ですか”とか“資材課の誰ですか”というような質問文を生成して、音声出力手段（８）に送る。続いて、対話制御手段（５）は、「名前」を音声認識するための認識語彙を、認識語彙補足手段（３）へ送る。そしてまた、音声認識手段（２）による認識結果は、キーワード判定手段（４）を介してコマンドかキーワードかの判定が付加され、図４に示したような形式で対話制御手段（５）に戻される。今の仮定では、ここでの受理結果は「ＫＷ］＋「佐藤」となる。以上の繰り返しで、基本的な対話が進行していく。
【００２４】
次に、利用者の「資材課」の発声が誤認識されて、認識結果が「施設課」になったと仮定した場合の例を説明する。先の“資材課の誰ですか”の代わりに“施設課の誰ですか”というシステム出力になっているはずであり、それに対して、利用者は“違います”と答えたとする。キーワード判定手段（４）より受け取った結果が「ＫＷ」＋「佐藤」でなく、「ＣＭＤ」＋「ＣＡＮＣＥＬ」となる。この場合、対話制御手段（５）はキーワード保持手段（６）に対して、キーワードを１つ（今の場合「資材課」）ＰＯＰするように指示する。さらに、タスク管理手段（１０）に対して、ＰＯＰされた「資材課」を取り消すように通知する。ここで、対話制御手段（５）の処理は図２のフローの最初に戻り、タスク管理手段（１０）、キーワード保持手段（６）への問い合わせをし、次のアクションを促すガイダンス内容が「所属の質問」であり、最新のキーワードは「なし」であることを応答生成手段（７）に送り、応答生成手段（７）で再び、“所属をどうぞ”というような質問文が生成される。
【００２５】
最後に、本発明による音声対話システムを利用した場合の、対話例を示す。タスクを電話の接続サービスとした場合の例である。
【００２６】
システム：「相手の所属をどうぞ」
利用者 ：「資材課」
システム：「資材課の誰ですか」
利用者 ：「佐藤」
システム：「佐藤さんに電話をつなぎます」
次に、１番目の項目で誤認識した場合の対話例を示す。
【００２７】
【００２８】
【００２９】
図１におけるタスク管理手段はタスクに特有の処理も含んでいる。例えば、遠隔地の電話機からシステムを利用する形態の場合、電話回線の制御などが考えられる。
上記の様に、本願では、タスク管理手段の管理している対話の進行上における次のアクションを促すガイダンス内容と、キーワード保持手段が保持している前段階の認識結果である最新のキーワードを用いて、 対話の進行上における次のアクションを促すガイダンス文の中に、前記最新のキーワードを含めた応答文を応答生成手段で生成し、出力させると共に、認識語彙補足手段において、タスク管理手段の管理している対話の進行上における次の場面での認識語彙に、タスクから独立なコマンドを表す単語を補足し、その補足後の認識語彙の範囲内で、音声認識手段において利用者の発話した音声を認識させ、キーワード判定手段において、その認識結果が前記タスクから独立なコマンドか、それ以外のタスクに依存したキーワードかを判定し、その判定結果がコマンドである場合は、各コマンドに対する処理を行い、さらに前記判定結果が前記キーワードである場合は、該判定結果であるキーワードを新たに最新のキーワードとしてキーワード保持手段へ保持させると同時に、さらに該判定結果であるキーワードをタスク管理手段へ通知する、以上を繰り返すことにより音声を進行させることを特徴とする音声対話制御方法を開示する。
更に前記コマンドについては、以下の実施例を開示する。少なくとも「違います」「違う」「いいえ」「取消」「キャンセル」などの否定あるいは取消を意味する単語を含み、 前記判定結果が該否定あるいは取消を意味する単語である場合に、前記キーワード保持手段に最新のキーワードを１つ削除するように指示し、同時に前記タスク管理手段に１つ前の要求項目の内容が取り消されたことを通知する。少なくとも「ヘルプ」などの助言要求を意味する単語を含み、 前記判定結果が該助言要求を意味する単語である場合に、応答生成手段において、使い方についてのメッセージ文を出力させる。少なくとも「ストップ」「停止」「中止」「中断」などのシステムの処理の停止要求を意味する単語を含み、前記判定結果が該停止要求を意味する単語である場合に、対話進行を停止する。少なくと も「もう一度」「リピート」などの直前のシステム応答の再出力要求を意味する単語を含み、前記判定結果が該再出力要求を意味する単語である場合に、応答生成手段が１つ以上の応答文を蓄積し後で参照できる手段を持ち、直前に出力した応答文の再出力させる。少なくとも「わかりません」「わからない」などの不明を意味する単語を含み、前記判定結果が該不明を意味する単語である場合に、前記タスク管理手段に１つ前の要求項目の内容が不明であることを通知し、同時に同タスク管理手段に対話の進行上における次のアクションを促すガイダンス内容を要求し、その返答内容に従って対話進行する。少なくとも「問わない」「何でも良い」「任意」などの任意を意味する単語を含み、前記判定結果が該任意を意味する単語である場合に、タスク管理手段に要求項目の内容が任意であることを通知し、同時に同タスク管理手段に対話の進行上における次のアクションを促すガイダンス内容を要求し、 その返答内容に従って対話進行する。
【００３０】
【発明の効果】
本発明によれば、複数項目のデータ入力を音声で行う音声対話システムにおいて、音声認識を利用する際に必須の確認に関して、確認のみのシステム出力を省略し、認識結果を次のガイダンス文に含めて提示することでやりとりの数を減少させることにより、 単語音声認識程度の音声認識能力しか持たない音声対話システムでも、利用者とシステムとの間で効率良く音声対話が進行できる効果が得られる。
【図面の簡単な説明】
【図１】本発明による音声対話システムの構成の一実施例を示すブロック図である。
【図２】対話制御手段の処理手順を示すフローチャートである。
【図３】認識語彙の一例を示す図である。
【図４】キーワード判定手段から対話制御手段に渡されるデータ構造の一例を示す図である。
【図５】キーワード保持手段に保持されるデータの一例を示す図である。
【符号の説明】
１…利用者の音声、２…音声認識手段、３…認識語彙補足手段、
４…キーワード判定手段、５…対話制御手段、６…キーワード保持手段、
７…応答生成手段、８…音声出力手段、９…システムの出力音声、
１０…タスク管理手段。
Claims (6)
- タスク管理手段の管理している対話の進行上における次のアクションを促すガイダンス内容と、キーワード保持手段が保持している前段階の認識結果である最新のキーワードを用いて、対話の進行上における次のアクションを促すガイダンス文の中に、前記最新のキーワードを含めた応答文を応答生成手段で生成し、出力させると共に、
認識語彙補足手段において、タスク管理手段の管理している対話の進行上における次の場面での認識語彙に、タスクから独立なコマンドを表す単語を補足し、その補足後の認識語彙の範囲内で、音声認識手段において利用者の発話した音声を認識させ、
キーワード判定手段において、その認識結果が前記タスクから独立なコマンドか、それ以外のタスクに依存したキーワードかを判定し、
その判定結果がコマンドである場合は、各コマンドに対する処理を行い、
さらに前記判定結果が前記キーワードである場合は、該判定結果であるキーワードを新たに最新のキーワードとしてキーワード保持手段へ保持させるとともに該判定結果であるキーワードをタスク管理手段へ通知する、
以上を繰り返すことにより音声を進行させ、
前記コマンドは、少なくとも「問わない」「何でも良い」「任意」などの任意を意味する単語を含み、前記判定結果が該任意を意味する単語である場合に、上記タスク管理手段に要求項目の内容が任意であることを通知するとともに同タスク管理手段に対話の進行上における次のアクションを促すガイダンス内容を要求し、その返答内容に従って対話進行することを特徴とする音声対話制御方法。 - 前記請求項１記載の音声対話制御方法において、前記コマンドは、少なくとも「違います」「違う」「いいえ」「取消」「キャンセル」などの否定あるいは取消を意味する単語を含み、 前記判定結果が該否定あるいは取消を意味する単語である場合に、前記キーワード保持手段に最新のキーワードを１つ削除するように指示し、同時に前記タスク管理手段に１つ前の要求項目の内容が取り消されたことを通知することを特徴とする音声対話制御方法。
- 前記請求項１記載の音声対話制御方法において、前記コマンドは、少なくとも「ヘルプ」などの助言要求を意味する単語を含み、 前記判定結果が該助言要求を意味する単語である場合に、応答生成手段において、使い方についてのメッセージ文を出力させることを特徴とする音声対話制御方法。
- 前記請求項１記載の音声対話制御方法において、前記コマンドは、少なくとも「ストップ」「停止」「中止」「中断」などのシステムの処理の停止要求を意味する単語を含み、前記判定結果が該停止要求を意味する単語である場合に、対話進行を停止することを特徴とする音声対話制御方法。
- 前記請求項１記載の音声対話制御方法において、 前記応答生成手段は１つ以上の応答文を蓄積し、後で参照できる手段を持ち、前記コマンドは、少なくとも「もう一度」「リピート」などの直前のシステム応答の再出力要求を意味する単語を含み、前記判定結果が該再出力要求を意味する単語である場合に、応答生成手段において直前に出力した応答文の再出力させることを特徴とする音声対話制御方法。
- 前記請求項１記載の音声対話制御方法において、前記コマンドは、少なくとも「わかりません」「わからない」などの不明を意味する単語を含み、前記判定結果が該不明を意味する単語である場合に、前記タスク管理手段に１つ前の要求項目の内容が不明であることを通知するとともに同タスク管理手段に対話の進行上における次のアクションを促すガイダンス内容を要求し、その返答内容に従って対話進行することを特徴とする音声対話制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18906096A JP3700266B2 (ja) | 1996-07-18 | 1996-07-18 | 音声対話制御方法および音声対話システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18906096A JP3700266B2 (ja) | 1996-07-18 | 1996-07-18 | 音声対話制御方法および音声対話システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1031497A JPH1031497A (ja) | 1998-02-03 |
| JP3700266B2 true JP3700266B2 (ja) | 2005-09-28 |
Family
ID=16234630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18906096A Expired - Fee Related JP3700266B2 (ja) | 1996-07-18 | 1996-07-18 | 音声対話制御方法および音声対話システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3700266B2 (ja) |
Families Citing this family (96)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3505982B2 (ja) * | 1997-10-24 | 2004-03-15 | 日産自動車株式会社 | 音声対話装置 |
| JP2000020089A (ja) * | 1998-07-07 | 2000-01-21 | Matsushita Electric Ind Co Ltd | 音声認識方法及びその装置、並びに音声制御システム |
| JP3178426B2 (ja) | 1998-07-29 | 2001-06-18 | 日本電気株式会社 | 自然言語対話システム及び自然言語対話プログラム記録媒体 |
| US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| JP2002073080A (ja) * | 2000-09-01 | 2002-03-12 | Fujitsu Ten Ltd | 音声対話システム |
| JP3576511B2 (ja) * | 2001-09-19 | 2004-10-13 | 松下電器産業株式会社 | 音声対話装置 |
| JP4705398B2 (ja) * | 2005-03-31 | 2011-06-22 | クラリオン株式会社 | 音声案内装置、音声案内装置の制御方法及び制御プログラム |
| JP4589843B2 (ja) * | 2005-08-10 | 2010-12-01 | 日本電信電話株式会社 | 対話方法、対話装置、対話プログラムおよび記録媒体 |
| US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
| US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
| US20120311585A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Organizing task items that represent tasks to perform |
| US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
| US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| DE202011111062U1 (de) | 2010-01-25 | 2019-02-19 | Newvaluexchange Ltd. | Vorrichtung und System für eine Digitalkonversationsmanagementplattform |
| US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
| US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
| US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
| US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
| US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
| US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
| US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
| WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
| WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| CN110442699A (zh) | 2013-06-09 | 2019-11-12 | 苹果公司 | 操作数字助理的方法、计算机可读介质、电子设备和系统 |
| US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
| US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
| US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| EP3480811A1 (en) | 2014-05-30 | 2019-05-08 | Apple Inc. | Multi-command single utterance input method |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
| US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
| US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
| US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
| US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
| US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
| US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| JP6540414B2 (ja) * | 2015-09-17 | 2019-07-10 | 本田技研工業株式会社 | 音声処理装置および音声処理方法 |
| US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| DK179309B1 (en) | 2016-06-09 | 2018-04-23 | Apple Inc | Intelligent automated assistant in a home environment |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
| DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
| DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
| DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
| DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
-
1996
- 1996-07-18 JP JP18906096A patent/JP3700266B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1031497A (ja) | 1998-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3700266B2 (ja) | 音声対話制御方法および音声対話システム | |
| JP3454897B2 (ja) | 音声対話システム | |
| WO2021160191A1 (zh) | 一种实现人机协同的语音通讯系统及方法 | |
| KR102097621B1 (ko) | 이미지 및/또는 다른 센서 데이터 기반의 자동화 어시스턴트 요청 해석 | |
| US9088652B2 (en) | System and method for speech-enabled call routing | |
| US9292488B2 (en) | Method for embedding voice mail in a spoken utterance using a natural language processing computer system | |
| US7184539B2 (en) | Automated call center transcription services | |
| CN107564510A (zh) | 一种语音虚拟角色管理方法、装置、服务器和存储介质 | |
| US6724864B1 (en) | Active prompts | |
| US20110172989A1 (en) | Intelligent and parsimonious message engine | |
| CN103714813A (zh) | 短语辨认系统和方法 | |
| JP2001005488A (ja) | 音声対話システム | |
| JP2007529831A (ja) | 音声対話型メッセージング方法及び装置 | |
| US20060069563A1 (en) | Constrained mixed-initiative in a voice-activated command system | |
| Boyce | Natural spoken dialogue systems for telephony applications | |
| JPH06100959B2 (ja) | 音声対話装置 | |
| US20060025996A1 (en) | Method and apparatus to improve name confirmation in voice-dialing systems | |
| EP3444810A1 (en) | Spoken dialogue management | |
| JP2001134285A (ja) | 音声認識装置 | |
| JP4304959B2 (ja) | 音声対話制御方法、音声対話制御装置および音声対話制御プログラム | |
| AU2020447125B2 (en) | Hot-word free pre-emption of automated assistant response presentation | |
| JP2019138989A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP7058305B2 (ja) | 情報処理装置、音声出力方法、音声出力プログラム | |
| CN110125946B (zh) | 自动通话方法、装置、电子设备及计算机可读介质 | |
| JP6761007B2 (ja) | 情報処理装置、音声出力方法、音声出力プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040316 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050405 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050601 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050621 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050704 |
|
| LAPS | Cancellation because of no payment of annual fees |