JP4223832B2 - 適応型音声対話システム及び方法 - Google Patents
適応型音声対話システム及び方法 Download PDFInfo
- Publication number
- JP4223832B2 JP4223832B2 JP2003048021A JP2003048021A JP4223832B2 JP 4223832 B2 JP4223832 B2 JP 4223832B2 JP 2003048021 A JP2003048021 A JP 2003048021A JP 2003048021 A JP2003048021 A JP 2003048021A JP 4223832 B2 JP4223832 B2 JP 4223832B2
- Authority
- JP
- Japan
- Prior art keywords
- command
- guidance
- user
- voice
- status
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、人間とコンピュータが音声を用いて対話する適応型音声対話システム及び方法に関する。特に、使用する人間のシステムに対する慣れに応じてガイダンス出力を変化させる適応型音声対話システム及び方法に関する。
【０００２】
【従来の技術】
近年におけるＩＴ化の急速な進展に伴って、音声を用いた対話インタフェースが各種アプリケーションで活用されている。特に、車の運転中のように、操作のために手を使うことができず、かつ視線をそらすことができないような状況下においては、アプリケーション操作は、アイズ・フリーあるいはハンズフリーであることが重要な要素となる。つまり、アプリケーション機器の操作に手や目を奪われて、運転操作自体が妨げられるようなことは、安全上必ず回避しなければならない。
【０００３】
そこで、かかる状況下で使用される可能性の高いアプリケーションには、積極的に音声を用いたインターフェースが採用されてきている。音声による対話インタフェースは、たとえ運転中であっても比較的注意を集中しやすく、運転操作を妨げることなくアプリケーション操作を行うことが可能である。
【０００４】
しかし、音声を用いるインタフェースであっても、出力される音声の内容によっては、注意深く聞いたり、あるいは記憶しておく必要が生じる。このような場合、例えば運転者は集中力や注意力を削がれることになり、安全上好ましくない。
【０００５】
そこで、このような問題を解決するために、様々な工夫がなされている。例えば、（特許文献１）においては、ユーザのアプリケーションに対する慣れを、当該アプリケーションへのアクセス頻度から推定し、慣れの程度に応じて音声案内の内容を自動的に変更する音声案内装置が開示されている。
【０００６】
あるいは、（特許文献２）では、ユーザの使用アプリケーションに対する熟練度を評価し、当該熟練度に基づいてガイダンスを選択する音声対話装置が開示されている。熟練度の判断基準としては、ユーザによる音声入力がなされるまでの応答時間や入力結果に対する修正回数等が用いられている。
【０００７】
また（特許文献３）では、応答時間のみで判断できない要素を加味するために、不要語や言いよどみ等を検出することで、ユーザがアプリケーションに対して不慣れであるか否かを判断し、ガイダンスを変更する音声応答装置が開示されている。
【０００８】
【特許文献１】
特開２００１−２２３７０号公報
【０００９】
【特許文献２】
特開平１０−２０８８４号公報
【００１０】
【特許文献３】
特開２００１−３３１１９６号公報
【００１１】
【発明が解決しようとする課題】
しかし、上述したような音声対話システムにおいては、ユーザによる応答入力があることを前提としており、手が離せない等の緊急の状況に遭遇したユーザについても、応答時間がかかってしまったために習熟度が低いユーザであると判断され、習熟度が高いユーザに対して初心者用のガイダンスが出力されてしまうという問題点があった。
【００１２】
また、従来の音声対話インターフェースでは、応答音声の出力中に割り込んでユーザが応答を音声入力することができず、習熟者にとっては使いにくいインタフェースとなっているという問題点もあった。
【００１３】
本発明は、上記問題点を解決するために、ユーザの状況を判断しながらアプリケーションに対する習熟度を判定でき、適切なガイダンスを出力することができる適応型音声対話システム及び方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記目的を達成するために本発明にかかる適応型音声対話システムは、ユーザの音声を入力する音声入力部と、入力された音声を認識してコマンドを抽出するコマンド抽出部と、ユーザが音声を入力した第一のタイミングにおいて、コマンドに基づいてシステムが出力するシステム応答を生成する対話制御部と、対話制御部からの指示によって音声による出力を行う音声出力部とを含む適応型音声対話システムであって、生成されたシステム応答にユーザが応答するべき内容に関するガイダンスを含み、ガイダンスの出力状況及びユーザによる音声入力状況を状況記録データベースに記録し、状況記録データベースを参照することで、ガイダンスを状況に応じて変化させることを特徴とする。
【００１５】
かかる構成により、ユーザのガイダンスに対する応答状況に基づいて、次回のガイダンスをどのような内容で出力するのかを制御することができ、ユーザの個々の状況に応じたガイダンスを含む応答を行うことが可能となる。
【００１６】
また、本発明にかかる適応型音声対話システムは、対話制御部において、ユーザからの応答無しに所定時間経過した第二のタイミングにおいても、コマンドに基づいてシステムが出力するシステム応答を生成することが好ましい。
【００１７】
また、本発明にかかる適応型音声対話システムは、コマンドが主部と引数とで構成され、状況記録データベースに引数の利用頻度も記録し、ユーザが音声入力したコマンドにおいて引数が省略されている場合に、抽出されたコマンドの主部に対して、引数の利用頻度に応じて引数を補うことが好ましい。引数が入力されていない場合であっても、引数の利用頻度に応じて補うことができ、無駄な応答やガイダンスを省略することができるからである。
【００１８】
また、本発明にかかる適応型音声対話システムは、複数のユーザに関する状況記録データベースの記録内容を集計する記録集計部をさらに含み、記録集計部における集計結果に応じて、対話制御部が、ガイダンス出力の有無、及びガイダンスの内容を決定することが好ましい。音声対話システムを使い始めたばかりのユーザであっても、ある程度有効なガイダンスを出力することができるからである。
【００１９】
また、本発明は、上記のような適応型音声対話システムの機能をコンピュータの処理ステップとして実行するソフトウェアを特徴とするものであり、具体的には、ユーザの音声を入力する工程と、入力された音声を認識してコマンドを抽出する工程と、ユーザが音声を入力した第一のタイミングにおいて、コマンドに基づいてシステムが出力するシステム応答を生成する工程と、音声による出力を行う工程とを含む適応型音声対話方法であって、生成されたシステム応答にユーザが応答するべき内容に関するガイダンスを含み、ガイダンスの出力状況及びユーザによる音声入力状況を状況記録データベースに記録し、状況記録データベースを参照することで、ガイダンスを状況に応じて変化させる適応型音声対話方法並びにそのような工程を具現化するコンピュータ実行可能なプログラムであることを特徴とする。
【００２０】
かかる構成により、コンピュータ上へ当該プログラムをロードさせ実行することで、ユーザのガイダンスに対する応答状況に基づいて、次回のガイダンスをどのような内容で出力するのかを制御することができ、ユーザの個々の状況に応じたガイダンスを含む応答を行うことができる適応型音声対話システムを実現することが可能となる。
【００２１】
また、本発明にかかる適応型音声対話システムを具現化するコンピュータ実行可能なプログラムは、上述した適応型音声対話方法におけるシステム応答を生成する工程において、ユーザからの応答無しに所定時間経過した第二のタイミングにおいても、コマンドに基づいてシステムが出力するシステム応答を生成することが好ましい。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態にかかる適応型音声対話システムについて、図面を参照しながら説明する。図１は本発明の実施の形態１にかかる適応型音声対話システムの構成図である。
【００２３】
図１において、１１はユーザの音声を入力する音声入力部を示しており、入力媒体としてはマイクロホン等が考えられる。１２は、入力された音声を認識してコマンドを抽出するコマンド抽出部を示しており、入力された音声を認識することによって入力された内容を認識して、含まれているアプリケーションを制御するためのコマンドを抽出する。
【００２４】
認識できるコマンドと、当該コマンドがどのような引数を求められるか、といった「文法」に関する情報は、あらかじめ登録してあるコマンド／文法データベース１４を、コマンド抽出部１２が参照する。コマンド抽出部１２は、認識結果と合致するコマンド、及び引数と考えられる内容を対話制御部１３へと送る。
【００２５】
またコマンド抽出部１２は、認識結果と合致するコマンドがコマンド／文法データベース１４に存在しない場合にはその旨を対話制御部１３に通知する。また、認識開始時に設定された所定のタイムアウト時間を過ぎてもユーザからの入力が無かった場合には、無入力であった旨についても対話制御部１３に通知する。
【００２６】
なお、音声入力の認識方法については、既存の音声認識方法であれば何でも良く、特に限定されるものではない。
【００２７】
そして、対話制御部１３では、ユーザが音声を入力した第一のタイミングもしくはユーザによる音声入力から所定のタイムアウト時間が経過した第二のタイミングにおいて、抽出されたコマンドに基づいて、ユーザに提示するべき応答を生成する。
【００２８】
ユーザにより音声が入力される第一のタイミングとしては、音声出力の開始と同時、あるいは音声出力開始後しばらくしてから、又は音声出力の完了と同時等、様々なタイミングが考えられる。
【００２９】
例えば、システム側のガイダンスとしての音声出力の開始と同時にユーザが音声の入力を開始した場合、システムによる音声出力の途中であってもユーザからの音声入力を受け付ける必要が生じる。このように、音声出力途上においてユーザからの音声入力を受け付けた場合、音声出力を中断することも考えられるし、音声入力の認識結果に応じて出力を続行することも考えられる。
【００３０】
また、音声入力の開始時には、通常タイムアウト時間が設定されている。したがって、ユーザによる応答が全く無い場合であっても、タイムアウト時間経過時という第二のタイミングにおいて、ユーザに提示するべき応答を生成することができる。
【００３１】
そして、ユーザからの入力があったら、あるいはユーザからの入力が無いまま当該タイムアウト時間が経過したら、対話制御部１３は、入力されたコマンドあるいは無入力であったという情報に基づいて、以下の応答を生成する。
【００３２】
次に、生成される応答には、ユーザが入力するべき音声のガイダンス情報が含まれている。そして、ガイダンスの出力状況や、当該ガイダンスに対するユーザの音声入力状況を状況記録データベース１４に記録する。
【００３３】
コマンド／文法データベース１４には、各コマンドごとに、コマンドの文法に関するガイダンスを登録しておく。ガイダンスは録音した音声であっても良いし、音声合成に用いられるテキストデータであっても良い。図２に、テキストデータを用いたコマンド／文法データベース１４におけるガイダンス登録例を示す。
【００３４】
また、状況記録データベース１５には、コマンドごとにガイダンス出力状況とコマンド呼び出し状況が記録される。図３は、状況記録データベース１５の一例である。
【００３５】
図３の例において、まずガイダンス出力状況については、出力した回数を記録しておき、対話制御部１３が当該コマンドについてのガイダンスを出力するたびに回数を累積する。そして、当該ガイダンスの出力回数が所定のしきい値を超えた場合には、ユーザが当該コマンドに習熟したものと判断して、ガイダンスの出力を停止する。
【００３６】
また、最後に出力を行った日時を記録しておき、過去一定期間内に出力を行っている場合には、ガイダンスを出力しないようにすることも考えられる。この場合、設定されている一定の期間が経過すると、再びガイダンスを行うようにすることが好ましい。
【００３７】
また、ガイダンス出力回数の累積値と最終出力日時を併用することで、ガイダンスの出力回数が一定の回数を超えたらガイダンスを止めるが、最終出力から一定期間経過したら累積カウンタをリセットし、再びガイダンスを行うようにすることも可能となる。
【００３８】
次に、コマンド呼び出し状況としては、コマンド呼び出し回数を記録している。ユーザが当該コマンドを呼び出すたびにコマンド呼び出し回数を累積する。ユーザによるコマンド呼び出しが所定の回数を超えた場合には、ユーザが当該コマンドに習熟したものと判断して、ガイダンスの出力を停止する。
【００３９】
さらに、当該コマンドの最終呼び出し日時を記録しておき、最終呼び出しから一定の期間が経過したら呼び出し回数の累積カウンタをリセットし、再びガイダンスを行うようにすることも考えられる。
【００４０】
また、全てのコマンドについてガイダンスを行うとシステムの発話量が多くなり過ぎるという問題を避けるため、ガイダンスを行う数を制限することも考えられる。例えば、一回の発話、あるいは一定期間、の中でガイダンスするコマンドの数を一定数に制限することで実現可能となる。
【００４１】
さらに、状況記録データベース１５の内容をユーザごとに保存しておくことによって、ユーザが再び対話を開始したときに前回の状況を引き継いで対話を行うこともできる。
【００４２】
最後に音声出力部１６では、対話制御部１３からの指示によって音声による出力を行う。テキストデータを与えられ、当該テキストデータを音声合成によって音声に変換して出力する場合もあるし、ファイル識別子を与えられ、当該ファイル識別子に対応する音声ファイルを再生する場合もある。
【００４３】
次に、本発明の実施の形態１にかかる適応型音声対話システムを実現するプログラムの処理の流れについて説明する。図４に本発明の実施の形態１にかかる適応型音声対話システムを実現するプログラムの処理の流れ図を示す。
【００４４】
図３において、まずユーザによる音声が入力され（ステップＳ３０１）、入力された音声を認識してコマンド／文法データベース１４を照会する（ステップＳ３０２）。そして、認識結果と合致するコマンドが存在した場合には（ステップＳ３０３：Ｙｅｓ）、当該コマンド及び引数と考えられる内容が抽出され対話制御部１３に渡される（ステップＳ３０４）。
【００４５】
認識結果と合致するコマンドが存在しない場合には（ステップＳ３０３：Ｎｏ）、その旨を対話制御部１３に通知し、ユーザの再入力待ちとなる。
【００４６】
そして、ユーザが音声を入力した第一のタイミングもしくはユーザによる音声入力から所定のタイムアウト時間が経過した第二のタイミングにおいて、抽出されたコマンドに基づいて、状況記録データベース１５を照会する（ステップＳ３０５）。
【００４７】
そして、状況記録データベース１５におけるコマンドごとのガイダンス出力状況及びコマンド呼び出し状況に応じて、ガイダンスを含めた応答が生成され（ステップＳ３０６）、合成音声として出力される（ステップＳ３０７）。
【００４８】
以上のように本実施の形態１によれば、システムによる応答出力の中で、ユーザが入力すべきコマンドの文法、すなわち呼び出し方がガイダンスされ、ユーザは応答出力音声を聞きながら、当該音声対話システムに対するコマンドの呼び出し方を修得することができる。
【００４９】
また、同じガイダンス出力は、一定頻度に抑制することができ、延々と繰り返されることを回避することができる。また、ユーザが当該コマンドの呼び出し方を覚えて直接当該コマンドを呼び出す場合には、当該コマンドのガイダンス出力は行われない。さらに、ガイダンス出力が行われなくなってから、あるいはコマンドを呼び出さなくなってから、所定の時間経過すると、再びガイダンスが行われるようになる。このように、ユーザのコマンド習得の状況に対して適応的にガイダンス出力を行うことができるようになる。
【００５０】
ガイダンスの選択方法には様々な方法が考えられる。例えば、コマンドに対して優先順位を付けておき、優先順位が上位のコマンドから順にガイダンスを行うかどうかの判定を行い、上位のコマンドのガイダンスを行わない場合にのみ下位のコマンドのガイダンスを行うようにする方法が考えられる。
【００５１】
このようにすることで、基本的なコマンドほど優先順位を上位に設定しておくことで、最初は基本的なコマンドについてのガイダンスを行い、当該ガイダンスがユーザにとって不必要であると判断されたら、より高度なコマンドのガイダンスを行う、というように段階的にガイダンスを行うことが可能となる。なお、優先順位が同じコマンドが複数設定されていても良い。
【００５２】
具体的には、例えば「停止」コマンドの方が「再生」コマンドよりも優先順位が上位に設定されている場合には、まず「停止」コマンドのガイダンスが優先されて出力される。その後、ユーザが実際に「停止」コマンドを呼び出し、「停止」コマンドのガイダンスが必要なくなった後に、「再生」コマンドのガイダンスが行われるようになる。
【００５３】
また、コマンドを階層化しておくことも考えられる。例えば、「カーナビ」コマンドに対して、サブコマンド「目的地設定」、「渋滞情報」、「所要時間情報」を準備しておく。この場合の対話の状況を図５に示す。図５において、‘Ｕ’はユーザによる音声入力を、‘Ｓ’はシステムによる応答出力（ガイダンス）を示している。
【００５４】
図５のように、まずユーザが「カーナビ」コマンドを呼び出す。対話制御部１３は、各サブコマンドについて問い合わせを行う。すなわち、次にサブコマンド「目的地設定」を利用するかどうかについての問い合わせを出力する。かかるガイダンスでは、ユーザが音声入力として「はい」もしくは「いいえ」等の肯定もしくは否定の回答のみを受け付けるようガイダンスする。
【００５５】
「いいえ」等の否定回答をユーザから受け付けた、あるいはガイダンスを出力してから所定の時間が経過した場合には、図５（ａ）のように、次のサブコマンド「渋滞情報」について同様の処理を行う。
【００５６】
「はい」等の肯定回答をユーザから受け付けた場合には、図５（ｂ）のように、当該サブコマンドに基づいて応答生成処理を行う。なお、図５（ｂ）のように、サブコマンド「目的地設定」が直接呼び出されたのではなく、コマンド「カーナビ」から間接的に呼び出された場合には、状況記録データベース１５に、コマンド間接呼び出し状況として呼び出された回数の累積値を記録する。このときの状況記録データベース１５の例を図６に示す。
【００５７】
そして、状況記録データベース１５に累積されている間接呼び出しの回数が所定の回数に到達したら、直接呼び出しを行うためのガイダンスを応答として生成する。当該ユーザは、間接呼び出しされたコマンドに習熟していると判断できるからである。
【００５８】
そして、状況記録データベース１５において、「カーナビ」のコマンド呼び出し状況が更新されると同時に、「目的地設定」のコマンド間接呼び出し状況も更新される。間接呼び出しの判断回数が‘３’とすると、コマンド「目的地設定」については所定の回数に到達していることから、システムはコマンド「目的地設定」の直接呼出し（通常のコマンド呼び出し）のガイダンスを行うことになる。
【００５９】
さらにコマンド「目的地設定」の直接呼び出しが所定の回数行われたら、当該コマンドのガイダンスを止めることも考えられる。ユーザにとっての習熟度がかなり高いと判断できるからである。
【００６０】
また、ガイダンスも直接呼出しも何度か行われているにも関わらず、再度間接呼び出しが行われた場合は、ユーザが当該コマンドを忘れたものと判断できる。したがって、かかる場合には、ガイダンス出力状況の累積値をリセットし、再びガイダンスを行うようにすることも考えられる。
【００６１】
一方、同じコマンドであっても、ガイダンスの内容自体を変化させることも考えられる。例えば、一つのコマンドに対してガイダンスを丁寧なものから簡略なものまで複数用意しておき、ガイダンスの出力回数が増えるに伴い、より簡略なものへとガイダンスを切り替えて出力する処理も考えられる。
【００６２】
例えば、１回目のガイダンスとしては「天気予報をご利用の際は『天気』または『天気予報』と言って下さい。」と、２回目のガイダンスとしては「天気予報をご利用の際は『天気』と言って下さい。」と、３回目のガイダンスとしては「天気予報は『天気』で呼び出せます。」というように、回数を重ねるごとに簡略にガイダンスを出力するよう内容を変化させる。
【００６３】
あるいは、一つのコマンドに対して別の呼び出し方をガイダンスすることもできる。例えば、コマンドの呼び出し回数が増えたら、より複雑な呼び出し方をガイダンスするものである。具体的には、１回目あるいは２回目のガイダンスでは、「天気予報をご利用の際は『天気』と言って下さい。」とガイダンス出力するのに対し、３回目以降のガイダンスでは、「天気予報をご利用の際は『大阪の天気』のように言って下さい。」とガイダンス出力する。なお、ガイダンスの文面を切り替えることに特に限定されるものではなく、例えばガイダンスを読み上げる速度を変化させるものであっても良い。
【００６４】
（実施の形態２）
以下、本発明の実施の形態２にかかる適応型音声対話システムについて、図面を参照しながら説明する。本発明の実施の形態２にかかる適応型音声対話システムの構成図は実施の形態１と同様に図１に示す構成となる。
【００６５】
本実施の形態２においては、状況記録データベース１５の記録データ構成が相違する。図７に本発明の実施の形態２にかかる適応型音声対話システムにおける状況記録データベース１５のデータ構成例示図を示す。
【００６６】
図７に示すように、コマンドが引数を持つコマンドである場合、当該引数の呼び出し頻度についても状況記録データベース１５における記録対象としている点に特徴を有する。
【００６７】
例えば、コマンド「天気」は、場所や日時の情報を引数として持つことができる。したがって、「天気」、「明石の天気」、「明日の神戸の天気」等は、全てコマンド「天気」の呼び出し文法であり、それぞれ場所や日時という引数が与えられている。
【００６８】
そして、実施の形態１と同様にコマンドごとのガイダンス出力とコマンド呼び出しの状況を記録しているのに加えて、引数を持つコマンドそれぞれについて引数の頻度も記録する。例えば図７においては、引数を持つコマンド「天気」について、単純に与えられた引数の回数を記録している。
【００６９】
そして、例えばコマンド「天気」が引数なしで呼び出された場合において、引数の頻度に応じて自動的に引数を補う。すなわち、特定の引数が用いられる頻度が特に高いと判断される場合等に、当該引数を自動的に設定してガイダンスを出力する。逆に特に頻度の高い引数が無い場合には、デフォルトの引数をあらかじめ設定しておくことで、ガイダンスにデフォルトの引数を含めることが可能となる。
【００７０】
例えば、ユーザが「明石の天気」という呼び出しを頻繁に行い、かつ「今日」以外の日時を指定することがほとんどなかった場合、状況記録データベース１５においては、引数「明石」の呼び出し回数が所定のしきい値よりも大きく、引数「今日」についても同様の状況となっている。この場合には、ユーザによるコマンド「天気」だけの呼び出しに対して、引数「今日」と「明石」を補って、ガイダンスとして「今日の明石の天気は晴れです」というように出力されることになる。
【００７１】
以上のように本実施の形態２によれば、ユーザによるコマンドごとの引数の呼び出し回数についても累積値を記録しておくことで、ユーザが引数なしでコマンドを呼び出した場合であっても、効果的なガイダンスを行うことが可能となる。
【００７２】
（実施の形態３）
以下、本発明の実施の形態３にかかる適応型音声対話システムについて、図面を参照しながら説明する。図８に本発明の実施の形態３にかかる適応型音声対話システムの構成図を示す。図８においては、複数のユーザが用いる音声対話システム８１ごとに状況記録データベース１５を形成し、それぞれの累積値を記録集計部８２で集約する点に特徴を有している。
【００７３】
すなわち、本実施の形態３においては、ユーザごとではなく、複数のユーザの値が集計された状況記録データベースを用いて対話制御部１３がガイダンスを生成することになる。
【００７４】
例えば、ほとんどのユーザで利用されていないコマンドのガイダンス出力頻度を低くしたり、利用頻度の低いコマンドのガイダンス出力は簡易化したり、あるいは多くのユーザが利用するコマンドの優先順位を高くする等の制御を行うことによって、ガイダンス出力の有無やガイダンスの内容等を変化させる。このようにすることで、特に当該音声対話システムを使い始めたばかりのユーザについても、比較的有効なガイダンス出力を行うことが可能となる。
【００７５】
なお、記録集計部８２において、複数のユーザの管理下にある状況記録データベース１５の内容を集計するためには、図８の構成のように状況記録データベース１５と記録集計部８２をサーバに設置し、各々の対話制御部１３からネットワークを介して状況記録データベース１５を更新するものであっても良いし、記録集計部８２のみをサーバに設置し、各状況記録データベース１５の内容自体をネットワークを介して集計するものであっても良い。また、ユーザを識別して状況記録データベース１５を切り替えることによって、一つの音声対話システムに対して複数の状況記録データベースを持たせる構成であっても良い。
【００７６】
なお、本発明の実施の形態にかかる適応型音声対話システムを実現するプログラムは、図９に示すように、ＣＤ−ＲＯＭ９２−１やフレキシブルディスク９２−２等の可搬型記録媒体９２だけでなく、通信回線の先に備えられた他の記憶装置９１や、コンピュータ９３のハードディスクやＲＡＭ等の記録媒体９４のいずれに記憶されるものであっても良く、プログラム実行時には、プログラムはローディングされ、主メモリ上で実行される。
【００７７】
また、本発明の実施の形態にかかる適応型音声対話システムにより生成された状況記録データベース等についても、図９に示すように、ＣＤ−ＲＯＭ９２−１やフレキシブルディスク９２−２等の可搬型記録媒体９２だけでなく、通信回線の先に備えられた他の記憶装置９１や、コンピュータ９３のハードディスクやＲＡＭ等の記録媒体９４のいずれに記憶されるものであっても良く、例えば本発明にかかる適応型音声対話システムを利用する際にコンピュータ９３により読み取られる。
【００７８】
【発明の効果】
以上のように本発明にかかる適応型音声対話システムによれば、ユーザのガイダンスに対する応答状況に基づいて、次回のガイダンスをどのような内容で出力するのかを制御することができ、ユーザの個々の状況に応じたガイダンスを含む応答を行うことが可能となる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１にかかる適応型音声対話システムの構成図
【図２】 本発明の実施の形態１にかかる適応型音声対話システムにおけるコマンド／文法データベースのデータ構成例示図
【図３】 本発明の実施の形態１にかかる適応型音声対話システムにおける処理の流れ図
【図４】 本発明の実施の形態１にかかる適応型音声対話システムにおける状況記録データベースのデータ構成例示図
【図５】 本発明の実施の形態１にかかる適応型音声対話システムにおけるガイダンス出力の例示図
【図６】 本発明の実施の形態１にかかる適応型音声対話システムにおける状況記録データベースの他のデータ構成例示図
【図７】 本発明の実施の形態２にかかる適応型音声対話システムにおける状況記録データベースのデータ構成例示図
【図８】 本発明の実施の形態３にかかる適応型音声対話システムの構成図
【図９】 コンピュータ環境の例示図
【符号の説明】
１１ 音声入力部
１２ コマンド抽出部
１３ 対話制御部
１４ コマンド／文法データベース
１５ 状況記録データベース
１６ 音声出力部
８１ 音声対話システム
８２ 記録集計部
９１ 回線先の記憶装置
９２ ＣＤ−ＲＯＭやフレキシブルディスク等の可搬型記録媒体
９２−１ ＣＤ−ＲＯＭ
９２−２ フレキシブルディスク
９３ コンピュータ
９４ コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
【発明の属する技術分野】
本発明は、人間とコンピュータが音声を用いて対話する適応型音声対話システム及び方法に関する。特に、使用する人間のシステムに対する慣れに応じてガイダンス出力を変化させる適応型音声対話システム及び方法に関する。
【０００２】
【従来の技術】
近年におけるＩＴ化の急速な進展に伴って、音声を用いた対話インタフェースが各種アプリケーションで活用されている。特に、車の運転中のように、操作のために手を使うことができず、かつ視線をそらすことができないような状況下においては、アプリケーション操作は、アイズ・フリーあるいはハンズフリーであることが重要な要素となる。つまり、アプリケーション機器の操作に手や目を奪われて、運転操作自体が妨げられるようなことは、安全上必ず回避しなければならない。
【０００３】
そこで、かかる状況下で使用される可能性の高いアプリケーションには、積極的に音声を用いたインターフェースが採用されてきている。音声による対話インタフェースは、たとえ運転中であっても比較的注意を集中しやすく、運転操作を妨げることなくアプリケーション操作を行うことが可能である。
【０００４】
しかし、音声を用いるインタフェースであっても、出力される音声の内容によっては、注意深く聞いたり、あるいは記憶しておく必要が生じる。このような場合、例えば運転者は集中力や注意力を削がれることになり、安全上好ましくない。
【０００５】
そこで、このような問題を解決するために、様々な工夫がなされている。例えば、（特許文献１）においては、ユーザのアプリケーションに対する慣れを、当該アプリケーションへのアクセス頻度から推定し、慣れの程度に応じて音声案内の内容を自動的に変更する音声案内装置が開示されている。
【０００６】
あるいは、（特許文献２）では、ユーザの使用アプリケーションに対する熟練度を評価し、当該熟練度に基づいてガイダンスを選択する音声対話装置が開示されている。熟練度の判断基準としては、ユーザによる音声入力がなされるまでの応答時間や入力結果に対する修正回数等が用いられている。
【０００７】
また（特許文献３）では、応答時間のみで判断できない要素を加味するために、不要語や言いよどみ等を検出することで、ユーザがアプリケーションに対して不慣れであるか否かを判断し、ガイダンスを変更する音声応答装置が開示されている。
【０００８】
【特許文献１】
特開２００１−２２３７０号公報
【０００９】
【特許文献２】
特開平１０−２０８８４号公報
【００１０】
【特許文献３】
特開２００１−３３１１９６号公報
【００１１】
【発明が解決しようとする課題】
しかし、上述したような音声対話システムにおいては、ユーザによる応答入力があることを前提としており、手が離せない等の緊急の状況に遭遇したユーザについても、応答時間がかかってしまったために習熟度が低いユーザであると判断され、習熟度が高いユーザに対して初心者用のガイダンスが出力されてしまうという問題点があった。
【００１２】
また、従来の音声対話インターフェースでは、応答音声の出力中に割り込んでユーザが応答を音声入力することができず、習熟者にとっては使いにくいインタフェースとなっているという問題点もあった。
【００１３】
本発明は、上記問題点を解決するために、ユーザの状況を判断しながらアプリケーションに対する習熟度を判定でき、適切なガイダンスを出力することができる適応型音声対話システム及び方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記目的を達成するために本発明にかかる適応型音声対話システムは、ユーザの音声を入力する音声入力部と、入力された音声を認識してコマンドを抽出するコマンド抽出部と、ユーザが音声を入力した第一のタイミングにおいて、コマンドに基づいてシステムが出力するシステム応答を生成する対話制御部と、対話制御部からの指示によって音声による出力を行う音声出力部とを含む適応型音声対話システムであって、生成されたシステム応答にユーザが応答するべき内容に関するガイダンスを含み、ガイダンスの出力状況及びユーザによる音声入力状況を状況記録データベースに記録し、状況記録データベースを参照することで、ガイダンスを状況に応じて変化させることを特徴とする。
【００１５】
かかる構成により、ユーザのガイダンスに対する応答状況に基づいて、次回のガイダンスをどのような内容で出力するのかを制御することができ、ユーザの個々の状況に応じたガイダンスを含む応答を行うことが可能となる。
【００１６】
また、本発明にかかる適応型音声対話システムは、対話制御部において、ユーザからの応答無しに所定時間経過した第二のタイミングにおいても、コマンドに基づいてシステムが出力するシステム応答を生成することが好ましい。
【００１７】
また、本発明にかかる適応型音声対話システムは、コマンドが主部と引数とで構成され、状況記録データベースに引数の利用頻度も記録し、ユーザが音声入力したコマンドにおいて引数が省略されている場合に、抽出されたコマンドの主部に対して、引数の利用頻度に応じて引数を補うことが好ましい。引数が入力されていない場合であっても、引数の利用頻度に応じて補うことができ、無駄な応答やガイダンスを省略することができるからである。
【００１８】
また、本発明にかかる適応型音声対話システムは、複数のユーザに関する状況記録データベースの記録内容を集計する記録集計部をさらに含み、記録集計部における集計結果に応じて、対話制御部が、ガイダンス出力の有無、及びガイダンスの内容を決定することが好ましい。音声対話システムを使い始めたばかりのユーザであっても、ある程度有効なガイダンスを出力することができるからである。
【００１９】
また、本発明は、上記のような適応型音声対話システムの機能をコンピュータの処理ステップとして実行するソフトウェアを特徴とするものであり、具体的には、ユーザの音声を入力する工程と、入力された音声を認識してコマンドを抽出する工程と、ユーザが音声を入力した第一のタイミングにおいて、コマンドに基づいてシステムが出力するシステム応答を生成する工程と、音声による出力を行う工程とを含む適応型音声対話方法であって、生成されたシステム応答にユーザが応答するべき内容に関するガイダンスを含み、ガイダンスの出力状況及びユーザによる音声入力状況を状況記録データベースに記録し、状況記録データベースを参照することで、ガイダンスを状況に応じて変化させる適応型音声対話方法並びにそのような工程を具現化するコンピュータ実行可能なプログラムであることを特徴とする。
【００２０】
かかる構成により、コンピュータ上へ当該プログラムをロードさせ実行することで、ユーザのガイダンスに対する応答状況に基づいて、次回のガイダンスをどのような内容で出力するのかを制御することができ、ユーザの個々の状況に応じたガイダンスを含む応答を行うことができる適応型音声対話システムを実現することが可能となる。
【００２１】
また、本発明にかかる適応型音声対話システムを具現化するコンピュータ実行可能なプログラムは、上述した適応型音声対話方法におけるシステム応答を生成する工程において、ユーザからの応答無しに所定時間経過した第二のタイミングにおいても、コマンドに基づいてシステムが出力するシステム応答を生成することが好ましい。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態にかかる適応型音声対話システムについて、図面を参照しながら説明する。図１は本発明の実施の形態１にかかる適応型音声対話システムの構成図である。
【００２３】
図１において、１１はユーザの音声を入力する音声入力部を示しており、入力媒体としてはマイクロホン等が考えられる。１２は、入力された音声を認識してコマンドを抽出するコマンド抽出部を示しており、入力された音声を認識することによって入力された内容を認識して、含まれているアプリケーションを制御するためのコマンドを抽出する。
【００２４】
認識できるコマンドと、当該コマンドがどのような引数を求められるか、といった「文法」に関する情報は、あらかじめ登録してあるコマンド／文法データベース１４を、コマンド抽出部１２が参照する。コマンド抽出部１２は、認識結果と合致するコマンド、及び引数と考えられる内容を対話制御部１３へと送る。
【００２５】
またコマンド抽出部１２は、認識結果と合致するコマンドがコマンド／文法データベース１４に存在しない場合にはその旨を対話制御部１３に通知する。また、認識開始時に設定された所定のタイムアウト時間を過ぎてもユーザからの入力が無かった場合には、無入力であった旨についても対話制御部１３に通知する。
【００２６】
なお、音声入力の認識方法については、既存の音声認識方法であれば何でも良く、特に限定されるものではない。
【００２７】
そして、対話制御部１３では、ユーザが音声を入力した第一のタイミングもしくはユーザによる音声入力から所定のタイムアウト時間が経過した第二のタイミングにおいて、抽出されたコマンドに基づいて、ユーザに提示するべき応答を生成する。
【００２８】
ユーザにより音声が入力される第一のタイミングとしては、音声出力の開始と同時、あるいは音声出力開始後しばらくしてから、又は音声出力の完了と同時等、様々なタイミングが考えられる。
【００２９】
例えば、システム側のガイダンスとしての音声出力の開始と同時にユーザが音声の入力を開始した場合、システムによる音声出力の途中であってもユーザからの音声入力を受け付ける必要が生じる。このように、音声出力途上においてユーザからの音声入力を受け付けた場合、音声出力を中断することも考えられるし、音声入力の認識結果に応じて出力を続行することも考えられる。
【００３０】
また、音声入力の開始時には、通常タイムアウト時間が設定されている。したがって、ユーザによる応答が全く無い場合であっても、タイムアウト時間経過時という第二のタイミングにおいて、ユーザに提示するべき応答を生成することができる。
【００３１】
そして、ユーザからの入力があったら、あるいはユーザからの入力が無いまま当該タイムアウト時間が経過したら、対話制御部１３は、入力されたコマンドあるいは無入力であったという情報に基づいて、以下の応答を生成する。
【００３２】
次に、生成される応答には、ユーザが入力するべき音声のガイダンス情報が含まれている。そして、ガイダンスの出力状況や、当該ガイダンスに対するユーザの音声入力状況を状況記録データベース１４に記録する。
【００３３】
コマンド／文法データベース１４には、各コマンドごとに、コマンドの文法に関するガイダンスを登録しておく。ガイダンスは録音した音声であっても良いし、音声合成に用いられるテキストデータであっても良い。図２に、テキストデータを用いたコマンド／文法データベース１４におけるガイダンス登録例を示す。
【００３４】
また、状況記録データベース１５には、コマンドごとにガイダンス出力状況とコマンド呼び出し状況が記録される。図３は、状況記録データベース１５の一例である。
【００３５】
図３の例において、まずガイダンス出力状況については、出力した回数を記録しておき、対話制御部１３が当該コマンドについてのガイダンスを出力するたびに回数を累積する。そして、当該ガイダンスの出力回数が所定のしきい値を超えた場合には、ユーザが当該コマンドに習熟したものと判断して、ガイダンスの出力を停止する。
【００３６】
また、最後に出力を行った日時を記録しておき、過去一定期間内に出力を行っている場合には、ガイダンスを出力しないようにすることも考えられる。この場合、設定されている一定の期間が経過すると、再びガイダンスを行うようにすることが好ましい。
【００３７】
また、ガイダンス出力回数の累積値と最終出力日時を併用することで、ガイダンスの出力回数が一定の回数を超えたらガイダンスを止めるが、最終出力から一定期間経過したら累積カウンタをリセットし、再びガイダンスを行うようにすることも可能となる。
【００３８】
次に、コマンド呼び出し状況としては、コマンド呼び出し回数を記録している。ユーザが当該コマンドを呼び出すたびにコマンド呼び出し回数を累積する。ユーザによるコマンド呼び出しが所定の回数を超えた場合には、ユーザが当該コマンドに習熟したものと判断して、ガイダンスの出力を停止する。
【００３９】
さらに、当該コマンドの最終呼び出し日時を記録しておき、最終呼び出しから一定の期間が経過したら呼び出し回数の累積カウンタをリセットし、再びガイダンスを行うようにすることも考えられる。
【００４０】
また、全てのコマンドについてガイダンスを行うとシステムの発話量が多くなり過ぎるという問題を避けるため、ガイダンスを行う数を制限することも考えられる。例えば、一回の発話、あるいは一定期間、の中でガイダンスするコマンドの数を一定数に制限することで実現可能となる。
【００４１】
さらに、状況記録データベース１５の内容をユーザごとに保存しておくことによって、ユーザが再び対話を開始したときに前回の状況を引き継いで対話を行うこともできる。
【００４２】
最後に音声出力部１６では、対話制御部１３からの指示によって音声による出力を行う。テキストデータを与えられ、当該テキストデータを音声合成によって音声に変換して出力する場合もあるし、ファイル識別子を与えられ、当該ファイル識別子に対応する音声ファイルを再生する場合もある。
【００４３】
次に、本発明の実施の形態１にかかる適応型音声対話システムを実現するプログラムの処理の流れについて説明する。図４に本発明の実施の形態１にかかる適応型音声対話システムを実現するプログラムの処理の流れ図を示す。
【００４４】
図３において、まずユーザによる音声が入力され（ステップＳ３０１）、入力された音声を認識してコマンド／文法データベース１４を照会する（ステップＳ３０２）。そして、認識結果と合致するコマンドが存在した場合には（ステップＳ３０３：Ｙｅｓ）、当該コマンド及び引数と考えられる内容が抽出され対話制御部１３に渡される（ステップＳ３０４）。
【００４５】
認識結果と合致するコマンドが存在しない場合には（ステップＳ３０３：Ｎｏ）、その旨を対話制御部１３に通知し、ユーザの再入力待ちとなる。
【００４６】
そして、ユーザが音声を入力した第一のタイミングもしくはユーザによる音声入力から所定のタイムアウト時間が経過した第二のタイミングにおいて、抽出されたコマンドに基づいて、状況記録データベース１５を照会する（ステップＳ３０５）。
【００４７】
そして、状況記録データベース１５におけるコマンドごとのガイダンス出力状況及びコマンド呼び出し状況に応じて、ガイダンスを含めた応答が生成され（ステップＳ３０６）、合成音声として出力される（ステップＳ３０７）。
【００４８】
以上のように本実施の形態１によれば、システムによる応答出力の中で、ユーザが入力すべきコマンドの文法、すなわち呼び出し方がガイダンスされ、ユーザは応答出力音声を聞きながら、当該音声対話システムに対するコマンドの呼び出し方を修得することができる。
【００４９】
また、同じガイダンス出力は、一定頻度に抑制することができ、延々と繰り返されることを回避することができる。また、ユーザが当該コマンドの呼び出し方を覚えて直接当該コマンドを呼び出す場合には、当該コマンドのガイダンス出力は行われない。さらに、ガイダンス出力が行われなくなってから、あるいはコマンドを呼び出さなくなってから、所定の時間経過すると、再びガイダンスが行われるようになる。このように、ユーザのコマンド習得の状況に対して適応的にガイダンス出力を行うことができるようになる。
【００５０】
ガイダンスの選択方法には様々な方法が考えられる。例えば、コマンドに対して優先順位を付けておき、優先順位が上位のコマンドから順にガイダンスを行うかどうかの判定を行い、上位のコマンドのガイダンスを行わない場合にのみ下位のコマンドのガイダンスを行うようにする方法が考えられる。
【００５１】
このようにすることで、基本的なコマンドほど優先順位を上位に設定しておくことで、最初は基本的なコマンドについてのガイダンスを行い、当該ガイダンスがユーザにとって不必要であると判断されたら、より高度なコマンドのガイダンスを行う、というように段階的にガイダンスを行うことが可能となる。なお、優先順位が同じコマンドが複数設定されていても良い。
【００５２】
具体的には、例えば「停止」コマンドの方が「再生」コマンドよりも優先順位が上位に設定されている場合には、まず「停止」コマンドのガイダンスが優先されて出力される。その後、ユーザが実際に「停止」コマンドを呼び出し、「停止」コマンドのガイダンスが必要なくなった後に、「再生」コマンドのガイダンスが行われるようになる。
【００５３】
また、コマンドを階層化しておくことも考えられる。例えば、「カーナビ」コマンドに対して、サブコマンド「目的地設定」、「渋滞情報」、「所要時間情報」を準備しておく。この場合の対話の状況を図５に示す。図５において、‘Ｕ’はユーザによる音声入力を、‘Ｓ’はシステムによる応答出力（ガイダンス）を示している。
【００５４】
図５のように、まずユーザが「カーナビ」コマンドを呼び出す。対話制御部１３は、各サブコマンドについて問い合わせを行う。すなわち、次にサブコマンド「目的地設定」を利用するかどうかについての問い合わせを出力する。かかるガイダンスでは、ユーザが音声入力として「はい」もしくは「いいえ」等の肯定もしくは否定の回答のみを受け付けるようガイダンスする。
【００５５】
「いいえ」等の否定回答をユーザから受け付けた、あるいはガイダンスを出力してから所定の時間が経過した場合には、図５（ａ）のように、次のサブコマンド「渋滞情報」について同様の処理を行う。
【００５６】
「はい」等の肯定回答をユーザから受け付けた場合には、図５（ｂ）のように、当該サブコマンドに基づいて応答生成処理を行う。なお、図５（ｂ）のように、サブコマンド「目的地設定」が直接呼び出されたのではなく、コマンド「カーナビ」から間接的に呼び出された場合には、状況記録データベース１５に、コマンド間接呼び出し状況として呼び出された回数の累積値を記録する。このときの状況記録データベース１５の例を図６に示す。
【００５７】
そして、状況記録データベース１５に累積されている間接呼び出しの回数が所定の回数に到達したら、直接呼び出しを行うためのガイダンスを応答として生成する。当該ユーザは、間接呼び出しされたコマンドに習熟していると判断できるからである。
【００５８】
そして、状況記録データベース１５において、「カーナビ」のコマンド呼び出し状況が更新されると同時に、「目的地設定」のコマンド間接呼び出し状況も更新される。間接呼び出しの判断回数が‘３’とすると、コマンド「目的地設定」については所定の回数に到達していることから、システムはコマンド「目的地設定」の直接呼出し（通常のコマンド呼び出し）のガイダンスを行うことになる。
【００５９】
さらにコマンド「目的地設定」の直接呼び出しが所定の回数行われたら、当該コマンドのガイダンスを止めることも考えられる。ユーザにとっての習熟度がかなり高いと判断できるからである。
【００６０】
また、ガイダンスも直接呼出しも何度か行われているにも関わらず、再度間接呼び出しが行われた場合は、ユーザが当該コマンドを忘れたものと判断できる。したがって、かかる場合には、ガイダンス出力状況の累積値をリセットし、再びガイダンスを行うようにすることも考えられる。
【００６１】
一方、同じコマンドであっても、ガイダンスの内容自体を変化させることも考えられる。例えば、一つのコマンドに対してガイダンスを丁寧なものから簡略なものまで複数用意しておき、ガイダンスの出力回数が増えるに伴い、より簡略なものへとガイダンスを切り替えて出力する処理も考えられる。
【００６２】
例えば、１回目のガイダンスとしては「天気予報をご利用の際は『天気』または『天気予報』と言って下さい。」と、２回目のガイダンスとしては「天気予報をご利用の際は『天気』と言って下さい。」と、３回目のガイダンスとしては「天気予報は『天気』で呼び出せます。」というように、回数を重ねるごとに簡略にガイダンスを出力するよう内容を変化させる。
【００６３】
あるいは、一つのコマンドに対して別の呼び出し方をガイダンスすることもできる。例えば、コマンドの呼び出し回数が増えたら、より複雑な呼び出し方をガイダンスするものである。具体的には、１回目あるいは２回目のガイダンスでは、「天気予報をご利用の際は『天気』と言って下さい。」とガイダンス出力するのに対し、３回目以降のガイダンスでは、「天気予報をご利用の際は『大阪の天気』のように言って下さい。」とガイダンス出力する。なお、ガイダンスの文面を切り替えることに特に限定されるものではなく、例えばガイダンスを読み上げる速度を変化させるものであっても良い。
【００６４】
（実施の形態２）
以下、本発明の実施の形態２にかかる適応型音声対話システムについて、図面を参照しながら説明する。本発明の実施の形態２にかかる適応型音声対話システムの構成図は実施の形態１と同様に図１に示す構成となる。
【００６５】
本実施の形態２においては、状況記録データベース１５の記録データ構成が相違する。図７に本発明の実施の形態２にかかる適応型音声対話システムにおける状況記録データベース１５のデータ構成例示図を示す。
【００６６】
図７に示すように、コマンドが引数を持つコマンドである場合、当該引数の呼び出し頻度についても状況記録データベース１５における記録対象としている点に特徴を有する。
【００６７】
例えば、コマンド「天気」は、場所や日時の情報を引数として持つことができる。したがって、「天気」、「明石の天気」、「明日の神戸の天気」等は、全てコマンド「天気」の呼び出し文法であり、それぞれ場所や日時という引数が与えられている。
【００６８】
そして、実施の形態１と同様にコマンドごとのガイダンス出力とコマンド呼び出しの状況を記録しているのに加えて、引数を持つコマンドそれぞれについて引数の頻度も記録する。例えば図７においては、引数を持つコマンド「天気」について、単純に与えられた引数の回数を記録している。
【００６９】
そして、例えばコマンド「天気」が引数なしで呼び出された場合において、引数の頻度に応じて自動的に引数を補う。すなわち、特定の引数が用いられる頻度が特に高いと判断される場合等に、当該引数を自動的に設定してガイダンスを出力する。逆に特に頻度の高い引数が無い場合には、デフォルトの引数をあらかじめ設定しておくことで、ガイダンスにデフォルトの引数を含めることが可能となる。
【００７０】
例えば、ユーザが「明石の天気」という呼び出しを頻繁に行い、かつ「今日」以外の日時を指定することがほとんどなかった場合、状況記録データベース１５においては、引数「明石」の呼び出し回数が所定のしきい値よりも大きく、引数「今日」についても同様の状況となっている。この場合には、ユーザによるコマンド「天気」だけの呼び出しに対して、引数「今日」と「明石」を補って、ガイダンスとして「今日の明石の天気は晴れです」というように出力されることになる。
【００７１】
以上のように本実施の形態２によれば、ユーザによるコマンドごとの引数の呼び出し回数についても累積値を記録しておくことで、ユーザが引数なしでコマンドを呼び出した場合であっても、効果的なガイダンスを行うことが可能となる。
【００７２】
（実施の形態３）
以下、本発明の実施の形態３にかかる適応型音声対話システムについて、図面を参照しながら説明する。図８に本発明の実施の形態３にかかる適応型音声対話システムの構成図を示す。図８においては、複数のユーザが用いる音声対話システム８１ごとに状況記録データベース１５を形成し、それぞれの累積値を記録集計部８２で集約する点に特徴を有している。
【００７３】
すなわち、本実施の形態３においては、ユーザごとではなく、複数のユーザの値が集計された状況記録データベースを用いて対話制御部１３がガイダンスを生成することになる。
【００７４】
例えば、ほとんどのユーザで利用されていないコマンドのガイダンス出力頻度を低くしたり、利用頻度の低いコマンドのガイダンス出力は簡易化したり、あるいは多くのユーザが利用するコマンドの優先順位を高くする等の制御を行うことによって、ガイダンス出力の有無やガイダンスの内容等を変化させる。このようにすることで、特に当該音声対話システムを使い始めたばかりのユーザについても、比較的有効なガイダンス出力を行うことが可能となる。
【００７５】
なお、記録集計部８２において、複数のユーザの管理下にある状況記録データベース１５の内容を集計するためには、図８の構成のように状況記録データベース１５と記録集計部８２をサーバに設置し、各々の対話制御部１３からネットワークを介して状況記録データベース１５を更新するものであっても良いし、記録集計部８２のみをサーバに設置し、各状況記録データベース１５の内容自体をネットワークを介して集計するものであっても良い。また、ユーザを識別して状況記録データベース１５を切り替えることによって、一つの音声対話システムに対して複数の状況記録データベースを持たせる構成であっても良い。
【００７６】
なお、本発明の実施の形態にかかる適応型音声対話システムを実現するプログラムは、図９に示すように、ＣＤ−ＲＯＭ９２−１やフレキシブルディスク９２−２等の可搬型記録媒体９２だけでなく、通信回線の先に備えられた他の記憶装置９１や、コンピュータ９３のハードディスクやＲＡＭ等の記録媒体９４のいずれに記憶されるものであっても良く、プログラム実行時には、プログラムはローディングされ、主メモリ上で実行される。
【００７７】
また、本発明の実施の形態にかかる適応型音声対話システムにより生成された状況記録データベース等についても、図９に示すように、ＣＤ−ＲＯＭ９２−１やフレキシブルディスク９２−２等の可搬型記録媒体９２だけでなく、通信回線の先に備えられた他の記憶装置９１や、コンピュータ９３のハードディスクやＲＡＭ等の記録媒体９４のいずれに記憶されるものであっても良く、例えば本発明にかかる適応型音声対話システムを利用する際にコンピュータ９３により読み取られる。
【００７８】
【発明の効果】
以上のように本発明にかかる適応型音声対話システムによれば、ユーザのガイダンスに対する応答状況に基づいて、次回のガイダンスをどのような内容で出力するのかを制御することができ、ユーザの個々の状況に応じたガイダンスを含む応答を行うことが可能となる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１にかかる適応型音声対話システムの構成図
【図２】 本発明の実施の形態１にかかる適応型音声対話システムにおけるコマンド／文法データベースのデータ構成例示図
【図３】 本発明の実施の形態１にかかる適応型音声対話システムにおける処理の流れ図
【図４】 本発明の実施の形態１にかかる適応型音声対話システムにおける状況記録データベースのデータ構成例示図
【図５】 本発明の実施の形態１にかかる適応型音声対話システムにおけるガイダンス出力の例示図
【図６】 本発明の実施の形態１にかかる適応型音声対話システムにおける状況記録データベースの他のデータ構成例示図
【図７】 本発明の実施の形態２にかかる適応型音声対話システムにおける状況記録データベースのデータ構成例示図
【図８】 本発明の実施の形態３にかかる適応型音声対話システムの構成図
【図９】 コンピュータ環境の例示図
【符号の説明】
１１ 音声入力部
１２ コマンド抽出部
１３ 対話制御部
１４ コマンド／文法データベース
１５ 状況記録データベース
１６ 音声出力部
８１ 音声対話システム
８２ 記録集計部
９１ 回線先の記憶装置
９２ ＣＤ−ＲＯＭやフレキシブルディスク等の可搬型記録媒体
９２−１ ＣＤ−ＲＯＭ
９２−２ フレキシブルディスク
９３ コンピュータ
９４ コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
Claims (9)
- ユーザの音声を入力する音声入力部と、
音声によるシステム応答の出力を行う音声出力部とを備えた適応型音声対話システムであって、
階層化されたコマンドとコマンドのガイダンスを対応づけて記録するコマンド／文法データベースと、
前記階層化されたコマンドごとに、前記ガイダンスの出力状況とユーザによるコマンド呼び出し状況とを記録する状況記録データベースと、
入力された音声を認識して、前記コマンド／文法データベースを参照することにより、コマンドを抽出するコマンド抽出部と、
ユーザから音声の入力を受け付けた第一のタイミングにおいて、コマンド抽出部に抽出された前記コマンドに基づいて、前記状況記録データベースを参照することで、ユーザが応答するべき内容に関するガイダンスを含むシステム応答を生成する対話制御部とを備え、
前記対話制御部は、前記状況記録データベースの、前記コマンド抽出部が抽出したコマンドの前記ガイダンスの出力状況とユーザによるコマンド呼び出し状況を更新および参照することで、前記ガイダンスを状況に応じて変化させ、前記コマンドのサブコマンドが存在する場合、サブコマンドのガイダンスを含むシステム応答を生成することを特徴とする適応型音声対話システム。 - 前記対話制御部は、更に、ユーザからの応答無しに所定時間経過した第二のタイミングにおいても、前記コマンドに基づいてシステムが出力するシステム応答を生成する請求項１に記載の適応型音声対話システム。
- 前記コマンドが主部と引数とで構成され、前記状況記録データベースに前記引数の利用頻度も記録し、ユーザが音声入力したコマンドにおいて前記引数が省略されている場合に、抽出された前記コマンドの前記主部に対して、前記引数の利用頻度に応じて前記引数を補う請求項１又は２に記載の適応型音声対話システム。
- 複数のユーザに関する状況記録データベースの記録内容を集計する記録集計部をさらに含み、
前記記録集計部における集計結果に応じて、前記対話制御部が、前記ガイダンス出力の有無、及び前記ガイダンスの内容を決定する請求項１又は２に記載の適応型音声対話システム。 - 前記対話制御部は、サブコマンドのガイダンスを含むシステム応答に対して、ユーザが前記サブコマンドの呼び出しを行った回数を、間接呼び出し回数として、前記状況記録データベースに記録し、前記間接呼び出し回数に応じて、前記サブコマンドのガイダンスを変化させる、請求項１に記載の適応型音声対話システム。
- 階層化されたコマンドとコマンドのガイダンスを対応づけて記録するコマンド／文法データベースと、
前記階層化されたコマンドごとに、前記ガイダンスの出力状況とユーザによるコマンド呼び出し状況とを記録する状況記録データベースとにアクセス可能なコンピュータが実行する適応型音声対話方法であって、
ユーザの音声を入力する工程と、
音声によるシステム応答の出力を行う工程と、
入力された音声を認識して、前記コマンド／文法データベースを参照することにより、コマンドを抽出するコマンド抽出工程と、
ユーザから音声の入力を受け付けた第一のタイミングにおいて、コマンド抽出工程で抽出された前記コマンドに基づいて、前記状況記録データベースを参照することで、ユーザが応答するべき内容に関するガイダンスを含むシステム応答を生成する対話制御工程とを含み、
前記対話制御工程において、前記コンピュータは、前記状況記録データベースの、前記コマンド抽出工程で抽出されたコマンドの前記ガイダンスの出力状況とユーザによるコマンド呼び出し状況を更新および参照することで、前記ガイダンスを状況に応じて変化させ、前記コマンドのサブコマンドが存在する場合、サブコマンドのガイダンスを含むシステム応答を生成することを特徴とする適応型音声対話方法。 - 前記システム応答を生成する工程において、ユーザからの応答無しに所定時間経過した第二のタイミングにおいても、前記コマンドに基づいてシステムが出力するシステム応答を生成する請求項６に記載の適応型音声対話方法。
- 階層化されたコマンドとコマンドのガイダンスを対応づけて記録するコマンド／文法データベースと、
前記階層化されたコマンドごとに、前記ガイダンスの出力状況とユーザによるコマンド呼び出し状況とを記録する状況記録データベースとにアクセス可能なコンピュータに処理を実行させる適応型音声対話プログラムであって、
ユーザの音声を入力する処理と、
音声によるシステム応答の出力を行う処理と、
入力された音声を認識して、前記コマンド／文法データベースを参照することにより、コマンドを抽出するコマンド抽出処理と、
ユーザから音声の入力を受け付けた第一のタイミングにおいて、コマンド抽出処理で抽出された前記コマンドに基づいて、前記状況記録データベースを参照することで、ユーザが応答するべき内容に関するガイダンスを含むシステム応答を生成する対話制御処理とをコンピュータに実行させ、
前記対話制御処理において、前記状況記録データベースの、前記コマンド抽出処理で抽出されたコマンドの前記ガイダンスの出力状況とユーザによるコマンド呼び出し状況を更新および参照することで、前記ガイダンスを状況に応じて変化させ、前記コマンドのサブコマンドが存在する場合、サブコマンドのガイダンスを含むシステム応答を生成することを特徴とする適応型音声対話プログラム。 - 前記システム応答を生成する処理において、ユーザからの応答無しに所定時間経過した第二のタイミングにおいても、前記コマンドに基づいてシステムが出力するシステム応答を生成する請求項８に記載の適応型音声対話プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003048021A JP4223832B2 (ja) | 2003-02-25 | 2003-02-25 | 適応型音声対話システム及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003048021A JP4223832B2 (ja) | 2003-02-25 | 2003-02-25 | 適応型音声対話システム及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004258233A JP2004258233A (ja) | 2004-09-16 |
| JP4223832B2 true JP4223832B2 (ja) | 2009-02-12 |
Family
ID=33114106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003048021A Expired - Fee Related JP4223832B2 (ja) | 2003-02-25 | 2003-02-25 | 適応型音声対話システム及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4223832B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10706853B2 (en) | 2015-11-25 | 2020-07-07 | Mitsubishi Electric Corporation | Speech dialogue device and speech dialogue method |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4623278B2 (ja) * | 2004-12-22 | 2011-02-02 | 日本電気株式会社 | 音声対話装置、支援装置、生成装置、音声対話方法、支援方法、生成方法およびプログラム |
| JP4634156B2 (ja) * | 2005-01-07 | 2011-02-16 | パナソニック株式会社 | 音声対話方法および音声対話装置 |
| JP2007232829A (ja) * | 2006-02-28 | 2007-09-13 | Murata Mach Ltd | 音声対話装置とその方法及びプログラム |
| WO2007116712A1 (ja) * | 2006-04-07 | 2007-10-18 | Pioneer Corporation | 音声認識装置、音声認識方法、音声認識プログラム、および記録媒体 |
| KR20140089871A (ko) | 2013-01-07 | 2014-07-16 | 삼성전자주식회사 | 대화형 서버, 그 제어 방법 및 대화형 시스템 |
| JP6122642B2 (ja) * | 2013-01-10 | 2017-04-26 | 株式会社Ｎｔｔドコモ | 機能実行システム及び発話例出力方法 |
| JP6598020B2 (ja) * | 2015-04-16 | 2019-10-30 | パナソニックＩｐマネジメント株式会社 | 情報通知方法及び音声出力装置 |
| US10504509B2 (en) * | 2015-05-27 | 2019-12-10 | Google Llc | Providing suggested voice-based action queries |
| CN108520748B (zh) * | 2018-02-01 | 2020-03-03 | 百度在线网络技术（北京）有限公司 | 一种智能设备功能引导方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06261126A (ja) * | 1993-03-08 | 1994-09-16 | Nippon Telegr & Teleph Corp <Ntt> | オペレータ支援型音声対話装置 |
| JP3231693B2 (ja) * | 1998-01-22 | 2001-11-26 | 日本電気株式会社 | 音声対話装置 |
| JP3919210B2 (ja) * | 2001-02-15 | 2007-05-23 | アルパイン株式会社 | 音声入力案内方法及び装置 |
| JP4155383B2 (ja) * | 2001-03-05 | 2008-09-24 | アルパイン株式会社 | 音声認識機器操作装置 |
-
2003
- 2003-02-25 JP JP2003048021A patent/JP4223832B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10706853B2 (en) | 2015-11-25 | 2020-07-07 | Mitsubishi Electric Corporation | Speech dialogue device and speech dialogue method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004258233A (ja) | 2004-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111508474B (zh) | 一种语音打断方法、电子设备及存储装置 | |
| US10699702B2 (en) | System and method for personalization of acoustic models for automatic speech recognition | |
| US10325598B2 (en) | Speech recognition power management | |
| JP2019117623A (ja) | 音声対話方法、装置、デバイス及び記憶媒体 | |
| US9576571B2 (en) | Method and apparatus for recognizing and reacting to user personality in accordance with speech recognition system | |
| JP4974510B2 (ja) | 音響情報から意味的な意図を識別するためのシステムおよび方法 | |
| JP6025785B2 (ja) | 自然言語理解のための自動音声認識プロキシシステム | |
| CN112867985B (zh) | 确定中止中断第二会话后是否自动恢复第一自动助理会话 | |
| WO2021212929A1 (zh) | 主动式外呼智能语音机器人多语种交互方法及装置 | |
| US20100037187A1 (en) | Methods and apparatus for controlling a user interface based on the emotional state of a user | |
| CN105009203A (zh) | 用于检测语音命令的方法和装置 | |
| US20020087321A1 (en) | Voice interactive system and voice interactive method | |
| KR20220088926A (ko) | 온-디바이스 기계 학습 모델 트레이닝을 위한 자동화된 어시스턴트 기능의 수정 사용 | |
| CN111429899A (zh) | 基于人工智能的语音响应处理方法、装置、设备及介质 | |
| JP4223832B2 (ja) | 適応型音声対話システム及び方法 | |
| JP2006154724A (ja) | 対話システム、対話方法、及びコンピュータプログラム | |
| WO2017154282A1 (ja) | 音声処理装置および音声処理方法 | |
| US20060095267A1 (en) | Dialogue system, dialogue method, and recording medium | |
| CN112313930B (zh) | 管理保持的方法和装置 | |
| CN114360527A (zh) | 车载语音交互方法、装置、设备及存储介质 | |
| CN116547747A (zh) | 减弱自动语音识别处理结果 | |
| US11669697B2 (en) | Hybrid policy dialogue manager for intelligent personal assistants | |
| JP4491438B2 (ja) | 音声対話装置、音声対話方法、およびプログラム | |
| KR20230007502A (ko) | 자동화된 어시스턴트 응답 제시의 핫워드 프리 선점 | |
| KR20050049207A (ko) | 대화형 연속 음성인식 시스템 및 이를 이용한 음성끝점검출방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050510 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071009 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071016 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081118 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081120 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111128 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111128 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121128 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121128 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131128 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |