JP3378595B2 - 音声対話システムおよびその対話進行制御方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声対話システムに関
し、特にユーザがシステムからの出力をさえぎって発声
することにより、システムからの音声出力を途中で停止
させることができるようにして対話性を向上させた音声
対話システムに関する。

【０００２】

【従来の技術】従来の音声対話システムでは、システム
がユーザに対して質問をしては、これに対してユーザが
答え、さらにシステムがユーザに対して質問をしては、
これに対してユーザが答える、という事を繰り返しなが
ら作業を進めるようなシステムであった。すなわち、シ
ステムが主導権を持って問いを発し、ユーザはそれに従
って受動的に答えながら作業を進めるような形態が主で
あった。場合によってはシステムからのシグナル音に合
わせてユーザが発声しなければならないようなケースす
らあった。

【０００３】

【発明が解決しようとする課題】上記のような従来のシ
ステムでは入力音声を正しく認識しやすくするため、ユ
ーザの発声の仕方に制約を設けるというユーザに負担を
かける方法をとっており、ユーザの発声のしやすさや対
話の自然性等には配慮がなされていない。

【０００４】本発明の目的は上記従来技術において考慮
が不十分であったユーザの発声のしやすさや対話の自然
性の課題を解決した音声対話システムおよびその対話進
行制御方法を提供することにある。

【０００５】

【課題を解決するための手段】上記本発明の目的を達成
するために、本発明による音声対話システムは、システ
ムとユーザとの間の音声による対話を行う音声対話シス
テムにおいて、ユーザの発話した音声を認識し、一つま
たは複数の単語系列を出力する音声認識手段と、前記一
つまたは複数の単語系列からユーザの意図を抽出する意
図抽出手段と、該意図抽出手段で抽出されたユーザの意
図に基づいてユーザの意図に沿った問題解決を行なう問
題解決手段と、前記音声認識手段から得られる結果およ
び前記意図抽出手段から得られる結果の少なくとも一
方、および前記問題解決手段から得られる結果に基づい
て、ユーザとシステムとの対話の進行を管理する対話進
行制御手段と、該対話進行制御手段における対話進行に
沿ってシステムからの応答文を生成する応答文生成手段
と、該応答文生成手段から生成された応答文を音声とし
て出力する音声出力手段とを備え、該音声認識手段と前
記音声出力手段とは並列動作可能な構成とし、前記音声
出力手段における音声出力の状態を前記対話進行制御手
段から監視制御するようにしたことを特徴とする。

【０００６】

【作用】本発明によれば、システムからの音声出力中に
も、音声入力をすることができ、かつ、ユーザが音声出
力を停止したいとの意図を持っているかどうかを判断し
てシステムからの音声出力を停止できるので、ユーザと
システムとの間で円滑な対話を実現できる。

【０００７】

【実施例】以下、図面を用いて本発明の実施例を詳細に
説明する。

【０００８】図１は本発明の音声対話システムの一実施
例を示すブロック図である。マイク１から入力された音
声は、音声認識部２において認識され、この認識の結
果、１つまたは複数の単語系列が出力される。音声認識
部２における処理は音声が入力されるとともに開始し、
途中で部分的な認識結果が確定するとともに部分的な認
識結果が入力音声の終了を待たずに出力される。音声認
識部２から得られた１つまたは複数の単語系列は意図抽
出部３において解析され、ユーザの発話に含まれる意図
が抽出される。対話進行制御部４は音声認識部２から得
られる結果および意図抽出部３から得られるユーザの発
話に含まれる意図を入力として受け取り、これに基づい
て対話を進める制御を行う。対話進行制御部４は対話の
進行の状態に応じて、次にユーザにどのような発話を促
すかを決定し、これに基づいて音声認識部２に起動を掛
ける。これと並行して、対話の進行に関する情報は応答
文生成部６に送られ、応答文生成部６ではユーザに次の
発話を促すための応答文を生成する。生成された応答文
は音声出力部７に送られ、スピーカ８を通して音声とし
て出力される。音声認識部２から得られた結果が認識不
能という結果であった場合には、対話進行制御部４では
この旨を応答文生成部６に送り、「もう一度お願いしま
す。」といった応答文を生成させ、音声出力部７で音声
出力する。これと並行して、対話進行制御部４では対話
を先に進めずに同じ状態に保留し、この状態にあわせて
音声認識部２に起動を掛ける。意図抽出部３から得られ
るユーザの意図は、対話進行制御部４を通して問題解決
部５に送られる。問題解決部５では、問題解決を実行す
るのに必要十分な情報が集まると、この情報を用いて問
題解決を行ない、その結果を対話進行制御部４に送り返
す。対話進行制御部４では、問題解決部５から得られた
問題解決結果を応答文生成部６に送る。応答文生成部６
では対話進行制御部４から得られた問題解決結果をユー
ザにとってわかりやすい形の文として生成し、音声出力
部７に送る。音声出力部７では応答文生成部６から受け
取った応答文を音声に変換し、スピーカ８を通して出力
する。音声出力部７における音声出力の状態は対話進行
制御部４から監視できるように音声出力部７の状態情報
が対話進行制御部４に入力されており、意図抽出部３で
抽出されたユーザの意図が音声出力の停止の要求であっ
た場合には直接音声出力部７に対し停止を掛け、音声出
力を途中で停止する。

【０００９】次に本実施例の中で用いている音声認識部
２について説明する。

【００１０】音声認識部２の実現方法としては様々な方
法が考えられるが、ここではテンプレートマッチングに
よる実現方法を説明する。図２にテンプレートマッチン
グに基づく音声認識部２の構成を示す。音声入力部２１
に入力された音声は音声分析部２２に送られ、ここで一
定時間間隔ごとに周波数分析され、特徴ベクトルの時系
列として出力される。音声分析部２２から出力された特
徴ベクトルの時系列は照合部２３において、予め認識の
基準として標準パタン格納部２４に格納された各標準パ
タンとの間で照合され、各標準パタンとの間の類似度が
出力される。照合部２３から出力された各標準パタンと
の類似度の情報は判定部２５に送られ、最も類似してい
る標準パタンの一つあるいは上位の複数の候補が認識結
果として出力される。

【００１１】次に本実施例の中で用いている意図抽出部
３について説明する。

【００１２】簡単のため本実施例における対話進行制御
は交通案内に応用したものとする。すなわち、出発地、
目的地を与え、検索項目（所要時間、費用、経路）を指
定すると、その出発地から目的地までに関する指定され
た検索項目（所要時間、費用、経路）の情報を表示する
ような応用とする。出発地、目的地、検索項目の３つの
データのセットが与えられれば、ユーザの意図が解釈で
きたものと考えられる。また、この他のユーザの意図と
してシステムの音声出力の停止の要求やシステムの音声
出力の繰返しの要求といったことも考えられる。そこで
意図抽出部３の構成としては前記ユーザの意図を表わす
キーワードを検出する処理として構成できる。

【００１３】図３にキーワード抽出に基づく意図抽出部
３の構成を示す。キーワード格納部３２には予めユーザ
の意図を表わすキーワードである地名（「東京」「横
浜」「国分寺」等）、検索項目名（「時間」「費用」
「経路」等）、システムの動作を指定する言葉（例えば
「すみません」あるいは「もうわかりました」は音声出
力の停止の要求と考え、「ありがとう」あるいは「もう
結構」は終了の要求と考える。）が格納されている。音
声認識部２から得られた単語系列はキーワード照合部３
１に入力され、ここでキーワード格納部３２に格納され
た現状態に該当する全てのキーワードと比較され、一致
したキーワードがユーザの意図として出力される。一致
するキーワードがない場合には意図抽出不能という結果
を出力する。

【００１４】次に本実施例の中で用いている対話進行制
御部４について説明する。

【００１５】対話進行制御部４の実現方法としては様々
な方法が考えられるが、ここでは状態遷移ネットを用い
た実現方法を説明する。対話の進行を図４に示すような
状態遷移ネットの中の状態遷移として考える。状態遷移
ネットは、状態を表わすノード４５と遷移を表わすアー
ク４６とからなる。状態遷移ネットの基本単位は、図５
に示すような遷移元の状態と遷移先の状態と両者を結ぶ
アークからなる。各アークには認識結果（または意図抽
出結果）、問題解決への指示、応答出力の指示の３項目
が対応付けられる。ある状態において音声認識部２に起
動が掛けられ、認識結果および／または意図抽出結果が
得られると、その認識結果あるいは意図抽出結果が一致
するアークが遷移先として選ばれ、そのアークに記述さ
れた問題解決への指示に応じて問題解決部５に起動がか
けられる。また、そのアークに記述された応答出力の指
示と問題解決部５から得られた問題解決結果に応じて応
答文生成の指示が確定し、この指示内容が応答文生成部
６に送られる。

【００１６】図４の例では、状態０〜２の３つの状態を
有する。状態０では、一定の時間経過してもユーザから
の入力がない場合には（タイムアウト）、システムから
「こんにちは」という応答文出力（音声出力）が行われ
る。このとき問題解決への指示が行われない。ユーザが
発声しても音声認識部２が認識できない場合（リジェク
ト）、あるいは、認識できてもキーワードがない場合に
は、問題解決指示を行うことなく、「もう一度お願いし
ます」という応答文生成を応答文生成部６に指示する。
状態０において、ユーザが「こんにちは」と返答する
と、状態０から状態１へ移る。この際、「目的地はどこ
ですか」という応答文出力が行われる。このときも問題
解決への指示は行われない。ユーザが目的地を発声する
まで、タイムアウトごとにシステムは「目的地はどこで
すか」と繰り返えす。状態１においてユーザが目的地を
発声し、その様に認識され意図抽出がされると、状態２
に移行する。このとき、問題解決への指示としては目的
地登録処理を行なうことが指示され、応答文生成の指示
としては次のユーザの発話を促すための応答文「何が知
りたいですか」が生成される。

【００１７】状態２では、ユーザが「費用は？」と発声
すると、費用問い合わせ処理が行われ、その結果得られ
た時間を基にシステムは「［費用］円です」と答える。
同様に、ユーザからの「地図は？」の発声に対して、地
図問い合わせ処理が行われ、「地図を表示します」と答
える。この他、種々の問い合わせを用意することも可能
である。

【００１８】状態２において、システムが応答文による
音声を出力した後、あるいは出力している途中で、ユー
ザが「すみません」と発声した場合、システムは問題解
決部５への指示を行うことなく、「何でしょうか？」と
応答して、状態２に戻る。この際、音声出力中であれば
音声出力部７に対してその停止を指示する。

【００１９】さらに、状態２においてユーザが「ありが
とう」と発声すると、システムは「御利用ありがとうご
さいました」と答えて、最初の状態０へ戻る。このと
き、問題解決への指示は行われない。これに対して、ユ
ーザが「時間は？」と発声すると、時間問い合わせ処理
が行われ、その結果得られた時間を基にシステムは「約
［時間］分です」と答える。状態１および２において
も、ユーザの発声が認識できない、あるいはキーワード
がない場合には、システムは「もう一度お願いします」
と応答してそれぞれ自状態に戻る。

【００２０】このような対話進行制御を具体的に実現す
るための構成としては図６に示すように状態遷移ネット
を格納する遷移ネット格納部４２を持ち、これに基づい
て状態更新の処理を行なうような対話状態更新部４１を
設け、対話状態更新部４１には音声認識部２、意図抽出
部３、問題解決部５、音声出力部７からの出力を受け取
るようにし、また、対話状態更新部４１からの出力を音
声認識部２、問題解決部５、応答文生成部６、音声出力
部７に出力するように構成する。

【００２１】次に本発明の実施例の中で用いている問題
解決部５について説明する。

【００２２】本実施例における交通案内への応用では、
問題解決の内容は出発地、目的地、検索項目（所要時間
あるいは費用、経路）が何であるかを与えて、その出発
地から目的地までに関する検索項目（所要時間、費用、
経路）に対応する情報を求めることとなる。ここでは最
も簡単な実現方法として表形式に作成された地理データ
ベースから表引きする方法を説明する。その構成は図７
に示すように地理データベース５２とこれに基づいて表
引きを行なう情報検索部５１とからなる。地理データベ
ース５２には図８に示すように表形式で地理データが納
められている。この表のエントリーの中から出発地、目
的地がそれぞれユーザの意図と一致するエントリーを探
し、そのエントリーの中の指定された検索項目（所要時
間あるいは費用、経路）の情報を取り出すことで本問題
解決は実現される。例えば、出発地が国分寺、目的地が
東京であり、検索項目が費用であれば、図８に示した表
の中の第２番目のエントリーが出発地、目的地がそれぞ
れユーザの意図と一致するエントリーとして探しださ
れ、このエントリーの費用の欄を参照して５３０円とい
う答えが得られる。

【００２３】次に本実施例の中で用いている応答文生成
部６について説明する。

【００２４】応答文生成部６の実現方法として、ここで
は予め用意したテンプレート（文のひな形）に基づいて
応答文を生成する方法について説明する。本実施例では
応用を交通案内に限定しているので語彙、文形は限られ
ており、予め用意したテンプレートの穴埋めで十分に対
応できる。以下具体的方法を説明する。テンプレートと
しては図９に示すようなものを用意する。各テンプレー
トには固有の番号が割り当てられており、既に確定した
部分と、変数で示された部分（図９では［ ］で示し
た）から文を構成する。図４で説明した状態遷移ネット
のアークの応答出力の指定の項では、文章で示したが、
実際には、この固有の番号を指定しておく。応答文生成
部６ではこの番号にしたがって文の生成を行なう。変数
の含まれないテンプレートの場合にはテンプレートに示
された文がそのまま生成結果として出力され、変数が含
まれるテンプレートの場合にはその変数の項に問題解決
部５から得られた実際の値を代入して文を生成する。例
えば、テンプレートの番号が１であれば生成文としては
「こんにちは」となり、テンプレートの番号が３であ
り、問題解決部５から得られた結果が「１時間２０分」
であれば、生成文としては「１時間２０分です。」とな
る。

【００２５】応答文生成部６の具体的構成は図１０に示
すように前記テンプレートを格納する応答文テンプレー
ト格納部６２と応答文テンプレート格納部６２に格納さ
れたテンプレートを用いて応答文を作成する応答文作成
部６１からなる。生成された応答文は単語列（単語番号
の系列）として音声出力部７に送られる。

【００２６】次に本実施例の中で用いている音声出力部
７について説明する。

【００２７】音声出力部７の実現方法としては録音再生
による方法や規則合成による方法などが考えられる。こ
こでは録音再生による方法を説明する。前記応答文生成
部６の実現方法の説明から明らかなように、本実施例で
は生成される応答文を構成する単語は応答文テンプレー
ト格納部６２に含まれる単語と地理データベース５２に
含まれる単語に限られる。また、地理データベース５２
に含まれる単語は数字、時間を表わす単位（時間、
分）、費用を表わす単位（円）、路線名、駅名でほぼカ
バーされる。したがって、これらの単語に対応する音声
波形を予め録音し、適宜連結出力することでほぼ全ての
文に対応できる。具体的構成は図１１のように波形連結
部７１、Ｄ／Ａ変換部７２、波形格納部７３からなり、
応答文に示された単語番号列にあわせて波形格納部７３
から引き出した音声波形を波形連結部７１で連結し、Ｄ
／Ａ変換部７２にてアナログ信号に変換し、スピーカ８
から再生することで応答文を音声で出力することができ
る。

【００２８】図１２に、対話進行制御部４の対話状態更
新部４１の具体的な処理のフローチャートを示す。

【００２９】図１２において、初めに初期状態（例え
ば、図４における状態０）が設定される（１２０）。こ
のとき、音声認識部２へ現在の状態が知らされる。音声
認識部２は、現在の状態により、使用する標準パタンや
辞書、文法情報を限定することができる。次に、音声認
識部２から認識結果を受取る（１２１）。また、意図抽
出部３から意図抽出結果を受け取る（１２２）。この認
識結果／意図抽出結果は、タイムアウト（またはリジェ
クト）、割り込み（前述の「すみません」等の発声によ
る割込）、質問（前述した時間や費用等についての質
問）、提示（目的地等の提示）などに区別して判定され
る（１２３〜１２６）。判定結果が肯定の場合にはそれ
ぞれ対応するアークを選択する（１３０、１３２、１３
５、１３８）。割り込みがあったとき、ステップ１３５
に続き、現在音声出力中か否かを調べ（１３６）、音声
出力中ならば、音声出力を停止する指示を音声出力部７
へ出す。質問があった場合、ステップ１３３で質問に応
じた問題解決指示（例えば検索）を問題解決部５へ出
し、その結果を受け取る（１３４）。提示要求の場合、
ステップ１３１で提示情報登録指示１３１を問題解決部
５へ出す。これらの処理の後、各アークに付随した情報
を基に応答文生成の指示を応答文生成部６へ送る（１２
８）。ついで、アークに沿った状態の更新を行い（１２
９）、同時に音声認識部２へも更新された状態が知らさ
れる。音声認識部３は、現在の状態に応じて使用するキ
ーワードを限定することができる。この後は、ステップ
１２１の認識結果受取に戻り、認識結果受取から状態の
更新までが図４のような遷移ネットに沿って繰り返され
る。

【００３０】

【発明の効果】以上本発明によれば、システムからの音
声出力中にも、音声入力をすることができ、かつ、ユー
ザが音声出力を停止したいとの意図を持っているかどう
かを判断してシステムからの音声出力を途中で停止でき
るので、円滑な対話を進めることができる。

【図面の簡単な説明】

【図１】本発明の音声対話システムの一実施例を示すブ
ロック図

【図２】図１に示した音声認識部をテンプレートマッチ
ングにより実現した例を示すブロック図

【図３】図１に示した意図抽出部をキーワード抽出によ
り実現した例を示すブロック図

【図４】図１に示した対話進行制御部を実現するための
状態遷移ネットの一例を示す図

【図５】図４に示した状態遷移ネットを構成する基本単
位を示す図

【図６】図１に示した対話進行制御部を状態遷移ネット
を用いて実現した例を示すブロック図

【図７】図１に示した問題解決部を表引きに基いて実現
した例を示すブロック図

【図８】図１に示した問題解決部が使用する表形式の地
理データベースの一例を示す図

【図９】図１に示した応答文生成部を実現するための応
答文のテンプレートの一例を示す図

【図１０】図１に示した応答文生成部を応答文のテンプ
レートに基いて実現した例を示すブロック図

【図１１】図１に示した音声出力部を、予め録音した波
形の連結に基いて実現した例を示すブロック図

【図１２】図６に示した対話状態更新部の具体的な処理
のフローチャート

【符号の説明】

１…マイク、２…音声認識部、３…意図抽出部、４…対
話進行制御部、５…問題解決部、６…応答文生成部、７
…音声出力部、８…スピーカ

フロントページの続き (56)参考文献 特開 平３−167666（ＪＰ，Ａ) 特開 平４−252375（ＪＰ，Ａ) 特開 昭62−40577（ＪＰ，Ａ) 特開 昭63−95532（ＪＰ，Ａ) 加藤恒昭 他，質問応答における意図 の把握と話題の管理，情報処理学会研究 報告（ＮＬ−58），日本，社団法人 情 報処理学会，1986年11月22日，ＶＯＬ. 86 Ｎｏ．79 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 17/30 G06F 3/16 G06F 15/00 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】システムとユーザとの間の音声による対話
   を行う音声対話システムにおいて、 ユーザの発話した音声を認識し、一つまたは複数の単語
   系列を出力する音声認識手段と、 前記一つまたは複数の単語系列からユーザの意図を抽出
   する意図抽出手段と、 該意図抽出手段で抽出されたユーザの意図に基づいてユ
   ーザの意図に沿った問題解決を行なう問題解決手段と、 前記音声認識手段から得られる結果および前記意図抽出
   手段から得られる結果の少なくとも一方、および前記問
   題解決手段から得られる結果に基づいて、ユーザとシス
   テムとの対話の進行を管理する対話進行制御手段と、 該対話進行制御手段における対話進行に沿ってシステム
   からの応答文を生成する応答文生成手段と、 該応答文生成手段から生成された応答文を音声として出
   力する音声出力手段とを備え、 該音声認識手段と前記音声出力手段とは、前記ユーザが
   音声入力中であっても前記音声出力手段が音声出力でき
   るように、並列動作可能な構成とし、前記音声出力手段
   における音声出力の状態を前記対話進行制御手段から監
   視制御するようにしたことを特徴とする音声対話システ
   ム。
2. 【請求項２】前記意図抽出手段において音声出力を停止
   する意図が抽出され、かつ前記音声出力手段が音声出力
   中であった場合に音声出力手段からの音声出力を強制的
   に停止するようにしたことを特徴とする請求項１記載の
   音声対話システム。
3. 【請求項３】前記対話進行制御手段は、対話の進行を記
   述したデータを格納する対話進行管理データ格納手段を
   持ち、該対話進行管理データ格納手段に格納されたデー
   タに基づいて対話の進行を制御したことを特徴とする請
   求項１記載の音声対話システム。
4. 【請求項４】前記音声認識手段は、入力音声データが得
   られるとともに処理を開始し、途中で部分的な認識結果
   が確定すると、該結果を入力音声データの終了を待たず
   に出力することを特徴とする請求項１記載の音声対話シ
   ステム。
5. 【請求項５】システムとユーザとの間の音声による対話
   を行う音声対話システムにおける対話進行制御方法にお
   いて、 ユーザの発話した音声をシステムに取り込んで言葉を認
   識する音声認識ステップと、 該認識した言葉によりユーザの意図を抽出する意図抽出
   ステップと、 該抽出した意図に基づいて処理を行い、システムからユ
   ーザに対しての応答を音声で出力する応答出力ステップ
   と、を備え、 前記応答出力ステップは、前記ユーザが音声入力中であっても音声出力できるよう
   に、 前記音声認識ステップと並列に処理可能であり、応
   答の音声出力中に、前記意図抽出ステップで音声出力を
   停止する意図が抽出された場合、該応答の音声出力を即
   座に停止することを特徴とする音声対話システムの対話
   進行制御方法。