JP3984642B2

JP3984642B2 - 対話支援装置

Info

Publication number: JP3984642B2
Application number: JP2006538189A
Authority: JP
Inventors: 研治水谷; 純幸沖本
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2005-07-06
Filing date: 2006-06-13
Publication date: 2007-10-03
Anticipated expiration: 2026-06-13
Also published as: WO2007004391A1; JPWO2007004391A1; US7562006B2; CN101052964A; US20070244687A1; CN101052964B

Description

本発明は、人と人との対話を支援する対話支援装置に関するものである。

従来、一般の人々が海外旅行などで現地の人々と対話をする際に、その異言語対話を支援することを目的として翻訳装置が開発されてきた。代表的なものとしては、例文や用例の対訳に基づく翻訳方式を、ＰＤＡ（Personal Digital Assistant）などの小型の情報処理装置に実装した翻訳装置がある。そのような装置では、一般的な旅行会話をカバーするために数千以上の用例が用意されている。しかし、ユーザに所望の用例をそのリストから目視で選択させるだけでは実際の使用状況における使い勝手、すなわち、ユーザビリティに問題がある。特に、用例のリストを見るための表示部が小さく、同時に見ることができる用例の数が少ない場合は、この問題は一層顕著になる。また、翻訳装置の一般的な使用状況を想定すると、相手との対話の中で数文以上の用例を使用しなければならず、翻訳装置を介して１つの対話が完了するまでに予想以上の時間を要する。したがって、人と人との対話支援を最終目的として、大量の用例リストの中からユーザに所望の用例を速やかに選択させるための機能が必要とされている。

この問題を解決するための一方法として、見本対話モデルや会話練習履歴コーパスを利用してユーザの次の発話候補を絞り込む手法が提案されている（例えば特許文献１参照）。
特開２００３−３０１８７号公報

このような翻訳装置を実際に使用する場合、言語の異なる２人のユーザがそれぞれの翻訳装置を交互に利用して対話を行う。自分が相手に伝えたい内容そのままの用例が翻訳装置の中に存在すればそれを検索すればよいが、翻訳装置に用意されている用例は様々な対話場面で使用できるように短文で構成されるのが一般的である。このように用例が短文で構成されるのは、用例が長文であると文意は具体的であるが、その利用場面が著しく限定されるからである。したがって、ユーザは相手に伝えたい内容を複数の用例を順次選択することによって表現しなければならない。

しかしながら、例えば特許文献１などに記載された手法を利用して用例の選択時間を短縮することは可能であっても、ある用例の選択時刻から次の用例の選択時刻までの時間差を０にすることは不可能である。よって、実際には次に示すように、誤解や早合点による発話が増加して結果的に対話が完了するまでに要する時間が増加するという問題がある。

例えば、日本語を話すユーザＡと英語を話すユーザＢとが対話をする場合、空港の場所は既知であるユーザＡが「空港へ行く電車は何時発ですか？」とユーザＢに伝えたいときに、関連する用例として
＜用例１＞「空港へ行きたい。」“I want to go to the airport.”
＜用例２＞「電車は何時に出ますか。」“What time does the train leave?”
だけが翻訳装置に用意されているとすると、ユーザＡは「空港へ行きたい。」を選択してから「電車は何時に出ますか。」を選択する。この時、ユーザＢは翻訳装置から出力される用例１“I want to go to the airport.”を聞いてから、ある時間が経過して次の用例２“What time does the train leave?”を聞くことになる。ここで、ユーザＢが用例１を聞いた瞬間にユーザＡが空港の場所を尋ねていると判断すると、ユーザＢは自分の翻訳装置で空港の場所を示す用例を検索してユーザＡに伝える。しかし、ユーザＡにとって空港の場所は既知であるため、ユーザＡは用例２の検索を中断して自分が空港の場所を知っていることをユーザＢに伝えるための用例を検索しなければならない。すなわち、用例選択にかかる時間が短縮されても、誤解や早合点による発話が増加して結果的に対話が完了するまでに要する時間が増加する。

そこで、本発明は上記の事情に鑑みてなされたものであり、誤解や早合点による発話を低減し、速やかに対話が完了するように対話を支援することができる対話支援装置を提供することを目的とする。

上記目的を達成するため、本発明に係る対話支援装置は、対話を支援する対話支援装置であって、対話で使用される第１用例および第２用例を対応付けて保持する用例データベースと、ユーザの発話を受け付ける発話受付手段と、前記発話受付手段によって受け付けられた前記発話に基づいて前記用例データベースを検索することによって第１用例を選択し、選択した前記第１用例に対応する第２用例を出力する用例選択手段と、前記発話と前記用例選択手段によって選択された前記第１用例との差分を計算し、計算した前記差分を示す差分情報を出力する発話差分計算手段と、前記用例選択手段によって出力された前記第２用例と前記発話差分計算手段によって出力された前記差分情報とを相手ユーザの対話支援装置に送信する送信手段とを備えることを特徴とする。

本発明に係る対話支援装置によれば、差分情報によって対話の相手は自分の発話が完全に終了するタイミングを知ることができる。したがって、発話の途中で割り込むことが抑制され、対話支援装置を介した対話がスムーズに進行する。特に、親切や好意で相手の発話に即答したために対話が混乱してしまい、対話終了後に双方が不快な思いをするという現象が解消される。

本発明の実施の形態に係る対話支援装置は、対話を支援する対話支援装置であって、対話で使用される第１用例および第２用例を対応付けて保持する用例データベースと、ユーザの発話を受け付ける発話受付手段と、前記発話受付手段によって受け付けられた前記発話に基づいて前記用例データベースを検索することによって第１用例を選択し、選択した前記第１用例に対応する第２用例を出力する用例選択手段と、前記発話と前記用例選択手段によって選択された前記第１用例との差分を計算し、計算した前記差分を示す差分情報を出力する発話差分計算手段と、前記用例選択手段によって出力された前記第２用例と前記発話差分計算手段によって出力された前記差分情報とを相手ユーザの対話支援装置に送信する送信手段とを備えることを特徴とする。

これによって、言いたいこと（発話受付手段によって受け付けられた発話）のうちどの程度までが相手に対して発話されたかを相手に通知することができ、誤解や早合点による発話を低減し、速やかに対話が完了するように対話を支援することができる。

また、前記用例選択手段は、さらに、選択した前記第１用例と前記発話との差分に基づいて、前記発話に対する次の第１用例を選択してもよい。これによって、相手に発話された残りの部分についても、順次、相手に対して発話することができ、その時点における差分情報を通知することができる。

また、前記用例選択手段は、前記発話と前記第１用例との類似度合いを示す類似度を、文字、単語、または読みの文字を単位として動的計画法を用いて計算してもよい。

また、前記発話差分計算手段は、前記発話と前記用例選択手段によって選択された前記第１用例とを、文字、単語、または読みの文字によって比較して前記差分を計算してもよい。

また、前記対話支援装置は、さらに、前記相手ユーザの対話支援装置から送信される第２用例と差分情報とを受信する受信手段と、前記受信手段によって受信された前記第２用例と前記差分情報とを出力する発話出力手段とを備えてもよい。これによって、相手の言いたいことのうちどの程度までが発話されたかを知ることができ、発話に対して応答すべきであるか否かを客観的に判断することが可能になる。したがって、誤解や早合点による発話を低減し、速やかに対話が完了するように対話を支援することができる。

また、前記発話出力手段は、前記受信手段によって受信された前記差分情報を数字で表示してもよい。また、前記発話出力手段は、前記受信手段によって受信された前記差分情報を図形で表示してもよい。これによって、ユーザは差分情報を直感的に把握することが可能になり、次の発話を待つストレスが軽減される。

また、前記発話出力手段は、前記受信手段によって受信された前記差分情報を定性的な言語表現に変換し、変換した前記言語表現を出力してもよい。また、前記発話出力手段は、前記受信手段によって受信された前記差分情報に基づいてフィラーに相当する言語表現をランダムに生成し、生成した前記言語表現を出力してもよい。これによって、次の発話を待つユーザのストレスを軽減することが可能になる。

また、前記対話支援装置は、さらに、前記用例選択手段によって選択された前記第１用例の候補を前記ユーザに通知する候補通知手段と、前記第１用例の候補の中から１つの第１用例の選択指示を前記ユーザから受け付ける選択指示受付手段とを備え、前記用例選択手段は、前記発話に基づいて前記用例データベースを検索することによって前記第１用例の候補を選択するとともに、前記選択指示受付手段によって受け付けられた前記選択指示により前記第１用例を選択してもよい。

また、前記発話受付手段は、前記用例データベースが保持する前記第１用例から構築された言語モデルを用いた連続音声認識処理で前記発話を受け付ける、または、前記用例データベースが保持する前記第１用例を構成する単語に入力を限定されたキーボードから前記発話を受け付けてもよい。

また、本発明の実施の形態に係る対話支援システムは、第１対話支援装置および第２対話支援装置を用いて対話を支援する対話支援システムであって、前記第１対話支援装置は、対話で使用される第１用例および第２用例を対応付けて保持する用例データベースと、ユーザの発話を受け付ける発話受付手段と、前記発話受付手段によって受け付けられた前記発話に基づいて前記用例データベースを検索することによって第１用例を選択し、選択した前記第１用例に対応する第２用例を出力する用例選択手段と、前記発話と前記用例選択手段によって選択された前記第１用例との差分を計算し、計算した前記差分を示す差分情報を出力する発話差分計算手段と、前記用例選択手段によって出力された前記第２用例と前記発話差分計算手段によって出力された前記差分情報とを前記第２対話支援装置に送信する送信手段とを備え、前記第２対話支援装置は、前記第１対話支援装置から送信される前記第２用例と前記差分情報とを受信する受信手段と、前記受信手段によって受信された前記第２用例と前記差分情報とを出力する発話出力手段とを備えることを特徴とする。

また、本発明の実施の形態に係る対話支援システムは、サーバと接続される第１対話支援装置および第２対話支援装置を用いて対話を支援する対話支援システムであって、前記第１対話支援装置は、ユーザの発話を受け付ける発話受付手段と、前記発話受付手段によって受け付けられた前記発話を前記サーバに送信する送信手段とを備え、前記サーバは、対話で使用される第１用例および第２用例を対応付けて保持する用例データベースと、前記第１対話支援装置から送信された前記発話に基づいて前記用例データベースを検索することによって第１用例を選択し、選択した前記第１用例に対応する第２用例を出力する用例選択手段と、前記発話と前記用例選択手段によって選択された前記第１用例との差分を計算し、計算した前記差分を示す差分情報を出力する発話差分計算手段と、前記用例選択手段によって出力された前記第２用例と前記発話差分計算手段によって出力された前記差分情報とを前記第２対話支援装置に送信する送信手段とを備え、前記第２対話支援装置は、前記サーバから送信される前記第２用例と前記差分情報とを受信する受信手段と、前記受信手段によって受信された前記第２用例と前記差分情報とを出力する発話出力手段とを備えることを特徴とする。

なお、本発明は、このような対話支援装置として実現することができるだけでなく、このような対話支援装置が備える特徴的な手段をステップとする対話支援方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以下、本発明の実施の形態について、図面を参照しながら説明する。

図１は本発明に係る対話支援装置の一実施の形態の構成を示すブロック図である。

対話支援装置は、人と人との対話を支援するための装置であり、図１に示すように用例データベース１０１、発話受付部１０２、用例選択部１０３、発話差分計算部１０５、送信部１０４、受信部１０６、および発話出力部１０７を備えている。

ここで、発話受付部１０２は発話受付手段に、用例選択部１０３は用例選択手段、候補通知手段および選択指示受付手段に、発話差分計算部１０５は発話差分計算手段に、送信部１０４は送信手段に、受信部１０６は受信手段に、発話出力部１０７は発話出力手段に、それぞれ相当する。

用例データベース１０１は、対話で使用される用例を保持している。発話受付部１０２は、ユーザの発話を受け付け、発話情報として出力する。用例選択部１０３は、発話情報に最も近い用例データベース１０１に含まれる用例を順次選択し、その用例に対応する用例を出力する。発話差分計算部１０５は、発話情報と用例選択部１０３によって選択された用例との差分を計算して差分情報を出力する。送信部１０４は、用例選択部１０３から出力される用例と差分情報を相手ユーザの対話支援装置に送信する。受信部１０６は、相手ユーザの対話支援装置から出力される用例と差分情報とを受信する。発話出力部１０７は、受信部１０６で受信された差分情報と用例とを出力する。なお、ユーザの送信部１０４と相手ユーザの受信部１０６、あるいは、相手ユーザの送信部１０４とユーザの受信部１０６は、用例と差分情報を直接送受信してもよいし、サーバを介して間接的に送受信してもよい。

次に、上記のように構成された対話支援装置で異言語の対話を支援する場合の構成について、さらに説明する。ユーザの母国語は日本語、相手ユーザの母国語は英語であると仮定する。

図２は用例データベース１０１が保持する用例の一例を示す図である。第１用例に相当する言語１は自分の母国語、第２用例に相当する言語２は相手の母国語であり、言語１と言語２の用例は対訳関係である。例えば、用例選択部１０３によって言語１の発話Ｎｏ．１６の用例「空港へ行きたい」が選択されると対応する用例として言語２の“I want to go to the airport.”が出力される。

発話受付部１０２は、ユーザの発話を連続音声認識処理またはキーボードによって文字情報として取得し、発話情報として出力する。ここで、発話情報はユーザの発話に相当する文字列である。発話受付部１０２がユーザの発話を連続音声認識処理によって受け付ける場合は、言語モデルを用例データベース１０１が保持する用例から構築することで、音声認識精度を向上させることが可能である。また、発話受付部１０２がユーザの発話をキーボードから受け付ける場合は、用例データベース１０１が保持する言語１の用例を構成する単語に入力を限定することで、効率的に文字入力することが可能になる。

図３は用例選択部１０３の動作の流れを示すフローチャートである。用例選択部１０３は図３のフローチャートに従って発話情報に最も近い用例を順次出力する。

まず、用例選択部１０３は、発話受付部１０２から入力された発話に相当する発話情報を全発話情報Ｕにセットする（ステップＳ３０１）。次に、部分発話情報ｕにＵをセットし、変換済発話情報ｖをクリアする。また、送信部１０４を通じて相手ユーザの対話支援装置のモードを受信状態に変更する（ステップＳ３０２）。用例選択部１０３は、部分発話情報ｕと用例データベース１０１の言語１のすべての用例との類似度を計算する（ステップＳ３０３）。ここで、用例選択部１０３は、類似度として例えば図４に示す動的計画法を用いて部分発話情報ｕと各用例との距離を計算する。この場合、距離の値が小さいほど類似度は高い。図４の動的計画法において、文の構成単位は文字または単語または読みの文字などのいずれか、あるいは、その組み合わせである。例えば、構成単位が単語でα＝１の場合、文１＝｛空港、へ、行く｝と文２＝｛空港、まで、行く｝の類似度はａ［３］［３］＝１として計算される。

次に、用例選択部１０３は、言語１のすべての用例の中で類似度が閾値β以下の用例を選択して用例候補Ｅにセットする（ステップＳ３０４）。なお、閾値βは用例データベース１０１が保持する用例の数と、その中で表現として類似する用例の数を考慮して決定する。そして、用例選択部１０３は、用例候補Ｅが空であるか否かを判定する（ステップＳ３０５）。この結果、用例候補Ｅが空でなければ（ステップＳ３０５でＮｏ）、部分発話情報ｕと用例候補Ｅをユーザに提示し、所望の用例を選択させる（ステップＳ３０６）。そして、ユーザによって用例ｅが選択されると、送信部１０４へその対訳用例を出力する（ステップＳ３０７）。次に、用例選択部１０３は、部分発話情報ｕと変換済発話情報ｖの内容をｖ←ｖ＋ｕおよびｕ←Ｕ−ｖとして更新し、発話差分計算部１０５へ出力する（ステップＳ３０８）。そして、部分発話情報ｕが空であるか否かを判定（ステップＳ３１０）し、部分発話情報ｕが空であれば（ステップＳ３１０でＹｅｓ）終了し、空でなければ（ステップＳ３１０でＮｏ）類似度計算処理（ステップＳ３０３）に戻る。

一方、上記判定処理（ステップＳ３０５）で用例候補Ｅが空である場合（ステップＳ３０５でＮｏ）、部分発話情報ｕに最も近い用例を用例データベース１０１の中から選択するために、部分発話情報ｕを最後尾から縮退させる（ステップＳ３０９）。ここで、縮退の単位は、文字、単語、または文節のいずれかである。例えばｕ＝“空港へ行く電車は何時発ですか”の場合、部分発話情報ｕを文節の単位で縮退するのであれば、部分発話情報ｕは｛空港へ、行く、電車は、何時発ですか｝なので、ｕ＝“空港へ行く電車は”となる。次に、再び、類似度計算処理（ステップＳ３０３）に戻り、用例データベース１０１の言語１の各用例との類似度の計算を繰り返す。

発話差分計算部１０５は、全発話情報Ｕと変換済発話情報ｖに基づき、差分情報（Ｕ−ｖ）／Ｕを計算して送信部１０４へ出力する。差分情報は、例えば全発話情報Ｕと変換済発話情報ｖの文字数、単語数、または読みの文字数で計算する。全発話情報Ｕ＝“空港へ行く電車は何時発ですか”、変換済発話情報ｖ＝“空港へ行く”である場合に文字数で差分情報を計算すると（１４−５）／１４≒０．６４となる。

送信部１０４は、用例選択部１０３から順次出力される用例データベース１０１の言語２の用例に、発話差分計算部１０５から出力される差分情報を重畳して相手の対話支援装置に送信する。送信された情報は相手の対話支援装置の受信部１０６で受信され、発話出力部１０７を通じて相手に出力される。発話出力部１０７は、例えばＬＣＤなどの表示デバイスまたは音声合成処理で構成する。

以下、上記のように構成された対話支援装置で異言語の対話を支援する場合の動作について説明する。ここでは、図５に示すように観光客で母国語が日本語であるユーザ（ユーザ１）が、ホテルのフロントのスタッフで英語が母国語である相手ユーザ（ユーザ２）と対話を行う場合を例として説明する。

図６（ａ）、図６（ｂ）は対話支援装置を実装したＰＤＡを示す図である。図６（ａ）に示すＰＤＡ５０１はユーザ１が使用し、図６（ｂ）に示すＰＤＡ５０２はユーザ２が使用する。各ユーザは発話入力ボタン５０３、５０４を押して音声で発話を入力する。発話が入力されると、発話受付部１０２によって受け付けられた発話が発話情報として表示領域５０５、５０６に表示され、用例選択部１０３によって用例の候補Ｅが表示領域５０７、５０８に表示される。用例の候補から所望の用例ｅが選択されると、その対訳用例が表示領域５０９、５１０に表示され、相手の対話支援装置に送信される。表示領域５１１および５１２には差分情報が表示される。マイク５１３と５１４は発話受付部１０２へユーザの音声を入力するマイクである。

例えば図７（ａ）に示すように、ユーザ１が発話入力ボタン５０３を押して「空港へ行く電車は何時発ですか」という発話を入力した場合、発話受付部１０２の音声認識処理によって発話情報「空港へ行く電車は何時発ですか」に変換され、図８（ａ）に示すように表示領域５０５に表示される。発話情報は用例選択部１０３に入力され、ステップ３０１において全発話情報Ｕ＝“空港へ行く電車は何時発ですか”、ステップ３０２において部分発話情報ｕ＝“空港へ行く電車は何時発ですか”、変換済発話情報ｖ＝“”となり、相手ユーザのＰＤＡ５０２のモードを、送信部１０４を通じて受信状態に変更する。受信状態では表示領域７０１に相手ユーザの対話支援装置で最近選択された用例の対訳用例が表示され、表示領域７０２には相手ユーザの対話支援装置で選択されたすべての用例の対訳用例が順次表示される。なお、ＰＤＡ５０２の受信状態は発話入力ボタン５０４を押して発話の入力を開始すると解除されて図６の状態に戻る。

次に、用例選択部１０３は、ステップ３０３、ステップ３０４、ステップ３０５、ステップ３０９で部分発話情報ｕを縮退させながらすべての用例との類似度を計算し、最終的に部分発話情報ｕ＝“空港へ行く”に対して用例候補Ｅ＝｛空港へ行きたい、空港へ行く方法を教えて下さい｝を得る。ステップ３０６において、部分発話情報ｕの値は表示領域５０５の表示に反映され、図９（ａ）に示すように下線８０１でユーザ１に対して示される。また、用例選択部１０３は、用例候補Ｅを表示領域５０７に表示する。図１０（ａ）に示すようにユーザ１が所望の用例ｅとして「空港へ行きたい」を選択すると、ステップ３０７においてその対訳用例“I want to go to the airport.”が送信部１０４に出力される。ステップ３０８においてｖ＝“空港へ行く”、ｕ＝Ｕ−v、すなわち、部分発話情報ｕ＝“電車は何時発ですか”に更新される。これらの情報は発話差分計算部１０５に出力され、発話差分計算部１０５は（Ｕ−ｖ）／Ｕ＝（１４−５）／１４≒０．６４の差分情報を得る。得られた差分情報は表示領域５１１に表示され、送信部１０４からは対訳用例“I want to go to the airport.”と差分情報「０．６４」がＰＤＡ５０２に送信される。ＰＤＡ５０２の受信部１０６で受信されたこれらの情報は、図１０（ｂ）に示すように発話出力部１０７によって表示領域７０１、７０２に表示される。また、発話出力部１０７は、音声合成処理によって“I want to go to the airport.”に相当する音声情報をＰＤＡ５０２から出力する。ここで、差分情報は表示領域５１２に表示されるので、ユーザ２はユーザ１の言いたいことがなお６４％残っていることを知ることができる。したがって、ユーザ２はユーザ１の発話がまだ半分以上伝わっていないことから、“I want to go to the airport.”だけを聞いてすぐに応答するよりも残りの発話を待つべきであると客観的に判断することが可能になり、不要な発話が抑制される。

次に、ステップ３１０において、部分発話情報ｕ＝“電車は何時発ですか”であるので、ステップ３０３に戻り、同様にステップ３０５で用例候補Ｅ＝｛電車は何時に出発しますか、電車は何時に到着しますか、電車は何で遅れていますか｝が得られると、図１１（ａ）に示すようにステップ３０６で表示領域５０５、５０７に対してそれぞれ部分発話情報ｕと用例候補Ｅが表示される。図１２（ａ）に示すように、同様にユーザ１が所望の用例「電車は何時に出発しますか」を選択すると、図１２（ｂ）に示すように、その対訳用例“What time does the train leave?”がＰＤＡ５０２から出力される。ステップ３０８において変換済発話情報ｖ＝“空港へ行く電車は何時発ですか”、部分発話情報ｕ＝“”に更新される。これらの情報は発話差分計算部１０５に出力され、発話差分計算部１０５は（Ｕ−ｖ）／Ｕ＝（１４−１４）／１４＝０の差分情報を得る。得られた差分情報は表示領域５１１に表示され、同様に表示領域５１２にも表示される。ユーザ２はユーザ１の言いたいことが表示領域７０２にすべて含まれていることを知ることができる。したがって、表示領域７０２に対して応答すべきであることを客観的に判断することが可能になり、必要かつ十分な発話で相手に応答することが可能になる。

なお、上記では差分情報を数値で表現する例を示したが、例えば図１３（ａ）、図１３（ｂ）に示すような棒グラフ１２０１、１２０２、または図１４（ａ）、図１４（ｂ）に示す円グラフ１３０１、１３０２などの図形で差分情報を表現してもよい。または、差分情報を制御パラメータとして差分情報を表現するメタファを制御してもよい。例えば図１５（ｂ）に示すような回転する砂時計１４０１の回転速度を差分情報に比例させることも可能である。このように差分情報を図形やメタファで表現することによって、ユーザは差分情報を直感的に把握することが可能になり、次の発話を待つストレスが軽減される。

また、図１６に示すように図１に示す対話支援装置の構成に加えて表現変換部１５０１を備え、差分情報を言語表現でユーザに伝えてもよい。表現変換部１５０１は、例えば図１７のような差分情報から言語表現への変換規則で構成する。図１０の状態で差分情報が０．６４のとき、図１６の構成では差分情報は表現変換部１５０１の変換規則Ｎｏ．２によって“Wait for a minute.”に変換され、図１８（ｂ）に示すように定性的な言語表現１７０１で相手ユーザに伝えられる。このように差分情報を適切な言語で表現することによって、ユーザは次の発話を待つストレスが軽減される。

また、図１９に示すように図１に示す対話支援装置の構成に加えてフィラーデータベース１８０１を備えてもよい。この場合、発話出力部１０７は、相手の対話支援装置から送信された差分情報が０でないときに、この差分情報を制御パラメータとして、相手の対話支援装置から次の用例が届くまでの間に、フィラーデータベース１８０１の中の「えーっと」「そうですね」“And please wait,”などのフィラーに相当する文を規則的に、あるいは、ランダムに生成させてもよい。図１９の構成では、図１１の状態のときに図２０（ｂ）に示すようにフィラーの音声がＰＤＡ５０２からランダムに再生される。このように次の発話が届くまでの空白の時間を適切なフィラーで聴覚的に埋めることによって、次の発話を待つユーザのストレスを軽減することが可能になる。このとき、図２０に示す表示領域５１２への差分情報の表示は、行っても行わなくてもどちらでも構わない。

ここまでは、対話支援装置において、ユーザが日本語を話し、相手ユーザが英語を話すと仮定した場合について説明したが、以下では、ユーザが中国語を話し、相手ユーザが英語を話すと仮定した場合について説明する。ここでは、上記同様に図５に示すように観光客で母国語が中国語であるユーザ（ユーザ１）が、ホテルのフロントのスタッフで母国語が英語である相手ユーザ（ユーザ２）と対話を行う場合を例として説明する。なお、上記と同様の構成については説明を省略する。

図２１は用例データベース１０１が保持する用例の一例を示す図である。第１用例に相当する言語１は中国語、第２用例に相当する言語２は英語であり、言語１と言語２の用例は対訳関係である。例えば、用例選択部１０３によって言語１の発話Ｎｏ．１６の用例

が選択されると対応する用例として言語２の“I want to go to the airport.”が出力される。

図２２（ａ）、図２２（ｂ）は対話支援装置を実装したＰＤＡを示す図である。図２２（ａ）に示すＰＤＡ５０１はユーザ１が使用し、図２２（ｂ）に示すＰＤＡ５０２はユーザ２が使用する。各ユーザは発話入力ボタン５０３、５０４を押して音声で発話を入力する。発話が入力されると、発話受付部１０２によって受け付けられた発話が発話情報として表示領域５０５、５０６に表示され、用例選択部１０３によって用例の候補Ｅが表示領域５０７、５０８に表示される。用例の候補から所望の用例ｅが選択されると、その対訳用例が表示領域５０９、５１０に表示され、相手の対話支援装置に送信される。表示領域５１１および５１２には差分情報が表示される。マイク５１３と５１４は発話受付部１０２へユーザの音声を入力するマイクである。

例えば図２３（ａ）に示すように、ユーザ１が発話入力ボタン５０３を押して

という発話を入力した場合、発話受付部１０２の音声認識処理によって発話情報

に変換され、図２４（ａ）に示すように表示領域５０５に表示される。発話情報は用例選択部１０３に入力され、ステップ３０１において全発話情報Ｕ＝

、ステップ３０２において部分発話情報ｕ＝

、変換済発話情報ｖ＝“”となり、相手ユーザのＰＤＡ５０２のモードを、送信部１０４を通じて受信状態に変更する。受信状態では表示領域７０１に相手ユーザの対話支援装置で最近選択された用例の対訳用例が表示され、表示領域７０２には相手ユーザの対話支援装置で選択されたすべての用例の対訳用例が順次表示される。なお、ＰＤＡ５０２の受信状態は発話入力ボタン５０４を押して発話の入力を開始すると解除されて図２２の状態に戻る。

次に、用例選択部１０３は、ステップ３０３、ステップ３０４、ステップ３０５、ステップ３０９で部分発話情報ｕを縮退させながらすべての用例との類似度を計算し、最終的に部分発話情報ｕ＝

に対して用例候補Ｅ＝

を得る。ステップ３０６において、部分発話情報ｕの値は表示領域５０５の表示に反映され、図２５（ａ）に示すように下線８０１でユーザ１に対して示される。また、用例選択部１０３は、用例候補Ｅを表示領域５０７に表示する。図２６（ａ）に示すようにユーザ１が所望の用例ｅとして

を選択すると、ステップ３０７においてその対訳用例“I want to go to the airport.”が送信部１０４に出力される。ステップ３０８においてｖ＝

、ｕ＝Ｕ−v、すなわち、部分発話情報ｕ＝

に更新される。これらの情報は発話差分計算部１０５に出力され、発話差分計算部１０５は、文字数で差分情報を計算すると（Ｕ−ｖ）／Ｕ＝（１４−４）／１４≒０．７１の差分情報を得る。得られた差分情報は表示領域５１１に表示され、送信部１０４からは対訳用例“I want to go to the airport.”と差分情報「０．７１」がＰＤＡ５０２に送信される。ＰＤＡ５０２の受信部１０６で受信されたこれらの情報は、図２６（ｂ）に示すように発話出力部１０７によって表示領域７０１、７０２に表示される。また、発話出力部１０７は、音声合成処理によって“I want to go to the airport.”に相当する音声情報をＰＤＡ５０２から出力する。ここで、差分情報は表示領域５１２に表示されるので、ユーザ２はユーザ１の言いたいことがなお７１％残っていることを知ることができる。したがって、ユーザ２はユーザ１の発話がまだ半分以上伝わっていないことから、“I want to go to the airport.”だけを聞いてすぐに応答するよりも残りの発話を待つべきであると客観的に判断することが可能になり、不要な発話が抑制される。

次に、ステップ３１０において、部分発話情報ｕ＝

であるので、ステップ３０３に戻り、同様にステップ３０５で用例候補Ｅ＝

が得られると、図２７（ａ）に示すようにステップ３０６で表示領域５０５、５０７に対してそれぞれ部分発話情報ｕと用例候補Ｅが表示される。図２８（ａ）に示すように、同様にユーザ１が所望の用例

を選択すると、図２８（ｂ）に示すように、その対訳用例“What time does the train leave?”がＰＤＡ５０２から出力される。ステップ３０８において変換済発話情報ｖ＝

、部分発話情報ｕ＝“”に更新される。これらの情報は発話差分計算部１０５に出力され、発話差分計算部１０５は（Ｕ−ｖ）／Ｕ＝（１４−１４）／１４＝０の差分情報を得る。得られた差分情報は表示領域５１１に表示され、同様に表示領域５１２にも表示される。ユーザ２はユーザ１の言いたいことが表示領域７０２にすべて含まれていることを知ることができる。したがって、表示領域７０２に対して応答すべきであることを客観的に判断することが可能になり、必要かつ十分な発話で相手に応答することが可能になる。

なお、上記では差分情報を数値で表現する例を示したが、例えば図２９（ａ）、図２９（ｂ）に示すような棒グラフ１２０１、１２０２、または図３０（ａ）、図３０（ｂ）に示す円グラフ１３０１、１３０２などの図形で差分情報を表現してもよい。または、差分情報を制御パラメータとして差分情報を表現するメタファを制御してもよい。例えば図３１（ｂ）に示すような回転する砂時計１４０１の回転速度を差分情報に比例させることも可能である。このように差分情報を図形やメタファで表現することによって、ユーザは差分情報を直感的に把握することが可能になり、次の発話を待つストレスが軽減される。

また、図１６に示すように図１に示す対話支援装置の構成に加えて表現変換部１５０１を備え、差分情報を言語表現でユーザに伝えてもよい。表現変換部１５０１は、例えば図３２のような差分情報から言語表現への変換規則で構成する。図２６の状態で差分情報が０．７１のとき、図１６の構成では差分情報は表現変換部１５０１の変換規則Ｎｏ．２によって“Wait for a minute.”に変換され、図３３（ｂ）に示すように定性的な言語表現１７０１で相手ユーザに伝えられる。このように差分情報を適切な言語で表現することによって、ユーザは次の発話を待つストレスが軽減される。

また、図１９に示すように図１に示す対話支援装置の構成に加えてフィラーデータベース１８０１を備えてもよい。この場合、発話出力部１０７は、相手の対話支援装置から送信された差分情報が０でないときに、この差分情報を制御パラメータとして、相手の対話支援装置から次の用例が届くまでの間に、フィラーデータベース１８０１の中の

、“And please wait,”などのフィラーに相当する文を規則的に、あるいは、ランダムに生成させてもよい。図１９の構成では、図２７の状態のときに図３４（ｂ）に示すようにフィラーの音声がＰＤＡ５０２からランダムに再生される。このように次の発話が届くまでの空白の時間を適切なフィラーで聴覚的に埋めることによって、次の発話を待つユーザのストレスを軽減することが可能になる。このとき、図３４に示す表示領域５１２への差分情報の表示は、行っても行わなくてもどちらでも構わない。

また、図３５に示すように用例データベース１０１と発話受付部１０２と用例選択部１０３と送信部１０４と発話差分計算部１０５とによって構成される送信側と、受信部１０６と発話出力部１０７によって構成される受信側を独立した構成にしてもよい。

また、図３６に示すように対話支援装置が発話受付部１０２と送信部１０４と受信部１０６と発話出力部１０７とを備え、インターネット等のネットワーク２２１０を介して対話支援装置と接続されるサーバが用例データベース１０１と用例選択部１０４と発話差分計算部１０５とを備えるシステムとして構成することも可能である。この場合、送信部１０４が発話情報をサーバに送信し、サーバの受信部２２０１が受信する。そして、サーバの送信部２２０２が、サーバが発話情報に基づいて特定した用例と差分情報とを相手ユーザの対話支援装置の受信部１０６に送信することになる。なお、サーバが発話情報に基づいて特定した用例と差分情報とを一旦ユーザの対話支援装置に送信した後、ユーザの対話支援装置から相手ユーザの対話支援装置に送信しても構わない。

また、本実施の形態では、一例として日本語と英語の場合と、中国語と英語の場合とを取り上げたが、仏語など他の言語についても同様に実施可能であり、本発明は言語に依存しない。

本発明に係る対話支援装置は、対話参加者の発話を速やかに完了させる機能を有し、携帯電話や携帯端末等の翻訳アプリケーションソフトウェア等として有用である。また公共の街頭端末や案内端末等の用途にも応用できる。さらに、同言語の対話では、定型文のチャットシステムなどの用途にも応用できる。

図１は本発明に係る対話支援装置の一実施の形態の構成を示すブロック図である。図２は用例データベースの一例を示す図である。図３は用例選択部の動作を示すフローチャートである。図４は用例選択部が類似度の計算に使用する動的計画法の一例を示す図である。図５は本発明に係る対話支援装置が利用される場面の一例を示す図である。図６（ａ）、（ｂ）は本発明に係る対話支援装置の表示例を示す図である。図７（ａ）、（ｂ）は本発明に係る対話支援装置の表示例を示す図である。図８（ａ）、（ｂ）は本発明に係る対話支援装置の表示例を示す図である。図９（ａ）、（ｂ）は本発明に係る対話支援装置の表示例を示す図である。図１０（ａ）、（ｂ）は本発明に係る対話支援装置の表示例を示す図である。図１１（ａ）、（ｂ）は本発明に係る対話支援装置の表示例を示す図である。図１２（ａ）、（ｂ）は本発明に係る対話支援装置の表示例を示す図である。図１３（ａ）、（ｂ）は本発明に係る対話支援装置の表示例を示す図である。図１４（ａ）、（ｂ）は本発明に係る対話支援装置の表示例を示す図である。図１５（ａ）、（ｂ）は本発明に係る対話支援装置の表示例を示す図である。図１６は本発明に係る対話支援装置の他の実施の形態の構成を示すブロック図である。図１７は表現変換部の一例を示す図である。図１８（ａ）、（ｂ）は本発明に係る対話支援装置の表示例を示す図である。図１９は本発明に係る対話支援装置の他の実施の形態の構成を示すブロック図である。図２０（ａ）、（ｂ）は本発明に係る対話支援装置の表示例を示す図である。図２１は用例データベースの一例を示す図である。図２２（ａ）、（ｂ）は本発明に係る対話支援装置の表示例を示す図である。図２３（ａ）、（ｂ）は本発明に係る対話支援装置の表示例を示す図である。図２４（ａ）、（ｂ）は本発明に係る対話支援装置の表示例を示す図である。図２５（ａ）、（ｂ）は本発明に係る対話支援装置の表示例を示す図である。図２６（ａ）、（ｂ）は本発明に係る対話支援装置の表示例を示す図である。図２７（ａ）、（ｂ）は本発明に係る対話支援装置の表示例を示す図である。図２８（ａ）、（ｂ）は本発明に係る対話支援装置の表示例を示す図である。図２９（ａ）、（ｂ）は本発明に係る対話支援装置の表示例を示す図である。図３０（ａ）、（ｂ）は本発明に係る対話支援装置の表示例を示す図である。図３１（ａ）、（ｂ）は本発明に係る対話支援装置の表示例を示す図である。図３２は表現変換部の一例を示す図である。図３３（ａ）、（ｂ）は本発明に係る対話支援装置の表示例を示す図である。図３４（ａ）、（ｂ）は本発明に係る対話支援装置の表示例を示す図である。図３５は本発明に係る対話支援装置の他の実施の形態の構成を示すブロック図である。図３６は本発明に係る対話支援装置の他の実施の形態の構成を示すブロック図である。

符号の説明

１０１用例データベース
１０２発話受付部
１０３用例選択部
１０４送信部
１０５発話差分計算部
１０６受信部
１０７発話出力部
５０１ユーザ１のＰＤＡ
５０２ユーザ２のＰＤＡ
５０３発話入力ボタン
５０４発話入力ボタン
５０５発話情報Ｕおよび部分発話情報ｕの表示領域
５０６発話情報Ｕおよび部分発話情報ｕの表示領域
５０７予測候補Ｅの表示領域
５０８予測候補Ｅの表示領域
５０９対応する用例の表示領域
５１０対応する用例の表示領域
５１１差分情報の表示領域
５１２差分情報の表示領域
５１３発話受付部１０２のマイク
５１４発話受付部１０２のマイク
７０１受信状態における相手の用例の表示領域
７０２受信状態における相手の用例の表示領域
８０１発話情報Ｕにおけるｕの部分を示す下線
１２０１残差情報を表現する棒グラフ
１２０２残差情報を表現する棒グラフ
１３０１残差情報を表現する円グラフ
１３０２残差情報を表現する円グラフ
１４０１残差情報を表現するメタファ
１５０１表現変換部
１７０１言語表現に変換された残差情報
１８０１フィラーデータベース

Claims

対話を支援する対話支援装置であって、
対話で使用される第１用例および第２用例を対応付けて保持する用例データベースと、
ユーザの発話を受け付ける発話受付手段と、
前記発話受付手段によって受け付けられた前記発話に基づいて前記用例データベースを検索することによって第１用例を選択し、選択した前記第１用例に対応する第２用例を出力する用例選択手段と、
前記発話と前記用例選択手段によって選択された前記第１用例との差分を計算し、計算した前記差分を示す差分情報を出力する発話差分計算手段と、
前記用例選択手段によって出力された前記第２用例と前記発話差分計算手段によって出力された前記差分情報とを相手ユーザの対話支援装置に送信する送信手段と
を備えることを特徴とする対話支援装置。
前記用例選択手段は、さらに、選択した前記第１用例と前記発話との差分に基づいて、前記発話に対する次の第１用例を選択する
ことを特徴とする請求項１記載の対話支援装置。
前記用例選択手段は、前記発話と前記第１用例との類似度合いを示す類似度を、文字、単語、または読みの文字を単位として動的計画法を用いて計算する
ことを特徴とする請求項１記載の対話支援装置。
前記発話差分計算手段は、前記発話と前記用例選択手段によって選択された前記第１用例とを、文字、単語、または読みの文字によって比較して前記差分を計算する
ことを特徴とする請求項１記載の対話支援装置。
前記対話支援装置は、さらに、
前記相手ユーザの対話支援装置から送信される第２用例と差分情報とを受信する受信手段と、
前記受信手段によって受信された前記第２用例と前記差分情報とを出力する発話出力手段とを備える
ことを特徴とする請求項１記載の対話支援装置。
前記発話出力手段は、前記受信手段によって受信された前記差分情報を数字で表示する
ことを特徴とする請求項５記載の対話支援装置。
前記発話出力手段は、前記受信手段によって受信された前記差分情報を図形で表示する
ことを特徴とする請求項５記載の対話支援装置。
前記発話出力手段は、前記受信手段によって受信された前記差分情報を定性的な言語表現に変換し、変換した前記言語表現を出力する
ことを特徴とする請求項５記載の対話支援装置。
前記発話出力手段は、前記受信手段によって受信された前記差分情報に基づいてフィラーに相当する言語表現を生成し、生成した前記言語表現を出力する
ことを特徴とする請求項５記載の対話支援装置。
前記対話支援装置は、さらに、
前記用例選択手段によって選択された前記第１用例の候補を前記ユーザに通知する候補通知手段と、
前記第１用例の候補の中から１つの第１用例の選択指示を前記ユーザから受け付ける選択指示受付手段とを備え、
前記用例選択手段は、前記発話に基づいて前記用例データベースを検索することによって前記第１用例の候補を選択するとともに、前記選択指示受付手段によって受け付けられた前記選択指示により前記第１用例を選択する
ことを特徴とする請求項１記載の対話支援装置。
前記発話受付手段は、前記用例データベースが保持する前記第１用例から構築された言語モデルを用いた連続音声認識処理で前記発話を受け付ける、または、前記用例データベースが保持する前記第１用例を構成する単語に入力を限定されたキーボードから前記発話を受け付ける
ことを特徴とする請求項１記載の対話支援装置。
第１対話支援装置および第２対話支援装置を用いて対話を支援する対話支援システムであって、
前記第１対話支援装置は、
対話で使用される第１用例および第２用例を対応付けて保持する用例データベースと、
ユーザの発話を受け付ける発話受付手段と、
前記発話受付手段によって受け付けられた前記発話に基づいて前記用例データベースを検索することによって第１用例を選択し、選択した前記第１用例に対応する第２用例を出力する用例選択手段と、
前記発話と前記用例選択手段によって選択された前記第１用例との差分を計算し、計算した前記差分を示す差分情報を出力する発話差分計算手段と、
前記用例選択手段によって出力された前記第２用例と前記発話差分計算手段によって出力された前記差分情報とを前記第２対話支援装置に送信する送信手段とを備え、
前記第２対話支援装置は、
前記第１対話支援装置から送信される前記第２用例と前記差分情報とを受信する受信手段と、
前記受信手段によって受信された前記第２用例と前記差分情報とを出力する発話出力手段と
を備えることを特徴とする対話支援システム。
サーバと接続される第１対話支援装置および第２対話支援装置を用いて対話を支援する対話支援システムであって、
前記第１対話支援装置は、
ユーザの発話を受け付ける発話受付手段と、
前記発話受付手段によって受け付けられた前記発話を前記サーバに送信する送信手段とを備え、
前記サーバは、
対話で使用される第１用例および第２用例を対応付けて保持する用例データベースと、
前記第１対話支援装置から送信された前記発話に基づいて前記用例データベースを検索することによって第１用例を選択し、選択した前記第１用例に対応する第２用例を出力する用例選択手段と、
前記発話と前記用例選択手段によって選択された前記第１用例との差分を計算し、計算した前記差分を示す差分情報を出力する発話差分計算手段と、
前記用例選択手段によって出力された前記第２用例と前記発話差分計算手段によって出力された前記差分情報とを前記第２対話支援装置に送信する送信手段とを備え、
前記第２対話支援装置は、
前記サーバから送信される前記第２用例と前記差分情報とを受信する受信手段と、
前記受信手段によって受信された前記第２用例と前記差分情報とを出力する発話出力手段と
を備えることを特徴とする対話支援システム。
対話を支援する対話支援方法であって、
発話受付手段が、ユーザの発話を受け付ける発話受付ステップと、
前記発話受付ステップにおいて受け付けられた前記発話に基づいて、用例選択手段が、対話で使用される第１用例および第２用例を対応付けて保持する用例データベースを検索することによって第１用例を選択し、選択した前記第１用例に対応する第２用例を出力する用例選択ステップと、
発話差分計算手段が、前記発話と前記用例選択ステップにおいて選択された前記第１用例との差分を計算し、計算した前記差分を示す差分情報を出力する発話差分計算ステップと、
前記用例選択ステップにおいて出力された前記第２用例と前記発話差分計算ステップにおいて出力された前記差分情報とを、送信手段が相手ユーザの対話支援装置に送信する送信ステップと
を含むことを特徴とする対話支援方法。
対話を支援するためのプログラムであって、
ユーザの発話を受け付ける発話受付ステップと、
前記発話受付ステップにおいて受け付けられた前記発話に基づいて、対話で使用される第１用例および第２用例を対応付けて保持する用例データベースを検索することによって第１用例を選択し、選択した前記第１用例に対応する第２用例を出力する用例選択ステップと、
前記発話と前記用例選択ステップにおいて選択された前記第１用例との差分を計算し、計算した前記差分を示す差分情報を出力する発話差分計算ステップと、
前記用例選択ステップにおいて出力された前記第２用例と前記発話差分計算ステップにおいて出力された前記差分情報とを相手ユーザの対話支援装置に送信する送信ステップとをコンピュータに実行させる
ことを特徴とするプログラム。