WO2007004391A1

WO2007004391A1 - 対話支援装置

Info

Publication number: WO2007004391A1
Application number: PCT/JP2006/311786
Authority: WO
Inventors: Kenji Mizutani; Yoshiyuki Okimoto
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2005-07-06
Filing date: 2006-06-13
Publication date: 2007-01-11
Also published as: JPWO2007004391A1; CN101052964A; CN101052964B; US20070244687A1; US7562006B2; JP3984642B2

Abstract

　誤解や早合点による発話を低減し、速やかに対話が完了するように対話を支援することができる対話支援装置を提供する。対話支援装置は、対話で使用される用例を保持する用例データベース（１０１）と、ユーザの発話を受け付け、発話情報として出力する発話受付部（１０２）と、発話情報に最も近い用例データベース（１０１）に含まれる用例を順次選択し、その用例に対応する用例を出力する用例選択部（１０３）と、発話情報と用例選択部（１０３）によって選択された用例との差分を計算して差分情報を出力する発話差分計算部（１０５）と、用例選択部（１０３）から出力される用例と差分情報を相手ユーザの対話支援装置に送信する送信部（１０４）と、相手ユーザの対話支援装置から送信される用例と差分情報を受信する受信部（１０６）と、受信部（１０６）で受信された用例と差分情報を出力する発話出力部（１０７）とを備える。

Description

明細書

対話支援装置

技術分野

[0001] 本発明は、人と人との対話を支援する対話支援装置に関するものである。

背景技術

[0002] 従来、一般の人々が海外旅行などで現地の人々と対話をする際に、その異言語対話を支援することを目的として翻訳装置が開発されてきた。代表的なものとしては、例文や用例の対訳に基づく翻訳方式を、 PDA (Personal Digital Assistant)などの小型の情報処理装置に実装した翻訳装置がある。そのような装置では、一般的な旅行会話をカバーするために数千以上の用例が用意されている。しかし、ユーザに所望の用例をそのリストから目視で選択させるだけでは実際の使用状況における使い勝手、すなわち、ユーザビリティに問題がある。特に、用例のリストを見るための表示部が小さぐ同時に見ることができる用例の数が少ない場合は、この問題は一層顕著になる。また、翻訳装置の一般的な使用状況を想定すると、相手との対話の中で数文以上の用例を使用しなければならず、翻訳装置を介して 1つの対話が完了するまでに予想以上の時間を要する。したがって、人と人との対話支援を最終目的として、大量の用例リストの中からユーザに所望の用例を速やかに選択させるための機能が必要とされている。

[0003] この問題を解決するための一方法として、見本対話モデルや会話練習履歴コーパスを利用してユーザの次の発話候補を絞り込む手法が提案されてレ、る（例えば特許文献 1参照）。

特許文献 1 :特開 2003— 30187号公報

発明の開示

発明が解決しょうとする課題

[0004] このような翻訳装置を実際に使用する場合、言語の異なる 2人のユーザがそれぞれの翻訳装置を交互に利用して対話を行う。自分が相手に伝えたい内容そのままの用例が翻訳装置の中に存在すればそれを検索すればよいが、翻訳装置に用意されている用例は様々な対話場面で使用できるように短文で構成されるのが一般的である。このように用例が短文で構成されるのは、用例が長文であると文意は具体的である力その利用場面が著しく限定されるからである。したがって、ユーザは相手に伝えたい内容を複数の用例を順次選択することによって表現しなければならない。

[0005] しかしながら、例えば特許文献 1などに記載された手法を利用して用例の選択時間を短縮することは可能であっても、ある用例の選択時刻から次の用例の選択時刻までの時間差を 0にすることは不可能である。よって、実際には次に示すように、誤解や早合点による発話が増加して結果的に対話が完了するまでに要する時間が増加するという問題がある。

[0006] 例えば、日本語を話すユーザ Aと英語を話すユーザ Bとが対話をする場合、空港の場所は既知であるユーザ A力 S「空港へ行く電車は何時発ですか？」とユーザ Bに伝えたいときに、関連する用例として

く用例 1 >「空港へ行きたレヽ。」"I want to go to the airport."

<用例 2 >「電車は何時に出ます力。 J "What time does the train leave?"

だけが翻訳装置に用意されているとすると、ユーザ Aは「空港へ行きたい。」を選択してから「電車は何時に出ます力。」を選択する。この時、ユーザ Bは翻訳装置から出力される用例 Ι want to go to the ai卬 ort."を聞いてから、ある時間が経過して次の用 2" What time does the train leave?"を聞くことになる。ここで、ユーザ Bが用例 1を聞いた瞬間にユーザ Aが空港の場所を尋ねていると判断すると、ユーザ Bは自分の翻訳装置で空港の場所を示す用例を検索してユーザ Aに伝える。しかし、ユーザ A にとつて空港の場所は既知であるため、ユーザ Aは用例 2の検索を中断して自分が空港の場所を知っていることをユーザ Bに伝えるための用例を検索しなければならなレ、。すなわち、用例選択に力、かる時間が短縮されても、誤解や早合点による発話が増加して結果的に対話が完了するまでに要する時間が増加する。

[0007] そこで、本発明は上記の事情に鑑みてなされたものであり、誤解や早合点による発話を低減し、速やかに対話が完了するように対話を支援することができる対話支援装置を提供することを目的とする。

課題を解決するための手段 [0008] 上記目的を達成するため、本発明に係る対話支援装置は、対話を支援する対話支援装置であって、対話で使用される第 1用例および第 2用例を対応付けて保持する用例データベースと、ユーザの発話を受け付ける発話受付手段と、前記発話受付手段によって受け付けられた前記発話に基づいて前記用例データベースを検索することによって第 1用例を選択し、選択した前記第 1用例に対応する第 2用例を出力する用例選択手段と、前記発話と前記用例選択手段によって選択された前記第 1用例との差分を計算し、計算した前記差分を示す差分情報を出力する発話差分計算手段と、前記用例選択手段によって出力された前記第 2用例と前記発話差分計算手段によって出力された前記差分情報とを相手ユーザの対話支援装置に送信する送信手段とを備えることを特徴とする。

発明の効果

[0009] 本発明に係る対話支援装置によれば、差分情報によって対話の相手は自分の発話が完全に終了するタイミングを知ることができる。したがって、発話の途中で割り込むことが抑制され、対話支援装置を介した対話がスムーズに進行する。特に、親切や好意で相手の発話に即答したために対話が混乱してしまい、対話終了後に双方が不快な思いをするという現象が解消される。

図面の簡単な説明

[0010] [図 1]図 1は本発明に係る対話支援装置の一実施の形態の構成を示すブロック図である。

[図 2]図 2は用例データベースの一例を示す図である。

[図 3]図 3は用例選択部の動作を示すフローチャートである。

[図 4]図 4は用例選択部が類似度の計算に使用する動的計画法の一例を示す図である。

[図 5]図 5は本発明に係る対話支援装置が利用される場面の一例を示す図である。

[図 6]図 6 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。

[図 7]図 7 (a)、（b)は本発明に係る対話支援装置の表示例を示す図である。

[図 8]図 8 (a)、（b)は本発明に係る対話支援装置の表示例を示す図である。

[図 9]図 9 (a)、（b)は本発明に係る対話支援装置の表示例を示す図である。園 10]図 10 (a)、（b)は本発明に係る対話支援装置の表示例を示す図である。園 11]図 11 (a)、（b)は本発明に係る対話支援装置の表示例を示す図である。園 12]図 12 (a)、（b)は本発明に係る対話支援装置の表示例を示す図である。園 13]図 13 (a)、（b)は本発明に係る対話支援装置の表示例を示す図である。

[図 14]図 14 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。園 15]図 15 (a)、（b)は本発明に係る対話支援装置の表示例を示す図である。園 16]図 16は本発明に係る対話支援装置の他の実施の形態の構成を示すブロック図である。

園 17]図 17は表現変換部の一例を示す図である。

園 18]図 18 (a)、（b)は本発明に係る対話支援装置の表示例を示す図である。園 19]図 19は本発明に係る対話支援装置の他の実施の形態の構成を示すブロック図である。

園 20]図 20 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。

[図 21]図 21は用例データベースの一例を示す図である。

園 22]図 22 (a)、（b)は本発明に係る対話支援装置の表示例を示す図である。園 23]図 23 (a)、（b)は本発明に係る対話支援装置の表示例を示す図である。園 24]図 24 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。園 25]図 25 (a)、（b)は本発明に係る対話支援装置の表示例を示す図である。園 26]図 26 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。園 27]図 27 (a)、（b)は本発明に係る対話支援装置の表示例を示す図である。園 28]図 28 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。園 29]図 29 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。園 30]図 30 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。園 31]図 31 (a)、（b)は本発明に係る対話支援装置の表示例を示す図である。園 32]図 32は表現変換部の一例を示す図である。

園 33]図 33 (a)、（b)は本発明に係る対話支援装置の表示例を示す図である。園 34]図 34 (a)、 (b)は本発明に係る対話支援装置の表示例を示す図である。園 35]図 35は本発明に係る対話支援装置の他の実施の形態の構成を示すブロック図である。

園 36]図 36は本発明に係る対話支援装置の他の実施の形態の構成を示すブロック図である。

符号の説明

101 用例データベース

102 発話受付部

103 用例選択部

104 送信部

105 発話差分計算部

106 受信部

107 発話出力部

501 ユーザ 1の PDA

502 ユーザ 2の PDA

503 発話入力ボタン

504 発話入力ボタン

505 発話情報 Uおよび部分発話情報 uの表示領域

506 発話情報 Uおよび部分発話情報 uの表示領域

507 予測候補 Eの表示領域

508 予測候補 Eの表示領域

509 対応する用例の表示領域

510 対応する用例の表示領域

511 差分情報の表示領域

512 差分情報の表示領域

513 発話受付部 102のマイク

514 発話受付部 102のマイク

701 受信状態における相手の用例の表示領域

702 受信状態における相手の用例の表示領域

801 発話情報 Uにおける uの部分を示す下線 1201 残差情報を表現する棒グラフ

1202 残差情報を表現する棒グラフ

1301 残差情報を表現する円グラフ

1302 残差情報を表現する円グラフ

1401 残差情報を表現するメタファ

1501 表現変換部

1701 言語表現に変換された残差情報

1801 フィラーデータベース

発明を実施するための最良の形態

[0012] 本発明の実施の形態に係る対話支援装置は、対話を支援する対話支援装置であつて、対話で使用される第 1用例および第 2用例を対応付けて保持する用例データベースと、ユーザの発話を受け付ける発話受付手段と、前記発話受付手段によって受け付けられた前記発話に基づいて前記用例データベースを検索することによって第 1用例を選択し、選択した前記第 1用例に対応する第 2用例を出力する用例選択手段と、前記発話と前記用例選択手段によって選択された前記第 1用例との差分を計算し、計算した前記差分を示す差分情報を出力する発話差分計算手段と、前記用例選択手段によって出力された前記第 2用例と前記発話差分計算手段によって出力された前記差分情報とを相手ユーザの対話支援装置に送信する送信手段とを備えることを特徴とする。

[0013] これによつて、言いたいこと (発話受付手段によって受け付けられた発話）のうちどの程度までが相手に対して発話された力を相手に通知することができ、誤解や早合点による発話を低減し、速やかに対話が完了するように対話を支援することができる

[0014] また、前記用例選択手段は、さらに、選択した前記第 1用例と前記発話との差分に基づいて、前記発話に対する次の第 1用例を選択してもよい。これによつて、相手に発話された残りの部分についても、順次、相手に対して発話することができ、その時点における差分情報を通知することができる。

[0015] また、前記用例選択手段は、前記発話と前記第 1用例との類似度合いを示す類似度を、文字、単語、または読みの文字を単位として動的計画法を用いて計算してもよレ、。

[0016] また、前記発話差分計算手段は、前記発話と前記用例選択手段によって選択された前記第 1用例とを、文字、単語、または読みの文字によって比較して前記差分を計算してもよい。

[0017] また、前記対話支援装置は、さらに、前記相手ユーザの対話支援装置から送信される第 2用例と差分情報とを受信する受信手段と、前記受信手段によって受信された前記第 2用例と前記差分情報とを出力する発話出力手段とを備えてもよい。これによつて、相手の言いたいことのうちどの程度までが発話されたかを知ることができ、発話に対して応答すべきであるか否かを客観的に判断することが可能になる。したがって、誤解や早合点による発話を低減し、速やかに対話が完了するように対話を支援すること力 Sできる。

[0018] また、前記発話出力手段は、前記受信手段によって受信された前記差分情報を数字で表示してもよい。また、前記発話出力手段は、前記受信手段によって受信された前記差分情報を図形で表示してもよい。これによつて、ユーザは差分情報を直感的に把握することが可能になり、次の発話を待つストレスが軽減される。

[0019] また、前記発話出力手段は、前記受信手段によって受信された前記差分情報を定性的な言語表現に変換し、変換した前記言語表現を出力してもよい。また、前記発話出力手段は、前記受信手段によって受信された前記差分情報に基づいてフィラーに相当する言語表現をランダムに生成し、生成した前記言語表現を出力してもよい。これによつて、次の発話を待つユーザのストレスを軽減することが可能になる。

[0020] また、前記対話支援装置は、さらに、前記用例選択手段によって選択された前記第 1用例の候補を前記ユーザに通知する候補通知手段と、前記第 1用例の候補の中から 1つの第 1用例の選択指示を前記ユーザから受け付ける選択指示受付手段とを備え、前記用例選択手段は、前記発話に基づいて前記用例データベースを検索することによって前記第 1用例の候補を選択するとともに、前記選択指示受付手段によつて受け付けられた前記選択指示により前記第 1用例を選択してもよい。

[0021] また、前記発話受付手段は、前記用例データベースが保持する前記第 1用例から構築された言語モデルを用いた連続音声認識処理で前記発話を受け付ける、または、前記用例データベースが保持する前記第 1用例を構成する単語に入力を限定されたキーボードから前記発話を受け付けてもよい。

[0022] また、本発明の実施の形態に係る対話支援システムは、第 1対話支援装置および第 2対話支援装置を用いて対話を支援する対話支援システムであって、前記第 1対話支援装置は、対話で使用される第 1用例および第 2用例を対応付けて保持する用例データベースと、ユーザの発話を受け付ける発話受付手段と、前記発話受付手段によって受け付けられた前記発話に基づいて前記用例データベースを検索することによって第 1用例を選択し、選択した前記第 1用例に対応する第 2用例を出力する用例選択手段と、前記発話と前記用例選択手段によって選択された前記第 1用例との差分を計算し、計算した前記差分を示す差分情報を出力する発話差分計算手段と、前記用例選択手段によって出力された前記第 2用例と前記発話差分計算手段によつて出力された前記差分情報とを前記第 2対話支援装置に送信する送信手段とを備え、前記第 2対話支援装置は、前記第 1対話支援装置から送信される前記第 2用例と前記差分情報とを受信する受信手段と、前記受信手段によって受信された前記第 2用例と前記差分情報とを出力する発話出力手段とを備えることを特徴とする。

[0023] また、本発明の実施の形態に係る対話支援システムは、サーバと接続される第 1対話支援装置および第 2対話支援装置を用いて対話を支援する対話支援システムであって、前記第 1対話支援装置は、ユーザの発話を受け付ける発話受付手段と、前記発話受付手段によって受け付けられた前記発話を前記サーバに送信する送信手段とを備え、前記サーバは、対話で使用される第 1用例および第 2用例を対応付けて保持する用例データベースと、前記第 1対話支援装置から送信された前記発話に基づいて前記用例データベースを検索することによって第 1用例を選択し、選択した前記第 1用例に対応する第 2用例を出力する用例選択手段と、前記発話と前記用例選択手段によって選択された前記第 1用例との差分を計算し、計算した前記差分を示す差分情報を出力する発話差分計算手段と、前記用例選択手段によって出力された前記第 2用例と前記発話差分計算手段によって出力された前記差分情報とを前記第 2対話支援装置に送信する送信手段とを備え、前記第 2対話支援装置は、前記サーバから送信される前記第 2用例と前記差分情報とを受信する受信手段と、前記受信手段によって受信された前記第 2用例と前記差分情報とを出力する発話出力手段とを備えることを特 ί数とする。

[0024] なお、本発明は、このような対話支援装置として実現することができるだけでなぐこのような対話支援装置が備える特徴的な手段をステップとする対話支援方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、 CD— ROM等の記録媒体やインタ一ネット等の伝送媒体を介して配信することができるのは言うまでもない。

[0025] 以下、本発明の実施の形態について、図面を参照しながら説明する。

[0026] 図 1は本発明に係る対話支援装置の一実施の形態の構成を示すブロック図である

[0027] 対話支援装置は、人と人との対話を支援するための装置であり、図 1に示すように用例データベース 101、発話受付部 102、用例選択部 103、発話差分計算部 105、送信部 104、受信部 106、および発話出力部 107を備えている。

[0028] ここで、発話受付部 102は発話受付手段に、用例選択部 103は用例選択手段、候補通知手段および選択指示受付手段に、発話差分計算部 105は発話差分計算手段に、送信部 104は送信手段に、受信部 106は受信手段に、発話出力部 107は発話出力手段に、それぞれ相当する。

[0029] 用例データベース 101は、対話で使用される用例を保持している。発話受付部 10 2は、ユーザの発話を受け付け、発話情報として出力する。用例選択部 103は、発話情報に最も近い用例データベース 101に含まれる用例を順次選択し、その用例に対応する用例を出力する。発話差分計算部 105は、発話情報と用例選択部 103によつて選択された用例との差分を計算して差分情報を出力する。送信部 104は、用例選択部 103から出力される用例と差分情報を相手ユーザの対話支援装置に送信する。受信部 106は、相手ユーザの対話支援装置から出力される用例と差分情報とを受信する。発話出力部 107は、受信部 106で受信された差分情報と用例とを出力する。なお、ユーザの送信部 104と相手ユーザの受信部 106、あるいは、相手ユーザの送信部 104とユーザの受信部 106は、用例と差分情報を直接送受信してもよいし、サーバを介して間接的に送受信してもよい。

[0030] 次に、上記のように構成された対話支援装置で異言語の対話を支援する場合の構成について、さらに説明する。ユーザの母国語は日本語、相手ユーザの母国語は英語であると仮定する。

[0031] 図 2は用例データベース 101が保持する用例の一例を示す図である。第 1用例に相当する言語 1は自分の母国語、第 2用例に相当する言語 2は相手の母国語であり、言語 1と言語 2の用例は対訳関係である。例えば、用例選択部 103によって言語 1 の発話 No. 16の用例「空港へ行きたい」が選択されると対応する用例として言語 2の 1 want to go to the airport. 出力れ。

[0032] 発話受付部 102は、ユーザの発話を連続音声認識処理またはキーボードによって文字情報として取得し、発話情報として出力する。ここで、発話情報はユーザの発話に相当する文字列である。発話受付部 102がユーザの発話を連続音声認識処理によって受け付ける場合は、言語モデルを用例データベース 101が保持する用例から構築することで、音声認識精度を向上させることが可能である。また、発話受付部 10 2がユーザの発話をキーボードから受け付ける場合は、用例データベース 101が保持する言語 1の用例を構成する単語に入力を限定することで、効率的に文字入力することが可能になる。

[0033] 図 3は用例選択部 103の動作の流れを示すフローチャートである。用例選択部 10 3は図 3のフローチャートに従って発話情報に最も近い用例を順次出力する。

[0034] まず、用例選択部 103は、発話受付部 102から入力された発話に相当する発話情報を全発話情報 Uにセットする (ステップ S301)。次に、部分発話情報 uに Uをセットし、変換済発話情報 Vをクリアする。また、送信部 104を通じて相手ユーザの対話支援装置のモードを受信状態に変更する (ステップ S302)。用例選択部 103は、部分発話情報 uと用例データベース 101の言語 1のすベての用例との類似度を計算する（ステップ S303)。ここで、用例選択部 103は、類似度として例えば図 4に示す動的計画法を用いて部分発話情報 uと各用例との距離を計算する。この場合、距離の値が小さいほど類似度は高レ、。図 4の動的計画法において、文の構成単位は文字または単語または読みの文字などのいずれカあるいは、その組み合わせである。例えば、構成単位が単語で _α = 1の場合、文 1 = {空港、へ、行く }と文 2= {空港、まで、行く } の類似度は a [3] [3] = 1として計算される。

[0035] 次に、用例選択部 103は、言語 1のすベての用例の中で類似度が閾値以下の用例を選択して用例候補 Eにセットする (ステップ S304)。なお、閾値 /3は用例データベース 101が保持する用例の数と、その中で表現として類似する用例の数を考慮して決定する。そして、用例選択部 103は、用例候補 Eが空であるか否力、を判定する (ステップ S305)。この結果、用例候補 Eが空でなければ（ステップ S305で No)、部分発話情報 uと用例候補 Eをユーザに提示し、所望の用例を選択させる (ステップ S3 06)。そして、ユーザによって用例 eが選択されると、送信部 104へその対訳用例を出力する (ステップ S307)。次に、用例選択部 103は、部分発話情報 uと変換済発話情報 Vの内容を V— v + uおよび u— U_vとして更新し、発話差分計算部 105へ出力する（ステップ S308)。そして、部分発話情報 uが空であるか否かを判定 (ステップ S3 10)し、部分発話情報 uが空であれば (ステップ S310で Yes)終了し、空でなければ（ステップ S310で No)類似度計算処理 (ステップ S303)に戻る。

[0036] 一方、上記判定処理 (ステップ S305)で用例候補 Eが空である場合 (ステップ S305 で No)、部分発話情報 uに最も近い用例を用例データベース 101の中から選択するために、部分発話情報 uを最後尾から縮退させる（ステップ S309)。ここで、縮退の単位は、文字、単語、または文節のいずれかである。例えば u= "空港へ行く電車は何時発ですカノ'の場合、部分発話情報 uを文節の単位で縮退するのであれば、部分発話情報 11は{空港へ、行ぐ電車は、何時発ですか }なので、 u= "空港へ行く電車は" となる。次に、再び、類似度計算処理 (ステップ S303)に戻り、用例データベース 10 1の言語 1の各用例との類似度の計算を繰り返す。

[0037] 発話差分計算部 105は、全発話情報 Uと変換済発話情報 Vに基づき、差分情報（

U_v) ZUを計算して送信部 104へ出力する。差分情報は、例えば全発話情報 Uと変換済発話情報 Vの文字数、単語数、または読みの文字数で計算する。全発話情報 U = "空港へ行く電車は何時発ですか"、変換済発話情報 _v= "空港へ行ぐ'である場合に文字数で差分情報を計算すると（14_ 5) /14 0. 64となる。

[0038] 送信部 104は、用例選択部 103から順次出力される用例データベース 101の言語 2の用例に、発話差分計算部 105から出力される差分情報を重畳して相手の対話支援装置に送信する。送信された情報は相手の対話支援装置の受信部 106で受信され、発話出力部 107を通じて相手に出力される。発話出力部 107は、例えば LCDなどの表示デバイスまたは音声合成処理で構成する。

[0039] 以下、上記のように構成された対話支援装置で異言語の対話を支援する場合の動作について説明する。ここでは、図 5に示すように観光客で母国語が日本語であるュ一ザ (ユーザ 1)力ホテルのフロントのスタッフで英語が母国語である相手ユーザ (ュ一ザ 2)と対話を行う場合を例として説明する。

[0040] 図 6 (a)、 (b)は対話支援装置を実装した PDAを示す図である。図 6 (a)に示す PD A501はユーザ 1が使用し、図 6 (b)に示す PDA502はユーザ 2が使用する。各ユーザは発話入力ボタン 503、 504を押して音声で発話を入力する。発話が入力されると、発話受付部 102によって受け付けられた発話が発話情報として表示領域 505、 50 6に表示され、用例選択部 103によって用例の候補 Eが表示領域 507、 508に表示される。用例の候補から所望の用例 eが選択されると、その対訳用例が表示領域 509 、 510に表示され、相手の対話支援装置に送信される。表示領域 511および 512には差分情報が表示される。マイク 513と 514は発話受付部 102へユーザの音声を入力するマイクである。

[0041] 例えば図 7 (a)に示すように、ユーザ 1が発話入力ボタン 503を押して「空港へ行く電車は何時発ですか」という発話を入力した場合、発話受付部 102の音声認識処理によって発話情報「空港へ行く電車は何時発です力」に変換され、図 8 (a)に示すように表示領域 505に表示される。発話情報は用例選択部 103に入力され、ステップ 30 1におレ、て全発話情報 U = "空港へ行く電車は何時発ですか"、ステップ 302におレヽて部分発話情報 u = "空港へ行く電車は何時発ですか"、変換済発話情報 v = ""となり、相手ユーザの PDA502のモードを、送信部 104を通じて受信状態に変更する。受信状態では表示領域 701に相手ユーザの対話支援装置で最近選択された用例の対訳用例が表示され、表示領域 702には相手ユーザの対話支援装置で選択されたすベての用例の対訳用例が順次表示される。なお、 PDA502の受信状態は発話入力ボタン 504を押して発話の入力を開始すると解除されて図 6の状態に戻る。 [0042] 次に、用例選択部 103は、ステップ 303、ステップ 304、ステップ 305、ステップ 309 で部分発話情報 uを縮退させながらすべての用例との類似度を計算し、最終的に部分発話情報 _u= "空港へ行ぐに対して用例候補 E= {空港へ行きたい、空港へ行く方法を教えて下さい }を得る。ステップ 306において、部分発話情報 uの値は表示領域 505の表示に反映され、図 9 (a)に示すように下線 801でユーザ 1に対して示される。また、用例選択部 103は、用例候補 Eを表示領域 507に表示する。図 10 (a)に示すようにユーザ 1が所望の用例 eとして「空港へ行きたレ、」を選択すると、ステップ 307 においてその対訳用例 "I want to go to the ak ort."が送信部 104に出力される。ステツプ 308において v = "空港へ行く"、 u = U_v、すなわち、部分発話情報 u = "電車は何時発ですカ 'に更新される。これらの情報は発話差分計算部 105に出力され、発話差分計算部 105は (U _v) ZU= (14 _ 5) Zl4^ 0. 64の差分情報を得る。得られた差分情報は表示領域 511に表示され、送信部 104からは対訳用例 "I want to go to the ai卬 ort."と差分情報「0· 64」が PDA502に送信される。 PDA502の受信部 106で受信されたこれらの情報は、図 10 (b)に示すように発話出力部 107によつて表示領域 701、 702に表示される。また、発話出力部 107は、音声合成処理によつて "I want to go to the ai卬 ort."に相当する音声情報を PDA502から出力する。ここで、差分情報は表示領域 512に表示されるので、ユーザ 2はユーザ 1の言いたいことがなお 64%残っていることを知ることができる。したがって、ユーザ 2はユーザ 1の発話がまだ半分以上伝わっていないことから、 "I want to go to the ai卬 ort."だけを聞レ、てすぐに応答するよりも残りの発話を待つべきであると客観的に判断することが可能になり、不要な発話が抑制される。

[0043] 次に、ステップ 310において、部分発話情報 u= "電車は何時発ですカ 'であるので、ステップ 303に戻り、同様にステップ 305で用例候補 E= {電車は何時に出発しますか、電車は何時に到着します力 \電車は何で遅れていますか }が得られると、図 11 (a)に示すようにステップ 306で表示領域 505、 507に対してそれぞれ部分発話情報 uと用例候補 Eが表示される。図 12 (a)に示すように、同様にユーザ 1が所望の用例「電車は何時に出発しますか」を選択すると、図 12 (b)に示すように、その対訳用例" What time does the train leave?"が PDA502から出力される。ステップ 308において変換済発話情報 v= "空港へ行く電車は何時発ですか"、部分発話情報 _u =" "に更新される。これらの情報は発話差分計算部 105に出力され、発話差分計算部 1 05は（U—v) /U= (14—14) /14 = 0の差分情報を得る。得られた差分情報は表示領域 511に表示され、同様に表示領域 512にも表示される。ユーザ 2はユーザ 1の言レヽたレ、ことが表示領域 702にすベて含まれてレ、ることを知ること力できる。したがつて、表示領域 702に対して応答すべきであることを客観的に判断することが可能になり、必要かつ十分な発話で相手に応答することか可能になる。

[0044] なお、上記では差分情報を数値で表現する例を示したが、例えば図 13 (a)、 (b)に示すような棒グラフ 1201、 1202、または図 14 (a)、（b)に示す円グラフ 1301、 1302 などの図形で差分情報を表現してもよい。または、差分情報を制御パラメータとして差分情報を表現するメタファを制御してもよい。例えば図 15 (b)に示すような回転する砂時計 1401の回転速度を差分情報に比例させることも可能である。このように差分情報を図形やメタファで表現することによって、ユーザは差分情報を直感的に把握することが可能になり、次の発話を待つストレスが軽減される。

[0045] また、図 16に示すように図 1に示す対話支援装置の構成に加えて表現変換部 150 1を備え、差分情報を言語表現でユーザに伝えてもよい。表現変換部 1501は、例えば図 17のような差分情報から言語表現への変換規則で構成する。図 10の状態で差分情報が 0. 64のとき、図 16の構成では差分情報は表現変換部 1501の変換規則 N o. 2によって" Wait for a mi皿 te."に変換され、図 18 (b)に示すように定性的な言語表現 1701で相手ユーザに伝えられる。このように差分情報を適切な言語で表現することによって、ユーザは次の発話を待つストレスが軽減される。

[0046] また、図 19に示すように図 1に示す対話支援装置の構成に加えてフィラーデータべース 1801を備えてもよい。この場合、発話出力部 107は、相手の対話支援装置から送信された差分情報が 0でないときに、この差分情報を制御パラメータとして、相手の対話支援装置から次の用例が届くまでの間に、フィラーデータベース 1801の中の「え一つと」「そうですね」" And please wait，"などのフィラーに相当する文を規則的に、あるいは、ランダムに生成させてもよレ、。図 19の構成では、図 11の状態のときに図 2 0 (b)に示すようにフィラーの音声が PDA502からランダムに再生される。このように次の発話が届くまでの空白の時間を適切なフィラーで聴覚的に坦めることによって、次の発話を待つユーザのストレスを軽減することが可能になる。このとき、図 20に示す表示領域 512への差分情報の表示は、行っても行わなくてもどちらでも構わない。

[0047] ここまでは、対話支援装置にぉレ、て、ユーザが日本語を話し、相手ユーザが英語を話すと仮定した場合について説明したが、以下では、ユーザが中国語を話し、相手ユーザが英語を話すと仮定した場合について説明する。ここでは、上記同様に図 5に示すように観光客で母国語が中国語であるユーザ (ユーザ 1)が、ホテルのフロントのスタッフで母国語が英語である相手ユーザ (ユーザ 2)と対話を行う場合を例として説明する。なお、上記と同様の構成については説明を省略する。

[0048] 図 21は用例データベース 101が保持する用例の一例を示す図である。第 1用例に相当する言語 1は中国語、第 2用例に相当する言語 2は英語であり、言語 1と言語 2 の用例は対訳関係である。例えば、用例選択部 103によって言語 1の発話 No. 16の用例

「想去机场」が選択されると対応する用例として言語 2の "I want to go to the ai卬 ort."が出力される。

[0049] 図 22 (a)、 (b)は対話支援装置を実装した PDAを示す図である。図 22 (a)に示す PDA501はユーザ 1が使用し、図 22 (b)に示す PDA502はユーザ 2が使用する。各ユーザは発話入力ボタン 503、 504を押して音声で発話を入力する。発話が入力されると、発話受付部 102によって受け付けられた発話が発話情報として表示領域 50 5、 506に表示され、用例選択部 103によって用例の候補 Eが表示領域 507、 508に表示される。用例の候補から所望の用例 eが選択されると、その対訳用例が表示領域 509、 510に表示され、相手の対話支援装置に送信される。表示領域 511および 512には差分情報が表示される。マイク 513と 514は発話受付部 102へユーザの音声を入力するマイクである。

[0050] 例えば図 23 (a)に示すように、ユーザ 1が発話入力ボタン 503を押して

「去机场的电车的出发时间是几点」という発話を入力した場合、発話受付部 102の音声認識処理によって発話情報

「去机场的电车的出发时间是几点」に変換され、図 24 (a)に示すように表示領域 505に表示される。発話情報は用例選択部 103に入力され、ステップ 301において全発話情報 U =

"去机场的电车的出发时间是几点"

、ステップ 302において部分発話情報 u = "去机场的电车的出发时阆是几点"

、変換済発話情報 v= ""となり、相手ユーザの PDA502のモードを、送信部 104を通じて受信状態に変更する。受信状態では表示領域 701に相手ユーザの対話支援装置で最近選択された用例の対訳用例が表示され、表示領域 702には相手ユーザの対話支援装置で選択されたすベての用例の対訳用例が順次表示される。なお、 PD A502の受信状態は発話入力ボタン 504を押して発話の入力を開始すると解除されて図 22の状態に戻る。

次に、用例選択部 103は、ステップ 303、ステップ 304、ステップ 305、ステップ 309 で部分発話情報 uを縮退させながらすべての用例との類似度を計算し、最終的に部分発話情報 _u=

"去机场的" に対して用例候補 E =

{想去机场、请教我一下去机场怎么走 } を得る。ステップ 306において、部分発話情報 uの値は表示領域 505の表示に反映され、図 25 (a)に示すように下線 801でユーザ 1に対して示される。また、用例選択部 103は、用例候補 Eを表示領域 507に表示する。図 26 (a)に示すようにユーザ 1が所望の用例 eとして

「想去机场」を選択すると、ステップ 307においてその対訳用例 "I want to go to the ai卬 ort."が送信部 104に出力される。ステップ 308において v=

"去机场的"

、 u=U— v、すなわち、部分発話情報 _u=

" 电车的出发时间是几点 " に更新される。これらの情報は発話差分計算部 105に出力され、発話差分計算部 1 05は、文字数で差分情報を計算すると (U_v) /U= (14 _4) /14 ^ 0. 71の差分情報を得る。得られた差分情報は表示領域 511に表示され、送信部 104からは対訳用例" I want to go to the ai卬 ort."と差分情報「0. 71」力 SPDA502に送信される。

PDA502の受信部 106で受信されたこれらの情報は、図 26 (b)に示すように発話出力部 107によって表示領域 701、 702に表示される。また、発話出力部 107は、音声合成処理によって" I want to go to the ak ort."に相当する音声情報を PDA502力、ら出力する。ここで、差分情報は表示領域 512に表示されるので、ユーザ 2はユーザ 1の言いたいことがなお 71 %残っていることを知ることができる。したがって、ユーザ 2 はユーザ 1の発話がまだ半分以上伝わっていないことから、 "I want to go to the airp ort."だけを聞いてすぐに応答するよりも残りの発話を待つべきであると客観的に判断することが可能になり、不要な発話が抑制される。

次に、ステップ 310において、部分発話情報 u=

" 电车的出发时间是几点 " であるので、ステップ 303に戻り、同様にステップ 305で用例候補 E = {电车几点钟出发？、电车几点钟到达？、电车为什么点？ } 力 S得られると、図 27 (a)に示すようにステップ 306で表示領域 505、 507に対してそれぞれ部分発話情報 uと用例候補 Eが表示される。図 28 (a)に示すように、同様にュ一ザ 1が所望の用例

「电车几点钟出发？」を選択すると、図 28 (b)に示すように、その対訳用例" What time does the train leave ？"が PDA502から出力される。ステップ 308において変換済発話情報 v=

" 去机场的电车的出发时间是几点 "

、部分発話情報 u= ""に更新される。これらの情報は発話差分計算部 105に出力され、発話差分計算部105は(1；ー^ /1；= (14 14) /14 = 0の差分情報を得る。得られた差分情報は表示領域 511に表示され、同様に表示領域 512にも表示される。ユーザ 2はユーザ 1の言レヽたレ、ことが表示領域 702にすベて含まれてレ、ることを知ること力 Sできる。したがって、表示領域 702に対して応答すべきであることを客観的に判断することが可能になり、必要かつ十分な発話で相手に応答することか可能になる

[0053] なお、上記では差分情報を数値で表現する例を示したが、例えば図 29 (a)、 (b)に示すような棒グラフ 1201、 1202、または図 30 (a)、（b)に示す円グラフ 1301、 1302 などの図形で差分情報を表現してもよい。または、差分情報を制御パラメータとして差分情報を表現するメタファを制御してもよい。例えば図 31 (b)に示すような回転する砂時計 1401の回転速度を差分情報に比例させることも可能である。このように差分情報を図形やメタファで表現することによって、ユーザは差分情報を直感的に把握することが可能になり、次の発話を待つストレスが軽減される。

[0054] また、図 16に示すように図 1に示す対話支援装置の構成に加えて表現変換部 150 1を備え、差分情報を言語表現でユーザに伝えてもよい。表現変換部 1501は、例えば図 32のような差分情報から言語表現への変換規則で構成する。図 26の状態で差分情報が 0. 71のとき、図 16の構成では差分情報は表現変換部 1501の変換規則 N o. 2によって" Wait for a mi皿 te."に変換され、図 33 (b)に示すように定性的な言語表現 1701で相手ユーザに伝えられる。このように差分情報を適切な言語で表現することによって、ユーザは次の発話を待つストレスが軽減される。

[0055] また、図 19に示すように図 1に示す対話支援装置の構成に加えてフィラーデータべース 1801を備えてもよい。この場合、発話出力部 107は、相手の対話支援装置から送信された差分情報が 0でないときに、この差分情報を制御パラメータとして、相手の対話支援装置から次の用例が届くまでの間に、フィラーデータベース 1801の中の「那个」、「就是」

、 "And please wait,"などのフィラーに相当する文を規則的に、あるいは、ランダムに生成させてもよい。図 19の構成では、図 27の状態のときに図 34 (b)に示すようにフィラーの音声が PDA502からランダムに再生される。このように次の発話が届くまでの空白の時間を適切なフィラーで聴覚的に埋めることによって、次の発話を待つユーザのストレスを軽減することが可能になる。このとき、図 34に示す表示領域 512への差分情報の表示は、行っても行わなくてもどちらでも構わない。

[0056] また、図 35に示すように用例データベース 101と発話受付部 102と用例選択部 10 3と送信部 104と発話差分計算部 105とによって構成される送信側と、受信部 106と発話出力部 107によって構成される受信側を独立した構成にしてもよい。

[0057] また、図 36に示すように対話支援装置が発話受付部 102と送信部 104と受信部 10 6と発話出力部 107とを備え、インターネット等のネットワーク 2210を介して対話支援装置と接続されるサーバが用例データベース 101と用例選択部 104と発話差分計算部 105とを備えるシステムとして構成することも可能である。この場合、送信部 104が発話情報をサーバに送信し、サーバの受信部 2201が受信する。そして、サーバの送信部 2202が、サーバが発話情報に基づいて特定した用例と差分情報とを相手ュ一ザの対話支援装置の受信部 106に送信することになる。なお、サーバが発話情報に基づいて特定した用例と差分情報とを一旦ユーザの対話支援装置に送信した後、ユーザの対話支援装置から相手ユーザの対話支援装置に送信しても構わない。

[0058] また、本実施の形態では、一例として日本語と英語の場合と、中国語と英語の場合とを取り上げたが、仏語など他の言語についても同様に実施可能であり、本発明は言語に依存しない。

産業上の利用可能性

[0059] 本発明に係る対話支援装置は、対話参加者の発話を速やかに完了させる機能を有し、携帯電話や携帯端末等の翻訳アプリケーションソフトウェア等として有用である。また公共の街頭端末や案内端末等の用途にも応用できる。さらに、同言語の対話

Claims

請求の範囲

[1] 対話を支援する対話支援装置であって、

対話で使用される第 1用例および第 2用例を対応付けて保持する用例データべ一スと、

ユーザの発話を受け付ける発話受付手段と、

前記発話受付手段によって受け付けられた前記発話に基づいて前記用例データベースを検索することによって第 1用例を選択し、選択した前記第 1用例に対応する第 2用例を出力する用例選択手段と、

前記発話と前記用例選択手段によって選択された前記第 1用例との差分を計算し、計算した前記差分を示す差分情報を出力する発話差分計算手段と、

前記用例選択手段によって出力された前記第 2用例と前記発話差分計算手段によつて出力された前記差分情報とを相手ユーザの対話支援装置に送信する送信手段と

を備えることを特徴とする対話支援装置。

[2] 前記用例選択手段は、さらに、選択した前記第 1用例と前記発話との差分に基づいて、前記発話に対する次の第 1用例を選択する

ことを特徴とする請求項 1記載の対話支援装置。

[3] 前記用例選択手段は、前記発話と前記第 1用例との類似度合いを示す類似度を、文字、単語、または読みの文字を単位として動的計画法を用いて計算する

ことを特徴とする請求項 1記載の対話支援装置。

[4] 前記発話差分計算手段は、前記発話と前記用例選択手段によって選択された前記第 1用例とを、文字、単語、または読みの文字によって比較して前記差分を計算する

ことを特徴とする請求項 1記載の対話支援装置。

[5] 前記対話支援装置は、さらに、

前記相手ユーザの対話支援装置力送信される第 2用例と差分情報とを受信する受信手段と、

前記受信手段によって受信された前記第 2用例と前記差分情報とを出力する発話出力手段とを備える

ことを特徴とする請求項 1記載の対話支援装置。

[6] 前記発話出力手段は、前記受信手段によって受信された前記差分情報を数字で表示する

ことを特徴とする請求項 5記載の対話支援装置。

[7] 前記発話出力手段は、前記受信手段によって受信された前記差分情報を図形で表示する

ことを特徴とする請求項 5記載の対話支援装置。

[8] 前記発話出力手段は、前記受信手段によって受信された前記差分情報を定性的な言語表現に変換し、変換した前記言語表現を出力する

ことを特徴とする請求項 5記載の対話支援装置。

[9] 前記発話出力手段は、前記受信手段によって受信された前記差分情報に基づいてフイラ一に相当する言語表現を生成し、生成した前記言語表現を出力することを特徴とする請求項 5記載の対話支援装置。

[10] 前記対話支援装置は、さらに、

前記用例選択手段によって選択された前記第 1用例の候補を前記ユーザに通知する候補通知手段と、

前記第 1用例の候補の中から 1つの第 1用例の選択指示を前記ユーザから受け付ける選択指示受付手段とを備え、

前記用例選択手段は、前記発話に基づいて前記用例データベースを検索することによって前記第 1用例の候補を選択するとともに、前記選択指示受付手段によって受け付けられた前記選択指示により前記第 1用例を選択する

ことを特徴とする請求項 1記載の対話支援装置。

[11] 前記発話受付手段は、前記用例データベースが保持する前記第 1用例から構築された言語モデルを用いた連続音声認識処理で前記発話を受け付ける、または、前記用例データベースが保持する前記第 1用例を構成する単語に入力を限定されたキ一ボードから前記発話を受け付ける

ことを特徴とする請求項 1記載の対話支援装置。

[12] 第 1対話支援装置および第 2対話支援装置を用いて対話を支援する対話支援システムであって、

前記第 1対話支援装置は、

ユーザの発話を受け付ける発話受付手段と、

前記用例選択手段によって出力された前記第 2用例と前記発話差分計算手段によつて出力された前記差分情報とを前記第 2対話支援装置に送信する送信手段とを備え、

前記第 2対話支援装置は、

前記第 1対話支援装置から送信される前記第 2用例と前記差分情報とを受信する受信手段と、

前記受信手段によって受信された前記第 2用例と前記差分情報とを出力する発話出力手段と

を備えることを特徴とする対話支援システム。

[13] サーバと接続される第 1対話支援装置および第 2対話支援装置を用いて対話を支援する対話支援システムであって、

前記第 1対話支援装置は、

ユーザの発話を受け付ける発話受付手段と、

前記発話受付手段によって受け付けられた前記発話を前記サーバに送信する送信手段とを備え、

前記サーバは、

前記第 1対話支援装置から送信された前記発話に基づいて前記用例データべ一スを検索することによって第 1用例を選択し、選択した前記第 1用例に対応する第 2 用例を出力する用例選択手段と、

前記用例選択手段によって出力された前記第 2用例と前記発話差分計算手段によつて出力された前記差分情報とを前記第 2対話支援装置に送信する送信手段とを備前記第 2対話支援装置は、

前記サーバから送信される前記第 2用例と前記差分情報とを受信する受信手段と、前記受信手段によって受信された前記第 2用例と前記差分情報とを出力する発話出力手段と

を備えることを特徴とする対話支援システム。

[14] 対話を支援する対話支援方法であって、

ユーザの発話を受け付ける発話受付ステップと、

前記発話受付ステップにおいて受け付けられた前記発話に基づいて、対話で使用される第 1用例および第 2用例を対応付けて保持する用例データベースを検索することによって第 1用例を選択し、選択した前記第 1用例に対応する第 2用例を出力する用例選択ステップと、

前記発話と前記用例選択ステップにおいて選択された前記第 1用例との差分を計算し、計算した前記差分を示す差分情報を出力する発話差分計算ステップと、前記用例選択ステップにおいて出力された前記第 2用例と前記発話差分計算ステップにおいて出力された前記差分情報とを相手ユーザの対話支援装置に送信する送信ステップと

を含むことを特徴とする対話支援方法。

[15] 対話を支援するためのプログラムであって、

ユーザの発話を受け付ける発話受付ステップと、前記発話受付ステップにおいて受け付けられた前記発話に基づいて、対話で使用される第 1用例および第 2用例を対応付けて保持する用例データベースを検索することによって第 1用例を選択し、選択した前記第 1用例に対応する第 2用例を出力する用例選択ステップと、

前記発話と前記用例選択ステップにおいて選択された前記第 1用例との差分を計算し、計算した前記差分を示す差分情報を出力する発話差分計算ステップと、前記用例選択ステップにおいて出力された前記第 2用例と前記発話差分計算ステップにおいて出力された前記差分情報とを相手ユーザの対話支援装置に送信する送信ステップとをコンピュータに実行させる

ことを特徴とするプログラム。