WO2006040971A1 - 対話支援装置 - Google Patents

対話支援装置 Download PDF

Info

Publication number
WO2006040971A1
WO2006040971A1 PCT/JP2005/018429 JP2005018429W WO2006040971A1 WO 2006040971 A1 WO2006040971 A1 WO 2006040971A1 JP 2005018429 W JP2005018429 W JP 2005018429W WO 2006040971 A1 WO2006040971 A1 WO 2006040971A1
Authority
WO
WIPO (PCT)
Prior art keywords
dialogue
utterance
dialog
history
participant
Prior art date
Application number
PCT/JP2005/018429
Other languages
English (en)
French (fr)
Inventor
Kenji Mizutani
Yoshiyuki Okimoto
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2004296775 priority Critical
Priority to JP2004-296775 priority
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Publication of WO2006040971A1 publication Critical patent/WO2006040971A1/ja

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Abstract

 対話の相手がどのような相手であっても速やかに対話が完了するように対話を支援することができる対話支援装置を提供する。対話支援装置100は、対話参加者の発話を受け付け、発話を特定するための発話情報を出力する発話受付部101および発話受付部103、他の対話参加者からの発話情報を発話として出力する発話出力部102および発話出力部104、発話情報により特定される発話をそれぞれ他の発話形態に変換する発話処理部105、発話予測部106によって取得された対話参加者を特定する情報と対話状況とに基づいてサーバ装置200の対話履歴データベース201を検索し、対話履歴データベース201の中から最適な対話履歴を選択する対話履歴選択部107、および、選択された対話履歴に基づいて対話における発話を予測する予測発話予測部106を備える。                                                                                 

Description

明 細 書
対話支援装置
技術分野
[0001] 本発明は、人と人との対話を支援する対話支援装置に関するものである。
背景技術
[0002] 従来、一般の人々が海外旅行先等で現地の人々と対話をする際に、その異言語対 話を支援することを目的として翻訳装置が開発されてきた。例えば代表的なものとし て、例文や用例の対訳に基づく翻訳方式を、 PDA(Personal Digital Assistance)など の小型の情報処理装置に実装した翻訳装置がある。そのような装置では、一般的な 旅行会話をカバーするために数千以上の用例が用意されているので、ユーザに所 望の用例をそのリストから目視で選択させるだけでは実際の使用状況における使い 勝手、すなわち、ユーザピリティに問題がある。特に、用例のリストを見るための表示 部が小さぐ同時に見ることができる用例の数が少ない場合は、この問題は一層顕著 になる。また、翻訳装置の一般的な使用状況を想定すると、相手との対話の中で数 文以上の用例を使用しなければならない場合がほとんどであり、翻訳装置を介して 1 つの対話が完了するまでに予想以上の時間を要してしまう。そこで、人と人との対話 支援を最終目的として、大量の用例リストの中からユーザに所望の用例を速やかに 選択させるための、何らかの選択補助機能が必要とされている。
[0003] この問題を解決するための一方法として、見本対話モデルや会話練習履歴コーパ スを利用してユーザの次の発話候補を絞り込む手法が提案されている(例えば特許 文献 1参照)。
特許文献 1 :特開 2003— 30187号公報
発明の開示
発明が解決しょうとする課題
[0004] 過去に翻訳装置のユーザが行った対話の履歴に基づく次発話候補の絞込みは、 相手がその中に含まれている場合は有効である。また、事前にユーザが仮想的に対 話の練習を行った履歴や典型的な対話のパターンに基づく次発話候補の絞込みは 、 自分が想定する対話のパターンに従う相手であれば有効である。し力 ながら、一 般に対話のパターンは人によって様々である。例えば、列車の予約をするために旅 行者が駅員と対話を開始する場合、旅行者の発話「列車の予約をしたいのですが」 に対して、ある駅員は「何日の列車です力」という列車の日時についての発話から対 話を開始する可能性もあれば、別の駅員は「どこまでです力」という列車の目的地に 関する発話力 対話を開始する可能性もある。したがって、対話の相手によっては絞 込みに失敗するだけでな 誤った絞込みによって対話参加者を混乱させることにな り、逆に対話が完了するまでに要する時間が増加するという問題がある。
[0005] そこで、本発明は上記の事情に鑑みてなされたものであり、対話の相手がどのよう な相手であっても速やかに対話が完了するように対話を支援することができる対話支 援装置を提供することを目的とする。
課題を解決するための手段
[0006] 上記目的を達成するため、本発明に係る対話支援装置は、対話参加者によって行 われる対話を支援する対話支援装置であって、前記対話参加者および前記対話参 加者以外の者の対話履歴を格納している対話履歴データベースの中から、前記対 話参加者を特定する情報および対話状況に基づいて対話履歴を選択する対話履歴 選択手段と、前記対話履歴選択手段により選択された前記対話履歴に基づいて、前 記対話における前記対話参加者の次の発話を予測する発話予測手段とを備えること を特徴とする。
発明の効果
[0007] 本発明に係る対話支援装置によれば、ユーザは次発話候補の中から用例を容易 に選択することが可能になる。したがって、対話の相手を待たせることがないので対 話支援装置を介した対話をスムーズに進行することができる。
図面の簡単な説明
[0008] [図 1]図 1は本発明に係る対話支援システムの一実施の形態の構成を示すブロック図 である。
[図 2]図 2は対話参加者 1および対話参加者 2の発話と発話 No.の対応関係の一例 を示す図である。 園 3]図 3(a),(b),(C),(d),(e)は対話履歴データベースに格納される対話履歴の一例を 示す図である。
園 4]図 4は本発明に係る対話支援装置が利用される場面の一例を示す図である。
[図 5]図 5は発話予測部の動作の流れを示すフローチャートである。
[図 6]図 6は本発明に係る対話支援装置の表示例を示す図である。
[図 7]図 7は本発明に係る対話支援装置の表示例を示す図である。
[図 8]図 8は対話履歴選択部の動作の流れを示すフローチャートである。
園 9]図 9(a),(b)は対話履歴の類似度を定義する数式と計算の例を示す図である。 園 10]図 10は対話履歴の発話数を調整する動的計画法のアルゴリズムを示す図で ある。
[図 11]図 11は対話履歴 d4に対して動的計画法を適用した例を示す図である。
[図 12]図 12は発話ブロックの決定アルゴリズムを示す図である。
[図 13]図 13は対話履歴についてスコアを計算した結果を示す図である。
園 14]図 14は本発明に係る対話支援装置の表示例を示す図である。
園 15]図 15は本発明に係る対話支援装置の表示例を示す図である。
園 16]図 16は本発明に係る対話支援装置の表示例を示す図である。
園 17]図 17は本発明に係る対話支援装置の表示例を示す図である。
園 18]図 18は本発明に係る対話支援装置の表示例を示す図である。
園 19]図 19は本発明に係る対話支援装置の表示例を示す図である。
[図 20]図 20は本発明に係る対話支援装置の表示例を示す図である。
[図 21]図 21は本発明に係る対話支援装置の表示例を示す図である。
[図 22]図 22は本発明に係る対話支援装置の表示例を示す図である。
[図 23]図 23は本発明に係る対話支援装置の表示例を示す図である。
園 24]図 24は新しく生成された対話と対話履歴との類似度の比較を示す図である。 園 25]図 25は対話参加者 1および対話参加者 2の発話と発話 No.の対応関係の一 例を示す図である。
[図 26]図 26(a),(b),(c),(d),(e)は対話履歴データベースに格納される対話履歴の一例 を示す図である。 [図 27]図 27は本発明に係る対話支援装置の表示例を示す図である。
園 28]図 28は本発明に係る対話支援装置の表示例を示す図である。
園 29]図 29は本発明に係る対話支援装置の表示例を示す図である。
[図 30]図 30は本発明に係る対話支援装置の表示例を示す図である。
[図 31]図 31は本発明に係る対話支援装置の表示例を示す図である。
[図 32]図 32は本発明に係る対話支援装置の表示例を示す図である。
[図 33]図 33は本発明に係る対話支援装置の表示例を示す図である。
園 34]図 34は本発明に係る対話支援装置の表示例を示す図である。
[図 35]図 35は本発明に係る対話支援装置の表示例を示す図である。
園 36]図 36は本発明に係る対話支援システムの他の実施の形態の構成を示すプロ ック図である。
[図 37]図 37は本発明に係る対話支援装置の表示例を示す図である。
園 38]図 38は本発明に係る対話支援装置の表示例を示す図である。
園 39]図 39は本発明に係る対話支援システムの他の実施の形態の構成を示すプロ ック図である。
[図 40]図 40(a),(b)は本発明に係る対話支援装置を対話参加者毎に備えた場合の表 示例を示す図である。
[図 41]図 41(a),(b)は本発明に係る対話支援装置を対話参加者毎に備えた場合の表 示例を示す図である。
[図 42]図 42(a),(b)は本発明に係る対話支援装置を対話参加者毎に備えた場合の表 示例を示す図である。
[図 43]図 43(a),(b)は本発明に係る対話支援装置を対話参加者毎に備えた場合の表 示例を示す図である。
符号の説明
101 発話受付部
102 発話出力部
103 発話受付部
104 発話出力部 105 発話処理部
106 発話予測部
107 対話履歴選択部
108 通信部
200 サーバ装置
201 対話履歴データベース
202 通信部
601 対話開始ボタン
801 対話履歴 dbに対する対話履歴 daの類似度を定義する数式
802 類似度計算の例
1301 対話参加者 1の発話入出力領域
1302 対話参加者 2の発話入出力領域
1303 対話終了ボタン
1304 対話参加者 1の発話入力領域
1305 対話参加者 2の発話入力領域
1306 対話参加者 1への発話出力領域
1307 対話参加者 2への発話出力領域
1308 対話参加者 1への予測表示領域
1309 対話参加者 2への予測表示領域
2301 対話参加者 1の PDA
2302 対話参加者 2の PDA
2303 対話参加者 1の対話の予測展開ボタン
2304 対話参加者 2の対話の予測展開ボタン
2401 対話参加者 1への予測展開表示領域
2402 対話参加者 2への予測展開表示領域
発明を実施するための最良の形態
本発明の実施の形態に係る対話支援装置は、対話参加者によって行われる対話 を支援する対話支援装置であって、前記対話参加者および前記対話参加者以外の 者の対話履歴を格納している対話履歴データベースの中から、前記対話参加者を 特定する情報および対話状況に基づいて対話履歴を選択する対話履歴選択手段と 、前記対話履歴選択手段により選択された前記対話履歴に基づいて、前記対話に おける前記対話参加者の次の発話を予測する発話予測手段とを備えることを特徴と する。
[0011] これによつて、自分の対話の履歴と相手の対話の履歴を利用し、今から交わされる であろう対話に最も近い履歴を対話参加者以外の者の履歴も含めて検索し、その履 歴に基づいて次の発話を予測することができるので、対話の相手がどのような相手で あっても速やかに対話が完了するように対話を支援することができる。
[0012] ここで、前記対話履歴選択手段は、前記対話参加者のそれぞれの対話履歴の中 力 前記対話状況が最も近い対話履歴をそれぞれ基準対話履歴として抽出し、それ ぞれの前記基準対話履歴と類似度の高い対話履歴を選択することが好ましい。
[0013] これによつて、基準対話履歴と類似度が高い対話履歴に基づいて対話参加者の次 の発話を予測することができる。
[0014] また、前記対話支援装置は、さらに、前記対話参加者の発話を受け付ける発話受 付手段と、前記発話受付手段により受け付けられた前記発話を他の発話形態に変 換する発話処理手段と、前記発話処理手段により変換された前記他の発話形態の 前記発話を出力する発話出力手段とを備えてもよい。
[0015] これによつて、例えば日本語と英語とによる対話等の異言語の対話を支援すること ができる。
[0016] なお、本発明は、このような対話支援装置として実現することができるだけでなぐこ のような対話支援装置が備える特徴的な手段をステップとする対話支援方法として実 現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりす ることもできる。そして、そのようなプログラムは、 CD—ROM等の記録媒体やインタ 一ネット等の伝送媒体を介して配信することができるのは言うまでもない。
[0017] 以下、本発明の実施の形態について、図面を参照しながら説明する。
[0018] 図 1は本発明に係る対話支援システムの一実施の形態の構成を示すブロック図で ある。 [0019] 対話支援システムは、人と人との対話を支援するためのシステムであり、図 1に示す ように対話支援装置 100、およびこの対話支援装置 100とネットワーク 300を介して 接続されるサーバ装置 200を備えてレ、る。
[0020] サーバ装置 200は、対話履歴データベース 201、および通信部 202を備えている。
対話履歴データベース 201は、各種の対話履歴を格納している。通信部 202は、ネ ットワーク 300を介して対話支援装置 100と通信を行う。
[0021] 一方、対話支援装置 100は、図 1に示すように発話受付部 101、発話出力部 102、 発話受付部 103、発話出力部 104、発話処理部 105、発話予測部 106、対話履歴 選択部 107、および通信部 108を備えている。ここで、発話受付部 101および発話 受付部 103は発話受付手段に、発話出力部 102および発話出力部 104は発話出力 手段に、発話処理部 105は発話処理手段に、発話予測部 106は発話予測手段に、 対話履歴選択部 107は対話履歴選択手段に、それぞれ相当する。
[0022] 発話受付部 101は、対話参加者 1の発話を受け付け、発話を特定するための発話 情報を出力する。発話出力部 102は、対話参加者 1に対して他の対話参加者からの 発話情報を発話として出力する。同様に、発話受付部 103は、対話参加者 2の発話 を受け付け、発話情報を出力する。発話出力部 104は、対話参加者 2に対して他の 対話参加者力 の発話情報を発話として出力する。発話処理部 105は、発話受付部 101から出力された発話情報と発話受付部 103から出力された発話情報とにより特 定される発話を、それぞれ他の発話形態に変換する。
[0023] 発話予測部 106は、対話が開始される前に対話参加者 1と対話参加者 2から対話 参加者の認証情報と対話状況とを取得する。また、発話予測部 106は、対話開始後 、発話受付部 101が対話参加者 1からの発話を受け付ける前に、または、発話受付 部 103が対話参加者 2からの発話を受け付ける前に、対話における発話を予測して 表示パネル等に表示する。
[0024] 対話履歴選択部 107は、発話予測部 106によって取得された認証情報に基づいて サーバ装置 200の対話履歴データベース 201を検索し、対話履歴データベース 20 1の中から最適な対話履歴を選択する。通信部 108は、ネットワーク 300を介してサ ーバ装置 200と通信を行う。 [0025] 次に、上記のように構成された対話支援システムにおいて、異言語の対話を支援 する場合の動作について説明する。ここでは、対話参加者 1は日本語を話し、対話 参加者 2は英語を話すと仮定する。図 2は対話参加者 1および対話参加者 2の発話と 発話 No.の対応関係の一例を示す図である。
[0026] 発話受付部 101は、受け付けた対話参加者 1の発話を相当する発話情報に変換 する。発話情報は、例えば図 2における発話 No.である。発話処理部 105は、対話 参加者 1の発話(日本語)を対話参加者 2への発話 (英語)に変換して文字列を出力 する。例えば、発話 No. 1が入力されたときは、発話出力部 104に対して発話情報と して文字歹『May I help you?"を出力する。
[0027] 逆に、発話受付部 103は、受け付けた対話参加者 2の発話を相当する発話情報に 変換する。発話情報は、例えば図 2の発話 No.であり、発話処理部 105は対話参加 者 2の発話 (英語)を対話参加者 1への発話(日本語)に変換して文字列を出力する。 例えば、発話 No. 1が入力されたときは、発話出力部 102に対して発話情報として文 字列「いらっしゃいませ。」を出力する。以後、言語方向を考慮しながら説明を簡単に するために、対話参加者 1からの発話 No. 1を J1、対話参加者 2からの発話 No. 1を E1と略記する。
[0028] 発話受付部 101は、図 2の日本語のリストの部分を対話参加者 1に直接選択させて 、その発話 No.を発話情報として出力する。また、発話受付部 103は、図 2の英語の リストの部分を対話参加者 2に直接選択させて、その発話 No.を発話情報として出力 する。なお、発話受付部 101または発話受付部 103の構成については、音声認識処 理を利用して対話参加者の音声を発話 No.のいずれかに射影する処理で実現して もよレ、。また、キーボードから発話の表記や発音に相当する文字列を入力させて、そ れを発話 No. のいずれかに射影して実現しても良い。
[0029] 図 3は対話履歴データベース 201に格納される対話履歴の一例を示す図である。
対話履歴とは対話参加者によって過去に交わされた発話の履歴であり、各対話参加 者の発話時刻の順に並べたものである。発話は図 2で定義される発話のいずれかに 相当する。なお、同じ発話 No.でも対話参加者によってそれを区別する必要がある ので、 日本語については Jを、英語については Eをそれぞれ発話 No. の前に付与し て、対話履歴における発話のラベルとして定義する。以後、説明を簡単にするために 、 1つの対話履歴をそのラベルの列で記述する。例えば、対話履歴 dlは dl : El , J2 , E3, J4, E5, J6, E7, E8と記述する。対話履歴にはその対話を交わした対話参加 者の認証情報と対話のトピック(対話状況)が記録されてレ、る。例えば対話履歴 dlは 、 Jの発話は太郎、 Eの発話は Tom、トピックはホテルである情報が記されている。
[0030] 以下、図 4に示すように対話参加者 1が日本人観光客で、対話参加者 2が英語を話 合を例として説明する。
[0031] 図 5は発話予測部 106の動作の流れを示すフローチャートである。発話予測部 10 6は、まず発話予測を行うために必要な対話参加者の特定と対話のトピックの特定を 行う(ステップ S401)。例えば PDAとして実現された図 6に示すような対話支援装置 1 00において、対話参加者 1と対話参加者 2の名前、および、対話のトピックを対話参 加者にタツチパネル力 直接入力させることで、対話参加者に関する情報を取得す る。なお、対話参加者の認証情報の取得はこのような手動による方法以外にも、指紋 認証やクレジットカードの個人情報を利用して自動で獲得する方法で実現してもよい 。また、対話のトピックの取得についても、このような手動による方法以外にも、自動 的に得られる PDAの存在環境の情報 (例えば、レストラン、病院、ホテルなどの場所 情報)から、自動的に連想する方法で実現してもよい。
[0032] 発話予測部 106は、図 7に示すように対話開始ボタン 601が押されると、予測スタツ クの作成を対話履歴選択部 107に依頼する(ステップ S402)。
[0033] 図 8は対話履歴選択部 107の動作の流れを示すフローチャートである。対話履歴 選択部 107は、発話予測部 106から通知された対話参加者の認証情報と対話のトビ ックに関する情報に基づいて、対話履歴データベース 201に含まれる対話参加者 1 の対話履歴 drlと対話参加者 2の対話履歴 dr2を決定する(ステップ S701)。すなわ ち、対話履歴 drlは対話参加者 1の認証情報と対話のトピックに該当する対話履歴を 検索することで、対話履歴 dr2は対話参加者 2の認証情報と対話のトピックに該当す る対話履歴を検索することで決定される。例えば、対話履歴データベース 201の中に 図 3に示す対話履歴が存在する場合、対話履歴 drl =対話履歴 dl、対話履歴 dr2 =対話履歴 d3に決定される。理由は、対話履歴 dlの Jの発話が太郎であり、対話履 歴 d3の Eの発話力 ¾anakoであり、それぞれ対話のトピックがホテルであるからである 。対話履歴 d5fおの発話が太郎である力 対話のトピックがレンタカーであるために選 択されなレ、。なお、対話履歴データベース 201の中に該当する対話履歴が存在しな い場合に、対話のトピックを無視して対話履歴を検索することで、近似的に処理を継 続することが可能である。
[0034] 次に、対話履歴選択部 107は、対話履歴データベース 201に含まれる対話履歴 dr 1と対話履歴 dr2以外のすべての対話履歴 dについてスコア score (d) =r (d | drl) + r (d I dr2)を計算する(ステップ S702)。 r (da | db)は対話履歴 dbに対する対話 履歴 daの類似度であり、図 9 (a)に示す数式 801によって定義される。ここで、連続す る発話の集合を発話ブロックと定義する。 size (d)は対話履歴に含まれる発話ブロッ クの数であり、 size (b)は発話ブロック bに含まれる発話の数である。例えば、図 9の類 似度計算の例 802においては、対話履歴 daは 4つの発話ブロックから構成されるの で、 size (da) =4である。また、各発話ブロックに含まれる発話の数は、それぞれ、 siz e (bl) = 5, size (b2) = 2, size (b3) =4, size (b4) = 1である力ら、 r (da | db) ίまお よそ 0· 424と計算される。定性的には、類似度 rの値が大きいほど 2つの対話履歴の 類似度は高い。また、類似度は発話の集合の数に反比例し、共通する発話ブロック の数が少ないほど高い。また、類似度は各集合に含まれる発話数の平均に比例し、 1つの発話ブロックに含まれる発話数が多いほど高い。
[0035] 図 10は対話履歴の発話数を調整する動的計画法のアルゴリズムを示す図である。
前述の類似度の計算は、この動的計画法によって 2つの対話履歴の発話数が同じ 数になるように調整してから行われる。対話履歴 d4の対話履歴 dlに対する類似度 r ( d4 I dl)を計算するために、図 10の動的計画法を対話履歴 d4に適用した例を図 1 1に示す。調整された対話履歴 d4'において、ラベルが φの発話は dlとの発話数が 同じ値になるように追加された空の発話である。類似度! " (d4 I dl)は類似度 r (d4' I dl)の値として計算される。
[0036] 図 12は発話ブロックの決定アルゴリズムを示す図である。基本的には、 2つの対話 履歴に含まれる発話ブロックの数が最小になるような発話ブロックを決定する。 [0037] まず、発話列 Aと発話列 Bの長さを動的計画法で同じ長さにする(ステップ S1201) 。発話列 A (発話列 B)に含まれる発話数を mとする (ステップ S 1202)。次に、 iに 1を 代入する (ステップ S1203)。 A[i]が発話列 Bに存在するか否力を判定する(ステツ プ S1204)。なお、 A[i]は発話列 Aにおける i番目の発話を示す。また、 φについて は、 A[i] = φ、 B [j] = (ί>のとき、 A[i]と B [j]が同じであると見なさなレ、。この判定の 結果、 A[i]が発話列 Bに存在する場合 (ステップ S1204で YES)、その発話を B [j]と する(ステップ S1205)。そして、 A[i]から A[i + n]力、発話列 B[j]から B [j + n]が同 じである最大の nを求めて、それぞれを 1つのブロックとする(ステップ S1206)。次に 、 iに i+n+ 1を代入する(ステップ S1207)。
[0038] A[i]が発話列 Bに存在するか否かの判定の結果、 A[i]が発話列 Bに存在しない場 合(ステップ S1204で NO)、 A[i]を 1つのブロックとする(ステップ S1208)。そして、 i に i+ 1を代入する(ステップ S1209)。
[0039] 次に、 i>mであるか否かを判定する(ステップ S1210)。 i>mでない場合(ステップ S1207で NO)には、再び A[i]が発話列 Bに存在するか否かを判定処理以降 (ステ ップ S1204〜S1207)を繰り返す。一方、 i>mである場合(ステップ S1207で YES) には、処理を終了する。
[0040] 列え ίま、図 9 (b) tこおレヽて、対言舌履歴 da : ul , u2, u3, u4, u5, u6, u7, u8, u9, ulO, ul l , ul 2は、対話履歴 db : u6, u7, ul, u2, u3, u4, u5, u8, u9, ulO, u 11, ul3に対して、 da : (ul , u2, u3, u4, u5) , (u6, u7) , (u8, u9, ulO, ul l) , ul 2となる。括弧で囲まれた発話のラベルが 1つの発話ブロックに相当する。ただし、 1つの発話だけで構成される発話ブロックについては、表記を簡単にするために括弧 を省略する。
[0041] 図 13は、対話履歴データベース 201が図 3に示す対話履歴を格納し、対話履歴 dr 1 =対話履歴 dl、対話履歴 dr2 =対話履歴 d3のときに対話履歴 drlと対話履歴 dr2 以外のすべての対話履歴 dについてスコア score (d) =r (d | drl) +r (d | dr2)を計 算した結果を示す図である。
[0042] 次に、対話履歴選択部 107は、スコア score (d)が最大の対話履歴 d =対話履歴 d maxを選択する(ステップ S703)。図 13に示す例では対話履歴 d2が選択される。 [0043] 対話履歴選択部 107は、対話履歴 dmaxに対して対話履歴 drlと対話履歴 dr2と 同様に図 12の発話ブロック決定アルゴリズムを適用し、発話ブロックに分割して予測 スタックとする(ステップ S704)。なお、連続する発話を同定する処理 (ステップ S 120 6)において、すでに決定された発話ブロックの境界を越えて連続しないという制限を 加える。例えば対話履歴 dmax=対話履歴 d2を対話履歴 drl =対話履歴 dlと対話 履歴 dr2 =対話履歴 d3で分割する場合は、対話履歴 d2 : El, E8, J2, E3, J4, E5 , J6, E7は、まず対話履歴 dlによって、対話履歴 d2 : El , E8, (J2, E3, J4, E5, J 6, E7)のように 3つの発話ブロックに分割され、次に対話履歴 d3によってさらに、対 話履歴 d2 : El , E8, J2, (E3, J4) , (E5, J6, E7)のように 5つの発話ブロックに分 割される。対話履歴選択部 107は、この対話履歴 d2を予測スタックとして発話予測部 106に通知する。
[0044] なお、対話履歴選択部 107が行う図 12に示す発話ブロック決定アルゴリズムにお いて、発話が 2つの対話履歴に共通に含まれるか否かの判定処理 (ステップ S 1204 、 S 1206)を行っている力 発話情報の一致、すなわち、発話 No.の一致以外にも、 自然言語処理を利用して発話の表層表現 (文字表現)の一致、または、内容語の一 致などで判定してもよい。例えば、一方の対話履歴に発話「ありがとう。」、他方の対 話履歴に発話「ありがとうございます。」の場合などは、これらの発話が異なる発話 No .であったとしても表層表現が近いので 2つの対話履歴に共通に含まれる発話と判定 することが可能である。一方の対話履歴に発話" Thank you人他方の対話履歴に発 話" Thank you very much."の場合も同様である。また、一方の対話履歴に発話「これ を 3セット贈答用に包んで下さい。」、他方の対話履歴に発話「贈答用に 3セット、これ を包んで下さい。」が含まれる場合などは、内容語が(これ、包む、 3セット、贈答用)と 定義されていれば、共通に含まれる内容語が多いので 2つの対話履歴に共通に含ま れる発話と判定することが可能である。また、これらの判定方法を組み合わせて用い ても構わない。このように柔軟な判定にすることで、発話 No. の一致だけでは適当な 対話履歴が検索できない場合でも、適当な対話履歴を検索することが可能になる。
[0045] ここで、図 5に示すフローチャートの説明に戻る。
[0046] 発話予測部 106は、対話履歴選択部 107からの発話予測スタックを受け取った後、 予測スタックが空であるか否力を判定する(ステップ S403)。対話履歴選択部 107が 対話履歴データベース 201の中で適当な対話履歴を検索できなレ、理由などで予測 スタックが空である場合 (ステップ S403で YES)、発話予測部 106は発話予測動作 を行わず終了する。
[0047] 一方、予測スタックが空でない場合 (ステップ S403で N〇)、発話予測部 106は、予 測スタックの先頭の発話を次の発話候補として表示する(ステップ S404)。図 14は対 話が開始された時点の対話支援装置 100での表示状態を示す図である。表示領域 の上半分は対話参加者 1の発話入出力領域 1301、下半分は対話参加者 2の発話 入出力領域 1302である。終了ボタン 1303は対話を終了するときに押すボタンであ る。対話参加者 1は発話受付部 1304、対話参加者 2は発話受付部 1305を利用して 図 2で定義されるすべての発話の中力 任意の発話を選択して他の対話参加者に 伝えることが可能である。発話処理部 105で変換された発話は、対話参加者 1への 発話出力部 1306、対話参加者 2への発話出力部 1307へ、それぞれ出力され、例 えば PDAに内蔵される音声合成処理を利用して表示と同時に読上げられる。予測 表示領域 1308には発話予測部 106によって予測された対話参加者 1の発話が表示 され、予測表示領域 1309には発話予測部 106によって予測された対話参加者 2の 発話が表示される。対話参加者 1または対話参加者 2は、それぞれ予測表示領域 13 08または予測表示領域 1309に表示される発話を選択することで、用例のリスト 130 4または用例のリスト 1305の中から発話を検索して選択する操作を省略することが可 能である。すなわち、発話を迅速に入力することが可能である。
[0048] 上記の例のように予測スタックが作成された場合、発話予測部 106は、予測表示領 域 1309に予測スタック El , E8, J2, (E3, J4) , (E5, J6, E7)の先頭の発話 E1: "M ay I help you?"を表示する。対話参加者 2は用例のリスト 1305から発話を選択しても よいが、予測表示領域 1309にすでに自分が発話したい内容が表示されてレ、るので 、図 15に示すようにそれを選択する。発話 E1は発話処理部 102で日本語に変換さ れて、対話参加者 1に対して発話「いらっしゃいませ。」が伝えられる。
[0049] このとき、発話予測部 106は、対話参加者から発話が入力されたか否かを判定して レ、る(ステップ S405)。対話参加者から発話が入力される(ステップ S405で YES)と 、発話予測部 106は、予測スタック上で一致する発話を先頭から検索 (ステップ S40 6)し、一致する発話があるか否力を判定する (ステップ S407)。一致する発話がある 場合 (ステップ S407で YES)、一致する発話が予測スタックの先頭であるか否かを判 定する(ステップ S408)。先頭である場合(ステップ S408で YES)、予測スタックの先 頭の発話を削除して予測スタックを更新する (ステップ S409)。一方、先頭でない場 合(ステップ S408で N〇)、一致する発話を含むブロックを予測スタックの先頭に移動 後、先頭からその発話までを削除して予測スタックを更新する (ステップ S410)。そし て、予測スタックが空であるか否かの判定処理 (ステップ S403)に戻る。
[0050] 上記の例では、対話参加者の発話が E1であることから、予測スタックを E8, J2, (E 3, J4) , (E5, J6, E7)と更新する。そして、予測スタックが空であるか否かの判定処 理 (ステップ S403)に戻り、予測スタックはまだ空ではないので、図 16に示すように予 測表示領域 1309に先頭の発話 E8 : "Please fill in this form."を表示し、ユーザから の発話を待つ。
[0051] 対話参加者 2は用例のリスト 1305から発話を選択してもよいが、予測表示領域 130 9にすでに自分が発話したい内容が表示されてレ、るので、図 17に示すように予測表 示領域 1309を選択すると、 E8は発話処理部 102で日本語に変換されて、対話参加 者 1に対して発話「このカードに記入して下さい。」が伝えられる。同様に、発話予測 部 106は予測スタックを J2, (E3, J4) , (E5, J6, E7)と更新し、図 18に示すように 1 308に J2 :「チェックインをお願いします。」を表示する。
[0052] 対話参加者 1は用例のリスト 1304から発話を選択してもよいが、予測表示領域 130 8にすでに自分が発話したい内容が表示されてレ、るので、図 19に示すように予測表 示領域 1308を選択すると、 J2は発話処理部 102で英語に変換されて、対話参加者 2に対して発話" Check-in, please."が伝えられる。同様に、発話予測部 106は、予測 スタックを (E3, J4), (E5, J6, E7)と更新し、図 20に示すように予測表示領域 1309 に E3 :〃Have you made reservation?"を表示する。このように対話参加者 1または対 話参加者 2は、用例のリスト 1304または用例のリスト 1305の中から所望の発話を検 索する必要がなぐ速やかに相手に意図を伝えることで、対話の所要時間が削減さ れる。 [0053] 次に、例えば対話参加者 2が、図 20において発話予測部 106が予測する発話の E 3: "Have you made reservation?"を予測表示領域 1309から選択せずに、図 21に示 すように用例のリスト 1305力ら検索して E5 :〃Do you prefer smoking room?"を選択し た場合について説明する。
[0054] 発話予測部 106は E5を予測スタックの中から検索する力 それは予測スタックの先 頭ではない。そこで、発話予測部 106は E5含む発話ブロックを予測スタックの先頭に 移動し、 (E5, J6, E7) , (E3, J4)とする。そして、 E5を削除することで、予測スタック を CJ6 , E7), (E3, J4)と更新する。したがって、次の発話候補の表示処理 (ステップ S404)では、図 22に示すように予測候補として予測表示領域 1308に J6 :「禁煙でお 願いします。」が表示される。そして図 23に示すように対話参加者 1が予測表示領域 1308から「禁煙でお願いします」を選択して速やかに対話が継続される。このように 本実施の形態では、対話参加者が発話予測部 106により予測された発話を選択しな い場合でも、その時点から今後の対話を予測することで柔軟に対話を支援することが 可能である。
[0055] ここで本発明の効果を定量的に検証する。一般に対話がスムーズに進行する度合 いは、対話参加者の対話履歴の類似度に比例する。ここでは類似度を具体的に数 量化するために、図 9の定義を用いる。対話参加者 1と対話参加者 2が、発話予測部 106が予測表示領域 1308と予測表示領域 1309に表示する発話だけを選択して対 話を完了する場合、図 24に示す対話履歴 2403が形成される。対話履歴 2403は対 話履歴選択部 107が決定した dmax (図 3の対話履歴 d2)と等価である。対話参加者 1の対話履歴 2401 (対話履歴選択部 107が決定した drl、すなわち図 3の dl)と対 話参加者 2の対話履歴 2402 (対話履歴選択部 107が決定した dr2、すなわち図 3の d3)の類似度は 0. 12であるのに対し、対話履歴 2403と対話履歴 2401の類似度は 0. 41、対話履歴 2403と対話履歴 2402の類似度は 0. 16であること力ゝら、 dmaxを 利用した予測に従った対話の方力 drlあるいは dr2のいずれかに従った対話よりも スムーズに進行することは明らかである。また、図 20において対話参加者 2が、発話 予測部 106が予測する発話を選択せずに対話を継続して完了した場合は対話履歴 2404が形成される。対話履歴 2404と対話履歴 2401の類似度は 0. 16、対話履歴 2404と対話履歴 2402の類似度は 0. 16であることから、このような使い方において も、 drlあるいは dr2のいずれかに従った対話よりも、 dmaxを利用した予測に従った 対話の方がスムーズに進行することは明らかである。
[0056] ここまでは、対話支援システムにおレ、て、対話参加者 1が日本語を話し、対話参加 者 2が英語を話すと仮定した場合について説明したが、以下では、対話参加者 1が 中国語を話し、対話参加者 2が英語を話すと仮定した場合について説明する。図 25 は対話参加者 1および対話参加者 2の発話と発話 No.の対応関係の一例を示す図 である。
[0057] 発話受付部 101は、受け付けた対話参加者 1の発話を相当する発話情報に変換 する。発話情報は、例えば図 2における発話 No.である。発話処理部 105は、対話 参加者 1の発話(中国語)を対話参加者 2への発話 (英語)に変換して文字列を出力 する。例えば、発話 No. 1が入力されたときは、発話出力部 104に対して発話情報と して文字歹『May I help you?"を出力する。
[0058] 逆に、発話受付部 103は、受け付けた対話参加者 2の発話を相当する発話情報に 変換する。発話情報は、例えば図 25の発話 No.であり、発話処理部 105は対話参 加者 2の発話 (英語)を対話参加者 1への発話(中国語)に変換して文字列を出力す る。例えば、発話 No. 1が入力されたときは、発話出力部 102に対して発話情報とし て文字列
「欢迎光临。」 を出力する。以後、言語方向を考慮しながら説明を簡単にするために、対話参加者 1 からの発話 No. 1を C1、対話参加者 2からの発話 No. 1を Elと略記する。
[0059] 発話受付部 101は、図 25の中国語のリストの部分を対話参加者 1に直接選択させ て、その発話 No.を発話情報として出力する。また、発話受付部 103は、図 25の英 語のリストの部分を対話参加者 2に直接選択させて、その発話 No.を発話情報として 出力する。なお、発話受付部 101または発話受付部 103の構成については、音声認 識処理を利用して対話参加者の音声を発話 No.のいずれかに射影する処理で実現 してもよレ、。また、キーボードから発話の表記や発音に相当する文字列を入力させて 、それを発話 No. のいずれかに射影して実現しても良い。
[0060] 図 26は対話履歴データベース 201に格納される対話履歴の一例を示す図である。
対話履歴とは対話参加者によって過去に交わされた発話の履歴であり、各対話参加 者の発話時刻の順に並べたものである。発話は図 25で定義される発話のいずれか に相当する。なお、同じ発話 No.でも対話参加者によってそれを区別する必要があ るので、中国語については Cを、英語については Eをそれぞれ発話 No.の前に付与 して、対話履歴における発話のラベルとして定義する。以後、説明を簡単にするため に、 1つの対話履歴をそのラベルの列で記述する。例えば、対話履歴 d6は d6 : El , C2, E3, C4, E5, C6, E7, E8と記述する。対話履歴にはその対話を交わした対話 参加者の認証情報と対話のトピック(対話状況)が記録されてレ、る。例えば対話履歴 d6は、 Cの発話は太郎、 Eの発話は Tom、トピックはホテルである情報が記されている
[0061] 以下、図 4に示すように対話参加者 1が中国語を話す観光客で、対話参加者 2が英 行う場合を例として説明する。なお、発話予測部 106および対話履歴選択部 107の 動作の流れは上記と同様であるので、図 5および図 8に示すフローチャートを用いて 説明し、上記と同様の部分については説明を省略する。
[0062] 発話予測部 106は、まず発話予測を行うために必要な対話参加者の特定と対話の トピックの特定を行う(ステップ S401)。例えば PDAとして実現された図 27に示すよう な対話支援装置 100において、対話参加者
(叁与对话的人)
1と対話参加者
(叁与对话的人)
2の名前、および、対話のトピック (对谈的话题 を対話参加者にタツチパネル
力 直接入力させることで、対話参加者に関する情報を取得する。
[0063] 発話予測部 106は、図 28に示すように対話開始
(开始对谈) ボタン 601が押されると、予測スタックの作成を対話履歴選択部 107に依頼する(ス テツプ S402)。
[0064] 対話履歴選択部 107は、発話予測部 106から通知された対話参加者の認証情報 と対話のトピックに関する情報に基づいて、対話履歴データベース 201に含まれる対 話参加者 1の対話履歴 drlと対話参加者 2の対話履歴 dr2を決定する(ステップ S70 1)。例えば、対話履歴データベース 201の中に図 26に示す対話履歴が存在する場 合、対話履歴 drl =対話履歴 d6、対話履歴 dr2 =対話履歴 d8に決定される。理由 は、対話履歴 d6の Cの発話が太郎であり、対話履歴 d8の Eの発話力 anakoであり、 それぞれ対話のトピックがホテルであるからである。対話履歴 d5は Cの発話が太郎で ある力 対話のトピックがレンタカーであるために選択されない。
[0065] 次に、対話履歴選択部 107は、対話履歴データベース 201に含まれる対話履歴 dr 1と対話履歴 dr2以外のすべての対話履歴 dについて、上記同様にスコア score (d) =r (d I drl) +r (d | dr2)を計算する(ステップ S702)。そして、対話履歴選択部 1 07は、スコア score (d)が最大の対話履歴 d =対話履歴 dmaxを選択する(ステップ S 703)。ここでは、対話履歴 d7が選択されるものとする。
[0066] 対話履歴選択部 107は、対話履歴 dmaxに対して対話履歴 drlと対話履歴 dr2と 同様に図 12の発話ブロック決定アルゴリズムを適用し、発話ブロックに分割して予測 スタックとする(ステップ S704)。例えば対話履歴 dmax =対話履歴 d7を対話履歴 dr 1 =対話履歴 d6と対話履歴 dr2 =対話履歴 d8で分割する場合は、対話履歴 d7 : E1 , E8, C2, E3, C4, E5, C6, E7は、まず対話履歴 d6によって、対話履歴 d7 : El , E8, (C2, E3, C4, E5, C6, E7)のように 3つの発話ブロックに分割され、次に対話 履歴 d8によってさらに、対話履歴 d7 : El , E8, C2, (E3, C4) , (E5, C6, E7)の ように 5つの発話ブロックに分割される。対話履歴選択部 107は、この対話履歴 d7を 予測スタックとして発話予測部 106に通知する。
[0067] このように作成された発話予測スタックを対話履歴選択部 107から受け取った発話 予測部 106は、予測スタックが空であるか否力を判定する(ステップ S403)。対話履 歴選択部 107が対話履歴データベース 201の中で適当な対話履歴を検索できなレ、 理由などで予測スタックが空である場合 (ステップ S403で YES)、発話予測部 106は 発話予測動作を行わず終了する。
[0068] 一方、予測スタックが空でない場合 (ステップ S403で NO)、発話予測部 106は、予 測スタックの先頭の発話を次の発話候補として表示する(ステップ S404)。図 29は対 話が開始された時点の対話支援装置 100での表示状態を示す図である。表示領域 の上半分は対話参加者 1の発話入出力領域 1301、下半分は対話参加者 2の発話 入出力領域 1302である。終了
(结束) ボタン 1303は対話を終了するときに押すボタンである。対話参加者 1は発話受付部 1304、対話参加者 2は発話受付部 1305を利用して図 25で定義されるすべての発 話の中力 任意の発話を選択して他の対話参加者に伝えることが可能である。発話 処理部 105で変換された発話は、対話参加者 1への発話出力部 1306、対話参加者 2への発話出力部 1307へ、それぞれ出力され、例えば PDAに内蔵される音声合成 処理を利用して表示と同時に読上げられる。予測表示領域 1308には発話予測部 1 06によって予測された対話参加者 1の発話が表示され、予測表示領域 1309には発 話予測部 106によって予測された対話参加者 2の発話が表示される。対話参加者 1 または対話参加者 2は、それぞれ予測表示領域 1308または予測表示領域 1309に 表示される発話を選択することで、用例のリスト 1304または用例のリスト 1305の中か ら発話を検索して選択する操作を省略することが可能である。すなわち、発話を迅速 に入力することが可能である。 [0069] 上記の例のように予測スタックが作成された場合、発話予測部 106は、予測表示領 域 1309に予測スタック El , E8, C2, (E3, C4) , (E5, C6, E7)の先頭の発話 E1 : "May I help you?"を表示する。対話参加者 2は用例のリスト 1305から発話を選択し てもよレ、が、予測表示領域 1309にすでに自分が発話したい内容が表示されてレ、る ので、図 30に示すようにそれを選択する。発話 E1は発話処理部 102で中国語に変 換されて、対話参加者 1に対して発話
「欢迎光临。」 が伝えられる。
[0070] このとき、発話予測部 106は、対話参加者から発話が入力されたか否かを判定して レ、る(ステップ S405)。対話参加者から発話が入力される(ステップ S405で YES)と 、発話予測部 106は、予測スタック上で一致する発話を先頭から検索 (ステップ S40 6)し、一致する発話があるか否かを判定する (ステップ S407)。一致する発話がある 場合 (ステップ S407で YES)、一致する発話が予測スタックの先頭であるか否かを判 定する(ステップ S408)。先頭である場合 (ステップ S408で YES)、予測スタックの先 頭の発話を削除して予測スタックを更新する (ステップ S409)。一方、先頭でない場 合 (ステップ S408で NO)、一致する発話を含むブロックを予測スタックの先頭に移動 後、先頭からその発話までを削除して予測スタックを更新する (ステップ S410)。そし て、予測スタックが空であるか否かの判定処理 (ステップ S403)に戻る。
[0071] 上記の例では、対話参加者の発話が E1であることから、予測スタックを E8, C2, ( E3, C4) , (E5, C6, E7)と更新する。そして、予測スタックが空であるか否かの判定 処理(ステップ S403)に戻り、予測スタックはまだ空ではないので、図 31に示すように 予測表示領域 1309に先頭の発話 E8 : "Please fill in this form."を表示し、ユーザか らの発話を待つ。
[0072] 対話参加者 2は用例のリスト 1305から発話を選択してもよいが、予測表示領域 130 9にすでに自分が発話したい内容が表示されているので、図 32に示すように予測表 示領域 1309を選択すると、 E8は発話処理部 102で中国語に変換されて、対話参加 者 1に対して発話 「请写在这张单子上。」 が伝えられる。同様に、発話予測部 106は予測スタックを C2, (E3, C4) , (E5, C6 , E7)と更新し、図 33に示すように 1308に C2 :
「可以办理入住吗? J を表示する。
[0073] 対話参加者 1は用例のリスト 1304から発話を選択してもよいが、予測表示領域 130 8にすでに自分が発話したい内容が表示されているので、図 34に示すように予測表 示領域 1308を選択すると、 C2は発話処理部 102で英語に変換されて、対話参加者 2に対して発話" Check-in, please."が伝えられる。同様に、発話予測部 106は、予測 スタックを (E3, C4) , (E5, C6, E7)と更新し、図 35に示すように予測表示領域 130 9に E3 : "Have you made reservation?"を表示する。このように対話参加者 1または対 話参加者 2は、用例のリスト 1304または用例のリスト 1305の中から所望の発話を検 索する必要がなぐ速やかに相手に意図を伝えることで、対話の所要時間が削減さ れる。
[0074] なお、図 36に示すように図 1に示す構成に加えて履歴登録部 401を備え、発話処 理部 105で対話参加者の間で交わされる発話情報をすベて記録し、対話終了時に 履歴登録部 401がその記録を対話履歴データベース 201に蓄積するように構成する ことも可能である。これによつて、今後の発話予測に有効な対話履歴を増やすことが 可能になる。例えば、図 37または図 38に示すように対話参加者が対話終了を指示 することで、この動作が実行されるようにする。特に、発話予測部 106の予測に従わ ずに対話がなされた場合は、対話履歴データベース 201に存在しない対話である場 合が多ぐそれを蓄積することで次回の発話予測をより精度良く行うことが可能になる
[0075] また、図 1に示す構成の発話受付部 101および発話受付部 103に替えて、図 39に 示すように音声認識部 501および音声認識部 502を備える構成とすることもできる。 この場合、音声認識部 501および音声認識部 502の認識対象語彙の中で、発話予 測部 106によって予測される発話に関連する語彙については優先的に扱うことで、 音声認識の精度を向上させることが可能になる。関連する語彙としては、発話予測部 106が出力する予測発話そのものであってもよいし、または、その予測発話に近い文 であってもよいし、または、予測発話に含まれる単語であってもよいし、または、予測 発話から連想される単語であってもよレ、。
[0076] また、図 40または図 41に示すように対話参加者毎の PDAに分割して対話支援装 置を実装し、さらにユーザピリティを向上することも可能である。対話支援装置は対話 参加者 1が利用する PDA2301、対話参加者 2が利用する PDA2301にそれぞれ実 装されている。ボタン 2303およびボタン 2304は、対話参加者 1および対話参加者 2 がそれぞれ対話の予測展開を見るためのボタンである。具体的にはこれらのボタンが 押されたときに、発話予測部 106はこれまでに交わされた発話と現時点の予測スタツ クの内容をすベて表示する。図 42は対話の予測展開の一例(日本語と英語の場合) を示す図である。これまでに交わされた発話が El , E8, J2であり、現時点の予測スタ ック力 (E3, J4) , (E5, J6, E7)であると仮定している。これまでに交わされた発話と 予測スタックの内容は、予測展開表示領域 2401に対しては Jl, J8, J2と CJ3 , J4) , ] 5, J6, J7)として、予測展開表示領域 2402に対しては El , E8, E2と(E3, E4) , (E 5, E6, E7)として、それぞれの対話参加者の言語に変換されて表示される。
[0077] また、図 43は対話の予測展開の一例(中国語と英語の場合)を示す図である。これ までに交わされた発話が El, E8, C2であり、現時点の予測スタックが、(E3, C4) , (E5, C6, E7)であると仮定している。これまでに交わされた発話と予測スタックの内 容は、予測展開表示領域 2401に対しては CI , C8, C2と(C3, C4) , (C5, C6, C7 )として、予測展開表示領域 2402に対しては El, E8, E2と(E3, E4) , (E5, E6, E 7)として、それぞれの対話参加者の言語に変換されて表示される。このような対話の 予測展開を対話参加者に示すことにより、相手の発話を前もって知ることが可能にな り、対話をする際に頭を整理することでより確実な操作が可能になる。
[0078] また、本実施の形態では、一例として日本語と英語の場合と、中国語と英語の場合 とを取り上げたが、仏語など他の言語についても同様に実施可能であり、本発明は 言語に依存しない。
産業上の利用可能性
本発明に係る対話支援装置は、対話参加者の発話を速やかに入力させる機能を 有し、携帯電話や携帯端末等の翻訳アプリケーションソフトウェア等として有用である 。また公共の街頭端末や案内端末等の用途にも応用できる。さらに、同言語の対話 では、定型文のチャットシステムなどの用途にも応用できる。

Claims

請求の範囲
[1] 対話参加者によって行われる対話を支援する対話支援装置であって、
前記対話参加者および前記対話参加者以外の者の対話履歴を格納している対話 履歴データベースの中から、前記対話参加者を特定する情報および対話状況に基 づレ、て対話履歴を選択する対話履歴選択手段と、
前記対話履歴選択手段により選択された前記対話履歴に基づいて、前記対話に おける前記対話参加者の次の発話を予測する発話予測手段と
を備えることを特徴とする対話支援装置。
[2] 前記対話履歴選択手段は、前記対話参加者のそれぞれの対話履歴の中から前記 対話状況が最も近い対話履歴をそれぞれ基準対話履歴として抽出し、それぞれの 前記基準対話履歴と類似度の高い対話履歴を選択する
ことを特徴とする請求項 1記載の対話支援装置。
[3] 前記対話履歴選択手段は、 2つの対話履歴に共通して含まれ、かつ、連続する発 話の集合に基づいて前記類似度を算出する
ことを特徴とする請求項 2記載の対話支援装置。
[4] 前記対話履歴選択手段は、前記類似度を前記集合の数に反比例するように算出 する
ことを特徴とする請求項 3記載の対話支援装置。
[5] 前記対話履歴選択手段は、前記類似度を前記集合それぞれに含まれる発話数の 平均に比例するように算出する
ことを特徴とする請求項 3記載の対話支援装置。
[6] 前記対話履歴選択手段は、前記類似度を算出する 2つの前記対話履歴の発話数 を、動的計画法によって発話数が同じ数になるように調整する
ことを特徴とする請求項 3記載の対話支援装置。
[7] 前記対話履歴選択手段は、 2つの前記対話履歴に共通して含まれる発話である否 かを、発話を特定するための発話情報の一致、表層表現の一致、および内容語の一 致の少なくとも 1つにより判定する
ことを特徴とする請求項 3記載の対話支援装置。 前記発話予測手段は、前記対話履歴選択手段により選択された前記対話履歴の 中で、前記対話における発話に対応する発話の次に出現する発話を、前記対話に おける前記対話参加者の次の発話として予測する
ことを特徴とする請求項 1記載の対話支援装置。
前記対話支援装置は、さらに、
前記対話参加者の発話を受け付ける発話受付手段と、
前記発話受付手段により受け付けられた前記発話を他の発話形態に変換する発 話処理手段と、
前記発話処理手段により変換された前記他の発話形態の前記発話を出力する発 話出力手段と
を備えることを特徴とする請求項 1記載の対話支援装置。
前記発話受付手段は、入力される音声に対して、音声認識辞書を前記発話予測 手段により予測された予測発話、前記予測発話に近い文、前記予測発話に含まれる 単語、および前記予測発話から連想される単語のいずれかの範囲内に絞り込みを行 つた上で音声認識を行い、前記音声認識結果を前記発話として受け付ける
ことを特徴とする請求項 9記載の対話支援装置。
前記対話支援装置は、さらに、表示手段を備え、
前記発話予測手段は、予測した予測発話を前記表示手段に表示し、
前記発話受付手段は、前記予測発話が前記対話参加者により選択されると、前記 予測発話を前記発話として受け付ける
ことを特徴とする請求項 9記載の対話支援装置。
前記対話支援装置は、さらに、表示手段を備え、
前記発話予測手段は、前記対話履歴選択手段により選択された前記対話履歴に 基づいて前記対話における前記対話参加者の発話の展開を予測し、予測した発話 展開を前記表示手段に表示する
ことを特徴とする請求項 9記載の対話支援装置。
前記対話支援装置は、さらに、
前記対話参加者により行われた前記対話の履歴を前記対話履歴データベースへ 登録する履歴登録手段
を備えることを特徴とする請求項 1記載の対話支援装置。
[14] 対話参加者によって行われる対話を支援する、対話支援装置とサーバ装置を備え る対話支援システムであって、
前記サーバ装置は、
前記対話参加者および前記対話参加者以外の者の対話履歴を格納している対話 履歴データベースと、
前記対話支援装置から送信された前記対話参加者を特定する情報および対話状 況に基づいて、前記対話履歴データベースの中から対話履歴を選択する対話履歴 選択手段とを備え、
前記対話支援装置は、
前記対話参加者を特定する情報および前記対話状況を前記サーバ装置へ送信し て対話履歴を要求するとともに、前記サーバ装置から送信された前記対話履歴に基 づいて、前記対話における前記対話参加者の次の発話を予測する発話予測手段を 備える
ことを特徴とする対話支援システム。
[15] 対話参加者によって行われる対話を支援する対話支援方法であって、
前記対話参加者および前記対話参加者以外の者の対話履歴を格納している対話 履歴データベースの中から、前記対話参加者を特定する情報および対話状況に基 づいて対話履歴を選択する対話履歴選択ステップと、
前記対話履歴選択ステップにおレ、て選択された前記対話履歴に基づレ、て、前記 対話における前記対話参加者の次の発話を予測する発話予測ステップと
を含むことを特徴とする対話支援方法。
[16] 対話参加者によって行われる対話を支援するためのプログラムであって、
前記対話参加者および前記対話参加者以外の者の対話履歴を格納している対話 履歴データベースの中から、前記対話参加者を特定する情報および対話状況に基 づいて対話履歴を選択する対話履歴選択ステップと、
前記対話履歴選択ステップにおレ、て選択された前記対話履歴に基づレ、て、前記 対話における前記対話参加者の次の発話を予測する発話予測ステップとをコンビュ ータに実行させる
ことを特徴とするプログラム。
PCT/JP2005/018429 2004-10-08 2005-10-05 対話支援装置 WO2006040971A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004296775 2004-10-08
JP2004-296775 2004-10-08

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2005800008394A CN1842787B (zh) 2004-10-08 2005-10-05 对话支援装置
JP2006540889A JP3962767B2 (ja) 2004-10-08 2005-10-05 対話支援装置
US11/349,976 US7752051B2 (en) 2004-10-08 2006-02-09 Dialog supporting apparatus that selects similar dialog histories for utterance prediction

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/349,976 Continuation US7752051B2 (en) 2004-10-08 2006-02-09 Dialog supporting apparatus that selects similar dialog histories for utterance prediction

Publications (1)

Publication Number Publication Date
WO2006040971A1 true WO2006040971A1 (ja) 2006-04-20

Family

ID=36148266

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/018429 WO2006040971A1 (ja) 2004-10-08 2005-10-05 対話支援装置

Country Status (4)

Country Link
US (1) US7752051B2 (ja)
JP (1) JP3962767B2 (ja)
CN (1) CN1842787B (ja)
WO (1) WO2006040971A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010450A1 (ja) * 2012-07-09 2014-01-16 独立行政法人情報通信研究機構 音声処理システム及び端末装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7907918B2 (en) * 2005-11-16 2011-03-15 Nec Corporation Portable terminal device, display method for list of participants used therein, and program for the same
JP4197344B2 (ja) * 2006-02-20 2008-12-17 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Maschines Corporation 音声対話システム
US8073681B2 (en) 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
US9305548B2 (en) 2008-05-27 2016-04-05 Voicebox Technologies Corporation System and method for an integrated, multi-modal, multi-device natural language voice services environment
WO2010045375A1 (en) * 2008-10-14 2010-04-22 Honda Motor Co., Ltd. Improving dialog coherence using semantic features
US8326637B2 (en) 2009-02-20 2012-12-04 Voicebox Technologies, Inc. System and method for processing multi-modal device interactions in a natural language voice services environment
JP2011033680A (ja) * 2009-07-30 2011-02-17 Sony Corp 音声処理装置及び方法、並びにプログラム
US9564120B2 (en) * 2010-05-14 2017-02-07 General Motors Llc Speech adaptation in speech synthesis
US20130158986A1 (en) * 2010-07-15 2013-06-20 The University Of Queensland Communications analysis system and process
US8527270B2 (en) * 2010-07-30 2013-09-03 Sri International Method and apparatus for conducting an interactive dialogue
US9576570B2 (en) 2010-07-30 2017-02-21 Sri International Method and apparatus for adding new vocabulary to interactive translation and dialogue systems
JP5431282B2 (ja) * 2010-09-28 2014-03-05 株式会社東芝 音声対話装置、方法、プログラム
CN102522084B (zh) * 2011-12-22 2013-09-18 广东威创视讯科技股份有限公司 一种将语音数据转换为文本文件的方法和系统
US9195654B2 (en) 2013-03-15 2015-11-24 Google Inc. Automatic invocation of a dialog user interface for translation applications
US9898459B2 (en) 2014-09-16 2018-02-20 Voicebox Technologies Corporation Integration of domain information into state transitions of a finite state transducer for natural language processing
CN107003999B (zh) 2014-10-15 2020-08-21 声钰科技 对用户的在先自然语言输入的后续响应的系统和方法
US10431214B2 (en) 2014-11-26 2019-10-01 Voicebox Technologies Corporation System and method of determining a domain and/or an action related to a natural language input
US9508339B2 (en) * 2015-01-30 2016-11-29 Microsoft Technology Licensing, Llc Updating language understanding classifier models for a digital personal assistant based on crowd-sourcing
WO2018023106A1 (en) 2016-07-29 2018-02-01 Erik SWART System and method of disambiguating natural language processing requests

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030187A (ja) * 2001-07-18 2003-01-31 Nec Corp 自動通訳システム、会話学習装置、自動通訳装置及びその方法並びにそのプログラム
JP2003288339A (ja) * 2001-01-24 2003-10-10 Matsushita Electric Ind Co Ltd 音声変換装置、音声変換方法、プログラム、及び媒体

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07105220A (ja) * 1993-09-30 1995-04-21 Hitachi Gazo Joho Syst:Kk 会話翻訳装置
JPH0877176A (ja) * 1994-09-07 1996-03-22 Hitachi Ltd 外国語翻訳装置
JP3367298B2 (ja) * 1994-11-15 2003-01-14 富士ゼロックス株式会社 言語情報提供装置、言語情報提供システムおよび言語情報提供方法
US5918222A (en) * 1995-03-17 1999-06-29 Kabushiki Kaisha Toshiba Information disclosing apparatus and multi-modal information input/output system
JP3385146B2 (ja) * 1995-06-13 2003-03-10 シャープ株式会社 会話文翻訳装置
JPH09319750A (ja) * 1996-05-27 1997-12-12 Sharp Corp 通訳装置
JP3993319B2 (ja) * 1998-09-08 2007-10-17 松下電器産業株式会社 通訳装置及び通訳装置の機能を発揮させるプログラムを記録した記録媒体
JP2000187435A (ja) * 1998-12-24 2000-07-04 Sony Corp 情報処理装置、携帯機器、電子ペット装置、情報処理手順を記録した記録媒体及び情報処理方法
JP3822990B2 (ja) * 1999-01-07 2006-09-20 株式会社日立製作所 翻訳装置、記録媒体
US6622119B1 (en) * 1999-10-30 2003-09-16 International Business Machines Corporation Adaptive command predictor and method for a natural language dialog system
WO2001046945A1 (en) * 1999-12-20 2001-06-28 British Telecommunications Public Limited Company Learning of dialogue states and language model of spoken information system
JP4105841B2 (ja) * 2000-07-11 2008-06-25 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Maschines Corporation 音声認識方法、音声認識装置、コンピュータ・システムおよび記憶媒体
JP2002041432A (ja) * 2000-07-25 2002-02-08 Oki Electric Ind Co Ltd チャットシステム,端末装置,サーバ装置及び媒体
CN1369834B (zh) * 2001-01-24 2010-04-28 松下电器产业株式会社 语音转换设备
US20020138588A1 (en) * 2001-03-20 2002-09-26 Richard Leeds System and method for adaptive forums communication
US20030009448A1 (en) * 2001-06-14 2003-01-09 Covington Robert C. Method and apparatus for providing user-specific response
US7197460B1 (en) * 2002-04-23 2007-03-27 At&T Corp. System for handling frequently asked questions in a natural language dialog service
WO2004049306A1 (en) * 2002-11-22 2004-06-10 Roy Rosser Autonomous response engine
GB0306396D0 (en) * 2003-03-20 2003-04-23 Ibm Apparatus, method and computer program for adding context to a chat transcript
US7103553B2 (en) * 2003-06-04 2006-09-05 Matsushita Electric Industrial Co., Ltd. Assistive call center interface
JP2005157494A (ja) * 2003-11-20 2005-06-16 Aruze Corp 会話制御装置及び会話制御方法
US20060025091A1 (en) * 2004-08-02 2006-02-02 Matsushita Electric Industrial Co., Ltd Method for creating and using phrase history for accelerating instant messaging input on mobile devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003288339A (ja) * 2001-01-24 2003-10-10 Matsushita Electric Ind Co Ltd 音声変換装置、音声変換方法、プログラム、及び媒体
JP2003030187A (ja) * 2001-07-18 2003-01-31 Nec Corp 自動通訳システム、会話学習装置、自動通訳装置及びその方法並びにそのプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010450A1 (ja) * 2012-07-09 2014-01-16 独立行政法人情報通信研究機構 音声処理システム及び端末装置
JP2014016475A (ja) * 2012-07-09 2014-01-30 National Institute Of Information & Communication Technology 音声処理システム及び端末装置
GB2518318A (en) * 2012-07-09 2015-03-18 Nat Inst Inf & Comm Tech Speech processing system and terminal device
US9824687B2 (en) 2012-07-09 2017-11-21 National Institute Of Information And Communications Technology System and terminal for presenting recommended utterance candidates

Also Published As

Publication number Publication date
CN1842787A (zh) 2006-10-04
JPWO2006040971A1 (ja) 2008-05-15
CN1842787B (zh) 2011-12-07
JP3962767B2 (ja) 2007-08-22
US20060129409A1 (en) 2006-06-15
US7752051B2 (en) 2010-07-06

Similar Documents

Publication Publication Date Title
US9619572B2 (en) Multiple web-based content category searching in mobile search application
Cox et al. Speech and language processing for next-millennium communications services
US8103510B2 (en) Device control device, speech recognition device, agent device, on-vehicle device control device, navigation device, audio device, device control method, speech recognition method, agent processing method, on-vehicle device control method, navigation method, and audio device control method, and program
US7996218B2 (en) User adaptive speech recognition method and apparatus
KR100924399B1 (ko) 음성 인식 장치 및 음성 인식 방법
JP5598998B2 (ja) 音声翻訳システム、第一端末装置、音声認識サーバ装置、翻訳サーバ装置、および音声合成サーバ装置
JP4263181B2 (ja) コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム
US9640175B2 (en) Pronunciation learning from user correction
EP1349145B1 (en) System and method for providing information using spoken dialogue interface
US8346537B2 (en) Input apparatus, input method and input program
DE602004012347T2 (de) Spracherkennung
US8285537B2 (en) Recognition of proper nouns using native-language pronunciation
US8364487B2 (en) Speech recognition system with display information
US8606582B2 (en) Multimodal disambiguation of speech recognition
US8635243B2 (en) Sending a communications header with voice recording to send metadata for use in speech recognition, formatting, and search mobile search application
US6789093B2 (en) Method and apparatus for language translation using registered databases
EP2259252B1 (en) Speech recognition method for selecting a combination of list elements via a speech input
JP4188989B2 (ja) 音声認識装置、音声認識方法、及び音声認識プログラム
JP4040573B2 (ja) 音声認識装置および方法
JP4041158B2 (ja) 対話支援装置
US20150073802A1 (en) Dealing with switch latency in speech recognition
US6856956B2 (en) Method and apparatus for generating and displaying N-best alternatives in a speech recognition system
US7826945B2 (en) Automobile speech-recognition interface
EP2411977B1 (en) Service oriented speech recognition for in-vehicle automated interaction
EP2278581B1 (en) Multimodal disambiguation of speech recognition

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200580000839.4

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2006540889

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 11349976

Country of ref document: US

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV LY MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWP Wipo information: published in national office

Ref document number: 11349976

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct application non-entry in european phase