JP3962767B2 - 対話支援装置 - Google Patents

対話支援装置 Download PDF

Info

Publication number
JP3962767B2
JP3962767B2 JP2006540889A JP2006540889A JP3962767B2 JP 3962767 B2 JP3962767 B2 JP 3962767B2 JP 2006540889 A JP2006540889 A JP 2006540889A JP 2006540889 A JP2006540889 A JP 2006540889A JP 3962767 B2 JP3962767 B2 JP 3962767B2
Authority
JP
Japan
Prior art keywords
dialogue
utterance
dialog
history
participant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006540889A
Other languages
English (en)
Other versions
JPWO2006040971A1 (ja
Inventor
研治 水谷
純幸 沖本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Application granted granted Critical
Publication of JP3962767B2 publication Critical patent/JP3962767B2/ja
Publication of JPWO2006040971A1 publication Critical patent/JPWO2006040971A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、人と人との対話を支援する対話支援装置に関するものである。
従来、一般の人々が海外旅行先等で現地の人々と対話をする際に、その異言語対話を支援することを目的として翻訳装置が開発されてきた。例えば代表的なものとして、例文や用例の対訳に基づく翻訳方式を、PDA(Personal Digital Assistance)などの小型の情報処理装置に実装した翻訳装置がある。そのような装置では、一般的な旅行会話をカバーするために数千以上の用例が用意されているので、ユーザに所望の用例をそのリストから目視で選択させるだけでは実際の使用状況における使い勝手、すなわち、ユーザビリティに問題がある。特に、用例のリストを見るための表示部が小さく、同時に見ることができる用例の数が少ない場合は、この問題は一層顕著になる。また、翻訳装置の一般的な使用状況を想定すると、相手との対話の中で数文以上の用例を使用しなければならない場合がほとんどであり、翻訳装置を介して1つの対話が完了するまでに予想以上の時間を要してしまう。そこで、人と人との対話支援を最終目的として、大量の用例リストの中からユーザに所望の用例を速やかに選択させるための、何らかの選択補助機能が必要とされている。
この問題を解決するための一方法として、見本対話モデルや会話練習履歴コーパスを利用してユーザの次の発話候補を絞り込む手法が提案されている(例えば特許文献1参照)。
特開2003−30187号公報
過去に翻訳装置のユーザが行った対話の履歴に基づく次発話候補の絞込みは、相手がその中に含まれている場合は有効である。また、事前にユーザが仮想的に対話の練習を行った履歴や典型的な対話のパターンに基づく次発話候補の絞込みは、自分が想定する対話のパターンに従う相手であれば有効である。しかしながら、一般に対話のパターンは人によって様々である。例えば、列車の予約をするために旅行者が駅員と対話を開始する場合、旅行者の発話「列車の予約をしたいのですが」に対して、ある駅員は「何日の列車ですか」という列車の日時についての発話から対話を開始する可能性もあれば、別の駅員は「どこまでですか」という列車の目的地に関する発話から対話を開始する可能性もある。したがって、対話の相手によっては絞込みに失敗するだけでなく、誤った絞込みによって対話参加者を混乱させることになり、逆に対話が完了するまでに要する時間が増加するという問題がある。
そこで、本発明は上記の事情に鑑みてなされたものであり、対話の相手がどのような相手であっても速やかに対話が完了するように対話を支援することができる対話支援装置を提供することを目的とする。
上記目的を達成するため、本発明に係る対話支援装置は、対話参加者によって行われる対話を支援する対話支援装置であって、前記対話参加者および前記対話参加者以外の者の発話の列である対話履歴を当該対話履歴の対話参加者および対話のトピックに対応づけて格納している対話履歴データベースの中から、前記対話参加者を特定する情報および対話状況に基づいて対話履歴を選択する対話履歴選択手段と、前記対話履歴選択手段により選択された前記対話履歴に基づいて、前記対話における前記対話参加者の次の発話を予測する発話予測手段とを備え、前記対話履歴選択手段は、対話参加者を特定する情報および対話のトピックを示す情報を取得し、取得した情報が示す対話参加者および対話のトピックに対応づけられた対話履歴を前記対話履歴データベースから、基準対話履歴として抽出し、前記対話履歴のうち、抽出された前記基準対話履歴を除く対話履歴のそれぞれについて、前記基準対話履歴と共通して含まれ、かつ、連続する発話の集合を1つの発話ブロックとみなした場合、前記発話ブロックの数に反比例する、または、前記発話ブロックに含まれる発話数の平均に比例する類似度を算出し、算出した類似度の最も高い対話履歴を選択し、前記発話予測手段は、前記対話履歴選択手段により選択された前記対話履歴の中で、前記対話における発話に対応する発話の次に出現する発話を、前記対話における前記対話参加者の次の発話として予測することを特徴とする。
本発明に係る対話支援装置によれば、ユーザは次発話候補の中から用例を容易に選択することが可能になる。したがって、対話の相手を待たせることがないので対話支援装置を介した対話をスムーズに進行することができる。
本発明の実施の形態に係る対話支援装置は、対話参加者によって行われる対話を支援する対話支援装置であって、前記対話参加者および前記対話参加者以外の者の対話履歴を格納している対話履歴データベースの中から、前記対話参加者を特定する情報および対話状況に基づいて対話履歴を選択する対話履歴選択手段と、前記対話履歴選択手段により選択された前記対話履歴に基づいて、前記対話における前記対話参加者の次の発話を予測する発話予測手段とを備えることを特徴とする。
これによって、自分の対話の履歴と相手の対話の履歴を利用し、今から交わされるであろう対話に最も近い履歴を対話参加者以外の者の履歴も含めて検索し、その履歴に基づいて次の発話を予測することができるので、対話の相手がどのような相手であっても速やかに対話が完了するように対話を支援することができる。
ここで、前記対話履歴選択手段は、前記対話参加者のそれぞれの対話履歴の中から前記対話状況が最も近い対話履歴をそれぞれ基準対話履歴として抽出し、それぞれの前記基準対話履歴と類似度の高い対話履歴を選択することが好ましい。
これによって、基準対話履歴と類似度が高い対話履歴に基づいて対話参加者の次の発話を予測することができる。
また、前記対話支援装置は、さらに、前記対話参加者の発話を受け付ける発話受付手段と、前記発話受付手段により受け付けられた前記発話を他の発話形態に変換する発話処理手段と、前記発話処理手段により変換された前記他の発話形態の前記発話を出力する発話出力手段とを備えてもよい。
これによって、例えば日本語と英語とによる対話等の異言語の対話を支援することができる。
なお、本発明は、このような対話支援装置として実現することができるだけでなく、このような対話支援装置が備える特徴的な手段をステップとする対話支援方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
以下、本発明の実施の形態について、図面を参照しながら説明する。
図1は本発明に係る対話支援システムの一実施の形態の構成を示すブロック図である。
対話支援システムは、人と人との対話を支援するためのシステムであり、図1に示すように対話支援装置100、およびこの対話支援装置100とネットワーク300を介して接続されるサーバ装置200を備えている。
サーバ装置200は、対話履歴データベース201、および通信部202を備えている。対話履歴データベース201は、各種の対話履歴を格納している。通信部202は、ネットワーク300を介して対話支援装置100と通信を行う。
一方、対話支援装置100は、図1に示すように発話受付部101、発話出力部102、発話受付部103、発話出力部104、発話処理部105、発話予測部106、対話履歴選択部107、および通信部108を備えている。ここで、発話受付部101および発話受付部103は発話受付手段に、発話出力部102および発話出力部104は発話出力手段に、発話処理部105は発話処理手段に、発話予測部106は発話予測手段に、対話履歴選択部107は対話履歴選択手段に、それぞれ相当する。
発話受付部101は、対話参加者1の発話を受け付け、発話を特定するための発話情報を出力する。発話出力部102は、対話参加者1に対して他の対話参加者からの発話情報を発話として出力する。同様に、発話受付部103は、対話参加者2の発話を受け付け、発話情報を出力する。発話出力部104は、対話参加者2に対して他の対話参加者からの発話情報を発話として出力する。発話処理部105は、発話受付部101から出力された発話情報と発話受付部103から出力された発話情報とにより特定される発話を、それぞれ他の発話形態に変換する。
発話予測部106は、対話が開始される前に対話参加者1と対話参加者2から対話参加者の認証情報と対話状況とを取得する。また、発話予測部106は、対話開始後、発話受付部101が対話参加者1からの発話を受け付ける前に、または、発話受付部103が対話参加者2からの発話を受け付ける前に、対話における発話を予測して表示パネル等に表示する。
対話履歴選択部107は、発話予測部106によって取得された認証情報に基づいてサーバ装置200の対話履歴データベース201を検索し、対話履歴データベース201の中から最適な対話履歴を選択する。通信部108は、ネットワーク300を介してサーバ装置200と通信を行う。
次に、上記のように構成された対話支援システムにおいて、異言語の対話を支援する場合の動作について説明する。ここでは、対話参加者1は日本語を話し、対話参加者2は英語を話すと仮定する。図2は対話参加者1および対話参加者2の発話と発話No.の対応関係の一例を示す図である。
発話受付部101は、受け付けた対話参加者1の発話を相当する発話情報に変換する。発話情報は、例えば図2における発話No.である。発話処理部105は、対話参加者1の発話(日本語)を対話参加者2への発話(英語)に変換して文字列を出力する。例えば、発話No.1が入力されたときは、発話出力部104に対して発話情報として文字列"May I help you?"を出力する。
逆に、発話受付部103は、受け付けた対話参加者2の発話を相当する発話情報に変換する。発話情報は、例えば図2の発話No.であり、発話処理部105は対話参加者2の発話(英語)を対話参加者1への発話(日本語)に変換して文字列を出力する。例えば、発話No.1が入力されたときは、発話出力部102に対して発話情報として文字列「いらっしゃいませ。」を出力する。以後、言語方向を考慮しながら説明を簡単にするために、対話参加者1からの発話No.1をJ1、対話参加者2からの発話No.1をE1と略記する。
発話受付部101は、図2の日本語のリストの部分を対話参加者1に直接選択させて、その発話No.を発話情報として出力する。また、発話受付部103は、図2の英語のリストの部分を対話参加者2に直接選択させて、その発話No.を発話情報として出力する。なお、発話受付部101または発話受付部103の構成については、音声認識処理を利用して対話参加者の音声を発話No.のいずれかに射影する処理で実現してもよい。また、キーボードから発話の表記や発音に相当する文字列を入力させて、それを発話No.のいずれかに射影して実現しても良い。
図3は対話履歴データベース201に格納される対話履歴の一例を示す図である。対話履歴とは対話参加者によって過去に交わされた発話の履歴であり、各対話参加者の発話時刻の順に並べたものである。発話は図2で定義される発話のいずれかに相当する。なお、同じ発話No.でも対話参加者によってそれを区別する必要があるので、日本語についてはJを、英語についてはEをそれぞれ発話No.の前に付与して、対話履歴における発話のラベルとして定義する。以後、説明を簡単にするために、1つの対話履歴をそのラベルの列で記述する。例えば、対話履歴d1はd1:E1,J2,E3,J4,E5,J6,E7,E8と記述する。対話履歴にはその対話を交わした対話参加者の認証情報と対話のトピック(対話状況)が記録されている。例えば対話履歴d1は、Jの発話は太郎、Eの発話はTom、トピックはホテルである情報が記されている。
以下、図4に示すように対話参加者1が日本人観光客で、対話参加者2が英語を話すホテルのフロントのスタッフであり、ホテルのチェックインを行うために対話を行う場合を例として説明する。
図5は発話予測部106の動作の流れを示すフローチャートである。発話予測部106は、まず発話予測を行うために必要な対話参加者の特定と対話のトピックの特定を行う(ステップS401)。例えばPDAとして実現された図6に示すような対話支援装置100において、対話参加者1と対話参加者2の名前、および、対話のトピックを対話参加者にタッチパネルから直接入力させることで、対話参加者に関する情報を取得する。なお、対話参加者の認証情報の取得はこのような手動による方法以外にも、指紋認証やクレジットカードの個人情報を利用して自動で獲得する方法で実現してもよい。また、対話のトピックの取得についても、このような手動による方法以外にも、自動的に得られるPDAの存在環境の情報(例えば、レストラン、病院、ホテルなどの場所情報)から、自動的に連想する方法で実現してもよい。
発話予測部106は、図7に示すように対話開始ボタン601が押されると、予測スタックの作成を対話履歴選択部107に依頼する(ステップS402)。
図8は対話履歴選択部107の動作の流れを示すフローチャートである。対話履歴選択部107は、発話予測部106から通知された対話参加者の認証情報と対話のトピックに関する情報に基づいて、対話履歴データベース201に含まれる対話参加者1の対話履歴dr1と対話参加者2の対話履歴dr2を決定する(ステップS701)。すなわち、対話履歴dr1は対話参加者1の認証情報と対話のトピックに該当する対話履歴を検索することで、対話履歴dr2は対話参加者2の認証情報と対話のトピックに該当する対話履歴を検索することで決定される。例えば、対話履歴データベース201の中に図3に示す対話履歴が存在する場合、対話履歴dr1=対話履歴d1、対話履歴dr2=対話履歴d3に決定される。理由は、対話履歴d1のJの発話が太郎であり、対話履歴d3のEの発話がHanakoであり、それぞれ対話のトピックがホテルであるからである。対話履歴d5はJの発話が太郎であるが、対話のトピックがレンタカーであるために選択されない。なお、対話履歴データベース201の中に該当する対話履歴が存在しない場合に、対話のトピックを無視して対話履歴を検索することで、近似的に処理を継続することが可能である。
次に、対話履歴選択部107は、対話履歴データベース201に含まれる対話履歴dr1と対話履歴dr2以外のすべての対話履歴dについてスコアscore(d)=r(d|dr1)+r(d|dr2)を計算する(ステップS702)。r(da|db)は対話履歴dbに対する対話履歴daの類似度であり、図9(a)に示す数式801によって定義される。ここで、連続する発話の集合を発話ブロックと定義する。size(d)は対話履歴に含まれる発話ブロックの数であり、size(b)は発話ブロックbに含まれる発話の数である。例えば、図9の類似度計算の例802においては、対話履歴daは4つの発話ブロックから構成されるので、size(da)=4である。また、各発話ブロックに含まれる発話の数は、それぞれ、size(b1)=5,size(b2)=2,size(b3)=4,size(b4)=1であるから、r(da|db)はおよそ0.424と計算される。定性的には、類似度rの値が大きいほど2つの対話履歴の類似度は高い。また、類似度は発話の集合の数に反比例し、共通する発話ブロックの数が少ないほど高い。また、類似度は各集合に含まれる発話数の平均に比例し、1つの発話ブロックに含まれる発話数が多いほど高い。
図10は対話履歴の発話数を調整する動的計画法のアルゴリズムを示す図である。前述の類似度の計算は、この動的計画法によって2つの対話履歴の発話数が同じ数になるように調整してから行われる。対話履歴d4の対話履歴d1に対する類似度r(d4|d1)を計算するために、図10の動的計画法を対話履歴d4に適用した例を図11に示す。調整された対話履歴d4'において、ラベルがφの発話はd1との発話数が同じ値になるように追加された空の発話である。類似度r(d4|d1)は類似度r(d4'|d1)の値として計算される。
図12は発話ブロックの決定アルゴリズムを示す図である。基本的には、2つの対話履歴に含まれる発話ブロックの数が最小になるような発話ブロックを決定する。
まず、発話列Aと発話列Bの長さを動的計画法で同じ長さにする(ステップS1201)。発話列A(発話列B)に含まれる発話数をmとする(ステップS1202)。次に、iに1を代入する(ステップS1203)。A[i]が発話列Bに存在するか否かを判定する(ステップS1204)。なお、A[i]は発話列Aにおけるi番目の発話を示す。また、φについては、A[i]=φ、B[j]=φのとき、A[i]とB[j]が同じであると見なさない。この判定の結果、A[i]が発話列Bに存在する場合(ステップS1204でYES)、その発話をB[j]とする(ステップS1205)。そして、A[i]からA[i+n]が、発話列B[j]からB[j+n]が同じである最大のnを求めて、それぞれを1つのブロックとする(ステップS1206)。次に、iにi+n+1を代入する(ステップS1207)。
A[i]が発話列Bに存在するか否かの判定の結果、A[i]が発話列Bに存在しない場合(ステップS1204でNO)、A[i]を1つのブロックとする(ステップS1208)。そして、iにi+1を代入する(ステップS1209)。
次に、i>mであるか否かを判定する(ステップS1210)。i>mでない場合(ステップS1207でNO)には、再びA[i]が発話列Bに存在するか否かを判定処理以降(ステップS1204〜S1207)を繰り返す。一方、i>mである場合(ステップS1207でYES)には、処理を終了する。
例えば、図9(b)において、対話履歴da:u1,u2,u3,u4,u5,u6,u7,u8,u9,u10,u11,u12は、対話履歴db:u6,u7,u1,u2,u3,u4,u5,u8,u9,u10,u11,u13に対して、da:(u1,u2,u3,u4,u5),(u6,u7),(u8,u9,u10,u11),u12となる。括弧で囲まれた発話のラベルが1つの発話ブロックに相当する。ただし、1つの発話だけで構成される発話ブロックについては、表記を簡単にするために括弧を省略する。
図13は、対話履歴データベース201が図3に示す対話履歴を格納し、対話履歴dr1=対話履歴d1、対話履歴dr2=対話履歴d3のときに対話履歴dr1と対話履歴dr2以外のすべての対話履歴dについてスコアscore(d)=r(d|dr1)+r(d|dr2)を計算した結果を示す図である。
次に、対話履歴選択部107は、スコアscore(d)が最大の対話履歴d=対話履歴dmaxを選択する(ステップS703)。図13に示す例では対話履歴d2が選択される。
対話履歴選択部107は、対話履歴dmaxに対して対話履歴dr1と対話履歴dr2と同様に図12の発話ブロック決定アルゴリズムを適用し、発話ブロックに分割して予測スタックとする(ステップS704)。なお、連続する発話を同定する処理(ステップS1206)において、すでに決定された発話ブロックの境界を越えて連続しないという制限を加える。例えば対話履歴dmax=対話履歴d2を対話履歴dr1=対話履歴d1と対話履歴dr2=対話履歴d3で分割する場合は、対話履歴d2:E1,E8,J2,E3,J4,E5,J6,E7は、まず対話履歴d1によって、対話履歴d2: E1,E8,(J2,E3,J4,E5,J6,E7)のように3つの発話ブロックに分割され、次に対話履歴d3によってさらに、対話履歴d2: E1,E8,J2,(E3,J4),(E5,J6,E7)のように5つの発話ブロックに分割される。対話履歴選択部107は、この対話履歴d2を予測スタックとして発話予測部106に通知する。
なお、対話履歴選択部107が行う図12に示す発話ブロック決定アルゴリズムにおいて、発話が2つの対話履歴に共通に含まれるか否かの判定処理(ステップS1204、S1206)を行っているが、発話情報の一致、すなわち、発話No.の一致以外にも、自然言語処理を利用して発話の表層表現(文字表現)の一致、または、内容語の一致などで判定してもよい。例えば、一方の対話履歴に発話「ありがとう。」、他方の対話履歴に発話「ありがとうございます。」の場合などは、これらの発話が異なる発話No.であったとしても表層表現が近いので2つの対話履歴に共通に含まれる発話と判定することが可能である。一方の対話履歴に発話"Thank you."、他方の対話履歴に発話"Thank you very much."の場合も同様である。また、一方の対話履歴に発話「これを3セット贈答用に包んで下さい。」、他方の対話履歴に発話「贈答用に3セット、これを包んで下さい。」が含まれる場合などは、内容語が(これ、包む、3セット、贈答用)と定義されていれば、共通に含まれる内容語が多いので2つの対話履歴に共通に含まれる発話と判定することが可能である。また、これらの判定方法を組み合わせて用いても構わない。このように柔軟な判定にすることで、発話No.の一致だけでは適当な対話履歴が検索できない場合でも、適当な対話履歴を検索することが可能になる。
ここで、図5に示すフローチャートの説明に戻る。
発話予測部106は、対話履歴選択部107からの発話予測スタックを受け取った後、予測スタックが空であるか否かを判定する(ステップS403)。対話履歴選択部107が対話履歴データベース201の中で適当な対話履歴を検索できない理由などで予測スタックが空である場合(ステップS403でYES)、発話予測部106は発話予測動作を行わず終了する。
一方、予測スタックが空でない場合(ステップS403でNO)、発話予測部106は、予測スタックの先頭の発話を次の発話候補として表示する(ステップS404)。図14は対話が開始された時点の対話支援装置100での表示状態を示す図である。表示領域の上半分は対話参加者1の発話入出力領域1301、下半分は対話参加者2の発話入出力領域1302である。終了ボタン1303は対話を終了するときに押すボタンである。対話参加者1は発話受付部1304、対話参加者2は発話受付部1305を利用して図2で定義されるすべての発話の中から任意の発話を選択して他の対話参加者に伝えることが可能である。発話処理部105で変換された発話は、対話参加者1への発話出力部1306、対話参加者2への発話出力部1307へ、それぞれ出力され、例えばPDAに内蔵される音声合成処理を利用して表示と同時に読上げられる。予測表示領域1308には発話予測部106によって予測された対話参加者1の発話が表示され、予測表示領域1309には発話予測部106によって予測された対話参加者2の発話が表示される。対話参加者1または対話参加者2は、それぞれ予測表示領域1308または予測表示領域1309に表示される発話を選択することで、用例のリスト1304または用例のリスト1305の中から発話を検索して選択する操作を省略することが可能である。すなわち、発話を迅速に入力することが可能である。
上記の例のように予測スタックが作成された場合、発話予測部106は、予測表示領域1309に予測スタックE1,E8,J2,(E3,J4),(E5,J6,E7)の先頭の発話E1:"May I help you?"を表示する。対話参加者2は用例のリスト1305から発話を選択してもよいが、予測表示領域1309にすでに自分が発話したい内容が表示されているので、図15に示すようにそれを選択する。発話E1は発話処理部102で日本語に変換されて、対話参加者1に対して発話「いらっしゃいませ。」が伝えられる。
このとき、発話予測部106は、対話参加者から発話が入力されたか否かを判定している(ステップS405)。対話参加者から発話が入力される(ステップS405でYES)と、発話予測部106は、予測スタック上で一致する発話を先頭から検索(ステップS406)し、一致する発話があるか否かを判定する(ステップS407)。一致する発話がある場合(ステップS407でYES)、一致する発話が予測スタックの先頭であるか否かを判定する(ステップS408)。先頭である場合(ステップS408でYES)、予測スタックの先頭の発話を削除して予測スタックを更新する(ステップS409)。一方、先頭でない場合(ステップS408でNO)、一致する発話を含むブロックを予測スタックの先頭に移動後、先頭からその発話までを削除して予測スタックを更新する(ステップS410)。そして、予測スタックが空であるか否かの判定処理(ステップS403)に戻る。
上記の例では、対話参加者の発話がE1であることから、予測スタックをE8,J2,(E3,J4),(E5,J6,E7)と更新する。そして、予測スタックが空であるか否かの判定処理(ステップS403)に戻り、予測スタックはまだ空ではないので、図16に示すように予測表示領域1309に先頭の発話E8:"Please fill in this form."を表示し、ユーザからの発話を待つ。
対話参加者2は用例のリスト1305から発話を選択してもよいが、予測表示領域1309にすでに自分が発話したい内容が表示されているので、図17に示すように予測表示領域1309を選択すると、E8は発話処理部102で日本語に変換されて、対話参加者1に対して発話「このカードに記入して下さい。」が伝えられる。同様に、発話予測部106は予測スタックをJ2,(E3,J4),(E5,J6,E7)と更新し、図18に示すように1308にJ2:「チェックインをお願いします。」を表示する。
対話参加者1は用例のリスト1304から発話を選択してもよいが、予測表示領域1308にすでに自分が発話したい内容が表示されているので、図19に示すように予測表示領域1308を選択すると、J2は発話処理部102で英語に変換されて、対話参加者2に対して発話"Check-in, please."が伝えられる。同様に、発話予測部106は、予測スタックを(E3,J4),(E5,J6,E7)と更新し、図20に示すように予測表示領域1309にE3:"Have you made reservation?"を表示する。このように対話参加者1または対話参加者2は、用例のリスト1304または用例のリスト1305の中から所望の発話を検索する必要がなく、速やかに相手に意図を伝えることで、対話の所要時間が削減される。
次に、例えば対話参加者2が、図20において発話予測部106が予測する発話のE3:"Have you made reservation?"を予測表示領域1309から選択せずに、図21に示すように用例のリスト1305から検索してE5:"Do you prefer smoking room?"を選択した場合について説明する。
発話予測部106はE5を予測スタックの中から検索するが、それは予測スタックの先頭ではない。そこで、発話予測部106はE5含む発話ブロックを予測スタックの先頭に移動し、(E5,J6,E7),(E3,J4)とする。そして、E5を削除することで、予測スタックを(J6,E7),(E3,J4)と更新する。したがって、次の発話候補の表示処理(ステップS404)では、図22に示すように予測候補として予測表示領域1308にJ6:「禁煙でお願いします。」が表示される。そして図23に示すように対話参加者1が予測表示領域1308から「禁煙でお願いします」を選択して速やかに対話が継続される。このように本実施の形態では、対話参加者が発話予測部106により予測された発話を選択しない場合でも、その時点から今後の対話を予測することで柔軟に対話を支援することが可能である。
ここで本発明の効果を定量的に検証する。一般に対話がスムーズに進行する度合いは、対話参加者の対話履歴の類似度に比例する。ここでは類似度を具体的に数量化するために、図9の定義を用いる。対話参加者1と対話参加者2が、発話予測部106が予測表示領域1308と予測表示領域1309に表示する発話だけを選択して対話を完了する場合、図24に示す対話履歴2403が形成される。対話履歴2403は対話履歴選択部107が決定したdmax(図3の対話履歴d2)と等価である。対話参加者1の対話履歴2401(対話履歴選択部107が決定したdr1、すなわち図3のd1)と対話参加者2の対話履歴2402(対話履歴選択部107が決定したdr2、すなわち図3のd3)の類似度は0.12であるのに対し、対話履歴2403と対話履歴2401の類似度は0.41、対話履歴2403と対話履歴2402の類似度は0.16であることから、dmaxを利用した予測に従った対話の方が、dr1あるいはdr2のいずれかに従った対話よりもスムーズに進行することは明らかである。また、図20において対話参加者2が、発話予測部106が予測する発話を選択せずに対話を継続して完了した場合は対話履歴2404が形成される。対話履歴2404と対話履歴2401の類似度は0.16、対話履歴2404と対話履歴2402の類似度は0.16であることから、このような使い方においても、dr1あるいはdr2のいずれかに従った対話よりも、dmaxを利用した予測に従った対話の方がスムーズに進行することは明らかである。
ここまでは、対話支援システムにおいて、対話参加者1が日本語を話し、対話参加者2が英語を話すと仮定した場合について説明したが、以下では、対話参加者1が中国語を話し、対話参加者2が英語を話すと仮定した場合について説明する。図25は対話参加者1および対話参加者2の発話と発話No.の対応関係の一例を示す図である。
発話受付部101は、受け付けた対話参加者1の発話を相当する発話情報に変換する。発話情報は、例えば図2における発話No.である。発話処理部105は、対話参加者1の発話(中国語)を対話参加者2への発話(英語)に変換して文字列を出力する。例えば、発話No.1が入力されたときは、発話出力部104に対して発話情報として文字列"May I help you?"を出力する。
逆に、発話受付部103は、受け付けた対話参加者2の発話を相当する発話情報に変換する。発話情報は、例えば図25の発話No.であり、発話処理部105は対話参加者2の発話(英語)を対話参加者1への発話(中国語)に変換して文字列を出力する。例えば、発話No.1が入力されたときは、発話出力部102に対して発話情報として文字列
Figure 0003962767
を出力する。以後、言語方向を考慮しながら説明を簡単にするために、対話参加者1からの発話No.1をC1、対話参加者2からの発話No.1をE1と略記する。
発話受付部101は、図25の中国語のリストの部分を対話参加者1に直接選択させて、その発話No.を発話情報として出力する。また、発話受付部103は、図25の英語のリストの部分を対話参加者2に直接選択させて、その発話No.を発話情報として出力する。なお、発話受付部101または発話受付部103の構成については、音声認識処理を利用して対話参加者の音声を発話No.のいずれかに射影する処理で実現してもよい。また、キーボードから発話の表記や発音に相当する文字列を入力させて、それを発話No.のいずれかに射影して実現しても良い。
図26は対話履歴データベース201に格納される対話履歴の一例を示す図である。対話履歴とは対話参加者によって過去に交わされた発話の履歴であり、各対話参加者の発話時刻の順に並べたものである。発話は図25で定義される発話のいずれかに相当する。なお、同じ発話No.でも対話参加者によってそれを区別する必要があるので、中国語についてはCを、英語についてはEをそれぞれ発話No.の前に付与して、対話履歴における発話のラベルとして定義する。以後、説明を簡単にするために、1つの対話履歴をそのラベルの列で記述する。例えば、対話履歴d6はd6:E1,C2,E3,C4,E5,C6,E7,E8と記述する。対話履歴にはその対話を交わした対話参加者の認証情報と対話のトピック(対話状況)が記録されている。例えば対話履歴d6は、Cの発話は太郎、Eの発話はTom、トピックはホテルである情報が記されている。
以下、図4に示すように対話参加者1が中国語を話す観光客で、対話参加者2が英語を話すホテルのフロントのスタッフであり、ホテルのチェックインを行うために対話を行う場合を例として説明する。なお、発話予測部106および対話履歴選択部107の動作の流れは上記と同様であるので、図5および図8に示すフローチャートを用いて説明し、上記と同様の部分については説明を省略する。
発話予測部106は、まず発話予測を行うために必要な対話参加者の特定と対話のトピックの特定を行う(ステップS401)。例えばPDAとして実現された図27に示すような対話支援装置100において、対話参加者
Figure 0003962767
1と対話参加者
Figure 0003962767
2の名前、および、対話のトピック
Figure 0003962767
を対話参加者にタッチパネル
から直接入力させることで、対話参加者に関する情報を取得する。
発話予測部106は、図28に示すように対話開始
Figure 0003962767
ボタン601が押されると、予測スタックの作成を対話履歴選択部107に依頼する(ステップS402)。
対話履歴選択部107は、発話予測部106から通知された対話参加者の認証情報と対話のトピックに関する情報に基づいて、対話履歴データベース201に含まれる対話参加者1の対話履歴dr1と対話参加者2の対話履歴dr2を決定する(ステップS701)。例えば、対話履歴データベース201の中に図26に示す対話履歴が存在する場合、対話履歴dr1=対話履歴d6、対話履歴dr2=対話履歴d8に決定される。理由は、対話履歴d6のCの発話が太郎であり、対話履歴d8のEの発話がHanakoであり、それぞれ対話のトピックがホテルであるからである。対話履歴d5はCの発話が太郎であるが、対話のトピックがレンタカーであるために選択されない。
次に、対話履歴選択部107は、対話履歴データベース201に含まれる対話履歴dr1と対話履歴dr2以外のすべての対話履歴dについて、上記同様にスコアscore(d)=r(d|dr1)+r(d|dr2)を計算する(ステップS702)。そして、対話履歴選択部107は、スコアscore(d)が最大の対話履歴d=対話履歴dmaxを選択する(ステップS703)。ここでは、対話履歴d7が選択されるものとする。
対話履歴選択部107は、対話履歴dmaxに対して対話履歴dr1と対話履歴dr2と同様に図12の発話ブロック決定アルゴリズムを適用し、発話ブロックに分割して予測スタックとする(ステップS704)。例えば対話履歴dmax=対話履歴d7を対話履歴dr1=対話履歴d6と対話履歴dr2=対話履歴d8で分割する場合は、対話履歴d7:E1,E8,C2,E3,C4,E5,C6,E7は、まず対話履歴d6によって、対話履歴d7: E1,E8,(C2,E3,C4,E5,C6,E7)のように3つの発話ブロックに分割され、次に対話履歴d8によってさらに、対話履歴d7: E1,E8,C2,(E3,C4),(E5,C6,E7)のように5つの発話ブロックに分割される。対話履歴選択部107は、この対話履歴d7を予測スタックとして発話予測部106に通知する。
このように作成された発話予測スタックを対話履歴選択部107から受け取った発話予測部106は、予測スタックが空であるか否かを判定する(ステップS403)。対話履歴選択部107が対話履歴データベース201の中で適当な対話履歴を検索できない理由などで予測スタックが空である場合(ステップS403でYES)、発話予測部106は発話予測動作を行わず終了する。
一方、予測スタックが空でない場合(ステップS403でNO)、発話予測部106は、予測スタックの先頭の発話を次の発話候補として表示する(ステップS404)。図29は対話が開始された時点の対話支援装置100での表示状態を示す図である。表示領域の上半分は対話参加者1の発話入出力領域1301、下半分は対話参加者2の発話入出力領域1302である。終了
Figure 0003962767
ボタン1303は対話を終了するときに押すボタンである。対話参加者1は発話受付部1304、対話参加者2は発話受付部1305を利用して図25で定義されるすべての発話の中から任意の発話を選択して他の対話参加者に伝えることが可能である。発話処理部105で変換された発話は、対話参加者1への発話出力部1306、対話参加者2への発話出力部1307へ、それぞれ出力され、例えばPDAに内蔵される音声合成処理を利用して表示と同時に読上げられる。予測表示領域1308には発話予測部106によって予測された対話参加者1の発話が表示され、予測表示領域1309には発話予測部106によって予測された対話参加者2の発話が表示される。対話参加者1または対話参加者2は、それぞれ予測表示領域1308または予測表示領域1309に表示される発話を選択することで、用例のリスト1304または用例のリスト1305の中から発話を検索して選択する操作を省略することが可能である。すなわち、発話を迅速に入力することが可能である。
上記の例のように予測スタックが作成された場合、発話予測部106は、予測表示領域1309に予測スタックE1,E8,C2,(E3,C4),(E5,C6,E7)の先頭の発話E1:"May I help you?"を表示する。対話参加者2は用例のリスト1305から発話を選択してもよいが、予測表示領域1309にすでに自分が発話したい内容が表示されているので、図30に示すようにそれを選択する。発話E1は発話処理部102で中国語に変換されて、対話参加者1に対して発話
Figure 0003962767
が伝えられる。
このとき、発話予測部106は、対話参加者から発話が入力されたか否かを判定している(ステップS405)。対話参加者から発話が入力される(ステップS405でYES)と、発話予測部106は、予測スタック上で一致する発話を先頭から検索(ステップS406)し、一致する発話があるか否かを判定する(ステップS407)。一致する発話がある場合(ステップS407でYES)、一致する発話が予測スタックの先頭であるか否かを判定する(ステップS408)。先頭である場合(ステップS408でYES)、予測スタックの先頭の発話を削除して予測スタックを更新する(ステップS409)。一方、先頭でない場合(ステップS408でNO)、一致する発話を含むブロックを予測スタックの先頭に移動後、先頭からその発話までを削除して予測スタックを更新する(ステップS410)。そして、予測スタックが空であるか否かの判定処理(ステップS403)に戻る。
上記の例では、対話参加者の発話がE1であることから、予測スタックをE8,C2,(E3,C4),(E5,C6,E7)と更新する。そして、予測スタックが空であるか否かの判定処理(ステップS403)に戻り、予測スタックはまだ空ではないので、図31に示すように予測表示領域1309に先頭の発話E8:"Please fill in this form."を表示し、ユーザからの発話を待つ。
対話参加者2は用例のリスト1305から発話を選択してもよいが、予測表示領域1309にすでに自分が発話したい内容が表示されているので、図32に示すように予測表示領域1309を選択すると、E8は発話処理部102で中国語に変換されて、対話参加者1に対して発話
Figure 0003962767
が伝えられる。同様に、発話予測部106は予測スタックをC2,(E3,C4),(E5,C6,E7)と更新し、図33に示すように1308にC2:
Figure 0003962767
を表示する。
対話参加者1は用例のリスト1304から発話を選択してもよいが、予測表示領域1308にすでに自分が発話したい内容が表示されているので、図34に示すように予測表示領域1308を選択すると、C2は発話処理部102で英語に変換されて、対話参加者2に対して発話"Check-in, please."が伝えられる。同様に、発話予測部106は、予測スタックを(E3,C4),(E5,C6,E7)と更新し、図35に示すように予測表示領域1309にE3:"Have you made reservation?"を表示する。このように対話参加者1または対話参加者2は、用例のリスト1304または用例のリスト1305の中から所望の発話を検索する必要がなく、速やかに相手に意図を伝えることで、対話の所要時間が削減される。
なお、図36に示すように図1に示す構成に加えて履歴登録部401を備え、発話処理部105で対話参加者の間で交わされる発話情報をすべて記録し、対話終了時に履歴登録部401がその記録を対話履歴データベース201に蓄積するように構成することも可能である。これによって、今後の発話予測に有効な対話履歴を増やすことが可能になる。例えば、図37または図38に示すように対話参加者が対話終了を指示することで、この動作が実行されるようにする。特に、発話予測部106の予測に従わずに対話がなされた場合は、対話履歴データベース201に存在しない対話である場合が多く、それを蓄積することで次回の発話予測をより精度良く行うことが可能になる。
また、図1に示す構成の発話受付部101および発話受付部103に替えて、図39に示すように音声認識部501および音声認識部502を備える構成とすることもできる。この場合、音声認識部501および音声認識部502の認識対象語彙の中で、発話予測部106によって予測される発話に関連する語彙については優先的に扱うことで、音声認識の精度を向上させることが可能になる。関連する語彙としては、発話予測部106が出力する予測発話そのものであってもよいし、または、その予測発話に近い文であってもよいし、または、予測発話に含まれる単語であってもよいし、または、予測発話から連想される単語であってもよい。
また、図40または図41に示すように対話参加者毎のPDAに分割して対話支援装置を実装し、さらにユーザビリティを向上することも可能である。対話支援装置は対話参加者1が利用するPDA2301、対話参加者2が利用するPDA2301にそれぞれ実装されている。ボタン2303およびボタン2304は、対話参加者1および対話参加者2がそれぞれ対話の予測展開を見るためのボタンである。具体的にはこれらのボタンが押されたときに、発話予測部106はこれまでに交わされた発話と現時点の予測スタックの内容をすべて表示する。図42は対話の予測展開の一例(日本語と英語の場合)を示す図である。これまでに交わされた発話がE1,E8,J2であり、現時点の予測スタックが、(E3,J4),(E5,J6,E7)であると仮定している。これまでに交わされた発話と予測スタックの内容は、予測展開表示領域2401に対してはJ1,J8,J2と(J3,J4),(J5,J6,J7)として、予測展開表示領域2402に対してはE1,E8,E2と(E3,E4),(E5,E6,E7)として、それぞれの対話参加者の言語に変換されて表示される。
また、図43は対話の予測展開の一例(中国語と英語の場合)を示す図である。これまでに交わされた発話がE1,E8,C2であり、現時点の予測スタックが、(E3,C4),(E5,C6,E7)であると仮定している。これまでに交わされた発話と予測スタックの内容は、予測展開表示領域2401に対してはC1,C8,C2と(C3,C4),(C5,C6,C7)として、予測展開表示領域2402に対してはE1,E8,E2と(E3,E4),(E5,E6,E7)として、それぞれの対話参加者の言語に変換されて表示される。このような対話の予測展開を対話参加者に示すことにより、相手の発話を前もって知ることが可能になり、対話をする際に頭を整理することでより確実な操作が可能になる。
また、本実施の形態では、一例として日本語と英語の場合と、中国語と英語の場合とを取り上げたが、仏語など他の言語についても同様に実施可能であり、本発明は言語に依存しない。
本発明に係る対話支援装置は、対話参加者の発話を速やかに入力させる機能を有し、携帯電話や携帯端末等の翻訳アプリケーションソフトウェア等として有用である。また公共の街頭端末や案内端末等の用途にも応用できる。さらに、同言語の対話では、定型文のチャットシステムなどの用途にも応用できる。
図1は本発明に係る対話支援システムの一実施の形態の構成を示すブロック図である。 図2は対話参加者1および対話参加者2の発話と発話No.の対応関係の一例を示す図である。 図3(a),(b),(c),(d),(e)は対話履歴データベースに格納される対話履歴の一例を示す図である。 図4は本発明に係る対話支援装置が利用される場面の一例を示す図である。 図5は発話予測部の動作の流れを示すフローチャートである。 図6は本発明に係る対話支援装置の表示例を示す図である。 図7は本発明に係る対話支援装置の表示例を示す図である。 図8は対話履歴選択部の動作の流れを示すフローチャートである。 図9(a),(b)は対話履歴の類似度を定義する数式と計算の例を示す図である。 図10は対話履歴の発話数を調整する動的計画法のアルゴリズムを示す図である。 図11は対話履歴d4に対して動的計画法を適用した例を示す図である。 図12は発話ブロックの決定アルゴリズムを示す図である。 図13は対話履歴についてスコアを計算した結果を示す図である。 図14は本発明に係る対話支援装置の表示例を示す図である。 図15は本発明に係る対話支援装置の表示例を示す図である。 図16は本発明に係る対話支援装置の表示例を示す図である。 図17は本発明に係る対話支援装置の表示例を示す図である。 図18は本発明に係る対話支援装置の表示例を示す図である。 図19は本発明に係る対話支援装置の表示例を示す図である。 図20は本発明に係る対話支援装置の表示例を示す図である。 図21は本発明に係る対話支援装置の表示例を示す図である。 図22は本発明に係る対話支援装置の表示例を示す図である。 図23は本発明に係る対話支援装置の表示例を示す図である。 図24は新しく生成された対話と対話履歴との類似度の比較を示す図である。 図25は対話参加者1および対話参加者2の発話と発話No.の対応関係の一例を示す図である。 図26(a),(b),(c),(d),(e)は対話履歴データベースに格納される対話履歴の一例を示す図である。 図27は本発明に係る対話支援装置の表示例を示す図である。 図28は本発明に係る対話支援装置の表示例を示す図である。 図29は本発明に係る対話支援装置の表示例を示す図である。 図30は本発明に係る対話支援装置の表示例を示す図である。 図31は本発明に係る対話支援装置の表示例を示す図である。 図32は本発明に係る対話支援装置の表示例を示す図である。 図33は本発明に係る対話支援装置の表示例を示す図である。 図34は本発明に係る対話支援装置の表示例を示す図である。 図35は本発明に係る対話支援装置の表示例を示す図である。 図36は本発明に係る対話支援システムの他の実施の形態の構成を示すブロック図である。 図37は本発明に係る対話支援装置の表示例を示す図である。 図38は本発明に係る対話支援装置の表示例を示す図である。 図39は本発明に係る対話支援システムの他の実施の形態の構成を示すブロック図である。 図40(a),(b)は本発明に係る対話支援装置を対話参加者毎に備えた場合の表示例を示す図である。 図41(a),(b)は本発明に係る対話支援装置を対話参加者毎に備えた場合の表示例を示す図である。 図42(a),(b)は本発明に係る対話支援装置を対話参加者毎に備えた場合の表示例を示す図である。 図43(a),(b)は本発明に係る対話支援装置を対話参加者毎に備えた場合の表示例を示す図である。
符号の説明
101 発話受付部
102 発話出力部
103 発話受付部
104 発話出力部
105 発話処理部
106 発話予測部
107 対話履歴選択部
108 通信部
200 サーバ装置
201 対話履歴データベース
202 通信部
601 対話開始ボタン
801 対話履歴dbに対する対話履歴daの類似度を定義する数式
802 類似度計算の例
1301 対話参加者1の発話入出力領域
1302 対話参加者2の発話入出力領域
1303 対話終了ボタン
1304 対話参加者1の発話入力領域
1305 対話参加者2の発話入力領域
1306 対話参加者1への発話出力領域
1307 対話参加者2への発話出力領域
1308 対話参加者1への予測表示領域
1309 対話参加者2への予測表示領域
2301 対話参加者1のPDA
2302 対話参加者2のPDA
2303 対話参加者1の対話の予測展開ボタン
2304 対話参加者2の対話の予測展開ボタン
2401 対話参加者1への予測展開表示領域
2402 対話参加者2への予測展開表示領域

Claims (11)

  1. 対話参加者によって行われる対話を支援する対話支援装置であって、
    前記対話参加者および前記対話参加者以外の者の発話の列である対話履歴を当該対話履歴の対話参加者および対話のトピックに対応づけて格納している対話履歴データベースの中から、前記対話参加者を特定する情報および対話状況に基づいて対話履歴を選択する対話履歴選択手段と、
    前記対話履歴選択手段により選択された前記対話履歴に基づいて、前記対話における前記対話参加者の次の発話を予測する発話予測手段とを備え、
    前記対話履歴選択手段は、
    対話参加者を特定する情報および対話のトピックを示す情報を取得し、取得した情報が示す対話参加者および対話のトピックに対応づけられた対話履歴を前記対話履歴データベースから、基準対話履歴として抽出し、
    前記対話履歴のうち、抽出された前記基準対話履歴を除く対話履歴のそれぞれについて、前記基準対話履歴と共通して含まれ、かつ、連続する発話の集合を1つの発話ブロックとみなした場合、前記発話ブロックの数に反比例する、または、前記発話ブロックに含まれる発話数の平均に比例する類似度を算出し、
    算出した類似度の最も高い対話履歴を選択し、
    前記発話予測手段は、前記対話履歴選択手段により選択された前記対話履歴の中で、前記対話における発話に対応する発話の次に出現する発話を、前記対話における前記対話参加者の次の発話として予測する
    ことを特徴とする対話支援装置。
  2. 前記対話履歴選択手段は、さらに、前記集合それぞれに含まれる発話を特定し、特定した発話の数を用いて、前記類似度を発話の数の平均に比例するように算出する
    ことを特徴とする請求項1記載の対話支援装置。
  3. 前記対話履歴選択手段は、2つの前記対話履歴に共通して含まれる発話である否かを、発話を特定するための発話情報の一致、表層表現の一致、および内容語の一致の少なくとも1つにより判定する
    ことを特徴とする請求項1記載の対話支援装置。
  4. 前記対話支援装置は、さらに、
    前記対話参加者の発話を受け付ける発話受付手段と、
    前記発話受付手段により受け付けられた前記発話を、発話の種類ごとに異なる言語で表現された発話が対応づけられた表を参照することで、他の言語に変換する発話処理手段と、
    前記発話処理手段により変換された前記他の言語の前記発話を出力する発話出力手段と
    を備えることを特徴とする請求項1記載の対話支援装置。
  5. 前記発話受付手段は、入力される音声に対して、音声認識辞書を前記発話予測手段により予測された予測発話、前記予測発話に近い文、前記予測発話に含まれる単語、および前記予測発話から連想される単語のいずれかの範囲内に絞り込みを行った上で音声認識を行い、前記音声認識結果を前記発話として受け付ける
    ことを特徴とする請求項4記載の対話支援装置。
  6. 前記対話支援装置は、さらに、表示手段を備え、
    前記発話予測手段は、予測した予測発話を前記表示手段に表示し、
    前記発話受付手段は、前記予測発話が前記対話参加者により選択されると、前記予測発話を前記発話として受け付ける
    ことを特徴とする請求項4記載の対話支援装置。
  7. 前記対話支援装置は、さらに、表示手段を備え、
    前記発話予測手段は、前記対話履歴選択手段により選択された前記対話履歴に基づいて前記対話における前記対話参加者の発話の展開を予測し、予測した発話展開を前記表示手段に表示する
    ことを特徴とする請求項4記載の対話支援装置。
  8. 前記対話支援装置は、さらに、
    前記対話参加者により行われた前記対話の履歴を前記対話履歴データベースへ登録する履歴登録手段
    を備えることを特徴とする請求項1記載の対話支援装置。
  9. 対話参加者によって行われる対話を支援する、対話支援装置とサーバ装置を備える対話支援システムであって、
    前記サーバ装置は、
    前記対話参加者および前記対話参加者以外の者の発話の列である対話履歴を当該対話履歴の対話参加者および対話のトピックに対応づけて格納している対話履歴データベースと、
    前記対話支援装置から送信された前記対話参加者を特定する情報および対話状況に基づいて、前記対話履歴データベースの中から対話履歴を選択して前記対話支援装置に送信する対話履歴選択手段とを備え、
    前記対話履歴選択手段は、
    前記対話支援装置から、対話参加者を特定する情報および対話のトピックを示す情報を取得し、取得した情報が示す対話参加者および対話のトピックに対応づけられた対話履歴を前記対話履歴データベースから、基準対話履歴として抽出し、
    前記対話履歴のうち、抽出された前記基準対話履歴を除く対話履歴のそれぞれについて、前記基準対話履歴と共通して含まれ、かつ、連続する発話の集合を1つの発話ブロックとみなした場合、前記発話ブロックの数に反比例する、または、前記発話ブロックに含まれる発話数の平均に比例する類似度を算出し、
    算出した類似度の最も高い対話履歴を選択し、
    前記対話支援装置は、
    前記対話参加者を特定する情報および前記対話状況を前記サーバ装置へ送信して対話履歴を要求するとともに、前記サーバ装置から送信された前記対話履歴に基づいて、前記対話における前記対話参加者の次の発話を予測する発話予測手段を備え
    前記発話予測手段は、前記対話状況として対話のトピックを示す情報を前記サーバ装置に送信するとともに、前記サーバ装置から送信された前記対話履歴の中で、前記対話における発話に対応する発話の次に出現する発話を、前記対話における前記対話参加者の次の発話として予測する
    ことを特徴とする対話支援システム。
  10. 対話参加者によって行われる対話を支援する対話支援装置による対話支援方法であって、
    前記対話支援装置が備える対話履歴選択手段が、前記対話参加者および前記対話参加者以外の者の発話の列である対話履歴を当該対話履歴の対話参加者および対話のトピックに対応づけて格納している対話履歴データベースの中から、前記対話参加者を特定する情報および対話状況に基づいて対話履歴を選択する対話履歴選択ステップと、
    前記対話支援装置が備える発話予測手段が、前記対話履歴選択ステップにおいて選択された前記対話履歴に基づいて、前記対話における前記対話参加者の次の発話を予測する発話予測ステップとを含み、
    前記対話履歴選択手段は、前記対話履歴選択ステップでは、
    対話参加者を特定する情報および対話のトピックを示す情報を取得し、取得した情報が示す対話参加者および対話のトピックに対応づけられた対話履歴を前記対話履歴データベースから、基準対話履歴として抽出し、
    前記対話履歴のうち、抽出された前記基準対話履歴を除く対話履歴のそれぞれについて、前記基準対話履歴と共通して含まれ、かつ、連続する発話の集合を1つの発話ブロックとみなした場合、前記発話ブロックの数に反比例する、または、前記発話ブロックに含まれる発話数の平均に比例する類似度を算出し、
    算出した類似度の最も高い対話履歴を選択し、
    前記発話予測手段は、前記発話予測ステップでは、前記対話履歴選択ステップで選択された前記対話履歴の中で、前記対話における発話に対応する発話の次に出現する発話を、前記対話における前記対話参加者の次の発話として予測する
    ことを特徴とする対話支援方法。
  11. 対話参加者によって行われる対話を支援する対話支援装置のためのプログラムであって、
    コンピュータを請求項1記載の対話支援装置が備える対話履歴選択手段および発話予測手段として機能させる
    ことを特徴とするプログラム。
JP2006540889A 2004-10-08 2005-10-05 対話支援装置 Expired - Fee Related JP3962767B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004296775 2004-10-08
JP2004296775 2004-10-08
PCT/JP2005/018429 WO2006040971A1 (ja) 2004-10-08 2005-10-05 対話支援装置

Publications (2)

Publication Number Publication Date
JP3962767B2 true JP3962767B2 (ja) 2007-08-22
JPWO2006040971A1 JPWO2006040971A1 (ja) 2008-05-15

Family

ID=36148266

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006540889A Expired - Fee Related JP3962767B2 (ja) 2004-10-08 2005-10-05 対話支援装置

Country Status (4)

Country Link
US (1) US7752051B2 (ja)
JP (1) JP3962767B2 (ja)
CN (1) CN1842787B (ja)
WO (1) WO2006040971A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2007058135A1 (ja) * 2005-11-16 2009-04-30 日本電気株式会社 携帯端末装置及びそれに用いる参加者リスト表示方法並びにそのプログラム
JP4197344B2 (ja) * 2006-02-20 2008-12-17 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声対話システム
US8073681B2 (en) 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
US7818176B2 (en) 2007-02-06 2010-10-19 Voicebox Technologies, Inc. System and method for selecting and presenting advertisements based on natural language processing of voice-based input
US9305548B2 (en) 2008-05-27 2016-04-05 Voicebox Technologies Corporation System and method for an integrated, multi-modal, multi-device natural language voice services environment
WO2010045375A1 (en) * 2008-10-14 2010-04-22 Honda Motor Co., Ltd. Improving dialog coherence using semantic features
US8326637B2 (en) 2009-02-20 2012-12-04 Voicebox Technologies, Inc. System and method for processing multi-modal device interactions in a natural language voice services environment
JP2011033680A (ja) * 2009-07-30 2011-02-17 Sony Corp 音声処理装置及び方法、並びにプログラム
US9564120B2 (en) * 2010-05-14 2017-02-07 General Motors Llc Speech adaptation in speech synthesis
US20130158986A1 (en) * 2010-07-15 2013-06-20 The University Of Queensland Communications analysis system and process
US9576570B2 (en) 2010-07-30 2017-02-21 Sri International Method and apparatus for adding new vocabulary to interactive translation and dialogue systems
US8527270B2 (en) * 2010-07-30 2013-09-03 Sri International Method and apparatus for conducting an interactive dialogue
JP5431282B2 (ja) * 2010-09-28 2014-03-05 株式会社東芝 音声対話装置、方法、プログラム
CN102522084B (zh) * 2011-12-22 2013-09-18 广东威创视讯科技股份有限公司 一种将语音数据转换为文本文件的方法和系统
JP5967569B2 (ja) * 2012-07-09 2016-08-10 国立研究開発法人情報通信研究機構 音声処理システム
US9195654B2 (en) * 2013-03-15 2015-11-24 Google Inc. Automatic invocation of a dialog user interface for translation applications
WO2016044321A1 (en) 2014-09-16 2016-03-24 Min Tang Integration of domain information into state transitions of a finite state transducer for natural language processing
EP3195145A4 (en) 2014-09-16 2018-01-24 VoiceBox Technologies Corporation Voice commerce
WO2016061309A1 (en) 2014-10-15 2016-04-21 Voicebox Technologies Corporation System and method for providing follow-up responses to prior natural language inputs of a user
US10431214B2 (en) 2014-11-26 2019-10-01 Voicebox Technologies Corporation System and method of determining a domain and/or an action related to a natural language input
US9508339B2 (en) * 2015-01-30 2016-11-29 Microsoft Technology Licensing, Llc Updating language understanding classifier models for a digital personal assistant based on crowd-sourcing
JP6819988B2 (ja) * 2016-07-28 2021-01-27 国立研究開発法人情報通信研究機構 音声対話装置、サーバ装置、音声対話方法、音声処理方法およびプログラム
WO2018023106A1 (en) 2016-07-29 2018-02-01 Erik SWART System and method of disambiguating natural language processing requests
JP2018054850A (ja) * 2016-09-28 2018-04-05 株式会社東芝 情報処理システム、情報処理装置、情報処理方法、及びプログラム
US11238226B2 (en) * 2018-11-15 2022-02-01 Nuance Communications, Inc. System and method for accelerating user agent chats
CN111611352A (zh) * 2019-02-25 2020-09-01 北京嘀嘀无限科技发展有限公司 一种对话生成方法、装置、电子设备及可读存储介质
US20220051679A1 (en) * 2019-03-05 2022-02-17 Sony Group Corporation Information processing apparatus, information processing method, and program
CN112000781B (zh) * 2020-07-20 2023-07-21 北京百度网讯科技有限公司 用户对话中的信息处理方法、装置、电子设备及存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07105220A (ja) * 1993-09-30 1995-04-21 Hitachi Ltd 会話翻訳装置
JPH0877176A (ja) * 1994-09-07 1996-03-22 Hitachi Ltd 外国語翻訳装置
JP3367298B2 (ja) * 1994-11-15 2003-01-14 富士ゼロックス株式会社 言語情報提供装置、言語情報提供システムおよび言語情報提供方法
US5918222A (en) * 1995-03-17 1999-06-29 Kabushiki Kaisha Toshiba Information disclosing apparatus and multi-modal information input/output system
JP3385146B2 (ja) * 1995-06-13 2003-03-10 シャープ株式会社 会話文翻訳装置
JPH09319750A (ja) * 1996-05-27 1997-12-12 Sharp Corp 通訳装置
JP3993319B2 (ja) * 1998-09-08 2007-10-17 松下電器産業株式会社 通訳装置及び通訳装置の機能を発揮させるプログラムを記録した記録媒体
JP2000187435A (ja) * 1998-12-24 2000-07-04 Sony Corp 情報処理装置、携帯機器、電子ペット装置、情報処理手順を記録した記録媒体及び情報処理方法
JP3822990B2 (ja) * 1999-01-07 2006-09-20 株式会社日立製作所 翻訳装置、記録媒体
US6622119B1 (en) * 1999-10-30 2003-09-16 International Business Machines Corporation Adaptive command predictor and method for a natural language dialog system
WO2001046945A1 (en) * 1999-12-20 2001-06-28 British Telecommunications Public Limited Company Learning of dialogue states and language model of spoken information system
JP4105841B2 (ja) * 2000-07-11 2008-06-25 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声認識方法、音声認識装置、コンピュータ・システムおよび記憶媒体
JP2002041432A (ja) * 2000-07-25 2002-02-08 Oki Electric Ind Co Ltd チャットシステム,端末装置,サーバ装置及び媒体
JP3974412B2 (ja) * 2001-01-24 2007-09-12 松下電器産業株式会社 音声変換装置
US7050979B2 (en) * 2001-01-24 2006-05-23 Matsushita Electric Industrial Co., Ltd. Apparatus and method for converting a spoken language to a second language
US20020138588A1 (en) * 2001-03-20 2002-09-26 Richard Leeds System and method for adaptive forums communication
US20030009448A1 (en) * 2001-06-14 2003-01-09 Covington Robert C. Method and apparatus for providing user-specific response
JP2003030187A (ja) * 2001-07-18 2003-01-31 Nec Corp 自動通訳システム、会話学習装置、自動通訳装置及びその方法並びにそのプログラム
US7197460B1 (en) * 2002-04-23 2007-03-27 At&T Corp. System for handling frequently asked questions in a natural language dialog service
WO2004049306A1 (en) * 2002-11-22 2004-06-10 Roy Rosser Autonomous response engine
GB0306396D0 (en) * 2003-03-20 2003-04-23 Ibm Apparatus, method and computer program for adding context to a chat transcript
US7103553B2 (en) * 2003-06-04 2006-09-05 Matsushita Electric Industrial Co., Ltd. Assistive call center interface
JP2005157494A (ja) * 2003-11-20 2005-06-16 Aruze Corp 会話制御装置及び会話制御方法
US20060025091A1 (en) * 2004-08-02 2006-02-02 Matsushita Electric Industrial Co., Ltd Method for creating and using phrase history for accelerating instant messaging input on mobile devices

Also Published As

Publication number Publication date
CN1842787A (zh) 2006-10-04
CN1842787B (zh) 2011-12-07
US20060129409A1 (en) 2006-06-15
WO2006040971A1 (ja) 2006-04-20
JPWO2006040971A1 (ja) 2008-05-15
US7752051B2 (en) 2010-07-06

Similar Documents

Publication Publication Date Title
JP3962767B2 (ja) 対話支援装置
JP3962766B2 (ja) 対話支援装置
US8949133B2 (en) Information retrieving apparatus
JP3822990B2 (ja) 翻訳装置、記録媒体
KR101583181B1 (ko) 응답 스티커 추천방법 및 컴퓨터 프로그램
KR101615848B1 (ko) 유사상황 검색을 통한 대화 스티커 추천방법 및 컴퓨터 프로그램
JP2001005488A (ja) 音声対話システム
JP2008083855A (ja) 機械翻訳を行う装置、システム、方法およびプログラム
JP5221768B2 (ja) 翻訳装置、及びプログラム
JP2015153108A (ja) 音声会話支援装置、及び音声会話支援方法及びプログラム
JPH06208389A (ja) 情報処理方法及び装置
US20070016420A1 (en) Dictionary lookup for mobile devices using spelling recognition
JP2005043461A (ja) 音声認識方法及び音声認識装置
JP2005249829A (ja) 音声認識を行うコンピュータネットワークシステム
US7562006B2 (en) Dialog supporting device
JP3911178B2 (ja) 音声認識辞書作成装置および音声認識辞書作成方法、音声認識装置、携帯端末器、音声認識システム、音声認識辞書作成プログラム、並びに、プログラム記録媒体
JP2003162293A (ja) 音声認識装置及び方法
JPH0778183A (ja) デ−タベ−ス検索システム
JP5343744B2 (ja) 音声翻訳装置及び音声翻訳方法
JP3870722B2 (ja) 翻訳装置、記録媒体
JP5246512B2 (ja) 音声読み上げシステム、および音声読み上げ端末
JP3983794B2 (ja) 対話支援装置
JPH07282081A (ja) 音声対話型情報検索装置
Thirion et al. The South African directory enquiries (SADE) name corpus
JP2006048566A (ja) 携帯翻訳機および翻訳方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070424

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070521

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110525

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110525

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120525

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120525

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130525

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130525

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees