WO2007055181A1 - 対話支援装置 - Google Patents

Abstract

　発話の内容に応じて翻訳処理の速さと翻訳結果の流暢さとをトレードする対話支援装置を提供する。 　第１の言語によるユーザ１の発話を受け付ける第１入力部（１０１）と、受け付けられた発話を所定の第２の言語に翻訳し第１翻訳発話情報を出力する第１翻訳処理部（１０２）と、第１翻訳発話情報をユーザ２へ伝達する第１出力部（１０３）と、ユーザ２の発話を受け付ける第２入力部（１０４）と、受け付けられたユーザ２の発話を第１の言語に翻訳し第２翻訳発話情報を出力する第２翻訳処理部（１０５）と、第２翻訳発話情報をユーザ１へ伝達する第２出力部（１０６）と、ユーザ１の発話に含まれる特徴を解析してその発話の次に受け付けられる発話に対する翻訳時間の上限を決定する出力時刻決定部（１０７）とを備え、第２翻訳処理部（１０５）は前記翻訳時間内に得られた第２翻訳発話情報を出力する。

Description

明 細 書

対話支援装置

技術分野

[0001] 本発明は人と人との対話を支援する対話支援システムに関するものである。

背景技術

[0002] 一般の人々が海外旅行などで現地の人々と対話をする際に、その異言語対話を支 接することを目的として自動翻訳技術が開発されてきた。自動翻訳技術では、統計 機械翻訳方式や構文トランスファ方式などがよく知られて!/ヽる。構文トランスファ方式 は、自動翻訳装置の内部に辞書及び文法などをデータベースとして持っておき、入 力される文章を、辞書や文法を使って解析する。そしてその意味を理解した上で別 の言語に変換するという方式である。

[0003] これに対し、統計機械翻訳方式は、あらかじめ、ある言語と変換対象となる言語の ペア（「対訳コーノ ス」と呼ばれる）を大量に保持しておく。これをユーザが利用するう ちに、ある単語がどの単語に変換されやすいと力 あるフレーズが別の言語のフレー ズに対応しやすいといった変換傾向、あるいは統計的性質が顕著に現れるようにな る。統計機械翻訳方式は、このように、文法とは関係なぐ単語やフレーズの変換傾 向や統計的性質に基づいて言語の変換を行なう方式である。

[0004] このような自動翻訳技術のうち、構文トランスファ方式は、辞書及び文法などのメン テナンスが面倒であるというデメリットがある。例えば、未知の文が出てきたときに、そ の文及び単語を人が解析して辞書に追加して ヽかな ヽと新 ヽ文に対応することが できない。これに対し、統計機械翻訳方式は、単にその文に対応する対訳コーパス を増やすだけでよいというメリットがある。すなわち、統計機械翻訳方式は構文トラン スファ方式や中間言語方式などの自動翻訳技術と異なり、人手で言語データを解析 して追加情報を付加する必要がほとんどなぐ対訳コーパスを追加するだけで翻訳性 能の向上が期待できる。一方、統計機械翻訳方式では、ある確率の式に従って、そ の確率の値が最大になるような系列を対訳コーパスの中力 探していくことにより、最 適な変換を行なう。この処理は、非常に処理負荷が高ぐ対訳を見つけるまでに時間 力 Sかかってしまうというデメリットもある。最近では CPUの高速化と主記憶の大容量ィ匕 により、大量の対訳コ一パスに基づく統計機械翻訳方式の開発が盛んに行われて!/、 る。現在のところ言語モデルや翻訳モデルの最適化、デコーディング (翻訳処理)の 高精度化、翻訳品質の自動評価に研究開発の重点が置かれて 、る (例えば特許文 献 1、非特許文献 1参照)。

特許文献 1 :特開 2004— 102946号公報

非特許文献 1 :Y. Akiba, M. Federico, N.Kando, H.Nakaiwa, M.Paul, J.Tsuiji:"Overv iew of the IWSLT04 Evaluation Campaign", International Workshop on Spoken Lang uage Translation(INTERSPEECH2004-ICSLPSatellite Workshop), 2004

発明の開示

発明が解決しょうとする課題

[0005] このような自動翻訳技術を利用して対話を行う場合、言語の異なる 2人のユーザは 交互に対話支援装置の自動翻訳機能を利用して対話を行う。図 1は、従来の統計翻 訳方式の対話支援装置において、文を構成する単語数に応じてデコーデイングに要 する平均処理時間の一例を示す表である。図 1は特許文献 1からの抜粋であるが、 日常会話によく出現する 172, 481文の対訳コーパスを用いた統計翻訳方式のデコ ーデイングの平均処理時間を示して 、る。この例ではデコーディングの平均処理時 間は、最新の計算機を使った場合でも日英で 47秒以上、英日で 52秒以上必要であ る。すなわち、相手に一言話しかけて力 一言の返事を相手力 獲得するまでに 1分 39秒以上必要ということになる。一般にデコーディング処理は対訳コーパスの量と入 力文の単語数に比例するので、それ以上の時間が必要になることも多い。したがって 、特に、統計翻訳方式では、ユーザがデコーディング処理を待つ時間が長いために 、対話支援装置が実用に耐えな!/、という問題がある。

[0006] また、特に、統計翻訳方式では、非特許文献 1の 3. 3節に示されているように、翻 訳品質の自動評価結果と人による主観評価の結果を比較した実験では、同じ訳文 に対して評価値間に相関が見られない場合があり、逆に負の相関となる場合もあった 。すなわち、デコーディング処理に一定の時間を費やすことは必要である力 過剰な 時間を費やすことは相手を待たせるだけで、より良い翻訳品質に結びつくとは限らな いという問題がある。

[0007] 本発明では、翻訳処理を開始する前に相手を待たせる時間すなわち訳文の出力 時刻を決定し、対話を継続するのに必要十分な品質の訳文を相手に速やかに伝達 することで、異言語の対話を速やかに完了させる対話支援装置を提供することを目 的とする。

課題を解決するための手段

[0008] 従来の課題を解決するために、本発明の対話支援装置は、異なる言語の対話を支 接する対話支援装置であって、ユーザの発話を入力として受け付ける入力部と、受 け付けられた前記発話を所定の言語に翻訳し、翻訳して得られる翻訳発話情報を出 力する翻訳処理部と、出力された前記翻訳発話情報をユーザに伝達出力する出力 部と、前記ユーザの発話に含まれる特徴を解析して、次に受け付けられる発話を翻 訳するための翻訳時間を決定する出力時刻決定部とを備えることを特徴とする。

[0009] なお、本発明は、このような対話支援装置として実現することができるだけでなぐこ のような対話支援装置が備える特徴的な構成部をステップとする対話支援方法として 実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したり することもできる。そして、そのようなプログラムは、 CD—ROM等の記録媒体やイン ターネット等の伝送媒体を介して配信することができるのは言うまでもない。 発明の効果

[0010] 翻訳処理部が翻訳処理を開始する前に、出力時刻決定部によって、相互理解を得 るために必要十分な訳文を得るための処理時間が設定されるため、自動翻訳機能に よって支援される異言語の対話が速やかに完了する。また、場合によっては、翻訳処 理のために従来よりも長い処理時間が設定されることも起こりうる力 この場合には、 より尤度の高い訳文を得ることによって、相手の理解度を高めることができ、その結果 として相互理解に達するまでの時間が短縮されるという効果がある。

図面の簡単な説明

[0011] [図 1]図 1は、従来の対話支援装置において、文を構成する単語数に応じてデコーデ イングに要する平均処理時間の一例を示す表である。（従来技術）

[図 2]図 2は、本発明に係る対話支援装置の一実施の形態の構成を示すブロック図 である。（実施の形態 1)

[図 3]図 3は、図 2に示した出力時刻決定部の構成の一例を示すブロック図である。 ( 実施の形態 1)

[図 4]図 4は、図 2に示した第 1入力部のより詳細な構成の一例を示すブロック図であ る。（実施の形態 1)

[図 5]図 5は、本発明の対話支援装置の一実施の形態のユーザインタフェースを示す 図である。（実施の形態 1)

[図 6]図 6は、本発明の対話支援装置の動作を示すフローチャートである。（実施の形 態 1)

[図 7]図 7は、図 6に示したステップ S403での対話支援装置のより詳細な動作を示す フローチャートである。（実施の形態 D

[図 8]図 8は、図 6に示したステップ S403で並行処理を行なう場合の対話支援装置の より詳細な動作の一例を示すフローチャートである。（実施の形態 1)

[図 9]図 9は、図 3に示した計算資源情報部が保持するテーブルのデータ構成の一例 を示す図である。（実施の形態 1)

[図 10]図 10は、図 3に示した対話履歴解析部が保持する特徴テーブルのデータ構 成の一例を示す図である。（実施の形態 1)

[図 11]図 11は、図 3に示した対話履歴格納部の内容とそれに応じて時刻計算部 204 によって算出される探索時間の上限の初期値の一例を示すテーブルである。（実施 の形態 1)

[図 12]図 12は、最初にユーザ 1が発話した際の対話支援装置の翻訳発話情報の出 力例および表示例を示す図である。（実施の形態 1)

[図 13]図 13は、図 12に示したユーザ 1の発話に対して更新された対話履歴格納部 の内容とそれに応じて時刻計算部によって算出される次の探索時間の上限 tの例を 示す図である。（実施の形態 1)

[図 14]図 14は、ユーザ 1の発話に対して、ユーザ 2が発話した際の対話支援装置の 翻訳発話情報の出力例および表示例を示す図である。（実施の形態 1)

[図 15]図 15は、図 14に示したユーザ 2の発話に対して、さらに更新された対話履歴 格納部の内容とそれに応じて時刻計算部によって算出される次の探索時間の上限 t の例を示す図である。（実施の形態 1)

[図 16]図 16は、図 14に示したユーザ 2の発話に対して、ユーザ 1が発話した際の対 話支援装置の翻訳発話情報の出力例および表示例を示す図である。（実施の形態 1 )

[図 17]図 17は、図 16に示したユーザ 1の発話に対して、さらに更新された対話履歴 格納部の内容とそれに応じて時刻計算部によって算出される次の探索時間の上限 t の例を示す図である。（実施の形態 1)

[図 18]図 18は、本発明の対話支援装置による効果を、従来方式の対話支援装置と、 対話履歴及び探索時間の上限で対比した図である。（実施の形態 1)

[図 19]図 19は、本発明の対話支援装置による平均翻訳処理時間と従来方式による 平均翻訳処理時間との対比を示すグラフである。（実施の形態 1)

[図 20]図 20は、本発明の対話支援装置の変形例の構成を示すブロック図である。 ( 実施の形態 1)

[図 21]図 21は、本発明の対話支援装置の変形例のユーザインタフェースを示す図 である。（実施の形態 1)

[図 22]図 22は、本発明の対話支援装置の第 2の変形例の構成を示すブロック図であ る。（実施の形態 1)

[図 23]図 23は、実施の形態 2の対話支援装置のユーザインタフェースを示す図であ る。（実施の形態 2)

[図 24]図 24は、言語 1が中国語で、言語 2が英語である場合の特徴テーブルのデー タ構成の一例を示す図である。（実施の形態 2)

[図 25]図 25は、最初にユーザ 1が発話した際の対話支援装置の翻訳発話情報の出 力例および表示例を示す図である。（実施の形態 2)

[図 26]図 26は、図 25に示したユーザ 1の発話に対して更新された対話履歴格納部 の内容とそれに応じて時刻計算部によって算出される次の探索時間の上限 tの例を 示す図である。（実施の形態 2)

[図 27]図 27は、ユーザ 1の発話に対して、ユーザ 2が発話した際の対話支援装置の 翻訳発話情報の出力例および表示例を示す図である。（実施の形態 2)

[図1—

〇 28]図 28は、図 27に示したユーザ 2の発話に対して、さらに更新された対話履歴 1—

格納部の内容とそれに応じて時刻計算部によって算出される次の探索時間の上限 t の例を示す図である。（実施の形態 2)

[図 29]図 29は、図 27に示したユーザ 2の発話に対して、ユーザ 1が発話した際の対 話支援装置の翻訳発話情報の出力例および表示例を示す図である。（実施の形態 2 )

[図 30]図 30は、図 29に示したユーザ 1の発話に対して、さらに更新された対話履歴 格納部の内容とそれに応じて時刻計算部によって算出される次の探索時間の上限 t の例を示す図である。（実施の形態 2)

[図 31]図 31は、本発明の対話支援装置による効果と、従来方式の対話支援装置に よる効果とを、対話履歴及び探索時間の上限で対比した図である。（実施の形態 2) [図 32]図 32は、本発明の対話支援装置の変形例の構成を示すブロック図である。 ( 実施の形態 2)

[図 33]図 33は、本発明の対話支援装置のハードウェア構成の一例を示すブロック図 である。（実施の形態 1) (実施の形態 2)

符号の説明

第 1入力部

102 第 1翻訳処理部

103 第 1出力部

104 第 2入力部

105 第 2翻訳出力部

106 第 2出力部

107 出力時刻決定部

201 対話履歴格納部

202 対話履歴解析部

203 計算資源情報部

204 時刻計算部 301 マイク

302 発話情報

303 入力開始ボタン

304 スピーカ

305 翻訳発話情報

306 翻訳処理開始ボタン

307 マイク

308 発話情報

309 入力開始ボタン

310 スピーカ

311 翻訳発話情報

312 翻訳処理開始ボタン

S401 出力時刻初期化ステップ

S402 発話入力待ちステップ

S403 出力時刻計算ステップ

701 対話履歴格納部 201の内容

702 第 1翻訳処理部または第 2翻訳処理部の出力内容

703 時刻計算部 204の動作

901 対話履歴格納部 201の内容

902 第 1翻訳処理部または第 2翻訳処理部の出力内容

903 時刻計算部 204の動作

1101 対話履歴格納部 201の内容

1102 第 1翻訳処理部または第 2翻訳処理部の出力内容

1103 時刻計算部 204の動作

1301 対話履歴格納部 201の内容

1302 第 1翻訳処理部または第 2翻訳処理部の出力内容

1303 時刻計算部 204の動作

1401 従来の方式で支援された対話 1402 本発明で支援された対話

1501、 1502 端末

1503' -1510 通信部

1701、 1702 端末

1703 サーノ

1704' -1711 通信部

1901 音声認識部

1902 発話情報記憶部

3200 対話支援装置

3201 スピーカ

3202 マイク

3203 外部メモリ

3204 表示部

3205 ROM

3206 CPU (プロセッサ）

3207 RAM

3208 通信部

3209 入力部

3210 ノ ス

発明を実施するための最良の形態

本発明の対話支援装置は、異なる言語の対話を支援する対話支援装置であって、 ユーザの発話を入力として受け付ける入力部と、受け付けられた前記発話を所定の 言語に翻訳し、翻訳して得られる翻訳発話情報を出力する翻訳処理部と、出力され た前記翻訳発話情報をユーザに伝達出力する出力部と、前記ユーザの発話に含ま れる特徴を解析して、次に受け付けられる発話を翻訳するための翻訳時間を決定す る出力時刻決定部とを備えることを特徴とする。これにより、対話支援装置は、ユーザ の発話に含まれる特徴を解析して、次に受け付けられる発話を翻訳するための翻訳 時間を決定することができる。すなわち、ある発話に含まれる特徴が、次の発話に対 する翻訳があまり流暢でなくても意味が通じることを示して 、る場合には、次の発話 に対する翻訳時間を短くすることができる。また、ある発話に含まれる特徴が、次の発 話に対する翻訳が流暢でなくては意味が通じな 、ことを示して 、る場合には、次の発 話に対する翻訳時間を長くすることができる。

[0014] また、本発明の前記入力部は、第 1の言語による第 1ユーザの発話を入力として受 け付ける第 1入力部と、第 2の言語による第 2ユーザの発話を入力として受け付ける 第 2入力部とを備え、前記翻訳処理部は、前記第 1ユーザの発話を第 2の言語に翻 訳し、翻訳して得られる第 1翻訳発話情報を出力する第 1翻訳処理部と、前記第 2ュ 一ザの発話を前記第 1の言語に翻訳し、翻訳して得られる第 2翻訳発話情報を出力 する第 2翻訳処理部とを備え、前記出力部は、出力された前記第 1翻訳発話情報を 第 2ユーザへ伝達出力する第 1出力部と、出力された前記第 2翻訳発話情報を第 1 ユーザへ伝達出力する第 2出力部とを備え、前記出力時刻決定部は、前記第 1ユー ザの発話又は前記第 2ユーザの発話に含まれる特徴を解析して、前記第 1ユーザの 発話又は前記第 2ユーザの発話の次に受け付けられる発話を前記第 1翻訳処理部 又は前記第 2翻訳処理部が翻訳する翻訳時間の上限を示す出力時刻を決定し、前 記第 1翻訳処理部又は前記第 2翻訳処理部は、前記出力時刻までに得られた翻訳 結果である前記第 1翻訳発話情報又は前記第 2翻訳発話情報を出力するとしてもよ い。これにより、対話支援装置は、第 1ユーザの発話又は前記第 2ユーザの発話の内 容に応じて、次の発話に対する翻訳時間の上限を示す出力時刻を決定し、その出力 時刻までに得られた翻訳結果を出力することができる。

[0015] ここで、前記翻訳処理部は統計機械翻訳方式によって翻訳処理を行なうとしてもよ い。統計機械翻訳方式は、特に、一定以上の翻訳時間をかけなければ、あまり適切 な対訳を得ることができないが、ある程度以上の翻訳時間をかけても翻訳時間に比 例してよい対訳を得られるとは限らないという性質がある。従って、本発明の対話支 援装置によれば、前記第 1翻訳処理部又は前記第 2翻訳処理部が、前記出力時刻 までに得られた翻訳結果を出力する場合であっても、出力時刻決定部が一定範囲 内の出力時刻を決定するようにしておけば、一定レベル以上の翻訳結果を得ること ができるという効果がある。 [0016] さらに、本発明の前記出力時刻決定部は、前記第 1ユーザの発話を文字列とした 第 1発話情報と、前記第 2ユーザの発話を文字列とした第 2発話情報との履歴を、発 話の順に保持し、前記履歴に含まれる先の第 1発話情報又は第 2発話情報の特徴を 参照して、次に保持される第 1発話情報又は第 2発話情報の前記出力時刻を決定す るとしてもよい。従って、本発明の対話支援装置によれば、第 1発話情報又は第 2発 話情報を、発話の順に保持した履歴に基づいて前記出力時刻を決定することができ る。

[0017] また、本発明の前記出力時刻決定部が前記出力時刻を決定する根拠となる前記 特徴の種類は、相互理解であり、前記解析の結果、受け付けられた前記発話に相互 理解の特徴が含まれている場合、前記翻訳時間がより短くなるよう、前記出力時刻を 決定するとしてもよい。ここで、前記発話に相互理解の特徴が含まれている場合には 、対話内容に対するユーザ間の理解が深まっていることが示される。従って、翻訳結 果がそれほど流暢でなくても、意思の疎通を得ることができると考えられる。このため 、本発明の対話支援装置によれば、前記発話に相互理解の特徴が含まれている場 合には、より短い時間で翻訳結果を出力することができ、対話をスムーズに進めること ができる。

[0018] さらに、本発明の前記出力時刻決定部が前記出力時刻を決定する根拠となる前記 特徴の種類は、表層表現の連続性であり、前記解析の結果、受け付けられた前記発 話に表層表現の連続性を示す特徴が含まれている場合、前記翻訳時間がより短くな るよう前記出力時刻を決定し、前記発話に表層表現の不連続性を示す特徴が含ま れている場合、前記翻訳時間がより長くなるよう前記出力時刻を決定するとしてもよい 。ここで、前記発話に表層表現の連続性を示す特徴が含まれている場合には、次の 発話の中に連続して、前記発話で使われた表層表現の一部が含まれる可能性が高 ぐその表層表現が得られれば、次の発話全体に対する翻訳結果がそれほど流暢で なくても、意思の疎通を得ることができると考えられる。このため、本発明の対話支援 装置によれば、前記発話に表層表現の連続性を示す特徴が含まれて！/ヽる場合には 、より短い時間で翻訳結果を出力することができ、対話をスムーズに進めることができ る。また、逆に、前記発話に表層表現の不連続性を示す特徴が含まれている場合、 次の発話の中に、前記発話で使われた表層表現の一部が含まれる可能性が低ぐ その表層表現が重要であることが多い。このため、本発明の対話支援装置によれば 、前記発話に表層表現の不連続性を示す特徴が含まれている場合、より尤もらしい 流暢な翻訳結果を出力し、意思の疎通を図ることができる。

[0019] また、本発明の前記出力時刻決定部が前記出力時刻を決定する根拠となる前記 特徴の種類は、話題転換であり、前記解析の結果、受け付けられた前記発話に話題 転換の特徴が含まれている場合、前記翻訳時間が標準的な長さになるよう、前記出 力時刻を初期値に決定するとしてもよい。ここで、前記発話に話題転換の特徴が含ま れている場合、その発話の前後で、対話の内容に関連性がなくなると考えられる。こ のため、本発明の対話支援装置によれば、前記発話に話題転換の特徴が含まれて V、る場合、標準的な翻訳時間で得られる翻訳結果を出力することができる。

[0020] 本発明の前記対話支援装置は、さらに、前記対話支援装置の計算資源に関する 情報を提供する計算資源情報部を備え、前記出力時刻決定部は、計算資源に関す る前記情報を参照して、前記第 1翻訳発話情報又は前記第 2翻訳発話情報の出力 時刻を決定するとしてもよい。これにより、本発明の対話支援装置は、対話支援装置 の計算資源の状態を考慮した出力時刻を決定することができる。

[0021] また、本発明の前記第 1出力部及び前記第 2出力部の少なくとも一方は、第 1翻訳 発話情報及び Z又は第 2翻訳発話情報を合成音声で再生する音声合成部と、第 1 翻訳発話情報及び Z又は第 2翻訳発話情報を表示出力する文字画像表示部とを備 えるとしてもよい。これにより、本発明の対話支援装置は、第 1翻訳発話情報及び Z 又は第 2翻訳発話情報を、合成音声と文字画像表示とで第 1ユーザ及び Z又は第 2 ユーザに知らせることができる。従って、第 1ユーザ及び Z又は第 2ユーザは、第 1翻 訳発話情報及び Z又は第 2翻訳発話情報を、合成音声だけでは聞き取りにく!/、場合 であっても、文字画像表示部の表示出力を確認することにより、より正確に理解する ことができる。

[0022] また、本発明の前記音声合成部は、前記第 1翻訳発話情報及び Z又は前記第 2翻 訳発話情報の尤度が一定の閾値よりも低 、場合は動作しな 、としてもよ 、。これによ り、本発明の対話支援装置は、尤度が一定の閾値よりも低い前記第 1翻訳発話情報 及び Z又は前記第 2翻訳発話情報を合成音声で聞き取ることによる、聞き取り間違 V、や発話内容の誤解を未然に防止することができる。

[0023] さらに、本発明の前記文字画像表示部は、前記第 1翻訳発話情報及び Z又は前 記第 2翻訳発話情報の尤度が一定の閾値よりも低い場合は、前記第 1翻訳発話情報 及び Z又は前記第 2翻訳発話情報に含まれる自立語だけを強調表示するとしてもよ い。従って、本発明の対話支援装置によれば、尤度が一定の閾値よりも低い場合は 、自立語だけを強調表示することにより、自立語以外の尤度の低い部分力 翻訳内 容の誤解を招くことを防止することができる。

[0024] また、本発明の対話支援システムは、通信網を介して互いに通信を行なうユーザご との対話支援装置により、異なる言語の対話を支援する対話支援システムであって、 第 1の対話支援装置は、第 1の言語による第 1ユーザの発話を入力として受け付ける 第 1入力部と、受け付けられた前記第 1ユーザの発話を所定の言語に翻訳し、翻訳し て得られる第 1翻訳発話情報を出力する第 1翻訳処理部と、出力された前記第 1翻 訳発話情報を、第 2の対話支援装置へ送信する第 1送信部と、前記第 1ユーザの発 話に含まれる特徴を解析して、前記第 1ユーザの発話の次に受け付けられる発話を 翻訳する翻訳時間の上限を示す出力時刻を決定する第 1出力時刻決定部と、決定 された前記出力時刻を前記第 2の対話支援装置へ送信する第 1出力時刻送信部と を備え、前記第 2の対話支援装置は、前記第 1の対話支援装置から前記第 1翻訳発 話情報を受信し、第 2ユーザに伝達する第 2受信部と、前記第 1の対話支援装置で 決定された前記出力時刻を前記第 1の対話支援装置力 受信する第 2出力時刻受 信部と、前記所定の言語による第 2ユーザの発話を入力として受け付ける第 2入力部 と、受け付けられた前記第 2ユーザの発話を前記第 1の言語に翻訳し、翻訳して得ら れる第 2翻訳発話情報を出力する第 2翻訳処理部と、出力された前記第 2翻訳発話 情報を、前記第 1の対話支援装置へ送信する第 2送信部と、前記第 2翻訳処理部は 、受信された前記出力時刻までに得られた翻訳結果である前記第 2翻訳発話情報を 出力することを特徴とする。これにより、本発明の対話支援システムは、通信網を介し て、互いに離れた場所に 、るユーザ同士の異なる言語による対話を支援することが できる。さらに、これに加えて、第 1の対話支援装置では、第 1ユーザの発話に含まれ る特徴に基づいて次の発話に対する翻訳時間の上限である出力時刻を決定し、第 2 の対話支援装置では、第 1の対話支援装置から受信した前記出力時刻までに第 2ュ 一ザの発話を前記第 1の言語に翻訳して得られる第 2翻訳発話情報を出力すること ができる。すなわち、第 2の対話支援装置では、第 1ユーザの発話に含まれる特徴に 応じた翻訳時間の上限まで翻訳処理を行い、第 2翻訳発話情報を出力することがで きる。

また、本発明の対話支援システムは、通信網を介してサーバに接続される第 1の対 話支援装置および第 2の対話支援装置を用いて、対話を支援する対話支援システム であって、前記第 1の対話支援装置は、第 1の言語で話された第 1ユーザの発話を入 力として受け付ける第 1入力部と、受け付けられた前記第 1ユーザの発話を、前記サ ーバへ送信する第 1送信部と、前記第 1ユーザの発話に対する第 2ユーザの発話を 前記第 1の言語に翻訳した翻訳結果である第 2翻訳発話情報を、前記サーバから受 信する第 2受信部と、受信された前記第 2翻訳発話情報を、前記第 1ユーザに伝達 する第 1出力部とを備え、前記第 2の対話支援装置は、第 2の言語で話された第 2ュ 一ザの発話を入力として受け付ける第 2入力部と、受け付けられた前記第 2ユーザの 発話を、前記サーバへ送信する第 2送信部と、前記第 2ユーザの発話に対する前記 第ェユーザの発話を前記第 2の言語に翻訳した翻訳結果である第 1翻訳発話情報を 、前記サーバから受信する第 1受信部と、受信された前記第 1翻訳発話情報を、前記 第 2ユーザに伝達する第 2出力部とを備え、前記サーバは、前記第 1の対話支援装 置から前記第 1ユーザの発話を受信する第 1発話受信部と、受信された前記第 1ュ 一ザの発話を前記第 2の言語に翻訳し、翻訳して得られる第 1翻訳発話情報を出力 する第 1翻訳処理部と、出力された第 1翻訳発話情報を、前記第 2の対話支援装置 へ送信する第 1送信部と、前記第 2の対話支援装置から前記第 2ユーザの発話を受 信する第 2発話受信部と、受信された前記第 2ユーザの発話を前記第 1の言語に翻 訳し、翻訳して得られる第 2翻訳発話情報を出力する第 2翻訳処理部と、出力された 第 2翻訳発話情報を、前記第 1の対話支援装置へ送信する第 2送信部と、受信され た前記第 1ユーザの発話又は前記第 2ユーザの発話に含まれる特徴を解析して、前 記発話の次に受信される発話を翻訳する前記第 1翻訳処理部又は前記第 2翻訳処 理部の翻訳時間の上限を示す出力時刻を決定する出力時刻決定部とを備え、前記 第 1翻訳処理部又は前記第 2翻訳処理部は、決定された前記出力時刻までに得られ た翻訳結果である前記第 1翻訳発話情報又は前記第 2翻訳発話情報を出力すること を特徴とする。従って、本発明の対話支援システムによれば、発話に含まれる特徴の 解析、それに基づく出力時刻の決定及び決定された出力時刻までの翻訳処理をす ベてサーバが行なうので、各ユーザの所有する第 1の対話支援装置および第 2の対 話支援装置では構成を簡素化することができる。

[0026] 以下、本発明の実施の形態について、図面を参照しながら説明する。

[0027] (実施の形態 1)

図 2は、本発明の一実施の形態の対話支援装置の構成を示すブロック図である。 本実施の形態の対話支援装置は、言語の異なる 2人のユーザの対話を支援する装 置であって、ある発話に含まれる特徴に基づいて、次の発話に対して対訳言語デー タベースを探索する時間を変更する機能を有する。図 2に示すように、このような対話 支援装置は、第 1入力部 101、第 1翻訳処理部 102、第 1出力部 103、第 2入力部 10 4、第 2翻訳処理部 105、第 2出力部 106及び出力時刻決定部 107を備える。第 1入 力部 101は第 1の言語 (例えば、 日本語）によるユーザ 1 (第 1ユーザ)の発話を入力 して、ユーザ 1の発話を文字列とした第 1発話情報を出力する。第 1翻訳処理部 102 は第 1発話情報をユーザ 2 (第 2ユーザ)の第 2の言語 (所定の言語、例えば、英語） に翻訳して第 1翻訳発話情報と第 1翻訳発話情報の尤度を出力する。尤度とは、発 話情報に対する翻訳発話情報の流暢さや意味の確かさを表す指標である。第 1出力 部 103は第 1翻訳発話情報をユーザ 2に合成音声による発話として出力する。第 2入 力部 104はユーザ 2の第 2発話を入力して、ユーザ 2の発話を文字列とした第 2発話 情報を出力する。第 2翻訳処理部 105は第 2発話情報をユーザ 1の第 1の言語に翻 訳して第 2翻訳発話情報と第 2翻訳発話情報の尤度を出力する。第 2出力部 106は 第 2翻訳発話情報をユーザ 1に合成音声による発話として出力する。出力時刻決定 部 107は第 1発話情報又は第 2発話情報を入力として、次に入力される第 1発話情 報又は第 2発話情報に対する第 1翻訳処理部 102又は第 2翻訳処理部 105の処理 時間 (すなわち、発話情報に対する翻訳時間を意味し、対訳言語データベースの探 索時間やある特定の処理のループ回数なども含む）の上限である出力時刻を決定す る。

[0028] 図 3は、図 2に示した出力時刻決定部 107の構成の一例を示すブロック図である。

出力時刻決定部 107は、ある発話情報の特徴に基づいて、次に入力される発話情 報に対する対訳言語データベースの探索時間を決定する処理部であって、対話履 歴格納部 201、対話履歴解析部 202、計算資源情報部 203、時刻計算部 204及び 特徴テーブル 205を備える。対話履歴格納部 201は、第 1発話情報と第 2発話情報 を発生時刻の順に格納する。特徴テーブル 205は、出力時刻の変動係数を決定す る手がカゝりとなる発話の特徴が記述されたテーブルである。対話履歴解析部 202は、 対話履歴格納部 201の内容と特徴テーブル 205の内容を比較して、対話履歴格納 部 201に格納されて ヽる発話情報に、特徴テーブル 205に記述された特徴が含まれ ているカゝ否かを判断し、特徴が含まれていればその特徴に対応する出力時刻の変 動係数を出力する。特徴が含まれていない場合には係数 α =0を出力する。計算資 源情報部 203は本装置が動作する計算資源に関する情報を格納する。計算資源情 報部 203は、対話支援装置内での他のアプリケーションの作動などの影響による対 話支援装置の稼働状況を検出して、対話支援装置のハードウ ア性能を求め、図 9 に示したテーブルのリファレンス値と比較して、出力時刻の変動幅などを調整する。 時刻計算部 204は出力時刻の変動係数と計算資源情報部 203を参照して第 1翻訳 処理部 102と第 2翻訳処理部 105の出力時刻 tを決定する。

[0029] 第 1入力部 101はユーザ 1が音声またはタイピングで入力する発話を連続音声認 識処理またはキーボードで文字情報として取得し、第 1発話情報として出力する。ュ 一ザ 1からの第 1発話情報はユーザ 1の発話に相当する文字列である。図 4は、音声 認識処理を行なう機能を備えた場合の第 1入力部 101の構成の一例を示す図である 。第 1入力部 101は、音声認識部 1901及び発話情報記憶部 1902を備える。音声認 識部 1901はユーザ 1の発話に相当する音声を文字情報に変換する。発話情報記憶 部 1902は音声認識部 1901が出力する文字情報を一時的に記憶する。また、発話 情報記憶部 1902はユーザ 1の発話に伴う指示によって一時的に記憶している第 1 発話情報を出力する。同様に、第 2入力部 104はユーザ 2が音声またはタイピングで 入力する第 2発話を連続音声認識処理またはキーボードによって文字情報として取 得し、第 2発話情報として出力する。第 2発話情報はユーザ 2の第 2発話に相当する 文字列である。

[0030] 第 1翻訳処理部 102は、ユーザ 1の言語からユーザ 2の言語へ変換する統計翻訳 処理で構成する。統計翻訳処理は、ユーザ 1の言語を S、ユーザ 2の言語を Tとした 場合、第 1発話情報 S1の訳文 T2を得ることは、 Sと Tの対訳言語データベースにお いて P (T I SI)が最大にする Τ=Τ2を計算することである。ベイズの定理によれば、 P (S1 I T) P (T)を最大にする T=T2を探索することと等価である。 P (S I T)は翻訳 モデル、 P (T)は言語モデルである。そして最大値 P (T2 I SI)を訳文 Τ2の尤度とす る。同様に、第 2翻訳処理部 105は、ユーザ 2の言語からユーザ 1の言語へ変換する 統計翻訳処理で構成する。統計翻訳処理は、ユーザ 2の言語を S、ユーザ 1の言語 を Tとした場合、第 2発話情報 S2の訳文 T1を得ることは、 Sと Tの対訳言語データべ ースにおいて P (T I S2)が最大となる Τ=Τ1を計算することである。ベイズの定理に よれば、 P (S2 I T) P (T)を最大にする T=T1を探索することと等価である。 P (S I T )は翻訳モデル、 P (T)は言語モデルである。そして最大値 P (T1 I S2)を訳文 T1の 尤度とする。ただし、いずれの統計翻訳処理も出力時刻決定部 107が決定した出力 時刻 tを越えて処理を継続することはできない。処理の時間が出力時刻 tに到達した 時点で中断し、その時点で最適な訳文と訳文の尤度を出力する。

[0031] 第 1出力部 103は、音声合成処理と画像表示処理で構成し、第 1翻訳発話情報を ユーザ 2へ音声または文字画像として出力する。また、第 1出力部 103は閾値 U1を 持つ。閾値 U1は第 1翻訳処理部 102が流暢さと意味の明確さの評価値が所定値 80 %の訳文を生成する際の尤度の平均値で決定する。第 1翻訳処理部 102から出力さ れる尤度が閾値 U1よりも小さい場合は音声合成処理をせず、第 1翻訳発話情報を 構成する単語の中で自立語だけを強調表示する。また、第 2出力部 106は、音声合 成処理と画像表示処理で構成し、第 2翻訳発話情報をユーザ 1へ音声または文字画 像として出力する。また、第 2出力部 106は閾値 U2を持つ。閾値 U2は第 2翻訳処理 部 105が流暢さと意味の明確さの評価値が所定値 80%の訳文を生成する際の尤度の 平均値で決定する。第 2翻訳処理部 105から出力される尤度が閾値 U2よりも小さい 場合は音声合成処理をせず、第 2翻訳発話情報を構成する単語の中で自立語だけ を強調表示する。

[0032] 図 5は、本発明の対話支援装置の一実施の形態のユーザインタフェースを示す図 である。図 5に本発明を実装したノヽードウエアのユーザインタフェースを示す。左側の ユーザインタフェースをユーザ 1が、右側のユーザインタフェースをユーザ 2が使用す る。マイク 301と入力発話情報 302と入力開始ボタン 303は第 1入力部 101に相当し 、スピーカ 304と翻訳発話情報 311は第 2出力部 106に相当する。翻訳開始ボタン 3 06は第 1翻訳処理部 102の翻訳処理を開始するボタンである。同様に、マイク 307と 入力発話情報 308と入力開始ボタン 309は第 2入力部 104に相当し、スピーカ 310と 翻訳発話情報 305は第 1出力部 103に相当する。翻訳開始ボタン 312は第 2翻訳処 理部 105の翻訳処理を開始するボタンである。

[0033] 図 6は本発明の全体の動作を示すフローチャートである。ステップ S401では出力 時刻決定部 107が本装置を使い始める前に出力時刻 tを初期値 Tに設定する。ステ ップ S402ではユーザ 1またはユーザ 2の発話入力を待つ。発話入力が完了した段 階、すなわち、翻訳開始ボタン 306または翻訳開始ボタン 312が押された時点でステ ップ S403へ移る。ステップ S403では、最大 t秒の時間をかけて第 1翻訳処理部 102 または第 2翻訳処理部 105が翻訳処理を行って訳文を相手に出力する。同時に出力 時刻決定部 107では対話履歴格納部 201の内容を更新し、次の翻訳処理のための 出力時刻 tを計算する。そしてステップ S402へ戻る。

[0034] ステップ S403において、出力時刻 tの計算は具体的に以下のように計算される。

まず、図 7は、図 6に示したステップ S403での対話支援装置のより詳細な動作を示 すフローチャートである。第 1翻訳処理部 102又は第 2翻訳処理部 105は、内部にタ イマを備え、ユーザ 1又はユーザ 2によって翻訳開始ボタン 306または翻訳開始ボタ ン 312が押されると、内部のタイマを始動し、出力時刻決定部 107によって設定され た出力時刻 t (初期値 T)の計測を開始する（S601)。第 1入力部 101又は第 2入力部 104は、入力された第 1発話情報又は第 2発話情報で対話履歴格納部 201を更新 する（S602)。第 1翻訳処理部 102又は第 2翻訳処理部 105は、対訳言語データべ ース内で、入力された第 1発話情報又は第 2発話情報に対して最も尤度が高くなるよ うな対訳コーパスを探索する（S603)。第 1翻訳処理部 102又は第 2翻訳処理部 105 は、タイマを調べて、出力時刻決定部 107によって設定された出力時刻 t秒を経過し た力否かを判断し（S604)、経過していなければステップ S603に戻って、対訳言語 データベースの探索を継続する。ステップ S604において、出力時刻 t秒を経過した 場合、その時点で対訳コーパスの探索を中止し、その時点で求められている翻訳発 話情報を出力する (S605)。

[0035] 次 、で、対話履歴解析部 202は、特徴テーブル 205を参照して（S606)、対話履 歴格納部 201に格納されて ヽる発話情報の中に、特徴テーブル 205に記述されて いる特徴が含まれている力否かを解析する（S607)。発話情報の中に、特徴テープ ル 205に記述されている特徴が含まれている場合、対話履歴解析部 202はその特徴 に対応する係数 aを特徴テーブル 205から取得して時刻計算部 204に出力する。ま た、時刻計算部 204は、計算資源情報部 203のテーブルを参照して変動幅 Δ Τを算 出する（S608)。さらに、時刻計算部 204は、取得した係数 αと変動幅 Δ Τとから、次 の発話情報に対する対訳言語データベースの探索時間の上限に相当する出力時刻 t= (t+ a · Δ Τ)を算出し、次の翻訳処理のための新たな出力時刻 tを設定して処理 を終了する（S609)。また、ステップ S607において、発話情報の中に、特徴テープ ル 205に記述されて 、る特徴が含まれて 、な力つた場合、時刻計算部 204は何もし ないで処理を終了する。または、時刻計算部 204は、これに相当する処理として、係 数 α =0とし、次の翻訳処理のための新たな出力時刻 tを設定して処理を終了すると してもよい。これにより、次に、ステップ S403の処理が開始されるときには、第 1翻訳 処理部 102又は第 2翻訳処理部 105の内部のタイマは、このステップ S609で出力時 刻決定部 107によって設定された新たな出力時刻 tを計測し、第 1翻訳処理部 102 又は第 2翻訳処理部 105は、新たな出力時刻 tが経過するまで対訳言語データべ一 スを探索する。

[0036] なお、以上では、第 1翻訳処理部 102又は第 2翻訳処理部 105による対訳言語デ ータベースの探索終了後、出力時刻決定部 107が次の発話に対する探索時間を算 出すると説明したが、本発明はこれに限定されない。例えば、第 1入力部 101又は第 2入力部 104と、第 1翻訳処理部 102又は第 2翻訳処理部 105と、出力時刻決定部 1 07とは並行して処理を行なうとしてもよい。すなわち、対話履歴格納部 201の更新、 対訳言語データベースの探索及び次の発話に対する翻訳発話情報の出力時刻の 決定が並行処理されるとしてもよ!/、。

[0037] 図 8は、図 6に示したステップ S403で並行処理を行なう場合での対話支援装置の より詳細な動作の一例を示すフローチャートである。まず、第 1入力部 101又は第 2入 力部 104からユーザ 1又はユーザ 2による発話が入力され、翻訳開始ボタン 306また は翻訳開始ボタン 312が押されると、第 1翻訳処理部 102又は第 2翻訳処理部 105 は、内部のタイマを始動し、出力時刻決定部 107によって設定された出力時刻 tの計 測を開始する（S601)。そして、第 1翻訳処理部 102又は第 2翻訳処理部 105は、出 力時刻決定部 107によって設定された出力時刻 tが経過するまで、対訳言語データ ベースを探索する（S603〜S604)。出力時刻 tが経過すると、第 1翻訳処理部 102 又は第 2翻訳処理部 105は、対訳言語データベースの探索を中止し、その時点で求 められて 、る翻訳発話情報を出力する（S605)。

[0038] 以上のステップ S601、 S603、 S604、 S605の処理と並行して、第 1入力部 101又 は第 2入力部 104、対話履歴解析部 202、計算資源情報部 203及び時刻計算部 20 4は以下の処理を行なう。すなわち、第 1入力部 101又は第 2入力部 104は、入力さ れた発話に対応する第 1発話情報又は第 2発話情報を生成し、生成された第 1発話 情報又は第 2発話情報で対話履歴格納部 201を更新する（S602)。すなわち、入力 開始ボタン 303又は入力開始ボタン 309が押されて発話が入力されると、第 1入力部 101又は第 2入力部 104は、第 1翻訳処理部 102又は第 2翻訳処理部 105の動作と は関係なぐ第 1発話情報又は第 2発話情報を生成して、生成された第 1発話情報又 は第 2発話情報で対話履歴格納部 201を更新する。次いで、対話履歴解析部 202 は、特徴テーブル 205を参照して（S606)、更新された対話履歴格納部 201に格納 されて 、る発話情報の中に、特徴テーブル 205に記述されて 、る特徴がある力否か を解析する（S607)。発話情報の中に、特徴テーブル 205に記述されている特徴が ある場合、対話履歴解析部 202はその特徴に対応する係数 ocを特徴テーブル 205 から取得して時刻計算部 204に出力する。また、時刻計算部 204は、計算資源情報 部 203のテーブルを参照して変動幅 ΔΤを算出する（S608)。さらに、時刻計算部 2 04は、取得した係数 αと変動幅 Δ Τとから、次の発話情報に対する対訳言語データ ベースの探索時間の上限に相当する出力時刻 t= (t+ a · Δ Τ)を算出し、次の翻訳 処理のための新たな出力時刻 tを設定して処理を終了する（S609)。また、ステップ S 607において、発話情報の中に、特徴テーブル 205に記述されている特徴が含まれ ていな力つた場合、時刻計算部 204は何もしないで処理を終了する。または、時刻 計算部 204は、これに相当する処理として、係数 α =0とし、次の翻訳処理のための 新たな出力時刻 tを設定して処理を終了するとしてもよい。このように、並行処理を行 なうことにより、時刻計算部 204によって計算された出力時刻 tを、タイマ計測の開始 力 出力時刻 tが経過するまで、無駄なぐ対訳言語データベースの探索に使用する ことができる。また、並行処理を行なうことによって、対訳言語データベースの探索を 行っている間に、次の発話に対する出力時刻 tの計算を済ませておくことができるの で、ユーザ 1とユーザ 2とが間断なく発話した場合などにも、速やかに翻訳処理を開 始することができる。

[0039] 図 9に計算資源情報部 203の構成を示す。図 9は図 3に示した計算資源情報部 20 3が保持するテーブルのデータ構成の一例を示す図である。図 9における各パラメ一 タは、 Tは出力時刻 tの初期値、 Δ Τは出力時刻 tの変動幅、 minTは出力時刻 tの最 小値である。リファレンス値の行は、本装置が CPU性能 600MIPS(million instructio ns per second)の計算機に実装されるときの値であり、実際に実装される計算機の性 能 (装置のハードウェア性能）に応じて計算する必要がある。図 9の例では CPU性能 が現時点で 1200MIPSであるためにすベてのパラメータは 600Z1200倍、すなわ ち 0. 5倍に設定される。なお、 CPU性能は現在処理中のプロセスの数や優先度の 関係、利用可能な主記憶の量などによって一般に時々刻々変化するので現在の CP Uの平均的な負荷 (0〜： L00の値）に反比例するように計算することで、翻訳処理に 必要な時間を正確に設定することが可能になる。例えば本来の CPU性能に（1 負 荷 Z100)の値を乗じることで、本装置の CPU性能が 1200MIPSでも、負荷が 50% であれば CPU性能を 600MIPSとして適切に Tおよび Δ Τの値が設定される。

[0040] 図 10は、図 3に示した対話履歴解析部が保持する特徴テーブルのデータ構成の 一例を示す図である。次に、図 10に対話履歴解析部 202が参照する特徴テーブル 205のデータ構成を示す。ここでは、特徴の種類として、相互理解、表層表現の連続 性、及び話題転換の 3つについて分類している。

[0041] (1)話者の発話に含まれる特徴が相互理解である場合、対話相手との相互理解が 生じているため、次に発話される対話相手の翻訳発話情報が多少不明瞭でも、話者 には理解できると考えられる。

[0042] (2)次に、表層表現の連続性とは、ある表層表現の発話があつたときに、その表層 表現の一部が次の発話の中に含まれ易 、傾向がある力否かを示す性質を 、う。しか も、この場合、その表層表現の一部が、次の発話の中で重要な意味を持つ場合を特 に特徴テーブルに抽出している。話者にとって、自分が使った表層表現の一部が、 重要な意味を持って対話相手の発話の中に含まれる場合には、翻訳発話情報があ まり流暢でなくても、話者には理解できると考えられる。逆に、表層表現の一部が次 の発話の中に含まれない可能性が高ぐその表層表現が重要な意味を持つ場合に は、対話相手の発話に対して、より適切で流暢な翻訳発話情報が望まれる。

[0043] (3)さらに、話者の発話に含まれる特徴が話題転換である場合、それまでの対話と は関連のない別の発話がなされる可能性が高いので、はじめて会話を始めるときと同 程度の流暢さを持った翻訳発話情報が必要と考えられる。なお、ここでは、特徴の種 類として、相互理解、表層表現の連続性及び話題転換の 3種類について例を挙げた 力 これとは異なる特徴の種類、又は、もっと多くの特徴の種類について特徴テープ ル 205を作成しておいてもよいものとする。このような特徴の種類に対して、特徴テー ブル 205は主に言語 1の特徴、言語 2の特徴、係数 αの 3つの項目の組で構成され る。係数 αは翻訳処理を介して実験的に行った対話を分析することによって決定す る。すなわち、発話 Αに続く次の発話 Βが粗い訳であっても相手に意図が通じる場合 は発話 Aの特徴の係数 αは負の値、正確な訳でないと相手に意図が伝わらない場 合は発話 Αの特徴の係数 αは正の値が算出される。翻訳処理の粗さや正確さに応じ て係数 αの絶対値を変化させることで、より適切な出力時刻が決定できるが、ここで は説明を簡単にするために ± 1の値を使って説明する。対話履歴解析部 202は対話 履歴格納部 201に格納された対話の履歴の中カゝら特徴テーブル 205の中の特徴を 検出し、その特徴に応じた係数 αを出力する。ただし係数ひ力 Sresetの場合は、時刻 計算部 204は出力時刻 tを初期値 Tに戻すことを意味する。また、特徴が見当たらな い場合は OC =0として出力する。

[0044] 時刻計算部 204は計算資源情報部 203から各パラメータの値を獲得し、対話履歴 解析部 202が出力する係数 αを獲得して、出力時刻 tを計算する。 tの計算は現在の tの値を係数 αの方向に Δ tに比例した値で増減することによって行う。例えば最も簡 単な計算としては t^t+ α Δ Τとして計算する。ただし、出力時刻 tが tく minTとなつ た場合は t^minTとする。

[0045] 以下、本発明で異言語の対話を支援する場合の具体的な動作について詳細に説 明する。ユーザ 1の母国語は日本語、ユーザ 2の母国語は英語とする。

[0046] 図 11は、図 3に示した対話履歴格納部の内容とそれに応じて時刻計算部 204によ つて算出される探索時間の上限の初期値の一例を示すテーブルである。図 11に本 発明の動作を把握しやすいように、ユーザの発話 (第 1発話情報または第 2発話情報 )に従って更新される対話履歴格納部 201の内容を 701に、同発話が第 1翻訳処理 部 102または第 2翻訳処理部 105によって処理されて出力された訳文 (第 1翻訳発話 情報または第 2翻訳発話情報）と尤度を 702に、時刻計算部 204による出力時刻 tの 計算結果を 703に記す。本装置の使用開始直後は、ステップ S401において時刻計 算部 204は出力時刻 tを計算資源情報部 203の内容を参照して Tにセットする。本装 置の状態はステップ S402に移る。

[0047] 図 12は、最初にユーザ 1が発話した際の対話支援装置の翻訳発話情報の出力例 および表示例を示す図である。図 12に示す対話支援装置に、ユーザ 1が入力開始 ボタン 303を押して「こんにちは」を発話したとする。マイク 301を通じて第 1入力部 10 1が第 1発話情報として「こんにちは」を出力する。ユーザ 1が翻訳開始ボタン 306を 押すとステップ S403に移り、第 1翻訳処理部 102が最大 tの時間をかけて翻訳処理 を開始する。図 13は、図 12に示したユーザ 1の発話に対して更新された対話履歴格 納部の内容とそれに応じて時刻計算部によって算出される次の探索時間の上限 tの 例を示す図である。図 13の 902に示すように第 1翻訳処理部 102は、 "hello"と尤度 1 . 0を第 1翻訳発話情報として出力する。第 1出力部 103の閾値 U1 = 0. 6である場 合、この尤度が U1よりも大きいので、第 1翻訳発話情報" hello"は翻訳発話情報 305 にそのまま表示され、音声合成処理によってスピーカ 310から" hello"が再生される。 翻訳処理の開始と同時に対話履歴格納部 201は図 13に示す 901のように更新され 、対話履歴解析部 202は対話履歴の内容 901の特徴を解析するが、何も特徴がな いので、係数 α =0を出力する。時刻計算部 204が計算する出力時刻 tは変化しな いので、 903に示すように t=Tのままである。処理はステップ S402に移る。

[0048] 図 14は、ユーザ 1の発話に対して、ユーザ 2が発話した際の対話支援装置の翻訳 発話情報の出力例および表示例を示す図である。図 14に示した、ユーザ 1の翻訳発 話を聞いたユーザ 2が入力開始ボタン 309を押して〃 Which do you like, tea or coffee ？"を発話したとする。マイク 313を通じて第 2入力部 104が第 2発話情報として' 'which do you like tea or coffee"を出力する。ユーザ 2が翻訳開始ボタン 312を押すとステ ップ S403に移り、第 2翻訳処理部 105が最大 tの時間をかけて翻訳処理を開始する 。 1102に示すように第 2翻訳処理部 105は、「お茶とコーヒーどちらが好きです力」と 尤度 0. 9を第 2翻訳発話情報として出力する。第 2出力部 106の閾値 U2 = 0. 6であ る場合、この尤度が U2よりも大きいので、第 2翻訳発話情報「お茶とコーヒーどちらが 好きですか」は翻訳発話情報 311にそのまま表示され、音声合成処理によってスピ 一力 304から「お茶とコーヒーどちらが好きです力」が再生される。図 15は、図 14に示 したユーザ 2の発話に対して、さらに更新された対話履歴格納部の内容とそれに応じ て時刻計算部によって算出される次の探索時間の上限 tの例を示す図である。同時 に対話履歴格納部 201は図 15に示す 1101のように更新され、対話履歴解析部 20 2は対話履歴 1101の特徴を解析する。ユーザ 2の発話情報" which do you like tea o r coffee "には図 10の特徴の中で（表層表現の連続性， 1)が適合する。したがって、 その係数 α =—1を出力する。時刻計算部 204は出力時刻 tを t+ α Δ Τ=Τ— Δ Τ に設定する。処理はステップ S402に移る。

[0049] 図 16は、図 14に示したユーザ 2の発話に対して、ユーザ 1が発話した際の対話支 援装置の翻訳発話情報の出力例および表示例を示す図である。図 17は、図 16に示 したユーザ 1の発話に対して、さらに更新された対話履歴格納部の内容とそれに応じ て時刻計算部によって算出される次の探索時間の上限 tの例を示す図である。図 16 に、ユーザ 2の翻訳発話を聞いたユーザ 1が入力開始ボタン 303を押して「コーヒー 力 Sいいです」を発話した場合の例を示す。マイク 301を通じて第 1入力部 101が第 1 発話情報として「コーヒーが 、です」を出力する。ユーザ 1が翻訳開始ボタン 306を 押すとステップ S403に移り、第 1翻訳処理部 102が最大 t=T— Δ Τの時間をかけて 翻訳処理を開始する。 902に示すように第 1翻訳処理部 102は、 "coffee good would" と尤度 0. 5を第 1翻訳発話情報として出力する。第 1出力部 103の閾値 U1 = 0. 6で あるので、この尤度が U1よりも小さい。第 1翻訳発話情報" coffee good would"は、自 立語である "coffee"ど' good"とが翻訳発話情報 305に強調表示される。ただし、音声 合成処理は行わないので、スピーカ 310からは何も再生されない。翻訳処理の開始 と同時に対話履歴格納部 201は図 17に示す 1301のように更新され、対話履歴解析 部 202は対話履歴の内容 1301の特徴を解析するが、何も特徴がないので、係数 α =0を出力する。時刻計算部 204が計算する出力時刻 tは変化しないので、 1303に 示すように t=T— Δ Τのままである。処理はステップ S402に移る。

[0050] 本発明の効果は次のように現れている。すなわち、図 9の各パラメータの具体的な 数値で説明すれば、ユーザ 1の最初の発話とユーザ 2の 2番目の発話は 25秒で処理 されたが、ユーザ 1の 3番目の発話は 15秒で処理されている。したがって、 25秒を費 やしても正しい訳が得られるかどうかは不明であるが、 15秒を費やして対話を続行す るのに必要十分な訳文が得られているので、ユーザ 1とユーザ 2は速やかに対話を完 了することが可能である。また、対話を続行するのに必要十分な訳文でも、流暢さや 意味の明確さが不十分であるために、音声合成で読み上げると相手を混乱させるこ とがある。本発明では、訳文の尤度によって流暢さや意味の明確さが不十分である 場合は音声合成処理を停止し、訳文の表示において自立語を強調表示することで 相手の混乱を回避しながら、速やかに対話を続行することが可能になる。

[0051] 図 18は、本発明の対話支援装置による効果を、従来方式の対話支援装置と、対話 履歴及び探索時間の上限で対比した図である。ここで、本発明の効果をさらに定量 的に検証する。図 18に自動翻訳機能をそのまま対話支援に利用した従来の方式の 対話 1401と、本発明によって支援された対話 1402を示す。従来の方式の対話では 、各翻訳処理にかかる時間の上限は一定であるので、 8発話に対して 8Tの時間を要 する。図 9の各パラメータの値であれば、この 8発話の対話の翻訳処理に 3分 20秒が 必要とされ、なおユーザ 1はユーザ 2へ自分の意図を伝達できていない。しかしなが ら、本発明によって支援される対話では、対話の文脈に応じて翻訳処理の上限時間 を変化させるため、同様な 8発話に対して（8T— 2 ΔΤ)の時間を要するだけである。 すなわち、 3分でユーザ 1とユーザ 2は相互に意思を通じ合つている。したがって、現 実世界において速やかに対話を完了しなければならない状況では、本発明の効果 は有効である。なお、図 18 (a)に示した例では、（b)に示した従来の例と比べて、対 話時間が 2 ΔΤ短縮されているが、本発明の対話支援装置では、必ずしも対話時間 が短縮されるとは限らず、従来の対話支援装置と同程度の対話時間になることも起こ り得る。しかし、本発明の対話支援装置では、従来のように、いつも同じ時間で対訳 言語データベースを探索するのではなぐより正確さや流暢さを要求される発話の特 徴を発見した場合に限って探索に時間をかける。これにより、より対話の流れに即し た翻訳結果を得ることができ、その結果、対話に同じ時間が力かっても、対話相手と の意思の疎通を得る確率が高くなるという効果がある。

[0052] 本発明の効果をさらに別の観点力 検証する。図 19は、本発明の対話支援装置に よる平均翻訳処理時間と従来方式による平均翻訳処理時間との対比を示すグラフで ある。図 18で従来方式と本発明とを対話履歴及び探索時間の上限で対比したが、こ れを平均翻訳処理時間の観点で対話開始力 対話完了までプロットした図を図 19 に示している。ある時刻 tにおける平均翻訳処理時間は、時刻 tまでに費やされた翻 訳処理時間の合計を時刻 tまでの発話数で割った翻訳処理時間の平均値である。従 来方式では翻訳処理時間は一定であるため、平均翻訳処理時間も一定の値となる。 しかしながら、本発明においては、対話が進行して対話の履歴の蓄積量が増えると 共に、翻訳処理時間の平均値は減少する。したがって、意思疎通のレベルが同じレ ベルで対話が完了するとき、本発明の方が従来方式よりも対話に要する時間は少な くなるという効果がある。

[0053] 図 20は、本発明の対話支援装置の変形例の構成を示すブロック図である。図 21は 、本発明の対話支援装置の変形例のユーザインタフェースを示す図である。なお、 本発明のユーザインタフェースの一例を図 5に示した力 図 20に示すように図 2の構 成に通信部 1503〜1510をカ卩えることにより、図 2の構成を端末 1501と端末 1502 に分け、図 21に示すようなユーザインタフェースで実装してもよい。このような構成と することにより、ユーザ 1の端末 1501では、出力時刻を決定する処理を省略すること ができる。すなわち、ユーザ 1の端末 1501では、ユーザ 2の端末 1502から受信した 出力時刻に従って第 1翻訳処理部 102の翻訳処理を行なえばよい。具体的には、図 21に示すように、ユーザ 1の端末 1501では、あら力じめユーザ 2の端末 1502から出 力時刻を受信する。そして、ユーザ 1が入力開始ボタン 303を押して「こんにちは」を 入力し、続けて翻訳開始ボタン 306を押すと、第 1翻訳処理部 102は、端末 1502か ら受信した出力時刻までに、ユーザ 1の発話情報「こんにちは」を英語に翻訳する。 端末 1501では、第 1翻訳処理部 102の翻訳結果である翻訳発話情報と尤度とを、 通信部 1503から端末 1502の通信部 1504に送信し、端末 1502では受信した翻訳 発話情報「Hello.」をスピーカ 310で再生出力する。端末 1502では、端末 1501で入 力された発話「こんにちは」の発話情報を通信部 1507と通信部 1508とを介して受信 し、受信した発話情報「こんにちは」を解析して、次の発話に対する翻訳発話情報の 出力時刻を算出する。なお、ここでは端末 1501には出力時刻決定部を備えない構 成としたが、本発明はこれに限定されず、端末 1501も出力時刻決定部を備える端末 1502と同じ構成としてもよい。

[0054] 図 22は、本発明の対話支援装置の第 2の変形例の構成を示すブロック図である。

また、図 22に示すように、図 2の構成に通信部 1704〜1711をカ卩えることにより、第 1 翻訳処理部 102と第 2翻訳処理部 105と出力時刻決定部 107をサーバ 1703に実装 し、端末 1701と端末 1702を、それぞれ通信回線を経由してサーバ 1703に接続す るように実装してもよい。このようにすることにより、端末 1701及び端末 1702の構成 を簡単にすることができ、端末 1701及び端末 1702の小型化、軽量化及び省電力 化などを実現することができる。

[0055] なお、対話履歴解析部 202が対話履歴格納部 201の内容の中から特徴を見出す 際に、参照する発話情報の範囲を直前の n発話に拡張することで、さらに精密な翻訳 処理時間の制御が可能になる。例えば図 10の特徴テーブル 205の中の相互理解の 特徴を直前の 6発話の中に見出した分だけ係数 αを累積することで、ユーザ 1とユー ザ 2の相互理解の度合いがより正確に算出され、それに応じて出力時刻 tの値を計算 することで、より必要十分な翻訳処理時間の上限が決定される。

[0056] なお、計算資源情報部 203が保持する各パラメータの値を、入力された発話情報 の単語数で正規ィ匕することで、さらに精密な翻訳処理時間の制御が可能になる。例 えば、上記の例では Tと ΔΤの値を発話情報の平均的な単語数 Wに応じて計算する 力 入力された発話情報の単語数が WZ2であれば、すでに計算された tの値を 1Z 2に正規化した tZ2を翻訳処理時間の上限として翻訳処理の開始直前に設定するこ とでより必要十分な翻訳処理時間の上限が決定される。あるいは、入力された発話 情報の単語数が 2Wであれば、すでに計算された tを 2倍に正規化した 2tを翻訳処理 時間の上限として翻訳処理の開始直前に設定することでより必要十分な翻訳処理時 間の上限が決定される。なお、このような場合、本発明の効果を示す図 19のグラフは 、 tの値を正規化前の時間に戻して力もプロットして解釈すべきである。

[0057] なお、上記の実施の形態では翻訳処理時間の上限を時間 tで制限しているが、時 間 tに比例する他のパラメータを用いて間接的に翻訳処理時間の上限を制限しても 同様の効果となる。例えば、統計翻訳処理における訳文の探索の深さ dと翻訳処理 時間は比例関係であるので、平均的な探索の深さ Dと ΔΤに相当する探索の深さの 変動幅 を設定しておいて、上記の処理をそのまま Tと Dを記号的に置換して実施 することで同様の効果となる。探索の深さ以外にも、探索ステップ数や探索範囲の広 さなどの翻訳処理量を規定するパラメータで代用しても同様の効果となることは言うま でもない。

[0058] なお、一例として日本語と英語を取り上げたが、フランス語、ドイツ語、韓国語または 中国語など他の言語にっ 、ても同様に実施可能であり、本発明は言語に依存しな ヽ

[0059] (実施の形態 2)

上記実施の形態 1ではユーザ 1の母国語は日本語、ユーザ 2の母国語は英語とし て、本発明で異言語の対話を支援する場合の具体的な動作について詳細に説明し たが、以下の実施の形態 2では、ユーザ 1の母国語を中国語、ユーザ 2の母国語を英 語として両者の対話を支援する対話支援装置の例について説明する。実施の形態 2 の対話支援装置の構成は、各処理部の処理対象となる言語が異なるだけで、各処 理部での処理内容は図 2に示した内容と同様であるので、図示を省略する。実施の 形態 2の対話支援装置が実施の形態 1の対話支援装置と異なる点は、以下の通りで ある。

[0060] 第 1入力部 101は第 1の言語（中国語）によるユーザ 1 (第 1ユーザ)の発話を入力し て、ユーザ 1の発話を文字列とした第 1発話情報を出力する。第 1翻訳処理部 102は 第 1発話情報をユーザ 2 (第 2ユーザ)の第 2の言語 (英語)に翻訳して第 1翻訳発話 情報と第 1翻訳発話情報の尤度を出力する。

[0061] 図 23は、実施の形態 2の対話支援装置のユーザインタフェースを示す図である。図 23に本発明を実装したノヽードウエアのユーザインタフェースを示す。左側のユーザィ ンタフェースを中国語を話すユーザ 1が、右側のユーザインタフェースを英語を話す ユーザ 2が使用する。マイク 301と入力発話情報 302と入力開始ボタン 303は第 1入 力部 101に相当し、スピーカ 304と翻訳発話情報 311は第 2出力部 106に相当する 。翻訳開始ボタン 306は第 1翻訳処理部 102の翻訳処理を開始するボタンである。 同様に、マイク 307と入力発話情報 308と入力開始ボタン 309は第 2入力部 104に 相当し、スピーカ 310と翻訳発話情報 305は第 1出力部 103に相当する。翻訳開始 ボタン 312は第 2翻訳処理部 105の翻訳処理を開始するボタンである。

[0062] 図 24は、言語 1が中国語で、言語 2が英語である場合の特徴テーブルのデータ構 成の一例を示す図である。図 10ではユーザ 1の母国語が言語 1 (日本語)であり、ュ 一ザ 2の母国語が言語 2 (英語)である場合の特徴テーブルのデータ構成につ！、て 説明した。しかし、図 24では、ユーザ 1の母国語が言語 1 (中国語)である点が図 10 の特徴テーブルと異なる。

[0063] 図 25は、最初にユーザ 1が発話した際の対話支援装置の翻訳発話情報の出力例 および表示例を示す図である。図 25に示す対話支援装置に、ユーザ 1が入力開始 ボタン 303を押して

「你好」

を発話したとする。マイク 301を通じて第 1入力部 101が第 1発話情報として 「你好」 を出力する。ユーザ 1が翻訳開始ボタン 306を押すと、第 1翻訳処理部 102が最大 t の時間をかけて翻訳処理を開始する。図 26は、図 25に示したユーザ 1の発話に対し て更新された対話履歴格納部の内容とそれに応じて時刻計算部によって算出される 次の探索時間の上限 tの例を示す図である。図 26の 902に示すように第 1翻訳処理 部 102は、 "hell (/と尤度 1. 0を第 1翻訳発話情報として出力する。第 1出力部 103の 閾値 U1 = 0. 6である場合、この尤度が U1よりも大きいので、第 1翻訳発話情報 "hell 0"は翻訳発話情報 305にそのまま表示され、音声合成処理によってスピーカ 310か ら" hello"が再生される。翻訳処理の開始と同時に対話履歴格納部 201は図 26に示 す 901のように更新され、対話履歴解析部 202は対話履歴の内容 901の特徴を解 祈するが、何も特徴がないので、係数 α =0を出力する。時刻計算部 204が計算す る出力時刻 tは変化しないので、 903に示すように t=Tのままである。

図 27は、ユーザ 1の発話に対して、ユーザ 2が発話した際の対話支援装置の翻訳 発話情報の出力例および表示例を示す図である。図 27に示したユーザ 1の翻訳発 話を聞いたユーザ 2が入力開始ボタン 309を押して〃 Which do you like, tea or coffee ？"を発話したとする。マイク 313を通じて第 2入力部 104が第 2発話情報として' 'which do you like tea or coffee"を出力する。ユーザ 2が翻訳開始ボタン 312を押すと、第 2 翻訳処理部 105が最大 tの時間をかけて翻訳処理を開始する。 1102に示すように第 2翻訳処理部 105は、

「茶和咖啡喜欢哪个」

と尤度 0. 9を第 2翻訳発話情報として出力する。第 2出力部 106の閾値 U2 = 0. 6で ある場合、この尤度力 SU2よりも大きいので、第 2翻訳発話情報

「茶和咖啡喜欢哪个」

は翻訳発話情報 311にそのまま表示される。さらに、音声合成処理によってスピーカ 304力も

「茶和咖啡喜欢哪个」 が再生される。図 28は、図 27に示したユーザ 2の発話に対して、さらに更新された対 話履歴格納部の内容とそれに応じて時刻計算部によって算出される次の探索時間 の上限 tの例を示す図である。同時に対話履歴格納部 201は図 28に示す 1101のよ うに更新され、対話履歴解析部 202は対話履歴 1101の特徴を解析する。ユーザ 2 の発話情報〃 which do you like tea or coffee "には図 24の特徴の中で（表層表現の連 続性， 1)が適合する。したがって、その係数 α =—1を出力する。時刻計算部 204は 出力時刻 tを t+ α Δ Τ=Τ— Δ Τに設定する。

図 29は、図 27に示したユーザ 2の発話に対して、ユーザ 1が発話した際の対話支 援装置の翻訳発話情報の出力例および表示例を示す図である。また、図 30は、図 2 9に示したユーザ 1の発話に対して、さらに更新された対話履歴格納部の内容とそれ に応じて時刻計算部によって算出される次の探索時間の上限 tの例を示す図である 。図 29に、ユーザ 2の翻訳発話を聞いたユーザ 1が入力開始ボタン 303を押して

を発話した場合の例を示す。マイク 301を通じて第 1入力部 101が第 1発話情報とし て

を出力する。ユーザ 1が翻訳開始ボタン 306を押すと、第 1翻訳処理部 102が最大 t= T- Δ Τの時間をかけて翻訳処理を開始する。 902に示すように第 1翻訳処理部 102 は、 "coffee good would"と尤度 0. 5を第 1翻訳発話情報として出力する。第 1出力部 103の閾値 U1 = 0. 6であるので、この尤度が U1よりも小さい。従って、第 1翻訳発 話情報〃 coffee good would"のうち、自立語である〃 coffee"ど' good"とが翻訳発話情報 305に強調表示される。ただし、音声合成処理は行わないので、スピーカ 310からは 何も再生されな 、。翻訳処理の開始と同時に対話履歴格納部 201は図 30に示す 13 01のように更新され、対話履歴解析部 202は対話履歴の内容 1301の特徴を解析 するが、何も特徴がないので、係数 α =0を出力する。時刻計算部 204が計算する 出力時刻 tは変化しないので、 1303に示すように t=T— Δ Τのままとなる。 [0066] 本発明の効果は次のように現れている。すなわち、実施の形態 1と同様に、図 9の 各パラメータの具体的な数値で説明すれば、ユーザ 1の最初の発話とユーザ 2の 2番 目の発話は 25秒で翻訳処理された力 ユーザ 1の 3番目の発話は 15秒で処理され ている。したがって、ユーザ 1の 3番目の発話の翻訳処理に 25秒を費やしても正しい 訳が得られるかどうかは不明であるが、 15秒を費やして対話を続行するのに必要十 分な訳文が得られているので、ユーザ 1とユーザ 2は速やかに対話を完了することが 可能である。また、対話を続行するのに必要十分な訳文でも、流暢さや意味の明確さ が不十分であるために、音声合成で読み上げると相手を混乱させることがある。本発 明では、訳文の尤度によって流暢さや意味の明確さが不十分である場合は音声合 成処理を停止し、訳文の表示において自立語を強調表示することにより、相手の混 乱を回避しながら、速やかに対話を続行することが可能になる。

[0067] ここで、本発明の効果をさらに定量的に検証する。図 31は、本発明の対話支援装 置による効果と、従来方式の対話支援装置による効果とを、対話履歴及び探索時間 の上限で対比した図である。図 31に自動翻訳機能をそのまま対話支援に利用した 従来の方式の対話 1401と、本発明によって支援された対話 1402を示す。従来の方 式の対話では、各翻訳処理にかかる時間の上限は一定であるので、 8発話に対して 8Tの時間を要する。図 9の各パラメータの値であれば、この 8発話の対話の翻訳処 理に 3分 20秒が必要とされ、なおかつ、ユーザ 1はユーザ 2へ自分の意図を伝達でき ていない。し力しながら、本発明によって支援される対話では、対話の文脈に応じて 翻訳処理の上限時間を変化させるため、同様な 8発話に対して (8T— 2 ΔΤ)の時間 を要するだけである。すなわち、 3分でユーザ 1とユーザ 2は相互に意思を通じ合って いる。したがって、現実世界において速やかに対話を完了しなければならない状況 では、本発明の効果は有効である。なお、図 31 (a)に示した例では、 (b)に示した従 来の例と比べて、対話時間が 2 ΔΤ短縮されているが、本発明の対話支援装置では 、必ずしも対話時間が短縮されるとは限らず、従来の対話支援装置と同程度の対話 時間になることも起こり得る。しかし、本発明の対話支援装置では、従来のように、い つも同じ時間で対訳言語データベースを探索するのではなぐより正確さや流暢さを 要求される発話の特徴を発見した場合に限って探索に時間をかける。これにより、よ り対話の流れに即した翻訳結果を得ることができ、その結果、対話に同じ時間がかか つても、対話相手との意思の疎通を得る確率が高くなるという効果がある。

[0068] 本発明の効果をさらに別の観点力 検証する。図 31で従来方式と本発明とを対話 履歴及び探索時間の上限で対比したが、これを平均翻訳処理時間の観点で対話開 始カも対話完了までプロットした図を図 19に示している。ある時刻 tにおける平均翻 訳処理時間は、時刻ほでに費やされた翻訳処理時間の合計を時刻ほでの発話数 で割った翻訳処理時間の平均値である。従来方式では翻訳処理時間は一定である ため、平均翻訳処理時間も一定の値となる。し力しながら、本発明においては、対話 が進行して対話の履歴の蓄積量が増えると共に、翻訳処理時間の平均値は減少す る。したがって、意思疎通のレベルが同じレベルで対話が完了するとき、本発明の方 が従来方式よりも対話に要する時間は少なくなるという効果がある。

[0069] 図 32は、本発明の対話支援装置の変形例の構成を示すブロック図である。なお、 本実施の形態 2においても、図 2の構成に通信部 1503〜1510を加えることにより、 図 2の構成を端末 1501と端末 1502に分け、図 32に示すようなユーザインタフェース で実現してもよい。このユーザインタフェースの具体的な内部構成は図 21に示した 構成と同じである。

[0070] 図 33は、本発明の対話支援装置のハードウェア構成の一例を示すブロック図であ る。同図に示すように、本発明の対話支援装置 3200は、スピーカ 3201、マイク 320 2、外部メモリ 3203、表示部 3204、 ROM3205、 CPU (プロセッサ） 3206、 RAM3 207、通信部 3208、入力部 3209及びバス 3210を備える。

[0071] スピーカ 3201は、第 1出力部 103及び第 2出力部 106を実現し、翻訳された発話 を、合成音声で出力する。マイク 3202は、第 1入力部 101及び第 2入力部 104の一 部を実現し、ユーザ 1及びユーザ 2の音声の入力を受け付ける。外部メモリ 3203は、 ハードディスク、 DVD及び ICカードなどの大容量メモリであり、文法及び対訳コーパ スなどを格納して対訳言語データベースを実現する。また、外部メモリ 3203は、対話 支援装置 3200の起動後、 RAM3207にロードされて実行されるプログラムなどを格 納する。表示部 3204は、液晶ディスプレイなどであり、第 1発話情報及び第 2発話情 報などを表示する。 ROM3205は、不揮発性の読出し専用半導体メモリであり、対話 支援装置 3200の起動用プログラムなどを格納する。 CPU3206は、 ROM3205及 び RAM3207に格納されているプログラムを実行することにより、図 2、図 3、図 4、図 20及び図 22のブロック図に示した対話支援装置内の各処理部を実現する。 RAM3 207は、揮発性の読み書き可能な半導体メモリであり、対話支援装置 3200の起動後 、ロードされたプログラムを CPU3206に供給するとともに、 CPU3206の処理途中の データを保持することによって作業領域を提供する。通信部 3208は、図 20及び図 2 2に示した通信部 1503〜1510及び通信部 1704〜 1711を実現し、赤外線通信及 び近距離無線通信などによりデータの送受信を行う。入力部 3209は、入力開始ボタ ン 303、 309及び翻訳開始ボタン 306、 312などの操作ボタンであり、ユーザの操作 入力を受け付ける。バス 3210は、対話支援装置 3200内のパラレルデータ転送路で あり、各処理部間のデータ転送を行う。

[0072] なお、ブロック図（図 2—図 4、図 20及び図 22など）の各機能ブロックは典型的には 集積回路である LSIとして実現される。これらは個別に 1チップ化されても良いし、一 部又は全てを含むように 1チップ化されても良 、。

[0073] 例えばメモリ以外の機能ブロックが 1チップ化されていても良い。

[0074] ここでは、 LSIとした力 集積度の違いにより、 IC、システム LSI、スーパー LSI、ウル 卜ラ LSIと呼称されることちある。

[0075] また、集積回路化の手法は LSIに限るものではなぐ専用回路又は汎用プロセサで 実現してもよい。 LSI製造後に、プログラムすることが可能な FPGA (Field Programma ble Gate Array)や、 LSI内部の回路セルの接続や設定を再構成可能なリコンフィギ ユラブル'プロセッサーを利用しても良い。

[0076] さらには、半導体技術の進歩又は派生する別技術により LSIに置き換わる集積回路 化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積ィ匕を行っても よい。バイオ技術の適応等が可能性としてありえる。

[0077] また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手 段だけ 1チップィ匕せずに別構成としても良い。

産業上の利用可能性

[0078] 本発明にかかる対話支援装置は、対話参加者の発話を速やかに完了させる機能 を有し、携帯電話や携帯端末等の翻訳アプリケーションソフトウェア等として有用であ る。また公共の街頭端末や案内端末等の用途にも応用できる。

Claims

請求の範囲

[1] 異なる言語の対話を支援する対話支援装置であって、

ユーザの発話を入力として受け付ける入力部と、

受け付けられた前記発話を所定の言語に翻訳し、翻訳して得られる翻訳発話情報 を出力する翻訳処理部と、

出力された前記翻訳発話情報をユーザに伝達出力する出力部と、

前記ユーザの発話に含まれる特徴を解析して、次に受け付けられる発話を翻訳す るための翻訳時間を決定する出力時刻決定部と

を備えることを特徴とする対話支援装置。

[2] 前記入力部は、第 1の言語による第 1ユーザの発話を入力として受け付ける第 1入 力部と、第 2の言語による第 2ユーザの発話を入力として受け付ける第 2入力部とを 備え、

前記翻訳処理部は、前記第 1ユーザの発話を第 2の言語に翻訳し、翻訳して得ら れる第 1翻訳発話情報を出力する第 1翻訳処理部と、前記第 2ユーザの発話を前記 第 1の言語に翻訳し、翻訳して得られる第 2翻訳発話情報を出力する第 2翻訳処理 部とを備え、

前記出力部は、出力された前記第 1翻訳発話情報を第 2ユーザへ伝達出力する第 1出力部と、出力された前記第 2翻訳発話情報を第 1ユーザへ伝達出力する第 2出 力部とを備え、

前記出力時刻決定部は、前記第 1ユーザの発話又は前記第 2ユーザの発話に含 まれる特徴を解析して、前記第 1ユーザの発話又は前記第 2ユーザの発話の次に受 け付けられる発話を前記第 1翻訳処理部又は前記第 2翻訳処理部が翻訳する翻訳 時間の上限を示す出力時刻を決定し、

前記第 1翻訳処理部又は前記第 2翻訳処理部は、前記出力時刻までに得られた翻 訳結果である前記第 1翻訳発話情報又は前記第 2翻訳発話情報を出力する ことを特徴とする請求項 1記載の対話支援装置。

[3] 前記翻訳処理部は統計機械翻訳方式によって翻訳処理を行なう

ことを特徴とする請求項 2記載の対話支援装置。 [4] 前記出力時刻決定部は、前記第 1ユーザの発話を文字列とした第 1発話情報と、 前記第 2ユーザの発話を文字列とした第 2発話情報との履歴を、発話の順に保持し、 前記履歴に含まれる先の第 1発話情報又は第 2発話情報の特徴を参照して、次に保 持される第 1発話情報又は第 2発話情報の前記出力時刻を決定する

ことを特徴とする請求項 2記載の対話支援装置。

[5] 前記出力時刻決定部が前記出力時刻を決定する根拠となる前記特徴の種類は、 相互理解であり、前記解析の結果、受け付けられた前記発話に相互理解の特徴が 含まれている場合、前記翻訳時間がより短くなるよう、前記出力時刻を決定する ことを特徴とする請求項 2記載の対話支援装置。

[6] 前記出力時刻決定部が前記出力時刻を決定する根拠となる前記特徴の種類は、 表層表現の連続性であり、前記解析の結果、受け付けられた前記発話に表層表現 の連続性を示す特徴が含まれている場合、前記翻訳時間がより短くなるよう前記出 力時刻を決定し、前記発話に表層表現の不連続性を示す特徴が含まれている場合 、前記翻訳時間がより長くなるよう前記出力時刻を決定する

ことを特徴とする請求項 2記載の対話支援装置。

[7] 前記出力時刻決定部が前記出力時刻を決定する根拠となる前記特徴の種類は、 話題転換であり、前記解析の結果、受け付けられた前記発話に話題転換の特徴が 含まれている場合、前記翻訳時間が標準的な長さになるよう、前記出力時刻を初期 値に決定する

ことを特徴とする請求項 2記載の対話支援装置。

[8] 前記対話支援装置は、さらに、前記対話支援装置の計算資源に関する情報を提 供する計算資源情報部を備え、

前記出力時刻決定部は、計算資源に関する前記情報を参照して、前記第 1翻訳発 話情報又は前記第 2翻訳発話情報の出力時刻を決定する

ことを特徴とする請求項 2記載の対話支援装置。

[9] 前記第 1出力部及び前記第 2出力部の少なくとも一方は、

第 1翻訳発話情報及び Z又は第 2翻訳発話情報を合成音声で再生する音声合成 部と、 第 1翻訳発話情報及び Z又は第 2翻訳発話情報を表示出力する文字画像表示部 と

を備えることを特徴とする請求項 2記載の対話支援装置。

[10] 前記音声合成部は、前記第 1翻訳発話情報及び Z又は前記第 2翻訳発話情報の 尤度が一定の閾値よりも低 、場合は動作しな ヽ

ことを特徴とする請求項 9記載の対話支援装置。

[11] 前記文字画像表示部は、前記第 1翻訳発話情報及び Z又は前記第 2翻訳発話情 報の尤度が一定の閾値よりも低い場合は、前記第 1翻訳発話情報及び Z又は前記 第 2翻訳発話情報に含まれる自立語だけを強調表示する

ことを特徴とする請求項 9記載の対話支援装置。

[12] 通信網を介して互いに通信を行なうユーザごとの対話支援装置により、異なる言語 の対話を支援する対話支援システムであって、

第 1の対話支援装置は、

第 1の言語による第 1ユーザの発話を入力として受け付ける第 1入力部と、 受け付けられた前記第 1ユーザの発話を所定の言語に翻訳し、翻訳して得られる 第 1翻訳発話情報を出力する第 1翻訳処理部と、

出力された前記第 1翻訳発話情報を、第 2の対話支援装置へ送信する第 1送信部 と、

前記第 1ユーザの発話に含まれる特徴を解析して、前記第 1ユーザの発話の次に 受け付けられる発話を翻訳する翻訳時間の上限を示す出力時刻を決定する第 1出 力時刻決定部と、

決定された前記出力時刻を前記第 2の対話支援装置へ送信する第 1出力時刻送 信部とを備え、

前記第 2の対話支援装置は、

前記第 1の対話支援装置から前記第 1翻訳発話情報を受信し、第 2ユーザに伝達 する第 2受信部と、

前記第 1の対話支援装置で決定された前記出力時刻を前記第 1の対話支援装置 から受信する第 2出力時刻受信部と、 前記所定の言語による第 2ユーザの発話を入力として受け付ける第 2入力部と、 受け付けられた前記第 2ユーザの発話を前記第 1の言語に翻訳し、翻訳して得られ る第 2翻訳発話情報を出力する第 2翻訳処理部と、

出力された前記第 2翻訳発話情報を、前記第 1の対話支援装置へ送信する第 2送 信部とを備え、

前記第 2翻訳処理部は、受信された前記出力時刻までに得られた翻訳結果である 前記第 2翻訳発話情報を出力する

ことを特徴とする対話支援システム。

通信網を介してサーバに接続される第 1の対話支援装置および第 2の対話支援装 置を用いて、対話を支援する対話支援システムであって、

前記第 1の対話支援装置は、

第 1の言語で話された第 1ユーザの発話を入力として受け付ける第 1入力部と、 受け付けられた前記第 1ユーザの発話を、前記サーバへ送信する第 1送信部と、 前記第 1ユーザの発話に対する第 2ユーザの発話を前記第 1の言語に翻訳した翻 訳結果である第 2翻訳発話情報を、前記サーバから受信する第 2受信部と、 受信された前記第 2翻訳発話情報を、前記第 1ユーザに伝達する第 1出力部とを備 え、

前記第 2の対話支援装置は、

第 2の言語で話された第 2ユーザの発話を入力として受け付ける第 2入力部と、 受け付けられた前記第 2ユーザの発話を、前記サーバへ送信する第 2送信部と、 前記第 2ユーザの発話に対する前記第 1ユーザの発話を前記第 2の言語に翻訳し た翻訳結果である第 1翻訳発話情報を、前記サーバから受信する第 1受信部と、 受信された前記第 1翻訳発話情報を、前記第 2ユーザに伝達する第 2出力部とを備 え、

前記サーバは、

前記第 1の対話支援装置から前記第 1ユーザの発話を受信する第 1発話受信部と 受信された前記第 1ユーザの発話を前記第 2の言語に翻訳し、翻訳して得られる第 1翻訳発話情報を出力する第 1翻訳処理部と、

出力された第 1翻訳発話情報を、前記第 2の対話支援装置へ送信する第 1送信部 と、

前記第 2の対話支援装置から前記第 2ユーザの発話を受信する第 2発話受信部と 受信された前記第 2ユーザの発話を前記第 1の言語に翻訳し、翻訳して得られる第 2翻訳発話情報を出力する第 2翻訳処理部と、

出力された第 2翻訳発話情報を、前記第 1の対話支援装置へ送信する第 2送信部 と、

受信された前記第 1ユーザの発話又は前記第 2ユーザの発話に含まれる特徴を解 祈して、前記発話の次に受信される発話を翻訳する前記第 1翻訳処理部又は前記 第 2翻訳処理部の翻訳時間の上限を示す出力時刻を決定する出力時刻決定部とを 備え、

前記第 1翻訳処理部又は前記第 2翻訳処理部は、決定された前記出力時刻までに 、得られた翻訳結果である前記第 1翻訳発話情報又は前記第 2翻訳発話情報を出 力する

ことを特徴とする対話支援システム。

[14] 異なる言語の対話を支援する対話支援方法であって、

ユーザの発話を入力として受け付ける入力ステップと、

受け付けられた前記発話を所定の言語に翻訳し、翻訳して得られる翻訳発話情報 を出力する翻訳処理ステップと、

出力された前記翻訳発話情報をユーザに伝達出力する出力ステップと、 前記ユーザの発話に含まれる特徴を解析して、次に受け付けられる発話を翻訳す るための翻訳時間を決定する出力時刻決定ステップと

を含むことを特徴とする対話支援方法。

[15] 異なる言語の対話を支援する対話支援装置のためのプログラムであって、コンビュ ータに

ユーザの発話を入力として受け付ける入力ステップと、受け付けられた前記発話を 所定の言語に翻訳し、翻訳して得られる翻訳発話情報を出力する翻訳処理ステップ と、出力された前記翻訳発話情報をユーザに伝達出力する出力ステップと、前記ュ 一ザの発話に含まれる特徴を解析して、次に受け付けられる発話を翻訳するための 翻訳時間を決定する出力時刻決定ステップとを実行させるプログラム。

[16] 異なる言語の 2者間の対話を支援する対話支援装置であって、

前記 2者間の対話の履歴に応じて、同じ発話に対する翻訳時間が変化する ことを特徴とする対話支援装置。

[17] 異なる言語の 2者間の対話を支援する対話支援装置であって、

ユーザの発話を受け付ける受付部と、

前記受付部が受け付けた発話を所定の言語に翻訳し、翻訳して得られる翻訳発話 情報を出力する翻訳処理部を備え、

前記翻訳処理部は、前記 2者間の対話の履歴を格納した対話履歴格納部から取 得した、前記 2者間の対話の履歴に応じて、前記受付部が受け付けた同じは発話に 対する翻訳時間を変化させる

ことを特徴とする対話支援装置。

[18] 前記翻訳処理部は、上記対話の履歴の蓄積量が増えると、翻訳処理時間の平均 値が減少する

ことを特徴とする請求項 17記載の対話支援装置。

[19] 異なる言語の対話を支援する対話支援装置であって、

ユーザの発話を入力として受け付ける入力部と、

受け付けられた前記発話を所定の言語に翻訳し、翻訳して得られる翻訳発話情報 を出力する翻訳処理ステップと、前記ユーザの発話に含まれる特徴を解析して、次 に受け付けられる発話を翻訳するための翻訳時間を決定する出力時刻決定ステップ とを含むプログラムが格納されて 、る記憶手段と、

前記記憶手段に記憶されたプログラムを実行するプロセッサと、

前記プロセッサにより出力された前記翻訳発話情報をユーザに伝達出力する出力 部と

を備えることを特徴とする対話支援装置。