JP4041158B2 - 対話支援装置 - Google Patents

Description

本発明は人と人との対話を支援する対話支援システムに関するものである。

一般の人々が海外旅行などで現地の人々と対話をする際に、その異言語対話を支援することを目的として自動翻訳技術が開発されてきた。自動翻訳技術では、統計機械翻訳方式や構文トランスファ方式などがよく知られている。構文トランスファ方式は、自動翻訳装置の内部に辞書及び文法などをデータベースとして持っておき、入力される文章を、辞書や文法を使って解析する。そしてその意味を理解した上で別の言語に変換するという方式である。

これに対し、統計機械翻訳方式は、あらかじめ、ある言語と変換対象となる言語のペア（「対訳コーパス」と呼ばれる）を大量に保持しておく。これをユーザが利用するうちに、ある単語がどの単語に変換されやすいとか、あるフレーズが別の言語のフレーズに対応しやすいといった変換傾向、あるいは統計的性質が顕著に現れるようになる。統計機械翻訳方式は、このように、文法とは関係なく、単語やフレーズの変換傾向や統計的性質に基づいて言語の変換を行なう方式である。

このような自動翻訳技術のうち、構文トランスファ方式は、辞書及び文法などのメンテナンスが面倒であるというデメリットがある。例えば、未知の文が出てきたときに、その文及び単語を人が解析して辞書に追加していかないと新しい文に対応することができない。これに対し、統計機械翻訳方式は、単にその文に対応する対訳コーパスを増やすだけでよいというメリットがある。すなわち、統計機械翻訳方式は構文トランスファ方式や中間言語方式などの自動翻訳技術と異なり、人手で言語データを解析して追加情報を付加する必要がほとんどなく、対訳コーパスを追加するだけで翻訳性能の向上が期待できる。一方、統計機械翻訳方式では、ある確率の式に従って、その確率の値が最大になるような系列を対訳コーパスの中から探していくことにより、最適な変換を行なう。この処理は、非常に処理負荷が高く、対訳を見つけるまでに時間がかかってしまうというデメリットもある。最近ではＣＰＵの高速化と主記憶の大容量化により、大量の対訳コーパスに基づく統計機械翻訳方式の開発が盛んに行われている。現在のところ言語モデルや翻訳モデルの最適化、デコーディング（翻訳処理）の高精度化、翻訳品質の自動評価に研究開発の重点が置かれている（例えば特許文献１、非特許文献１参照）。
特開２００４−１０２９４６号公報 Y. Akiba, M. Federico, N.Kando, H.Nakaiwa, M.Paul, J.Tsuiji:"Overview of the IWSLT04 Evaluation Campaign", International Workshop on Spoken Language Translation(INTERSPEECH2004-ICSLPSatellite Workshop), 2004

このような自動翻訳技術を利用して対話を行う場合、言語の異なる２人のユーザは交互に対話支援装置の自動翻訳機能を利用して対話を行う。図１は、従来の統計翻訳方式の対話支援装置において、文を構成する単語数に応じてデコーディングに要する平均処理時間の一例を示す表である。図１は特許文献１からの抜粋であるが、日常会話によく出現する１７２，４８１文の対訳コーパスを用いた統計翻訳方式のデコーディングの平均処理時間を示している。この例ではデコーディングの平均処理時間は、最新の計算機を使った場合でも日英で４７秒以上、英日で５２秒以上必要である。すなわち、相手に一言話しかけてから一言の返事を相手から獲得するまでに１分３９秒以上必要ということになる。一般にデコーディング処理は対訳コーパスの量と入力文の単語数に比例するので、それ以上の時間が必要になることも多い。したがって、特に、統計翻訳方式では、ユーザがデコーディング処理を待つ時間が長いために、対話支援装置が実用に耐えないという問題がある。

また、特に、統計翻訳方式では、非特許文献１の３．３節に示されているように、翻訳品質の自動評価結果と人による主観評価の結果を比較した実験では、同じ訳文に対して評価値間に相関が見られない場合があり、逆に負の相関となる場合もあった。すなわち、デコーディング処理に一定の時間を費やすことは必要であるが、過剰な時間を費やすことは相手を待たせるだけで、より良い翻訳品質に結びつくとは限らないという問題がある。

本発明では、翻訳処理を開始する前に相手を待たせる時間すなわち訳文の出力時刻を決定し、対話を継続するのに必要十分な品質の訳文を相手に速やかに伝達することで、異言語の対話を速やかに完了させる対話支援装置を提供することを目的とする。

従来の課題を解決するために、本発明の対話支援装置は、異なる言語の対話を支援する対話支援装置であって、ユーザの発話を入力として受け付ける入力部と、受け付けられた前記発話を所定の言語に翻訳し、翻訳して得られる翻訳発話情報を出力する翻訳処理部と、出力された前記翻訳発話情報をユーザに伝達出力する出力部と、前記ユーザの発話に含まれる特徴を解析して、次に受け付けられる発話を翻訳するための翻訳時間を決定する出力時刻決定部とを備えることを特徴とする。

なお、本発明は、このような対話支援装置として実現することができるだけでなく、このような対話支援装置が備える特徴的な構成部をステップとする対話支援方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

翻訳処理部が翻訳処理を開始する前に、出力時刻決定部によって、相互理解を得るために必要十分な訳文を得るための処理時間が設定されるため、自動翻訳機能によって支援される異言語の対話が速やかに完了する。また、場合によっては、翻訳処理のために従来よりも長い処理時間が設定されることも起こりうるが、この場合には、より尤度の高い訳文を得ることによって、相手の理解度を高めることができ、その結果として相互理解に達するまでの時間が短縮されるという効果がある。

本発明の対話支援装置は、異なる言語の対話を支援する対話支援装置であって、ユーザの発話を入力として受け付ける入力部と、受け付けられた前記発話を所定の言語に翻訳し、翻訳して得られる翻訳発話情報を出力する翻訳処理部と、出力された前記翻訳発話情報をユーザに伝達出力する出力部と、前記ユーザの発話に含まれる特徴を解析して、次に受け付けられる発話を翻訳するための翻訳時間を決定する出力時刻決定部とを備えることを特徴とする。これにより、対話支援装置は、ユーザの発話に含まれる特徴を解析して、次に受け付けられる発話を翻訳するための翻訳時間を決定することができる。すなわち、ある発話に含まれる特徴が、次の発話に対する翻訳があまり流暢でなくても意味が通じることを示している場合には、次の発話に対する翻訳時間を短くすることができる。また、ある発話に含まれる特徴が、次の発話に対する翻訳が流暢でなくては意味が通じないことを示している場合には、次の発話に対する翻訳時間を長くすることができる。

また、本発明の前記入力部は、第１の言語による第１ユーザの発話を入力として受け付ける第１入力部と、第２の言語による第２ユーザの発話を入力として受け付ける第２入力部とを備え、前記翻訳処理部は、前記第１ユーザの発話を第２の言語に翻訳し、翻訳して得られる第１翻訳発話情報を出力する第１翻訳処理部と、前記第２ユーザの発話を前記第１の言語に翻訳し、翻訳して得られる第２翻訳発話情報を出力する第２翻訳処理部とを備え、前記出力部は、出力された前記第１翻訳発話情報を第２ユーザへ伝達出力する第１出力部と、出力された前記第２翻訳発話情報を第１ユーザへ伝達出力する第２出力部とを備え、前記出力時刻決定部は、前記第１ユーザの発話又は前記第２ユーザの発話に含まれる特徴を解析して、前記第１ユーザの発話又は前記第２ユーザの発話の次に受け付けられる発話を前記第１翻訳処理部又は前記第２翻訳処理部が翻訳する翻訳時間の上限を示す出力時刻を決定し、前記第１翻訳処理部又は前記第２翻訳処理部は、前記出力時刻までに得られた翻訳結果である前記第１翻訳発話情報又は前記第２翻訳発話情報を出力するとしてもよい。これにより、対話支援装置は、第１ユーザの発話又は前記第２ユーザの発話の内容に応じて、次の発話に対する翻訳時間の上限を示す出力時刻を決定し、その出力時刻までに得られた翻訳結果を出力することができる。

ここで、前記翻訳処理部は統計機械翻訳方式によって翻訳処理を行なうとしてもよい。統計機械翻訳方式は、特に、一定以上の翻訳時間をかけなければ、あまり適切な対訳を得ることができないが、ある程度以上の翻訳時間をかけても翻訳時間に比例してよい対訳を得られるとは限らないという性質がある。従って、本発明の対話支援装置によれば、前記第１翻訳処理部又は前記第２翻訳処理部が、前記出力時刻までに得られた翻訳結果を出力する場合であっても、出力時刻決定部が一定範囲内の出力時刻を決定するようにしておけば、一定レベル以上の翻訳結果を得ることができるという効果がある。

さらに、本発明の前記出力時刻決定部は、前記第１ユーザの発話を文字列とした第１発話情報と、前記第２ユーザの発話を文字列とした第２発話情報との履歴を、発話の順に保持し、前記履歴に含まれる先の第１発話情報又は第２発話情報の特徴を参照して、次に保持される第１発話情報又は第２発話情報の前記出力時刻を決定するとしてもよい。従って、本発明の対話支援装置によれば、第１発話情報又は第２発話情報を、発話の順に保持した履歴に基づいて前記出力時刻を決定することができる。

また、本発明の前記出力時刻決定部が前記出力時刻を決定する根拠となる前記特徴の種類は、相互理解であり、前記解析の結果、受け付けられた前記発話に相互理解の特徴が含まれている場合、前記翻訳時間がより短くなるよう、前記出力時刻を決定するとしてもよい。ここで、前記発話に相互理解の特徴が含まれている場合には、対話内容に対するユーザ間の理解が深まっていることが示される。従って、翻訳結果がそれほど流暢でなくても、意思の疎通を得ることができると考えられる。このため、本発明の対話支援装置によれば、前記発話に相互理解の特徴が含まれている場合には、より短い時間で翻訳結果を出力することができ、対話をスムーズに進めることができる。

さらに、本発明の前記出力時刻決定部が前記出力時刻を決定する根拠となる前記特徴の種類は、表層表現の連続性であり、前記解析の結果、受け付けられた前記発話に表層表現の連続性を示す特徴が含まれている場合、前記翻訳時間がより短くなるよう前記出力時刻を決定し、前記発話に表層表現の不連続性を示す特徴が含まれている場合、前記翻訳時間がより長くなるよう前記出力時刻を決定するとしてもよい。ここで、前記発話に表層表現の連続性を示す特徴が含まれている場合には、次の発話の中に連続して、前記発話で使われた表層表現の一部が含まれる可能性が高く、その表層表現が得られれば、次の発話全体に対する翻訳結果がそれほど流暢でなくても、意思の疎通を得ることができると考えられる。このため、本発明の対話支援装置によれば、前記発話に表層表現の連続性を示す特徴が含まれている場合には、より短い時間で翻訳結果を出力することができ、対話をスムーズに進めることができる。また、逆に、前記発話に表層表現の不連続性を示す特徴が含まれている場合、次の発話の中に、前記発話で使われた表層表現の一部が含まれる可能性が低く、その表層表現が重要であることが多い。このため、本発明の対話支援装置によれば、前記発話に表層表現の不連続性を示す特徴が含まれている場合、より尤もらしい流暢な翻訳結果を出力し、意思の疎通を図ることができる。

また、本発明の前記出力時刻決定部が前記出力時刻を決定する根拠となる前記特徴の種類は、話題転換であり、前記解析の結果、受け付けられた前記発話に話題転換の特徴が含まれている場合、前記翻訳時間が標準的な長さになるよう、前記出力時刻を初期値に決定するとしてもよい。ここで、前記発話に話題転換の特徴が含まれている場合、その発話の前後で、対話の内容に関連性がなくなると考えられる。このため、本発明の対話支援装置によれば、前記発話に話題転換の特徴が含まれている場合、標準的な翻訳時間で得られる翻訳結果を出力することができる。

本発明の前記対話支援装置は、さらに、前記対話支援装置の計算資源に関する情報を提供する計算資源情報部を備え、前記出力時刻決定部は、計算資源に関する前記情報を参照して、前記第１翻訳発話情報又は前記第２翻訳発話情報の出力時刻を決定するとしてもよい。これにより、本発明の対話支援装置は、対話支援装置の計算資源の状態を考慮した出力時刻を決定することができる。

また、本発明の前記第１出力部及び前記第２出力部の少なくとも一方は、第１翻訳発話情報及び／又は第２翻訳発話情報を合成音声で再生する音声合成部と、第１翻訳発話情報及び／又は第２翻訳発話情報を表示出力する文字画像表示部とを備えるとしてもよい。これにより、本発明の対話支援装置は、第１翻訳発話情報及び／又は第２翻訳発話情報を、合成音声と文字画像表示とで第１ユーザ及び／又は第２ユーザに知らせることができる。従って、第１ユーザ及び／又は第２ユーザは、第１翻訳発話情報及び／又は第２翻訳発話情報を、合成音声だけでは聞き取りにくい場合であっても、文字画像表示部の表示出力を確認することにより、より正確に理解することができる。

また、本発明の前記音声合成部は、前記第１翻訳発話情報及び／又は前記第２翻訳発話情報の尤度が一定の閾値よりも低い場合は動作しないとしてもよい。これにより、本発明の対話支援装置は、尤度が一定の閾値よりも低い前記第１翻訳発話情報及び／又は前記第２翻訳発話情報を合成音声で聞き取ることによる、聞き取り間違いや発話内容の誤解を未然に防止することができる。

さらに、本発明の前記文字画像表示部は、前記第１翻訳発話情報及び／又は前記第２翻訳発話情報の尤度が一定の閾値よりも低い場合は、前記第１翻訳発話情報及び／又は前記第２翻訳発話情報に含まれる自立語だけを強調表示するとしてもよい。従って、本発明の対話支援装置によれば、尤度が一定の閾値よりも低い場合は、自立語だけを強調表示することにより、自立語以外の尤度の低い部分から翻訳内容の誤解を招くことを防止することができる。

また、本発明の対話支援システムは、通信網を介して互いに通信を行なうユーザごとの対話支援装置により、異なる言語の対話を支援する対話支援システムであって、第１の対話支援装置は、第１の言語による第１ユーザの発話を入力として受け付ける第１入力部と、受け付けられた前記第１ユーザの発話を所定の言語に翻訳し、翻訳して得られる第１翻訳発話情報を出力する第１翻訳処理部と、出力された前記第１翻訳発話情報を、第２の対話支援装置へ送信する第１送信部と、前記第１ユーザの発話に含まれる特徴を解析して、前記第１ユーザの発話の次に受け付けられる発話を翻訳する翻訳時間の上限を示す出力時刻を決定する第１出力時刻決定部と、決定された前記出力時刻を前記第２の対話支援装置へ送信する第１出力時刻送信部とを備え、前記第２の対話支援装置は、前記第１の対話支援装置から前記第１翻訳発話情報を受信し、第２ユーザに伝達する第２受信部と、前記第１の対話支援装置で決定された前記出力時刻を前記第１の対話支援装置から受信する第２出力時刻受信部と、前記所定の言語による第２ユーザの発話を入力として受け付ける第２入力部と、受け付けられた前記第２ユーザの発話を前記第１の言語に翻訳し、翻訳して得られる第２翻訳発話情報を出力する第２翻訳処理部と、出力された前記第２翻訳発話情報を、前記第１の対話支援装置へ送信する第２送信部と、前記第２翻訳処理部は、受信された前記出力時刻までに得られた翻訳結果である前記第２翻訳発話情報を出力することを特徴とする。これにより、本発明の対話支援システムは、通信網を介して、互いに離れた場所にいるユーザ同士の異なる言語による対話を支援することができる。さらに、これに加えて、第１の対話支援装置では、第１ユーザの発話に含まれる特徴に基づいて次の発話に対する翻訳時間の上限である出力時刻を決定し、第２の対話支援装置では、第１の対話支援装置から受信した前記出力時刻までに第２ユーザの発話を前記第１の言語に翻訳して得られる第２翻訳発話情報を出力することができる。すなわち、第２の対話支援装置では、第１ユーザの発話に含まれる特徴に応じた翻訳時間の上限まで翻訳処理を行い、第２翻訳発話情報を出力することができる。

また、本発明の対話支援システムは、通信網を介してサーバに接続される第１の対話支援装置および第２の対話支援装置を用いて、対話を支援する対話支援システムであって、前記第１の対話支援装置は、第１の言語で話された第１ユーザの発話を入力として受け付ける第１入力部と、受け付けられた前記第１ユーザの発話を、前記サーバへ送信する第１送信部と、前記第１ユーザの発話に対する第２ユーザの発話を前記第１の言語に翻訳した翻訳結果である第２翻訳発話情報を、前記サーバから受信する第２受信部と、受信された前記第２翻訳発話情報を、前記第１ユーザに伝達する第１出力部とを備え、前記第２の対話支援装置は、第２の言語で話された第２ユーザの発話を入力として受け付ける第２入力部と、受け付けられた前記第２ユーザの発話を、前記サーバへ送信する第２送信部と、前記第２ユーザの発話に対する前記第１ユーザの発話を前記第２の言語に翻訳した翻訳結果である第１翻訳発話情報を、前記サーバから受信する第１受信部と、受信された前記第１翻訳発話情報を、前記第２ユーザに伝達する第２出力部とを備え、前記サーバは、前記第１の対話支援装置から前記第１ユーザの発話を受信する第１発話受信部と、受信された前記第１ユーザの発話を前記第２の言語に翻訳し、翻訳して得られる第１翻訳発話情報を出力する第１翻訳処理部と、出力された第１翻訳発話情報を、前記第２の対話支援装置へ送信する第１送信部と、前記第２の対話支援装置から前記第２ユーザの発話を受信する第２発話受信部と、受信された前記第２ユーザの発話を前記第１の言語に翻訳し、翻訳して得られる第２翻訳発話情報を出力する第２翻訳処理部と、出力された第２翻訳発話情報を、前記第１の対話支援装置へ送信する第２送信部と、受信された前記第１ユーザの発話又は前記第２ユーザの発話に含まれる特徴を解析して、前記発話の次に受信される発話を翻訳する前記第１翻訳処理部又は前記第２翻訳処理部の翻訳時間の上限を示す出力時刻を決定する出力時刻決定部とを備え、前記第１翻訳処理部又は前記第２翻訳処理部は、決定された前記出力時刻までに得られた翻訳結果である前記第１翻訳発話情報又は前記第２翻訳発話情報を出力することを特徴とする。従って、本発明の対話支援システムによれば、発話に含まれる特徴の解析、それに基づく出力時刻の決定及び決定された出力時刻までの翻訳処理をすべてサーバが行なうので、各ユーザの所有する第１の対話支援装置および第２の対話支援装置では構成を簡素化することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図２は、本発明の一実施の形態の対話支援装置の構成を示すブロック図である。本実施の形態の対話支援装置は、言語の異なる２人のユーザの対話を支援する装置であって、ある発話に含まれる特徴に基づいて、次の発話に対して対訳言語データベースを探索する時間を変更する機能を有する。図２に示すように、このような対話支援装置は、第１入力部１０１、第１翻訳処理部１０２、第１出力部１０３、第２入力部１０４、第２翻訳処理部１０５、第２出力部１０６及び出力時刻決定部１０７を備える。第１入力部１０１は第１の言語（例えば、日本語）によるユーザ１（第１ユーザ）の発話を入力して、ユーザ１の発話を文字列とした第１発話情報を出力する。第１翻訳処理部１０２は第１発話情報をユーザ２（第２ユーザ）の第２の言語（所定の言語、例えば、英語）に翻訳して第１翻訳発話情報と第１翻訳発話情報の尤度を出力する。尤度とは、発話情報に対する翻訳発話情報の流暢さや意味の確かさを表す指標である。第１出力部１０３は第１翻訳発話情報をユーザ２に合成音声による発話として出力する。第２入力部１０４はユーザ２の第２発話を入力して、ユーザ２の発話を文字列とした第２発話情報を出力する。第２翻訳処理部１０５は第２発話情報をユーザ１の第１の言語に翻訳して第２翻訳発話情報と第２翻訳発話情報の尤度を出力する。第２出力部１０６は第２翻訳発話情報をユーザ１に合成音声による発話として出力する。出力時刻決定部１０７は第１発話情報又は第２発話情報を入力として、次に入力される第１発話情報又は第２発話情報に対する第１翻訳処理部１０２又は第２翻訳処理部１０５の処理時間（すなわち、発話情報に対する翻訳時間を意味し、対訳言語データベースの探索時間やある特定の処理のループ回数なども含む）の上限である出力時刻を決定する。

図３は、図２に示した出力時刻決定部１０７の構成の一例を示すブロック図である。出力時刻決定部１０７は、ある発話情報の特徴に基づいて、次に入力される発話情報に対する対訳言語データベースの探索時間を決定する処理部であって、対話履歴格納部２０１、対話履歴解析部２０２、計算資源情報部２０３、時刻計算部２０４及び特徴テーブル２０５を備える。対話履歴格納部２０１は、第１発話情報と第２発話情報を発生時刻の順に格納する。特徴テーブル２０５は、出力時刻の変動係数を決定する手がかりとなる発話の特徴が記述されたテーブルである。対話履歴解析部２０２は、対話履歴格納部２０１の内容と特徴テーブル２０５の内容を比較して、対話履歴格納部２０１に格納されている発話情報に、特徴テーブル２０５に記述された特徴が含まれているか否かを判断し、特徴が含まれていればその特徴に対応する出力時刻の変動係数を出力する。特徴が含まれていない場合には係数α＝０を出力する。計算資源情報部２０３は本装置が動作する計算資源に関する情報を格納する。計算資源情報部２０３は、対話支援装置内での他のアプリケーションの作動などの影響による対話支援装置の稼働状況を検出して、対話支援装置のハードウェア性能を求め、図９に示したテーブルのリファレンス値と比較して、出力時刻の変動幅などを調整する。時刻計算部２０４は出力時刻の変動係数と計算資源情報部２０３を参照して第１翻訳処理部１０２と第２翻訳処理部１０５の出力時刻ｔを決定する。

第１入力部１０１はユーザ１が音声またはタイピングで入力する発話を連続音声認識処理またはキーボードで文字情報として取得し、第１発話情報として出力する。ユーザ１からの第１発話情報はユーザ１の発話に相当する文字列である。図４は、音声認識処理を行なう機能を備えた場合の第１入力部１０１の構成の一例を示す図である。第１入力部１０１は、音声認識部１９０１及び発話情報記憶部１９０２を備える。音声認識部１９０１はユーザ１の発話に相当する音声を文字情報に変換する。発話情報記憶部１９０２は音声認識部１９０１が出力する文字情報を一時的に記憶する。また、発話情報記憶部１９０２はユーザ１の発話に伴う指示によって一時的に記憶している第１発話情報を出力する。同様に、第２入力部１０４はユーザ２が音声またはタイピングで入力する第２発話を連続音声認識処理またはキーボードによって文字情報として取得し、第２発話情報として出力する。第２発話情報はユーザ２の第２発話に相当する文字列である。

第１翻訳処理部１０２は、ユーザ１の言語からユーザ２の言語へ変換する統計翻訳処理で構成する。統計翻訳処理は、ユーザ１の言語をＳ、ユーザ２の言語をＴとした場合、第１発話情報Ｓ１の訳文Ｔ２を得ることは、ＳとＴの対訳言語データベースにおいてＰ（Ｔ｜Ｓ１）が最大にするＴ＝Ｔ２を計算することである。ベイズの定理によれば、Ｐ（Ｓ１｜Ｔ）Ｐ（Ｔ）を最大にするＴ＝Ｔ２を探索することと等価である。Ｐ（Ｓ｜Ｔ）は翻訳モデル、Ｐ（Ｔ）は言語モデルである。そして最大値Ｐ（Ｔ２｜Ｓ１）を訳文Ｔ２の尤度とする。同様に、第２翻訳処理部１０５は、ユーザ２の言語からユーザ１の言語へ変換する統計翻訳処理で構成する。統計翻訳処理は、ユーザ２の言語をＳ、ユーザ１の言語をＴとした場合、第２発話情報Ｓ２の訳文Ｔ１を得ることは、ＳとＴの対訳言語データベースにおいてＰ（Ｔ｜Ｓ２）が最大となるＴ＝Ｔ１を計算することである。ベイズの定理によれば、Ｐ（Ｓ２｜Ｔ）Ｐ（Ｔ）を最大にするＴ＝Ｔ１を探索することと等価である。Ｐ（Ｓ｜Ｔ）は翻訳モデル、Ｐ（Ｔ）は言語モデルである。そして最大値Ｐ（Ｔ１｜Ｓ２）を訳文Ｔ１の尤度とする。ただし、いずれの統計翻訳処理も出力時刻決定部１０７が決定した出力時刻ｔを越えて処理を継続することはできない。処理の時間が出力時刻ｔに到達した時点で中断し、その時点で最適な訳文と訳文の尤度を出力する。

第１出力部１０３は、音声合成処理と画像表示処理で構成し、第１翻訳発話情報をユーザ２へ音声または文字画像として出力する。また、第１出力部１０３は閾値Ｕ１を持つ。閾値Ｕ１は第１翻訳処理部１０２が流暢さと意味の明確さの評価値が所定値80%の訳文を生成する際の尤度の平均値で決定する。第１翻訳処理部１０２から出力される尤度が閾値Ｕ１よりも小さい場合は音声合成処理をせず、第１翻訳発話情報を構成する単語の中で自立語だけを強調表示する。また、第２出力部１０６は、音声合成処理と画像表示処理で構成し、第２翻訳発話情報をユーザ１へ音声または文字画像として出力する。また、第２出力部１０６は閾値Ｕ２を持つ。閾値Ｕ２は第２翻訳処理部１０５が流暢さと意味の明確さの評価値が所定値80%の訳文を生成する際の尤度の平均値で決定する。第２翻訳処理部１０５から出力される尤度が閾値Ｕ２よりも小さい場合は音声合成処理をせず、第２翻訳発話情報を構成する単語の中で自立語だけを強調表示する。

図５は、本発明の対話支援装置の一実施の形態のユーザインタフェースを示す図である。図５に本発明を実装したハードウェアのユーザインタフェースを示す。左側のユーザインタフェースをユーザ１が、右側のユーザインタフェースをユーザ２が使用する。マイク３０１と入力発話情報３０２と入力開始ボタン３０３は第１入力部１０１に相当し、スピーカ３０４と翻訳発話情報３１１は第２出力部１０６に相当する。翻訳開始ボタン３０６は第１翻訳処理部１０２の翻訳処理を開始するボタンである。同様に、マイク３０７と入力発話情報３０８と入力開始ボタン３０９は第２入力部１０４に相当し、スピーカ３１０と翻訳発話情報３０５は第１出力部１０３に相当する。翻訳開始ボタン３１２は第２翻訳処理部１０５の翻訳処理を開始するボタンである。

図６は本発明の全体の動作を示すフローチャートである。ステップＳ４０１では出力時刻決定部１０７が本装置を使い始める前に出力時刻ｔを初期値Ｔに設定する。ステップＳ４０２ではユーザ１またはユーザ２の発話入力を待つ。発話入力が完了した段階、すなわち、翻訳開始ボタン３０６または翻訳開始ボタン３１２が押された時点でステップＳ４０３へ移る。ステップＳ４０３では、最大ｔ秒の時間をかけて第１翻訳処理部１０２または第２翻訳処理部１０５が翻訳処理を行って訳文を相手に出力する。同時に出力時刻決定部１０７では対話履歴格納部２０１の内容を更新し、次の翻訳処理のための出力時刻ｔを計算する。そしてステップＳ４０２へ戻る。

ステップＳ４０３において、出力時刻ｔの計算は具体的に以下のように計算される。
まず、図７は、図６に示したステップＳ４０３での対話支援装置のより詳細な動作を示すフローチャートである。第１翻訳処理部１０２又は第２翻訳処理部１０５は、内部にタイマを備え、ユーザ１又はユーザ２によって翻訳開始ボタン３０６または翻訳開始ボタン３１２が押されると、内部のタイマを始動し、出力時刻決定部１０７によって設定された出力時刻ｔ（初期値Ｔ）の計測を開始する（Ｓ６０１）。第１入力部１０１又は第２入力部１０４は、入力された第１発話情報又は第２発話情報で対話履歴格納部２０１を更新する（Ｓ６０２）。第１翻訳処理部１０２又は第２翻訳処理部１０５は、対訳言語データベース内で、入力された第１発話情報又は第２発話情報に対して最も尤度が高くなるような対訳コーパスを探索する（Ｓ６０３）。第１翻訳処理部１０２又は第２翻訳処理部１０５は、タイマを調べて、出力時刻決定部１０７によって設定された出力時刻ｔ秒を経過したか否かを判断し（Ｓ６０４）、経過していなければステップＳ６０３に戻って、対訳言語データベースの探索を継続する。ステップＳ６０４において、出力時刻ｔ秒を経過した場合、その時点で対訳コーパスの探索を中止し、その時点で求められている翻訳発話情報を出力する（Ｓ６０５）。

次いで、対話履歴解析部２０２は、特徴テーブル２０５を参照して（Ｓ６０６）、対話履歴格納部２０１に格納されている発話情報の中に、特徴テーブル２０５に記述されている特徴が含まれているか否かを解析する（Ｓ６０７）。発話情報の中に、特徴テーブル２０５に記述されている特徴が含まれている場合、対話履歴解析部２０２はその特徴に対応する係数αを特徴テーブル２０５から取得して時刻計算部２０４に出力する。また、時刻計算部２０４は、計算資源情報部２０３のテーブルを参照して変動幅ΔＴを算出する（Ｓ６０８）。さらに、時刻計算部２０４は、取得した係数αと変動幅ΔＴとから、次の発話情報に対する対訳言語データベースの探索時間の上限に相当する出力時刻ｔ＝（ｔ＋α・ΔＴ）を算出し、次の翻訳処理のための新たな出力時刻ｔを設定して処理を終了する（Ｓ６０９）。また、ステップＳ６０７において、発話情報の中に、特徴テーブル２０５に記述されている特徴が含まれていなかった場合、時刻計算部２０４は何もしないで処理を終了する。または、時刻計算部２０４は、これに相当する処理として、係数α＝０とし、次の翻訳処理のための新たな出力時刻ｔを設定して処理を終了するとしてもよい。これにより、次に、ステップＳ４０３の処理が開始されるときには、第１翻訳処理部１０２又は第２翻訳処理部１０５の内部のタイマは、このステップＳ６０９で出力時刻決定部１０７によって設定された新たな出力時刻ｔを計測し、第１翻訳処理部１０２又は第２翻訳処理部１０５は、新たな出力時刻ｔが経過するまで対訳言語データベースを探索する。

なお、以上では、第１翻訳処理部１０２又は第２翻訳処理部１０５による対訳言語データベースの探索終了後、出力時刻決定部１０７が次の発話に対する探索時間を算出すると説明したが、本発明はこれに限定されない。例えば、第１入力部１０１又は第２入力部１０４と、第１翻訳処理部１０２又は第２翻訳処理部１０５と、出力時刻決定部１０７とは並行して処理を行なうとしてもよい。すなわち、対話履歴格納部２０１の更新、対訳言語データベースの探索及び次の発話に対する翻訳発話情報の出力時刻の決定が並行処理されるとしてもよい。

図８は、図６に示したステップＳ４０３で並行処理を行なう場合での対話支援装置のより詳細な動作の一例を示すフローチャートである。まず、第１入力部１０１又は第２入力部１０４からユーザ１又はユーザ２による発話が入力され、翻訳開始ボタン３０６または翻訳開始ボタン３１２が押されると、第１翻訳処理部１０２又は第２翻訳処理部１０５は、内部のタイマを始動し、出力時刻決定部１０７によって設定された出力時刻ｔの計測を開始する（Ｓ６０１）。そして、第１翻訳処理部１０２又は第２翻訳処理部１０５は、出力時刻決定部１０７によって設定された出力時刻ｔが経過するまで、対訳言語データベースを探索する（Ｓ６０３〜Ｓ６０４）。出力時刻ｔが経過すると、第１翻訳処理部１０２又は第２翻訳処理部１０５は、対訳言語データベースの探索を中止し、その時点で求められている翻訳発話情報を出力する（Ｓ６０５）。

以上のステップＳ６０１、Ｓ６０３、Ｓ６０４、Ｓ６０５の処理と並行して、第１入力部１０１又は第２入力部１０４、対話履歴解析部２０２、計算資源情報部２０３及び時刻計算部２０４は以下の処理を行なう。すなわち、第１入力部１０１又は第２入力部１０４は、入力された発話に対応する第１発話情報又は第２発話情報を生成し、生成された第１発話情報又は第２発話情報で対話履歴格納部２０１を更新する（Ｓ６０２）。すなわち、入力開始ボタン３０３又は入力開始ボタン３０９が押されて発話が入力されると、第１入力部１０１又は第２入力部１０４は、第１翻訳処理部１０２又は第２翻訳処理部１０５の動作とは関係なく、第１発話情報又は第２発話情報を生成して、生成された第１発話情報又は第２発話情報で対話履歴格納部２０１を更新する。次いで、対話履歴解析部２０２は、特徴テーブル２０５を参照して（Ｓ６０６）、更新された対話履歴格納部２０１に格納されている発話情報の中に、特徴テーブル２０５に記述されている特徴があるか否かを解析する（Ｓ６０７）。発話情報の中に、特徴テーブル２０５に記述されている特徴がある場合、対話履歴解析部２０２はその特徴に対応する係数αを特徴テーブル２０５から取得して時刻計算部２０４に出力する。また、時刻計算部２０４は、計算資源情報部２０３のテーブルを参照して変動幅ΔＴを算出する（Ｓ６０８）。さらに、時刻計算部２０４は、取得した係数αと変動幅ΔＴとから、次の発話情報に対する対訳言語データベースの探索時間の上限に相当する出力時刻ｔ＝（ｔ＋α・ΔＴ）を算出し、次の翻訳処理のための新たな出力時刻ｔを設定して処理を終了する（Ｓ６０９）。また、ステップＳ６０７において、発話情報の中に、特徴テーブル２０５に記述されている特徴が含まれていなかった場合、時刻計算部２０４は何もしないで処理を終了する。または、時刻計算部２０４は、これに相当する処理として、係数α＝０とし、次の翻訳処理のための新たな出力時刻ｔを設定して処理を終了するとしてもよい。このように、並行処理を行なうことにより、時刻計算部２０４によって計算された出力時刻ｔを、タイマ計測の開始から出力時刻ｔが経過するまで、無駄なく、対訳言語データベースの探索に使用することができる。また、並行処理を行なうことによって、対訳言語データベースの探索を行っている間に、次の発話に対する出力時刻ｔの計算を済ませておくことができるので、ユーザ１とユーザ２とが間断なく発話した場合などにも、速やかに翻訳処理を開始することができる。

図９に計算資源情報部２０３の構成を示す。図９は図３に示した計算資源情報部２０３が保持するテーブルのデータ構成の一例を示す図である。図９における各パラメータは、Ｔは出力時刻ｔの初期値、ΔＴは出力時刻ｔの変動幅、ｍｉｎＴは出力時刻ｔの最小値である。リファレンス値の行は、本装置がＣＰＵ性能６００ＭＩＰＳ(million instructions per second)の計算機に実装されるときの値であり、実際に実装される計算機の性能（装置のハードウェア性能）に応じて計算する必要がある。図９の例ではＣＰＵ性能が現時点で１２００ＭＩＰＳであるためにすべてのパラメータは６００／１２００倍、すなわち０．５倍に設定される。なお、ＣＰＵ性能は現在処理中のプロセスの数や優先度の関係、利用可能な主記憶の量などによって一般に時々刻々変化するので現在のＣＰＵの平均的な負荷（０〜１００の値）に反比例するように計算することで、翻訳処理に必要な時間を正確に設定することが可能になる。例えば本来のＣＰＵ性能に（１−負荷／１００）の値を乗じることで、本装置のＣＰＵ性能が１２００ＭＩＰＳでも、負荷が５０％であればＣＰＵ性能を６００ＭＩＰＳとして適切にＴおよびΔＴの値が設定される。

図１０は、図３に示した対話履歴解析部が保持する特徴テーブルのデータ構成の一例を示す図である。次に、図１０に対話履歴解析部２０２が参照する特徴テーブル２０５のデータ構成を示す。ここでは、特徴の種類として、相互理解、表層表現の連続性、及び話題転換の３つについて分類している。

（１）話者の発話に含まれる特徴が相互理解である場合、対話相手との相互理解が生じているため、次に発話される対話相手の翻訳発話情報が多少不明瞭でも、話者には理解できると考えられる。

（２）次に、表層表現の連続性とは、ある表層表現の発話があったときに、その表層表現の一部が次の発話の中に含まれ易い傾向があるか否かを示す性質をいう。しかも、この場合、その表層表現の一部が、次の発話の中で重要な意味を持つ場合を特に特徴テーブルに抽出している。話者にとって、自分が使った表層表現の一部が、重要な意味を持って対話相手の発話の中に含まれる場合には、翻訳発話情報があまり流暢でなくても、話者には理解できると考えられる。逆に、表層表現の一部が次の発話の中に含まれない可能性が高く、その表層表現が重要な意味を持つ場合には、対話相手の発話に対して、より適切で流暢な翻訳発話情報が望まれる。

（３）さらに、話者の発話に含まれる特徴が話題転換である場合、それまでの対話とは関連のない別の発話がなされる可能性が高いので、はじめて会話を始めるときと同程度の流暢さを持った翻訳発話情報が必要と考えられる。なお、ここでは、特徴の種類として、相互理解、表層表現の連続性及び話題転換の３種類について例を挙げたが、これとは異なる特徴の種類、又は、もっと多くの特徴の種類について特徴テーブル２０５を作成しておいてもよいものとする。このような特徴の種類に対して、特徴テーブル２０５は主に言語１の特徴、言語２の特徴、係数αの３つの項目の組で構成される。係数αは翻訳処理を介して実験的に行った対話を分析することによって決定する。すなわち、発話Ａに続く次の発話Ｂが粗い訳であっても相手に意図が通じる場合は発話Ａの特徴の係数αは負の値、正確な訳でないと相手に意図が伝わらない場合は発話Ａの特徴の係数αは正の値が算出される。翻訳処理の粗さや正確さに応じて係数αの絶対値を変化させることで、より適切な出力時刻が決定できるが、ここでは説明を簡単にするために±１の値を使って説明する。対話履歴解析部２０２は対話履歴格納部２０１に格納された対話の履歴の中から特徴テーブル２０５の中の特徴を検出し、その特徴に応じた係数αを出力する。ただし係数αがｒｅｓｅｔの場合は、時刻計算部２０４は出力時刻ｔを初期値Ｔに戻すことを意味する。また、特徴が見当たらない場合はα＝０として出力する。

時刻計算部２０４は計算資源情報部２０３から各パラメータの値を獲得し、対話履歴解析部２０２が出力する係数αを獲得して、出力時刻ｔを計算する。ｔの計算は現在のｔの値を係数αの方向にΔｔに比例した値で増減することによって行う。例えば最も簡単な計算としてはｔ←ｔ＋αΔＴとして計算する。ただし、出力時刻ｔがｔ＜ｍｉｎＴとなった場合はｔ←ｍｉｎＴとする。

以下、本発明で異言語の対話を支援する場合の具体的な動作について詳細に説明する。ユーザ１の母国語は日本語、ユーザ２の母国語は英語とする。

図１１は、図３に示した対話履歴格納部の内容とそれに応じて時刻計算部２０４によって算出される探索時間の上限の初期値の一例を示すテーブルである。図１１に本発明の動作を把握しやすいように、ユーザの発話（第１発話情報または第２発話情報）に従って更新される対話履歴格納部２０１の内容を７０１に、同発話が第１翻訳処理部１０２または第２翻訳処理部１０５によって処理されて出力された訳文（第１翻訳発話情報または第２翻訳発話情報）と尤度を７０２に、時刻計算部２０４による出力時刻ｔの計算結果を７０３に記す。本装置の使用開始直後は、ステップＳ４０１において時刻計算部２０４は出力時刻ｔを計算資源情報部２０３の内容を参照してＴにセットする。本装置の状態はステップＳ４０２に移る。

図１２は、最初にユーザ１が発話した際の対話支援装置の翻訳発話情報の出力例および表示例を示す図である。図１２に示す対話支援装置に、ユーザ１が入力開始ボタン３０３を押して「こんにちは」を発話したとする。マイク３０１を通じて第１入力部１０１が第１発話情報として「こんにちは」を出力する。ユーザ１が翻訳開始ボタン３０６を押すとステップＳ４０３に移り、第１翻訳処理部１０２が最大ｔの時間をかけて翻訳処理を開始する。図１３は、図１２に示したユーザ１の発話に対して更新された対話履歴格納部の内容とそれに応じて時刻計算部によって算出される次の探索時間の上限ｔの例を示す図である。図１３の９０２に示すように第１翻訳処理部１０２は、“hello”と尤度１．０を第１翻訳発話情報として出力する。第１出力部１０３の閾値Ｕ１＝０．６である場合、この尤度がＵ１よりも大きいので、第１翻訳発話情報“hello”は翻訳発話情報３０５にそのまま表示され、音声合成処理によってスピーカ３１０から“hello”が再生される。翻訳処理の開始と同時に対話履歴格納部２０１は図１３に示す９０１のように更新され、対話履歴解析部２０２は対話履歴の内容９０１の特徴を解析するが、何も特徴がないので、係数α＝０を出力する。時刻計算部２０４が計算する出力時刻ｔは変化しないので、９０３に示すようにｔ＝Ｔのままである。処理はステップＳ４０２に移る。

図１４は、ユーザ１の発話に対して、ユーザ２が発話した際の対話支援装置の翻訳発話情報の出力例および表示例を示す図である。図１４に示した、ユーザ１の翻訳発話を聞いたユーザ２が入力開始ボタン３０９を押して“Which do you like, tea or coffee?”を発話したとする。マイク３１３を通じて第２入力部１０４が第２発話情報として“which do you like tea or coffee”を出力する。ユーザ２が翻訳開始ボタン３１２を押すとステップＳ４０３に移り、第２翻訳処理部１０５が最大ｔの時間をかけて翻訳処理を開始する。１１０２に示すように第２翻訳処理部１０５は、「お茶とコーヒーどちらが好きですか」と尤度０．９を第２翻訳発話情報として出力する。第２出力部１０６の閾値Ｕ２＝０．６である場合、この尤度がＵ２よりも大きいので、第２翻訳発話情報「お茶とコーヒーどちらが好きですか」は翻訳発話情報３１１にそのまま表示され、音声合成処理によってスピーカ３０４から「お茶とコーヒーどちらが好きですか」が再生される。図１５は、図１４に示したユーザ２の発話に対して、さらに更新された対話履歴格納部の内容とそれに応じて時刻計算部によって算出される次の探索時間の上限ｔの例を示す図である。同時に対話履歴格納部２０１は図１５に示す１１０１のように更新され、対話履歴解析部２０２は対話履歴１１０１の特徴を解析する。ユーザ２の発話情報“which do you like tea or coffee”には図１０の特徴の中で（表層表現の連続性，１）が適合する。したがって、その係数α＝−１を出力する。時刻計算部２０４は出力時刻ｔをｔ＋αΔＴ＝Ｔ−ΔＴに設定する。処理はステップＳ４０２に移る。

図１６は、図１４に示したユーザ２の発話に対して、ユーザ１が発話した際の対話支援装置の翻訳発話情報の出力例および表示例を示す図である。図１７は、図１６に示したユーザ１の発話に対して、さらに更新された対話履歴格納部の内容とそれに応じて時刻計算部によって算出される次の探索時間の上限ｔの例を示す図である。図１６に、ユーザ２の翻訳発話を聞いたユーザ１が入力開始ボタン３０３を押して「コーヒーがいいです」を発話した場合の例を示す。マイク３０１を通じて第１入力部１０１が第１発話情報として「コーヒーがいいです」を出力する。ユーザ１が翻訳開始ボタン３０６を押すとステップＳ４０３に移り、第１翻訳処理部１０２が最大ｔ=Ｔ−ΔＴの時間をかけて翻訳処理を開始する。９０２に示すように第１翻訳処理部１０２は、“coffee good would”と尤度０．５を第１翻訳発話情報として出力する。第１出力部１０３の閾値Ｕ１＝０．６であるので、この尤度がＵ１よりも小さい。第１翻訳発話情報“coffee good would”は、自立語である“coffee”と“good”とが翻訳発話情報３０５に強調表示される。ただし、音声合成処理は行わないので、スピーカ３１０からは何も再生されない。翻訳処理の開始と同時に対話履歴格納部２０１は図１７に示す１３０１のように更新され、対話履歴解析部２０２は対話履歴の内容１３０１の特徴を解析するが、何も特徴がないので、係数α＝０を出力する。時刻計算部２０４が計算する出力時刻ｔは変化しないので、１３０３に示すようにｔ＝Ｔ−ΔＴのままである。処理はステップＳ４０２に移る。

本発明の効果は次のように現れている。すなわち、図９の各パラメータの具体的な数値で説明すれば、ユーザ１の最初の発話とユーザ２の２番目の発話は２５秒で処理されたが、ユーザ１の３番目の発話は１５秒で処理されている。したがって、２５秒を費やしても正しい訳が得られるかどうかは不明であるが、１５秒を費やして対話を続行するのに必要十分な訳文が得られているので、ユーザ１とユーザ２は速やかに対話を完了することが可能である。また、対話を続行するのに必要十分な訳文でも、流暢さや意味の明確さが不十分であるために、音声合成で読み上げると相手を混乱させることがある。本発明では、訳文の尤度によって流暢さや意味の明確さが不十分である場合は音声合成処理を停止し、訳文の表示において自立語を強調表示することで相手の混乱を回避しながら、速やかに対話を続行することが可能になる。

図１８は、本発明の対話支援装置による効果を、従来方式の対話支援装置と、対話履歴及び探索時間の上限で対比した図である。ここで、本発明の効果をさらに定量的に検証する。図１８に自動翻訳機能をそのまま対話支援に利用した従来の方式の対話１４０１と、本発明によって支援された対話１４０２を示す。従来の方式の対話では、各翻訳処理にかかる時間の上限は一定であるので、８発話に対して８Ｔの時間を要する。図９の各パラメータの値であれば、この８発話の対話の翻訳処理に３分２０秒が必要とされ、なおユーザ１はユーザ２へ自分の意図を伝達できていない。しかしながら、本発明によって支援される対話では、対話の文脈に応じて翻訳処理の上限時間を変化させるため、同様な８発話に対して（８Ｔ−２ΔＴ）の時間を要するだけである。すなわち、３分でユーザ１とユーザ２は相互に意思を通じ合っている。したがって、現実世界において速やかに対話を完了しなければならない状況では、本発明の効果は有効である。なお、図１８（ａ）に示した例では、（ｂ）に示した従来の例と比べて、対話時間が２ΔＴ短縮されているが、本発明の対話支援装置では、必ずしも対話時間が短縮されるとは限らず、従来の対話支援装置と同程度の対話時間になることも起こり得る。しかし、本発明の対話支援装置では、従来のように、いつも同じ時間で対訳言語データベースを探索するのではなく、より正確さや流暢さを要求される発話の特徴を発見した場合に限って探索に時間をかける。これにより、より対話の流れに即した翻訳結果を得ることができ、その結果、対話に同じ時間がかかっても、対話相手との意思の疎通を得る確率が高くなるという効果がある。

本発明の効果をさらに別の観点から検証する。図１９は、本発明の対話支援装置による平均翻訳処理時間と従来方式による平均翻訳処理時間との対比を示すグラフである。図１８で従来方式と本発明とを対話履歴及び探索時間の上限で対比したが、これを平均翻訳処理時間の観点で対話開始から対話完了までプロットした図を図１９に示している。ある時刻ｔにおける平均翻訳処理時間は、時刻ｔまでに費やされた翻訳処理時間の合計を時刻ｔまでの発話数で割った翻訳処理時間の平均値である。従来方式では翻訳処理時間は一定であるため、平均翻訳処理時間も一定の値となる。しかしながら、本発明においては、対話が進行して対話の履歴の蓄積量が増えると共に、翻訳処理時間の平均値は減少する。したがって、意思疎通のレベルが同じレベルで対話が完了するとき、本発明の方が従来方式よりも対話に要する時間は少なくなるという効果がある。

図２０は、本発明の対話支援装置の変形例の構成を示すブロック図である。図２１は、本発明の対話支援装置の変形例のユーザインタフェースを示す図である。なお、本発明のユーザインタフェースの一例を図５に示したが、図２０に示すように図２の構成に通信部１５０３〜１５１０を加えることにより、図２の構成を端末１５０１と端末１５０２に分け、図２１に示すようなユーザインタフェースで実装してもよい。このような構成とすることにより、ユーザ１の端末１５０１では、出力時刻を決定する処理を省略することができる。すなわち、ユーザ１の端末１５０１では、ユーザ２の端末１５０２から受信した出力時刻に従って第１翻訳処理部１０２の翻訳処理を行なえばよい。具体的には、図２１に示すように、ユーザ１の端末１５０１では、あらかじめユーザ２の端末１５０２から出力時刻を受信する。そして、ユーザ１が入力開始ボタン３０３を押して「こんにちは」を入力し、続けて翻訳開始ボタン３０６を押すと、第１翻訳処理部１０２は、端末１５０２から受信した出力時刻までに、ユーザ１の発話情報「こんにちは」を英語に翻訳する。端末１５０１では、第１翻訳処理部１０２の翻訳結果である翻訳発話情報と尤度とを、通信部１５０３から端末１５０２の通信部１５０４に送信し、端末１５０２では受信した翻訳発話情報「Hello.」をスピーカ３１０で再生出力する。端末１５０２では、端末１５０１で入力された発話「こんにちは」の発話情報を通信部１５０７と通信部１５０８とを介して受信し、受信した発話情報「こんにちは」を解析して、次の発話に対する翻訳発話情報の出力時刻を算出する。なお、ここでは端末１５０１には出力時刻決定部を備えない構成としたが、本発明はこれに限定されず、端末１５０１も出力時刻決定部を備える端末１５０２と同じ構成としてもよい。

図２２は、本発明の対話支援装置の第２の変形例の構成を示すブロック図である。また、図２２に示すように、図２の構成に通信部１７０４〜１７１１を加えることにより、第１翻訳処理部１０２と第２翻訳処理部１０５と出力時刻決定部１０７をサーバ１７０３に実装し、端末１７０１と端末１７０２を、それぞれ通信回線を経由してサーバ１７０３に接続するように実装してもよい。このようにすることにより、端末１７０１及び端末１７０２の構成を簡単にすることができ、端末１７０１及び端末１７０２の小型化、軽量化及び省電力化などを実現することができる。

なお、対話履歴解析部２０２が対話履歴格納部２０１の内容の中から特徴を見出す際に、参照する発話情報の範囲を直前のｎ発話に拡張することで、さらに精密な翻訳処理時間の制御が可能になる。例えば図１０の特徴テーブル２０５の中の相互理解の特徴を直前の６発話の中に見出した分だけ係数αを累積することで、ユーザ１とユーザ２の相互理解の度合いがより正確に算出され、それに応じて出力時刻ｔの値を計算することで、より必要十分な翻訳処理時間の上限が決定される。

なお、計算資源情報部２０３が保持する各パラメータの値を、入力された発話情報の単語数で正規化することで、さらに精密な翻訳処理時間の制御が可能になる。例えば、上記の例ではＴと△Ｔの値を発話情報の平均的な単語数Ｗに応じて計算するが、入力された発話情報の単語数がＷ／２であれば、すでに計算されたｔの値を１／２に正規化したｔ／２を翻訳処理時間の上限として翻訳処理の開始直前に設定することでより必要十分な翻訳処理時間の上限が決定される。あるいは、入力された発話情報の単語数が２Ｗであれば、すでに計算されたｔを２倍に正規化した２ｔを翻訳処理時間の上限として翻訳処理の開始直前に設定することでより必要十分な翻訳処理時間の上限が決定される。なお、このような場合、本発明の効果を示す図１９のグラフは、ｔの値を正規化前の時間に戻してからプロットして解釈すべきである。

なお、上記の実施の形態では翻訳処理時間の上限を時間ｔで制限しているが、時間ｔに比例する他のパラメータを用いて間接的に翻訳処理時間の上限を制限しても同様の効果となる。例えば、統計翻訳処理における訳文の探索の深さｄと翻訳処理時間は比例関係であるので、平均的な探索の深さＤと△Ｔに相当する探索の深さの変動幅△Ｄを設定しておいて、上記の処理をそのままＴとＤを記号的に置換して実施することで同様の効果となる。探索の深さ以外にも、探索ステップ数や探索範囲の広さなどの翻訳処理量を規定するパラメータで代用しても同様の効果となることは言うまでもない。

なお、一例として日本語と英語を取り上げたが、フランス語、ドイツ語、韓国語または中国語など他の言語についても同様に実施可能であり、本発明は言語に依存しない。

（実施の形態２）
上記実施の形態１ではユーザ１の母国語は日本語、ユーザ２の母国語は英語として、本発明で異言語の対話を支援する場合の具体的な動作について詳細に説明したが、以下の実施の形態２では、ユーザ１の母国語を中国語、ユーザ２の母国語を英語として両者の対話を支援する対話支援装置の例について説明する。実施の形態２の対話支援装置の構成は、各処理部の処理対象となる言語が異なるだけで、各処理部での処理内容は図２に示した内容と同様であるので、図示を省略する。実施の形態２の対話支援装置が実施の形態１の対話支援装置と異なる点は、以下の通りである。

第１入力部１０１は第１の言語（中国語）によるユーザ１（第１ユーザ）の発話を入力して、ユーザ１の発話を文字列とした第１発話情報を出力する。第１翻訳処理部１０２は第１発話情報をユーザ２（第２ユーザ）の第２の言語（英語）に翻訳して第１翻訳発話情報と第１翻訳発話情報の尤度を出力する。

図２３は、実施の形態２の対話支援装置のユーザインタフェースを示す図である。図２３に本発明を実装したハードウェアのユーザインタフェースを示す。左側のユーザインタフェースを中国語を話すユーザ１が、右側のユーザインタフェースを英語を話すユーザ２が使用する。マイク３０１と入力発話情報３０２と入力開始ボタン３０３は第１入力部１０１に相当し、スピーカ３０４と翻訳発話情報３１１は第２出力部１０６に相当する。翻訳開始ボタン３０６は第１翻訳処理部１０２の翻訳処理を開始するボタンである。同様に、マイク３０７と入力発話情報３０８と入力開始ボタン３０９は第２入力部１０４に相当し、スピーカ３１０と翻訳発話情報３０５は第１出力部１０３に相当する。翻訳開始ボタン３１２は第２翻訳処理部１０５の翻訳処理を開始するボタンである。

図２４は、言語１が中国語で、言語２が英語である場合の特徴テーブルのデータ構成の一例を示す図である。図１０ではユーザ１の母国語が言語１（日本語）であり、ユーザ２の母国語が言語２（英語）である場合の特徴テーブルのデータ構成について説明した。しかし、図２４では、ユーザ１の母国語が言語１（中国語）である点が図１０の特徴テーブルと異なる。

図２５は、最初にユーザ１が発話した際の対話支援装置の翻訳発話情報の出力例および表示例を示す図である。図２５に示す対話支援装置に、ユーザ１が入力開始ボタン３０３を押して

を発話したとする。マイク３０１を通じて第１入力部１０１が第１発話情報として

を出力する。ユーザ１が翻訳開始ボタン３０６を押すと、第１翻訳処理部１０２が最大ｔの時間をかけて翻訳処理を開始する。図２６は、図２５に示したユーザ１の発話に対して更新された対話履歴格納部の内容とそれに応じて時刻計算部によって算出される次の探索時間の上限ｔの例を示す図である。図２６の９０２に示すように第１翻訳処理部１０２は、“hello”と尤度１．０を第１翻訳発話情報として出力する。第１出力部１０３の閾値Ｕ１＝０．６である場合、この尤度がＵ１よりも大きいので、第１翻訳発話情報“hello”は翻訳発話情報３０５にそのまま表示され、音声合成処理によってスピーカ３１０から“hello”が再生される。翻訳処理の開始と同時に対話履歴格納部２０１は図２６に示す９０１のように更新され、対話履歴解析部２０２は対話履歴の内容９０１の特徴を解析するが、何も特徴がないので、係数α＝０を出力する。時刻計算部２０４が計算する出力時刻ｔは変化しないので、９０３に示すようにｔ＝Ｔのままである。

図２７は、ユーザ１の発話に対して、ユーザ２が発話した際の対話支援装置の翻訳発話情報の出力例および表示例を示す図である。図２７に示したユーザ１の翻訳発話を聞いたユーザ２が入力開始ボタン３０９を押して“Which do you like, tea or coffee?”を発話したとする。マイク３１３を通じて第２入力部１０４が第２発話情報として“which do you like tea or coffee”を出力する。ユーザ２が翻訳開始ボタン３１２を押すと、第２翻訳処理部１０５が最大ｔの時間をかけて翻訳処理を開始する。１１０２に示すように第２翻訳処理部１０５は、

と尤度０．９を第２翻訳発話情報として出力する。第２出力部１０６の閾値Ｕ２＝０．６である場合、この尤度がＵ２よりも大きいので、第２翻訳発話情報

は翻訳発話情報３１１にそのまま表示される。さらに、音声合成処理によってスピーカ３０４から

が再生される。図２８は、図２７に示したユーザ２の発話に対して、さらに更新された対話履歴格納部の内容とそれに応じて時刻計算部によって算出される次の探索時間の上限ｔの例を示す図である。同時に対話履歴格納部２０１は図２８に示す１１０１のように更新され、対話履歴解析部２０２は対話履歴１１０１の特徴を解析する。ユーザ２の発話情報“which do you like tea or coffee”には図２４の特徴の中で（表層表現の連続性，１）が適合する。したがって、その係数α＝−１を出力する。時刻計算部２０４は出力時刻ｔをｔ＋αΔＴ＝Ｔ−ΔＴに設定する。

図２９は、図２７に示したユーザ２の発話に対して、ユーザ１が発話した際の対話支援装置の翻訳発話情報の出力例および表示例を示す図である。また、図３０は、図２９に示したユーザ１の発話に対して、さらに更新された対話履歴格納部の内容とそれに応じて時刻計算部によって算出される次の探索時間の上限ｔの例を示す図である。図２９に、ユーザ２の翻訳発話を聞いたユーザ１が入力開始ボタン３０３を押して

を発話した場合の例を示す。マイク３０１を通じて第１入力部１０１が第１発話情報として

を出力する。ユーザ１が翻訳開始ボタン３０６を押すと、第１翻訳処理部１０２が最大ｔ=Ｔ−ΔＴの時間をかけて翻訳処理を開始する。９０２に示すように第１翻訳処理部１０２は、“coffee good would”と尤度０．５を第１翻訳発話情報として出力する。第１出力部１０３の閾値Ｕ１＝０．６であるので、この尤度がＵ１よりも小さい。従って、第１翻訳発話情報“coffee good would”のうち、自立語である“coffee”と“good”とが翻訳発話情報３０５に強調表示される。ただし、音声合成処理は行わないので、スピーカ３１０からは何も再生されない。翻訳処理の開始と同時に対話履歴格納部２０１は図３０に示す１３０１のように更新され、対話履歴解析部２０２は対話履歴の内容１３０１の特徴を解析するが、何も特徴がないので、係数α＝０を出力する。時刻計算部２０４が計算する出力時刻ｔは変化しないので、１３０３に示すようにｔ＝Ｔ−ΔＴのままとなる。

本発明の効果は次のように現れている。すなわち、実施の形態１と同様に、図９の各パラメータの具体的な数値で説明すれば、ユーザ１の最初の発話とユーザ２の２番目の発話は２５秒で翻訳処理されたが、ユーザ１の３番目の発話は１５秒で処理されている。したがって、ユーザ１の３番目の発話の翻訳処理に２５秒を費やしても正しい訳が得られるかどうかは不明であるが、１５秒を費やして対話を続行するのに必要十分な訳文が得られているので、ユーザ１とユーザ２は速やかに対話を完了することが可能である。また、対話を続行するのに必要十分な訳文でも、流暢さや意味の明確さが不十分であるために、音声合成で読み上げると相手を混乱させることがある。本発明では、訳文の尤度によって流暢さや意味の明確さが不十分である場合は音声合成処理を停止し、訳文の表示において自立語を強調表示することにより、相手の混乱を回避しながら、速やかに対話を続行することが可能になる。

ここで、本発明の効果をさらに定量的に検証する。図３１は、本発明の対話支援装置による効果と、従来方式の対話支援装置による効果とを、対話履歴及び探索時間の上限で対比した図である。図３１に自動翻訳機能をそのまま対話支援に利用した従来の方式の対話１４０１と、本発明によって支援された対話１４０２を示す。従来の方式の対話では、各翻訳処理にかかる時間の上限は一定であるので、８発話に対して８Ｔの時間を要する。図９の各パラメータの値であれば、この８発話の対話の翻訳処理に３分２０秒が必要とされ、なおかつ、ユーザ１はユーザ２へ自分の意図を伝達できていない。しかしながら、本発明によって支援される対話では、対話の文脈に応じて翻訳処理の上限時間を変化させるため、同様な８発話に対して（８Ｔ−２ΔＴ）の時間を要するだけである。すなわち、３分でユーザ１とユーザ２は相互に意思を通じ合っている。したがって、現実世界において速やかに対話を完了しなければならない状況では、本発明の効果は有効である。なお、図３１（ａ）に示した例では、（ｂ）に示した従来の例と比べて、対話時間が２ΔＴ短縮されているが、本発明の対話支援装置では、必ずしも対話時間が短縮されるとは限らず、従来の対話支援装置と同程度の対話時間になることも起こり得る。しかし、本発明の対話支援装置では、従来のように、いつも同じ時間で対訳言語データベースを探索するのではなく、より正確さや流暢さを要求される発話の特徴を発見した場合に限って探索に時間をかける。これにより、より対話の流れに即した翻訳結果を得ることができ、その結果、対話に同じ時間がかかっても、対話相手との意思の疎通を得る確率が高くなるという効果がある。

本発明の効果をさらに別の観点から検証する。図３１で従来方式と本発明とを対話履歴及び探索時間の上限で対比したが、これを平均翻訳処理時間の観点で対話開始から対話完了までプロットした図を図１９に示している。ある時刻ｔにおける平均翻訳処理時間は、時刻ｔまでに費やされた翻訳処理時間の合計を時刻ｔまでの発話数で割った翻訳処理時間の平均値である。従来方式では翻訳処理時間は一定であるため、平均翻訳処理時間も一定の値となる。しかしながら、本発明においては、対話が進行して対話の履歴の蓄積量が増えると共に、翻訳処理時間の平均値は減少する。したがって、意思疎通のレベルが同じレベルで対話が完了するとき、本発明の方が従来方式よりも対話に要する時間は少なくなるという効果がある。

図３２は、本発明の対話支援装置の変形例の構成を示すブロック図である。なお、本実施の形態２においても、図２の構成に通信部１５０３〜１５１０を加えることにより、図２の構成を端末１５０１と端末１５０２に分け、図３２に示すようなユーザインタフェースで実現してもよい。このユーザインタフェースの具体的な内部構成は図２１に示した構成と同じである。

図３３は、本発明の対話支援装置のハードウェア構成の一例を示すブロック図である。同図に示すように、本発明の対話支援装置３２００は、スピーカ３２０１、マイク３２０２、外部メモリ３２０３、表示部３２０４、ＲＯＭ３２０５、ＣＰＵ（プロセッサ）３２０６、ＲＡＭ３２０７、通信部３２０８、入力部３２０９及びバス３２１０を備える。

スピーカ３２０１は、第１出力部１０３及び第２出力部１０６を実現し、翻訳された発話を、合成音声で出力する。マイク３２０２は、第１入力部１０１及び第２入力部１０４の一部を実現し、ユーザ１及びユーザ２の音声の入力を受け付ける。外部メモリ３２０３は、ハードディスク、ＤＶＤ及びＩＣカードなどの大容量メモリであり、文法及び対訳コーパスなどを格納して対訳言語データベースを実現する。また、外部メモリ３２０３は、対話支援装置３２００の起動後、ＲＡＭ３２０７にロードされて実行されるプログラムなどを格納する。表示部３２０４は、液晶ディスプレイなどであり、第１発話情報及び第２発話情報などを表示する。ＲＯＭ３２０５は、不揮発性の読出し専用半導体メモリであり、対話支援装置３２００の起動用プログラムなどを格納する。ＣＰＵ３２０６は、ＲＯＭ３２０５及びＲＡＭ３２０７に格納されているプログラムを実行することにより、図２、図３、図４、図２０及び図２２のブロック図に示した対話支援装置内の各処理部を実現する。ＲＡＭ３２０７は、揮発性の読み書き可能な半導体メモリであり、対話支援装置３２００の起動後、ロードされたプログラムをＣＰＵ３２０６に供給するとともに、ＣＰＵ３２０６の処理途中のデータを保持することによって作業領域を提供する。通信部３２０８は、図２０及び図２２に示した通信部１５０３〜１５１０及び通信部１７０４〜１７１１を実現し、赤外線通信及び近距離無線通信などによりデータの送受信を行う。入力部３２０９は、入力開始ボタン３０３、３０９及び翻訳開始ボタン３０６、３１２などの操作ボタンであり、ユーザの操作入力を受け付ける。バス３２１０は、対話支援装置３２００内のパラレルデータ転送路であり、各処理部間のデータ転送を行う。

なお、ブロック図（図２−図４、図２０及び図２２など）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。

例えばメモリ以外の機能ブロックが１チップ化されていても良い。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。

本発明にかかる対話支援装置は、対話参加者の発話を速やかに完了させる機能を有し、携帯電話や携帯端末等の翻訳アプリケーションソフトウェア等として有用である。また公共の街頭端末や案内端末等の用途にも応用できる。

図１は、従来の対話支援装置において、文を構成する単語数に応じてデコーディングに要する平均処理時間の一例を示す表である。（従来技術） 図２は、本発明に係る対話支援装置の一実施の形態の構成を示すブロック図である。（実施の形態１） 図３は、図２に示した出力時刻決定部の構成の一例を示すブロック図である。（実施の形態１） 図４は、図２に示した第１入力部のより詳細な構成の一例を示すブロック図である。（実施の形態１） 図５は、本発明の対話支援装置の一実施の形態のユーザインタフェースを示す図である。（実施の形態１） 図６は、本発明の対話支援装置の動作を示すフローチャートである。（実施の形態１） 図７は、図６に示したステップＳ４０３での対話支援装置のより詳細な動作を示すフローチャートである。（実施の形態１） 図８は、図６に示したステップＳ４０３で並行処理を行なう場合の対話支援装置のより詳細な動作の一例を示すフローチャートである。（実施の形態１） 図９は、図３に示した計算資源情報部が保持するテーブルのデータ構成の一例を示す図である。（実施の形態１） 図１０は、図３に示した対話履歴解析部が保持する特徴テーブルのデータ構成の一例を示す図である。（実施の形態１） 図１１は、図３に示した対話履歴格納部の内容とそれに応じて時刻計算部２０４によって算出される探索時間の上限の初期値の一例を示すテーブルである。（実施の形態１） 図１２は、最初にユーザ１が発話した際の対話支援装置の翻訳発話情報の出力例および表示例を示す図である。（実施の形態１） 図１３は、図１２に示したユーザ１の発話に対して更新された対話履歴格納部の内容とそれに応じて時刻計算部によって算出される次の探索時間の上限ｔの例を示す図である。（実施の形態１） 図１４は、ユーザ１の発話に対して、ユーザ２が発話した際の対話支援装置の翻訳発話情報の出力例および表示例を示す図である。（実施の形態１） 図１５は、図１４に示したユーザ２の発話に対して、さらに更新された対話履歴格納部の内容とそれに応じて時刻計算部によって算出される次の探索時間の上限ｔの例を示す図である。（実施の形態１） 図１６は、図１４に示したユーザ２の発話に対して、ユーザ１が発話した際の対話支援装置の翻訳発話情報の出力例および表示例を示す図である。（実施の形態１） 図１７は、図１６に示したユーザ１の発話に対して、さらに更新された対話履歴格納部の内容とそれに応じて時刻計算部によって算出される次の探索時間の上限ｔの例を示す図である。（実施の形態１） 図１８は、本発明の対話支援装置による効果を、従来方式の対話支援装置と、対話履歴及び探索時間の上限で対比した図である。（実施の形態１） 図１９は、本発明の対話支援装置による平均翻訳処理時間と従来方式による平均翻訳処理時間との対比を示すグラフである。（実施の形態１） 図２０は、本発明の対話支援装置の変形例の構成を示すブロック図である。（実施の形態１） 図２１は、本発明の対話支援装置の変形例のユーザインタフェースを示す図である。（実施の形態１） 図２２は、本発明の対話支援装置の第２の変形例の構成を示すブロック図である。（実施の形態１） 図２３は、実施の形態２の対話支援装置のユーザインタフェースを示す図である。（実施の形態２） 図２４は、言語１が中国語で、言語２が英語である場合の特徴テーブルのデータ構成の一例を示す図である。（実施の形態２） 図２５は、最初にユーザ１が発話した際の対話支援装置の翻訳発話情報の出力例および表示例を示す図である。（実施の形態２） 図２６は、図２５に示したユーザ１の発話に対して更新された対話履歴格納部の内容とそれに応じて時刻計算部によって算出される次の探索時間の上限ｔの例を示す図である。（実施の形態２） 図２７は、ユーザ１の発話に対して、ユーザ２が発話した際の対話支援装置の翻訳発話情報の出力例および表示例を示す図である。（実施の形態２） 図２８は、図２７に示したユーザ２の発話に対して、さらに更新された対話履歴格納部の内容とそれに応じて時刻計算部によって算出される次の探索時間の上限ｔの例を示す図である。（実施の形態２） 図２９は、図２７に示したユーザ２の発話に対して、ユーザ１が発話した際の対話支援装置の翻訳発話情報の出力例および表示例を示す図である。（実施の形態２） 図３０は、図２９に示したユーザ１の発話に対して、さらに更新された対話履歴格納部の内容とそれに応じて時刻計算部によって算出される次の探索時間の上限ｔの例を示す図である。（実施の形態２） 図３１は、本発明の対話支援装置による効果と、従来方式の対話支援装置による効果とを、対話履歴及び探索時間の上限で対比した図である。（実施の形態２） 図３２は、本発明の対話支援装置の変形例の構成を示すブロック図である。（実施の形態２） 図３３は、本発明の対話支援装置のハードウェア構成の一例を示すブロック図である。（実施の形態１）（実施の形態２）

符号の説明

１０１ 第１入力部
１０２ 第１翻訳処理部
１０３ 第１出力部
１０４ 第２入力部
１０５ 第２翻訳出力部
１０６ 第２出力部
１０７ 出力時刻決定部
２０１ 対話履歴格納部
２０２ 対話履歴解析部
２０３ 計算資源情報部
２０４ 時刻計算部
３０１ マイク
３０２ 発話情報
３０３ 入力開始ボタン
３０４ スピーカ
３０５ 翻訳発話情報
３０６ 翻訳処理開始ボタン
３０７ マイク
３０８ 発話情報
３０９ 入力開始ボタン
３１０ スピーカ
３１１ 翻訳発話情報
３１２ 翻訳処理開始ボタン
Ｓ４０１ 出力時刻初期化ステップ
Ｓ４０２ 発話入力待ちステップ
Ｓ４０３ 出力時刻計算ステップ
７０１ 対話履歴格納部２０１の内容
７０２ 第１翻訳処理部または第２翻訳処理部の出力内容
７０３ 時刻計算部２０４の動作
９０１ 対話履歴格納部２０１の内容
９０２ 第１翻訳処理部または第２翻訳処理部の出力内容
９０３ 時刻計算部２０４の動作
１１０１ 対話履歴格納部２０１の内容
１１０２ 第１翻訳処理部または第２翻訳処理部の出力内容
１１０３ 時刻計算部２０４の動作
１３０１ 対話履歴格納部２０１の内容
１３０２ 第１翻訳処理部または第２翻訳処理部の出力内容
１３０３ 時刻計算部２０４の動作
１４０１ 従来の方式で支援された対話
１４０２ 本発明で支援された対話
１５０１、１５０２ 端末
１５０３〜１５１０ 通信部
１７０１、１７０２ 端末
１７０３ サーバ
１７０４〜１７１１ 通信部
１９０１ 音声認識部
１９０２ 発話情報記憶部
３２００ 対話支援装置
３２０１ スピーカ
３２０２ マイク
３２０３ 外部メモリ
３２０４ 表示部
３２０５ ＲＯＭ
３２０６ ＣＰＵ（プロセッサ）
３２０７ ＲＡＭ
３２０８ 通信部
３２０９ 入力部
３２１０ バス

Claims (16)

1. 異なる言語の対話を支援する対話支援装置であって、
   ユーザの発話を入力として受け付ける入力部と、
   受け付けられた前記発話を所定の言語に翻訳し、翻訳して得られる翻訳発話情報を出力する翻訳処理部と、
   出力された前記翻訳発話情報をユーザに伝達出力する出力部と、
   あらかじめ定められた発話の特徴を表す情報と、前記情報を含んだ発話への応答である発話の翻訳時間を前記発話の特徴に応じて調整するための情報とを対応付けて示した特徴テーブルを保持し、前記特徴テーブルを参照して、前記ユーザの発話に前記特徴を表す情報が含まれるか否かを解析して、次に受け付けられる発話を翻訳するための翻訳時間を決定する出力時刻決定部と
   を備えることを特徴とする対話支援装置。
2. 前記入力部は、第１の言語による第１ユーザの発話を入力として受け付ける第１入力部と、第２の言語による第２ユーザの発話を入力として受け付ける第２入力部とを備え、
   前記翻訳処理部は、前記第１ユーザの発話を第２の言語に翻訳し、翻訳して得られる第１翻訳発話情報を出力する第１翻訳処理部と、前記第２ユーザの発話を前記第１の言語に翻訳し、翻訳して得られる第２翻訳発話情報を出力する第２翻訳処理部とを備え、
   前記出力部は、出力された前記第１翻訳発話情報を第２ユーザへ伝達出力する第１出力部と、出力された前記第２翻訳発話情報を第１ユーザへ伝達出力する第２出力部とを備え、
   前記出力時刻決定部は、前記第１ユーザの発話又は前記第２ユーザの発話に含まれる前記特徴を表す情報が含まれるか否かを解析して、前記第１ユーザの発話又は前記第２ユーザの発話の次に受け付けられる発話を前記第１翻訳処理部又は前記第２翻訳処理部が翻訳する翻訳時間の上限を示す出力時刻を決定し、
   前記第１翻訳処理部又は前記第２翻訳処理部は、前記出力時刻までに得られた翻訳結果である前記第１翻訳発話情報又は前記第２翻訳発話情報を出力する
   ことを特徴とする請求項１記載の対話支援装置。
3. 前記翻訳処理部は統計機械翻訳方式によって翻訳処理を行なう
   ことを特徴とする請求項２記載の対話支援装置。
4. 前記出力時刻決定部は、前記第１ユーザの発話を文字列とした第１発話情報と、前記第２ユーザの発話を文字列とした第２発話情報との履歴を、発話の順に保持し、前記履歴に含まれる先の第１発話情報又は第２発話情報の特徴を参照して、次に保持される第１発話情報又は第２発話情報の前記出力時刻を決定する
   ことを特徴とする請求項２記載の対話支援装置。
5. 前記出力時刻決定部が前記出力時刻を決定する根拠となる前記特徴の種類は、相互理解であり、前記解析の結果、受け付けられた前記発話に相互理解の特徴が含まれている場合、前記翻訳時間がより短くなるよう、前記出力時刻を決定する
   ことを特徴とする請求項２記載の対話支援装置。
6. 前記出力時刻決定部が前記出力時刻を決定する根拠となる前記特徴の種類は、表層表現の連続性であり、前記解析の結果、受け付けられた前記発話に表層表現の連続性を示す特徴が含まれている場合、前記翻訳時間がより短くなるよう前記出力時刻を決定し、前記発話に表層表現の不連続性を示す特徴が含まれている場合、前記翻訳時間がより長くなるよう前記出力時刻を決定する
   ことを特徴とする請求項２記載の対話支援装置。
7. 前記出力時刻決定部が前記出力時刻を決定する根拠となる前記特徴の種類は、話題転換であり、前記解析の結果、受け付けられた前記発話に話題転換の特徴が含まれている場合、前記翻訳時間が標準的な長さになるよう、前記出力時刻を初期値に決定する
   ことを特徴とする請求項２記載の対話支援装置。
8. 前記対話支援装置は、さらに、前記対話支援装置の計算資源に関する情報を提供する計算資源情報部を備え、
   前記出力時刻決定部は、計算資源に関する前記情報を参照して、前記第１翻訳発話情報又は前記第２翻訳発話情報の出力時刻を決定する
   ことを特徴とする請求項２記載の対話支援装置。
9. 前記第１出力部及び前記第２出力部の少なくとも一方は、
   第１翻訳発話情報及び／又は第２翻訳発話情報を合成音声で再生する音声合成部と、
   第１翻訳発話情報及び／又は第２翻訳発話情報を表示出力する文字画像表示部と
   を備えることを特徴とする請求項２記載の対話支援装置。
10. 前記音声合成部は、前記第１翻訳発話情報及び／又は前記第２翻訳発話情報の尤度が一定の閾値よりも低い場合は動作しない
    ことを特徴とする請求項９記載の対話支援装置。
11. 前記文字画像表示部は、前記第１翻訳発話情報及び／又は前記第２翻訳発話情報の尤度が一定の閾値よりも低い場合は、前記第１翻訳発話情報及び／又は前記第２翻訳発話情報に含まれる自立語だけを強調表示する
    ことを特徴とする請求項９記載の対話支援装置。
12. 通信網を介して互いに通信を行なうユーザごとの対話支援装置により、異なる言語の対話を支援する対話支援システムであって、
    第１の対話支援装置は、
    第１の言語による第１ユーザの発話を入力として受け付ける第１入力部と、
    受け付けられた前記第１ユーザの発話を所定の言語に翻訳し、翻訳して得られる第１翻訳発話情報を出力する第１翻訳処理部と、
    出力された前記第１翻訳発話情報を、第２の対話支援装置へ送信する第１送信部と、
    あらかじめ定められた発話の特徴を表す情報と、前記情報を含んだ発話への応答である発話の翻訳時間を前記発話の特徴に応じて調整するための情報とを対応付けて示した特徴テーブルを保持し、前記特徴テーブルを参照して、前記第１ユーザの発話に前記特徴を表す情報が含まれるか否かを解析して、前記第１ユーザの発話の次に受け付けられる発話を翻訳する翻訳時間の上限を示す出力時刻を決定する第１出力時刻決定部と、
    決定された前記出力時刻を前記第２の対話支援装置へ送信する第１出力時刻送信部とを備え、
    前記第２の対話支援装置は、
    前記第１の対話支援装置から前記第１翻訳発話情報を受信し、第２ユーザに伝達する第２受信部と、
    前記第１の対話支援装置で決定された前記出力時刻を前記第１の対話支援装置から受信する第２出力時刻受信部と、
    前記所定の言語による第２ユーザの発話を入力として受け付ける第２入力部と、
    受け付けられた前記第２ユーザの発話を前記第１の言語に翻訳し、翻訳して得られる第２翻訳発話情報を出力する第２翻訳処理部と、
    出力された前記第２翻訳発話情報を、前記第１の対話支援装置へ送信する第２送信部とを備え、
    前記第２翻訳処理部は、受信された前記出力時刻までに得られた翻訳結果である前記第２翻訳発話情報を出力する
    ことを特徴とする対話支援システム。
13. 通信網を介してサーバに接続される第１の対話支援装置および第２の対話支援装置を用いて、対話を支援する対話支援システムであって、
    前記第１の対話支援装置は、
    第１の言語で話された第１ユーザの発話を入力として受け付ける第１入力部と、
    受け付けられた前記第１ユーザの発話を、前記サーバへ送信する第１送信部と、
    前記第１ユーザの発話に対する第２ユーザの発話を前記第１の言語に翻訳した翻訳結果である第２翻訳発話情報を、前記サーバから受信する第２受信部と、
    受信された前記第２翻訳発話情報を、前記第１ユーザに伝達する第１出力部とを備え、
    前記第２の対話支援装置は、
    第２の言語で話された第２ユーザの発話を入力として受け付ける第２入力部と、
    受け付けられた前記第２ユーザの発話を、前記サーバへ送信する第２送信部と、
    前記第２ユーザの発話に対する前記第１ユーザの発話を前記第２の言語に翻訳した翻訳結果である第１翻訳発話情報を、前記サーバから受信する第１受信部と、
    受信された前記第１翻訳発話情報を、前記第２ユーザに伝達する第２出力部とを備え、
    前記サーバは、
    前記第１の対話支援装置から前記第１ユーザの発話を受信する第１発話受信部と、
    受信された前記第１ユーザの発話を前記第２の言語に翻訳し、翻訳して得られる第１翻訳発話情報を出力する第１翻訳処理部と、
    出力された第１翻訳発話情報を、前記第２の対話支援装置へ送信する第１送信部と、
    前記第２の対話支援装置から前記第２ユーザの発話を受信する第２発話受信部と、
    受信された前記第２ユーザの発話を前記第１の言語に翻訳し、翻訳して得られる第２翻訳発話情報を出力する第２翻訳処理部と、
    出力された第２翻訳発話情報を、前記第１の対話支援装置へ送信する第２送信部と、
    あらかじめ定められた発話の特徴を表す情報と、前記情報を含んだ発話への応答である発話の翻訳時間を前記発話の特徴に応じて調整するための情報とを対応付けて示した特徴テーブルを保持し、前記特徴テーブルを参照して、受信された前記第１ユーザの発話又は前記第２ユーザの発話に前記特徴を表す情報が含まれるか否かを解析して、前記発話の次に受信される発話を翻訳する前記第１翻訳処理部又は前記第２翻訳処理部の翻訳時間の上限を示す出力時刻を決定する出力時刻決定部とを備え、
    前記第１翻訳処理部又は前記第２翻訳処理部は、決定された前記出力時刻までに、得られた翻訳結果である前記第１翻訳発話情報又は前記第２翻訳発話情報を出力する
    ことを特徴とする対話支援システム。
14. 異なる言語の対話を支援する対話支援方法であって、
    ユーザの発話を入力部が入力として受け付ける入力ステップと、
    受け付けられた前記発話を翻訳処理部が所定の言語に翻訳し、翻訳して得られる翻訳発話情報を出力する翻訳処理ステップと、
    出力された前記翻訳発話情報を出力部がユーザに伝達出力する出力ステップと、
    出力時刻決定部が、あらかじめ定められた発話の特徴を表す情報と、前記情報を含んだ発話への応答である発話の翻訳時間を前記発話の特徴に応じて調整するための情報とを対応付けて示した特徴テーブルを保持し、前記特徴テーブルを参照して、前記ユーザの発話に前記特徴を表す情報が含まれるか否かを解析して、次に受け付けられる発話を翻訳するための翻訳時間を決定する出力時刻決定ステップと
    を含むことを特徴とする対話支援方法。
15. 異なる言語の対話を支援する対話支援装置のためのプログラムであって、コンピュータに
    ユーザの発話を入力部が入力として受け付ける入力ステップと、受け付けられた前記発話を翻訳処理部が所定の言語に翻訳し、翻訳して得られる翻訳発話情報を出力する翻訳処理ステップと、出力された前記翻訳発話情報を出力部がユーザに伝達出力する出力ステップと、出力時刻決定部が、あらかじめ定められた発話の特徴を表す情報と、前記情報を含んだ発話への応答である発話の翻訳時間を前記発話の特徴に応じて調整するための情報とを対応付けて示した特徴テーブルを保持し、前記特徴テーブルを参照して、前記ユーザの発話に前記特徴を表す情報が含まれるか否かを解析して、次に受け付けられる発話を翻訳するための翻訳時間を決定する出力時刻決定ステップとを実行させるプログラム。
16. 異なる言語の対話を支援する対話支援装置であって、
    ユーザの発話を入力として受け付ける入力部と、
    あらかじめ定められた発話の特徴を表す情報と、前記情報を含んだ発話への応答である発話の翻訳時間を前記発話の特徴に応じて調整するための情報とを対応付けて示した特徴 テーブルを保持し、受け付けられた前記発話を所定の言語に翻訳し、翻訳して得られる翻訳発話情報を出力する翻訳処理ステップと、前記特徴テーブルを参照して、前記ユーザの発話に前記特徴を表す情報が含まれるか否かを解析して、次に受け付けられる発話を翻訳するための翻訳時間を決定する出力時刻決定ステップとを含むプログラムが格納されている記憶部と、
    前記記憶手段に記憶されたプログラムを実行するプロセッサと、
    前記プロセッサにより出力された前記翻訳発話情報をユーザに伝達出力する出力部と
    を備えることを特徴とする対話支援装置。

Images