JP4103085B2 - 異言語間対話処理方法およびその装置、ならびにそのプログラムと記録媒体 - Google Patents

Description

本発明は、複数の端末部それぞれで異なる言語を使用する対話者の間の意思疎通を可能にする異言語間対話処理方法およびその装置、ならびにそのプログラムと記録媒体に関する。

従来の異言語間対話処理方法に関する技術では、一方の話者がある言語で入力した全ての発話内容を音声認識装置で認識し、それを機械翻訳装置で別の言語に翻訳して、音声合成装置などにより別の言語で別の話者に伝達する方法を用いていた（オーム社発行 『ＡＴＲ先端テクノロジーシリーズ 自動翻訳電話』１９９４年（非特許文献１参照））。
すなわち、機械による同時通訳を考えるとき、（１）音声認識レベル、（２）言語間の変換（翻訳）のレベル、（３）音声合成のレベル、の３つに分けて考えられる。第１のレベルは、入力された音声を単語の系列に変換（翻訳）するか（単語単位の音声認識の場合）、またはＶＣあるいは単音節のようなより基本的な音響音声単位の系列として認識され、辞書と簡単な文法により単語の系列に変換する（ＮＴＴ Ｒ＆Ｄ ２０００年３月号（メディア処理技術）（非特許文献２参照））。

第２のレベルは、理解された内容が、言語Ａから言語Ｂに変換される。文法的構造のよく似た同一言語系に属する言語間では、変換は比較的簡単であるが、その全く異なる言語間の変換は容易ではない（アジア太平洋機械翻訳協会発行『−機械翻訳−２１世紀のビジョン』２０００年（非特許文献３参照））。
第３のレベルは、単語またはその系列からなる句、文のようなものが、それから音声を発生するに必要な情報に変換され、音声が発生される（音声の合成と認識（総合電子出版社発行）（非特許文献４参照）。

オーム社発行 『ＡＴＲ先端テクノロジーシリーズ 自動翻訳電話』１９９４年 ＮＴＴ Ｒ＆Ｄ ２０００年３月号（メディア処理技術） アジア太平洋機械翻訳協会発行『−機械翻訳−２１世紀のビジョン』２０００年 総合電子出版社発行、中田和男著『音声の合成と認識』１９８０年

しかしながら、従来の異言語間対話処理方法に関する技術においては、音声認識の性能が十分でないため、入力した発話内容と異なる音声認識結果が得られることが多い。また、機械翻訳の性能も十分でないために、発話内容と異なる別の言語への翻訳結果となることも多い。このような状況のため、一方の対話者が発話した内容を他方の話者に正しく伝えることができない場合が多く、従来の技術によって異なる言語による対話者間の意思疎通を実用レベルで実現することは極めて困難であった。

そこで、本発明の目的は、必ずしも常に正しい結果を出力するとは限らない現状の技術レベルの音声認識や機械翻訳などの技術を用いて、異なる言語による意思疎通を実現することが可能な異言語間対話処理方法およびその装置、ならびにそのプログラムと記録媒体を提供することである。

本発明の原理は、対話者の発話の理解結果を確認しながら対話の制御を行うことである。すなわち、従来の技術のように、一方の対話者の発話に対する発話理解結果をそのまま他方の対話者に伝えるのではなく、予め記憶した対話シナリオを参照することにより、対話制御部から発話した話者に発話理解結果の確認を行うか、他方の対話者に対する応答をするか、の判断を行う。従って、対話制御部は、発話した対話者とは異なる他方の対話者に、他方の対話者が使用する言語で正しく応答可能と判断できる場合を対話シナリオで指定し、その場合に相当すれば、発話した対話者とは異なる他方の対話者に、他方の対話者が使用する言語で指定された応答内容を伝達することにより、必ずしも常に正しい結果を出力するとは限らない現状の技術レベルの音声認識や機械翻訳などの技術を使って、異なる言語による対話者間の意思疎通を実現する。

また、予め記憶した対話シナリオで想定していない発話を対話者が行った場合でも、対話を続行することができるように、予め対話シナリオと対応づけて記憶したキーフレーズが音声認識結果に含まれるときのみ、該対話シナリオに基づいて、上記対話の制御を行うように構成することや、一方の対話者の発話に対する音声認識結果の翻訳結果、あるいは、発話理解結果をそのまま他方の対話者に伝え、他方の対話者がその内容を理解できれば、対話シナリオとは無関係に応答を入力することができるように構成することもできる。

具体的に、本発明の異言語間対話処理方法は、それぞれ異なる言語を使用する利用者により対話を行うための複数の端末部を対話制御部を介して接続し、該対話制御部により端末部相互間の意思疎通を図る異言語間対話処理方法であって、該対話制御部は、第１の対話者が第１の言語で第１の端末部を介して発話した文を音声認識部により認識し、発話された文の内容を理解し、予め記憶した対話シナリオを参照し、前記発話を理解した結果により、（１）第１の対話者が利用する第１の端末部に対する応答内容を決定し、該応答内容を第１の言語で該第１の端末部に伝達するか、あるいは、（２）第２の対話者が利用する第２の端末部に対する応答内容を決定し、該応答内容を第２の言語で該第２の端末部に伝達するか、あるいは、（３）対話を終了するか、のいずれかを選択実行する第１のステップと、前記（１）の場合には、第１の対話者が利用する第１の端末部に、応答内容に対する発話を求め、前記第１のステップを繰り返し実行し、前記（２）の場合には、第２の対話者が利用する第２の端末部に応答内容に対する発話を求める第２のステップと、第２の対話者が第２の言語で第２の端末部を介して発話し、発話した発話内容を音声認識部により認識し、該発話の内容を発話理解部により理解し、対話制御部において予め記憶した対話シナリオを参照し、該発話を理解した結果により、（１’）第２の対話者が利用する第２の端末部に対する応答内容を決定し、該応答内容を第２の言語で該第２の端末部に伝達するか、あるいは、（２’）第１の対話者が利用する第１の端末部に対する応答内容を決定し、該応答内容を第１の言語で該第１の端末部に伝達するか、あるいは、（３’）対話を終了するか、のいずれかを選択実行する第３のステップと、前記（１’）の場合には、第２の対話者が利用する第２の端末部に、応答内容に対する発話を求め、前記第３のステップを繰り返し実行し、前記（２’）の場合には、第１の対話者が利用する第１の端末部に、応答内容に対する発話を求め、前記第１のステップを繰り返し実行する第４のステップとを有することを特徴としている。

また、前記対話制御部から前記対話者が利用する端末部に応答内容を伝達する場合、対話シナリオに記載された応答内容ごとに定型対話文を用意しておき、照合した応答内容が指定する定型対話文を使用して応答内容を伝達することを特徴としている。

さらに、前記対話制御部から前記対話者が利用する端末部に応答内容を伝達する場合で、特に、最も直前に発話を行った対話者とは異なる対話者が利用する端末部に、上記応答内容を伝達する場合には、該定型対話文、あるいは、該定型対話文の一部に対して機械翻訳部による変換結果を組み合わせて、応答内容を伝達することも特徴としている。

さらに、前記対話制御部は、
第１の対話者が第１の言語で第１の端末部を介して発話した文を前記音声認識部により認識し、該認識結果を第２の言語に翻訳した翻訳結果を第２の端末部に伝達し、第２の対話者が第２の言語で第２の端末部を介して発話した文を前記音声認識部により認識し、該認識結果を第１の言語に翻訳した翻訳結果を第１の端末部に伝達する第５のステップをさらに有し、
（ａ）自由発話状態と、（ｂ）対話理解状態のいずれかの状態を有し、
（ａ）自由発話状態の場合は、前記第５のステップを繰り返し実行するとともに、予め対話シナリオと関連付けて前記対話制御部に記憶したキーフレーズを前記認識結果が含むならば、状態を前記（ｂ）対話状態に変更するか、
（ｂ）対話理解状態の場合は、前記第１から第４のステップを実行し、
前記第１のステップにおいて、前記（１）から（３）に加えて、（４）状態を（ｂ）対話理解状態に変更するか、のいずれかを選択実行することも特徴としている。

また、前記第１のステップは、さらに、
第１の対話者が第１の言語で第１の端末部を介して発話した文を前記音声認識部により認識し、該認識結果を第２の言語に翻訳した翻訳結果を第２の端末部に伝達し、
第２の対話者からの第２の言語による入力を受け付け、入力があった場合には、
前記（１）の場合に、前記決定した応答内容を第１の端末部に伝達せず、該入力を第１の言語に翻訳して該第１の端末部に伝達し、
前記第３のステップは、さらに、
第２の対話者が第２の言語で第２の端末部を介して発話した文を前記音声認識部により認識し、該認識結果を第１の言語に翻訳した翻訳した翻訳結果を第１の端末部に伝達し、
第１の対話者からの第１の言語による入力を受け付け、入力があった場合には、
前記（１’）の場合に、前記決定した応答内容を第２の端末部に伝達せずに、該入力を第２の言語に翻訳して第２の端末部に伝達することも特徴としている。

以上説明したように、本発明によれば、対話者の発話の理解結果を確認しながら、対話の制御を行うので、必ずしも常に正しい結果を出力するとは限らない現状の技術レベルの音声認識や機械翻訳などの技術を用いて、異なる言語による対話者間の意思疎通を実現することが可能になる。
また、予め記憶した対話シナリオで想定していない発話を対話者が行った場合でも、システムが対話シナリオに沿って不自然に応答することなく、対話者間の対話を続行して意思疎通を実現することができる。

以下、本発明の実施形態を、図面により詳細に説明する。
（装置の構成）
図１は、本発明の実施形態に係る異言語間対話処理装置のブロック構成図である。
本実施形態の異言語間対話処理装置（対話システム）は、図１に示すように、音声認識部１１および発話理解部１２と結合した端末部１０と、音声認識部２１および発話理解部２２と結合した端末部２０と、対話シナリオ記憶部４０および定型対話文データ記憶部５０が参照可能で、かつ機械翻訳部３１と結合した対話制御部３０とから構成されている。
端末部１０には対話者Ａが、端末部２０には対話者Ｂが、それぞれ音声で入力するとともに、出力した音声を聞く役目を行う。

以下、本実施形態の対話システムにより、対話者Ａは端末部１０を介して日本語で、対話者Ｂは端末部２０を介して英語で、対話を行うものとする。
まず、対話システムは、対話制御部３０が対話シナリオ記憶部４０を参照し、対話端末部１０を介して対話者Ａに、または端末部２０を介して対話者Ｂに発話を求める。発話を求められた対話者Ａ，Ｂは、端末部１０，２０を介して発話を入力し、その発話を端末部１０，２０と結合した音声認識部１１，２１を使用して音声認識結果を得る。

その音声認識結果を発話理解部１２，２２が発話理解し、その発話理解結果に対応する次の処理を、対話制御部３０が対話シナリオ記憶部４０を参照することにより決定し、これを実行する。
次の処理の選択肢としては、入力した対話者ＡまたはＢ側の端末部１０または２０で扱う言語で、音声合成や画面表示により、発話理解結果に応じた応答内容を、定型対話文データ記憶部５０に記載された定型対話文を使って伝達し、入力した対話者Ａ，Ｂに次の発話を求めるか、あるいは、入力した対話者がＡなら別の端末部２０を介して端末部２０で扱う言語で、入力した対話者がＢなら別の端末部１０を介して端末部１０で扱う言語で、音声合成や画面表示により、発話理解結果に応じた応答内容を、定型対話文データ記憶部５０に記載された定型対話文と、機械翻訳部３１の翻訳結果と、を使って伝達し、入力した対話者がＡなら別の対話者Ｂに、入力した対話者がＢなら別の対話者Ａに、次の発話を求めるか、あるいは、対話を終了するか、のいずれか一つを選択する。

対話制御部３０において、次の処理が対話の終了と決定されるまで、発話を求められた対話者Ａ，Ｂが、その対話者Ａ，Ｂ側の端末部１０，２０を介して発話を入力し、対話を続行する。
端末部１０，２０での発話入力においては、音声認識だけでなく、対話者Ａ，Ｂが文字認識装置で入力し、システムが文字認識する方法や、対話者がキーボード入力した文字列をシステムがそのまま受理する方法を併用して、本実施形態を実施することも可能である。
端末部１０，２０での、定型対話文を使った発話内容の伝達においては、音声合成装置で音声出力する方法、あるいは画面表示による方法、あるいは音声合成装置での音声出力と画面表示を併用する方法、により本実施形態を実施することが可能である。

（対話シナリオ）
図２は、本発明の実施形態に係る対話シナリオの例を示す説明図である。
図１の対話シナリオ記憶部４０には、図２に示すようなフォーマットで内容が記憶されている。すなわち、対話シナリオ記憶部４０は、対話状態、発話理解結果、応答先、応答内容、次の対話状態の各項目を持つ表形式で構成され、初期状態の対話状態から始まり終了状態の対話状態となるまで対話が継続する間の対話状態の推移を、それぞれの対話状態で得られたシステムの発話理解結果それぞれに対して、システムがどの対話者を応答先として、どのような応答内容で応答を行い、その結果、どの次対話状態になるかを規定している。

図２では、対話者の一方が日時と人数で予約の可否を問い合わせ、もう一方の対話者が予約の受け付けを行う対話シナリオの例を示している。図２において、発話理解結果の日にち＝Ｘ、時刻＝Ｙのような表記は、日にちをＸ、時刻をＹと発話理解したことを表す。ＸやＹは変項部分であり、対話中になされる具体的な発話の発話理解結果により、Ｘには１９日などの具体的な日にち、Ｙには７時などの具体的な時刻が代入される。ＸやＹなどの変項に代入された値は、新たな値が代入され、更新されるまでは、保持されるものとする。

また、これらの対話シナリオを、図９に示すように、キーフレーズと対応づけて対話シナリオ記憶部４０に記憶するように構成することもできる。
キーフレーズが含まれている発話があったときのみに、対応づけられている対話シナリオを実行することで、対話シナリオで想定していない発話があっても、対話シナリオに沿った不自然な応答を対話者に伝達することを避けることができる。
図９では、キーフレーズ『予約』，『席を取る』に対応づけて、図２に示す予約シナリオを記憶し、キーフレーズ『注文』に対応づけて、注文シナリオを記憶している。注文シナリオは、予約シナリオと同様に、対話者から注文の品名や数量を聞き出す対話シナリオである。キーフレーズは、複数の単語であったり、それらの単語の発音記号であってもよい。
図９のように、複数の対話シナリオを用意しておけば、対話者の所望する対話の状況に応じてそれらの対話シナリオを使い分けることが可能となる。

（定型対話文データ）
図３は、本発明の実施形態に係る定型対話文データの例を示す説明図である。
図３では、応答内容ごとに、対応する定型対話文を用意した定型対話文データが示されている。応答内容から日本語や英語などの対話文を生成する具体的方法として、図２のような対話シナリオに指定された応答内容に対応する定型対話文を図３に示すような定型文対話データから求め、求めた定型対話文を使って対話文を生成する。なお、ここで、定型対話文データを参照する方法の代わりに、自然言語文生成の従来技術を利用して、応答内容から日本語や英語などの対話文を生成する方法により、本発明を実施することも可能である。

図３では、例えば、日時を聞くためには、定型対話文として、『予約の日時をおっしゃって下さい』が登録されている。同じように、日にち＝Ｘ、時刻＝Ｙを確認し、人数を聞くためには、『ＸのＹから何名様でしようか。』が登録されている。また、日にち＝Ｘを確認した後に、時刻を聞くときには、『Ｘの何時でしようか。』が登録されている。また、逆に時刻＝Ｙを確認した後に、日にちを聞くときには、『何日のＹでしようか。』が登録されている。また、日にち＝Ｘと時刻＝Ｙと人数＝Ｚを確認するためには、『ＸのＹからＺ様の御予約でよろしいでしようか。』が登録される。日時を再度聞くときには、『予約の日時をもう一度お願いします。』が登録されている。予約可を伝え、かつ名前を聞くときには、『予約はおとりできます。お客様のお名前と電話番号を教えてください。』が登録されている。対話終了を伝達するときには、『ありがとうございました。』が登録されている。

（対話の例）
図４は、本発明の実施形態に係る対話の例を示す説明図である。
図４では、図２の対話シナリオと、図３の定型対話文データに従って、レストランやホテル等の予約を受け付ける異言語間対話の例を示している。
以下、図２に示す対話シナリオと図３に示す応答内容ごとの定型対話文データに従って、図４の対話が行われるプロセスを説明する。
対話は初期状態の対話状態から開始され、システムは応答先に指定された端末部１０に対して図２で指定された応答内容として予約の日時を聞く。

予約の日時を聞くという発話内容から、図３に示す定型対話文データを参照して『予約の日時をおっしゃってください』という日本語文で端末部１０に応答し、図２の次対話状態の指定により初期状態からＡ１０へ対話状態が遷移する。
図４の対話例では、『予約の日時をおっしゃってください』という応答に対して、対話者Ａが『１９日７時でお願いしたいんですけれど。』と発話しており、システムはその発話に対して〔日にち＝Ｘ，時刻＝Ｙ〕を具体化した日にち＝２９日、時刻＝７時、のように日にちの方を音声認識部１１で誤認識し、発話理解部２１で誤った発話理解をしている。

Ａ１０で〔日にち＝Ｘ，時刻＝Ｙ〕という発話理解を行ったので、応答内容〔日にち＝Ｘと時刻＝Ｙを確認し、人数を聞く〕の定型対話文を図３から参照して、Ｘに２９日を、Ｙに７時を代入して、『２９日の７時から何名様でしようか。』と端末部１０を通じて対話者Ａに応答する。このとき、図２に従って対話状態Ａ１０から次対話状態Ａ２０に遷移する。対話者Ａはシステムが誤認識していることを判断して『日にちが違います、１９日の７時です。』と答えると、再び音声認識部１１で音声認識を行い、発話理解部１２で、日にち＝１９日とＸの値を更新する〔日にち＝Ｘ（訂正）〕の発話理解結果を得、図２で指定された応答内容と図３の定型対話文に従って『１９日の７時から何名様でしようか。』と対話者Ａに応答している。

次対話状態はＡ２０のままである。次に、対話者Ａはシステムが日にちを正しく認識および理解していると判断して『１０人で予約お願いします。』と発話しており、その発話を音声認識部１１による認識結果から、システムが〔人数＝Ｚ〕でＺの値が１０人と発話理解部１２で発話理解し、応答内容〔日にち＝Ｘと時刻＝Ｙと人数＝Ｚを確認〕の定型対話文『ＸのＹからＺ様の御予約でよろしいでしようか。』を使って、『１９日の７時から１０名様の御予約でよろしいでしようか。』と対話者Ａに応答し、次対話状態Ａ３０に遷移する。

対話者Ａは『はい、お願いします。』と発話し、この発話に対する音声認識部１１による認識結果から〔肯定〕とシステムは発話理解部１２で発話理解し、〔日にち＝Ｘと時刻＝Ｙと人数＝Ｚを伝達〕という応答内容に対応する“Ｉ ｈａｖｅ ａ ｒｅｑｕｅｓｔ ｆｏｒ ａ ｒｅｓｅｒｖａｔｉｏｎ ｏｎ ｔｈｅ Ｘ，ａｔ Ｙ，ｆｏｒ Ｚ．Ｉｓ ｔｈｉｓ ｐｏｓｓｉｂｌｅ？”に対して１９日、７時、１０人を英語に機械翻訳して、それぞれＸ，Ｙ，Ｚに代入し、“Ｉ ｈａｖｅ ａ ｒｅｑｕｅｓｔ ｆｏｒ ａ ｒｅｓｅｒｖａｔｉｏｎ ｏｎ ｔｈｅ ｎｉｎｅｔｅｅｎｔｈ，ａｔ ｓｅｖｅｎ ｏ’ｃｌｏｃｋ，ｆｏｒ ｔｅｎ ｐｅｏｐｌｅ．Ｉｓ ｔｈｉｓ ｐｏｓｓｉｂｌｅ？”という定型対話文を対話者Ｂが利用する端末部２０に伝達し、次対話状態Ｂ１０に遷移する。

ここで、機械翻訳部３１により機械翻訳を使用することができれば、１１ｔｈと２１ｓｔ、ｏｎｅ ｏ’ｃｌｏｃｋとｏｎｅ ｔｈｉｒｔｙ、ｏｎｅ ｐｅｒｓｏｎとｔｗｏ ｐｅｏｐｌｅのように、日にちの数字や時刻の言い回し、人数の単複による訳し分けなどを簡単に行うことができる。ここで適用する機械翻訳には、従来の機械翻訳技術を使用することができる。
対話者Ｂは“Ｙｅｓ，ｉｔ’ｓ ｐｏｓｓｉｂｌｅ”と英語で発話を行い、音声認識部２１による認識結果からシステムが〔予約可〕と発話理解部２２で発話理解して、応答内容〔予約可を確認〕に対する定型対話文“Ｓｈａｌｌ Ｉ ｇｏ ａｈｅａｄ ａｎｄ ｔｅｌｌ ｔｈｅ ｃｕｓｔｏｍｅｒ ｔｈｅｉｒ ｒｅｑｕｅｓｔ ｉｓ ｐｏｓｓｉｂｌｅ？”を端末部２０を通じて対話者Ｂに応答する。対話状態はＢ１０から次対話状態Ｂ１１に遷移し、Ｂ１１で対話者Ｂの発話“Ｙｅｓ”を音声認識部２１で認識し、〔肯定〕と発話理解部２２で発話理解する。

次に、発話内容〔予約可能を伝え名前を聞く〕に対する『予約はおとりできます。お客様のお名前と電話番号をお教えてください。』という日本語の定型対話文を対話者Ａに端末部１０を介して伝える。そして、対話状態Ｂ１１から次対話状態Ａ５０に遷移する。
このような対話処理によりシステムを介した対話者Ａと対話者Ｂの対話を続けていき、対話状態Ａ９０に遷移したものとする。遷移した対話状態Ａ９０で対話者Ａの発話を音声認識部１１で認識し、〔確認〕という理解結果が発話理解部１２で得られ、応答内容〔対話終了を確認〕に対する定型対話文『終了しますか。』を対話者Ａに端末部１０を介して伝え、次対話状態Ａ９１に遷移する。ここで、対話者Ａが『はい、終わります。』と発話し、音声認識部１１による認識結果からシステムがこれを〔肯定〕と発話理解部１２で発話理解し、端末部１０を介して〔対話終了を伝達〕に対する定型対話文『ありがとうございました。』を対話者Ａに伝える。ここで、次対話状態が終了状態となるので、対話は終了となる。

（第１の実施例）
図５は、本発明の第１の実施例に係る異言語間対話処理方法の処理フローチャートである。
第１の実施例では、音声認識部１１，２１では音声認識の従来技術、発話理解部１２，２２では発話理解の従来技術を利用する。応答内容を伝達し、応答を求める文を生成する方法として、定型対話文データ記憶部５０のデータおよび従来の機械翻訳技術を利用するか、自然言語文生成および機械翻訳の従来技術を利用する。
図１の対話制御部３０は、対話者Ａが第１の言語により第１の端末部１０を介して発話した文を音声認識部１１により認識し（ステップ２０１）、発話された文の内容を発話理解部１２により理解し、予め対話シナリオ記憶部４０に記憶した対話シナリオを参照し（ステップ２０２）、発話を理解した結果により、次の処理を選択する（ステップ２０３）。
すなわち、（１）対話者Ａが利用する端末部１０に対する応答内容を決定し、該応答内容を第１の言語で対話者Ａが利用する該端末部１０に伝達するか（ステップ２０４）、あるいは、（２）対話者Ｂが利用する端末部２０に対する応答内容を決定し、該応答内容を第２の言語で対話者Ｂが利用する端末部２０に伝達するか（ステップ２０５）、あるいは、（３）対話を終了するか（ステップ２０６）、のいずれかを選択実行する。

前記（１）の場合には、対話者Ａが利用する端末部１０に、応答内容に対する発話を求め（ステップ２０７）、前記ステップ２０１を繰り返し実行し、前記（２）の場合には、対話者Ｂが利用する端末部２０に応答内容に対する発話を求める（ステップ２０８）。
第２の言語による対話者Ｂの発話を端末部２０を介して受信し、受信した発話内容を音声認識部２１により認識し（ステップ２０９）、該発話の内容を発話理解部２２により理解し、予め対話シナリオ記憶部４０に記憶した対話シナリオを参照し（ステップ２１０）、発話を理解した結果により、次の処理を選択する（ステップ２１１）。すなわち、（１’）対話者Ｂが利用する端末部２０に対する応答内容を決定し、該応答内容を第２の言語で対話者Ｂが利用する該端末部２０に伝達するか（ステップ２１２）、あるいは、（２’）対話者Ａが利用する端末部１０に対する応答内容を決定し、該応答内容を第１の言語で対話者Ａが利用する端末部１０に伝達するか（ステップ２１３）、あるいは、（３’）対話を終了するか（ステップ２１４）、のいずれかを選択実行する。

前記（１’）の場合には、対話者Ｂが利用する端末部２０に、応答内容に対する発話を求め（ステップ２１５）、前記ステップ２０９を繰り返し、前記（２’）の場合には、対話者Ａが利用する端末部１０に、応答内容に対する発話を求め、前記ステップ２０１を繰り返し実行する（ステップ２１６）。

（第２の実施例）
図６は、本発明の第２の実施例に係る異言語間対話処理方法の処理フローチャートである。
第２の実施例においては、対話者の端末部１０，２０に応答内容を伝達する場合、対話シナリオ記憶部４０に記載された応答内容ごとに、定型対話文データ記憶部５０内に定型対話文を用意しておき、照合した応答内容が指定する定型対話文を使用して応答内容を伝達する。
すなわち、対話シナリオを参照し（ステップ３０１）、対話シナリオの応答内容ごとに定型対話文データ記憶部５０に登録された定型対話文を参照する（ステップ３０２）。参照した定型対話文に、ＸかＹなどの変項部分があるかどうかを調べ（ステップ３０３）、なければ、照合した応答内容が指定する定型対話文をそのまま用いて応答内容を端末部１０，２０に伝達する（ステップ３０４）。

変項部分があれば（ステップ３０５）、最も直前に発話を行った対話者とは異なる対話者の端末部に、上記応答内容を伝達するかどうかを調べ（ステップ３０５）、最も直前に発話を行った対話者とは異なる対話者に伝達する場合には、該定型対話文、あるいは、該定型対話文の一部に対して機械翻訳部３１により変換して、変項部分を具体化する語句を決定する（ステップ３０６）。最も直前に発話を行った対話者に伝達する場合には、発話理解結果から、変項部分を具体化する語句を決定する（ステップ３０７）。ステップ３０６あるいはステップ３０７の後、定型対話文の変項部分を具体化して応答内容を端末部１０，２０に伝達する（ステップ３０８）。

次に、本発明の第３の実施例について説明する。
図７および図８は、本発明の第３の実施例に係る異言語間対話処理方法のフローチャートである。
第３の実施例においては、対話制御部３０が（ａ）自由発話状態か、（ｂ）対話理解状態のいずれかの状態を持つ。また、対話シナリオ記憶部４０には、図９に示すような複数の対話シナリオをキーフレーズと対応づけて記憶している。
まず、対話制御部３０の状態を（ａ）自由発話状態に設定する（ステップ４０１）。
対話制御部３０の状態が、（ａ）自由発話状態の場合（ステップ４０２）は、対話者Ａが第１の言語により第１の端末部１０を介して発話した文を音声認識部１１により認識し（ステップ４０３）、対話シナリオ記憶部４０に記憶しているキーフレーズを音声認識結果に含むかを判定する（ステップ４０４）。キーフレーズを含む場合には、状態を（ｂ）対話理解状態に変更し、当該キーフレーズに対応づけて記憶されている対話シナリオを次ステップより参照するために一次記憶メモリに読み込む（ステップ４１０）。

キーフレーズを含まない場合には、認識結果を機械翻訳部３１によって第２の言語に翻訳した結果を第２の端末部２０に伝達する（ステップ４０５）。対話者Ｂの発話についても同様に処理する（ステップ４０６〜４０８）。どちらかの対話者によって、対話の終了が指示されれば、対話は終了する（ステップ４０９）。対話の終了の指示は、音声入力によって、あるいは、キーボードやマウスなどの入力装置によって指示される。
対話制御部３０の状態が（ｂ）対話理解状態の場合、図８のフローチャートを実行する（ステップ４０２）。対話制御部３０は、対話者Ａが第１の言語により第１の端末部１０を介して発話した文を音声認識部１１により認識し（ステップ５０１）、発話された文の内容を発話理解部１２により理解し、ステップ４１０で一次記憶メモリに読み込んだ対話シナリオを参照し（ステップ５０２）、第１の実施例と同様に（１）〜（３）のいずれかの処理を選択し、実行する（ステップ５０３）。

ただし、前記（１）の処理が選択された場合には、音声認識結果を機械翻訳部３１によって第２の言語に翻訳して対話者Ｂに伝達し、対話者Ｂからの入力を一定の時間（例えば、１秒）受け付ける（ステップ５０４）。入力は、対話者Ｂが端末部２０を介して発話した文を音声認識部２１により認識した音声認識結果や、キーボード入力などでもよい。
対話者Ｂからの入力がない場合は、第１の実施例と同様に、対話者Ａが利用する端末部１０に対する応答内容を決定し、該応答内容を第１の言語で端末部１０に伝達する。対話者Ｂからの入力があった場合は、前記決定した応答内容を端末部１０に伝達せずに、該入力を機械翻訳部３１によって第１の言語に翻訳した翻訳結果を端末部１０に伝達する（ステップ５０４１）。その後、直前に対話者Ａに伝達した応答内容を用いて再び対話者Ａに応答を求める（ステップ５０７）。
同様にして、端末者Ｂによる発話も処理する（ステップ５０９〜５１６）。
ステップ５０３、あるいはステップ５１１において、（３）対話が終了するが選択された場合、図７のフローチャートに戻る。すなわち、対話制御部３０の状態を（ａ）自由発話状態に変更し（ステップ４０１）、音声認識結果にキーフレーズが含まれない限り、図７のフローチャートに示す対話が実行される。

図１０は、本発明の第３の実施例による対話例を示す説明図である。
図１０の＊１の部分は、対話制御部３０の状態が（ａ）自由発話状態である対話を示し、＊２の部分は、（ｂ）対話理解状態である対話を示す。それぞれの発話における括弧内の文は、音声認識結果が機械翻訳部３１によって翻訳され、そのまま相手の対話者に伝達された文を示す。
＊１の部分に示す対話では、対話シナリオでは想定していない挨拶などの対話を、そのまま他方の対話者に伝えることで、意思の疎通を実現している。
対話者Ｂの発話にキーフレーズ『予約』が含まれているため、この後の対話では予約シナリオが実行される。ここで、対話者Ｂの発話に他のキーフレーズが含まれていれば、他のシナリオ（例えば、前記注文シナリオ）を実行することができ、対話者の所望する対話を選択して実現することができる。

＊２の部分に示す対話では、対話者Ａの発話した文を翻訳した括弧内の文が対話者Ｂに伝達される。対話者Ａが『何人まで大丈夫ですか？』と対話シナリオで想定していない文を発話したとき、図２に示す予約シナリオでは発話理解失敗に該当するため、第１の実施例では、再び『１９日の７時から何名様でしょうか』と対話シナリオに沿った不自然な応答を対話者Ａに伝達してしまう。一方、第３の実施例では、対話者Ａの発話を翻訳して結果である『Ｈｏｗ ｍａｎｙ ｓｅａｔｓ ｄｏ ｙｏｕ ｈａｖｅ？』を対話者Ｂに伝達し、対話者Ｂからの入力を受け付けるため、対話者Ｂが『Ｔｈｉｒｔｙ ｓｅａｔｓ．』と対話シナリオで想定していない対話に対しても応答を入力することができる。システムは、『Ｔｈｉｒｔｙ ｓｅａｔｓ．』を翻訳した結果である『３０席です。』を対話者Ａに伝達した後、直前に対話者Ａに伝達した応答内容である『１９日の７時から何名様でしようか』を再び利用して対話者Ａに応答を求める。

このように、第３の実施例では、対話シナリオで想定していない文を対話者が発話した場合でも、自然な対話を実行することができる。
そして、対話シナリオの実行が終了すれば、（ａ）自由発話状態となり、再びキーフレーズが含まれた発話がなされるまで、対話者の発話を音声認識し、音声認識結果を翻訳して他方の対話者に伝える。図１０の対話では、予約が完了した後に、『Ｔｈａｎｋ ｙｏｕ ｖｅｒｙ ｍｕｃｈ．』と『Ｗｈａｔ ｍｏｒｅ ｃａｎ Ｉ ｈｅｌｐ？』という発話が対話者Ｂによってなされている。図２に示す予約シナリオでは、予約を完了した後の対話については想定されていないが、第３の実施例によれば、これらの発話が音声認識され、機械翻訳により翻訳され、他方の対話者に伝えられる。
ここで、対話者Ａが『注文できますか？』とキーフレーズを含む発話を行なえば、キーフレーズに対応づけて記憶されている注文シナリオを実行して、対話を進めることも可能である。

（プログラムと記録媒体）
このような実施形態の方法および装置を使用することにより、一方の対話者が他方の対話者と異なる言語を使用して発話を行う対話で、対話者の発話した内容を誤って認識した場合であっても、最終的には、予約の可否を問い合わせ予約を受け付けるなどの対話の目的を達成させることができる。
なお、図５に示す処理フローをコード化してプログラムとし、これをＣＤ−ＲＯＭなどの記録媒体に格納しておけば、プログラムの販売や貸付けなどの場合には便利であり、また、対話システムのコンピュータに記録媒体を装着して、プログラムをインストールして実行させることにより、本発明を容易に実現させることが可能である。

本発明の実施形態に係る異言語間対話処理装置のブロック構成図である。 図１における対話シナリオ記憶部に格納された内容例を示す説明図である。 図１における定型対話文データ記憶部に格納された内容例を示す説明図である。 本発明の実施形態に係る対話の例を示す説明図である。 本発明の第１の実施例に係る異言語間対話処理方法の処理フローチャートである。 本発明の第２の実施例に係る異言語間対話処理方法の処理フローチャートである。 本発明の第３の実施例に係る異言語間対話処理方法の処理フローチャートである。 本発明の第３の実施例に係る異言語間対話処理方法の処理フローチャートである。 本発明の第３の実施例に係る、図１における対話シナリオ記憶部に格納された内容例を示す説明図である。 本発明の第３の実施例に係る対話の例を示す説明図である。

符号の説明

１０…端末部、２０…端末部、３０…対話制御部、１１…音声認識部、
１２…発話理解部、２１…音声認識部、２２…発話理解部、
３１…機械翻訳部、４０…対話シナリオ記憶部、
５０…定型対話文データ記憶部。

Claims (16)

1. それぞれ異なる言語を使用する利用者により対話を行うための複数の端末部を対話制御部を介して接続し、該対話制御部により端末部の利用者間の意思疎通を図る異言語間対話処理方法であって、
   第１の対話者が第１の言語で第１の端末部を介して発話した文を音声認識部により認識し、発話された文の内容を発話理解部により理解し、該対話制御部において、予め記憶した対話シナリオを参照し、前記発話を理解した結果により、（１）第１の対話者が利用する第１の端末部に対する応答内容を決定し、該応答内容を第１の言語で該第１の端末部に伝達するか、あるいは、（２）第２の対話者が利用する第２の端末部に対する応答内容を決定し、該応答内容を第２の言語で該第２の端末部に伝達するか、あるいは、（３）対話を終了するか、のいずれかを選択実行する第１のステップと、
   前記（１）の場合には、第１の対話者の第１の端末部に、応答内容に対する発話を求め、前記第１のステップを繰り返し実行し、前記（２）の場合には、第２の対話者が利用する第２の端末部に応答内容に対する発話を求める第２のステップと、
   第２の対話者が第２の言語で第２の端末部を介して発話した場合、発話した発話内容を音声認識部により認識し、該発話の内容を発話理解部により理解し、該対話制御部において、予め記憶した対話シナリオを参照し、該発話を理解した結果により、（１’）第２の対話者が利用する第２の端末部に対する応答内容を決定し、該応答内容を第２の言語で該第２の端末部に伝達するか、あるいは、（２’）第１の対話者が利用する第１の端末部に対する応答内容を決定し、該応答内容を第１の言語で該第１の端末部に伝達するか、あるいは、（３’）対話を終了するか、のいずれかを選択実行する第３のステップと、
   前記（１’）の場合には、第２の対話者が利用する第２の端末部に、応答内容に対する発話を求め、前記第３のステップを繰り返し実行し、前記（２’）の場合には、第１の対話者が利用する第１の端末部に、応答内容に対する発話を求め、前記第１のステップを繰り返し実行する第４のステップと
   を有することを特徴とする異言語間対話処理方法。
2. 前記対話制御部は、前記対話者が利用する端末部に応答内容を伝達する場合、対話シナリオに記載された応答内容ごとに定型対話文を用意しておき、照合した応答内容が指定する定型対話文を使用して応答内容を伝達する請求項１記載の異言語間対話処理方法。
3. 前記対話制御部は、前記対話者が利用する端末部に応答内容を伝達する場合、特に、最も直前に発話を行った対話者とは異なる対話者の端末部に上記応答内容を伝達する場合、すなわち、請求項１記載の（２）あるいは（２’）の場合には、該定型対話文、あるいは、該定型対話文の一部に対して機械翻訳部による変換結果を組み合わせて、応答内容を伝達することを特徴とする請求項２記載の異言語間対話処理方法。
4. 前記対話制御部において、
   第１の対話者が第１の言語で第１の端末部を介して発話した文を前記音声認識部により認識し、該認識結果を第２の言語に翻訳した翻訳結果を第２の端末部に伝達し、第２の対話者が第２の言語で前記第２の端末部を介して発話した文を前記音声認識部により認識し、該認識結果を第１の言語に翻訳した翻訳結果を第１の端末部に伝達する第５のステップをさらに有し、（ａ）自由発話状態と（ｂ）対話理解状態のいずれかの状態を有し、
   （ａ）自由発話状態の場合には、前記第５のステップを繰り返し実行するとともに、予め対話シナリオと関連付けて前記対話制御部に記憶したキーフレーズを前記認識結果が含むならば、状態を前記（ｂ）対話状態に変更するか、
   （ｂ）対話理解状態の場合には、前記第１から第４のステップを実行し、
   前記第１のステップにおいて、前記（１）から（３）に加えて、（４）状態を（ｂ）対話理解状態に変更するか、のいずれかを選択実行し、
   前記第３のステップにおいて、前記（１’）から（３’）に加えて、（４’）状態を（ｂ）対話理解状態に変更するか、のいずれかを選択実行する
   ことを特徴とする請求項１から３までのいずれか一項に記載の異言語間対話方法。
5. 前記第１のステップは、さらに、
   第１の対話者が第１の言語で第１の端末部を介して発話した文を前記音声認識部により認識し、該認識結果を第２の言語に翻訳した翻訳結果を第２の端末部に伝達し、
   第２の対話者からの第２の言語による入力を受け付け、入力があった場合には、
   前記（１）の場合に、前記決定した応答内容を第１の端末部に伝達せずに、該入力を第１の言語に翻訳して該第１の端末部に伝達し、
   前記第３のステップは、さらに、
   第２の対話者が第２の言語で第２の端末部を介して発話した文を前記音声認識部により認識し、該認識結果を第１の言語に翻訳した翻訳結果を第１の端末部に伝達し、
   第１の対話者からの第１の言語による入力を受け付け、入力があった場合には、
   前記（１’）の場合に、前記決定した応答内容を第２の端末部に伝達せずに、該入力を第２の言語に翻訳して第２の端末部に伝達する
   ことを特徴とする請求項１から４までのいずれか一項に記載の異言語間対話方法。
6. それぞれ異なる言語を使用する利用者により対話を行うための複数の端末部を対話制御部を介して接続し、該対話制御部により端末部の利用者間の意思疎通を図る異言語間対話処理装置であって、
   第１の対話者が第１の言語で第１の端末部を介して発話した文を音声認識する音声認識部と、
   該音声認識の結果から発話された文の内容を理解する発話理解部と、
   予め記憶した対話シナリオを参照し、前記発話を理解した結果により、（１）第１の対話者が利用する第１の端末部に対する応答内容を決定し、該応答内容を第１の言語で該第１の端末部に伝達するか、あるいは、（２）第２の対話者が利用する第２の端末部に対する応答内容を決定し、該応答内容を第２の言語で該第２の端末部に伝達するか、あるいは、（３）対話を終了するか、のいずれかを選択実行する第１の手段、
   前記（１）の場合には、第１の対話者が利用する端末部に、応答内容に対する発話を求め、前記第１の手段を繰り返し実行し、前記（２）の場合には、第２の対話者が利用する第２の端末部に応答内容に対する発話を求める第２の手段、
   第２の対話者が第２の言語で第２の端末部を介して発話し、発話した発話内容を音声認識部により認識し、該発話の内容を発話理解部により理解し、対話制御部において、予め記憶した対話シナリオを参照し、該発話を理解した結果により、（１’）第２の対話者が利用する第２の端末部に対する応答内容を決定し、該応答内容を第２の言語により該第２の端末部に伝達するか、あるいは、（２’）第１の対話者が利用する第１の端末部に対する応答内容を決定し、該応答内容を第１の言語で該第１の端末部に伝達するか、あるいは、（３’）対話を終了するか、のいずれかを選択実行する第３の手段、
   前記（１’）の場合には、第２の対話者が利用する第２の端末部に、応答内容に対する発話を求め、前記（２’）の場合には、第１の対話者が利用する第１の端末部に、応答内容に対する発話を求め、前記第３の手段を繰り返し実行し、前記第１の手段を繰り返し実行する第４の手段
   を備えた対話制御部とを有することを特徴とする異言語間対話処理装置。
7. 前記対話制御部は、前記対話者の端末部に応答内容を伝達する場合に、対話シナリオに記載された応答内容ごとに定型対話文を記憶する定型対話文データ記憶部をさらに備え、
   前記対話制御部は、該定型対話文と照合した応答内容が指定する定型対話文を使用して該応答内容を端末部に伝達することを特徴とする請求項６記載の異言語間対話処理装置。
8. 前記対話制御部は、最も直前に発話を行った対話者とは異なる対話者が利用する端末部に、該応答内容を伝達する場合、すなわち、請求項４記載の（２）あるいは（２’）の場合には、
   該定型対話文、あるいは、該定型対話文の一部に対して機械翻訳部による変換結果を組み合わせて、応答内容を伝達することを特徴とする請求項７記載の異言語間対話処理装置。
9. 前記対話制御部は、第１の対話者が第１の言語で第１の端末部を介して発話した文を前記音声認識部により認識し、該認識結果を第２の言語に翻訳した翻訳結果を第２の端末部に伝達し、第２の対話者が第２の言語で前記第２の端末部を介して発話した文を前記音声認識部により認識し、該認識結果を第１の言語に翻訳した翻訳結果を第１の端末部に伝達する第５の手段をさらに有し、
   （ａ）自由発話状態と（ｂ）対話理解状態のいずれかの状態を有し、（ａ）自由発話状態の場合には、第５の手段を繰り返し実行するとともに、予め対話シナリオと関連付けて前記対話制御部に記憶したキーフレーズを前記認識結果が含むならば、状態を前記（ｂ）対話状態に変更するか、
   （ｂ）対話理解状態の場合には、前記第１から第４の手段を実行し、
   前記第１の手段において、前記（１）から（３）に加えて、（４）状態を（ｂ）対話理解状態に変更するか、のいずれかを選択実行し、
   前記第３の手段において、前記（１’）から（３’）に加えて、（４’）状態を（ｂ）対話理解状態に変更するか、のいずれかを選択実行する
   ことを特徴とする請求項６から８までのいずれか一項に記載の異言語間対話処理装置。
10. 前記第５の手段は、さらに、第１の対話者が第１の言語で第１の端末部を介して発話した文を前記音声認識部により認識し、該認識結果を第２の言語に翻訳した翻訳結果を第２の端末部に伝達し、
    第２の対話者からの第２の言語による入力を受け付け、入力があった場合には、
    前記（１）の場合に、前記決定した応答内容を第１の端末部に伝達せずに、該入力を第１の言語に翻訳して該第１の端末部に伝達し、
    前記第３の手段は、さらに、
    第２の対話者が第２の言語で第２の端末部を介して発話した文を前記音声認識部により認識し、該認識結果を第１の言語に翻訳した翻訳結果を第１の端末部に伝達し、
    第１の対話者からの第１の言語による入力を受け付け、入力があった場合には、
    前記（１’）の場合に、前記決定した応答内容を第２の端末部に伝達せずに、該入力を第２の言語に翻訳して第２の端末部に伝達する
    ことを特徴とする請求項６から９までのいずれか一項に記載の異言語間対話処理装置。
11. それぞれ異なる言語を使用する利用者により対話を行うための複数の端末部を対話制御部を介して接続し、該対話制御部により端末部の利用者間の意思疎通を図る異言語間対話処理用プログラムであって、
    該対話制御部のコンピュータに、第１の対話者が第１の言語で第１の端末部を介して発話した文を音声認識部により認識する手順、発話された文の内容を発話理解部により理解する手順、予め記憶した対話シナリオを参照し、前記発話を理解した結果により、（１）第１の対話者が利用する端末部に対する応答内容を決定し、該応答内容を第１の言語で該第１の端末部に伝達するか、あるいは、（２）第２の対話者が利用する第２の端末部に対する応答内容を決定し、該応答内容を第２の言語で該第２の端末部に伝達するか、あるいは、（３）対話を終了するか、のいずれかを選択実行する対話制御部における第１の手順、
    前記（１）の場合には、第１の対話者が利用する第１の端末部に、応答内容に対する発話を求め、前記第１の手順を繰り返し実行し、前記（２）の場合には、第２の対話者の端末部に伝達内容に対する発話を求める対話制御部における第２の手順、
    第２の対話者が第２の言語で第２の端末部を介して発話し、発話した発話内容を音声認識部により認識し、該発話の内容を発話理解部により理解する手順、予め記憶した対話シナリオを参照し、対話制御部において、該発話を理解した結果により、（１’）第２の対話者が利用する第２の端末部に対する応答内容を決定し、該応答内容を第２の言語により該第２の端末部に伝達するか、あるいは、（２’）第１の対話者が利用する第１の端末部に対する応答内容を決定し、該応答内容を第１の言語で該第１の端末部に伝達するか、あるいは、（３’）対話を終了するか、のいずれかを選択実行する対話制御部における第３の手順、
    前記（１’）の場合には、第２の対話者が利用する第２の端末部に、応答内容に対する発話を求め、前記第３の手順を繰り返し実行し、前記（２’）の場合には、第１の対話者の端末部に、応答内容に対する応答を求め、前記第１の手順を繰り返し実行する対話制御部における第４の手順を、それぞれ実行させるための異言語間対話処理用プログラム。
12. 請求項１１に記載の異言語間対話処理用プログラムにおいて、
    前記対話制御部のコンピュータに、対話者が利用する端末部に応答内容を伝達する場合、対話シナリオごとに用意された定型対話文を参照する手順、照合した応答内容が指定する定型対話文を使用して応答内容を伝達する手順を、それぞれ実行させるための異言語間対話処理用プログラム。
13. 請求項１２に記載の異言語間対話処理用プログラムにおいて、
    前記対話制御部のコンピュータに、最も直前に発話を行った対話者とは異なる対話者が利用する端末部に、上記応答内容を伝達する場合には、該定型対話文、あるいは、該定型対話文の一部に対して機械翻訳部による変換結果を組み合わせて、応答内容を伝達する手順を、実行させるための異言語間対話処理用プログラム。
14. 請求項１１から１３までのいずれかに記載の異言語間対話処理用プログラムにおいて、
    前記対話制御部のコンピュータに、第１の対話者が第１の言語で第１の端末部を介して発話した文を前記音声認識部により認識し、該認識結果を第２の言語に翻訳した翻訳結果を第２の端末部に伝達し、第２の対話者が第２の言語で前記第２の端末部を介して発話した文を前記音声認識部により認識し、該認識結果を第１の言語に翻訳した翻訳結果を第１の端末部に伝達する第５の手順をさらに実行させ、
    （ａ）自由発話状態と（ｂ）対話理解状態のいずれかの状態を有し、（ａ）自由発話状態の場合には、前記第５の手順を繰り返し実行するとともに、予め対話シナリオと関連付けて前記対話制御部に記憶したキーフレーズを前記認識結果が含むならば、状態を前記（ｂ）対話状態に変更し、（ｂ）対話理解状態の場合には、前記第１から第４の手順を実行させ、
    前記第１の手順において、前記（１）から（３）に加えて、（４）状態を（ｂ）対話理解状態に変更するか、のいずれかを選択実行する手順、
    前記第３の手段において、前記（１’）から（３’）に加えて、（４’）状態を（ｂ）対話理解状態に変更するか、のいずれかを選択実行する手順を実行させるための異言語間対話処理用プログラム。
15. 前記対話制御部のコンピュータに実行させる前記第５の手順は、さらに、第１の対話者が第１の言語で第１の端末部を介して発話した文を前記音声認識部により認識し、該認識結果を第２の言語に翻訳した翻訳結果を第２の端末部に伝達する手順、
    第２の対話者からの第２の言語による入力を受け付け、入力があった場合には、
    前記（１）の場合に、前記決定した応答内容を第１の端末部に伝達せずに、該入力を第１の言語に翻訳して該第１の端末部に伝達する手順であり、
    前記第３の手順は、さらに、第２の対話者が第２の言語で第２の端末部を介して発話した文を前記音声認識部により認識し、該認識結果を第１の言語に翻訳した翻訳結果を第１の端末部に伝達する手順、
    第１の対話者からの第１の言語による入力を受け付け、入力があった場合には、
    前記（１’）の場合に、前記決定した応答内容を第２の端末部に伝達せずに、該入力を第２の言語に翻訳して第２の端末部に伝達する手順であることを特徴とする請求項１１から１４までのいずれか一項に記載の異言語間対話処理用プログラム。
16. 請求項１１から請求項１５までのいずれかに記載の異言語間対話処理用プログラムを記録したことを特徴とするコンピュータで読み取り可能な記録媒体。

Images