JP6520040B2 - 情報処理システム、コミュニケーション処理方法、及びそのためのプログラム - Google Patents

Description

本発明は、コミュニケーション処理の技術に関し、特に、人と、人あるいは機械との間で行われるコミュニケーションを処理する技術に関する。

近年、音声認識等の音声言語処理技術を用いて、人と人、あるいは、人と機械との間で行われるコミュニケーションを支援する技術について、開発及び実用化が進んでいる。その実用化の代表的な例としては、音声翻訳（自動通訳）装置、音声対話装置などが挙げられる。

音声翻訳装置は、異なる言語を母国語とする人同士におけるコミュニケーションを、音声認識及び機械翻訳等の技術を用いて、支援する装置である。例えば、日英翻訳用の音声翻訳装置は、日本語話者が話した日本語音声を、音声認識技術を用いて和文テキストに変換した後、機械翻訳技術を用いてその和文テキストを英文テキストに変換する。係る音声翻訳装置は、その英文テキストを相手の英語話者に表示したり、あるいは、音声合成技術を用いてその英文テキストを英語音声に変換して英語話者に聞かせたりする。その音声翻訳装置は、同様な手順によって、英語話者が話す音声を日本語に変換して日本語話者に提示する。このような音声翻訳装置は、お互いに相手の言語を理解できない人同士がコミュニケーションを行うことを可能にする。

音声対話装置は、人と機械との間で行われるコミュニケーションを、音声認識及び言語処理等の技術を用いて、支援する装置である。音声対話装置は、例えば、人が発声した音声を、音声認識技術を用いてテキストに変換したのち、言語処理技術を用いて発声した意図を推定し、その結果に応じて情報検索あるいは応答を行う。

しかしながら、現在の音声認識技術、機械翻訳技術及び言語処理技術においては、処理結果に誤りが発生することを完全には回避できない。誤りが発生した場合、入力を繰り返したり、言い方を変えて再度入力したりすることでコミュニケーションを続けられる場合もあるが、そのようにしても誤りが繰り返し発生し、コミュニケーションを継続することが困難となるおそれがある。

そこで、コミュニケーション処理装置を用いたユーザのコミュニケーションが円滑に行われていない状態が生じたときに、オペレータと接続し、オペレータがコミュニケーションを援助できるようにするシステムが考えられている。以下、「コミュニケーション処理装置を用いたユーザのコミュニケーションが円滑に行われていない状態」をコミュニケーション不全状態もしくは単に不全状態と呼ぶ。

例えば、特許文献１には、以下のようなシステムが開示されている。そのシステムでは、利用者がオペレータ呼出ボタンを押すことでオペレータの介在を要求することができる。また、そのシステムは、ユーザ端末と利用者との対話が予め定められた時間を超えても終了しないことにより不全状態を検出し、それに応じてユーザ端末が自動的にオペレータ端末に呼び出しをかける。同文献は、複数のユーザ端末のひとつをオペレータ端末に切り替え接続するシステムも開示する。

また、特許文献２には、利用者の平均反応時間などに基づいて不全状態を判断し、システムが不全状態と判断した場合に他の端末からの第三者（オペレータ）の参加を許可する音声対話システムが開示されている。また、同文献には、システムが不全状態と判断しオペレータに介助依頼を通知した際、利用者との対話を開始することができる音声対話システムが開示されている。また、同文献には、オペレータ端末に利用者と対話エンジンとの間の対話履歴を常時表示させることで、オペレータ自身が、介助が必要であると判断したタイミングで、利用者との対話を自発的に開始することができる音声対話システムが開示されている。

また、特許文献３には、対話が成立していないと判断した場合に、対話を一時停止し、最後に受け付けた発話に対する複数の認識候補を表示し、その中から一の認識候補の選択を受け付け、受け付けた一の認識候補を送出する対話支援装置が開示されている。また、同文献には、例えば対話エラーの優先度が高い場合、対話支援を行っていないオペレータに優先的に割り当てる、あるいは対話支援が完了すると考えられるオペレータに割り当てる、対話支援装置が開示されている。更に、対話エラーが発生した場合、対話シナリオ上で同一の発話を行った回数、対話ループの発生した回数等から、対話エラーのエラーレベルを数値化する技術が開示されている。

また、特許文献４には、利用者の使用言語と、問い合わせの種別コードに関するオペレータのスキルレベルとに基づいて、オペレータを選択するオペレータ選択装置が開示されている。

特開平８−７６９６５号公報 特開２００２−２０２８８２号公報 特開２００６−１５４７２４号公報 国際公開第２０１２／１１１４８９号

ひとりのオペレータが複数のユーザ端末に対応する場合、コミュニケーションの円滑さが損なわれている度合いが大きいユーザ端末ほど優先的に、そのオペレータが対応することが望ましい。ここで、そのユーザ端末は、音声翻訳（自動通訳）装置や、音声対話装置などのコミュニケーション処理装置である。

しかしながら、上述の先行技術文献に開示された技術は、オペレータが対応するユーザ端末を、適切な優先順で判定（選定）できない場合があるという問題点を有する。

特許文献１に開示されたシステムにおいて、ユーザ端末からオペレータ端末に手動または自動で呼び出しをかける方法では、オペレータは呼び出された順に対応することしかできず、各ユーザ端末における援助の必要度の大小に応じた、柔軟な対応ができない。例えば、援助の必要度が比較的低いユーザ端末にオペレータが占有されて、援助の必要度がより高いユーザ端末が援助を受けられない、といった問題が生じる。あるいは、逆に、オペレータが空いていても、呼び出しが必要と判断されない程度の軽度の不全状態では援助が受けられない、といった問題が生じる。その理由は、呼び出しの判定が各ユーザ端末で独立かつ決定的に行われるからである。

また、特許文献２に開示された音声対話システムにおいて、オペレータが対話履歴に基づいて介助のタイミングを判断する方法では、オペレータの負荷が大きく、更にオペレータが判断を間違う場合があるという問題がある。その理由は、対話履歴には一般に多くの情報が含まれ、特にユーザ端末が複数存在する場合、その確認には時間が掛かるからである。

また、特許文献２が開示する音声対話システム、特許文献３が開示する対話支援装置及び特許文献４が開示するオペレータ選択装置いずれにおいても、コミュニケーションの円滑さが損なわれている度合いに応じて、対応すべきユーザ端末を判定していない。

本発明の目的は、上述した問題点を解決する情報処理システム、コミュニケーション処理方法、及びそのためのプログラムを提供することにある。

本発明の一様態における情報処理システムは、言語を用いるコミュニケーションにおいて発生する内容である発信情報に、情報処理を施すことによって前記コミュニケーションを支援するコミュニケーション処理装置の、前記コミュニケーションに対する援助の必要性の程度を示す要援助度を算出する要援助度算出手段と、前記要援助度に基づいて、前記コミュニケーションを援助するためのオペレータ端末を接続する、前記コミュニケーション処理装置を判定し、判定結果を出力する判定手段と、を含む。

本発明の一様態におけるコミュニケーション処理方法は、コンピュータが、言語を用いるコミュニケーションにおいて発生する内容である発信情報に、情報処理を施すことによって前記コミュニケーションを支援するコミュニケーション処理装置のそれぞれの、前記コミュニケーションに対する援助の必要性の程度を示す要援助度に基づいて、前記コミュニケーションを援助するためのオペレータ端末を接続する、前記コミュニケーション処理装置を判定し、前記判定手段が判定した結果に基づいて、前記コミュニケーション処理装置に前記オペレータ端末を接続する。

本発明の一様態におけるプログラムは、言語を用いるコミュニケーションにおいて発生する内容である発信情報に、情報処理を施すことによって前記コミュニケーションを支援するコミュニケーション処理装置のそれぞれの、前記コミュニケーションに対する援助の必要性の程度を示す要援助度に基づいて、前記コミュニケーションを援助するためのオペレータ端末を接続する、前記コミュニケーション処理装置を判定し、前記判定手段が判定した結果に基づいて、前記コミュニケーション処理装置に前記オペレータ端末を接続する、処理をコンピュータに実行させる。

本発明は、オペレータが対応するユーザ端末を、より適切な優先順で判定することが可能になるという効果がある。

図１は、本発明の第１の実施形態に係るコミュニケーション処理システムの構成を示すブロック図である。 図２は、第１の実施形態における、不全度基準リストの一例を示す図である。 図３は、本発明の第２の実施形態に係るコミュニケーション処理システムの構成を示すブロック図である。 図４は、第２の実施形態におけるユーザ端末管理テーブルの一例を示す図である。 図５は、第２の実施形態におけるオペレータ端末管理テーブルの一例を示す図である。 図６は、第２の実施形態における接続判定ルールの一例を示す図である。 図７は、本発明の第３の実施形態に係るコミュニケーション処理システムの構成を示すブロック図である。 図８は、本発明の第４の実施形態に係る情報処理システムの構成を示すブロック図である。 図９は、第４の実施形態に係る情報処理システムを実現するコンピュータのハードウエア構成を示すブロック図である。 図１０は、第４の実施形態における要援助度算出部の動作を示すフローチャートである。 図１１は、第４の実施形態における判定部の動作を示すフローチャートである。 図１２は、第４の実施形態における要援助端末情報の一例を示す図である。 図１３は、第４の実施形態の変形例に係る情報処理システムの構成を示すブロック図である。

本発明を実施するための形態について図面を参照して詳細に説明する。尚、各図面及び明細書記載の各実施形態において、同様の構成要素には同様の符号を付与し、適宜説明を省略する。

＜＜＜第１の実施形態＞＞＞
図１は、本発明の第１の実施形態に係るコミュニケーション処理システム（情報処理システムとも呼ばれる）の構成を示すブロック図である。本実施形態のコミュニケーション処理システムは、異なる言語を母国語とするユーザ同士の会話を支援するシステムである。

図１を参照すると、本実施形態のコミュニケーション処理システムは、ｎ台のユーザ端末（コミュニケーション処理装置とも呼ばれる）１０−１、ユーザ端末１０−２、・・・及びユーザ端末１０−ｎと１台のオペレータ端末２０とを備える。以後、ユーザ端末１０−１、ユーザ端末１０−２、・・・及びユーザ端末１０−ｎを区別しないで示す場合、ユーザ端末１０とも記載する。各ユーザ端末１０とオペレータ端末２０とは、図示しないネットワークを介して通信可能なように接続されている。また、ユーザ端末１０及びオペレータ端末２０は、図１に示す例に係わらず、任意の台数であってよい。

各ユーザ端末１０は、音声入力部１０１−１、音声入力部１０１−２、翻訳部１０２−１、翻訳部１０２−２、結果出力部１０３−１、結果出力部１０３−２、オペレータ呼出指示部１０４、要援助度算出部１０６、パラメータ格納部１０７、通信制御部１０８及び音声入出力部１０９を含む。

以下、図１に示すコミュニケーション処理システムが日本語を母国語とするユーザ（以下日本語話者と呼ぶ）と英語を母国語とするユーザ（以下英語話者と呼ぶ）との会話を支援する日英音声翻訳システムである場合を例に、各部の動作を説明する。

音声入力部１０１−１は、日本語話者から発せられた日本語音声をマイク等により音声信号として取り込み、デジタルデータに変換する。

翻訳部１０２−１は、デジタルデータに変換された音声について音声認識を実行してテキスト化し、更に機械翻訳により英語のテキストに変換する。

結果出力部１０３−１は、変換結果の英語テキストを、画面に表示したり、あるいは音声合成により音声に変換して聞かせたりすることにより、英語話者に提示する。

尚、音声認識、機械翻訳、音声合成等の技術は、当業者には周知であるため、詳細な説明は省略する。

英語話者から発せられた英語音声は、同様に音声入力部１０１−２、翻訳部１０２−２により日本語テキストに変換され、結果出力部１０３−２により日本語話者に提示される。

オペレータ呼出指示部１０４は、ユーザによるヘルプボタン押下等のオペレータ呼出指示を検出する。

要援助度算出部１０６は、ユーザ端末１０を介して行われているユーザ同士の会話におけるコミュニケーション不全状態に対応する、要援助度を算出する。例えば、要援助度算出部１０６は、第１に不全度を算出し、第２にその不全度に基づいて要援助度を算出する。

具体的には、要援助度算出部１０６は、ユーザによるオペレータ呼出指示を監視し、ユーザ端末１０を介して行われているユーザ同士の会話におけるコミュニケーション不全状態の発生を検出する。また、要援助度算出部１０６は、音声入力部１０１−１及び音声入力部１０１−２に入力された音声を監視し、ユーザ端末１０を介して行われているユーザ同士の会話におけるコミュニケーション不全状態の発生を検出する。もしくは、要援助度算出部１０６は、翻訳部１０２−１及び翻訳部１０２−２で処理した結果を監視し、ユーザ端末１０を介して行われているユーザ同士の会話におけるコミュニケーション不全状態の発生を検出する。

入力された音声もしくはその音声を処理した結果に基づく不全状態の検出には、例えば、再発声、聞き返しの検出を用いることができる。ここで、再発声とは、同じ話者により同一もしくは同内容の発声が繰り返されることを指し、そのような発声が連続する場合と、コミュニケーションにおける相手による発話を挟んで繰り返される場合とがある。また、再発声においては、文章全体が繰り返される場合と、文章の一部分が繰り返される場合とがあり、更に、同様の表現を用いた発声が繰り返される場合や、表現は異なるが意味が同様である発声が繰り返される場合などがある。聞き返しとは、相手方の話者により「もう一度お願いします」などの発声がなされることを指す。

再発声の検出は、例えば各入力音声もしくはそれに対して音声認識を実行した結果の類似性を比較することで行うことができる。聞き返しの検出は、例えば、入力音声を認識した結果を「もう一度お願いします」など予め定めたフレーズと比較することで行うことができる。

次に、要援助度算出部１０６は、上述の検出結果に基づいて、不全の度合いを示す「不全度」を大小比較が可能な値として算出する。

例えば、要援助度算出部１０６は、不全度の値を、再発声や聞き返しの出現頻度等を用いて、予め定めた基準に従って算出する。図２は、不全度の値の算出に用いる不全度基準リスト８１０の一例を示す。図２の例では、不全度は「低」「中」「高」の３値で表されているが、不全度は連続値で表わされてもよい。また、要援助度算出部１０６は、不全状態の検出と不全度の算出に、ここに挙げた例に限らず、例えば相手の発話の翻訳結果が提示されてから発話するまでの時間、音声認識や機械翻訳の信頼度などを用いてもよい。更に、要援助度算出部１０６は、複数の現象が生じている場合に、それらを組み合わせて不全度を算出してもよい。

次に、要援助度算出部１０６は、算出した不全度の値とパラメータ格納部１０７に格納された調整パラメータを用いて、大小比較が可能な値として「要援助度」を算出し、通信制御部１０８に出力する。

例えば、調整パラメータは、ユーザ端末１０ごとに、その利用シーン等に応じて予め定められた値が設定される。あるいは、調整パラメータは、ユーザ端末１０の利用開始時に、ユーザがパラメータ設定部（不図示）を介して、値を設定してもよい。調整パラメータは、より重要な利用シーンやコミュニケーションを急ぐシーンなどについて、大きな値が設定される。

例えば、調整パラメータが±０のときには、要援助度算出部１０６は、不全度の値をそのまま要援助度とする。そして、調整パラメータが＋１のときには、要援助度算出部１０６は、不全度が低、中、高のとき、それぞれ要援助度を中、高、高とする。また、不全度が連続値のときには調整パラメータも連続値とし、要援助度算出部１０６は、不全度に調整パラメータを加算あるいは乗算した値を要援助度としてもよい。簡単なケースとしては、要援助度算出部１０６は、常に不全度の値をそのまま要援助度としてもよい。この場合、パラメータ格納部１０７は不要となる。

要援助度算出部１０６は、算出された要援助度の値を、更にユーザのガイドに用いてもよい。例えば、要援助度が予め定めた一定の値を越えた場合に、要援助度算出部１０６は、ユーザに対し、必要に応じてヘルプボタンを押すようガイドを行うようにしてもよい。

通信制御部１０８は、ネットワークを介したオペレータ端末２０との接続・通信を制御する。通信制御部１０８は、常時あるいは必要に応じてオペレータ端末２０と接続し、要援助度算出部１０６で算出された要援助度の値をオペレータ端末２０に送信する。同時に、通信制御部１０８は、ユーザ端末１０のＩＤ(Ｉｄｅｎｔｉｆｉｅｒ)などの情報を送信してもよい。音声入出力部１０９の動作については後述する。

尚、以上のユーザ端末１０は、以下の構成のユーザ端末であってもよい。例えば、翻訳部１０２−１、翻訳部１０２−２、結果出力部１０３−１、結果出力部１０３−２及び要援助度算出部１０６のすべてあるいは一部が、外部のサーバに配置されてよい。この場合、そのユーザ端末は、そのサーバと通信して必要なデータを送信し、処理結果をサーバから受信する。例えば、音声認識、機械翻訳、音声合成は、外部のサーバで実行されてもよい。

また、図１に示す１台のユーザ端末１０は、物理的に１台である必要はなく、例えば二人のユーザのそれぞれが有する、物理的には２台の、ユーザ端末であってよい。そのユーザ端末のそれぞれは、外部のサーバとネットワークを介して接続する。そして、それらのユーザ端末の一方は、音声入力部１０１−１、翻訳部１０２−１、結果出力部１０３−１、オペレータ呼出指示部１０４、パラメータ格納部１０７及び音声入出力部１０９を備える。それらのユーザ端末のもう一方は、音声入力部１０１−２、翻訳部１０２−２、結果出力部１０３−２、オペレータ呼出指示部１０４、パラメータ格納部１０７及び音声入出力部１０９を備える。また、外部のサーバは、要援助度算出部１０６及び通信制御部１０８を備える。更に、そのユーザ端末のいずれかは、その外部のサーバの機能を備える構成であってもよい。

オペレータ端末２０は、通信制御部２０１、判定部２０３及び音声入出力部２０４を含む。

通信制御部２０１は、ネットワークを介してユーザ端末１０と接続し、各ユーザ端末１０の通信制御部１０８から送信される要援助度の値を受信する。通信制御部２０１は、各ユーザ端末１０から、ユーザ端末１０のＩＤなど他の情報が同時に送信される場合は、合わせてそれも受信する。

判定部２０３は、要援助度の値に基づいて、援助対象のユーザ端末１０を判定（選定）し、通信制御部２０１に判定した援助対象のユーザ端末１０を指定して接続を指示する。具体的には、判定部２０３は、最も大きい値の要援助度に対応するユーザ端末１０を判定し、判定したそのユーザ端末１０を指定して、通信制御部２０１に接続を指示する。尚、最も大きい値の要援助度に対応するユーザ端末１０の台数が複数である場合、判定部２０３は、先に受信したその要援助度に対応するユーザ端末１０を判定してよい。判定部２０３は、例えば、所定の時間（例えば、一定間隔の時間）ごとに判定する処理を実行する。また、判定部２０３は、接続可能なオペレータ端末が存在しない状態から接続可能なオペレータ端末が存在する状態へ変化したことを検出した場合に、判定する処理を実行してもよい。あるいは、判定部２０３は、オペレータの指示に基づいて、判定する処理を実行してもよい。

通信制御部２０１は、判定部２０３から、その援助対象（接続対象）のユーザ端末１０の指定を含む指示を受け取ると、そのユーザ端末１０と援助用の通信チャンネルを確立する。

オペレータ端末２０の通信制御部２０１とユーザ端末１０の通信制御部１０８とは、その援助用の通信チャンネルを介し、オペレータ端末２０の音声入出力部２０４とユーザ端末１０の音声入出力部１０９との間で音声のやり取りが可能となるよう、通信を制御する。

オペレータ端末２０の音声入出力部２０４は、オペレータの音声を入力し、ユーザ端末１０から送信されるユーザの音声を出力する。

ユーザ端末１０の音声入出力部１０９は、ユーザ端末１０を利用している２人のユーザの音声を入力し、オペレータ端末２０から送信されるオペレータの音声を出力する。

以上の構成により、ユーザ端末１０を利用しているユーザとオペレータ端末２０を利用しているオペレータの間で会話が可能になり、オペレータが通訳することで、不全状態に陥っているユーザ間のコミュニケーションを援助することが可能になる。

ユーザ端末１０の音声入出力部１０９は、音声入力部１０１−１、音声入力部１０１−２及び結果出力部１０３−１、結果出力部１０３−２と共用されてもよい。また、援助用の通信チャンネルを介してやり取りされる情報は、音声に限らず、画像やテキスト、また、これらの組み合わせであってもよい。

上述した本実施形態における効果は、オペレータが対応するユーザ端末１０を、より適切な優先順で判定することが可能になる点である。

その理由は、ユーザ端末１０のそれぞれの要援助度算出部１０６が要援助度を算出し、オペレータ端末２０の判定部２０３が、接続する援助対象のユーザ端末１０を、それらの要援助度に基づいて判定するからである。

換言すると、本実施形態のコミュニケーション処理システムでは、コミュニケーション処理装置を用いるユーザのコミュニケーション支援が、複数のユーザ端末１０によって実現される。そして、そのいずれかでコミュニケーション不全が生じた場合、オペレータに自動的に接続され、コミュニケーションの継続が図られる。このようなコミュニケーション処理システムにおいて、各ユーザ端末１０が不全度に基づく要援助度を比較可能な値として送信する。そして、オペレータ端末２０が、その要援助度に基づいて、援助するユーザ端末１０を判定する。こうすることで、オペレータが援助する対象のユーザ端末１０をより適切な優先順で判定することが可能となる。

＜＜＜第２の実施形態＞＞＞
次に、本発明の第２の実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。

図３は、本発明の第２の実施形態に係るコミュニケーション処理システムの構成を示すブロック図である。本実施形態は、第１の実施形態同様、異なる言語を母国語とするユーザ同士の会話を支援するシステムである。以下、第１の実施形態と同じ部分については同じ番号を付して説明を省略し、第１の実施形態と異なる部分を中心に説明する。

本実施形態のコミュニケーション処理システムは、ｎ台のユーザ端末１１−１、ユーザ端末１１−２、・・・及びユーザ端末１１−ｎを備える。更に、本実施形態のコミュニケーション処理システムは、ｍ台のオペレータ端末２１−１、オペレータ端末２１−２、・・・及びオペレータ端末２１−ｍと、接続制御部３１とを備える。以後、ユーザ端末１１−１、ユーザ端末１１−２、・・・及びユーザ端末１１−ｎを区別しないで示す場合、ユーザ端末１１とも記載する。また、オペレータ端末２１−１、オペレータ端末２１−２、・・・及びオペレータ端末２１−ｍを区別しないで示す場合、オペレータ端末２１とも記載する。各ユーザ端末１１と各オペレータ端末２１とは、接続制御部３１の制御に従って、図示しないネットワークを介して接続可能に構成されている。

各ユーザ端末１１は、音声入力部１０１−１、音声入力部１０１−２、翻訳部１０２−１、翻訳部１０２−２、結果出力部１０３−１及び結果出力部１０３−２を含む。更に、各ユーザ端末１１は、オペレータ呼出指示部１０４、要援助度算出部１０６、パラメータ格納部１０７、言語・分野設定部１１１、通信制御部１１２及び音声入出力部１０９を含む。第１の実施形態と異なるのは、通信制御部１１２と新たに追加された言語・分野設定部１１１であり、以下、これらの動作について説明する。

言語・分野設定部１１１は、２人のユーザのコミュニケーションにおいてそれぞれが話す言語の組と、コミュニケーションの内容に関する分野を設定、それらを格納（記憶）する。

言語は、例えば日本語話者と英語話者のコミュニケーションであれば「日本語・英語」となる。一方の言語が固定されていれば、他方の言語だけを設定することにしてもよい。言語の設定は、例えば、事前のユーザの指定によって行われる。言語の設定は、音声入力部１０１−１及び音声入力部１０１−２が入力される音声から言語を自動的に認識し、その認識結果を言語・分野設定部１１１に通知してもよい。

分野は、例えば「観光」「医療」「ビジネス会議」等である。分野は、更に専門や地域等によって、「観光（京都）」「医療（内科）」など細分化された分野であってもよい。分野の設定は、言語の設定と同様に、事前のユーザの指定や、入力される音声からの自動判定によって行われる。

尚、言語・分野設定部１１１で設定される情報は、言語あるいは分野の一方のみでもよい。また、言語・分野設定部１１１で設定される情報は、言語及び分野に限らず、後述の情報設定部２１１で設定される情報と対応して、後述するオペレータ選定の際に制約として用いることができる任意の情報であってもよい。

言語・分野設定部１１１で言語を設定する場合、設定された言語の情報により翻訳部１０２−１及び翻訳部１０２−２などの動作も変更するようにしておくことは、より好適である。例えば、言語として「日本語・中国語」が設定された場合には、翻訳部１０２−１は日本語音声を認識して中国語に翻訳し、翻訳部１０２−２は中国語音声を認識して日本語に翻訳するよう動作する。

通信制御部１１２は、常時あるいは必要に応じて接続制御部３１と接続し、要援助度算出部１０６で算出された要援助度の値と、言語・分野設定部１１１で設定された情報とを接続制御部３１に送信する。同時に、通信制御部１１２は、ユーザ端末１１のＩＤや、端末を利用中かどうかなどの情報を送信してもよい。

各オペレータ端末２１は、情報設定部２１１、音声入出力部２０４、通信制御部２１２からなる。情報設定部２１１は、そのオペレータ端末２１を利用するオペレータに関する情報、具体的には、オペレータが在席しているかどうか（対応可能かどうか）や、オペレータが対応可能な言語、分野等の情報、を設定し、それらの情報を格納（記憶）する。対応可能な言語、分野は、それぞれ複数設定できる。例えば、それらの情報の設定は、オペレータが情報設定部２１１に対して手動で行う。あるいは、図３に示すコミュニケーション処理システムは、予めオペレータと設定情報との対応づけを示す、データベース（不図示）を含んでもよい。この場合、オペレータがオペレータ端末２１にログインした際に、情報設定部２１１は、そのデータベースを参照し、それらの情報を自動的に設定するようにしてもよい。尚、設定される情報の種類は、ここに挙げたものの一部のみでもよいし、またこれらに限らず、前述の言語・分野設定部１１１で設定される情報と対応して、後述するオペレータ選定の制約として用いることができる任意の情報を含んでよい。

通信制御部２１２は、接続制御部３１と常時あるいは必要に応じて接続し、情報設定部２１１で設定・格納された情報を接続制御部３１に送信する。

接続制御部３１は、ユーザ端末１１の通信制御部１１２から送信される情報と、オペレータ端末２１の通信制御部２１２から送信される情報とに基づいて、ユーザ端末１１とオペレータ端末２１との状況を管理し、これらの間の接続を制御する。接続制御部３１は、オペレータ端末２１のそれぞれに接続するユーザ端末１１を判定し、その判定結果を出力する判定部３０３を含む。また、接続制御部３１は、判定部３０３が判定した結果に基づいて、ユーザ端末１１にオペレータ端末２１を接続する接続部３０５を含む。

例えば、判定部３０３は、ユーザ端末１１の状況を「ユーザ端末管理テーブル」により管理し、オペレータ端末２１の状況を「オペレータ端末管理テーブル」により管理する。以下、ユーザ端末管理テーブルとオペレータ端末管理テーブルを総称して「端末管理テーブル」と呼ぶ。判定部３０３は、端末管理テーブルの内容を、各端末から送信される情報及び接続制御部３１の動作に基づいて、随時更新する。

図４は、ユーザ端末管理テーブル８２０の一例を示す図である。図４に示すように、ユーザ端末管理テーブル８２０の各レコードは、端末番号、状態、言語、分野及び要援助度を含む。図４に示す「状態」において、「未利用」はユーザ端末１１が使われていないことを、「利用中」はユーザ端末１１が利用中でオペレータ端末２１とは接続されていないことを示す。また、図４に示す「状態」において、「ＯＰ接続中（３）」は、３番のオペレータ端末２１と接続されて利用中であることを示す。

図５は、オペレータ端末管理テーブル８３０の一例を示す図である。図５に示すように、オペレータ端末管理テーブル８３０の各レコードは、端末番号、状態、言語、分野を含む。図５に示す「状態」において、「待機中」はユーザ端末１１と接続されておらずオペレータが待機中であることを、「接続中（６）」は、６番のユーザ端末１１と接続中であることを、「不在」はオペレータが不在であることを、それぞれ示す。ここでは簡単のため、２人のユーザのうちの一方の言語は日本語に固定されていて、他方の言語が英語または中国語であるとしている。また、分野は観光または医療であるとしている。「○」は、そのオペレータ端末２１を利用しているオペレータが、それぞれの言語、分野に対応可能であることを示す。

端末管理テーブルの内容が更新され、かつ１台以上のユーザ端末１１が要援助状態にあるとき、判定部３０３は、当該ユーザ端末１１をオペレータ端末２１と接続するか否かを、端末管理テーブルの内容及び予め定めた接続判定ルールに従って判定する。更に、判定部３０３は、ユーザ端末１１をどのオペレータ端末２１と接続するかも決定する。ここで、「要援助状態にある」とは、要援助度に何らかの値が与えられていることを示す。

図６は、接続判定ルール８４０の一例を示す図である。図６に示すように接続判定ルール８４０の各レコードは、要援助度及び接続基準を含む。ここで、図６に示す接続基準における「待機オペレータの割合」は、全オペレータ端末２１中、状態が「待機中」である端末の割合を示し、例えばオペレータ端末管理テーブル８３０から求められる。この割合が高ければ、対応可能なオペレータの数に余裕があることになる。尚、「待機オペレータの割合」は、言語や分野ごとに細かく指定されてもよい。また、接続判定ルール８４０に用いる接続基準は「待機オペレータの割合」に限らず、これ以外の基準を用いてもよい。

以下、図４乃至図６に示す端末管理テーブル及び接続判定ルール８４０を例に、接続制御部３１の接続判定手順及び動作について説明する。尚、このときの待機オペレータの割合は４０％であるとする。

判定部３０３は、要援助状態にあるユーザ端末１１について、要援助度が高い順に判定を行う。図４の例に示すユーザ端末管理テーブル８２０の場合、判定部３０３は、要援助度が「高」である２番のユーザ端末１１について、まず判定する。図６の接続判定ルール８４０では、要援助度が「高」の場合「常に接続」となっているので、判定部３０３は、対応可能なオペレータ端末２１の探索に移る。

判定部３０３は、２番のユーザ端末１１は言語＝英語、分野＝医療であるので、この言語・分野に対応可能で、かつ「待機中」であるオペレータ端末２１を、オペレータ端末管理テーブル８３０から探索する。図５の例では、４番のオペレータ端末２１がこの条件に合致する。

条件に合致するオペレータ端末２１が見つかれば、接続部３０５は、ユーザ端末１１とオペレータ端末２１とを接続し、判定部３０３は、端末管理テーブル中の各端末の状態を更新する。この例では、接続部３０５は、２番のユーザ端末１１と４番のオペレータ端末２１とを接続し、判定部３０３は、２番のユーザ端末１１の状態を「ＯＰ接続中（４）」に、４番のオペレータ端末２１の状態を「接続中（２）」にそれぞれ更新する。更に、判定部３０３は、２番のユーザ端末１１の「要援助度」をクリアする。尚、条件に合致するオペレータ端末２１が複数存在する場合、判定部３０３は、予め定められたルールに従って１台選択する。予め定められたルールとしては、例えば「待機時間が長いオペレータ端末優先」「累積接続時間が短いオペレータ端末優先」などが考えられる。このようなルールを用いる場合、判定部３０３は、「待機時間」、「累積接続時間」などの情報も、オペレータ端末管理テーブル８３０で合わせて管理してよい。

続いて、判定部３０３は、要援助度が次に高い「中」の３番のユーザ端末１１について、接続判定を行う。図６の接続判定ルール８４０では、要援助度が「中」の場合「待機オペレータの割合が２０％以上」が基準となっている。上述したように、待機オペレータの割合は４０％であるので、この基準はクリアされる。そこで、判定部３０３は、対応可能なオペレータ端末２１の探索に移る。上記と同様に、判定部３０３は、条件に合致するオペレータ端末２１を探索して１番のオペレータ端末２１を検出する。次に、接続部３０５は、３番のユーザ端末１１と１番のオペレータ端末２１とを接続し、判定部３０３は、端末管理テーブルを更新する。

続いて、判定部３０３は、要援助度が「低」である５番のユーザ端末１１について、接続判定を行う。図６の接続判定ルール８４０では、要援助度が「低」の場合「待機オペレータの割合が５０％以上」が基準となっている。上述したように、待機オペレータの割合は４０％であるので、この基準はクリアされない。そこで、接続部３０５は、５番のユーザ端末１１については、オペレータ端末２１との接続は行わない。

尚、以上の説明では、簡単のため、一連の接続判定中、待機オペレータの割合は４０％のままで変わらないとしたが、新たな接続が行われ端末管理テーブルが更新されるたびに待機オペレータの割合を計算し直すのが望ましい。

接続制御部３１によりユーザ端末１１とオペレータ端末２１とが接続されると、これらの間で援助用の通信チャンネルが確立され、第１の実施形態の場合と同様に両端末の間で音声のやり取りが可能となる。これにより、ユーザ端末１１を利用しているユーザとオペレータ端末２１を利用しているオペレータとの間で会話が可能になり、オペレータが通訳することで、不全状態に陥っているユーザ間のコミュニケーションを援助することが可能になる。

ユーザ端末１１の音声入出力部１０９は、音声入力部１０１−１、音声入力部１０１−２、結果出力部１０３−１及び結果出力部１０３−２と共用されてもよい。また、援助用の通信チャンネルを介してやり取りされる情報は、音声に限らず、画像やテキスト、また、これらの組み合わせであってもよい。

接続されたユーザ端末１１とオペレータ端末２１との間でのオペレータによる援助が終了すると、接続制御部３１は、両端末間の援助用通信チャンネルの接続を切断し、それに伴い判定部３０３は、端末管理テーブルを更新する。具体的には、判定部３０３は、当該ユーザ端末１１の状態を「ＯＰ接続中」から「未利用」に更新し、当該オペレータ端末２１の状態を「待機中」に更新する。

各ユーザ端末１１から送信される要援助度の値が変わったり、あるいはオペレータによる援助の終了でオペレータ端末２１の状態が変わったりすると、判定部３０３は改めて接続判定を行う。

上述した本実施形態における効果は、第１の実施形態の効果に加えて、複数のオペレータ端末２１と複数のユーザ端末１１とをより適切に組み合わせることが可能になる点である。

その理由は、判定部３０３が、オペレータ端末２１のそれぞれに接続するユーザ端末１１を判定し、接続部３０５がその判定結果に基づいて、ユーザ端末１１にオペレータ端末２１を接続するからである。

換言すると、本実施形態のコミュニケーション処理システムでは、コミュニケーション処理装置を用いるユーザのコミュニケーション援助が、複数のユーザ端末１１によって実現される。そして、そのいずれかでコミュニケーション不全が生じた場合、複数のオペレータのいずれかに自動的に接続され、オペレータの援助によりコミュニケーションの継続が図られる。このようなコミュニケーション処理システムにおいて、ユーザ端末１１ごとの援助の必要度の度合いに応じた、オペレータへの接続の制御が可能となる。具体的には、援助の必要度の高いユーザ端末１１を優先的にオペレータに接続し、また、オペレータの数に余裕があるときには、援助の必要度の低いユーザ端末１１でもオペレータに接続できるようにする、といった制御が可能になる。

＜＜＜第３の実施形態＞＞＞
次に、本発明の第３の実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。

図７は、本発明の第３の実施形態に係るコミュニケーション処理システムの構成を示すブロック図である。本実施形態のコミュニケーション処理システムは、音声対話によりユーザと機械との会話を支援するシステムである。以下、第１の実施形態と同じ部分については同じ番号を付して説明を省略し、第１の実施形態と異なる部分を中心に説明する。

図７を参照すると、本実施形態のコミュニケーション処理システムは、ｎ台のユーザ端末１２−１、ユーザ端末１２−２、・・・及びユーザ端末１２−ｎと１台のオペレータ端末２０とを備える。以後、ユーザ端末１２−１、ユーザ端末１２−２、・・・及びユーザ端末１２−ｎを区別しないで示す場合、ユーザ端末１２とも記載する。各ユーザ端末１２とオペレータ端末２０とは、図示しないネットワークを介して通信可能なように接続されている。また、ユーザ端末１０及びオペレータ端末２０は、図７に示す例に係わらず、任意の台数であってよい。

各ユーザ端末１２は、音声入力部１２１、対話処理部１２２、音声出力部１２３、オペレータ呼出指示部１０４、パラメータ格納部１０７、要援助度算出部１２６、通信制御部１０８及び音声入出力部１０９を含む。

音声入力部１２１は、ユーザから発せられた音声をマイク等により音声信号として取り込み、デジタルデータに変換する。

対話処理部１２２は、デジタルデータに変換された音声に対して音声認識を実行してテキスト化あるいは単語抽出する。そして、対話処理部１２２は、その結果と、予め格納した対話ルールあるいは外部の知識データベース（いずれも不図示）などを参照してユーザへの応答内容を決定し、テキストデータとして音声出力部１２３に出力する。対話処理部１２２はまた、対話（ユーザの入力とシステムからの応答）の履歴を管理し、ユーザへの応答内容の決定に用いる。

音声出力部１２３は、対話処理部１２２から受け取ったテキストデータを音声合成により音声に変換して出力する。

オペレータ呼出指示部１０４は、ユーザによるヘルプボタン押下等のオペレータ呼出指示を検出する。

要援助度算出部１２６は、ユーザによるオペレータ呼出指示及び音声入力部１２１に入力された音声もしくはそれを対話処理部１２２で処理した結果を監視する。そして、要援助度算出部１２６は、その監視結果に基づいて、ユーザ端末１２で行われているユーザと機械の対話におけるコミュニケーション不全状態の発生を検出し、不全の度合いを示す「不全度」を大小比較が可能な値として算出する。続けて、要援助度算出部１２６は、図１に示す要援助度算出部１０６と同様に、要援助度を算出する。

入力された音声もしくはそれを処理した結果に基づく不全状態の検出には、例えば、ユーザの再発声やシステムによる聞き返しの検出、ユーザの反応時間、対話の長さなどを用いることができる。要援助度算出部１２６は、不全度の値を、再発声や聞き返しの出現頻度、ユーザの反応時間、対話の長さ等を用いて、予め定めた基準に従って算出する。

パラメータ格納部１０７、通信制御部１０８、音声入出力部１０９については、第１の実施形態と同じなので省略する。

尚、ユーザ端末１２は、以下の構成のユーザ端末であってもよい。例えば、そのユーザ端末は、パラメータ格納部１０７を含まなくてもよい。また、対話処理部１２２、音声出力部１２３、要援助度算出部１２６のすべてあるいは一部を外部のサーバに配置し、ユーザ端末は、サーバと通信して必要なデータを送信し、処理結果をサーバから受信する構成であってもよい。

オペレータ端末２０は、図１に示す第１の実施形態のオペレータ端末２０と同じである。

尚、本実施形態のコミュニケーション処理システムは、オペレータ端末２０に替えて、図３に示すオペレータ端末２１と接続制御部３１とを備えてもよい。

更に、本実施形態のコミュニケーション処理システムは、図１に示すユーザ端末１０と図７に示すユーザ端末１２とが混在してもよい。

上述した本実施形態における第１の効果は、音声対話によりユーザと機械との会話を支援するコミュニケーション処理装置（ユーザ端末１２）についても、第１の実施形態の効果と同様の効果を得られることである。

その理由は、要援助度算出部１２６が、音声入力部１２１に入力された音声やそれを対話処理部１２２で処理した結果に基づいて、要援助度を算出するからである。

＜＜＜第４の実施形態＞＞＞
図８は、本発明の第１の実施形態に係る情報処理システム４０の構成を示すブロック図である。図８に示すように、本実施形態に係る情報処理システム４０は、要援助度算出部４０６と判定部４０３とを含む。

図８に示す各構成要素は、ハードウエア単位の回路でも、マイクロチップに含まれるモジュールでも、コンピュータ装置の機能単位に分割された構成要素でもよい。ここでは、図８に示す構成要素が、コンピュータ装置の機能単位に分割された構成要素であるものとして説明する。尚、図８に示す情報処理システム４０は、あるサーバに実装され、ネットワークを介して利用可能にされてよいし、図８に示す各構成要素がネットワーク上に分散して設置されて利用可能にされてもよい。

図９は、本実施形態における情報処理システム４０を実現するコンピュータ７００のハードウエア構成を示す図である。

図９に示すように、コンピュータ７００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７０１、記憶部７０２、記憶装置７０３、入力部７０４、出力部７０５及び通信部７０６を含む。更に、コンピュータ７００は、外部から供給される記録媒体（または記憶媒体）７０７を含む。例えば、記録媒体７０７は、情報を非一時的に記憶する不揮発性記録媒体（非一時的記録媒体）である。また、記録媒体７０７は、情報を信号として保持する、一時的記録媒体であってもよい。

ＣＰＵ７０１は、オペレーティングシステム（不図示）を動作させて、コンピュータ７００の全体の動作を制御する。例えば、ＣＰＵ７０１は、記憶装置７０３に装着された記録媒体７０７から、そのプログラムやデータを読み込み、読み込んだそのプログラムやそのデータを記憶部７０２に書き込む。ここで、そのプログラムは、例えば、後述の図１０及び図１１に示すフローチャートの動作をコンピュータ７００に実行させるためのプログラムである。

そして、ＣＰＵ７０１は、その読み込んだプログラムに従って、またその読み込んだデータに基づいて、図８に示す要援助度算出部４０６及び判定部４０３として各種の処理を実行する。

尚、ＣＰＵ７０１は、通信網（不図示）に接続される外部コンピュータ（不図示）から、記憶部７０２にそのプログラムやそのデータをダウンロードしてもよい。

記憶部７０２は、そのプログラムやそのデータを記憶する。記憶部７０２は、図２に示す不全度基準リスト８１０、図４に示すユーザ端末管理テーブル８２０、図５に示すオペレータ端末管理テーブル８３０及び図６に示す接続判定ルール８４０を、任意に記憶してよい。記憶部７０２は、要援助度算出部４０６及び判定部４０３の一部として含まれてよい。

記憶装置７０３は、例えば、光ディスクや、フレキシブルディスク、磁気光ディスク、外付けハードディスク半導体メモリなどであって、記録媒体７０７を含む。記憶装置７０３（記録媒体７０７）は、そのプログラムをコンピュータ読み取り可能に記憶する。また、記憶装置７０３は、そのデータを記憶してもよい。記憶装置７０３は、図２に示す不全度基準リスト８１０、図４に示すユーザ端末管理テーブル８２０、図５に示すオペレータ端末管理テーブル８３０及び図６に示す接続判定ルール８４０を、任意に記憶してよい。記憶装置７０３は、要援助度算出部４０６及び判定部４０３の一部として含まれてよい。

入力部７０４は、オペレータによる操作の入力や外部からの情報の入力を受け付ける。入力操作に用いられるデバイスは、例えば、マウスや、キーボード、内蔵のキーボタン及びタッチパネルなどである。入力部７０４は、要援助度算出部４０６及び判定部４０３の一部として含まれてよい。

出力部７０５は、例えばディスプレイで実現される。出力部７０５は、例えばＧＵＩ（ＧＲＡＰＨＩＣＡＬ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）によるオペレータへの入力要求や、オペレータに対する出力提示などのために用いられる。出力部７０５は、要援助度算出部４０６及び判定部４０３の一部として含まれてよい。

通信部７０６は、外部装置とのインタフェースを実現する。通信部７０６は、要援助度算出部４０６及び判定部４０３の一部として含まれてよい。

以上説明したように、図８に示す情報処理システム４０の機能単位の各構成要素は、図９に示すハードウエア構成のコンピュータ７００によって実現される。但し、コンピュータ７００が備える各部の実現手段は、上記に限定されない。すなわち、コンピュータ７００は、物理的に結合した１つの装置により実現されてもよいし、物理的に分離した２つ以上の装置を有線または無線で接続し、これら複数の装置により実現されてもよい。

尚、上述のプログラムのコードを記録した記録媒体７０７が、コンピュータ７００に供給される場合、ＣＰＵ７０１は、記録媒体７０７に格納されたそのプログラムのコードを読み出して実行してもよい。あるいは、ＣＰＵ７０１は、記録媒体７０７に格納されたそのプログラムのコードを、記憶部７０２、記憶装置７０３またはその両方に格納してもよい。すなわち、本実施形態は、コンピュータ７００（ＣＰＵ７０１）が実行するそのプログラム（ソフトウエア）を、一時的にまたは非一時的に、記憶する記録媒体７０７の実施形態を含む。尚、情報を非一時的に記憶する記憶媒体は、不揮発性記憶媒体とも呼ばれる。

以上が、本実施形態における情報処理システム４０を実現するコンピュータ７００の、ハードウエア単位の各構成要素についての説明である。

図８に戻って、情報処理システム４０の機能単位の各構成要素について説明する。

＝＝＝要援助度算出部４０６＝＝＝
要援助度算出部４０６は、コミュニケーション処理装置の、コミュニケーションに対する援助の必要性の程度を示す要援助度を算出する。ここで、そのコミュニケーション処理装置は、発信情報に、情報処理を施すことによってコミュニケーションを支援する。その発信情報は、言語を用いるコミュニケーションにおいて発生する内容である。

要援助度算出部４０６は、例えば、図１に示す要援助度算出部１０６と通信制御部１０８とを合わせたものに対応する。また、要援助度算出部４０６は、図３に示す要援助度算出部１０６と通信制御部１１２とを合わせたものに対応する。要援助度算出部４０６は、図７に示す要援助度算出部１２６と通信制御部１０８とを合わせたものに対応する。

＝＝＝判定部４０３＝＝＝
判定部４０３は、要援助度算出部４０６が算出した要援助度に基づいて、オペレータ端末を接続するコミュニケーション処理装置（ユーザ端末）を判定し、判定結果を出力する。オペレータ端末は、上述のコミュニケーションを援助する。そのオペレータ端末は、例えば、図１及び図７に示すオペレータ端末２０や、図３に示すオペレータ端末２１（オペレータ端末２１−１、オペレータ端末２１−２及びオペレータ端末２１−ｍ）である。そのコミュニケーション処理装置（ユーザ端末）は、例えば、図１に示すユーザ端末１０（ユーザ端末１０−１、ユーザ端末１０−２・・・及び１０−ｎ）である。また、そのコミュニケーション処理装置は、図３に示すユーザ端末１１（ユーザ端末１１−１、ユーザ端末１１−２・・・及び１１−ｎ）であってよい。また、そのコミュニケーション処理装置は、例えば、図７に示すユーザ端末１２（ユーザ端末１２−１、ユーザ端末１２−２・・・及び１２−ｎ）であってよい。

判定部４０３は、例えば、図１に示す通信制御部２０１と判定部２０３とを合わせたものに対応する。また、判定部４０３は、図３に示す判定部３０３に対応する。また、判定部４０３は、図７に示す通信制御部２０１と判定部２０３とを合わせたものに対応する。

以上が、情報処理システム４０の機能単位の各構成要素についての説明である。

次に本実施形態の動作について、図面を参照して詳細に説明する。

図１０は、本実施形態の要援助度算出部４０６の動作を示すフローチャートである。尚、このフローチャートによる処理は、前述したＣＰＵ７０１によるプログラム制御に基づいて、実行されてよい。また、処理のステップ名については、Ｓ６０１のように、記号で記載する。

要援助度算出部４０６は、コミュニケーション不全状態の発生を検出する（ステップＳ６０１）。

次に、要援助度算出部４０６は、その発生したコミュニケーション不全状態の度合いを示す不全度を、大小比較が可能な値として、算出する（ステップＳ６０２）。

次に、要援助度算出部４０６は、算出した不全度に基づいて、要援助度を算出する（ステップＳ６０３）。

次に、要援助度算出部４０６は、算出した要援助度を判定部４０３へ送信する（ステップＳ６０４）。

図１１は、本実施形態の判定部４０３の動作を示すフローチャートである。尚、このフローチャートによる処理は、前述したＣＰＵ７０１によるプログラム制御に基づいて、実行されてよい。また、処理のステップ名については、Ｓ６０１のように、記号で記載する。

ここでは、判定部４０３が所定の時間に判定処理を実行する、と想定した場合の動作を説明する。

判定部４０３は、オペレータ端末が空いているか否かを確認する（ステップＳ６１１）。オペレータ端末が空いていると判定した場合（ステップＳ６１１でＹＥＳ）、処理はステップＳ６１２へ進む。オペレータ端末は空いていないと判定した場合（ステップＳ６１１でＮＯ）、処理はステップＳ６１１へ戻る。

例えば、図１及び図７に示すオペレータ端末２０の、判定部４０３の一部に対応する、判定部２０３は、通信制御部２０１がいずれかのコミュニケーション処理装置と援助用の通信チャンネルを確立した状態であるか否かを判定する。この場合、援助用の通信チャンネルを確立した状態であるならば、そのオペレータ端末２０は空いていない。また、援助用の通信チャンネルを確立した状態でないならば、そのオペレータ端末２０は空いている。

判定部４０３は、要援助度を受信したか否かを判定する（ステップＳ６１２）。要援助度を受信したと判定した場合（ステップＳ６１２でＹＥＳ）、処理はステップＳ６１３へ進む。要援助度を受信していないと判定した場合（ステップＳ６１２でＮＯ）、処理はステップＳ６１４へ進む。

判定部４０３は、受信した要援助度と対応するコミュニケーション処理装置のユーザ端末識別子との組を、図１２に示すような要援助端末情報８５０として記憶する（ステップＳ６１３）。その後処理は、ステップＳ６１５へ進む。

図１２は、要援助端末情報８５０の一例を示す図である。図１２に示すように、要援助端末情報８５０は、要援助度とユーザ端末識別子との組を含む。

判定部４０３は、要援助端末情報８５０が空（カラ）か否かを判定する（ステップＳ６１４）。要援助端末情報８５０が空でないと判定した場合（ステップＳ６１４）でＮＯ）、処理はステップＳ６１５へ進む。要援助端末情報８５０が空であると判定した場合（ステップＳ６１４でＹＥＳ）、処理は終了する。

次に、判定部４０３は、要援助端末情報８５０に基づいて、要援助度が最大の値であるコミュニケーション処理装置を判定する（ステップＳ６１５）。

次に、判定部４０３は、判定したそのコミュニケーション処理装置のユーザ端末識別子を出力する（ステップＳ６１６）。

例えば、判定部４０３は、そのユーザ端末識別子を図９に示す出力部７０５を介して出力する。また、判定部４０３は、図９に示す通信部７０６を介して、図示しない機器にそのユーザ端末識別子を送信してもよい。また、判定部４０３は、図９に示す記憶装置７０３を介して、記録媒体７０７にそのユーザ端末識別子を記録してもよい。

次に、判定部４０３は、要援助端末情報８５０から、判定したそのコミュニケーション処理装置に対応する、要援助度とユーザ端末識別子との組を削除する（ステップＳ６１７）。その後、処理は、終了する。

上述した本実施形態における第１の効果は、オペレータが対応するコミュニケーション処理装置を、より適切な優先順で判定することが可能になる点である。

その理由は、要援助度算出部４０６が各コミュニケーション処理装置の要援助度を算出し、判定部４０３がその要援助度に基づいて、オペレータ端末を接続するコミュニケーション処理装置を判定するからである。

＜＜＜第４の実施形態の変形例＞＞＞
図１３は、第４の実施形態の変形例である情報処理システム４１を示す図である。図に示すように、情報処理システム４１は、図８に示す情報処理システム４０と、ユーザ端末１４と、オペレータ端末２４と、パラメータ記憶装置４０７と、を含む。情報処理システム４０と、ユーザ端末１４と、オペレータ端末２４と、パラメータ記憶装置４０７とは、ネットワーク４１９を介して接続されている。尚、情報処理システム４０と、ユーザ端末１４と、オペレータ端末２４と、パラメータ記憶装置４０７との任意のいずれかどうしは、ネットワークを介することなく直接接続されてもよい。即ち、情報処理システム４０と、ユーザ端末１４と、オペレータ端末２４と、パラメータ記憶装置４０７とは、任意に、ネットワーク４１９を介して接続されてよい。

＝＝＝ユーザ端末１４＝＝
ユーザ端末１４は、例えば図１に示すユーザ端末１０‐１と比べて、要援助度算出部１０６を含まない点が異なる。即ち、ユーザ端末１４における要援助度の算出は、情報処理システム４０の要援助度算出部１０６で実現される。尚、情報処理システム４１は、図１３に示す構成に係わらず、任意の数のユーザ端末１４を含んでよい。

＝＝＝オペレータ端末２４＝＝＝
オペレータ端末２４は、例えば図１に示すオペレータ端末２０と比べて、判定部２０３を含まない点が異なる。即ち、オペレータ端末２４における判定の処理は、情報処理システム４０の判定部４０３で実現される。尚、情報処理システム４１は、図１３に示す構成に係わらず、任意の数のオペレータ端末２４を含んでよい。

＝＝＝パラメータ記憶装置４０７＝＝＝
パラメータ記憶装置４０７は、前述の調整パラメータを記憶する。尚、調整パラメータをパラメータ記憶装置４０７に記憶するユーザ端末１４は、パラメータ格納部１０７を含まなくてもよい。尚、情報処理システム４１は、図１３に示す構成に係わらず、任意の数のパラメータ記憶装置４０７を含んでよいし、パラメータ記憶装置４０７を１台も含まなくてもよい。

情報処理システム４１は、更に、図３に示す接続制御部３１を含んでよい。この場合、判定部４０３は、判定部３０３として、接続制御部３１に含まれてよい。また、情報処理システム４１は、オペレータ端末２１を含んでよい。

上述した本実施形態における変形例の効果は、情報処理システム４１の構築を柔軟に実現することが可能になる点である。

その理由は、情報処理システム４０と、ユーザ端末１４と、オペレータ端末２４と、パラメータ記憶装置４０７とを、任意に、ネットワーク４１９を介して接続するからである。

以上の各実施形態で説明した各構成要素は、必ずしも個々に独立した存在である必要はない。例えば、複数個の任意のその構成要素が１個のモジュールとして実現されてよい。また、その構成要素の内の任意のひとつが複数のモジュールで実現されてもよい。また、その構成要素の内の任意のひとつがその構成要素の内の任意の他のひとつであってよい。また、その構成要素の内の任意のひとつの一部と、その構成要素の内の任意の他のひとつの一部とが重複してもよい。

以上説明した各実施形態における各構成要素及び各構成要素を実現するモジュールは、必要に応じ、可能であれば、ハードウエア的に実現されてよい。また、各構成要素及び各構成要素を実現するモジュールは、コンピュータ及びプログラムで実現されてよい。また、各構成要素及び各構成要素を実現するモジュールは、ハードウエア的なモジュールとコンピュータ及びプログラムとの混在により実現されてもよい。

そのプログラムは、例えば、磁気ディスクや半導体メモリなど、コンピュータが読み取り可能な非一時的記録媒体に記録され、コンピュータに提供される。そして、そのプログラムは、コンピュータの立ち上げ時などに、非一時的記録媒体からコンピュータに読み取られる。この読み取られたプログラムは、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施形態における構成要素として機能させる。

また、以上説明した各実施形態では、複数の動作をフローチャートの形式で順番に記載してあるが、その記載の順番は複数の動作を実行する順番を限定するものではない。このため、各実施形態を実施するときには、その複数の動作の順番は内容的に支障のない範囲で変更することができる。

更に、以上説明した各実施形態では、複数の動作は個々に相違するタイミングで実行されることに限定されない。例えば、ある動作の実行中に他の動作が発生してよい。また、ある動作と他の動作との実行タイミングが部分的に乃至全部において重複してもよい。

更に、以上説明した各実施形態では、ある動作が他の動作の契機になるように記載しているが、その記載はある動作と他の動作との関係を限定するものではない。このため、各実施形態を実施するときには、その複数の動作の関係は内容的に支障のない範囲で変更することができる。また各構成要素の各動作の具体的な記載は、各構成要素の各動作を限定するものではない。このため、各構成要素の具体的な各動作は、各実施形態を実施する上で機能的、性能的、その他の特性に対して支障を来さない範囲内で変更されてよい。

以上、各実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得るさまざまな変更をすることができる。

１０ ユーザ端末
１１ ユーザ端末
１２ ユーザ端末
２０ オペレータ端末
２１ オペレータ端末
３１ 接続制御部
４０ 情報処理システム
４１ 情報処理システム
１０４ オペレータ呼出指示部
１０６ 要援助度算出部
１０７ パラメータ格納部
１０８ 通信制御部
１０９ 音声入出力部
１１１ 分野設定部
１１２ 通信制御部
１２１ 音声入力部
１２２ 対話処理部
１２３ 音声出力部
１２６ 要援助度算出部
２０１ 通信制御部
２０３ 判定部
２０４ 音声入出力部
２１１ 情報設定部
２１２ 通信制御部
３０３ 判定部
４０３ 判定部
４０６ 要援助度算出部
４０７ パラメータ記憶装置
４１９ ネットワーク
７００ コンピュータ
７０１ ＣＰＵ
７０２ 記憶部
７０３ 記憶装置
７０４ 入力部
７０５ 出力部
７０６ 通信部
７０７ 記録媒体
８１０ 不全度基準リスト
８２０ ユーザ端末管理テーブル
８３０ オペレータ端末管理テーブル
８４０ 接続判定ルール
８５０ 要援助端末情報
１０−１ ユーザ端末
１０−２ ユーザ端末
１０−ｎ ユーザ端末
１１−１ ユーザ端末
１１−２ ユーザ端末
１１−ｎ ユーザ端末
１２−１ ユーザ端末
１２−２ ユーザ端末
１２−ｎ ユーザ端末
２１−１ オペレータ端末
２１−２ オペレータ端末
２１−ｍ オペレータ端末
１０１−１ 音声入力部
１０１−２ 音声入力部
１０２−１ 翻訳部
１０２−２ 翻訳部
１０３−１ 結果出力部
１０３−２ 結果出力部

Claims (10)

1. 言語を用いるコミュニケーションにおいて発生する内容である発信情報に、情報処理を施すことによって前記コミュニケーションを支援する複数のコミュニケーション処理装置のそれぞれの、機械翻訳の信頼度、対話時間、またはそれらの組み合わせを示す要援助度を算出する要援助度算出手段と、
   前記要援助度に基づいて、前記コミュニケーションを援助するためのオペレータ端末を接続する、前記コミュニケーション処理装置を判定し、判定結果を出力する判定手段と、を含む
   情報処理システム。
2. 前記要援助度算出手段は、前記コミュニケーションを継続することが困難な不全状態を検出し、検出した前記不全状態に基づいて前記要援助度を大小比較可能な値として算出する
   請求項１記載の情報処理システム。
3. 前記要援助度算出手段は、少なくとも前記発信情報及び前記発信情報に情報処理を施した結果のいずれかに基づいて、前記不全状態を検出し、前記要援助度を算出する、
   請求項２記載の情報処理システム。
4. 前記要援助度算出手段は、前記コミュニケーション処理装置ごとに設定された、前記コミュニケーションの重要度及び緊急度のいずれかを示す調整パラメータに更に基づいて、前記要援助度を算出する、
   請求項２または３記載の情報処理システム。
5. 言語を用いるコミュニケーションにおいて発生する内容である発信情報に、情報処理を施すことによって前記コミュニケーションを支援するコミュニケーション処理装置であって、
   機械翻訳の信頼度、対話時間、またはそれらの組み合わせを示す要援助度を算出する要援助度算出手段と、
   算出した前記要援助度を、前記要援助度に基づいて、前記コミュニケーションを援助するためのオペレータ端末を接続する、前記コミュニケーション処理装置を判定する判定手段を含む情報処理システムへ、送信する送信手段と、を含む
   コミュニケーション処理装置。
6. 言語を用いるコミュニケーションにおいて発生する内容である発信情報に、情報処理を施すことによって前記コミュニケーションを支援する複数のコミュニケーション処理装置のそれぞれの、機械翻訳の信頼度、対話時間、またはそれらの組み合わせを示す要援助度に基づいて、前記コミュニケーションを援助するためのオペレータ端末を接続する、前記コミュニケーション処理装置を判定する判定手段と、
   前記判定手段が判定した結果に基づいて、前記コミュニケーション処理装置に前記オペレータ端末を接続する接続手段と、を含む
   接続制御装置。
7. 前記接続制御装置は、前記オペレータ端末から取得したオペレータ属性に基づいて、前記コミュニケーション処理装置と前記オペレータ端末との接続可否を判定する
   請求項６記載の接続制御装置。
8. すべての前記オペレータ端末の、前記コミュニケーション処理装置との接続状態に基づいて、前記コミュニケーション処理装置と前記オペレータ端末との接続可否を判定する
   請求項６または７記載の接続制御装置。
9. コンピュータが、
   言語を用いるコミュニケーションにおいて発生する内容である発信情報に、情報処理を施すことによって前記コミュニケーションを支援する複数のコミュニケーション処理装置のそれぞれの、機械翻訳の信頼度、対話時間、またはそれらの組み合わせを示す要援助度に基づいて、前記コミュニケーションを援助するためのオペレータ端末を接続する、前記コミュニケーション処理装置を判定し、
   前記判定した結果を出力する
   コミュニケーション処理方法。
10. 言語を用いるコミュニケーションにおいて発生する内容である発信情報に、情報処理を施すことによって前記コミュニケーションを支援する複数のコミュニケーション処理装置のそれぞれの、機械翻訳の信頼度、対話時間、またはそれらの組み合わせを示す要援助度に基づいて、前記コミュニケーションを援助するためのオペレータ端末を接続する、前記コミュニケーション処理装置を判定し、
    前記判定した結果を判定する、処理をコンピュータに実行させる
    プログラム。

Images