JP5163682B2

JP5163682B2 - 通訳通話システム

Info

Publication number: JP5163682B2
Application number: JP2010086640A
Authority: JP
Inventors: 修浜田; 利忠土井; 康治浅野; 浩明小川; 真人島川
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-04-05
Filing date: 2010-04-05
Publication date: 2013-03-13
Anticipated expiration: 2019-01-19
Also published as: JP2010193495A

Description

本発明は、通訳通話システムに関し、特に、機械翻訳をより有効に活用することができるようにした通訳通話システムに関する。

入力された音声を音声認識し、他の言語に変換（翻訳）し、さらにそれを音声で出力する、いわゆる、音声翻訳装置が開発されている。

しかしながら、例えば、電話回線を介して、複数の端末において行われる通話を通訳させる場合、通信が破綻しないように、音声翻訳装置および複数の端末における音声信号の送受信が制限され、これにより、会話のやり取りが不自然になる課題があった。また、制限に即して音声信号を送受信するようにするので、端末の操作が煩雑になり、ユーザに負担がかかる課題があった。

本発明はこのような状況に鑑みてなされたものであり、容易な操作により、かつ、自然な会話になるように、通話の内容を通訳できるようにするものである。

本発明の一側面の通訳通話システムは、端末装置とサーバとからなる通訳通話システムであって、前記端末装置は、音声を収音して第１の音声信号を生成する収音手段と、送話を開始するための第１の操作が行なわれた場合、予め記憶されている第１のユーザＩＤを前記サーバに送信するユーザＩＤ送信手段と、前記第１のユーザＩＤを前記サーバに送信した後、前記サーバに前記第１の音声信号を送信する第１の音声信号送信手段と、前記サーバから送信されてきた、前記第１の音声信号に対して通訳処理が実行されて得られた第２の音声信号を受信する第１の音声信号受信手段とを備え、前記サーバは、前記端末装置から送信されてきた前記第１のユーザＩＤを受信し、前記第１のユーザＩＤに対して予め定められた言語を通訳前の言語とし、前記端末装置が位置する地域に対して予め定められている言語を通訳後の言語として決定する決定手段と、前記端末装置から送信されてきた前記第１の音声信号を受信する第２の音声信号受信手段と、前記決定手段による決定結果に基づいて、前記通訳前の言語が前記通訳後の言語に通訳されるように、前記第１の音声信号に対する前記通訳処理を実行し、前記第２の音声信号を生成する実行手段と、前記第２の音声信号を前記端末装置に送信する第２の音声信号送信手段とを備える。

前記端末装置の前記ユーザＩＤ送信手段には、送話を開始するための第２の操作が行なわれた場合、予め記憶されている第２のユーザＩＤを前記サーバに送信させ、前記端末装置の前記第１の音声信号送信手段には、前記第２のユーザＩＤを前記サーバに送信した後、前記サーバに前記第１の音声信号を送信させ、前記サーバの前記決定手段には、前記端末装置から前記第２のユーザＩＤが送信されてきた場合、前記第２のユーザＩＤを受信させ、前記端末装置が位置する地域に対して予め定められている言語を通訳前の言語とさせ、前記第１のユーザＩＤに対して予め定められた言語を通訳後の言語として決定させることができる。

本発明の一側面においては、端末装置において、音声が収音されて第１の音声信号が生成され、送話を開始するための第１の操作が行なわれた場合、予め記憶されている第１のユーザＩＤがサーバに送信され、前記第１のユーザＩＤが前記サーバに送信された後、前記サーバに前記第１の音声信号が送信され、前記サーバから送信されてきた、前記第１の音声信号に対して通訳処理が実行されて得られた第２の音声信号が受信される。また、前記サーバにおいて、前記端末装置から送信されてきた前記第１のユーザＩＤが受信され、前記第１のユーザＩＤに対して予め定められた言語が通訳前の言語とし、前記端末装置が位置する地域に対して予め定められている言語が通訳後の言語として決定され、前記端末装置から送信されてきた前記第１の音声信号が受信され、前記通訳前の言語が前記通訳後の言語に通訳されるように、前記第１の音声信号に対する前記通訳処理が実行されて、前記第２の音声信号が生成され、前記第２の音声信号が前記端末装置に送信される。

本発明の一側面によれば、容易な操作により、かつ、自然な会話になるように、通話の内容を通訳することができる。

本発明を適用した通訳通信システムの第１の実施の形態の構成例を表すブロック図である。図１の携帯端末１１の構成例を表すブロック図である。図１の携帯端末１１の機能的構成例を表すブロック図である。図１の携帯端末１２の機能的構成例を表すブロック図である。図１の通訳サーバ１７の機能的構成例を表すブロック図である。図１の携帯端末１１の通話処理を説明するフローチャートである。図１の携帯端末１２の通話処理を説明するフローチャートである。図１の通訳サーバ１７の通話処理を説明するフローチャートである。翻訳処理を説明するフローチャートである。他の翻訳処理を説明するフローチャートである。本発明を適用した通訳通信システムの第２の実施の形態の構成例を表すブロック図である。図１１の通訳サーバ１７の機能的構成例を表すブロック図である。図１１の携帯端末１１の通話処理を説明するフローチャートである。図１１の通訳サーバ１７の通話処理を説明するフローチャートである。他の翻訳処理を説明するフローチャートである。本発明を適用した通訳通信システムの第３の実施の形態の構成例を表すブロック図である。図１６の交換局１０１の構成例を表すブロック図である。通信路設定機能を説明するための図である。通信路設定機能を説明するための他の図である。本発明を適用した通訳通信システムの第４の実施の形態の構成例を表すブロック図である。図２０の携帯端末１１の通話処理を説明するフローチャートである。

図１は、本発明を適用した通訳通話システムの第１の実施の形態の構成例を表している。ユーザＡが所有する携帯端末１１およびユーザＢが所有する携帯端末１２のそれぞれは、ユーザIDや、使用言語情報（後述）が記憶されている記録媒体、例えば、SIM(Subscriber Identity Module)カード３７（図２）が装着された、電話機能を有する小型装置である。

携帯端末１１および携帯端末１２のそれぞれは、自分自身が位置する地域の基地局１３および基地局１４と無線で通信し、電話回線を含むネットワーク１５の交換局１６により交換接続され、通話（会話）することができる。また、ユーザＡの利用する言語（この例においては、日本語）とユーザＢの利用する言語（この例においては、英語）が異なる場合、ユーザＡおよびユーザＢは、その通話を、ネットワーク１５に接続されている通訳サーバ１７を介して行い、そこで会話の内容を通訳させるようにすることができる。

通訳サーバ１７は、音声認識機能、機械翻訳機能、および音声合成機能からなる翻訳機能を有するサーバである。通訳サーバ１７は、例えば、ネットワーク１５上に回線Ｌを開設して、携帯端末１１からの音声信号を受信したり、携帯端末１２からの音声信号に基づく翻訳結果（音声信号）を携帯端末１１に送信する。また、通訳サーバ１７は、ネットワーク１５上に、他の回線Ｐを開設し、携帯端末１２からの音声信号を受信したり、携帯端末１１からの音声信号に基づく翻訳結果を携帯端末１２に送信する。

図２は、携帯端末１１の構成例を表している。インタフェース３１は、スピーカ３２、表示部３３、キーボード３４、マイクロフォン３５、通信部３６などが接続されており、インタフェース３１は、それらの入出力のインタフェース処理を実行する。インタフェース３１にはまた、SIMカード３７に対して情報を記録または再生するドライブ３８も接続されている。

CPU３９は、ROM４０に記憶されているプログラムに従って、各種の処理を実行する。RAM４１は、CPU３９が各種の処理を実行する上において必要なデータやプログラムを適宜記憶する。

図３は、携帯端末１１の機能的構成例を表している。制御部５１は、各部を制御する。送話部５２は、マイクロフォン３５からの入力を制御する。キー入力制御部５３は、キーボード３４からの入力を制御する。受話部５４は、スピーカ３２への出力を制御し、表示制御部５５は、表示部３３への情報の表示を制御する。通信制御部５６は、基地局１３に対する通信処理を制御する。ユーザ情報記憶部５７は、ユーザＡのユーザIDや、ユーザＡの使用する言語の種類を示す情報（使用言語情報）を記憶する。

図２に示すように、これらの機能を実行する各部のうち、ユーザ情報記憶部５７は、SIMカード３７に記憶されている。残りの制御部５１、送話部５２、キー入力制御部５３、受話部５４、表示制御部５５、通信制御部５６は、CPU３９に保持されている。

図４は、携帯端末１２の機能的構成例を表している。その制御部６１乃至ユーザ情報記憶部６７は、図３の制御部５１乃至ユーザ情報記憶部５７と同様に構成されているので、その詳細な説明は省略するが、ユーザ情報記憶部６７には、ユーザＢのユーザIDや、ユーザＢの使用言語情報が記憶されている。

図５は、通訳サーバ１７の機能的構成例を表している。制御部７１は、使用言語情報記憶部７２、通信制御部７３、および２個の翻訳部７４−１，７４−２（以下、翻訳部７４−１，７４−２を個々に区別する必要がない場合、単に、翻訳部７４と記述する。他の部分についても同様である）を制御する。使用言語情報記憶部７２には、例えば、ユーザＡおよびユーザＢの使用言語情報が記憶される。通信制御部７３は、ネットワーク１５に対する通信処理を制御する。

翻訳部７４−１の辞書記憶部８１−１には、Ｎ個の辞書Ｄ−１乃至Ｄ−Ｎが記憶されている。辞書Ｄ−１乃至Ｄ−Ｎのそれぞれには、言語の種類（使用言語情報）ごとの、音声認識用言語データ、機械翻訳用言語データ、および音声合成用言語データが記憶されている。

音声認識部８２−１は、辞書記憶部８１−１の辞書Ｄを参照して、供給される音声信号を音声認識し、対応する言語のテキストデータを生成する。機械翻訳部８３−１は、辞書記憶部８１−１の辞書Ｄを参照して、音声認識部８２−１により生成されたテキストデータを解析し、対応する言語のテキストデータに変換（翻訳）する。音声合成部８４−１は、辞書記憶部８１−１の辞書Ｄを参照して、機械翻訳部８３−１により翻訳されたテキストデータを音声信号に変換する。

翻訳部７４−２も、翻訳部７４−１と同様に構成されている。翻訳部７４−２において翻訳部７４−１と対応する要素には、対応する番号と数枝に、それぞれ、−２を付して表している。

次に、第１の実施の形態における通訳通話処理の手順を、図６乃至図１０のフローチャートを参照して説明する。なお、この例においては、通訳サーバ１７における通訳処理は、携帯端末１１からのアクセスにより開始されるものとする。

図６のフローチャートには、この例における携帯端末１１の通話処理の手順が示されている。ステップＳ１において、ユーザＡは、携帯端末１１と携帯端末１２を介して行われるユーザＢとの通話を通訳サーバ１７により通訳させるために、所定の情報をキーボード３４を操作して入力する。このとき入力される情報は、この例の場合、通訳サーバ１７との回線を確立するための情報（以下、回線確立情報と称する）と、携帯端末１２の電話番号など通訳サーバ１７における通訳処理に必要とされる情報（以下、必要情報と称する）である。

ステップＳ２において、制御部５１は、ステップＳ１で入力された回線確立情報に対応して、通信制御部５６を制御し、通訳サーバ１７との回線（回線Ｌ）を確立させる。次に、ステップＳ３において、制御部５１は、ユーザＡの使用言語情報を、ユーザ情報記憶部５７から読み出し、通信制御部５６を介して、ステップＳ１で入力された必要情報とともに、通訳サーバ１７に送信する。

ステップＳ４において、制御部５１は、送話部５２、受話部５４、および通信制御部５６を制御し、通話処理を開始させる。これにより、送話部５２は、マイクロフォン３５から入力されたユーザＡの音声を、音声信号に変換し、通信制御部５６に供給する。通信制御部５６は、送話部５２から供給された音声信号を、通訳サーバ１７に送信する。また、通信制御部５６は、通訳サーバ１７から送信されてきた音声信号を受信し、受話部５４に供給する。受話部５４は、通信制御部５６を介して供給された音声信号を、スピーカ３２から出力する。これにより、ユーザＡは、通訳サーバ１７の通訳処理による通訳を介して、ユーザＢと通話することができる。

ステップＳ５において、制御部５１は、ユーザＡにより、例えば、キーボード３４が操作され、携帯端末１２との通話終了を示す信号（以下、通話終了信号と称する）が、キー入力制御部５３から入力されるまで待機し、通話終了信号が入力されると、ステップＳ６に進み、通信制御部５６を制御し、通話終了信号を通訳サーバ１７に送信させ、通訳サーバ１７との回線Ｌを切断させる。これにより、処理は、終了する。

図７のフローチャートは、この例における携帯端末１２の通話処理の手順を表している。通訳サーバ１７により携帯端末１２に対する発呼動作が行われると、ステップＳ１１において、携帯端末１２の制御部６１は、例えば、表示制御部６５を制御し、通話開始要求があったことをユーザＢに通知する。

ステップＳ１２において、ユーザＢが、ユーザＡとの会話を開始するために、携帯端末２の所定の情報をキーボードを操作して入力すると、すなわち、通話開始要求に応答する信号が、例えば、キー入力制御部６３から入力されると、ステップＳ１３において、通信制御部６６を制御し、通訳サーバ１７との回線（回線Ｐ）を確立させる。

次に、ステップＳ１４において、制御部６１は、ユーザＢの使用言語情報を、ユーザ情報記憶部６７から読み出し、通信制御部６６を介して、通訳サーバ１７に送信する。

ステップＳ１５乃至Ｓ１７においては、図６のステップＳ４乃至Ｓ６における場合と同様の処理が実行されるので、その説明は省略する。

図８のフローチャートは、この例における通訳サーバ１７の通訳処理の手順を示している。ステップＳ２１において、通訳サーバ１７の制御部７１は、通信制御部７３を制御し、携帯端末１１との回線Ｌを確立させると、ステップＳ２２において、携帯端末１１より送信されてくる使用言語情報および必要情報（携帯端末１２の電話番号などの情報）を受信させる。

ステップＳ２３において、制御部７１は、ステップＳ２２で受信された使用言語情報（ユーザＡの使用言語情報）を、使用言語情報記憶部７２に記憶させる。ステップＳ２４において、制御部７１は、ステップＳ２２で受信された携帯端末１２の電話番号に対応して、通信制御部７３を制御し、発呼動作させ、ステップＳ２５において、携帯端末１２との回線Ｐを確立させる。これにより、回線Ｌと回線Ｐがそれぞれ確立される。

次に、ステップＳ２６において、制御部７１は、通信制御部７３を制御し、携帯端末１２より送信されてくる使用言語情報（ユーザＢの使用言語情報）を受信させ、それを、ステップＳ２７において、使用言語情報記憶部７２に記憶させる。すなわち、これにより、使用言語情報記憶部７２には、ユーザＡの使用言語情報と、ユーザＢの使用言語情報が記憶される。

ステップＳ２８において、制御部７１は、通信制御部７３により、携帯端末１１または携帯端末１２からの音声信号が受信されるまで待機し、音声信号が受信されたとき、ステップＳ２９に進む。ステップＳ２９において、制御部７１は、ステップＳ２８で受信された音声信号が、回線Ｌを介して送信されてきたか、または回線Ｐを介して送信されてきたかを判定する。すなわち、受信された音声信号が、携帯端末１１から送信されてきたものか、または携帯端末１２から送信されてきたものかが判定され、音声信号が携帯端末１１から送信されてきたものであると判定された場合、ステップＳ３０に進む。

ステップＳ３０において、制御部７１は、使用言語情報記憶部７２に記憶されている、ユーザＡの使用言語情報（日本語）およびユーザＢの使用言語情報（英語）を把握し、この場合、日本語から英語への翻訳が実行されることを翻訳部７４−１に通知し、ステップＳ３１において、翻訳部７４−１を制御し、翻訳処理を開始させる。ステップＳ３１において開始された翻訳処理の詳細は、図９のフローチャートに示されている。

すなわち、ステップＳ４１において、音声認識部８２−１は、ステップＳ３０で通知された翻訳される言語の種類（この例の場合、日本語）に対応する辞書Ｄを、辞書記憶部８１−１から読み出し、それを参照して、ステップＳ２８で受信された携帯端末１１からの音声信号（ユーザＡが発音した音声）を音声認識し、対応する言語（日本語）のテキストデータを生成する。

ステップＳ４２において、機械翻訳部８３−１は、ステップＳ３０で通知された翻訳されるべき言語の種類（この例の場合、英語）に対応する辞書Ｄを、辞書記憶部８１−１から読み出し、それを参照して、ステップＳ４１で音声認識部８２−１により生成されたテキストデータを解析し、変換（翻訳）する。

ステップＳ４３において、音声合成部８４−１は、ステップＳ３０で通知された翻訳されるべき言語の種類に対応する辞書Ｄ（機械翻訳部８３−１により参照された辞書Ｄ）を、辞書記憶部８１−１から読み出し、それを参照して、機械翻訳部８３−１により変換（翻訳）されたテキストデータを音声信号に変換する。その後、処理は終了され、図８のステップＳ３２に進む。

ステップＳ３２において、制御部７１は、通信制御部７３を制御し、ステップＳ３１における処理により得られた音声信号を、携帯端末１２に送信させる。

一方、ステップＳ２９において、通信制御部７３により、携帯端末１２からの音声信号が受信されたと判定された場合、制御部７１は、ステップＳ３３に進み、使用言語情報記憶部７２に記憶されている、ユーザＡの使用言語情報（日本語）およびユーザＢの使用言語情報（英語）を把握し、この場合、英語から日本語への翻訳が行われることを翻訳部７４−２に通知し、ステップＳ３４において、翻訳部７４−２を制御し、翻訳処理を開始させる。ステップＳ３４において開始された翻訳処理の詳細は、図１０のフローチャートに示されている。ステップＳ５１乃至Ｓ５３においては、図９のステップＳ４１乃至Ｓ４３における場合と同様の処理が実行されるので、その詳細な説明は省略するが、これにより、ステップＳ２８で受信された携帯端末１２から送信されたユーザＢの会話の内容（英語）は、日本語に翻訳される。

ステップＳ５３における処理が完了したとき、処理は終了され、図８のステップＳ３５に進む。

ステップＳ３５において、制御部７１は、通信制御部７３を制御し、ステップＳ３４における処理により得られた音声信号を、携帯端末１１に送信させる。

ステップＳ３２およびステップＳ３５における処理が行われた後は、ステップＳ３６に進み、制御部７１は、通信制御部７３により、通話終了信号が受信されたか否かを判定し、通話終了信号が受信されていないと判定した場合、ステップＳ２８に戻り、それ以降の処理を実行する。ステップＳ３６において、通話終了信号が受信されたと判定した場合、ステップＳ３７に進み、制御部７１は、通信制御部７３を制御し、回線Ｌおよび回線Ｐを切断させる。

以上のように、携帯端末１１との回線Ｌと、携帯端末１２との回線Ｐをそれぞれ別に設定するようにしたので、例えば、ユーザＡが発話中であっても、ユーザＡの音声（音声信号）に基づく翻訳結果は、随時、携帯端末１２に対して送信される。当然、ユーザＢが発話中であっても、ユーザＢの音声に基づく翻訳結果は、随時、携帯端末１１に対して送信される。すなわち、あたかも、同時通訳されているかのようにして、ユーザＡとユーザＢは会話することができる。

図１１は、本発明を適用した通訳通話システムの第２の実施の形態の構成例を表している。なお、図中、図１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。この例における通訳サーバ１７は、図１２に示すように、１個の翻訳部７４−１のみを有している。

この例において、交換局１６に出力された携帯端末１１、携帯端末１２、および通訳サーバ１７からの音声信号は、マルチパーティコール（会議通話）される。すなわち、例えば、携帯端末１１から送信された音声信号は、交換局１６により、携帯端末１２および通訳サーバ１７の両方に供給される。同様に、交換局１６により、携帯端末１２からの音声信号は、携帯端末１１および通訳サーバ１７の両方に供給され、通訳サーバ１７からの音声信号は、携帯端末１１および携帯端末１２の両方に供給される。

次に、第２の実施の形態における通訳通話処理の手順を、図１３乃至図１５のフローチャートを参照して説明する。

図１３には、この例における携帯端末１１の通話処理の手順が示されている。なお、通訳サーバ１７（図１２）の使用言語情報記憶部７２には、ユーザＡおよびユーザＢの使用言語情報がすでに記憶されているものとする。そこで、ステップＳ６１において、携帯端末１１の制御部５１は、交換局１６を介して送信されてくる、携帯端末１２または通訳サーバ１７からの音声信号が、通信制御部５６により受信されたか否かを判定し、受信されていないと判定した場合、ステップＳ６２に進む。

次に、ステップＳ６２において、制御部５１は、ユーザＡにより、送話を開始するための所定の操作が行われたか、例えば、キーボード３４の所定のキー（以下、送話開始キーと称する）が操作されたか否かを判定し、送話開始キーが操作されたと判定した場合、ステップＳ６３に進む。

ステップＳ６３において、制御部５１は、ユーザＡのユーザIDを、ユーザ情報記憶部５７から読み出し、通信制御部５６を介して、通訳サーバ１７に送信する。

次に、ステップＳ６４において、制御部５１は、送話部５２および通信制御部５６を制御し、送話処理を開始させる。これにより、送話部５２は、マイクロフォン３５から入力されたユーザＡの音声を、音声信号に変換し、通信制御部５６に供給する。通信制御部５６は、送話部５２から供給された音声信号を、交換局１６に送信する。携帯端末１１（通信制御部５６）から送信された音声信号は、交換局１６により、携帯端末１２および通訳サーバ１７に送信される。

ステップＳ６１において、通信制御部５６により、音声信号が受信されたと判定された場合、ステップＳ６５進み、制御部５１は、受話部５４と通信制御部５６を制御し、受話処理を開始させる。これにより、受話部５４は、通信制御部５６を介して供給された音声信号を、スピーカ３２から出力する。

ステップＳ６２において、送話開始キーが操作されていないと判定された場合、ステップＳ６４における送話処理またはステップＳ６５における受話処理が完了した場合、ステップＳ６６に進み、制御部５１は、通話終了信号が、例えば、キー入力制御部５３から入力されたか否かを判定し、通話終了信号が入力されていないと判定した場合、ステップＳ６１に戻り、それ以降の処理を実行する。また、通話終了信号が入力されたと判定された場合、ステップＳ６７に進み、制御部５１は、通信制御部５６を制御し、通話終了信号を交換局１６に送信させ、交換局１６との回線を切断させる。これにより、処理は、終了される。

なお、この例においては、送話開始キーを操作した場合、ユーザＡは、会話を必ず開始するものとする。

なお、この例における携帯端末１２における通訳通話処理は、携帯端末１１における場合と同様であるので、その説明は省略する。

以上のように、携帯端末１１および携帯端末１２において、音声信号が受信されているか否かが確認され（ステップＳ６１）、音声信号が受信されている場合、受話処理のみが実行され（ステップＳ６５）、また、音声信号が受信されておらず、ユーザにより送話開始キーが操作された場合においてのみ、送話処理が実行されるようにしたので、通信が破綻されずに、音声信号が１つの回線において送受信される。

図１４は、この例における通訳サーバ１７（図１２）の通訳処理の手順を表している。ステップＳ８１において、通訳サーバ１７の制御部７１は、通信制御部７３により、ネットワーク１５を介してユーザIDが受信されるまで待機し、それが受信されると、ステップＳ８２において、受信されたユーザIDに対応して、翻訳される言語の種類を決定し、翻訳部７４−１に通知する。このとき、制御部７１は、ステップＳ８１で受信されたユーザIDのユーザの使用言語情報と、そのユーザの通話相手とされるユーザの使用言語情報を把握して、翻訳される言語の種類と翻訳されるべき言語の種類を決定する。

例えば、ステップＳ８１でユーザＡのユーザIDが受信された場合、後述されるステップＳ８３で携帯端末１１からの音声信号が受信されるので、制御部７１は、後述するステップＳ８４で行われる翻訳処理は、この例の場合、日本語から英語への翻訳であることを翻訳部７４−１に通知する。一方、ステップＳ８１でユーザＢのユーザIDが受信された場合、ステップＳ８３で携帯端末１２からの音声信号が受信されるので、制御部７１は、ステップＳ８４で行われる翻訳処理は、この例の場合、英語から日本語への翻訳であることを翻訳部７４−１に通知する。

ステップＳ８３において、制御部７１は、通信制御部７３を制御し、交換局１６を介して送信されてくる音声信号を受信させる。次に、ステップＳ８４において、制御部７１は、翻訳部７４−１を制御し、翻訳処理を開始させる。ステップＳ８４において開始される翻訳処理の詳細は、図１５のフローチャートに示されている。

すなわち、ステップＳ９１において、音声認識部８２−１は、ステップＳ８２で通知された翻訳される言語の種類（ステップＳ８１でユーザＡのユーザIDが受信された場合、日本語、またユーザＢのユーザIDが受信された場合、英語）に対応する辞書Ｄを、辞書記憶部８１−１から読み出し、それを参照して、ステップＳ８３で受信された音声信号を音声認識し、対応する言語のテキストデータを生成する。

ステップＳ９２において、機械翻訳部８３−１は、ステップＳ８２で通知された翻訳されるべき言語の種類（ステップＳ８１で、ユーザＡのユーザIDが受信された場合、英語、またユーザＢのユーザIDが受信された場合、日本語）に対応する辞書Ｄを、辞書記憶部８１−１から読み出し、それを参照して、ステップＳ９１で音声認識部８２−１より生成されたテキストデータを解析し、変換（翻訳）する。

ステップＳ９３において、音声合成部８４−１は、ステップＳ８２で通知された翻訳されるべき言語の種類に対応する辞書Ｄ（機械翻訳部８３−１が参照した辞書Ｄ）を、辞書記憶部８１−１から読み出し、それを参照して、機械翻訳部８３−１により変換（翻訳）されたテキストデータを音声信号に変換する。その後、処理は終了され、図１４のステップＳ８５に進む。

ステップＳ８５において、制御部７１は、通信制御部７３を制御し、ステップＳ８４における処理により得られた音声信号を、交換局１６に送信させる。これにより、通訳サーバ１７からの音声信号は、交換局１６により、マルチパーティコールされ、携帯端末１１および携帯端末１２に送信される。

次に、ステップＳ８６において、制御部７１は、通信制御部７３により、通話終了信号が受信されたか否かを判定し、通話終了信号が受信されていないと判定した場合、ステップＳ８１に戻り、それ以降の処理を実行する。一方、通話終了信号が受信された場合、制御部７１は、通信制御部７２を制御し、交換局１６との回線を切断させ、処理を終了させる。

図１６は、本発明を適用した通訳通話システムの第３の実施の形態の構成例を表している。なお、図中、図１１における場合と対応する部分については、同一の符号を付してある。すなわち、交換局１６に代えて、交換局１０１が設けられている。

この例において、通訳サーバ１７は、第２の実施の形態における場合と同様に、図１２に示す構成を有している。

図１７は、交換局１０１の構成例を表している。通信路Ａ設定部１１１は、交換局１０１の交換接続を模擬的に示した図１８の実線で示される通信路Ａを設定するための交換接続処理を実行する。通信路Ａが設定されることより、携帯端末１１からの音声信号は、通訳サーバ１７に供給され、通訳サーバ１７からの翻訳結果が携帯端末１２に供給される。

通信路Ｂ設定部１１２は、図１９の点線の矢印で示される通信路Ｂを設定するための交換接続処理を実行する。通信路Ｂが設定されることより、携帯端末１２からの音声信号は、通訳サーバ１７に供給され、通訳サーバ１７からの翻訳結果が携帯端末１１に供給される。

制御部１１３は、通信制御部１１４により受信される、例えば、図１３のステップＳ６３における処理により送信されてくる、ユーザIDやユーザ情報に基づいて、通信路Ａ設定部１１１または通信路Ｂ設定部１１２を制御し、通信路Ａまたは通信路Ｂを設定させる。

このように、通信路が交換接続（通信路Ａから通信路Ｂ、または通信路Ｂから通信路Ａ）されるようにしたので、通信が破綻されずに、音声信号が１つの回線において送受信され、かつ、ユーザＡとユーザＢとの会話は、第２の実施の形態における場合に比べ、より同時通訳に近いタイミングで通訳される。

なお、この場合、携帯端末１１、携帯端末１２、および通訳サーバ１７の動作は、第２の実施の形態における場合と同様であり、その説明は省略する。

図２０は、本発明を適用した通訳通話システムの第４の実施の形態を表している。なお、図中、図１６における場合と対応する部分については、同一の符号を付してある。すなわち、携帯端末１２および基地局１４は取り除かれている。この例における通訳サーバ１７は、第２の実施の形態における通訳サーバ１７と同様の構成および機能を有している。

この例では、携帯端末１１を共に利用できる場所にいるユーザＡおよびユーザＢとの会話が、携帯端末１１を介して通訳サーバ１７に送信され、そこで通訳されるようにするものである。すなわち、交互に行われる、ユーザＡまたはユーザＢの発話が、携帯端末１１を介して通訳サーバ１７に送信され、そこで翻訳される。そして、通訳サーバ１７における翻訳結果が、再び携帯端末１１に送信されるようにして、ユーザＡおよびユーザＢの会話を通訳するものである。

図２１は、この例における携帯端末１１の通話処理の手順を示している。なお、この例においては、ユーザ情報記憶部５７には、ユーザＡのユーザIDおよび使用言語情報の他、ユーザＢのユーザIDおよび使用言語情報も記憶されているものとする。ステップＳ２０１において、携帯端末１１の制御部５１は、通信制御部５６により、音声信号が受信されたか否かを判定し、受信されていないと判定した場合、ステップＳ２０２に進む。

ステップＳ２０２において、制御部５１は、ユーザＡの音声を送話するための所定の操作が行われたか、例えば、キーボード３４の所定のキー（以下、ユーザＡ送話開始キーと称する）が操作されたか、またはユーザＢの音声を送話するための所定の操作が行われたか、例えば、キーボード３４の所定のキー（以下、ユーザＢ送話開始キーと称する）の操作されたか否かを判定する。なお、ユーザＡ送話開始キーとユーザＢ送話開始キーを個々に区別する必要がない場合、単に、ユーザ送話開始キーと記述する。

ステップＳ２０２において、ユーザ送話開始キーが操作されたと判定した場合、ステップＳ２０３に進み、制御部５１は、操作されたユーザ送話開始キーに対応して、ユーザ情報記憶部５７からユーザIDを読み出し、通信制御部５６を介して、通訳サーバ１７に送信する。例えば、ステップＳ２０２でユーザＡ送話開始キーが操作された場合、ここで、ユーザＡのユーザIDが読み出されて送信される。また、ユーザＢ送話開始キーが操作された場合、ユーザＢのユーザIDが読み出されて送信される。

ステップＳ２０４乃至Ｓ２０７における処理は、図１３のステップＳ６４乃至Ｓ６７における場合と同様の処理が実行されるのでその説明は省略する。

この例における通訳サーバ１７の動作は、図１４に示した、第２の実施の形態における通訳サーバ１７の動作と同様であるので、その詳細な説明は、省略する。

以上においては、携帯端末１１および携帯端末１２に記憶されている使用言語情報は、ユーザが使用する言語（翻訳される言語）の種類を示す情報とした場合を例として説明したが、例えば、翻訳されるべき言語の種類を示すようにすることもでき、また、このとき、その使用言語情報が、例えば、ユーザのいる場所により、変わるようにすることもできる。例えば、ユーザがアメリカにいる場合、使用言語情報は、英語を意味し、またフランスにいる場合、フランス語を意味するものになる。

なお、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。

また、上記したような処理を行うコンピュータプログラムをユーザに提供する提供媒体としては、磁気ディスク、CD-ROM、固体メモリなどの記録媒体の他、ネットワーク、衛星などの通信媒体を利用することができる。

本発明によれば、使用言語情報を記憶し、サーバに送信するようにしたので、容易に、通訳される音声信号を送信したり、通訳された音声信号を受信したりすることができる。

また、本発明によれば、使用言語情報に基づいて、通訳処理を実行するようにしたので、通話を妨げることなく、通訳する音声信号を送信したり、通訳した音声信号を送信することができる。

さらに本発明によれば、通信路を選択して設定するようにしたので、例えば、第１の端末からの信号の終了を待つことなく、通訳結果を第２の端末に送信することができる。

１１携帯端末，１２携帯端末，１３基地局，１４基地局，１５ネットワーク，１６交換局，１７通訳サーバ，５１制御部，５２送話部，５３キー入力制御部，５４受話部，５５表示制御部，５６通信制御部，５７ユーザ情報記憶部，６１制御部，６２送話部，６３キー入力制御部，６４受話部，６５表示制御部，６６通信制御部，６７ユーザ情報記憶部，７１制御部，７２使用言語情報記憶部，７３通信制御部，７４翻訳部，８１辞書記憶部，８２音声認識部，８３機械翻訳部，８４音声合成部，１０１交換局，１１１通信路Ａ設定部，１１２通信路Ｂ設定部，１１３制御部，１１４通信制御部

Claims

端末装置とサーバとからなる通訳通話システムであって、
前記端末装置は、
音声を収音して第１の音声信号を生成する収音手段と、
送話を開始するための第１の操作が行なわれた場合、予め記憶されている第１のユーザＩＤを前記サーバに送信するユーザＩＤ送信手段と、
前記第１のユーザＩＤを前記サーバに送信した後、前記サーバに前記第１の音声信号を送信する第１の音声信号送信手段と、
前記サーバから送信されてきた、前記第１の音声信号に対して通訳処理が実行されて得られた第２の音声信号を受信する第１の音声信号受信手段と
を備え、
前記サーバは、
前記端末装置から送信されてきた前記第１のユーザＩＤを受信し、前記第１のユーザＩＤに対して予め定められた言語を通訳前の言語とし、前記端末装置が位置する地域に対して予め定められている言語を通訳後の言語として決定する決定手段と、
前記端末装置から送信されてきた前記第１の音声信号を受信する第２の音声信号受信手段と、
前記決定手段による決定結果に基づいて、前記通訳前の言語が前記通訳後の言語に通訳されるように、前記第１の音声信号に対する前記通訳処理を実行し、前記第２の音声信号を生成する実行手段と、
前記第２の音声信号を前記端末装置に送信する第２の音声信号送信手段と
を備える通訳通話システム。
前記端末装置の前記ユーザＩＤ送信手段は、送話を開始するための第２の操作が行なわれた場合、予め記憶されている第２のユーザＩＤを前記サーバに送信し、
前記端末装置の前記第１の音声信号送信手段は、前記第２のユーザＩＤを前記サーバに送信した後、前記サーバに前記第１の音声信号を送信し、
前記サーバの前記決定手段は、前記端末装置から前記第２のユーザＩＤが送信されてきた場合、前記第２のユーザＩＤを受信し、前記端末装置が位置する地域に対して予め定められている言語を通訳前の言語とし、前記第１のユーザＩＤに対して予め定められた言語を通訳後の言語として決定する
請求項１に記載の通訳通話システム。