JP3820245B2

JP3820245B2 - ３者通話方式の自動通訳システム及び方法

Info

Publication number: JP3820245B2
Application number: JP2003376393A
Authority: JP
Inventors: 在原李; 正壽金; 址善鄭; 榮範李
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2002-11-06
Filing date: 2003-11-06
Publication date: 2006-09-13
Anticipated expiration: 2023-11-06
Also published as: EP1418740A1; EP1418740B1; JP2004159335A; US20040092293A1; KR100485909B1; KR20040040228A; DE60333155D1

Description

本発明は、３者通話方式の自動通訳システム及び方法に関し、より詳しくは有・無線通信網を介して接続した送話者と受話者とに、双方向の自動通訳サービスを提供できるシステム及び方法に関する。

近年、国際交流が盛んになるに伴い、他の言語圏の外国人と通話や対話をする機会が増え続けており、これにより、外国人との円滑な意思疎通のための通訳手段が求められている。

このような外国人との意思疎通のための通訳手段として、韓国公開特許第２００２−３０６９３号（発明の名称：音声通訳サービス方法及び音声通訳サーバ）では、図１に示すように、モバイルインターネットアクセスサービスの利用が可能な電話を使用して、音声通訳サーバに音声を送信すると、翻訳された音声が再び使用者の電話に回答されるようにする方法が開示されている。

このような音声通訳方法は、使用者が指定された端末機を使用して、時間や場所に拘らず、簡単に音声通訳サーバを介して通訳サービスの提供を受けることができるという利点がある。しかし、事業者から通訳サービスのための端末機を賃貸するか、別に購買しなければならず、端末機の使用者と音声通訳サーバ間の単方向の通訳サービスであることから、遠隔地にいる外国人との意思疎通手段としては適していないという問題点があった。

このような問題点を解決するために、相異なる言語を使っている遠隔地の外国人とも意思疎通を行うことができる双方向通訳手段として、韓国公開特許第２００２−５４１９２号（発明の名称：外国人のための電話案内自動通訳システム及び方法）では、図２に示すように、外国人の使用者が自国語で質問すると、その質問の内容を自動通訳して内国人の案内人に伝達し、内国人の案内人がこの質問に対して自国語で応答すると、応答内容を自動通訳して外国人の使用者に伝達する電話案内自動通訳システムが開示されている。

しかし、このような電話案内自動通訳システムは、外国人の使用者が有・無線電話機を介して自動通訳システムに接続すると、その自動通訳システムに連結された内国人の案内人に電話を接続する方式を取っているため、実質的に、外国人の使用者と内国人の案内人にのみ通訳サービスを提供することが可能となり、相異なる言語を使っているある二人の使用者（例えば、日本語を使用するＡと、英語を使用するＢ）間の意思疎通のための通訳手段としては相応しくないという限界点があった。
韓国公開特許第２００２−３０６９３号公報韓国公開特許第２００２−５４１９２号公報

本発明は、上記問題点に鑑みなされたものであり、相異なる言語を使っている遠隔地の使用者の間でも円滑な意思疎通を行うことができる、３者通話方式の自動通訳システム及び方法を提供することを目的とする。

上記の目的を達成するために、本発明に係る３者通話方式の自動通訳システムは、送話者と受話者の間に通話チャンネルを設定するＣＴＩボードと、前記ＣＴＩボードを介して入力されたボタン信号によりイベントを発生させ、前記ＣＴＩボードを制御するＣＴＩ制御モジュールと、前記ＣＴＩボードを介して入力された送話者／受話者の音声を認識して所定の言語に翻訳する通訳モジュールと、現在行っている動作状態である現在状態、発生されたイベント、発生されたイベントにより次のステップで行うべき動作を＜「現在状態」、「イベント」、「動作」＞の形式でテーブル化したものである通訳シナリオにより前記ＣＴＩ制御モジュールの動作を制御する主制御モジュールとを備える（請求項１）。
前記ＣＴＩ制御モジュールは、基本的な電話を行うことができる作業単位で前記ＣＴＩボードを制御する（請求項２）。

前記ＣＴＩ制御モジュールは、前記ＣＴＩボードを介して入力されたボタン信号によりイベントを発生させるイベントハンドラと、前記ＣＴＩボードを制御するＣＴＩ制御関数からなるＣＴＩＡＰＩと、前記主制御モジュールからの要請により前記ＣＴＩＡＰＩからＣＴＩ制御関数を順に呼び出して基本的な電話動作を行う作業遂行部とを備える（請求項３）。

前記基本的な電話動作は、電話かけ、電話受け、電話切り、ボタン押し、ボタン読み、トーンの検出、音出し、音聞き、話し、及び聞きを含む（請求項４）。

前記通訳モジュールは、前記ＣＴＩボードを介して入力された音声を認識してテキストに変換する音声認識部と、前記音声認識部から変換されたテキストを所定の言語に翻訳する翻訳部と、前記音声認識部で認識されたテキストまたは前記翻訳部で翻訳された翻訳テキストを音声に合成して出力する音声合成部とを備える（請求項５）。

前記通訳シナリオは、現在の状態及び前記ＣＴＩ制御モジュールから発生されたイベントにより選択される現在状態切り替え動作及び基本的な電話動作からなる（請求項６）。

前記主制御モジュールは、前記ＣＴＩ制御モジュールからイベントが発生すると、予め定義された通訳シナリオに基づいて、現在状態切り替え動作及び基本的な電話動作を選択する通訳シナリオ管理部と、前記通訳シナリオ管理部から選択された現在状態切り替え動作により現在の状態を次の状態に切り替える状態切り替え部とを備える（請求項７）。

また、本発明に係る３者通話方式の自動通訳方法は、送話者が自動通訳システムに接続すると、送話者と受話者の間に通話チャンネルを設定する電話接続ステップと、ＣＴＩボードを介して入力される送話者または受話者のボタン信号によりＣＴＩ制御モジュールからイベントが発生されると、現在行っている動作状態である現在状態、発生されたイベント、発生されたイベントにより次のステップで行うべき動作を＜「現在状態」、「イベント」、「動作」＞の形式でテーブル化したものである通訳シナリオに基づいて、前記発生されたイベントにより、入力された音声を所定の言語に翻訳する自動通訳ステップと、前記通訳シナリオにより、前記ＣＴＩボードを制御して前記翻訳された音声を相手側の話者に伝送する通訳伝送ステップとを含む（請求項８）。

前記自動通訳ステップは、送話者または受話者により入力されるボタン信号により前記ＣＴＩ制御モジュールからイベントが発生されると、予め定義された通訳シナリオに基づいて、前記発生されたイベントにより入力される送話者または受話者の音声を録音するステップと、予め定義された通訳シナリオにより、通訳モジュールを介して前記録音された音声を認識して所定の言語に翻訳するステップとを含む（請求項９）。
前記翻訳ステップは、前記録音された音声を認識してテキストに変換するステップと、前記テキストを所定の言語に翻訳するステップと、前記翻訳されたテキストを音声に合成するステップとを含む（請求項１０）。

このような本発明に係る３者通話方式の自動通訳システム及び方法によれば、特定の端末機を別に備えることなく、相異なる言語を使っている使用者同士の円滑な意思疎通が可能となり、低廉なコストで自動通訳サービスを提供することが可能となる。

以下、本発明の好ましい実施の形態を、添付図面に基づいて詳しく説明する。

図３は、本発明に係る３者通話方式の自動通訳システムのためのネットワークの概略構成図である。図３に示すように、送話者１００が公衆電話交換網（Public Switched Telephone Network：以下、ＰＳＴＮと称する）７００と、私設構内交換機（Private Automatic Branch Exchange：以下、ＰＢＸと称する）９００とを介して自動通訳システム５００に接続すると、自動通訳システム５００は、送話者１００から受話者３００の電話番号を入力され通話チャンネルを設定し、設定された通話チャンネルを介して入力される送話者１００の音声を自動的に翻訳して受話者３００に伝達し、かつ、受話者３００の音声を自動的に翻訳して送話者１００に伝達する。

例えば、日本語を使っている送話者１００と英語を使っている受話者３００の間に通話チャンネルが設定された場合、送話者１００が日本語で「予約を確認したいのですが。」というと、自動通訳システム５００は、これを英語に翻訳して、「I'd like to confirm my reservation, please.」という音声を受話者３００に伝達し、これに対する応答として、受話者３００が「One moment, please.」というと、自動通訳システム５００は、これを日本語に翻訳して、「少々お待ちください。」という音声を送話者１００に伝達する。

本発明の実施の形態においては、送話者１００や受話者３００は、有線電話機、携帯電話、パーソナルコンピュータなど、ＰＳＴＮ７００またはＩＰ網を介して自動通訳システム５００への接続が可能な通信端末機の使用者と考えられるが、パーソナルコンピュータを介して自動通訳システム５００に接続する場合、ＰＳＴＮ７００と連結されるＩＰ網（図示せず）、接続のためのＶｏＩＰゲートウェイ（Voice over ＩＰ G/W）及びルータ（Router）（図示せず）をさらに備えても良い。

図４は、本発明に係る３者通話方式の自動通訳システムの概略構成図であり、図示のように、本発明による３者通話方式の自動通訳システム５００は、ＣＴＩボード５１０と、ＣＴＩ制御モジュール５３０と、通訳モジュール５５０と、主制御モジュール５７０とを備えており、主制御モジュール５７０によりＣＴＩ制御モジュール５３０の制御を行うことにより、有・無線通信網を介して接続した送話者１００と受話者３００とに双方向の自動通訳サービスを提供できるように構成されている。

ＣＴＩ（Computer Telephony Integration）とは、コンピュータを用いて電話通話を管理する技術をいうものであり、ＣＴＩにより提供される主要な機能としては、使用者から入力される音声を録音し再生する音声の記憶や伝達（Voice Store and Forward）の機能、ダイヤリング数字を認識する数字認識（Digit Capture）機能、特定の電話番号をダイヤリングして呼を接続する通話接続（Out-dial）機能などがある。

ＣＴＩボード５１０は、このようなＣＴＩ機能を行うことができるように構成されており、コンピュータに搭載され、私設構内交換機（PBX）に接続して電話回線を制御するようにされている。このＣＴＩボード５１０は、自動応答システム（Automatic Response System：ARS）において一般的に使用されるＣＴＩボードとその構成及び動作は同様であり、これについての詳細は省略する。

ＣＴＩ制御モジュール５３０は、主制御モジュール５７０からの要請により、ＣＴＩボード５１０及び通訳モジュール５５０を制御しており、ＣＴＩボード５１０を介して入力されたボタン信号によりイベントを発生させるイベントハンドラ５３１と、ＣＴＩボード５１０を制御するＣＴＩ制御関数からなるＣＴＩＡＰＩ５３３と、主制御モジュール５７０からの要請により、ＣＴＩＡＰＩ５３３からＣＴＩ制御関数を順に呼び出して基本的な電話動作（例えば、電話かけ、電話受け、電話切りなど）を行う作業遂行部５３５とを備えている。

イベントハンドラ５３１は、ＣＴＩボード５１０を介して入力されたボタン信号によりイベントを発生させ、主制御モジュール５７０にイベントによるメッセージを出力する。例えば、ＣＴＩボード５１０を介して送話者１００から電話がかかってきたことが感知されると、イベントハンドラ５３１は、呼受信によるＥＶＴ＿ＷＡＩＴＣＡＬＬメッセージを主制御モジュール５７０に伝達する。

ＣＴＩＡＰＩ（Application Programming Interface）５３３は、コンピュータと電話間の通信のために使用される電話応用プログラムインタフェースであって、ＣＴＩボード５１０を制御できるＣＴＩ制御関数が格納されている一種のライブラリー（library）である。ＣＴＩＡＰＩ５３３は、ＣＴＩ制御関数が呼び出されると、呼び出されたＣＴＩ制御関数をＣＴＩボード５１０にて理解できる命令語にデコーディングし、デコーディングされた命令語によって、ＣＴＩボード５１０を制御する。ここで、ＣＴＩＡＰＩは、一般にマイクロソフト社から提供されるＴＡＰＩ（Telephony Application Program Interface）を使用することができる。

このようなＣＴＩＡＰＩ５３３により、通話接続、数字認識、音声録音などの基本的な電話動作に関するインタフェースを提供することができる。例えば、送話者１００が通話しようとする受話者３００の電話番号を入力すると、ＣＴＩＡＰＩ５３３に格納されているＤＴＭＦトーン検出関数を呼び出して、送話者１００により入力された電話番号を認識することが可能である。

ＣＴＩＡＰＩ５３３に格納されているＣＴＩ制御関数についてより詳しく説明すると、ｄｘ＿ｄｉａｌは、ダイヤリング動作、ｄｘ＿ｓｅｔｈｏｏｋは、電話を受けたり切ったりするためにフックを初期化する動作、ｄｘ＿ｇｅｔｄｉｇは、送話者や受話者が押したボタンを検出する動作、ｄｘ＿ｆｉｌｅｏｐｅｎは、ファイルのオープン動作、ｄｘ＿ｐｌａｙは、ファイルの再生動作、ｄｘ＿ｒｅｃは、音声録音動作を行うＣＴＩ制御関数である。

しかし、これらのＣＴＩ制御関数は、ダイヤリング、フック初期化、ＤＴＭＦトーン検出、及びファイル再生などの単一機能のみを行うことができるように具現されているため、電話かけ、電話受け、電話切りなどの基本的な電話動作を行うためには、数回にわたってＣＴＩ制御関数を個別に呼び出す必要があり、かつ、ＣＴＩ制御関数を呼び出すたびに、現在の状態を確認してその都度必要なＣＴＩ制御関数を別に要請しなければならない煩わしさがある。

例えば、送話者１００が受話者３００の電話番号を入力すると、自動通訳システム５００は、ＣＴＩＡＰＩ５３３からｄｘ＿ｄｉａｌＣＴＩ制御関数を呼び出して、ＣＴＩボード５１０を介して受話者３００の電話番号に対応するＤＴＭＦ信号を発生させ、通話接続を試みる。このとき、受話者３００が通話可能な状態であるか否かによって、その後に実行すべきＣＴＩ制御関数が決められるが、受話者３００の電話ラインからＣＴＩボード５１０を介してトーン（tone）信号が入力されると、受話者３００が通話可能な状態であると認め、これによる後続のＣＴＩ制御関数としてＡＴＤＸ＿ＣＰＴＥＲＭを呼び出して、受話者３００の電話機にリング信号を伝送する一方、受話者３００の電話ラインからＣＴＩボード５１０を介してビジー（busy）信号が入力されると、受話者３００が通話不可能な状態であると認め、これによる後続のＣＴＩ制御関数としてｄｘ＿ｐｌａｙを呼び出して、通話接続失敗のコメントを出力する。即ち、電話かけ動作を行うためには、ｄｘ＿ｄｉａｌＣＴＩ制御関数を呼び出した後、ＣＴＩボード５１０から入力された信号に応じてそれぞれ異なるＣＴＩ制御関数を呼び出す必要がある。

そこで、このような煩わしさを解消するために、本発明では、基本的な電話動作を行うことができる作業単位でＣＴＩ制御関数を構成し、作業遂行部５３５を介して作業単位のＣＴＩ制御関数を順に呼び出して、基本的な電話動作をそれぞれ行う。以下、作業遂行部５３５についてより詳しく説明する。

一般に、作業（Job）とは、コンピュータで実行できる仕事の単位を意味しているが、本発明における作業は、基本的な電話動作を行うことができるように構成された各ＣＴＩ制御関数のシーケンスと見なされ、このような作業単位で構成された基本的な電話動作の一例を図５に示している。

図５に示すように、電話かけ、電話受け、電話切り、ボタン押し、ボタン読み、トーン検出、音声の伝達、音声の格納、話し、及び聞きなどの作業（ＪＢ＿＊）は、ＣＴＩ制御関数のシーケンスで構成されるが、特に、陰影処理されたブロックのＣＴＩ制御関数は、イベントハンドラ５３１から発生されたイベントを確認するか、現在の状態を確認するためのＣＴＩ制御関数であり、イベントハンドラ５３１からイベントが発生すると、発生されたイベントによって次のステップで必要な後続のＣＴＩ制御関数が呼び出されるように構成されている。

従って、上記のように、ＣＴＩ制御関数を作業単位で構成することにより、数回にわたってＣＴＩ制御関数を個別に呼び出すことなく、一度の作業要請により基本的な電話動作を行うことが可能となり、システムの制御性能及び速度を向上させることができる。

一方、通訳モジュール５５０は、ＣＴＩボード５１０を介して入力された送話者１００、又は受話者３００の音声を相手側の話者が認識できる言語に翻訳しており、音声認識部５５１と、翻訳部５５３と、音声合成部５５５とを備えている。

音声認識部５５１では、ＣＴＩボード５１０を介して入力された送話者１００、又は受話者３００の音声を認識して、文章（テキスト）に変換しているが、このための音声認識アルゴリズムとしては、音声のスペクトラム変化に基づき、与えられたモデルとの確率的な推定値を用いてモデルの類似度を計算する隠れマルコフモデル（Hidden Markov Model）を使用することができる。

翻訳部５５３は、音声認識部５５１で認識された文章を送話者１００、又は受話者３００が認識できる言語に翻訳しているが、このための翻訳アルゴリズムとしては、従来に開示された構文分析による規則基盤型（Rule-Based）アルゴリズム、言語現象による語彙基盤型（Lexical-Based）翻訳アルゴリズム、大容量例題による例題基盤型（Example-Based）翻訳アルゴリズムなどをそのまま使用することが可能であり、それについての詳しい説明は省略する。

音声合成部５５５は、音声認識部５５１で認識された認識文章または翻訳部５５３で翻訳された翻訳文章を音声に合成して出力するが、このための音声合成（Text to Speech）アルゴリズムとしては、Ｊ．Ａｌｌｅｎ，Ｍ．Ｓ．Ｈｕｎｎｉｃｕｔｔａｎｄｄ．Ｋｌａｔｔなどの「ＦｒｏｍＴｅｘｔｔｏＳｐｅｅｃｈ」（Cambridge University Press，1987，pp．16-150）に記載されているホルマント合成規則を使用することも可能である。

上記に述べられた音声認識アルゴリズム、翻訳アルゴリズム、音声合成アルゴリズムの以外にも、他のアルゴリズムを使用することも可能であり、これらのアルゴリズムは、本発明を限定するものではない。

ところで、本発明による３者通話方式の通訳システムにおいては、送話者１００や受話者３００から、いつ、どのようなイベントが発生するかを予測することができないため、円滑な通訳サービスを提供するためには、発生されたイベントによって、次のステップで必要な動作を迅速に行わなければならない。

このために、本発明による主制御モジュール５７０においては、次に説明するように、通訳シナリオに基づいて双方向の自動通訳サービスに関わる全般的な動作を制御している。以下、主制御モジュール５７０についてより詳しく説明する。

主制御モジュール５７０は、ＣＴＩ制御モジュール５３０からイベントが発生されると、予め定義されている通訳シナリオに基づいて、次のステップで行うべき動作を選択する通訳シナリオ管理部５７１と、前記通訳シナリオ管理部５７１から選択された現在状態切り替え動作によって現在の状態を次の状態に切り替える状態切り替え部５７３とを備えている。

通訳シナリオとは、送話者１００や受話者３００に円滑な自動通訳サービスを提供できるように、自動通訳システム５００の動作の流れを予め定義したものであり、この通訳シナリオには、現在の状態で発生されたイベントによって次のステップで行うべき動作が予め設定されており、このような通訳シナリオの一例を図６に示している。

図６に示すように、通訳シナリオは、現在行っている動作状態である現在の状態（ＳＴ＿＊）、発生されたイベント（ＥＶＴ＿＊）、発生されたイベントにより次のステップで行うべき動作（Ｏｎ＿＊）を＜「現在状態」、「イベント」、「動作」＞の形式でテーブル化したものであり、＜「現在状態」、「イベント」、「動作」＞において、「動作」は、発生されたイベントによって現在の状態を次の状態に切り替える現在状態切り替え動作を選択し、次のステップで必要な基本的な電話動作を選択する動作を意味する。

即ち、通訳シナリオ管理部５７１は、イベントハンドラ５３１からイベントが発生すると、予め格納された通訳シナリオに基づいて、次のステップで行うべき動作（Ｏｎ＿＊）を選択する。このように通訳シナリオ管理部５７１が動作（Ｏｎ＿＊）を選択すると、選択された動作により次のステップで必要な現在状態切り替え動作と基本的な電話動作とが選択され、これにより、状態切り替え部５７３は、選択された現在状態切り替え動作により現在の状態を次の状態に切り替え、作業遂行部５３５は、選択された基本的な電話動作により次のステップで必要な作業を行うことになる。

例えば、送話者１００が自動通訳システム５００に接続すると、ＣＴＩ制御モジュール５３０のイベントハンドラ５３１は、呼出（call）受信イベントを主制御モジュール５７０の通訳シナリオ管理部５７１に伝達し、通訳シナリオ管理部５７１は、通訳シナリオから呼受信イベント処理のための＜ST＿START, EVT＿WAITCALL, OnGotoPlayWelcomeMent＞を参照し、状態切り替え部５７３を介して現在の状態をＳＴ＿ＳＴＡＲＴからＳＴ＿ＰｌａｙＷｅｌｃｏｍｅＭｅｎｔに切り替え、送話者１００に接続歓迎のコメントを出力する動作を行う。

上記のように、通訳シナリオが＜現在状態、イベント、動作＞の形式になっているため、送話者１００や受話者３００から、いつ、どのようなイベントが発生されても次のステップで必要な動作を迅速に行うことが可能となり、相異なる言語を使っている送話者１００と受話者３００の間でも円滑な対話を行うことが可能となる。

以下、本発明による３者通話方式の自動通訳方法を添付図面を参照して詳しく説明する。

図７は、本発明に係る３者通話方式の自動通訳方法の全体フローチャートであり、図７に示すように、送話者１００が自動通訳システム５００に接続すると、送話者１００と受話者３００の間に通話チャンネルを設定する電話接続ステップ（Ｓ１０〜Ｓ７０）と、予め定義された通訳シナリオにより、入力される送話者１００／受話者３００の音声を相手側の話者が認識できる言語に翻訳する自動通訳ステップ（Ｓ８０〜Ｓ１５０）と、通訳シナリオにより、翻訳された送話者１００／受話者３００の音声を相手側の話者に伝送する通訳伝送ステップ（Ｓ１６０〜Ｓ１７０）とを包含する。

先ず、送話者１００が電話をかけて自動通訳システム５００に接続すると、これにより、イベントハンドラ５３１を介して呼受信イベント（EVT＿WAITCALL）が通訳シナリオ管理部５７１に伝達されるが、通訳シナリオ管理部５７１は、通訳シナリオの＜ST＿START、EVT＿WAITCALL、OnGotoPlayWelcomeMent＞により呼受信イベント処理のための動作（OnGotoPlayWelcomeMent）を選択し、選択された動作（OnGotoPlayWelcomeMent）により状態切り替え部５７３を介して現在の状態を歓迎のコメント出力状態（ST＿PLAYWELCOMEMENT）に切り替え、作業遂行部５３５を介して電話受け作業を行う（Ｓ１０）。ここで、イベントハンドラ５３１、作業遂行部５３５、通訳シナリオ管理部５７１、状態切り替え部５７３の動作は、図４に関わる説明で詳しく説明しており、以下、説明の便宜上、自動通訳システム５００にまとめて説明する。

以後、電話受けが終了すると、自動通訳システム５００は、通訳シナリオの＜ST＿PLAYWELCOMEMENT、EVT＿PLAYVOICE、OnEndPlayWelcomeMent＞により歓迎のコメントを出力し（Ｓ２０）、歓迎のコメントの出力が終了した後、通訳シナリオの＜ST＿PLAYPHONENUMMENT、EVT＿PLAYVOICE、OnEndPlayPhoneNumMent＞により受話者３００の電話番号の入力を要求するコメントを出力する（Ｓ３０）。

送話者１００が電話機を介して数字を入力すると、ＤＴＭＦトーン信号イベント（EVT＿GETDIGIT）が発生され、これにより、自動通訳システム５００は、通訳シナリオの＜ST＿GETPHONENUMDIGIT、EVT＿GETDIGIT、OnEndGetPhoneNumDigit＞により、送話者１００から入力されたＤＴＭＦトーン信号を検出して受話者３００の電話番号を認識する（Ｓ４０）。

このように受話者３００の電話番号が認識されると、自動通訳システム５００は、通訳シナリオの＜ST＿PLAYOUTBOUNDCALLMENT、EVT＿PLAYVOICE、OnEndPlayOutboundCallMent＞により通話接続案内のコメントを送話者１００に出力すると同時に、電話かけ作業を行って受話者３００の電話番号に通話接続を試みる（Ｓ５０）。

その後、通訳システム５００は、受話者３００の応答により、通話が正常に接続されたか否かを判別し、通話接続に失敗した場合、通訳シナリオの＜ST＿PLAYCONNECTFAILMENT、EVT＿PLAYVOICE、OnEndPlayConnectFailMent＞により送話者１００に通話接続の失敗のコメントを出力し（Ｓ６０）、通話接続に成功した場合、通訳シナリオの＜ST＿PLAYCONNECTSUCCESSMENT、EVT＿PLAYVOICE、OnEndPlayConnectSuccessMent＞により通話接続の成功のコメントを出力する（Ｓ７０）。

このように、通話接続に成功した場合、即ち、呼受信イベントが発生された場合、自動通訳システム５００は、＜ST＿PLAYINTRODUCEMENT、EVT＿PLAYVOICE、OnEndPlayIntroduceMent＞により送話者１００と受話者３００とに通訳サービスの利用のための案内コメントを出力する（Ｓ８０）。

一方、本発明による自動通訳システム５００においては、送話者１００と受話者３００とに実時間で通訳サービスを提供できるように、送話者１００と自動通訳システム５００の間、自動通訳システム５００と受話者３００の間の二つの通話チャンネルを同時に制御しているが、同一の通訳シナリオによりこれらの二つの通話チャンネルを同時に制御しているため、以下、説明の便宜上、送話者１００と自動通訳システム５００の間の通話チャンネルを制御する場合を例にして説明する。

通訳サービスの利用についての案内コメントが出力された後、送話者１００が音声入力のために、所定のボタン（＊ボタン）を押すと、自動通訳システム５００は、通訳シナリオの＜ST＿GETRECOGSTARTDIGIT、EVT＿PLAYVOICE、OnEndGetRecogStartDigit＞により、送話者１００により入力される音声を録音する（Ｓ９０）。

このような音声録音過程において、送話者１００が録音を終了するために、所定のボタン（＃ボタン）を押すと、自動通訳システム５００は、通訳シナリオの＜ST＿GETRECOGSTOPDIGIT、EVT＿PLAYVOICE、OnEndGetRecogStopDigit＞により送話者１００の音声録音を終了する（Ｓ１００）。

その次に、自動通訳システム５００は、通訳シナリオの＜ST＿SPEECHRECOG、EVT＿RECOGSPEECH、OnEndSpeechRecog＞により、録音された送話者１００の音声を認識する（Ｓ１１０）が、音声認識に成功したか否かを判別して、音声認識に失敗したときは、＜ST＿PLAYRECOGFAILMENT、EVT＿PLAYVOICE、OnEndPlayRecogFailMent＞により音声認識の失敗のコメントを出力し、かつ、送話者１００の音声を入力する状態に復帰し（Ｓ１２０）、音声認識に成功したときは、＜ST＿PLAYTTSRECOGSENTENCE、EVT＿PLAYVOICE、OnEndPlayTtsRecogSentence＞により、認識された文章を音声に合成して送話者１００に伝達する（Ｓ１３０）。

音声に合成された認識文章が、送話者１００に伝達されると、送話者１００は、その認識文章が、自分が入力した内容と合致するかを確認して、合致すると＊ボタンを選択し、合致しないと＃ボタンを選択する。送話者１００が＊ボタンを選択した場合、自動通訳システム５００は、通訳シナリオの＜ST＿TRANSRECOGSENTENCE、EVT＿TRANS、OnEndTransRecogSentence＞により、認識された文章を受話者３００が認識できる言語に翻訳し（Ｓ１４０）、翻訳が終了すると、通訳シナリオの＜ST＿PLAYTTSTRANSSENTENCE、EVT＿PLAYVOICE、OnEndPlayTtsTransSentence＞により、翻訳された文章を受話者３００が聴取できるように音声に合成する（Ｓ１５０）。

その次に、翻訳された送話者１００の音声を通訳シナリオの＜ST＿OUTTRANSSENTENCE、EVT＿PLAYVOICE、OnEndOutTransSentence＞により受話者３００に伝送する（Ｓ１６０）。翻訳文章の合成音出力が終了すると、＜ST＿PLAYDINGDONGMENT, EVT＿PLAYVOICE, OnEndPlayDingdongMent＞により、出力終了を表す所定のお知らせ音（例えば、ピンポン）を出力することもできる。

その次に、自動通訳システム５００は、通訳シナリオの＜ST＿PLAYRCVWAITMENT、EVT＿RCVSENTENCE、OnEndGetRcvSentence＞により、伝送された翻訳文章に対する受話者３００からの応答があったかをチェックし（Ｓ１７０）、受話者３００から応答文章が受信された場合、通訳シナリオの＜ST＿OUTRCVSENTENCE、EVT＿PLAYVOICE、OnEndOutRcvSentence＞により、受信された応答文章を送話者１００に伝送する（Ｓ１８０）。

上述のように、本発明による自動通訳システム５００においては、次のステップで行うべき動作が予め設定された通訳シナリオにより双方向の自動通訳サービスに関わる全般的な動作を制御していることから、送話者１００は、遠隔地の相異なる言語を使っている受話者３００とも自由に通話することができる。

以上のように、上記実施の形態を参照して詳細に説明され図示されたが、本発明は、これに限定されるものでなく、このような本発明の基本的な技術的思想を逸脱しない範囲内で、当業界の通常の知識を有する者にとっては、他の多くの変更が可能であろう。また、本発明は、添付の特許請求の範囲により解釈されるべきであることは言うまでもない。

従来の自動通訳システムの構成図である。従来の自動通訳の方法を示すブロック図である。本発明に係る３者通話方式の自動通訳システムのためのネットワークの概略構成図である。本発明に係る３者通話方式の自動通訳システムの概略構成図である。図４における作業遂行部の動作を説明するための図である。本発明に係る通訳シナリオの一実施の形態を示す図である。本発明に係る３者通話方式の自動通訳方法を示す全体フローチャートである。

符号の説明

１００送話者
３００受話者
５００自動通訳システム
５１０ＣＴＩボード
５３０ＣＴＩ制御モジュール
５３１イベントハンドラ
５３３ＣＴＩＡＰＩ
５３５作業遂行部
５５０通訳モジュール
５５１音声認識部
５５３翻訳部
５５５音声合成部
５７０主制御モジュール
５７１通訳シナリオ管理部
５７３状態切り替え部
７００公衆電話交換網（ＰＳＴＮ）
９００私設構内交換機（ＰＢＸ）

Claims

送話者と受話者の間に通話チャンネルを設定するＣＴＩボードと、
前記ＣＴＩボードを介して入力されたボタン信号によりイベントを発生させ、前記ＣＴＩボードを制御するＣＴＩ制御モジュールと、
前記ＣＴＩボードを介して入力された送話者／受話者の音声を認識して所定の言語に翻訳する通訳モジュールと、
現在行っている動作状態である現在状態、発生されたイベント、発生されたイベントにより次のステップで行うべき動作を＜「現在状態」、「イベント」、「動作」＞の形式でテーブル化したものである通訳シナリオにより前記ＣＴＩ制御モジュールの動作を制御する主制御モジュールとを備えることを特徴とする３者通話方式の自動通訳システム。
前記ＣＴＩ制御モジュールは、基本的な電話を行うことができる作業単位で前記ＣＴＩボードを制御することを特徴とする請求項１に記載の３者通話方式の自動通訳システム。
前記ＣＴＩ制御モジュールは、
前記ＣＴＩボードを介して入力されたボタン信号によりイベントを発生させるイベントハンドラと、
前記ＣＴＩボードを制御するＣＴＩ制御関数からなるＣＴＩＡＰＩと、
前記主制御モジュールからの要請により前記ＣＴＩＡＰＩからＣＴＩ制御関数を順に呼び出して基本的な電話動作を行う作業遂行部とを備えることを特徴とする請求項１または請求項２に記載の３者通話方式の自動通訳システム。
前記基本的な電話動作は、電話かけ、電話受け、電話切り、ボタン押し、ボタン読み、トーンの検出、音出し、音聞き、話し、及び聞きを含むことを特徴とする請求項３に記載の３者通話方式の自動通訳システム。
前記通訳モジュールは、
前記ＣＴＩボードを介して入力された音声を認識してテキストに変換する音声認識部と、
前記音声認識部から変換されたテキストを所定の言語に翻訳する翻訳部と、
前記音声認識部で認識されたテキストまたは前記翻訳部で翻訳された翻訳テキストを音声に合成して出力する音声合成部とを備えることを特徴とする請求項１または請求項２に記載の３者通話方式の自動通訳システム。
前記通訳シナリオは、現在の状態及び前記ＣＴＩ制御モジュールから発生されたイベントにより選択される現在状態切り替え動作及び基本的な電話動作からなることを特徴とする請求項１または請求項２に記載の３者通話方式の自動通訳システム。
前記主制御モジュールは、
前記ＣＴＩ制御モジュールからイベントが発生すると、予め定義された通訳シナリオに基づいて、現在状態切り替え動作及び基本的な電話動作を選択する通訳シナリオ管理部と、
前記通訳シナリオ管理部から選択された現在状態切り替え動作により現在の状態を次の状態に切り替える状態切り替え部とを備えることを特徴とする請求項６に記載の３者通話方式の自動通訳システム。
送話者が自動通訳システムに接続すると、送話者と受話者の間に通話チャンネルを設定する電話接続ステップと、
ＣＴＩボードを介して入力される送話者または受話者のボタン信号によりＣＴＩ制御モジュールからイベントが発生されると、現在行っている動作状態である現在状態、発生されたイベント、発生されたイベントにより次のステップで行うべき動作を＜「現在状態」、「イベント」、「動作」＞の形式でテーブル化したものである通訳シナリオに基づいて、前記発生されたイベントにより、入力された音声を所定の言語に翻訳する自動通訳ステップと、
前記通訳シナリオにより、前記ＣＴＩボードを制御して前記翻訳された音声を相手側の話者に伝送する通訳伝送ステップとを含むことを特徴とする３者通話方式の自動通訳方法。
前記自動通訳ステップは、
送話者または受話者により入力されるボタン信号により前記ＣＴＩ制御モジュールからイベントが発生されると、予め定義された通訳シナリオに基づいて、前記発生されたイベントにより入力される送話者または受話者の音声を録音するステップと、
予め定義された通訳シナリオにより、通訳モジュールを介して前記録音された音声を認識して所定の言語に翻訳するステップとを含むことを特徴とする請求項８に記載の３者通話方式の自動通訳方法。
前記翻訳ステップは、
前記録音された音声を認識してテキストに変換するステップと、
前記テキストを所定の言語に翻訳するステップと、
前記翻訳されたテキストを音声に合成するステップとを含むことを特徴とする請求項９に記載の３者通話方式の自動通訳方法。