JP3891023B2

JP3891023B2 - 通訳システム及びプログラム

Info

Publication number: JP3891023B2
Application number: JP2002098345A
Authority: JP
Inventors: 康弘小池
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2002-04-01
Filing date: 2002-04-01
Publication date: 2007-03-07
Anticipated expiration: 2022-04-01
Also published as: JP2003295892A

Description

【０００１】
【発明の属する技術分野】
本発明は、使用者とその会話相手の２つの言語間において、使用者とその会話相手の発声したそれぞれの言語を認識し、発声内容を互いの相手の言語に翻訳する通訳システムに関し、特に２つの言語の音声認識の切り替え方法と音声入力方法の改良に関する。
【０００２】
【従来の技術】
従来の２言語間通訳システムとしては、日本電気株式会社より発売されているパソコン用ソフト「たび通（アメリカ旅行編）」が挙げられる。本システムの構成を、図６に示す。
【０００３】
マイクスイッチ２０２は、音声入力状態をON状態もしくはOFF状態に切り替えるスイッチである。切替スイッチ２０４は、日本語入力状態と英語入力状態を切り替えるスイッチである。
【０００４】
音声入力部２０１は、マイクスイッチ２０２がON状態になっている間に入力された音声を音声データに変換して切替部２０３に出力する。切替部２０３は、切替スイッチ２０４の状態に応じて、音声入力部２０１から入力された音声データを日本語音声認識部２０５もしくは英語音声認識部２０８へ渡す。
【０００５】
日本語音声認識部２０５は、受け取った日本語の音声データに対する音声認識処理を行い、認識結果を日→英翻訳部２０６へ渡す。日→英翻訳部２０６は、日本語の入力データを英語に翻訳し、英語音声合成部２０７へ渡す。英語音声合成部２０７は、受け取ったデータに対する音声合成処理を行い、合成した音声データを音声出力部２１１へ渡す。音声出力部２１１は、受け取った音声データに対してD/A変換などの処理を行い、音声を出力する。
【０００６】
英語音声認識部２０８は、受け取った英語の音声データに対する音声認識処理を行い、認識結果を英→日翻訳部２０９へ渡す。英→日翻訳部２０９は、英語の入力データを日本語に翻訳し、日本語音声合成部２１０へ渡す。日本語音声合成部２１０は、受け取ったデータに基づいた音声合成処理を行い、合成した音声データを音声出力部２１１へ渡す。音声出力部２１１は、受け取った音声データに対してD/A変換などの処理を行い、音声を出力する。
【０００７】
次に、通訳システムの使用者である日本語話者が、英語話者と会話をする場合を例にとって動作を説明する。
【０００８】
日本語話者は、音声を入力する前に切替スイッチ２０４にて入力する言語として日本語を選択する。その後、マイクスイッチ２０２をON状態に切替え、音声入力部２０１から音声を入力し、入力し終わったらマイクスイッチ２０２をOFF状態にする。
【０００９】
音声入力部２０１は、マイクスイッチ２０２がON状態のときに入力された音声を音声データに変換し、切替部２０３に渡す。切替部２０３は、切替スイッチ２０４の状態が日本語入力状態となっていることから、入力された音声データを日本語音声認識部２０５に渡す。
【００１０】
日本語音声認識部２０５では、入力された音声データに対する音声認識処理を行い、日→英翻訳部２０６では、日本語音声認識部２０５の認識結果に基づいて日本語から英語への翻訳処理を行い、英語音声合成部２０７では、日→英翻訳部２０６の翻訳結果に基づいて音声合成を行い、音声データを音声出力部２１１に出力する。これにより、音声出力部２１１から音声が出力され、相手に聞こえる。
【００１１】
次に英語話者が音声を入力する場合は、使用者である日本語話者もしくは会話相手である英語話者が切替スイッチ２０４にて入力言語として英語を選択する。その後、マイクスイッチ２０２を使用者もしくは会話相手がON状態にし、会話相手が音声入力部２０１から音声を入力する。入力し終わったらマイクスイッチ２０２をOFF状態にする。
【００１２】
英語話者が発した音声は、音声入力部２０１で音声データに変換され、更に、切替部２０３を介して英語音声認識部２０８に入力される。ここで、音声データに対する英語の音声認識処理が行われ、英→日翻訳部２０９において日本語に翻訳され、日本語音声合成部２１０にて音声データに変換され、音声出力部２１１にて音声出力されて、使用者に聞こえる。
【００１３】
【発明が解決しようとする課題】
しかしながら、上述した従来の通訳システムは、マイクスイッチ２０２と切替スイッチ２０４の２つのスイッチを操作しなければならないため、操作性が悪いという問題点があった。
【００１４】
具体的には、使用者が発声する場合には切替スイッチ２０４を日本語入力状態にし、会話相手が発声する場合には切替スイッチ２０４を英語入力状態にするというように、発話者が代わる度に切替スイッチ２０４を操作しなければならないという問題がある。更に、操作が面倒なため、切替スイッチ２０４の切替を忘れて発声してしまう事態も発生しやすく、そのような場合は、切替スイッチ２０４を切り換えてから再度発声し直さなければならないという問題もある。
【００１５】
また、会話相手が発声する場合、マイクスイッチ２０２の操作タイミングと発声タイミングを合わせることが困難であるという問題もある。つまり、使用者は通訳システムを何度も使用するため、操作方法を学ぶことができるが、会話相手は使用者がその場その場で話しかける相手であるため、通訳システムを初めて使う場合が多く、通訳システムに不慣れであることが多いと考えられる。そのため、会話相手が入力スイッチを押す前に発声を始めたり、発声の途中で入力スイッチを離してしまうことが考えられる。また、会話相手の代わりに使用者が入力スイッチを操作して会話相手に発声してもらう場合でも、会話相手の発声とマイクスイッチ２０２の操作タイミングを合わせるのは難しい。
【００１６】
【発明の目的】
そこで、本発明の目的は、通訳システムの操作性を向上させることにある。
【００１７】
【課題を解決するための手段】
本発明の通訳システムは、上記目的を達成するため、入力スイッチが、第１の状態のとき、音声入力部から出力される音声データを第１の翻訳手段に出力し、入力スイッチが、第２の状態で、且つ第１、第２の翻訳手段が処理中でない場合、音声入力部から入力された音声データを第２の翻訳手段に出力する切替部を備えたことを特徴とする。この構成によれば、使用者が音声を入力する期間のみ、入力スイッチを第１の状態にし、それ以外の期間は入力スイッチを第２の状態にするという操作を行うだけで、使用者が発した音声の音声データは、第１の翻訳手段に入力され、会話相手が発した音声の音声データは、第２の翻訳手段に入力されるので、簡単な操作で使用言語が異なる利用者と会話相手とが会話を行うことが可能になる。また、第１、第２の翻訳手段が処理中でない場合、入力された音声データを第２の翻訳手段に出力するようにしているので、通訳システムから出力された音声が、通訳システムに入力されるという事態の発生を防ぐこともできる。また、本発明の通訳システムは、定常ノイズの影響をなくすため、会話相手の音声データの有効な部分を検出するための検出部を設けている。
【００１８】
【発明の実施の形態】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００１９】
図１を参照すると、使用者が日本語話者、会話相手が英語話者の場合に使用する通訳システムの実施例が示されている。同図に示す通訳システムは、コンピュータからなる処理装置１と、音声入力部１０１と、入力スイッチ１０３と、音声出力部１１０と、検出部１１１と、記録媒体Ｋとから構成されている。
【００２０】
音声入力部１０１は、使用者、会話相手が発する音声をマイクロフォンなどを用いて電気信号に変換した後、A/D変換などを行うことにより、使用者、会話者が発する音声に対応した音声データを出力する機能を有する。
【００２１】
入力スイッチ１０３は、使用者もしくは会話相手によって操作されるスイッチであり、ON状態（日本語話者である使用者が音声を入力するときの状態）とOFF状態（英語話者である会話相手が音声を入力するときの状態）との２つの状態を持つ。
【００２２】
検出部１１１は、会話相手が音声を発しているか否かを検出する機能を有する。
【００２３】
音声出力部１１０は、音声データをD/A変換し、スピーカから出力する機能や、D/A変換を行っている期間、処理中信号を切替部１０２に出力する機能を有する。
【００２４】
処理装置１は、切替部１０２と、日本語音声認識部１０４と、日→英翻訳部１０５と、英語音声合成部１０６と、英語音声認識部１０７と、英→日翻訳部１０８と、日本語音声合成部１０９と、記録媒体Ｋとを備えている。
【００２５】
切替部１０２は、入力スイッチ１０３の状態に応じて次のような処理を行う。
【００２６】
（入力スイッチ１０３がON状態の場合）
音声入力部１０１から入力される音声データを日本語音声認識部１０４に渡す。
【００２７】
（入力スイッチ１０３がOFF状態の場合）
日本語音声認識部１０４、日→英翻訳部１０５、英語音声合成部１０６、英語音声認識部１０７、英→日翻訳部１０８、日本語音声合成部１０９、音声出力部１１０の中に処理中のものがある場合は、音声入力部１０１から入力される音声データを全て破棄し、処理中のものがない場合は、音声入力部１０１から入力される音声データを英語音声認識部１０７に渡す機能を有する。なお、各部１０４〜１１０の中に処理中のものがあるか否かは、各部１０４〜１１０から出力される処理中信号に基づいて判断する。
【００２８】
日本語音声認識部１０４は、切替部１０２から渡された音声データに対して日本語の音声認識処理を行い、認識結果を日→英翻訳部１０５へ渡す機能や、音声認識処理中は、処理中信号を切替部１０２に出力する機能を有する。
【００２９】
日→英翻訳部１０５は、日本語音声認識部１０４の認識結果（日本語）を英語に翻訳し、翻訳結果を英語音声合成部１０６へ渡す機能や、翻訳処理中は、処理中信号を切替部１０２に出力する機能を有する。
【００３０】
英語音声合成部１０６は、日→英翻訳部１０５から渡された翻訳結果（英語）に基づいて音声合成処理を行い、合成した音声データを音声出力部１１０に出力する機能や、音声合成処理中は、処理中信号を切替部１０２に出力する機能を有する。
【００３１】
英語音声認識部１０７は、切替部１０２を介して入力される音声データの内の、検出部１１１が、会話相手が音声を発していることを検出している期間に入力された音声データを対象にして、英語の音声認識処理を行い、認識結果を英→日翻訳部１０８に渡す機能や、音声認識処理中は、処理中信号を切替部１０２に出力する機能を有する。
【００３２】
英→日翻訳部１０８は、英語音声認識部１０７から渡された認識結果（英語）を日本語に翻訳し、翻訳結果を日本語音声合成部１０９に渡す機能や、翻訳処理中は、処理中信号を切替部１０２に出力する機能を有する。
【００３３】
日本語音声号合成部１０９は、英→日翻訳部１０８から渡された翻訳結果（日本語）に基づいて音声合成処理を行い、合成した音声データを音声出力部１１０に出力する機能や、音声合成処理中は、処理中信号を切替部１０２に出力する機能を有する。
【００３４】
記録媒体Ｋは、ディスク、半導体メモリ、その他の記録媒体であり、コンピュータからなる処理装置１を通訳システムの一部として機能させるためのプログラムが記録されている。このプログラムは、処理装置１によって読み取られ、その動作を制御することで、処理装置１上に切替部１０２、日本語音声認識部１０４、日→英翻訳部１０５、英語音声合成部１０６、英語音声認識部１０７、英→日翻訳部１０８、日本語音声合成部１０９を実現する。
【００３５】
次に、日本語話者が音声を発し、それに応えて英語話者が音声を発する場合を例に挙げて本実施例の動作を説明する。
【００３６】
先ず、日本語話者が音声を入力する際は、音声を入力する前に入力スイッチ１０３をON状態にし、その後、日本語の音声入力を行う（図２、Ｓ２１、Ｓ２２）。音声入力が終わると、日本語話者は、入力スイッチ１０３をOFF状態にする（Ｓ２３）。
【００３７】
入力スイッチ１０３がON状態の間、音声入力部１０１から入力された音声データは、切替部１０２によって日本語音声認識部１０４へ渡される（図３、Ｓ３１がＹＥＳ、Ｓ３２）。
【００３８】
日本語音声認識部１０４では、切替部１０２から渡された音声データに対する音声認識処理を行い、日→英翻訳部１０５では、日本語音声認識部１０４の認識結果に対する翻訳処理を行い、英語音声合成部１０６では、日→英翻訳部１０５の翻訳結果に従って音声合成を行い、合成した音声データを音声出力部１１０に出力する。音声出力部１１０では、音声データをD/A変換し、スピーカから出力する（図２、Ｓ２４）。
【００３９】
なお、上記した各処理が行われている期間においては、各部１０４〜１０６、１１０から順次処理中信号が出力されるので（図３、Ｓ３３がＹＥＳ）、切替部１０２は、音声出力部１１０のスピーカから出力された音声に対応する音声データを破棄することになる。従って、音声出力部１１０から出力される音声によって、処理装置１が誤動作することはない。
【００４０】
音声出力部１１０から出力される音声に応えて、会話相手が音声を発すると（図２、Ｓ２５）、音声入力部１０１は、音声を音声データに変換して切替部１０２に渡す。この時点では、入力スイッチ１０３がOFF状態になっており、且つ使用中信号を出力している手段がないので（図３、Ｓ３１、Ｓ３３が共にＮＯ）、切替部１０２は、音声入力部１０１から入力された音声データを英語音声認識部１０７に渡す（Ｓ３４）。また、会話相手が音声を発している期間、そのことが検出部１１１によって検出されている。なお、検出部１１１の詳細は、後で説明する。
【００４１】
英語音声認識部１０７は、検出部１１１によって会話相手が発声していることが検出されている期間、切替部１０２から渡された音声データに対する音声認識処理を行い、認識結果を英→日翻訳部１０８に渡す。英→日翻訳部１０８では、英語音声認識部１０７の認識結果に対する翻訳処理を行い、日本語音声合成部１０９では、英→日翻訳部１０８の翻訳結果に従って音声合成を行い、合成した音声データを音声出力部１１０に出力する。音声出力部１１０では、音声データをD/A変換し、スピーカから出力する（図２、Ｓ２６）。
【００４２】
なお、上記した各処理が行われている期間においては、各部１０７〜１０９、１１０から順次処理中信号が出力されるので（図３、Ｓ３３がＹＥＳ）、切替部１０２は、音声出力部１１０のスピーカから出力された音声に対応する音声データを破棄することになる。
【００４３】
図４は、検出部１１１の構成例を示すブロック図であり、マイクロフォン４１と、A/D変換器４２と、比較器４３とから構成されている。
【００４４】
マイクロフォン４１は、使用者、会話相手が発する音声や、定常ノイズなどを音声信号に変換する。A/D変換器４２は、マイクロフォン４１から出力された音声信号をA/D変換し、音声データを出力する。比較器４３は、A/D変換器４２の出力と閾値とを比較し、A/D変換器４２の出力の方が大きい場合は、検出信号を“１”とし、英語音声認識部１０７に会話相手が発声中であることを通知し、そうでない場合は、検出信号を“０”とする。ここで、閾値は、定常ノイズのレベルよりも大きく、会話相手が音声を発したときにA/D変換器４２から出力されるA/D信号のレベルよりも小さい値にする。つまり、図４の検出部１１１は、会話相手の発声時の音圧レベルと非発声時の音圧レベルとの差に基づいて、会話相手が発声しているか否かを検出するようにしている。このようにすることにより、定常ノイズが存在する駅などの人込みおいても、ノイズを音声と誤って翻訳処理しまうことがなくなる。なお、図４の例では、検出部１１１用のマイクロフォン４１、A/D変換器４２を設けるようにしたが、音声入力部１０１が備えているマイクロフォン、A/D変換器を使用することもできる。
【００４５】
図５は、検出部１１１の他の構成例を示すブロック図であり、ＣＣＤカメラなどの撮像手段５１と、A/D変換器５２と、画像認識手段５３とから構成されている。
【００４６】
撮像手段５１は、会話相手の顔（特に口元）を撮像し、映像信号をA/D変換器５２に出力する。A/D変換器５２は、映像信号をA/D変換する。画像認識手段５３は、A/D変換器５２から出力されるデジタル信号に基づいて、会話相手の口元を認識し、更に口元に動きがあるか否かを判定する。そして、口元に動きがある場合は、会話相手が音声を発していると判定し、検出信号を“１”とする。なお、画像認識手段５３は、処理装置１上に構成されるものである。
【００４７】
以上により、本実施例では、２言語間語間通訳システムの使用者である日本語話者が音声入力を行っている際は、入力された音声は日本語音声認識部１０４へ、それ以外の入力は相手である英語話者の入力とみなし、英語音声認識部１０７へ渡されるために、日本語話者、英語話者ともに、言語の切替を意識することなく通訳機能を使用することが可能である。また、英語話者の操作が必要なく、使用者が相手の発声のタイミングに合わせてマイクスイッチなどを操作をせずに使用することが可能である。また本実施例では使用者側が日本語、相手側が英語として説明したが、使用者側が英語、相手側が日本語でもよく、あるいはドイツ語、フランス語、中国語、韓国語など、任意の２つの言語間の通訳でも良い。
【００４８】
【発明の効果】
以上説明したように、本発明においては、次のような効果を奏する。
【００４９】
第１の効果は、通訳システムの操作が簡略化されるという点である。この結果操作誤りによる発声し直しが低減できる。その理由は、入力スイッチが、第１の状態のとき、音声入力部から出力される音声データを第１の翻訳手段（例えば、日本語音声認識部１０４、日→英翻訳部１０５、英語音声合成部１０６から構成される）に出力し、入力スイッチが、第２の状態で、且つ第１、第２の翻訳手段が処理中でない場合、音声入力部から入力された音声データを第２の翻訳手段（例えば、英語音声認識部１０７、英→日翻訳部１０８、日本語音声合成部１０９から構成される）に出力する切替部を備えているからである。
【００５０】
第２の効果は、定常ノイズの影響をなくすことができるという点である。その理由は、第２言語話者が発声しているか否かを検出する検出部を備えているからである。
【図面の簡単な説明】
【図１】本発明の実施例のブロック図である。
【図２】通訳システムの処理例を示す流れ図である。
【図３】切替部１０２の処理例を示す流れ図である。
【図４】検出部１１１の構成例を示すブロック図である。
【図５】検出部１１１の他の構成例を示すブロック図である。
【図６】従来の技術を説明するためのブロック図である。
【符号の説明】
１…処理装置
１０１…音声入力部
１０２…切替部
１０３…入力スイッチ
１０４…日本語音声認識部
１０５…日→英翻訳部
１０６…英語音声合成部
１０７…英語音声認識部
１０８…英→日翻訳部
１０９…日本語音声合成部
１１０…音声出力部
１１１…検出部
Ｋ…記録媒体
２０１…音声入力部
２０２…マイクスイッチ
２０３…切替部
２０４…切替スイッチ
２０５…日本語音声認識部
２０６…日→英翻訳部
２０７…英語音声合成部
２０８…英語音声認識部
２０９…英→日翻訳部
２１０…日本語音声合成部
２１１…音声出力部
４１…マイクロフォン
４２…A/D変換器
４３…比較器
５１…撮像手段
５２…A/D変換器
５３…画像認識手段

Claims

第１言語話者、第２言語話者が発する音声を音声データに変換して出力する音声入力部と、
前記第１言語話者が音声を発している間、前記第１言語話者もしくは前記第２言語話者によって第１の状態にされ、前記第１言語話者が音声を発していない間、前記第１言語話者もしくは前記第２言語話者によって第２の状態にされる入力スイッチと、
前記第２言語話者が音声を発しているか否かを検出する検出部と、
入力された音声データを第１言語の音声データと見なして第２言語の音声データに翻訳する第１の翻訳手段と、
前記検出部によって前記第２言語話者が音声を発していることが検出されている間に入力された音声データを第２言語の音声データと見なして第１言語の音声データに翻訳する第２の翻訳手段と、
前記第１、第２の翻訳手段の翻訳結果を音声に変換して出力する音声出力部と、
前記入力スイッチが、第１の状態のとき、前記音声入力部から出力される音声データを前記第１の翻訳手段に出力し、前記入力スイッチが、第２の状態で、且つ前記第１、第２の翻訳手段が処理中でない場合、前記音声入力部から入力された音声データを前記第２の翻訳手段に出力する切替部とを備えたことを特徴とする通訳システム。
請求項１記載の通訳システムにおいて、
前記検出部が、非発声時と発声時との音圧レベルの差により、前記第２言語話者が発声しているか否かを検出する構成を有することを特徴とする通訳システム。
請求項１記載の通訳システムにおいて、
前記検出部は、前記第２言語者の顔画像を取り込み、該顔画像によって示される口元の動きから前記第２言語者が発声しているか否かを検出する構成を有することを特徴とする通訳システム。
第１言語話者、第２言語話者が発する音声を音声データに変換して出力する音声入力部と、
前記第１言語話者が音声を発している間、前記第１言語話者もしくは前記第２言語話者によって第１の状態にされ、前記第１言語話者が音声を発していない間、前記第１言語話者もしくは前記第２言語話者によって第２の状態にされる入力スイッチと、
前記第２言語話者が発声しているか否かを検出する検出部と、
翻訳結果を音声に変換して出力する音声出力部とを備えたコンピュータを、
前記入力スイッチが、第１の状態のとき、前記音声入力部から出力される音声データを第１の翻訳手段に出力し、前記入力スイッチが、第２の状態で、且つ第１、第２の翻訳手段が処理中でない場合、前記音声入力部から入力された音声データを第２の翻訳手段に出力する切替部、
前記切替部から入力された音声データを、第１言語の音声データと見なして第２言語の音声データに翻訳し、翻訳結果を前記音声出力部に出力する第１の翻訳手段、
前記検出部によって発声が検出されている期間に前記切替部から入力された音声データを、第２言語の音声データと見なして第１言語の音声データに翻訳し、翻訳結果を前記音声出力部に出力する第２の翻訳手段として機能させるためのプログラム。