JP3903841B2 - Automatic interpretation device and program for automatic interpretation - Google Patents
Automatic interpretation device and program for automatic interpretation Download PDFInfo
- Publication number
- JP3903841B2 JP3903841B2 JP2002138178A JP2002138178A JP3903841B2 JP 3903841 B2 JP3903841 B2 JP 3903841B2 JP 2002138178 A JP2002138178 A JP 2002138178A JP 2002138178 A JP2002138178 A JP 2002138178A JP 3903841 B2 JP3903841 B2 JP 3903841B2
- Authority
- JP
- Japan
- Prior art keywords
- search
- recognition result
- user
- input
- sentence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、異なる二つの言語間の通訳を行う自動通訳装置に関し、特に利用者の音声を認識した結果に類似した例文を例文集から検索して表示し、その例文の翻訳文を音声で読み上げる機能を備えた自動通訳装置に関する。
【0002】
【従来の技術】
一般に翻訳装置には、例えば特開平9-245040号公報(文献1)に記載された「翻訳支援装置」に見られるように入力および出力をテキスト形式で行うタイプと、例えば特開平8-314492号公報(文献2)に記載された「音声入力翻訳装置」や2001年7月に日本電気株式会社より発表されたパソコン用ソフトウェア「たび通(アメリカ旅行編)」(以下、たび通)に見られるように入力および出力を共に音声で行うタイプとがあり、後者は特に自動通訳装置と呼ばれ、区別されている。本発明はこの後者の自動通訳装置の改良に関する。
【0003】
入力を音声で行う自動通訳装置では、利用者がマイクロフォン等の音声入力部から音声を入力すると、音声認識部がその音声を認識してテキスト形式の認識結果を生成し、翻訳部がこのテキストを目的言語に翻訳し、そして音声合成部が翻訳されたテキストを音声に変換し、スピーカ等の音声出力部が翻訳結果の音声を出力する。この場合、翻訳処理やその音声への変換処理が正確であっても、音声認識自体が正しく行われていないと所期の目的を達成することができない。そこで、一般的には音声認識した結果を表示することで、正しく認識されたかどうかを利用者が確認できるようにしている。そして、文献2では自己の話した文章内容と表示内容とが一致していなければ、何度でも音声入力を繰り返すことができるように構成している。しかし、騒々しい環境で使用する場合など、何度繰り返しても正しく音声認識されない場合がある。
【0004】
そこで、「たび通」では、認識結果表示部分に単語または文が表示されているときに、利用者がその状態で、あるいは一部修正してから例文検索を指示すると、認識結果表示部分にある単語を含む例文および認識結果表示部分にある文に類似した例文を例文集から検索して結果を表示し、検索された例文の内から何れか1つの例文を選択すると、この選択された例文に対応する翻訳文を音声で読み上げる例文検索機能を持たせている。この場合、例文の翻訳文は例文と組にして例文集に事前に記憶されているため、翻訳処理は走らない。
【0005】
【発明が解決しようとする課題】
たび通における上述した例文検索機能は、正しく音声認識されるまで何度も発声を繰り返す方法に比べ騒々しい環境下では特に有効に機能するものであったが、誤認識した単語を除いて例文検索を行う操作が比較的煩雑であるという課題があった。この点を日本語を英語に通訳する具体例を挙げて以下説明する。
【0006】
今、「駅はどこですか」と発声したのに対し「敵はどこですか」という音声認識結果が得られたため、誤認識した「敵」を除いた「はどこですか」で検索する場合を想定する。この場合、たび通の例文検索機能では以下の操作が必要となる。
(1)「敵はどこですか」なる認識結果の表示中から「敵」の部分を選択する操作を行う。
(2)選択した「敵」を削除する操作を行う。
(3)例文検索を指示する操作を行う。これにより、敵が削除された残りの「はどこですか」に含まれる単語を含む例文または類似する例文が検索され、その検索結果が表示される。
(4)検索結果の複数の例文の内から「駅はどこですか」を選択する。これにより、例文「駅はどこですか」に対応する翻訳文が音声で読み上げられる。
【0007】
このように利用者は(1)〜(4)の4ステップの操作を行う必要がある。
【0008】
なお、「敵」を削除せずにいきなり例文検索を行うことも可能であり、その場合の操作は以下のようになる。
(1)「敵はどこですか」なる認識結果が表示されているときに、例文検索を指示する操作を行う。
(2)この操作に応答して、認識結果に含まれる「敵」や「どこですか」などの単語を含む例文、「敵はどこですか」の文に類似する例文などが例文集から検索され、その検索結果が表示されるので、その中から「駅はどこですか」の例文を選択する操作を行う。これにより、例文「駅はどこですか」に対応する翻訳文が音声で読み上げられる。
【0009】
この方法は効率が一見良さそうであるが、もともと誤認識した「敵」を含む例文も検索されるため、検索される例文は相当な数になり、その中から「駅はどこですか」を見つけ出すために比較的多くの画面スクロール操作が必要であり、また時間もかかってしまうことになる。
【0010】
【発明の目的】
本発明の目的は、音声を誤認識した場合の例文検索を簡便な操作で実施できるようにして利便性を向上させた自動通訳装置を提供することにある。
【0011】
本発明の別の目的は、音声認識で認識された文字列のうち誤認識した単語を除いた残りの文字列で例文検索を行う操作を簡便に行える自動通訳装置を提供することにある。
【0012】
本発明の他の目的は、音声認識で認識された文字列のうち正しく認識された単語による例文検索を簡便に行える自動通訳装置を提供することにある。
【0013】
【課題を解決するための手段】
本発明の第1の自動通訳装置は、原言語による音声の認識結果を表示した後、前記認識結果の目的言語による翻訳結果を音声で読み上げる自動通訳装置であって、表示されている認識結果の一部を選択する利用者操作と例文検索を指示する利用者操作とが行われたときに前記認識結果から前記選択された部分を除いた残りの文字列による例文検索を行って結果を表示する。より具体的には、原言語による音声の認識結果を表示した後、前記認識結果の目的言語による翻訳結果を音声で読み上げる機能を有する自動通訳装置において、原言語による例文と該例文の目的言語による翻訳文との組を複数蓄積する例文記憶部を検索する検索手段と、利用者の操作を受け取る入力手段と、前記入力手段による入力内容によって制御を行う制御手段とを備え、前記制御手段は、利用者が前記入力手段により前記表示された認識結果の一部を指定したときに該指定された部分を選択する手段と、前記認識結果から前記選択された部分を除いた残りの文字列を使って前記検索手段による検索を行わせる手段とを備え、前記検索手段による検索で得られた例文のうち利用者が前記入力手段により選択した例文に対応する翻訳文を音声によって読み上げる構成を有する。
【0014】
本発明の第2の自動通訳装置は、原言語による音声の認識結果を表示した後、前記認識結果の目的言語による翻訳結果を音声で読み上げる機能を有する自動通訳装置において、原言語による例文と該例文の目的言語による翻訳文との組を複数蓄積する例文記憶部を検索する検索手段と、利用者の操作を受け取る入力手段と、前記入力手段による入力内容によって制御を行う制御手段とを備え、前記制御手段は、利用者が前記入力手段により前記表示された認識結果の一部を指定したときに該指定された部分を選択する手段と、前記入力手段による利用者の検索を指示する操作が第1および第2の操作の何れであるかを判別する手段と、第1の操作であるときは前記認識結果から前記選択された部分を除いた残りの文字列を使って前記検索手段による検索を行わせ、第2の操作であるときは前記選択された部分の文字列を使って前記検索手段による検索を行わせる手段とを備え、前記検索手段による検索で得られた例文のうち利用者が前記入力手段により選択した例文に対応する翻訳文を音声によって読み上げる構成を有する。ここで、第1の操作および第2の操作は互いに明確に区別できる操作であれば任意の操作で良く、例えば第1の操作が第1の検索ボタンの操作、第2の操作が第2の検索ボタンの操作とすることができ、また、第1の操作が前記選択された部分を所定領域へ移動させる操作、第2の操作が前記選択された部分を前記所定領域とは異なる領域へ移動させる操作とすることができる。
【0015】
【作用】
第1の自動通訳装置にあっては、例えば「駅はどこですか」の入力音声に対して「敵はどこですか」なる認識結果が表示されているときに、「敵」を選択する操作を行うと、認識結果から「敵」を除いた残りの文字列「はどこですか」による検索が行われるため、わざわざ「敵」を削除する操作を行う必要がなく、誤認識した単語を除いて例文検索を行う操作を簡便に実施することができる。
【0016】
第2の自動通訳装置にあっては、例えば「敵はどこですか」なる認識結果が表示されているときに、「敵」を選択する操作を行い、次いで第1の操作を行うと、認識結果から「敵」を除いた残りの文字列「はどこですか」による検索が行われるため、わざわざ「敵」を削除する操作を行う必要がなく、誤認識した単語を除いて例文検索を行う操作を簡便に実施することができる。また、例えば「駅はどこですか」なる認識結果が表示されているときに、「駅」を選択する操作を行い、次いで第2の操作を行うと、選択した「駅」による検索を実行することも可能である。
【0017】
【発明の実施の形態】
図1を参照すると、本発明による自動通訳装置の一実施の形態は、音声を入力するマイクロフォンなどの音声入力部11と、入力された音声をテキストとして認識する音声認識部12と、音声認識部12による認識結果のテキストを保持しておく認識結果保持部13と、認識結果や翻訳結果などのテキストを画面表示する表示部14と、認識結果保持部13に保持されている認識結果を翻訳先の言語に翻訳する翻訳部15と、翻訳結果を読み上げ音声に変換する音声合成部16と、音声合成部16で合成した音声を出力するスピーカなどの音声出力部17と、利用者の入力ペン等のデバイスによる操作を電気信号に変換して入力する入力部18と、入力部18に入力された信号に応じて認識結果保持部13の認識結果を変更する等の所定の制御を行う制御部19と、予め用意された会話用例文とその翻訳文との組を複数記憶している例文記憶部20と、認識結果保持部13に保持されている認識結果を構成する文字列のうち制御部19から指示された文字列を含む例文を例文記憶部20から検索する例文検索部21とを備えている。
【0018】
図2は本実施の形態にかかる自動通訳装置の処理例を示すフローチャートである。以下、図1及び図2を参照して本実施の形態の動作を説明する。
【0019】
利用者が或る文章内容を原言語で発声すると、その音声は音声入力部11によって電気信号に変換されて自動通訳装置内に入力される(ステップS1)。音声入力部11によって入力された音声は、次に音声認識部12によって音声認識され(ステップS2)、認識結果である原言語のテキストが認識結果保持部13に保存されると同時に、表示部14により画面上に表示される(ステップS3)。その後制御部19は、利用者が入力部18によって、翻訳を指示する操作を行ったか、或いは例文検索を行うべく表示部14の画面上に表示された認識結果の一部をタップする操作を行ったかを判別する(ステップS4、S5)。ここで、タップとは入力ペンの先端を認識結果の表示部分に軽く押し当てる操作を意味する。
【0020】
音声認識が正しく行われており、発声した文章内容と表示された認識結果が一致する場合、利用者は入力部18の操作で翻訳を指示する。この場合、翻訳部15によって認識結果が翻訳先の言語(目的言語)に翻訳され(ステップS6)、翻訳結果が表示部14により画面上に認識結果と並べて表示される(ステップS7)。その後、翻訳結果は音声合成部16により読み上げられる音声として合成され、音声出力部17により出力される(ステップS8)。
【0021】
他方、音声認識に誤りがあり、発声した文章内容と表示された認識結果が相違する場合、利用者は例文検索を行うべく表示部14の画面上に表示された認識結果の一部をタップする操作を行う。この場合、それ以降に以下のような動作が行われる。
【0022】
先ず、制御部19はタップされた文字を含む単語を切り出し(ステップS9)、切り出した単語を選択状態とする(ステップS10)。例えば、認識結果保持部13に保持されている認識結果を構成する各文字のうち、切り出した単語の構成文字に所定のマークを付与することで選択状態とする。なお、認識結果を表示している表示部14は単語が選択状態になると、その単語を例えば網掛け表示するなどして選択状態の単語を利用者に明示する。次に制御部19は、利用者が入力部18によって第1の操作、第2の操作の何れかの操作を行ったかを判別する(ステップS11、S12)。利用者は選択状態の単語を除いた残りの文字列で例文検索したい場合には第1の操作を行い、選択状態の単語で例文検索したい場合には第2の操作を行う。
【0023】
制御部19は、第1の操作が行われたときは例文検索部21に対して認識結果保持部13に保持されている認識結果の文字列から選択状態の単語を除いた残りの文字列で例文検索することを指示し、第2の操作が行われたときは例文検索部21に対して選択状態の単語による例文検索を指示し、例文検索部21は制御部19からの指示に従って例文記憶部20を検索する(ステップS13、S14)。例文検索部21で検索された例文は表示部14に送られ、画面上に表示される(ステップS15)。
【0024】
制御部19は、その後、利用者が入力部18によって例文を選択するのを待ち(ステップS16)、何れか1つの例文が選択されたら、例文検索部21に対して選択された例文に対応する翻訳文を表示部14および音声合成部16に送出するよう指示を出す。これにより、選択された例文の翻訳文が表示部14によって画面上に表示されると共に(ステップS17)、音声合成部16によって読み上げ音声に変換されて音声出力部17から出力される(ステップS18)。
【0025】
【第1の実施例】
次に本発明による自動通訳装置の第1の実施例について図を参照して説明する。
【0026】
本実施例では、制御部19は入力部18から、単語を選択するタップ操作に続いて、検索のためのボタンをタップする操作(第2の操作)が入力された場合には、その単語による例文検索を例文検索部21に指示して例文検索を実行させ、単語を選択するタップ操作に続いて、その単語を除いて検索するためのボタンをタップする操作(第1の操作)が入力された場合には、認識結果からその単語を除いた単語列による例文検索を例文検索部21に指示して例文検索を実行させ、何れの場合も検索結果を表示部14に表示させる。そして、利用者が何れかの例文を選択すると、その訳文を表示部14にて画面上に表示すると同時に、音声合成部16により読み上げる。なお、本実施例では、日本語を英語に通訳する場合について説明するが、英語を日本語に通訳する場合や、中国語を英語に通訳する場合など、どのような言語を対象とする場合でも同様である。
【0027】
図3を参照すると、利用者の音声が入力されると、その認識結果が表示部14によって画面上の認識結果表示領域31に表示される。認識結果表示領域31内には、認識結果が正しかった場合のために翻訳を指示するための翻訳ボタン30が表示部14によって表示されており、この翻訳ボタン30をタップすると、認識結果を翻訳した結果が翻訳結果表示領域32に表示されると同時に音声で読み上げられる。また認識結果表示領域31内には、認識もしくは翻訳の一部が誤っていた場合のために、認識結果に類似した例文を検索して、その訳文を表示するための検索ボタン33および除いて検索ボタン34が表示部14によって表示されている。
【0028】
図3に示す状態において認識結果中の任意の文字がタップされると、その文字を含む一単語が切り出され、選択状態となる。例えば「駅」という文字がタップされると、図4の画面になる。図4を参照すると、「駅」という単語が選択され、選択範囲35が表示される。
【0029】
図4に示す状態において検索ボタン33がタップされると、図5の画面となる。図5を参照すると、会話用例文の中から「駅」という単語を含む例文が検索され、例文表示領域36に一覧表示される。検索された例文をすべて表示できない場合には、上スクロールボタン37、下スクロールボタン38が表示され、これらのボタンを操作することによって順次、例文表示領域36内に表示させることができる。
【0030】
利用者が「駅はどこですか」という音声を発声したとしても、雑音混入などにより誤認識され、例えば図6のように「敵はどこですか」という誤った文が認識結果として表示されてしまう場合がある。このような場合、誤認識した部分以外の単語列を用いて例文検索を行うことによって、所望の文を検索し、訳文を得ることができる場合がある。図6に示す状態において「敵」という文字がタップされると、図7の画面となる。図7を参照すると、「敵」という単語が選択され、選択範囲39が表示される。
【0031】
図7に示す状態において「除いて検索」ボタン34がタップされると、図8の画面となる。図8を参照すると、「はどこですか」という単語列に類似した例文が検索された結果、「ホテルはどこですか」「駅はどこですか」等の例文が例文表示領域36に表示される。利用者がこの中から「駅はどこですか」をタップすることによって、図3と同じ画面となり、その訳文「Where is the station?」を得ることができる。
【0032】
【第2の実施例】
次に本発明による自動通訳装置の第2の実施例について図を参照して説明する。
【0033】
本実施例では、制御部19は認識結果中の単語が選択された後、選択された単語がドラッグ操作によって移動された場合、ドラッグ先(移動先)の領域に応じて第1の操作か第2の操作かを判別する。具体的には、ドラッグ先が翻訳結果表示領域内であれば、第2の操作が行われたと判断し、その単語による例文検索を例文検索部21に指示して例文記憶部20の中から入力された単語を含む例文を検索させて表示部14に表示させる。そして、利用者が表示された複数の例文のうち一つを選択すると、その訳文を表示部14にて画面上に表示すると同時に、音声合成部16により読み上げる。また、ドラッグ先が認識結果表示領域外であり、かつ、翻訳結果表示領域外である領域であれば、認識結果からその単語を除いた単語列による例文検索を例文検索部21に指示して、例文の検索を実行させ、以下前述と同様の処理を行う。なお、本実施例では、日本語を英語に通訳する場合について説明するが、英語を日本語に通訳する場合や、中国語を英語に通訳する場合など、どのような言語を対象とする場合でも同様である。
【0034】
図9を参照すると、利用者の音声が入力されると、その認識結果が、認識結果表示領域41に表示される。42は翻訳結果表示領域であり、認識結果表示領域41に認識結果が表示されている状態で翻訳結果表示領域42内の何れかの箇所がタップされると、翻訳指示が為されたと判別され、認識結果を翻訳した訳文が翻訳結果表示領域42に表示されると同時に音声で読み上げられる。
【0035】
図9に示す状態において認識結果中の任意の文字がタップされると、その文字を含む一単語が切り出され、選択状態となる。例えば「駅」という文字がタップされると、図10の画面になる。図10を参照すると、「駅」という単語が選択され、選択範囲43が表示される。
【0036】
図10に示す状態において「駅」という単語が翻訳結果表示領域42内にドラッグされると、図11の画面となる。図11を参照すると、会話例文データの中から「駅」という単語を含む例文が検索され、例文表示領域44に一覧表示される。検索された例文をすべて表示できない場合には、上スクロールボタン45、下スクロールボタン46が表示され、これらのボタンを操作することによって順次、例文表示領域44内に表示させることができる。
【0037】
利用者が「駅はどこですか」という音声を発声したとしても、雑音混入などにより誤認識され、例えば図12のように「敵はどこですか」という誤った文が認識結果として表示されてしまう場合がある。このような場合、誤認識した部分以外の単語列を用いて例文検索を行うことによって、所望の文を検索し、訳文を得ることができる場合がある。図12に示す状態において「敵」という文字がタップされると、図13の画面となる。図13を参照すると、「敵」という単語が選択され、選択範囲47が表示される。
【0038】
図13に示す状態において「敵」という単語が認識結果表示領域41外であり、かつ、翻訳結果表示領域42外である領域48にドラッグされると、図14の画面となる。図14を参照すると、「はどこですか」という単語列に類似した例文が検索された結果、「ホテルはどこですか」「駅はどこですか」等の例文が例文表示領域44に表示される。利用者がこの中から「駅はどこですか」をタップすることによって、図9とほぼ同じ画面となり、その訳文「Where is the station?」を得ることができる。
【0039】
【発明の他の実施の形態】
以上本発明の実施の形態および実施例について説明したが、本発明は以上の実施の形態および実施例に限定されず、その他各種の付加変更が可能である。例えば、前記の実施の形態では、利用者から翻訳指示が出された時点で認識結果の翻訳を開始し、その翻訳結果の表示と音声による読み上げを行ったが、利用者からの翻訳指示を待たずに音声認識の結果が得られたら自動的に認識結果の翻訳を開始し、その翻訳結果の表示と音声による読み上げを行うようにしてもよい。また、認識結果の一部を利用者の入力部18からの操作で修正し、修正後の認識結果を翻訳する機能などの機能を付加するようにしてもよい。
【0040】
更に、本発明の自動通訳装置は、その有する機能をハードウェア的に実現することは勿論、コンピュータと自動通訳用プログラムで実現することができる。自動通訳用プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを上述した実施の形態における自動通訳装置として機能させる。
【0041】
【発明の効果】
以上説明したように、本発明においては、次のような効果を奏する。
【0042】
第1の効果は、音声認識で認識された文字列のうち誤認識した単語を除いた残りの文字列で例文検索を行う操作が簡便になり、自動通訳装置の利便性が向上することである。その理由は、認識結果の一部を指定するとその位置にある単語が選択され、「除いて検索」ボタンを押すか、あるいは選択した単語を認識結果表示領域外であり且つ翻訳結果表示領域外である領域にドラッグ操作で移動させる等の所定の操作を行えば、認識結果からその単語を除いた単語列に類似した例文を検索することができるため、誤認識により認識結果の一部が誤っていても、誤認識された単語をわざわざ削除する必要がなくなり、残りの正しく認識された単語列を用いて、入力したかった文に近い例文を容易に検索することができ、その例文を用いて相手とコミュニケーションを進めていくことができるからである。
【0043】
第2の効果は、音声認識で正しく認識された文字列の一部を使った例文検索も簡便に行えるため、自動通訳装置の利便性がより一層向上することである。その理由は、認識結果の一部を指定するとその位置にある単語が選択され、「検索」ボタンを押すか、あるいは選択した単語を翻訳結果表示領域にドラッグする等の所定の操作を行えば、その単語を含む例文を検索することができるため、誤認識により認識結果の一部が誤っていても、正しく認識された単語を用いて、入力したかった文に近い例文を容易に検索することができ、その例文を用いて相手とコミュニケーションを進めていくことができるからである。
【図面の簡単な説明】
【図1】本発明の実施の形態の構成を示すブロック図である。
【図2】本発明の実施の形態の処理例を示すフローチャートである。
【図3】本発明による第1の実施例の結果表示画面の例である。
【図4】本発明による第1の実施例の結果表示画面の例である。
【図5】本発明による第1の実施例の例文表示画面の例である。
【図6】本発明による第1の実施例の結果表示画面(誤認識時)の例である。
【図7】本発明による第1の実施例の結果表示画面(誤認識時)の例である。
【図8】本発明による第1の実施例の例文表示画面の例である。
【図9】本発明による第2の実施例の結果表示画面の例である。
【図10】本発明による第2の実施例の結果表示画面の例である。
【図11】本発明による第2の実施例の例文表示画面の例である。
【図12】本発明による第2の実施例の結果表示画面(誤認識時)の例である。
【図13】本発明による第2の実施例の結果表示画面(誤認識時)の例である。
【図14】本発明による第2の実施例の例文表示画面の例である。
【符号の説明】
11 音声入力部
12 音声認識部
13 認識結果保持部
14 表示部
15 翻訳部
16 音声合成部
17 音声出力部
18 入力部
19 制御部
20 例文記憶部
21 例文検索部
30 翻訳ボタン
31、41 認識結果表示領域
32、42 翻訳結果表示領域
33 検索ボタン
34 除いて検索ボタン
35、43 選択範囲
36、44 例文表示領域
37、45 上スクロールボタン
38、46 下スクロールボタン
39、47 選択範囲
48 空白領域[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an automatic interpreting apparatus that performs interpretation between two different languages, and particularly searches and displays example sentences similar to the result of recognizing a user's voice, and reads out the translated sentence of the example sentence by voice. The present invention relates to an automatic interpretation device having a function.
[0002]
[Prior art]
In general, a translation apparatus includes a type in which input and output are performed in a text format as disclosed in, for example, “Translation Support Device” described in Japanese Patent Laid-Open No. 9-245040 (Document 1), and Japanese Patent Laid-Open No. 8-314492, for example. It can be found in the “speech input translation device” described in the official gazette (Reference 2) and the PC software “Tatsutsu (America Travel Edition)” (hereinafter referred to as Tatsutsu) announced by NEC Corporation in July 2001. As described above, there is a type in which both input and output are performed by voice, and the latter is particularly called an automatic interpretation device and is distinguished. The present invention relates to an improvement of the latter automatic interpretation device.
[0003]
In an automatic interpreting apparatus that performs input by voice, when a user inputs voice from a voice input unit such as a microphone, the voice recognition unit recognizes the voice and generates a recognition result in a text format. The translated text is translated into the target language, and the speech synthesizer converts the translated text into speech, and a speech output unit such as a speaker outputs the speech of the translation result. In this case, even if the translation process and the conversion process to the voice are accurate, the intended purpose cannot be achieved unless the voice recognition itself is performed correctly. Therefore, in general, the result of speech recognition is displayed so that the user can confirm whether or not the recognition has been performed correctly. The
[0004]
Therefore, in “Taburi”, when a word or sentence is displayed in the recognition result display part, if the user instructs to search for an example sentence in that state or after a partial correction, it is in the recognition result display part. When an example sentence including a word and an example sentence similar to the sentence in the recognition result display part are searched from the example sentence collection and the result is displayed, and one of the searched example sentences is selected, the selected example sentence is displayed. It has an example sentence search function that reads out the corresponding translated sentence by voice. In this case, the translated sentence of the example sentence is stored in advance in the example sentence collection in combination with the example sentence, so the translation process does not run.
[0005]
[Problems to be solved by the invention]
The above-described example sentence search function in Tabitsu was particularly effective in a noisy environment compared to the method of repeating utterances repeatedly until correct speech recognition, but example sentences except for misrecognized words There has been a problem that an operation for performing a search is relatively complicated. This point will be explained below with a specific example of interpreting Japanese into English.
[0006]
Now that the voice recognition result is "Where is the enemy" while saying "Where is the station", the case of searching with "Where" except for the erroneously recognized "Enemy" is assumed. . In this case, the following operations are required for the usual example sentence search function.
(1) An operation of selecting the “enemy” portion from the display of the recognition result “Where is the enemy”?
(2) An operation to delete the selected “enemy” is performed.
(3) An operation for instructing an example sentence search is performed. As a result, the example sentence including the word included in the remaining “where is” from which the enemy is deleted or a similar example sentence is searched, and the search result is displayed.
(4) Select “Where is the station” from a plurality of example sentences in the search results. Thereby, the translation corresponding to the example sentence “Where is the station” is read out by voice.
[0007]
Thus, the user needs to perform the four-step operation (1) to (4).
[0008]
It is also possible to search for example sentences without deleting “enemy”, and the operation in this case is as follows.
(1) When the recognition result “Where is the enemy” is displayed, an operation for instructing an example sentence search is performed.
(2) In response to this operation, example sentences including words such as “enemy” and “where are you” included in the recognition result, and example sentences similar to the sentence “where is the enemy” are searched from the example sentence collection, The search result is displayed, and an operation of selecting an example sentence “where is the station” from among the search results is performed. Thereby, the translation corresponding to the example sentence “Where is the station” is read out by voice.
[0009]
Although this method seems to be efficient at first glance, it also searches for example sentences that contain "enemy" that were originally misrecognized, so the number of example sentences searched is considerable, and from that, find out "where is the station" For this reason, a relatively large number of screen scroll operations are necessary and time is required.
[0010]
OBJECT OF THE INVENTION
SUMMARY OF THE INVENTION An object of the present invention is to provide an automatic interpreting apparatus that improves convenience by enabling example sentence searches when a voice is erroneously recognized to be performed with a simple operation.
[0011]
Another object of the present invention is to provide an automatic interpretation device that can easily perform an example sentence search operation using the remaining character strings excluding misrecognized words among character strings recognized by speech recognition.
[0012]
Another object of the present invention is to provide an automatic interpretation device that can easily search for example sentences using words that are correctly recognized among character strings recognized by speech recognition.
[0013]
[Means for Solving the Problems]
A first automatic interpreting apparatus of the present invention is an automatic interpreting apparatus that displays a speech recognition result in a source language and then reads out a speech translation result in a target language of the recognition result. When a user operation for selecting a part and a user operation for instructing an example sentence search are performed, an example sentence search is performed using the remaining character string excluding the selected part from the recognition result, and the result is displayed. . More specifically, in an automatic interpreting apparatus having a function of reading out a speech recognition result in the source language and then reading out the translation result in the target language of the recognition result by speech, the example sentence in the source language and the target language of the example sentence Search means for searching an example sentence storage unit that accumulates a plurality of pairs with translated sentences, input means for receiving a user's operation, and control means for controlling according to the input content by the input means, the control means, When the user designates a part of the displayed recognition result by the input means, a means for selecting the designated part and a remaining character string obtained by removing the selected part from the recognition result are used. And a means for performing a search by the search means, wherein a translated sentence corresponding to the example sentence selected by the user by the input means among the example sentences obtained by the search by the search means is sounded. It has a configuration in which read aloud by.
[0014]
A second automatic interpreting apparatus of the present invention is an automatic interpreting apparatus having a function of reading out a speech recognition result in a target language and then reading out a speech translation result in a target language. A search means for searching an example sentence storage unit for storing a plurality of pairs of example sentences translated into target language, an input means for receiving a user's operation, and a control means for controlling according to the input content of the input means, The control means includes means for selecting a designated portion when the user designates a part of the displayed recognition result by the input means, and an operation for instructing a user search by the input means. Means for discriminating between the first operation and the second operation; and, in the case of the first operation, the search means using the remaining character string obtained by removing the selected portion from the recognition result. A search by the search means using the character string of the selected portion when the second operation is performed, and among the example sentences obtained by the search by the search means It has a configuration in which a translated sentence corresponding to the example sentence selected by the user by the input means is read out by voice. Here, the first operation and the second operation may be any operations as long as they can be clearly distinguished from each other. For example, the first operation is the operation of the first search button, and the second operation is the second operation. The search button can be operated, and the first operation moves the selected part to a predetermined area, and the second operation moves the selected part to a different area from the predetermined area. The operation can be performed.
[0015]
[Action]
In the first automatic interpretation device, for example, when the recognition result “Where is the enemy” is displayed for the input voice “Where is the station”, an operation of selecting “enemy” is performed. And the remaining character string “Where” is removed from the recognition result, and there is no need to delete the “enemy”. The operation of performing can be performed easily.
[0016]
In the second automatic interpretation device, for example, when the recognition result “Where is the enemy” is displayed, the operation of selecting “enemy” is performed, and then the first operation is performed. Because the search is performed with the remaining character string “Where”, excluding “enemy” from the text, there is no need to delete the “enemy”. It can be carried out easily. For example, when a recognition result “where is the station” is displayed, an operation of selecting “station” is performed, and then a second operation is performed, and a search by the selected “station” is executed. Is also possible.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Referring to FIG. 1, an automatic interpretation apparatus according to an embodiment of the present invention includes a
[0018]
FIG. 2 is a flowchart showing an example of processing of the automatic interpretation apparatus according to this embodiment. The operation of the present embodiment will be described below with reference to FIGS.
[0019]
When the user utters a certain sentence content in the original language, the voice is converted into an electric signal by the
[0020]
When speech recognition is performed correctly and the content of the spoken sentence matches the displayed recognition result, the user instructs translation by operating the input unit 18. In this case, the recognition result is translated into the translation destination language (target language) by the translation unit 15 (step S6), and the translation result is displayed side by side with the recognition result on the screen by the display unit 14 (step S7). Thereafter, the translation result is synthesized as speech read out by the
[0021]
On the other hand, if there is an error in speech recognition and the content of the spoken sentence differs from the displayed recognition result, the user taps a part of the recognition result displayed on the screen of the
[0022]
First, the control part 19 cuts out the word containing the tapped character (step S9), and makes the cut-out word a selection state (step S10). For example, among the characters constituting the recognition result held in the recognition
[0023]
When the first operation is performed, the control unit 19 uses the remaining character string obtained by removing the selected word from the recognition result character string held in the recognition
[0024]
Thereafter, the control unit 19 waits for the user to select an example sentence by the input unit 18 (step S16). When any one example sentence is selected, the example sentence search unit 21 corresponds to the selected example sentence. An instruction is issued to send the translated text to the
[0025]
[First embodiment]
Next, a first embodiment of an automatic interpretation apparatus according to the present invention will be described with reference to the drawings.
[0026]
In this embodiment, when an operation (second operation) for tapping a button for search is input from the input unit 18 following the tap operation for selecting a word from the input unit 18, the control unit 19 uses the word. An example sentence search unit 21 is instructed to execute an example sentence search, and after a tap operation for selecting a word, an operation (first operation) for tapping a button for searching excluding the word is input. In the case of the recognition result, the example sentence search unit 21 is instructed to execute the example sentence search using the word string excluding the word from the recognition result, and the search result is displayed on the
[0027]
Referring to FIG. 3, when a user's voice is input, the recognition result is displayed on the recognition result display area 31 on the screen by the
[0028]
When an arbitrary character in the recognition result is tapped in the state shown in FIG. 3, one word including the character is cut out and selected. For example, when the character “station” is tapped, the screen shown in FIG. 4 is displayed. Referring to FIG. 4, the word “station” is selected and a
[0029]
When the
[0030]
Even if the user utters the voice “Where is the station”, it is misrecognized due to noise, etc., and for example, the wrong sentence “Where is the enemy” is displayed as the recognition result as shown in FIG. There is. In such a case, there is a case where a desired sentence can be searched and a translated sentence can be obtained by performing an example sentence search using a word string other than the erroneously recognized part. When the character “enemy” is tapped in the state shown in FIG. 6, the screen shown in FIG. 7 is displayed. Referring to FIG. 7, the word “enemy” is selected and a
[0031]
When the “exclude search”
[0032]
[Second embodiment]
Next, a second embodiment of the automatic interpretation apparatus according to the present invention will be described with reference to the drawings.
[0033]
In this embodiment, after the word in the recognition result is selected, when the selected word is moved by the drag operation, the control unit 19 determines whether the first operation is performed according to the drag destination (movement destination) area. 2 is discriminated. Specifically, if the drag destination is within the translation result display area, it is determined that the second operation has been performed, and the example sentence search unit 21 instructs the example sentence search unit 21 to input from the example
[0034]
Referring to FIG. 9, when a user's voice is input, the recognition result is displayed in the recognition
[0035]
When an arbitrary character in the recognition result is tapped in the state shown in FIG. 9, one word including the character is cut out and selected. For example, when a character “station” is tapped, the screen shown in FIG. 10 is displayed. Referring to FIG. 10, the word “station” is selected, and a
[0036]
When the word “station” is dragged into the translation result display area 42 in the state shown in FIG. 10, the screen shown in FIG. 11 is displayed. Referring to FIG. 11, example sentences including the word “station” are searched from the conversation example sentence data and displayed in a list in the example sentence display area 44. When all of the searched example sentences cannot be displayed, an up scroll button 45 and a
[0037]
Even if the user utters the voice “Where is the station”, it is erroneously recognized due to noise or the like, and for example, an incorrect sentence “Where is the enemy” is displayed as a recognition result as shown in FIG. There is. In such a case, there is a case where a desired sentence can be searched and a translated sentence can be obtained by performing an example sentence search using a word string other than the erroneously recognized part. When the character “enemy” is tapped in the state shown in FIG. 12, the screen shown in FIG. 13 is displayed. Referring to FIG. 13, the word “enemy” is selected and a
[0038]
When the word “enemy” is dragged outside the recognition
[0039]
Other Embodiments of the Invention
Although the embodiments and examples of the present invention have been described above, the present invention is not limited to the above embodiments and examples, and various other additions and modifications are possible. For example, in the above embodiment, the translation of the recognition result is started when a translation instruction is issued from the user, and the translation result is displayed and read out by voice, but the translation instruction from the user is awaited. If the result of speech recognition is obtained without any problem, the translation of the recognition result may be automatically started, and the translation result may be displayed and read out by voice. Further, a part of the recognition result may be corrected by an operation from the user input unit 18 and a function such as a function for translating the corrected recognition result may be added.
[0040]
Furthermore, the automatic interpreting apparatus of the present invention can be realized by a computer and an automatic interpreting program as well as by realizing the functions of the automatic interpreting apparatus in hardware. The automatic interpretation program is provided by being recorded on a computer-readable recording medium such as a magnetic disk or a semiconductor memory, read by the computer at the time of starting up the computer, and controlling the operation of the computer. It is made to function as an automatic interpretation device in the embodiment.
[0041]
【The invention's effect】
As described above, the present invention has the following effects.
[0042]
The first effect is that the operation of searching for example sentences with the remaining character strings excluding the misrecognized words among the character strings recognized by the speech recognition is simplified, and the convenience of the automatic interpretation device is improved. . The reason is that when a part of the recognition result is specified, the word at that position is selected, and the “exclude search” button is pressed, or the selected word is outside the recognition result display area and outside the translation result display area. If you perform a predetermined operation such as moving to a certain area by dragging, you can search for example sentences similar to the word string excluding the word from the recognition result, so part of the recognition result is incorrect due to misrecognition. However, it is no longer necessary to delete the misrecognized word, and it is possible to easily search for an example sentence close to the sentence that the user wished to input using the remaining correctly recognized word string. This is because communication with the other party can be promoted.
[0043]
The second effect is that the convenience of the automatic interpreting apparatus is further improved because the example sentence search using a part of the character string correctly recognized by the speech recognition can be easily performed. The reason is that if you specify a part of the recognition result, the word at that position is selected, and if you perform a predetermined operation such as pressing the `` Search '' button or dragging the selected word to the translation result display area, Since it is possible to search for example sentences that contain the word, it is possible to easily search for example sentences that are close to the sentence that you wanted to input using the correctly recognized words, even if some of the recognition results are incorrect due to misrecognition. This is because the example sentences can be used to communicate with the other party.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of the present invention.
FIG. 2 is a flowchart illustrating an example of processing according to the embodiment of the present invention.
FIG. 3 is an example of a result display screen of the first embodiment according to the present invention.
FIG. 4 is an example of a result display screen according to the first embodiment of the present invention.
FIG. 5 is an example of an example sentence display screen of the first embodiment according to the present invention.
FIG. 6 is an example of a result display screen (during erroneous recognition) according to the first embodiment of the present invention.
FIG. 7 is an example of a result display screen (at the time of erroneous recognition) according to the first embodiment of the present invention.
FIG. 8 is an example of an example sentence display screen of the first embodiment according to the present invention.
FIG. 9 is an example of a result display screen according to the second embodiment of the present invention.
FIG. 10 is an example of a result display screen according to the second embodiment of the present invention.
FIG. 11 is an example of an example sentence display screen of the second embodiment according to the present invention.
FIG. 12 is an example of a result display screen (at the time of erroneous recognition) according to the second embodiment of the present invention.
FIG. 13 is an example of a result display screen (at the time of erroneous recognition) according to the second embodiment of the present invention.
FIG. 14 is an example of an example sentence display screen of the second embodiment according to the present invention.
[Explanation of symbols]
DESCRIPTION OF
Claims (8)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002138178A JP3903841B2 (en) | 2002-05-14 | 2002-05-14 | Automatic interpretation device and program for automatic interpretation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002138178A JP3903841B2 (en) | 2002-05-14 | 2002-05-14 | Automatic interpretation device and program for automatic interpretation |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003330925A JP2003330925A (en) | 2003-11-21 |
JP3903841B2 true JP3903841B2 (en) | 2007-04-11 |
Family
ID=29699691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002138178A Expired - Fee Related JP3903841B2 (en) | 2002-05-14 | 2002-05-14 | Automatic interpretation device and program for automatic interpretation |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3903841B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5103718B2 (en) * | 2005-08-09 | 2012-12-19 | 日本電気株式会社 | Automatic translation system and method and program thereof |
JP4977116B2 (en) * | 2008-12-03 | 2012-07-18 | 株式会社東芝 | Speech recognition apparatus, method, and program |
JP5258612B2 (en) * | 2009-02-16 | 2013-08-07 | 京セラ株式会社 | Mobile terminal and conversion program |
JP2010230918A (en) * | 2009-03-26 | 2010-10-14 | Fujitsu Ten Ltd | Retrieving device |
KR102191425B1 (en) * | 2013-07-29 | 2020-12-15 | 한국전자통신연구원 | Apparatus and method for learning foreign language based on interactive character |
-
2002
- 2002-05-14 JP JP2002138178A patent/JP3903841B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003330925A (en) | 2003-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9236045B2 (en) | Methods and apparatus for proofing of a text input | |
RU2379767C2 (en) | Error correction for speech recognition systems | |
KR100586286B1 (en) | Eye gaze for contextual speech recognition | |
JP4416643B2 (en) | Multimodal input method | |
US7260529B1 (en) | Command insertion system and method for voice recognition applications | |
JP4734155B2 (en) | Speech recognition apparatus, speech recognition method, and speech recognition program | |
JP4878471B2 (en) | Information processing apparatus and control method thereof | |
JP5100445B2 (en) | Machine translation apparatus and method | |
JP2006515073A (en) | Method, system, and programming for performing speech recognition | |
JP2009514020A (en) | Combination of voice and alternative input methods on mobile devices | |
JP2009047920A (en) | Device and method for interacting with user by speech | |
KR101517975B1 (en) | Earphone apparatus with synchronous interpretating and translating function | |
JP2008243080A (en) | Device, method, and program for translating voice | |
JP3795692B2 (en) | Character processing apparatus and method | |
JP2002116793A (en) | Data input system and method | |
JP5364412B2 (en) | Search device | |
JP3903841B2 (en) | Automatic interpretation device and program for automatic interpretation | |
JP2008268478A (en) | Accent adjustable speech synthesizer | |
JP5396426B2 (en) | Speech recognition apparatus, speech recognition method, and speech recognition program | |
JP7176272B2 (en) | Information processing device and program | |
JP2012008375A (en) | Voice recording apparatus, data processing method thereof, and program | |
JP4509361B2 (en) | Speech recognition apparatus, recognition result correction method, and recording medium | |
JPH1011457A (en) | Portable retrieval device | |
JPH04254896A (en) | Speech recognition correction device | |
JP6650636B1 (en) | Translation apparatus, control method thereof, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061031 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070101 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110119 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110119 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120119 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130119 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130119 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |