JP3903841B2

JP3903841B2 - Automatic interpretation device and program for automatic interpretation

Info

Publication number: JP3903841B2
Application number: JP2002138178A
Authority: JP
Inventors: 一郎森; 伸昌荒木
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2002-05-14
Filing date: 2002-05-14
Publication date: 2007-04-11
Anticipated expiration: 2022-05-14
Also published as: JP2003330925A

Description

【０００１】
【発明の属する技術分野】
本発明は、異なる二つの言語間の通訳を行う自動通訳装置に関し、特に利用者の音声を認識した結果に類似した例文を例文集から検索して表示し、その例文の翻訳文を音声で読み上げる機能を備えた自動通訳装置に関する。
【０００２】
【従来の技術】
一般に翻訳装置には、例えば特開平9-245040号公報（文献１）に記載された「翻訳支援装置」に見られるように入力および出力をテキスト形式で行うタイプと、例えば特開平8-314492号公報（文献２）に記載された「音声入力翻訳装置」や2001年7月に日本電気株式会社より発表されたパソコン用ソフトウェア「たび通（アメリカ旅行編）」（以下、たび通）に見られるように入力および出力を共に音声で行うタイプとがあり、後者は特に自動通訳装置と呼ばれ、区別されている。本発明はこの後者の自動通訳装置の改良に関する。
【０００３】
入力を音声で行う自動通訳装置では、利用者がマイクロフォン等の音声入力部から音声を入力すると、音声認識部がその音声を認識してテキスト形式の認識結果を生成し、翻訳部がこのテキストを目的言語に翻訳し、そして音声合成部が翻訳されたテキストを音声に変換し、スピーカ等の音声出力部が翻訳結果の音声を出力する。この場合、翻訳処理やその音声への変換処理が正確であっても、音声認識自体が正しく行われていないと所期の目的を達成することができない。そこで、一般的には音声認識した結果を表示することで、正しく認識されたかどうかを利用者が確認できるようにしている。そして、文献２では自己の話した文章内容と表示内容とが一致していなければ、何度でも音声入力を繰り返すことができるように構成している。しかし、騒々しい環境で使用する場合など、何度繰り返しても正しく音声認識されない場合がある。
【０００４】
そこで、「たび通」では、認識結果表示部分に単語または文が表示されているときに、利用者がその状態で、あるいは一部修正してから例文検索を指示すると、認識結果表示部分にある単語を含む例文および認識結果表示部分にある文に類似した例文を例文集から検索して結果を表示し、検索された例文の内から何れか１つの例文を選択すると、この選択された例文に対応する翻訳文を音声で読み上げる例文検索機能を持たせている。この場合、例文の翻訳文は例文と組にして例文集に事前に記憶されているため、翻訳処理は走らない。
【０００５】
【発明が解決しようとする課題】
たび通における上述した例文検索機能は、正しく音声認識されるまで何度も発声を繰り返す方法に比べ騒々しい環境下では特に有効に機能するものであったが、誤認識した単語を除いて例文検索を行う操作が比較的煩雑であるという課題があった。この点を日本語を英語に通訳する具体例を挙げて以下説明する。
【０００６】
今、「駅はどこですか」と発声したのに対し「敵はどこですか」という音声認識結果が得られたため、誤認識した「敵」を除いた「はどこですか」で検索する場合を想定する。この場合、たび通の例文検索機能では以下の操作が必要となる。
（１）「敵はどこですか」なる認識結果の表示中から「敵」の部分を選択する操作を行う。
（２）選択した「敵」を削除する操作を行う。
（３）例文検索を指示する操作を行う。これにより、敵が削除された残りの「はどこですか」に含まれる単語を含む例文または類似する例文が検索され、その検索結果が表示される。
（４）検索結果の複数の例文の内から「駅はどこですか」を選択する。これにより、例文「駅はどこですか」に対応する翻訳文が音声で読み上げられる。
【０００７】
このように利用者は（１）〜（４）の４ステップの操作を行う必要がある。
【０００８】
なお、「敵」を削除せずにいきなり例文検索を行うことも可能であり、その場合の操作は以下のようになる。
（１）「敵はどこですか」なる認識結果が表示されているときに、例文検索を指示する操作を行う。
（２）この操作に応答して、認識結果に含まれる「敵」や「どこですか」などの単語を含む例文、「敵はどこですか」の文に類似する例文などが例文集から検索され、その検索結果が表示されるので、その中から「駅はどこですか」の例文を選択する操作を行う。これにより、例文「駅はどこですか」に対応する翻訳文が音声で読み上げられる。
【０００９】
この方法は効率が一見良さそうであるが、もともと誤認識した「敵」を含む例文も検索されるため、検索される例文は相当な数になり、その中から「駅はどこですか」を見つけ出すために比較的多くの画面スクロール操作が必要であり、また時間もかかってしまうことになる。
【００１０】
【発明の目的】
本発明の目的は、音声を誤認識した場合の例文検索を簡便な操作で実施できるようにして利便性を向上させた自動通訳装置を提供することにある。
【００１１】
本発明の別の目的は、音声認識で認識された文字列のうち誤認識した単語を除いた残りの文字列で例文検索を行う操作を簡便に行える自動通訳装置を提供することにある。
【００１２】
本発明の他の目的は、音声認識で認識された文字列のうち正しく認識された単語による例文検索を簡便に行える自動通訳装置を提供することにある。
【００１３】
【課題を解決するための手段】
本発明の第１の自動通訳装置は、原言語による音声の認識結果を表示した後、前記認識結果の目的言語による翻訳結果を音声で読み上げる自動通訳装置であって、表示されている認識結果の一部を選択する利用者操作と例文検索を指示する利用者操作とが行われたときに前記認識結果から前記選択された部分を除いた残りの文字列による例文検索を行って結果を表示する。より具体的には、原言語による音声の認識結果を表示した後、前記認識結果の目的言語による翻訳結果を音声で読み上げる機能を有する自動通訳装置において、原言語による例文と該例文の目的言語による翻訳文との組を複数蓄積する例文記憶部を検索する検索手段と、利用者の操作を受け取る入力手段と、前記入力手段による入力内容によって制御を行う制御手段とを備え、前記制御手段は、利用者が前記入力手段により前記表示された認識結果の一部を指定したときに該指定された部分を選択する手段と、前記認識結果から前記選択された部分を除いた残りの文字列を使って前記検索手段による検索を行わせる手段とを備え、前記検索手段による検索で得られた例文のうち利用者が前記入力手段により選択した例文に対応する翻訳文を音声によって読み上げる構成を有する。
【００１４】
本発明の第２の自動通訳装置は、原言語による音声の認識結果を表示した後、前記認識結果の目的言語による翻訳結果を音声で読み上げる機能を有する自動通訳装置において、原言語による例文と該例文の目的言語による翻訳文との組を複数蓄積する例文記憶部を検索する検索手段と、利用者の操作を受け取る入力手段と、前記入力手段による入力内容によって制御を行う制御手段とを備え、前記制御手段は、利用者が前記入力手段により前記表示された認識結果の一部を指定したときに該指定された部分を選択する手段と、前記入力手段による利用者の検索を指示する操作が第１および第２の操作の何れであるかを判別する手段と、第１の操作であるときは前記認識結果から前記選択された部分を除いた残りの文字列を使って前記検索手段による検索を行わせ、第２の操作であるときは前記選択された部分の文字列を使って前記検索手段による検索を行わせる手段とを備え、前記検索手段による検索で得られた例文のうち利用者が前記入力手段により選択した例文に対応する翻訳文を音声によって読み上げる構成を有する。ここで、第１の操作および第２の操作は互いに明確に区別できる操作であれば任意の操作で良く、例えば第１の操作が第１の検索ボタンの操作、第２の操作が第２の検索ボタンの操作とすることができ、また、第１の操作が前記選択された部分を所定領域へ移動させる操作、第２の操作が前記選択された部分を前記所定領域とは異なる領域へ移動させる操作とすることができる。
【００１５】
【作用】
第１の自動通訳装置にあっては、例えば「駅はどこですか」の入力音声に対して「敵はどこですか」なる認識結果が表示されているときに、「敵」を選択する操作を行うと、認識結果から「敵」を除いた残りの文字列「はどこですか」による検索が行われるため、わざわざ「敵」を削除する操作を行う必要がなく、誤認識した単語を除いて例文検索を行う操作を簡便に実施することができる。
【００１６】
第２の自動通訳装置にあっては、例えば「敵はどこですか」なる認識結果が表示されているときに、「敵」を選択する操作を行い、次いで第１の操作を行うと、認識結果から「敵」を除いた残りの文字列「はどこですか」による検索が行われるため、わざわざ「敵」を削除する操作を行う必要がなく、誤認識した単語を除いて例文検索を行う操作を簡便に実施することができる。また、例えば「駅はどこですか」なる認識結果が表示されているときに、「駅」を選択する操作を行い、次いで第２の操作を行うと、選択した「駅」による検索を実行することも可能である。
【００１７】
【発明の実施の形態】
図１を参照すると、本発明による自動通訳装置の一実施の形態は、音声を入力するマイクロフォンなどの音声入力部１１と、入力された音声をテキストとして認識する音声認識部１２と、音声認識部１２による認識結果のテキストを保持しておく認識結果保持部１３と、認識結果や翻訳結果などのテキストを画面表示する表示部１４と、認識結果保持部１３に保持されている認識結果を翻訳先の言語に翻訳する翻訳部１５と、翻訳結果を読み上げ音声に変換する音声合成部１６と、音声合成部１６で合成した音声を出力するスピーカなどの音声出力部１７と、利用者の入力ペン等のデバイスによる操作を電気信号に変換して入力する入力部１８と、入力部１８に入力された信号に応じて認識結果保持部１３の認識結果を変更する等の所定の制御を行う制御部１９と、予め用意された会話用例文とその翻訳文との組を複数記憶している例文記憶部２０と、認識結果保持部１３に保持されている認識結果を構成する文字列のうち制御部１９から指示された文字列を含む例文を例文記憶部２０から検索する例文検索部２１とを備えている。
【００１８】
図２は本実施の形態にかかる自動通訳装置の処理例を示すフローチャートである。以下、図１及び図２を参照して本実施の形態の動作を説明する。
【００１９】
利用者が或る文章内容を原言語で発声すると、その音声は音声入力部１１によって電気信号に変換されて自動通訳装置内に入力される（ステップＳ１）。音声入力部１１によって入力された音声は、次に音声認識部１２によって音声認識され（ステップＳ２）、認識結果である原言語のテキストが認識結果保持部１３に保存されると同時に、表示部１４により画面上に表示される（ステップＳ３）。その後制御部１９は、利用者が入力部１８によって、翻訳を指示する操作を行ったか、或いは例文検索を行うべく表示部１４の画面上に表示された認識結果の一部をタップする操作を行ったかを判別する（ステップＳ４、Ｓ５）。ここで、タップとは入力ペンの先端を認識結果の表示部分に軽く押し当てる操作を意味する。
【００２０】
音声認識が正しく行われており、発声した文章内容と表示された認識結果が一致する場合、利用者は入力部１８の操作で翻訳を指示する。この場合、翻訳部１５によって認識結果が翻訳先の言語（目的言語）に翻訳され（ステップＳ６）、翻訳結果が表示部１４により画面上に認識結果と並べて表示される（ステップＳ７）。その後、翻訳結果は音声合成部１６により読み上げられる音声として合成され、音声出力部１７により出力される（ステップＳ８）。
【００２１】
他方、音声認識に誤りがあり、発声した文章内容と表示された認識結果が相違する場合、利用者は例文検索を行うべく表示部１４の画面上に表示された認識結果の一部をタップする操作を行う。この場合、それ以降に以下のような動作が行われる。
【００２２】
先ず、制御部１９はタップされた文字を含む単語を切り出し（ステップＳ９）、切り出した単語を選択状態とする（ステップＳ１０）。例えば、認識結果保持部１３に保持されている認識結果を構成する各文字のうち、切り出した単語の構成文字に所定のマークを付与することで選択状態とする。なお、認識結果を表示している表示部１４は単語が選択状態になると、その単語を例えば網掛け表示するなどして選択状態の単語を利用者に明示する。次に制御部１９は、利用者が入力部１８によって第１の操作、第２の操作の何れかの操作を行ったかを判別する（ステップＳ１１、Ｓ１２）。利用者は選択状態の単語を除いた残りの文字列で例文検索したい場合には第１の操作を行い、選択状態の単語で例文検索したい場合には第２の操作を行う。
【００２３】
制御部１９は、第１の操作が行われたときは例文検索部２１に対して認識結果保持部１３に保持されている認識結果の文字列から選択状態の単語を除いた残りの文字列で例文検索することを指示し、第２の操作が行われたときは例文検索部２１に対して選択状態の単語による例文検索を指示し、例文検索部２１は制御部１９からの指示に従って例文記憶部２０を検索する（ステップＳ１３、Ｓ１４）。例文検索部２１で検索された例文は表示部１４に送られ、画面上に表示される（ステップＳ１５）。
【００２４】
制御部１９は、その後、利用者が入力部１８によって例文を選択するのを待ち（ステップＳ１６）、何れか１つの例文が選択されたら、例文検索部２１に対して選択された例文に対応する翻訳文を表示部１４および音声合成部１６に送出するよう指示を出す。これにより、選択された例文の翻訳文が表示部１４によって画面上に表示されると共に（ステップＳ１７）、音声合成部１６によって読み上げ音声に変換されて音声出力部１７から出力される（ステップＳ１８）。
【００２５】
【第１の実施例】
次に本発明による自動通訳装置の第１の実施例について図を参照して説明する。
【００２６】
本実施例では、制御部１９は入力部１８から、単語を選択するタップ操作に続いて、検索のためのボタンをタップする操作（第２の操作）が入力された場合には、その単語による例文検索を例文検索部２１に指示して例文検索を実行させ、単語を選択するタップ操作に続いて、その単語を除いて検索するためのボタンをタップする操作（第１の操作）が入力された場合には、認識結果からその単語を除いた単語列による例文検索を例文検索部２１に指示して例文検索を実行させ、何れの場合も検索結果を表示部１４に表示させる。そして、利用者が何れかの例文を選択すると、その訳文を表示部１４にて画面上に表示すると同時に、音声合成部１６により読み上げる。なお、本実施例では、日本語を英語に通訳する場合について説明するが、英語を日本語に通訳する場合や、中国語を英語に通訳する場合など、どのような言語を対象とする場合でも同様である。
【００２７】
図３を参照すると、利用者の音声が入力されると、その認識結果が表示部１４によって画面上の認識結果表示領域３１に表示される。認識結果表示領域３１内には、認識結果が正しかった場合のために翻訳を指示するための翻訳ボタン３０が表示部１４によって表示されており、この翻訳ボタン３０をタップすると、認識結果を翻訳した結果が翻訳結果表示領域３２に表示されると同時に音声で読み上げられる。また認識結果表示領域３１内には、認識もしくは翻訳の一部が誤っていた場合のために、認識結果に類似した例文を検索して、その訳文を表示するための検索ボタン３３および除いて検索ボタン３４が表示部１４によって表示されている。
【００２８】
図３に示す状態において認識結果中の任意の文字がタップされると、その文字を含む一単語が切り出され、選択状態となる。例えば「駅」という文字がタップされると、図４の画面になる。図４を参照すると、「駅」という単語が選択され、選択範囲３５が表示される。
【００２９】
図４に示す状態において検索ボタン３３がタップされると、図５の画面となる。図５を参照すると、会話用例文の中から「駅」という単語を含む例文が検索され、例文表示領域３６に一覧表示される。検索された例文をすべて表示できない場合には、上スクロールボタン３７、下スクロールボタン３８が表示され、これらのボタンを操作することによって順次、例文表示領域３６内に表示させることができる。
【００３０】
利用者が「駅はどこですか」という音声を発声したとしても、雑音混入などにより誤認識され、例えば図６のように「敵はどこですか」という誤った文が認識結果として表示されてしまう場合がある。このような場合、誤認識した部分以外の単語列を用いて例文検索を行うことによって、所望の文を検索し、訳文を得ることができる場合がある。図６に示す状態において「敵」という文字がタップされると、図７の画面となる。図７を参照すると、「敵」という単語が選択され、選択範囲３９が表示される。
【００３１】
図７に示す状態において「除いて検索」ボタン３４がタップされると、図８の画面となる。図８を参照すると、「はどこですか」という単語列に類似した例文が検索された結果、「ホテルはどこですか」「駅はどこですか」等の例文が例文表示領域３６に表示される。利用者がこの中から「駅はどこですか」をタップすることによって、図３と同じ画面となり、その訳文「Where is the station?」を得ることができる。
【００３２】
【第２の実施例】
次に本発明による自動通訳装置の第２の実施例について図を参照して説明する。
【００３３】
本実施例では、制御部１９は認識結果中の単語が選択された後、選択された単語がドラッグ操作によって移動された場合、ドラッグ先（移動先）の領域に応じて第１の操作か第２の操作かを判別する。具体的には、ドラッグ先が翻訳結果表示領域内であれば、第２の操作が行われたと判断し、その単語による例文検索を例文検索部２１に指示して例文記憶部２０の中から入力された単語を含む例文を検索させて表示部１４に表示させる。そして、利用者が表示された複数の例文のうち一つを選択すると、その訳文を表示部１４にて画面上に表示すると同時に、音声合成部１６により読み上げる。また、ドラッグ先が認識結果表示領域外であり、かつ、翻訳結果表示領域外である領域であれば、認識結果からその単語を除いた単語列による例文検索を例文検索部２１に指示して、例文の検索を実行させ、以下前述と同様の処理を行う。なお、本実施例では、日本語を英語に通訳する場合について説明するが、英語を日本語に通訳する場合や、中国語を英語に通訳する場合など、どのような言語を対象とする場合でも同様である。
【００３４】
図９を参照すると、利用者の音声が入力されると、その認識結果が、認識結果表示領域４１に表示される。４２は翻訳結果表示領域であり、認識結果表示領域４１に認識結果が表示されている状態で翻訳結果表示領域４２内の何れかの箇所がタップされると、翻訳指示が為されたと判別され、認識結果を翻訳した訳文が翻訳結果表示領域４２に表示されると同時に音声で読み上げられる。
【００３５】
図９に示す状態において認識結果中の任意の文字がタップされると、その文字を含む一単語が切り出され、選択状態となる。例えば「駅」という文字がタップされると、図１０の画面になる。図１０を参照すると、「駅」という単語が選択され、選択範囲４３が表示される。
【００３６】
図１０に示す状態において「駅」という単語が翻訳結果表示領域４２内にドラッグされると、図１１の画面となる。図１１を参照すると、会話例文データの中から「駅」という単語を含む例文が検索され、例文表示領域４４に一覧表示される。検索された例文をすべて表示できない場合には、上スクロールボタン４５、下スクロールボタン４６が表示され、これらのボタンを操作することによって順次、例文表示領域４４内に表示させることができる。
【００３７】
利用者が「駅はどこですか」という音声を発声したとしても、雑音混入などにより誤認識され、例えば図１２のように「敵はどこですか」という誤った文が認識結果として表示されてしまう場合がある。このような場合、誤認識した部分以外の単語列を用いて例文検索を行うことによって、所望の文を検索し、訳文を得ることができる場合がある。図１２に示す状態において「敵」という文字がタップされると、図１３の画面となる。図１３を参照すると、「敵」という単語が選択され、選択範囲４７が表示される。
【００３８】
図１３に示す状態において「敵」という単語が認識結果表示領域４１外であり、かつ、翻訳結果表示領域４２外である領域４８にドラッグされると、図１４の画面となる。図１４を参照すると、「はどこですか」という単語列に類似した例文が検索された結果、「ホテルはどこですか」「駅はどこですか」等の例文が例文表示領域４４に表示される。利用者がこの中から「駅はどこですか」をタップすることによって、図９とほぼ同じ画面となり、その訳文「Where is the station?」を得ることができる。
【００３９】
【発明の他の実施の形態】
以上本発明の実施の形態および実施例について説明したが、本発明は以上の実施の形態および実施例に限定されず、その他各種の付加変更が可能である。例えば、前記の実施の形態では、利用者から翻訳指示が出された時点で認識結果の翻訳を開始し、その翻訳結果の表示と音声による読み上げを行ったが、利用者からの翻訳指示を待たずに音声認識の結果が得られたら自動的に認識結果の翻訳を開始し、その翻訳結果の表示と音声による読み上げを行うようにしてもよい。また、認識結果の一部を利用者の入力部１８からの操作で修正し、修正後の認識結果を翻訳する機能などの機能を付加するようにしてもよい。
【００４０】
更に、本発明の自動通訳装置は、その有する機能をハードウェア的に実現することは勿論、コンピュータと自動通訳用プログラムで実現することができる。自動通訳用プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを上述した実施の形態における自動通訳装置として機能させる。
【００４１】
【発明の効果】
以上説明したように、本発明においては、次のような効果を奏する。
【００４２】
第１の効果は、音声認識で認識された文字列のうち誤認識した単語を除いた残りの文字列で例文検索を行う操作が簡便になり、自動通訳装置の利便性が向上することである。その理由は、認識結果の一部を指定するとその位置にある単語が選択され、「除いて検索」ボタンを押すか、あるいは選択した単語を認識結果表示領域外であり且つ翻訳結果表示領域外である領域にドラッグ操作で移動させる等の所定の操作を行えば、認識結果からその単語を除いた単語列に類似した例文を検索することができるため、誤認識により認識結果の一部が誤っていても、誤認識された単語をわざわざ削除する必要がなくなり、残りの正しく認識された単語列を用いて、入力したかった文に近い例文を容易に検索することができ、その例文を用いて相手とコミュニケーションを進めていくことができるからである。
【００４３】
第２の効果は、音声認識で正しく認識された文字列の一部を使った例文検索も簡便に行えるため、自動通訳装置の利便性がより一層向上することである。その理由は、認識結果の一部を指定するとその位置にある単語が選択され、「検索」ボタンを押すか、あるいは選択した単語を翻訳結果表示領域にドラッグする等の所定の操作を行えば、その単語を含む例文を検索することができるため、誤認識により認識結果の一部が誤っていても、正しく認識された単語を用いて、入力したかった文に近い例文を容易に検索することができ、その例文を用いて相手とコミュニケーションを進めていくことができるからである。
【図面の簡単な説明】
【図１】本発明の実施の形態の構成を示すブロック図である。
【図２】本発明の実施の形態の処理例を示すフローチャートである。
【図３】本発明による第１の実施例の結果表示画面の例である。
【図４】本発明による第１の実施例の結果表示画面の例である。
【図５】本発明による第１の実施例の例文表示画面の例である。
【図６】本発明による第１の実施例の結果表示画面（誤認識時）の例である。
【図７】本発明による第１の実施例の結果表示画面（誤認識時）の例である。
【図８】本発明による第１の実施例の例文表示画面の例である。
【図９】本発明による第２の実施例の結果表示画面の例である。
【図１０】本発明による第２の実施例の結果表示画面の例である。
【図１１】本発明による第２の実施例の例文表示画面の例である。
【図１２】本発明による第２の実施例の結果表示画面（誤認識時）の例である。
【図１３】本発明による第２の実施例の結果表示画面（誤認識時）の例である。
【図１４】本発明による第２の実施例の例文表示画面の例である。
【符号の説明】
１１音声入力部
１２音声認識部
１３認識結果保持部
１４表示部
１５翻訳部
１６音声合成部
１７音声出力部
１８入力部
１９制御部
２０例文記憶部
２１例文検索部
３０翻訳ボタン
３１、４１認識結果表示領域
３２、４２翻訳結果表示領域
３３検索ボタン
３４除いて検索ボタン
３５、４３選択範囲
３６、４４例文表示領域
３７、４５上スクロールボタン
３８、４６下スクロールボタン
３９、４７選択範囲
４８空白領域[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an automatic interpreting apparatus that performs interpretation between two different languages, and particularly searches and displays example sentences similar to the result of recognizing a user's voice, and reads out the translated sentence of the example sentence by voice. The present invention relates to an automatic interpretation device having a function.
[0002]
[Prior art]
In general, a translation apparatus includes a type in which input and output are performed in a text format as disclosed in, for example, “Translation Support Device” described in Japanese Patent Laid-Open No. 9-245040 (Document 1), and Japanese Patent Laid-Open No. 8-314492, for example. It can be found in the “speech input translation device” described in the official gazette (Reference 2) and the PC software “Tatsutsu (America Travel Edition)” (hereinafter referred to as Tatsutsu) announced by NEC Corporation in July 2001. As described above, there is a type in which both input and output are performed by voice, and the latter is particularly called an automatic interpretation device and is distinguished. The present invention relates to an improvement of the latter automatic interpretation device.
[0003]
In an automatic interpreting apparatus that performs input by voice, when a user inputs voice from a voice input unit such as a microphone, the voice recognition unit recognizes the voice and generates a recognition result in a text format. The translated text is translated into the target language, and the speech synthesizer converts the translated text into speech, and a speech output unit such as a speaker outputs the speech of the translation result. In this case, even if the translation process and the conversion process to the voice are accurate, the intended purpose cannot be achieved unless the voice recognition itself is performed correctly. Therefore, in general, the result of speech recognition is displayed so that the user can confirm whether or not the recognition has been performed correctly. The document 2 is configured such that the voice input can be repeated any number of times if the text content spoken by the user does not match the display content. However, there are cases where voice recognition is not performed correctly even when used repeatedly in a noisy environment.
[0004]
Therefore, in “Taburi”, when a word or sentence is displayed in the recognition result display part, if the user instructs to search for an example sentence in that state or after a partial correction, it is in the recognition result display part. When an example sentence including a word and an example sentence similar to the sentence in the recognition result display part are searched from the example sentence collection and the result is displayed, and one of the searched example sentences is selected, the selected example sentence is displayed. It has an example sentence search function that reads out the corresponding translated sentence by voice. In this case, the translated sentence of the example sentence is stored in advance in the example sentence collection in combination with the example sentence, so the translation process does not run.
[0005]
[Problems to be solved by the invention]
The above-described example sentence search function in Tabitsu was particularly effective in a noisy environment compared to the method of repeating utterances repeatedly until correct speech recognition, but example sentences except for misrecognized words There has been a problem that an operation for performing a search is relatively complicated. This point will be explained below with a specific example of interpreting Japanese into English.
[0006]
Now that the voice recognition result is "Where is the enemy" while saying "Where is the station", the case of searching with "Where" except for the erroneously recognized "Enemy" is assumed. . In this case, the following operations are required for the usual example sentence search function.
(1) An operation of selecting the “enemy” portion from the display of the recognition result “Where is the enemy”?
(2) An operation to delete the selected “enemy” is performed.
(3) An operation for instructing an example sentence search is performed. As a result, the example sentence including the word included in the remaining “where is” from which the enemy is deleted or a similar example sentence is searched, and the search result is displayed.
(4) Select “Where is the station” from a plurality of example sentences in the search results. Thereby, the translation corresponding to the example sentence “Where is the station” is read out by voice.
[0007]
Thus, the user needs to perform the four-step operation (1) to (4).
[0008]
It is also possible to search for example sentences without deleting “enemy”, and the operation in this case is as follows.
(1) When the recognition result “Where is the enemy” is displayed, an operation for instructing an example sentence search is performed.
(2) In response to this operation, example sentences including words such as “enemy” and “where are you” included in the recognition result, and example sentences similar to the sentence “where is the enemy” are searched from the example sentence collection, The search result is displayed, and an operation of selecting an example sentence “where is the station” from among the search results is performed. Thereby, the translation corresponding to the example sentence “Where is the station” is read out by voice.
[0009]
Although this method seems to be efficient at first glance, it also searches for example sentences that contain "enemy" that were originally misrecognized, so the number of example sentences searched is considerable, and from that, find out "where is the station" For this reason, a relatively large number of screen scroll operations are necessary and time is required.
[0010]
OBJECT OF THE INVENTION
SUMMARY OF THE INVENTION An object of the present invention is to provide an automatic interpreting apparatus that improves convenience by enabling example sentence searches when a voice is erroneously recognized to be performed with a simple operation.
[0011]
Another object of the present invention is to provide an automatic interpretation device that can easily perform an example sentence search operation using the remaining character strings excluding misrecognized words among character strings recognized by speech recognition.
[0012]
Another object of the present invention is to provide an automatic interpretation device that can easily search for example sentences using words that are correctly recognized among character strings recognized by speech recognition.
[0013]
[Means for Solving the Problems]
A first automatic interpreting apparatus of the present invention is an automatic interpreting apparatus that displays a speech recognition result in a source language and then reads out a speech translation result in a target language of the recognition result. When a user operation for selecting a part and a user operation for instructing an example sentence search are performed, an example sentence search is performed using the remaining character string excluding the selected part from the recognition result, and the result is displayed. . More specifically, in an automatic interpreting apparatus having a function of reading out a speech recognition result in the source language and then reading out the translation result in the target language of the recognition result by speech, the example sentence in the source language and the target language of the example sentence Search means for searching an example sentence storage unit that accumulates a plurality of pairs with translated sentences, input means for receiving a user's operation, and control means for controlling according to the input content by the input means, the control means, When the user designates a part of the displayed recognition result by the input means, a means for selecting the designated part and a remaining character string obtained by removing the selected part from the recognition result are used. And a means for performing a search by the search means, wherein a translated sentence corresponding to the example sentence selected by the user by the input means among the example sentences obtained by the search by the search means is sounded. It has a configuration in which read aloud by.
[0014]
A second automatic interpreting apparatus of the present invention is an automatic interpreting apparatus having a function of reading out a speech recognition result in a target language and then reading out a speech translation result in a target language. A search means for searching an example sentence storage unit for storing a plurality of pairs of example sentences translated into target language, an input means for receiving a user's operation, and a control means for controlling according to the input content of the input means, The control means includes means for selecting a designated portion when the user designates a part of the displayed recognition result by the input means, and an operation for instructing a user search by the input means. Means for discriminating between the first operation and the second operation; and, in the case of the first operation, the search means using the remaining character string obtained by removing the selected portion from the recognition result. A search by the search means using the character string of the selected portion when the second operation is performed, and among the example sentences obtained by the search by the search means It has a configuration in which a translated sentence corresponding to the example sentence selected by the user by the input means is read out by voice. Here, the first operation and the second operation may be any operations as long as they can be clearly distinguished from each other. For example, the first operation is the operation of the first search button, and the second operation is the second operation. The search button can be operated, and the first operation moves the selected part to a predetermined area, and the second operation moves the selected part to a different area from the predetermined area. The operation can be performed.
[0015]
[Action]
In the first automatic interpretation device, for example, when the recognition result “Where is the enemy” is displayed for the input voice “Where is the station”, an operation of selecting “enemy” is performed. And the remaining character string “Where” is removed from the recognition result, and there is no need to delete the “enemy”. The operation of performing can be performed easily.
[0016]
In the second automatic interpretation device, for example, when the recognition result “Where is the enemy” is displayed, the operation of selecting “enemy” is performed, and then the first operation is performed. Because the search is performed with the remaining character string “Where”, excluding “enemy” from the text, there is no need to delete the “enemy”. It can be carried out easily. For example, when a recognition result “where is the station” is displayed, an operation of selecting “station” is performed, and then a second operation is performed, and a search by the selected “station” is executed. Is also possible.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Referring to FIG. 1, an automatic interpretation apparatus according to an embodiment of the present invention includes a speech input unit 11 such as a microphone for inputting speech, a speech recognition unit 12 that recognizes input speech as text, and a speech recognition unit. 12, a recognition result holding unit 13 that holds the text of the recognition result, a display unit 14 that displays text such as a recognition result and a translation result on the screen, and a recognition result held in the recognition result holding unit 13 A translation unit 15 that translates the speech into a language, a speech synthesis unit 16 that converts the translation result into speech, a speech output unit 17 such as a speaker that outputs the speech synthesized by the speech synthesis unit 16, a user input pen, and the like An input unit 18 that converts the operation of the device into an electrical signal and inputs the signal, and a predetermined control such as changing the recognition result of the recognition result holding unit 13 according to the signal input to the input unit 18. A control unit 19 that performs the above, a sample sentence storage unit 20 that stores a plurality of pairs of example sentences for conversation and translations prepared in advance, and a character string that constitutes a recognition result held in the recognition result holding unit 13 The example sentence search part 21 which searches the example sentence storage part 20 for the example sentence containing the character string instruct | indicated from the control part 19 is provided.
[0018]
FIG. 2 is a flowchart showing an example of processing of the automatic interpretation apparatus according to this embodiment. The operation of the present embodiment will be described below with reference to FIGS.
[0019]
When the user utters a certain sentence content in the original language, the voice is converted into an electric signal by the voice input unit 11 and input into the automatic interpretation device (step S1). The voice input by the voice input unit 11 is then voice-recognized by the voice recognition unit 12 (step S2), and the source language text as the recognition result is stored in the recognition result holding unit 13 and at the same time the display unit 14 Is displayed on the screen (step S3). Thereafter, the control unit 19 performs an operation of instructing translation by the input unit 18 or an operation of tapping a part of the recognition result displayed on the screen of the display unit 14 to perform an example sentence search. (Steps S4 and S5). Here, the tap means an operation of lightly pressing the tip of the input pen against the display portion of the recognition result.
[0020]
When speech recognition is performed correctly and the content of the spoken sentence matches the displayed recognition result, the user instructs translation by operating the input unit 18. In this case, the recognition result is translated into the translation destination language (target language) by the translation unit 15 (step S6), and the translation result is displayed side by side with the recognition result on the screen by the display unit 14 (step S7). Thereafter, the translation result is synthesized as speech read out by the speech synthesizer 16 and output by the speech output unit 17 (step S8).
[0021]
On the other hand, if there is an error in speech recognition and the content of the spoken sentence differs from the displayed recognition result, the user taps a part of the recognition result displayed on the screen of the display unit 14 to perform example sentence search. Perform the operation. In this case, the following operation is performed thereafter.
[0022]
First, the control part 19 cuts out the word containing the tapped character (step S9), and makes the cut-out word a selection state (step S10). For example, among the characters constituting the recognition result held in the recognition result holding unit 13, a predetermined mark is given to the constituent characters of the extracted word to make the selected state. When the word is selected, the display unit 14 displaying the recognition result clearly indicates the selected word to the user by, for example, displaying the word by shading. Next, the control unit 19 determines whether the user has performed either the first operation or the second operation using the input unit 18 (steps S11 and S12). The user performs the first operation when searching for example sentences with the remaining character strings excluding the selected word, and performs the second operation when searching for example sentences with the selected word.
[0023]
When the first operation is performed, the control unit 19 uses the remaining character string obtained by removing the selected word from the recognition result character string held in the recognition result holding unit 13 with respect to the example sentence search unit 21. When the second operation is performed, the example sentence search unit 21 is instructed to search for the example sentence using the selected word. The example sentence search unit 21 stores the example sentence according to the instruction from the control unit 19. The part 20 is searched (steps S13 and S14). The example sentences searched by the example sentence search unit 21 are sent to the display unit 14 and displayed on the screen (step S15).
[0024]
Thereafter, the control unit 19 waits for the user to select an example sentence by the input unit 18 (step S16). When any one example sentence is selected, the example sentence search unit 21 corresponds to the selected example sentence. An instruction is issued to send the translated text to the display unit 14 and the speech synthesis unit 16. As a result, the translated sentence of the selected example sentence is displayed on the screen by the display unit 14 (step S17), and is converted into a read-out voice by the voice synthesis unit 16 and output from the voice output unit 17 (step S18). .
[0025]
[First embodiment]
Next, a first embodiment of an automatic interpretation apparatus according to the present invention will be described with reference to the drawings.
[0026]
In this embodiment, when an operation (second operation) for tapping a button for search is input from the input unit 18 following the tap operation for selecting a word from the input unit 18, the control unit 19 uses the word. An example sentence search unit 21 is instructed to execute an example sentence search, and after a tap operation for selecting a word, an operation (first operation) for tapping a button for searching excluding the word is input. In the case of the recognition result, the example sentence search unit 21 is instructed to execute the example sentence search using the word string excluding the word from the recognition result, and the search result is displayed on the display unit 14 in any case. When the user selects any example sentence, the translated sentence is displayed on the screen on the display unit 14 and simultaneously read out by the speech synthesis unit 16. In this example, the case of interpreting Japanese into English will be explained. However, it is possible to interpret any language, such as when interpreting English into Japanese or when translating Chinese into English. It is the same.
[0027]
Referring to FIG. 3, when a user's voice is input, the recognition result is displayed on the recognition result display area 31 on the screen by the display unit 14. In the recognition result display area 31, a translation button 30 for instructing translation for a case where the recognition result is correct is displayed by the display unit 14. When the translation button 30 is tapped, the recognition result is translated. The result is displayed in the translation result display area 32 and simultaneously read out by voice. Also, in the recognition result display area 31, search is performed except for the search button 33 for searching for an example sentence similar to the recognition result and displaying the translated sentence in case the recognition or part of the translation is wrong. A button 34 is displayed on the display unit 14.
[0028]
When an arbitrary character in the recognition result is tapped in the state shown in FIG. 3, one word including the character is cut out and selected. For example, when the character “station” is tapped, the screen shown in FIG. 4 is displayed. Referring to FIG. 4, the word “station” is selected and a selection range 35 is displayed.
[0029]
When the search button 33 is tapped in the state shown in FIG. 4, the screen shown in FIG. 5 is displayed. Referring to FIG. 5, example sentences including the word “station” are searched from the example sentences for conversation and displayed in a list in the example sentence display area 36. When all the searched example sentences cannot be displayed, an up scroll button 37 and a down scroll button 38 are displayed. By operating these buttons, the example sentences can be sequentially displayed in the example sentence display area 36.
[0030]
Even if the user utters the voice “Where is the station”, it is misrecognized due to noise, etc., and for example, the wrong sentence “Where is the enemy” is displayed as the recognition result as shown in FIG. There is. In such a case, there is a case where a desired sentence can be searched and a translated sentence can be obtained by performing an example sentence search using a word string other than the erroneously recognized part. When the character “enemy” is tapped in the state shown in FIG. 6, the screen shown in FIG. 7 is displayed. Referring to FIG. 7, the word “enemy” is selected and a selection range 39 is displayed.
[0031]
When the “exclude search” button 34 is tapped in the state shown in FIG. 7, the screen shown in FIG. 8 is displayed. Referring to FIG. 8, as a result of searching for an example sentence similar to the word string “Where is?”, Example sentences such as “Where is the hotel” and “Where is the station” are displayed in the example sentence display area 36. When the user taps “Where is the station” from this, the same screen as in FIG. 3 is displayed and the translated sentence “Where is the station?” Can be obtained.
[0032]
[Second embodiment]
Next, a second embodiment of the automatic interpretation apparatus according to the present invention will be described with reference to the drawings.
[0033]
In this embodiment, after the word in the recognition result is selected, when the selected word is moved by the drag operation, the control unit 19 determines whether the first operation is performed according to the drag destination (movement destination) area. 2 is discriminated. Specifically, if the drag destination is within the translation result display area, it is determined that the second operation has been performed, and the example sentence search unit 21 instructs the example sentence search unit 21 to input from the example sentence storage unit 20. The example sentence including the selected word is searched and displayed on the display unit 14. When the user selects one of the displayed example sentences, the translated sentence is displayed on the screen on the display unit 14 and simultaneously read out by the speech synthesis unit 16. If the drag destination is outside the recognition result display area and outside the translation result display area, the example sentence search unit 21 is instructed to perform example sentence search using a word string excluding the word from the recognition result, An example sentence search is executed, and the same processing as described above is performed. In this example, the case of interpreting Japanese into English will be explained. However, it is possible to interpret any language, such as when interpreting English into Japanese or when translating Chinese into English. It is the same.
[0034]
Referring to FIG. 9, when a user's voice is input, the recognition result is displayed in the recognition result display area 41. Reference numeral 42 denotes a translation result display area. When any part of the translation result display area 42 is tapped in a state where the recognition result is displayed in the recognition result display area 41, it is determined that a translation instruction has been made. A translation obtained by translating the recognition result is displayed in the translation result display area 42 and simultaneously read out by voice.
[0035]
When an arbitrary character in the recognition result is tapped in the state shown in FIG. 9, one word including the character is cut out and selected. For example, when a character “station” is tapped, the screen shown in FIG. 10 is displayed. Referring to FIG. 10, the word “station” is selected, and a selection range 43 is displayed.
[0036]
When the word “station” is dragged into the translation result display area 42 in the state shown in FIG. 10, the screen shown in FIG. 11 is displayed. Referring to FIG. 11, example sentences including the word “station” are searched from the conversation example sentence data and displayed in a list in the example sentence display area 44. When all of the searched example sentences cannot be displayed, an up scroll button 45 and a down scroll button 46 are displayed, and these buttons can be sequentially displayed in the example sentence display area 44 by operating these buttons.
[0037]
Even if the user utters the voice “Where is the station”, it is erroneously recognized due to noise or the like, and for example, an incorrect sentence “Where is the enemy” is displayed as a recognition result as shown in FIG. There is. In such a case, there is a case where a desired sentence can be searched and a translated sentence can be obtained by performing an example sentence search using a word string other than the erroneously recognized part. When the character “enemy” is tapped in the state shown in FIG. 12, the screen shown in FIG. 13 is displayed. Referring to FIG. 13, the word “enemy” is selected and a selection range 47 is displayed.
[0038]
When the word “enemy” is dragged outside the recognition result display area 41 and outside the translation result display area 42 in the state shown in FIG. 13, the screen shown in FIG. 14 is displayed. Referring to FIG. 14, as a result of searching for an example sentence similar to the word string “Where is?”, Example sentences such as “Where is the hotel” and “Where is the station” are displayed in the example sentence display area 44. When the user taps “Where is the station” from among these, the screen is almost the same as in FIG. 9 and the translated sentence “Where is the station?” Can be obtained.
[0039]
Other Embodiments of the Invention
Although the embodiments and examples of the present invention have been described above, the present invention is not limited to the above embodiments and examples, and various other additions and modifications are possible. For example, in the above embodiment, the translation of the recognition result is started when a translation instruction is issued from the user, and the translation result is displayed and read out by voice, but the translation instruction from the user is awaited. If the result of speech recognition is obtained without any problem, the translation of the recognition result may be automatically started, and the translation result may be displayed and read out by voice. Further, a part of the recognition result may be corrected by an operation from the user input unit 18 and a function such as a function for translating the corrected recognition result may be added.
[0040]
Furthermore, the automatic interpreting apparatus of the present invention can be realized by a computer and an automatic interpreting program as well as by realizing the functions of the automatic interpreting apparatus in hardware. The automatic interpretation program is provided by being recorded on a computer-readable recording medium such as a magnetic disk or a semiconductor memory, read by the computer at the time of starting up the computer, and controlling the operation of the computer. It is made to function as an automatic interpretation device in the embodiment.
[0041]
【The invention's effect】
As described above, the present invention has the following effects.
[0042]
The first effect is that the operation of searching for example sentences with the remaining character strings excluding the misrecognized words among the character strings recognized by the speech recognition is simplified, and the convenience of the automatic interpretation device is improved. . The reason is that when a part of the recognition result is specified, the word at that position is selected, and the “exclude search” button is pressed, or the selected word is outside the recognition result display area and outside the translation result display area. If you perform a predetermined operation such as moving to a certain area by dragging, you can search for example sentences similar to the word string excluding the word from the recognition result, so part of the recognition result is incorrect due to misrecognition. However, it is no longer necessary to delete the misrecognized word, and it is possible to easily search for an example sentence close to the sentence that the user wished to input using the remaining correctly recognized word string. This is because communication with the other party can be promoted.
[0043]
The second effect is that the convenience of the automatic interpreting apparatus is further improved because the example sentence search using a part of the character string correctly recognized by the speech recognition can be easily performed. The reason is that if you specify a part of the recognition result, the word at that position is selected, and if you perform a predetermined operation such as pressing the `` Search '' button or dragging the selected word to the translation result display area, Since it is possible to search for example sentences that contain the word, it is possible to easily search for example sentences that are close to the sentence that you wanted to input using the correctly recognized words, even if some of the recognition results are incorrect due to misrecognition. This is because the example sentences can be used to communicate with the other party.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of the present invention.
FIG. 2 is a flowchart illustrating an example of processing according to the embodiment of the present invention.
FIG. 3 is an example of a result display screen of the first embodiment according to the present invention.
FIG. 4 is an example of a result display screen according to the first embodiment of the present invention.
FIG. 5 is an example of an example sentence display screen of the first embodiment according to the present invention.
FIG. 6 is an example of a result display screen (during erroneous recognition) according to the first embodiment of the present invention.
FIG. 7 is an example of a result display screen (at the time of erroneous recognition) according to the first embodiment of the present invention.
FIG. 8 is an example of an example sentence display screen of the first embodiment according to the present invention.
FIG. 9 is an example of a result display screen according to the second embodiment of the present invention.
FIG. 10 is an example of a result display screen according to the second embodiment of the present invention.
FIG. 11 is an example of an example sentence display screen of the second embodiment according to the present invention.
FIG. 12 is an example of a result display screen (at the time of erroneous recognition) according to the second embodiment of the present invention.
FIG. 13 is an example of a result display screen (at the time of erroneous recognition) according to the second embodiment of the present invention.
FIG. 14 is an example of an example sentence display screen of the second embodiment according to the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 11 Speech input part 12 Speech recognition part 13 Recognition result holding part 14 Display part 15 Translation part 16 Speech synthesis part 17 Speech output part 18 Input part 19 Control part 20 Example sentence storage part 21 Example sentence search part 30 Translation button 31, 41 Recognition result display Areas 32 and 42 Translation result display area 33 Search button 34 Excluding search buttons 35 and 43 Selection ranges 36 and 44 Example sentence display areas 37 and 45 Up scroll buttons 38 and 46 Down scroll buttons 39 and 47 Selection range 48 Blank area

Claims

In an automatic interpretation apparatus having a function of reading out a speech recognition result in a target language after reading a speech recognition result in the source language, a pair of an example sentence in the source language and a translation sentence in the target language of the example sentence Search means for searching a plurality of stored example sentence storage units, input means for receiving a user's operation, and control means for performing control according to the contents input by the input means, wherein the control means is provided by the user as the input means. A means for selecting the designated part when the part of the displayed recognition result is designated by the search, and a search by the search means using the remaining character string obtained by removing the selected part from the recognition result. A translation sentence corresponding to the example sentence selected by the user using the input means among the example sentences obtained by the search by the search means. Automatic interpretation device having a structure that.

In an automatic interpretation apparatus having a function of reading out a speech recognition result in a target language after reading a speech recognition result in the source language, a pair of an example sentence in the source language and a translation sentence in the target language of the example sentence Search means for searching a plurality of stored example sentence storage units, input means for receiving a user's operation, and control means for performing control according to the contents input by the input means, wherein the control means is provided by the user as the input means. The part for selecting the designated part when the part of the displayed recognition result is designated by the above and the operation for instructing the user search by the input part is either the first or the second operation. And a second operation for causing the search means to perform a search using a remaining character string obtained by removing the selected portion from the recognition result in the case of the first operation. Means for performing a search by the search means using the character string of the selected part, and the example sentence selected by the user by the input means among the example sentences obtained by the search by the search means An automatic interpreting apparatus having a configuration that reads out a corresponding translated sentence by voice.

The automatic interpretation apparatus according to claim 2, wherein the first operation is an operation of a first search button, and the second operation is an operation of a second search button.

The first operation is an operation for moving the selected portion to the predetermined area, according to claim 2, wherein an operation of moving to a different region and a portion where the second operation is the selected predetermined region Automatic interpretation device.

An automatic interpretation program for causing a computer to function as an automatic interpretation device that reads a speech translation result in a target language after reading a speech recognition result in a source language, And a search means for searching for an example sentence storage unit that stores a plurality of pairs of sentences translated in a target language, an input means for receiving a user operation, and a control means for controlling according to the input content of the input means Further, the control means is a means for selecting the designated part when the user designates a part of the displayed recognition result by the input means, and the selected part is excluded from the recognition result. Example of functioning as a means for performing a search by the search means using the remaining character string, and obtained by a search by the search means User automatic interpretation program to function as a means to speak the voice matching translated sentence selected by the input means of.

An automatic interpretation program for causing a computer to function as an automatic interpretation device that reads a speech translation result in a target language after reading a speech recognition result in a source language, And a search means for searching for an example sentence storage unit that stores a plurality of pairs of sentences translated in a target language, an input means for receiving a user operation, and a control means for controlling according to the input content of the input means Further, the control means is a means for selecting a designated portion when the user designates a part of the displayed recognition result by the input means, and an operation for instructing a search for a user by the input means. Means for determining whether the operation is a first operation or a second operation. When the operation is a first operation, the selected portion is excluded from the recognition result. A search by the search means using the remaining character string, and functioning as a means for performing a search by the search means using the character string of the selected portion when the second operation is performed, A program for automatic interpretation that functions as a means for reading out a sentence translated by a user corresponding to an example sentence selected by the input means among example sentences obtained by the search by the search means.

The automatic interpretation program according to claim 6, wherein the first operation is an operation of a first search button, and the second operation is an operation of a second search button.

The first operation is an operation for moving the selected portion to the predetermined area, according to claim 6, wherein an operation of moving to a different region and a portion where the second operation is the selected predetermined region Automatic interpretation program.