JP5336805B2 - 音声翻訳装置、方法、およびプログラム - Google Patents

Description

本発明は、音声翻訳装置、方法、およびプログラムに関する。

近年、文化や経済のグローバル化に伴い、異なる言語を母語とする人同士のコミュニケーションの機会が増加している。このため、自然言語処理技術、音声認識処理技術、機械翻訳技術などを採用し、異なる言語を母語とする人同士のコミュニケーションを支援する音声翻訳装置への期待が高まっている。

一般的に音声翻訳装置は、利用者により入力された第１言語の発話音声を認識して第２言語への機械翻訳を行うため、利用者は発話内容を正確に入力する必要がある。しかしながら、利用者は人間であり、機械翻訳の性能も完全ではないことから、利用者の言い誤りや、目的の翻訳結果が得られなかったことに伴う利用者の言い直しが起きることは避けられない。このため、利用者の発話内容を自動的に修正する技術の開発が進められている。

例えば特許文献１には、言い直し特有の言い回し（例えば、「言い直し」、「間違えた」、「じゃなくて」など）を検出した場合に、利用者の発話内容を修正する技術が開示されている。

特開２００７−５７８４４号公報

しかしながら、従来の技術では、利用者の発話内容を修正するためには言い直し特有の言い回しを検出しなければならない。従って、発話内容の修正を望む場合には、このような言い回しとともに修正内容を発話しなければならず、利用者に余計な負担がかかってしまうことになる。

本発明は、上記事情に鑑みてなされたものであり、発話内容の修正にかかる利用者の負担を軽減させることができる音声翻訳装置、方法、およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の一態様にかかる音声翻訳装置は、第１言語の発話音声の入力を受け付ける音声入力受付部と、前記発話音声の入力が受け付けられる毎に、当該発話音声を認識して文字列を生成する音声認識部と、前記文字列を順次蓄積する蓄積部と、先に蓄積された第１文字列と、新たに蓄積する候補である第２文字列とを逐次比較し、前記第２文字列が前記第１文字列の言い直しであるか否かを判定する判定部と、言い直しでない場合には、前記第２文字列を前記蓄積部に蓄積させ、言い直しである場合には、前記第１文字列を前記第２文字列に修正して前記蓄積部に蓄積させる修正部と、前記蓄積部に蓄積される毎に、蓄積されている文字列を第２言語に逐次翻訳する翻訳部と、翻訳結果を出力する出力部と、を備えることを特徴とする。

また、本発明の別の態様にかかる音声翻訳方法は、音声入力受付部が、第１言語の発話音声の入力を受け付ける音声入力受付ステップと、音声認識部が、前記発話音声の入力が受け付けられる毎に、当該発話音声を認識して文字列を生成する認識ステップと、判定部が、前記文字列を順次蓄積する蓄積部に先に蓄積された第１文字列と、新たに蓄積する候補である第２文字列とを逐次比較し、前記第２文字列が前記第１文字列の言い直しであるか否かを判定する判定ステップと、修正部が、言い直しでない場合には、前記第２文字列を前記蓄積部に蓄積させ、言い直しである場合には、前記第１文字列を前記第２文字列に修正して前記蓄積部に蓄積させる修正ステップと、翻訳部が、前記蓄積部に蓄積される毎に、蓄積されている文字列を第２言語に逐次翻訳する翻訳ステップと、出力部が、翻訳結果を出力する出力ステップと、を含むことを特徴とする。

また、本発明の別の態様にかかる音声翻訳プログラムは、音声入力受付部が、第１言語の発話音声の入力を受け付ける音声入力受付ステップと、音声認識部が、前記発話音声の入力が受け付けられる毎に、当該発話音声を認識して文字列を生成する認識ステップと、判定部が、前記文字列を順次蓄積する蓄積部に先に蓄積された第１文字列と、新たに蓄積する候補である第２文字列とを逐次比較し、前記第２文字列が前記第１文字列の言い直しであるか否かを判定する判定ステップと、修正部が、言い直しでない場合には、前記第２文字列を前記蓄積部に蓄積させ、言い直しである場合には、前記第１文字列を前記第２文字列に修正して前記蓄積部に蓄積させる修正ステップと、翻訳部が、前記蓄積部に蓄積される毎に、蓄積されている文字列を第２言語に逐次翻訳する翻訳ステップと、出力部が、翻訳結果を出力する出力ステップと、をコンピュータに実行させるためのものである。

本発明によれば、蓄積候補の文字列が先に蓄積された文字列の言い直しであるか否かを判定して発話内容の修正を行うため、利用者は修正内容のみを発話すればよく、発話内容の修正にかかる利用者の負担を軽減させることができる。

以下、添付図面を参照しながら、本発明にかかる音声翻訳装置、方法、およびプログラムの最良な実施の形態を詳細に説明する。なお、以下の実施の形態では、翻訳の元となる第１言語に日本語、翻訳後の言語となる第２言語に英語を用いた例、即ち、日本語から英語への音声翻訳を例にとり説明する。但し、翻訳形態はこれに限定されるものではなく、あらゆる言語間での音声翻訳に適用することができる。

図１は、本実施の形態の音声翻訳装置１の構成の一例を示すブロック図である。音声翻訳装置１は、利用者の発話内容を逐次翻訳するとともに、言い直しを検出した場合には、発話内容を言い直した内容に修正して翻訳するものである。そして音声翻訳装置１は、音声入力部１０と、操作部２０と、出力部３０と、記憶部４０と、音声入力受付部１００と、操作入力受付部１１０と、音声認識部１２０と、判定部１３０と、修正部１４０と、翻訳部１５０と、出力制御部１６０と、を備える。

音声入力部１０は、音声翻訳装置１の利用者が発話する第１言語の音声などを入力するものであり、例えば、マイクなどの既存の音声入力装置により実現できる。

操作部２０は、音声翻訳装置１に対する各種操作を行うものであり、例えば、キーボード、キースイッチやタッチパネルなどの既存の入力装置により実現できる。

出力部３０は、翻訳結果を出力するものであり、例えば、液晶ディスプレイなどの既存の表示装置により実現できる。なお、これに加え、スピーカなどの既存の音声出力装置により実現してもよい。

記憶部４０は、音声翻訳装置１で行われる各種処理に使用される情報を記憶するものであり、例えば、ＨＤＤ（Hard Disk Drive）、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの既存の記憶媒体により実現できる。そして記憶部４０は、蓄積部４２と、意味用法辞書記憶部４４とを含んで構成される。なお、蓄積部４２および意味用法辞書記憶部４４の詳細については後述する。

音声入力受付部１００は、音声入力部１０から第１言語の発話音声の入力を受け付ける。具体的には、音声入力受付部１００は、音声入力部１０から入力された音声のアナログ信号に対してサンプリングを行い、ステレオのデジタル信号に変換する。なお、デジタル信号への変換には、例えば、Ａ／Ｄ変換など既存の技術を用いることができる。

操作入力受付部１１０は、操作部２０からの操作入力を受け付けるものであり、第１操作入力受付部１１２と、第２操作入力受付部１１４とを含んで構成される。第１操作入力受付部１１２は、翻訳結果を確定する確定操作の入力を受け付け、第２操作入力受付部１１４は、修正を取り消す取消操作の入力を受け付ける。

音声認識部１２０は、音声入力受付部１００に発話音声（デジタル音声信号）が受け付けられる毎に、当該発話音声を認識し、認識した発話音声の第１言語の文字列を生成する音声認識処理を行う。なお、音声認識処理には、例えば、ＬＰＣ分析、隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）、ダイナミックプログラミング、ニューラルネットワーク、Ｎグラム言語モデルなど既存の音声認識方法を用いることができる。

蓄積部４２は、音声認識部１２０により生成された文字列を順次蓄積する。

判定部１３０は、蓄積部４２に先に蓄積された第１文字列と、蓄積部４２に新たに蓄積する候補である第２文字列とを比較し、第２文字列が第１文字列の言い直しであるか否かを判定する。

具体的には、判定部１３０は、蓄積部４２に蓄積されている文字列に第２文字列を追加した文字列が文法的に正しくなく、第１文字列と第２文字列の用法が同一である場合に、言い直しであると判定する。

ここで、文法的な正しさの判定手法について説明する。判定部１３０は、辞書データや文法データを用いて、蓄積部４２に蓄積されている文字列に第２文字列を追加した文字列が文法的に正しいか否かを判定する。なお、辞書データや文法データは、記憶部４０に格納されている。

例えば判定部１３０は、図２−１に示すように、文字列２０１〜２０３が蓄積部４２に蓄積され、文字列２０４が新たに蓄積部４２に蓄積される候補である場合、辞書データや文法データを参照して、文字列２０１〜２０４から構成される文字列２０５は文法的に正しいと判定する。

この結果、判定部１３０は、第２文字列である文字列２０４は、第１文字列である文字列２０３の言い直しでないと判定する。なおここでは、文字列２０１、２０２、２０３の順序で蓄積部４２に蓄積されているため、文字列２０３が第１文字列である。

一方判定部１３０は、図２−２に示すように、文字列２０１〜２０３が蓄積部４２に蓄積され、文字列２０６が新たに蓄積部４２に蓄積される候補である場合、辞書データや文法データを参照して、文字列２０１〜２０３および２０６から構成される文字列２０７は文法的に正しくないと判定する。この結果、第２文字列である文字列２０６が、第１文字列である文字列２０３の言い直しであるか否かは、用法次第となる。

続いて、用法の判定手法について説明する。判定部１３０は、意味用法辞書記憶部４４に格納されている意味用法辞書データを用いて、第１文字列と第２文字列の用法が同一であるか否かを判定する。

図３は、意味用法辞書記憶部４４に格納されている意味用法辞書データの一例を示す図である。図３に示すように、意味用法辞書データでは、見出し語を示す見出し語情報と、見出し語の品詞を示す品詞情報と、見出し語の用法を示す用法情報とがそれぞれ対応付けられている。そして用法情報には、格助詞（例えば、「が」「を」など）および、意味属性（例えば、「人」、「具体物」、「抽象物」など）を用いた用法が記されている。

例えば見出し語２０８の場合、用法情報には、「が」格に「動物・人」という意味属性を取り、「を」格に「具体物」という意味属性を取る用法２０９と、「が」格に「人」という意味属性を取り、「を」格に「抽象物」という意味属性を取る用法２１０とが記されている。なお、図４に示すように、用法２０９の該当例としては、用法２１１、２１２などがあり、用法２１０の該当例としては、用法２１３などがある。

図１に戻り、判定部１３０は、例えば図５に示すように、文字列２０１〜２０３が蓄積部４２に蓄積され、文字列２１４が新たに蓄積部４２に蓄積される候補である場合、文字列２０３と２１４の用法は互いに異なるため（図３参照）、用法は同一でないと判定する。この結果、判定部１３０は、第２文字列である文字列２１４は、第１文字列である文字列２０３の言い直しでないと判定する。

一方判定部１３０は、図２−２に示すように、文字列２０１〜２０３が蓄積部４２に蓄積され、文字列２０６が新たに蓄積部４２に蓄積される候補である場合、文字列２０３、２０６のいずれも「が」格に「人」という意味属性を取り、「を」格に「抽象物」という意味属性を取る用法を有しているため（図３参照）、用法は同一であると判定する。この結果、判定部１３０は、第２文字列である文字列２０６は、第１文字列である文字列２０３の言い直しであると判定する。

また判定部１３０は、第１操作入力受付部１１２により確定操作の入力が受け付けられた場合には、確定操作の入力以降に生成された第１文字列および第２文字列を用いて、言い直しであるか否かを判定する。これにより、確定操作が行われる以前に蓄積部４２に蓄積された文字列を確定することができる。

なお、この場合には、確定操作の入力以前に生成された文字列が蓄積される蓄積部４２の領域と、確定操作の入力以降に生成された文字列が蓄積される蓄積部４２の領域とを異ならせる。これにより、蓄積部４２に蓄積されている文字列が確定操作の入力以前に取得したか入力以降に取得したかを判別することができる。

修正部１４０は、判定部１３０により言い直しでないと判定された場合には、第２文字列を蓄積部４２に蓄積させ、言い直しと判定された場合には、第１文字列を第２文字列に修正して蓄積部４２に蓄積させる。

例えば図６−１の場合、判定部１３０により言い直しでないと判定されるため、修正部１４０は、文字列２０４を蓄積部４２に蓄積させ、蓄積部４２には文字列２０１〜２０４が蓄積されることになる。

一方図６−２の場合、判定部１３０により言い直しであると判定されるため、修正部１４０は、文字列２０３を２０６に修正して蓄積部４２に蓄積させ、蓄積部４２には文字列２０１、２０２、および２０６が蓄積されることになる。

また修正部１４０は、第２操作入力受付部１１４により取消操作の入力が受け付けられた場合には、第２文字列による修正を取り消して、修正された第１文字列とともに第２文字列を蓄積部４２に蓄積させる。

例えば、図６−２で説明した修正に対する取消操作の入力が受け付けられた場合には、修正部１４０は、文字列２０６による修正を取り消して、修正された文字列２０３とともに文字列２０６を蓄積部４２に蓄積させる。この結果、蓄積部４２には文字列２０１、２０２、２０３、および２０６が蓄積されることになる。

なお、修正部１４０は、第１文字列を第２文字列に修正する場合には、取消操作に対処するため、修正される第１文字列を一時的に記憶部４０などに避難（記憶）させている。

翻訳部１５０は、蓄積部４２に文字列が蓄積される毎に、蓄積されている文字列を第２言語に翻訳する。なお、翻訳処理には、例えば、用例ベース方式、トランスファ方式、統計ベース方式などの既存の翻訳方法を用いることができ、翻訳に用いる辞書データや文法データなどは、記憶部４０に格納されている。

このように翻訳部１５０は、蓄積部４２に蓄積される毎に翻訳を行うため、蓄積部４２に蓄積された文字列が文として成立していない場合であっても、当該文字列を第２言語に翻訳する。

また翻訳部１５０は、第１操作入力受付部１１２により確定操作の入力が受け付けられた場合には、確定操作の入力以前の文字列の翻訳結果を確定して、蓄積部４２に蓄積されている文字列を第２言語に翻訳する。

この場合には、確定操作が行われる以前に蓄積部４２に蓄積された文字列が判定部１３０により確定されるため、翻訳部１５０は、当該文字列の翻訳結果を確定する。そして、蓄積部４２に蓄積されている残りの文字列とともに第２言語に翻訳する。

なお翻訳部１５０は、第２言語に翻訳した文字列を第１言語に再翻訳するようにしてもよい。

出力制御部１６０は、出力部３０に翻訳結果を出力させる。例えば、出力部３０を液晶ディスプレイなどの既存の表示装置により実現する場合には、出力制御部１６０は、翻訳結果を表示装置に表示させる。

また出力制御部１６０は、翻訳結果が文として成立しているか否かに応じて、翻訳結果の出力態様を異ならせて出力部３０に出力させる。例えば、出力部３０を液晶ディスプレイなどの表示装置により実現する場合には、翻訳結果が文として成立しているか否かに応じて、例えば色などの表示態様を異ならせて表示装置に表示させる。翻訳結果が文として成立しているか否かは、記憶部４０に記憶されている辞書データや文法データなどから判別できる。

なお出力制御部１６０は、翻訳部１５０により第１言語への再翻訳が行われた場合には、第２言語への翻訳結果とともに第１言語への翻訳結果を前記出力部３０に出力させる。

また出力部３０をスピーカなどの既存の音声出力装置により実現する場合には、出力制御部１６０は、翻訳結果を音声信号に変換する音声合成処理を行い、音声合成処理により生成した音声信号をＤＡ変換して音声出力装置に音声出力させる。なお、音声合成処理には、例えば、音声素片編集音声合成、フォルマント音声合成、音声コーパスベースの音声合成などの既存の方法を用いることができる。

次に、図７を参照しながら、本実施の形態の音声翻訳装置の動作について説明する。図７は、音声翻訳装置１で行われる処理手順の一例を示すフローチャートである。なお本フローチャートは、音声入力受付部１００による発話音声の入力の受け付け、および音声認識部１２０による音声認識処理以降の処理手順を示している。

まず、判定部１３０は、音声認識部１２０により第１言語の文字列が生成された場合には（ステップＳ１０でＹｅｓ）、辞書データや文法データを用いて、蓄積部４２に蓄積されている文字列に、第２文字列を追加した文字列が文法的に正しいか否かを判定する（ステップＳ１２）。

判定部１３０は、文法的に正しくないと判定した場合には（ステップＳ１２でＮｏ）、続いて、意味用法辞書記憶部４４に格納されている意味用法辞書データを用いて、第１文字列と第２文字列の用法が同一であるか否かを判定する（ステップＳ１４）。

そして、判定部１３０により用法が同一であると判定された場合には（ステップＳ１４でＹｅｓ）、修正部１４０は、第１文字列を第２文字列に修正して蓄積部４２に蓄積させる（ステップＳ１６）。

一方、ステップＳ１２において判定部１３０により文法的に正しいと判定された場合（ステップＳ１２でＹｅｓ）、あるいはステップＳ１４において用法が同一でないと判定された場合（ステップＳ１４でＮｏ）には、修正部１４０は、第２文字列を蓄積部４２に蓄積させる（ステップＳ１８）。

次に、翻訳部１５０は、蓄積部４２に蓄積されている文字列を第２言語に翻訳する（ステップＳ２０）。なお翻訳部１５０は、第２言語に翻訳した文字列を第１言語に再翻訳するようにしてもよい。

次に、出力制御部１６０は、翻訳結果が文として成立しているか否かを判定する（ステップＳ２２）。そして出力制御部１６０は、成立すると判定した場合には、その旨を示す表示態様で翻訳結果を出力部３０に出力させる（ステップＳ２２でＹｅｓ、ステップＳ２４）。一方出力制御部１６０は、成立しないと判定した場合には、その旨を示す表示態様で翻訳結果を出力部３０に出力させる（ステップＳ２２でＮｏ、ステップＳ２６）。

次に、第２操作入力受付部１１４は、取消操作の入力が受け付けられたか否かを判定する（ステップＳ２８）。そして取消操作の入力が受け付けられた場合には（ステップＳ２８でＹｅｓ）、修正部１４０は、第２文字列による修正を取り消して、第１文字列を蓄積部４２に再度蓄積させ（ステップＳ３０）、その後に第２文字列を蓄積部４２に蓄積させる（ステップＳ１８へ）。

一方、取消操作の入力が受け付けられなかった場合には（ステップＳ２８でＮｏ）、第１操作入力受付部１１２は、確定操作の入力が受け付けられたか否かを判定する（ステップＳ３２）。そして確定操作の入力が受け付けられなかった場合には（ステップＳ３２でＮｏ）、判定部１３０は、新たな第１言語の文字列の生成を確認する（ステップＳ１０へ）。

なお、新たな第１言語の文字列が生成されなかった場合（ステップＳ１０でＮｏ）、あるいは確定操作の入力が受け付けられた場合には（ステップＳ３２でＹｅｓ）、処理を終了する。但し、確定操作の入力が受け付けられた場合には（ステップＳ３２でＹｅｓ）、今までの翻訳結果を確定し、新たな発話内容の修正処理を開始する。

次に、図８−１〜図８−２を参照しながら、本実施の形態の音声翻訳装置の翻訳結果の出力手法について説明する。図８−１は、発話内容の修正および確定操作が行われた場合の翻訳結果の出力例を説明するための図であり、図８−２は、発話内容の修正および取消操作が行われた場合の翻訳結果の出力例を説明するための図である。

なお、図８−１および図８−２の例では、翻訳結果が文として成立している場合には、第２言語の訳文を青色で表示し、翻訳結果が文として成立していない場合には、第２言語の訳文を赤色で表示するものとする。さらに図８−１の例では、確定操作により翻訳結果が確定している場合には、第２言語の訳文のうち確定箇所を黒色で表示するものとする。

まず、図８−１に示す例について説明する。図８−１に示す例において、文字列２０１、２０２が蓄積部４２に蓄積されている場合、これらの文字列の翻訳結果は文として成立しないため、第２言語の訳文２１５は出力制御部１６０により赤色で表示される。なお、第２言語の訳文２１５を再翻訳する場合には、第１言語の訳文２１６も表示される。

この後、利用者により文字列２０３が発話された場合、判定部１３０により文字列２０３は文字列２０２の言い直しではないと判定されるため、蓄積部４２に蓄積される。そして、文字列２０１〜２０３から構成される文字列の翻訳結果は文として成立するため、第２言語の訳文２１７は出力制御部１６０により青色で表示される。

ここで利用者が、訳文２１７を不適切と判断し、文字列２０３を言い直すため文字列２０６を発話した場合、判定部１３０により文字列２０６は文字列２０３の言い直しであると判定されるため、文字列２０３に換えて文字列２０６が蓄積部４２に蓄積される。

そして、蓄積されている文字列の翻訳結果は文として成立するため、第２言語の訳文は出力制御部１６０により青色で表示される。なお、修正内容を利用者に提示するため、出力制御部１６０は補助表示２１８を出力部３０に表示させるようにしてもよい。

続いて、利用者により文字列２１９が発話された場合、判定部１３０により文字列２１９は文字列２０６の言い直しではないと判定されるため、蓄積部４２に蓄積される。そして、蓄積されている文字列の翻訳結果は文として成立するため、第２言語の訳文２２０は出力制御部１６０により青色で表示される。

続いて、利用者により確定操作が行われた場合、翻訳部１５０により訳文２２０が確定され、出力制御部１６０により黒色で表示される。

続いて、利用者により文字列２２１が発話された場合、判定部１３０により文字列２２１は言い直しではないと判定されるため、蓄積部４２に蓄積される。そして、蓄積されている文字列の翻訳結果のうち、確定箇所は出力制御部１６０により黒色で表示され、それ以外の箇所は文として成立しないため、出力制御部１６０により赤色で表示される。

次に、図８−２に示す例について説明する。図８−２に示す例において、文字列２２２、２２３が蓄積部４２に蓄積されている場合、これらの文字列の翻訳結果は文として成立するため、第２言語の訳文は出力制御部１６０により青色で表示される。

この後、利用者により文字列２２４が発話された場合、判定部１３０により文字列２２４は文字列２２３の言い直しであると判定されるため、文字列２２３に換えて文字列２２４が蓄積部４２に蓄積される。そして、蓄積されている文字列の翻訳結果は文として成立するため、第２言語の訳文は出力制御部１６０により青色で表示される。なお、修正内容を利用者に提示するため、出力制御部１６０は補助表示２２５を出力部３０に表示させるようにしてもよい。

ここで利用者が、修正を不適切と判断し、取消操作を行った場合、修正部１４０により文字列２２４による修正が取り消され、文字列２２３および２２４が蓄積部４２に蓄積される。そして、蓄積されている文字列の翻訳結果は文として成立しないため、第２言語の訳文は出力制御部１６０により赤色で表示される。

続いて、利用者により文字列２２６が発話された場合、判定部１３０により文字列２２６は文字列２２４の言い直しではないと判定されるため、蓄積部４２に蓄積される。そして、蓄積されている文字列の翻訳結果は文として成立しないため、第２言語の訳文は出力制御部１６０により赤色で表示される。

続いて、利用者により文字列２２７が発話された場合、判定部１３０により文字列２２７は文字列２２６の言い直しではないと判定されるため、蓄積部４２に蓄積される。そして、蓄積されている文字列の翻訳結果は文として成立するため、第２言語の訳文は出力制御部１６０により青色で表示される。

このように本実施の形態によれば、蓄積候補の文字列が先に蓄積された文字列の言い直しであるか否かを判定して発話内容の修正を行うため、利用者は修正内容のみを発話すればよく、発話内容の修正にかかる利用者の負担を軽減させることができる。

また本実施の形態によれば、新たな文字列が蓄積される毎に翻訳が行われ、翻訳結果が出力されるため、利用者に発話内容の誤りを直ぐに気づかせることができる。なお、第２言語の翻訳結果だけでなく、第２言語を再翻訳した第１言語の翻訳結果も出力するようにすれば、利用者に発話内容の誤りをより気づかせ易くすることができる。

また本実施の形態によれば、確定操作により翻訳結果を確定させることができるので、発話内容の余計な修正が行われてしまうことを事前に防止することができる。また本実施の形態によれば、取消操作により発話内容の修正を取り消すことができるので、誤った修正が行われた場合であっても対処することができる。

また本実施の形態によれば、翻訳結果が文として成立しているか否かに応じて、翻訳結果の出力態様を異ならせているため、利用者は翻訳結果が文として成立しているか否か直ぐに理解することができる。

また本実施の形態では、判定部１３０が文節単位で言い直しであるか否かを判定する場合を例に取り説明したが、これに限定されるものではない。判定部１３０は、例えば、単語単位、句単位で言い直しであるか否かを判定するようにしてもよい。

なお本実施の形態の音声翻訳装置１は、ＣＰＵ（Central Processing Unit）などの制御装置、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置、マイクなどの音声入力装置、液晶ディスプレイなどの表示装置、キースイッチなどの入力装置、スピーカなどの音声出力装置、ネットワークに接続して通信を行う通信Ｉ／Ｆ等を備えたハードウェア構成となっている。

また、本実施の形態の音声翻訳装置１で実行される音声翻訳プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（FD）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施の形態の音声翻訳装置１で実行される音声翻訳プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、音声翻訳装置１で実行される音声翻訳プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

また、本実施の形態の音声翻訳プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

また、本実施の形態の音声翻訳装置１で実行される音声翻訳プログラムは、上述した各部（音声入力受付部、操作入力受付部、第１操作入力受付部、第２操作入力受付部、音声認識部、判定部、修正部、翻訳部、出力制御部等）を含むモジュール構成となっている。そして、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から音声翻訳プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、音声入力受付部、操作入力受付部、第１操作入力受付部、第２操作入力受付部、音声認識部、判定部、修正部、翻訳部、出力制御部等が主記憶装置上に生成されるようになっている。

本実施の形態の音声翻訳装置の構成の一例を示すブロック図である。 本実施の形態の文法的な正しさの判定手法の一例を説明するための図である。 本実施の形態の文法的な正しさの判定手法の一例、および用法の判定手法の一例を説明するための図である。 本実施の形態の意味用法辞書データの一例を示す図である。 本実施の形態の用法情報の該当例を説明するための図である。 本実施の形態の用法の判定手法の一例を説明するための図である。 本実施の形態の蓄積手法の一例を説明するための図である。 本実施の形態の蓄積手法の一例を説明するための図である。 本実施の形態の音声翻訳装置で行われる処理手順の一例を示すフローチャートである。 本実施の形態の翻訳結果の出力例を説明するための図である。 本実施の形態の翻訳結果の出力例を説明するための図である。

符号の説明

１ 音声翻訳装置
１０ 音声入力部
２０ 操作部
３０ 出力部
４０ 記憶部
４２ 蓄積部
４４ 意味用法辞書記憶部
１００ 音声入力受付部
１１０ 操作入力受付部
１１２ 第１操作入力受付部
１１４ 第２操作入力受付部
１２０ 音声認識部
１３０ 判定部
１４０ 修正部
１５０ 翻訳部
１６０ 出力制御部
２０１ 文字列
２０２ 文字列
２０３ 文字列
２０４ 文字列
２０５ 文字列
２０６ 文字列
２０７ 文字列
２０８ 見出し語
２０９ 用法
２１０ 用法
２１１ 用法
２１２ 用法
２１３ 用法
２１４ 文字列
２１５ 訳文
２１６ 訳文
２１７ 訳文
２１８ 補助表示
２１９ 文字列
２２０ 訳文
２２１ 文字列
２２２ 文字列
２２３ 文字列
２２４ 文字列
２２５ 補助表示
２２６ 文字列
２２７ 文字列

Claims (8)

1. 第１言語の発話音声の入力を受け付ける音声入力受付部と、
   前記発話音声の入力が受け付けられる毎に、当該発話音声を認識して文字列を生成する音声認識部と、
   前記文字列を順次蓄積する蓄積部と、
   先に蓄積された第１文字列と、新たに蓄積する候補である第２文字列とを逐次比較し、前記第２文字列が前記第１文字列の言い直しであるか否かを判定する判定部と、
   言い直しでない場合には、前記第２文字列を前記蓄積部に蓄積させ、言い直しである場合には、前記第１文字列を前記第２文字列に修正して前記蓄積部に蓄積させる修正部と、
   前記蓄積部に蓄積される毎に、蓄積されている文字列を第２言語に逐次翻訳する翻訳部と、
   翻訳結果を出力する出力部と、を備えることを特徴とする音声翻訳装置。
2. 前記判定部は、前記蓄積部に蓄積されている文字列に前記第２文字列を追加した文字列が文法的に正しくなく、前記第１文字列と前記第２文字列の用法が同一である場合に、言い直しであると判定することを特徴とする請求項１に記載の音声翻訳装置。
3. 前記翻訳部は、前記第２言語に翻訳した文字列を前記第１言語に更に翻訳し、
   前記出力部は、前記第２言語への翻訳結果とともに前記第１言語への翻訳結果を出力することを特徴とする請求項１または２に記載の音声翻訳装置。
4. 翻訳結果を確定する確定操作の入力を受け付ける第１操作入力受付部を更に備え、
   前記判定部は、前記確定操作の入力が受け付けられた場合には、前記確定操作の入力以降に生成された前記第１文字列および前記第２文字列を用いて、言い直しであるか否かを判定し、
   前記翻訳部は、前記確定操作の入力が受け付けられた場合には、前記確定操作の入力以前の文字列の翻訳結果を確定して、前記蓄積部に蓄積されている文字列を前記第２言語に翻訳することを特徴とする請求項１〜３のいずれか１つに記載の音声翻訳装置。
5. 修正を取り消す取消操作の入力を受け付ける第２操作入力受付部を更に備え、
   前記修正部は、前記取消操作の入力が受け付けられた場合には、前記第２文字列による修正を取り消して、修正された前記第１文字列とともに前記第２文字列を前記蓄積部に蓄積させることを特徴とする請求項１〜４のいずれか１つに記載の音声翻訳装置。
6. 前記出力部は、前記翻訳結果が文として成立しているか否かに応じて、前記翻訳結果の出力態様を異ならせて出力することを特徴とする請求項１〜５のいずれか１つに記載の音声翻訳装置。
7. 音声入力受付部が、第１言語の発話音声の入力を受け付ける音声入力受付ステップと、
   音声認識部が、前記発話音声の入力が受け付けられる毎に、当該発話音声を認識して文字列を生成する認識ステップと、
   判定部が、前記文字列を順次蓄積する蓄積部に先に蓄積された第１文字列と、新たに蓄積する候補である第２文字列とを逐次比較し、前記第２文字列が前記第１文字列の言い直しであるか否かを判定する判定ステップと、
   修正部が、言い直しでない場合には、前記第２文字列を前記蓄積部に蓄積させ、言い直しである場合には、前記第１文字列を前記第２文字列に修正して前記蓄積部に蓄積させる修正ステップと、
   翻訳部が、前記蓄積部に蓄積される毎に、蓄積されている文字列を第２言語に逐次翻訳する翻訳ステップと、
   出力部が、翻訳結果を出力する出力ステップと、を含むことを特徴とする音声翻訳方法。
8. 音声入力受付部が、第１言語の発話音声の入力を受け付ける音声入力受付ステップと、
   音声認識部が、前記発話音声の入力が受け付けられる毎に、当該発話音声を認識して文字列を生成する認識ステップと、
   判定部が、前記文字列を順次蓄積する蓄積部に先に蓄積された第１文字列と、新たに蓄積する候補である第２文字列とを逐次比較し、前記第２文字列が前記第１文字列の言い直しであるか否かを判定する判定ステップと、
   修正部が、言い直しでない場合には、前記第２文字列を前記蓄積部に蓄積させ、言い直しである場合には、前記第１文字列を前記第２文字列に修正して前記蓄積部に蓄積させる修正ステップと、
   翻訳部が、前記蓄積部に蓄積される毎に、蓄積されている文字列を第２言語に逐次翻訳する翻訳ステップと、
   出力部が、翻訳結果を出力する出力ステップと、をコンピュータに実行させるための音声翻訳プログラム。

Images