JP6709997B2 - 翻訳装置、翻訳システム、および評価サーバ - Google Patents

Description

本開示は、一の言語で取得した発話を他の言語に翻訳する翻訳装置に関する。

特許文献１は、計算機の自動翻訳機能を利用して翻訳を行う翻訳システムを開示する。この翻訳システムは、第一者から言語入力部を通して入力された入力言語を、翻訳変換部により第二者への翻訳言語に翻訳すると共に、再翻訳変換部にて第一者への翻訳言語に再翻訳し、この再翻訳言語を帰還言語出力部を通して常時第一者に提示させるように構成されている。これにより、第一者は、常に第二者に対する翻訳言語が正しい表現内容で翻訳されているかどうかを確認することができ、その表現内容が意に反する場合には、入力言語を翻訳解釈に好都合な別の表現で再入力することができる。

特開平４−３１９７６９号公報

本開示は、発話者による第１の言語の発話を取得し、発話の内容を第２の言語に翻訳して情報を提示する翻訳装置であって、音声認識処理や翻訳処理における処理結果が適切なものでないときに発話者に対して再入力を要求できる翻訳装置を提供する。

本開示の一態様において、発話者による第１の言語の発話を取得し、発話の内容を第２の言語に翻訳して情報を提示する翻訳装置が提供される。翻訳装置は、入力部と、制御部と、通知部とを備える。入力部は、第１の言語の発話を取得し、発話に基づく音声データを生成する。制御部は、音声データを音声認識処理して得られる音声認識データに対する第１の評価値、および、音声認識データを第２の言語に翻訳処理して得られる翻訳データに対する第２の評価値を取得する。通知部は、発話の再入力を促す情報を発話者に提示する。そして、通知部は、第１の評価値が第１の所定値以下であるときに、発話の再入力を促す第１の情報を提示し、第１の評価値が第１の所定値よりも大きく、かつ、第２の評価値が第２の所定値以下であるときに、第１の情報とは異なる、発話の再入力を促す第２の情報を提示する。

本開示の翻訳装置によれば、音声認識処理や翻訳処理における処理結果が適切なものでないときに発話者に対して再入力を要求できる。その際、発話者に対して処理結果の状況に応じた適切な内容の情報を提示できる。

図１は、実施の形態１にかかる翻訳装置の外観を示す図である。 図２は、翻訳装置の電気的な構成を示すブロック図である。 図３は、ホストの発話の音声認識結果の評価値が低い場合の再入力要求の表示例を示す図である。 図４は、各処理における処理結果の評価値が低い場合に提示されるメッセージの例を示した図である。 図５は、実施の形態１における、翻訳装置の制御部による翻訳処理を示すフローチャートである。 図６は、音声認識データ（音声認識テキスト）の例を示す図である。 図７は、実施の形態２における、翻訳装置の制御部による翻訳処理を示すフローチャートである。 図８は、発話の再入力時において、過去の音声認識データを用いて新たな音声認識テキストを生成する際の処理を説明するための図である。 図９は、発話の再入力時において、過去の翻訳データを用いて新たな音声認識テキストを生成する際の処理を説明するための図である。 図１０は、実施の形態３における、翻訳装置の制御部による翻訳処理を示すフローチャートである。 図１１Ａは、音声認識データの一例を示す図である。 図１１Ｂは、翻訳データの一例を示す図である。 図１２は、各処理における処理結果の評価値が低い場合に提示されるメッセージの例を示した図である。 図１３は、実施の形態４における翻訳装置の逆翻訳結果の表示例を示す図である。 図１４は、実施の形態４における翻訳装置の制御部による処理を示すフローチャートである。 図１５は、実施の形態４の翻訳装置において逆翻訳結果の評価値が低い場合に表示される警告メッセージの例を示す図である。 図１６は、他の実施の形態における翻訳システムの電気的な構成を示すブロック図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図１〜５を用いて、実施の形態１を説明する。以下では、本開示にかかる音声入力装置及び方法を用いた翻訳装置を説明する。

［１−１．構成］
図１は、実施の形態１にかかる翻訳装置の外観を示す図である。図１に示す翻訳装置１は、例えばタブレットタイプであり、言語が異なる２人のユーザの会話を翻訳する。本実施の形態では、英語を話すゲスト（旅行者）と、日本語を話し、ゲストを案内するホスト（案内者）とが翻訳装置１を介して対面で行う会話を翻訳することを想定して説明する。

翻訳装置１は、マイク１０と、スピーカ１２と、ディスプレイ１４と、タッチパネル１６とを備える。マイク１０及びスピーカ１２は、例えば、翻訳装置１の側面の開口近傍に配置されている。ディスプレイ１４及びタッチパネル１６は、翻訳装置１の主面に配置されている。ディスプレイ１４の長手方向の一方側（例えば、ホスト側）の領域には、発話アイコン１４ｈ、１４ｈｇ及び表示領域１５ｈが配置される。ディスプレイ１４の長手方向の他方側（例えば、ゲスト側）の領域には、発話アイコン１４ｇ及び表示領域１５ｇが表示される。各発話アイコン１４ｈ、１４ｇ、１４ｈｇに対して、ユーザによるタッチ操作により操作がなされる。本実施の形態では、タッチ操作とは、ホストやゲストの指がタッチパネル１６における発話アイコン１４ｈ、１４ｇ、１４ｈｇのそれぞれに対応する領域に接触して離れる操作のみならず、ホストやゲストの指がこの領域に接触した後にスライドして離れる操作も含む。

発話アイコン１４ｈは、ホストが発話を行う（すなわち、日本語の発話を翻訳装置１に入力する）ときに、ホスト本人がホストの発話の開始時点及び終了時点を指定するための操作アイコンである。発話アイコン１４ｇは、ゲストが発話を行う（すなわち、英語の発話を入力する）ときに、ゲスト本人がゲストの発話の開始時点及び終了時点を指定するための操作アイコンである。発話アイコン１４ｈｇは、ゲストが発話を行う（例えば、英語の発話を入力する）ときに、ゲスト本人に代わりホストがゲストの発話の開始時点及び終了時点を指定するための操作アイコンである。表示領域１５ｈ、１５ｇは、音声認識結果、翻訳結果及び逆翻訳結果等を文字列として表示するための領域である。

図２は、実施の形態１にかかる翻訳装置１の電気的な構成を示すブロック図である。翻訳装置１は、インターネットのようなネットワーク２を介して、音声認識サーバ３、翻訳サーバ４、音声合成サーバ５及び評価サーバ６のそれぞれとデータ通信を行う。

音声認識サーバ３は、翻訳装置１からネットワーク２を介してデジタル音声データを受信し、受信したデジタル音声データを音声認識して文字列の音声認識データを生成するサーバである。

翻訳サーバ４は、翻訳装置１からネットワーク２を介して音声認識データを受信し、受信した音声認識データを翻訳して文字列の翻訳データを生成するサーバである。

音声合成サーバ５は、翻訳装置１からネットワーク２を介して文字列の翻訳データを受信し、受信した文字列の翻訳データを音声合成して音声信号を生成するサーバである。

評価サーバ６は、翻訳装置１からネットワーク２を介して音声認識データまたは翻訳データを受信し、音声認識データまたは翻訳データが示す文の“文らしさ”の程度を示す評価値を算出するサーバである。ここで、“文らしさ”とは、その文の言語における文章としての適切さを意味する。

翻訳装置１は、マイク１０と、スピーカ１２と、ディスプレイ１４と、タッチパネル１６とに加えて、通信部１８と、記憶部２０と、制御部２２とを備える。

マイク１０は、音声をデジタル音声データに変換する装置である。具体的には、マイク１０は、音声を音声信号（アナログ電気信号）に変換し、さらに、ＡＤ変換器により音声信号をデジタル音声データに変換する。すなわち、マイク１０は、発話者の発話を取得し、発話に基づく音声データを生成する。

通信部１８は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）、３Ｇ、ＬＴＥ（登録商標）、ＩＥＥＥ８０２．１１等の通信方式に従って、ネットワーク２を介して音声認識サーバ３、翻訳サーバ４、音声合成サーバ５および評価サーバ６とデータ通信を行う通信モジュールである。

記憶部２０は、フラッシュメモリ、強誘電体メモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などで構成される記録媒体である。記憶部２０は、マイク１０からのデジタル音声データ及び翻訳サーバ４からの翻訳データを格納する。また、記憶部２０は制御部２２のための各種プログラムを格納している。

制御部２２は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等で構成され、記憶部２０に格納された各種プログラムを実行することにより、翻訳装置１の全体の動作を制御する。本実施の形態では、制御部２２の機能は、ハードウェアとソフトウェアの協同により実現するが、所定の機能を実現するように専用に設計されたハードウェア回路のみで実現してもよい。すなわち、制御部２２は、ＣＰＵ、ＭＰＵのみならず、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等で構成することができる。

スピーカ１２は、電気信号を音声に変換する装置である。スピーカ１２は、制御部２２からの音声信号（電気信号）に基づいた音声を出力する。

ディスプレイ１４は、画像を表示する装置であり、液晶表示デバイスまたは有機ＥＬ表示デバイスで構成される。ディスプレイ１４は、表示領域１５ｈ、１５ｇにおいて、制御部２２からの音声認識データ、翻訳データ、及び、逆翻訳データが示す画像を表示する。ディスプレイ１４は、音声認識データ、翻訳データ、及び、逆翻訳データをホスト及びゲストに対して提示する通知部の一例である。また、ディスプレイ１４は上述した発話アイコン１４ｈ、１４ｇ、１４ｈｇを表示する。

タッチパネル１６は、ユーザが操作する操作部であり、ユーザからの指示を受け付ける。タッチパネル１６は、ディスプレイ１４に重畳して配置されている。

［１−２．動作］
以上のように構成された翻訳装置１の動作の概要を説明する。

翻訳装置１は、音声入力期間においてマイク１０に入力される音声に応じたデジタル音声データを、ネットワーク２を介して音声認識サーバ３に送信する。音声認識サーバ３は、受信した音声データを音声認識して文字列の音声認識データ（テキストデータ）を生成する。翻訳装置１は、音声認識データを音声認識サーバ３からネットワーク２を介して受信する。

翻訳装置１は、音声認識データを、ネットワーク２を介して翻訳サーバ４に送信する。翻訳サーバ４は、受信した音声認識データを翻訳して文字列の翻訳データ（テキストデータ）を生成する。翻訳装置１は、翻訳データを翻訳サーバ４からネットワーク２を介して受信する。

翻訳装置１は、翻訳データを、ネットワーク２を介して音声合成サーバ５に送信する。音声合成サーバ５は、受信した翻訳データに基づき音声合成を行って音声信号を生成する。そして、翻訳装置１は、音声信号を音声合成サーバ５からネットワーク２を介して受信する。

翻訳装置１は、受信した音声信号に基づき、スピーカ１２から翻訳結果を示す音声を出力する。同時に、翻訳装置１は、翻訳データに基づくテキスト情報（翻訳結果）をディスプレイ１４に表示する。

この翻訳装置１において、ホストの発話を翻訳する場合、翻訳装置１は、まずタッチパネル１６における発話アイコン１４ｈに対するホストによるタッチ操作に基づいて、音声認識を行う音声の入力期間を決定する。具体的には、翻訳装置１は、ホストが発話アイコン１４ｈを１回目にタッチしたときに音声入力期間の開始時点を決定し、ホストが発話アイコン１４ｈを２回目にタッチしたときに音声入力期間の終了時点を決定する。翻訳装置１は、決定した開始時点から終了時点までの音声入力期間においてマイク１０に入力されるホストの音声を音声認識して翻訳する。なお、発話の終了時点は、操作アイコンの押し忘れや音声入力が冗長となる場合を考慮して、開始時点から所定の時間経過後とすることもできる。翻訳装置１は、翻訳結果を示す音声をスピーカ１２から出力する。同時に、翻訳装置１は、翻訳結果を文字列としてディスプレイ１４のゲスト側の表示領域１５ｇに表示するとともに、音声認識結果（必要に応じて、逆翻訳結果も）を文字列としてディスプレイ１４のホスト側の表示領域１５ｈに表示する。

また、ゲストの発話を翻訳する場合、翻訳装置１は、まずタッチパネル１６における発話アイコン１４ｇに対するゲストによるタッチ操作に基づいて音声入力期間を決定する。具体的には、翻訳装置１は、ゲストが発話アイコン１４ｇを１回目にタッチしたときに音声入力期間の開始時点を決定し、ゲストが発話アイコン１４ｇを２回目にタッチしたときに音声入力期間の終了時点を決定する。翻訳装置１は、決定した開始時点から終了時点までの音声期間においてマイク１０に入力されるゲストの音声を音声認識して翻訳する。なお、この時も発話の終了時点は、操作アイコンの押し忘れや音声入力が冗長となる場合を考慮して、開始時点から所定の時間経過後とすることもできる。翻訳装置１は、翻訳結果を音声としてスピーカ１２から出力する。同時に、翻訳装置１は、翻訳結果を文字列としてディスプレイ１４のホスト側の表示領域１５ｈに表示するとともに、音声認識結果（必要であれば、逆翻訳結果も）を文字列としてディスプレイ１４のゲスト側の表示領域１５ｇに表示する。

このような翻訳装置１において、途中の音声認識処理や翻訳処理において言語として適切な表現を含む結果が得られなかった場合、最終的に得られる翻訳結果も正しいものにならない。最終的に得られる翻訳結果が適切なものでない場合、ユーザは再度、発話（音声）を入力する必要があり、時間がかかるという問題があった。例えば、音声認識処理の結果が適切でない場合、最終的に正しい結果が得られない可能性があるにもかかわらず、その後の翻訳処理、音声合成処理等が実行される必要があった。また、翻訳処理の結果が正しくない場合も、その後の音声合成処理等が実行される必要があった。このように、結果として無駄となる処理を実行する必要があり、時間がかかっていた。

そこで、本実施の形態では、音声認識処理や翻訳処理の結果が不適切なものであった場合、その不適切さが検出された時点で、その後段の処理は行わずに、ユーザに対して発話（音声）の再入力を要求する。例えば、ホストの発話に対する音声認識の結果、日本語の文として適切でないと判断した場合、その後段の処理は実施せずに、図３に示すように、ホスト側の表示領域１５ｈにおいて発話の再入力を要求するメッセージを表示する。これにより、不適切なテキスト情報に基づいた無駄な処理を削減でき、ユーザに対して迅速に再度の発話（音声）入力を要求できる。

図４は、発話の再入力要求時に表示されるメッセージの例を示した図である。音声認識結果の評価が低かった場合、「もう一度、はっきりとお話し下さい」のメッセージ（第１の情報の一例）が表示される。翻訳処理結果の評価が低かった場合、「言い方を変えて、もう一度お話し下さい」のメッセージ（第２の情報の一例）が表示される。また、逆翻訳（後述）の結果が低かった場合、「あなたの言いたいことが、相手に伝わっているかどうか確認して下さい」のメッセージ（第４の情報の一例）が表示される。音声認識、翻訳処理、逆翻訳処理のいずれも高かった場合は、再入力を要求するメッセージは表示されない。このように、評価が低かった処理の種類に応じて異なるメッセージが表示される。これにより、ユーザに対して、発話の再入力時に注意すべき点をより正確に伝達できるようになり、発話の再々入力の可能性を低減できる。但し、実施の形態１では、逆翻訳の評価を削除している。

図５は、実施の形態１の翻訳装置１の制御部２２による翻訳処理を示すフローチャートである。以下、図５のフローチャートを用いて翻訳装置１の翻訳処理を説明する。なお、以下の説明では、ホスト（例えば、案内者）が発した日本語の発話（音声）を翻訳装置１により英語に翻訳し、その翻訳結果をゲスト（例えば、旅行者）に伝達する場面を想定して説明する。

マイク１０は、ユーザの発話（音声）を取得し、音声データを生成する（Ｓ１１）。制御部２２は、マイク１０から音声データを取得し、文字列の音声認識データを生成する音声認識を行う（Ｓ１２）。具体的には、制御部２２は、通信部１８を介して音声データを音声認識サーバ３に送信する。音声認識サーバ３は、受信した音声データに基づき音声認識を行って音声認識データを生成し、生成した音声認識データを翻訳装置１に送信する。

次に、制御部２２は、受信した音声認識データの評価を行う（Ｓ１３）。具体的には、制御部２２は、受信した音声認識データを、通信部１８を介して評価サーバ６に送信する。評価サーバ６は、受信した音声認識データから得られるテキスト（以下「音声認識テキスト」という）から、音声認識テキストが示す文の日本語としての「文らしさ」の程度を示す第１の評価値を算出する（Ｓ１３）。

「文らしさ」とは、その文が自然に出現する文であることを示す適切性である。「文らしさ」の程度は、文を構成する各単語の出現確率に基づいて算出する。すなわち、「文らしさ」の程度は、ある単語について、その単語近傍の別の単語との位置関係においてその単語が出現する確率を用いて評価する。この単語の出現確率は、あらかじめ大量の文データを解析して算出しておく。例えばＮ−ｇｒａｍモデル（本実施の形態では、バイグラムモデル（Ｎ＝２））は、この出現確率を用いて文らしさを評価する手法の一つである。評価サーバ６は、Ｎ−ｇｒａｍモデルに従いあらかじめ行ったデータ解析によって生成された情報（テーブル）であって、ある単語と、その単語の近傍に存在する他の単語の前後にその単語が出現する確率とを対応づけた情報を備えている。

例えば、図６に示すような文章Ａ１０の音声認識テキストが得られた場合を想定する。この例では、単語Ａ１に続いて単語Ａ２が出現する確率が０．１となり、単語Ａ２に続いて単語Ａ３が出現する確率が０．０００１となり、単語Ａ３に続いて単語Ａ４が出現する確率が０．２となり、単語Ａ４に続いて単語Ａ５が出現する確率が０．１５となり、単語Ａ５に続いて単語Ａ６が出現する確率が０．３となっている。評価サーバ６は、文らしさを示す第１の評価値を各単語の出現確率の相乗平均で求める。すなわち、文章Ａ１０についての第１の評価値は、（０．１×０．０００１×０．２×０．１５×０．３）の５乗根で求められる。この例では、「文らしさ」の程度が高いほど、第１の評価値が高くなるように設定されている。

評価サーバ６は、求めた第１の評価値を翻訳装置１に送信する。翻訳装置１の制御部２２は、第１の評価値を第１の所定値と比較する（Ｓ１４）。

第１の評価値が第１の所定値以下の場合（Ｓ１４でＮＯ）、制御部２２は、ホストに対する、発話（音声）の再入力を要求するメッセージ（第１の情報）を設定する（Ｓ２０）。また、制御部２２は、ゲストに対するメッセージも設定する。そして、制御部２２は、ホストに再入力の要求を促すメッセージをディスプレイ１４のホスト側の表示領域１５ｈに表示する（Ｓ２１）。同時に、制御部２２は、ゲスト側の表示領域１５ｇにおいても、ゲスト用のメッセージを表示する。以上で、翻訳処理が終了する。

例えば、図３に示すように、ホストに対して、表示領域１５ｈにおいて「もう一度、はっきりとお話し下さい」のメッセージが表示され、ゲストに対して、表示領域１５ｇにおいて、”Please wait. Re-speech is being requested.”のメッセージが表示される。このようなメッセージが表示されることで、ホストは、音声（発話）の再入力が必要であることを認識できるとともに、ゲストは、音声の再入力のために、しばらく待つ必要があることを認識することができる。また、「はっきりとお話し下さい」のメッセージにより、ホストは自己の音声（発話）が明瞭でなかったことを認識でき、次の発話の際には明瞭に発音する必要があることを認識できる。

一方、第１の評価値が第１の所定値を超えている場合（Ｓ１４でＹＥＳ）、制御部２２は、音声認識データ（音声認識テキスト）に基づいて翻訳処理を行う（Ｓ１５）。具体的には、制御部２２は、通信部１８を介して音声認識データを翻訳サーバ４に送信する。翻訳サーバ４は、受信した音声認識データを翻訳し、翻訳結果を示すテキストを含む翻訳データを翻訳装置１に送信する。

翻訳装置１の制御部２２は、翻訳データ（テキストデータ）を受信すると、受信した翻訳データの評価を行う（Ｓ１６）。具体的には、制御部２２は、受信した翻訳データを、通信部１８を介して評価サーバ６に送信する。評価サーバ６は、受信した翻訳データから得られるテキスト（以下「翻訳テキスト」という）から、翻訳テキストが示す文の英語としての「文らしさ」の程度を示す第２の評価値を算出し（Ｓ１６）、算出した第２の評価値を翻訳装置１に送信する。

翻訳装置１の制御部２２は、第２の評価値を第２の所定値と比較する（Ｓ１７）。

第２の評価値が第２の所定値以下の場合（Ｓ１７でＮＯ）、制御部２２は、ホストに対する、発話（音声）の再入力を要求するメッセージ（第２の情報）を設定する（Ｓ２０）。また、制御部２２は、ゲストに対するメッセージも設定する。このとき、設定されるメッセージは、図４に示すように、音声認識結果に関する第１の評価値が低いときに再入力を要求するメッセージとは異なる内容のメッセージである。例えば、音声認識結果に関する第１の評価値が低いときは、「もう一度、はっきりとお話し下さい」というメッセージが表示される。これに対して、翻訳結果に関する第２の評価値が低いときは、「言い方を変えて、もう一度お話し下さい」というメッセージが表示される。このように、それぞれの再入力の原因に応じてメッセージを異ならせることで、ユーザに対して、再入力の原因を認識させることができ、より適切な発話の再入力を促すことができる。

そして、制御部２２は、ホストに再入力の要求を促すメッセージをディスプレイ１４のホスト側の表示領域１５ｈに表示する（Ｓ２１）。同時に、制御部２２は、ゲスト側の表示領域１５ｇにおいても、ゲスト用のメッセージを表示する。以上で、翻訳処理が終了する。

一方、第２の評価値が第２の所定値を超えている場合（Ｓ１７でＹＥＳ）、制御部２２は、翻訳データを音声合成サーバ５に送信して音声合成処理を行う（Ｓ１８）。音声合成サーバ５は、受信した翻訳データに基づき音声合成を行い、翻訳結果を示す音声を生成するための音声データを翻訳装置１に送信する。

翻訳装置１の制御部２２は、音声合成サーバ５から受信した音声データに基づき音声をスピーカ１２から出力する（Ｓ１９）。同時に、制御部２２は、翻訳データに基づく文をディスプレイ１４の表示領域１５ｈに表示する（Ｓ１９）。

以上のようにして、ホストの発話が翻訳され、翻訳結果が音声及び文字情報でゲストに提示される。特に、本実施の形態の翻訳装置１は、音声認識及び翻訳それぞれの処理で得られた結果が文章として適切でない（文らしくない）と評価されたときには、その後の処理を行わず、メッセージを表示してユーザに再入力を促す。これにより、不適切な音声認識結果または翻訳結果に基づく無駄な処理の実行を排除し、ユーザに対して迅速に再入力を要求することが可能になる。また、ユーザに再入力を促すメッセージは、音声認識結果の評価が低い場合に表示されるものと、翻訳結果の評価が低い場合に表示されるものとは異なったものとなる。これにより状況に応じた適切なメッセージが表示される。このようなメッセージを参照することで、ユーザはどのような方法で再入力を行なえばよいかを認識することができる。

［１−３．効果等］
以上のように、本実施の形態の翻訳装置１は、発話者による第１の言語（例えば、日本語）の発話を取得し、発話の内容を第２の言語（例えば、英語）に翻訳して情報を提示する翻訳装置である。翻訳装置１は、マイク１０（入力部の一例）と、制御部２２と、ディスプレイ１４（通知部の一例）とを備える。マイク１０は、第１の言語の発話を取得し、発話に基づく音声データを生成する。制御部２２は、音声データを音声認識処理して得られる音声認識データに対する第１の評価値、および、音声認識データを第２の言語に翻訳処理して得られる翻訳データに対する第２の評価値を取得する。そして、ディスプレイ１４は、第１の評価値が第１の所定値以下であるときに（Ｓ１４）、発話の再入力を促す第１のメッセージを提示し、第１の評価値が第１の所定値よりも大きく、かつ、第２の評価値が第２の所定値以下であるときに（Ｓ１７）、第１のメッセージとは異なる、発話の再入力を促す第２のメッセージを提示する（Ｓ２１）。

以上の構成を有する翻訳装置１によれば、音声認識及び翻訳それぞれの処理で得られた結果が文章として適切でない（文らしくない）と評価されたときには、メッセージを表示して発話者に再入力を促す。これにより、発話者に対して迅速に再入力を要求することが可能になる。また、発話者に再入力を促すメッセージは、音声認識結果の評価が低い場合に表示されるものと、翻訳結果の評価が低い場合に表示されるものとは異なったものとなる。これにより処理結果の状況に応じた適切なメッセージが表示される。このようなメッセージを参照することで、発話者はどのような方法で再入力を行なえばよいかを認識することができる。

また、制御部２２は、音声認識処理の結果に対する第１の評価値が第１の所定値以下であることが判明したときは、以後の翻訳処理（Ｓ１５）及び音声合成処理（Ｓ１８）を行わない。さらに、制御部２２は、翻訳処理の結果に対する第２の評価値が第２の所定値以下であることが判明したときは、以後の音声合成処理（Ｓ１８）を行わない。これにより、発話者に対して、迅速に再入力を要求することができる。

（実施の形態２）
翻訳装置１の別の実施の形態を説明する。本実施の形態の翻訳装置１は、再入力された発話に基づく音声認識結果または翻訳結果に対する評価が低い場合に、過去のデータを用いて、音声認識データまたは翻訳データを作成する。本実施の形態の翻訳装置１のハードウェア構成は実施の形態１と同様である。

図７は、実施の形態２における翻訳装置１の翻訳処理を示すフローチャートである。図７に示すフローチャートは、実施の形態１における図５に示すフローチャートのステップＳ１１〜Ｓ２１に加えて、さらにステップＳ１４−１〜Ｓ１４−３、Ｓ１７−１〜Ｓ１７−４を備えている。

本実施の形態では、ステップＳ１１〜Ｓ２１までの処理は、基本的には、実施の形態１で説明したとおりである。以下、実施の形態１のフローチャートによる処理と異なる点を説明する。

本実施の形態では、制御部２２は、音声データが得られたとき（Ｓ１１）、音声認識データが得られたとき（Ｓ１２）、翻訳データが得られたときに（Ｓ１５）、音声データ、音声認識データおよび翻訳データをそれぞれ記憶部２０に格納する。なお、制御部２２は、必ずしも、音声データ、音声認識データおよび翻訳データの全てを記憶部２０に格納する必要はない。制御部２２は、音声データだけを格納し、格納した音声データから必要に応じて音声認識データおよび翻訳データを生成してもよい。または、制御部２２は、音声データを格納せずに、音声認識データおよび翻訳データのみを記憶部２０に格納してもよい。

また、音声認識結果に対する評価において、第１の評価値が第１の所定値以下である場合（Ｓ１４でＮＯ）、制御部２２は、今回の発話の入力が再入力要求に対するものであるか否かを判断する（Ｓ１４−１）。

今回の発話の入力が再入力要求に対するものでない場合（Ｓ１４−１でＮＯ）、実施の形態１で説明したように、制御部２２は、再入力要求のメッセージを設定し（Ｓ２０）、メッセージをディスプレイ１４に表示する（Ｓ２１）。

一方、今回の発話の入力が再入力要求に対するものである場合（Ｓ１４−１でＹＥＳ）、制御部２２は、過去の音声認識結果を用いて新たな音声認識テキストを作成する（Ｓ１４−２）。例えば、制御部２２は、今回の音声認識テキスト（再入力された発話に対する音声認識データ）と前回の音声認識テキスト（過去の音声認識データ）を用いて新たな音声認識テキストを作成する。図８を用いて一例を説明する。

図８の例では、前回（第１回目）の音声認識テキストが文章Ｂ１０であり、今回（第２回目）の音声認識テキストが文章Ｂ２０である。この場合、前回と今回の音声認識テキストに基づき、新たな音声認識テキストである文章Ｂ３０を作成する。具体的には、前回の音声認識テキストにおいて、前回の音声認識テキストを構成する単語の中で出現確率が所定値よりも低い単語を、今回の音声認識テキストにおける対応する位置の単語に置き換える。図８の例では、単語Ｂ１の出現確率（０．００１）が所定値（例えば、０．００５）より低いため、前回の音声認識テキストにおいて単語Ｂ１を、今回の音声認識テキストにおける単語Ｂ２に置き換えて、新たな音声認識テキストである文章Ｂ３０を作成している。

ここで、制御部２２は、前回の音声認識テキストと、今回の音声認識テキストとの間で、出現確率の高い方の単語を選択することにより新たな音声認識データを生成してもよい。具体的には、制御部２２は、所定値との比較を行わずに、文章Ｂ１０の単語Ｂ１の出現確率（０．００１）と、単語Ｂ１に対応する文章Ｂ２０の単語Ｂ２の出現確率（０．１）とを比較する。そして、制御部２２は、出現確率の高い方の単語である単語Ｂ２を選択することにより、文章Ｂ３０を生成してもよい。

図７に戻り、その後、制御部２２は、新たな音声認識テキストの評価を行う（Ｓ１４−３）。音声認識テキストの評価の方法は前述したとおり（ステップＳ１３、Ｓ１４）である。新たな音声認識テキストの評価が低い場合（Ｓ１４−３でＮＯ）、すなわち、新たな音声認識テキストの第１の評価値が第１の所定値以下の場合、制御部２２は、再入力要求のメッセージを設定し（Ｓ２０）、メッセージをディスプレイ１４に表示する（Ｓ２１）。新たな音声認識テキストの評価が高い場合（Ｓ１４−３でＹＥＳ）、翻訳ステップ（Ｓ１５、Ｓ１６）に進む。

翻訳結果に対する評価において、第２の評価値が第２の所定値以下である場合（Ｓ１７でＮＯ）、制御部２２は、今回の発話の入力が再入力要求に対するものであるか否かを判断する（Ｓ１７−１）。

今回の発話の入力が再入力要求に対するものでない場合（Ｓ１７−１でＮＯ）、実施の形態１で説明したように、制御部２２は、再入力要求のメッセージを設定し（Ｓ２０）、メッセージをディスプレイ１４に表示する（Ｓ２１）。

一方、今回の発話の入力が再入力要求に対するものである場合（Ｓ１７−１でＹＥＳ）、制御部２２は、過去の翻訳結果を用いて新たな翻訳テキストを作成する（Ｓ１７−２）。例えば、制御部２２は、今回の翻訳テキストと前回の翻訳テキストを用いて新たな翻訳テキストを作成する。図９を用いて一例を説明する。

図９の例では、前回（第１回目）の翻訳テキストが”You can go to Tokyo by bath”であり、今回（第２回目）の翻訳テキストが”To Tokyo you can go by bus”である。この場合、前回と今回の翻訳テキストに基づき、新たな翻訳テキスト”You can go to Tokyo by bus”を作成する。具体的には、前回の翻訳テキストにおいて、出現確率が所定値以下の単語を、今回の音声認識テキストにおける対応する位置の単語に置き換える。図９の例では、”bath”の出現確率（０．０）が所定値（例えば、０．００５）より低いため、前回の翻訳テキストにおいて”bath”を、今回の翻訳テキストにおける”bus”に置き換えて、新たな翻訳テキストを作成している。

ここで、制御部２２は、前回の翻訳テキストと、今回の翻訳テキストとの間で、出現確率の高い方の単語を選択することにより新たな翻訳データを生成してもよい。具体的には、制御部２２は、所定値との比較を行わずに、”bath”の出現確率（０．０）と、”bus”の出現確率（０．０２）とを比較する。そして、制御部２２は、出現確率の高い方の単語である”bus”を選択することにより、新たな翻訳データを生成してもよい。

図７に戻り、その後、制御部２２は、新たな翻訳テキストの評価を行う（Ｓ１７−３）。翻訳テキストの評価の方法は前述したとおり（ステップＳ１６、Ｓ１７）である。新たな翻訳テキストの評価が低い場合（Ｓ１７−３でＮＯ）、すなわち、新たな翻訳テキストの第２の評価値が第２の所定値以下の場合、制御部２２は、再入力要求のメッセージを設定し（Ｓ２０）、メッセージをディスプレイ１４に表示する（Ｓ２１）。新たな翻訳テキストの評価値が所定値を超えた場合（Ｓ１７−３でＹＥＳ）、制御部２２は記憶部２０に格納していた過去の音声データ、音声認識データ、および翻訳データを消去する（Ｓ１７−４）。言い換えると、新たな翻訳テキストの評価が高くなるまで、記憶部２０は、入力された発話に対する各データを格納し続ける。これにより、新たな翻訳テキストの評価が高くなるまで、記憶部２０は、新たな翻訳テキストを作成するのに必要なデータを保持し続けることができる。

以上のように、本実施の形態では、再入力した発話に基づく音声認識または翻訳の結果が良好でない場合、過去の音声認識データまたは翻訳データを用いて新たに処理用のテキストを作成する。これにより、再入力の頻度を低減でき、結果として翻訳処理に要する時間を短縮できる。

なお、制御部２２は、上記のステップＳ１７−４において記憶部２０から音声認識データを削除した。しかし、制御部２２は、ステップＳ１４−３において新たな音声認識データに対する評価値が所定値を超えたときに、記憶部２０から過去の音声認識データを消去してもよい。

また、本実施の形態において、翻訳装置１の制御部２２が新たな音声認識データまたは翻訳データを生成したが、本開示はこれに限定されない。例えば、評価サーバ６が、新たな音声認識データまたは翻訳データを生成してもよい。

また、ステップＳ１４−３でＮＯの場合、ディスプレイ１４は、ステップＳ２０において、発話の再入力を促す情報に加えて、新たな音声認識データを提示してもよい。これにより、発話者は、発話の再入力時に新たな音声認識データを認識することができる。

（実施の形態３）
翻訳装置のさらに別の実施の形態を説明する。上記の実施の形態の翻訳装置では、第１の言語（日本語）の音声認識データに対する第１の評価値または第２の言語（英語）の翻訳データに対する第２の評価値に基づいて、発話者に提示する情報を設定していた。しかし、各言語モデルのみに基づいた評価だけでは、翻訳の妥当性の評価を十分に行うことは難しい。そこで、本実施の形態の翻訳装置１は、音声認識データと翻訳データとの同一性に対する第３の評価値に基づき、発話者に提示する情報を設定する。ここで、第３の評価値は、音声認識データおよび翻訳データの分散表現に基づき生成される。本実施の形態の翻訳装置１のハードウェア構成は実施の形態１と同様である。

図１０は、実施の形態３における翻訳装置１の翻訳処理を示すフローチャートである。図１０に示すフローチャートは、実施の形態１における図５に示すフローチャートのステップＳ１１〜Ｓ２１に加えて、さらにステップＳ１７−１１〜Ｓ１７−１３を備えている。

本実施の形態では、ステップＳ１１〜Ｓ２１までの処理は、基本的には、実施の形態１で説明したとおりである。以下、実施の形態１のフローチャートによる処理と異なる点を説明する。

本実施の形態の翻訳装置１では、第２の評価値が第２の所定値を超えた場合に（Ｓ１７でＹＥＳ）、制御部２２は、日本語の単語を分散表現に変換するための変換テーブル（第１の変換テーブル）に基づいて、日本語の音声認識データから第１の分散表現群を生成する。さらに、制御部２２は、英語の単語を分散表現に変換するための変換テーブル（第２の変換テーブル）に基づいて、英語の翻訳データから第２の分散表現群を生成する（Ｓ１７−１１）。ここで、各変換テーブルは、単語以外に句や文を分散表現に変換するためのテーブルであってもよい。各分散表現群について、図１１Ａおよび図１１Ｂを用いて以下に説明する。

図１１Ａは、日本語の音声認識データの一例を示す図である。図１１Ｂは、英語の翻訳データの一例を示す図である。図１１Ａにおいて、日本語の音声認識データが示す文章Ｃ１０は、単語Ｃ１１〜Ｃ１４からなる。同様に、図１１Ｂにおいて、英語の翻訳データが示す文章Ｃ２０は、単語Ｃ２１〜Ｃ２４からなる。

制御部２２は、第１の変換テーブルに基づいて、単語Ｃ１１〜Ｃ１４の各々を分散表現に変換する。ここで、分散表現として、単語、句、または文を、複数の数字の組み合わせからなるベクトルで表現した場合を例示する。以下では、単語あるいは複数の単語の組み合わせを一つの単語とみなしてベクトルで表現した単語ベクトルを分散表現として用いている。単語Ｃ１１〜Ｃ１４の各分散表現は、第１の分散表現群を構成する。制御部２２は、第１の分散表現群に含まれる、ベクトルで表された各分散表現の和を算出する。そして、制御部２２は、各分散表現の和であるベクトルを単語の数である４で割ることにより、第１の分散表現群の文ベクトルＳ_ｆを算出する。単語Ｃ１１〜Ｃ１４の各分散表現をベクトルＦ_ｉとし、単語の数をＮ（ここでは、Ｎ＝４）とすると、文ベクトルＳ_ｆは、以下の式（１）で表される。

同様に、制御部２２は、第２の変換テーブルに基づいて、単語Ｃ２１〜Ｃ２４の各々を分散表現に変換する。単語Ｃ２１〜Ｃ２４の各分散表現は、第２の分散表現群を構成する。制御部２２は、第２の分散表現群に含まれる、ベクトルで表された各分散表現の和を算出する。そして、制御部２２は、各分散表現の和であるベクトルを単語の数である４で割ることにより、第２の分散表現群の文ベクトルＳ_ｅを算出する。単語Ｃ２１〜Ｃ２４の各分散表現をベクトルＥ_ｉとし、単語の数をＭ（ここでは、Ｍ＝４）とすると、第２の分散表現群の文ベクトルＳ_ｅは、以下の式（２）で表される。

なお、本実施の形態では、第１の分散表現群に含まれる単語の数（Ｎ）と、第２の分散表現群に含まれる単語の数（Ｍ）とが同じであるが、第１の分散表現群に含まれる単語の数と、第２の分散表現群に含まれる単語の数とが異なっていても、同様に各分散表現群の文ベクトルを算出することはできる。

ここで、第１の変換テーブルおよび第２の変換テーブルは、一つの対訳テーブル（対訳コーパス）から生成されていてもよい。より具体的には、一つの対訳テーブルの日本語の部分から第１の変換テーブルが生成され、その対訳テーブルの英語の部分から第２の変換テーブルが生成されてもよい。各変換テーブルが一つの対訳テーブルから生成されていることで、各言語間における分散表現の対応の精度が向上する。これにより、各言語間における文ベクトルの対応の精度が向上する。そのため、各文ベクトルに基づいて算出される第３の評価値の精度が向上する。ここで、一つの対訳テーブルとは、実質的に同一である二つの対訳テーブルであってもよい。すなわち、共通の対訳文を多く含む二つ対訳テーブルから各変換テーブルが生成されていれば、第３の評価値の精度が向上する効果は得られる。

制御部２２は、文ベクトルＳ_ｆと文ベクトルＳ_ｅとに基づいて、第３の評価値を生成する（Ｓ１７−１２）。具体的には、第３の評価値（コサイン類似度：ｃｏｓθ）は、以下の式（３）で算出される。これにより、第１の分散表現群と、第２の分散表現群との同一性に基づき、第３の評価値が生成される。

制御部２２は、第３の評価値を第３の所定値と比較する（Ｓ１７−１３）。第３の評価値が第３の所定値（例えば、０．８）以下の場合（Ｓ１７−１３でＮＯ）、制御部２２は、発話の再入力を促すメッセージ（第３の情報）を設定する（Ｓ２０）。例えば、制御部２２は、図１２に示すように、発話の再入力を促すメッセージとして「もう一度、言葉を変えてお話し下さい」を設定する。そして、ディスプレイ１４は、そのメッセージをホスト（発話者）に提示する（Ｓ２１）。

第３の評価値が第３の所定値を超える場合（Ｓ１７−１３でＹＥＳ）、制御部２２は、音声合成を行い（Ｓ１８）、スピーカ１２から翻訳結果に応じた音声を出力するとともにディスプレイ１４の表示領域１５ｈ，１５ｇに翻訳結果を示すテキストを表示する（Ｓ１９）。

ここで、図１２に示すように、第３の情報は、第１の情報および第２の情報とは異なる情報である。例えば、ディスプレイ１４が第３の情報として「もう一度、言葉を変えてお話し下さい」と提示することにより、発話者は、音声認識処理および翻訳処理に問題があったのではなく、音声認識データと翻訳データとの同一性に問題があることがわかる。すなわち、発話者は、自分の発話の内容が翻訳処理に適していないために、発話中の言葉を変える必要があることがわかる。

以上のように、本実施の形態では、音声認識データと翻訳データとの同一性に対する第３の評価値に基づいて、第１の情報および第２の情報とは異なる、再入力を促すメッセージを提示する。これにより、発話者に適切なメッセージを提示することができる。

なお、ステップＳ１７で第２の評価値が第２の所定値以下であれば、制御部２２は、ステップＳ２０の処理を行った。しかし、第２の評価値に関わらず（ステップＳ１７を省略して）、制御部２２は、ステップＳ１７−１１の処理を行ってもよい。そして、ステップＳ１７−１３で第３の評価値が第３の所定値以下であれば、制御部２２は、第２の評価値および第３の評価値に応じて、ディスプレイ１４に表示するメッセージを設定してもよい（Ｓ２０）。具体的には、図１２に示すように、第２の評価値が第２の所定値以下であり、かつ、第３の評価値が第３の所定値以下であるときに、制御部２２は、発話の再入力を促す情報として「もう一度簡潔にお話し下さい」を設定してもよい。これにより、発話者は、音声認識処理には問題はなかったが、翻訳処理、および、音声認識データと翻訳データとの同一性に問題があったことがわかる。以上のように、本実施の形態では、第２の評価値が第２の所定値以下であり、かつ、第３の評価値が第３の所定値以下であるときに、ディスプレイ１４は、第１の情報、第２の情報、および第３の情報とは異なる、発話の再入力を促す情報を提示してもよい。

また、本実施の形態では、第３の評価値として、各文ベクトルのコサイン類似度を用いたが、本開示はこれに限定されない。第３の評価値として、ピアソンの相関係数や偏差パターン類似度を用いてもよい。

（実施の形態４）
本実施の形態の翻訳装置１は、発話の言語（例えば、日本語）を他の言語（例えば、英語）に翻訳して得られた翻訳結果（文）を、元の言語（例えば、日本語）に翻訳する逆翻訳機能を有する。図１３に、ディスプレイ１４上において翻訳結果とともに表示される逆翻訳結果の表示例を示す。発話者であるホスト側の表示領域１５ｈにおいて、音声認識結果として文章Ｄ１が表示されるとともに、逆翻訳結果として文章Ｄ２が表示されている。また、ゲスト側の表示領域１５ｇにおいて、翻訳結果として”What are you looking for?”が表示されている。

本実施の形態の翻訳装置１は、逆翻訳結果を評価し、評価が低い場合には、翻訳結果を出力せずに、発話の再入力を促すメッセージを表示する。本実施の形態の翻訳装置１のハードウェア構成は実施の形態１のものと同様である。

図１４は、実施の形態４における翻訳装置１の翻訳処理を示すフローチャートである。図１４に示すフローチャートは、実施の形態１における図５に示すフローチャートのステップＳ１１〜Ｓ２１に加えて、さらにステップＳ１７−２１〜Ｓ１７−２３を備えている。

本実施の形態の翻訳装置１では、制御部２２は、翻訳結果に対する評価（Ｓ１６）の後、翻訳結果の逆翻訳を行う（Ｓ１７−２１）。このため、制御部２２は、翻訳結果のデータを翻訳サーバ４に送信する。翻訳サーバ４は、受信した翻訳結果のデータが示すテキストを逆翻訳し、逆翻訳した結果を示す逆翻訳データを翻訳装置１に送信する。

制御部２２は、逆翻訳データを受信すると、逆翻訳結果に対する評価値を求める（Ｓ１７−２２）。このため、制御部２２は、音声認識データと逆翻訳データを評価サーバ６に送信する。評価サーバ６は、音声認識データと逆翻訳データとから、逆翻訳結果に対する第４の評価値を算出する。逆翻訳結果に対する第４の評価値は以下のように算出される。

すなわち、第４の評価値は、音声認識結果のデータが示すテキスト（以下「音声認識テキスト」という）と、逆翻訳結果のデータが示すテキスト（以下「逆翻訳テキスト」という）との間の文の近さ（距離）に基づいて算出される。文の近さは、例えば、音声認識テキストが示す文と逆翻訳テキストが示す文をそれぞれベクトル化し（参照：Ryan Kiros, Yukun Zhu, Ruslan Salakhutdinov, Richard S. Zemel, Antonio Torralba, Raquel Urtasun, Sanja Fidler, “Skip-Thought Vecors”, arXiv:1506.06726, 2015. 103）、それぞれの文のベクトル間のコサイン類似度を求めることで算出できる。または、それぞれの文の間で、それぞれの文を構成する単語間の類似度あるいは距離を算出し、その類似度あるいは距離に基づいて、文の近さを求めても良い。すなわち、２つの文間の単語の組み合わせの全てについて類似度あるいは距離を求め、求めた全ての類似度あるいは距離の相乗平均を文の近さとして求めても良い。このようにして求めた文の近さに基づき第４の評価値を算出する。すなわち、文が近いほど、すなわち、類似度が大きいあるいは距離が小さいほど、第４の評価値が高くなるように第４の評価値の計算式を設定する。

この他にも文の近さの評価方法として、BLEU, BLEU+, WER, TER, RIBES, NISTスコア, METEOR, ROUGE-L, IMPACTがある（参照：Graham Neubig, ”文レベルの機械翻訳評価尺度に関する調査”, 情報処理学会研究報告, 1, 2013, 平尾努, 磯崎秀樹, Kevin Duh, 須藤克仁, 塚田元, 永田昌明, “RIBES:順位相関に基づく翻訳の自動評価法”, 言語処理学会 第17回年次大会 発表論文集, 1115, 2011）。さらに、文の意味も考慮した文の近さの評価方法として、隠れ層が１層のニューラルネットワーク法、リカレントニューラルネットワーク法、畳み込みニューラルネットワーク法、再帰ニューラルネットワーク法、フィードフォワードニューラルネットワーク法を使用することもできる（参照：坪井祐太, “自然言語処理におけるディープラーニングの発展”,オペレーションズ・リサーチ, 205, 2015）。単語や文のベクトル化も文の近さの評価方法として使用することができる（参照：Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean, “Efficient Estimation of Word Representations in Vector Space”, arXiv:1301.3781, 2013）。

評価サーバ６は、算出した第４の評価値を翻訳装置１に送信する。翻訳装置１は、受信した第４の評価値を第４の所定値と比較する（Ｓ１７−２３）。

第４の評価値が第４の所定値よりも大きい場合（Ｓ１７−２３でＹＥＳ）、制御部２２は、音声合成を行い（Ｓ１８）、スピーカ１２から翻訳結果に応じた音声を出力するとともにディスプレイ１４の表示領域１５ｈ、１５ｇに翻訳結果を示すテキストを表示する（Ｓ１９）。

一方、第４の評価値が第４の所定値以下の場合（Ｓ１７−２３でＮＯ）、制御部２２は、翻訳が適切でない可能性があることを示唆する旨のメッセージを設定する（Ｓ２０）。これは、第４の評価値が第４の所定値以下の場合、翻訳テキストと逆翻訳テキストの内容が乖離しており、出力される翻訳結果が、発話者が意図していないものである可能性が高いと考えられるからである。このとき、発話者側の表示領域に表示するメッセージとして、例えば、図４に示すように、「あなたの言いたいことが、相手に伝わっているかどうか確認して下さい」のテキストを設定する。また、相手側の表示領域に対しては、しばらく待ってほしい旨のメッセージを設定する。逆翻訳結果に対する第４の評価値が低い場合に提示されるメッセージ（第４の情報）は、図４に示すように、音声認識結果や翻訳結果に対する評価値が低い場合に提示されるメッセージとは異なるメッセージとなる。このように、評価が低かった処理の内容に応じてメッセージの内容を異ならせることで、発話者に対して状況に応じた適切なメッセージを提示することができる。

そして、制御部２２は、ディスプレイ１４に設定したメッセージを表示する（Ｓ２１）。図１５は、このときの表示の例を示した図である。図１５に示すように、ホスト側の表示領域１５ｈにおいて、音声認識した結果を示すテキストと、翻訳の結果を示す「What are you waiting for?」のテキストと、さらに逆翻訳した結果を示すテキストとともに、再入力の要否を確認するメッセージのテキストが表示されている。また、ゲスト側の表示領域１５ｇにおいて翻訳の結果を示す「What are you waiting for?」のテキストと、翻訳結果が間違っている可能性を示す「The text shown above may be incorrect.」のメッセージが表示されている。発話者であるホストは、表示領域１５ｈに表示された内容を確認するなどして再発話の要否を判断し、必要であれば再発話を行う。このようにホストは、自身が言いたいことが翻訳装置１で正しく翻訳できているか否かを認識でき、再入力の際の発話内容を適切な文言に決定することができる。

以上のように、本実施の形態では、逆翻訳の結果に対しても評価を行い、逆翻訳に対する評価が低いときには、再入力を促すメッセージを表示する。これにより、適切でない翻訳結果が出力されることを防止できる。

なお、本実施の形態において、実施の形態１における図５に示すフローチャートにステップＳ１７−２１〜Ｓ１７−２３を加えるとしたが、実施の形態３における図１０に示すフローチャートにステップＳ１７−２１〜Ｓ１７−２３を加えるとしてもよい。その場合、ステップＳ１７−１３がＹＥＳのときにステップＳ１７０２１を行うとすればよい。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜４を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜４で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。

上記実施の形態では、音声認識、翻訳、または逆翻訳に対する評価値が低いときに、再入力を促すメッセージをディスプレイ１４に表示した。しかし、制御部２２は、再入力を促すメッセージをディスプレイ１４に表示せずに、再入力を促す音声をスピーカ１２から出力してもよい。すなわち、スピーカ１２は、通知部の別の一例である。また、図４に示したメッセージ内容は一例であり、他の内容でもよい。

上記実施の形態において示した音声認識、翻訳、および逆翻訳の各処理に対する評価の方法は一例であり、他の方法により、各処理の結果を評価してもよい。すなわち、各処理により得られた文がその言語において適切な文であるか否かを評価できるような方法であればよい。

上記実施の形態では、第１ないし第４の評価値について、処理の結果が良好なほど（すなわち評価が高いほど）、各評価値の値が大きくなるように各評価値を算出した。これに限らず、処理の結果が良好なほど（すなわち評価が高いほど）、各評価値の値が小さくなるように第１ないし第４の評価値を算出してもよい。

上記実施の形態において、「文らしさ」をＮ−ｇｒａｍモデルを用いて評価したが、これに限定されない。「文らしさ」を分散表現（単語ベクトル）を用いて評価してもよい（参照：Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean, “Efficient Estimation of Word Representations in Vector Space”, arXiv:1301.3781, 2013）。このとき、隠れ層が１層のニューラルネットワーク法、リカレントニューラルネットワーク法、畳み込みニューラルネットワーク法、再帰ニューラルネットワーク法、フィードフォワードニューラルネットワーク法を併用することもできる（参照：坪井祐太, “自然言語処理におけるディープラーニングの発展”,オペレーションズ・リサーチ, 205, 2015）。単語や文のベクトル化も文の近さの評価方法として使用することができる。

実施の形態２では、前回のテキストにおいて出現確率が極端に低い単語を置き換えたが、前回のテキストと今回のテキストの間で単語どうしを比較し、出現確率が高い方の単語を選択するようにしてもよい。

上記の実施の形態では、音声認識を音声認識サーバ３で行い、翻訳を翻訳サーバ４で行い、音声合成を音声合成サーバ５で行ったが、本開示はこれに限定されない。音声認識、翻訳及び音声合成の少なくとも一つの処理を翻訳装置１内で行ってもよい。同様に、各評価値の算出を評価サーバ６で行ったが、各評価値の算出を翻訳装置１内で行ってもよい。

上記の実施の形態では、日本語と英語の間の翻訳の例を示したが、翻訳対象とする言語は、日本語と英語に限定されず、他の言語（中国語、独語、仏語、スペイン語、韓国語、タイ語、ベトナム語、インドネシア語等）でもよい。

上記の実施の形態１では、ステップＳ１４（図５参照）で第１の評価値が第１の所定値以下であれば、制御部２２は、ステップＳ２０の処理を行った。しかし、第１の評価値に関わらず、制御部２２は、ステップＳ１５の処理を行ってもよい。そして、ステップＳ１７で第２の評価値が第２の所定値以下であれば、制御部２２は、音声認識処理および翻訳処理の双方で問題があった旨をディスプレイ１４に表示してもよい。

上記の実施の形態３では、制御部２２が第３の評価値を生成したが、本開示はこれに限定されない。評価サーバ６が第３の評価値を生成してもよい。評価サーバ６が第３の評価値を生成する例について、図１６を用いて説明する。図１６に示すように、翻訳装置１と評価サーバ６とを備える翻訳システム１００において、評価サーバ６は、取得部６１と、評価部６２とを備える。なお、図１６において、音声認識サーバ３、翻訳サーバ４、および音声合成サーバ５を省略している。取得部６１は、翻訳装置１から日本語の音声認識データおよび英語の翻訳データを取得する。評価部６２は、音声認識データと翻訳データとの同一性に対する評価値を生成する。このとき、評価部６２は、実施の形態３における制御部２２と同様に、音声認識データを分散表現に変換することにより第１の分散表現群を生成する。同様に、評価部６２は、翻訳データを分散表現に変換することにより第２の分散表現群を生成する。そして、評価部６２は、第１の分散表現群と第２の分散表現群との同一性に対する評価値を生成する。以上のようにして、評価サーバ６が、第３の評価値を生成して、ネットワーク２を介してその第３の評価値を翻訳装置１の制御部２２に送信してもよい。これにより、端末装置である翻訳装置１の構成を簡略にすることができる。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、発話者の音声に基づき翻訳する翻訳装置に適用可能である。

１ 翻訳装置
２ ネットワーク
３ 音声認識サーバ
４ 翻訳サーバ
５ 音声合成サーバ
６ 評価サーバ
１０ マイク（入力部）
１２ スピーカ
１４ ディスプレイ（通知部）
１６ タッチパネル
１８ 通信部
２０ 記憶部
２２ 制御部
１４ｈ，１４ｇ，１４ｈｇ 発話アイコン
１５ｈ，１５ｇ 表示領域
１００ 翻訳システム

Claims (19)

1. 発話者による第１の言語の発話を取得し、前記発話の内容を第２の言語に翻訳して情報を提示する翻訳装置であって、
   前記第１の言語の発話を取得し、前記発話に基づく音声データを生成する入力部と、
   前記音声データを音声認識処理して得られる音声認識データに対する第１の評価値を取得する制御部と、
   発話の再入力を促す情報を前記発話者に提示する通知部と、
   前記音声認識データを過去の音声認識データとして格納する記憶部と、
   を備え、
   前記通知部は、前記第１の評価値が第１の所定値以下であるときに、発話の再入力を促す第１の情報を提示し、
   前記制御部は、再入力された発話に対する音声認識データに対する評価値が所定値以下であるときは、前記過去の音声認識データと、前記再入力された発話に対する音声認識データとの間で、出現確率の高い方の単語を選択することにより、新たな音声認識データを生成する、
   翻訳装置。
2. 発話者による第１の言語の発話を取得し、前記発話の内容を第２の言語に翻訳して情報を提示する翻訳装置であって、
   前記第１の言語の発話を取得し、前記発話に基づく音声データを生成する入力部と、
   前記音声データを音声認識処理して得られる音声認識データに対する第１の評価値を取得する制御部と、
   発話の再入力を促す情報を前記発話者に提示する通知部と、
   前記音声認識データを過去の音声認識データとして格納する記憶部と、
   を備え、
   前記通知部は、前記第１の評価値が第１の所定値以下であるときに、発話の再入力を促す第１の情報を提示し、
   前記制御部は、再入力された発話に対する音声認識データに対する評価値が所定値以下であるときは、前記過去の音声認識データにおいて、前記過去の音声認識データを構成する単語の中で出現確率が所定値よりも低い単語を、前記再入力された発話に対する音声認識データを構成する単語で置換することにより、新たな音声認識データを生成する、
   翻訳装置。
3. 前記制御部は、前記音声認識データを前記第２の言語に翻訳処理して得られる翻訳データに対する第２の評価値を取得し、
   前記記憶部は、前記翻訳データを過去の翻訳データとして格納し、
   前記通知部は、前記第１の評価値が前記第１の所定値よりも大きく、かつ、前記第２の評価値が第２の所定値以下であるときに、前記第１の情報とは異なる、発話の再入力を促す第２の情報を提示し、
   前記制御部は、再入力された発話に対する翻訳データに対する評価値が所定値以下であるときは、前記過去の翻訳データと、前記再入力された発話に対する翻訳データとの間で、出現確率の高い方の単語を選択することにより、新たな翻訳データを生成する、請求項１または２に記載の翻訳装置。
4. 前記制御部は、前記翻訳データを音声合成処理して得られる第２の音声データを音声出力部に出力させる、請求項３に記載の翻訳装置。
5. 前記制御部は、前記第１の評価値が前記第１の所定値以下であることが判明したとき、前記翻訳処理以降の処理を行わずに前記第１の情報を提示し、
   前記制御部は、前記第２の評価値が前記第２の所定値以下であることが判明したとき、前記音声合成処理以降の処理を行わずに前記第２の情報を提示する、請求項４に記載の翻訳装置。
6. 前記第１の評価値は、前記音声認識データに含まれる単語の出現確率に基づいて算出される、請求項１から５のいずれかに記載の翻訳装置。
7. 前記第１の評価値は、Ｎ−ｇｒａｍモデル、分散表現、およびニューラルネットワークの少なくとも一つに基づき算出される、請求項６に記載の翻訳装置。
8. 前記制御部は、前記新たな音声認識データに対する評価値が所定値を超えた場合、前記記憶部から前記過去の音声認識データを消去する、請求項１から７のいずれかに記載の翻訳装置。
9. 発話者による第１の言語の発話を取得し、前記発話の内容を第２の言語に翻訳して情報を提示する翻訳装置であって、
   前記第１の言語の発話を取得し、前記発話に基づく音声データを生成する入力部と、
   前記音声データを音声認識処理して得られる音声認識データを前記第２の言語に翻訳処理して得られる翻訳データに対する第２の評価値を取得する制御部と、
   発話の再入力を促す情報を前記発話者に提示する通知部と、
   前記翻訳データを過去の翻訳データとして格納する記憶部を備え、
   前記通知部は、前記第２の評価値が第２の所定値以下であるときに、発話の再入力を促す第２の情報を提示し、
   前記制御部は、再入力された発話に対する翻訳データに対する評価値が所定値以下であるときは、前記過去の翻訳データと、前記再入力された発話に対する翻訳データとの間で、出現確率の高い方の単語を選択することにより、新たな翻訳データを生成する、翻訳装置。
10. 発話者による第１の言語の発話を取得し、前記発話の内容を第２の言語に翻訳して情報を提示する翻訳装置であって、
    前記第１の言語の発話を取得し、前記発話に基づく音声データを生成する入力部と、
    前記音声データを音声認識処理して得られる音声認識データを前記第２の言語に翻訳処理して得られる翻訳データに対する第２の評価値を取得する制御部と、
    発話の再入力を促す情報を前記発話者に提示する通知部と、
    前記翻訳データを過去の翻訳データとして格納する記憶部を備え、
    前記通知部は、前記第２の評価値が第２の所定値以下であるときに、発話の再入力を促す第２の情報を提示し、
    前記制御部は、再入力された発話に対する翻訳データに対する評価値が所定値以下であるときは、前記過去の翻訳データにおいて、前記過去の翻訳データを構成する単語の中で出現確率が所定値よりも低い単語を、前記再入力された発話に対する翻訳データを構成する単語で置換することにより、新たな翻訳データを生成する、翻訳装置。
11. 前記制御部は、前記音声認識データと前記翻訳データとの同一性に対する第３の評価値を取得し、
    前記通知部は、前記第３の評価値が第３の所定値以下であるときに、前記第２の情報と
    は異なる、発話の再入力を促す第３の情報を提示する、請求項９または１０に記載の翻訳装置。
12. 前記第３の評価値は、前記音声認識データを分散表現に変換して得られる第１の分散表現群と、前記翻訳データを分散表現に変換して得られる第２の分散表現群との同一性に基づき生成される、請求項１１に記載の翻訳装置。
13. 前記第１の分散表現群は、前記第１の言語の単語を分散表現に変換するための第１の変換テーブルに基づき生成され、
    前記第２の分散表現群は、前記第２の言語の単語を分散表現に変換するための第２の変換テーブルに基づき生成され、
    前記第１の変換テーブルおよび前記第２の変換テーブルは、一つの対訳テーブルから生成される、請求項１２に記載の翻訳装置。
14. 前記第３の評価値は、前記制御部により生成される、請求項１１から１３のいずれかに記載の翻訳装置。
15. 評価サーバと通信する通信部をさらに備え、
    前記第３の評価値は、前記評価サーバにより生成され、
    前記制御部は、前記評価サーバから前記通信部を介して前記第３の評価値を取得する、請求項１１から１３のいずれかに記載の翻訳装置。
16. 前記第２の評価値は、前記翻訳データに含まれる単語の出現確率に基づいて算出される、請求項９または１０に記載の翻訳装置。
17. 前記制御部は、前記翻訳データを前記第１の言語に逆翻訳して得られる逆翻訳データに対する第４の評価値を取得し、
    前記通知部は、前記第４の評価値が第４の所定値以下であるときに、前記第２の情報とは異なる、発話の再入力を促す第４の情報を提示する、
    請求項９から１６のいずれかに記載の翻訳装置。
18. 前記制御部は、前記新たな翻訳データに対する評価値が所定値を超えた場合、前記記憶部から前記過去の翻訳データを消去する、請求項９から１７のいずれかに記載の翻訳装置。
19. 請求項１５に記載の翻訳装置と、
    前記評価サーバとを備える、翻訳システム。

Images