WO2011007595A1

WO2011007595A1 - 音声翻訳システム、辞書サーバ装置、およびプログラム

Info

Publication number: WO2011007595A1
Application number: PCT/JP2010/053418
Authority: WO
Inventors: 哲中村; 英一郎隅田; 豊葦苅; 法幸木村; 智織堀
Original assignee: 独立行政法人情報通信研究機構
Priority date: 2009-07-16
Filing date: 2010-03-03
Publication date: 2011-01-20
Also published as: CN102473413A; US20120166176A1; CN102473413B; EP2455936A1; EP2455936A4; EP2455936B1; KR101626887B1; KR20120040190A; JP2011022813A; US9442920B2; JP5471106B2

Abstract

【課題】従来、音声翻訳において使用する音声認識辞書、翻訳辞書、および音声合成辞書において不整合があった。【解決手段】２以上の言語について、音声認識、翻訳、音声合成に利用する全言語用語情報を２以上格納し得る全言語対辞書格納部と、全言語について、用語の音声認識情報を含む音声認識用情報を取得し、１以上の音声認識サーバ装置に送信する音声認識用情報送信部と、全言語について、用語の表記を含む翻訳用情報を取得し、１以上の翻訳サーバ装置に送信する翻訳用情報送信部と、全言語について、用語の音声合成情報を含む音声合成用情報を取得し、１以上の音声合成サーバ装置に送信する音声合成用情報送信部とを具備する辞書サーバ装置により、辞書間の不整合を解消できる。

Description

音声翻訳システム、辞書サーバ装置、およびプログラム

　本発明は、音声翻訳を行う音声翻訳システム等に関するものである。

　従来の音声翻訳システムにおいて、音声認識の精度を向上させたり、翻訳処理の精度を向上させたり等、各部分処理の精度を向上させるための技術が存在した（例えば、特許文献１、特許文献２参照）。
特開２００８－２４３０８０号公報（第１頁、第１図等）特開２００９－１４０５０３号公報（第１頁、第１図等）

　しかしながら、従来、音声翻訳処理を行う際に使用する音声認識辞書、翻訳辞書、および音声合成辞書の間で不整合があり、音声翻訳ができない場合があった。辞書間の不整合とは、ある辞書に存在する用語の情報が他の辞書には存在しない等という現象である。

　本第一の発明の音声翻訳システムは、辞書サーバ装置と、１以上の音声認識サーバ装置、１以上の翻訳サーバ装置、１以上の音声合成サーバ装置とを有する音声翻訳システムであって、辞書サーバ装置は、２以上の言語の各言語について、１以上の単語を有する用語の表記と、用語を音声認識するための情報である音声認識情報と、用語を音声合成するための情報である音声合成情報とを有する用語情報を、２以上の言語のすべてについて対応付けて有する全言語用語情報を、２以上格納し得る全言語対辞書格納部と、２以上の言語のうちのすべての言語または２以上の一部の言語について、用語の音声認識情報を含む音声認識用情報を、全言語対辞書格納部から取得し、１以上の音声認識サーバ装置に送信する音声認識用情報送信部と、２以上の言語のうちのすべての言語または２以上の一部の言語について、用語の表記を含む翻訳用情報を、全言語対辞書格納部から取得し、１以上の翻訳サーバ装置に送信する翻訳用情報送信部と、２以上の言語のうちのすべての言語または２以上の一部の言語について、用語の音声合成情報を含む音声合成用情報を、全言語対辞書格納部から取得し、１以上の音声合成サーバ装置に送信する音声合成用情報送信部とを具備し、音声認識サーバ装置は、２以上の言語のうちのすべての言語または２以上の一部の言語について、音声認識用情報を格納し得る音声認識用情報格納部と、辞書サーバ装置から、２以上の言語のうちのすべての言語または２以上の一部の言語についての音声認識用情報を受信する音声認識用情報受信部と、音声認識用情報受信部が受信した音声認識用情報を音声認識用情報格納部に蓄積する音声認識用情報蓄積部と、第一端末装置に入力された音声の情報である音声情報を受信する音声情報受信部と、音声情報受信部が受信した音声情報を、音声認識用情報格納部の音声認識用情報を用いて音声認識し、音声認識結果を取得する音声認識部と、音声認識結果を送信する音声認識結果送信部とを具備し、翻訳サーバ装置は、２以上の言語のうちのすべての言語または２以上の一部の言語について、翻訳用情報を格納し得る翻訳用情報格納部と、辞書サーバ装置から、２以上の言語のうちのすべての言語または２以上の一部の言語について、音翻訳用情報を受信する翻訳用情報受信部と、翻訳用情報受信部が受信した翻訳用情報を翻訳用情報格納部に蓄積する翻訳用情報蓄積部と、音声認識結果を受信する音声認識結果受信部と、音声認識結果受信部が受信した音声認識結果を、翻訳用情報格納部の翻訳用情報を用いて、目的言語に翻訳し、翻訳結果を取得する翻訳部と、翻訳結果を送信する翻訳結果送信部とを具備し、音声合成サーバ装置は、２以上の言語のうちのすべての言語または２以上の一部の言語について、音声合成用情報を格納し得る音声合成用情報格納部と、辞書サーバ装置から、２以上の言語のうちのすべての言語または２以上の一部の言語について、音声合成用情報を受信する音声合成用情報受信部と、音声合成用情報受信部が受信した音声合成用情報を音声合成用情報格納部に蓄積する音声合成用情報蓄積部と、翻訳結果を受信する翻訳結果受信部と、翻訳結果受信部が受信した翻訳結果を、音声合成用情報格納部の音声合成用情報を用いて音声合成し、音声合成結果を取得する音声合成部と、音声合成結果を第二端末装置に送信する音声合成結果送信部とを具備する音声翻訳システムである。

　かかる構成により、音声翻訳において使用する辞書の間の不整合をなくすことができる。

　また、本第二の発明の音声翻訳システムは、第一の発明に対して、音声認識サーバ装置の音声認識部は、音声情報受信部が受信した音声情報に対する音声認識処理が成功であるか失敗であるかを判断する音声認識判断手段と、音声認識判断手段が、音声認識処理が失敗であると判断した場合に、辞書サーバ装置に対して、音声認識情報を送信する指示を行う音声認識情報送信指示手段と、音声情報受信部が受信した音声情報を、音声認識用情報格納部の音声認識用情報を用いて音声認識し、音声認識結果を取得し、かつ、指示の送信に対応して、辞書サーバ装置から音声認識用情報受信部が受信した音声認識情報を用いて音声認識し、音声認識結果を取得する音声認識手段とを具備し、音声認識用情報受信部は、指示の送信に対応して、辞書サーバ装置から音声認識情報を受信する音声翻訳システムである。

　かかる構成により、音声翻訳において、音声認識辞書に用語の情報が一時的に存在しない場合でも、音声認識処理の時点で自動的に必要な用語の情報を取得でき、音声認識処理を実行できる。

　また、本第三の発明の音声翻訳システムは、第一の発明に対して、翻訳サーバ装置の翻訳部は、音声認識結果受信部が受信した音声認識結果に対する翻訳処理が成功であるか失敗であるかを判断する翻訳判断手段と、翻訳判断手段が、翻訳処理が失敗であると判断した場合に、辞書サーバ装置に対して、目的言語の用語の表記を送信する指示を行う翻訳情報送信指示手段と、音声認識結果受信部が受信した音声認識結果を、翻訳用情報格納部の翻訳用情報を用いて、目的言語に翻訳し、翻訳結果を取得し、かつ、指示の送信に対応して、辞書サーバ装置から翻訳用情報受信部が受信した目的言語の用語の表記を用いて、音声認識結果を目的言語に翻訳し、翻訳結果を取得する翻訳手段とを具備し、翻訳用情報受信部は、指示の送信に対応して、辞書サーバ装置から目的言語の用語の表記を受信する音声翻訳システムである。

　かかる構成により、音声翻訳において、翻訳辞書に用語の情報が一時的に存在しない場合でも、翻訳処理の時点で自動的に必要な用語の情報を取得でき、翻訳処理を実行できる。

　また、本第四の発明の音声翻訳システムは、第一の発明に対して、音声合成サーバ装置の音声合成部は、翻訳結果受信部が受信した翻訳結果に対する音声合成処理が成功であるか失敗であるかを判断する音声合成判断手段と、音声合成判断手段が、音声合成処理が失敗であると判断した場合に、辞書サーバ装置に対して、音声合成情報を送信する指示を行う音声合成情報送信指示手段と、翻訳結果受信部が受信した翻訳結果を、音声合成用情報格納部の音声合成用情報を用いて音声合成し、音声合成結果を取得し、かつ、指示の送信に対応して、辞書サーバ装置から音声合成用情報受信部が受信した音声合成情報を用いて翻訳結果を音声合成し、音声合成結果を取得する音声合成手段とを具備し、音声合成用情報受信部は、指示の送信に対応して、辞書サーバ装置から音声合成情報を受信する音声翻訳システムである。

　かかる構成により、音声翻訳において、音声合成辞書に用語の情報が一時的に存在しない場合でも、音声合成処理の時点で自動的に必要な用語の情報を取得でき、音声合成処理を実行できる。

　また、本第五の発明の音声翻訳システムは、第一から第四いずれかの発明に対して、辞書サーバ装置は、インターネット上の１以上のウェブサーバ装置のウェブページから、全言語対辞書格納部に存在しない用語の表記を取得する表記取得部と、表記取得部が取得した用語の表記を、全言語対辞書格納部に蓄積する表記蓄積部とをさらに具備する音声翻訳システムである。

　かかる構成により、音声翻訳において使用する辞書の間の不整合をなくすために利用する多国語共通辞書の情報を自動的に補充できる。

　また、本第六の発明の音声翻訳システムは、第五に対して、辞書サーバ装置は、１以上の第三端末装置から、用語情報のうちのいずれかの情報を受け付ける情報受付部と、情報受付部が受け付けた情報を、対応する言語の対応する用語の表記に対応付けて、全言語対辞書格納部に蓄積する情報蓄積部とをさらに具備する音声翻訳システムである。

　かかる構成により、音声翻訳において使用する辞書の間の不整合をなくすために利用する多国語共通辞書の情報を補充できる。

　また、本第七の発明の音声翻訳システムは、第五または第六の発明に対して、辞書サーバ装置は、全言語用語情報または全言語用語情報の一部の情報を出力する出力部をさらに具備し、出力部は、全言語用語情報または全言語用語情報の一部の情報を出力する場合に、２以上のすべての言語について、予め決められたすべての情報が存在する場合と、予め決められたすべての情報のうちの一部の情報が存在しない場合とにより、視覚的に異なる態様で、全言語用語情報または全言語用語情報の一部の情報を出力する音声翻訳システムである。

　かかる構成により、音声翻訳において使用する辞書の間の不整合をなくすために利用する多国語共通辞書の情報を補充しやすくできる。

　本発明による音声翻訳システムによれば、音声翻訳において使用する辞書の間の不整合をなくすことができる。

　以下、音声翻訳システム等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。

（実施の形態１）
　本実施の形態において、全言語対辞書を有する辞書サーバ装置を用いて、音声翻訳において使用する辞書の間の不整合をなくすことができる音声翻訳システムについて説明する。なお、全言語対辞書とは、音声認識、翻訳、および音声合成に必要な情報を一元管理している辞書である。全言語対辞書は、２以上の全言語用語情報を格納している辞書の情報である。全言語用語情報は、音声翻訳の対象となり得る２以上の言語について、言語ごとに、一つの用語情報を有する情報である。用語情報は、音声認識に必要な情報である音声認識情報と、翻訳に必要な情報である翻訳情報と、音声合成に必要な情報である音声合成情報とを有する情報である。用語情報は、一つの用語に関する情報である。また、用語情報は、言語により、その構造が異なっても良い。また、音声翻訳の対象となり得る２以上の言語は、好ましくは３以上の言語である。

　また、本実施の形態において、音声認識や翻訳や音声合成などの各処理の段階で、各処理を行う装置において、必要な情報が存在しない場合に、リアルタイムに、全言語対辞書を有する辞書サーバ装置から、各装置が処理を行うために必要な情報を取得しにいく処理（リアルタイム補完処理、という）を実行する音声翻訳システムについて説明する。

　また、本実施の形態において、例えば、１以上のウェブサーバから、新しく出現した用語などの情報を、クロールなどして取得し、全言語対辞書を充実させていったり、例えば、不特定多数または特定の多数のユーザから、全言語対辞書に蓄積される情報を受け付けたりする機能を有する辞書サーバ装置について説明する。

　図１は、本実施の形態における音声翻訳システム１の概念図である。音声翻訳システム１は、１以上の第一端末装置１１、１以上の第二端末装置１２、辞書サーバ装置１３、１以上の音声認識サーバ装置１４、１以上の翻訳サーバ装置１５、１以上の音声合成サーバ装置１６、１以上の第三端末装置１７を具備する。

　音声翻訳システム１において、例えば、第一端末装置１１のユーザ（ユーザＡ）である日本人が日本語で「おはよう」と発話した場合、音声認識サーバ装置１４は日本語「おはよう」を音声認識する。そして、翻訳サーバ装置１５は音声認識結果を、例えば、英語「Ｇｏｏｄ　ｍｏｒｎｉｎｇ」に翻訳する。次に、音声合成サーバ装置１６は英文「Ｇｏｏｄ　ｍｏｒｎｉｎｇ」から「Ｇｏｏｄ　ｍｏｒｎｉｎｇ」の音声情報を作りだす。そして、英語のネイティブであるユーザＢの第二端末装置１２から、音声「Ｇｏｏｄ　ｍｏｒｎｉｎｇ」が出力される。

　第一端末装置１１および第二端末装置１２は、例えば、通話する端末（電話、携帯電話を含む）である。ここでは、主として、第一端末装置１１を発話する側の端末、第二端末装置１２を発話される側の端末として説明するが、両者は入れ替われることは言うまでもない。

　また、辞書サーバ装置１３は、音声認識サーバ装置１４、翻訳サーバ装置１５、および音声合成サーバ装置１６で利用される情報をすべて保有している。この情報が、上述した全言語対辞書である。

　さらに、第三端末装置１７は、全言語対辞書に情報を追記し、全言語対辞書を充実させるために、情報を入力するための端末である。

　図２は、本実施の形態における音声翻訳システム１のブロック図である。また、図３は、辞書サーバ装置１３のブロック図である。図４は、音声認識サーバ装置１４のブロック図である。図５は、翻訳サーバ装置１５のブロック図である。図６は、音声合成サーバ装置１６のブロック図である。

　第一端末装置１１は、第一音声受付部１１１、第一音声送信部１１２、第一音声受信部１１３、第一音声出力部１１４を具備する。

　第二端末装置１２は、第二音声受付部１２１、第二音声送信部１２２、第二音声受信部１２３、第二音声出力部１２４を具備する。

　図３に示すように、辞書サーバ装置１３は、全言語対辞書格納部１３１、音声認識用情報送信部１３２、翻訳用情報送信部１３３、音声合成用情報送信部１３４、表記取得部１３５、表記蓄積部１３６、情報受付部１３７、情報蓄積部１３８、出力部１３９を具備する。

　図４に示すように、音声認識サーバ装置１４は、音声認識用情報格納部１４１、音声認識用情報受信部１４２、音声認識用情報蓄積部１４３、音声情報受信部１４４、音声認識部１４５、音声認識結果送信部１４６を具備する。音声認識部１４５は、音声認識判断手段１４５１、音声認識情報送信指示手段１４５２、音声認識手段１４５３を具備する。

　図５に示すように、翻訳サーバ装置１５は、翻訳用情報格納部１５１、翻訳用情報受信部１５２、翻訳用情報蓄積部１５３、音声認識結果受信部１５４、翻訳部１５５、翻訳結果送信部１５６を具備する。翻訳部１５５は、翻訳判断手段１５５１、翻訳情報送信指示手段１５５２、翻訳手段１５５３を具備する。

　図６に示すように、音声合成サーバ装置１６は、音声合成用情報格納部１６１、音声合成用情報受信部１６２、音声合成用情報蓄積部１６３、翻訳結果受信部１６４、音声合成部１６５、音声合成結果送信部１６６を具備する。音声合成部１６５は、音声合成判断手段１６５１、音声合成情報送信指示手段１６５２、音声合成手段１６５３を具備する。

　第三端末装置１７は、入力受付部１７１、情報受信部１７２、情報出力部１７３、入力情報送信部１７４を具備する。

　第一音声受付部１１１は、第一端末装置１１のユーザ（ユーザＡという）から音声を受け付ける。第一音声受付部１１１は、例えば、マイクとそのデバイスドライバーなどにより実現され得る。

　第一音声送信部１１２は、第一音声受付部１１１が受け付けた音声を送信する。音声の送信先は、１以上の音声認識サーバ装置１４のうちのいずれかである。なお、第一音声送信部１１２は、２以上の音声認識サーバ装置１４に音声を送信しても良い。また、ここで、音声とは音声の情報であり、送信する音声はデジタル化されていることは好適である。また、第一音声送信部１１２は、音声とともに、音声翻訳制御情報を送信しても良い。音声翻訳制御情報は、音声認識サーバ装置１４、翻訳サーバ装置１５、および音声合成サーバ装置１６が、それぞれ音声認識、翻訳、および音声合成を行ったり、処理結果を送信したりするための情報を有する。音声翻訳制御情報は、例えば、処理結果を送信する先を特定する情報（ＩＰアドレスや電話番号など）、原言語や目的言語を特定する情報（日本語、英語、ドイツ語など）などを有する。第一端末装置１１や第二端末装置１２は、例えば、原言語と目的言語を、ユーザから受け付ける。また、第一端末装置１１や第二端末装置１２は、例えば、第二端末装置１２や第一端末装置１１の電話番号やＩＰアドレスなどから、自動的に原言語と目的言語を決定する。かかる場合、第二端末装置１２や第一端末装置１１は、電話番号やＩＰアドレスなどの情報と、言語を特定する情報を対応付けて保持していたり、電話番号やＩＰアドレスなどの情報をキーとして他の装置から言語を特定する情報を取得したりする。また、第一端末装置１１や第二端末装置１２は、原言語や目的言語から音声認識すべき音声認識サーバ装置１４を特定する情報（ＩＰアドレスなど）や、翻訳サーバ装置１５を特定する情報（ＩＰアドレスなど）や、音声合成サーバ装置１６を特定する情報（ＩＰアドレスなど）を取得する。つまり、第一端末装置１１や第二端末装置１２は、原言語や目的言語と、各サーバ装置を特定する情報とを対応付けて有していたり、原言語や目的言語を用いて、他の装置から、各サーバ装置を特定する情報を取得したりする。また、音声翻訳制御情報は、入力音声のフォーマットを示す情報、出力音声のフォーマットを示す情報、入出力音声の声質を指定する情報、入力テキストのフォーマットを示す情報、出力テキストのフォーマットを示す情報なども有しても良い。さらに、第一音声送信部１１２は、直接的に音声を１以上の音声認識サーバ装置１４に送信しても良いし、他の装置経由で（間接的に）、音声を１以上の音声認識サーバ装置１４に送信しても良い。第一音声送信部１１２は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。

　第一音声受信部１１３は、音声（通常、デジタル化されている音声情報）を受信する。この音声は、第二端末装置１２のユーザ（ユーザＢという）が発声した音声の内容を、第一端末装置１１のユーザＡが理解できる言語に翻訳された音声である。第一音声受信部１１３は、音声合成サーバ装置１６から、直接的または間接的に音声を受信する。第一音声受信部１１３は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。

　第一音声出力部１１４は、第一音声受信部１１３が受信した音声を出力する。第一音声出力部１１４は、スピーカー（出力デバイス）を含むと考えても含まないと考えても良い。第一音声出力部１１４は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

　第二音声受付部１２１は、第二端末装置１２のユーザＢから音声を受け付ける。第二音声受付部１２１は、例えば、マイクとそのデバイスドライバーなどにより実現され得る。

　第二音声送信部１２２は、第二音声受付部１２１が受け付けた音声を送信する。音声の送信先は、１以上の音声認識サーバ装置１４のうちのいずれかである。なお、第二音声送信部１２２は、２以上の音声認識サーバ装置１４に音声を送信しても良い。また、ここで、音声とは音声の情報であり、送信する音声はデジタル化されていることは好適である。さらに、第二音声送信部１２２は、直接的に音声を１以上の音声認識サーバ装置１４に送信しても良いし、他の装置経由で（間接的に）、音声を１以上の音声認識サーバ装置１４に送信しても良い。第二音声送信部１２２は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。

　第二音声受信部１２３は、音声（通常、デジタル化されている音声情報）を受信する。この音声は、第一端末装置１１のユーザＡが発声した音声の内容を、第二端末装置１２のユーザＢが理解できる言語（目的言語）に翻訳された音声である。第二音声受信部１２３は、音声合成サーバ装置１６から、直接的または間接的に音声を受信する。第二音声受信部１２３は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。

　第二音声出力部１２４は、第二音声受信部１２３が受信した音声を出力する。第二音声出力部１２４は、スピーカー（出力デバイス）を含むと考えても含まないと考えても良い。第一音声出力部１１４は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

　全言語対辞書格納部１３１は、全言語対辞書を格納している。全言語対辞書については、上述した。なお、全言語対辞書が有する音声認識情報は、例えば、隠れマルコフモデル（ＨＭＭ）などの音響モデルである。また、全言語対辞書が有する翻訳情報は、例えば、用語の表記である。用語の表記とは、言語の日本語が「大阪」である場合、英語は「Ｏｓａｋａ」、中国語は「大阪」である。なお、用語とは、一つの単語、１以上の単語、1以上の文節、文なども含む広い概念である、として捉える。音声合成情報とは、例えば、読みの情報（適宜「読み」という）とアクセントの情報（適宜「アクセント」という）などである。用語情報は、用語の読みを、通常、有する。用語情報は、例えば、表記、読み、アクセント、トーンなどの情報を有する。用語情報は、通常、言語により構造は異なる。例えば、言語がドイツ語の場合、用語情報は、用語に対して男性語であるか女性語であるかを示すフラグ情報を有する。なお、かかるフラグ情報は、日本語や英語などの言語の用語情報には存在しない。

　また、全言語対辞書は、通常、言語ごとの構造情報を有する。例えば、全言語対辞書は、「日本語＜ＨＭＭ＞＜表記＞＜読み＞＜アクセント＞」「英語＜ＨＭＭ＞＜表記＞＜読み＞＜アクセント＞＜トーン＞」「ドイツ語＜表記＞＜フラグ情報＞＜読み＞＜アクセント＞」などである。なお、構造情報は、言語共通で有する構造の情報は一つで管理し、言語特有の情報を示す構造情報のみ、言語ごとに管理しても良い。かかる場合、構造情報は、言語共通の構造情報「＜ＨＭＭ＞＜表記＞＜読み＞＜アクセント＞」、「ドイツ語＜フラグ情報＞」等の情報となる。

　全言語対辞書格納部１３１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。全言語対辞書格納部１３１に各種の情報が記憶される過程は問わない。例えば、記録媒体を介して各種の情報が全言語対辞書格納部１３１で記憶されるようになってもよく、通信回線等を介して送信された各種の情報が全言語対辞書格納部１３１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された各種の情報が全言語対辞書格納部１３１で記憶されるようになってもよい。なお、後述する表記取得部１３５、表記蓄積部１３６、情報受付部１３７、情報蓄積部１３８などにより、全言語対辞書格納部１３１に情報が蓄積されることは好適である。

　音声認識用情報送信部１３２は、全言語対辞書格納部１３１から音声認識用情報を読み出し、当該音声認識用情報を１以上の音声認識サーバ装置１４に送信する。音声認識用情報とは、用語の音声認識情報を含む情報であり、音声認識サーバ装置１４で音声認識のために利用される情報である。音声認識用情報は、２以上の言語のうちのすべての言語または一部の言語についての音声認識情報を含む情報である。音声認識用情報は、音声認識情報と同一の情報でも良いし、音声認識情報に他の情報を加えた情報でも良い。また、音声認識用情報送信部１３２は、音声認識用情報の中で一部に欠けている情報がある用語の音声認識情報は送信しないことは好適である。音声認識用情報送信部１３２は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。

　翻訳用情報送信部１３３は、全言語対辞書格納部１３１から翻訳用情報を読み出し、当該翻訳用情報を１以上の翻訳サーバ装置１５に送信する。翻訳用情報とは、用語の表記を含む情報であり、翻訳サーバ装置１５で翻訳のために利用される情報である。翻訳用情報は、２以上の言語のうちのすべての言語または一部の言語についての表記を含む情報である。翻訳用情報は、表記のみでも良いし、表記に他の情報を加えた情報でも良い。また、翻訳用情報送信部１３３は、翻訳用情報の中で一部に欠けている情報がある用語の翻訳情報は送信しないことは好適である。つまり、日本語の用語の表記のみしか存在しない用語情報があった場合、当該用語情報が有する情報は、全く送信しないことは好適である。翻訳用情報送信部１３３は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。

　音声合成用情報送信部１３４は、全言語対辞書格納部１３１から音声合成用情報を読み出し、当該音声合成用情報を１以上の音声合成サーバ装置１６に送信する。音声合成用情報とは、用語の音声合成情報を含む情報であり、音声合成サーバ装置１６で音声合成のために利用される情報である。音声合成用情報は、２以上の言語のうちのすべての言語または一部の言語についての音声合成情報を含む情報である。音声合成用情報は、音声合成情報と同一の情報でも良いし、音声合成情報に他の情報を加えた情報でも良い。また、音声合成用情報送信部１３４は、音声合成用情報の中で一部に欠けている情報がある用語の音声合成情報は送信しないことは好適である。音声合成用情報送信部１３４は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。

　表記取得部１３５は、インターネット上の１以上のウェブサーバ装置のウェブページから、全言語対辞書格納部１３１に存在しない用語の表記を取得する。表記取得部１３５は、表記を取得する場合に、言語を識別する情報である言語識別子も取得することは好適である。表記取得部１３５は、例えば、用語を取得したウェブページのＵＲＬが「.jp」を含む場合は言語識別子「日本語」、「.kr」を含む場合は言語識別子「韓国語」を取得する。また、表記取得部１３５は、例えば、用語を取得した先のデータベースやウェブページの文字コードから、言語を自動識別しても良い。さらに、表記取得部１３５は、ウェブページから用語を取得した後、ユーザに問い合わせ、言語を入力してもらうようにしても良い。

　また、表記取得部１３５は、ウェブページから用語を取得し、当該用語をキーとして、全言語対辞書格納部１３１を検索して、全言語対辞書格納部１３１に用語は存在しないと判断した場合に、用語を取得した、としても良い。つまり、かかる場合、表記取得部１３５は、一度、取得した用語が、全言語対辞書格納部１３１に存在する場合、当該用語を捨てるようにしても良い。

　表記取得部１３５は、通常、ＭＰＵやメモリや通信手段等から実現され得る。表記取得部１３５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。表記取得部１３５は、いわゆる検索エンジンを起動する処理を行っても良い。かかる場合、表記取得部１３５は、検索エンジンを有しないと考えても、検索エンジンを有すると考えても良い。

　表記蓄積部１３６は、表記取得部１３５が取得した用語の表記を、全言語対辞書格納部１３１に蓄積する。通常、表記蓄積部１３６は、表記取得部１３５が取得した言語識別子に対応する言語の表記として、取得した用語の表記を蓄積する。表記蓄積部１３６は、通常、ＭＰＵやメモリ等から実現され得る。表記蓄積部１３６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

　情報受付部１３７は、１以上の第三端末装置１７から、用語情報のうちのいずれかの情報を受け付ける。受け付ける情報は、例えば、ＨＭＭ、表記、読み、アクセント、トーン、フラグ情報などである。情報受付部１３７は、通常、言語と、対応する表記等を識別する情報とともに、情報を受け付ける。つまり、受け付けた情報が、どの言語のどの表記または読み等に対応する情報であるかが判断できる状況であることは言うまでもない。ここで、受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。情報受付部１３７は、例えば、有線もしくは無線の通信手段で実現され得る。

　情報蓄積部１３８は、情報受付部１３７が受け付けた情報を、対応する言語の対応する用語の表記に対応付けて蓄積する。また、情報受付部１３７が表記を受け付けた場合、対応する言語の領域に蓄積する。また、情報受付部１３７が表記を受け付け、かつ読みなどの他の情報が既に存在する場合、対応する言語の対応する用語の読み等に対応付けて、表記を蓄積する。情報蓄積部１３８は、通常、ＭＰＵやメモリ等から実現され得る。情報蓄積部１３８の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

　出力部１３９は、全言語用語情報または全言語用語情報の一部の情報を出力する。出力部１３９は、通常、第三端末装置１７からの指示、またはユーザからの指示により、情報を出力する。ここでの出力とは、通常、指示を送信した第三端末装置１７への、情報の送信である。出力部１３９は、全言語用語情報または全言語用語情報の一部の情報を出力する場合に、２以上のすべての言語について、予め決められたすべての情報が存在する場合と、予め決められたすべての情報のうちの一部の情報が存在しない場合とにより、視覚的に異なる態様で、全言語用語情報または全言語用語情報の一部の情報を出力することは好適である。予め決められたすべての情報は、全言語対辞書格納部１３１が有する構造情報に対応する情報である。出力部１３９は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。

　音声認識用情報格納部１４１は、２以上の言語のうちのすべての言語または２以上の一部の言語について、音声認識用情報を格納し得る。音声認識用情報格納部１４１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。

　通常、辞書サーバ装置１３から音声認識用情報を受信することにより、音声認識用情報格納部１４１に音声認識用情報が記憶される。ただし、音声認識用情報格納部１４１に音声認識用情報が記憶される過程は、問わない。例えば、記録媒体を介して音声認識用情報が音声認識用情報格納部１４１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された音声認識用情報が音声認識用情報格納部１４１で記憶されるようになってもよい。

　音声認識用情報受信部１４２は、辞書サーバ装置１３から、２以上の言語のうちのすべての言語または２以上の一部の言語についての音声認識用情報を受信する。音声認識用情報受信部１４２は、音声認識情報送信指示手段１４５２における辞書サーバ装置１３への指示の送信に対応して、辞書サーバ装置１３から音声認識情報を受信しても良い。音声認識用情報受信部１４２は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。

　音声認識用情報蓄積部１４３は、音声認識用情報受信部１４２が受信した音声認識用情報を音声認識用情報格納部１４１に蓄積する。また、音声認識用情報蓄積部１４３は、音声認識用情報受信部１４２が受信した音声認識情報を音声認識用情報格納部１４１に蓄積する。音声認識用情報蓄積部１４３は、通常、ＭＰＵやメモリ等から実現され得る。音声認識用情報蓄積部１４３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

　音声情報受信部１４４は、第一端末装置１１に入力された音声の情報である音声情報を受信する。音声情報受信部１４４は、第一端末装置１１から直接、または間接的に音声情報を受信する。音声情報受信部１４４は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。

　音声認識部１４５は、音声情報受信部１４４が受信した音声情報を、音声認識用情報格納部１４１の音声認識用情報を用いて音声認識し、音声認識結果を取得する。音声認識結果は、通常、原言語（第一端末装置１１のユーザＡが発話した音声の言語）の文字列である。音声認識部１４５が行う音声認識方法は、いかなる音声認識方法でも良い。音声認識部１４５は公知技術であるので詳細な説明を省略する。音声認識部１４５は、通常、ＭＰＵやメモリ等から実現され得る。音声認識部１４５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

　音声認識判断手段１４５１は、音声情報受信部１４４が受信した音声情報に対する音声認識処理が成功であるか失敗であるかを判断する。音声認識判断手段１４５１は、例えば、音声情報受信部１４４が受信した音声情報が有する情報であり、１以上の用語に対応する情報である部分音声情報に対応する音声認識情報が、音声認識用情報格納部１４１に存在するか否かを判断する。なお、ここで、部分音声情報は、通常、音声情報の一部であるが、音声情報と同じである場合もあり得る。また、音声認識判断手段１４５１は、音声情報受信部１４４が受信した音声情報に対して、音声認識手段１４５３に音声認識処理を行わせ、その結果が成功であるか失敗であるかを判断しても良い。成功である場合は、部分音声情報に対応する音声認識情報が、音声認識用情報格納部１４１に存在する場合である。また、失敗である場合は、部分音声情報に対応する音声認識情報が、音声認識用情報格納部１４１に存在しない場合である。なお、音声認識判断手段１４５１は、音声認識結果の尤度が予め決められた値より大きい（以上の）場合に音声認識処理が成功であり、予め決められた値以下の（より小さい）場合に音声認識処理が失敗であると判断しても良い。音声認識判断手段１４５１は、通常、ＭＰＵやメモリ等から実現され得る。音声認識判断手段１４５１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

　音声認識情報送信指示手段１４５２は、音声情報受信部１４４が受信した音声情報に対する音声認識処理が失敗であったと判断した場合に、辞書サーバ装置１３に対して、音声認識情報を送信する指示を行う。例えば、音声認識判断手段１４５１が音声認識情報は音声認識用情報格納部１４１に存在しないと判断した場合に、辞書サーバ装置１３に対して、音声認識情報を送信する指示を行う。なお、この指示は、例えば、部分音声情報と言語識別子等を含む。また、この指示は、例えば、部分音声情報から生成された音素列と言語識別子等を含む。音声認識情報送信指示手段１４５２は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。

　音声認識手段１４５３は、前記音声情報受信部が受信した音声情報を、前記音声認識用情報格納部の音声認識用情報を用いて音声認識し、音声認識結果を取得する。また、音声認識手段１４５３は、音声認識情報送信指示手段１４５２における指示の送信に対応して、辞書サーバ装置１３から音声認識用情報受信部１４２が受信した音声認識情報を用いて音声認識し、音声認識結果を取得する。また、音声認識手段１４５３は、音声認識判断手段１４５１が音声認識情報は音声認識用情報格納部１４１に存在すると判断した場合に、音声認識用情報格納部１４１の音声認識用情報を用いて音声認識し、音声認識結果を取得する。音声認識手段１４５３は、通常、ＭＰＵやメモリ等から実現され得る。音声認識手段１４５３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

　音声認識結果送信部１４６は、音声認識部１４５が取得した音声認識結果を送信する。音声認識結果送信部１４６は、直接的または間接的に、音声認識結果を翻訳サーバ装置１５に送信する。音声認識結果送信部１４６は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。

　翻訳用情報格納部１５１は、２以上の言語のうちのすべての言語または２以上の一部の言語について、翻訳用情報を格納し得る。翻訳用情報は、例えば、翻訳モデルと言語モデルである。翻訳用情報格納部１５１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。

　通常、辞書サーバ装置１３から翻訳用情報を受信することにより、翻訳用情報格納部１５１に翻訳用情報が記憶される。ただし、翻訳用情報格納部１５１に翻訳用情報が記憶される過程は問わない。例えば、記録媒体を介して翻訳用情報が翻訳用情報格納部１５１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された翻訳用情報が翻訳用情報格納部１５１で記憶されるようになってもよい。

　翻訳用情報受信部１５２は、辞書サーバ装置１３から、２以上の言語のうちのすべての言語または２以上の一部の言語について、翻訳用情報を受信する。翻訳用情報受信部１５２は、翻訳情報送信指示手段１５５２における辞書サーバ装置１３への指示の送信に対応して、辞書サーバ装置１３から目的言語の用語の表記を受信する。翻訳用情報受信部１５２は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。

　翻訳用情報蓄積部１５３は、翻訳用情報受信部１５２が受信した翻訳用情報を翻訳用情報格納部１５１に蓄積する。また、翻訳用情報蓄積部１５３は、翻訳用情報受信部１５２が受信した目的言語の用語の表記を翻訳用情報格納部１５１に蓄積する。翻訳用情報蓄積部１５３は、通常、ＭＰＵやメモリ等から実現され得る。翻訳用情報蓄積部１５３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

　音声認識結果受信部１５４は、音声認識サーバ装置１４が取得した音声認識結果を受信する。音声認識結果受信部１５４は、音声認識サーバ装置１４から直接、または間接的に音声認識結果を受信する。音声認識結果受信部１５４は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。

　翻訳部１５５は、音声認識結果受信部１５４が受信した音声認識結果を、翻訳用情報格納部１５１の翻訳用情報を用いて、目的言語に翻訳し、翻訳結果を取得する。翻訳部１５５における翻訳アルゴリズム等と問わない。翻訳部１５５は公知技術であるので詳細な説明を省略する。翻訳部１５５は、通常、ＭＰＵやメモリ等から実現され得る。翻訳部１５５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

　翻訳判断手段１５５１は、音声認識結果受信部１５４が受信した音声認識結果に対する翻訳処理が成功であるか失敗であるかを判断する。翻訳判断手段１５５１は、例えば、音声認識結果受信部１５４が受信した音声認識結果が有する情報であり、１以上の用語に対応する情報である部分音声認識結果（通常、原言語の用語の文字列）に対応する目的言語の用語の表記が、翻訳用情報格納部１５１に存在するか否かを判断する。なお、ここで、部分音声認識結果は、通常、音声認識結果の一部であるが、音声認識結果と同じである場合もあり得る。また、翻訳判断手段１５５１は、音声認識結果受信部１５４が受信した音声認識結果に対して、翻訳手段１５５３に翻訳処理を行わせ、その結果が成功であるか失敗であるかを判断しても良い。成功である場合は、部分音声認識結果に対応する目的言語の用語の表記が、翻訳用情報格納部１５１に存在する場合である。また、失敗である場合は、部分音声認識結果に対応する目的言語の用語の表記が、翻訳用情報格納部１５１に存在しない場合である。なお、翻訳判断手段１５５１は、翻訳結果の尤度が予め決められた値より大きい（以上の）場合に翻訳処理が成功であり、予め決められた値以下の（より小さい）場合に翻訳処理が失敗であると判断しても良い。翻訳判断手段１５５１は、通常、ＭＰＵやメモリ等から実現され得る。翻訳判断手段１５５１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

　翻訳情報送信指示手段１５５２は、翻訳判断手段１５５１が目的言語の用語の表記は翻訳用情報格納部１５１に存在しないと判断した場合に、辞書サーバ装置１３に対して、目的言語の用語の表記を送信する指示を行う。この指示は、例えば、原言語の用語の表記と目的言語の言語識別子とを含む。翻訳情報送信指示手段１５５２は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。

　翻訳手段１５５３は、音声認識結果受信部１５４が受信した音声認識結果を、翻訳用情報格納部１５１の翻訳用情報を用いて、目的言語に翻訳し、翻訳結果を取得する。また、翻訳手段１５５３は、翻訳情報送信指示手段１５５２における指示の送信に対応して、辞書サーバ装置１３から翻訳用情報受信部１５２が受信した目的言語の用語の表記を用いて、音声認識結果を目的言語に翻訳し、翻訳結果を取得する。また、翻訳手段１５５３は、例えば、翻訳判断手段１５５１が目的言語の用語の表記は翻訳用情報格納部１５１に存在すると判断した場合に、翻訳用情報格納部１５１の目的言語の用語の表記を用いて音声認識結果を翻訳し、翻訳結果を取得する。なお、翻訳結果とは、通常、目的言語の用語の文字列である。翻訳手段１５５３は、通常、ＭＰＵやメモリ等から実現され得る。翻訳手段１５５３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

　翻訳結果送信部１５６は、翻訳部１５５が取得した翻訳結果を送信する。翻訳結果送信部１５６は、音声合成サーバ装置１６に直接的、または間接的に翻訳結果を送信する。翻訳結果送信部１５６は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。

　音声合成用情報格納部１６１は、２以上の言語のうちのすべての言語または２以上の一部の言語について、音声合成用情報を格納し得る。音声合成用情報格納部１６１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。

　通常、辞書サーバ装置１３から音声合成用情報を受信することにより、音声合成用情報格納部１６１に音声合成用情報が記憶される。ただし、音声合成用情報格納部１６１に音声合成用情報が記憶される過程は問わない。例えば、記録媒体を介して音声合成用情報が音声合成用情報格納部１６１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された音声合成用情報が音声合成用情報格納部１６１で記憶されるようになってもよい。

　音声合成用情報受信部１６２は、辞書サーバ装置１３から、２以上の言語のうちのすべての言語または２以上の一部の言語について、音声合成用情報を受信する。音声合成用情報受信部１６２は、音声合成情報送信指示手段１６５２における辞書サーバ装置１３への指示の送信に対応して、辞書サーバ装置１３から音声合成情報を受信する。音声合成用情報受信部１６２は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。

　音声合成用情報蓄積部１６３は、音声合成用情報受信部１６２が受信した音声合成用情報を音声合成用情報格納部１６１に蓄積する。また、音声合成用情報蓄積部１６３は、音声合成用情報受信部１６２が受信した音声合成情報を音声合成用情報格納部１６１に蓄積する。音声合成用情報蓄積部１６３は、通常、ＭＰＵやメモリ等から実現され得る。音声合成用情報蓄積部１６３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

　翻訳結果受信部１６４は、翻訳サーバ装置１５が取得した翻訳結果を受信する。翻訳結果受信部１６４は、翻訳サーバ装置１５から直接、または間接的に翻訳結果を受信する。翻訳結果受信部１６４は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。

　音声合成部１６５は、翻訳結果受信部１６４が受信した翻訳結果を、音声合成用情報格納部１６１の音声合成用情報を用いて音声合成し、音声合成結果を取得する。音声合成のアルゴリズム等と問わない。音声合成部１６５は公知技術であるので詳細な説明を省略する。音声合成部１６５は、通常、ＭＰＵやメモリ等から実現され得る。音声合成部１６５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

　音声合成判断手段１６５１は、翻訳結果受信部１６４が受信した翻訳結果に対する音声合成処理が成功であるか失敗であるかを判断する。音声合成判断手段１６５１は、例えば、翻訳結果受信部１６４が受信した翻訳結果が有する情報であり、１以上の用語に対応する情報である部分翻訳結果に対応する音声合成情報が、音声合成用情報格納部１６１に存在するか否かを判断する。なお、ここで、部分翻訳結果は、通常、翻訳結果の一部であるが、翻訳結果と同じである場合もあり得る。また、音声合成判断手段１６５１は、翻訳結果受信部１６４が受信した翻訳結果に対して、音声合成手段１６５３に音声合成処理を行わせ、その結果が成功であるか失敗であるかを判断しても良い。成功である場合は、部分翻訳結果に対応する音声合成情報が、音声合成用情報格納部１６１に存在する場合である。また、失敗である場合は、部分翻訳結果に対応する音声合成情報が、音声合成用情報格納部１６１に存在しない場合である。なお、音声合成判断手段１６５１は、音声合成結果の尤度が予め決められた値より大きい（以上の）場合に音声合成処理が成功であり、予め決められた値以下の（より小さい）場合に音声合成処理が失敗であると判断しても良い。音声合成判断手段１６５１は、通常、ＭＰＵやメモリ等から実現され得る。音声合成判断手段１６５１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

　音声合成情報送信指示手段１６５２は、翻訳結果受信部１６４が受信した翻訳結果に対する音声合成処理が失敗であると判断した場合に、辞書サーバ装置１３に対して、音声合成情報を送信する指示を行う。例えば、音声合成情報送信指示手段１６５２は、音声合成判断手段１６５１が音声合成情報は音声合成用情報格納部１６１に存在しないと判断した場合に、辞書サーバ装置１３に対して、音声合成情報を送信する指示を行う。なお、この指示は、例えば、目的言語の用語の表記（部分翻訳結果）と目的言語の言語識別子とを含む。音声合成情報送信指示手段１６５２は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。

　音声合成手段１６５３は、翻訳結果受信部１６４が受信した翻訳結果を、音声合成用情報格納部１６１の音声合成用情報を用いて音声合成し、音声合成結果を取得する。また、音声合成手段１６５３は、音声合成情報送信指示手段１６５２における指示の送信に対応して、辞書サーバ装置１３から音声合成用情報受信部１６２が受信した音声合成情報を用いて部分翻訳結果を音声合成し、音声合成結果を取得する。また、例えば、音声合成手段１６５３は、音声合成判断手段１６５１が音声合成情報は音声合成用情報格納部１６１に存在すると判断した場合に、音声合成用情報格納部１６１の音声合成用情報を用いて部分翻訳結果を音声合成し、音声合成結果を取得しても良い。音声合成結果とは、通常、目的言語の音声の情報である。音声合成手段１６５３は、通常、ＭＰＵやメモリ等から実現され得る。音声合成手段１６５３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

　音声合成結果送信部１６６は、音声合成部１６５が取得した音声合成結果を第二端末装置１２に送信する。音声合成結果送信部１６６は、直接的または間接的に、音声合成結果を第二端末装置１２に送信する。音声合成結果送信部１６６は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。

　入力受付部１７１は、ユーザから各種の指示や各種の情報の入力を受け付ける。指示や情報の入力手段は、テンキーやキーボードやマウスやメニュー画面によるもの等、何でも良い。入力受付部１７１は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。

　情報受信部１７２は、辞書サーバ装置１３から、情報を受信する。この受信する情報は、全言語用語情報または全言語用語情報の一部の情報である。情報受信部１７２は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。

　情報出力部１７３は、情報受信部１７２が受信した情報を出力する。情報出力部１７３は、２以上のすべての言語について、予め決められたすべての情報が存在する場合と、予め決められたすべての情報のうちの一部の情報が存在しない場合とにより、視覚的に異なる態様で、受信された情報（全言語用語情報または全言語用語情報の一部の情報）を出力する。情報出力部１７３は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。情報出力部１７３は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

　入力情報送信部１７４は、入力受付部１７１が受け付けた指示または情報を、辞書サーバ装置１３に送信する。入力情報送信部１７４は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。

　次に、音声翻訳システム１の動作について説明する。まず、第一端末装置１１の動作について説明する。第一端末装置１１の第一音声受付部１１１は、ユーザＡから発声された言語Ａの音声を受け付ける。そして、第一音声送信部１１２は、受け付けた音声を音声情報とし、当該音声情報（単に「音声」という場合もある）を送信する。また、第一音声受信部１１３は、ユーザＢが発声した言語Ｂの音声情報を音声翻訳して得られた言語Ａの音声情報を受信する。次に、第一音声出力部１１４は、言語Ａの音声情報を、音声として出力する。

　次に、第二端末装置１２の動作について説明する。第二端末装置１２の第二音声受信部１２３は、ユーザＡから発声された言語Ａの音声を音声翻訳して得られた言語Ｂの音声情報を受信する。そして、第二音声出力部１２４は、第二音声受信部１２３が受信した言語Ｂの音声情報を、音声として出力する。また、第二音声受付部１２１は、第二端末装置１２のユーザＢから、言語Ｂの音声を受け付ける。そして、第二音声送信部１２２は、第二音声受付部１２１が受け付けた言語Ｂの音声を音声情報として送信する。

　次に、辞書サーバ装置１３の動作について、図７のフローチャートを用いて説明する。

　（ステップＳ７０１）辞書サーバ装置１３は、外部の装置から指示を受信したか否かを判断する。指示を受信すればステップＳ７０２に行き、指示を受信しなければステップＳ７０６に行く。

　（ステップＳ７０２）辞書サーバ装置１３は、ステップＳ７０１で受け付けた指示が情報の送信指示であるか否かを判断する。情報の送信指示であればステップＳ７０３に行き、情報の送信指示でなければステップＳ７０５に行く。

　（ステップＳ７０３）辞書サーバ装置１３の音声認識用情報送信部１３２、翻訳用情報送信部１３３、または音声合成用情報送信部１３４は、ステップＳ７０１で受け付けた指示に対応する情報を、全言語対辞書格納部１３１から検索し、音声認識のために必要な情報、または翻訳のために必要な情報、または音声合成のために必要な情報を取得する。さらに具体的には、例えば、音声認識用情報送信部１３２は、ステップＳ７０１で受け付けた指示が有する音声認識に失敗した音声情報と言語識別子とをキーとして、全言語対辞書格納部１３１を検索し、音声認識情報（例えば、音響モデル）を取得する。また、例えば、翻訳用情報送信部１３３は、ステップＳ７０１で受け付けた指示が有する翻訳に失敗した音声認識結果（一部である場合もある）と原言語の識別子と目的言語の識別子とをキーとして、全言語対辞書格納部１３１を検索し、翻訳情報（例えば、目的言語の用語の表記）を取得する。さらに、例えば、音声合成用情報送信部１３４は、ステップＳ７０１で受け付けた指示が有する音声合成に失敗した翻訳結果（一部である場合もある）と目的言語の識別子とをキーとして、全言語対辞書格納部１３１を検索し、音声合成情報（例えば、用語の読みとアクセントの情報）を取得する。

　（ステップＳ７０４）音声認識用情報送信部１３２、翻訳用情報送信部１３３、または音声合成用情報送信部１３４は、ステップＳ７０３で取得した情報を送信する。送信先は、指示を送信してきた装置（音声認識サーバ装置１４、翻訳サーバ装置１５、または音声合成サーバ装置１６）である。ステップＳ７０１に戻る。

　（ステップＳ７０５）辞書サーバ装置１３は、ステップＳ７０１で受け付けた指示に対応する処理を行う。例えば、指示が情報の出力指示（送信指示）である場合、出力部１３９は、指示に対応する情報を全言語対辞書格納部１３１から検索し、検索により取得した情報を、指示を送信してきた装置（通常、第三端末装置１７）に送信する。ステップＳ７０１に戻る。

　（ステップＳ７０６）情報受付部１３７は、外部の装置（通常、第三端末装置１７）から情報を受信したか否かを判断する。情報を受信すればステップＳ７０７に行き、情報を受信しなければステップＳ７０８に行く。

　（ステップＳ７０７）情報蓄積部１３８は、ステップＳ７０６で受信した情報を、全言語対辞書格納部１３１内の対応する領域に蓄積する。なお、情報とは、例えば、用語の読み、ＨＭＭ、アクセントの情報、トーンの情報などであり、音声認識、翻訳、または音声合成に利用できる情報である。また、対応する領域とは、以下のことを言う。つまり、受信した情報は、例えば、言語識別子と用語を特定する情報（用語の表記など）と追記する情報（用語の読み、ＨＭＭ、アクセントの情報、トーンの情報など）が含まれる。そして、情報蓄積部１３８は、言語識別子と用語を特定する情報を用いて、追記する情報を書き込むべき領域を決定し、当該領域に追記する情報を蓄積する。ステップＳ７０１に戻る。

　（ステップＳ７０８）音声認識用情報送信部１３２、翻訳用情報送信部１３３、または音声合成用情報送信部１３４は、情報を送信するタイミングであるか否かを判断する。情報を送信するタイミングであればステップＳ７１４に行き、情報を送信するタイミングでなければステップＳ７０９に行く。ここで、情報とは、音声認識用情報、翻訳用情報、または音声合成用情報である。また、情報を送信するタイミングは、例えば、ユーザからの指示を受け付けたタイミングなどである。さらに、情報の送信先は、音声認識用情報送信部１３２、翻訳用情報送信部１３３、または音声合成用情報送信部１３４が予め格納している。

　（ステップＳ７０９）表記取得部１３５は、ウェブ上のクロールを開始するタイミングであるか否かを判断する。クロールを開始するタイミングであればステップＳ７１０に行き、クロールを開始するタイミングでなければステップＳ７０１に戻る。なお、例えば、表記取得部１３５は、定期的にクロールを開始するタイミングであると判断する。

　（ステップＳ７１０）表記取得部１３５は、ウェブ上をクロールし、用語の表記を取得する。なお、表記取得部１３５は、更新されたウェブページを検索し、旧ウェブページと比較し、更新箇所を抽出し、当該更新箇所から用語（名詞、名詞句、動詞、形容詞など）を取得することは好適である。なお、用語の表記は、適宜、「用語」とも言う。また、クロールする技術は公知技術であるので詳細な説明を省略する。さらに、表記取得部１３５は、本ステップで、一の用語を取得しても良いし、複数の用語を取得しても良い。

　（ステップＳ７１１）表記取得部１３５は、ステップＳ７１０で取得した１以上の各用語の表記をキーとして、全言語対辞書格納部１３１を検索する。

　（ステップＳ７１２）表記取得部１３５は、ステップＳ７１１における検索の結果、ステップＳ７１０で取得した１以上の各用語の表記が、全言語対辞書格納部１３１に存在するか否かを判断する。すべての用語の表記が存在すればステップＳ７０１に戻り、存在しない用語の表記があればステップＳ７１３に行く。

　（ステップＳ７１３）表記蓄積部１３６は、ステップＳ７１２で全言語対辞書格納部１３１に存在しないと判断された１以上の用語の表記を、全言語対辞書格納部１３１に蓄積する。なお、表記蓄積部１３６は、用語の表記に対応付けられている言語識別子に対応する領域に、１以上の用語の表記を蓄積する。また、表記取得部１３５は、用語を取得する際に、用語と対応付けて言語識別子を取得する、とする。ステップＳ７０１に戻る。

　（ステップＳ７１４）音声認識用情報送信部１３２は、音声認識用情報を送信するタイミングであるか否かを判断する。音声認識用情報を送信するタイミングであればステップＳ７１５に行き、音声認識用情報を送信するタイミングでなければステップＳ７１７に行く。音声認識用情報を送信するタイミングは、例えば、ユーザからの指示を受け付けたタイミングなどである。

　（ステップＳ７１５）音声認識用情報送信部１３２は、全言語対辞書格納部１３１から音声認識用情報を読み出す。

　（ステップＳ７１６）音声認識用情報送信部１３２は、ステップＳ７１５で読み出した音声認識用情報を、１以上の音声認識サーバ装置１４に送信する。なお、１以上の音声認識サーバ装置１４に情報を送信するための情報（ＩＰアドレスやＵＲＬなど）は、音声認識用情報送信部１３２が予め保持している、とする。ステップＳ７０１に戻る。

　（ステップＳ７１７）翻訳用情報送信部１３３は、翻訳用情報を送信するタイミングであるか否かを判断する。翻訳用情報を送信するタイミングであればステップＳ７１８に行き、翻訳用情報を送信するタイミングでなければステップＳ７２０に行く。なお、翻訳用情報を送信するタイミングは、例えば、ユーザからの指示を受け付けたタイミングなどである。

　（ステップＳ７１８）翻訳用情報送信部１３３は、全言語対辞書格納部１３１から翻訳用情報を読み出す。

　（ステップＳ７１９）翻訳用情報送信部１３３は、ステップＳ７１８で読み出した翻訳用情報を、１以上の翻訳サーバ装置１５に送信する。なお、１以上の翻訳サーバ装置１５に情報を送信するための情報（ＩＰアドレスやＵＲＬなど）は、翻訳用情報送信部１３３が予め保持している、とする。ステップＳ７０１に戻る。

　（ステップＳ７２０）音声合成用情報送信部１３４は、音声合成用情報を送信するタイミングであるか否かを判断する。音声合成用情報を送信するタイミングであればステップＳ７２１に行き、音声合成用情報を送信するタイミングでなければステップＳ７０１に戻る。なお、音声合成用情報を送信するタイミングは、例えば、ユーザからの指示を受け付けたタイミングなどである。

　（ステップＳ７２１）音声合成用情報送信部１３４は、全言語対辞書格納部１３１から音声合成用情報を読み出す。

　（ステップＳ７２２）音声合成用情報送信部１３４は、ステップＳ７１８で読み出した音声合成用情報を、１以上の音声合成サーバ装置１６に送信する。なお、１以上の音声合成サーバ装置１６に情報を送信するための情報（ＩＰアドレスやＵＲＬなど）は、音声合成用情報送信部１３４が予め保持している、とする。ステップＳ７０１に戻る。

　なお、図７のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

　次に、音声認識サーバ装置１４の動作について、図８のフローチャートを用いて説明する。

　（ステップＳ８０１）音声情報受信部１４４は、音声情報を受信したか否かを判断する。音声情報を受信すればステップＳ８０２に行き、音声情報を受信しなければステップＳ８０９に行く。

　（ステップＳ８０２）音声認識手段１４５３は、ステップＳ８０１で受信された音声情報に対して、音声認識処理を行い、音声認識結果を得る。

　（ステップＳ８０３）音声認識判断手段１４５１は、ステップＳ８０２における音声認識の結果が成功であるか否かを判断する。ここで、例えば、音声認識結果の尤度を用いて判断する。成功であればステップＳ８０４に行き、成功でなければステップＳ８０５に行く。

　（ステップＳ８０４）音声認識結果送信部１４６は、ステップＳ８０２で取得された音声認識結果を、翻訳サーバ装置１５に送信する。ステップＳ８０１に戻る。

　（ステップＳ８０５）音声認識情報送信指示手段１４５２は、音声情報を音声認識するために必要な情報（音声認識情報）を取得するために、辞書サーバ装置１３に送信する情報を取得する。取得する情報は、例えば、音声認識に失敗した音声情報（一部である場合もある）や、言語を特定する情報（言語識別子）などである。

　（ステップＳ８０６）音声認識情報送信指示手段１４５２は、ステップＳ８０５で取得した情報を含む指示を、辞書サーバ装置１３に送信する。この指示は、音声認識情報の送信を促す指示である。

　（ステップＳ８０７）音声認識用情報受信部１４２は、ステップＳ８０６における指示の送信に対応して、音声認識情報を受信したか否かを判断する。音声認識情報を受信すればステップＳ８０８に行き、音声認識情報を受信しなければステップＳ８０７に戻る。

　（ステップＳ８０８）音声認識用情報蓄積部１４３は、ステップＳ８０７で受信された音声認識情報を音声認識用情報格納部１４１に蓄積する。

　（ステップＳ８０９）音声認識手段１４５３は、ステップＳ８０７で受信された音声認識情報を用いて、ステップＳ８０１で受信された音声情報に対して、音声認識処理を行い、音声認識結果を得る。ステップＳ８０４に行く。

　（ステップＳ８１０）音声認識用情報受信部１４２は、辞書サーバ装置１３から、２以上の言語のうちのすべての言語または２以上の一部の言語についての音声認識用情報を受信したか否かを判断する。音声認識用情報を受信すればステップＳ８１１に行き、音声認識用情報を受信しなければステップＳ８０１に戻る。

　（ステップＳ８１１）音声認識用情報蓄積部１４３は、ステップＳ８１０で受信された音声認識用情報を音声認識用情報格納部１４１に蓄積する。ステップＳ８０１に戻る。

　なお、図８のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

　次に、翻訳サーバ装置１５の動作について、図９のフローチャートを用いて説明する。

　（ステップＳ９０１）音声認識結果受信部１５４は、音声認識結果を受信したか否かを判断する。音声認識結果を受信すればステップＳ９０２に行き、音声認識結果を受信しなければステップＳ９０９に行く。

　（ステップＳ９０２）翻訳手段１５５３は、ステップＳ９０１で受信された音声認識結果に対して、翻訳処理を行い、翻訳結果を得る。

　（ステップＳ９０３）翻訳判断手段１５５１は、ステップＳ９０２における翻訳の結果が成功であるか否かを判断する。ここで、例えば、翻訳結果の尤度を用いて判断する。成功であればステップＳ９０４に行き、成功でなければステップＳ９０５に行く。

　（ステップＳ９０４）翻訳結果送信部１５６は、ステップＳ９０２で取得された翻訳結果を、音声合成サーバ装置１６に送信する。ステップＳ９０１に戻る。

　（ステップＳ９０５）翻訳情報送信指示手段１５５２は、音声認識結果を翻訳するために必要な情報（翻訳情報）を取得するために、辞書サーバ装置１３に送信する情報を取得する。取得する情報は、例えば、翻訳に失敗した音声認識結果（一部である場合もある）と原言語の識別子と目的言語の識別子等である。

　（ステップＳ９０６）翻訳情報送信指示手段１５５２は、ステップＳ９０５で取得した情報を含む指示を、辞書サーバ装置１３に送信する。この指示は、翻訳情報の送信を促す指示である。

　（ステップＳ９０７）翻訳用情報受信部１５２は、ステップＳ９０６における指示の送信に対応して、翻訳情報を受信したか否かを判断する。翻訳情報を受信すればステップＳ９０８に行き、翻訳情報を受信しなければステップＳ９０７に戻る。

　（ステップＳ９０８）翻訳用情報蓄積部１５３は、ステップＳ９０７で受信された翻訳情報を翻訳用情報格納部１５１に蓄積する。

　（ステップＳ９０９）翻訳手段１５５３は、ステップＳ９０７で受信された翻訳情報を用いて、ステップＳ９０１で受信された音声認識結果に対して、翻訳処理を行い、翻訳結果を得る。ステップＳ９０４に行く。

　（ステップＳ９１０）翻訳用情報受信部１５２は、辞書サーバ装置１３から、２以上の言語のうちのすべての言語または２以上の一部の言語についての翻訳用情報を受信したか否かを判断する。翻訳用情報を受信すればステップＳ９１１に行き、翻訳用情報を受信しなければステップＳ９０１に戻る。

　（ステップＳ９１１）翻訳用情報蓄積部１５３は、ステップＳ９１０で受信された翻訳用情報を翻訳用情報格納部１５１に蓄積する。ステップＳ９０１に戻る。

　なお、図９のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

　次に、音声合成サーバ装置１６の動作について、図１０のフローチャートを用いて説明する。

　（ステップＳ１００１）翻訳結果受信部１６４は、翻訳結果を受信したか否かを判断する。翻訳結果を受信すればステップＳ１００２に行き、翻訳結果を受信しなければステップＳ１００９に行く。

　（ステップＳ１００２）音声合成手段１６５３は、ステップＳ１００１で受信された音声情報に対して、音声合成処理を行い、音声合成結果を得る。

　（ステップＳ１００３）音声合成判断手段１６５１は、ステップＳ１００２における音声合成の結果が成功であるか否かを判断する。ここで、例えば、音声合成結果の尤度を用いて判断する。成功であればステップＳ１００４に行き、成功でなければステップＳ１００５に行く。

　（ステップＳ１００４）音声合成結果送信部１６６は、ステップＳ１００２で取得された音声合成結果を、第二端末装置１２に送信する。ステップＳ１００１に戻る。

　（ステップＳ１００５）音声合成情報送信指示手段１６５２は、翻訳結果を音声合成するために必要な情報（音声合成情報）を取得するために、辞書サーバ装置１３に送信する情報を取得する。取得する情報は、例えば、音声合成に失敗した翻訳結果（一部である場合もある）と目的言語の識別子である。

　（ステップＳ１００６）音声合成情報送信指示手段１６５２は、ステップＳ１００５で取得した情報を含む指示を、辞書サーバ装置１３に送信する。この指示は、音声合成情報の送信を促す指示である。

　（ステップＳ１００７）音声合成用情報受信部１６２は、ステップＳ１００６における指示の送信に対応して、音声合成情報を受信したか否かを判断する。音声合成情報を受信すればステップＳ１００８に行き、音声合成情報を受信しなければステップＳ１００７に戻る。

　（ステップＳ１００８）音声合成用情報蓄積部１６３は、ステップＳ１００７で受信された音声合成情報を音声合成用情報格納部１６１に蓄積する。

　（ステップＳ１００９）音声合成手段１６５３は、ステップＳ１００７で受信された音声合成情報を用いて、ステップＳ１００１で受信された翻訳結果に対して、音声合成処理を行い、音声合成結果を得る。ステップＳ１００４に行く。

　（ステップＳ１０１０）音声合成用情報受信部１６２は、辞書サーバ装置１３から、２以上の言語のうちのすべての言語または２以上の一部の言語についての音声合成用情報を受信したか否かを判断する。音声合成用情報を受信すればステップＳ１０１１に行き、音声合成用情報を受信しなければステップＳ１００１に戻る。

　（ステップＳ１０１１）音声合成用情報蓄積部１６３は、ステップＳ１０１０で受信された音声合成用情報を音声合成用情報格納部１６１に蓄積する。ステップＳ１００１に戻る。

　なお、図１０のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

　次に、第三端末装置１７の動作について説明する。第三端末装置１７の入力受付部１７１は、ユーザから各種の指示や各種の情報の入力を受け付ける。例えば、入力受付部１７１は、ユーザから全言語対辞書の出力指示を受け付ける。すると、入力情報送信部１７４は、入力受付部１７１が受け付けた出力指示を、辞書サーバ装置１３に送信する。そして、かかる出力指示の送信に対応して、情報受信部１７２は、辞書サーバ装置１３から、全言語対辞書の全部または一部を受信する。次に、情報出力部１７３は、情報受信部１７２が受信した全言語対辞書の全部または一部を出力する。なお、かかる出力の際に、情報出力部１７３は、２以上のすべての言語について、予め決められたすべての情報が存在する場合と、予め決められたすべての情報のうちの一部の情報が存在しない場合とにより、視覚的に異なる態様で、受信された情報（全言語用語情報または全言語用語情報の一部の情報）を出力する。つまり、抜けている情報が存在する用語において、情報が抜けていることをユーザに明示するように、全言語対辞書の全部または一部（１以上の用語の情報）を出力する。

　また、入力受付部１７１は、ユーザから全言語対辞書内の抜けている情報の入力を受け付ける。そして、入力情報送信部１７４は、入力受付部１７１が受け付けた情報を、辞書サーバ装置１３に送信する。そして、全言語対辞書に、かかる情報が蓄積されることとなる。このことにより、全言語対辞書が充実していく。

　以下、本実施の形態における音声翻訳システム１の具体的な動作について説明する。音声翻訳システム１の概念図は図１である。

　今、辞書サーバ装置１３の全言語対辞書格納部１３１は、図１１の全言語対辞書を格納している。図１１の全言語対辞書は、音声翻訳における辞書間の不整合の問題を解決するために、以下のような構造を有する。全言語対辞書は、音声認識辞書、翻訳用対訳辞書、および合成音声用辞書に必要な情報を全言語対で一元管理している情報である。具体的には、全言語対辞書は、構造情報「日本語＜表記＞＜読み＞＜音響モデル＞＜アクセント＞・・・」「英語＜表記＞＜読み＞＜音響モデル＞＜アクセント＞＜トーン＞・・・」「中国語＜表記＞＜読み＞＜音響モデル＞＜アクセント＞＜声調＞・・・」「ドイツ語＜表記＞＜読み＞＜音響モデル＞＜アクセント＞＜フラグ情報＞・・・」などを有する、とする。そして、全言語対辞書は、構造情報に対応した言語ごとの用語情報を有する。図１１において、用語「大阪」の日本語の用語情報は「＜表記＞大阪＜読み＞おおさか＜音響モデル＞・・・＜アクセント＞４モーラ０型・・・」である。なお、括弧（"＜""＞"）で囲まれた情報は、辞書の要素（属性）を示す情報であり、括弧（"＜""＞"）で囲まれた情報群が、ここでの構造情報である。

　かかる状況において、まず、ユーザからの指示により、辞書サーバ装置１３の音声認識用情報送信部１３２は、音声認識用情報を送信するタイミングであると、判断した、とする。

　そして、音声認識用情報送信部１３２は、全言語対辞書格納部１３１から、図１２に示す音声認識用情報（音声認識辞書と同意義である）を読み出す。音声認識辞書は、各用語ごと、各言語ごとに、「表記」「音響モデル」等の情報を有する。

　次に、音声認識用情報送信部１３２は、読み出した音声認識辞書を、１以上の音声認識サーバ装置１４に送信する。

　次に、1以上の各音声認識サーバ装置１４の音声認識用情報受信部１４２は、辞書サーバ装置１３から、音声認識辞書を受信する。

　そして、音声認識用情報蓄積部１４３は、受信された音声認識辞書（音声認識用情報）を音声認識用情報格納部１４１に蓄積する。

　また、次に、ユーザからの指示により、辞書サーバ装置１３の翻訳用情報送信部１３３は、翻訳用情報を送信するタイミングであると判断する。

　そして、翻訳用情報送信部１３３は、全言語対辞書格納部１３１から、図１３に示す翻訳用情報（翻訳辞書と同意義である）を読み出す。翻訳辞書は、各用語ごと、各言語ごとに、「表記」等の情報を有する。

　次に、翻訳用情報送信部１３３は、読み出した翻訳辞書を、１以上の翻訳サーバ装置１５に送信する。

　次に、1以上の各翻訳サーバ装置１５の翻訳用情報受信部１５２は、辞書サーバ装置１３から、翻訳辞書を受信する。

　そして、翻訳用情報蓄積部１５３は、受信された翻訳辞書（翻訳用情報）を翻訳用情報格納部１５１に蓄積する。

　さらに、音声合成用情報送信部１３４は、音声合成用情報を送信するタイミングであると判断する。

　次に、音声合成用情報送信部１３４は、全言語対辞書格納部１３１から、図１４に示す音声合成用情報（音声合成辞書と同意義である）を読み出す。音声合成辞書は、各用語ごと、各言語ごとに、「表記」「読み」「アクセント」等の情報を有する。

　次に、音声合成用情報送信部１３４は読み出した音声合成辞書を、１以上の音声合成サーバ装置１６に送信する。

　そして、音声合成用情報受信部１６２は、辞書サーバ装置１３から、音声合成辞書を受信する。

　そして、音声合成用情報蓄積部１６３は、は、受信された音声合成辞書（音声合成用情報）を音声合成用情報格納部１６１に蓄積する。

　以上の処理により、音声認識サーバ装置１４、翻訳サーバ装置１５、および音声合成サーバ装置１６には、整合性のある辞書が格納され、通常、問題なく音声翻訳ができることとなった。ただし、音声認識サーバ装置１４、翻訳サーバ装置１５、および音声合成サーバ装置１６の各辞書は、それぞれ独自に拡張され得ることもあり、その結果、辞書間の不整合が生じる場合もあり得る。

　次に、音声認識サーバ装置１４、翻訳サーバ装置１５、および音声合成サーバ装置１６に、音声認識、翻訳、および音声合成に必要な辞書が構築された状況において、第一端末装置１１のユーザＡと、第二端末装置１２のユーザＢが、音声翻訳システムを利用して、電話で会話を行う、とする。なお、ユーザＡの言語は、例えば、日本語である。また、ユーザＢの言語は、例えば、英語である。

　そして、第一端末装置１１は、図１５に示す音声翻訳制御情報を保持している、とする。さらに、第二端末装置１２は、図１６に示す音声翻訳制御情報を保持している、とする。音声翻訳制御情報は、ユーザが発声する言語である原言語の情報（ここでは＜原言語＞の情報）、対話の相手が発声する言語である目的言語の情報（ここでは＜目的言語＞の情報）、音声認識サーバ装置１４と通信するための情報（ここでは＜音声認識サーバ＞の情報）、翻訳サーバ装置１５と通信するための情報（ここでは＜翻訳サーバ＞の情報）、音声合成サーバ装置１６と通信するための情報（ここでは＜音声合成サーバ＞の情報）、第二端末装置１２または第一端末装置１１の識別子（ここでは＜相手端末＞の情報）、および第一端末装置１１または第二端末装置１２の識別子（ここでは＜自端末＞の情報）などを有する。なお、＜音声認識サーバ＞、＜翻訳サーバ＞、＜音声合成サーバ＞の各情報は、ここでは、各装置のＩＰアドレスであるが、ＵＲＬや電話番号など、他の情報でも良いことは言うまでもない。また、＜相手端末＞、＜自端末＞の各情報は、ここでは、電話番号であるが、ＩＰアドレスやＭＡＣアドレスなど他の情報でも良いことは言うまでもない。

　そして、会話中において、ユーザＡが第一端末装置１１に対して「大阪」と発声した、とする。

　次に、第一端末装置１１は、「大阪」の音声情報を構成する。そして、第一端末装置１１は、図１５に示す音声翻訳制御情報を読み出し、「＜音声認識サーバ＞１８６．２２１．１．２７」で特定される音声認識サーバ装置１４に、「大阪」の音声情報と、図１５に示す音声翻訳制御情報を送信する。

　次に、音声認識サーバ装置１４は、「大阪」の音声情報と、図１５に示す音声翻訳制御情報を受信する。

　次に、音声認識サーバ装置１４の音声認識手段１４５３は、図１５に示す音声翻訳制御情報の「＜原言語＞日本語」を取得する。そして、音声認識手段１４５３は、日本語の音響モデル（図１２参照）を用いて、受信された「大阪」の音声情報に対して、音声認識処理を行い、音声認識結果（文字列「大阪」を有する）を得る。

　次に、音声認識判断手段１４５１は、音声認識結果が有する尤度が予め決められた閾値以上であるか否か（音声認識が成功であるか否か）を判断する。ここで、音声認識が成功であった、とする。

　次に、音声認識結果送信部１４６は、取得された音声認識結果を、図１５に示す音声翻訳制御情報が有する「＜翻訳サーバ＞２２５．６８．２１．１２９」で示される翻訳サーバ装置１５に送信する。また、音声認識結果送信部１４６は、図１５に示す音声翻訳制御情報も、「＜翻訳サーバ＞２２５．６８．２１．１２９」で示される翻訳サーバ装置１５に送信する。

　次に、翻訳サーバ装置１５の音声認識結果受信部１５４は、音声認識結果（「大阪」を有する）および音声翻訳制御情報を受信する。

　次に、翻訳手段１５５３は、音声翻訳制御情報が有する「＜原言語＞日本語」および「＜目的言語＞英語」を読み出す。

　そして、翻訳手段１５５３は、音声認識結果（「大阪」を有する）を日本語であると判断し、用語「大阪」と対になる「＜目的言語＞英語」の用語「Ｏｓａｋａ」を、図１３の翻訳辞書から読み出す。そして、翻訳手段１５５３は、翻訳結果「Ｏｓａｋａ」を得る。

　次に、翻訳判断手段１５５１は、「＜目的言語＞英語」に対応する用語を翻訳辞書から検索できたので、翻訳結果が成功であると判断する。

　次に、翻訳結果送信部１５６は、取得された翻訳結果「Ｏｓａｋａ」と図１５に示す音声翻訳制御情報とを、「＜音声合成サーバ＞５６．７２．１２８．２０２」で示される音声合成サーバ装置１６に送信する。

　次に、音声合成サーバ装置１６の翻訳結果受信部１６４は、翻訳結果「Ｏｓａｋａ」と図１５に示す音声翻訳制御情報とを受信する。

　そして、音声合成手段１６５３は、音声翻訳制御情報から「＜目的言語＞英語」を読み出す。

　次に、音声合成手段１６５３は、用語「Ｏｓａｋａ」、および「＜目的言語＞英語」に対応する音声合成情報（読みおよびアクセントなど）を、図１４の音声合成辞書から読み出す。

　次に、音声合成手段１６５３は、読み出した音声合成情報を用いて、音声合成処理を行い、音声合成結果を得る。

　次に、音声合成判断手段１６５１は、音声合成結果の尤度が予め決められた閾値以上であるので、音声合成の結果が成功であると判断する、とする。

　次に、音声合成結果送信部１６６は、取得された音声合成結果とを、「＜相手端末＞０９０－１４４５－１１２２」で特定される第二端末装置１２に送信する。

　次に、第二端末装置１２の第二音声受信部１２３は、ユーザＡから発声された日本語の音声「大阪」を音声翻訳して得られた英語の音声（「Ｏｓａｋａ」の音声）を受信する。

　そして、第二音声出力部１２４は、第二音声受信部１２３が受信した音声（「Ｏｓａｋａ」の音声）を出力する。

　以上の処理により、音声翻訳が実現する。また、ユーザＢが発声した音声がユーザＡに、翻訳されて届くためには、図１６の音声翻訳制御情報を利用する。また、音声翻訳の手順は、上記と同様である。

　また、音声認識、翻訳、音声合成の各処理段階で、各処理が失敗した場合、音声認識サーバ装置１４、翻訳サーバ装置１５、または音声合成サーバ装置１６は、リアルタイムに、辞書サーバ装置１３に問い合わせ、必要な情報を送信してもらう。そして、音声認識サーバ装置１４、翻訳サーバ装置１５、または音声合成サーバ装置１６は、各処理に必要な情報を辞書サーバ装置１３から受信した後、音声認識、翻訳、または音声合成の処理を進めることは上述した通りである。

　さらに、辞書サーバ装置１３の表記取得部１３５は、ウェブ上のクロールを開始するタイミングであると判断した、とする。

　そして、表記取得部１３５は、ウェブ上をクロールし、例えば、用語「名古屋」の表記「名古屋」を取得した、とする。そして、表記取得部１３５は、取得した用語の表記「名古屋」をキーとして、全言語対辞書を検索する。そして、表記取得部１３５は、検索の結果、取得した用語の表記「名古屋」が、全言語対辞書に存在しないと判断した、とする。

　次に、表記蓄積部１３６は、全言語対辞書に存在しないと判断された用語の表記「名古屋」を、全言語対辞書に蓄積する。そして、全言語対辞書は、例えば、図１７のようになる。図１７において、用語「名古屋」について、表記のみ存在し、読みや音響モデルが存在していない状況です。

　かかる状況において、第三端末装置１７の入力受付部１７１は、ユーザから全言語対辞書の出力指示を受け付けた、とする。

　次に、入力情報送信部１７４は、入力受付部１７１が受け付けた出力指示を、辞書サーバ装置１３に送信する。

　次に、辞書サーバ装置１３は、出力指示を受信する。そして、出力部１３９は、出力指示に対応する情報を全言語対辞書から検索し、検索により取得した情報を、指示を送信してきた装置（通常、第三端末装置１７）に送信する。

　次に、そして、出力指示の送信に対応して、第三端末装置１７の情報受信部１７２は、辞書サーバ装置１３から、全言語対辞書の一部を受信する。

　次に、次に、情報出力部１７３は、情報受信部１７２が受信した全言語対辞書の一部を出力する。かかる出力例は、図１８である。図１８において、２以上のすべての言語について、予め決められたすべての情報が存在する場合（用語「大阪」）と、予め決められたすべての情報のうちの一部の情報が存在しない場合（用語「名古屋」）とにより、視覚的に異なる態様で情報を出力している。図１８において、空のデータ領域（セル）は、網掛けになっている。これは、不足している情報の入力を、第三端末装置１７のユーザに促すためである。

　そして、ユーザは、例えば、用語「名古屋」の読み「なごや」や日本語の音響モデルや、韓国語の表記や読み等、英語の表記や読み等を入力する。次に、入力受付部１７１は、ユーザからの入力を受け付ける。

　次に、第三端末装置１７の入力情報送信部１７４は、入力受付部１７１が受け付けた情報を、辞書サーバ装置１３に送信する。

　次に、辞書サーバ装置１３の情報受付部１３７は、第三端末装置１７から、用語情報のうちのいくつかの情報（用語「名古屋」の読み「なごや」や日本語の音響モデルや、韓国語の表記や読み等、英語の表記や読み等）を受け付ける。

　そして、情報蓄積部１３８は、情報受付部１３７が受け付けた情報を、対応する言語の対応する用語の表記に対応付けて蓄積する。

　以上の処理により、辞書サーバ装置１３の全言語対辞書は充実していく。

　以上、本実施の形態によれば、音声翻訳において使用する音声認識辞書、翻訳辞書、および音声合成辞書において、ある辞書に存在する用語の情報が他の辞書には存在しない等という辞書の間の不整合を回避できる。その結果、音声翻訳が正常に行われるようになる。

　また、本実施の形態によれば、音声認識、翻訳、音声合成の各処理段階で、各処理が失敗する場合、音声認識サーバ装置１４、翻訳サーバ装置１５、または音声合成サーバ装置１６は、リアルタイムに、辞書サーバ装置１３に問い合わせ、必要な情報を送信してもらえる。その結果、極めて高い確率で、音声翻訳が行われる。

　さらに、本実施の形態によれば、ウェブ上をクロールしたり、ユーザからの情報の入力を受け付けたりすることにより、辞書サーバ装置１３の全言語対辞書を充実させることができるようになる。このため、新出の用語などを含む、種々の用語に対して、音声翻訳が可能となり得る。

　なお、本実施の形態において、主として、音声認識部１４５は、音声認識判断手段１４５１、音声認識情報送信指示手段１４５２、音声認識手段１４５３を具備するものとして説明した。ただし、音声認識部１４５は、音声認識判断手段１４５１、および音声認識情報送信指示手段１４５２を具備しなくても良い。かかる場合、音声認識部１４５は、音声認識処理を失敗しない、という前提である。また、本実施の形態において、主として、翻訳部１５５は、翻訳判断手段１５５１、翻訳情報送信指示手段１５５２、翻訳手段１５５３を具備するものとして説明した。ただし、翻訳部１５５は、翻訳判断手段１５５１、および翻訳情報送信指示手段１５５２を具備しなくても良い。かかる場合、翻訳部１５５は、翻訳処理を失敗しない、という前提である。さらに、音声合成部１６５は、音声合成判断手段１６５１、音声合成情報送信指示手段１６５２、音声合成手段１６５３を具備するものとして説明した。ただし、音声合成部１６５は、音声合成判断手段１６５１、および音声合成情報送信指示手段１６５２を具備しなくても良い。かかる場合、音声合成部１６５は、音声合成処理を失敗しない、という前提である。かかる場合、本実施の形態における音声翻訳システム１は、辞書サーバ装置と、１以上の音声認識サーバ装置、１以上の翻訳サーバ装置、１以上の音声合成サーバ装置とを有する音声翻訳システムであって、前記辞書サーバ装置は、２以上の言語の各言語について、１以上の単語を有する用語の表記と、用語を音声認識するための情報である音声認識情報と、用語を音声合成するための情報である音声合成情報とを有する用語情報を、前記２以上の言語のすべてについて対応付けて有する全言語用語情報を、２以上格納し得る全言語対辞書格納部と、前記２以上の言語のうちのすべての言語または２以上の一部の言語について、前記用語の音声認識情報を含む音声認識用情報を、前記全言語対辞書格納部から取得し、前記１以上の音声認識サーバ装置に送信する音声認識用情報送信部と、前記２以上の言語のうちのすべての言語または２以上の一部の言語について、前記用語の表記を含む翻訳用情報を、前記全言語対辞書格納部から取得し、前記１以上の翻訳サーバ装置に送信する翻訳用情報送信部と、前記２以上の言語のうちのすべての言語または２以上の一部の言語について、前記用語の音声合成情報を含む音声合成用情報を、前記全言語対辞書格納部から取得し、前記１以上の音声合成サーバ装置に送信する音声合成用情報送信部とを具備し、前記音声認識サーバ装置は、前記２以上の言語のうちのすべての言語または２以上の一部の言語について、音声認識用情報を格納し得る音声認識用情報格納部と、前記辞書サーバ装置から、前記２以上の言語のうちのすべての言語または２以上の一部の言語についての音声認識用情報を受信する音声認識用情報受信部と、前記音声認識用情報受信部が受信した音声認識用情報を前記音声認識用情報格納部に蓄積する音声認識用情報蓄積部と、第一端末装置に入力された音声の情報である音声情報を受信する音声情報受信部と、前記音声情報受信部が受信した音声情報を、前記音声認識用情報格納部の音声認識用情報を用いて音声認識し、音声認識結果を取得する音声認識部と、前記音声認識結果を送信する音声認識結果送信部とを具備し、前記翻訳サーバ装置は、前記２以上の言語のうちのすべての言語または２以上の一部の言語について、翻訳用情報を格納し得る翻訳用情報格納部と、前記辞書サーバ装置から、前記２以上の言語のうちのすべての言語または２以上の一部の言語について、音翻訳用情報を受信する翻訳用情報受信部と、前記翻訳用情報受信部が受信した翻訳用情報を前記翻訳用情報格納部に蓄積する翻訳用情報蓄積部と、前記音声認識結果を受信する音声認識結果受信部と、前記音声認識結果受信部が受信した音声認識結果を、前記翻訳用情報格納部の翻訳用情報を用いて、目的言語に翻訳し、翻訳結果を取得する翻訳部と、前記翻訳結果を送信する翻訳結果送信部とを具備し、前記音声合成サーバ装置は、前記２以上の言語のうちのすべての言語または２以上の一部の言語について、音声合成用情報を格納し得る音声合成用情報格納部と、前記辞書サーバ装置から、前記２以上の言語のうちのすべての言語または２以上の一部の言語について、音声合成用情報を受信する音声合成用情報受信部と、前記音声合成用情報受信部が受信した音声合成用情報を前記音声合成用情報格納部に蓄積する音声合成用情報蓄積部と、前記翻訳結果を受信する翻訳結果受信部と、前記翻訳結果受信部が受信した翻訳結果を、前記音声合成用情報格納部の音声合成用情報を用いて音声合成し、音声合成結果を取得する音声合成部と、前記音声合成結果を第二端末装置に送信する音声合成結果送信部とを具備する音声翻訳システム、である。

　また、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ－ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における辞書サーバ装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、２以上の言語の各言語について、１以上の単語を有する用語の表記と、用語を音声認識するための情報である音声認識情報と、用語を音声合成するための情報である音声合成情報とを有する用語情報を、前記２以上の言語のすべてについて対応付けて有する全言語用語情報を、２以上格納しており、コンピュータを、前記２以上の言語のうちのすべての言語または２以上の一部の言語について、前記用語の音声認識情報を含む音声認識用情報を、前記記憶媒体から取得し、前記１以上の音声認識サーバ装置に送信する音声認識用情報送信部と、前記２以上の言語のうちのすべての言語または２以上の一部の言語について、前記用語の表記を含む翻訳用情報を、前記記憶媒体から取得し、前記１以上の翻訳サーバ装置に送信する翻訳用情報送信部と、前記２以上の言語のうちのすべての言語または２以上の一部の言語について、前記用語の音声合成情報を含む音声合成用情報を、前記記憶媒体から取得し、前記１以上の音声合成サーバ装置に送信する音声合成用情報送信部として機能させるためのプログラム、である。

　また、上記プログラムにおいて、コンピュータを、インターネット上の１以上のウェブサーバ装置のウェブページから、前記記憶媒体に存在しない用語の表記を取得する表記取得部と、前記表記取得部が取得した用語の表記を、前記記憶媒体に蓄積する表記蓄積部としてさらに機能させるためのプログラムであることは好適である。

　また、上記プログラムにおいて、コンピュータを、１以上の第三端末装置から、用語情報のうちのいずれかの情報を受け付ける情報受付部と、前記情報受付部が受け付けた情報を、対応する言語の対応する用語の表記に対応付けて、前記記憶媒体に蓄積する情報蓄積部としてさらに機能させるためのプログラムであることは好適である。

　また、上記プログラムにおいて、コンピュータを、前記全言語用語情報または前記全言語用語情報の一部の情報を出力する出力部をさらに機能させ、前記出力部は、前記全言語用語情報または前記全言語用語情報の一部の情報を出力する場合に、前記２以上のすべての言語について、予め決められたすべての情報が存在する場合と、予め決められたすべての情報のうちの一部の情報が存在しない場合とにより、視覚的に異なる態様で、前記全言語用語情報または前記全言語用語情報の一部の情報を出力するものとして機能させるためのプログラムであることは好適である。

　また、本実施の形態における音声認識サーバ装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、２以上の言語のうちのすべての言語または２以上の一部の言語について、音声認識用情報を格納しており、コンピュータを、辞書サーバ装置から、前記２以上の言語のうちのすべての言語または２以上の一部の言語についての音声認識用情報を受信する音声認識用情報受信部と、前記音声認識用情報受信部が受信した音声認識用情報を前記記憶媒体に蓄積する音声認識用情報蓄積部と、第一端末装置に入力された音声の情報である音声情報を受信する音声情報受信部と、前記音声情報受信部が受信した音声情報を、前記記憶媒体の音声認識用情報を用いて音声認識し、音声認識結果を取得する音声認識部と、前記音声認識結果を送信する音声認識結果送信部として機能させるためのプログラムである。

　また、上記プログラムにおいて、前記音声認識部は、前記音声情報受信部が受信した音声情報に対する音声認識処理が成功であるか失敗であるかを判断する音声認識判断手段と、前記音声認識判断手段が、前記音声認識処理が失敗であると判断した場合に、前記辞書サーバ装置に対して、音声認識情報を送信する指示を行う音声認識情報送信指示手段と、
前記音声情報受信部が受信した音声情報を、前記記憶媒体の音声認識用情報を用いて音声認識し、音声認識結果を取得し、かつ、前記指示の送信に対応して、前記辞書サーバ装置から前記音声認識用情報受信部が受信した音声認識情報を用いて音声認識し、音声認識結果を取得する音声認識手段とを具備し、前記音声認識用情報受信部は、前記指示の送信に対応して、前記辞書サーバ装置から前記音声認識情報を受信するものとして機能させるためのプログラムであることは好適である。

　また、本実施の形態における翻訳サーバ装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、２以上の言語のうちのすべての言語または２以上の一部の言語について、翻訳用情報を格納しており、コンピュータを、辞書サーバ装置から、２以上の言語のうちのすべての言語または２以上の一部の言語について、音翻訳用情報を受信する翻訳用情報受信部と、前記翻訳用情報受信部が受信した翻訳用情報を前記記憶媒体に蓄積する翻訳用情報蓄積部と、前記音声認識結果を受信する音声認識結果受信部と、前記音声認識結果受信部が受信した音声認識結果を、前記記憶媒体の翻訳用情報を用いて、目的言語に翻訳し、翻訳結果を取得する翻訳部と、前記翻訳結果を送信する翻訳結果送信部として機能させるためのプログラムである。

　また、上記プログラムにおいて、前記翻訳部は、前記音声認識結果受信部が受信した音声認識結果に対する翻訳処理が成功であるか失敗であるかを判断する翻訳判断手段と、前記翻訳判断手段が、前記翻訳処理が失敗であると判断した場合に、前記辞書サーバ装置に対して、前記目的言語の用語の表記を送信する指示を行う翻訳情報送信指示手段と、前記音声認識結果受信部が受信した音声認識結果を、前記記憶媒体の翻訳用情報を用いて、目的言語に翻訳し、翻訳結果を取得し、かつ、前記指示の送信に対応して、前記辞書サーバ装置から前記翻訳用情報受信部が受信した目的言語の用語の表記を用いて、前記音声認識結果を目的言語に翻訳し、翻訳結果を取得する翻訳手段とを具備し、前記翻訳用情報受信部は、前記指示の送信に対応して、前記辞書サーバ装置から前記目的言語の用語の表記を受信するものとして機能させるためのプログラムであることは好適である。

　本実施の形態における音声合成サーバ装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、２以上の言語のうちのすべての言語または２以上の一部の言語について、音声合成用情報を格納しており、コンピュータを、辞書サーバ装置から、２以上の言語のうちのすべての言語または２以上の一部の言語について、音声合成用情報を受信する音声合成用情報受信部と、前記音声合成用情報受信部が受信した音声合成用情報を前記記憶媒体に蓄積する音声合成用情報蓄積部と、前記翻訳結果を受信する翻訳結果受信部と、前記翻訳結果受信部が受信した翻訳結果を、前記記憶媒体の音声合成用情報を用いて音声合成し、音声合成結果を取得する音声合成部と、
前記音声合成結果を第二端末装置に送信する音声合成結果送信部として機能させるためのプログラムである。

　また、上記プログラムにおいて、前記音声合成部は、前記翻訳結果受信部が受信した翻訳結果に対する音声合成処理が成功であるか失敗であるかを判断する音声合成判断手段と、前記音声合成判断手段が、前記音声合成処理が失敗であると判断した場合に、前記辞書サーバ装置に対して、音声合成情報を送信する指示を行う音声合成情報送信指示手段と、前記翻訳結果受信部が受信した翻訳結果を、前記記憶媒体の音声合成用情報を用いて音声合成し、音声合成結果を取得し、かつ、前記指示の送信に対応して、前記辞書サーバ装置から前記音声合成用情報受信部が受信した音声合成情報を用いて前記翻訳結果を音声合成し、音声合成結果を取得する音声合成手段とを具備し、前記音声合成用情報受信部は、前記指示の送信に対応して、前記辞書サーバ装置から前記音声合成情報を受信するものとして機能させるためのプログラムであることは好適である。

　また、図１９は、本明細書で述べたプログラムを実行して、上述した実施の形態の音声翻訳システム等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１９は、このコンピュータシステム３４０の概観図であり、図２０は、コンピュータシステム３４０のブロック図である。

　図１９において、コンピュータシステム３４０は、ＦＤドライブ、ＣＤ－ＲＯＭドライブを含むコンピュータ３４１と、キーボード３４２と、マウス３４３と、モニタ３４４とを含む。

　図２０において、コンピュータ３４１は、ＦＤドライブ３４１１、ＣＤ－ＲＯＭドライブ３４１２に加えて、ＭＰＵ３４１３と、ＣＤ－ＲＯＭドライブ３４１２及びＦＤドライブ３４１１に接続されたバス３４１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３４１５とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３４１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３４１７とを含む。ここでは、図示しないが、コンピュータ３４１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。

　コンピュータシステム３４０に、上述した実施の形態の音声認識等の機能を実行させるプログラムは、ＣＤ－ＲＯＭ３５０１、またはＦＤ３５０２に記憶されて、ＣＤ－ＲＯＭドライブ３４１２またはＦＤドライブ３４１１に挿入され、さらにハードディスク３４１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４１に送信され、ハードディスク３４１７に記憶されても良い。プログラムは実行の際にＲＡＭ３４１６にロードされる。プログラムは、ＣＤ－ＲＯＭ３５０１、ＦＤ３５０２またはネットワークから直接、ロードされても良い。

　プログラムは、コンピュータ３４１に、上述した実施の形態の音声認識等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３４０がどのように動作するかは周知であり、詳細な説明は省略する。

　なお、上記プログラムにおいて、情報を送信する送信ステップや、情報を受信する受信ステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。

　また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

　また、上記各実施の形態において、一の装置に存在する２以上の通信手段（音声情報受信部、音声認識用情報受信部など）は、物理的に一の媒体で実現されても良いことは言うまでもない。

　また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

　本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

　以上のように、本発明にかかる音声翻訳システムは、音声翻訳において使用する辞書の間の不整合をなくすことができる、という効果を有し、音声翻訳システム等として有用である。

実施の形態１における音声翻訳システムの概念図同音声翻訳システムのブロック図同辞書サーバ装置のブロック図同音声認識サーバ装置のブロック図同翻訳サーバ装置のブロック図同音声合成サーバ装置のブロック図同辞書サーバ装置の動作について説明するフローチャート同音声認識サーバ装置の動作について説明するフローチャート同翻訳サーバ装置の動作について説明するフローチャート同音声合成サーバ装置の動作について説明するフローチャート同全言語対辞書を示す図同音声認識辞書を示す図同翻訳辞書を示す図同音声合成辞書を示す図同音声翻訳制御情報を示す図同音声翻訳制御情報を示す図同全言語対辞書を示す図同出力例を示す図同コンピュータシステムの概観図同コンピュータシステムのブロック図

Claims

辞書サーバ装置と、１以上の音声認識サーバ装置、１以上の翻訳サーバ装置、１以上の音声合成サーバ装置とを有する音声翻訳システムであって、
前記辞書サーバ装置は、
２以上の言語の各言語について、１以上の単語を有する用語の表記と、用語を音声認識するための情報である音声認識情報と、用語を音声合成するための情報である音声合成情報とを有する用語情報を、前記２以上の言語のすべてについて対応付けて有する全言語用語情報を、２以上格納し得る全言語対辞書格納部と、
前記２以上の言語のうちのすべての言語または２以上の一部の言語について、前記用語の音声認識情報を含む音声認識用情報を、前記全言語対辞書格納部から取得し、前記１以上の音声認識サーバ装置に送信する音声認識用情報送信部と、
前記２以上の言語のうちのすべての言語または２以上の一部の言語について、前記用語の表記を含む翻訳用情報を、前記全言語対辞書格納部から取得し、前記１以上の翻訳サーバ装置に送信する翻訳用情報送信部と、
前記２以上の言語のうちのすべての言語または２以上の一部の言語について、前記用語の音声合成情報を含む音声合成用情報を、前記全言語対辞書格納部から取得し、前記１以上の音声合成サーバ装置に送信する音声合成用情報送信部とを具備し、
前記音声認識サーバ装置は、
前記２以上の言語のうちのすべての言語または２以上の一部の言語について、音声認識用情報を格納し得る音声認識用情報格納部と、
前記辞書サーバ装置から、前記２以上の言語のうちのすべての言語または２以上の一部の言語についての音声認識用情報を受信する音声認識用情報受信部と、
前記音声認識用情報受信部が受信した音声認識用情報を前記音声認識用情報格納部に蓄積する音声認識用情報蓄積部と、
第一端末装置に入力された音声の情報である音声情報を受信する音声情報受信部と、
前記音声情報受信部が受信した音声情報を、前記音声認識用情報格納部の音声認識用情報を用いて音声認識し、音声認識結果を取得する音声認識部と、
前記音声認識結果を送信する音声認識結果送信部とを具備し、
前記翻訳サーバ装置は、
前記２以上の言語のうちのすべての言語または２以上の一部の言語について、翻訳用情報を格納し得る翻訳用情報格納部と、
前記辞書サーバ装置から、前記２以上の言語のうちのすべての言語または２以上の一部の言語について、音翻訳用情報を受信する翻訳用情報受信部と、
前記翻訳用情報受信部が受信した翻訳用情報を前記翻訳用情報格納部に蓄積する翻訳用情報蓄積部と、
前記音声認識結果を受信する音声認識結果受信部と、
前記音声認識結果受信部が受信した音声認識結果を、前記翻訳用情報格納部の翻訳用情報を用いて、目的言語に翻訳し、翻訳結果を取得する翻訳部と、
前記翻訳結果を送信する翻訳結果送信部とを具備し、
前記音声合成サーバ装置は、
前記２以上の言語のうちのすべての言語または２以上の一部の言語について、音声合成用情報を格納し得る音声合成用情報格納部と、
前記辞書サーバ装置から、前記２以上の言語のうちのすべての言語または２以上の一部の言語について、音声合成用情報を受信する音声合成用情報受信部と、
前記音声合成用情報受信部が受信した音声合成用情報を前記音声合成用情報格納部に蓄積する音声合成用情報蓄積部と、
前記翻訳結果を受信する翻訳結果受信部と、
前記翻訳結果受信部が受信した翻訳結果を、前記音声合成用情報格納部の音声合成用情報を用いて音声合成し、音声合成結果を取得する音声合成部と、
前記音声合成結果を第二端末装置に送信する音声合成結果送信部とを具備する音声翻訳システム。
前記音声認識サーバ装置の前記音声認識部は、
前記音声情報受信部が受信した音声情報に対する音声認識処理が成功であるか失敗であるかを判断する音声認識判断手段と、
前記音声認識判断手段が、前記音声認識処理が失敗であると判断した場合に、前記辞書サーバ装置に対して、音声認識情報を送信する指示を行う音声認識情報送信指示手段と、
前記音声情報受信部が受信した音声情報を、前記音声認識用情報格納部の音声認識用情報を用いて音声認識し、音声認識結果を取得し、かつ、前記指示の送信に対応して、前記辞書サーバ装置から前記音声認識用情報受信部が受信した音声認識情報を用いて音声認識し、音声認識結果を取得する音声認識手段とを具備し、
前記音声認識用情報受信部は、
前記指示の送信に対応して、前記辞書サーバ装置から前記音声認識情報を受信する請求項１記載の音声翻訳システム。
前記翻訳サーバ装置の前記翻訳部は、
前記音声認識結果受信部が受信した音声認識結果に対する翻訳処理が成功であるか失敗であるかを判断する翻訳判断手段と、
前記翻訳判断手段が、前記翻訳処理が失敗であると判断した場合に、前記辞書サーバ装置に対して、前記目的言語の用語の表記を送信する指示を行う翻訳情報送信指示手段と、
前記音声認識結果受信部が受信した音声認識結果を、前記翻訳用情報格納部の翻訳用情報を用いて、目的言語に翻訳し、翻訳結果を取得し、かつ、前記指示の送信に対応して、前記辞書サーバ装置から前記翻訳用情報受信部が受信した目的言語の用語の表記を用いて、前記音声認識結果を目的言語に翻訳し、翻訳結果を取得する翻訳手段とを具備し、
前記翻訳用情報受信部は、
前記指示の送信に対応して、前記辞書サーバ装置から前記目的言語の用語の表記を受信する請求項１記載の音声翻訳システム。
前記音声合成サーバ装置の前記音声合成部は、
前記翻訳結果受信部が受信した翻訳結果に対する音声合成処理が成功であるか失敗であるかを判断する音声合成判断手段と、
前記音声合成判断手段が、前記音声合成処理が失敗であると判断した場合に、前記辞書サーバ装置に対して、音声合成情報を送信する指示を行う音声合成情報送信指示手段と、
前記翻訳結果受信部が受信した翻訳結果を、前記音声合成用情報格納部の音声合成用情報を用いて音声合成し、音声合成結果を取得し、かつ、前記指示の送信に対応して、前記辞書サーバ装置から前記音声合成用情報受信部が受信した音声合成情報を用いて前記翻訳結果を音声合成し、音声合成結果を取得する音声合成手段とを具備し、
前記音声合成用情報受信部は、
前記指示の送信に対応して、前記辞書サーバ装置から前記音声合成情報を受信する請求項１記載の音声翻訳システム。
前記辞書サーバ装置は、
インターネット上の１以上のウェブサーバ装置のウェブページから、前記全言語対辞書格納部に存在しない用語の表記を取得する表記取得部と、
前記表記取得部が取得した用語の表記を、前記全言語対辞書格納部に蓄積する表記蓄積部とをさらに具備する請求項１から請求項４いずれか記載の音声翻訳システム。
前記辞書サーバ装置は、
１以上の第三端末装置から、用語情報のうちのいずれかの情報を受け付ける情報受付部と、
前記情報受付部が受け付けた情報を、対応する言語の対応する用語の表記に対応付けて、前記全言語対辞書格納部に蓄積する情報蓄積部とをさらに具備する請求項５記載の音声翻訳システム。
前記辞書サーバ装置は、
前記全言語用語情報または前記全言語用語情報の一部の情報を出力する出力部をさらに具備し、
前記出力部は、
前記全言語用語情報または前記全言語用語情報の一部の情報を出力する場合に、前記２以上のすべての言語について、予め決められたすべての情報が存在する場合と、予め決められたすべての情報のうちの一部の情報が存在しない場合とにより、視覚的に異なる態様で、前記全言語用語情報または前記全言語用語情報の一部の情報を出力する請求項５または請求項６記載の音声翻訳システム。
請求項１記載の音声翻訳システムを構成する辞書サーバ装置。
請求項１記載の音声翻訳システムを構成する音声認識サーバ装置。
請求項１記載の音声翻訳システムを構成する翻訳サーバ装置。
請求項１記載の音声翻訳システムを構成する音声合成サーバ装置。
記憶媒体に、
２以上の言語の各言語について、１以上の単語を有する用語の表記と、用語を音声認識するための情報である音声認識情報と、用語を音声合成するための情報である音声合成情報とを有する用語情報を、前記２以上の言語のすべてについて対応付けて有する全言語用語情報を、２以上格納しており、
コンピュータを、
前記２以上の言語のうちのすべての言語または２以上の一部の言語について、前記用語の音声認識情報を含む音声認識用情報を、前記記憶媒体から取得し、１以上の音声認識サーバ装置に送信する音声認識用情報送信部と、
前記２以上の言語のうちのすべての言語または２以上の一部の言語について、前記用語の表記を含む翻訳用情報を、前記記憶媒体から取得し、１以上の翻訳サーバ装置に送信する翻訳用情報送信部と、
前記２以上の言語のうちのすべての言語または２以上の一部の言語について、前記用語の音声合成情報を含む音声合成用情報を、前記記憶媒体から取得し、１以上の音声合成サーバ装置に送信する音声合成用情報送信部として機能させるためのプログラム。