JP6478382B2

JP6478382B2 - 翻訳装置

Info

Publication number: JP6478382B2
Application number: JP2014185934A
Authority: JP
Inventors: 功雄後藤
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2014-09-12
Filing date: 2014-09-12
Publication date: 2019-03-06
Anticipated expiration: 2034-09-12
Also published as: JP2016058003A

Description

本発明は、機械翻訳の技術を用いた翻訳装置に関する。

機械翻訳技術の一分野として、統計的機械翻訳の手法が注目されている。統計的機械翻訳のシステムでは、目的言語の翻訳候補文に関して、様々なモデル（翻訳モデルや目的言語の言語モデルなど）により計算した確率値を素性値として用い、それらの素性値にモデルごとの重み付けをして組み合わせたスコアを計算する。そして、算出されたスコアにより最も適した候補文を、翻訳文として決定する。

モデルごとの重み付けは、翻訳の精度を向上させるための重要な要素の一つである。
一般的に、事前にオフラインで開発データ（学習データ）を用いることによって、重みパラメーターを最適化する方法が知られている。非特許文献１には、オフラインで重みパラメーターを最適化するための代表的な手法であるMinimum Error Rate Trainingについて記載されている。
また、オフラインで重みパラメーターを最適化するのではなく、原言語による入力文が入力されてから重みパラメーターを最適化する手法も存在する。非特許文献２には、入力文の集合を用いて、重みパラメーターの最適化に用いるための開発データを選択する手法が記載されている。また、非特許文献３には、入力文ごとに重みパラメーターを最適化する手法が記載されている。

Franz Josef Och，"Minimum Error Rate Training in Statistical Machine Translation"，In Proceedings of the 41st Annual Meeting of the Association for Computational Linguistics，pp.160-167，2003年． Masao Utiyama，Hirofumi Yamamoto，Eiichiro Sumita，"Two Methods for stabilizing MERT : NICT at IWSLT 2009"，In Proceedings of the International Workshop on Spoken Language Translation，pp.79-82，2009年 Lemao Liu，Hailong Cao，Taro Watanabe，Tiejun Zhao，Mo Yu，Conghui Zhu，"Locally Training the Log-Linear Model for SMT"，In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning，pp.402-411，2012年

統計的機械翻訳の手法において用いられるモデルのうちの一つは、目的言語における言語モデルである。この言語モデルは、目的言語における表現の自然さを評価するものである。具体的には、言語モデルが出力する数値としては、目的言語による文における、所定の表現の統計的な生成確率が用いられる。また、上記の表現としては、言語要素のｎ連鎖（ｎグラム）が用いられることが多い。言い換えれば、言語モデルに基づく素性値自体は、入力される原言語の文の意味との一致の度合いを反映しない。極端な場合には、入力される原言語の文と全く違う意味の目的言語による文が、言語モデルによって高く評価される場合もある。例えば、文における主語と目的語が入力文と出力文で逆になれば意味が全く変わってしまうが、目的言語における言語モデルを構築するためのコーパスに依存して、特定の主語と目的語の組み合わせの生成確率が正解訳の生成確率よりも高くなる場合もある。

具体例として、英語のコーパス中に「John killed」および「killed Mary」という２−グラム（bigram）の頻度が高く、そして「Mary killed」および「killed John」という２−グラムの頻度が低い場合、「John」と「Mary」に関する非対称性が生じる。つまり、そのようなコーパスに基づいて英語の言語モデルを構築した場合、「John killed Mary」という表現の生成確率は、「Mary killed John」という表現のそれよりも高くなる。このような事態は、例えば、その英語コーパスが報道文に基づいたものであった場合などに起こり得る。目的言語（英語）の言語モデルが上記のような状況になると、例えば、日本語による入力文が「メアリーがジョンを殺した」というものであった場合には、言語モデルの重み次第では「John killed Mary」が翻訳文として出力されてしまうことも起こり得る。これは、目的言語による言語モデルに基づく素性値として相対的に、「John killed Mary」のスコアが高く、「Mary killed John」のスコアが低くなるためである。つまり、このために誤訳が生じる可能性がある。

本発明は、上記のような事情に鑑みて為されたものであり、目的言語の言語モデルを原因とする誤訳を起こりにくくする翻訳装置を提供するものである。

上記の課題を解決するため、本発明の一態様による翻訳装置は、原言語による入力文を取得する入力文取得部と、前記入力文の語順を変更することによって前記入力文に対応する並べ替え文を生成する語順変更部と、前記原言語に関する統計情報に基づき、前記入力文の生成確率および前記並べ替え文の生成確率を求める生成確率計算部と、目的言語に関する統計情報である目的言語用言語モデルと、前記目的言語用言語モデル以外の翻訳処理用の各種モデルを記憶する翻訳用モデル記憶部と、前記目的言語用言語モデルに関する重みパラメーターと、前記目的言語用言語モデル以外の翻訳処理用の各種モデルに関する重みパラメーターとを記憶する重みパラメーター記憶部と、前記入力文の生成確率よりも前記並べ替え文の生成確率のほうが大きいほど前記目的言語用言語モデルが翻訳結果に与える影響を軽減するよう、前記重みパラメーター記憶部に記憶されている前記重みパラメーターの値を変更する重みパラメーター変更部と、前記重みパラメーター変更部によって変更された前記重みパラメーターの値を用いた重み付けを行いながら、且つ前記翻訳用モデル記憶部から読み出した前記目的言語用言語モデルと前記翻訳処理用の各種モデルとに基づいて、前記入力文の翻訳処理を行う翻訳デコーダー部と、を具備することを特徴とする。

また、本発明の一態様は、上記の翻訳装置において、前記重みパラメーター変更部は、前記入力文の生成確率よりも前記並べ替え文の生成確率のほうが大きい場合に、前記入力文の生成確率と前記並べ替え文の生成確率との比に応じて前記目的言語用言語モデルが翻訳結果に与える影響を軽減するよう前記重みパラメーターの値を変更する、ことを特徴とするものである。

本発明によれば、翻訳精度を向上させることができる。特に、原言語による入力文の生成確率よりも、当該入力文の語順を変更して得られる並べ替え文の生成確率のほうが大きい場合の誤訳を軽減することができる。

本発明の実施形態による本実施形態による翻訳装置の概略機能構成を示すブロック図である。同実施形態において用いる言語モデルのデータ構成を示す概略図である。同実施形態において用いる翻訳モデルのデータ構成を示す概略図である。同実施形態による第１重みパラメーター記憶部および第２重みパラメーター記憶部が保持するデータ（重みパラメーター値の集合）の構成を示す概略図である。同実施形態による翻訳装置の全体的な動作手順を示したフローチャートである。

次に、図面を参照しながら、本発明の一実施形態について説明する。
図１は、本実施形態による翻訳装置の概略機能構成を示すブロック図である。図示するように、翻訳装置１は、入力文取得部１１と、語順変更部１２と、言語モデル記憶部１４と、生成確率計算部１５と、第１重みパラメーター記憶部２１と、第２重みパラメーター記憶部２２と、翻訳用モデル記憶部２３と、重みパラメーター変更部２４と、翻訳デコーダー部３１と、出力部３２と、を含んで構成される。翻訳装置１は、翻訳前の言語（以下において、原言語（source language）と言う）によって書かれた文を読み込み、その文の翻訳処理を行い、翻訳語の言語（以下において、目的言語（target language）と言う）による文を出力する。

入力文取得部１１は、原言語による入力文をテキストデータとして取得する。入力文取得部１１は、取得した文のデータを、語順変更部１２と、生成確率計算部１５と、翻訳デコーダー部３１とに供給する。

語順変更部１２は、上記の入力文の語順を変更することによってその入力文に対応する並べ替え文を生成する。より具体的には、語順変更部１２は、入力文取得部１１から渡された各文について、その語順を並べ替えて得られる文（以下において、「並べ替え文」と言うことがある）を０文以上生成し、出力する。語順変更部１２によって出力される文は、元の文と同じ単語集合から成る。語順変更部１２によって出力される文は、語順の変更により、元の文とは意味が異なるようにする。

なお、語順変更部１２は、単にランダムに語を並べ替えるのではなく、例えば主語と目的語とを入れ替えるなどの処理により、構文として成立する文を出力する。そのための手段として、語順変更部１２は、その内部の処理において、入力文取得部１１から渡された文についての構文解析処理や格解析処理などを行うことが望ましい。語順変更部１２が出力する並べ替え文の数が０のこともあり得る。例えば、入力された文が１つの単語のみから成る場合には、並べ替え文の数は０である。

言語モデル記憶部１４は、原言語の言語モデル（原言語用言語モデル，原言語に関する統計情報）を記憶する。ここで、言語モデルの一例は、原言語におけるｎグラム（単語のｎグラムや、文字のｎグラムなど、自然言語における要素のｎ個の連鎖）とその生成確率のデータの集合である。原言語の言語モデルは、コーパスなどを解析することにより予め得て、言語モデル記憶部１４に書き込んでおくようにする。

生成確率計算部１５は、原言語に関する統計情報（言語モデル）に基づき、入力文の生成確率および並べ替え文の生成確率を求める。より具体的には、生成確率計算部１５は、言語モデル記憶部１４を参照することにより、入力文取得部１１から渡される入力文の生成確率と、語順変更部１２から出力される並べ替え文の各々の生成確率とを計算する。生成確率計算部１５は、既存技術の手法により、各文に含まれるｎグラムの生成確率を言語モデル記憶部１４から読み出し、それらｎグラムの生成確率を基に、文の生成確率を求める。なお、独立事象ＡとＢが共に起こる確率は、事象Ａが起こる確率（Ａ）と事象Ｂが起こる確率Ｐ（Ｂ）の積として計算される。また、事象Ａを前提として事象Ｂが起こる条件付き確率がＰ（Ｂ｜Ａ）のとき、事象Ａと事象Ｂの連鎖が起こる確率はＰ（Ａ）とＰ（Ｂ｜Ａ）の積として計算される。

第１重みパラメーター記憶部２１および第２重みパラメーター記憶部２２（これらを総称して、単に「重みパラメーター記憶部」と呼ぶ場合がある）は、各種モデルによって求められたそれぞれの素性値の重み付けを表す重みパラメーターを記憶する。
第１重みパラメーター記憶部２１は、目的言語の言語モデルに関する重みパラメーターを記憶する。
第２重みパラメーター記憶部２２は、第１重みパラメーター記憶部２１に記憶されている目的言語の言語モデルに関する重みパラメーター以外の、すべての重みパラメーターを記憶する。
第１重みパラメーター記憶部２１および第２重みパラメーター記憶部２２に記憶されている重みパラメーターは、翻訳デコーダー部３１が翻訳文候補についてのスコアを計算する際に用いられる重み値である。これらの重みパラメーターは、翻訳デコーダー部３１が、それぞれの翻訳用モデルをどのような比率で重み付けて総合的なスコアを算出するかを決定づけるための値である。これらの重みパラメーターを用いたスコアの算出のしかたについては、後で数式を示しながら詳述する。

なお、第１重みパラメーター記憶部２１および第２重みパラメーター記憶部２２は、既存技術の手法等により、予め最適化された重みパラメーターの値を記憶している。言い換えれば、これらの重みパラメーターは、例えば教師データを用いた学習処理により、予め最適化されている。

翻訳用モデル記憶部２３は、統計的機械翻訳の技術で用いられる各種のモデルを記憶する。より具体的には、翻訳用モデル記憶部２３は、目的言語に関する統計情報である目的言語用言語モデルと、その他の（即ち、前記の目的言語用言語モデル以外の）翻訳処理用の各種モデルを記憶する。翻訳用モデル記憶部２３が記憶するモデルは、いかなるモデルであっても良いが、典型的なモデルの例について、次に列挙して説明する。なお、ここで説明する各種モデル自体は、既存技術によるものである。

（１）言語モデル：ここで、翻訳用モデル記憶部２３が記憶するのは、目的言語に関する言語モデル（目的言語用言語モデル）である。この言語モデルは、目的言語の言語らしさを表す統計値の集合から構成される。具体的には、例えば、この言語モデルは、目的言語におけるｎグラムと、そのｎグラムの出現確率とを対応付けたデータの集合である。ｎグラムは、文字のｎグラムであっても良く、単語のｎグラムであっても良く、その他の言語要素のｎグラムであっても良い。なお、ｎグラムの出現確率は、コーパス等に基づいて統計的な処理を行うことにより、予め計算しておく。なお、目的言語用言語モデルの基となるコーパスと原言語用言語モデルの基となるコーパスとが、直接対応付いているわけではない。つまり、目的言語のコーパスと原言語のコーパスに必ずしも対訳の文が含まれているわけではない。しかし、対訳ではない２言語のコーパスすなわち原言語のデータおよび目的言語のデータでも、例えば事件報道の文など、共通の事実に基づき一致する内容の文が含まれる場合がある。

（２）翻訳モデル：翻訳モデルは、原言語による表現と目的言語による表現との間の意味的等価性を数値的に表すためのデータの集合である。例えば、翻訳モデルは、原言語による文に現れるフレーズと、目的言語によるフレーズと、それらの両フレーズが対応づく度合いを表す統計的数値とによって構成される。ここで、フレーズとは数単語の長さを有する単語列である。言い換えれば、原言語によるフレーズと目的言語によるフレーズとの対は、対訳データである。統計的機械翻訳の技術においては、大量の対訳文の集合に基づいて、この対訳データを予め収集しておく。つまり、翻訳モデルは、原言語と目的言語との間における、フレーズ単位の辞書のデータであり、且つ、その対応関係の確率に関する数値データを伴っているものである。この翻訳モデルを用いることにより、原言語による入力文に含まれる全単語をカバーするような、目的言語における単語の列が、目的言語による翻訳文候補として生成され得る。このような翻訳文候補は、翻訳モデルを参照しながら機械的な手順により生成可能である。また、ある入力文に対して、通常は複数の翻訳文候補が生成され得る。
なお、翻訳モデルにおける原言語および目的言語の対訳として、表層の単語列の対を用いる代わりに、各言語における構文解析木の部分木を用いるようにしても良い。

（３）リオーダリングモデル：このモデルは、単語の順序の並べ替えに関するモデルである。リオーダリングモデルは、翻訳の前後での語順の変化に対して、確率値を与えるものである。具体的には、リオーダリングモデルは、目的言語側の表現において、隣接するフレーズの対についてのローカルな順序の評価に関する数値を備えるものである。

重みパラメーター変更部２４は、入力文の生成確率よりも前記並べ替え文の生成確率のほうが大きいほど目的言語用言語モデルが翻訳結果に与える影響を軽減するよう、重みパラメーター記憶部に記憶されている重みパラメーターの値を変更する。具体的には、重みパラメーター変更部２４は、生成確率計算部１５によって計算された入力文の生成確率と、当該入力文に対応する並べ替え文の生成確率とに基づき、第１重みパラメーター記憶部２１から読み出した重みパラメーターの値を変更する場合がある。なお、既に述べたとおり、第１重みパラメーター記憶部２１から読み出した重みパラメーターは、目的言語における言語モデルを素性として用いる場合の重みを表す。

具体的には、元々の入力文の生成確率が意味の異なる並べ替え文の生成確率の最大値よりも高い場合には、重みパラメーター変更部２４は、第１重みパラメーター記憶部２１から読み出した第１パラメーターの値を減少させない。また、この場合に、重みパラメーター変更部２４が、第１パラメーターの値を増加させるようにしても良い。
一方で、元々の入力文の生成確率が意味の異なる並べ替え文の生成確率の最大値よりも低い場合には、重みパラメーター変更部２４は、第１重みパラメーター記憶部２１から読み出した第１パラメーターの値を減少させる。

重みパラメーター変更部２４は、算出された入力文の生成確率と、算出された並べ替え文の生成確率の最大値とに基づいて、第１重みパラメーターを変更する。一例としては、算出された入力文の生成確率と、算出された並べ替え文の生成確率の最大値との比を乗じることにより、第１パラメーターの値を変更する。これを数式で表すと、下の式（１）の通りである。

式（１）において、ｗ_ｎｅｗは、重みパラメーター変更部２４によって変更された後の重みパラメーターである。また、ｗ_ｏｒｇは、重みパラメーター変更部２４によって変更される前の重みパラメーターである。また、ｐ_ｏｒｇは、生成確率計算部１５によって計算された、入力文の生成確率である。また、ｐ_{ｒｅｏｒｄｅｒ}は、生成確率計算部１５によって計算された並べ替え文の生成確率であり、入力文に対応する並べ替え文のうち最も生成確率の高いものである。

なお、式（１）に示した方法以外によって重みパラメーター変更部２４が重みパラメーターを更新するようにしても良い。重みパラメーター変更部２４は、式（１）による場合にも他の式等による場合にも、入力文の生成確率と比べて並べ替え文の生成確率が相対的に大きい度合が高いほど、目的言語の言語モデルによる素性が翻訳結果に与える影響の重みが小さくなるようにする。ここでは、第１重みパラメーターは正の値であり、且つ第１重みパラメーターの値が大きいほど、目的言語の言語モデルが翻訳結果に与える影響の度合いが大きい。よって、重みパラメーター変更部２４は、入力文の生成確率と比べて並べ替え文の生成確率が相対的に大きい度合が高いほど、第１重みパラメーターの値が小さくなるようにする。

重みパラメーター変更部２４は、上記の結果の重みパラメーターを、翻訳デコーダー部３１に供給する。つまり、翻訳デコーダー部３１は、第１重みパラメーター記憶部２１から第１パラメーターの値を読み出してそのまま用いるのではなく、重みパラメーター変更部２４によって変更された第１パラメーターの値を用いた処理を行うこととなる。

翻訳デコーダー部３１は、重みパラメーター変更部２４によって変更された重みパラメーターの値を用いた重み付けを行いながら、且つ翻訳用モデル記憶部２３から読み出した目的言語用言語モデルと翻訳処理用の各種モデルとに基づいて、入力文の翻訳処理を行う。具体的には、翻訳デコーダー部３１は、翻訳対象の入力文に、翻訳用モデル記憶部２３から読み出した翻訳モデルを適用し、目的言語の文（翻訳文）の候補を複数生成する。また、翻訳デコーダー部３１は、翻訳用モデル記憶部２３から、翻訳処理に用いるモデルの情報を読出し、翻訳対象の入力文と、その翻訳文の候補について、各モデルに関する素性値を計算する。また、翻訳デコーダー部３１は、算出された各モデルの素性値に、重みパラメーター変更部２４から供給される重みパラメーターとおよび第２重みパラメーター記憶部２２から読み出した重みパラメーターとを適用し、翻訳文候補についてのスコアを計算する。既に述べたように、重みパラメーター変更部２４から供給されるのは目的言語における言語モデルについての重みパラメーターである。また、第２重みパラメーター記憶部２２に記憶されているのは、目的言語における言語モデル以外の各種モデルに適用するための重みパラメーターである。翻訳デコーダー部３１が計算するスコアは、下の式（２）で表されるものである。

式（２）において、ｉは、目的言語の候補の文（翻訳文候補）の指標値である。ｉは１以上の整数である。また、Ｓ_{ｔａｒｇｅｔ，ｉ}は、ｉ番目の翻訳文候補である。また、Ｓ_{ｉｎｐｕｔ}は、原言語による入力文である。また、ｊは、翻訳用のモデルを用いた素性値の指標値である。ｊは整数であり、１≦ｊ≦Ｎである。ここで、Ｎは、用いる素性値の種類の総数である。また、ｐ_ｊ（Ｓ_{ｉｎｐｕｔ}，Ｓ_{ｔａｒｇｅｔ，ｉ}）が、入力文Ｓ_{ｉｎｐｕｔ}と翻訳候補文Ｓ_{ｔａｒｇｅｔ，ｉ}との組み合わせに対するｊ番目の素性値である。また、ｗ_ｊは、ｊ番目の素性値に対応する重みパラメーターの値である。特にｊ＝１は、目的言語の言語モデルによる素性値に対応する。ｗ_１は、目的言語の言語モデルに関する重みパラメーターである。ｗ_１は、第１重みパラメーター記憶部２１に記憶されていた値を、適宜、重みパラメーター変更部２４が変更して得られたものである。２以上のｊは、目的言語の言語モデル以外のモデルに関する素性値に対応する。ｗ_２，ｗ_３，・・・，ｗ_Ｎは、目的言語の言語モデル以外の素性値に適用する重みパラメーター値である。
そして、ｓｃｏｒｅ_ｉが、翻訳文候補Ｓ_{ｔａｒｇｅｔ，ｉ}に対するスコアである。

そして、翻訳デコーダー部３１は、最もスコアの高い翻訳文候補を、入力文に対する翻訳文として確定する。
出力部３２は、翻訳デコーダー部３１によって求められた翻訳文を、外部に出力する。

次に、本実施形態で使用する主要なデータの構成について説明する。
図２は、言語モデルのデータ構成を示す概略図である。原言語の言語モデルは、言語モデル記憶部１４に格納されている。また、目的言語の言語モデルは、翻訳用モデルの一部として、翻訳用モデル記憶部２３に格納されている。図示するように、言語モデルは、ｎグラムとその生成確率とを対応付けた構造を有するデータである。すなわち、言語モデルは、単語や文字等の言語要素のｎ個の連鎖とその生成確率とを対応付けた構造を有するデータである。一例として、言語モデルは、図示するような表形式のデータとして記憶装置に保持される。同図中のデータ例は、対象の言語（原言語または目的言語）が英語である場合の例である。データ例の第１行目は「ｇｏ−ｔｏ−ｔｈｅ」という３単語連鎖と、その生成確率を示す。この生成確率は、「ｇｏ−ｔｏ」という２単語連鎖を前提とする場合に単語「ｔｈｅ」を生成する条件付き確率であり、その値は０．２である。また、データ例の第２行目は、「ｇｏ−ｔｏ−ｓｃｈｏｏｌ」という３単語連鎖と、その生成確率を示す。この生成確率は、「ｇｏ−ｔｏ」という２単語連鎖を前提とする場合に単語「ｓｃｈｏｏｌ」を生成する条件付き確率であり、その値は０．０５である。

図３は、翻訳モデルのデータ構成を示す概略図である。図示するように、翻訳モデルは、表形式のデータとして構成されており、表現（原言語）と、表現（目的言語）と、確率の各項目を有する。この表の各行がレコードであり、ひとつのレコードは、原言語によるある表現と、その表現に対応する目的言語による表現と、それら両者が対応し合う確率値との３項を関連付けて保持している。同図中のデータ例は、原言語が日本語で、目的言語が英語である場合の例である。データ例の第１行目は「へ−行く」という原言語での表現と、「ｇｏ−ｔｏ」という目的言語での表現と、その確率を示す。この確率は、原言語表現「へ−行く」を前提とする場合に目的言語表現「ｇｏ−ｔｏ」が対応する確率であり、その値は０．５である。また、データ例の第２行目は、「へ−行く」という原言語での表現と、「ｇｏｅｓ−ｔｏ」という目的言語での表現と、その確率を示す。この確率は、原言語表現「へ−行く」を前提とする場合に目的言語表現「ｇｏｅｓ−ｔｏ」が対応する確率であり、その値は０．３である。

図４は、第１重みパラメーター記憶部２１および第２重みパラメーター記憶部２２が保持するデータの構成を示す概略図である。図示するように、第１重みパラメーター記憶部２１および第２重みパラメーター記憶部２２は、翻訳候補に関するスコアを計算する際に用いられる重みパラメーターの値を記憶する。第１重みパラメーター記憶部２１は、目的言語の言語モデル用重みパラメーターの値を記憶する。第２重みパラメーター記憶部２２は、目的言語の言語モデル用重みパラメーター以外の、すべての各種重みパラメーターの値を記憶する。第２重みパラメーター記憶部２２が記憶する重みパラメーターとしては、例えば、翻訳モデル用重みパラメーターや、リオーダリングモデル用重みパラメーターを含む。これらの、第１重みパラメーター記憶部２１および第２重みパラメーター記憶部２２に記憶されている重みパラメーターは、式（２）におけるｗ_ｊ（ｊ＝１，２，・・・，Ｎ）である。同図に示す例では、目的言語の言語モデル用の重みパラメーターの値は０．３である。また、翻訳モデル用の重みパラメーターの値は０．２である。また、リオーダリングモデル用の重みパラメーターの値は０．２である。
なお、前述のとおり、第１重みパラメーター記憶部２１に記憶されている目的言語の言語モデル用重みパラメーターについては、そのままの値として使われるのではなく、重みパラメーター変更部２４によって変更された値が翻訳デコーダー部３１によって使われる。

次に、フローチャートを参照しながら、翻訳装置の動作手順について説明する。
図５は、翻訳装置１の動作手順を示したフローチャートである。以下、このフローチャートが示す流れに沿って説明する。

ステップＳ１１：入力文取得部１１は、未処理の入力文が残っているか否かを調べる。入力文がある場合には次のステップＳ１２に進み、未処理の入力文が残っていない場合には本フローチャート全体の処理を終了する。

ステップＳ１２：入力文取得部１１は、次の入力文を取得する。入力文取得部１１は、取得した入力文を、語順変更部１２と、生成確率計算部１５と、翻訳デコーダー部３１とに供給する。

ステップＳ１３：語順変更部１２は、入力文取得部１１によって供給された入力文について、語順を変更することによって、文として成立する並べ替え文を作成する。語順変更部１２が作成する並べ替え文の数は、０以上である。語順変更部１２は、生成した並べ替え文のデータをすべて生成確率計算部１５に供給する。

ステップＳ１４：生成確率計算部１５は、入力文取得部１１によって供給される入力文の生成確率を計算する。また、生成確率計算部１５は、語順変更部１２によって供給される並べ替え文のそれぞれの生成確率を計算する。生成確率計算部１５は、入力文および並べ替え文の生成確率を計算する際に、言語モデル記憶部１４を参照する。つまり、生成確率計算部１５は、言語モデル記憶部１４から原言語の言語モデルを読出し、この言語モデルに基づいて、入力文および並べ替え文の生成確率を計算する。生成確率計算部１５は、各文について計算した生成確率の値を、それらの文とそれぞれ関連付ける形で、重みパラメーター変更部２４に供給する。

ステップＳ１５：重みパラメーター変更部２４は、生成確率計算部１５によって計算された各々の文の生成確率に基づいて、適宜、第１重みパラメーターを変更する処理を行う。具体的には、重みパラメーター変更部２４は、現在の入力文に対応するすべての並べ替え文の生成確率の中から、最大の値の生成確率を選択する（便宜上、「最大生成確率」を呼ぶ）。そして、重みパラメーター変更部２４は、入力文の生成確率と、この最大生成確率とに基づいて、第１重みパラメーターを変更するか否かを決定する。重みパラメーター変更部２４は、第１重みパラメーターを変更する場合には、第１パラメーター記憶部から読み出した重みパラメーターの値と、入力文の生成確率と、前記の最大生成確率とに基づき、変更後の重みパラメーターの値を求める。なお、変更後の重みパラメーターの求め方については、既に述べた通りである。

ステップＳ１６：翻訳デコーダー部３１は、入力文取得部１１から受け取った入力文に基づき、この入力文に対応する翻訳文の候補を生成する。具体的には、翻訳デコーダー部３１は、翻訳用モデル記憶部２３から、同部に記憶されているモデルの一つである翻訳モデルを読出し、数単語の対訳フレーズを入力文にマッチングさせることにより、翻訳文候補を生成していく。通常の場合、翻訳デコーダー部３１は、一つの入力文に対して複数の翻訳文候補を生成する。

ステップＳ１７：翻訳デコーダー部３１は、翻訳用モデル記憶部２３に記憶されている各種のモデルを読出し、入力文取得部１１から渡された入力文とステップＳ１６において生成した翻訳文候補との組み合わせの各々に対して、スコアを算出する。また、翻訳デコーダー部３１は、上記のスコアを算出する際に、重みパラメーター変更部２４から渡される第１重みパラメーター（目的言語の言語モデルに対する重み）と、第２重みパラメーター記憶部２２から読み出した第２パラメーター（その他のすべての重み）とを適用する。スコアの具体的な計算方法は、既に説明し、また式（２）で例示した通りである。

なお、上記の第１重みパラメーターは、既に述べたように、第１重みパラメーター記憶部２１から読み出され、必要に応じて重みパラメーター変更部２４によって変更された値である。

ステップＳ１８：翻訳デコーダー部３１は、ステップＳ１７で算出した各翻訳候補文に対するスコアに基づき、最尤翻訳文を決定する。通常は、翻訳デコーダー部３１は、最もスコアの高い翻訳文候補を、最尤翻訳文として決定する。そして、出力部３２は、決定された最尤翻訳文を出力する。このステップの処理の後は、翻訳装置１は、ステップＳ１１に制御を戻し、さらなる入力文（ある場合）の翻訳処理を行う。

本実施形態によれば、上述した構成および処理手順により、次のような作用、効果が得られる。
重みパラメーター変更部２４は、目的言語の言語モデルにより計算した素性値に対する重みを、入力文の生成確率と、並べ替え文の生成確率との関係に応じて変更する。即ち、入力文の生成確率が、当該入力文の語順を並べ替えて得られるいかなる並べ替え文の生成確率よりも高い場合には、目的言語の言語モデル用の予め最適化されている重みパラメーターの値を変更しない。また、入力文の生成確率が、当該入力文の語順を並べ替えて得られる並べ替え文の生成確率よりも低い場合は、翻訳候補文について、目的言語の言語モデルによる素性値を重視しないほうが好ましい翻訳結果が得られる。なぜなら、対訳ではない２言語のコーパスすなわち原言語のデータおよび目的言語のデータでも、事実に基づいた報道など内容が一致する文が含まれていることが期待されるからである。そのため、重みパラメーター変更部２４は、目的言語用言語モデルが翻訳結果に与える影響を軽減するよう、目的言語の言語モデルに関する重みパラメーターの値を低くする。一例として、重みパラメーター変更部２４は、入力文の生成確率と並べ替え文（例えば、生成確率が最大であるような並べ替え文）の生成確率との比を乗じる形で、目的言語の言語モデルに関する重みパラメーターの値を低くする。これにより、誤った翻訳結果が出力する可能性が低くなり、結果として翻訳精度が向上する。

言い換えれば、例えば、正しい翻訳文の生成確率よりも、主語と目的語が入れ替わった形の文の生成確率のほうが高いとき、目的言語の言語モデルから計算したスコアとしては、誤訳のスコアのほうが正解のスコアよりも高くなる。このような場合は目的言語の言語モデルから計算したスコアに対する重みを小さくすることで、その影響を小さくすることができる。具体的には、重みパラメーター変更部２４が、目的言語の言語モデルから計算したスコアに対する重みを小さくする。正しい訳の生成確率より、正しい訳から主語と目的語が入れ替わるなど語順の誤りにより意味が正しくない翻訳候補の生成確率が高いときは、原言語においても、同様の傾向があることが期待されるためである。すなわち、入力文の生成確率より、入力文の語順を並べ替えることで意味が異なるようにした文の生成確率の方が高いことが予想されるためである。つまり、このような本実施形態の構成により、翻訳精度が向上する。

従来技術においては、目的言語における言語モデルの重みを変える手法は取られていなかった。特に、入力文の語順を変化させたときの文の生成確率の変化の度合いに基づいて目的言語における言語モデルの重みを変える手法は取られていなかった。つまり、本実施形態による翻訳装置は、従来技術の構成では得られない、特有の効果を奏する。

なお、上述した実施形態における翻訳装置の機能の一部または全部をコンピューターで実現するようにしても良い。その場合、機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、実施形態を説明したが、本発明はさらに次のような変形例でも実施することが可能である。また、組み合わせ可能な場合に、複数の変形例を組み合わせて実施しても良い。

［変形例１］
上記の実施形態では、翻訳候補文のスコアを、各種モデルを用いて求められた素性値の重み付線形和として計算したが、各素性値を用いたその他の計算方法で翻訳候補文のスコアを計算するようにしても良い。

［変形例２］
上記の実施形態では、翻訳候補文のスコアの数値が高いほうがより良好な（より正解であると考えられる）翻訳候補文である場合を記載したが、スコアの数値の低いほうがより良好な翻訳候補文であるように、スコアの計算方法を決めても良い。また、スコアの値自体は正負のいずれであっても良い。また、上記の実施形態ではモデルの重みパラメーターの値がより大きい場合に、そのモデルがより重視される方向に作用するような計算方法としていたが、モデルの重みパラメーターの値の大小に関して、逆でも良い。

［変形例３］
上記の実施形態では、目的言語の言語モデルの影響を小さくするために、目的言語の言語モデルに関する重みパラメーターの値を小さくするようにした。しかし、逆に、目的言語の言語モデル以外のモデルに関する重みパラメーターの値を大きくすることによって目的言語の言語モデルの影響が小さくなるようにしても良い。重みパラメーターの値自体は他の重みパラメーターとの間の相対的な関係において意味があるものである。

［変形例４］
上記の実施形態では、言語要素（文字や単語等）のｎグラムの出現頻度に基づいて言語モデルを構築することとした。しかし、その他の形態で、表現の現れやすさを統計的に数値化したものを言語モデルとしても良い。一例として、文を構文解析した結果の部分木とその出現頻度に基づく言語モデルを用いても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、自然言語の翻訳を要する産業に広く利用することができる。一例としては、放送や通信の手段を用いて、あるいは紙の媒体により、コンテンツを提供する事業に利用することができる。

１翻訳装置
１１入力文取得部
１２語順変更部
１４言語モデル記憶部
１５生成確率計算部
２１第１重みパラメーター記憶部（重みパラメーター記憶部）
２２第２重みパラメーター記憶部（重みパラメーター記憶部）
２３翻訳用モデル記憶部
２４重みパラメーター変更部
３１翻訳デコーダー部
３２出力部

Claims

原言語による入力文を取得する入力文取得部と、
前記入力文の主語と目的語とを入れ替える処理により語順を変更することによって前記入力文に対応する並べ替え文を生成する語順変更部と、
前記原言語に関する統計情報に基づき、前記入力文の生成確率および前記並べ替え文の生成確率を求める生成確率計算部と、
目的言語に関する統計情報である目的言語用言語モデルと、前記目的言語用言語モデル以外の翻訳処理用の各種モデルを記憶する翻訳用モデル記憶部と、
前記目的言語用言語モデルに関する重みパラメーターと、前記目的言語用言語モデル以外の翻訳処理用の各種モデルに関する重みパラメーターとを記憶する重みパラメーター記憶部と、
前記入力文の生成確率よりも前記並べ替え文の生成確率のほうが大きいほど前記目的言語用言語モデルが翻訳結果に与える影響を軽減するよう、前記重みパラメーター記憶部に記憶されている前記重みパラメーターの値を変更する重みパラメーター変更部と、
前記重みパラメーター変更部によって変更された前記重みパラメーターの値を用いた重み付けを行いながら、且つ前記翻訳用モデル記憶部から読み出した前記目的言語用言語モデルと前記翻訳処理用の各種モデルとに基づいて、前記入力文の翻訳処理を行う翻訳デコーダー部と、
を具備することを特徴とする翻訳装置。
前記重みパラメーター変更部は、前記入力文の生成確率よりも前記並べ替え文の生成確率のほうが大きい場合に、前記入力文の生成確率と前記並べ替え文の生成確率との比に応じて前記目的言語用言語モデルが翻訳結果に与える影響を軽減するよう前記重みパラメーターの値を変更する、
ことを特徴とする請求項１に記載の翻訳装置。