JP5918625B2 - 句翻訳モデル学習装置およびそのプログラム - Google Patents

Description

本発明は、２つの異なる言語の文書対から、対応する句の出現頻度を表す句翻訳モデルを学習する句翻訳モデル学習装置およびそのプログラムに関する。

従来、句翻訳モデルに基づいて、入力文に対して最尤な翻訳文を生成する句ベース統計機械翻訳の技術が知られている。ここで、句翻訳モデルとは、２つの異なる言語において、一方の言語の単語等の列が他方の言語の単語等の列に翻訳される確率を表すモデルである。
この句翻訳モデルは、通常、等価な内容を表現する文対の集合である対訳文対コーパスから学習によって生成される（非特許文献１参照）。

この非特許文献１に示された手法（以下、従来手法１）は、最初に、学習データである対訳文対コーパス（学習コーパス）の各文対について、単語アライメントを推定する。すなわち、従来手法１は、まず、対訳文対の一方の言語文中の単語と、他方の言語文中の単語との対応付けを行う。
そして、従来手法１は、その対応付けられた単語を、ヒューリスティック（発見的）に組み合せることで、さまざまな粒度の単語列（句）を抽出し、学習コーパス全体における各句対の出現頻度に基づいて翻訳確率を計算することで、句翻訳モデルを生成する。

しかし、従来手法１は、単語アライメントの推定と句対の抽出とを独立して行うとともに、対応付けられた単語から句対を抽出する手法がヒューリスティックであるため、統計的に最適解となる句対を抽出することができない。
このような問題を解決すべく、近年、新たな手法が提案された（非特許文献２参照）。

この非特許文献２に示された手法（以下、従来手法２）は、ある句対の生起確率を、これを構成可能なより小さな２つの句対の生起確率の組み合せ、および、単語翻訳モデル等の他の知識源より導かれた生起確率の推定値から計算される事前確率と、学習コーパスにおいて当該句対が観測された頻度から得られる観測尤度とをある確率比で混合したものとして計算されるベイズ事後確率として定義する。

これによって、ある句対の生起は、その句に属する、より小さな２つの句対に依存し、さらにその各々の句対の生起は、さらに小さな２つの句対に依存するといった木構造と捉えることができる。すなわち、ある文対に対して、文対全体を１つの句対とみなし、当該句対を木構造の根とし、再帰的に末端の小さな句対まで辿って各階層の句対を観測することで、さまざま粒度の句対を観測することが可能になる。

このとき、従来手法２は、可能な木構造のうちで、確率の相対比に応じて１つを選択する。なお、従来手法２は、木構造の候補を選択する際に、チャート法を用いた同期文脈自由文法の解析手法を用いている。
そして、従来手法２は、学習コーパスに対して、木構造をサンプリングして句対を観測する操作を繰り返し適用することで、ギブスサンプリングによる句翻訳モデルの学習を実現している。

P. Koehn, F. J. Och, and D. Marcu. "Statistical Phrase-Based Translation". In proceedings of the Human Language Technology Conference(HLT-NAACL), pp. 48-54, 2003. Graham Neubig, 渡辺太郎, 隅田英一郎, 森信介, 河原達也. "階層的モデルを用いた機械翻訳のためのフレーズアラインメント". 言語処理学会第１７回年次大会（ＮＬＰ２０１１） 予稿集. ２０１１.

従来の手法は、等価な内容を表現する文対、すなわち、単語列（句）が「直訳」で対応するとともに、それぞれの文が対応している「文対」の集合を学習データとして用いることで、句翻訳モデルを学習している。
しかし、一般に、２つの異なる言語において、対訳データは必ずしも、「直訳」、「文対」といった性質を有していない。例えば、複数言語で同一トピックに関して発信されるニュース原稿の場合、その内容において、相互に多数の欠落や不一致があり、また、その文間の対応関係も自明でないことがほとんどである。
すなわち、従来の手法では、一般的に収集可能な対訳データを学習データとして利用することができず、「直訳」で、かつ、「文対」の集合の学習データでなければ句翻訳モデルを学習することができないという問題がある。
言い換えれば、従来の手法は、句翻訳モデルを学習させるためだけに、「直訳」で、かつ、「文対」の集合の学習データを大量に準備しなければならないという問題がある。

本発明は、以上のような問題に鑑みてなされたものであり、２つの異なる言語間で、単語や文の欠落や不一致が存在する「非直訳」で、かつ、「文書対」の集合であっても、句翻訳モデルを学習することが可能な句翻訳モデル学習装置およびそのプログラムを提供することを課題とする。

本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載の句翻訳モデル学習装置は、２つの異なる言語の対訳文書対から、対応する句の出現頻度を表す句翻訳モデルを学習する句翻訳モデル学習装置であって、単言語句モデル学習手段と、単言語句モデル記憶手段と、２言語句モデル学習手段と、を備え、２言語句モデル学習手段が、単言語句生起確率計算手段と、２言語句対生起確率計算手段と、句対サンプリング手段と、再帰的句対追加手段と、を備える構成とした。

かかる構成において、句翻訳モデル学習装置は、単言語句モデル学習手段によって、２つの異なる言語の複数の単言語文ごとに、その単言語文を構成するさまざまな粒度の句（１以上の単語列）の出現頻度を学習し、単言語句モデル記憶手段に記憶する。この出現頻度の学習には、例えば、中華レストラン過程（Chinese Restaurant Process）を用いることができる。なお、この単言語文は、対訳文書対のそれぞれの文書中の文を用いてもよいし、別途用意しても構わない。

そして、句翻訳モデル学習装置は、２言語句モデル学習手段によって、複数の対訳文書対から、対訳文書対を構成するさまざまな粒度の２言語の句の対である句対の出現頻度を学習する。
ここで、句翻訳モデル学習装置は、２言語句モデル学習手段の単言語句生起確率計算手段によって、単言語句モデル記憶手段に記憶されている単言語ごとの句の出現頻度に基づいて、対訳文書対の各言語側の、文境界を跨がない任意の句の対における、単言語ごとの句の生起確率を計算する。
これによって、１対１の文対に限定されず、１対多（多対１）、あるいは、多対多の文の関係を有する文書対において、組み合せ可能な句対の一方の言語の句の生起確率と、他方の言語の句の生起確率とが求められる。

そして、句翻訳モデル学習装置は、２言語句モデル学習手段の２言語句対生起確率計算手段によって、単言語句生起確率計算手段で計算された単言語ごとの句の生起確率と、単言語句モデル記憶手段に記憶されている単言語ごとの句の出現頻度とに基づいて、句対を構成する一言語側の句と他言語側の句とにおいて、それぞれの全体句および当該全体句を構成する細分句において、いずれか一方の言語の細分句が他方の言語の全体句と対応しない関係を含んだ句同士の組み合せの生起確率を事前確率として当該句対の生起確率を計算する。
これによって、一方の言語の一部の句（細分句）のみが、他方の言語の句（全体句）に対応する場合であっても、生起確率の確率値が割り当てられることになり、句同士が対訳として完全に一致しない場合であっても、対応する句対として学習結果に反映させることができる。

また、句翻訳モデル学習装置は、２言語句モデル学習手段の句対サンプリング手段によって、単言語句生起確率計算手段で計算された単言語ごとの句の生起確率、および、２言語句対生起確率計算手段で計算された句対の生起確率に基づいて、対訳文書対を過不足なく構成可能な単言語句および句対の集合を列挙し、各集合に対してその各要素である単言語句および句対の生起確率の総積である文書対生起確率を計算した上で、その相対比に応じて１つをサンプリングすることで、選択された集合に含まれる句対一覧を得る。このサンプリングは、例えば、マルチスタックビームサーチで行うことができる。

そして、句翻訳モデル学習装置は、２言語句モデル学習手段の再帰的句対追加手段によって、単言語句生起確率計算手段、２言語句対生起確率計算手段および句対サンプリング手段により得られた各句対に対して、再帰的に細分化された句対を観測することで、句対の出現頻度を学習する。

また、請求項２に記載の句翻訳モデル学習装置は、２つの異なる言語の対訳文書対から、対応する句の出現頻度を表す句翻訳モデルを学習する句翻訳モデル学習装置であって、単言語句モデル記憶手段と、単言語句生起確率計算手段と、再帰的句追加手段と、２言語句対生起確率計算手段と、句対サンプリング手段と、再帰的句対追加手段と、を備える構成とした。

かかる構成において、句翻訳モデル学習装置は、単言語句生起確率計算手段によって、単言語句モデル記憶手段に記憶されている単言語ごとの句の出現頻度に基づいて、対訳文書対の各言語側の、文境界を跨がない任意の句の対における、単言語ごとの句の生起確率を計算する。
また、句翻訳モデル学習装置は、再帰的句追加手段によって、対訳文書対の各言語側の各文に対して、再帰的に細分化された句を観測することで、句の出現頻度を学習する。

そして、句翻訳モデル学習装置は、２言語句対生起確率計算手段によって、単言語句生起確率計算手段で学習された単言語ごとの句の出現頻度と、計算された単言語ごとの句の生起確率とに基づいて、句対を構成する一言語側の句と他言語側の句とにおいて、それぞれの全体句および当該全体句を構成する細分句において、いずれか一方の言語の細分句が他方の言語の全体句と対応しない関係を含んだ句同士の組み合せの生起確率を事前確率として当該句対の生起確率を計算する。

そして、句翻訳モデル学習装置は、句対サンプリング手段によって、単言語句生起確率計算手段で計算された単言語ごとの句の生起確率、および、２言語句対生起確率計算手段で計算された句対の生起確率に基づいて、対訳文書対を過不足なく構成可能な単言語句および句対の集合を列挙し、各集合に対してその各要素である単言語句および句対の生起確率の総積である文書対生起確率を計算した上で、その相対比に応じて１つをサンプリングすることで、選択された集合に含まれる句対一覧を得る。
そして、句翻訳モデル学習装置は、再帰的句対追加手段によって、単言語句生起確率計算手段、２言語句対生起確率計算手段および句対サンプリング手段により得られた各句対に対して、再帰的に細分化された句対を観測することで、句対の出現頻度を学習する。

さらに、請求項３に記載の句翻訳モデル学習プログラムは、２つの異なる言語の対訳文書対から、対応する句の出現頻度を表す句翻訳モデルを学習するために、コンピュータを、単言語句モデル学習手段、単言語句生起確率計算手段、２言語句対生起確率計算手段、句対サンプリング手段、再帰的句対追加手段、として機能させる構成とした。

かかる構成において、句翻訳モデル学習プログラムは、単言語句モデル学習手段によって、２つの異なる言語の複数の単言語文ごとに、その単言語文を構成するさまざまな粒度の句（１以上の単語列）の出現頻度を学習し、単言語句モデル記憶手段に記憶する。
そして、句翻訳モデル学習プログラムは、単言語句生起確率計算手段によって、単言語句モデル記憶手段に記憶されている単言語ごとの句の出現頻度に基づいて、対訳文書対の各言語側の、文境界を跨がない任意の句の対における、単言語ごとの句の生起確率を計算する。

そして、句翻訳モデル学習プログラムは、２言語句対生起確率計算手段によって、単言語句生起確率計算手段で計算された単言語ごとの句の生起確率と、前記単言語句モデル記憶手段に記憶されている単言語ごとの句の出現頻度とに基づいて、句対を構成する一言語側の句と他言語側の句とにおいて、それぞれの全体句および当該全体句を構成する細分句において、いずれか一方の言語の細分句が他方の言語の全体句と対応しない関係を含んだ句同士の組み合せの生起確率を事前確率として当該句対の生起確率を計算する。

また、句翻訳モデル学習プログラムは、句対サンプリング手段によって、単言語句生起確率計算手段で計算された単言語ごとの句の生起確率、および、２言語句対生起確率計算手段で計算された句対の生起確率に基づいて、対訳文書対を過不足なく構成可能な単言語句および句対の集合を列挙し、各集合に対してその各要素である単言語句および句対の生起確率の総積である文書対生起確率を計算した上で、その相対比に応じて１つをサンプリングすることで、選択された集合に含まれる句対一覧を得る。
そして、句翻訳モデル学習プログラムは、再帰的句対追加手段によって、単言語句生起確率計算手段、２言語句対生起確率計算手段および句対サンプリング手段により得られた各句対に対して、再帰的に細分化された句対を観測することで、句対の出現頻度を学習する。

また、請求項４に記載の句翻訳モデル学習プログラムは、２つの異なる言語の対訳文書対から、対応する句の出現頻度を表す句翻訳モデルを学習するために、コンピュータを、単言語句生起確率計算手段、再帰的句追加手段、２言語句対生起確率計算手段、句対サンプリング手段、再帰的句対追加手段、として機能させる構成とした。

かかる構成において、句翻訳モデル学習プログラムは、単言語句生起確率計算手段によって、単言語句モデル記憶手段に記憶されている単言語ごとの句の出現頻度に基づいて、対訳文書対の各言語側の、文境界を跨がない任意の句の対における、単言語ごとの句の生起確率を計算する。
また、句翻訳モデル学習プログラムは、再帰的句追加手段によって、対訳文書対の各言語側の各文に対して、再帰的に細分化された句を観測することで、句の出現頻度を学習する。

そして、句翻訳モデル学習プログラムは、は、２言語句対生起確率計算手段によって、単言語句生起確率計算手段で学習された単言語ごとの句の出現頻度と、計算された単言語ごとの句の生起確率とに基づいて、句対を構成する一言語側の句と他言語側の句とにおいて、それぞれの全体句および当該全体句を構成する細分句において、いずれか一方の言語の細分句が他方の言語の全体句と対応しない関係を含んだ句同士の組み合せの生起確率を事前確率として当該句対の生起確率を計算する。

そして、句翻訳モデル学習プログラムは、は、句対サンプリング手段によって、単言語句生起確率計算手段で計算された単言語ごとの句の生起確率、および、２言語句対生起確率計算手段で計算された句対の生起確率に基づいて、対訳文書対を過不足なく構成可能な単言語句および句対の集合を列挙し、各集合に対してその各要素である単言語句および句対の生起確率の総積である文書対生起確率を計算した上で、その相対比に応じて１つをサンプリングすることで、選択された集合に含まれる句対一覧を得る。
そして、句翻訳モデル学習プログラムは、は、再帰的句対追加手段によって、単言語句生起確率計算手段、２言語句対生起確率計算手段および句対サンプリング手段により得られた各句対に対して、再帰的に細分化された句対を観測することで、句対の出現頻度を学習する。

本発明は、以下に示す優れた効果を奏するものである。
請求項１，３に記載の発明によれば、対訳文書対を構成する句対から、句対の出現頻度を学習するため、文書中の文同士が完全に対応していない場合であっても、句翻訳モデル（句頻度）を学習することができる。さらに、請求項１，３に記載の発明によれば、句対の出現頻度を学習する際に、句同士が完全に一致しない場合についても確率値を割り当てて演算を行うため、非直訳文書対であっても、句翻訳モデルを学習することができる。
請求項２，４に記載の発明によれば、請求項１，３に記載の発明の効果に加え、単言語モデルの学習を、２言語モデルの学習と並列して行うことができる。

本発明の実施形態に係る句翻訳モデル学習装置の構成を示すブロック構成図である。 中華レストラン過程（ＣＲＰ）の概要を説明するための説明図である。 図１の単言語句モデル学習手段の学習結果である言語句頻度のデータ構造を示す図である。 図１の２言語句モデル学習手段の学習結果である句対頻度のデータ構造を示す図である。 図１の２言語句対生起確率計算手段において、対応する句同士の組み合せを説明するための説明図であって、（ａ）は句を構成する細分句同士が対応する例、（ｂ）は一方の言語の細分句のみが他方の言語の全体句と対応する例、（ｃ）は他方の言語の細分句のみが一方の言語の全体句と対応する例、（ｄ）は２言語の全体句同士が対応する例を示している。 図１の句対サンプリング手段において、対訳文書対の句対を抽出する例を説明するための説明図である。 図１の句対サンプリング手段において、句対をサンプリングする手法を説明するための説明図である。 本発明の実施形態に係る句翻訳モデル学習装置の単言語句学習の動作を示すフローチャートである。 本発明の実施形態に係る句翻訳モデル学習装置の２言語句学習の動作を示すフローチャートである。 本発明の他の実施形態に係る句翻訳モデル学習装置の構成を示すブロック構成図である。

以下、本発明の実施形態について図面を参照して説明する。
［句翻訳モデル学習装置の構成］
まず、図１を参照して、本発明の実施形態に係る句翻訳モデル学習装置１の構成について説明する。
図１に示した句翻訳モデル学習装置１は、２つの異なる言語の対訳文書対から、対応する句の出現頻度を表す句翻訳モデルを学習するものである。２つの異なる言語は、例えば、日本語と英語、英語とフランス語等、異なる言語体系を有する言語であるが、以降の説明では、異なる言語の一方を第１言語、他方を第２言語と記載することとする。なお、いずれか一方の言語を区別することなく単に１つの言語を指す場合には、単言語といい、２つの言語をまとめて指す場合には、２言語ということとする。また、句とは、その言語における１つ以上の単語の列で構成される単語列のことをいう。なお、単言語文は、予め単語に区分され、図示を省略した記憶装置に記憶されているものとする。

ここでは、句翻訳モデル学習装置１は、言語モデル記憶手段１０と、単言語句モデル学習手段２０と、単言語観測句記憶手段３０と、単言語句モデル記憶手段４０と、２言語句モデル学習手段５０と、２言語観測句対記憶手段６０と、２言語句モデル記憶手段７０と、を備える。

言語モデル記憶手段１０は、第１言語および第２言語のそれぞれについての言語モデル（第１言語モデル、第２言語モデル）を予め記憶するものであって、ハードディスク等の一般的な記憶装置である。この言語モデル（第１言語モデル、第２言語モデル）は、それぞれの言語の大量のテキストから予め学習した出力系列（単語等）の出現確率等をモデル化したものである。この言語モデルには、例えば、一般的な「Ｎグラム言語モデル」を用いることができる。

単言語句モデル学習手段２０は、言語モデル記憶手段１０に記憶されている言語モデルを参照して、複数の単言語文から、単言語の句の出現頻度を示す単言語句モデルを学習により生成するものである。なお、この単言語文は、２言語句モデル（句翻訳モデル）を学習する際の対訳文書対の各単語の文であっても構わないし、別途準備した文であっても構わない。

この単言語句モデル学習手段２０は、学習対象を第１言語とする場合、第１言語モデルを参照して、複数の第１言語文から、第１言語の単言語句モデル（第１言語句頻度）を学習し、単言語句モデル記憶手段４０に書き込む。また、単言語句モデル学習手段２０は、学習対象を第２言語とする場合、第２言語モデルを参照して、複数の第２言語文から、第２言語の単言語句モデル（第２言語句頻度）を学習し、単言語句モデル記憶手段４０に書き込む。なお、ここでは、単言語句モデル学習手段２０は、第１言語の単言語句モデル（第１言語句頻度）を学習した後、第２言語の単言語句モデル（第２言語句頻度）を学習することとする。

この単言語句モデル学習手段２０は、図示を省略した初期化手段によって、予め初期化された単言語句モデル記憶手段４０の言語句頻度（第１言語句頻度、第２言語句頻度）に対して、予め定めた回数だけ、複数の単言語文から句を観測することによって言語句頻度を更新する処理（手段２１〜２４）を繰り返し実行する。なお、初期化手段（不図示）の初期化処理は、例えば、学習対象の複数の単言語文から、各文をランダムに分割する、あるいは何らかの事前情報を参照するなどして、句を予め抽出し、その抽出結果を学習対象の各文に対応した観測句一覧として単言語観測句記憶手段３０に書き込むとともに、当該句に対して後記する句の頻度情報（図２参照）を対応付けて単言語句モデル記憶手段４０に書き込む。

この単言語句モデル学習手段２０における繰り返し処理は、一般的な中華レストラン過程（Chinese Restaurant Process：以下、ＣＲＰという）を用いることができる。このＣＲＰは、複数のテーブルがある中華レストランに、新たな客が入ってきたときに、その客が多くの客が座っているテーブルに座り易いという過程を、モデル化したものである。この単言語句モデル学習手段２０は、ＣＲＰにおいて、客を「句」、テーブルを「クラスタ」とすることで、単言語句モデルを学習する。

ここで、先に、単言語句モデル学習手段２０の学習結果について、図２，図３を参照して説明しておく。なお、この学習結果は、単言語句モデル記憶手段４０に記憶される言語句頻度（第１言語句頻度、第２言語句頻度）の内容である。
図２に示すように、ＣＲＰは、客Ｍが中華レストランに入店した際に、すでに客がいるテーブルＴに座って、同じ料理（ここでは「句」）を食べるか、新しいテーブルに座って、新しい料理を注文するかをモデル化し、多くの客Ｍが座っているテーブルＴ上の料理（「句」）ほど、人気（出現頻度）が高いというモデルを表している。

ここでは、図３に示すように、言語句頻度のデータ構造は、入力した単言語文で観測される句（単語列）ｗごとに、全単言語文中で観測された頻度である観測頻度ｎと、ＣＲＰにおいて生成されているテーブルＴの数であるテーブル数（総クラスタ数）ｃと、各テーブルＴの客Ｍの数（クラスタごとの句数）ｔ（１）〜ｔ（ｃ）とからなる頻度情報を対応付けた構造となっている。

また、ここでは、言語句頻度のデータに、すべての句の観測頻度ｎの総数である全観測頻度Ｎと、すべての句のテーブル数ｃの総数である全テーブル数Ｃとを含むこととするが、これらは、観測頻度ｎやテーブル数ｃから計算によって求められるものであるため、必ずしも保持しておく必要はない。
また、ここでは、言語句頻度のデータに、パラメータｄ、θを含んでいる。このパラメータｄ、θは、後記する単言語句生起確率計算手段２３（図１）において、句の生起確率を計算する際のＰｉｔｍａｎ−Ｙｏｒ過程のパラメータである。
図１に戻って、句翻訳モデル学習装置１の構成について説明を続ける。

単言語句モデル学習手段２０は、文処理順決定手段２１と、対象句削除手段２２と、単言語句生起確率計算手段２３と、再帰的句追加手段２４と、を備え、ＣＲＰの処理を実行する。

文処理順決定手段２１は、学習対象である複数の単言語文に対して、繰り返し処理の各回の処理において処理する文の順番をランダムに決定するものである。例えば、文処理順決定手段２１は、複数の単言語文（ｓ_１〜ｓ_ｎ）に対して、１〜ｎの範囲で擬似乱数を発生させ、その乱数の順番で、単言語文の処理順を決定する。

対象句削除手段２２は、文処理順決定手段２１で決定された順番に従って与えられた、処理対象の単言語文に対して、単言語句モデル記憶手段４０に記憶されている言語句頻度（図３参照）から、当該文から前回観測された各句の頻度情報を削減するものである。

具体的には、対象句削除手段２２は、単言語観測句記憶手段３０に記憶されている、当該文に対して前回観測された句の一覧を取得し、その各々について、当該句に対応する客数ｔ（１）〜ｔ（ｃ）の中から、客数の比に応じた確率でテーブルｉを選択する。
そして、対象句削除手段２２は、当該句の観測頻度ｎから“１”を減算するとともに、選択したテーブルｉの客数ｔ（ｉ）から“１”を減算する。なお、このとき、客数ｔ（ｉ）が“０”になった場合、対象句削除手段２２は、客数ｔ（１）〜ｔ（ｃ）から、ｔ（ｉ）を削除して、テーブル数ｃから“１”を減算する。

単言語句生起確率計算手段２３は、単言語句モデル記憶手段４０に記憶されている学習途中の言語句頻度を参照して、文処理順決定手段２１で決定された順番に従って与えられた、処理対象の単言語文の可能な部分単語列である各句の生起確率を計算するものである。
すなわち、単言語句生起確率計算手段２３は、入力された単言語文Ｓ（＝ｗ_１ｗ_２…ｗ_ｋ）の任意の部分単語列である句ｗ_ｉ：ｊ（＝ｗ_ｉｗ_ｉ＋１…ｗ_ｊ−１ｗ_ｊ、ただし、１≦ｉ≦ｊ≦ｋ）の生起確率Ｐ（ｗ_ｉ：ｊ）を、以下の式（１）により算出する。

ここで、ｎ（ｗ_ｉ：ｊ）は、単言語句モデル記憶手段４０に記憶されている観測された句ｗ_ｉ：ｊの出現頻度（図３の観測頻度ｎ）、Ｎは、ｎ（ｗ_ｉ：ｊ）の総和（図３の全観測頻度Ｎ）、ｃ（ｗ_ｉ：ｊ）は、句ｗ_ｉ：ｊのテーブル数（図３のテーブル数ｃ）、Ｃは、テーブルの総数（図３の全テーブル数Ｃ）、Ｐ_ｐ（ｗ_ｉ：ｊ）は、句ｗ_ｉ：ｊの事前確率、ｄ、θは、Ｐｉｔｍａｎ−Ｙｏｒ過程のパラメータである。
ここでは、単言語句生起確率計算手段２３は、前記式（１）における第１項と第２項とを、それぞれ、以下の式（２）、式（３）に示すように、観測頻度成分Ｐ_ｏ（ｗ_ｉ：ｊ），事前確率成分Ｐ_ｒ（ｗ_ｉ：ｊ）とに分けて算出する。

なお、前記式（１）、式（３）における事前確率Ｐ_ｐ（ｗ_ｉ：ｊ）は、以下の式（４）で算出する。

ここで、Ｐ_ｘ（Ｕ）は、事前確率における句をさらに細分化する度合いを示し、Ｐ_ｘ（Ｂ）は、事前確率における他の事前知識の度合いであってこれ以上の句の細分化を要しない度合いを示す予め定めた値である。なお、事前知識である前記式（４）のＰ（ｗ_ｉ：ｍ）およびＰ（ｗ_{ｍ＋１：ｊ}）は、それぞれ同様に式（４）によって計算される、各細分句の生起確率であり、また、Ｐ_Ｂ（ｗ_ｉ：ｊ）は、言語モデル記憶手段１０に記憶されている言語モデルで特定される接続確率である。
このように、単言語句生起確率計算手段２３は、入力された単言語文において、その任意の部分単語列である句についての生起確率を、観測頻度成分Ｐ_ｏ（ｗ_ｉ：ｊ）と、事前確率成分Ｐ_ｒ（ｗ_ｉ：ｊ）とに分けて計算する。

なお、ある句の生起確率を計算するためには、その事前確率の計算において、この句のすべての可能な２分割結果である細分句の生起確率の計算結果が必要となり、その各細分句の生起確率を計算するためにもその更なる細分句の計算結果が必要となる。このような再帰的な計算を効率的に行い、単言語文に含まれるすべての可能な句の生起確率の計算結果を得るには、例えばチャート法を用いることができる。
すなわち、単言語句生起確率計算手段２３は、長さｋの入力文Ｓ（＝ｗ_１ｗ_２…ｗ_ｋ）において、まずこれに含まれるすべての可能な長さ“１”の句の生起確率を計算して記憶し、次にこれら記憶された計算結果を参照しながら、すべての可能な長さ“２”の句の生起確率を計算し、というように、計算対象の句の長さを“１”ずつ増やしながら最終的に長さｋ以下のすべての可能な句の生起確率を得る。
この単言語句生起確率計算手段２３において算出された単言語の句の生起確率は、図示を省略したメモリ等に記憶され、再帰的句追加手段２４において参照される。

再帰的句追加手段２４は、単言語句生起確率計算手段２３で計算された、入力文に含まれるすべての句の生起確率に基づいて、入力文の再帰的な細分化（サンプリング）と、言語句頻度の更新とを行うものである。
具体的には、再帰的句追加手段２４は、入力文全体を１つの処理対象句として以下に示す再帰的処理を実行する。
まず、再帰的句追加手段２４は、処理対象句ｗ_ｉ：ｊにおいて、単言語句生起確率計算手段２３で計算された生起確率の観測頻度成分Ｐ_ｏ（ｗ_ｉ：ｊ）および事前確率成分Ｐ_ｒ（ｗ_ｉ：ｊ）における確率比に基づいて、観測頻度成分Ｐ_ｏまたは事前確率成分Ｐ_ｒのいずれか一方を選択する。例えば、再帰的句追加手段２４は、観測頻度成分Ｐ_ｏおよび事前確率成分Ｐ_ｒを、その和が“１”となるように正規化し、０〜１の範囲で擬似乱数を発生させ、その乱数に対応する成分を選択する。

ここで、観測頻度成分Ｐ_ｏが選択された場合、再帰的句追加手段２４は、その成分を算出した際の句（ｗ_ｉ：ｊ）を、学習結果である言語句頻度に追加する。具体的には、再帰的句追加手段２４は、図３の言語句頻度において、句（ｗ_ｉ：ｊ）に対応する客数ｔ（１）〜（ｃ）から、その客数比に応じた確率でテーブルｉを選択し、そのテーブルｉに対応する客数ｔ（ｉ）を“１”増加させるとともに、観測頻度ｎを“１”増加させる。
また、このとき、再帰的句追加手段２４は、単言語観測句記憶手段３０の当該単言語文に対応する今回の観測句一覧に、句（ｗ_ｉ：ｊ）を追加しておく。

一方、事前確率成分Ｐ_ｒが選択された場合、再帰的句追加手段２４は、その成分を算出した際の句（ｗ_ｉ：ｊ）を、学習結果である言語句頻度に追加する。具体的には、再帰的句追加手段２４は、図３の言語句頻度において、句（ｗ_ｉ：ｊ）に、新たなテーブルを割り当てる。すなわち、再帰的句追加手段２４は、句（ｗ_ｉ：ｊ）に対応する観測頻度ｎを“１”増加させ、テーブル数ｃを“１”増加させるとともに、新しいテーブルの客数ｔ（ｃ）に“１”を設定する。
また、このとき、再帰的句追加手段２４は、単言語観測句記憶手段３０の当該単言語文に対応する今回の観測句一覧に、句（ｗ_ｉ：ｊ）を追加しておく。

さらに、事前確率成分Ｐ_ｒが選択された場合、再帰的句追加手段２４は、前記式（４）におけるＰ_ｒとして総和された各項、すなわち、Ｐ_ｘ（Ｕ）Ｐ（ｗ_ｉ：ｉ）Ｐ（ｗ_{ｉ＋１：ｊ}），Ｐ_ｘ（Ｕ）Ｐ（ｗ_{ｉ：ｉ＋１}）Ｐ（ｗ_{ｉ＋２：ｊ}），…，Ｐ_ｘ（Ｕ）Ｐ（ｗ_{ｉ：ｊ−１}）Ｐ（ｗ_ｊ：ｊ），Ｐ_ｘ（Ｂ）Ｐ_Ｂ（ｗ_ｉ：ｊ）の中から１つを、その確率比に応じて選択する。このサンプリングの結果、項Ｐ_ｘ（Ｕ）Ｐ（ｗ_ｉ：ｍ）Ｐ（ｗ_{ｍ＋１：ｊ}）（ｉ≦ｍ≦ｊ−１）が選択された場合にのみ、句（ｗ_ｉ：ｊ）を細分化した句である句ｗ_ｉ：ｍおよび句ｗ_{ｍ＋１：ｊ}の各々について、再帰的句追加手段２４を再帰的に実行する。
これによって、再帰的句追加手段２４は、入力文に階層的な粒度で含まれる、観測された句の各々を単言語観測句記憶手段３０の観測句一覧に追加するとともに、単言語句モデル記憶手段４０の言語句モデル（第１言語句頻度、第２言語句頻度）を更新する。

このように、単言語句モデル学習手段２０は、第１言語の単言語文である複数の第１言語文と、言語モデル記憶手段１０に記憶している第１言語モデルとから、単言語句モデル記憶手段４０に記憶する第１言語句頻度を学習する。また、単言語句モデル学習手段２０は、第２言語の単言語文である複数の第２言語文と、言語モデル記憶手段１０に記憶している第２言語モデルとから、単言語句モデル記憶手段４０に記憶する第２言語句頻度を学習する。
この単言語句モデル学習手段２０で学習された第１言語句頻度および第２言語句頻度は、２言語句モデル学習手段５０において、２言語の句対頻度を学習する際に参照される。

単言語観測句記憶手段３０は、単言語句モデル学習手段２０において、複数の単言語文で観測される句の一覧を記憶するものであって、半導体メモリ等の一般的な記憶媒体である。すなわち、単言語観測句記憶手段３０には、単言語句モデル学習手段２０によって、予め定めた回数だけ、複数の単言語文から新たな言語句頻度を生成する処理を繰り返す際に、その繰り返しごとに、観測句一覧が書き込まれる。そして、単言語観測句記憶手段３０において、その繰り返しごとに、前回の観測句一覧と今回の観測句一覧とが交互に更新される。

単言語句モデル記憶手段４０は、単言語句モデル学習手段２０で学習された単言語句の出現頻度を記憶するものであって、ハードディスク等の一般的な記憶装置である。この単言語句モデル記憶手段４０には、単言語句モデル学習手段２０によって、複数の第１言語文から学習した結果である第１言語句頻度と、複数の第２言語文から学習した結果である第２言語句頻度とが書き込まれる。なお、言語句頻度（第１言語句頻度、第２言語句頻度）のデータ構造は、図３で説明した通りである。

２言語句モデル学習手段５０は、言語モデル記憶手段１０に記憶されている言語モデルと、単言語句モデル記憶手段４０に記憶されている第１言語句頻度および第２言語句頻度とを参照して、複数の対訳文書対から、２言語の対となる句の出現頻度を示す２言語句モデルを学習により生成するものである。
この２言語句モデル学習手段５０は、図示を省略した初期化手段によって、予め初期化された２言語句モデル記憶手段７０の句対頻度に対して、予め定めた回数だけ、複数の対訳文書対から句対を観測することによって句対頻度を更新する処理（手段５１〜５６）を繰り返し実行する。なお、初期化手段（不図示）の初期化処理は、例えば、学習対象の複数の対訳文書対から、句対を予め抽出し、その抽出結果を観測句対一覧として２言語観測句対記憶手段６０に書き込むとともに、当該句対に対して後記する句対の頻度情報（図４参照）を対応付けて２言語句モデル記憶手段７０に書き込む。

この２言語句モデル学習手段５０における繰り返し処理は、単言語句モデル学習手段２０と同様に中華レストラン過程（ＣＲＰ）を用いることとする。ただし、単言語句モデル学習手段２０が学習する対象が単言語の句であったのに対し、２言語句モデル学習手段５０では、対応する２言語の文書対（対訳文書対）における句の対を学習対象とする。

ここで、先に、２言語句モデル学習手段５０の学習結果について、図４を参照して説明しておく。なお、この学習結果は、２言語句モデル記憶手段７０に記憶される句対頻度の内容である。この句対頻度は、図３で説明した言語句頻度のデータ構造において、出現頻度を求める対象を句ｗから、２つの言語の句の対である句対＜ｅ，ｆ＞としたもので、それ以外の情報は、図３で説明した言語句頻度と同じである。

図１に戻って、句翻訳モデル学習装置１の構成について説明を続ける。
２言語句モデル学習手段５０は、文書対処理順決定手段５１と、対象句対削除手段５２と、単言語句生起確率計算手段５３と、２言語句対生起確率計算手段５４と、句対サンプリング手段５５と、再帰的句対追加手段５６と、を備え、ＣＲＰの処理を実行する。

文書対処理順決定手段５１は、学習対象である複数の対訳文書対に対して、繰り返し処理の各回の処理において処理する文書対の順番をランダムに決定するものである。例えば、文書対処理順決定手段５１は、複数の対訳文書対（＜Ｅ_１，Ｆ_１＞〜＜Ｅ_ｎ，Ｆ_ｎ＞）に対して、１〜ｎの範囲で擬似乱数を発生させ、その乱数の順番で、対訳文書対の処理順を決定する。

対象句対削除手段５２は、文書対処理順決定手段５１で決定された順番に従って与えられた、処理対象の対訳文書対に対して、２言語句モデル記憶手段７０に記憶されている句対頻度（図４参照）から、当該文書対から前回観測された各句対の頻度情報を削減するものである。

具体的には、対象句対削除手段５２は、２言語観測句対記憶手段５０に記憶されている、当該文書対に対して前回観測された句対の一覧を取得し、その各々について、当該句対に対応する客数ｔ（１）〜ｔ（ｃ）の中から、客数の比に応じた確率でテーブルｉを選択する。
そして、対象句対削除手段５２は、観測頻度ｎから“１”を減算するとともに、選択したテーブルｉの客数ｔ（ｉ）から“１”を減算する。なお、このとき、客数ｔ（ｉ）が“０”になった場合、対象句対削除手段５２は、客数ｔ（１）〜ｔ（ｃ）から、ｔ（ｉ）を削除して、テーブル数ｃから“１”を減算する。

単言語句生起確率計算手段５３は、単言語句モデル記憶手段４０に記憶されている２つの言語句頻度を参照して、文書対処理順決定手段５１で決定された順番で入力された対訳文書対を構成する各言語側各文の可能な部分単語列である各句対において、それぞれの単言語ごとに句の生起確率を計算するものである。
なお、単言語句生起確率計算手段５３における生起確率は、単言語句生起確率計算手段２３と同様、それぞれの言語において、前記（１）式の演算により算出することができる。

この単言語句生起確率計算手段５３において算出された単言語の各文における句の生起確率は、図示を省略したメモリ等に記憶され、２言語句対生起確率計算手段５４において２言語句対の生起確率を算出する際、および、句対サンプリング手段５５において文書対から句対をサンプリングする際に参照される。

２言語句対生起確率計算手段５４は、単言語句生起確率計算手段５３で算出された単言語句の生起確率と、単言語句モデル記憶手段４０に記憶されている２つの言語句頻度とを参照して、対訳文書対を構成する各言語側の文のすべての組み合せについて、当該文対に含まれる可能な句の２言語対の生起確率を計算するものである。

すなわち、２言語句対生起確率計算手段５４は、入力された対訳文書対の可能な２言語文対の組み合せの各々において、当該文対の第１言語側文Ｅ（＝ｅ_１ｅ_２…ｅ_ｋ）および第２言語側文Ｆ（＝ｆ_１ｆ_２…ｆ_ｓ）に対して、Ｅ，Ｆ各々の任意の部分単語列である第１言語側の句ｅ_ｉ，ｊ（＝ｅ_ｉｅ_ｉ＋１…ｅ_ｊ−１ｅ_ｊ、ただし、１≦ｉ≦ｊ≦ｋ）、および、第２言語側の句ｆ_ｑ，ｒ（＝ｆ_ｑｆ_ｑ＋１…ｆ_ｒ−１ｆ_ｒ、ただし、１≦ｑ≦ｒ≦ｓ）から構成される句対の生起確率Ｐ（＜ｅ_ｉ：ｊ，ｆ_ｑ：ｒ＞）を、以下の式（５）により算出する。

ここで、ｎ（＜ｅ_ｉ：ｊ，ｆ_ｑ：ｒ＞）は、２言語句モデル記憶手段７０に記憶されている観測された句対＜ｅ_ｉ：ｊ，ｆ_ｑ：ｒ＞の出現頻度（図４の観測頻度ｎ）、Ｎは、ｎ（＜ｅ_ｉ：ｊ，ｆ_ｑ：ｒ＞）の総和（図４の全観測頻度Ｎ）、ｃ（＜ｅ_ｉ：ｊ，ｆ_ｑ：ｒ＞）は、句対＜ｅ_ｉ：ｊ，ｆ_ｑ：ｒ＞のテーブル数（図４のテーブル数ｃ）、Ｃは、テーブルの総数（図４の全テーブル数Ｃ）、Ｐ_ｐ（＜ｅ_ｉ：ｊ，ｆ_ｑ：ｒ＞）は、句対＜ｅ_ｉ：ｊ，ｆ_ｑ：ｒ＞の事前確率、ｄ、θは、Ｐｉｔｍａｎ−Ｙｏｒ過程のパラメータである。
ここでは、２言語句対生起確率計算手段５４は、前記式（５）における第１項と第２項とを、それぞれ、以下の式（６）、式（７）に示すように、観測頻度成分Ｐ_ｏ（＜ｅ_ｉ：ｊ，ｆ_ｑ：ｒ＞），事前確率成分Ｐ_ｒ（＜ｅ_ｉ：ｊ，ｆ_ｑ：ｒ＞）とに分けて算出する。

なお、前記式（５）、式（７）における事前確率Ｐ_ｐ（＜ｅ_ｉ：ｊ，ｆ_ｑ：ｒ＞）は、以下の式（８）で算出する。

ここで、Ｐ_ｘ（Ｒ）は、句対を２句同士の対応としたときに、同じ順番（語順が同じ）に対応する度合いを示し、Ｐ_ｘ（Ｉ）は、句対を２句同士の対応としたときに、順番が反転（語順が逆）する度合いを示す予め定めた値であり、Ｐ_ｘ（Ｒ）＋Ｐ_ｘ（Ｉ）とする。

また、ｍ（（＜ｅ_ｉ：ｊ，ｆ_ｑ：ｒ＞））は、それぞれの句ｅ_ｉ：ｊ，ｆ_ｑ：ｒが独立よりどれだけ対訳らしいかを示す度合いである。例えば、図示を省略した記憶手段に対訳辞書を備え、句ｅ_ｉ：ｊ，ｆ_ｑ：ｒが対訳として掲載されていればその値を大きく設定する。なお、このような事前の知識がなければ、値を“１”としてもよい。
ここで、前記式（８）の事前確率Ｐ_ｐ（＜ｅ_ｉ：ｊ，ｆ_ｑ：ｒ＞）を、以下の式（９）に示すように、４つの成分Ｐ_１〜Ｐ_４で表すと、それぞれの成分は、以下の意味を持つことになる。

すなわち、Ｐ_１は、一方の言語の句を構成する個々の句（細分句）が、他方の言語の句を構成する個々の句（細分句）に過不足なく対応（個別句一致対応）する確率の、各言語側におけるすべての可能な細分の仕方についての総和を示す。また、Ｐ_２は、一方の言語の句を構成する句の一部（細分句）が、他方の言語の句全体（全体句）に対応（一側欠落対応）する確率の、一側のすべての可能な細分の仕方についての総和を示す。また、Ｐ_３は、一方の言語の句全体（全体句）が、他方の言語の句を構成する句の一部（細分句）と対応（他側欠落対応）する確率の、他側のすべての可能な細分の仕方についての総和を示す。さらに、Ｐ_４は、一方の言語の句全体が、他方の言語の句全体に、各々細分化されることなく対応（完全句一致対応）する確率を示す。

ここで、図５を参照して、前記式（８）、式（９）の意味を模式的に説明する。
式（９）のＰ_１成分は、図５（ａ）に示すように、ｅ言語句ｅ_ｉ：ｊと、ｆ言語句ｆ_ｑ：ｒにおいて、それぞれの句をある位置で区分したときの前方の句同士である句ｅ_ｉ：ｍ，ｆ_ｑ：ｎと、後方の句同士である句ｅ_{ｍ＋１：ｊ}，ｆ_{ｎ＋１：ｒ}とがそれぞれ対応する関係（同順対応（ａ１））となる確率と、ｅ言語句ｅ_ｉ：ｊの前方の句ｅ_ｉ：ｍおよびｆ言語句ｆ_ｑ：ｒの後方の句ｆ_{ｎ＋１：ｒ}が対応し、ｅ言語句ｅ_ｉ：ｊの後方の句ｅ_{ｍ＋１：ｊ}およびｆ言語句ｆ_ｑ：ｒの前方の句ｆ_ｑ：ｎが対応する関係（反転対応（ａ２））となる確率を、Ｐ_ｘ（Ｒ）およびＰ_ｘ（Ｉ）の割合で加算した成分（個別句一致対応成分）である。

また、式（９）のＰ_２成分は、図５（ｂ）に示すように、ｅ言語句ｅ_ｉ：ｊをある位置で区分した前方の句ｅ_ｉ：ｍがｆ言語句ｆ_ｑ：ｒ全体に対応し、ｅ言語句ｅ_ｉ：ｊの後方の句ｅ_{ｍ＋１：ｊ}がｆ言語句ｆ_ｑ：ｒと対応しない関係（後方欠落対応（ｂ１））となる確率と、ｅ言語句ｅ_ｉ：ｊの後方の句ｅ_{ｍ＋１：ｊ}がｆ言語句ｆ_ｑ：ｒ全体に対応し、ｅ言語句ｅ_ｉ：ｊの前方の句ｅ_ｉ：ｍがｆ言語句ｆ_ｑ：ｒと対応しない関係（前方欠落対応（ｂ２））となる確率とを加算平均した成分（一側欠落対応成分）である。

また、式（９）のＰ_３成分は、図５（ｃ）に示すように、ｅ言語句ｅ_ｉ：ｊ全体がｆ言語句ｆ_ｑ：ｒの後方の句ｆ_{ｎ＋１：ｒ}に対応し、ｆ言語句ｆ_ｑ：ｒをある位置で区分した前方の句ｆ_ｑ：ｎがｅ言語句ｅ_ｉ：ｊと対応しない関係（前方欠落対応（ｃ１））となる確率と、ｅ言語句ｅ_ｉ：ｊ全体がｆ言語句ｆ_ｑ：ｒの前方の句ｆ_ｑ：ｎに対応し、ｆ言語句ｆ_ｑ：ｒの後方の句ｆ_{ｎ＋１：ｒ}がｅ言語句ｅ_ｉ：ｊと対応しない関係（後方欠落対応（ｃ２））となる確率とを加算平均した成分（他側欠落対応成分）である。

さらに、式（９）のＰ_４成分は、図５（ｄ）に示すように、ｅ言語句ｅ_ｉ：ｊ全体がｆ言語句ｆ_ｑ：ｒ全体に細分されることなく対応する確率成分（完全句一致対応成分）である。
この図５（ｂ）の一側欠落対応や図５（ｃ）の他側欠落対応にように、一部の句が対応関係にない場合であっても、確率成分を“０”としないため、学習過程において、なんらかの確率値が与えられることになる。これによって、２言語句対生起確率計算手段５４は、対訳文書対が、直訳文のように１対１で対応していない場合であっても、２言語句の生起確率を求めることができる。

なお、Ｐ_１、Ｐ_２、Ｐ_３の各成分の計算に用いる各細分句対の生起確率は、それぞれ同様に前記式（８）によって計算されるものであり、Ｐ_２、Ｐ_３、Ｐ_４の各成分の計算に用いる各単言語句の生起確率は、それぞれ単言語句生起確率計算手段５３の処理の記憶結果を参照することで特定される。
この２言語句対生起確率計算手段５４において算出された、対訳文書対のすべての可能な２言語文対に含まれる各句対の生起確率は、図示を省略したメモリ等に記憶され、句対サンプリング手段５５において参照される。

なお、単言語句生起確率の計算と同様に、効率的に文対に含まれるすべての可能な句の生起確率の計算結果を得るには、例えばチャート法を用いることができる。
すなわち、２言語句対生起確率計算手段５４は、両言語文Ｅ（＝ｅ_１ｅ_２…ｅ_ｋ）およびＦ（＝ｆ_１ｆ_２…ｆ_ｓ）の長さの和が（ｋ＋ｓ）である入力文対＜Ｅ，Ｆ＞において、まずこれに含まれるすべての可能な長さの和“２”の句対の生起確率を計算して記憶し、次にこれら記憶された計算結果を参照しながら、すべての可能な長さの和“３”の句対の生起確率を計算し、というように、計算対象の句対の長さの和を“１”ずつ増やしながら最終的に長さの和（ｋ＋ｓ）以下のすべての可能な句対の生起確率を得る。

句対サンプリング手段５５は、文書対処理順決定手段５１で決定された順番で入力される対訳文書対において、単言語句生起確率計算手段５３で算出された各言語の単言語句の生起確率、および、２言語句対生起確率計算手段５４で算出された句対の生起確率に基づいて、当該の対訳文書対を過不足なく構成可能な単言語句および句対の集合を列挙し、各集合に対してその各要素である単言語句および句対の生起確率の総積である文書対生起確率を計算した上で、その相対比に応じて１つをサンプリングすることで、選択された集合に含まれる句対一覧を得る。

例えば、図６に示すように、対訳文書対Ｄ_Ｅ，Ｄ_Ｆにおいて、ｅ言語側の文Ｓ_Ｅ１，Ｓ_Ｅ２と、ｆ言語側の文Ｓ_Ｆ１，Ｓ_Ｆ２とが存在する場合に、句対サンプリング手段５５は、ｅ言語側の文Ｓ_Ｅ１の各句ｅ_１，ｅ_２に対して、ｆ言語側の複数の文、ここでは、文Ｓ_Ｆ１，Ｓ_Ｆ２とで組み合せ可能な句対＜ｅ_１，ｆ_１＞，＜ｅ_２，ｆ_３＞について、文書対Ｄ_Ｅ，Ｄ_Ｆの文書対が生起する確率（文書対生起確率）の大きいものからサンプリングすることで抽出する。これによって、対訳文書対の各言語文が、１対１に対応していない場合であっても、対訳となる句対の候補を抽出することができる。

なお、この句対サンプリング手段５５におけるサンプリングは、例えば、マルチスタックビームサーチで行うことができる。このマルチスタックビームサーチを実現する手順は、種々存在するが、以下に図７を参照して、その手法の一例について説明する。

図７（ａ）に示すように、ここでは、対訳文書対として、ｅ言語側の文書Ｄ_Ｅ（ここでは、単語ｅ_１ｅ_２ｅ_３ｅ_４からなる文Ｓ_Ｅ１と、単語ｅ_５ｅ_６からなる文Ｓ_Ｅ２の２文とする）と、ｆ言語側の文書Ｄ_Ｆ（ここでは、単語ｆ_１ｆ_２ｆ_３からなる文Ｓ_Ｆ１と、単語ｆ_４ｆ_５ｆ_６ｆ_７からなる文Ｓ_Ｆ２の２文とする）とする。

このとき、句対サンプリング手段５５は、図７（ｂ）に示すように、ｅ言語側の各単語（ここでは、ｅ_１〜ｅ_６）に対応した優先キュー（ここでは、Ｑ_１〜Ｑ_６）を設定する。優先キューＱ_ｎは、ｅ_１〜ｅ_ｎからなるｅ言語側の部分文書とｆ言語側文書Ｄ_Ｆとの対として構成される部分文書対を過不足なく構成可能な、ｅ言語側の句の集合、ｆ言語側の句の集合、および、句対の集合の３つの組（以下、句・句対集合と呼ぶ）を、当該句および句対の生起確率の総積の大きい順に、予め定められた個数を上限として列挙した結果が格納されるものとする。従って、ある優先キューに句・句対集合を追加する操作は、当該集合を当該キューの既存の各集合とその値によって比較した優先度の位置に挿入し、その結果キューに保持されている個数が予め定められて上限を超えた場合には、最も優先度の小さいものを破棄する操作のことを意味する。

より具体的には、句対サンプリング手段５５は、初期値として、優先キューＱ_０に、ｅ言語側句の集合を空集合（φ）、ｆ言語側句の集合を、文書Ｄ_Ｆの各文（文Ｓ_Ｆ１，Ｓ_Ｆ２）からなる句（ここでは、｛ｆ_１：３、ｆ_４：７｝）を各要素とする集合、句対の集合を空集合（φ）とした候補１個を設定する。そして、句対サンプリング手段５５は、Ｑ_０から順に各キューを参照し、以下に述べる処理を行うことで、最終的に、ｅ言語側の文書末に対応するキューに保持されている、当該文書対を過不足なく構成可能な句・句対集合の候補を得ることができる。

すなわち、句対サンプリング手段５５は、ある優先キューＱ_ｊ−１に保持されている句・句対集合の各々に対して、先頭が単語ｅ_ｊであるｅ言語側の句、および、先頭が単語ｅ_ｊであるｅ言語側句を一方に持つ句対のうち、当該句・句対集合の句集合の各要素と区間の重なりのない句対の一覧を列挙する。そして、前述の一覧の各々について、その句または句対のｅ言語側末尾単語がｅ_ｎであるとして、当該句・句対集合のｅ言語側句もしくは句対集合にそれを追加し、また、ｆ言語側集合をこの新しい句対集合で構成されないＤ_Ｆの各区間からなる句を各要素とした集合で置き換えた新しい句・句対集合を作成し、これを優先キューＱ_ｎに追加する。
なお、図７（ｃ）には、句対サンプリング手段５５によって設定された優先キューの内容の一部を示している。

例えば、図７（ｃ）に示すように、優先キューＱ_６のキューｑ_６１には、文書対＜Ｄ_Ｅ，Ｄ_Ｆ＞を構成可能な、ｅ言語側の句集合（ここでは、１要素：句ｅ_４：４）と、ｆ言語側の句集合（ここでは、２要素：句ｆ_３：３，句ｆ_４：４）と、句対集合（ここでは、３要素：＜ｅ_１：２，ｆ_１：２＞，＜ｅ_３：３，ｆ_５：６＞，＜ｅ_５：６，ｆ_４：４＞）のすべての要素の生起確率の総積が、最も大きいことを示している。なお、キューｑ_６１の例では、その文書生起確率は、ｅ言語側の句ｅ_４：４の生起確率Ｐ（ｅ_４：４）と、ｆ言語側の句ｆ_３：３および句ｆ_４：４のそれぞれの生起確率Ｐ（ｆ_３：３）および句ｆ_４：４の生起確率Ｐ（ｆ_４：４）と、句対＜ｅ_１：２，ｆ_１：２＞，＜ｅ_３：３，ｆ_５：６＞，＜ｅ_５：６，ｆ_４：４＞のそれぞれの生起確率Ｐ（＜ｅ_１：２，ｆ_１：２＞），Ｐ（＜ｅ_３：３，ｆ_５：６＞），Ｐ（＜ｅ_５：６，ｆ_４：４＞）との積（Ｐ（ｅ_４：４）×Ｐ（ｆ_３：３）×Ｐ（ｆ_４：４）×Ｐ（＜ｅ_１：２，ｆ_１：２＞）×Ｐ（＜ｅ_３：３，ｆ_５：６＞）×Ｐ（＜ｅ_５：６，ｆ_４：４＞）となる。

ここで、例えば、図７（ｃ）のキューｑ_６１の内容は、図７（ａ）において、ｅ言語側の文Ｓ_Ｅ１における句ｅ_１：２が、ｆ言語側の文Ｓ_Ｆ１の句ｆ_１：２に対応し、ｅ言語側の文Ｓ_Ｅ１における句ｅ_３：３が、ｆ言語側の文Ｓ_Ｆ２の句ｆ_５：６に対応し、ｅ言語側の文Ｓ_Ｅ２における句ｅ_５：６が、ｆ言語側の文Ｓ_Ｆ２の句ｆ_４：４に対応している関係を示している。すなわち、句対サンプリング手段５５は、対訳文書対の各言語文が、１対１に対応していない場合であっても、対訳となる句対の候補を抽出することができる。
このように、句対サンプリング手段５５は、当該文書対を過不足なく構成可能な句・句対集合の候補一覧を計算し、その後に、当該一覧の中から、その各要素の生起確率の総積の比に応じて、１つをサンプリングして選択する。そして、句対サンプリング手段５５は、選択結果の句・句対集合に含まれる句対集合を得る。
図１に戻って、句翻訳モデル学習装置１の構成について説明を続ける。

再帰的句対追加手段５６は、２言語句対生起確率計算手段５４で計算された、対訳文書対に含まれるすべての可能な句対の生起確率に基づいて、句対サンプリング手段５５にて抽出された句対集合の各々について、その再帰的な細分化（サンプリング）と、句対頻度の更新とを行うものである。
具体的には、再帰的句対追加手段５６は、句対サンプリング手段５５にて抽出された句対集合の各要素である１つの句対を処理対象句対として、以下に示す再帰的処理を実行する。
まず、再帰的句対追加手段５６は、処理対象句対＜ｅ_ｉ：ｊ，ｆ_ｑ：ｒ＞において、
２言語句対生起確率計算手段５４で計算された生起確率の観測頻度成分Ｐ_ｏ（＜ｅ_ｉ：ｊ，ｆ_ｑ：ｒ＞）および事前確率成分Ｐ_ｒ（＜ｅ_ｉ：ｊ，ｆ_ｑ：ｒ＞）における確率比に基づいて、観測頻度成分Ｐ_ｏまたは事前確率成分Ｐ_ｒのいずれか一方を選択する。例えば、再帰的句対追加手段５６は、観測頻度成分Ｐ_ｏおよび事前確率成分Ｐ_ｒを、その和が“１”となるように正規化し、０〜１の範囲で擬似乱数を発生させ、その乱数に対応する成分を選択する。

ここで、観測頻度成分Ｐ_ｏが選択された場合、再帰的句対追加手段５６は、その成分を算出した際の句対＜ｅ_ｉ：ｊ，ｆ_ｑ：ｒ＞を、学習結果である句対頻度に追加する。具体的には、再帰的句対追加手段５６は、図４の句対頻度において、句対＜ｅ_ｉ：ｊ，ｆ_ｑ：ｒ＞に対応する客数ｔ（１）〜（ｃ）から、その客数比に応じた確率でテーブルｉを選択し、そのテーブルｉに対応する客数ｔ（ｉ）を“１”増加させるとともに、観測頻度ｎを“１”増加させる。
また、このとき、再帰的句対追加手段５６は、２言語観測句対記憶手段６０の処理対象文書対に対応する今回の観測句対一覧に、句対＜ｅ_ｉ：ｊ，ｆ_ｑ：ｒ＞を追加しておく。

一方、事前確率成分Ｐ_ｒが選択された場合、再帰的句対追加手段５６は、その成分を算出した際の句対＜ｅ_ｉ：ｊ，ｆ_ｑ：ｒ＞を、学習結果である句対頻度に追加する。具体的には、再帰的句対追加手段５６は、図４の句対頻度において、句対＜ｅ_ｉ：ｊ，ｆ_ｑ：ｒ＞に、新たなテーブルを割り当てる。すなわち、再帰的句対追加手段５６は、句対＜ｅ_ｉ：ｊ，ｆ_ｑ：ｒ＞に対応する観測頻度ｎを“１”増加させ、テーブル数ｃを“１”増加させるとともに、新しいテーブルの客数ｔ（ｃ）に“１”を設定する。
また、このとき、再帰的句対追加手段５６は、２言語観測句対記憶手段６０の処理対象文書対に対応する今回の観測句一覧に、句対＜ｅ_ｉ：ｊ，ｆ_ｑ：ｒ＞を追加しておく。

さらに、事前確率成分Ｐ_ｒが選択された場合、再帰的句対追加手段５６は、前記式（８），式（９）において、Ｐ_１，Ｐ_２，Ｐ_３またはＰ_４を、その確率比に応じて選択する。なお、ここで、Ｐ_１，Ｐ_２，Ｐ_３およびＰ_４は、図５で説明したように、対象句対が、どのように対応するかを示した確率成分である。

ここで、Ｐ_１を選択した場合、再帰的句対追加手段５６は、Ｐ_１として総和された各項、Ｐ_ｘ（Ｒ）Ｐ（＜ｅ_ｉ：ｉ，ｆ_ｑ：ｑ＞）Ｐ（＜ｅ_{ｉ＋１：ｊ}，ｆ_{ｑ＋１：ｒ}＞），Ｐ_ｘ（Ｒ）Ｐ（＜ｅ_ｉ：ｊ，ｆ_{ｑ：ｑ＋１}＞）Ｐ（＜ｅ_{ｉ＋１：ｊ}，ｆ_{ｑ＋２：ｒ}＞），…，Ｐ_ｘ（Ｒ）Ｐ（＜ｅ_{ｉ：ｊ＋１}，ｆ_ｑ：ｑ＞）Ｐ（＜ｅ_{ｉ＋２：ｊ}，ｆ_{ｑ＋１：ｒ}＞），…，Ｐ_ｘ（Ｒ）Ｐ（＜ｅ_{ｉ：ｉ＋１}，ｆ_ｑ：ｑ＞）Ｐ（＜ｅ_{ｉ＋２：ｊ}，ｆ_{ｑ＋１：ｒ}＞），…，Ｐ_ｘ（Ｒ）Ｐ（＜ｅ_{ｉ：ｊ−１}，ｆ_{ｑ：ｒ−１}＞）Ｐ（＜ｅ_ｊ：ｊ，ｆ_ｒ：ｒ＞），Ｐ_ｘ（Ｉ）Ｐ（＜ｅ_ｉ：ｉ，ｆ_{ｑ＋１：ｒ}＞）Ｐ（＜ｅ_{ｉ＋１：ｊ}，ｆ_ｑ：ｑ＞），Ｐ_ｘ（Ｉ）Ｐ（＜ｅ_ｉ：ｊ，ｆ_{ｑ＋２：ｒ}＞）Ｐ（＜ｅ_{ｉ＋１：ｊ}，ｆ_{ｑ：ｑ＋１}＞），…，Ｐ_ｘ（Ｉ）Ｐ（＜ｅ_{ｉ：ｊ＋１}，ｆ_{ｑ＋１：ｒ}＞）Ｐ（＜ｅ_{ｉ＋２：ｊ}，ｆ_ｑ：ｑ＞），…，Ｐ_ｘ（Ｉ）Ｐ（＜ｅ_{ｉ：ｊ−１}，ｆ_ｒ：ｒ＞）Ｐ（＜ｅ_ｊ：ｊ，ｆ_{ｑ：ｒ−１}＞）の中から１つを、その確率比に応じて選択する。このサンプリングの結果、項Ｐ_ｘ（Ｒ）Ｐ（＜ｅ_ｉ：ｍ，ｆ_ｑ：ｎ＞）Ｐ（＜ｅ_{ｍ＋１：ｊ}，ｆ_{ｎ＋１：ｒ}＞）（ｉ≦ｍ≦ｊ−１，ｑ≦ｎ≦ｒ−１）が選択された場合には、句対＜ｅ_ｉ：ｍ，ｆ_ｑ：ｎ＞および句対＜ｅ_{ｍ＋１：ｊ}，ｆ_{ｎ＋１：ｒ}＞の各々について、当該句対を新たな処理対象として再帰的句対追加手順５６を再帰的に実行する。同様に、サンプリングの結果、項Ｐ_ｘ（Ｉ）Ｐ（＜ｅ_ｉ：ｍ，ｆ_{ｎ＋１：ｒ}＞）Ｐ（＜ｅ_{ｍ＋１：ｊ}，ｆ_ｑ：ｎ＞）（ｉ≦ｋ≦ｊ−１，ｑ≦ｎ≦ｒ−１）が選択された場合には、句対＜ｅ_ｉ：ｍ，ｆ_{ｎ＋１：ｒ}＞および句対＜ｅ_{ｍ＋１：ｊ}，ｆ_ｑ：ｎ＞の各々について、当該句対を新たな処理対象として再帰的句対追加手順５６を再帰的に実行する。

また、Ｐ_２を選択した場合、再帰的句対追加手段５６は、Ｐ_２として総和された各項、１／２×Ｐ（＜ｅ_ｉ：ｉ，ｆ_ｑ：ｒ＞）Ｐ（ｅ_{ｉ＋１：ｊ}），１／２×Ｐ（＜ｅ_{ｉ＋１：ｊ}，ｆ_ｑ：ｒ＞）Ｐ（ｅ_ｉ：ｉ），１／２×Ｐ（＜ｅ_{ｉ：ｉ＋１}，ｆ_ｑ：ｒ＞）Ｐ（ｅ_{ｉ＋２：ｊ}），１／２×Ｐ（＜ｅ_{ｉ＋２：ｊ}，ｆ_ｑ：ｒ＞）Ｐ（ｅ_{ｉ：ｉ＋１}），…，１／２×Ｐ（＜ｅ_{ｉ：ｊ−１}，ｆ_ｑ：ｒ＞）Ｐ（ｅ_ｊ：ｊ），１／２×Ｐ（＜ｅ_ｊ：ｊ，ｆ_ｑ：ｒ＞）Ｐ（ｅ_{ｉ：ｊ−１}）の中から１つを、その確率比に応じて選択する。このサンプリングの結果、項１／２×Ｐ（＜ｅ_ｉ：ｍ，ｆ_ｑ：ｒ＞）Ｐ（ｅ_{ｍ＋１：ｊ}）（ｉ≦ｍ≦ｊ−１）が選択された場合には、句対＜ｅ_ｉ：ｍ，ｆ_ｑ：ｒ＞を新たな処理対象として再帰的句対追加手順５６を再帰的に実行する。同様に、サンプリングの結果、項１／２×Ｐ（＜ｅ_{ｍ＋１：ｊ}，ｆ_ｑ：ｒ＞）Ｐ（ｅ_ｉ：ｍ）（ｉ≦ｍ≦ｊ−１）が選択された場合には、句対＜ｅ_{ｍ＋１：ｊ}，ｆ_ｑ：ｒ＞を新たな処理対象として再帰的句対追加手順５６を再帰的に実行する。

また、Ｐ_３を選択した場合、再帰的句対追加手段５６は、Ｐ_３として総和された各項、１／２×Ｐ（＜ｅ_ｉ：ｊ，ｆ_ｑ：ｑ＞）Ｐ（ｆ_{ｑ＋１：ｒ}），１／２×Ｐ（＜ｅ_ｉ：ｊ，ｆ_{ｑ＋１：ｒ}＞）Ｐ（ｆ_ｑ：ｑ），１／２×Ｐ（＜ｅ_ｉ：ｊ，ｆ_{ｑ：ｑ＋１}＞）Ｐ（ｆ_{ｑ＋２：ｒ}），１／２×Ｐ（＜ｅ_ｉ：ｊ，ｆ_{ｑ＋２：ｒ}＞）Ｐ（ｆ_{ｑ：ｑ＋１}），…，１／２×Ｐ（＜ｅ_ｉ：ｊ，ｆ_{ｑ：ｒ−１}＞）Ｐ（ｆ_ｒ：ｒ），１／２×Ｐ（＜ｅ_ｉ：ｊ，ｆ_ｒ：ｒ＞）Ｐ（ｆ_{ｑ：ｒ−１}）の中から１つを、その確率比に応じて選択する。このサンプリングの結果、項１／２×Ｐ（＜ｅ_ｉ：ｊ，ｆ_ｑ：ｎ＞）Ｐ（ｆ_{ｎ＋１：ｊ}）（ｑ≦ｎ≦ｒ−１）が選択された場合には、句対＜ｅ_ｉ：ｊ，ｆ_ｑ：ｎ＞を新たな処理対象として再帰的句対追加手順５６を再帰的に実行する。同様に、サンプリングの結果、項１／２×Ｐ（＜ｅ_ｉ：ｊ，ｆ_{ｎ＋１：ｒ}＞）Ｐ（ｅ_ｑ：ｎ）（ｑ≦ｎ≦ｒ−１）が選択された場合には、句対＜ｅ_ｉ：ｊ，ｆ_{ｎ＋１：ｒ}＞を新たな処理対象として再帰的句対追加手順５６を再帰的に実行する。
また、Ｐ_４を選択した場合、再帰的句対追加手段５６は、対象句対についての処理を終了する。

このように再帰的句対追加手段５６を句対サンプリング手段５５にて抽出された句対集合の各々について実行することで、その各々に階層的な粒度で含まれる、観測された句対の各々を２言語観測句対記憶手段６０の観測句対一覧に追加するとともに、２言語句モデル記憶手段７０の句対頻度を更新する。
このように、２言語句モデル学習手段５０は、対訳文書対と、言語モデル記憶手段１０に記憶している第１言語モデルと、単言語句モデル記憶手段４０に記憶している単言語の言語句頻度（第１言語句頻度、第２言語句頻度）とから、句翻訳モデルである句対頻度を学習する。

２言語観測句対記憶手段６０は、２言語句モデル学習手段５０において、対訳文書対の各々について、観測された句対の一覧を記憶するものであって、半導体メモリ等の一般的な記憶媒体である。すなわち、２言語観測句対記憶手段６０には、２言語句モデル学習手段５０によって、予め定めた回数だけ、複数の対訳文書対から新たな句対頻度を生成する処理を繰り返す際に、その繰り返しごとに、観測句対一覧が書き込まれる。そして、２言語観測句対記憶手段６０において、その繰り返しごとに、前回の観測句対一覧と今回の観測句対一覧とが交互に更新される。

２言語句モデル記憶手段（句翻訳モデル記憶手段）７０は、２言語句モデル学習手段５０で学習された句対の出現頻度（句対頻度）を記憶するものであって、ハードディスク等の一般的な記憶装置である。なお、句対頻度のデータ構造は、図４で説明した通りである。

以上、句翻訳モデル学習装置１は、図５で説明したように、２言語句対生起確率計算手段５４が、句対の生起確率を計算する際に、句同士が完全に一致しない句対に対しても生起確率を算出するため、対訳文が非直訳文でなくても、句対を学習することができる。
また、句翻訳モデル学習装置１は、図６で説明したように、句対サンプリング手段５５が、複数の文からなる文書対全体にわたって句対をサンプリングするため、文同士が翻訳として対応していない文書対であっても、句対を学習することができる。

［句翻訳モデル学習装置の動作］
次に、図８，図９を参照（構成については適宜図１参照）して、本発明の実施形態に係る句翻訳モデル学習装置１の動作について、単言語句の学習動作と２言語句の学習動作とに分けて説明する。なお、単言語句の学習動作は、第１言語文と第２言語文とで同様の動作であるため、一つの言語（単言語）についてのみ説明する。

（単言語句学習）
最初に、図８を参照（構成については適宜図１参照）して、単言語句の学習動作について説明する。
まず、句翻訳モデル学習装置１は、図示を省略した初期化手段によって、単言語観測句記憶手段３０に記憶する、学習対象である複数の単言語文の各々に対応する、階層的な粒度で含まれる観測句一覧と、単言語句モデル記憶手段４０に記憶する言語句頻度とを初期化する（ステップＳ１）。

そして、句翻訳モデル学習装置１は、単言語句モデル学習手段２０によって、以下の繰り返し処理によって単言語句を学習する。
すなわち、句翻訳モデル学習装置１は、文処理順決定手段２１によって、学習対象である複数の単言語文に対して、繰り返し処理の１回の処理において処理する順番をランダムに決定する（ステップＳ２）。

そして、句翻訳モデル学習装置１は、対象句削除手段２２によって、ステップＳ２で決定された順番で単言語文を入力する。そして、句翻訳モデル学習装置１は、対象句削除手段２２によって、単言語観測句記憶手段３０に記憶されている、当該文に階層的な粒度で含まれている前回の観測句の各々について、単言語句モデル記憶手段４０に記憶されている言語句頻度から頻度情報を削減する（ステップＳ３）。

その後、句翻訳モデル学習装置１は、単言語句生起確率計算手段２３によって、単言語句モデル記憶手段４０に記憶されている学習途中の言語句頻度を参照して、入力された単言語文の可能な部分単語列であるすべての単言語句の生起確率を計算する（ステップＳ４）。このとき、単言語句生起確率計算手段２３は、観測頻度成分Ｐ_ｏと事前確率成分Ｐ_ｒとに分けて、単言語句の生起確率を算出する（前記式（１）〜（４）参照）。
ここで、句翻訳モデル学習装置１は、再帰的句追加手段２４によって、後記するステップＳ６〜Ｓ９において再帰処理を行う最初の処理対象句として当該単言語文全体を設定する（ステップＳ５）。

そして、句翻訳モデル学習装置１は、再帰的句追加手段２４によって、処理対象句について、ステップＳ４で計算された当該句の観測頻度成分Ｐ_ｏおよび事前確率成分Ｐ_ｒの確率比に基づいて、観測頻度成分Ｐ_ｏまたは事前確率成分Ｐ_ｒのいずれか一方を選択する。ここで、観測頻度成分Ｐ_ｏが選択された場合（ステップＳ６でＹｅｓ）、再帰的句追加手段２４は、当該句について、単言語句モデル記憶手段４０の言語句頻度に頻度情報を追加するとともに、単言語観測句記憶手段３０の当該文の今回の観測句一覧に追加する（ステップＳ７）。なお、ここで、処理対象句についての処理は終了する。

一方、事前確率成分Ｐ_ｒが選択された場合（ステップＳ６でＮｏ）、再帰的句追加手段２４は、当該句について、単言語句モデル記憶手段４０の言語句頻度に頻度情報を追加するとともに、単言語観測句記憶手段３０の当該文の今回の観測句一覧に追加する（ステップＳ８）。なお、ステップＳ７とステップＳ８との違いは、ＣＲＰ（中華レストラン過程）において、ステップＳ７では、対象句に対応するテーブルの客数を増加させるのに対して、ステップＳ８では、新たなテーブルを追加する点が異なっている。

さらに、ステップＳ８の後、句翻訳モデル学習装置１は、再帰的句追加手段２４によって、処理対象句の事前確率Ｐ_ｐとして総和された各項の中の１つを、その確率比に応じて選択する。ここで、細分化を要する項が選択された場合（ステップＳ９でＹｅｓ）、前記式（４）において対象句の事前確率を計算した当該対象句を細分化した句（式（４）中、句ｗ_ｉ：ｍ，ｗ_{ｍ＋１：ｊ}）を、それぞれ処理対象句とし、ステップＳ６以降の処理を再帰的に実行して句の学習を行う。
以上の動作によって、句翻訳モデル学習装置１は、ある単言語文を構成する句についての学習を行う。

そして、句翻訳モデル学習装置１は、すべての単言語文を学習対象としたか否かを判定し（ステップＳ１０）、まだ、すべての単言語文を学習対象としていない場合（ステップＳ１０でＮｏ）、ステップＳ３に戻って、新たな単言語文について学習を行う。
一方、すべての単言語文を学習対象とした場合（ステップＳ１０でＹｅｓ）、句翻訳モデル学習装置１は、予め定めた回数学習を行ったか否かを判定する（ステップＳ１１）。

ここで、まだ、予め定めた回数の学習が終了していない場合（ステップＳ１１でＮｏ）、句翻訳モデル学習装置１は、ステップＳ２に戻って、すべての単言語文について、新たな処理順を決定して、学習を継続する。
一方、予め定めた回数の学習が終了した場合（ステップＳ１１でＹｅｓ）、句翻訳モデル学習装置１は、動作を終了する。

以上の動作によって、句翻訳モデル学習装置１は、複数の単言語文から、単言語句モデル記憶手段４０における言語句頻度を学習する。句翻訳モデル学習装置１は、この単言語句学習を２つの言語文（第１言語文，第２言語文）それぞれについて行うことで、学習結果として、単言語句モデル記憶手段４０に第１言語句頻度および第２言語句頻度を書き込む。

（２言語句学習）
次に、図９を参照（構成については適宜図１参照）して、２言語句の学習動作について説明する。
まず、句翻訳モデル学習装置１は、図示を省略した初期化手段によって、２言語観測句対記憶手段６０に記憶する、学習対象である対象文書対の各々に対応する、階層的な粒度で含まれる観測句対一覧と、２言語句モデル記憶手段７０に記憶する句対頻度とを初期化する（ステップＳ２０）。

そして、句翻訳モデル学習装置１は、２言語句モデル学習手段５０によって、以下の繰り返し処理によって２言語句を学習する。
すなわち、句翻訳モデル学習装置１は、文書対処理順決定手段５１によって、学習対象である複数の対訳文書対に対して、繰り返し処理の１回の処理において処理する順番をランダムに決定する（ステップＳ２１）。

そして、句翻訳モデル学習装置１は、対象句対削除手段５２によって、ステップＳ２１で決定された順番で対訳文書対を入力する。そして、句翻訳モデル学習装置１は、対象句対削除手段５２によって、２言語観測句対記憶手段６０に記憶されている、当該文書対に階層的な粒度で含まれている前回の観測句対の各々について、２言語句モデル記憶手段７０に記憶されている句対頻度から頻度情報を削減する（ステップＳ２２）。

そして、句翻訳モデル学習装置１は、単言語句生起確率計算手段５３によって、単言語句モデル記憶手段４０に記憶されている２つの言語句頻度を参照して、ステップＳ２１で決定された順番で入力された対訳文書対のそれぞれの単言語ごとに、当該文書の可能な部分単語列であるすべての単言語句の生起確率を計算する（ステップＳ２３）。

その後、句翻訳モデル学習装置１は、２言語句対生起確率計算手段５４によって、ステップＳ２３で算出された単言語句の生起確率と、単言語句モデル記憶手段４０に記憶されている２つの言語句頻度とを参照して、対訳文書対の可能な部分単語列の２言語対である句対の生起確率を計算する（ステップＳ２４）。このとき、２言語句対生起確率計算手段５４は、観測頻度成分Ｐ_ｏと事前確率成分Ｐ_ｒとに分けて、対象句対の生起確率を算出する（前記式（５）〜（８）参照）。

さらに、句翻訳モデル学習装置１は、句対サンプリング手段５５によって、ステップＳ２１で決定された順番で入力された対訳文書対において、ステップＳ２３で算出された各言語の単言語句の生起確率の大きさ、および、ステップＳ２４で算出された句対の生起確率の大きさに基づいて、句対集合をサンプリングする（ステップＳ２５）。
ここで、句翻訳モデル学習装置１は、再帰的句対追加手段５６によって、後記するステップＳ２７〜Ｓ３０において再帰処理を行う最初の処理対象句対として、ステップＳ２５で得られた句対集合の１つを設定する（ステップＳ２６）。

そして、句翻訳モデル学習装置１は、再帰的句対追加手段５６によって、処理対象句対について、ステップＳ２４で計算された当該句対の観測頻度成分Ｐ_ｏおよび事前確率成分Ｐ_ｒの確率比に基づいて、観測頻度成分Ｐ_ｏまたは事前確率成分Ｐ_ｒのいずれか一方を選択する。ここで、観測頻度成分Ｐ_ｏが選択された場合（ステップＳ２７でＹｅｓ）、再帰的句対追加手段５６は、当該句対について、２言語句モデル記憶手段７０の句対頻度に頻度情報を追加するとともに、２言語観測句対記憶手段６０の当該対訳文書対の今回の観測句対一覧に追加する（ステップＳ２８）。なお、ここで、処理対象句対についての処理は終了する。

一方、事前確率成分Ｐ_ｒが選択された場合（ステップＳ２７でＮｏ）、再帰的句対追加手段５６は、当該句対について、２言語句モデル記憶手段７０の句対頻度に頻度情報を追加するとともに、２言語観測句対記憶手段６０の当該対訳文書対の今回の観測句対一覧に追加する（ステップＳ２９）。なお、ステップＳ２８とステップＳ２９との違いは、ＣＲＰ（中華レストラン過程）において、ステップＳ２８では、対象句対に対応するテーブルの客数を増加させるのに対して、ステップＳ２９では、新たなテーブルを追加する点が異なっている。

さらに、ステップＳ２８の後、句翻訳モデル学習装置１は、再帰的句対追加手段５６によって、前記式（８）を計算した際の各成分（式（９））を確率比で選択する。ここで、細分化を要する成分（式（９）中、Ｐ_１，Ｐ_２，Ｐ_３）が選択された場合（ステップＳ３０でＹｅｓ）、当該成分として総和された各項の中から１つをさらに、その確率比も応じて選択し、選択結果に含まれる句対の各々をそれぞれ対象句対とし、ステップＳ２７以降の処理を再帰的に実行して句対の学習を行う。
以上の動作によって、句翻訳モデル学習装置１は、ある対訳文書対を構成する句対についての学習を行う。

そして、句翻訳モデル学習装置１は、再帰的句対追加手段５６によって、ステップＳ２５で得られた句対集合のすべての句対を処理対象句対に設定したか否かを判定し（ステップＳ３１）、まだ、すべての句対を処理対象句対に設定していない場合（ステップＳ３１でＮｏ）、ステップＳ２６に戻って、新たな処理対象句対を設定する。

一方、すべての句対を処理対象句対に設定した場合（ステップＳ３１でＮｏ）、句翻訳モデル学習装置１は、すべての対訳文書対を学習対象としたか否かを判定し（ステップＳ３２）、まだ、すべての対訳文書対を学習対象としていない場合（ステップＳ３２でＮｏ）、ステップＳ２２に戻って、新たな対訳文書対について学習を行う。
一方、すべての対訳文書対を学習対象とした場合（ステップＳ３２でＹｅｓ）、句翻訳モデル学習装置１は、予め定めた回数学習を行ったか否かを判定する（ステップＳ３３）。

ここで、まだ、予め定めた回数の学習が終了していない場合（ステップＳ３３でＮｏ）、句翻訳モデル学習装置１は、ステップＳ２１に戻って、すべての対訳文書対について、新たな処理順を決定して、学習を継続する。
一方、予め定めた回数の学習が終了した場合（ステップＳ３３でＹｅｓ）、句翻訳モデル学習装置１は、動作を終了する。
以上の動作によって、句翻訳モデル学習装置１は、複数の対訳文書対から、２言語句モデル記憶手段７０における句対頻度を学習する。

以上、本発明の実施形態に係る句翻訳モデル学習装置１の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
例えば、ここでは、句翻訳モデル学習装置１は、学習結果として、２言語間の句対頻度を学習したが、さらに、句対の生起確率を算出する構成を付加することとしてもよい。
その場合、句翻訳モデル学習装置１は、さらに、単言語句生起確率計算手段５３と同じ第２の単言語句生起確率計算手段（不図示）と、２言語句対生起確率計算手段５４と同じ第２の２言語句対生起確率計算手段（不図示）とを備え、第２の単言語句生起確率計算手段（不図示）によって、それぞれの言語の句の生起確率を計算し、第２の２言語句対生起確率計算手段（不図示）によって、句対の生起確率を計算すればよい。

また、ここでは、句翻訳モデル学習装置１は、単言語句モデル学習手段２０において、予め単言語（第１言語，第２言語）句モデル（言語ごとの句頻度）を学習した後、２言語句モデル学習手段５０によって、２言語句モデル（句対頻度）を学習することとした。しかし、この単言語の句の学習は、２言語句モデルを学習する際に、並列して行うこととしてもよい。

すなわち、本発明は、図１０の句翻訳モデル学習装置１Ａに示すように、句翻訳モデル学習装置１から、単言語句モデル学習手段２０を省略する。そして、単言語句モデル学習手段２０の再帰的句追加手段２４を、２言語句モデル学習手段５０の２言語句対生起確率計算手段５４、句対サンプリング手段５５および再帰的句対追加手段５６と並列して構成した２言語句モデル学習手段５０Ａとする。

なお、このとき、対象句対削除手段５２Ａは、対象句削除手段２２と対象句対削除手段５２の両機能を併せ持つこととする。すなわち、対象句対削除手段５２Ａは、入力した対訳文書対で観測される単言語の句を、単言語句モデル学習手段２０の前回の観測結果である単言語観測句記憶手段３０に記憶されている句の一覧（観測句一覧）から抽出し、単言語句モデル記憶手段４０に記憶されている言語句頻度（図３参照）から、該当する句の頻度情報を削減する。さらに、対象句対削除手段５２Ａは、入力した対訳文書対で観測される句対を、２言語句モデル学習手段５０の前回の観測結果である２言語観測句対記憶手段６０に記憶されている句対の一覧（観測句対一覧）から抽出し、２言語句モデル記憶手段７０に記憶されている句対頻度（図４参照）から、該当する句対の頻度情報を削減する。

また、単言語句生起確率計算手段５３は、再帰的句追加手段２４によって再帰的に実行されることで、単言語句モデル記憶手段４０に記憶する出現頻度である言語句頻度（第１言語句頻度、第２言語句頻度）を学習とともに、句の生起確率を計算する。
このように、句翻訳モデル学習装置１Ａを構成することで、句翻訳モデル学習装置１Ａは、複数の対訳文書対から、一度に句翻訳モデル（句対頻度）を学習することができる。

以上、本発明の実施形態に係る句翻訳モデル学習装置１およびその変形例について説明したが、この句翻訳モデル学習装置１，１Ａは、一般的なＣＰＵや記憶媒体（ＲＡＭ、ＲＯＭ、外部記憶媒体等）によって構成することができる。また、句翻訳モデル学習装置１，１Ａは、コンピュータを、前記した各手段として機能させるための句翻訳モデル学習プログラムによって動作させることができる。

１ 句翻訳モデル学習装置
１０ 言語モデル記憶手段
２０ 単言語句モデル学習手段
２１ 文処理順決定手段
２２ 対象句削除手段
２３ 単言語句生起確率計算手段
２４ 再帰的句追加手段
３０ 単言語観測句記憶手段
４０ 単言語句モデル記憶手段
５０ ２言語句モデル学習手段
５１ 文書対処理順決定手段
５２ 対象句対削除手段
５３ 単言語句生起確率計算手段
５４ ２言語句対生起確率計算手段
５５ 句対サンプリング手段
５６ 再帰的句対追加手段
６０ ２言語観測句対記憶手段
７０ ２言語句モデル記憶手段（句翻訳モデル記憶手段）

Claims (4)

1. ２つの異なる言語の対訳文書対から、対応する句の出現頻度を表す句翻訳モデルを学習する句翻訳モデル学習装置であって、
   前記２つの異なる言語の単言語文ごとに、当該単言語文を構成する句の出現頻度を学習する単言語句モデル学習手段と、
   この単言語句モデル学習手段で学習された前記単言語文ごとの句の出現頻度を記憶する単言語句モデル記憶手段と、
   前記対訳文書対から、当該対訳文書対を構成する２言語の句の対である句対の出現頻度を学習する２言語句モデル学習手段と、を備え、
   前記２言語句モデル学習手段は、
   前記単言語句モデル記憶手段に記憶されている単言語ごとの句の出現頻度に基づいて、前記対訳文書対を構成する句対における単言語ごとの句の生起確率を計算する単言語句生起確率計算手段と、
   この単言語句生起確率計算手段で計算された単言語ごとの句の生起確率と、前記単言語句モデル記憶手段に記憶されている単言語ごとの句の出現頻度とに基づいて、句対を構成する一言語側の句と他言語側の句とにおいて、それぞれの全体句および当該全体句を構成する細分句において、いずれか一方の言語の細分句が他方の言語の全体句と対応しない関係を含んだ句同士の組み合せの生起確率を事前確率として当該句対の生起確率を計算する２言語句対生起確率計算手段と、
   前記単言語句生起確率計算手段で計算された単言語ごとの句の生起確率、および、前記２言語句対生起確率計算手段で計算された句対の生起確率に基づいて、前記対訳文書対を過不足なく構成可能な単言語句および句対の集合を列挙し、各集合に対してその各要素である単言語句および句対の生起確率の総積である文書対生起確率を計算した上で、その相対比に応じて１つをサンプリングする句対サンプリング手段と、
   前記単言語句生起確率計算手段、前記２言語句対生起確率計算手段および前記句対サンプリング手段により得られた各句対に対して、再帰的に細分化された句対を観測することで、前記句対の出現頻度を学習する再帰的句対追加手段と、
   を備えることを特徴とする句翻訳モデル学習装置。
2. ２つの異なる言語の対訳文書対から、対応する句の出現頻度を表す句翻訳モデルを学習する句翻訳モデル学習装置であって、
   単言語文ごとの句の出現頻度を記憶する単言語句モデル記憶手段と、
   前記単言語句モデル記憶手段に記憶されている単言語ごとの句の出現頻度に基づいて、前記対訳文書対を構成する句対における単言語ごとの句の生起確率を計算する単言語句生起確率計算手段と、
   前記対訳文書対の各言語側の各文に対して、再帰的に細分化された句を観測することで、句の出現頻度を学習する再帰的句追加手段と、
   前記単言語句生起確率計算手段で学習された単言語ごとの句の出現頻度と、計算された単言語ごとの句の生起確率とに基づいて、句対を構成する一言語側の句と他言語側の句とにおいて、それぞれの全体句および当該全体句を構成する細分句において、いずれか一方の言語の細分句が他方の言語の全体句と対応しない関係を含んだ句同士の組み合せの生起確率を事前確率として当該句対の生起確率を計算する２言語句対生起確率計算手段と、
   前記単言語句生起確率計算手段で計算された単言語ごとの句の生起確率、および、前記２言語句対生起確率計算手段で計算された句対の生起確率に基づいて、前記対訳文書対を過不足なく構成可能な単言語句および句対の集合を列挙し、各集合に対してその各要素である単言語句および句対の生起確率の総積である文書対生起確率を計算した上で、その相対比に応じて１つをサンプリングする句対サンプリング手段と、
   前記単言語句生起確率計算手段、前記２言語句対生起確率計算手段および前記句対サンプリング手段により得られた各句対に対して、再帰的に細分化された句対を観測することで、前記句対の出現頻度を学習する再帰的句対追加手段と、
   を備えることを特徴とする句翻訳モデル学習装置。
3. ２つの異なる言語の対訳文書対から、対応する句の出現頻度を表す句翻訳モデルを学習するために、コンピュータを、
   前記２つの異なる言語の単言語文ごとに、当該単言語文を構成する句の出現頻度を学習して、前記単言語文ごとの句の出現頻度を単言語句モデル記憶手段に記憶する単言語句モデル学習手段、
   前記単言語句モデル記憶手段に記憶されている単言語ごとの句の出現頻度に基づいて、前記対訳文書対を構成する句対における単言語ごとの句の生起確率を計算する単言語句生起確率計算手段、
   この単言語句生起確率計算手段で計算された単言語ごとの句の生起確率と、前記単言語句モデル記憶手段に記憶されている単言語ごとの句の出現頻度とに基づいて、句対を構成する一言語側の句と他言語側の句とにおいて、それぞれの全体句および当該全体句を構成する細分句において、いずれか一方の言語の細分句が他方の言語の全体句と対応しない関係を含んだ句同士の組み合せの生起確率を事前確率として当該句対の生起確率を計算する２言語句対生起確率計算手段、
   前記単言語句生起確率計算手段で計算された単言語ごとの句の生起確率、および、前記２言語句対生起確率計算手段で計算された句対の生起確率に基づいて、前記対訳文書対を過不足なく構成可能な単言語句および句対の集合を列挙し、各集合に対してその各要素である単言語句および句対の生起確率の総積である文書対生起確率を計算した上で、その相対比に応じて１つをサンプリングする句対サンプリング手段、
   前記単言語句生起確率計算手段、前記２言語句対生起確率計算手段および前記句対サンプリング手段により得られた各句対に対して、再帰的に細分化された句対を観測することで、前記句対の出現頻度を学習する再帰的句対追加手段、
   として機能させるための句翻訳モデル学習プログラム。
4. ２つの異なる言語の対訳文書対から、対応する句の出現頻度を表す句翻訳モデルを学習するために、コンピュータを、
   単言語句モデル記憶手段に記憶されている単言語ごとの句の出現頻度に基づいて、前記対訳文書対を構成する句対における単言語ごとの句の生起確率を計算する単言語句生起確率計算手段、
   前記対訳文書対の各言語側の各文に対して、再帰的に細分化された句を観測することで、句の出現頻度を学習する再帰的句追加手段、
   前記単言語句生起確率計算手段で学習された単言語ごとの句の出現頻度と、計算された単言語ごとの句の生起確率とに基づいて、句対を構成する一言語側の句と他言語側の句とにおいて、それぞれの全体句および当該全体句を構成する細分句において、いずれか一方の言語の細分句が他方の言語の全体句と対応しない関係を含んだ句同士の組み合せの生起確率を事前確率として当該句対の生起確率を計算する２言語句対生起確率計算手段、
   前記単言語句生起確率計算手段で計算された単言語ごとの句の生起確率、および、前記２言語句対生起確率計算手段で計算された句対の生起確率に基づいて、前記対訳文書対を過不足なく構成可能な単言語句および句対の集合を列挙し、各集合に対してその各要素である単言語句および句対の生起確率の総積である文書対生起確率を計算した上で、その相対比に応じて１つをサンプリングする句対サンプリング手段、
   前記単言語句生起確率計算手段、前記２言語句対生起確率計算手段および前記句対サンプリング手段により得られた各句対に対して、再帰的に細分化された句対を観測することで、前記句対の出現頻度を学習する再帰的句対追加手段、
   として機能させための句翻訳モデル学習プログラム。

Images