JP5180522B2 - Machine translation apparatus, machine translation method, program thereof, and recording medium - Google Patents
Machine translation apparatus, machine translation method, program thereof, and recording medium Download PDFInfo
- Publication number
- JP5180522B2 JP5180522B2 JP2007162897A JP2007162897A JP5180522B2 JP 5180522 B2 JP5180522 B2 JP 5180522B2 JP 2007162897 A JP2007162897 A JP 2007162897A JP 2007162897 A JP2007162897 A JP 2007162897A JP 5180522 B2 JP5180522 B2 JP 5180522B2
- Authority
- JP
- Japan
- Prior art keywords
- translation
- word
- feature
- language
- hypothesis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Machine Translation (AREA)
Description
本発明は、機械翻訳装置、機械翻訳方法、およびそのプログラムならびに記録媒体に関する。 The present invention relates to a machine translation device, a machine translation method, a program thereof, and a recording medium.
従来、統計モデルを用いて機械翻訳を実現する技術(統計的機械翻訳)が知られている(例えば、非特許文献1、非特許文献2、非特許文献3)。
統計的機械翻訳は、翻訳元言語の単語列(文)が与えられたとき、翻訳確率を最大化するような翻訳先言語の単語列(文)を探索する問題として定式化される。ここで、翻訳確率を対数線形モデルで表現すると、最終的に統計的機械翻訳は式(1)で定式化される。
Conventionally, a technique (statistical machine translation) that realizes machine translation using a statistical model is known (for example, Non-Patent
Statistical machine translation is formulated as a problem of searching for a target language word string (sentence) that maximizes the translation probability when a source language word string (sentence) is given. Here, when the translation probability is expressed by a logarithmic linear model, statistical machine translation is finally formulated by Equation (1).
式(1)は、ベクトルを使って式(2)のように書き換えることもできる。 Expression (1) can also be rewritten as Expression (2) using a vector.
翻訳元言語の単語列には、各単語位置に整数「1」〜「J」の識別符号が付与されている。すなわち、翻訳元言語の単語列は、「J」個の単語から構成される。なお、翻訳元言語が日本語の場合には、翻訳元言語の単語列は、「J」個の自立語、付属語、句読点(。、)から構成されることとなる。また、翻訳先言語の単語列には、各単語位置に整数「1」〜「I」の識別符号が付与されている。すなわち、翻訳先言語の単語列は、「I」個の単語から構成される。また、m(1≦m≦M)は、素性関数を識別するための整数を示し、Mは、素性関数の個数を示す。また、各素性関数は、翻訳としての確からしさを表すものや、翻訳先言語としての確からしさを表すもの等である。単語列集合Eは、翻訳先言語の単語のあらゆる組み合わせで生成可能なすべての単語列集合を表す。各素性重みλmは、誤り最小化学習法等を用いて素性重み学習用対訳コーパスにおける翻訳精度の値が最大になるように設定される(例えば、非特許文献4参照)。 In the word string of the translation source language, identification codes of integers “1” to “J” are assigned to the respective word positions. That is, the word string in the source language is composed of “J” words. When the translation source language is Japanese, the translation source language word string is composed of “J” independent words, attached words, and punctuation marks (.,). Also, in the word string of the translation destination language, identification codes of integers “1” to “I” are assigned to the respective word positions. That is, the word string in the translation target language is composed of “I” words. M (1 ≦ m ≦ M) represents an integer for identifying a feature function, and M represents the number of feature functions. Each feature function represents a certainty as a translation, a certain one as a translation target language, or the like. The word string set E represents all word string sets that can be generated by any combination of words in the translation target language. Each feature weight λ m is set such that the translation accuracy value in the feature weight learning parallel translation corpus is maximized by using an error minimization learning method or the like (for example, see Non-Patent Document 4).
翻訳元言語の文から翻訳先言語の文への翻訳に対して、重み付き同期文脈自由文法(weighted synchronous context-free grammar)を利用して、翻訳元言語の文と翻訳先言語の文との対応付けをモデル化する方法が知られている(例えば、非特許文献2、非特許文献3参照)。
重み付き同期文脈自由文法は、式(3)に示す生成規則に、重みが付いたものの集合からなるものである。
For translation from a source language sentence to a destination language sentence, a weighted synchronous context-free grammar is used to determine whether the source language sentence and the destination language sentence are A method for modeling the association is known (for example, see Non-Patent
The weighted synchronous context free grammar is composed of a set of weighted generation rules shown in Expression (3).
ここで、矢印の左辺のXは、非終端記号を示す。矢印の右辺のγは、終端記号または非終端記号から構成された記号列であって翻訳元言語に対応している。また、αは、終端記号または非終端記号から構成された記号列であって翻訳先言語に対応している。また、「〜」は、記号列γに含まれる非終端記号と、記号列αに含まれる非終端記号との一対一の対応関係を表している。ここでは、記号列γに含まれる非終端記号の個数と、記号列αに含まれる非終端記号の個数とは同じものとする。 Here, X on the left side of the arrow indicates a non-terminal symbol. Γ on the right side of the arrow is a symbol string composed of terminal symbols or non-terminal symbols and corresponds to the source language. Α is a symbol string composed of a terminal symbol or a non-terminal symbol, and corresponds to the language to be translated. “˜” represents a one-to-one correspondence between a non-terminal symbol included in the symbol string γ and a non-terminal symbol included in the symbol string α. Here, it is assumed that the number of non-terminal symbols included in the symbol string γ is the same as the number of non-terminal symbols included in the symbol string α.
式(3)に示した生成規則の具体例を表1に示す。ここで、X(k)は、非終端記号であり、kは、非終端記号の対応関係をあらわす。 Table 1 shows a specific example of the generation rule shown in Expression (3). Here, X (k) is a non-terminal symbol, and k represents a correspondence relationship of the non-terminal symbol.
重み付き同期文脈自由文法を利用した従来のモデル化では、重み付き同期文脈自由文法の導出Dを用いて、翻訳元言語の単語列と翻訳先言語の単語列とをそれぞれf(D)、e(D)と記述する。ここで、例えば、翻訳元言語の単語列f(D)の「i」番目の単語から「j」番目単語を被う生成規則をrとすると、導出Dは、三つ組<r,i,j>の集合で表される。 In the conventional modeling using the weighted synchronous context free grammar, the derivation D of the weighted synchronous context free grammar is used to convert the word string in the source language and the word string in the target language into f (D) and e, respectively. (D) is described. Here, for example, if the generation rule covering the “j” -th word from the “i” -th word in the word string f (D) of the translation source language is r, the derivation D is a triple <r, i, j>. It is represented by a set of
そして、非特許文献2のモデル化では、統計的機械翻訳を定式化した式(1)を導出ベースに修正した式(4)を用いる。この定式化では、翻訳元言語の単語列が与えられたとき、素性関数と素性重みとの積の線形和が最大となるような導出D^を求めたときに、それに対応するe(D^)が翻訳結果となる。ここで、記号「^(ハット)」は、文字「D」の上に付される記号を示し、本明細書では、以下、記号「^(ハット)」を同様な意味で使用する。なお、s.t.はsuch thatの略である。
In the modeling of Non-Patent
式(4)に示す各素性関数の値hm(D)に何を用いるかについては様々なバリエーションが考えられる。例えば、以下の6つの関数の値の自然対数logeを用いる場合がある(例えば、非特許文献1参照)。これら6つの関数の値とは、式(5)および式(6)に示す翻訳確率Pe|f(D),Pf|e(D)と、式(7)および式(8)に示すレキシカル重みLexe|f(D),Lexf|e(D)と、n-gram言語モデルの確率PLM(e(D))と、フレーズペナルティexp(length(e(D)))である。ここで、length(・)は、単語数を返す関数を示す。
Various variations can be considered as to what is used for the value h m (D) of each feature function shown in Expression (4). For example, the natural logarithm log e of the following six function values may be used (see Non-Patent
翻訳確率Pe|f(D),Pf|e(D)と、レキシカル重みLexe|f(D),Lexf|e(D)とは、翻訳としての確からしさを評価するための値であり、翻訳モデルとも呼ばれている。詳細には、例えば、翻訳確率Pe|f(D)は、式(5)に示すように、導出Dに含まれる生成規則rごとの確率P(α|γ)を生成規則ごとのスコアとして、導出Dに含まれるすべての生成規則rについて生成規則ごとのスコアを積算したものである。 The translation probabilities P e | f (D), P f | e (D) and the lexical weights Lex e | f (D), Lex f | e (D) are values for evaluating the likelihood of translation. It is also called a translation model. Specifically, for example, the translation probability P e | f (D) is obtained by using the probability P (α | γ) for each production rule r included in the derivation D as the score for each production rule, as shown in Expression (5). , The scores for each production rule are integrated for all production rules r included in derivation D.
例えば、非特許文献2に記載された方法では、翻訳における解探索を次の手順で行う。まず、CKY(Cocke-Kasami-Younger)法に基づくボトムアップ構文解析において、同期文脈自由文法の翻訳元言語側の生成規則を、翻訳元言語の単語列に適用し、翻訳元言語の構文解析木を得る。そして、翻訳元言語の構文解析木に対応する同期文脈自由文法の最適な導出D^を、前記した式(4)に基づいて求め、その最適な導出D^に基づいて翻訳先言語の単語列を生成する。ただし、統計的機械翻訳の解探索において解の候補(以下、仮説と呼ぶ)は膨大であるため、計算量の観点から、全探索をして真の最適解を求めることは事実上不可能となっている。そこで、従来、解探索の過程で部分的に構成された、同期文脈自由文法の部分木の導出Dに対して所定の枝刈りを実行しながら処理をすすめて準最適解を求めることとしている。
前記した従来技術では、翻訳元言語の部分木と翻訳先言語の部分木との対応は、同期文脈依存文法の各規則rごとに定義された翻訳確率Pe|f(r),Pf|e(r)と、レキシカル重みLexe|f(r),Lexf|e(r)とによってモデル化される。しかしながら、翻訳元、翻訳先のいずれにおいても、非終端記号をどの規則で展開することが尤もらしいかについては、明示的にモデル化されておらず、翻訳先言語の言語モデルによって間接的に制約されているだけに過ぎない。特に、非特許文献2や非特許文献3に記載された手法は、自動獲得される同期文脈依存文法に基づいており、グルー規則を除くと、非終端記号は事実上一種類しかないため、規則展開に関するモデル化の粗さは深刻である。
In the prior art described above, the correspondence between the subtree in the source language and the subtree in the target language is such that the translation probabilities P e | f (r), P f | defined for each rule r of the synchronous context-dependent grammar. Modeled by e (r) and lexical weights Lex e | f (r), Lex f | e (r). However, neither the translation source nor the translation destination is explicitly modeled as to which rule is likely to expand the non-terminal symbols, and is indirectly restricted by the language model of the translation target language. It ’s just that. In particular, the methods described in Non-Patent
前記した非終端記号をどの規則で展開することが尤もらしいかということについての具体例として、従来の同期文脈依存文法を用いた手法の誤訳例と正解翻訳例を、図12および図13にそれぞれ示す。この例では、日本語から英語への翻訳について以下の文を示している。
(1)翻訳元言語(日本語)の文:
「中国 の 措置 に対する 日本 の抗議 は 当然 だ 。」
(2)翻訳先言語(英語)の文(誤訳例):
「It is natural for China’s action to protest Japan.」
(3)翻訳先言語(英語)の文(正解翻訳例):
「It is natural for Japan to protest China’s action.」
12 and 13 show examples of mistranslation and correct translation of a conventional method using a synchronous context-dependent grammar as specific examples of how it is likely to expand the non-terminal symbols described above. . This example shows the following sentence for translation from Japanese to English:
(1) Sentence in the source language (Japanese):
"Japan's protest against China's measures is natural."
(2) Destination language (English) sentence (example of mistranslation):
"It is natural for China's action to protest Japan."
(3) Translation language (English) sentence (correct translation example):
"It is natural for Japan to protest China's action."
図12の誤訳例に示すように、翻訳元言語側の「X→X(1) は 当然だ X(2)」のX(1)は、「X→X(1) に対する X(2)」のルールで展開されている。
一方、図13の正解翻訳例に示すように、翻訳元言語側の「X→X(1) は 当然だ X(2)」のX(1)は、「X→X(1) に対する 日本 の X(2)」のルールで展開されている。
前記した(3)の正解翻訳例のスコアを、前記した(2)の誤訳例のスコアよりも有利にする(高くする)ためには、後者のルールによる展開が、より尤もらしいことをモデル化すればよいと考えられる。しかしながら、従来のそれぞれの方法では、このようなモデル化を明示的には行っていなかった。したがって、従来の方法は翻訳精度が低いという問題がある。なお、図12および図13では、非終端記号を「X1,X2,X8,X6,…」等で表記した。
As shown in mistranslation example of FIG. 12, the translation of the original language side of the "X → X (1) of course it is X is (2)" X (1) is, "X (2) with respect to X → X (1)" The rules are expanded.
On the other hand, as shown in the correct translation example of FIG. 13, the translation of the original language side of the "X → X (1) is a naturally X (2)" X (1) is, of Japan for "X → X (1) X (2) ”rule.
In order to make the score of the correct translation example (3) more advantageous (higher) than the score of the incorrect translation example (2), it is modeled that the development by the latter rule is more likely. I think it should be done. However, each conventional method does not explicitly perform such modeling. Therefore, the conventional method has a problem that the translation accuracy is low. In FIG. 12 and FIG. 13, the non-terminal symbols are represented by “X1, X2, X8, X6,.
また、一般に、翻訳結果には、翻訳元の単語に対応しない単語が現れることがある。例えば、日本語では、しばしば主語が省略される。そのため、日英翻訳において、翻訳先言語「英語」の主語に対応する翻訳元言語「日本語」の単語が存在しない場合が生じる。同様に、日本語には冠詞がないので、翻訳先言語「英語」の冠詞に対応する翻訳元言語「日本語」の単語がないことが多い。このような場合に正解翻訳例のスコアを誤訳例のスコアよりも有利にする(高くする)ためには、翻訳結果に現れて、翻訳元の単語に対応する単語がない単語を素性としてモデル化すればよいと考えられる。しかしながら、従来のそれぞれの方法では、このようなモデル化を明示的には行っていなかった。したがって、従来の方法は翻訳精度が低いという問題がある。 In general, words that do not correspond to the translation source word may appear in the translation result. For example, in Japanese, the subject is often omitted. For this reason, in Japanese-English translation, there may be a case where there is no word in the source language “Japanese” corresponding to the subject of the target language “English”. Similarly, since there is no article in Japanese, there is often no word in the source language “Japanese” corresponding to the article in the target language “English”. In such a case, in order to make the score of the correct translation example more advantageous (higher) than the score of the incorrect translation example, a word that appears in the translation result and has no word corresponding to the translation source word is modeled as a feature. I think it should be done. However, each conventional method does not explicitly perform such modeling. Therefore, the conventional method has a problem that the translation accuracy is low.
そこで、本発明では、前記した問題を解決し、翻訳精度を向上させることのできる機械翻訳技術を提供することを目的とする。 Therefore, an object of the present invention is to provide a machine translation technique that can solve the above-described problems and improve translation accuracy.
前記課題を解決するため、本発明に係る機械翻訳装置は、対訳学習データ中の翻訳元言語の単語列または翻訳先言語の単語列を構成する構文木上での上位下位関係から定義される単語ペア毎に二値素性を定義した階層的素性と、前記対訳学習データ中の翻訳先言語の単語列を構成する単語に対応する単語が翻訳元言語の単語列に含まれていないときに前記翻訳先言語の単語列に挿入されている単語と前記翻訳元言語の単語列に含まれる各単語とのペアを二値のうちの一方で表しそれ以外の単語ペアに対して二値のうちの他方で表した翻訳先言語挿入素性とのうちの少なくとも一方と、翻訳元言語の単語列と翻訳先言語の単語列との対応の確からしさを定義する翻訳モデルとを利用して、入力された翻訳元言語の単語列の翻訳結果である前記入力に対応する翻訳先言語の単語列として、所定の部分仮説からそれよりも長い新たな部分仮説を順次作成して前記所定の部分仮説を拡張することによって最終的に生成された部分仮説である仮説を出力する機械翻訳装置であって、前記階層的素性と前記翻訳先言語挿入素性とのうちの少なくとも一方と前記翻訳モデルとを含む素性に対応した重みを、素性重み学習用対訳学習データに基づいて学習し、学習結果を素性重みとして記憶手段に格納する素性重み学習手段と、前記階層的素性と前記翻訳先言語挿入素性とのうちの少なくとも一方と前記翻訳モデルとを要素として含む素性ベクトルと、前記素性重みを示す重みベクトルとの内積を、前記作成された部分仮説の評価値を示す部分仮説スコアとして算出する部分仮説スコア算出手段と、前記入力された翻訳元言語の単語列に対して適用可能な所定の部分仮説を探索し、前記所定の部分仮説を拡張することによって最終的に生成された部分仮説のうちで、前記部分仮説スコアが最大となる部分仮説を、前記仮説として探索する仮説探索手段とを備えることを特徴とする。 In order to solve the above-described problem, the machine translation device according to the present invention provides a word defined from the upper and lower relations on the syntax tree constituting the word string of the translation source language or the word string of the translation destination language in the parallel translation learning data. A hierarchical feature that defines a binary feature for each pair , and the translation when the word corresponding to the word constituting the word sequence of the translation target language in the parallel translation learning data is not included in the word sequence of the source language A pair of a word inserted in the word string of the destination language and each word included in the word string of the translation source language is represented by one of the binary values, and the other of the binary values for the other word pairs Translations entered using at least one of the translation target language insertion features expressed in (1) above and a translation model that defines the likelihood of correspondence between the source language word string and the target language word string The input which is the translation result of the original language word string A hypothesis that is a partial hypothesis that is finally generated by sequentially creating a new partial hypothesis longer than the predetermined partial hypothesis and expanding the predetermined partial hypothesis as a word string in the target language corresponding to A weight corresponding to a feature including at least one of the hierarchical feature and the translation target language insertion feature and the translation model, based on parallel feature learning data for feature weight learning A feature weight learning means for storing learning results as feature weights in a storage means, a feature vector including at least one of the hierarchical feature and the translation target language insertion feature and the translation model as elements. Partial hypothesis score calculating means for calculating an inner product with a weight vector indicating the feature weight as a partial hypothesis score indicating an evaluation value of the created partial hypothesis; The partial hypothesis score among the partial hypotheses finally generated by searching for a predetermined partial hypothesis applicable to the input source language word string and expanding the predetermined partial hypothesis And a hypothesis search means for searching for a partial hypothesis with the maximum as the hypothesis.
また、前記課題を解決するために、本発明に係る機械翻訳方法は、対訳学習データ中の翻訳元言語の単語列または翻訳先言語の単語列を構成する構文木上での上位下位関係から定義される単語ペア毎に二値素性を定義した階層的素性と、前記対訳学習データ中の翻訳先言語の単語列を構成する単語に対応する単語が翻訳元言語の単語列に含まれていないときに前記翻訳先言語の単語列に挿入されている単語と前記翻訳元言語の単語列に含まれる各単語とのペアを二値のうちの一方で表しそれ以外の単語ペアに対して二値のうちの他方で表した翻訳先言語挿入素性とのうちの少なくとも一方と、翻訳元言語の単語列と翻訳先言語の単語列との対応の確からしさを定義する翻訳モデルとを利用して、入力された翻訳元言語の単語列の翻訳結果である前記入力に対応する翻訳先言語の単語列として、所定の部分仮説からそれよりも長い新たな部分仮説を順次作成して前記所定の部分仮説を拡張することによって最終的に生成された部分仮説である仮説を出力する機械翻訳装置の機械翻訳方法であって、素性重み学習手段によって、前記階層的素性と前記翻訳先言語挿入素性とのうちの少なくとも一方と前記翻訳モデルとを含む素性に対応した重みを、素性重み学習用対訳学習データに基づいて学習し、学習結果を素性重みとして記憶手段に格納する素性重み学習ステップと、部分仮説スコア算出手段によって、前記階層的素性と前記翻訳先言語挿入素性とのうちの少なくとも一方と前記翻訳モデルとを要素として含む素性ベクトルと、前記素性重みを示す重みベクトルとの内積を、前記作成された部分仮説の評価値を示す部分仮説スコアとして算出する部分仮説スコア算出ステップと、仮説探索手段によって、前記入力された翻訳元言語の単語列に対して適用可能な所定の部分仮説を探索し、前記所定の部分仮説を拡張することによって最終的に生成された部分仮説のうちで、前記部分仮説スコアが最大となる部分仮説を、前記仮説として探索する仮説探索ステップとを有することを特徴とする。 In order to solve the above problem, the machine translation method according to the present invention is defined from upper and lower relations on a syntax tree that constitutes a word string of a translation source language or a word string of a translation destination language in parallel translation learning data. A hierarchical feature in which a binary feature is defined for each word pair to be translated, and a word corresponding to a word constituting a word string of a translation target language in the parallel translation learning data is not included in the word string of the translation source language Represents a pair of a word inserted into the word string of the translation-destination language and each word included in the word string of the translation-source language , one of the binary values, and a binary value for the other word pairs Input using at least one of the translation target language insertion features represented by the other one and a translation model that defines the likelihood of correspondence between the source language word string and the target language word string Is the translation result of the translated source word string A partial hypothesis that is finally generated by sequentially creating a new partial hypothesis from a predetermined partial hypothesis and extending the predetermined partial hypothesis as a word string of the translation target language corresponding to the input A machine translation method of a machine translation apparatus that outputs a hypothesis, wherein a feature weight learning unit corresponds to a feature including at least one of the hierarchical feature and the translation target language insertion feature and the translation model. A feature weight learning step that learns weights based on parallel feature learning data for feature weight learning and stores a learning result as a feature weight in a storage unit; and a partial hypothesis score calculation unit that inserts the hierarchical features and the translation target language An inner product of a feature vector including at least one of the features and the translation model as elements and a weight vector indicating the feature weight is calculated as the product. A partial hypothesis score calculating step for calculating a partial hypothesis score indicating an evaluation value of the received partial hypothesis, and a hypothesis search means for searching for a predetermined partial hypothesis applicable to the input translation source language word string. A hypothesis search step of searching for a partial hypothesis having the maximum partial hypothesis score among the partial hypotheses finally generated by extending the predetermined partial hypothesis as the hypothesis. To do.
かかる構成の機械翻訳装置またはかかる手順の機械翻訳方法によれば、機械翻訳装置は、階層的素性と翻訳先言語挿入素性とのうちの少なくとも一方と翻訳モデルとを含む素性に対応した重みを、素性重み学習用対訳学習データに基づいて学習する。ここで、素性に、言語モデルやフレーズペナルティをさらに含んでいてもよい。階層的素性は、正解データの翻訳元または翻訳先の文を構成する部分木の階層的特徴を表現する素性なので、この素性を従来利用していた素性に加えた素性の重みを学習することで、入力された翻訳元文に対して、正解翻訳として尤もらしい展開の仕方で翻訳文を生成することが可能となる。また、翻訳先言語挿入素性は、正解データの翻訳元の文に含まれておらずに翻訳先の文に挿入された単語を表現する素性なので、この素性を従来利用していた素性に加えた素性の重みを学習することで、例えば、日本語のように主語を省略することが多い言語や、冠詞の存在しない言語から冠詞の存在する言語に翻訳する場合に、正解翻訳として尤もらしい展開の仕方で翻訳文を生成することが可能となる。 According to the machine translation device configured as described above or the machine translation method according to such a procedure, the machine translation device assigns a weight corresponding to a feature including at least one of a hierarchical feature and a translation target language insertion feature and a translation model, Learning is performed based on parallel weight learning data for feature weight learning. Here, the features may further include a language model and a phrase penalty. Hierarchical features are features that represent the hierarchical features of the subtrees that make up the translation source or destination sentence of the correct answer data, so by learning the feature weight in addition to the features previously used Thus, it becomes possible to generate a translation sentence in a manner that is likely to be developed as a correct translation for the input translation source sentence. In addition, because the target language insertion feature is a feature that expresses a word inserted in the target sentence that is not included in the source sentence of the correct answer data, this feature was added to the previous feature. By learning the weight of the feature, for example, when translating from a language that often omits the subject, such as Japanese, or a language that does not have an article, to a language that has an article, it is likely to develop as a correct translation It becomes possible to generate a translation sentence in a manner.
そして、機械翻訳装置は、従来のように翻訳モデルや言語モデル、フレーズペナルティのみを素性としてスコアを算出する場合に比べて、より高次元の素性および重みを利用して、より精緻なモデル化をすることができる。機械翻訳装置は、従来の装置のように翻訳モデルや言語モデル、フレーズペナルティのみを素性として重みを学習する場合と比較して、翻訳先言語の単語列の翻訳精度を向上させることができる。 The machine translation device uses higher-dimensional features and weights to perform more precise modeling compared to the conventional case where scores are calculated using only translation models, language models, and phrase penalties as features. can do. The machine translation apparatus can improve the translation accuracy of the word string in the translation target language as compared to the case of learning weights using only the translation model, language model, and phrase penalty as features as in the conventional apparatus.
また、本発明に係る機械翻訳プログラムは、前記した機械翻訳方法をコンピュータに実行させることを特徴とする。このように構成されることにより、このプログラムをインストールされたコンピュータは、このプログラムに基づいた各機能を実現することができる。 A machine translation program according to the present invention causes a computer to execute the above-described machine translation method. By being configured in this way, a computer in which this program is installed can realize each function based on this program.
また、本発明に係るコンピュータ読み取り可能な記録媒体は、前記した機械翻訳プログラムが記録されたことを特徴とする。このように構成されることにより、この記録媒体を装着されたコンピュータは、この記録媒体に記録されたプログラムに基づいた各機能を実現することができる。 A computer-readable recording medium according to the present invention is characterized in that the machine translation program described above is recorded. By being configured in this way, a computer equipped with this recording medium can realize each function based on a program recorded on this recording medium.
本発明によれば、翻訳精度を向上させることが可能となる。 According to the present invention, translation accuracy can be improved.
以下、図面を参照して本発明の機械翻訳装置および機械翻訳方法、並びに、本発明の参考例に係る生成規則作成装置および生成規則作成方法を実施するための最良の形態(以下「実施形態」という)について詳細に説明する。以下では、生成規則作成装置および生成規則作成方法と、機械翻訳装置および機械翻訳方法とに分けて順次説明を行う。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the best mode for carrying out a machine translation device and a machine translation method of the present invention with reference to the drawings, and a production rule creation device and a production rule creation method according to a reference example of the present invention (hereinafter referred to as “embodiment”) Will be described in detail. Hereinafter, the production rule creation device and the production rule creation method, and the machine translation device and the machine translation method will be described in order.
[生成規則作成装置の構成]
図1は、本発明の参考例に係る生成規則作成装置の構成を示すブロック図である。
生成規則作成装置1は、翻訳元言語の単語列を翻訳先言語の単語列に機械的に翻訳する機械翻訳装置で利用する素性と生成規則とを作成するものである。以下では、翻訳元言語を日本語、翻訳先言語を英語として説明することとする。
生成規則作成装置1は、例えば、CPU(Central Processing Unit)と、RAM(Random Access Memory)と、ROM(Read Only Memory)と、HDD(Hard Disk Drive)と、入出力インタフェース等から構成され、図1に示すように、入出力手段10と、記憶手段11と、制御手段12とを備えている。
[Configuration of generation rule creation device]
FIG. 1 is a block diagram showing a configuration of a production rule creation device according to a reference example of the present invention.
The generation
The generation
入出力手段10は、対訳コーパス(対訳学習データ)150を制御手段12に入力したり、演算処理の結果や記憶手段11に記憶されたデータ等を出力装置Dに出力したりするものである。また、入出力手段10は、入力装置Kから、所定のコマンド(モード選択コマンドや動作コマンド等)を制御手段12に入力する。本実施形態では、モード選択コマンドは、「単語対応作成」モードを選択するコマンドと、「ルールテーブル作成」モードを選択するコマンドと、「言語モデル作成」モードを選択するコマンドとを含む。
対訳コーパス150は、互いに同じ意味を有する翻訳元言語の単語列と翻訳先言語の単語列との組合せのデータを複数備える。
The input / output means 10 inputs the bilingual corpus (parallel translation learning data) 150 to the control means 12, and outputs the result of the arithmetic processing, data stored in the storage means 11, and the like to the output device D. Further, the input / output means 10 inputs a predetermined command (mode selection command, operation command, etc.) from the input device K to the control means 12. In this embodiment, the mode selection command includes a command for selecting the “word correspondence creation” mode, a command for selecting the “rule table creation” mode, and a command for selecting the “language model creation” mode.
The
記憶手段11は、例えば、CPUによる演算処理等に利用されるRAMや、例えば、所定のプログラム、各種データベース、処理結果等を格納するROMやHDDを備えている。例えば、記憶手段11には、処理結果として、単語対応111と、フレーズペア112と、ルール113と、ルールテーブル114と、言語モデル115と、翻訳先言語bigram素性116と、単語ペア素性117と、翻訳先言語挿入素性118と、階層的素性119とが格納される。
The storage unit 11 includes, for example, a RAM used for arithmetic processing by the CPU, and a ROM and HDD for storing predetermined programs, various databases, processing results, and the like. For example, in the storage unit 11, as a processing result, a
制御手段12は、モード判定手段121と、言語モデル学習手段122と、単語対応作成手段123と、言語間対応素性抽出手段124と、フレーズペア抽出手段125と、生成規則作成手段126と、翻訳スコア計算手段127と、階層的素性抽出手段128とを備えている。
The
モード判定手段121は、入力装置Kから入出力手段10を介して入力したモード選択コマンドの示すモードを判定するものである。モード判定手段121は、モードが「単語対応作成」モードの場合には、単語対応作成手段123に対して対訳コーパス150を入力するように指示する。また、モード判定手段121は、モードが「ルールテーブル作成」モードの場合には、フレーズペア抽出手段125に対して対訳コーパス150を入力するように指示する。また、モード判定手段121は、モードが「言語モデル作成」モードの場合には、言語モデル学習手段122に対して翻訳先言語コーパス140を入力するように指示する。
The
言語モデル学習手段122は、翻訳先言語コーパス140を読み込み、翻訳先言語としての確からしさを表すn-gramを計算し、言語モデル115に格納する。また、言語モデル学習手段122は、読み込んだ翻訳先言語コーパス140から翻訳先言語bigram素性116を抽出する。この翻訳先言語bigram素性116の詳細については後記する。
The language
単語対応作成手段123は、「単語対応作成」モードを選択するコマンドが入力されたときに、対訳コーパス150から得られる単語共起に関する統計量を活用し、多対多(翻訳元言語または翻訳先言語の単語がどこにも対応付かないことを含む)の単語対応111を自動的に求めるものである。単語対応作成手段123は、多対多の単語対応111を求めるために、例えば、単語単位の翻訳モデルを活用して、文全体で最適な1対多対応と多対1対応とを求め、その両者を組み合わせる。組み合わせ方の一例としては、1対多対応と多対1対応とのインターセクションを使い、それに隣接する1対多対応と多対1対応とのユニオンの要素を追加する方法がある(非特許文献1参照)。なお、単語単位の翻訳モデルについては、「Peter F. Brown, Stephen A. Della Pietra, Vincent J. Della Pietra, and Robert L. Mercer、The mathematics of statistical machine translation: Parameter estimation、Computatinal Linguistics、19(2):263-311、1993」に記載されている。また、対訳コーパス150自体が単語対応111の情報を保持している場合には、単語対応作成手段123を省略した構成としてもよい。
The word
図2に、日英の対訳の単語対応の例を示す。8個の単語および句点(ピリオド)を示す黒丸が単語対応である。
「違憲 の 問題 について は 、 連邦 憲法 裁判所 が 決定 する 。」
「The Federal Constitutional Court decides on the question of unconstitutionality .」
FIG. 2 shows an example of word correspondence of Japanese-English parallel translation. Eight words and black circles indicating punctuation points (periods) correspond to words.
“The Federal Constitutional Court decides on the issue of unconstitution.”
"The Federal Constitutional Court decides on the question of unconstitutionality."
言語間対応素性抽出手段124は、単語ペア素性抽出手段131と、翻訳先言語挿入素性抽出手段132とを備えている。
単語ペア素性抽出手段131は、単語対応111から単語ペア素性117を抽出するものである。単語ペア素性117は、翻訳元言語/翻訳先言語の単語ペアに基づく素性である。
翻訳先言語挿入素性抽出手段132は、単語対応111に基づいて、翻訳先言語挿入素性118を抽出するものである。
翻訳先言語挿入素性118は、単語対応111において、翻訳先言語の単語列を構成する単語に対応する単語が翻訳元言語の単語列に含まれていないときに翻訳先言語の単語列に挿入されている単語と翻訳元言語の単語列に含まれる単語との関係を表現する素性を示す。これら単語ペア素性117および翻訳先言語挿入素性118の詳細については後記する。
The inter-language correspondence
The word pair feature extraction means 131 extracts the word pair feature 117 from the
The translation target language insertion feature extraction unit 132 extracts the translation target
The translation destination
フレーズペア抽出手段125は、翻訳元言語の単語と翻訳先言語の単語との単語対応111に基づき、対訳コーパス150から、翻訳元言語と翻訳先言語において互いに同じ意味を有する単語または句の組合せをフレーズペア112として抽出するものである。抽出されたフレーズペア112は記憶手段11に格納される。フレーズペア抽出手段125は、式(1)に示した翻訳元言語の単語列と翻訳先言語の単語列との対訳文に対して、ある単語対応aが計算されたとき、式(9)に示すフレーズペアを抽出する。ここで、単語対応aは、翻訳先言語の単語位置と翻訳元言語の単語位置の組の集合である。式(9)の「i,m,j,n」は整数を示し、単語対応aとの間で式(10)〜式(12)の関係を満たすものである。
The phrase
例えば、図2に示した対訳文の単語対応からは、フレーズペア抽出手段125によって表2に示すようなフレーズペアが抽出され、フレーズペア112に格納される。
このとき、フレーズペア内の各単語の対応、例えば、表2に示す最初の(1行目の)フレーズペア内において、(違憲,unconstitutionality),(問題,question)などの単語対応もフレーズペア112に同時に格納されるものとする。つまり、表2は、実際には、各行に、フレーズペアの格納された列の他に、(違憲,unconstitutionality),(問題,question)などの単語対応が格納された列(図示を省略する)を備える。
For example, a phrase pair as shown in Table 2 is extracted by the phrase
At this time, the correspondence of each word in the phrase pair, for example, the word correspondence such as (unconstitutionality) and (question, question) in the first (first line) phrase pair shown in Table 2, is also the
生成規則作成手段126は、対訳コーパス150の中の対訳文ペア(対訳文の組合わせ)ごとに、その対訳文ペアから抽出されたフレーズペア112内に格納されたフレーズペアのリストをもとに、同期文脈自由文法の生成規則を作成し、ルール113に格納するものである。ここで、作成する生成規則では、翻訳先言語側は終端記号で始まらなければならないという制約を設ける。また、ルール113に格納する生成規則は、重複を許すものとする。こうして作成される生成規則においては、非特許文献2で用いられる以下のようなグルー規則は用いない。なお、グルー規則とは、Sを開始記号、Xを非終端記号としたときに、以下の2つの規則のことを示す。
S → <S(1)X(1) ,S(1)X(1)>
S → <X(1) ,X(1)>
The generation rule creation means 126 is based on a list of phrase pairs stored in the
S → <S (1) X (1) , S (1) X (1) >
S → <X (1) , X (1) >
生成規則作成手段126は、フレーズペア
に対応して、式(13)〜式(17)の生成規則を生成する。このうち、式(14)〜式(17)の生成規則は、式(13)の生成規則から自動的に生成することができる。また、式(14)〜式(17)の生成規則に付与されるスコアについても、式(13)の生成規則と同一値を用いることができる。このような理由から、実装上は、式(14)〜式(17)の生成規則は明示的にストレージに格納する必要がない。式(14)〜式(17)の生成規則は、非特許文献2で用いられるグルー規則の非終端記号Xを、Xを左辺とする個々の規則で1回書き換えたものに対応している。
The generation rule creation means 126 is a phrase pair
Corresponding to the above, generation rules of Expression (13) to Expression (17) are generated. Among these, the production | generation rule of Formula (14)-Formula (17) can be automatically produced | generated from the production | generation rule of Formula (13). Moreover, the same value as the production | generation rule of Formula (13) can be used also about the score provided to the production | generation rule of Formula (14)-Formula (17). For this reason, it is not necessary to explicitly store the generation rules of Expressions (14) to (17) in the storage for implementation. The production | generation rule of Formula (14)-Formula (17) respond | corresponds to what rewritten the non-terminal symbol X of the glue rule used by the
生成規則作成手段126は、式(18)で示す生成規則が生成され、かつ、式(13)の右辺のフレーズペアが、式(19)および式(20)の関係を満たす場合、式(21)で示す生成規則を生成する。
When the generation rule shown in Expression (18) is generated and the phrase pair on the right side of Expression (13) satisfies the relationship of Expression (19) and Expression (20), the generation
ここで、αには終端記号で始まらなければならないという制約を設ける。なお、本実施形態に必須のものではないが、生成規則作成手段126は、例えば、以下の制約も採用する。第1に、γとαの両方とも、少なくとも1つの終端記号を含まなければならない。第2に、生成規則は、最大2つの非終端記号を有することができる。しかし、翻訳元言語側のγで、非終端記号は隣接してはならない。
Here, α has a restriction that it must start with a terminal symbol. Although not essential to the present embodiment, the generation
翻訳スコア計算手段127は、ルール113に重複を許して格納されている生成規則を数え上げ、各生成規則rに対応する翻訳確率Pe|f(r),Pf|e(r)と、レキシカル重みLex e|f(r),Lex f|e(r)とを計算し、計算結果を素性として、各生成規則rに対応づけてルールテーブル114に格納する。図3に、ルールテーブルの一例を示す。また、表3に生成規則rに対応した各翻訳確率、レキシカル重みの計算式を示す。このスコア計算は非特許文献2に倣ったものである。
The translation score calculation means 127 counts the generation rules stored in the
なお、フレーズペア112と同様に、ルール113およびルールテーブル114に格納される規則について、翻訳元単語と翻訳先単語の対応も一緒に格納されているものとする。同じ規則でも、単語対応は複数のバリエーションが考えられるが、各規則に対し、ルール113の中で最も多く現れた単語対応をルールテーブル114では用いる。
As with the
階層的素性抽出手段128は、生成規則作成手段126がルールテーブル114を作成する際に翻訳元言語の単語列または翻訳先言語の単語列を構成する部分木の階層的特徴を表現する素性を示す階層的素性119を素性の1つとして抽出するものである。本実施形態では、翻訳元言語の単語列を構成する部分木の階層的特徴を表現する素性を階層的素性119として抽出する。階層的素性119の詳細については後記する。なお、階層的素性抽出手段128は、生成規則作成手段126の動作に依存せずに、ルールテーブル114中の単語対応に基づいて階層的素性119を抽出するように構成することも可能である。
The hierarchical
[具体例]
具体的には、生成規則作成手段126は、図2に示した対訳文から表4に示すような規則(右辺だけ示す)を生成する。表4の例では、各生成規則の右辺の翻訳先言語側は必ず終端記号(単語)で始まっている。なお、表4は、実際には、各行に、各生成規則の右辺の格納された列の他に、(連邦,Federal)などの単語対応が格納された列(図示を省略する)を備える。
[Concrete example]
Specifically, the generation
前記した式(1)や前記した式(2)で仮定する素性としては、前記した表3に示す翻訳確率やレキシカル重みのような実数値をとるものが従来から用いられてきた。本実施形態では、このような実数値をとる素性だけでなく、例えば、式(22)に示すような単純な「0」か「1」の値をとる二値素性を使用する。 As features assumed in the above formula (1) and the above formula (2), those having real values such as translation probabilities and lexical weights shown in Table 3 have been conventionally used. In the present embodiment, not only such a feature that takes a real value but also a binary feature that takes a simple value of “0” or “1” as shown in Expression (22), for example, is used.
従来から用いられている素性に対して、どのような二値素性を加えると、最終的に翻訳精度が効果的に向上するかということは、自明ではない。そこで、本実施形態では、以下に示すように、大別して4種類の二値素性を用いることができるように構成した。 It is not self-evident that what kind of binary feature is added to the feature that has been used conventionally will ultimately improve the translation accuracy. Therefore, in the present embodiment, as shown below, it is configured so that four types of binary features can be used.
<単語ペア素性>
単語ペア素性117(図1参照)について図4を参照して説明する。ここでは、図4に示すように、翻訳先言語の単語列401と、翻訳元言語の単語列402とから、フレーズペア403(403a,403b,403c)が抽出され、フレーズペア112に格納されているものとする。また、例えば、フレーズペア403bに含まれる単語対応404,405,406が単語対応111に格納されているものとする。ここでは、単語対応404は(ei,fj+1)であり、単語対応405は(ei,fj+1)、単語対応406は(ei+3,fj)である。このとき、単語対応(we,wf)ごとに、式(23)に示す素性hi(f,e)を定義する。なお、フレーズペア403aに含まれる単語対応407は(ei-1,ej-1)である。
<Word pair features>
The word pair feature 117 (see FIG. 1) will be described with reference to FIG. Here, as shown in FIG. 4, a phrase pair 403 (403a, 403b, 403c) is extracted from the
この式(23)に示す素性は、ある種の翻訳モデルであると見ることができる。
この素性を実現するために、言語間対応素性抽出手段124の単語ペア素性抽出手段131(図1参照)は、単語ペア素性117に、(ei,fj+1)、(ei+2,fj+2)、(ei+3,fj)を格納する。
The feature shown in the equation (23) can be regarded as a kind of translation model.
In order to realize this feature, the word pair feature extraction unit 131 (see FIG. 1) of the inter-language correspondence
また、単語ペア素性117は、前記した式(23)に示す素性によるものに限定されるものではなく、さらに、単語ペアの連接関係を表現した、単語ペアbigramに基づく素性によるものを用いてもよい。ここでは、単語ペアの連接関係を、翻訳先言語側の順序で表現して素性を定義することとする。例えば、図4に示すように、翻訳先言語の単語列401の順序に基づき、翻訳元言語の単語列402の各単語に、矢印で示すような順序が定義される。この例では、((ei-1,fj-1),(ei,fj+1)、(ei,fj+1)、(ei+2,fj+2)、(ei+2,fj+2)、(ei+3,fj))のような単語ペアbigramが定義できる。そこで、単語ペアbigram((e1,f1)、(e2,f2))に対して、式(24)に示す素性hi(f,e)を定義する。
Further, the
前記した式(24)に示す素性を用いた単語ペアbigram素性を利用する場合、単語ペア素性抽出手段131(図1参照)は、単語ペア素性117に、((ei-1,fj-1)、(ei,fj+1)、(ei,fj+1)、(ei+2,fj+2)、(ei+2,fj+2)、(ei+3,fj))を追加する。このように単語対応に加えて翻訳先言語側の順序で二次の素性を定義することで、単語の翻訳としての確からしさと同時に単語の並び替えをモデル化することができる。さらに、図4に示すように、例えば、フレーズペア403aとフレーズペア403bとの境界線をまたぐ単語ペアbigram((ei-1,fj-1)、(ei,fj+1))によって、句の並び替えもモデル化することができる。
When using the word pair bigram feature using the feature shown in the above equation (24), the word pair feature extracting unit 131 (see FIG. 1) converts ((e i−1 , f j− ) into the
<翻訳先言語挿入素性>
翻訳先言語挿入素性118(図1参照)は、翻訳先言語にはあるが翻訳元言語に対応する単語がないものをモデル化するものである。一般に、翻訳結果には、翻訳元の単語に対応しないものが現れることがある。例えば、日本語では、しばしば主語が省略される。そのため、日英翻訳において、翻訳先言語「英語」の主語に対応する翻訳元言語「日本語」の単語が存在しない場合が生じる。同様に、日本語には冠詞がないので、翻訳先言語「英語」の冠詞に対応する翻訳元言語「日本語」の単語がないことが多い。このような背景を考慮した翻訳先言語挿入素性118(図1参照)について図4を参照して説明する。
<Destination language insertion feature>
The translation target language insertion feature 118 (see FIG. 1) models a model that is present in the translation target language but has no word corresponding to the translation source language. In general, in the translation result, there may be a case that does not correspond to the translation source word. For example, in Japanese, the subject is often omitted. For this reason, in Japanese-English translation, there may be a case where there is no word in the translation source language “Japanese” corresponding to the subject of the translation target language “English”. Similarly, since there is no article in Japanese, there is often no word in the source language “Japanese” corresponding to the article in the target language “English”. The translation target language insertion feature 118 (see FIG. 1) considering such background will be described with reference to FIG.
図4に示すように、例えば、翻訳先言語の単語列401において、単語ei+1に対応する単語は、翻訳元言語の単語列402に存在していない。本実施形態では、このような翻訳先言語の単語に関して、すべての翻訳元言語の単語と関連付けた素性を定義する。例えば、J単語からなる翻訳元言語f1 Jに対して、(ei+1,f1),…,(ei+1,fJ)のような単語ペアが定義できる。そして、各単語ペア(we,wf)に対して、式(25)に示す素性hi(f,e)を定義する。
As shown in FIG. 4, for example, in the
式(25)で定義された素性hi(f,e)を用いた翻訳先言語挿入素性118の具体例を示すために、前記した図13に示した正解翻訳データが学習データに存在したと仮定する。図13において、実線の矢印は単語対応を示したものである。例えば、英語「for」は対応する日本語の単語を有していないため、この例からは、単語ペア(for,中国)、(for,の)、(for,措置)、(for,に対する)、(for,日本)、(for,抗議)、(for,は)、(for,当然)、(for,だ)および(for,。)にそれぞれ対応した10個の素性が定義される。
In order to show a specific example of the translation target
この翻訳先言語挿入素性118を利用する場合、言語間対応素性抽出手段124の翻訳先言語挿入素性抽出手段132(図1参照)は、翻訳先言語挿入素性118に、単語ペア(for,中国)、(for,の)、(for,措置)、(for,に対する)、(for,日本)、(for,抗議)、(for,は)、(for,当然)、(for,だ)および(for,。)を追加する。なお、逆に、翻訳元言語側に対応する翻訳先言語がないことを示す削除素性も考えられる。この場合、デコーダは、まだ生成されていない翻訳先語に対して素性を計算する必要があり、デコーディングが複雑になるので、本実施形態では用いないものとする。
When this translation destination
<翻訳先言語bigram素性>
翻訳先言語bigram素性116(図1参照)は、翻訳先言語の流暢さを表現するために用いる素性であり、従来の言語モデル素性を補強するものである。例えば、図4に示すように、翻訳先言語の単語列401において、単語ペア(ei-1,ei)、(ei,ei+1)、(ei+1,ei+2)、…といった各単語ペア(e1,e2)に対して、式(26)に示す素性hi(f,e)を定義する。
<Destination language bigram features>
The translated language bigram feature 116 (see FIG. 1) is a feature used to express the fluentness of the translated language, and reinforces the conventional language model feature. For example, as shown in FIG. 4, in the
この翻訳先言語bigram素性116を利用する場合、言語モデル学習手段122(図1参照)は翻訳先言語bigram素性116に、単語ペア(ei-1,ei)、(ei,ei+1)、(ei+1,ei+2)…を追加する。
When this translated
<階層的素性>
階層的素性119(図1参照)は、同期文脈自由文法の上位下位関係を規定する素性である。例えば、生成規則作成手段126(図1参照)で作成される同期文脈自由文法の規則r1,r2において、r1の非終端記号がr2で展開されるとき、(r1,r2)という規則の組に対して式(27)に示す素性hi(f,e)を定義する。
<Hierarchical features>
The hierarchical feature 119 (see FIG. 1) is a feature that defines upper and lower relations of the synchronous context free grammar. For example, in the rules r1 and r2 of the synchronous context free grammar created by the generation rule creation means 126 (see FIG. 1), when the nonterminal symbol of r1 is expanded at r2, the rule set (r1, r2) is The feature h i (f, e) shown in equation (27) is defined.
なお、さらに簡易な素性の定義として、同期依存文法の翻訳元もしくは翻訳先の規則だけを用いるバリエーションもある。 In addition, as a simpler feature definition, there is a variation that uses only the rules of the translation source or destination of the synchronous dependency grammar.
前記した式(27)に示すような同期文脈自由文法規則に基づく階層的素性を利用する場合、階層的素性抽出手段128(図1参照)は、階層的素性119に規則(r1,r2)を追加する。
When the hierarchical feature based on the synchronous context free grammar rule as shown in the equation (27) is used, the hierarchical feature extraction unit 128 (see FIG. 1) adds the rule (r1, r2) to the
規則の組み合わせで素性を定義すると、素性数があまりに多くなり過ぎる場合が考えられる。そこで、本実施形態では、素性数の低減のために、翻訳元もしくは翻訳先の単語についての構文木上での上位下位関係で階層的素性を定義する。この場合の階層的素性について図5を参照して説明する。図5は、翻訳元言語側の木構造の一例を示す。図5に示すように、符号501で示す非終端記号X(1)が、導出規則「X(1)→ fj-1 X(2) fj+3」、「X(2) →fjfj+1X(3)」、「X(3)→ fj+2」によって、符号502〜504の順序で示すように展開される構造を示したものである。この例では、親の規則のすべての単語から、子の規則のすべての単語を組み合わせた単語ペアとして、単語ペア(fj-1,fj)、(fj-1,fj+1)、(fj+3,fj)、(fj+3,fj+1)、(fj,fj+2)、(fj+1,fj+2)が定義できる。このような各単語ペア(f1,f2)ごとに、式(28)に示す素性hi(f,e)を定義する。
If features are defined by a combination of rules, the number of features may be too large. Therefore, in this embodiment, in order to reduce the number of features, the hierarchical features are defined by the upper and lower relations on the syntax tree for the words of the translation source or the translation destination. The hierarchical features in this case will be described with reference to FIG. FIG. 5 shows an example of a tree structure on the translation source language side. As shown in FIG. 5, the non-terminal symbol X (1) denoted by
さらに、素性の数を減らす工夫として、翻訳先言語へと対応付けられた翻訳元言語の単語に限定して階層的素性を定義するように構成することもできる。このように定義した階層的素性の具体例を示すために、前記した図13に示した正解翻訳データが学習データに存在したと仮定する。この場合、単語ペア(に対する,中国)、(日本,中国)、(に対する,抗議)、(日本,抗議)に対応して素性が定義される。本実施形態では、このように単語に基づく階層的素性(単語ベースの階層的素性)を定義した。したがって、階層的素性抽出手段128は、単語ペア(に対する,中国)、(日本,中国)、(に対する,抗議)、(日本,抗議)を階層的素性119に格納する。なお、この説明では、翻訳元言語側で階層的素性を定義したが、同様に翻訳先言語側でも階層的素性を定義することができる。
Furthermore, as a device for reducing the number of features, a hierarchical feature can be defined by limiting to words in the source language associated with the target language. In order to show a specific example of the hierarchical feature defined in this way, it is assumed that the correct translation data shown in FIG. 13 is present in the learning data. In this case, the features are defined corresponding to the word pairs (for, China), (Japan, China), (for, protest), and (Japan, protest). In this embodiment, hierarchical features based on words (word-based hierarchical features) are defined in this way. Therefore, the hierarchical
<単語の正規化について>
従来の素性では、単語の表層形を仮定していた。しかしながら、このような表層形を仮定した素性だけでは、過学習の問題を起こす可能性がある。なお、学習に用いなかったデータに対する汎化誤差が大きくなってしまう現象は過学習と呼ばれている。本実施形態では、過学習を避けるため、正規化された単語を併用する。正規化の方法は、限定されないが、例えば、以下に示すような方法を用いることができる。
<Regarding word normalization>
Conventional features assumed the surface form of words. However, there is a possibility that an overlearning problem may be caused only by the feature assuming such a surface layer shape. Note that the phenomenon in which the generalization error for data not used for learning becomes large is called overlearning. In the present embodiment, normalized words are used in combination to avoid overlearning. Although the normalization method is not limited, for example, the following method can be used.
(1)単語クラス − クラスタリングにより各単語についてクラスを学習、そのクラスを単語の正規形とする。
(2)品詞 − 形態素解析システムによって与えられた品詞を正規形とする。
(3)接頭辞/接尾辞 − 4文字のprefixあるいはsuffixを正規形とする。例えば、英語において、“violate”は、4文字のprefix/suffixをとることで、“viol+”、“+late”として、正規化される。
(4)stem − stemmingアルゴリズムにより、様々な表層型を正規化する。
(5)数字 − 数字を正規化する。例えば、“2007/6/27”であれば、数字の部分を“@”で置き換えることにより、“@@@@/@/@@”として正規化される。
(1) Word class—Learning a class for each word by clustering and letting that class be the normal form of the word.
(2) Part of speech-Let the part of speech given by the morphological analysis system be the normal form.
(3) Prefix / Suffix-4-character prefix or suffix is in normal form. For example, in English, “violate” is normalized as “viol +” and “+ late” by taking a prefix / suffix of 4 characters.
(4) Normalize various surface types by stem-stemming algorithm.
(5) Numbers-normalize numbers. For example, “2007/6/27” is normalized as “@@@@ / @ / @@” by replacing the numeric part with “@”.
本実施形態では、学習データにおいて、すべての素性に対して、そこに現れるすべての単語の可能な正規化を考え、正規化された単語の素性を追加する。例えば、(threat,脅威)という単語ペア素性に対して、4文字のprefix/suffixで正規化することにより、(thre+,脅威)(+reat,脅威)といった、素性を追加することができる。ここで示した正規化は一例であり、翻訳対象とする各言語に適した正規化を容易に取り入れることが可能である。 In the present embodiment, possible normalization of all words appearing in all the features in the learning data is considered, and the features of the normalized words are added. For example, a feature such as (thre +, threat) (+ reat, threat) can be added to the word pair feature (threat, threat) by normalizing with a 4-character prefix / suffix. The normalization shown here is an example, and normalization suitable for each language to be translated can be easily incorporated.
なお、前記したモード判定手段121と、言語モデル学習手段122と、単語対応作成手段123と、言語間対応素性抽出手段124と、フレーズペア抽出手段125と、生成規則作成手段126と、翻訳スコア計算手段127と、階層的素性抽出手段128とは、CPUが記憶手段11のHDD等に格納された所定のプログラムをRAMに展開して実行することにより実現されるものである。
The
[生成規則作成装置の動作]
図1に示した生成規則作成装置の動作について図6を参照(適宜図1参照)して説明する。図6は、図1に示した生成規則作成装置の動作を示すフローチャートである。
生成規則作成装置1は、モード判定手段121によって、モードを判定する(ステップS1)。判定の結果、モードが「単語対応作成」モードの場合には、生成規則作成装置1は、入出力手段10を介して、対訳コーパス150を単語対応作成手段123に入力し(ステップS2)、単語対応作成手段123によって、単語対応を作成する(ステップS3)。作成された単語対応111は、記憶手段11に格納される。
[Operation of generation rule creation device]
The operation of the production rule creation device shown in FIG. 1 will be described with reference to FIG. 6 (see FIG. 1 as appropriate). FIG. 6 is a flowchart showing the operation of the generation rule creation device shown in FIG.
The production
そして、生成規則作成装置1は、単語ペア素性抽出手段131によって、単語対応111から単語ペア素性を抽出し(ステップS4)、翻訳先言語挿入素性抽出手段132によって、単語対応111から翻訳先言語挿入素性118を抽出する(ステップS5:翻訳先言語挿入素性抽出ステップ)。なお、ステップS4およびステップS5の処理順序は任意であり、並列に処理してもよい。
Then, the generation
また、ステップS1での判定の結果、モードが「ルールテーブル作成」モードの場合には、生成規則作成装置1は、入出力手段10を介して、対訳コーパス150を制御手段12に入力し(ステップS6)、フレーズペア抽出手段125によって、対訳コーパス150からフレーズペアを抽出する(ステップS7:フレーズペア抽出ステップ)。抽出されたフレーズペア112は、記憶手段11に格納される。
If the result of determination in step S1 is that the mode is “rule table creation” mode, the production
続いて、生成規則作成装置1は、生成規則作成手段126によって、フレーズペア112に基づいて、同期文脈自由文法の生成規則の右辺の翻訳先言語の記号列が終端記号から始まるという制約を加えた生成規則を作成し、この際に、階層的素性抽出手段128によって、単語対応111から階層的素性を抽出する(ステップS8:生成規則作成ステップ、階層的素性抽出ステップ)。作成されたルール113、および、抽出された階層的素性119は、記憶手段11にそれぞれ格納される。そして、生成規則作成装置1は、翻訳スコア計算手段127によって、ルール113の各生成規則から計算した各翻訳スコアを各生成規則に対応付ける(ステップS9:翻訳スコア計算ステップ)。対応付けられた生成規則と翻訳スコアとは、ルールテーブル114として記憶手段11に格納される。
Subsequently, the production
また、ステップS1での判定の結果、モードが「言語モデル作成」モードの場合には、生成規則作成装置1は、入出力手段10を介して、翻訳先言語コーパス140を制御手段12に入力し(ステップS10)、言語モデル学習手段122によって、言語モデルを作成する(ステップS11)。作成された言語モデル115は、記憶手段11に格納される。そして、生成規則作成装置1は、言語モデル学習手段122によって、読み込んだ翻訳先言語コーパス140から翻訳先言語bigram素性116を抽出する(ステップS12)。抽出された翻訳先言語bigram素性116は記憶手段11に格納される。なお、翻訳先言語bigram素性116は、言語モデルを作成する際に抽出される。
If the result of determination in
なお、生成規則作成装置1は、一般的なコンピュータに、前記した各ステップを実行させる生成規則作成プログラムを実行することで実現することもできる。このプログラムは、通信回線を介して配布することも可能であるし、CD−ROM等の記録媒体に書き込んで配布することも可能である。
The production
本発明の参考例に係る生成規則作成装置1によれば、同期文脈自由文法の生成規則に対して、右辺の翻訳先言語の記号列が終端記号から始まるという制約を加えた生成規則を作成し、この生成規則に対応する翻訳確率を素性として算出するだけではなく、生成規則に基づいて階層的素性や翻訳先言語挿入素性といった二値素性を抽出することができる。したがって、この生成規則作成装置1において求められた生成規則や素性を用いて統計的機械翻訳を行うことで、正解翻訳として尤もらしい展開の仕方で翻訳文を生成することが可能となる。
According to the generation
[機械翻訳装置の構成]
図7は、本発明の実施形態に係る機械翻訳装置の構成を示す機能ブロック図である。
機械翻訳装置2は、前記した階層的素性と前記した翻訳先言語挿入素性とのうちの少なくとも一方と、翻訳元言語の単語列と翻訳先言語の単語列との対応の確からしさを定義する翻訳モデルとを利用して、入力された翻訳元言語の単語列を、入力に対応する翻訳先言語の単語列に機械的に翻訳するものである。本実施形態では、機械翻訳装置2は、翻訳モデルとして、生成規則作成装置1(図1参照)で作成されたルールテーブルを利用することとした。機械翻訳装置2は、入力された翻訳元言語の単語列の翻訳結果である、入力に対応する翻訳先言語の単語列として、所定の部分仮説からそれよりも長い新たな部分仮説を順次作成して所定の部分仮説を拡張することによって最終的に生成された部分仮説である仮説を出力する。機械翻訳装置2は、例えば、CPUと、RAMと、ROMと、HDDと、入出力インタフェース等から構成され、図7に示すように、入出力手段20と、記憶手段21と、制御手段22とを備えている。
[Configuration of machine translation device]
FIG. 7 is a functional block diagram showing the configuration of the machine translation apparatus according to the embodiment of the present invention.
The
入出力手段20は、入力装置Kから翻訳元言語の単語列を制御手段22に入力したり、制御手段22から、翻訳結果である翻訳先言語の単語列を出力装置Dに出力したりするものである。また、入出力手段20は、素性重み学習用対訳コーパス250を素性重み学習手段221に入力する。
素性重み学習用対訳コーパス250は、生成規則作成装置1(図1参照)が生成規則を作成する際に利用する対訳コーパス150とは別に用意するものである。
The input / output means 20 inputs a word string in the source language from the input device K to the control means 22, and outputs a word string in the target language as a translation result from the control means 22 to the output device D. It is. The input /
The feature weight learning
記憶手段21は、例えば、CPUによる演算処理等に利用されるRAMや、例えば、所定のプログラム、各種データベース、処理結果等を格納するROMやHDDを備えている。例えば、記憶手段21には、処理結果として、素性重み211と、単語情報212と、単語範囲付きルール213と、部分仮説214と、部分仮説スコア215とが格納される。また、記憶手段21には、生成規則作成装置1(図1参照)でそれぞれ作成されたルールテーブル114と、言語モデル115と、翻訳先言語bigram素性116と、単語ペア素性117と、翻訳先言語挿入素性118と、階層的素性119とが格納される。
The storage unit 21 includes, for example, a RAM used for arithmetic processing by the CPU, and a ROM and HDD for storing predetermined programs, various databases, processing results, and the like. For example, the storage means 21 stores a
制御手段22は、素性重み学習手段221と、単語情報抽出手段222と、翻訳制御手段223とを備えている。
The control unit 22 includes a feature
素性重み学習手段221は、素性重み学習用対訳コーパス250と、ルールテーブル114に格納された翻訳モデルと、言語モデル115と、翻訳先言語bigram素性116と、単語ペア素性117と、翻訳先言語挿入素性118と、階層的素性119とから、後記するオンラインマージン最大化学習法により各素性に対応した重みを学習し、学習結果を素性重み211として記憶手段21に格納するものである。
The feature weight learning means 221 includes a feature weight learning
単語情報抽出手段222は、入出力手段20を介して入力装置Kから入力する翻訳元言語の文を単語単位に分割して、翻訳元言語の文を構成する単語についての情報(単語情報)を抽出するものである。単語情報は、例えば、単語列、単語位置、単語数等を含む。抽出された単語情報212は記憶手段21に格納される。なお、入力装置Kから入力する翻訳元言語の文が単語分割済みの場合には、単語情報抽出手段222を省略することもできる。
The word
翻訳制御手段223は、後記する手順で部分仮説を展開しながら文全体を被う仮説を求め、その中で最適(実際は準最適)なものを求めるものであり、生成規則探索手段241と、単語範囲付き生成規則生成手段242と、部分仮説スコア算出手段243と、仮説探索手段244とを備えている。
The translation control means 223 obtains a hypothesis that covers the entire sentence while expanding the partial hypothesis according to the procedure described later, and finds the optimum (actually semi-optimal) one of them. The generation rule search means 241 and the word A generation rule generation unit with
生成規則探索手段241は、所定の部分仮説を拡張するために適用可能な生成規則をルールテーブル114からそれぞれ探索するものである。 The generation rule search means 241 searches the rule table 114 for a generation rule applicable for extending a predetermined partial hypothesis.
単語範囲付き生成規則生成手段242は、生成規則探索手段241で探索された生成規則に対して、入力された翻訳元言語の単語列を構成する単語の単語数と単語位置とに基づいて、探索された生成規則の非終端記号が被う翻訳元言語の単語列の範囲を示す単語範囲を付加して、適用可能な単語範囲付き生成規則をそれぞれ生成するものである。
The generation rule generation unit with word range 242 searches the generation rule searched by the generation
ここでは、入力された翻訳元言語の単語列の変換対象部分(非終端記号が被う範囲)を、その単語位置の左端(left)と右端(right)で、[l,r]のように表記することとする。初期段階では、例えば、入力が11単語であれば、[l,r]=[1,11]となる。この場合、生成規則の翻訳元言語側の各非終端記号の単語範囲(未翻訳の単語範囲)を[l1,r1],[l2,r2],…のように表記する。例えば、[l1,r1]=[1,2]等となる。なお、ある生成規則の翻訳元言語側の非終端記号が2つあれば、単語範囲も2つ設定される。また、ある生成規則の翻訳元言語側の非終端記号に対して、「l1」の値や「r1」の値として、複数の可能性がある。 Here, the conversion target part (the range covered by the non-terminal symbol) of the input source language word string is expressed as [l, r] at the left end (left) and right end (right) of the word position. I decided to. In the initial stage, for example, if the input is 11 words, [l, r] = [1,11]. In this case, the word range (untranslated word range) of each non-terminal symbol on the source language side of the generation rule is expressed as [l 1 , r 1 ], [l 2 , r 2 ],. For example, [l 1 , r 1 ] = [1, 2]. If there are two non-terminal symbols on the translation source language side of a certain generation rule, two word ranges are also set. In addition, there are a plurality of possibilities as the value of “l 1 ” or “r 1 ” for a non-terminal symbol on the translation source language side of a generation rule.
部分仮説スコア算出手段243は、単語範囲付き生成規則に含まれる翻訳先言語側の翻訳済み単語と単語範囲とを、新たな部分仮説として作成すると共に、適用可能な生成規則をトップダウンに適用し且つ適用可能な生成規則において翻訳先言語側の非終端記号が文頭から文末に亘って並べられた順序で、新たな部分仮説を拡張し、作成された部分仮説H′の評価値を示す部分仮説スコアを算出するものである。
本実施形態では、部分仮説スコア算出手段243は、ルールテーブル114に格納された翻訳モデルと、翻訳先言語bigram素性116と、単語ペア素性117と、翻訳先言語挿入素性118と、階層的素性119とを要素として含む素性ベクトルと、素性重み211を示す重みベクトルとの内積を部分仮説スコアS(H′)として算出する。
The partial hypothesis score calculation means 243 creates the translated word and the word range on the translation target language side included in the generation rule with word range as a new partial hypothesis, and applies the applicable generation rule from the top down. In addition, the partial hypothesis score indicating the evaluation value of the created partial hypothesis H ′ by extending the new partial hypothesis in the order in which the non-terminal symbols on the translation target language side are arranged from the beginning to the end of the sentence in the applicable generation rule Is calculated.
In the present embodiment, the partial hypothesis score calculation means 243 includes the translation model stored in the rule table 114, the translation destination
具体的には、部分仮説スコア算出手段243は、「翻訳先言語の文頭からの単語列」と「翻訳元言語の単語列のうち未翻訳の単語の範囲を保持するスタック」の二つ組みからなる部分仮説Hをもとに、適用可能な単語範囲付き生成規則を使って、新たな部分仮説H′を作成するということを繰り返す。HをもとにH′を作成することを部分仮説の拡張と呼ぶ。部分仮説が拡張されるに従い、部分仮説中の「翻訳先言語の文頭からの単語列は文頭から文末にかけて逐次的に追加される。また、部分仮説スコア算出手段243は、メモリを節約するため、他の部分仮説との間で単語列の共有を行う。なお、翻訳元言語の単語数がJの場合、初期部分仮説(部分仮説の初期値)は、「空列」と、「[1,J]だけが積まれたスタック」とからなる。 Specifically, the partial hypothesis score calculation means 243 includes a combination of “a word string from the beginning of a sentence in the translation target language” and “a stack that holds a range of untranslated words in the word string in the translation source language”. Based on the partial hypothesis H, a new partial hypothesis H ′ is generated using the applicable generation rule with word range. Creating H ′ based on H is called extension of the partial hypothesis. As the partial hypothesis is expanded, the word string from the beginning of the translated language in the partial hypothesis is added sequentially from the beginning of the sentence to the end of the sentence. Further, the partial hypothesis score calculating means 243 saves memory. Share word strings with other partial hypotheses, and if the number of words in the source language is J, the initial partial hypothesis (initial value of the partial hypothesis) is “empty string” and “[1, J] is the only stack.
部分仮説スコア算出手段243は、部分仮説H′の翻訳元言語の翻訳されている単語数をm(0≦m≦J)とすると、優先度付きキューQ0,Q1,…,QJに部分仮説H′を入れる。つまり、部分仮説スコア算出手段243は、Q0={初期部分仮説}から始めて、翻訳された翻訳元言語の単語数に同期して優先度付きキューQmに格納する部分仮説を拡張していく。
Partial hypothesis score calculating
部分仮説スコア算出手段243は、ある部分仮説を拡張するとき、そのスタックの先頭から(積まれた上方から)翻訳されていない翻訳元言語の単語範囲[l,r]をポップする。翻訳元言語の入力文に対応する生成規則はEarley法のチャート構造で管理する。チャート構造を用いることにより、部分仮説に対して適用可能な生成規則を効率良く見つけることが可能となる。例えば、部分仮説スコア算出手段243は、前記した式(17)から生成された式(29)に示すような単語範囲つき生成規則から部分仮説を抽出する場合には、単語範囲[l2,r2],[l1,r1]の順序でスタックにプッシュして、[l1,r1]が先に処理されるようにする。こうして、翻訳先言語側は、常に文頭から翻訳が生成されることが保証されることになる。 When expanding a partial hypothesis, the partial hypothesis score calculation means 243 pops the untranslated word range [l, r] from the top of the stack (from the top of the stack). Generation rules corresponding to input sentences in the source language are managed using the Earley chart structure. By using the chart structure, it is possible to efficiently find a generation rule applicable to the partial hypothesis. For example, when the partial hypothesis score calculation means 243 extracts a partial hypothesis from a generation rule with a word range as shown in the equation (29) generated from the equation (17), the word range [l 2 , r 2 ], [l 1 , r 1 ] are pushed onto the stack in order, so that [l 1 , r 1 ] is processed first. In this way, the translation target language side is guaranteed to always generate a translation from the beginning of the sentence.
部分仮説スコア算出手段243は、式(30)に示すように、もととなった部分仮説HのスコアS(H)に差分スコアを加算することで、拡張された部分仮説H′のスコアS(H′)を算出する。 The partial hypothesis score calculation means 243 adds the difference score to the score S (H) of the original partial hypothesis H, as shown in the equation (30), thereby increasing the score S of the expanded partial hypothesis H ′. (H ′) is calculated.
ここで、hm(r)として、例えば、表5に示す素性を用いる。なお、仮説を生成する際に、部分仮説の展開により新たに生成された翻訳先言語の単語列を、
と表記する。ここで、生成された翻訳先言語の単語列は、「i」番目の単語から「i+ε」番目の単語で構成されている。
Here, for example, the features shown in Table 5 are used as h m (r). In addition, when generating a hypothesis, the word string of the target language newly generated by the expansion of the partial hypothesis,
Is written. Here, the generated word string of the translation destination language is composed of the “i + ε” -th word from the “i” -th word.
ここで、Pe|f(r)、Pf|e(r)、Lexe|f(r)、Lexf|e(r)は、記憶手段21のルールテーブル114に規定されている生成規則rに対応した素性である。また、前記した式(30)中の素性重みλmは、記憶手段21に格納された素性重み211に予め規定されているものとする。表5に示した最後の4つの素性(h7(r)〜hl(r))は二値素性であり,一般に高次元素性となる。なお、表5に記載した「i」,「j」,「k」,「l」は、各二値素性の個数によって定まる整数を示す。
Here, P e | f (r), P f | e (r), Lex e | f (r), and Lex f | e (r) are generation rules defined in the rule table 114 of the storage unit 21. The feature corresponding to r. Further, the feature weight λ m in the above equation (30) is assumed to be defined in advance in the
本実施形態では、前記した式(30)と表5とから、部分仮説スコア算出手段243は、最終的に、部分仮説H′のスコアS(H′)を、式(31)で算出する。また、部分仮説スコア算出手段243は、優先度付きキューQ0,Q1,…,QJには、最大Y個(例えば、1000個)の部分仮説しか保持しない。また、部分仮説スコア算出手段243は、部分仮説スコアS(H′)が優先度付きキューQ0,Q1,…,QJ内の最大の部分仮説スコアとある定数との積よりも小さい場合、その部分仮説H′を捨てる。これにより、部分仮説スコア算出手段243は、優先度付きキューQ0,Q1,…,QJに格納される各部分仮説に対して効果的な枝刈りを行うことができる。
In the present embodiment, from the above equation (30) and Table 5, the partial hypothesis score calculation means 243 finally calculates the score S (H ′) of the partial hypothesis H ′ using the equation (31). Further, the partial hypothesis score calculation means 243 holds only the maximum Y (for example, 1000) partial hypotheses in the priority queues Q 0 , Q 1 ,..., Q J. The partial hypothesis
仮説探索手段244は、入力された翻訳元言語の単語列に対して適用可能な所定の部分仮説を探索し、所定の部分仮説を拡張することによって最終的に生成された翻訳元言語の文全体に対応する部分仮説(これを仮説と呼ぶ)のうちで、部分仮説スコアが最大となる仮説を探索するものである。具体的には、仮説探索手段244は、翻訳元言語の文全体から得られる所定数の仮説のうちで、仮説スコアが最大となる仮説H^を、式(32)の関係から探索する。式(32)に示す仮説Hは、優先度付きキューQJに含まれる部分仮説Hのことなので、式(32)で求める仮説H^は、部分仮説スコアS(H)の値を最大とする部分仮説H(つまり仮説H)を求めることで実現できる。 The hypothesis search means 244 searches for a predetermined partial hypothesis that can be applied to the input word string of the source language, and expands the predetermined partial hypothesis so that the entire sentence of the source language finally generated Among the partial hypotheses corresponding to (referred to as a hypothesis), a hypothesis having the maximum partial hypothesis score is searched. Specifically, the hypothesis search means 244 searches the hypothesis H ^ having the maximum hypothesis score from the relationship of the expression (32) among a predetermined number of hypotheses obtained from the entire sentence of the translation source language. Since the hypothesis H shown in the equation (32) is the partial hypothesis H included in the priority queue Q J , the hypothesis H ^ obtained by the equation (32) maximizes the value of the partial hypothesis score S (H). This can be realized by obtaining a partial hypothesis H (that is, hypothesis H).
また、仮説探索手段244は、求めた仮説に対応する翻訳先言語の文頭から文末までの単語列を翻訳結果として、入出力手段20を介して出力装置Dに出力する。 Further, the hypothesis searching means 244 outputs a word string from the beginning of the translation language corresponding to the obtained hypothesis to the end of the sentence as a translation result to the output device D via the input / output means 20.
<オンラインマージン最大化学習法>
ここで、素性重み学習手段221が行うオンラインマージン最大化学習(Online Large-Margin Training)について説明する。素性重み学習手段221は、図8に示すオンライン学習アルゴリズムを実行する。このオンライン学習アルゴリズムは、デコーダ(仮説探索手段244)が生成可能な準正解データを活用する点が、一般的なオンライン学習アルゴリズムと相違している。
<Online margin maximization learning method>
Here, online margin maximization learning (Online Large-Margin Training) performed by the feature weight learning means 221 will be described. The feature weight learning means 221 executes the online learning algorithm shown in FIG. This online learning algorithm is different from a general online learning algorithm in that quasi-correct answer data that can be generated by a decoder (hypothesis searching means 244) is utilized.
行番号「3」に示すbestk(・)は、デコーダにより、学習サンプル(ft,et)から重みベクトルwiを用いてk-bestリストCt(k個の翻訳先言語文データ)を生成する関数を示す。ここで、各学習サンプルは、あるtについての1つの翻訳元言語文ftに対して、複数の翻訳先言語文etを持っているものとする。したがって、「et」は、複数の参照訳を示すベクトルを表す。 Best k shown in line number "3" (·) is, by the decoder, the learning samples (f t, e t) by using the weight vector w i from k-best list C t (k number of the target language sentence data) Here is a function that generates Here, each learning sample is intended for a single source language sentence f t for certain t, it has a plurality of target language sentence e t. Accordingly, “e t ” represents a vector indicating a plurality of reference translations.
行番号「4」に示すoraclem(・)は、k-bestリストCtと以前の準正解データOtとをマージ(merge)して、m個の準正解データを生成する(更新する)。なお、新たに生成された準正解データOtを用いて後記する過程を経て正解データが決定される。 The oracle m (•) indicated by the line number “4” merges the k-best list C t and the previous quasi-correct answer data O t to generate (update) m quasi-correct answer data. . The correct answer data is determined through a process described later using the newly generated quasi-correct answer data O t .
行番号「5」に示すように、以前の重みベクトルwiは、行番号「3」で生成されたk-bestリストCtと、行番号「4」で生成された準正解データOtとを用いて更新されることによって、新しい重みベクトルwi+1が生成される。なお、w.r.t.は、with respect toの略である。素性重み学習手段221は、行番号「3」から行番号「6」までの処理を、内側ループとして、学習サンプル(ft,et)に亘ってT回繰り返し、さらに、行番号「2」から行番号「7」までの処理を、外側ループとしてN回繰り返し、行番号「9」に示すように、重みベクトルwiの平均値を返す。 As shown in the row number “5”, the previous weight vector w i includes the k-best list C t generated by the row number “3”, the quasi-correct answer data O t generated by the row number “4”, and Is used to generate a new weight vector w i + 1 . Wrt is an abbreviation for with respect to. The feature weight learning means 221 repeats the process from the line number “3” to the line number “6” T times over the learning sample ( ft , et ) as an inner loop, and further, the line number “2”. To the line number “7” is repeated N times as an outer loop, and the average value of the weight vectors w i is returned as indicated by the line number “9”.
本実施形態では、素性重み学習手段221は、行番号「5」の処理において、式(33)を用いて、オンラインマージン最大化学習を用い、最適な重みベクトルwiを求める。なお、オンラインマージン最大化法については、「Koby Crammer, Ofer Dekel, Joseph Keshet, Shai Shalev-Shwartz, and Yoram Singer、Online passive-aggressive algorithms、Journal of Machine Learning Research、 7:551-585、March 2006(以下、参考文献という)」に記載されている。
In the present embodiment, the feature
式(34)中のロス関数は、参照訳etに基づき、e^とe′との違いを計算する関数である。ロス関数としては、例えば、n-gramの正解率に基づく指標であるBLEUなどの指標を用いることができる。BLEUについては、「Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu、BLEU: a method for automatic evaluation of machine translation、In Proc. of ACL 2002、p. 311-318、Philadelphia、Pennsylvania、2002」に記載されている。 Loss function in equation (34), based on the reference translation e t, is a function that calculates the difference between e ^ and e '. As the loss function, for example, an index such as BLEU, which is an index based on an n-gram accuracy rate, can be used. For BLEU, see “Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu, BLEU: a method for automatic evaluation of machine translation, In Proc. Of ACL 2002, p. 311-318, Philadelphia, Pennsylvania, 2002” It is described in.
素性重み学習手段221は、式(34)に示すように、複数の正しい翻訳(e^)と、デコーダの出力する複数の誤った候補(e′)との間のマージン(margin)を形成し、そのマージンがロス関数の値よりも大きくなるようにする。一般に、オンラインマージン最大化学習では、正解データは一つである(例えば、前記した参考文献を参照)。しかし、翻訳においては、正解を一意に決定できないため、素性重み学習手段221は、複数の正解データ(準正解データ)を用いる。さらに、オンラインマージン最大化学習で用いるロス関数Lによっては真の正解(e^)を定義できないため、素性重み学習手段221は、デコーダの出力するk-bestリストCtから正解(e^)に近いものを正解データ(準正解データOt)として用いる。前記した式(33)の左辺を示す最適な重みベクトルwi+1は、例えば、二次計画法により導出可能である。
The feature weight learning means 221 forms a margin between a plurality of correct translations (e ^) and a plurality of erroneous candidates (e ') output from the decoder, as shown in the equation (34). The margin is made larger than the value of the loss function. Generally, in online margin maximization learning, there is only one correct answer data (see, for example, the above-mentioned reference). However, since the correct answer cannot be uniquely determined in translation, the feature
本手法(図8に示したアルゴリズム)によって、素性重み学習手段221は、複数の正解へ向けて学習しており、少量の学習データに対しても、最適なモデルのパラメータを学習することが可能である。また、そのための重み付けは、二次計画法により決定されることから、本手法によれば、柔軟な制約を設計することが可能である。例えば、BLEUなどのロス関数以外に、NISTといったロス関数を追加することにより、BLEUの正解と同時に、NISTを最適化するといった制約を加えることが可能である。なお、NISTについては、「George Doddington、Automatic evaluation of machine translation quality using n-gram co-occurrence statistics、In Proc. ARPA Workshop on Human Language Technology、2002」に記載されている。
With this method (the algorithm shown in FIG. 8), the feature
なお、素性重み学習手段221と、単語情報抽出手段222と、翻訳制御手段223(生成規則探索手段241、単語範囲付き生成規則生成手段242、部分仮説スコア算出手段243および仮説探索手段244)とは、CPUが記憶手段21のHDD等に格納された所定のプログラムをRAMに展開して実行することにより実現されるものである。
The feature
[機械翻訳装置の動作]
図7に示した機械翻訳装置2の動作について図9を参照(適宜図7参照)して説明する。図9は、図7に示した機械翻訳装置の動作を示すフローチャートである。予め、機械翻訳装置2は、素性重み学習手段221によって、素性重み学習用対訳コーパス250と、ルールテーブル114と、言語モデル115と、翻訳先言語bigram素性116と、単語ペア素性117と、翻訳先言語挿入素性118と、階層的素性119とに基づいて、素性関数の値の重みを学習し、学習結果である素性重み211を記憶手段21に格納しておく(ステップS21:素性重み学習ステップ)。
[Operation of machine translation device]
The operation of the
そして、機械翻訳装置2は、入力装置Kから入出力手段20を介して入力された翻訳元言語の文を単語情報抽出手段222に入力する(ステップS22)。機械翻訳装置2は、単語情報抽出手段222によって、入力された翻訳元言語の文(入力文)を単語に分割し、単語列、単語数Jやそれぞれの単語の単語位置を抽出する(ステップS23)。抽出された単語列、単語列単語数Jや単語位置は、単語情報212として記憶手段21に格納される。
Then, the
機械翻訳装置2は、仮説探索手段244によって、初期部分仮説H0を作成し、入力単語数Jに合わせて、J個の優先度付きキューQ0,…,QJを空にして、そのうちの優先度付きキューQ0に初期部分仮説H0を格納する(ステップS24)。そして、機械翻訳装置2は、仮説探索手段244によって、初期部分仮説H0に対する部分仮説スコアS(H0)と、優先度付きキューの識別変数mとを初期化する。すなわち、S(H0)=0,m=0とする(ステップS25)。続いて、機械翻訳装置2は、生成規則探索手段241によって、m番目の優先度付きキューQmから、そこに格納されている適用可能なそれぞれの部分仮説Hを順次ポップし、それぞれの部分仮説Hを拡張できるような適用可能なそれぞれの生成規則rをルールテーブル114から探索する。そして、探索結果であるそれぞれの生成規則rの翻訳元言語側に記述されている翻訳済単語の個数(翻訳済単語個数)V(r)を取得し、現在の優先度付きキューの識別変数mの値に加算することによって、処理対象の部分仮説Hに対する翻訳済単語数nの値を更新する。すなわち、n=m+V(r)とする(ステップS26:生成規則探索ステップ)。
The
そして、機械翻訳装置2は、単語範囲付き生成規則生成手段242によって、探索した生成規則に対して適用可能なそれぞれの単語範囲付き生成規則r′を生成する(ステップS27:単語範囲付き生成規則生成ステップ)。そして、機械翻訳装置2は、部分仮説スコア算出手段243によって、処理対象の部分仮説Hを、それぞれの単語範囲付き生成規則r′で展開して部分仮説H′をそれぞれ作成し、作成した部分仮説H′について前記した式(31)に基づいて部分仮説スコアS(H′)を算出する。そして、作成した部分仮説H′を、n番目の優先度付きキューQnに格納し、所定の枝刈りを行う(ステップS28:部分仮説スコア算出ステップ)。ここで、枝刈りによって不要となった部分仮説H′は、優先度付きキューQnから削除される。また、算出された部分仮説スコアS(H′)は記憶手段21の部分仮説スコア215に格納されるが、枝刈りによって削除された部分仮説H′に対する部分仮説スコアS(H′)は削除されることとなる。
Then, the
そして、機械翻訳装置2は、仮説探索手段244によって、適用可能な単語範囲付き生成規則r′をすべて選択したか否かを判別する(ステップS29)。適用可能なr′がまだ存在する場合(ステップS29:No)、機械翻訳装置2は、ステップS27に戻る。一方、r′をすべて選択した場合(ステップS29:Yes)、仮説探索手段244は、適用可能な生成規則rをすべて選択したか否かを判別する(ステップS30)。適用可能なrがまだ存在する場合(ステップS30:No)、機械翻訳装置2は、ステップS26に戻る。一方、rをすべて選択した場合(ステップS30:Yes)、仮説探索手段244は、適用可能な部分仮説Hをすべて選択したか否かを判別する(ステップS31)。適用可能なHがまだ存在する場合(ステップS31:No)、機械翻訳装置2は、ステップS26に戻る。一方、Hをすべて選択した場合(ステップS31:Yes)、仮説探索手段244は、現在の優先度付きキューの識別変数mの値が入力単語数Jと等しい(m=J)か否かを判別する(ステップS32)。m≠Jである場合(ステップS32:No)、機械翻訳装置2は、仮説探索手段244によって、優先度付きキューの識別変数mをインクリメントする。すなわち、m=m+1とする(ステップS33)。続いて、ステップS26に戻る。
Then, the
一方、m=Jである場合(ステップS32:Yes)、J番目の優先度付きキューQJには、翻訳元言語の文全体を被う部分仮説Hが複数格納されている。これら部分仮説Hは、翻訳元言語の文に対する仮説Hとみなすことができる。同様に、優先度付きキューQJに格納された部分仮説Hに対する部分仮説スコアS(H)は、この意味で、仮説スコアS(H)と呼ぶ。そして、この場合、機械翻訳装置2は、仮説探索手段244によって、J番目の優先度付きキューQJから仮説スコアS(H)の値が最大となる仮説Hを探索する(ステップS34:仮説探索ステップ)。そして、機械翻訳装置2は、仮説探索手段244によって、探索された仮説を翻訳先言語の文として出力する(ステップS35)。これにより、探索された仮説に対応する翻訳先言語の文頭から文末までの単語列が出力装置Dに出力される。
On the other hand, if m = J (step S32: Yes), the J-th priority queue Q J stores a plurality of partial hypotheses H covering the entire sentence of the source language. These partial hypotheses H can be regarded as hypotheses H for sentences in the source language. Similarly, the partial hypothesis score S (H) for the partial hypothesis H stored in the priority queue Q J is referred to as a hypothesis score S (H) in this sense. In this case, the
なお、機械翻訳装置2は、一般的なコンピュータに、前記した各ステップを実行させる機械翻訳プログラムを実行することで実現することもできる。このプログラムは、通信回線を介して配布することも可能であるし、CD−ROM等の記録媒体に書き込んで配布することも可能である。
The
[具体例]
図10と、表6と、表7と、表8とを参照して具体例について説明する。
図10は、図7に示した部分仮説から仮説への拡張例を示す図である。表6は、11単語からなる翻訳元言語文を示し、表7は、表6に示した翻訳元言語文に対応して適用可能な生成規則を示す。なお、表7中の「生成規則の種類」とは、前記した式(13)〜式(17)のいずれに対応するかを示すものである。表8は、表7に示した生成規則の適用順とそれに基づく単語範囲付き生成規則を示すものである。
[Concrete example]
Specific examples will be described with reference to FIG. 10, Table 6, Table 7, and Table 8.
FIG. 10 is a diagram illustrating an extension example from the partial hypothesis illustrated in FIG. 7 to the hypothesis. Table 6 shows a translation source language sentence composed of 11 words, and Table 7 shows a generation rule applicable to the translation source language sentence shown in Table 6. In addition, the “type of generation rule” in Table 7 indicates which of the above formulas (13) to (17) corresponds. Table 8 shows the order of application of the generation rules shown in Table 7 and the generation rules with word ranges based thereon.
初期状態において、部分仮説スコア算出手段243は、スタックを空にし、図10に示すように、状態「0」で翻訳元言語の単語列(文)全体を被う単語範囲[1,11]をプッシュする。状態「0」では、部分仮説H′(0)は、初期部分仮説なので、スタックにプッシュした単語範囲[1,11]と空列との組である。部分仮説H′(0)の部分仮説スコアS(H′)は「0」とする。 In the initial state, the partial hypothesis score calculation means 243 empties the stack and, as shown in FIG. 10, the word range [1, 11] covering the entire word string (sentence) of the translation source language in the state “0”. To push. In the state “0”, since the partial hypothesis H ′ (0) is the initial partial hypothesis, it is a set of the word range [1, 11] pushed onto the stack and an empty string. The partial hypothesis score S (H ′) of the partial hypothesis H ′ (0) is “0”.
次に、状態「1」で、部分仮説スコア算出手段243は、スタックから範囲[1,11]をポップし、生成規則探索手段241は、表7から、ポップされた範囲に適用可能な生成規則r(3)を選択する。生成規則r(3)における翻訳解「The」に対応した「は」の入力文における単語位置は、「3」なので、単語範囲付き生成規則生成手段242は、表8に示すように、生成規則r(3)における非終端記号X(1)および非終端記号X(2)の単語範囲が、それぞれ[1,2]、[4,11]となるような単語範囲付き生成規則r′(3)を生成する。この単語範囲付き生成規則r′(3)では、翻訳先言語側において非終端記号X(1)が非終端記号X(2)より先に処理されなければならない。そのため、部分仮説スコア算出手段243は、図10に示すように、単語範囲付き生成規則r′(3)において、非終端記号X(2)に対応する単語範囲[4,11]をスタックにプッシュしてから、非終端記号X(1)に対応する単語範囲[1,2]をプッシュする。部分仮説スコア算出手段243は、スタックにプッシュした単語範囲[1,2]、[4,11]と、翻訳先言語の文頭からの単語列としての翻訳解「The」とを部分仮説H′(1)とする。部分仮説スコア算出手段243は、部分仮説H′(1)について部分仮説スコアを算出する。
Next, in the state “1”, the partial hypothesis
次に、状態「2」で、部分仮説スコア算出手段243は、スタックから単語範囲[1,2]をポップし、生成規則探索手段241は、表7から、この単語範囲に適用可能な生成規則r(1)を選択する。生成規則r(1)における翻訳解「international」に対応した「国際」の入力文における単語位置は、「1」なので、単語範囲付き生成規則生成手段242は、表8に示すように、生成規則r(1)における非終端記号X(1)の単語範囲が[2,2]となるような単語範囲付き生成規則r′(1)を生成する。部分仮説スコア算出手段243は、図10に示すように、単語範囲付き生成規則r′(1)において、単語範囲[2,2]をスタックにプッシュする。部分仮説スコア算出手段243は、スタックにプッシュした単語範囲[2,2]と、以前プッシュした単語範囲[4,11]と、翻訳先言語の文頭からの単語列としての翻訳解「The international」とを部分仮説H′(2)とする。部分仮説スコア算出手段243は、部分仮説H′(2)について部分仮説スコアを算出する。
Next, in the state “2”, the partial hypothesis
次に、状態「3」で、部分仮説スコア算出手段243は、スタックから単語範囲[2,2]をポップし、生成規則探索手段241は、表7から、この単語範囲に適用可能な生成規則r(2)を選択する。生成規則r(2)には「テロ」に対応した翻訳解「terrorism」が記述されているが、非終端記号が無いので、単語範囲付き生成規則生成手段242は、生成規則r(2)をそのまま単語範囲付き生成規則r′(2)とする。部分仮説スコア算出手段243は、単語範囲付き生成規則r′(2)において単語範囲が指定されていないのでスタックに対する操作を行わない。部分仮説スコア算出手段243は、図10に示すように、スタックに以前プッシュした単語範囲[4,11]と、翻訳先言語の文頭からの単語列としての翻訳解「The international terrorism」とを部分仮説H′(3)とする。部分仮説スコア算出手段243は、部分仮説H′(3)について部分仮説スコアを算出する。
Next, in the state “3”, the partial hypothesis score calculating
以下、同様にして、表8に記載した適用順に、状態「4」から状態「9」に対応する操作を行うと、スタックが空になるので、部分仮説スコア算出手段243は、部分仮説の展開を終了し、仮説を生成する。このとき、翻訳先言語の文頭からの単語列としての翻訳解は、以下のように、10単語の単語列となる。
「The international terrorism also is a possible threat in Japan」
In the same manner, when an operation corresponding to the state “4” to the state “9” is performed in the application order described in Table 8, the stack becomes empty, and the partial hypothesis
"The international terrorism also is a possible threat in Japan"
ここで、生成規則r(9)は、2つの終端記号(単語)「で ある,is a」を有しているため、部分仮説スコア算出手段243は、9回の状態遷移で10単語を訳出する。図10では、部分仮説展開の過程で、翻訳先言語側が文頭から文末にかけて生成されたことが示されている。 Here, since the generation rule r (9) has two terminal symbols (words) “is a”, the partial hypothesis score calculation means 243 translates 10 words in nine state transitions. To do. FIG. 10 shows that the translation target language side was generated from the beginning of the sentence to the end of the sentence in the process of partial hypothesis development.
図11は、図10に示した仮説への拡張例に対応した同期文脈自由文法の木構造を示す図である。これは部分仮説展開に用いた生成規則の系列を木として表現したものである。図11において、(1)〜(9)は同期文脈自由文法の生成規則の展開順序を表す。生成規則は、右辺の翻訳先言語側は終端記号で始まっており、木はトップダウンかつ翻訳先言語の文頭から文末の順序に展開されるので、翻訳先言語の単語は必ず文頭から文末にかけて逐次的に生成される。これとは対照的に翻訳元言語側は必ずしも文頭から文末にかけて解析されるわけではない。 FIG. 11 is a diagram showing a tree structure of the synchronous context free grammar corresponding to the extension example to the hypothesis shown in FIG. This is a sequence of generation rules used for partial hypothesis expansion expressed as a tree. In FIG. 11, (1) to (9) represent the expansion order of the generation rules of the synchronous context free grammar. The generation rules start with a terminal symbol on the destination language on the right side, and the tree is expanded from top to bottom in the order from the beginning of the target language to the end of the target language. Generated automatically. In contrast, the source language is not always analyzed from the beginning to the end of the sentence.
表8に示した単語範囲付き生成規則と異なる例を表9に示す。表9では、適用順「1」,「2」の内容が異なる以外は表8と同じである。この場合には、状態「1」で、生成規則r(1)を選択し、状態「2」で生成規則r(3)を選択する。このとき、翻訳先言語の文頭からの単語列としての翻訳解は、以下のように、より不自然な英語となるため、この場合の仮説の仮説スコアは、表8の場合の仮説の仮説スコアよりも小さくなる。
「international The terrorism also is a possible threat in Japan」
Table 9 shows an example different from the generation rule with word range shown in Table 8. Table 9 is the same as Table 8 except that the contents of the application orders “1” and “2” are different. In this case, the generation rule r (1) is selected in the state “1”, and the generation rule r (3) is selected in the state “2”. At this time, since the translation solution as a word string from the head of the target language is as follows, the hypothesis score of the hypothesis in the case of Table 8 is as follows. Smaller than.
"International The terrorism also is a possible threat in Japan"
本実施形態の機械翻訳装置2によれば、ルールテーブル114に格納された生成規則ごとの翻訳モデルに加え、階層的素性119や翻訳先言語挿入素性118といった二値素性を含む素性に対応した重みを、素性重み学習用対訳コーパス250に基づいて学習し、これらの素性ベクトルおよび素性重みベクトルに基づいて部分仮説スコアを算出し、部分仮説スコア(この場合には仮説スコア)が最大となる仮説を翻訳先言語の単語列として探索する。したがって、正解翻訳として尤もらしい展開の仕方で翻訳文を生成することが可能となる。その結果、翻訳先言語の単語列の翻訳精度を向上させることができる。
According to the
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、その趣旨を変えない範囲で実施することができる。例えば、本実施形態では、日本語から英語への日英翻訳を例に説明したが、言語の組み合わせはこれに限定されるものではない。生成規則作成装置により生成規則を作成すれば、任意の多言語間でこの翻訳装置を使用することが可能である。 As mentioned above, although embodiment of this invention was described, this invention is not limited to this, It can implement in the range which does not change the meaning. For example, in the present embodiment, the Japanese-English translation from Japanese to English has been described as an example, but the combination of languages is not limited to this. If a production rule is created by the production rule creation device, this translation device can be used between any multilinguals.
また、本発明の参考例に係る生成規則作成装置1は、階層的素性抽出手段128と翻訳先言語挿入素性抽出手段132との両方を備える構成としたが、階層的素性抽出手段128と翻訳先言語挿入素性抽出手段132とのうちのいずれか一方のみを備えるように構成してもよい。この場合にも同等の効果を奏することができる。
また、本実施形態では、機械翻訳装置2は、階層的素性119と翻訳先言語挿入素性118との両方を含んで統計的機械翻訳を行うものとして構成したが、階層的素性119と翻訳先言語挿入素性118とのうちのいずれか一方のみを含むように構成してもよい。この場合にも同等の効果を奏することができる。さらに、機械翻訳装置2は、翻訳モデルとして、生成規則作成装置1(図1参照)で作成されたルールテーブルを利用することとしたが、利用する翻訳モデルはルールテーブルに限定されるものではない。
Further, the production
In the present embodiment, the
本発明の効果を確認するために、翻訳元言語を「アラビア語」とすると共に、翻訳先言語を「英語」として、アラビア語から英語への翻訳実験を行った。
具体的には、対訳コーパス150(図1参照)として、LDC(Linguistic Data Consortium:米国の言語データ研究機構)から配布されている「アラビア語/英語のコーパス」を用いた。この対訳コーパス(training set)150は、約380万文からなる。
また、素性重み学習用対訳コーパス250(図7参照)として、MT2003評価セット(663文:development set)を用い、テストに、MT2004(707文:open test set)およびMT2005(1,056文:open test set)を用いた。
また、翻訳先言語コーパス140(図1参照)として、LDCから配布されている「English Gigaword」を用いた。つまり、「English Gigaword」が、言語モデル115の学習や翻訳先言語bigram素性116の抽出に用いられた。
In order to confirm the effect of the present invention, a translation experiment from Arabic to English was performed by setting the translation source language to “Arabic” and the translation destination language to “English”.
Specifically, as the bilingual corpus 150 (see FIG. 1), an “Arabic / English corpus” distributed by LDC (Linguistic Data Consortium) was used. This bilingual corpus (training set) 150 consists of approximately 3.8 million sentences.
In addition, MT2003 evaluation set (663 sentence: development set) is used as the
Further, “English Gigaword” distributed from LDC was used as the translation language corpus 140 (see FIG. 1). That is, “English Gigaword” was used for learning the
<単語の正規化に関する実験>
単語の正規化に関する実験として、単語の表層形(surface form)を仮定した素性と、単語を正規化することを仮定した素性とを比較する実験を行った。
(実施例1)単語の表層形(surface form)のみを仮定した。
(実施例2)単語の表層形(surface form)に加えて、接頭辞および接尾辞の正規化(prefix/suffix)を仮定した。
(実施例3)単語の表層形(surface form)に加えて、単語クラスの正規化(word class)を仮定した。
(実施例4)単語の表層形(surface form)に加えて、数字の正規化(digits)を仮定した。
(実施例5)単語の表層形(surface form)に加えて、接頭辞および接尾辞の正規化と、単語クラスの正規化と、数字の正規化とを総合した正規化(all token types)を仮定した。
<Experiment on word normalization>
As an experiment on word normalization, we conducted an experiment comparing features that assumed the surface form of words and features assumed to normalize words.
(Example 1) Only the surface form of the word was assumed.
Example 2 Prefix / suffix normalization was assumed in addition to the word surface form.
Example 3 In addition to the surface form of words, word class normalization was assumed.
Example 4 In addition to the surface form of words, digit normalization was assumed.
(Example 5) In addition to the surface form of words, normalization of prefix and suffix, normalization of word classes, and normalization of numbers (all token types) Assumed.
実施例1〜実施例5に関する共通の実験条件は以下の通りである。
素性重み学習手段221は、オンラインマージン最大化学習において繰り返し回数を、50回とした(N=50)。
各学習サンプルごとに、仮説探索手段244(デコーダ)は、1000-bestを出力し、そこから、上位10の翻訳および10の正解データを抽出した。
ロス関数としては、BLEUを用い、BLEUとNISTの両方で評価した。
この場合の実験結果を表10に示す。
Common experimental conditions for Examples 1 to 5 are as follows.
The feature
For each learning sample, the hypothesis searching means 244 (decoder) outputs 1000-best, from which the top 10 translations and 10 correct answer data are extracted.
As a loss function, BLEU was used and evaluated by both BLEU and NIST.
Table 10 shows the experimental results in this case.
実施例1と実施例2とを比較すると、MT2003評価セット(2003(dev)と表記)に対しては、実施例2は、実施例1に比べて性能が大幅に向上したが、MT2004(2004と表記)およびMT2005(2005と表記)に対しては、性能が低下した。そのため、実施例2は、過学習を起こしている。一方、実施例1と実施例3とを比較すると、実施例3は、過学習を起こさずに、実施例1に比べて性能が向上した。同様に、実施例4および実施例5も、過学習を起こさずに、実施例1に比べて性能が向上した。 Comparing Example 1 and Example 2, with respect to the MT2003 evaluation set (denoted as 2003 (dev)), Example 2 has significantly improved performance compared to Example 1, but MT2004 (2004 ) And MT2005 (2005), the performance was degraded. Therefore, Example 2 causes overlearning. On the other hand, when Example 1 was compared with Example 3, the performance of Example 3 was improved compared to Example 1 without causing overlearning. Similarly, the performance of Example 4 and Example 5 was improved as compared to Example 1 without overlearning.
<二値素性の組み合わせに関する実験>
実施例5の総合した正規化を仮定した素性を用いた上で、二値素性の組み合わせを比較する実験を行った。
(実施例6)単語ペア素性(word pairs)のみを利用した。
(実施例7)実施例6の素性(word pairs)に加えて、翻訳先言語bigram素性(target bigram)を利用した。
(実施例8)実施例7の素性(word pairs、target bigram)に加えて、翻訳先言語挿入素性(insertion)を利用した。
(実施例9)実施例8の素性(word pairs、target bigram、insertion)に加えて、単語ベースの階層的素性(hierarchical)を利用した。
この場合の実験結果を表11に示す。
<Experiment regarding combinations of binary features>
Experiments were performed to compare combinations of binary features after using the features of Example 5 assuming total normalization.
Example 6 Only word pair features were used.
(Example 7) In addition to the feature (word pairs) of Example 6, the translated language bigram feature (target bigram) was used.
(Example 8) In addition to the features of Example 7 (word pairs, target bigram), the translation language insertion feature (insertion) was used.
Example 9 In addition to the features of Example 8 (word pairs, target bigram, insertion), word-based hierarchical features were used.
Table 11 shows the experimental results in this case.
実施例6と実施例7とを比較すると、実施例7は、過学習を起こしている。一方、実施例6と実施例8とを比較すると、実施例8は、過学習を起こさずに、実施例6に比べて性能が向上した。同様に、実施例9も、過学習を起こさずに、実施例6に比べて性能が向上した。 When Example 6 and Example 7 are compared, Example 7 has caused overlearning. On the other hand, when Example 6 and Example 8 are compared, the performance of Example 8 is improved compared to Example 6 without overlearning. Similarly, the performance of Example 9 also improved compared to Example 6 without causing overlearning.
<二値素性の有無に関する実験>
実施例9のように4種類の素性を用いたもの(二値素性あり)と、二値素性を用いないもの(二値素性なし)とを比較する実験を行った。具体的には、MT2003評価セット、MT2004およびMT2005を合わせたセット(総計セット)について、2分割交差検定法(2-fold cross validation)を用いた。すなわち、総計セットの半分を素性重み学習用コーパスに用いると共に、残り半分をテストセットとして用いて、これを交互に行って平均を求めた。ここでは、4種類の素性を用いたものを実施例10(online)とする。また、二値素性を用いない比較例(baseline)として、非特許文献4に記載された従来の方法を用いた。この場合の実験結果を表12に示す。表12に示すように、実施例10は、比較例よりも性能が大幅に向上した。
<Experiment regarding existence of binary features>
As in Example 9, an experiment was performed comparing four types of features (with binary features) with no binary features (no binary features). Specifically, a two-fold cross validation method was used for a set combining MT2003 evaluation set, MT2004 and MT2005 (total set). That is, half of the total set was used for the feature weight learning corpus and the other half was used as a test set, and this was alternately performed to obtain an average. Here, Example 10 (online) uses four types of features. Moreover, the conventional method described in the
1 生成規則作成装置
2 機械翻訳装置
10 入出力手段
11 記憶手段
111 単語対応
112 フレーズペア
113 ルール
114 ルールテーブル
115 言語モデル
116 翻訳先言語bigram素性
117 単語ペア素性
118 翻訳先言語挿入素性
119 階層的素性
12 制御手段
121 モード判定手段
122 言語モデル学習手段
123 単語対応作成手段
124 言語間対応素性抽出手段
125 フレーズペア抽出手段
126 生成規則作成手段
127 翻訳スコア計算手段
128 階層的素性抽出手段
131 単語ペア素性抽出手段
132 翻訳先言語挿入素性抽出手段
140 翻訳先言語コーパス
150 対訳コーパス
20 入出力手段
21 記憶手段
211 素性重み
212 単語情報
213 単語範囲付きルール
214 部分仮説
215 部分仮説スコア
22 制御手段
221 素性重み学習手段
222 単語情報抽出手段
241 生成規則探索手段
242 単語範囲付き生成規則生成手段
243 部分仮説スコア算出手段
244 仮説探索手段
250 素性重み学習用対訳コーパス
DESCRIPTION OF
Claims (4)
前記階層的素性と前記翻訳先言語挿入素性とのうちの少なくとも一方と前記翻訳モデルとを含む素性に対応した重みを、素性重み学習用対訳学習データに基づいて学習し、学習結果を素性重みとして記憶手段に格納する素性重み学習手段と、
前記階層的素性と前記翻訳先言語挿入素性とのうちの少なくとも一方と前記翻訳モデルとを要素として含む素性ベクトルと、前記素性重みを示す重みベクトルとの内積を、前記作成された部分仮説の評価値を示す部分仮説スコアとして算出する部分仮説スコア算出手段と、
前記入力された翻訳元言語の単語列に対して適用可能な所定の部分仮説を探索し、前記所定の部分仮説を拡張することによって最終的に生成された部分仮説のうちで、前記部分仮説スコアが最大となる部分仮説を、前記仮説として探索する仮説探索手段とを備えることを特徴とする機械翻訳装置。 A hierarchical feature in which a binary feature is defined for each word pair defined from upper and lower relations on a syntax tree constituting a word string of a translation source language or a word string of a translation destination language in parallel translation learning data, and the translation A word inserted in the word string of the translation target language when the word corresponding to the word constituting the word string of the translation target language in the learning data is not included in the word string of the translation source language, and the translation source language And at least one of the translation target language insertion features represented by one of the binary values and the other of the binary values for each word pair included in the word sequence, Translation corresponding to the input, which is the translation result of the input source language word string, using a translation model that defines the likelihood of correspondence between the source language word string and the target language word string Predetermined partial hypotheses as the target language word string A machine translation apparatus for outputting hypothesis is finally generated partial hypotheses by expanding the predetermined partial hypotheses are sequentially create a longer new partial hypotheses than Rasore,
A weight corresponding to a feature including at least one of the hierarchical feature and the translation target language insertion feature and the translation model is learned based on feature weight learning parallel translation learning data, and the learning result is used as a feature weight. Feature weight learning means for storing in the storage means;
Evaluation of the created partial hypothesis is an inner product of a feature vector including at least one of the hierarchical feature and the translation target language insertion feature and the translation model as elements, and a weight vector indicating the feature weight. A partial hypothesis score calculating means for calculating a partial hypothesis score indicating a value;
Among the partial hypotheses finally generated by searching for a predetermined partial hypothesis applicable to the input word string of the source language and extending the predetermined partial hypothesis, the partial hypothesis score A machine translation device comprising: a hypothesis search means for searching for a partial hypothesis having a maximum value as the hypothesis.
素性重み学習手段によって、前記階層的素性と前記翻訳先言語挿入素性とのうちの少なくとも一方と前記翻訳モデルとを含む素性に対応した重みを、素性重み学習用対訳学習データに基づいて学習し、学習結果を素性重みとして記憶手段に格納する素性重み学習ステップと、
部分仮説スコア算出手段によって、前記階層的素性と前記翻訳先言語挿入素性とのうちの少なくとも一方と前記翻訳モデルとを要素として含む素性ベクトルと、前記素性重みを示す重みベクトルとの内積を、前記作成された部分仮説の評価値を示す部分仮説スコアとして算出する部分仮説スコア算出ステップと、
仮説探索手段によって、前記入力された翻訳元言語の単語列に対して適用可能な所定の部分仮説を探索し、前記所定の部分仮説を拡張することによって最終的に生成された部分仮説のうちで、前記部分仮説スコアが最大となる部分仮説を、前記仮説として探索する仮説探索ステップとを有することを特徴とする機械翻訳方法。 A hierarchical feature in which a binary feature is defined for each word pair defined from upper and lower relations on a syntax tree constituting a word string of a translation source language or a word string of a translation destination language in parallel translation learning data, and the translation A word inserted in the word string of the translation target language when the word corresponding to the word constituting the word string of the translation target language in the learning data is not included in the word string of the translation source language, and the translation source language And at least one of the translation target language insertion features represented by one of the binary values and the other of the binary values for each word pair included in the word sequence, Translation corresponding to the input, which is the translation result of the input source language word string, using a translation model that defines the likelihood of correspondence between the source language word string and the target language word string Predetermined partial hypotheses as the target language word string A machine translation method of machine translation apparatus which outputs the hypothesis is finally generated partial hypotheses by sequentially creating a longer new partial hypotheses expanding the predetermined partial hypotheses than Rasore,
A feature weight learning unit learns a weight corresponding to a feature including at least one of the hierarchical feature and the translation target language insertion feature and the translation model based on feature weight learning parallel translation learning data, A feature weight learning step of storing a learning result as a feature weight in a storage means;
A partial hypothesis score calculating means calculates an inner product of a feature vector including at least one of the hierarchical feature and the translation target language insertion feature and the translation model as an element, and a weight vector indicating the feature weight, A partial hypothesis score calculating step for calculating as a partial hypothesis score indicating an evaluation value of the created partial hypothesis;
Of the partial hypotheses finally generated by searching for a predetermined partial hypothesis applicable to the input source language word string by the hypothesis search means and expanding the predetermined partial hypothesis And a hypothesis search step of searching for a partial hypothesis having the maximum partial hypothesis score as the hypothesis.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007162897A JP5180522B2 (en) | 2007-06-20 | 2007-06-20 | Machine translation apparatus, machine translation method, program thereof, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007162897A JP5180522B2 (en) | 2007-06-20 | 2007-06-20 | Machine translation apparatus, machine translation method, program thereof, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009003642A JP2009003642A (en) | 2009-01-08 |
JP5180522B2 true JP5180522B2 (en) | 2013-04-10 |
Family
ID=40319975
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007162897A Active JP5180522B2 (en) | 2007-06-20 | 2007-06-20 | Machine translation apparatus, machine translation method, program thereof, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5180522B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5544518B2 (en) * | 2010-05-14 | 2014-07-09 | 日本電信電話株式会社 | Machine translation apparatus, machine translation method, and program thereof |
JP5650440B2 (en) * | 2010-05-21 | 2015-01-07 | 日本電信電話株式会社 | Feature weight learning device, N-best scoring device, N-best reranking device, method and program thereof |
JP2014235599A (en) * | 2013-06-03 | 2014-12-15 | 独立行政法人情報通信研究機構 | Translation device, learning device, translation method, and program |
JP6558696B2 (en) * | 2015-10-30 | 2019-08-14 | 日本電信電話株式会社 | Word association device, machine translation learning device, method, and program |
CN110895660B (en) * | 2018-08-23 | 2024-05-17 | 澳门大学 | Sentence processing method and device based on syntactic dependency dynamic coding |
-
2007
- 2007-06-20 JP JP2007162897A patent/JP5180522B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009003642A (en) | 2009-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9176936B2 (en) | Transliteration pair matching | |
JP4961755B2 (en) | Word alignment device, word alignment method, word alignment program | |
DeNero et al. | Inducing sentence structure from parallel corpora for reordering | |
US20090326916A1 (en) | Unsupervised chinese word segmentation for statistical machine translation | |
CN105068997B (en) | The construction method and device of parallel corpora | |
KR101544690B1 (en) | Word division device, word division method, and word division program | |
JP6817556B2 (en) | Similar sentence generation method, similar sentence generation program, similar sentence generator and similar sentence generation system | |
JP5180522B2 (en) | Machine translation apparatus, machine translation method, program thereof, and recording medium | |
Xu et al. | Do we need Chinese word segmentation for statistical machine translation? | |
KR20230009564A (en) | Learning data correction method and apparatus thereof using ensemble score | |
CN109033066A (en) | A kind of abstract forming method and device | |
JP6145059B2 (en) | Model learning device, morphological analysis device, and method | |
KR20040086775A (en) | System and method for word analysis | |
CN109815497B (en) | Character attribute extraction method based on syntactic dependency | |
JP5552101B2 (en) | Rearrangement rule learning device, method, and program, and translation device, method, and program | |
JP5565827B2 (en) | A sentence separator training device for language independent word segmentation for statistical machine translation, a computer program therefor and a computer readable medium. | |
JP4829702B2 (en) | Machine translation device, machine translation method, generation rule creation device, generation rule creation method, and program and recording medium thereof | |
JP2009157888A (en) | Transliteration model generation device, transliteration apparatus, and computer program therefor | |
JP5544518B2 (en) | Machine translation apparatus, machine translation method, and program thereof | |
JP4113204B2 (en) | Machine translation apparatus, method and program thereof | |
JP5734917B2 (en) | Rearrangement model learning apparatus, method, and program, and translation apparatus, method, and program | |
JP6590723B2 (en) | Word rearrangement learning method, word rearrangement method, apparatus, and program | |
Wegari et al. | Parts of speech tagging for Afaan Oromo | |
Kirov et al. | Context-aware Transliteration of Romanized South Asian Languages | |
JP6613666B2 (en) | Word rearrangement learning device, word rearrangement device, method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090715 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110810 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120724 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5180522 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |