JP4993762B2 - 用例ベースの機械翻訳システム - Google Patents

用例ベースの機械翻訳システム Download PDF

Info

Publication number
JP4993762B2
JP4993762B2 JP2008161014A JP2008161014A JP4993762B2 JP 4993762 B2 JP4993762 B2 JP 4993762B2 JP 2008161014 A JP2008161014 A JP 2008161014A JP 2008161014 A JP2008161014 A JP 2008161014A JP 4993762 B2 JP4993762 B2 JP 4993762B2
Authority
JP
Japan
Prior art keywords
sentence
alignment
word
input
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008161014A
Other languages
English (en)
Other versions
JP2008262587A (ja
Inventor
ミン シュウ
ジンシャ ファン
チャンニン(トム) ファン
ウェイ ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2008262587A publication Critical patent/JP2008262587A/ja
Application granted granted Critical
Publication of JP4993762B2 publication Critical patent/JP4993762B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/42Data-driven translation
    • G06F40/45Example-based machine translation; Alignment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Description

本発明は機械翻訳に関する。より詳細には、本発明は、用例ベースの機械翻訳システムまたは翻訳メモリシステムに関する。
機械翻訳とは、ソース言語の入力センテンス(またはセンテンスフラグメント)が機械翻訳システムに供給されるプロセスである。機械翻訳システムは、ソース言語の入力の1つまたは複数の翻訳を、ターゲット言語センテンスまたはセンテンスフラグメントとして出力する。用例ベースの機械翻訳(EBMT)システムを始めとして、何種類かの機械翻訳システムがある。
EBMTシステムは、一般に、翻訳の実行において、2種類の基本的な動作を行う。これらの動作には、マッチングおよびトランスファーが含まれる。マッチング動作は、ソース言語の入力ストリングに「最も近いマッチ」を用例データベースから検索する。トランスファー動作は、そのマッチした用例に対する翻訳を生成する。特に、トランスファー動作は、実際には、マッチした2言語の用例の間のアライメントを行うことによって、入力ストリングの翻訳を得るプロセスである。本明細書で使用している「アライメント」とは、ソース言語センテンス中の翻訳の中のフラグメントに、ターゲット言語センテンス(または用例)中のどのフラグメントが対応しているかを決定することを意味する。
EBMTシステムによっては、解析木や論理形式などの構文構造に基づいて類似マッチングを行うものもある。もちろん、これらのシステムでは、構文構造を得るために入力を構文解析する必要がある。このタイプのマッチング方法は、用例を適切に利用し、用例ベースの適用範囲を広げることができる。しかし、これらのタイプのシステムは、ソフトウェアのローカライゼーションなど、特定の分野においては問題が生じる。ソフトウェアのローカライゼーションにおいては、ソフトウェアのドキュメンテーションおよびコードが、様々な言語にローカライズ、すなわち翻訳される。ソフトウェアのマニュアル中で使用される用語は、浅い構文情報(単語セグメンテーション、品詞タグなど)でさえ誤っていることが多いため、従来のEBMTシステムの構文解析の正確度がきわめて低くなる。
また、このようなシステムは、用例ベースのメンテナンスコストが高い。これは、用例ベースの更新が必要になった場合にはいつでも、用例ベースに格納されている全ての用例の構文解析および訂正を、人が行わなければならないことによる。
その他のEBMTシステムおよび翻訳メモリシステムは、ストリングマッチングを利用している。これらのタイプのシステムでは、一般に、用例のマッチングが、通常、入力フラグメントと用例の間の編集距離(edit distance)である類似メトリック(similarity metric)を使用して行われる。しかし、編集距離メトリック(edit distance metric)は、完全なセンテンスまたは完全なセンテンスセグメントがマッチした場合にのみ、良好なマッチング正確度が提供される。
また、これまで、様々なアライメント技術が、特にフレーズのアライメントのために、使用されてきた。これまでのアライメント技術のほとんどを、異なる2種類のカテゴリの一方に分類することができる。構造方法は、パーサの助けを借りて、ソース言語およびターゲット言語のセンテンスまたはフラグメントの間の対応部分を見つける。この場合も、ソース言語とターゲット言語のフラグメントを構文解析し、それによって対になった解析木を得る。次いで、その対の解析木の構造上の制約に基づいて、構造的な対応部分が見つけられる。上述のように、パーサは、技術的分野などの特定の分野においては、困難な問題を呈する。
文法のないアライメントシステムにおいては、パーサを使用することによってではなく、共起性情報および幾何学的情報を利用することによって対応部分が見つけられる。共起性情報は、コーパス中に、ソース言語のフラグメントとターゲット言語のフラグメントの共起性があるかどうかを調べることによって得られる。幾何学的情報は、アライメントのスペースを制約するために使用する。捜し出された対応部分には文法がない。単語の対応部分が抽出されると、それらの対応部分は用例ベースに格納される。これは、ソース言語センテンスがあると、それに対応するターゲット言語センテンス、および単語対応情報が用例ベースに格納されることを意味する。翻訳の間、入力ストリングにマッチするフラグメントがその用例のソース言語側にあった場合にのみ、用例ベース中の用例が活性化される。
Brown et al., "The Mathematics of Statistical Machine Translation: Parameter Estimation", Computational Linguistics, 19(2), pp. 263-311 (1993) Ker et al., "A Class-based Approach to Word Alignment", Computational Linguistics Vol. 23, Num. 2, pp. 313-343 (1997) Brown, P.F., "A Statistical Approach to Language Translation", COLING-88, Vol. 1, pp. 71-76 (1998) Pascale, "A Pattern Matching Method for Finding Noun and Proper Noun Translation From Noisy Parallel Corpora", Computational Linguistics, 21(4), pp. 226-233(1995)
本発明は、ソース言語入力のフラグメントを、用例ベース中の用例の諸部分にマッチさせることによって、機械翻訳を行う。全ての該当する用例を用例ベースにおいて識別する。この場合、各用例内で、ターゲット言語センテンスのフラグメントを、ソース言語センテンスのフラグメントにアラインさせる。次いで、翻訳コンポーネントが、用例のアラインさせたターゲット言語フレーズを、ソース言語入力中のマッチしたフラグメントと置き換える。
一実施形態では、位置マークされた用語出現頻度/逆ドキュメント頻度(position-marked term frequency/inverted document frequency)インデックススコアに基づいて、用例のマッチングを行う。用例がカバーするソース言語入力中のブロックについてTF/IDF重みを計算することにより、最良なブロック組合せを見つける。ブロック組合せ中の各ブロックの最良な用例も、TF/IDF重みを計算することによって見つける。
一実施形態では、識別された該当用例が、アライメントコンポーネントに供給される。アライメントコンポーネントは、最初に、単語のアライメントを行って、考慮中の用例対のソース言語センテンスとターゲット言語センテンスの間に、アライメントアンカポイントを得る。次いで、ソース言語センテンスとターゲット言語センテンスの間の全ての連続アライメントが、不連続アライメントとして生成される。各アライメントについてスコアが計算され、最良のものがその翻訳として選択される。
本発明の別の実施形態によれば、翻訳出力について信頼メトリック(confidence metric)が計算される。信頼メトリックを使って、翻訳出力のうちユーザの留意が必要な部分をハイライト表示する。これは、修正の可能性があるエリアに、ユーザの注意を向ける。
本発明は、機械翻訳システムに関する。しかし、本発明をより詳細に説明する前に、本発明を使用できる環境の一実施形態について説明する。
図1は、本発明を実施することができる、適切なコンピューティングシステム環境100の例を示す。コンピューティングシステム環境100は、適切なコンピューティング環境の一例であって、本発明の使用または機能の範囲に関していかなる限定も示唆するものではなない。また、コンピューティング環境100は、その例示的動作環境100中に例示してあるコンポーネントのいずれか1つまたは組合せに対して何らか依存するもの、あるいはそれらに関する要件を有するものとして解釈すべきものでもない。
本発明は、多数のその他の汎用または専用コンピューティングシステムの環境あるいは構成で、動作可能である。本発明で使用するのに適した周知のコンピューティングシステム、環境、および/または構成には、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサに基づくシステム、セットトップボックス、プログラム可能なコンシューマ電子機器、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ、上記システムまたはデバイスのいずれかを含む分散コンピューティング環境などが非限定的に含まれる。
本発明を、プログラムモジュールなど、コンピュータによって実行されるコンピュータ実行可能命令の一般的な状況において説明することができる。一般に、プログラムモジュールには、特定のタスクを実行し、または特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれる。本発明はまた、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される、分散コンピューティング環境においても実施することができる。分散コンピューティング環境においては、プログラムモジュールを、メモリストレージデバイスを含めて、ローカルとリモート両方のコンピュータストレージ媒体に配置することができる。
図1を参照すると、本発明を実施するための例示的システムは、コンピュータ110の形で汎用コンピューティングデバイスを含む。コンピュータ110のコンポーネントには、処理装置120、システムメモリ130、および、システムメモリを始めとする様々なシステムコンポーネントを処理装置120に結合するシステムバス121を非限定的に含めることができる。システムバス121は、様々なバスアーキテクチャのいずれかを使った、メモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含め、いくつかのタイプのバス構造のうちのいずれかであってよい。このようなアーキテクチャには、例として、業界標準アーキテクチャ(ISA)バス、マイクロチャネルアーキテクチャ(MCA)バス、拡張ISA(EISA)バス、ビデオエレクトロニクス標準委員会(Video Electronics Standards Association)(VESA)ローカルバス、および、メザニンバスとしても知られる周辺コンポーネント相互接続(PIC)バスが非限定的に含まれる。
コンピュータ110は、一般に、様々なコンピュータ可読媒体を含む。コンピュータ可読媒体は、コンピュータ110がアクセス可能ないずれかの利用可能な媒体であってよく、これには揮発性媒体および不揮発性媒体の、リムーバブルおよび非リムーバブル媒体を含む。例として、コンピュータ可読媒体は、コンピュータストレージ媒体および通信媒体を非限定的に含むことができる。コンピュータストレージ媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、またはその他のデータなどの情報を記憶するためのいずれかの方法または技術で実装された、揮発性および不揮発性の、リムーバブルおよび非リムーバブル媒体を含む。コンピュータストレージ媒体には、RAM、ROM、EEPROM、フラッシュメモリまたはその他のメモリ技術、CD−ROM、ディジタル多用途ディスク(DVD)またはその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたはその他の磁気ストレージデバイス、あるいは、所望の情報を記憶するために使用でき、コンピュータ110がアクセス可能ないずれかのその他の媒体が非限定的に含まれる。通信媒体は、一般に、コンピュータ可読命令、データ構造、プログラムモジュール、またはその他のデータを、搬送波またはその他の転送メカニズムなどの変調データ信号中に組み込み、いずれかの情報送達媒体を含む。「変調データ信号」という用語は、その特性の1つまたは複数が、その信号中の情報を符号化するように設定または変更された信号を意味する。通信媒体には、例として、有線ネットワークまたは直接有線接続などの有線媒体、および、音響、FR、赤外線およびその他のワイアレス媒体などのワイアレス媒体が非限定的に含まれる。上記のいずれかの組合せも、コンピュータ可読媒体の範囲内に含まれるものとする。
システムメモリ130は、読出し専用メモリ(ROM)131およびランダムアクセスメモリ(RAM)132などの、揮発性および/または不揮発性メモリの形のコンピュータストレージ媒体を含む。起動時などに、コンピュータ110内のエレメント間の情報の転送を助ける基本的なルーチンを含む、基本入出力システム133(BIOS)は、一般にROM131に記憶されている。RAM132は、一般に、処理装置120が即時にアクセスすることが可能であり、かつ/または処理装置120が動作させている、データおよび/またはプログラムモジュールを含む。図1には、例として、オペレーティングシステム134、アプリケーションプログラム135、その他のプログラムモジュール136、およびプログラムデータ137を非限定的に示してある。
コンピュータ110は、その他のリムーバブル/非リムーバブルの揮発性/不揮発性コンピュータストレージ媒体も含むことがある。例にすぎないが、図1には、非リムーバブルの不揮発性磁気媒体からの読出し、またはそれへの書込みを行うハードディスクドライブ141、リムーバブル不揮発性磁気ディスク152からの読出し、またはそれへの書込みを行う磁気ディスクドライブ151、およびCD−ROMまたはその他の光媒体など、リムーバブル不揮発性光ディスク156からの読出し、またはそれへの書込みを行う光ディスクドライブ155を示してある。例示的動作環境で使用できる、その他のリムーバブル/非リムーバブルの揮発性/不揮発性コンピュータストレージ媒体には、磁気テープカセット、フラッシュメモリカード、ディジタル多用途ディスク、ディジタルビデオテープ、ソリッドステートRAM、ソリッドステートROMなどが非限定的に含まれる。ハードディスクドライブ141は、一般に、インタフェース140などの非リムーバブルメモリインタフェースを介して、システムバス121に接続される。磁気ディスクドライブ151および光ディスクドライブ155は、一般に、インタフェース150などのリムーバブルメモリインタフェースによって、システムバス121に接続される。
上記に説明し、図1に示してある、ドライブおよびそれらに関連するコンピュータストレージ媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、およびその他のデータの記憶を、コンピュータ110に提供する。図1では、例えば、ハードディスクドライブ141を、オペレーティングシステム144、アプリケーションプログラム145、その他のプログラムモジュール146、およびプログラムデータ147を記憶しているものとして示してある。これらのコンポーネントが、オペレーティングシステム134、アプリケーションプログラム135、その他のプログラムモジュール136、およびプログラムデータ137と同じであってもよいし、あるいは異なってもよいことに注意されたい。ここでは、少なくとも異なるコピーであることを示すために、オペレーティングシステム144、アプリケーションプログラム145、その他のプログラムモジュール146、およびプログラムデータ147に異なる番号を付してある。
ユーザは、キーボード162、マイクロフォン163、および、マウス、トラックボールまたはタッチパッドなどのポインティングデバイス161など、入力装置を介して、コマンドおよび情報をコンピュータ110に入力することができる。その他の入力装置(図示せず)には、ジョイスティック、ゲームパッド、サテライトディッシュ、スキャナなどを含めることができる。これらおよびその他の入力装置は、システムバスに結合されているユーザ入力インタフェース160を介して処理装置120に接続されることが多いが、パラレルポート、ゲームポート、またはユニバーサルシリアルバス(USB)など、その他のインタフェースおよびバス構造によって接続することができる。モニタ191またはその他のタイプの表示デバイスも、ビデオインタフェース190などのインタフェースを介して、システムバス121に接続される。モニタに加えて、コンピュータは、スピーカ197およびプリンタ196など、その他の周辺出力装置を含む場合もある。それらは、出力周辺インタフェース195を介して接続することができる。
コンピュータ110は、リモートコンピュータ180など、1台または複数のリモートコンピュータへの論理接続を使った、ネットワーク化された環境で動作することができる。リモートコンピュータ180は、パーソナルコンピュータ、ハンドヘルドデバイス、サーバ、ルータ、ネットワークPC、ピアデバイス、またはその他の一般的なネットワークノードであってよく、一般に、コンピュータ110に関して上記に説明したエレメントの多くまたは全てを含む。図1に示す論理接続は、ローカルエリアネットワーク(LAN)171および広域ネットワーク(WAN)173を含むが、その他のネットワークを含む場合もある。このようなネットワーキング環境は、オフィス、企業規模のコンピュータネットワーク、イントラネットおよびインターネットではよく見られる。
コンピュータ110をLANネットワーキング環境で使用する場合は、それを、ネットワークインタフェースまたはアダプタ170を介してLAN171に接続する。WANネットワーキング環境で使用する場合、コンピュータ110は、一般に、モデム172、またはインターネットなどのWAN173を介して通信を確立するためのその他の手段を含む。モデム172は、内蔵でも外付けでもよく、ユーザ入力インタフェース160またはその他の適切なメカニズムを介して、システムバス121に接続することができる。ネットワーク化された環境では、コンピュータ110に関連して説明したプログラムモジュール、またはその一部をリモートメモリストレージデバイス中に記憶することができる。図1には、非限定的な例として、リモートアプリケーションプログラム185をリモートコンピュータ180に存在するものとして図示してある。図示のネットワーク接続は例示的なものであり、コンピュータ間の通信リンクを確立するその他の手段も使用できることを理解されよう。
本発明を、図1を参照して説明したコンピュータシステムなどの、コンピュータシステム上で実施できることに留意されたい。しかし、本発明は、サーバ、メッセージ処理専用のコンピュータ、または、本発明の異なる部分がその異なる部分において実施される、分散コンピューティングシステム上で実施することができる。
図2は、本発明の一実施形態による翻訳エンジン200の構成図である。翻訳エンジン200は、ソース言語の入力センテンス(またはセンテンスフラグメント)をソース言語入力202として受け取る。次いで、翻訳エンジン200は、用例ベース204および用語ベース206にアクセスし、ターゲット言語出力208を生成する。一例では、ターゲット言語出力208は、ソース言語入力202のターゲット言語への翻訳である。
用例ベース204は、センテンスをアラインさせた二ヶ国語用例コーパス212に基づいて用例ベース生成器210から生成された、単語をアラインさせたターゲット言語およびソース言語の用例のデータベースである。一例では、アラインさせた二ヶ国語用例コーパス212は、対になったセンテンス(ソース言語センテンスと、それらのセンテンスをターゲット言語で翻訳したセンテンスを整列させたもの、または対にしたもの)を含む。用例ベース生成器210は、位置マークされた用語出現頻度/逆ドキュメント頻度(P−TF/IDF)インデックス付けと呼ばれるものでインデックス付けされた、用例ベース204を生成する。
TF/IDFは、十分に発達した情報検索技術であり、効率的なドキュメント検索を可能にするために使用される単語のインデックス付けの一種である。インデックスファイル中の各用語(見出し語、または品詞(POS)タグ付き用語など)について、TF/IDF重み(またはスコア)が計算される。TF/IDF重みが高ければ高いほど、用語の重要性は増す。TF/IDF重みは、以下の式によって求められる。
Figure 0004993762
上式で、N=用例ベース(EB)中の用例の数であり、
=EB中の用語iの総出現数であり、
=用例jの総用語数であり、
ij=用例j中の用語iの総出現数であり、
TFij=用例j中の、用語iの正規化された頻度であり、
TFIDFij=用例j中の、用語iのTFIDF重みである。
単語のインデックスは効率的な用例検索を可能にし、また、センテンスの類似の計算において考慮すべき要因を反映すると考えられるため、本発明ではこのようなシステムを利用している。このような要因には、各用例中のマッチした単語の数(マッチした単語が多いほど、用例の重みは高くなる)、用例中の異なる単語の異なる重要性(用語の頻度が高いほど、用語の重みは低くなる)、所与の用例の長さ(用例の長さが長いほど、用例の重みは低くなる)、および用例中の余分な、またはマッチしない単語の数(余分な、またはマッチしない単語が多いほど、用例の重みは少なくなる)が含まれる。
入力センテンスに含まれている各用語と、それにマッチする用例のマッチング情報を保持するために、従来のTF/IDF技術を、位置マークされたTF/IDFフォーマットに拡張してある。これは、用語の重みだけでなく、各用例中の用語の位置も反映する。表1は、用語「anti−virus tool」および「type of」の例示的なP−TF/IDFインデックスファイルを示す。
Figure 0004993762
表1に示すように、検索速度を上げるために、本発明の一実施形態では、単一用語によるインデックス付けの代わりに複用語によるインデックス付けを使用している。表1において、最初の列は、インデックスとして記載された複用語からなる単位を示している。2番目の列は、用例ベース中のその複用語の平均TF/IDF重みを示している。3番目の列は、関連する用例のインデックス番号、用例中のその複用語の重み、および用例センテンス中のその複用語の位置を示す。たとえば、複用語「anti−virus tool」の平均TF/IDF重みは0.33である。それを、インデックス番号102454などで識別される用例の中に見つけることができる。それが見つかる用例センテンスにおけるその特定の複用語の重みは、0.45であり、用例センテンスにおけるその複用語の位置は、位置番号2である。複用語、「type of」は、用例番号100044中で、位置2および12において2度見つけることができる。それは、用例100074中の位置7などにも見つけることができる。このように、用例ベース生成器210は、表1に示すようにインデックス付けされた用例を生成する、いずれかの周知の用例ベース生成器であってよい。一例では、生成器210は、TF/IDF重みを計算し(または、それらがすでに計算されている場合には、それらを単にインデックス付けし)、また、用例センテンスにおけるその複用語の位置を識別する。
用例ベース206は、用語ベース生成器214によって生成される。用語ベース生成器214はまた、二カ国語用例コーパス212にアクセスする。用語ベース生成器214は、単に、ソース言語およびターゲット言語の個々の用語の対応部分を生成するだけである。
次に、エンジン200の全体的な動作を、図2、およびエンジン200の全体的な動作の構成図である図3を参照しながら説明する。一例では、エンジン200は、前処理コンポーネント216、用例マッチングコンポーネント218、フレーズアライメントコンポーネント220、翻訳コンポーネント222、および後処理コンポーネント224を含む。
エンジン200は、まず、翻訳するソース言語の入力センテンス202を受け取る。これを、図3のブロック226で表す。次に、前処理コンポーネント216は、ソース言語入力202に対して前処理を行う。一例では、前処理コンポーネント216は、ソース言語入力202中の単語の語幹形式を識別する。もちろん、品詞のタグ付けの使用やその他の前処理技術など、その他の前処理も行うことができる。しかし、本発明は表層形式にも使用することができ、したがって、前処理が必要ない場合もある。いずれにしても、前処理を、図3のブロック228で表す。
前処理を行った後、用例マッチングコンポーネント218は、前処理を行ったソース言語入力を、用例ベース204中の用例に対してマッチさせる。コンポーネント218はまた、全ての候補単語シーケンス(またはブロック)を見つける。次いで、各ブロックの最良の用例である、最良のブロックの組合せが捜し出される。これを、図3のブロック230、232、および234で表す。これについては、以下に、図4および図5に関してより詳細に説明する。
各ブロックに該当する用例236を得て、フレーズアライメントコンポーネント220に供給する。次いで、対応するターゲット言語ブロックを捜し出し、ソース言語中のマッチしたフレーズを、その捜し出したターゲット言語の対応部分と置き換える。これを、図3のブロック235および238で表す。このようにして、ターゲット言語の対応部分を捜し出すことをフレーズアライメントコンポーネント220が行う。これについては、以下で、図6〜図10に関してより詳細に説明する。
ソース言語入力に、複用語マッチングおよびフレーズアライメントの段階で翻訳されなかったいくつかの用語が依然として残っている場合がある。したがって、翻訳コンポーネント222は、用語ベース206にアクセスして、まだ翻訳されていない用語の翻訳を得る。コンポーネント222はまた、アラインさせたソース言語のフレーズを、ターゲット言語の用例の関連する部分と置き換える。これを、図3のブロック240で表す。次いで、その結果が、後処理コンポーネント224に供給される。
後処理コンポーネント224は、図3のブロック242で表すように、翻訳結果について信頼測度を計算し、ブロック244で表すように、翻訳結果の、ユーザの注意を必要とする関連する部分をオプションでハイライト表示することができる。これは、計算されたが、それらに関連する信頼測度が低い関連用例中の翻訳出力に対して、ユーザの注意を向けさせるものである。したがって、一例として、ターゲット言語出力208は、関連エリアを示すようにハイライト表示された翻訳結果を含む。
図4は、用例マッチングコンポーネント218の動作をよりよく説明する流れ図である。まず、上述のP−TF/IDEインデックスにアクセスすることによって、用例ベースから全ての該当する用例を得る。これを、図4のブロック250で表す。これを行うために、用例マッチングコンポーネント218は、単に、入力センテンス中にも見つけられる複用語シーケンスを含む用例を捜し出すだけである。もちろん、P−TF/IDFインデックスにアクセスすることによって、複用語シーケンスを含む用例の識別子を容易に見つけることができる(例えば、表1の第3列で)。次いで、ブロック250において識別された該当する用例のそれぞれについて、選択した該当用例と入力センテンスの間でマッチするブロックを全て識別する。これを、ブロック252で表す。
図5は、「マッチしているブロック」の意味をよりよく示す。入力センテンスが7つの用語(用語1〜用語7)で構成されており、そのそれぞれが、この用例中の単語であると仮定する。また、入力センテンスが、複用語3〜4(入力センテンス中の用語3および4を含む)、複用語4〜5(入力センテンス中の用語4および5を含む)、複用語5〜6(入力センテンス中の用語5および6を含む)、および複用語6〜7(入力センテンス中の用語6および7を含む)として識別される、インデックスに記載された4つの複用語を含むと仮定する。次に、同じ複用語連続シーケンスが、ある用例(図5中の用例1など)中に出現すると仮定する。また、その複用語シーケンスが用例1中では連続していると仮定する。したがって、ソース言語入力センテンス中の複用語を結合して、単一ブロック(ブロック3〜7)にすることができる。
しかし、入力センテンス中のマッチしているブロックは、互いにオーバラップする可能性がある。例えば、用例2は、入力センテンス中でブロック3〜5としてブロック化することができる連続複用語シーケンスを含むことがわかる。用例3は、入力センテンス中でブロック5〜7としてブロック化することができる連続複用語シーケンスを含む。用例4は、入力センテンス中でブロック4〜5としてブロック化することができる連続複用語シーケンスを含み、用例5は、入力センテンス中でブロック6〜7としてブロック化することができる連続複用語シーケンスを含む。
したがって、いくつかの異なるブロック組合せを導出することができる。このようなブロック組合せは、ブロック3〜7、ブロック3〜5+6〜7、ブロック4〜5+ブロック6〜7、または単にブロック5〜7だけ等である。入力センテンスを、これらの異なる方法のいずれによってもブロック化することができ、しかも、依然として、翻訳入力センテンスの諸部分を翻訳するために、用例を見つけることができる。したがって、用例マッチングコンポーネント218は、各ブロック組合せのTF/IDF重みを計算することによって、入力センテンス中の最良の用語ブロック組合せを見つける。これを、図4のブロック254で表す。
本発明の一実施形態によれば、最良のブロック組合せの問題を、最短パス問題としてみることができる。したがって、動的計画法アルゴリズムを使用することができる。本発明の一実施形態によれば、各ブロック組合せに関連する「エッジの長さ」(またはパスの長さ)を、以下の式によって計算する。
Figure 0004993762
上式で、
i=入力センテンス中の「エッジ」(ブロック)インデックス番号であり、
m=「エッジ」iの開始点の単語インデックス番号であり、
n=「エッジ」iの終了点の単語インデックス番号であり、
k=「エッジ」iの各用語の単語インデックス番号であり、
TFIDF=EB中の用語kの平均TF/IDF重みであり、
EdgeLen=ブロックiの重みである。
したがって、識別された各ブロック組合せは、その重みが、上式に示すように計算される。したがって、入力センテンスの各ブロック組合せは、それらに関連する重みまたはパスの長さを有する。
次に、各ブロックに関連する用例が識別され、識別された各用例と入力センテンスの間の類似が、以下のように計算される。
Figure 0004993762
上式で、
K=用例jおよび入力センテンスの両方に含まれる共通の用語の総数であり、
TFIDFkj=用例j中の用語kのTF/IDF重みであり、
Similarity=用例jと入力センテンスの間でマッチする重みである。
各用例に関連するTFIDF重みを見つけるステップを、図4のブロック256で表す。
したがって、用例マッチングコンポーネント218は、入力センテンスを分割することによってできる、異なるブロック組合せのそれぞれに関連するスコアを計算し終わっている。コンポーネント218はまた、異なるブロック組合せ中で識別される、全てのブロックに関連する各用例についても、スコアを計算し終わっている。コンポーネント218は、次いで、用例のリストを、十分な類似スコア、または十分な類似スコアとブロック組合せスコアの組合せを有するものだけに絞ることができ、図2中の該当する用例236をフレーズアライメントコンポーネント220に供給する。
フレーズアライメントコンポーネント220が、実際はソースセンテンス(またはフラグメント)とターゲットセンテンス(またはフラグメント)を含むセンテンス(またはテキストフラグメント)の対である用例を、また、その用例中のソースセンテンスの、翻訳する入力センテンスに対してマッチした部分を指定する境界情報を、入力として受け付けることがわかるであろう。したがって、フレーズアライメントコンポーネント220のジョブは、所与の用例のターゲットセンテンス中の可能な翻訳部分を、同じ用例のソースセンテンス中のマッチしたフレーズまたは単語シーケンスにアラインさせることであり、また、最良のターゲットフラグメントを、そのソースセンテンスのマッチした部分の翻訳として、したがって、入力センテンスのマッチした部分(翻訳する入力センテンスと、用例のソースセンテンスの間でマッチした部分)の翻訳として選択することである。これを行うために、フレーズアライメントコンポーネント220は、フレーズアラインプロセスにおいて、まず、一連の単語アライメントをアンカとして生成する。次いで、コンポーネント220は、これらのアンカに基づき、用例内のソースセンテンスのマッチした部分について、同じ用例内のターゲットセンテンス中の対応するフレーズを見つけることを試みる。
図6は、本発明の一実施形態による、アンカを得るための単語アライメントプロセスをよりよく示す流れ図である。図6は、単語アライメントプロセスにおいては、考慮中の用例(ソース言語入力センテンス301およびターゲット言語センテンス300を含む)が、二カ国語辞書アライナ302として動作する第1のアライメントコンポーネントに入力されることを示す。アライナ302は、異なる言語の2つの単語を、どのようにして相手の言語に翻訳することができるかを記述する。これを行うための様々な方法がある。このタイプの翻訳信頼度を評価するためのいくつかのメトリックスには、翻訳確率(例えば、非特許文献1参照)、ダイス係数(例えば、非特許文献2参照)、相互情報(例えば、非特許文献3参照)、およびtスコア(例えば、非特許文献4参照)が含まれる。
したがって、二カ国語辞書アライナ302は、ソースセンテンスから用例のターゲットセンテンス300への直接の単語翻訳である、高信頼度の単一単語アンカポイントを設定する。これらは、後で、フレーズアライメントの間に使用する。
次に、用例のターゲットセンテンス300が非セグメント化言語(中国語など)である場合には、単語セグメンテーションを行う。これは、様々な周知の方法のいずれによっても行うことができ、本発明はいずれかの特定の単語セグメンテーション技術に限定されるわけではない。用例のターゲットセンテンス300の単語セグメンテーションを、図6のブロック304で表す。
次いで、拡張二カ国語辞書に基づくアライナ306を利用する。拡張二カ国語辞書に基づくアライナ306は、二カ国語辞書に基づいて計算された単語の類似を利用するだけでなく、ソースセンテンス中のある位置を、どのようにしてターゲットセンテンス中の別の位置にアラインさせることができるかを記述するための歪みモデルも使用する。二カ国語辞書アライナ302と同様に、利用することができる様々な、異なる歪みモデルがある。このようなモデルのいくつかとして、絶対的歪み(上述のBrownらの著による非特許文献などに記載)相対的オフセット(上述のBrownらの著による非特許文献などに記載)、隠れマルコフモデル(HMM)ベースのシステムおよび構造制約システム(同じく、上述のBrownらの著による非特許文献に記載)が挙げられる。
単語アライメントおよび歪みモデリングの後でも、いくつかの部分的なアライメントが存在する。したがって、一カ国語辞書にアクセスして、文字を単語に、また単語をフレーズにマージする。これを、図6のブロック308で表す。言い換えれば、二カ国語辞書が非常に大きくても、言語の基本的な複雑さのために、それがカバーする範囲は依然としてきわめて限定される。一カ国語辞書を使うことによって、いくつかの別個の単語(フレーズの一部であるため、分離すべきではない単語)を、フレーズとして識別することができる。したがって、フレーズのマージングを行う。
同様に、アラインしていない単語をアラインさせるために、いずれかの周知の統計的アライメントコンポーネントを使用することができる。これをブロック310で表す。このような統計的アライメント技術は周知であり、単に、統計的アライメントのスペースを制約するためのしきい値が提供されるだけである。
これらの項目をすべて考慮して、単語アライメントシステムが単語アライメントの結果312を出力する。
図6に示す実施形態では、単語アライメントメカニズムは、二カ国語辞書アライナ302、歪みアライナモデル306、フレーズマージングコンポーネント308、および統計的アライメントコンポーネント310からの翻訳情報を含むが、その他の情報ソースも同様に使用することができる。例えば、上述のtスコアを、コンテキスト情報として使用することができる。いずれの場合も、単語アライメントの結果312は、ソース言語センテンス301とターゲット言語センテンス300の間の高信頼アライメントを反映するアンカポイントを提供する。これらのアンカポイントは、フレーズアライメントの間に使用される。
図7は、本発明によるフレーズアライメントの一実施形態を示す流れ図である。フレーズアライメントコンポーネントは、用例の単語アライメントの結果312、および、用例マッチングコンポーネント218から生成された、用例のソースセンテンス中のマッチしたブロックの境界を識別する境界情報を入力として受け取る。
これらの入力に基づいて、フレーズアライメントコンポーネントは、ソース言語センテンス中のマッチしたブロックに対応する、全ての可能なターゲット言語の候補フラグメントを見つける。これを、図7のブロック350で表す。次に、フレーズアライメントコンポーネントは、識別された各候補フラグメントについてスコアを計算する。これをブロック352で表す。計算したスコアから、フレーズアライメントコンポーネントは、最良の候補、または所定の数の候補を翻訳出力として選択する。これを、図7のブロック354で表す。
次に、これらのステップを、より詳細に説明する。ステップ350で、全ての可能なターゲット言語候補フラグメントを見つける際、本発明はこのタスクを2つの部分に分ける。本発明は、全ての可能な連続する候補フラグメント、および全ての可能な不連続の候補フラグメントを見つける。図8および図9は、連続および不連続のフラグメントを示す。
連続するソース言語センテンスのフラグメントが、常に、連続するターゲット言語のフラグメントに対応するならば、フレーズアライメントのタスクは容易である。しかし、常にそうであるとは限らない。例えば、英語や中国などの言語では、図8に見られるケースであることが多い。図8は、単語(または単語シーケンス)A、B、C、Dを含むソース言語センテンスを示す。図8はまた、ターゲット言語の単語(または単語シーケンス)E、F、G、Hを含む、対応するターゲット言語の用例のセンテンス(またはその一部)も示す。ここでの説明のために、連続するフラグメントを以下のように定義する。
SFRAGをソース言語センテンス中のフラグメント、TFRAGをターゲット言語センテンス中のフラグメントと仮定する。SFRAG中のアラインさせた単語の全てが、TFRAG中の単語にアラインしており、しかもTFRAG中の単語とのみアラインしている場合、SFRAGはTFRAGに対して連続しており、またその反対が言える。そうでない場合には、不連続である。
例えば、図8において、ターゲット言語フラグメントE F G Hは、フラグメントA B Cに対して連続フラグメントではない。なぜならば、A B Cは、ソース言語センテンス中では連続しているが、A B Cに対応するE F Hが、ターゲット言語センテンス中で連続していないからである。その代わりに、ターゲット言語センテンス中の単語(または単語シーケンス)Gは、ソース言語センテンス中の単語(または単語シーケンス)Dに対応している。
これら難しい点に対処するために、本発明の一実施形態では、図9に示すように、異なる状況を2つの異なるカテゴリに分けている。図9は、単語(または単語シーケンス)A〜Fを含むソース言語センテンスと、単語(または単語シーケンス)G〜Nを含むターゲット言語センテンスの2つの場合を示す。最初の場合では、翻訳が求められている英語の言語フラグメント(C D)が、図示のターゲットの用例中の、連続的なターゲット言語フラグメント(フラグメントH I J)に対応していることがわかる。これを「連続している」という。
2番目の場合では、連続的なソース言語フラグメントA Bが、不連続のターゲット言語フラグメント(G H L M)に対応している。しかし、範囲外のターゲット言語単語(または単語シーケンス)I J Kも、連続的なソース言語フラグメントD Eに対応している。これを、不連続と呼ぶ。したがって、本発明は、全ての可能な連続フラグメント、次いで、全ての可能な不連続フラグメントを生成する。
図10は、本発明の一実施形態において、ソース言語センテンス中のフラグメントに対して、ターゲット言語センテンス中の全ての可能な連続フラグメントがどのように識別されるかを示す流れ図である。まず、ソース言語およびターゲット言語のセンテンス(または前処理したセンテンス)を、単語アライメントの結果312とともに受け取る。これを、図10のブロック370で表す。
アライメントが求められているソース言語フラグメントの境界情報も受け取る。現在の例の境界情報を、(a,b)で表す。ここで、aおよびbは、ソース言語センテンス中の単語の位置である。したがって、図9において、アライメントが求められているソース言語センテンス中のフラグメントがC Dであり、それぞれの文字が単語を表すとすれば、ソース言語センテンスにおいては、単語Cが単語位置3にあり、単語Dが単語位置4にあるため、境界情報は(3,4)になる。境界情報を受け取るステップを、図10のブロック372で表す。
アライメントコンポーネントは、次いで、単語アライメントの結果に基づいて、ソース言語センテンス中の境界a,bを有するフラグメントにアラインしている、ターゲット言語センテンス中の単語集合(SET)を見つける。これを、図10のブロック374で表す。
フレーズアライメントコンポーネントは、次いで、ターゲット言語センテンスのフラグメント(c,d)が、ソース言語フラグメントにアラインさせることができる、ターゲット言語センテンス中の最小限の可能アライメント(MinPA)になるように、ターゲットセンテンス中の(SET)中の単語の最も左側の単語位置(c)、および最も右側の単語位置(d)を見つける。これをブロック376で表す。次に、MinPAのターゲット言語フラグメントの境界を左右に拡張する。それぞれの方向において一貫性のない(inconsistent)アライメントアンカ(SL入力中の、a,bの外側の単語に対してアライメントを示すアンカ)にぶつかるまで拡張する。左右の境界を、それぞれ、左または右の境界(絶えず移動している)が一貫性のないアンカポイントにぶつかるまで、ターゲット言語センテンス内の1単語だけ移動させる。その点において、フラグメントの境界のその方向の拡張が終了する。したがって、新しいターゲット言語の境界は(e,f)になり、最大限の可能アライメント(MaxPA)を定義する。これをブロック378で表す。
次に、単語の集合APを得る。APは、MinPAとMaxPAの間の全ての可能な連続サブストリングであり、その全てがMinPAを含んでいなければならない。連続ということは、その連続するサブストリング内に単語の途切れが全く存在しないことを意味する。これをブロック380で表す。次いで、MinPAとMaxPAとAPを結合した集合を、ソース言語センテンス中の所与のフラグメントに対する、ターゲット言語中の全ての可能な連続アライメントとして返す。これをブロック382で表す。
次いで、(以下に、より詳細に説明するように、)全ての連続アライメントを採点する。アライメントの採点をブロック384で表す。全ての可能な連続アライメントを得るステップを、ソース言語入力中の各フラグメントについて実施する。
図11は、全ての可能な不連続アライメントをどのように見つけるかを示す流れ図である。この場合も、不連続アライメントとは、図8、および図9の2番目の例で見られるような、連続ソースフラグメントが不連続のターゲットフラグメントに対応するアライメントを意味する。
全ての可能な連続フラグメントを得るために、フレーズアライメントコンポーネントは、まず、図10のブロック370および372に関して説明したように、入力および境界を受け取る。次に、システムは、単語アライメントの結果に基づいて、ソース言語センテンス中の選択されたフラグメント(a,b)にアラインさせた、用例(またはターゲット)センテンス中の単語集合(SET1)を見つける。これは、図10のブロック374で表すステップと同じである。
次に、フレーズアライメントコンポーネントは、SET1の一部にアラインしているが、ソース言語センテンス中の(a,b)の範囲の外にある、ソースセンテンス中の単語集合(SET2)を見つける。これを、図11のブロック386で表す。
次に、SET2が、ソース言語センテンスにおいて連続しているかどうかを判断する。連続していない場合には、フレーズのアライメントは計算されない。これを、ブロック388および390で表す。しかし、SET2がソース言語センテンスにおいて連続している場合には(SET2中に単語の途切れが全くないことを意味する)、処理はブロック392に続く。
ブロック392で、フレーズアライメントコンポーネントは、ソース言語センテンス中のSET2を含む連続単語集合(SET3)を得る。次に、SET3の、全ての可能なアライメントを得る。これを、一例では、図10に関して説明したアルゴリズムを使って行う。SET3の全ての可能なアライメントを見つけるステップを、図11のブロック394で表す。
次いで、全てのアライメントを採点し、SET3の最良のアライメントSET4を選択する。これをブロック396で表す。
次いで、SET中の最も左側の位置(i)および最も右側の位置(j)を捜し出す。これをブロック398で表す。次いで、SET4をシーケンス(i,j)から取り除く。これをブロック400で表す。
次いで、単語シーケンス(i,j)からSET4を取り除いたものを、(a,b)のMinPAとして識別する。これをブロック402で表す。
次いで、図10のブロック378に関して説明したように、MinPAを拡張してMaxPAを得る。これを図11のブロック404で表す。
この場合も、APを、そのすべてがMinPAを含む、MinPAとMaxPAの間の全ての可能な連続サブストリングとして得る。これを、図11のブロック406で表す。次いで、ブロック408で表すように、MinPAとMaxPaとAPを結合したものを返す。次いで、ブロック410で表すように、返した可能な不連続アライメントのそれぞれを採点する。
本発明の一実施形態によれば、可能なアライメントのそれぞれに関連するスコアを以下の式によって表す。
重み= P (m|l) P (Δk|ml) P (Δj|ml) (6)
上式で、
m=SLフラグメントの長さであり、
l=TLフラグメントの長さであり、
k=SLセンテンス中の内容語の数であり、
j=SLセンテンス中の機能語の数であり、
Δj=|TLのj−SLのj|であり、
Δk=|TLのk−SLのk|である。
しかし、その他のスコアリング技術も、同様に使用することができる。
最後に、ソース言語の単語およびフレーズを、アラインさせたターゲット言語の単語およびフレーズと置き換えた後、翻訳出力のそれぞれについて信頼レベルを計算する。システム200中の翻訳コンポーネント222または後処理コンポーネント224が、これを行うことができる。いずれの場合も、一実施形態では、以下のように、翻訳信頼レベルが決定される。
ConL = cl×log (AlignCon×10) + c2×log (TransPercent×l0)
+ c3×log (10/Example_num) + c4×log (10/Valid_block_num) (7)
Figure 0004993762
上式において、
ConLは前記翻訳信頼レベルであり、
、c、c、cは定数であり、
AlignConはアライメントの信頼レベルであり、
TransPercentは加重翻訳率であり、
Example_numは、使用した用例の番号であり、
Valid_block_numは、入力ストリングの翻訳の中のフラグメント番号であり、
PhrSLは、所与の入力ストリングに関連する、用例中のSLフレーズであり、
PhrTLは、用例の翻訳の中のTL対応部分であり、
|PhrTL|は、PhrTLの単語番号であり、
i...jは、SL単語iとTL単語jの間の接続(connection)であり、
Conf(Ci...j)は、単語アライメントの信頼レベルである。
したがって、翻訳信頼レベルは、ターゲット言語の対応部分の、アライメント信頼レベル、アラインしている単語の信頼度、およびアラインしている、およびアラインしていない単語の数に基づく。システムは、出力の諸部分に信頼レベルを示すので、それによって、ユーザは、特に吟味を要する低信頼度の翻訳出力、およびユーザの注意を要するエリアを識別することができる。
したがって、本発明が、品質および速度の両方において、従来のシステムよりも、用例マッチング性能および検索性能を向上させる用例マッチング方法を使用していることがわかろう。同様に本発明は、従来のシステムに勝る正確度および速度をもたらす、フレーズアライメントにおいて最良候補を選択するための単語/フレーズアライメント技術およびスコア機能を使用している。最後に、本発明は、機械が生成した翻訳の品質を表し、また、ユーザの吟味を要する特定の翻訳部分についてはそれをハイライト表示する翻訳信頼度予測方法を使用している。
本発明を特定の実施形態を参照して説明してきたが、当業者は、本発明の趣旨および範囲から逸脱することなく、形態および詳細に変更を加えることが可能であることを認識されよう。
本発明を使用できる環境の構成図である。 本発明の一実施形態による翻訳エンジンの構成図である。 図2に示すシステムの全体的な動作を示す流れ図である。 本発明の一実施形態による用例のマッチングを示す流れ図である。 本発明の一実施形態による、入力センテンスに対応する複数の異なる用例を示す図である。 本発明の一実施形態による単語のアライメントを示すデータフロー図である。 本発明の一実施形態によるフレーズのアライメントを示す流れ図である。 連続および不連続アライメントを示す図である。 連続および不連続アライメントを示す図である。 本発明の一実施形態による連続アライメントの生成を示す流れ図である。 本発明の一実施形態による不連続アライメントの生成を示す流れ図である。
符号の説明
100 コンピューティングシステム環境
110 コンピュータ
120 処理装置
121 システムバス
130 システムメモリ
131 読出し専用メモリ(ROM)
132 ランダムアクセスメモリ(RAM)
133 基本入出力システム(BIOS)
134 オペレーティングシステム
135 アプリケーションプログラム
136 その他のプログラムモジュール
137 プログラムデータ
140 メモリインタフェース
141 ハードディスクドライブ
144 オペレーティングシステム
145 アプリケーションプログラム
146 その他のプログラムモジュール
147 プログラムデータ
150 インタフェース
151 磁気ディスクドライブ
152 リムーバブル不揮発性磁気ディスク
155 光ディスクドライブ
156 リムーバブル不揮発性光ディスク
160 ユーザ入力インタフェース
161 ポインティングデバイス
162 キーボード
163 マイクロフォン
170 ネットワークインタフェースまたはアダプタ
171 ローカルエリアネットワーク(LAN)
172 モデム
173 広域ネットワーク(WAN)
180 リモートコンピュータ
185 リモートアプリケーションプログラム
190 ビデオインタフェース
191 モニタ
195 出力周辺インタフェース
196 プリンタ
197 スピーカ
200 翻訳エンジン
202 ソース言語入力センテンス
204 用例ベース
206 用語ベース
208 ターゲット言語出力
210 用例ベース生成器
212 二カ国語用例コーパス
214 用語ベース生成器
216 前処理コンポーネント
218 用例マッチングコンポーネント
220 フレーズアライメントコンポーネント
222 翻訳コンポーネント
224 後処理コンポーネント
236 該当する用例
300 ターゲット言語センテンス
301 ソース言語の入力センテンス
302 二カ国語辞書アライナ
306 拡張二カ国語辞書に基づくアライナ(歪みアライナモデル)
308 フレーズマージングコンポーネント
310 統計的アライメントコンポーネント
312 単語アライメントの結果

Claims (1)

  1. 入力センテンスに対して、機械翻訳を行うコンピュータ実行方法であって、
    処理装置が、入力装置を介して入力された前記入力センテンスに含まれる複数のフラグメントを、ソース言語として認識するステップと、
    前記処理装置が、前記ソース言語を、メモリに格納された用例ベース中の用例に含まれるフラグメントとマッチさせるステップと、
    前記処理装置が、前記マッチさせるステップにおいてマッチした前記用例に含まれる1つまたは複数のフラグメントのまとまりを、用語ブロックとして認識するステップと、
    前記処理装置が、前記用語ブロックの組合せごとにTF/IDF重みを計算するステップと、
    前記処理装置が、前記計算されたTF/IDF重みに基づいて、前記用語ブロックの組合せを選択するステップと、
    前記処理装置が、前記選択され用語ブロック組合せ中の各用語ブロックに含まれる1つまたは複数のフラグメントをターゲット言語として認識するステップと、
    前記処理装置が、前記ソース言語を、前記ターゲット言語で置換し、出力センテンスを生成するステップと、
    前記処理装置が、前記出力センテンスを、出力装置を介して出力するステップと
    備えたことを特徴とする方法。
JP2008161014A 2002-06-28 2008-06-19 用例ベースの機械翻訳システム Expired - Fee Related JP4993762B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/185,376 US7353165B2 (en) 2002-06-28 2002-06-28 Example based machine translation system
US10/185,376 2002-06-28

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2003185956A Division JP4694111B2 (ja) 2002-06-28 2003-06-27 用例ベースの機械翻訳システム

Publications (2)

Publication Number Publication Date
JP2008262587A JP2008262587A (ja) 2008-10-30
JP4993762B2 true JP4993762B2 (ja) 2012-08-08

Family

ID=29779611

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2003185956A Expired - Fee Related JP4694111B2 (ja) 2002-06-28 2003-06-27 用例ベースの機械翻訳システム
JP2008161014A Expired - Fee Related JP4993762B2 (ja) 2002-06-28 2008-06-19 用例ベースの機械翻訳システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2003185956A Expired - Fee Related JP4694111B2 (ja) 2002-06-28 2003-06-27 用例ベースの機械翻訳システム

Country Status (3)

Country Link
US (2) US7353165B2 (ja)
JP (2) JP4694111B2 (ja)
CN (1) CN100440150C (ja)

Families Citing this family (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000057320A2 (en) * 1999-03-19 2000-09-28 Trados Gmbh Workflow management system
US20060116865A1 (en) 1999-09-17 2006-06-01 Www.Uniscape.Com E-services translation utilizing machine translation and translation memory
US7904595B2 (en) 2001-01-18 2011-03-08 Sdl International America Incorporated Globalization management system and method therefor
US8868543B1 (en) 2002-11-20 2014-10-21 Google Inc. Finding web pages relevant to multimedia streams
JP2005100335A (ja) * 2003-09-01 2005-04-14 Advanced Telecommunication Research Institute International 機械翻訳装置、機械翻訳コンピュータプログラム及びコンピュータ
JP3919771B2 (ja) * 2003-09-09 2007-05-30 株式会社国際電気通信基礎技術研究所 機械翻訳システム、その制御装置、及びコンピュータプログラム
US20070112553A1 (en) * 2003-12-15 2007-05-17 Laboratory For Language Technology Incorporated System, method, and program for identifying the corresponding translation
CN1661593B (zh) * 2004-02-24 2010-04-28 北京中专翻译有限公司 一种计算机语言翻译方法及其翻译系统
US7983896B2 (en) 2004-03-05 2011-07-19 SDL Language Technology In-context exact (ICE) matching
JP4076520B2 (ja) * 2004-05-26 2008-04-16 富士通株式会社 翻訳支援プログラムおよび単語対応付けプログラム
GB2415518A (en) * 2004-06-24 2005-12-28 Sharp Kk Method and apparatus for translation based on a repository of existing translations
JP4473702B2 (ja) * 2004-11-02 2010-06-02 株式会社東芝 機械翻訳システム、機械翻訳方法及びプログラム
US7680646B2 (en) * 2004-12-21 2010-03-16 Xerox Corporation Retrieval method for translation memories containing highly structured documents
US20060206797A1 (en) * 2005-03-08 2006-09-14 Microsoft Corporation Authorizing implementing application localization rules
US8219907B2 (en) * 2005-03-08 2012-07-10 Microsoft Corporation Resource authoring with re-usability score and suggested re-usable data
JP3984642B2 (ja) * 2005-07-06 2007-10-03 松下電器産業株式会社 対話支援装置
US10319252B2 (en) 2005-11-09 2019-06-11 Sdl Inc. Language capability assessment and training apparatus and techniques
US8041556B2 (en) * 2005-12-01 2011-10-18 International Business Machines Corporation Chinese to english translation tool
WO2007068123A1 (en) * 2005-12-16 2007-06-21 National Research Council Of Canada Method and system for training and applying a distortion component to machine translation
US7536295B2 (en) * 2005-12-22 2009-05-19 Xerox Corporation Machine translation using non-contiguous fragments of text
JP2007233486A (ja) * 2006-02-27 2007-09-13 Fujitsu Ltd 翻訳者支援プログラム,翻訳者支援装置及び翻訳者支援方法
US7711546B2 (en) * 2006-04-21 2010-05-04 Microsoft Corporation User interface for machine aided authoring and translation
US7827155B2 (en) * 2006-04-21 2010-11-02 Microsoft Corporation System for processing formatted data
US20070250528A1 (en) * 2006-04-21 2007-10-25 Microsoft Corporation Methods for processing formatted data
US8549492B2 (en) * 2006-04-21 2013-10-01 Microsoft Corporation Machine declarative language for formatted data processing
US8171462B2 (en) * 2006-04-21 2012-05-01 Microsoft Corporation User declarative language for formatted data processing
US9020804B2 (en) * 2006-05-10 2015-04-28 Xerox Corporation Method for aligning sentences at the word level enforcing selective contiguity constraints
US7542893B2 (en) * 2006-05-10 2009-06-02 Xerox Corporation Machine translation using elastic chunks
US7725306B2 (en) * 2006-06-28 2010-05-25 Microsoft Corporation Efficient phrase pair extraction from bilingual word alignments
US20080019281A1 (en) * 2006-07-21 2008-01-24 Microsoft Corporation Reuse of available source data and localizations
US8521506B2 (en) * 2006-09-21 2013-08-27 Sdl Plc Computer-implemented method, computer software and apparatus for use in a translation system
JP4481972B2 (ja) 2006-09-28 2010-06-16 株式会社東芝 音声翻訳装置、音声翻訳方法及び音声翻訳プログラム
US9495358B2 (en) 2006-10-10 2016-11-15 Abbyy Infopoisk Llc Cross-language text clustering
US8145473B2 (en) 2006-10-10 2012-03-27 Abbyy Software Ltd. Deep model statistics method for machine translation
US9633005B2 (en) 2006-10-10 2017-04-25 Abbyy Infopoisk Llc Exhaustive automatic processing of textual information
US9235573B2 (en) 2006-10-10 2016-01-12 Abbyy Infopoisk Llc Universal difference measure
US8195447B2 (en) 2006-10-10 2012-06-05 Abbyy Software Ltd. Translating sentences between languages using language-independent semantic structures and ratings of syntactic constructions
JP5082374B2 (ja) * 2006-10-19 2012-11-28 富士通株式会社 フレーズアラインメントプログラム、翻訳プログラム、フレーズアラインメント装置およびフレーズアラインメント方法
GB2444084A (en) * 2006-11-23 2008-05-28 Sharp Kk Selecting examples in an example based machine translation system
JP5538898B2 (ja) * 2007-01-04 2014-07-02 シンキング ソリューションズ ピーティーワイ リミテッド 言語分析
US8788258B1 (en) * 2007-03-15 2014-07-22 At&T Intellectual Property Ii, L.P. Machine translation using global lexical selection and sentence reconstruction
JP4971844B2 (ja) * 2007-03-16 2012-07-11 日本放送協会 用例データベース作成装置及び用例データベース作成プログラム、並びに、翻訳装置及び翻訳プログラム
US8959011B2 (en) * 2007-03-22 2015-02-17 Abbyy Infopoisk Llc Indicating and correcting errors in machine translation systems
US8290967B2 (en) * 2007-04-19 2012-10-16 Barnesandnoble.Com Llc Indexing and search query processing
EP2300939A4 (en) * 2008-06-09 2016-03-30 Nat Res Council Canada METHOD AND SYSTEM FOR USING ALIGNMENT MEANS IN TRANSLATION MATCHING
US20090326916A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Unsupervised chinese word segmentation for statistical machine translation
US9176952B2 (en) * 2008-09-25 2015-11-03 Microsoft Technology Licensing, Llc Computerized statistical machine translation with phrasal decoder
US20100082324A1 (en) * 2008-09-30 2010-04-01 Microsoft Corporation Replacing terms in machine translation
GB2468278A (en) 2009-03-02 2010-09-08 Sdl Plc Computer assisted natural language translation outputs selectable target text associated in bilingual corpus with input target text from partial translation
US9262403B2 (en) 2009-03-02 2016-02-16 Sdl Plc Dynamic generation of auto-suggest dictionary for natural language translation
JP5257189B2 (ja) * 2009-03-25 2013-08-07 富士通株式会社 検索結果出力プログラム、検索結果出力装置、および検索結果出力方法
US8185373B1 (en) * 2009-05-05 2012-05-22 The United States Of America As Represented By The Director, National Security Agency, The Method of assessing language translation and interpretation
US8874426B2 (en) * 2009-06-30 2014-10-28 International Business Machines Corporation Method for translating computer generated log files
CN101996166B (zh) * 2009-08-14 2015-08-05 张龙哺 双语句对模式化记录方法以及翻译方法和翻译系统
WO2011029011A1 (en) * 2009-09-04 2011-03-10 Speech Cycle, Inc. System and method for the localization of statistical classifiers based on machine translation
TW201113870A (en) * 2009-10-09 2011-04-16 Inst Information Industry Method for analyzing sentence emotion, sentence emotion analyzing system, computer readable and writable recording medium and multimedia device
US10417646B2 (en) 2010-03-09 2019-09-17 Sdl Inc. Predicting the cost associated with translating textual content
CN102214166B (zh) * 2010-04-06 2013-02-20 三星电子(中国)研发中心 基于句法分析和层次模型的机器翻译系统和方法
US20110264437A1 (en) * 2010-04-26 2011-10-27 Honeywell International Inc. System and method for translating an english language message into another language
US8375061B2 (en) * 2010-06-08 2013-02-12 International Business Machines Corporation Graphical models for representing text documents for computer analysis
US8554558B2 (en) * 2010-07-12 2013-10-08 Nuance Communications, Inc. Visualizing automatic speech recognition and machine translation output
US20120143593A1 (en) * 2010-12-07 2012-06-07 Microsoft Corporation Fuzzy matching and scoring based on direct alignment
US20120158398A1 (en) * 2010-12-17 2012-06-21 John Denero Combining Model-Based Aligner Using Dual Decomposition
JP5747508B2 (ja) * 2011-01-05 2015-07-15 富士ゼロックス株式会社 対訳情報検索装置、翻訳装置及びプログラム
US9128929B2 (en) 2011-01-14 2015-09-08 Sdl Language Technologies Systems and methods for automatically estimating a translation time including preparation time in addition to the translation itself
US9547626B2 (en) 2011-01-29 2017-01-17 Sdl Plc Systems, methods, and media for managing ambient adaptability of web applications and web services
US10657540B2 (en) 2011-01-29 2020-05-19 Sdl Netherlands B.V. Systems, methods, and media for web content management
US10580015B2 (en) 2011-02-25 2020-03-03 Sdl Netherlands B.V. Systems, methods, and media for executing and optimizing online marketing initiatives
US10140320B2 (en) 2011-02-28 2018-11-27 Sdl Inc. Systems, methods, and media for generating analytical data
US8655640B2 (en) * 2011-03-02 2014-02-18 Raytheon Bbn Technologies Corp. Automatic word alignment
US9552213B2 (en) * 2011-05-16 2017-01-24 D2L Corporation Systems and methods for facilitating software interface localization between multiple languages
US8825469B1 (en) * 2011-08-04 2014-09-02 Google Inc. Techniques for translating documents including tags
US9984054B2 (en) 2011-08-24 2018-05-29 Sdl Inc. Web interface including the review and manipulation of a web document and utilizing permission based control
US8874428B2 (en) * 2012-03-05 2014-10-28 International Business Machines Corporation Method and apparatus for fast translation memory search
US20130275436A1 (en) * 2012-04-11 2013-10-17 Microsoft Corporation Pseudo-documents to facilitate data discovery
US9773270B2 (en) 2012-05-11 2017-09-26 Fredhopper B.V. Method and system for recommending products based on a ranking cocktail
US10261994B2 (en) 2012-05-25 2019-04-16 Sdl Inc. Method and system for automatic management of reputation of translators
US9317500B2 (en) * 2012-05-30 2016-04-19 Audible, Inc. Synchronizing translated digital content
US9116886B2 (en) * 2012-07-23 2015-08-25 Google Inc. Document translation including pre-defined term translator and translation model
US11308528B2 (en) 2012-09-14 2022-04-19 Sdl Netherlands B.V. Blueprinting of multimedia assets
US11386186B2 (en) 2012-09-14 2022-07-12 Sdl Netherlands B.V. External content library connector systems and methods
US10452740B2 (en) 2012-09-14 2019-10-22 Sdl Netherlands B.V. External content libraries
US9916306B2 (en) 2012-10-19 2018-03-13 Sdl Inc. Statistical linguistic analysis of source content
US9424360B2 (en) * 2013-03-12 2016-08-23 Google Inc. Ranking events
RU2592395C2 (ru) 2013-12-19 2016-07-20 Общество с ограниченной ответственностью "Аби ИнфоПоиск" Разрешение семантической неоднозначности при помощи статистического анализа
JP2015125499A (ja) * 2013-12-25 2015-07-06 株式会社東芝 音声通訳装置、音声通訳方法及び音声通訳プログラム
RU2586577C2 (ru) 2014-01-15 2016-06-10 Общество с ограниченной ответственностью "Аби ИнфоПоиск" Фильтрация дуг в синтаксическом графе
JP5850512B2 (ja) * 2014-03-07 2016-02-03 国立研究開発法人情報通信研究機構 単語アライメントスコア算出装置、単語アライメント装置、及びコンピュータプログラム
US10181098B2 (en) 2014-06-06 2019-01-15 Google Llc Generating representations of input sequences using neural networks
US9740687B2 (en) 2014-06-11 2017-08-22 Facebook, Inc. Classifying languages for objects and entities
US9626358B2 (en) 2014-11-26 2017-04-18 Abbyy Infopoisk Llc Creating ontologies by analyzing natural language texts
US9864744B2 (en) 2014-12-03 2018-01-09 Facebook, Inc. Mining multi-lingual data
US10067936B2 (en) 2014-12-30 2018-09-04 Facebook, Inc. Machine translation output reranking
US9830386B2 (en) 2014-12-30 2017-11-28 Facebook, Inc. Determining trending topics in social media
US9830404B2 (en) 2014-12-30 2017-11-28 Facebook, Inc. Analyzing language dependency structures
US9477652B2 (en) 2015-02-13 2016-10-25 Facebook, Inc. Machine learning dialect identification
CN104866547B (zh) * 2015-05-08 2019-04-23 湖北荆楚网络科技股份有限公司 一种针对组合字类关键词的过滤方法
CN104850609B (zh) * 2015-05-08 2019-04-23 湖北荆楚网络科技股份有限公司 一种针对跳字类关键词的过滤方法
JP2017058865A (ja) * 2015-09-15 2017-03-23 株式会社東芝 機械翻訳装置、機械翻訳方法および機械翻訳プログラム
US9734142B2 (en) * 2015-09-22 2017-08-15 Facebook, Inc. Universal translation
US10614167B2 (en) 2015-10-30 2020-04-07 Sdl Plc Translation review workflow systems and methods
US9690777B1 (en) * 2015-12-10 2017-06-27 Webinterpret Translating website listings and propagating the translated listings to listing websites in other regions
US10133738B2 (en) 2015-12-14 2018-11-20 Facebook, Inc. Translation confidence scores
US9734143B2 (en) 2015-12-17 2017-08-15 Facebook, Inc. Multi-media context language processing
US20170185587A1 (en) * 2015-12-25 2017-06-29 Panasonic Intellectual Property Management Co., Ltd. Machine translation method and machine translation system
JP2017120616A (ja) * 2015-12-25 2017-07-06 パナソニックIpマネジメント株式会社 機械翻訳方法、及び、機械翻訳システム
US10002125B2 (en) 2015-12-28 2018-06-19 Facebook, Inc. Language model personalization
US9747283B2 (en) 2015-12-28 2017-08-29 Facebook, Inc. Predicting future translations
US9805029B2 (en) 2015-12-28 2017-10-31 Facebook, Inc. Predicting future translations
US10902221B1 (en) 2016-06-30 2021-01-26 Facebook, Inc. Social hash for language models
US10902215B1 (en) 2016-06-30 2021-01-26 Facebook, Inc. Social hash for language models
CN107818086B (zh) * 2016-09-13 2021-08-10 株式会社东芝 机器翻译方法和装置
US10180935B2 (en) 2016-12-30 2019-01-15 Facebook, Inc. Identifying multiple languages in a content item
US10380249B2 (en) 2017-10-02 2019-08-13 Facebook, Inc. Predicting future trending topics
US10635863B2 (en) 2017-10-30 2020-04-28 Sdl Inc. Fragment recall and adaptive automated translation
CN107908601A (zh) * 2017-11-01 2018-04-13 北京颐圣智能科技有限公司 医疗文本的分词模型构建方法、设备、可读存储介质及分词方法
US10817676B2 (en) 2017-12-27 2020-10-27 Sdl Inc. Intelligent routing services and systems
US10747962B1 (en) * 2018-03-12 2020-08-18 Amazon Technologies, Inc. Artificial intelligence system using phrase tables to evaluate and improve neural network based machine translation
WO2019210977A1 (en) * 2018-05-04 2019-11-07 Telefonaktiebolaget Lm Ericsson (Publ) Methods and apparatus for enriching entities with alternative texts in multiple languages
US11256867B2 (en) 2018-10-09 2022-02-22 Sdl Inc. Systems and methods of machine learning for digital assets and message creation
CN113778582B (zh) * 2021-07-28 2024-06-28 赤子城网络技术(北京)有限公司 本地化多语言适配的设置方法、装置、设备及存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5541836A (en) * 1991-12-30 1996-07-30 At&T Corp. Word disambiguation apparatus and methods
JP3189186B2 (ja) * 1992-03-23 2001-07-16 インターナショナル・ビジネス・マシーンズ・コーポレ−ション パターンに基づく翻訳装置
EP0672989A3 (en) * 1994-03-15 1998-10-28 Toppan Printing Co., Ltd. Machine translation system
JPH09128396A (ja) * 1995-11-06 1997-05-16 Hitachi Ltd 対訳辞書作成方法
JPH1063669A (ja) * 1996-08-21 1998-03-06 Oki Electric Ind Co Ltd 対訳データベース作成装置及び対訳例文検索装置
JPH10312382A (ja) * 1997-05-13 1998-11-24 Keiichi Shinoda 類似用例翻訳システム
WO1999000789A1 (en) * 1997-06-26 1999-01-07 Koninklijke Philips Electronics N.V. A machine-organized method and a device for translating a word-organized source text into a word-organized target text
US6073096A (en) * 1998-02-04 2000-06-06 International Business Machines Corporation Speaker adaptation system and method based on class-specific pre-clustering training speakers
US6107935A (en) * 1998-02-11 2000-08-22 International Business Machines Corporation Systems and methods for access filtering employing relaxed recognition constraints
JPH11259482A (ja) * 1998-03-12 1999-09-24 Kdd Corp 複合名詞の機械翻訳方式
US6195631B1 (en) * 1998-04-15 2001-02-27 At&T Corporation Method and apparatus for automatic construction of hierarchical transduction models for language translation
US6772180B1 (en) * 1999-01-22 2004-08-03 International Business Machines Corporation Data representation schema translation through shared examples
US6631346B1 (en) * 1999-04-07 2003-10-07 Matsushita Electric Industrial Co., Ltd. Method and apparatus for natural language parsing using multiple passes and tags
US6330530B1 (en) * 1999-10-18 2001-12-11 Sony Corporation Method and system for transforming a source language linguistic structure into a target language linguistic structure based on example linguistic feature structures
CN1302415C (zh) * 2000-06-19 2007-02-28 李玉鑑 一种英汉翻译机器的实现方法
JP3969628B2 (ja) * 2001-03-19 2007-09-05 富士通株式会社 翻訳支援装置、方法及び翻訳支援プログラム
JP4574047B2 (ja) * 2001-03-30 2010-11-04 富士通株式会社 訳例辞書を用いて翻訳を行う機械翻訳装置およびプログラム
US7295962B2 (en) * 2001-05-11 2007-11-13 University Of Southern California Statistical memory-based translation system

Also Published As

Publication number Publication date
JP2004038976A (ja) 2004-02-05
JP2008262587A (ja) 2008-10-30
CN100440150C (zh) 2008-12-03
US20040002848A1 (en) 2004-01-01
JP4694111B2 (ja) 2011-06-08
CN1475907A (zh) 2004-02-18
US20080133218A1 (en) 2008-06-05
US7353165B2 (en) 2008-04-01

Similar Documents

Publication Publication Date Title
JP4993762B2 (ja) 用例ベースの機械翻訳システム
JP4694121B2 (ja) 句の間の翻訳関係を学習するための統計的な方法および装置
US8275605B2 (en) Machine language translation with transfer mappings having varying context
US7050964B2 (en) Scaleable machine translation system
JP5774751B2 (ja) ツリーレット翻訳対の抽出
Vogel et al. The CMU statistical machine translation system
KR101084786B1 (ko) 트리 서열화 컴포넌트를 저장하는 컴퓨터 판독가능 기록매체
JP4945086B2 (ja) 論理形式のための統計的言語モデル
JP5586817B2 (ja) ツリーレット翻訳対の抽出
JP2006012168A (ja) 翻訳メモリシステムにおいてカバレージおよび質を改良する方法
Cherry et al. Discriminative substring decoding for transliteration
JP2006127405A (ja) バイリンガルパラレルテキストをアライメントする方法及びそのためのコンピュータで実行可能なプログラム
JP2006024114A (ja) 機械翻訳装置および機械翻訳コンピュータプログラム
Lee et al. IBM Chinese-to-English PatentMT System for NTCIR-9.
Jawaid Statistical Machine Translation between Languages with Significant Word Order Differences
JP2000250914A (ja) 機械翻訳方法、装置、および機械翻訳プログラムを記録した記録媒体
JP2003296323A (ja) 形態素解析装置
Slayden et al. Large-scale Thai statistical machine translation
Jawaid Statistical Machine Translation between Languages with

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110826

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120427

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120507

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees