JP5819860B2

JP5819860B2 - 複合語分割

Info

Publication number: JP5819860B2
Application number: JP2012553041A
Authority: JP
Inventors: アンドリュー・エム・ダイ; クラウス・マシュリー; フランツ・ジョセフ・オック; アショク・シー・ポパット; デイヴィッド・アール・タルボット
Original assignee: グーグル・インコーポレーテッド
Priority date: 2010-02-12
Filing date: 2011-02-11
Publication date: 2015-11-24
Anticipated expiration: 2031-02-11
Also published as: CN102859515A; WO2011100573A1; KR20120129906A; EP2534585A1; US20110202330A1; US9075792B2; JP2013519949A; KR101744861B1; CN102859515B; EP2534585A4

Description

本発明は一般に脱複合語化に関する。

英語、ドイツ語及びスウェーデン語のような多くの言語は、語彙数を増やすために複合語を使用する。ここで複合語は、意味の単一ユニットとして機能する２つ又はそれ以上の単語の組み合わせ、又は、２つ又はそれ以上の構成要素、部分又は形態素を含む語彙素である。いくつかの言語では、その構成語彙素（あるいは「構成要素」又は「部分語」）から複合語を発生するには、１つ又はそれ以上の形態素演算を必要とする。

複合語分割（すなわち「脱複合語化」）は、複合語をその対応する構成要素に分割するプロセスに関係する。言語に精通する人は、通常は複合語をその対応する構成要素に認識及び分割することができるが、構成要素を変換する形態素演算は、機械がこれらの同じ仕事を行うことをはるかにより困難にする。

機械翻訳を行う場合、フレーズに基づく統計的処理を使用し、原フレーズと目標フレーズとをフレーズテーブルを使用して対応付けることができる。フレーズテーブルは、機械が原フレーズと目標フレーズとを対応付けるために使用することができる多言語情報を格納している。一方の言語が単語を複合する能力を有し、他方の言語がこの能力を持たない場合、原フレーズと目標フレーズとの対応付けは困難又は不可能であるかもしれない。

複合語分割は、原フレーズと目標フレーズとの間の対応付けを改善することができ、これにより、機械翻訳の質を改善する。本明細書に記載された主題の１つの発明態様によれば、機械が複合語をその構成要素に脱複合語化し、各々の構成要素をその原言語から目標言語に翻訳する。

一般に、本明細書に記載された主題の他の発明態様は、文字列を含むトークンを取得する動作と、前記トークンの構成要素である２つ又はそれ以上の候補部分語と、前記部分語を前記トークンに変換するのに必要な１つ又はそれ以上の形態素演算とを識別する動作であって、前記形態素演算の少なくとも１つが辞書にない単語の使用を含む、動作と、各々の部分語に関係するコスト及び各々の形態素演算に関係するコストを決定する動作とを含む方法で具体化することができる。本態様の他の実施形態は、コンピュータ記憶装置上で符号化された前記方法の動作を実行するように構成された対応するシステム、装置及びコンピュータプログラムを含む。

これら及び他の実施形態は、以下の特徴の１つ又はそれ以上を各々任意に含むことができる。例えば、前記動作は、前記各々の部分語に関係するコストを前記各々の形態素演算に関係するコストと結合する動作を含むことができ、前記動作は、前記結合したコストに基づいて前記トークンを前記候補部分語に脱複合語化することを決定する動作を含むことができ、前記トークンを脱複合語化することを決定する動作は、前記結合されたコストが予め規定されたしきい値を満たす場合に前記トークンを前記候補部分語に脱複合語化することを決定する動作を含むことができ、前記トークンを脱複合語化することを決定する動作は、前記結合されたコストが前記トークンの構成要素である候補部分語のすべての識別された組み合わせに関して最も低い結合されたコストである場合に前記トークンを前記候補部分語に脱複合語化することを決定する動作を含むことができ、前記動作は、前記部分語間の分割点の量を決定する動作と、前記分割点の量に関係するコストを決定する動作とを含むことができ、前記少なくとも１つの形態素演算は、２つの前記候補部分語間に辞書にない単語を挿入する演算、前記トークンから辞書にない単語を除去する演算、前記辞書にない単語を１つ又はそれ以上の前記候補部分語の接頭辞として前置する演算、前記辞書にない単語を１つ又はそれ以上の前記候補部分語の接尾辞として後置する演算、又は、前記辞書にない単語を１つ又はそれ以上の前記候補部分語に挿入辞として挿入する演算を含むことができ、前記辞書にない単語は、前記部分語の言語で定義された意味を持たない文字の部分列を含むつなぎ形態素であってもよい。

一般に、本明細書に記載された主題の他の発明態様は、第１語彙に現れる単語と個々の単語が前記第１語彙に現れる頻度とを識別する動作と、前記第１語彙に現れる単語を構成要素として使用して第２語彙に現れる単語を脱複合語化する動作と、前記第２語彙に現れる単語を脱複合語化する構成要素として使用された前記第１語彙に現れる単語を汎用複合語分割器語彙として出力する動作とを含む方法で具体化することができる。本態様の他の実施形態は、コンピュータ記憶装置上で符号化された前記方法の動作を実行するように構成された対応するシステム、装置及びコンピュータプログラムを含む。

これら及び他の実施形態は、以下の特徴の１つ又はそれ以上を各々任意に含むことができる。例えば、前記第１語彙はニュース言語モデル語彙であってもよく、前記第２語彙はウェブ言語モデル語彙であってもよく、前記動作は、前記第２語彙に現れる単語を脱複合語化するために構成要素として予め決められた回数より多く使用された前記第１語彙に現れる単語を選択することを含むことができ、ここで、前記第２語彙に現れる単語を脱複合語化するために構成要素として使用された前記第１語彙に現れる単語を汎用複合語分割器語彙として出力する動作は、前記第２語彙に現れる単語を脱複合語化するために予め決められた回数より多く構成要素として使用された前記第１語彙に現れる前記選択された単語を出力する動作を含み、前記動作は、個々の単語が前記第１語彙に現れる頻度に基づいて前記汎用複合語分割器語彙から単語をフィルタで除去する動作を含むことができる。

一般に、本明細書に記載された主題の他の発明態様は、第１語彙に現れる単語と個々の単語が前記第１語彙に現れる頻度とを識別する動作と、前記第１語彙に現れる単語を構成要素として使用して第２語彙に現れる単語を脱複合語化する動作と、前記第２語彙に現れる単語を脱複合語化する構成要素として使用された前記第１語彙に現れる単語を汎用複合語分割器語彙として出力する動作と、文字列を含むトークンを取得する動作と、前記汎用複合語分割器語彙に現れる前記トークンの構成要素である２つ又はそれ以上の候補単語及び前記単語を前記トークンに変換するために必要な１つ又はそれ以上の形態素演算を識別する動作とを含む方法で具体化することができ、前記形態素演算の少なくとも１つは、辞書にない単語を使用する演算と、各々の単語に関係するコスト及び各々の形態素演算に関係するコストを決定する演算とを含み、前記各々の単語に関係するコストは、個々の単語が前記第１語彙に現れる頻度に対応する。本態様の他の実施形態は、コンピュータ記憶装置上で符号化された前記方法の動作を実行するように構成された対応するシステム、装置及びコンピュータプログラムを含む。

一般に、本明細書に記載された主題の他の発明態様は、フレーズ対の多言語フレーズテーブルを取得する動作であって、前記フレーズ対は、非英語原言語の単一トークン原単語と、個々の単一トークン原単語の翻訳である多トークン英語フレーズとを識別する、動作と、原単語と少なくとも部分的に一致する１つ又はそれ以上のフレーズ対を識別する動作と、１つ又はそれ以上の前記フレーズ対の識別に基づいて前記原単語がおそらく複合語であることを決定する動作とを含む方法で具体化することができる。本態様の他の実施形態は、コンピュータ記憶装置上で符号化された前記方法の動作を実行するように構成された対応するシステム、装置及びコンピュータプログラムを含む。

一般に、本明細書に記載された主題の他の発明態様は、言語依存単語頻度リストに項目を格納する動作であって、各々の項目は、単語のフィンガープリントを識別するデータと、１つ又はそれ以上の言語で個々の単語が現れる頻度を識別するデータとを含む、動作と、候補複合語を取得する動作と、前記候補と前記フィンガープリントの１つとの一致に基づいて前記候補複合語に関係する出現頻度を決定する動作とを含む方法で具体化することができる。本態様の他の実施形態は、コンピュータ記憶装置上で符号化された前記方法の動作を実行するように構成された対応するシステム、装置及びコンピュータプログラムを含む。これら及び他の実施形態は、以下の特徴の１つ又はそれ以上を各々任意に含むことができる。例えば、前記項目は６４ビット項目であってもよく、前記単語のフィンガープリントを識別するデータは４０ビットを含むことができ、前記１つ又はそれ以上の言語での個々の単語の出現頻度を識別するデータは２４ビットを含むことができる。

本明細書に記載された主題の１つ又はそれ以上の実施形態の細部は、添付図面及び以下の記載で明らかにされる。前記主題の他の潜在的な特徴、態様及び利点は、記載、図面及び請求項から明らかになるであろう。

目標言語への翻訳のための、原言語の複合語のその構成要素への分割を説明する図である。複数の言語のための複合部分の、単一言語抽出のための訓練手順プロセスの一例のフローチャートである。汎用複合語分割システムによる複合語分割に使用される形態素の部分的リストである。一例の動的プログラムモデルを基礎とする複合語分割プロセスのリスト作成を示す。単一言語言語モデル語彙リストから抽出された語彙素例のリストを示す。複合部分の接尾辞に関するステマー終了形態素及び発生器終了形態素を示す。汎用複合語分割システムによってサポートされる言語のテーブルを示す。本開示の実施によって使用することができるネットワークアーキテクチャの一例の図である。一例の脱複合語化プロセスのフローチャートである。

同じ参照番号は全体を通して対応する部分を表す。

図１は、汎用複合語分割システム１００による、目標言語への翻訳のための、原言語の複合語のその構成要素への分割を説明する図である。システム１００は、語彙データベース１０２、１０４、１０６及び１２８と、データプロバイダデータベース１１６と、脱複合語化エンジン１０８と、翻訳エンジン１１０とを含んでいる。図１はさらに、状態「Ａ」から「Ｏ」の間のシステム１００の部品間のデータの流れを例示しており、これらは必ずしも時系列順ではない。

システム１００は、構成要素のリスト（例えば複合語辞書に見られる）を複合語分割器１３２への入力として使用する。しかしながら特定の要因が、脱複合語化プロセスの困難さと、さらに複合語の機械翻訳の複雑さとを増加させるかもしれない。１つの要因は、複合語の構成要素に現れる形態素変換に関係している。他の要因は、複合語内の分割点の認識に関係している。

一例では、分割点の認識は、脱複合語化プロセスに利用可能なデータ（例えば構成要素リスト）に基づくことができる。いくつかの場合で、限定された量のデータの使用は、構成要素の除外を結果として生じるかもしれない。他の場合で、ノイズ入りデータ（例えば、複合語又は構成要素リストのいずれかの誤ってつづられた語）は、構成要素を認識せず、続いて分割点を認識しない脱複合語化プロセスを結果として生じるかもしれない。いくつかの場合で、その構成要素に分割されたときに複合語の意味が失われてしまうため、特定の複合語（例えば固有名詞）が分割されず、そのまま残ってしまうかもしれない。他の場合で、構成要素リストをフィルタ処理し、特定の構成要素を除外することができ、あるいは、脱複合語化プロセスは、プロセスが複合語として認識しない特定のフレーズの認識を含むことができる。

脱複合語化エンジン１０８は、複合語分割プロセスで複合部分確率モデルを使用して、複数の異なった言語に関する複合語の複合語分割を行い、これは動的プログラミングを使用して実施される。各々の言語は、種々の複雑さの形態論を示すかもしれず、ある言語の形態論は、他の言語の形態論より複雑であるかもしれない。例えば、言語は、英語、ドイツ語、スウェーデン語、ギリシア語、ハンガリー語及び中国語を含むことができるが、これらに限定されない。複合語分割プロセスは、複合語の２つ又はそれ以上の構成要素を決定するために、構成要素リスト（例えば、複合語の構成要素を含む複合語辞書）を使用する。構成要素リストは、（例えば、データプロバイダデータベース１１６に関係付けられた自動ニュースアグリゲータ、辞書等）大きいコーパスから抽出された識別された複合語構成要素の結果である。複合語分割プロセスは、特定の言語で複合語をその構成要素にうまく分割するために、各々の言語のための特定の形態素演算を学習する。脱複合語化プロセスによってサポートされる言語のための多言語情報は、フレーズテーブルに格納されている。例えば、フレーズテーブルは、２５００より多くの言語対をサポートする統計的機械翻訳システムから得ることができる。

図１に例示されているように、システム１００は、複合語「ｆｌｏｗｅｒｐｏｔ（植木鉢）」を英語からドイツ語に翻訳するプロセスに関係している。第１コンテンツ発生器１１２は、状態「Ａ」でデータプロバイダデータベース１１６から複数の言語のための言語モデル語彙リストを受け取る。いくつかの実施では、デープロバイダデータベース１１６は、自動ニュースアグリゲータ（例えば、ニュース記事の集合体を含むデータベース）を含んでいる。言語モデル語彙リストは、ニュース記事から得られるような、特定の言語で使用される単語の集合体である。いくつかの実施では、データプロバイダデータベース１１６は、辞書データベースによって提供される言語モデル語彙リストを含んでいる。

第１コンテンツ発生器１１２は、状態「Ｂ」で複数の言語のための言語モデル語彙リストから単語頻度リストを受け取る。単語頻度リストは、複合語の考えられる構成要素のリストを含んでいる。第１コンテンツ発生器１１２は、状態「Ｃ」でデータベース１０２に格納するための単一断片テーブルの形式の第１語彙リストを供給する。第１部分的語彙リスト１１４は、単語頻度リストの英語項目の部分集合の一例である。テーブル項目は、言語コード１１４ａ（例えば英語のための「ｅｎ」）、言語コード１１４ａによって指定される言語の単語１１４ｂ（例えば「ｆｌｏｗｅｒ」）、及び、言語モデル語彙リストでの単語１１４ｂの出現頻度を表す頻度カウント１１４ｃ（例えば４３，５４５，６５４）を含んでいる。頻度カウント１１４ｃは、言語モデル語彙リスト内の単語１１４ｂの出現数を表すことができる。例えば、頻度カウントは、辞書探索を行うことによって、あるいは、自動ニュースアグリゲータによって提供される複数のニュース記事を見ることによって決定される。

図１に例示されているように、第２コンテンツ発生器１１８も、状態「Ｄ」でデータプロバイダデータベース１１６から複数の言語のための言語モデル語彙リストを受け取る。第２コンテンツ発生器１１８は、状態「Ｅ」で複数の言語のための言語モデル語彙リストから複合語リストを取得する。第２コンテンツ発生器１１８は、状態「Ｆ」でデータベース１０４に格納するための第２語彙リストを供給する。第２部分的語彙リスト１２４は、複合語リストの英語項目の部分集合の一例である。

クライアント装置のユーザ操作が、変換するための入力文字列（例えば「ｆｌｏｗｅｒｐｏｔ」）を、表示装置でユーザに表示されるグラフィカルユーザインタフェースに含まれるデータ入力ボックスに入力することができる。ユーザは、入力文字列のための原言語（例えば英語）及び翻訳のための目標言語（例えばドイツ語）を選択することができる。ユーザは次に、翻訳ボタンを活性化することができる。翻訳ボタンの活性化に応じて、入力文字列モジュール１２２は、状態「Ｇ」で入力文字列１２６（例えば「ｆｌｏｗｅｒｐｏｔ」）及び入力文字列１２６のための原言語選択１３０（例えば英語）を受け取る。クライアント装置及びその動作環境の一例は、図３を参照して説明される。

入力文字列モジュール１２２は、状態「Ｈ」で入力文字列１２６を原言語のためのデータベース１２８のコンテンツと比較する。データベース１２８は、汎用複合語分割システム１００によってサポートされる各々の言語のためのフレーズテーブルである第３語彙を含んでいる。データベース１２８に入力文字列１２６に関する項目が存在しない場合、入力文字列モジュール１２２は、状態「Ｉ」で入力文字列１２６を原言語のためのデータベース１０４のコンテンツと比較する。データベース１０４は、入力文字列１２６（例えばデータベース項目１２４ａの「ｆｌｏｗｅｒｐｏｔ」）を含む複合語リストを含んでいる。状態「Ｊ」で、脱複合語化エンジン１０８は、入力文字列１２６及び原言語選択１３０を受け取る。

図１に示されているように、脱複合語化エンジン１０８は、複合語分割器１３２，コストモジュール１３４、及び変換モジュール１３６を含んでいる。分割器１３２は、複合語（例えば入力文字列１２６）のその構成要素への分割を行い、前記構成要素は１つ又はそれ以上の辞書にない単語を含んでいるかもしれない。分割器１３２は、動的プログラムモデルに基づく複合語分割プロセスを使用し、複合語（入力文字列１２６）に関する所望の分割シーケンス（分割点の数及び位置と構成要素）を識別することができる。

状態「Ｋ」で、分割器１３２は、再帰的複合語分割プロセスを実行し、入力文字列１２６のための所望の分割シーケンスを決定する。複合語分割プロセスは、入力文字列１２６の原言語（例えば英語）のためのデータベース１０２に含まれる単語頻度リストを使用し、入力文字列１２６のための分割点及び構成要素を決定する。複合語分割プロセスは、入力文字列１２６内の異なった分割点を再帰的に試み、結果として複数の種々の候補構成要素及び分割シーケンスを生じる。コストモジュール１３４は、分割器１３２によって試みられた各々の脱複合語化のための分割シーケンスに関する全確率又はコストを計算する。分割シーケンスに関する全確率は、とりわけ、分割点の数及び位置によって決定される各々の構成要素の頻度カウントの和を含む。

コストモジュール１３４は、最も高い合計頻度カウントを生じる入力文字列１２６のための分割シーケンスとなる、入力文字列１２６のための所望の分割シーケンスを決定する。所望の分割シーケンスは、最適な分割シーケンスであってもなくてもよい。次に、最大数の頻度カウント（最も高い確率）の分割シーケンスが所望の分割シーケンスとして確立される。いくつかの実施では、合計コストが分割シーケンスに関係付けられ、分割シーケンスに関する確率がより高くなると（頻度カウントの合計数がより大きくなると）、分割シーケンスに関する合計コストはより低くなる。

図１に示されている例では、分割器１３２及びコストモジュール１３６を使用する脱複合語化エンジン１０８は、入力文字列１２６（例えば「ｆｌｏｗｅｒｐｏｔ」）のための所望の分割シーケンスは、結果として２つの構成要素、すなわち構成要素１３８ａ（例えば「ｆｌｏｗｅｒ」）及び構成要素１３８ｂ（例えば「ｐｏｔ」）を生じることを決定する。原言語のための辞書は、構成要素１３８ａ、１３８ｂを含むことができ、各々別個の構成要素が原言語で使用される辞書にある単語である（例えば、「ｆｌｏｗｅｒ」及び「ｐｏｔ」が英語辞書に見られ、各々の単語は単独でこの言語で使用することができる）。いくつかの実施では、１つ又はそれ以上の構成要素は、複合語の原言語のための辞書に含まれない単語であってもよい。この場合、変換モジュール１３６は、非標準単語構成要素を、後に容易に翻訳することができる標準単語に（例えば、接頭辞及び／又は接尾辞を非標準単語に追加することによって、構成要素の一文字を他の文字に変更することによって等）変換することができる。

状態「Ｌ」では、翻訳エンジン１１０は、脱複合語化エンジン１０８によって決定された所望の分割シーケンスに関する脱複合語化された構成要素（構成要素１３８ａ（例えば「ｆｌｏｗｅｒ」）及び構成要素１３８ｂ（例えば「ｐｏｔ」））と、目標言語選択１４０とを受け取る。状態「Ｍ」では、翻訳エンジン１１０は、構成要素１３８ａ、１３８ｂを原言語から目標言語に翻訳する（例えば、構成要素１３８ａ、構成要素１３８ｂ（「ｆｌｏｗｅｒ」及び「ｐｏｔ」の各々、又は、フレーズ「ｆｌｏｗｅｒ」「ｐｏｔ」）が英語からドイツ語へ翻訳される）。翻訳エンジン１１０はデータベース１０６を使用し、データベース１０６は、原言語のための目標言語への翻訳辞書（例えば英語からドイツ語への辞書）である第４語彙を含んでいる。翻訳エンジン１１０は、原言語（例えば英語）から目標言語（例えばドイツ語）への構成要素１３８ａ、１３８ｂの翻訳を見つけるために、構成要素１３８ａ、１３８ｂをこの辞書の項目と比較する。状態「Ｎ」では、出力文字列モジュール１４２は、翻訳された出力文字列１４４（例えば「ｂｌｕｍｅｎｔｏｐｈ」）を受け取り、この出力文字列１４４は、脱複合語化された入力文字列１２６（例えば「ｆｌｏｗｅｒｐｏｔ」）の原言語（例えば英語）から目標言語（例えばドイツ語）の出力文字列１４４（例えば「ｂｌｕｍｅｎｔｏｐｈ」）への翻訳である。

例えば、状態「Ｏ」では、ユーザは、ユーザが変換する入力文字列を入力するために使用されたのと同じ計算装置の表示装置にユーザに対して表示されるグラフィカルユーザインタフェースに含まれる出力ボックスに出力文字列１４４を見ることができる。計算装置及びその動作環境の一例は、図３を参照して説明される。

図２は、複数の言語に関する複合部分の形態論的抽出のための訓練手順プロセス２００のフローチャートである。汎用複合語分割システム１００はプロセス２００を実行することができる。

図１に説明されているように、単語頻度リスト（例えば、第１部分的語彙リスト１１４は単語頻度リストの英語項目の部分集合の一例である）は、分割器１３２によって実行される複合語分割プロセスによって使用される複合部分のソースを提供する。単語頻度リストは、言語に依存しており、単一言語データから抽出された格納された複合部分候補のリストを含んでいる。第１コンテンツ発生器１１２は、汎用複合語分割システム１００によってサポートされる各々の言語に関する単語頻度リストを発生することができる。汎用複合語分割システム１００を、言語モデル語彙リスト（例えば、データプロバイダデータベース１１６によって提供される言語モデル語彙リスト）から複合部分候補を抽出し、単語頻度リストを発生するように訓練することができる。

いくつかの実施では、汎用複合語分割システム１００は、単語頻度リストを発生するために、１つ又はそれ以上のフィルタステップを、言語モデル語彙リストからの複合部分候補の抽出と組み合わせる。脱複合語化エンジン１０８は、単語頻度リストを汎用複合語分割器語彙として使用する。汎用複合語分割システム１００は、４つの段階に分割される訓練手順を使用し、システム１００は、１つ又はそれ以上のフィルタステップをこれらの段階に自動的に適用し、データベース１０２に格納することができるすべての言語のための単語頻度リストを発生する。プロセス２００は、４つの訓練手順段階２０２、２０４、２０６、２０８を示す。例えば、汎用複合語分割システム１００は、訓練手順の４つの段階２０２、２０４、２０６、２０８を実行することができる。

例えば、図１及び２を参照すると、プロセス２００は、ニュース言語モデル語彙を受け取ったとき（２０４）、開始する（２０２）。ニュース言語モデル語彙は、データベース（例えばデータベース１１６）に含まれることができる。訓練手順の第１段階が次に実行される（２０６）。訓練手順の第１段階では、第１コンテンツ発生器１１２は、汎用複合語分割システム１００によってサポートされる複数の言語のためのニュース言語モデル語彙から得られる単語頻度リストを発生する。ニュース記事は、一般的なウェブ文書に基づくモデル語彙より綴り誤りが少ない単語を含むニュース言語モデル語彙を結果として生じる、言語依存語彙のデータベースを提供することができる。加えて、ニュース記事は、不正確な又は辞書にない単語をより少なく含む（例えば、データベースにノイズが少ない）ニュース言語モデル語彙を提供することができる。第１段階では、第１コンテンツ発生器１１２は、１つ又はそれ以上のフィルタステップにしたがって、ニュース言語モデル語彙に含まれる言語依存語彙をフィルタ処理する。第１コンテンツ発生器１１２は、マップリデュースマップ段階（２０８）中に前記フィルタステップを実行する。マップリデュースマップ段階は、言語依存語彙中の各々の単語又はトークンの出現の頻度に関係する多数のカウントを集計する減少プロセスを行う。マップリデュースマップ段階は、さらに、ニュース言語モデル語彙に含まれる言語依存語彙のサイズを減少させ、複合語の潜在的な構成要素であるかもしれない項目を含むようにする。例えば、第１フィルタステップは、固有名詞（例えば、Ｍｉｃｈｅｌｌｅ、Ｗａｓｈｉｎｇｔｏｎ、Ｐｅｎｔａｇｏｎ等）をフィルタで除去することができる。

訓練手順の第１段階２０２の完了の結果は、汎用複合語分割器語彙の出力である（２１０）。汎用複合語分割器語彙は、データベース１０２に格納するための単一断片テーブルとして出力される。第１部分的語彙リスト１１４は、言語コードに関する単語列及び対応する頻度カウントとして、複数のテーブル項目を示す。テーブル項目は、言語コード１１４ａ（例えば、英語のための「ｅｎ」）、言語コード１１４ａによって示される言語の単語１１４ｂ（例えば「ｆｌｏｗｅｒ」）、及び、データベース１０２での単語１１４ｂの出現頻度を表す頻度カウント１１４ｃ（例えば４３，５４５，６５４）を含むフォーマットに入れられる。

いつくかの実施では、前記単一断片テーブルは、汎用複合語分割システム１００によってサポートされる言語の各々に関する複数の項目を含んでいる。シーケンス開始項目が、言語に関する言語コードの各々のシーケンスの最初に配置される。シーケンス開始項目は、特定の言語コードに関するその後のテーブル項目の数を示すカウントを含んでいる。データベース１０２の英語項目に関するシーケンス開始項目の一例は、

であり、ここで「［ｅｎ］」は言語コード（英語）であり、カウント「ｎｎｎｎｎ」は英語に関するその後のテーブル項目の数を示す。シーケンス開始項目の先頭の「０」は、この項目が言語コードに関するすべての他の項目に先行することを保証する。

再び図１及び２を参照すると、ウェブ言語モデル語彙が受け取られる（２１２）。ウェブ言語モデル語彙は、データベース（例えばデータベース１１６）に含まれていてもよい。訓練手順の第２段階が次に実行される（２１４）。訓練手順の第２段階では、汎用複合語分割システム１００は、マップリデュースマップ段階を継続する第１段階からの単語頻度リスト（汎用複合語分割器語彙）出力をさらに減少させ、且つフィルタ処理する。ウェブ言語モデル語彙は、汎用複合語分割システム１００によってサポートされる各々の言語の任意のウェブ文書に基づいている。ウェブ言語モデル語彙は、各々のサポートされている言語に関する項目を含んでいる。訓練手順の第２段階では、マップリデュースマップのマップステップが、汎用複合語分割システム１００を使用して、受け取られたウェブ言語モデル語彙を分割する。

訓練手順の第２段階では、汎用複合語分割システム１００は、分割器１３２への入力として、データベース１０２に格納された単語頻度リストを使用する。脱複合語化エンジン１０８は、ウェブ言語モデル語彙に含まれる単語を分割することを試みる。訓練手順の第２段階を実行する際に、ウェブ言語モデル語彙からの入力複合語を分割するために分割器１３２によって使用される単語頻度リストに含まれる複合語構成要素が、減少器に渡される。減少器は、単語頻度リストの各々の構成要素がどれくらい使用されるかを決定する（２１６）。予め決められたしきい値レベルを超えて使用される構成要素が決定され、結果として、汎用複合語分割器語彙として使用される複合部分の出力が生じる（２１８）。第２段階は、単語頻度リストのサイズをさらに減少させる。いくつかの実施では、減少器は脱複合語化エンジン１０８に含まれている。いくつかの実施では、減少器は汎用複合語分割システム１００に含まれているモジュールである。

例えば、第１段階の実施後、第１コンテンツ発生器１１２の出力は、第１部分的語彙リスト１１４を含んでいる。第２段階２０４では、脱複合語化エンジン１０８は入力文字列１２６（例えば「ｆｌｏｗｅｒ」）を受け取り、入力文字列１２６はウェブ言語モデル語彙に含まれている。第１部分的語彙リスト１１４を分割器１３２への入力として使用すると、入力文字列１２６を分割するために分割器１３２によって使用される第１部分的語彙リスト１１４に含まれている構成要素は、単語１１４ｂ（「ｆｌｏｗｅｒ」）及び単語１１４ｄ（「ｐｏｔ」）である。この例では、追加の単語が分割されず、減少器のための予め決められたしきい値レベルが１に等しい場合、減少器の出力は部分的語彙リスト、

を含むことになる。

減少器の出力は、脱複合語化エンジン１０８がウェブ言語モデル語彙に含まれている複合語を分割するために使用する複合部分候補を含んでいる。減少器によって使用される予め決められたしきい値レベルの追加は、脱複合語化エンジン１０８が単語頻度リストに含まれるのに十分なほど頻繁な複合部分候補を使用することをさらに保証する。

いくつかの実施では、第１段階の実行後、汎用複合語分割器語彙は複合語を含むことができる。構成要素の使用が脱複合語化エンジン１０８による複合語の使用より多いとすると、第２段階は単語頻度リストから複合語をフィルタで除去することができる。

図１及び２を参照すると、訓練手順の第３段階が実行される（２２０）。訓練手順の第３段階では、汎用複合語分割システム１００は、頻度カウントが予め決められたしきい値レベル未満の単語を単語頻度リストから除去することができる。第３段階はさらに、単語頻度リストのサイズを減少させることができる。第３段階は、汎用複合語分割器語彙として使用することができる最終的な単語頻度リストを単一断片テーブルで提供する（２２２）。

いくつかの実施では、第４段階が実行される（２２４）。第４段階は、最終的な統計を出力することができる（２２６）報告段階であってもよい。例えば、前記統計は、複数の言語にわたって複合部分の数を比較するために使用することができる。他の例では、前記統計は、汎用複合語分割システム１００の誤り解析に使用することができる。プロセスは終了する（２２８）。

いくつかの実施では、複合語候補及びそれらの構成要素が２言語環境に含まれていてもよい。２言語汎用複合語分割システムでは、複合語はその構成要素に分割され、次に原言語から目標言語に翻訳される。例えば、英語が原言語であってもよく、フレーズテーブルは原言語（英語）から目標言語への翻訳を提供することができる。他の例では、英語が目標言語であってもよく、フレーズテーブルは原言語から英語への翻訳を提供することができる。

簡潔に言うと、一例のプロセスは、フレーズ対の多言語フレーズテーブルを得るステップであって、前記フレーズ対は、非英語原言語の単一トークン原単語と、個々の単一トークン原単語の翻訳である多トークン英語フレーズとを識別する、ステップと、原単語との少なくとも部分な一致である１つ又はそれ以上のフレーズ対を識別するステップと、前記１つ又はそれ以上のフレーズ対の識別に基づいて複合語らしい原単語を決定するステップとを含むことができる。

より詳細には、２言語汎用複合語分割システムは、訓練手順の一段階で、自動的に翻訳フレーズテーブルを発生することができる。２言語汎用複合語分割システムによって実行される訓練手順の次の段階は、英語が多くの複合語を含まないという仮定の下で動作する。したがって、訓練段階の実行は、多トークン英語フレーズｅ_１，．．．，ｅ_ｎに翻訳する言語ｌの単一トークン原単語ｆを探索するステップを含むことができる。単一トークン原単語ｆ及びその翻訳された多トークン英語フレーズｅ_１，．．．，ｅ_ｎは、フレーズ対（ｆ，ｅ_１，．．．，ｅ_ｎ）を形成することができる。各々のフレーズ対は、言語ｌの単一トークン原単語ｆの、その英語多トークンフレーズ翻訳ｅ_１，．．．，ｅ_ｎへの翻訳のための候補であってもよい。

２言語汎用複合語分割システムは、多トークン英語フレーズｅ_１，．．．，ｅ_ｎに含まれる各々のトークンを取り出し、語彙データベース（例えば図１のデータベース１０６）中で言語ｌのための個々のトークンの対応する翻訳を探索する。２言語抽出プロセスでは、２言語汎用複合語分割システムは、元の原単語ｗが複合語である場合、元の原単語ｗと少なくとも部分的に一致する語彙データベースの項目を見つけることができる。語彙データベースでの追加の探索を含むと、式（１）は２言語抽出プロセスからの結果として生じる翻訳対の形式を表すことができる。
ＰＴ_ＣＳ（ｆ）＝（ｆ，ｅ_１，．．．，ｅ_ｎ；ｇ_１，．．．，ｇ_ｎ）（１）

式（１）では、ＰＴ_ＣＳ（ｆ）は、この場合は複合語でありそうな原単語ｆに関する翻訳対である。多トークン英語フレーズｅ_１，．．．，ｅ_ｎは原単語ｆの英語翻訳を含み、ｇ_１，．．．，ｇ_ｎは原単語ｆの複合部分である。ＰＴ_ＣＳテーブルは、複数の単一トークン原単語ｆに関する項目を含むことができる。

いくつかの実施では、訓練手順中の自動的な翻訳フレーズテーブルの発生は、翻訳フレーズテーブル中に誤りを導入するかもしれない（例えば、不正確な単語の包含）。２言語抽出プロセスも、脱複合語化プロセス中にある程度のノイズ又は誤りを導入するかもしれない。しかしながら、２言語抽出プロセスは、図１に記載されている単一言語抽出プロセスよりよい、可能な複合語並びにそれらの構成部分の指標でありえる。２言語汎用複合語分割システムは、式（１）で定義される組（例えば（ｆ，ｅ_１，．．．，ｅ_ｎ；ｇ_１，．．．，ｇ_ｎ））を使用し、構成部分ｇ_１，．．．，ｇ_ｎを一緒に結合して複合語ｆを形成するときに必要かもしれない１つ又は複数の形態素変換を自動的に抽出することができる。例えば、２言語汎用複合語分割システムは、式（１）で定義される組を使用し、ドイツ語の複合語ｆの構成部分を結合するのに必要かもしれないどのようなつなぎ形態素も自動的に抽出することができる。

単一言語及び２言語汎用複合語分割システムは、訓練手順を使用し、複合語翻訳プロセスで使用される最終的な単語リスト（例えば、単語頻度リスト及び翻訳フレーズテーブルのそれぞれ）を発生させることができる。訓練手順の段階は、１つ又はそれ以上のフィルタステップを使用し、最終的な単語リストのサイズを制御すると共に、最終的な単語リストの品質を保証することができる。最終的な単語リストの品質に寄与する１つの要因は、１つ又はそれ以上の無効な複合部分の包含である。最終的な単語リストの品質に寄与する他の要因は、１つ又はそれ以上の有効な複合部分の除外である。

いくつかの実施では、汎用複合語分割システムは、白リスト及び黒リスト（又は「中止リスト」）を含むことができる。例えば、白リストは、システムが最終的な単語リストに常に含む１つ又はそれ以上の単語（例えば、構成要素、複合部分、複合語）を含むことができる。例えば、黒リストは、システムが最終的な単語リストから常に除外する又は通常は除外する１つ又はそれ以上の単語（例えば、構成要素、複合部分、複合語）を含むことができる。例えば、黒リスト及び白リストは、汎用複合語分割システムのパラメータ又はしきい値を学習又は訓練し、システム全体の性能を改善するために使用することができる。

いくつかの実施では、複合語の生成は、１つ又はそれ以上の形態素演算を含むことができる。例えば、ドイツ語の複合語、Ｖｅｒｋｅｈｒｓｚｅｉｃｈｅｎ（英訳：ｔｒａｆｆｉｃｓｉｇｎ（交通標識））は、２つの名詞、Ｖｅｒｋｅｈｒ（ｔｒａｆｆｉｃ（交通））及びＺｅｉｃｈｅｎ（ｓｉｇｎ（標識））から構成される。複合語Ｖｅｒｋｅｈｒｓｚｅｉｃｈｅｎの生成は、追加の形態素、ｓ形態素を含み、このｓ形態素は、複合語Ｖｅｒｋｅｈｒｓｚｅｉｃｈｅｎの２つの構成要素Ｖｅｒｋｅｈｒ及びＺｅｉｃｈｅｎを共に「つなぐ」ため、つなぎ形態素と呼ぶことができる。複合語Ｖｅｒｋｅｈｒｓｚｅｉｃｈｅｎを生成することは、追加の形態素演算、すなわち、文字「ｓ」の２つの構成要素Ｖｅｒｋｅｈｒ及びＺｅｉｃｈｅｎ間への挿入を含む。文字「ｓ」は、それ自身ではドイツ語の意味を持たないため、辞書にある単語ではない。

ドイツ語に関する形態素演算は、候補文字の小さい組に含まれている少数の文字の挿入及び削除を含むことができる。他の言語（例えばギリシア語、ハンガリー語）では、形態素演算はより複雑であるかもしれない（例えば、候補文字のより大きい組、１つの構成要素の１つ又はそれ以上の文字の置換、等）。汎用複合語分割システムは、形態素演算で使用するために選択するための文字の候補の組を含むことができる。汎用複合語分割システムは、例えば、訓練手順の段階を経て、特定の言語の複合語を生成するために使用されるつなぎ形態素及び他の追加の形態素演算をどのように検出するかを学習することができる。

いくつかの実施では、形態素演算は、文字列ｓ、ｔ０Ａ^＊の対（ｓ，ｔ）を含み、ここで文字列ｓは文字列ｔに置き換えられ、文字列ｓ及びｔの１つ又はそれ以上の文字が原言語のアルファベットＡに含まれる。クリーネ演算子「^＊」は、原言語のアルファベットＡで演算し、ここで文字列ｓ及びｔは、記号「ε」によって示される空（ヌル）文字列であってもよい。クリーネ^＊演算子を使用すると、各々の文字列ｓ、ｔが文字の組である場合、結果として、空文字列を含むＡ内の記号全体に渡るすべての文字列の組としてＡ^＊を生じる。

ドイツ語での形態素演算のための一例の文字列は（ｅｓ，ε）であり、これは、空文字列εに対するドイツ語の複合語Ｂｕｎｄｅｓａｇｅｎｔｕｒ（英訳：ｆｅｄｅｒａｌａｇｅｎｃｙ（連邦機関））のつなぎ形態素ｅｓをモデル化している。複合語（Ｂｕｎｄｅｓａｇｅｎｔｕｒの構成要素は、Ｂｕｎｄ（ｆｅｄｅｒａｌ（連邦の））及びａｇｅｎｔｕｒ（ａｇｅｎｃｙ（機関））であり、「ｅｓ」はつなぎ形態素である。

いくつかの実施では、１つ又はそれ以上の部分（部分語）から複合語を生成するために使用される形態素演算を学習するために、汎用複合語分割システムは、複合語とその複合部分との違いを決定する。システムは、２つのシーケンス（文字列）間の距離を測定するために使用される測定基準であるレーベンシュタイン距離を使用することができ、許容可能な編集演算は、単一文字の挿入、削除又は置換である。汎用複合語分割システムは、編集距離及び編集演算を格納する。レーベンシュタイン距離は、複合語化に必要な形態素演算を提供する。システムは、逆演算（例えば、文字列ｔを文字列ｓによって置き換える）を使用し、結果として、複合語の脱複合語化に必要な演算が生じる。各々の形態素演算は関係する「コスト」を有する。

レーベンシュタイン距離は、一様なコストを有する編集演算を含んでいる。しかしながらいくつかの実施では、一様なコストは、コストをすべての言語に関して同じにする脱複合語化のための形態素演算を学習することに関して望ましいかもしれない。いくつかの実施では、コストは、言語ごとに設定することができ、より複雑な言語はより高い演算コストを招くかもしれない。

式（１）の翻訳対を使用すると、汎用複合語分割システムは、訓練手順の一段階であってもよい学習プロセスで、レーベンシュタイン距離を複合語（ｆ）及びその構成部分（ｇ_１，．．．，ｇ_ｎ）の両方に使用し、１つ又はそれ以上の形態素演算を抽出することができる。例えば、（例えば、綴り誤りによって生じる）偽の及び単体の演算を学習することを回避するために、汎用複合語分割システムは、どれくらい各々の識別された形態素演算が使用されたかを明確にカウントすることができる。システムは、使用カウントが所定の予め決められたしきい値を超える演算を保持することができる。

図３は、汎用複合語分割システムによる複合語分割に使用される形態素の部分的リスト３００である。リスト３００は、汎用複合語分割システムが明確に指定することができる形態素を含むことができる。リスト３００は、例えば、上述した訓練手順の段階を経てシステムによって学習された形態素を含むことができる。リスト３００は、それぞれドイツ語（ｄｅ）及びオランダ語（ｄａ）に使用される形態素３０２、３０４を含んでいる。いくつかの実施では、追加の言語のための形態素をリスト３００に含めることができ、これらの形態素は辞書にない単語を含んでもよい。形態素は、部分的リスト３００に含まれるドイツ語形態素３０２の部分集合であるつなぎ形態素３０６を含んでいる。例えば、つなぎ形態素３０６は、ドイツ語の複合語の２つの部分語間に生じるかもしれない。汎用複合語分割システムが、訓練手順のある段階によって使用されるレーベンシュタイン距離を、挿入のみを含むように制限する（例えば、削除及び置換に関するコストが無限に設定される）場合、訓練手順のこの段階の出力は、つなぎ形態素３０６のリストを含むことができる。

形態論的に豊かな言語（例えば、ギリシア語、ハンガリー語）では、訓練手順を使用する形態素の学習は、形態素演算が挿入に加えて削除及び置換を含むことができるため、困難であるかもしれない。つなぎ形態素は挿入の一例である。汎用複合語分割システムは、訓練手順の段階であってもよい学習プロセスで、式（１）の翻訳対を使用し、１つ又はそれ以上の形態素演算を抽出することができる。ＰＴ_ＣＳテーブル内の複数の単一トークン原単語ｆに関して含まれる翻訳対の品質は、形態素演算の完全な範囲（挿入、削除及び置換）の学習に影響を及ぼすかもしれない。各々の単一トークン原単語ｆは、複数の翻訳を有するかもしれず、これは翻訳対の選択の困難さを増す。加えて、単一トークン原単語ｆに関する正確な翻訳は、ＰＴ_ＣＳテーブルに含まれていないかもしれない。

いくつかの実施では、汎用複合語分割システムは、ＰＴ_ＣＳテーブルのための項目を決定するために使用される抽出プロセスを改良することができる。例えば、第１ステップでは、システムは、複合語を含む言語が、いかなる追加の形態素演算を使用することなくそれらの複合部分を直接連結することによって形成された多数の複合語を含んでいると仮定することができる。この仮定は、汎用複合語分割器語彙に含めるための確実な複合部分の第１グループを提供することができる。例えば、第２ステップでは、汎用複合語分割システムは、第１ステップで決定された汎用複合語分割器語彙の複合部分を使用する唯一の形態素演算として、挿入（つなぎ形態素の使用）を許可することができる。

一例の実施では、システムは、それらの原言語から２つの英単語に翻訳される２つの複合部分を含む複合語のみを考慮する。加えて、最初の複合部分の始め又は最後の複合部分の終わりに生じる挿入は、個々の複合部分のそれら自身の形態論的変形であるかもしれない。複合部分のこれらの識別された形態論的変形は、汎用複合語分割器語彙に加えられる。複合語の追加の挿入演算は、つなぎ形態素と考えられる。システムは、任意の追加の学習されたつなぎ形態素を、汎用複合語分割システムによる複合語分割に使用される形態素のリストに加えることができる。例えば、第３ステップでは、汎用複合語分割システムは、更新された汎用複合語分割器語彙と、第２ステップからの更新された形態素のリストとを使用し、１つ又はそれ以上の形態素演算を含むかもしれない複合語に脱複合語化及び翻訳演算を行うことができる。

他の実施では、図１を参照すると、分割器１３２は、動的プログラムモデルを基礎とする複合語分割プロセスを使用し、入力複合語のための所望の分割シーケンス（分割点の数及び位置と構成要素）を決定することができる。分割器１３２は、入力文字列のトークンｗ＝ｃ_１．．．ｃ_Ｎ＝ｃ_１ ^Ｎを受け取ることができ、ここでｃ_１ ^Ｎは文字のシーケンスである。分割器１３２は、動的プログラムモデルを基礎とする複合語分割プロセスを使用し、複合部分がトークンｗの構成要素となるように、分割点の所望のシーケンス

を決定することができ、ここで、

である。

図１を参照すると、式（２）は、分割器１３２がトークンｗを構成要素である語彙素のシーケンスに完全に分割することを必要とする。したがって、分割器１３２は、構成要素を見つけ、トークンｗに関する所望の分割を決定することができる。いくつかの実施では、トークンｗの原言語（例えばドイツ語）の複合語の構成要素は、語彙素である。いくつかの実施では、トークンｗの原言語の複合語の構成要素は、有効な単語ではなくてもよい（すなわち、辞書にない単語であってもよい）。例えば、ギリシア語では、式（４）に使用されている構成部分は、ギリシア語辞書に含まれている有効な単語でなくてもよい。この場合、分割器１３２は、トークンｗを、有効な辞書にある単語でなくてもよい構成要素に分割することができる。脱複合語化エンジン１０８に含まれる翻訳モジュール１３６は、各々の辞書にない単語構成要素を語彙素に変換することができる。変換された語彙素は、ｇ_１ ^Kによって示される。決定規則は、式（５）、（６）及び（７）に示すように改良することができる。

によって表される複合部分確率は、ゼロ次モデルである。複合部分確率は、分割の数Ｋに依存する。脱複合語化エンジン１０８は、分割器１３２によって識別された各々の分割に、一定の分割ペナルティξを科す。このとき確率は、分割数Ｋと無関係であってもよい。複合部分確率が前の分割と無関係で分割数と無関係の場合、式（８）は、複合語の分割点を決定するために使用される決定規則を表すことができる。

いくつかの実施では、脱複合語化エンジン１０８は、動的プログラミングを使用し、複合語の原トークンのための所望の分割シーケンスを見つけることができる。コスト関数は、各々の複合語分割に関するコストを決定することができる。コスト関数は、各々の複合部分（構成要素）に関する個々のコストから、脱複合語化された単語の合計コストを計算することができる。動的プログラムモデルを基礎とする複合語分割プロセスは、補助関数Ｑを使用することができる。

したがって、Ｑ（ｃ_１ ^ｊ）は、分割器１３２が位置ｎ_１ ^ｋでＫ分割を使用する場合、コスト関数を接頭辞文字列ｃ_１ ^ｊに割り当てる最小コスト（最高確率）に等しい。これは結果として再帰式（１０）を生じる。

バックポインタＢ（ｊ）が式（１１）で定義される。

式（１１）では、

は、確率又はコスト関数である。逆対数を式（１０）及び式（１１）に用いることにより、確率量をコストとして解釈することができる。

図４は、一例の動的プログラムモデルを基礎とする複合語分割プロセス４００（プロセス１）のリスト化を示す。プロセス４００は、入力文字列の長さにおいて二次である。いくつかの実施では、「ｆｏｒ」ループ４０２を、
「ｆｏｒｊ＝ｉ＋１，．．．，ｍｉｎ（ｉ＋ｌ，Ｎ）ｄｏ」に変更することができ、ここで各々の複合部分は予め定義された長さｌを超えない。この変更の結果として、長さｌは予め定義された定数であるため、プロセス４００は入力単語Ｏ（｜ｗ｜）の長さにおいて一次になる。

いくつかの実施では、プロセス４００の成果はコスト関数ｃｏｓｔ（・）又は確率

に依存する。複数の知識源を使用し、確率をモデル化することができる。図１を参照して説明したように、単語頻度リスト（例えば第１部分的語彙リスト１１４）は、頻度カウント（例えば頻度カウント１１４ｃ）を潜在的な複合部分候補（例えば単語１１４ｂ）と関係づけることができる。変換された語彙素複合部分ｇ_ｋに関する適切な候補の発生は、ＰＴ_ＣＳテーブルを参照して前に説明した。

ｇ_ｋへの依存性を無視すると、確率

の部分語

は、トークンｗを形成するために使用することができる複合部分候補を示すことができる。複合部分候補は、これらの関係する頻度カウントと共に、言語モデル語彙リストから単一言語的に、あるいは、フレーズテーブルから２言語的に抽出することができる。これらの抽出プロセスは、本明細書で前に説明した。複合部分確率に関するゼロ次モデルの使用は、言語モデル語彙リストによって提供されるユニグラムカウント（頻度カウント）による複合部分確率の直接の置き換えを考慮している。この場合、規格化定数である、一定の分割ペナルティξは、言語モデル語彙リストの各項目に関して同じままである。したがって、規格化定数は、複合部分確率に影響せず、省略することができる。

図５は、単一言語言語モデル語彙リストから抽出された語彙素例のリスト５００を示す。リスト５００は、語彙素（例えば語彙素５０２）と、語彙素の関係する頻度カウント（例えば頻度カウント５０２ａ）と、語彙素の言語を表す言語コード（例えば言語コード５０２ｂ）とを含んでいる。図１を参照すると、リスト５００は、汎用複合語分割システム（例えばシステム１００）による脱複合語化エンジン（例えば脱複合語化エンジン１０８）によって使用されるデータベース（例えばデータベース１０２）に含めることができる。

分割位置ｎ_ｋ−１に対する確率の依存性は、動的プログラムモデルを基礎とする複合語分割プロセス（例えばプロセス４００）がトークンｗの始めか、中央か、又は終わりにあるのかを示す。次にプロセスは、開始形態素、つなぎ形態素及び終了形態素間を識別することができる。図３を参照して説明したように、汎用複合語分割システムは、２か国語フレーズテーブルを使用する訓練手順中、形態素の明確な設定、あるいは、形態素の自動的な抽出を可能にすることができる。

形態素リスト３００は、それぞれ接頭辞形態素、挿入辞形態素又は接尾辞形態素として使用し、複合部分のシーケンスを接続して複合語を形成することができる開始形態素、つなぎ形態素（例えば形態素３０６）及び終了形態素（例えば形態素３０８）を含むことができる。汎用複合語分割システムは、複合語を脱複合語化するとき、開始形態素、つなぎ形態素及び終了形態素を、それぞれ接頭辞形態素、挿入辞形態素又は接尾辞形態素として検出することができる。いくつかの実施では、汎用複合語分割システムは、複合語を脱複合語化するとき、１つ又はそれ以上の形態素を検出又は置換することができる。

図６は、複合部分の接尾辞に関するステマー終了形態素６０２及び発生器終了形態素６０４のリスト６００を示す。汎用複合語分割システムは、ステマー規則及び発生器規則を使用して形態素置換を行うことができる。部分的リスト６００は、ギリシア語（例えば言語コード「ｅｌ」）のための終了形態素を含んでいる。例えば、動的プログラムモデルを基礎とする複合語分割プロセスを使用する汎用複合語分割システムは、ギリシア語の単語：

（英訳：ｇａｍｂｌｅ（ギャンブル））を以下に示すように脱複合語化する。

この例では、複合部分

の接尾辞ｏは、ステマー接尾辞６０６によって語幹処理され、発生器接尾辞６０８によって置換される。いくつかの実施では、汎用複合語分割システムは、発生器規則のその後の適用なしでステマー規則を適用することによって、形態素の除去を行うことができる。いくつかの実施では、図４に示すプロセス４００は、複数の形態素間の直接翻訳を処理して形態素シーケンスの発生を回避することができない。これを達成するために、他の形態素に直接続くこれらの形態素のコストを無限に設定することができる。

いくつかの実施では、汎用複合語分割システムに含まれる汎用プリプロセッサは、カスタマイズ可能なスコアラインタフェースを提供し、複数のコスト関数をサポートする。例えば、特定のスコアラは、コストを複合語の構成要素の各々に割り当てるスコアリング機能を実施する。加えて、スコアラインタフェースは、任意の形態素演算を処理する方法を提供することができる。一度汎用複合語分割システムが訓練手順中に形態素演算を学習すると、形態素演算は、形態素リスト（例えば、リスト３００、リスト６００）に含めることができる。

図７は、汎用複合語分割システムによってサポートされる言語のテーブル７００である。テーブル７００は、それらの言語ファミリーにしたがって分類された言語を列挙している。汎用複合語分割システムは、テーブル７００に列挙されていない追加の言語をサポートすることができる。いくつかの実施では、汎用複合語分割システムは、システムによってサポートされている各々の言語に関する脱複合語化プロセスで使用される言語特定情報を含んでいる。言語特定情報は、言語依存単語頻度リストと、言語依存形態素又は形態素演算とを含むことができる。

図１及び４を参照すると、コスト関数であるプロセス４００に関する

を計算するために、分割器１３２は、複合部分候補

の単語頻度を、データベース１０２に格納されている単語頻度リストから引き出す。例えば、単語頻度リストが言語あたり約１０００００項目を含み、単語あたり平均２０バイトの長さで、単語頻度を格納するために４バイト整数値の場合、データベース１０２は、５０言語をサポートする脱複合語化モデルのための情報を格納するために、約１１５メガバイトの記憶装置を必要とする。

いくつかの実施では、言語に関する情報に必要な記憶容量を減少するために、汎用複合語分割システムは、パックされた６４ビットフィンガープリントを計算し、単語のフィンガープリントのために４０ビット、単語の頻度のために２４ビットを受け取る。したがって、単語頻度項目のためのルックアップテーブルは、すべての単語を格納する必要はない。汎用複合語分割システムは、特定の複合語候補が単語頻度リストに現れるかどうかを対象とし、候補それ自体を引き出す必要はない。したがって、単語頻度リスト内に単語のためのフィンガープリントを保持すれば十分である。４０ビットフィンガープリントの使用は、衝突（異なった単語に同じフィンガープリント）の数を減少させる。４０ビットフィンガープリントの使用は、結果として、５０言語をサポートするための１９メガバイトのメモリフットプリントを生じ、これは、単語頻度リストにすべての単語を格納するために必要な１１５メガバイトより有意に少ない。

例えば、図１の汎用複合語分割システム１００は、英語の複合語：ｆｌｏｗｅｒｐｏｔを分割することを試みる。図１を参照すると、脱複合語化エンジン１０８は、この複合語を受け取る。分割器１３２は、プロセス４００を実行し、すべての分割点を試し、コスト関数にしたがって最小のコストを結果として生じる複合語分割を決定する。この例では、複合語は２つの部分に分割される。分割器１３２は２つの分割点を位置づけ、ここで分割点の数はＫ（例えばＫ＝２）によって示され、複合語中の分割点の位置はｎ_１及びｎ_２によって示される。複合語「ｆｌｏｗｅｒｐｏｔ」は９つの文字ｃ_１，．．．，ｃ_９から構成されるため、文字ｃ_１，．．．，ｃ_９内に分割点ｎ_１の位置に関して８つの可能性が存在する。例えば、ｎ_１＝６ならば、６番目の文字で終わる構成要素候補は、第１複合部分「ｆｌｏｗｅｒ」である。分割点ｎ_２の位置は、常に複合語の最後の文字である。分割点ｎ_２の位置は、固定され、予め設定することができ、ここでｎ_２＝９である。したがって残りの文字ｃ_７，．．．，ｃ_９は第２複合部分「ｐｏｔ」を形成する。複合語「ｆｌｏｗｅｒｐｏｔ」内のすべての可能な単一分割を試すと、結果として以下の構成要素候補が生じる。
ｆｌｏｗｅｒｐｏｔ→ｆ+ｌｏｗｅｒｐｏｔ
ｆｌｏｗｅｒｐｏｔ→ｆｌ+ｏｗｅｒｐｏｔ
ｆｌｏｗｅｒｐｏｔ→ｆｌｏ+ｗｅｒｐｏｔ
・・・
ｆｌｏｗｅｒｐｏｔ→ｆｌｏｗｅｒ+ｐｏｔ
・・・
ｆｌｏｗｅｒｐｏｔ→ｆｌｏｗｅｒｐｏ＋ｔ

構成要素候補が複合語「ｆｌｏｗｅｒｐｏｔ」の複合部分であるかどうかを決定する際、プロセス４００を使用する分割器１３２は、単語頻度リストに含まれる候補に関する頻度カウントを使用し、各々の複合部分候補にコストを関係付ける。プロセス４００は、各々の構成要素候補のコストを合計することによって、複合語の脱複合語化のための構成要素候補に関する合計コストを決定する。例えば、単一の文字「ｆ」が頻繁に現れ、複合語を脱複合語化するための合計コストに小さいコスト（高い確率）しか寄与しないかもしれず、単語「ｌｏｗｅｒｐｏｔ」がまったく現れず、複合語を脱複合語化するための合計コストに高いコスト（低い確率）を寄与すると思われる。したがって、「ｆｌｏｗｅｒｐｏｔ」の「ｆ」及び「ｌｏｗｅｒｐｏｔ」への分割はありそうにない。

他の例では、構成要素「ｆｌｏｗｅｒ」が英語の中で頻繁に現れ、複合語を脱複合語化するための合計コストに小さいコスト（高い確率）しか寄与せず、構成要素「ｐｏｔ」も英語の中で頻繁に現れ、複合語を脱複合語化するための合計コストに追加の小さいコスト（高い確率）しか寄与しない。プロセス４００は、この分割のためのコストは最も低く、したがって、これらの構成要素は複合語の複合部分であることを決定する。分割点ｎ_１のための所望の位置は６に等しい。

例えば、図１の汎用複合語分割システム１００は、ドイツ語の複合語「Ｖｅｒｋｅｈｒｓｚｅｉｃｈｅｎ」（英訳：ｔｒａｆｆｉｃｓｉｇｎ（交通標識））を分割することを試みる。英語の複合語「ｆｌｏｗｅｒｐｏｔ」の２つの複合部分への分割の例では、複合語は、２つの連結された、辞書にある単語から構成されていた。しかしながら、ドイツ語の複合語「Ｖｅｒｋｅｈｒｓｚｅｉｃｈｅｎ」は、２つの複合部分である辞書にある単語と、２つの部分語間の形態素又はつなぎ形態素とから構成されている。図１を参照すると、脱複合語化エンジン１０８は複合語を受け取る。分割器１３２は、プロセス４００を実行し、すべての分割点を試し、コスト関数に従って最小コストを結果として生じる複合語分割を決定することができる。この例では、複合語は３つの部分に分割され、Ｋ＝３となる。複合語「Ｖｅｒｋｅｈｒｓｚｅｉｃｈｅｎ」中のすべての可能な２つの分割を試すと、結果として以下の構成要素候補が生じる。

Ｖｅｒｋｅｈｒｓｚｅｉｃｈｅｎ→Ｖ＋ｅ＋ｒｋｅｈｒｓｚｅｉｃｈｅｎ
Ｖｅｒｋｅｈｒｓｚｅｉｃｈｅｎ→Ｖ＋ｅｒ＋ｋｅｈｒｓｚｅｉｃｈｅｎ
Ｖｅｒｋｅｈｒｓｚｅｉｃｈｅｎ→Ｖ＋ｅｒｋ＋ｅｈｒｓｚｅｉｃｈｅｎ
．．．
Ｖｅｒｋｅｈｒｓｚｅｉｃｈｅｎ→Ｖｅｒｋｅｈｒ＋ｓ＋ｚｅｉｃｈｅｎ
．．．
Ｖｅｒｋｅｈｒｓｚｅｉｃｈｅｎ→Ｖｅｒｋｅｈｒｓｚｅｉｃｈ＋ｅ＋ｎ

分割器１３２は、単語頻度リスト中に各々の可能な構成要素を検索し、その頻度を決定する。プロセス４００は、最低のコスト（最高の確率）を有する複合語分割を決定することによって、所望の分割点を決定する。これは結果として、ｎ_１＝７、ｎ_２＝８及びｎ_３＝１５の分割点の位置となる所望の複合語分割を生じる。この例では、追加のｓ形態素は、複合部分Ｖｅｒｋｅｈｒ及びｚｅｉｃｈｅｎをつなぐため、つなぎ形態素である。いくつかの実施では、汎用複合語分割システム１００は、すべての可能なつなぎ形態素のリスト（例えばリスト３００）を含むことができる。システムは、可能なつなぎ形態素を仮定し、２つの複合部分間に挿入することができる。

例えば、図１の汎用複合語分割システム１００は、ギリシア語の複合語

（英訳：ｃａｒｄｂｏａｒｄｂｏｘ（段ボール箱））を分割することを試みる。ドイツ語の複合語「Ｖｅｒｋｅｈｒｓｚｅｉｃｈｅｎ」を分割する例では、システム１００はつなぎ形態素を２つの複合部分間に挿入した。ギリシア語の複合語の第１複合部分

は、ギリシア語の辞書に見つけることができる。第２複合部分

は、有効なギリシア語単語ではなく、ギリシア語の辞書に見つけることができない。

加えて、第１複合部分

は、ギリシア語の辞書に見つけることができるが、複合部分のより一般的に見つけられる形は、

である。図１を参照すると、汎用複合語分割システム１００の脱複合語化エンジン１０８は、１つ又はそれ以上の形態素置換を行うことができる。特に、脱複合語化エンジン１０８内の変換モジュール１３６は、１つ又はそれ以上の複合部分の接尾辞を形態素に置換し、形態素演算ｇ_ｋを行い、結果として変換された複合部分候補を生じることができる。脱複合語化エンジン１０８は、変換された複合部分候補を単語頻度リスト内で検索し、その頻度カウントを決定することができる。分割器１３２は、プロセス４００を実行し、すべての分割点を試し、コスト関数に従って最小コストを結果として生じる複合語分割を決定することができる。この例では、複合語は２つの部分に分割される。

分割器１３２は、複合語

中のすべての可能な２つの分割を試すことができ、１つ又はそれ以上の複合部分候補に種々の形態素演算ｇ_ｋを行い、候補を辞書にない単語から辞書にある単語に変換することができる。これは結果として、以下の複合部分候補及び形態素演算ｇ_ｋを生じる。

言語に応じて、形態素演算ｇ_ｋは任意に複雑になるかもしれない。加えて、言語ごとにすべての形態素操作を明示的にリスト化することは実行可能ではないかもしれない。したがって、訓練手順を使用すると、形態素演算を見つけ、追加の知識源として汎用複合語分割システムに提供することができる。

図８は、本開示の実施にしたがって使用することができるネットワークアーキテクチャ８００の一例の図である。要素のすべてはネットワーク８０６に結合されている。図８の装置８０８、８０６、８１４の各々は、ハードウェア部品、ソフトウェア部品又はファームウェア部品、あるいはこれらのような部品の任意の組み合わせで実装することができ、又はこれらと関係づけることができる。例えば、装置８０８、８０６、８１４は、汎用のサービス、ソフトウェアプロセッサ及びエンジン、及び／又は種々の組込みシステムで実装することができ、又はこれらと関係づけることができる。

アーキテクチャ８００は、１つ又はそれ以上のユーザアクセス装置８０８（ユーザアクセス装置８０８ａ、ユーザアクセス装置８０８ｂ、ユーザアクセス装置８０８ｃ）及びコンピュータシステム８１４を含んでいる。コンピュータシステム８１４は、サーバ８０２及びデータベース８０４ａ、８０４ｂ、８０４ｃ、８０４ｄを含んでいる。いくつかの実施では、アーキテクチャ８００は、ネットワーク８０６上で互いに通信するために接続的に結合されている１つ又はそれ以上のクライアント（例えば、ユーザアクセス装置８０８ａがクライアントとして機能することができる）及び／又は１つ又はそれ以上のサーバ（例えばサーバ８０２）を含む複数のコンピュータシステムをサポートするクライアント／サーバシステムを表している。いくつかの実施では、クライアントは１つ又はそれ以上のサーバに（ネットワーク８０６による接続なしで）直接接続されている。

ユーザアクセス装置８０８は、ネットワーク８０６からの情報を受信することができる装置を含むことができる。ユーザアクセス装置８０８は、汎用コンピュータ、専用コンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、ハンドヘルドコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ：ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、携帯電話、ネットワーク機器、カメラ、スマートフォン、拡張型汎用パケット無線サービス（ＥＧＰＲＳ：ｅｎｈａｎｃｅｄｇｅｎｅｒａｌｐａｃｋｅｔｒａｄｉｏｓｅｒｖｉｃｅ）携帯電話、メディアプレイヤー、ナビゲーション装置、電子メールサービス、ゲームコンソール、あるいは、これらのデータ処理装置又は他のデータ処理装置の任意の２つ又はそれ以上の組み合わせを含むがこれらに限定されない処理装置の種々の形態を表すことができる。加えて、各々のユーザアクセス装置８０８は、サーバ８０２上のアプリケーションソフトウェアにアクセスすることができる。

サーバ８０２は、ウェブサーバ、アプリケーションサーバ、プロキシサーバ、ネットワークサーバ、又はサーバファームを含むがこれらに限定されない種々の形態を表すことができる。例えば、サーバ８０２は、ユーザアクセス装置８０８によってアクセスされるソフトウェアを実行するアプリケーションサーバであってもよい。動作中、複数のユーザアクセス装置８０８は、ネットワーク８０６によってサーバ８０２と通信することができる。いくつかの実施では、アーキテクチャ８００は、ユーザが、ユーザアクセス装置８０２の１つの上で実行するウェブブラウザを使用してサーバ８０２上で利用可能なアプリケーションを呼び出すことを可能にすることができる。各々のアプリケーションは、１つ又はそれ以上のリポジトリリソース（例えば、データベース８０４ａ、８０４ｂ、８０４ｃ、８０４ｄ）からのデータに個々にアクセスすることができる。例えば、サーバ８０２は、データベース８０４ａ、８０４ｂ、８０４ｃ、８０４ｄにアクセスすることができる。

いくつかの実施では、ユーザアクセス装置８０８は通信インタフェース（図示せず）を介して無線式に通信し、通信インタフェースは必要ならばデジタル信号処理回路網を含むことができる。通信インタフェースは、とりわけ、モバイル通信用グローバルシステム（ＧＳＭ（登録商標）：ＧｌｏｂａｌＳｙｓｔｅｍｆｏｒＭｏｂｉｌｅＣｏｍｍｕｎｉｃａｔｉｏｎｓ）音声通話、ショートメッセージサービス（ＳＭＳ：ＳｈｏｒｔＭｅｓｓａｇｅＳｅｒｖｉｃｅ）、拡張メッセージサービス（ＥＭＳ：ＥｎｈａｎｃｅｄＭｅｓｓａｇｉｎｇＳｅｒｖｉｃｅ）又はマルチメディアメッセージサービス（ＭＭＳ：ＭｕｌｔｉｍｅｄｉａＭｅｓｓａｇｉｎｇＳｅｒｖｉｃｅ）メッセージング、符号分割多元接続（ＣＤＭＡ：ＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ）、時分割多元接続（ＴＤＭＡ：ＴｉｍｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ）、プライベートデータチャンネル（ＰＤＣ：ＰｒｉｖａｔｅＤａｔａＣｈａｎｎｅｌ）、広帯域符号分割多元接続（ＷＣＤＭＡ：ＷｉｄｅｂａｎｄＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ）、符号分割多元接続２０００（ＣＤＭＡ２０００）又は汎用パケット無線サービス（ＧＰＲＳ：ＧｅｎｅｒａｌＰａｃｋｅｔＲａｄｉｏＳｅｒｖｉｃｅ）のような種々のモデル又はプロトコルの下での通信を提供することができる。例えば、通信は、無線周波数送受信機（図示せず）を介して生じてもよい。加えて、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））（例えばＩＥＥＥ８０２．１５ｘ）、ワイファイ（ＷｉＦｉ）（例えば８０２．１１ｘ）又は他のこのような送受信機を使用するような近距離通信が生じてもよい。

いくつかの実施では、アーキテクチャ８００は、ネットワーク８０６のような１つ又はそれ以上のネットワークに及ぶ分散型クライアント／サーバシステムである。ネットワーク８０６は、任意の数のモバイルクライアント、固定クライアント及びサーバを接続する、ローカルエリアネットワーク（ＬＡＮ：ｌｏｃａｌａｒｅａｎｅｔｗｏｒｋ）、ワイドエリアネットワーク（ＷＡＮ：ｗｉｄｅａｒｅａｎｅｔｗｏｒｋ）、インターネット、セルラネットワーク、又はそれらの組み合わせのような大規模コンピュータ・ネットワークであってもよい。いくつかの実施では、ユーザアクセス装置８０８の各々は、仮想プライベートネットワーク（ＶＰＮ：ｖｉｒｔｕａｌｐｒｉｖａｔｅｎｅｔｗｏｒｋ）、セキュアシェル（ＳＳＨ：ＳｅｃｕｒｅＳｈｅｌｌ）トンネル、又は他のセキュアネットワーク接続を介してサーバ８０２と通信する。いくつかの実施では、ネットワーク８０６は、インターネット、無線サービスネットワークを含み、公衆電話交換網（ＰＳＴＮ：ＰｕｂｌｉｃＳｗｉｔｃｈｅｄＴｅｌｅｐｈｏｎｅＮｅｔｗｏｒｋ）を含んでもよい。他の実施では、ネットワーク１０６は企業ネットワーク（例えばインターネット）及び１つ又はそれ以上の無線アクセスポイントを含んでいる。

ユーザアクセス装置８０８の各々は、サーバ８０２とのそれ自身のセッションを確立することができる。各々のセッションは、ある時点で確立され他の時点で破棄されるため、半永久的であることができる。各々のセッションは、コンピュータシステム８１４と個々のユーザアクセス装置との間の双方向情報交換を含むことができる。例えば、ハイパーテキスト転送プロトコル（ＨＴＴＰ：ＨｙｐｅｒｔｅｘｔＴｒａｎｓｆｅｒＰｒｏｔｏｃｏｌ）セッションは、個々のユーザとの情報の関連付けを可能にする。１つ又はそれ以上のユーザアクセス装置８０８は、ネットワーク８０６を介してサーバ８０２と通信することができる。アプリケーションを実行するために、各々のユーザアクセス装置は、アプリケーションサーバ８０２との対応するセッションを確立することができる。

例えば、ユーザアクセス装置８０８ａを使用するユーザは、ネットワーク８０６によってサーバ８０２との通信セッションを確立することができる。サーバは、汎用複合語分割システム（例えば、図１で説明した汎用複合語分割システム１００）を含むことができる。ユーザは、表示装置８１８上に表示されたグラフィカルユーザインタフェース（ＧＵＩ：ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）で、キーボード８１６を使用して、翻訳する複合語を入力することができる。ＧＵＩに含まれる翻訳ボタンのユーザによる活性化に応じて、ユーザアクセス装置８０８ａは、ネットワーク８０６によって複合語を計算システム８１４に送信する。図１を参照すると、汎用複合語分割システム１００を含むサーバ８０２は、複合語を受信し、複合語を入力文字列モジュール１２２に入力する。汎用複合語分割システム１００は次に、本明細書で前に説明したような入力複合語への脱複合語化及び翻訳プロセスを実行する。このプロセスを実行する間、システム１００はデータベース１０２、１０４、１０６及び１２８を表すことができる１つ又はそれ以上のデータベース８０４ａ、８０４ｂ、８０４ｃ、８０４ｄにアクセスすることができる。システム１００は、計算装置８１４と同様に、汎用複合語分割システムによって必要とされるような追加のデータベースを含むことができる。翻訳エンジン１４２は、翻訳された出力文字列１４４を出力する。サーバ８０２は、ネットワーク８０６によって、翻訳された出力文字列１４４を、表示装置８１８上のＧＵＩでユーザに表示するために、ユーザアクセス装置８０８ａに送信する。

図９は、一例の脱複合語化プロセス９００のフローチャートである。汎用複合語分割システム１００、特に脱複合語化エンジン１０８は、プロセス９００を実行することができる。

例えば、図１を参照すると、プロセス９００は、トークンが取得された（９０４）場合、開始する（９０２）。例えば、入力文字列モジュール１２２は、トークン（入力文字列１２６）を取得する。脱複合語化エンジン１０８は、トークン（入力文字列１２６）を受け取る。脱複合語化エンジン１０８は、トークンに含まれる２つ又はそれ以上の候補部分語を識別する（９０６）。図１を参照して説明したように、分割器１３２は、（図４の）プロセス４００を実行し、入力トークンに関する２つ又はそれ以上の候補部分語を決定する。脱複合語化エンジン１０８は、１つ又はそれ以上の形態素演算を識別する。翻訳モジュール１３６は、脱複合語化プロセスで１つ又はそれ以上の形態素演算を使用することができる。脱複合語化エンジン１０８、特にコストモジュール１３４は、各々の部分語のコストを決定する（９０８）。加えて、脱複合語化エンジン１０８及びコストモジュール１３４は、各々の形態素演算のコストを決定する（９１０）。プロセスが終了する（９１２）。

いくつかの実施を説明してきた。それにもかかわらす、本開示の趣旨及び範囲から逸脱することなく種々の変更を行うことができることは理解されるであろう。例えば、上記で示した流れは、ステップを再順序付けして、ステップを追加して、又はステップを除去して使用することができる。したがって、他の実施は、以下の請求項の範囲内である。

本発明の実施形態及び本明細書に記載した機能的動作のすべては、本明細書で開示された構成及びそれらの構造的等価物を含むデジタル電子回路網で、コンピュータソフトウェア、ファームウェア又はハードウェアで、あるいはそれらの１つ又はそれ以上の組み合わせで実施することができる。本発明の実施形態は、１つ又はそれ以上のコンピュータプログラム製品として、すなわち、データ処理装置の動作によって実行又はこれを制御するためのコンピュータ読み込み可能な媒体上で符号化されているコンピュータプログラム命令の１つ又はそれ以上のモジュールとして実現することができる。コンピュータ読み込み可能な媒体は、機械可読記憶基板、メモリ装置、機械可読伝搬信号に作用する組成物、又はそれらの１つ又はそれ以上の組み合わせとすることができる。用語「データ処理装置」は、例としてプログラム可能プロセッサ、コンピュータ、あるいは、マルチプロセッサ又はプロセッサを含む、データを処理するすべての装置、デバイス及び機械を含む。装置は、ハードウェアに加えて、問題のコンピュータプログラムのための実行環境を形成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらの１つ又はそれ以上の組み合わせを構成するコードを含むことができる。伝搬信号は、人工的に発生された信号、例えば、好適な受信装置に送信するための情報を符号化するために発生された、機械により発生された電気信号、光信号又は電磁信号である。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる）は、コンパイル型言語又はインタプリタ型言語を含む任意の形式のプログラミング言語で書くことができ、独立型プログラムとして、又はモジュールとして、部品、サブルーチン又は、計算環境で使用するのに好適な他のユニットを含む、任意の形式で配置することができる。コンピュータプログラムは、ファイルシステム内のファイルに必ずしも対応しない。プログラムは、他のプログラム又はデータ（例えば、マークアップ言語ドキュメントに格納された１つ又はそれ以上のスクリプト）を保持するファイルの一部に、問題のプログラムに専用の単一のファイルに、又は、複数の協調ファイル（例えば、１つ又はそれ以上のモジュール、サブルーチン又はコードの部分を格納するファイル）に格納することができる。コンピュータプログラムは、１台のコンピュータ上で、あるいは、１つのサイトに設置されるか、分散され通信ネットワークによって相互接続された複数のサイトに渡って設置された複数のコンピュータ上で実行されるように配置することができる。

本明細書で説明されたプロセス及び論理フローは、１つ又はそれ以上のコンピュータプログラムを実行して、入力データへの演算及び出力の発生によって機能を実行する、１つ又はそれ以上のプログラム可能なプロセッサによって実行することができる。プロセス及び論理フローは、専用論理回路網、例えば、ＦＰＧＡ（ｆｉｅｌｄｐｒｏｇｒａｍｍａｂｌｅｇａｔｅａｒｒａｙ（現場プログラム可能ゲートアレイ））又はＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎｓｐｅｃｉｆｉｃｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔ（特定用途向け集積回路））によっても実行することができ、装置をこれらとして実装することができる。

コンピュータプログラムの実行に好適なプロセッサは、例として、汎用及び専用のマイクロプロセッサの両方と、任意の種類のデジタルコンピュータの任意の１つ又はそれ以上のプロセッサとを含む。一般に、プロセッサは、読み出し専用メモリ又はランダムアクセスメモリ、あるいはその両方から命令及びデータを受け取る。コンピュータの必須の要素は、命令を実行するプロセッサと、命令及びデータを格納する１つ又はそれ以上のメモリ装置である。一般に、コンピュータは、データを格納する１つ又はそれ以上の大容量記憶装置、例えば、磁気ディスク、光磁気ディスク、又は光ディスクも含み、あるいは、これらからデータを受け取るかこれらにデータを伝送する、又はそれらの両方を行うようにこれらに動作可能に結合される。しかしながら、コンピュータはこのような装置を有する必要はない。さらに、コンピュータは他の装置、例えば、いくらかの例を挙げると、タブレットコンピュータ、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、携帯オーディオプレイヤ、全地球測位システム（ＧＰＳ：ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）受信機、に組み込むことができる。コンピュータプログラム命令及びデータを格納するのに好適なコンピュータ読み込み可能な媒体は、例として、半導体メモリ装置、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ及びフラッシュメモリ装置と、磁気ディスク、例えば内蔵ハードディスク又はリムーバブルディスクと、光磁気ディスクと、ＣＤＲＯＭ及びＤＶＤ−ＲＯＭとを含む、すべての形式の不揮発性メモリ、媒体及びメモリ装置を含む。プロセッサ及びメモリは、専用論理回路網によって補う、又はこれに組み込むことができる。

ユーザとの対話を提供するために、本発明の実施形態は、情報をユーザに表示する表示装置、例えばＣＲＴ（ｃａｔｈｏｒｄｒａｙｔｕｂｅ（陰極線管））又はＬＣＤ（ｌｉｑｕｉｄｃｒｙｓｔａｌｄｉｓｐｌａｙ（液晶ディスプレイ））モニタ、と、ユーザがコンピュータに入力を提供することができるようにするキーボード及びポインティングデバイス、例えばマウス又はトラックボール、とを有するコンピュータ上で実施することができる。他の種類の装置を使用して同様にユーザとの対話を提供することができ、例えば、ユーザに与えられるフィードバックは、任意の形式の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック、とすることができ、ユーザからの入力は、音響、音声、又は触覚入力を含む任意の形式で受け取ることができる。

本発明の実施形態は、例えばデータサーバとしてバックエンド構成要素を含む、又は、ミドルウェア構成要素、例えばアプリケーションサーバを含む、又は、フロントエンド構成要素、例えばグラフィカルユーザインタフェースを有するクライアントコンピュータか、ユーザが本発明の実施と対話することができるようにするウェブブラウザを含む、あるいは、１つ又はそれ以上のこのようなバックエンド、ミドルウェア又はフロントエンド構成要素の任意の組み合わせを含む計算システムで実施することができる。システムの構成要素は、デジタルデータ通信の任意の形式又は媒体、例えば通信ネットワークによって、相互接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）及びワイドエリアネットワーク（「ＷＡＮ」）、例えばインターネットを含む。

計算システムは、クライアント及びサーバを含むことができる。クライアント及びサーバは、一般には互いに離れており、代表的には通信ネットワークを通じて相互作用する。クライアントとサーバの関係は、個々のコンピュータ上で実行され、互いにクライアント−サーバ関係を有するコンピュータプログラムによって生じる。

本明細書は多くの詳細を含んでいるが、これらは本発明の又は請求することができるものの範囲への制限として解釈すべきではなく、本発明の特定の実施形態に特有の特徴の説明として解釈すべきである。個々の実施形態の文脈で本明細書に記載された特定の特徴は、単一の実施形態で組み合わせて実施することもできる。逆に、単一の実施形態の文脈で記載された種々の特徴は、複数の実施形態で別々に、又は、任意の適切な部分的組み合わせで実施することもできる。さらに、特徴が、特定の組み合わせで作用するように上記で説明され、そのように最初に請求さえされているかもしれないが、請求された組み合わせからの１つ又はそれ以上の特徴は、いくつかの場合で、組み合わせから削除することができ、請求せれた組み合わせは、部分的組み合わせ又は部分的組み合わせの変形を対象としてもよい。

同様に、動作が特定の順序で図面に示されているが、これは、所望の結果を達成するために、これらの動作が示された順序で又は順番に実行されること、あるいは、すべての例示された動作が実行されることを必要とするとして理解すべきではない。特定の状況では、マルチタスク及び並列処理が有利であるかもしれない。さらに、上述した実施形態の種々のシステム構成要素の分離は、すべての実施形態でこのような分離を必要すると理解すべきではなく、記載されたプログラム構成要素及びシステムが、一般に、単一のソフトウェア製品に一緒に統合することができ、又は複数のソフトウェア製品にパッケージ化することができることを理解すべきである。

このように、本発明の特定の実施形態が説明された。他の実施形態は、以下の請求項の範囲内にある。例えば、請求項に記載された動作は、異なった順序で実行することができ、依然として所望の結果を達成する。

１００汎用複合語分割システム
１０２語彙データベース
１０４語彙データベース
１０６語彙データベース
１０８脱複合語化エンジン
１１０翻訳エンジン
１１２第１コンテンツ発生器
１１４第１部分的語彙リスト
１１４ａ言語コード
１１４ｂ単語
１１４ｃ頻度カウント
１１４ｄ単語
１１６データプロバイダデータベース
１１８第２コンテンツ発生器
１２２入力文字列モジュール
１２４第２部分的語彙リスト
１２４ａデータベース項目
１２６入力文字列
１２８語彙データベース
１３０原言語選択
１３２複合語分割器
１３４コストモジュール
１３６変換モジュール
１３８ａ構成要素
１３８ｂ構成要素
１４０目標言語選択
１４２出力文字列モジュール
１４４出力文字列
３００形態素の部分的リスト
３０２形態素
３０４形態素
３０６形態素
３０８形態素
４００複合語分割プロセス
４０２「ｆｏｒ」ループ
５００語彙素例のリスト
５０２語彙素
５０２ａ頻度カウント
５０２ｂ言語コード
６００部分的リスト
６０２ステマー終了形態素
６０４発生器終了形態素
６０６ステマー接尾辞
６０８発生器接尾辞
７００テーブル
８００ネットワークアーキテクチャ
８０２サーバ
８０４ａデータベース
８０４ｂデータベース
８０４ｃデータベース
８０４ｄデータベース
８０６ネットワーク
８０８ユーザアクセス装置
８０８ａユーザアクセス装置
８０８ｂユーザアクセス装置
８０８ｃユーザアクセス装置
８１４コンピュータシステム
８１６キーボード
８１８表示装置
９００脱複合語化プロセス

Claims

１つ又はそれ以上のコンピュータと、
前記１つ又はそれ以上のコンピュータに結合され、命令が格納された記憶装置と
を備えるシステムであって、
前記命令は、前記１つ又はそれ以上のコンピュータによって実行されると前記１つ又はそれ以上のコンピュータに、
文字のシーケンスを含むトークンを取得する手順と、
前記トークンの構成要素である２つ又はそれ以上の候補部分語と、前記候補部分語を前記トークンに変換するために必要な１つ又はそれ以上の形態素演算とを識別する手順であって、少なくとも１つの前記形態素演算は、前記トークンの考えられる構成要素のリストに基づいた、辞書にない単語の使用を含む、手順と、
複合語の考えられる構成要素を出現頻度と共にリスト化した単語頻度リストに基づいて、各々の候補部分語に関係するコストを決定する手順と、
文字列と該文字列の構成要素との間のレーベンシュタイン距離によって定まる形態素演算のコストのデータベースを使用し、前記候補部分語と前記トークンとの間のレーベンシュタイン距離に基づいて、各々の形態素演算に関係するコストを決定する手順と、
決定したコストに基づいて、前記トークンを前記候補部分語に選択的に脱複合語化する手順と
を実行させる、システム。
前記命令が、前記１つ又はそれ以上のコンピュータに、
前記各々の候補部分語に関係するコストと前記各々の形態素演算に関係するコストとを結合する手順をさらに実行させる、請求項１に記載のシステム。
前記トークンを前記候補部分語に選択的に脱複合語化する手順が、前記結合されたコストに基づいて実行される、請求項２に記載のシステム。
前記コストを決定する手順が、複数のスコアリング機能の中から、前記候補部分語にコストを割り当てるカスタムスコアリング機能を選択する手順をさらに含む、請求項３に記載のシステム。
前記トークンを前記候補部分語に選択的に脱複合語化する手順が、前記結合されたコストが、前記トークンの構成要素である候補部分語のすべての識別された組み合わせに関係する最低の結合されたコストを構成する場合、前記トークンを前記候補部分語に脱複合語化する手順をさらに含む、請求項３に記載のシステム。
前記命令が、前記１つ又はそれ以上のコンピュータに、
前記候補部分語間の分割点の量を決定する手順と、
前記分割点の量に関係するコストを決定する手順と
をさらに実行させる、請求項１に記載のシステム。
前記少なくとも１つの形態素演算が、
前記辞書にない単語を２つの前記候補部分語間に挿入する演算と、
前記トークンから前記辞書にない単語を除去する演算と、
前記辞書にない単語を１つ又はそれ以上の前記候補部分語の接頭辞として前置する演算と、
前記辞書にない単語を１つ又はそれ以上の前記候補部分語の接尾辞として後置する演算と、
前記辞書にない単語を１つ又はそれ以上の前記候補部分語の挿入辞として挿入する演算と
のうちの少なくとも１つを含む前記候補部分語の使用を含んでいる、請求項１に記載のシステム。
前記辞書にない単語がつなぎ形態素を含む、請求項１に記載のシステム。
前記辞書にない単語が、前記候補部分語の言語で定義された意味を持たない文字のサブシーケンスを含む、請求項１に記載のシステム。
文字のシーケンスを含むトークンを取得するステップと、
前記トークンの構成要素である２つ又はそれ以上の候補部分語と、前記候補部分語を前記トークンに変換するために必要な１つ又はそれ以上の形態素演算とを識別するステップであって、少なくとも１つの前記形態素演算は、前記トークンの考えられる構成要素のリストに基づいた、辞書にない単語の使用を含む、ステップと、
複合語の考えられる構成要素を出現頻度と共にリスト化した単語頻度リストに基づいて、各々の候補部分語に関係するコストを決定するステップと、
文字列と該文字列の構成要素との間のレーベンシュタイン距離によって定まる形態素演算のコストのデータベースを使用し、前記候補部分語と前記トークンとの間のレーベンシュタイン距離に基づいて、各々の形態素演算に関係するコストを決定するステップと、
決定したコストに基づいて、前記トークンを前記候補部分語に選択的に脱複合語化するステップと
を有する、コンピュータにより実施される方法。
コンピュータプログラムを格納したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータプログラムは、データ処理装置によって実行されると前記データ処理装置に、
文字のシーケンスを含むトークンを取得する手順と、
前記トークンの構成要素である２つ又はそれ以上の候補部分語と、前記候補部分語を前記トークンに変換するために必要な１つ又はそれ以上の形態素演算とを識別する手順であって、少なくとも１つの前記形態素演算は、前記トークンの考えられる構成要素のリストに基づいた、辞書にない単語の使用を含む、手順と、
複合語の考えられる構成要素を出現頻度と共にリスト化した単語頻度リストに基づいて、各々の候補部分語に関係するコストを決定する手順と、
文字列と該文字列の構成要素との間のレーベンシュタイン距離によって定まる形態素演算のコストのデータベースを使用し、前記候補部分語と前記トークンとの間のレーベンシュタイン距離に基づいて、各々の形態素演算に関係するコストを決定する手順と、
決定したコストに基づいて、前記トークンを前記候補部分語に選択的に脱複合語化する手順と
を実行させる、コンピュータ読み取り可能な記録媒体。
１つ又はそれ以上のコンピュータと、
前記１つ又はそれ以上のコンピュータに結合され、命令が格納された記憶装置と
を備えるシステムであって、
前記命令は、前記１つ又はそれ以上のコンピュータによって実行されると前記１つ又はそれ以上のコンピュータに、
第１語彙に現れる単語と、各々の単語が前記第１語彙に現れる頻度とを識別する手順と、
前記第１語彙に現れる１つ又はそれ以上の単語を各々の単語に対応する頻度に基づいて構成要素として使用して、第２語彙に現れる単語を選択的に脱複合語化する手順と、
前記第２語彙に現れる単語を脱複合語化するために構成要素として使用された前記第１語彙に現れる前記１つ又はそれ以上の単語を、汎用複合語分割器語彙として出力する手順と
を実行させる、システム。
前記第１語彙がニュース言語モデル語彙を含む、請求項１２に記載のシステム。
前記第２語彙がウェブ言語モデル語彙を含む、請求項１２に記載のシステム。
前記命令が、前記１つ又はそれ以上のコンピュータに、
前記第２語彙に現れる単語を脱複合語化するために予め決められた回数より多く構成要素として使用された前記第１語彙に現れる１つ又はそれ以上の単語を選択する手順をさらに実行させ、
前記第２語彙に現れる単語を脱複合語化するために構成要素として使用された前記第１語彙に現れる前記１つ又はそれ以上の単語を、汎用複合語分割器語彙として出力する手順が、前記第２語彙に現れる単語を脱複合語化するために予め決められた回数より多く構成要素として使用された前記第１語彙に現れる選択された前記１つ又はそれ以上の単語を出力する手順をさらに含む、請求項１２に記載のシステム。
前記命令が、前記１つ又はそれ以上のコンピュータに、
個々の単語が前記第１語彙に現れる頻度に基づいて、前記汎用複合語分割器語彙から単語をフィルタで除去する手順をさらに実行させる、請求項１２に記載のシステム。
前記汎用複合語分割器語彙が単一言語又は多言語語彙である、請求項１２に記載のシステム。
前記第１語彙及び前記第２語彙が単一言語からの単語のみを含んでいる、請求項１２に記載のシステム。
コンピュータプログラムを格納したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータプログラムは、データ処理装置によって実行されると前記データ処理装置に、
第１語彙に現れる単語と、各々の単語が前記第１語彙に現れる頻度とを識別する手順と、
前記第１語彙に現れる１つ又はそれ以上の単語を各々の単語に対応する頻度に基づいて構成要素として使用して、第２語彙に現れる単語を選択的に脱複合語化する手順と、
前記第２語彙に現れる単語を脱複合語化するために構成要素として使用された前記第１語彙に現れる前記１つ又はそれ以上の単語を、汎用複合語分割器語彙として出力する手順と
を実行させる、コンピュータ読み取り可能な記録媒体。
第１語彙に現れる単語と、各々の単語が前記第１語彙に現れる頻度とを識別するステップと、
前記第１語彙に現れる１つ又はそれ以上の単語を各々の単語に対応する頻度に基づいて構成要素として使用して、第２語彙に現れる単語を選択的に脱複合語化するステップと、
前記第２語彙に現れる単語を脱複合語化するために構成要素として使用された前記第１語彙に現れる前記１つ又はそれ以上の単語を、汎用複合語分割器語彙として出力するステップと
を有する、コンピュータにより実施される方法。
コンピュータプログラムを格納したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータプログラムは、データ処理装置によって実行されると前記データ処理装置に、
第１語彙に現れる単語と、各々の単語が前記第１語彙に現れる頻度とを識別する手順と、
前記第１語彙に現れる１つ又はそれ以上の単語を各々の単語に対応する頻度に基づいて構成要素として使用して、第２語彙に現れる単語を選択的に脱複合語化する手順と、
前記第２語彙に現れる単語を脱複合語化するために構成要素として使用された前記第１語彙に現れる前記１つ又はそれ以上の単語を、汎用複合語分割器語彙として出力する手順と、
文字のシーケンスを含むトークンを取得する手順と、
前記汎用複合語分割器語彙に現れ、且つ前記トークンの構成要素である２つ又はそれ以上の候補単語と、前記候補単語を前記トークンに変換するために必要な１つ又はそれ以上の形態素演算とを識別する手順であって、少なくとも１つの前記形態素演算は、前記トークンの考えられる構成要素のリストに基づいた、辞書にない単語の使用を含む、手順と、
各々の候補単語に関係するコストを決定する手順であって、前記各々の候補単語に関係するコストは前記各々の候補単語が前記第１語彙に現れる頻度に対応する、手順と、
文字列と該文字列の構成要素との間のレーベンシュタイン距離によって定まる形態素演算のコストのデータベースを使用し、前記候補単語と前記トークンとの間のレーベンシュタイン距離に基づいて、各々の形態素演算に関係するコストを決定する手順と、
決定したコストに基づいて、前記トークンを前記候補単語に選択的に脱複合語化する手順と
を実行させる、コンピュータ読み取り可能な記録媒体。