JPH076020A - ハイフネーション規則に関する有限状態符号化システム - Google Patents

Abstract

(57)【要約】 【目的】 ハイフネーション検査及びハイフネーション
生成のためのＦＳＴ構造の中に予め知られていることを
必要としない潜在的に無限な単語の一覧表を符号化する
手段を備えるハイフネーション規則に関する有限状態符
号化システムを提供する。 【構成】 入力ストリングにおけるハイフンについての
妥当な位置は、ハイフネーション規則の組のコンパイレ
ーションによって決定された状態−遷移データ構造を有
する有限状態変換器を介して入力ストリングの記号を読
み込みそして処理することによって決定される。符号化
システムの出力は、ハイフンで結ばれたストリングを含
むことができるか、或いはハイフンで結ばれたストリン
グを受け入れてかつハイフネーション規則の組により入
力されたハイフネーションが適当かどうかの表示を出力
することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、有限状態機械（ＦＳＭ
ｓ）及び有限状態変換器（ＦＳＴｓ）の分野に関する。
より特定的には、文字のハイフンが付いていないストリ
ングからハイフンで結んだストリングを発生しかつ適当
なハイフネーションについてハイフンで結んだストリン
グを試験する有限状態変換器に関する。

【０００２】

【従来の技術】“Compact Hyphenation Point Data”と
題する米国特許出願第07/739,798号は、単語についての
ハイフネーションの一覧表により単語にハイフンを付け
るためのＦＳＴｓの使用を記載している。それには、ハ
イフネーションＦＳＴの動作を示す指向グラフが示され
ている。外見上、ＦＳＭは、記号のストリングを包含し
ている入力テープを読込み、かストリングがＦＳＭによ
って許容されるストリングの組であるかどうかを決定す
す機械として考えることができる。例えば、ストリング
の組は、辞書における単語であり得、その場合に入力ス
トリングは、適当な綴りについて検査される単語であり
得、入力記号は、アルファベットの文字（letter）（語
内句読点を可能的に含んでおり）、そしてＦＳＭは、辞
書における単語のそれぞれを許容する。辞書の単語は、
ＦＳＭの動作を規定するデータ構造に一般的に符号化さ
れる。単語の一覧表をそのようなＦＳＭデータ構造に変
形する処理は、“Encoding FSM Data Structures”と題
された米国特許出願第07/739,798号及び米国特許出願第
07/855,129号に記載されている。

【０００３】ＦＳＭは、有限状態機械なので、その動作
は、その一つが初期状態である有限数の状態、及び現行
状態から次の状態への遷移を記述しかつどの状態が最終
状態であるかを示しているデータ構造によって記述され
うる。ＦＳＭの動作は、しばしば有向グラフによって示
される。この有向グラフは、円で表される状態、遷移の
方向を示している矢頭を有するアーク（弧）で表される
遷移、及び遷移アークとして区分される（それらの）遷
移に導くテープ記号からなる。初期状態は、慣例により
０または１に区分され、最終状態は、円内の円により示
される。テープ記号は、通常、しかし必ずしもそうであ
る必要はないが、読み取られる入力ストリングの英文等
の文字（letter）または句読文字である。次に、ＦＳＭ
の動作は、初期状態に等しい現行状態で始まり、入力ス
トリングの第１の記号を読み取り、その区分に第１の記
号を含む遷移を用いて、もし可能ならば初期状態から新
たな状態に移る機械として、有向グラフに関して記述し
うる。続いて、ＦＳＭは、入力ストリングの次の記号に
移り、入力ストリングの各後続の記号について処理を繰
り返す。全ストリングを読み取った後、もしＦＳＭが初
期状態であるならば、入力ストリングは、ＦＳＭによっ
て許容されるストリングの組にあると言える。さもなく
ば、そうとは言えない。入力ストリングは、一度に一つ
の記号が読み取られるので、入力ストリングは、ＦＳＭ
に送り込まれたテープとして考えられうる。確定的ＦＳ
Ｍにおいて、各状態から所与の入力記号について多くて
一つの遷移が存在する。非確定的ＦＳＭにおいて、ある
状態は、所与の入力記号について一つ以上の遷移を有し
うる。また、あるＦＳＭｓにおいて、空文字（ヌル文
字）は、入力ストリングから読み取りうる。効果とし
て、遷移は取られるが、入力テープを進めない；これ
は、標識“０”によって指定される。

【０００４】有限状態変換器（ＦＳＴ）は、ＦＳＴがス
トリングの対を受け入れるかまたは拒否する点を除い
て、ＦＳＭに類似している。当然のこととなる理由につ
いて、これらは、しばしば入力テープまたはストリン
グ、及び出力テープまたはストリングと呼ばれている。
ＦＳＴも有向グラフによって記述されうるが、各遷移が
入力記号及び出力記号対によって区分されるもの（有向
グラフ）による。あるＦＳＴｓの使用は、L. Karttune
n, Finite-State Constraints, International Confere
nce on Current Issues in Computational Linguistic
s, June 10-14, 1991 で論ぜられている。ＦＳＴは、受
け入れられるべき入力−出力ストリング対の組を指定す
る規則の組を実行するために用いうる。これらの対は、
例えば、互いに対になった単語の単数及び複数形であり
うる。米国特許出願第07/739,798号に記述されたＦＳＴ
は、単語についてのハイフネーション点及びハイフンで
結ばれた単語のハイフンの正当性を決定するために用い
られる。上記で用いられた用語において、入力ストリン
グは、検査されるべき単語であり、出力ストリングは、
適当なハイフネーション点に埋め込まれたハイフンを有
する単語である。受け入れられたストリング対の組は、
それぞれが基本語及びハイフンで結んだ単語からなるス
トリング対の組である。

【０００５】一つの応用において、挿入されたハイフン
を有する単語は、ＦＳＴによって検査される。入力テー
プは、ハイフンなしの単語であり、出力テープは、ハイ
フンを有する単語である。もしＦＳＴが、その単語及び
単語のその特定のハイフネーションを受け入れるべく符
号化されるならば、それは受け入れられる。別の応用に
おいて、単語は、ＦＳＴへの入力であり、そしてＦＳＴ
は、ハイフンによって示されたハイフネーション点を有
する単語である出力ストリングを示す。もし一つ以上の
ハイフネーションが受け入れられるならば、一つ以上の
出力ストリングが示される。以下、ＦＳＴの一例を図１
を参照して説明する。図１は、ハイフネーションＦＳＴ
の状態及び遷移を表している有向グラフ１０である。有
向グラフ１０において、一つの状態から別の状態への各
遷移は、指向性アークによって示される、そして遷移の
原因となる入力−出力記号対によって区分される。例え
ば、もしＦＳＴが状態１であるならば、そして入力記号
及び出力記号が両方とも“Ｄ”ならば、状態２への遷移
が行われる。ＦＳＴにおいて、遷移の標識は、記号対で
あり、入力記号、コロン、及び出力記号として書かれる
（即ち、“Ｄ：Ｄ”）。速記表記法において、もし入力
及び出力記号が同じであれば、標識は、状態２及び３の
間で“Ｒ”と区分された遷移のように、単一の記号とし
て示される。標識“Ｄ：Ｄ”は、“Ｄ”に短縮されうる
が、説明のために完全な表記で残された。ＦＳＴでは要
求されないけれども、指向グラフ１０は、ほとんどの記
号対が入力ストリングの特性を出力ストリングの同じ特
性に適合させることを示す。単語がハイフンで結ばれる
場合、単語の文字は変わらないので、これはハイフネー
ションＦＳＴにおいて一般に期待されることである。

【０００６】ある記号及びある状態に関して、遷移が存
在せず、指向グラフ１０を用いているＦＳＴのように、
記号“Ｄ”以外に状態１からの遷移が存在しない。それ
ゆえに、“Ｄ”で始まっていない単語は、ＦＳＴによっ
て受け入れられない。表１は、指向グラフ１０によって
表されるＦＳＴによって受け入れられた入力−出力対を
示す。

【０００７】

【表１】 （入力ストリング， 出力ストリング） ｄｉｐ， ｄｉｐ ｄｉｐｐｅｄ， ｄｉｐ−ｐｅｄ ｄｉｐｐｅｒ， ｄｉｐ−ｐｅｒ ｄｉｐｐｉｎｇ， ｄｉｐ−ｐｉｎｇ ｄｉｐｓ， ｄｉｐｓ ｄｒｉｐ， ｄｒｉｐ ｄｒｉｐｐｅｄ， ｄｒｉｐ−ｐｅｄ ｄｒｉｐｐｅｒ， ｄｒｉｐ−ｐｅｒ ｄｒｉｐｐｉｎｇ，ｄｉｒｉｐ−ｐｉｎｇ ｄｒｉｐｓ， ｄｒｉｐｓ ｄｒｏｐ， ｄｒｏｐ ｄｒｏｐｐｅｄ， ｄｒｏｐ−ｐｅｄ ｄｒｏｐｐｅｒ， ｄｒｏｐ−ｐｅｒ ｄｒｏｐｐｉｎｇ，ｄｒｏｐ−ｐｉｎｇ ｄｒｏｐｓ， ｄｒｏｐｓ 最終状態及び遷移の配置により、上記対のみがＦＳＴに
よって受け入れられる。図１において、上述したよう
に、記号“０”（空記号）は入力ストリングから読み込
まれ、かつ“−”は出力ストリングから読み込まれるこ
とを示す“０：−”と区分された遷移のような、空記号
（ヌル記号）を示すために用いられる。空記号は、記号
を読み込まないこと及びテープを進行させないことに等
しい。

【０００８】ＦＳＴを用いる方法は、二つある。一つの
応用において、出力ストリングは、知られており、入力
及び出力ストリングは、一度に一つの記号を読み込み、
入力及び出力テープを進行させ（空記号が読み込まれた
ときを除く）、そして受け入れられたあらゆる遷移を取
る。別の応用において、出力ストリングは、知られてお
らず、入力ストリングは、読み込まれ、そして、取られ
た遷移の経路（path）に沿って出会った出力記号は、出
力される。

【０００９】

【発明が解決しようとする課題】しかしながら、図１に
示す指向グラフから明らかなように、ハイフネーション
ＦＳＴは、表１の入力欄（column）の単語の有限一覧表
（finite list ）についてのハイフンで結ばれた出力ス
トリングを提供するだけである。対（hello, hell-o ）
は、有向なハイフネーションを示しうるけれども、唯一
の有効な遷移は、Ｄ：Ｄであり、ＦＳＴは、状態１でブ
ロックされうるので、ＦＳＴによって受け入れられる対
ではありえない。“ｈ”で始まっている入力ストリング
について、初期状態から最終状態まで有向グラフ１０を
貫通する経路は、不可能なので、対（hello, hell-o ）
は、ＦＳＴによって拒否される。表１の小さな一覧表
は、実用的なハイフネーション機械について有用ではな
いけれども、単語の更に大きな一覧表が、ＦＳＴの状態
遷移構造に符号化されうる。しかしながら、大きな数の
単語及びハイフネーション対を受け入れているＦＳＴで
も、ＦＳＭ構造を符号化することにより多数の問題が発
生しうるので、ワードプロセッサ（文書処理装置）に組
み込まれうるような、英単語をハイフンで結ぶハイフネ
ーション機械を必要とする応用では受け入れられない。
第１に、有効な単語の網羅的かつ決定的な一覧表が存在
せず、新しい単語が毎日創作されている。第２に、基本
の単語の連結を介して単語が使用者によって創作される
ドイツ語やフィンランド語のような、他の言語における
応用に関して、単語一覧表は、潜在的に無限であり、予
め知られていない。

【００１０】必要なのは、予め知られていることを必要
としない潜在的に無限な単語の一覧表を、ハイフネーシ
ョン検査及びハイフネーション生成のためのＦＳＴ構造
の中に、符号化する手段である。本発明の目的は、上記
従来のハイフネーションＦＳＴにおける問題点に鑑み、
ハイフネーション検査及びハイフネーション生成のため
のＦＳＴ構造の中に予め知られていることを必要としな
い潜在的に無限な単語の一覧表を符号化する手段を備え
るハイフネーション規則に関する有限状態符号化システ
ムを提供することにある。

【００１１】

【課題を解決するための手段】上述した本発明の目的
は、入力ストリングから入力記号を読み取る入力手段
と、入力手段に連結され、初期状態、現行状態、及び状
態遷移データ構造によって特徴付けられ、現行状態が入
力ストリングの少なくとも一つの入力記号及び状態遷移
データ構造の遷移によって決定され、状態遷移データ構
造がハイフネーション規則の組によって決定される有限
状態機械と、有限状態機械に連結され、入力ストリング
のハイフネーション位置を指示し、ハイフネーションが
有限状態機械の状態遷移によって決定されるハイフネー
ション指示手段とを備え、ハイフネーション位置がハイ
フネーション規則の組に従うハイフネーション位置決定
装置によって達成される。本発明におけるハイフネーシ
ョン規則の組は、無限数のストリングに適用可能な少な
くとも一つの規則を備えることが好ましい。本発明にお
けるハイフネーション規則の組は、更に、他の規則によ
って扱われない有限数のストリングに適用可能な少なく
とも一つの規則を備えることが好ましい。

【００１２】本発明におけるハイフネーション規則の組
は、更に、他の規則によって扱われない有限数のストリ
ングに適用可能な少なくとも一つの規則を備え、他の規
則に否定規則が付け加えられ、否定規則を含んでいる他
の規則は、有限数のストリングのハイフネーションを扱
わないことが好ましい。本発明における入力ストリング
は、言語の単語であることが好ましい。本発明における
言語は、英語であることが好ましい。本発明における言
語は、フィンランド語であってもよい。本発明における
入力ストリングは、文書処理プログラムで用いられる文
書の単語であり、ハイフネーション標識は、文書処理プ
ログラムのラインブレーク位置決定プロセッサに連結さ
れてもよい。本発明におけるハイフネーション標識は、
ハイフネーション位置にハイフンが散在する入力ストリ
ングから記号を包含しているストリングを出力するよう
に構成してもよい。本発明における入力ストリングは、
少なくとも一つの提案されたハイフネーション位置に少
なくとも一つのハイフンを含み、ハイフネーション標識
は、提案されたハイフネーション位置がハイフネーショ
ン規則の組に従うか否かを示すことが好ましい。

【００１３】本発明における状態遷移データ構造は、デ
ータ構造へのハイフネーション規則の組の自動コンパイ
ルによって生成されたデータ構造であることが好まし
い。本発明における状態遷移データ構造は、データ構造
へのハイフネーション規則の組の手動コンパイルによっ
て生成されたデータ構造であってもよい。上述した本発
明の目的は、状態遷移構造にハイフネーション規則の組
をコンパイルし、ハイフネーション規則のそれぞれが、
表現に対応付けられた基準の組に適合するストリングの
少なくとも一つの許されたハイフン位置または禁止され
たハイフン位置を示す表現によって特徴付けられ、少な
くともハイフネーション規則の一つが入力ストリングの
非束縛な組についての少なくとも一つのハイフン位置を
符号化し、状態遷移構造により有限状態機械をプログラ
ミングし、有限状態機械を初期状態にリセットし、入力
ストリングの記号及び状態遷移構造により有限状態機械
の少なくとも一つの現行状態を変更し、変更段階で生じ
た一つの状態から別の状態への遷移によりハイフン位置
標識を出力する段階を具備する入力ストリングをハイフ
ン付けする方法によっても達成される。本発明における
ハイフン位置標識を出力する段階は、更に、ハイフン位
置にハイフンが散在する入力ストリングの記号を出力す
る段階を具備することが好ましい。

【００１４】本発明における入力ストリングは、提案さ
れたハイフン位置に少なくとも一つのハイフンを備え、
ハイフン位置標識を出力する段階は、更に、提案された
ハイフン位置が入力ストリングについてのハイフン位置
に対応するか否かの標識を出力する段階を具備すること
が好ましい。上記方法によって出力ストリングが生成さ
れてもよい。上述した本発明の目的は、ハイフネーショ
ン規則の組を生成し、少なくともハイフネーション規則
の一つが入力ストリングの非束縛な組についての少なく
とも一つのハイフン位置を符号化し、ハイフネーション
規則のリストに対応する状態遷移構造を発生し、状態遷
移構造が、入力ストリングの特定の記号の入力に続いて
現行状態から次に状態への複数の遷移のいずれが取られ
るかを示すデータを備えており、データが該入力ストリ
ングのハイフン位置をも示し、状態遷移構造により該有
限状態機械をプログラミングする段階を具備する方法に
よって発生した有限状態機械によっても達成される。

【００１５】

【作用】本発明によるハイフネーションＦＳＴの一つの
実施例において、単語は、制約のない単語の組について
の状態遷移図符号化ハイフネーション規則を有するＦＳ
Ｔに入力され、ＦＳＴは、受け入れられたハイフンの位
置を示す。ＦＳＴの状態遷移構造は、制約のない単語の
組に適用される規則、及び一つ以上の単語の有限の組に
適用される規則を含むハイフネーション規則の組を表わ
す。ＦＳＭ状態遷移構造は、サブストリングのどこにハ
イフンが入るかを示しているハイフネーション規則の組
からコンパイルまたは生成される。一度、ハイフネーシ
ョン規則の組が有向グラフに変換されたならば、有向グ
ラフは、米国特許出願第０７／８５５，１２９号に教示
されているように、コンパクト符号化形式でアクセスで
きる。コンパクト符号化形式は、その間の状態及び遷移
で実施された多数の規則を符号化するための一つの手段
を提供する。しかしながら、有向グラフの状態及び遷移
を記憶するあらゆる手段が本願発明に作用するので、コ
ンパクト符号化形式は本願の発明に必要ない。ハイフネ
ーション規則が無限に多くのストリングに適用できるの
で、対応するＦＳＴは、状態遷移の環状に囲んでいるパ
スを有する。

【００１６】本願発明によるハイフネーションＦＳＭの
一つの実施例において、有向グラフは、機械可読状態及
び遷移データとしてメモリに記憶され、ストリングプロ
セッサは、入力ストリングを状態及び遷移データに適用
する。入力ストリングの適用の結果は、入力ストリング
及び受け入れ可能なハイフンポイントを反映している出
力ストリングか或いは入力ストリングのハイフンが正確
に配置されたかどうかを示す標識のいずれかである。本
願発明の性質及び利点の更なる理解は、他の明細書の部
分及び添付された図面を参照することによって認識され
うる。

【００１７】

【実施例】以下、添付した図面を参照して、本発明のハ
イフネーション規則に関する有限状態符号化システムの
実施例を説明する。図２は、ハイフネーションＦＳＴ
（図３参照）の有向グラフ２０を示す。有向グラフ２０
は、この例について選択された、ハイフン配置の任意の
規則について符号化する：ハイフンは、ハイフンが最初
の二文字の前でないならば、サブストリング“ＰＥ”の
前及びサブストリング“ＩＮＧ”の前でストリングに位
置付けられる。正式に言うならば、ＦＳＴは、許された
位置で出力ストリングに加えられたハイフンを除いて、
出力ストリングが入力ストリングと同じであるような全
ての入力−出力ストリング対を受け入れる。表２は、ハ
イフン配置の規則の形式的表現を示す。

【００１８】

【表２】 アルファベット a b c d e f g h i j k l m n o p q r s t u v w x y z %- 0:%- ; 組 Ltr= a b c d e f g h i j k l m n o p q r s t u v w x y z %- ; 規則 “規則 １” ！サブストリング“ＰＥ”の前にハイフンを位置付けする ！しかし、最初の文字の間ではない． 0:%- <=> # : [Ltr Ltr*]/0: Ltr ＿p e/0: ; “規則 ２” ！サブストリング“ＩＮＧ”の前にハイフンを位置付けする ！しかし、最初の文字の間ではない． 0:%- <=> # : [Ltr Ltr*]/0: Ltr ＿i[n g]/0: ; この規則の形式的表現は、ゼロックスによって創作され
た、二段階規則コンパイラーにより用いられる。「アル
ファベット」部分は、ＦＳＴで用いられる入力：出力記
号対を列挙する。アルファベットにおける最初の記号対
は、“ａ：ａ”であり、“ａ”と短縮される。この記号
対は、“ａ”の入力記号及び“ａ”の出力記号を示す。
最後の対“０：％−”は、空（ヌル）入力及びハイフン
出力文字の記号対である（“％”は、“−”が制御文字
でないことを示すために用いれる）。

【００１９】「組」部分は、組Ｌｔｒの全てのメンバー
（これらは記号対でもある）を簡潔に参照すべく用いら
れる、組Ltr の構成要素を列挙する。「規則」部分は、
二重引用符（“ ”）における規則名及び感嘆符（！）
で先行された注釈を伴って、規則それ自体を列挙する。
規則は、英語についての適当なハイフネーション規則を
反映していないが、しかし例の明晰さのため及び、本発
明は、これら英語や他の言語だけでなく任意のハイフネ
ーション規則のいずれの組に対しても適用可能であるこ
とを示すために選択された。例えば、規則２は、英語に
おける“ｉｎｇ”の尾部についての適当な規則ではな
い。有向グラフ１０（図１参照）が“ｉｎｇ”の尾部を
適当に符号化するが、それは、三つの単語：ｄｉｐｐｉ
ｎｇ， ｄｒｉｐｐｉｎｇ，及びｄｒｏｐｐｉｎｇだけ
についてである。例から明らかなように、有向グラフ２
０は、入力ストリングの潜在的に無限の組を符号化す
る。有向グラフ２０を用いているＦＳＴへの入力ストリ
ングは、後述の例で示すように、どの言語における有効
な単語である必要さえない。規則に基づいたハイフネー
ションＦＳＴは、長い単語が基本単語を互いに連結する
ことによって創作されるフィンランド語やドイツ語のよ
うな言語において特に有用である。基本単語を結合する
全ての異なる方法の事前指定を要求する単語−一覧表指
向ＦＳＴに対抗して、規則に基づいたシステムでは、基
本単語についての規則のみが符号化される必要がある。

【００２０】表３は、有向グラフ２０の代替え表現であ
る、二段階規則コンパイラーによって生成された状態−
遷移データ構造を示す。

【００２１】

【表３】 ａ ｅ ｇ ｉ ｎ ｐ ＃：０ ０：− １： １ １ １ １ １ １ ２ ２： ３ ３ ３ ３ ３ ３ ２ ３： ４ ４ ４ ４ ４ ４ ２ ４： ４ ４ ４ ９ ４ １０ ２ ５ ５． ７ ６ ６． ４ ７． ８ ８． ４ ９： ４ ４ ４ ９ １１ １０ ２ ５ １０： ４ ４ ９ ４ １０ ２ ５ １１： ４ ４ ９ ４ １０ ２ ５ （同等クラス： （（a b c d f h j k l m o q r s t u v w x y z -） （e ）（g ）（i ）（n ）（p ）（#:0 ） （0: ）） 規則１及び規則２の交差点についての状態遷移 表３において、現行状態は、最終状態に対して“：”及
び非最終状態に対して“．”を伴って、左側のコラム
（列）に列挙されている。コラム（列）は、記号対によ
り見出し付けされ、所与の記号対についての所与の状態
からの遷移は、記号コラム（列）及び状態ロー（行）の
交差点での状態数によって示されている。例えば、表３
は、状態４が最終状態であることを示し、かつもしＦＳ
Ｔが記号対“ｉ”（ｉ：ｉ）を読み込むならば、ＦＳＴ
の現行状態が状態４から状態９に変更すべきであること
を示す。文字（character ）＃は、単語の開始の標識で
あり、コラム＃：０は、単語の開始での遷移を示す。：
０なので、入力ストリングの＃は、出力ストリングに繰
り越さない。

【００２２】表３は、現行状態が知られており、かつ遷
移された状態が、入力−出力記号対についてのコラム
（列）のもとでその現行状態について列挙されているの
で、示された状態−遷移図により符号化されたＦＳＴの
作用（action）を決定するのに用いることができる。こ
の例の平易さから、記号対の多くは、同一挙動の原因と
なる。例えば、記号対ａ：ａ及びｂ：ｂは、規則に示さ
れていないので、それらは、ことなるように取り扱われ
ておらず、従って、これら二つの対のコラム（列）は、
同等である。表３の表示を簡略化するために、同値クラ
スが用いられる。特定の同値クラスは、表３の下部に列
挙してある。第１の同値クラスは、全てのしかしアルフ
ァベットの五つの文字を含んでおり、かつ同値クラスの
最初の文字によって識別される−−それゆえに、“ａ”
とレッテルを付けられたコラム（列）は、列挙された同
値クラスにおける他の記号対のいずれか一つに対応付け
られた遷移を決定するために用いられるべきである。所
与の記号対についての状態から遷移が許されないなら
ば、表３におけるそのエントリー（入力）は、空白のま
まに残しておく。例えば、現行の状態が状態５であるな
らば、記号対ｅ：ｅについて遷移は、許されない。

【００２３】図２は、表３の状態−遷移図を反映してい
る有向グラフ２０を示している。上記したように、レッ
テル“ａ”は、同値クラス“ａ”における各記号対につ
いての遷移を網羅（カバー）する。入力ストリング“ｄ
ｉｐｐｅｄ”を有する有向グラフ２０を用いているＦＳ
Ｔの動作について説明する。ＦＳＴは、状態１で開始
（スタート）し、そして“＃”単語マーカーの始まりで
ある、入力ストリングの最初の文字を読み取る。入力記
号“＃”についての唯一の可能な遷移は、状態１から状
態２へである。出力ストリングは、もしそれが読み出さ
れたならば、前に進められない、そしてもしそれがＦＳ
Ｔによって出力されるならば、状態１から状態２への遷
移の“＃：０”レッテルによって示されているように、
それ（出力ストリング）は、記号を含んでいない。状態
２において、ＦＳＴは、次の入力記号、“ｄ”（それは
要求されてはいないけれども、この例では解釈不感性が
想定されている）を読み込む。唯一の可能な遷移は、状
態２から状態３へである。“ｄ”とレッテルを付けられ
た遷移は明白に示されていないが、“ｄ”は同値クラス
“ａ”の中なので、“ａ”とレッテルを付けられた遷移
（状態１から状態２ヘ）が取られる。

【００２４】第２の文字、“ｉ”、を読み取るために、
ＦＳＴは、状態３から状態４への遷移を取る。第３の文
字、“ｐ”、を読み取るために、ＦＳＴは、状態４から
状態１０への遷移、または状態４から状態５への遷移、
入力ストリングから“ｐ”を使い切らない、そして次に
状態６へ、“ｐ”を使う、が可能である。有向グラフ２
０は、確定的なＦＳＴであるけれども、二つの可能な経
路（パス：paths ）が状態４で利用可能である。異なる
可能な経路の記録を辿るために、許された経路は、それ
らが通過する「状態」（the states）によって識別され
る。それゆえに、第３の文字を読み取った後、入力スト
リングについて許された経路は、１−２−３−４−１
０、または１−２−３−４−５−６で始まらなければな
らない。第４の文字、“ｐ”、を読み取るために、１−
２−３−４−５−６の経路は、ブロックされる、それは
状態６からの“ｐ”の遷移が存在しないからであり、そ
れゆえに１−２−３−４−１０の経路が唯一の実行可能
な選択である。状態１０から、状態５への遷移は、唯一
の許された遷移であり、状態６への遷移を伴う。この時
点において、唯一の許された経路は、１−２−３−４−
１０−５−６で始まる。

【００２５】現行状態が状態６である間に、第５の文
字、“ｅ”は、読み取られ、そして許される遷移は、状
態４へである。第６のかつ最後の文字、“ｄ”、を読み
取るために、状態４からそれ自体への遷移及び状態５へ
の遷移を取る。しかしながら、状態５への遷移は、文字
を使い果たさず、かつ“ｄ”についての状態５からの遷
移は存在しないので、その経路は許されない。それゆえ
に、入力ストリング“ｄｉｐｐｅｄ”についての唯一の
許される最後の経路は、１−２−３−４−１０−５−６
−４−４である。状態４は、最終状態なので、この経路
は、ＦＳＴで受け入れられる経路である。出力は、もし
知られていないならば、経路をもどりかつ各遷移のレッ
テルの出力記号部分を調べることによって見出すことが
できる。この場合、経路についての出力記号は、次のよ
うである（出力記号は括弧内）：１（０）２（ｄ）３
（ｉ）４（ｐ）１０（−）５（ｐ）６（ｅ）４（ｄ）４
換言すれば、入力ストリング“ｄｉｐｐｅｄ”を包含し
ている唯一の入力−出力ストリング対は、ストリング対
（ｄｉｐｐｅｄ，ｄｉｐ−ｐｅｄ）である。勿論、もし
出力ストリングが予め知られているならば、可能な出力
記号を読み取ることは、経路を延長することの追加の必
要条件でありうる。例えば、入力−出力ストリング対
（ｄｉｐｐｅｄ，ｄｉｐ−ｐｅｄ）は、ＦＳＴによって
受け入れられるべきではない。ＦＳＴが状態３でブロッ
クし、記号対“ｉ：ｅ”について遷移が存在せず、そし
て代替え経路が存在しなゆえに、この対の記号について
経路が存在しないので、この対の非受入は、図２から自
明である。

【００２６】状態４から状態１０，５，６，そして状態
４に戻っるような、有向グラフ２０におけるループのた
めに、無限の数のストリング対が受け入れられる。例え
ば、（ｄｉｐｐｅｄ，ｄｉｐ−ｐｅｄ）は、経路１−２
−３−４−１０−５−６−４−１０−５−６−４がその
ストリング対について許され、そしてそれが最終状態で
終わるので、明らかに受け入れられる。多くの他の入力
ストリングは、有向グラフ２０を用いているＦＳＴによ
って受け入れられる。それらの中には、例えば、任意の
入力ストリング“ｃｌｅｐｅｌｉｎｇｓ”を含んでお
り、これは、有向グラフ２０を用いているＦＳＴによっ
て処理されうるストリングがいかに所定の単語に限定さ
れていないかを示す。ＦＳＴは、状態１で開始し、前回
の例のように、状態１から状態２への遷移を取り、入力
ストリングの最初の文字“ｃ”を読み込む。“ｃ”は、
同類クラス“ａ”なので、唯一の許される経路は、状態
２から状態３への“ａ”とレッテルを付された遷移を有
するそれである。第２の文字、“ｌ”、これも同類クラ
ス“ａ”である、を読み取るために、唯一の許される経
路は、状態３から状態４への遷移を含む。

【００２７】第３の文字、“ｅ”については、二つの経
路が許される。状態４から、状態４自体への遷移が許さ
れ、そして状態５への遷移が許される。しかしながら、
状態５への経路についての入力記号は、ヌル（ゼロ）で
あり、そして状態５は、入力記号“ｅ”についての遷移
を有していないので、この経路は、ブロックされて、経
路１−２−３−４−４だけを残す。第４の文字は、
“ｐ”なので、状態１０及び状態５への、二つの経路が
許される。状態５への遷移の後、状態６への遷移が続
き、許された経路は、部分経路１−２−３−４−４−１
０及び１−２−３−４−４−５−６のいずれかで始ま
る。第５の文字、“ｅ”、を読み取るために、第１の経
路は、状態１０から状態５への遷移を許し、それは
“ｅ”遷移を有していないので、次にブロックされる。
第２の経路（１−２−３−４−４−５−６）は、状態６
から状態４への許される経路を有しており、それは、そ
の唯一許される遷移である。それゆえに、この点で許さ
れる経路は、１−２−３−４−４−５−６−４である。
第６の文字、“ｌ”、を読み取るために、状態５への他
の許される遷移が“ｌ”遷移の欠落によってブロックさ
れるので、遷移は、状態４からそれ自身へでなければな
らない。第７の文字、“ｉ”、を読み取るために、遷移
は、状態４から状態９へ、或いは状態５そして状態７へ
でなければならない。それゆえに、この点への許される
経路は、１−２−３−４−４−５−６−４−４−９、及
び１−２−３−４−４−５−６−４−４−５−７であ
る。

【００２８】第８の文字、“ｎ”、を読み取るために、
上記第１の許される経路は、状態９から状態１１へ或い
は状態５（ブロックされる）への遷移を必要とし、第２
の許される経路は、状態７から状態８への遷移を必要と
する。第９の文字、“ｇ”、を読み取るために、上記第
１の経路（１−２−３−４−４−５−６−４−４−９−
１１）は、失敗する。なぜならば、状態１１が“ｇ”遷
移を有さず、状態８までの経路、及びそこから状態４へ
の遷移だけを残すからである。この点で、許される経路
は、１−２−３−４−４−５−６−４−４−５−７−８
−４である。第１０の文字、“ｓ”、を読み取るため
に、状態５への遷移及び状態５からの遷移がブロックさ
れるので、唯一の許される経路は、状態４から状態４へ
である。それゆえに、入力ストリングについての最終経
路は、１−２−３−４−４−５−６−４−４−５−７−
８−４−４である。状態４が最終状態なので、入力スト
リングは、許されるストリング対の入力ストリングであ
る。換言すると、ハイフネーションＦＳＴは、それが処
理できるあるものとしてストリングを認識する。この許
される経路についての出力ストリングは、“ｃｌｅ−ｐ
ｅｌ−ｉｎｇｓ”であるべく容易に決定され、それは規
則１及び２の両方により適当にハイフンで結ばれてい
る。

【００２９】図３は、ストリング対を処理するのに有向
グラフ２０を用いる本願発明による有限状態変換器（Ｆ
ＳＴ）システム３０の一つの実施例のブロック図であ
る。ＦＳＴシステム３０は、入力バッファ３２ａ、入力
バッファ３２ｂ、ＦＳＴ３４、及び出力バッファ３６を
備えている。ＦＳＴ３４は、中央処理装置３８、及びメ
モリ４０を備えている。メモリ４０は、現行状態記憶場
所４２及び状態−遷移データ構造４４を備えている。入
力バッファ３２ａ、３２ｂは、ＣＰＵ３８の入力に連結
されており、ＣＰＵ３８に、入力ストリング及び出力ス
トリングをそれぞれ供給する。出力バッファ３６は、Ｃ
ＰＵ３８の出力に連結れている。データバスも現行状態
記憶場所４２及び状態−遷移データ構造４４をＣＰＵ３
８に連結する。ある実施例において、ハイフネーション
ＦＳＴシステム３０は、入力バッファ３２ａに入力した
ストリングから全ての非要求ハイフンを取り除きかつ変
更されたストリングを入力バッファ３２ａに挿入するこ
とによって、入力バッファ３２ｂの内容から入力バッフ
ァ３２ａの内容を生成する手段を備えている。

【００３０】ＦＳＴ３４が動作するとき、それは、入力
バッファ３２ａに記憶された入力テープ、及び出力バッ
ファ３２ｂに記憶された出力テープを読み取る。現行状
態は、現行状態記憶場所４２に記憶された値によって示
され、ＣＰＵ３８は、新しい状態を決定すべくデータ構
造４４の状態−遷移データを読み取る。もしＦＳＴ３４
が非確定的ＦＳＴであるならば、記憶場所４２は、調査
されているあらゆる多重経路を説明すべく、一つ以上の
現行状態についての割り当てられた空間を有しうる。状
態−遷移データの例は、表３に示されたデータである。
入力及び出力テープを読み取ったあと、ＦＳＴ３４は、
テープを読み取り終えたときの現行状態が最終状態がど
うかを示している、従って入力−出力ストリング対がＦ
ＳＴ３４によって受け入れられるかどうかを示している
妥当性ビットを出力する。図３から明らかなように、そ
のような規則を符号化する異なるデータ構造４４を用い
ることにより、ＦＳＴ３４は、図３のそれらとは異なる
規則の組についてプログラムされうる。図４は、本発明
によるＦＳＴシステム３０’の別の実施例のブロック図
である。ＦＳＴシステム３０’は、入力バッファ３２ａ
に類似の入力バッファ３２’、ＦＳＴ３４に類似のＦＳ
Ｔ３４’、及び出力バッファ３６’を備えている。ＦＳ
Ｔ３４’は、入力バッファ３２’からの入力ストリング
を受け取るべく、かつ出力バッファ３６’に出力ストリ
ングを出力すべく連結される。

【００３１】ＦＳＴ３４’が出力記号に関する許容可能
な経路についてのその探索を制限しないことを除いて、
ＦＳＴ３４’の動作は、ＦＳＴ３４のそれに類似であ
る。その代わり、もし入力バッファ３２’から入力され
た入力ストリングについて妥当な経路が見出されたなら
ば、その経路に対応付けられた出力ストリングは、出力
バッファ３６’に出力される。もしＦＳＴが、所与の入
力ストリングについての多重出力ストリングを許すべく
プログラムされるならば、出力バッファ３６’は、多重
出力ストリングに対する容量を有する。上述した記載
は、例示的なものであり、限定的なものではない。本発
明の多くの変更は、この開示をリビューすることにより
当業者にとって明らかになるであろう。従って、本発明
の範囲は、上述した記載に関して決定されるべきではな
く、その代わり、それの完全なる同等な範囲に沿って、
添付のクレームに関して決定されるべきである。

【００３２】

【発明の効果】本発明の入力ストリングのハイフネーシ
ョン位置を決定するハイフネーション位置決定装置は、
入力ストリングから入力記号を読み取る入力手段と、入
力手段に連結され、初期状態、現行状態、及び状態遷移
データ構造によって特徴付けられ、現行状態が該入力ス
トリングの少なくとも一つの入力記号及び状態遷移デー
タ構造の遷移によって決定され、状態遷移データ構造が
ハイフネーション規則の組によって決定される有限状態
機械と、有限状態機械に連結され、入力ストリングのハ
イフネーション位置を指示し、ハイフネーションが有限
状態機械の状態遷移によって決定されるハイフネーショ
ン指示手段とを備え、ハイフネーション位置がハイフネ
ーション規則の組に従うので、予め知られていることを
必要としない潜在的に無限な単語の一覧表を、ハイフネ
ーション検査及びハイフネーション生成のためのＦＳＴ
構造の中に、符号化する。本発明のハイフネーション位
置決定装置は、ハイフネーション規則の組が、無限数の
ストリングに適用可能な少なくとも一つの規則を備え
る。本発明のハイフネーション位置決定装置は、ハイフ
ネーション規則の組が、更に、他の規則によって扱われ
ない有限数のストリングに適用可能な少なくとも一つの
規則を備える。

【００３３】本発明のハイフネーション位置決定装置
は、ハイフネーション規則の組が、更に、他の規則によ
って扱われない有限数のストリングに適用可能な少なく
とも一つの規則を備え、他の規則に否定規則が付け加え
られ、否定規則を含んでいる他の規則は、有限数のスト
リングのハイフネーションを扱わない。本発明のハイフ
ネーション位置決定装置は、入力ストリングが、言語の
単語である。本発明のハイフネーション位置決定装置
は、言語が英語である。本発明のハイフネーション位置
決定装置は、言語がフィンランド語である。本発明のハ
イフネーション位置決定装置は、入力ストリングが、文
書処理プログラムで用いられる文書の単語であり、ハイ
フネーション標識が、文書処理プログラムのラインブレ
ーク位置決定プロセッサに連結される。本発明のハイフ
ネーション位置決定装置は、ハイフネーション標識が、
ハイフネーション位置にハイフンが散在する入力ストリ
ングから記号を包含しているストリングを出力する。本
発明のハイフネーション位置決定装置は、入力ストリン
グが、少なくとも一つの提案されたハイフネーション位
置に少なくとも一つのハイフンを含み、ハイフネーショ
ン標識が、提案されたハイフネーション位置が記ハイフ
ネーション規則の組に従うか否かを示す。

【００３４】本発明のハイフネーション位置決定装置
は、状態遷移データ構造が、データ構造へのハイフネー
ション規則の組の自動コンパイルによって生成されたデ
ータ構造である。本発明のハイフネーション位置決定装
置は、状態遷移データ構造は、データ構造へのハイフネ
ーション規則の組の手動コンパイルによって生成された
データ構造である。本発明の入力ストリングにハイフン
を付す方法は、状態遷移構造にハイフネーション規則の
組をコンパイルし、ハイフネーション規則のそれぞれ
が、表現に対応付けられた基準の組に適合するストリン
グの少なくとも一つの許されたハイフン位置または禁止
されたハイフン位置を示す表現によって特徴付けられ、
少なくともハイフネーション規則の一つが入力ストリン
グの非束縛な組についての少なくとも一つのハイフン位
置を符号化し、状態遷移構造により有限状態機械をプロ
グラミングし、有限状態機械を初期状態にリセットし、
入力ストリングの記号及び状態遷移構造により有限状態
機械の少なくとも一つの現行状態を変更し、変更段階で
生じた一つの状態から別の状態への遷移によりハイフン
位置標識を出力する段階を具備するので、予め知られて
いることを必要としない潜在的に無限な単語の一覧表
を、ハイフネーション検査及びハイフネーション生成の
ためのＦＳＴ構造の中に、符号化する。

【００３５】本発明の入力ストリングにハイフンを付す
方法は、ハイフン位置標識を出力する段階が、更に、ハ
イフン位置にハイフンが散在する入力ストリングの記号
を出力する段階を具備する。本発明の入力ストリングに
ハイフンを付す方法は、入力ストリングが、提案された
ハイフン位置に少なくとも一つのハイフンを備え、ハイ
フン位置標識を出力する段階が、更に、提案されたハイ
フン位置が入力ストリングについてのハイフン位置に対
応するか否かの標識を出力する段階を具備する。本発明
における出力ストリングは、本発明の入力ストリングに
ハイフンを付す方法によって生成される。本発明の有限
状態機械は、ハイフネーション規則の組を生成し、少な
くとも該ハイフネーション規則の一つが入力ストリング
の非束縛な組についての少なくとも一つのハイフン位置
を符号化し、ハイフネーション規則のリストに対応する
状態遷移構造を発生し、状態遷移構造が、入力ストリン
グの特定の記号の入力に続いて現行状態から次に状態へ
の複数の遷移のいずれが取られるかを示すデータを備え
ており、データが該入力ストリングのハイフン位置をも
示し、状態遷移構造により有限状態機械をプログラミン
グする段階を具備する方法によって発生されるので、予
め知られていることを必要としない潜在的に無限な単語
の一覧表を、ハイフネーション検査及びハイフネーショ
ン生成のためのＦＳＴ構造の中に、符号化する。

【図面の簡単な説明】

【図１】単語の有限の組についてのハイフネーションＦ
ＳＴ符号化の有向グラフを示す概略図である。

【図２】単語の無限の組についてのハイフネーション規
則の組及び符号化を表しているハイフネーションＦＳＴ
の有向グラフを示す概略図である。

【図３】適当なハイフネーションについてハイフンで結
ばれた単語を検査すべく図２の有向グラフにより入力ス
トリングを処理するストリングプロセッサのブロック図
である。

【図４】示されたハイフネーション位置を有する単語を
生成すべく図２の有向グラフにより入力ストリングを処
理するストリングプロセッサのブロック図である。

【符号の説明】

１０，２０ 有向グラフ ３０，３０’ 有限状態変換器（ＦＳＴ）システム ３２ａ，３２ｂ，３２’ 入力バッファ ３４，３４’ ＦＳＴ ３６，３６’ 出力バッファ ３８ 中央処理装置（ＣＰＵ） ４０ メモリ ４２ 現行状態記憶場所 ４４ 状態−遷移データ構造

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ラウリ ジェイ カルテュネン アメリカ合衆国 カリフォルニア州 94062 レッドウッド シティー ジェフ ァーソン アベニュー 3950

Claims (17)

【特許請求の範囲】
1. 【請求項１】 入力ストリングのハイフネーション位置
   を決定するハイフネーション位置決定装置であって、前
   記入力ストリングから入力記号を読み取る入力手段と、
   前記入力手段に連結され、初期状態、現行状態、及び状
   態遷移データ構造によって特徴付けられ、該現行状態が
   前記入力ストリングの少なくとも一つの入力記号及び該
   状態遷移データ構造の遷移によって決定され、該状態遷
   移データ構造がハイフネーション規則の組によって決定
   される有限状態機械と、前記有限状態機械に連結され、
   前記入力ストリングのハイフネーション位置を指示し、
   該ハイフネーションが該有限状態機械の状態遷移によっ
   て決定されるハイフネーション指示手段とを備え、前記
   ハイフネーション位置が前記ハイフネーション規則の組
   に従うことを特徴とするハイフネーション位置決定装
   置。
2. 【請求項２】 前記ハイフネーション規則の組は、無限
   数のストリングに適用可能な少なくとも一つの規則を備
   えることを特徴とする請求項１に記載の装置。
3. 【請求項３】 前記ハイフネーション規則の組は、更
   に、他の規則によって扱われない有限数のストリングに
   適用可能な少なくとも一つの規則を備えることを特徴と
   する請求項２に記載の装置。
4. 【請求項４】 前記ハイフネーション規則の組は、更
   に、他の規則によって扱われない有限数のストリングに
   適用可能な少なくとも一つの規則を備え、該他の規則に
   否定規則が付け加えられ、当該否定規則を含んでいる該
   他の規則は、該有限数のストリングのハイフネーション
   を扱わないことを特徴とする請求項２に記載の装置。
5. 【請求項５】 前記入力ストリングは、言語の単語であ
   ることを特徴とする請求項１に記載の装置。
6. 【請求項６】 前記言語は、英語であることを特徴とす
   る請求項５に記載の装置。
7. 【請求項７】 前記言語は、フィンランド語であること
   を特徴とする請求項５に記載の装置。
8. 【請求項８】 前記入力ストリングは、文書処理プログ
   ラムで用いられる文書の単語であり、前記ハイフネーシ
   ョン標識は、該文書処理プログラムのラインブレーク位
   置決定プロセッサに連結されることを特徴とする請求項
   １に記載の装置。
9. 【請求項９】 前記ハイフネーション標識は、ハイフネ
   ーション位置にハイフンが散在する前記入力ストリング
   から記号を包含しているストリングを出力することを特
   徴とする請求項１に記載の装置。
10. 【請求項１０】 前記入力ストリングは、少なくとも一
    つの提案されたハイフネーション位置に少なくとも一つ
    のハイフンを含み、前記ハイフネーション標識は、該提
    案されたハイフネーション位置が前記ハイフネーション
    規則の組に従うか否かを示すことを特徴とする請求項１
    に記載の装置。
11. 【請求項１１】 前記状態遷移データ構造は、前記デー
    タ構造への前記ハイフネーション規則の組の自動コンパ
    イルによって生成されたデータ構造であることを特徴と
    する請求項１に記載の装置。
12. 【請求項１２】 前記状態遷移データ構造は、前記デー
    タ構造への前記ハイフネーション規則の組の手動コンパ
    イルによって生成されたデータ構造であることを特徴と
    する請求項１に記載の装置。
13. 【請求項１３】 入力ストリングにハイフンを付す方法
    であって、状態遷移構造にハイフネーション規則の組を
    コンパイルし、該ハイフネーション規則のそれぞれが、
    表現に対応付けられた基準の組に適合するストリングの
    少なくとも一つの許されたハイフン位置または禁止され
    たハイフン位置を示す表現によって特徴付けられ、少な
    くとも該ハイフネーション規則の一つが入力ストリング
    の非束縛な組についての少なくとも一つのハイフン位置
    を符号化し、該状態遷移構造により有限状態機械をプロ
    グラミングし、該有限状態機械を初期状態にリセット
    し、該入力ストリングの記号及び該状態遷移構造により
    該有限状態機械の少なくとも一つの現行状態を変更し、
    該変更段階で生じた一つの状態から別の状態への遷移に
    よりハイフン位置標識を出力する段階を具備することを
    特徴とする方法。
14. 【請求項１４】 前記ハイフン位置標識を出力する段階
    は、更に、ハイフン位置にハイフンが散在する前記入力
    ストリングの前記記号を出力する段階を具備することを
    特徴とする請求項１３に記載の方法。
15. 【請求項１５】 前記入力ストリングは、提案されたハ
    イフン位置に少なくとも一つのハイフンを備え、前記ハ
    イフン位置標識を出力する段階は、更に、該提案された
    ハイフン位置が該入力ストリングについてのハイフン位
    置に対応するか否かの標識を出力する段階を具備するこ
    とを特徴とする請求項１３に記載の方法。
16. 【請求項１６】 請求項１３の方法によって生成された
    出力ストリング。
17. 【請求項１７】 ハイフネーション規則の組を生成し、
    少なくとも該ハイフネーション規則の一つが入力ストリ
    ングの非束縛な組についての少なくとも一つのハイフン
    位置を符号化し、該ハイフネーション規則のリストに対
    応する状態遷移構造を発生し、該状態遷移構造が、入力
    ストリングの特定の記号の入力に続いて現行状態から次
    に状態への複数の遷移のいずれが取られるかを示すデー
    タを備えており、該データが該入力ストリングのハイフ
    ン位置をも示し、該状態遷移構造により該有限状態機械
    をプログラミングする段階を具備する方法によって発生
    した有限状態機械。