JPS63106074A - 形態素解析における行末ハイフンの処理方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 抜東分裏 本発明は、英文における行末のハイフンの処理方式に関
し、英文の解析、英文を日本語に翻訳する機械翻訳等に
適用可能なものである。

災米技嵐 英文等において行末にハイフンがある場合、ハイフンを
付けたままで辞書引き等の処理をすると、。

実は、１語が２行にわたったがためのハイフンであると
すれば、未知語（辞書にない語）と認定されて誤まった
処理が進んでいく、また、行末のハイフンは、１語を分
けているだけだとして常に無視するとすると本当はハイ
フンが付いた語である場合に誤まってしまう、また、ハ
イフン無しの形と、ハイフン付きの形の両方を持つので
は、処理が複雑になり、また、誤まっている形も保持し
続けるので能率の悪いものとなってしまう。

１−一孜 本発明は、上述のごとき実情に鑑みてなされたもので、
特に１行末にハイフンがある場合、まず、ハイフンはな
いものとして辞書引きし、該当する語があれば、その結
果を正しいとし、辞書にない場合は改めてハイフン付き
の形で処理するようにし、もって、誤りの起こる可能性
を減らすことができるようにすることを目的としてなさ
れたものである。

遭−一」又 本発明は、上記目的を達成するために、行末にハイフン
が存在して次行に続いている単語について、最初に、ハ
イフンをなくした形で辞書引きし、エントリがあればそ
のエントリを採用し、なければ、ハイフンの付いたまま
の形を操用することを特徴としたものである。以下１本
発明の実施例に基づいて説明する。

ハイフン付きの語について、本出願人は、先に。

一旦、全体を１つのブロックとして切り出し、以降の処
理で全体をブロックとし、ハイフンをはずして各構成要
素を辞書引き単位とすることについて提案したが、本発
明は、そのうち、特に、ハイフンが行末にきた時１例え
ば、・・・ｒａｎｔｉ−（ハイフン）−）（改行）　ｗ
ａｒＪの時、まず、ａｎｔｉｖａｒ　（ハイフンなし）
で辞書引きし、辞書にエントリがあれば、ａｎｔｉ　−
ｗａｒであるという可能性を考え、辞書にエントリがな
ければ、ａｎｔｉ　−ｗａｒとして改めて普通のハイフ
ン語としての処理を行うようにしたものである。

第１図は、本発明による行末ハイフン処理方式の一実施
例を説明するためのブロック線図で、以下、英日機械翻
訳の英語解析システム中の形態素解析処理の一部として
実現した例について説明する。第１図において、１は入
力装置、２は入力文書ファイル、３は辞書ファイル、４
は入力文書整形済ファイル、５は検索済辞書情報ファイ
ル。

１０は本発明による行末ハイフン処理部で、該行末ハイ
フン処理部１０は、入力部１１．処理部１２、辞書検索
部１３．制御部１４．出力インターフェース１５等から
成り、入力部１１は文字列バッファを、また、処理部１
２は辞書情報保存テーブルを有しており、以下のように
動作する。

（１）入力部１１の文字列バッファに、入力文書ファイ
ル２の内容または入力装置１により所望のデータを入力
する。

（２）処理部１２において、文字列データを整形し、文
字列の最初の文字から順に検索キー文字列を検索し、こ
の検索キーを辞書検索部１３に転送する。

（３）辞書検索部１３は、上記検索キーに基づき辞書フ
ァイル３から辞書情報を呼び出し、これを処理部１２に
転送し、該処理部１２の辞書情報保存テーブルに記録す
る。

（４）記録されたデータは、出力インタフェース１５を
介し、検索済辞書情報ファイル４に記録される。

（５）入力部１１の文字列バッファのデータのうち、確
定したものは出力インターフェース１５を介して入力文
書（！！形済）ファイル５に記録される。

（６）不確定なデータは、フローチャートの処理により
確定する。

（７）前記辞書検索（３）において不確定で検索キーに
応する辞書情報がなかった場合には、フローチャートの
処理により別の可能性をもつデータをもって確定し、確
定したデータを検索キーと前記（３）の処理を行う。

（８）前記辞書検索（３）において確実で、検索キーに
応する辞書情報がなかった場合には、「なかった」とい
う情報を辞書情報保存テーブルに記録する。

第２図は、本発明の動作説明をするためのフローチャー
トで、以下、該フローチャートに付した順番に従って説
明する。

上記の文書の開始位置から終了位置までを内部のバッフ
ァに読み込む、ただし、開始、終了位置は１例であり、
何らかの手段で知ることができればよい、内部バッファ
は１例えば、Ｙｏｕ、＝−ａｒｅ−ｈｅｒｅ、＝ｏｎ、
＝　＝Ｓｕｎ−−ｐｄａｙ、＝ａｆｔｅｒｎｏｏｎ、−
Ｉ−−−ａｎｔｉ−−）ｖａｒ・・・の文字列となって
いる。

■　理　　文　の整形 内部バッファに読み込んだ文書に次の整形処理をする。

前記１→４の順に該当するものがなくなるまで繰り返す
、スペースは、タブ等を含む。

内部バッファは、　　Ｙｏｕ−ａｒｅ、、ｈｅｒｅ−ｏ
ｎ、＝Ｓｕｎ−ｐｄａｙ　−ａｆｔｅｒｎｏｏｎ　、　
−Ｉ　−−−ａｎｔｉ−−ｐ　ｗａｒ−どなる。

■辞　　き　ｔの　リ　し 文章（内部バッファ）の先頭から順に、英字・数字・ハ
イフン・ピリオド・アポストロフィ・１以外の文字で囲
まれた文字列を切り出す（但し、アポストロフィは開始
位置にほこない、）と表１のようになる。（以下、余白
） 表１ 上記各切り出し単位を切り出した直後に、以下の、処理
を行う。

曵止児乳ｉ 切り出された辞書引き単位文字列をキーに辞書を検索す
る。

エントリが辞書中にない場合は、更に次の条件で検索す
る。

の場合・・・末尾部分を除いて検索。

■先頭が大文字の場合・・・対応する小文字に変換して
検索。

■前記■及び■の複合 ただし、前記の一〇末尾の　、（ピリオド）を検索単位
からはずした場合は１．（ピリオド）を１つの切り出し
単位として認定し直す。

例えば、辞書引き単位の表１の 辞書引き単位に５ｕｎ−−）ｄａｙ、　ｕｎｔｉ−−）
ｗａｒのように−フを含む場合、 Ａ、まず、ハイフン十改行をとり去った形で前記■の辞
書引きを行う。

５ｕｎｄａｙをキーに検索する。

Ｂ、エントリがある（検索に成功）場合、テキスト（内
部バッファ）中、及び、辞書引き単位よリーフを取り除
いて 内部バッファ°パ−５ｕｎｄａｙ−°゛辞書引き単位　
５ｕｎｄａｙ とし、その後、辞書情報の読み込みへ行く。

Ｃ，エントリがない（検索失敗）場合、テキスト（内部
バッファ）及び、辞書引き単より１を取り除いて 内部バッファ…−ａｎｔｉ−ｗａｒ−…辞書引き単位　
ａｎｔｉ−ｖａｒ とし、その後、前記■へ行く。

■　書　　の　み゛み 表２は、内部の辞書引き単位と辞書情報対応のテーブル
を示すが、このテーブルから辞書情報を辞書引き単位毎
に読み込む。

表２ ■未登録語の処理 表３は辞書の内容を示しており、未登録語の場合はフラ
グを立てる。なお、図示辞書において、エントリは、各
単語の各変化形であり、１エントリに対して複数個の品
詞をもつ場合もある。

表３ 以上の説明から明らかなように、本発明によると１行末
にハイフンがきた時、まず、ハイフンがないものとして
辞書引きし、該当する語があればその結果を正しいもの
とし、辞書にない場合は改めてハイフン付きの形で処理
するようにしたので、誤りの起こる可能性が少ないハイ
フン処理を行うことができる。

【図面の簡単な説明】

第１図は、本発明によるハイフン処理の一実施例を説明
するためのブロック線図、第２図は、第１図の動作説明
をするためのフローチャートである。 １・・・入力装置、２・・・入力文書ファイル、３・・
・辞書ファイル、４・・・入力文書整形済ファイル、５
・・・検索済辞書情報ファイル、１０・・・行末ハイフ
ン処理部、１１・・・入力部、１２・・・処理部、１３
・・・辞書検索部、１４・・・制御部、１５・・・出力
インターフェース。

Claims (1)

【特許請求の範囲】
1. 行末にハイフンが存在して次行に続いている単語につい
   て、最初に、ハイフンをなくした形で辞書引きし、エン
   トリがあればそのエントリを採用し、なければ、ハイフ
   ンの付いたままの形を採用することを特徴とする形態素
   解析における行末ハイフンの処理方式。