JPS6140671A

JPS6140671A - 単語分割処理方法

Info

Publication number: JPS6140671A
Application number: JP16244384A
Authority: JP
Inventors: Hiroyuki Kaji; 梶　博行; Yoshihiko Nitta; 義彦新田; Atsuko Isatsu; 伊佐津　敦子; Tomikado Shimizu; 清水　富門
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1984-07-31
Filing date: 1984-07-31
Publication date: 1986-02-26
Anticipated expiration: 2010-03-15
Also published as: JPH0724055B2; US4750122A

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔発明の利用分野〕本発明は、単語分割処理方式に関し、特に未知語を含む
テキストも処理できる日本語処理システムのテキストか
ら単語への自動分割方式に関するものである。

〔発明の背景〕

機械翻訳を含む各種の自然言語処理システムにおいては
、単語を見出しとする辞書が用いられ、辞書を検索しな
がらテキストの処理が行われる（例えば特開昭５６−１
７４６７号公報参照）。しがし、テキストに出現する単
語のすべてをあらかじめ辞書に登録しておくことは不可
能であり、未知語の取扱いが実用上重要な問題となる。

すなわちテキスト中の未知語を効率よ（同定することが
要求される。未知語を同定する場合、英語のように単語
の間にスペースが挿入される言語に対しては簡単にでき
るが、日本語のように単語が続けて書かれる言語に対し
てはきわめて難しい問題である。

日本語のように、単語間にスペースを挿入せずに続けて
書かれる言語のテキストの自動処理を行うには、第１段
階としてテキストを単語に分割する処理が必要である。

このためには、テキスト中の文字列をキーとして単語辞
書を検索し、単語の品詞等により前接語との接続可否を
チェックする方法が広く用いられている。この方法では
、分割が行き詰まる（辞書検索に失敗、あるいは接続可
能な単語がない）原因として、未知語がある場合と、そ
れまでの分割に誤りがあった場合の２つがある。したが
って、分割が行き詰っても、直ちに未知語と判定するこ
とはできず、別の分割の可能性を求めて後戻り処理を行
うことが必要である。

すなわち、未知語が含まれているため、分割処理の行き
詰りが発生した場合、後戻り処理によりテキストの先頭
ま、で戻った時点で、初めて未知語が含まれると判断さ
れている。このため、未知語が含まれていると判定する
までに、多くの処理時間を必要としている。しかも、未
知語が含まれると判断された場合、そこがら先の分割を
続行することは簡単ではなかった。すなわち、未知語の
存在を考慮しないで、後戻りする際に、途中で失敗した
分割結果の情報が保存されていないためζ未知語が含ま
れていたと判定されても、その位置を同定することがで
きなかった。

前述のように、各種の自然言語処理システムにおいて、
あらゆる単語が辞書に登録されていると考えることは実
際上不可能であり、未知語の入力も許容することが必要
である。例えば機械翻訳の、Ｉ場合、未知語を含むものは翻訳不可とせずに、未知語に
ついては原語のまま挿入した翻訳文を出力することが望
ましい。

〔発明の目的〕

本発明の目的は、このような従来の問題点を解決し、テ
キスト中の未知語を効率よく同定し、未知語以降の部分
に対してもテキストの分割処理を続げることができる単
語分割処理方式を提供することにある。

〔発明の概要〕

上記目的を達成するため、本発明の単語分割処理方式は
、テキスト中の文字列をキーとして、単語辞書を検索し
、検索された単語の接続可否をチェックするテキストの
単語分割処理方式において、上記単語辞書に登録された
単語の範囲で単語分割処理を行い、上記単語分割処理が
行き詰まったときは、未知語を同定する処理を行い、未
知語以降の部分に対しても分割処理を続けることに特徴
がある。　　゛〔発明の実施例〕以下、本発明の実施例を、図面により説明する。

第１図は、本発明を用いるデータ処理システムのブロッ
ク図である。

この処理システムは、処理装置１、記憶装置２、辞書検
索処理装置３、辞書ファイル記憶装置４、入力装置５お
よび出力装置６から構成される。

記憶装置２には、分割処理の対象となるテキストを格納
するテキスト・エリア、辞書検索のキーとなる文字列を
格納する検索キー・エリア（ＫＹ　）之辞書から検索さ
れたレコードを格納する辞書レコード・エリア、単語間
の接続可否を示す接続行列を格納する接続行列エリア、
分割結果を格納する分割用スタック・エリア、後戻りの
際に分割結果を退避する退避用スタック・エリア等が、
それぞれ設けられる。

第２図は、接続行列の一部を示す図である。

接続行列とは、テキストを単語に分割した場芥に、各単
語の品詞を調べて、前の単語の品詞が後接単語の品詞に
、文法的に接続可能か否かをチェックするためのもので
ある。そして、接続行列は、第２図に示すように各行、
各列が単語のカテゴリに対応した２値行列であって、“
１パのとき接続可、“Ｏ”のとき接続不可である。縦軸
に配列された品詞が前の単語であり、横軸に配列された
品詞が後接単語である。例えば、「自動車（名詞）が（
助詞）走った（動詞）。」というテキストでは、名詞の
次に格助詞が接続されるので、名詞（縦軸）と格助詞（
横軸）の交点はｌ″であり、名詞の次に直接動詞が接続
されないので、名詞（縦軸）と動詞（横軸）との交点は
“○”′である。すなわち、１行」列要素の値は、ｉ行
に対応するカテゴリに属する単語の後に、３列（Ｃ対応
するカテゴリに属する単語が接続可能か否かを“１″、
“Ｏ゛で示したものである。

第３図は、本発明で用いられる分割用スタックの説明図
である。

分割用スタック（ＳＴＣ）は、テキストから分割された
各単語に対応するデータを格納するものである。第３図
に示すように、テキスト中の単語開始位置（ＳＴ）と単
語の属するカテゴ’Ｊ　（Ｃ）が少なくとも格納される
。スタック（ＳＴＣ）へのデータの格納およびスタック
からのデータの取り出しは、ともにスタックの先頭に対
してのみ行われる。すなわち、スタック（ＳＴＣ）はＦ
ＩＬＯ（Ｆｉｒｓｔ　Ｉｎ　Ｌａ５ｔ　Ｏｕｔ　）動作
を行うもので、最初に格納されたデータは最後に取り出
される。このため、スタックの先頭データの位置を指示
するスタック先頭位置インデクス（ＴＯ８）が記憶きれ
ている。

記憶装置２０分割結果を退避する退避用スタック・エリ
アも、第３図の分割用スタックと同じ構造を有している
。

辞書ファイル記憶装置生には、単語の表記文字列を見出
しとするレコードが格納されて、いる。このレコードに
は、少なくとも、その単語の属するカテゴリを示すコー
ドが含まれている。

本実施例では、検索キーが与えられると、辞書検索処理
装置３によりその検索キーの前方と最長一致する見出し
を持つレコードが検索されるものとする。このような検
索機能は、よく知られたフアイル編成方法を用いて実現
することができる。　　　□第４図（ａ）　（ｂ）は、
本発明の一実施例を示すテキストの単語分割処理のフロ
ーチャートである。

第４図（ａ）　（ｂ）の実施例においては、第１に、単
語分割が行詰って、後戻りする際に、未知語の可能性の
高い途中結果を保存しておき、他の分割の可能性がなく
なった場合には、直ちに未知語を同定できるようにする
。なお、未知語の可能性の高い途中結果の具体例として
は、未知語を後接語として持ち得る単語で終了している
途中結果であって、最もテキストの前方まで進んだもの
が考えられる。

第２に、テキスト中の一定の条件を満たす点を越えない
ように、後戻りの範囲を制限することによって、正解に
至る可能性がない分割の試行をあらかじめ防止する。な
お、一定の条件を満たす点としては、例えば、字種境界
（ひらがなから漢字に変化する点等）と単語境界の一致
点がある。なぜならば、字種境界と一致した単語境界は
正解である確率がきわめて高いからである。

第４図（ａ）におけるステップ１０１，１０２は初期処
理ステップであり、ステップ１０３〜１０９は辞書検索
ステップであり、ステップ１１０〜１１４は接続可否チ
ェック・ステップであり、ステップ１１５〜１２０は分
割用スタックへの単語登録ステップであり、ステップ１
２１〜１２９は退避用スタックへの単語退避ステップで
ある。サラニ、ステップ１３０〜１３２は分割用スタッ
クからの単語削除ステップでありステップ１３３〜１３
７は退避用スタック内容の分割用スタックへの移動ステ
ップであり、ステップ１３８〜１４１は分割用スタック
への未知語登録ステップである。

（１）初期処理入力装置５から入力されたテキストは、テキスト・エリ
アＴＸＴに格納され、テキスト長ＴＸＬが求められる（
ステップ１ｏ１）。次に、テキスト中の文字位置を示す
インデクス■に初期値ＩＩ　Ｉ　１１を、テキスト中の
未知語候補の位置を示すインデクスＭＩに初期値“Ｏ″
を、分割用スタック先頭位置インデクスＴＯ８に初期値
“Ｏ″を、退避用スタック先頭位置インデクスＴＯ８’
に初期値“′０″を、それぞれセットする（ステップ１
０２）。

（１１）辞書検索テキストの第■文字から初まる文字列をキーとする検索
が初回である場合には、検索キーの長さＫ　Ｙ　Ｌをあ
らかじめ定められた最大値ＩＶＩ　Ｋ　Ｙ　Ｌと、第Ｔ
文字以降の文字数との最大値にする（ステップ１ｏ３）
。ここでＭＫＹＬは辞書に登録された見出しのうち最長
のものの文字数としておく。テキストの第１文字から始
まる文字列をキーとしての検索がすでに行われている場
合、つまり前回検索された単語を含むような分割が不可
であることがわかっている場合には前回検索された単語
から最後尾１文字を削ったものをキーとする（ステップ
１０４）。検索キーの長さが１以上であれば（ステップ
１０５）、検索キーを検索キー・エリアＫＹにセットす
る（ステップ１Ｏ６）。検索キーの長さがＯであれば（
ステップ１０５）、辞書検索ができないので後戻り処理
に移る（■以降のステップ）。

検索キー・エリアＫＹに検索キーがセットされると、辞
書検索処理装置３に対し検索キーの前方と最長一致する
見出しを持つレコードの検索を要求する（ステップ１０
７）。辞書検索処理装置３は、該当するレコードが辞書
ファイルにあれば、見出し、カテゴリ・コード等を辞書
レコード・エリアに格納する。レコードが検索された場
合には（ステップ１０８）、その単語の単語長をメモリ
・エリアＷＬに、゛その単語の属するカテゴリをメモリ
・エリアＣ２に、それぞれセットしくステップ１０９）
、接続可否チェックに進む。レコードが検索されなかっ
た場合には（ステップ１０８）、後戻り処理に移る（■
以降のステップ）。

（ｉｌｉ　）接続可否チェック接続可否チェックすべき２つの単語のうち、後方の単語
のカテゴリは、すでにエリアＣ２にセットされているの
で、ここでは前方の単語のカテゴリを分割用スタック（
ＳＴＣ）の先頭データ（ＴＯ８）を参照することにより
、エリアＣ１にセットする（ステップ１１１）。ただし
、分割用スタック（ＳＴＣ）が空である場合には（ステ
ップ１１０）、文頭の単語に対する処理があるので、エ
リアＣ１。

に゛′文頭゛′をセットする（ステップ１１２）。

次に、エリアＣ１と０２の品詞間の接続可否を接続行列
を参照して、チェックする（ステップ１１３　）。

接続可であれば、分割用スタック（ＳＴＣ）への単語登
録に移る。また、接続不可であれば、エリアＣ２が“′
文ボ″の場合（ステップ１１４）、後戻り処理に（■以
降の処理）、それ以外の場合には辞書の再検索に移る（
ステップ１０４）。

（１ｖ）分割用スタックへの単語登録接続可否チェックで接続可となった場合（ステップ１１
３）、エリ′アＣ２が“′文ホ′であれば（ステップ１
１５）、分割処理はすべて終了であるが、そ　゛うでな
げれば単語を分割用スタック（ＳＴＣ）に登録する。こ
のため、先ず、スタック先頭位置インデクスＴＯ３に１
を加える（ステップ１１６）。

次に、登録すべき単語のテキスト中の開始位置は■、カ
テゴリはエリアＣ２に記憶されているので、これらをス
タック（ＳＴＣ）の先頭に書き込む（ステップ１１７）
。この後、テキスト中の文字位置を示すインデクスＩを
進め（ステップ１１８）、次の語の検索に進む。ただし
、テキストの末尾まで達した場合には（ステップ１１９
）、エリアＣ２に”文末”　ヲセット（ステップ１２０
）した上で文末チニックに移る（ステップ１１０）。

（）退避用スタックへの単語退避第４図（ｂ）に示すように、後戻り処理の前半は、分割
用スタック（ＳＴＣ）から退避用スタックへの単語デー
タの退避である。これは、他に解が見当らないとき、途
中で失敗した分割結果の情報を保存しておくことにより
、この保存情報を利用するものである。

先ず、分割用スタック（ＳＴＣ）が空の場合には（ステ
ップ１２１）、退避すべきデータは存在しないので、退
避用スタックのデータを復元した（ステップ１３４〜ｌ
・３６）上で未知語を認定する処理に移る（ステップ１
３７〜１３９）。また、分割用スタック（ＳＴＣ）の先
頭が゛未知語″の場合には（ステップ１２２）、その未
知語を１文字分延ばす処理に移る（ステップ１４０）。

次に、テキスト中の現在位置Ｉが未知語候補位置ＭＩよ
り進んでおり（ステップ１２３）、かつスタックの先頭
が“′未知語″を後接語としてもち得る語である場合（
ステップ１２＋）、未知語候補を更新する。すなわち、
新しい未知語候補の位置は■の示す位置とし、同時に不
要となった退避用スタックのデータを捨てる（ステップ
１２５）。次に、■の示す位置の文字がその前の文字と
同じ文字種か否かを調べ（ステップ１２６）、同じ文字
種であればデータの退避を行う（ステップ１２８〜１２
９）。

また、異なる文字種であれば、それ以上後戻りをせず、
退避用スタックのデータを分割用スタック（ＳＴＣ）に
復元した上で未知語を認定する処理に移る。■がＭＩよ
り進んでいても（ステップ１２３）、スタック（ＳＴＣ
）の先頭が“未知語“を後接語として持ち得ない場合に
は（ステップ１２４）、データの退避は行わず、直ちに
分割用スタック（ＳＴＣ）からの単語削除に移る（ステ
ップ１３０〜１３２）。

また、■がＭＩより進んでいない場合（ステップ１２３
）、退避用スタックの先頭の語の位置と■が一致すれば
（ステップ１２７）、Ｉの示す位置の文字がその前の文
字と同一文字種か否かを調べ（ステップ１２６）、同一
文字種であればデータの退避を行う（ステップ１２８，
１２９）。また、異なる文字種であれば、それ以上後戻
りはせず、退避用スタックのデータを分割用スタック（
Ｓ　Ｔ’Ｃ）に復元した上で、未知語を認定する処理に
移る（ステップ１３３〜１３９）。なお、退避用スタッ
クの先頭の語の位置が１と一致しなげれば（ステップ１
２７）、直ちに分割用スタック（ＳＴＣ）からの単語削
除に移る（ステップ１３０〜１３２）。

（■１）分割用スタックからの単語削除後戻り処理の後
半は、分割用スタック（ＳＴＣ）からの単語データの削
除である。すなわち、検索キー長ＫＹＬに削除する単語
の長さをセットしくステップ１３０）、テキスト中の現
在位置■をその単語の先頭位置に変更した上で（ステッ
プ１３１）、データを削除しくステップ１３２）、辞書
の再検索に進む（＠以降の処理）。

（ｖｉｉ）退避用スタック内容の分割用スタックへの移
動これ以上後戻りができない場合には、退避用スタックの
内容を分割用スタックに戻す。このため、退避用スタッ
クの先頭データを分割用スタック（ＳＴＣ）の先頭に移
す処理（ステップ１３４〜１３６）を、退避用スタック
にデータが存在する限り（ステップ１３３）、繰り返す
。さらに、テキストの現在位置■を、復元された分割用
スタックの内容に合わせて更新する（ステップ１３７）
。

（ｖｉｉｉ）分割用スタックへの未知語登録退避用スタ
ックの内容が分割用スタックに復元されると、テキスト
の現在位置Ｉの１文字を゛未知語°゛として分割用スタ
ックの先頭に登録する（ステップ１３８，１３９）。次
に、■を１文字分進めた上で（ステップ１４０）、辞書
の検索に進む（Ｏ以降の処理）。ただし、テキスト末尾
まで到達すると（ステップ１４１）、分割処理は終了す
る。

以上が処理装置１による単語分割処理の第１実施例であ
って、分割用スタック・エリアに残っている分割結果は
、処理装置１から出力装置６に出力される。

このように、第１の実施例においては、テキスト中の未
知語を効率よく同定することができる。

未知語が含まれるテキストに対しても、テキストの末尾
まで単語に分割されるので、構文解析等の次のステップ
の処理を続行することがで、きる。したがって、機械翻
訳において、未知語を原語のまま挿入した形で、翻訳結
果を出力することが可能となる。

一方、未知語を含まないテキストに対しても、従来と同
じ分割結果を得ることができる。未知語である可能性が
高い途中結果を保存する処理を含むため、その分だけ効
率は低下するが、保存するものは未知語の可能性の高い
ものに絞っているため、効率低下の割合は僅かである。

また、後戻りの範囲を制限することにより、正解を見逃
す可能性もあるが、字種境界のように統計的に意味のあ
る点を限界点としているため、正解を見逃す確率は小さ
く、未知語同定の効率向上の効果の方が太きい。

第５図（ａ）　（ｂ）は、本発明の他の実施例を示すテ
キストの単語分割処理のフローチャートである。

フローチャート中のステップ２０１〜２０２　は初期処
理ステップ、ステップ２０３〜２０９は辞書検索ステッ
プ、ステップ２１０〜２１４は接続可否チェック・ステ
ップ、ステップ２１５〜２２０は分割用スタックへの単
語登録ステップ、２２１〜２２８は未知語抽出ステップ
、２２９〜２３４は分割用スタックからの単語削除ステ
ップである。

第５図（ａ）　（＋））の実施例においては、第１に、
日本語テキストにおいては、単語境界と文字種（漢字、
ひらがな、カタカナ、アルファベット等）との間に統計
的に密接な関係が認められ、ひらがなから他の字種に変
わる点で単語境界となる確率が高い性質があり、第２に
、多くの応用システムにおいては、未知語は固有名詞あ
るいは専門分野の新しい概念に対して命名された術語で
あることが多いという２つの点に着目している。未知語
は、文字種でいうと、漢字列、カタカナ列、アルファベ
ット列等のひらがな以外の単一文字種からなる場合が多
く、また品詞でいうと名詞あるいはす変動詞語幹等に限
定されると考えられる。

そこで、この実施例では、テキスト中、異種の文字に挾
まれた漢字列、カタカナ列、あるいはアルファベット列
に限定して未知語の候補と考える。

また、未知語を、単語の接続可否チェックのために設定
されたカテゴリの１つと考え、未知語に対しても他のカ
テゴリと同じように前接語あるいは後接語のカテゴリを
決めておく。このような前提の下で、辞書検索と接続可
否チェックによる分割が行き詰った場合、未知語の可能
性を調べ、未知語と考えられるときは後戻りせずに、分
割処理を続行する。

なお、第６図（ａ）　（ｂ）の実施例においても、第１
図〜第３図の資源を用いて処理を実行する。

（１）初期処理入力装置５から入力されたテキストは、記憶装置２のテ
キスト・エリアＴＸＴに格納され、テキスト長ＴＸＬが
求められる（ステップ２０１）。次に、テキスト中の文
字位置を示すインデクス■に初期値゛１′′を、スタッ
ク先頭位置インデクスＴＯ８に初期値１１０Ｉ＋をセッ
トする（ステップ２０２）。

（１１）辞書検索テキストの第■文字から始まる文字列をキーとして行わ
れる検索が、初めての場合には、検索キーの長さＫＹＬ
をあらかじめ定められた最大値ＭＫＹＬと、第■文字以
降の文字数のうちの最大値にする（ステップ２０３）。

なお、ＭＫＹＬは、辞書に登録された見出しのうち最長
のものの文字数としておけばよい。また、テキストの第
■文字から始まる文字列をキーとする検索が、すでに行
われている場合には、前回検索された単語から最後尾１
文字を削ったものをキーとする（ステップ２ｏ４）。検
索キーの長さが１以上であれば（ステップ２０５）、検
索キーを検索キー・エリアＫＹにセットする（ステップ
２０６）。検索キーの長さが○であれば（ステップ２０
５）、辞書検索ができないため未知語の可能性を調べる
処理に移る（■を介して第５図（ｂ）の処理へ）。検索
キー・エリアＫＹに検索キーがセットされると、辞書検
索処理装量３に対して、検索キーの前方と最長一致する
見出しを持つレコードの検索を要求する（ステップ２０
７）。辞書検索処理装置３は、該当するレコードが辞書
ファイルに存在すれば、見出しとカテゴリ・コード等を
辞書レコード・エリアに格納する。

レコードが検索された場合には（ステップ２ｏ８）、そ
の単語の単語長をメモリ・エリアＷＬに、その単語の属
するカテゴリをメモリ・エリアＣ２に、ソレソれセット
しくステップ２ｏ９）、接続可否チェックに進む。レコ
ードが検索されなかった場合には（ステップ２０８）、
未知語の可能性を調べる処理に移る（■を介して第６図
（ｂ）の処理へ）。

（ｉｉｉ　’）接続可否チェック接続可否をチェックすべき２つの単語のうち、後方の単
語のカテゴリはすでにエリアＣ２にセットされているの
で、ここでは前方の単語のカテゴリを分割用スタックの
先頭データを参照することにより、エリアＣ１にセット
する（ステップ２１１）。

ただし、分割用スタックが空である場合には（ステップ
２１０）、文頭の単語に対する処理であるため、エリア
Ｃ１に“文頭”′をセットする（ステップ２１２）。次
に、エリアｃ１と０２の接続可否を接続行列を参照して
チェックする（ステップ′２１３）。

接続可であれば、分割用スタックへの単語登録に進む。

接続不可であれば、エリアＣ２が°“未知語′”あるい
は“文末゛の場合には（ステップ２１４）、分割用スタ
ックからの単語削除に（０を介して第５図（ｂ）の処理
へ）、それ以外の場合には辞書の再検索に移る（ステッ
プ２０４）。

（ｉＶ）分割用スタックへの単語登録接続可否チェックで接続可となった場合、エリアＣ２が
″文末″であれば（ステップ２１５）、分割・　　処理
はすべて終了であるが、゛文末パでなければ、単語を分
割用スタックに登録する。このため、先ずスタック先頭
位置インデクスＴＯ８に１を加える（ステップ２１６）
。次に、登録すべき単語のテキスト中の開始位置は１１
カテゴリはＣ２に記憶されているので、これらをスタッ
クの先頭に書き込む（ステップ２１７）。この後、テキ
スト中の文字位置を示すインデクスを進め（ステップ２
１８）、次の語の検索に進む（ステップ２１９，２０３
）。ただし、テキストの末尾まで達した場合には（ステ
ップ２１９）、エリアＣ２に“文末′をセットした上で
（ステップ２２０）、文末チェックに移る（ステ文字種
の列である。そこで、先ずテキストの第１文字がひらが
なか否かをチェックする（ステップ２２１）。第■文字
がひらがなでなく、シかも、文頭でない場合には（ステ
ップ２２２）、さらに第（■−１）文字が第■文字と異
なる文字種か否かをチェックする（ステップ２２３）。

この結果、未知語の先頭であり得るか否かを判別できる
。人知語の先頭であり得ない場合には（ステップ２２１
．　　・２２３）、分割用スタックからの単語削除に移
る（ステップ２２９以下）。一方、未知語の先頭と考え
られる場合には、異なる文字種が現われるまでテキスト
を前方にスキャンすることにより、未知語の長さを求め
てエリアＷＬにセットする（ステップ２２４〜２２７）
。さらに、−リアＣ２に“未知語°′を　　　、１セツ
トした上で（ステップ２２８）、接続可否チェックに進
む（■を介して第６図（ａ）の２１０へ）。

（ｖｌ）分割用スタックからの単語削除分割用スタック
からの単語削除が要求されたとき、すでにスタックが空
であれば（ステップ２２９）、分割できなかったものと
して処理を終了する。スタックが空でなければ、スタッ
クの先頭からデータを削除する（ステップ２３０〜２３
４）。スタックの先頭に対応する単語のカテゴリが゛′
未知語″でない場合（ステップ２３０）、検索キー長に
’ＹＬにその単語の長さをセットする（ステップ２３１
）。そして、テキスト中の文字位置を示すインデクスＩ
をその単語の先頭位置に戻す（ステップ２３２）。

次に、スタック先頭位置インデクスＴＯ８を１だけ減す
ることにより、スタックから先頭データを削除する（ス
テップ２３３）。そして、テキストの第■文字以降の文
字列による辞書゛検索に進む（■、を介して第５図（ａ
）のステップ２０４へ）。マタ、スタックの先頭に対応
する単語のカテゴリがパ未知語″である場合には（ステ
ップ２３０）、先頭データを削除した後（ステップ２３
４）、次のデータの削除処理を行う（ステップ２２９）
。

このようにして、順次分割処理を繰り返す。そして、分
割用スタック・エリアに残っている分割結果は、処理処
置１から出力装置６に出力される。

第５図（ａ）　（ｂ）の実施例においては、未知Ｈむテ
キスＨＣ対して末尾まで単語に分割できる確率がきわめ
て高い。また、未知語と仮定しての処理は、未知語であ
る可能性が高い場合にのみ行われ、かつ後戻り処理の前
に行うので、処理時間は短くなる。

一方、未知語を含んでいないテキストに対しても、未知
語と仮定しての処理が辞書に登録された語の範囲での分
割が行き詰まった場合に、初めて行われるので、処理効
率が損われることはない。このように、未知語を含むテ
キストの単語への自動分割を効率よく行うことができる
ので、辞書にすべての単語を登録しておくことが不可能
であることを考慮すると、本実施例の処理方式は実用上
きわめて有効である。

〔発明の効果〕

以上説明したように、本発明によれば、テキスト中の未
知語を効率よく同定し、未知語を含む可能性のあるテキ
ストの自動分割処理を効率よく行うことができるので、
自然言語処理システムにおいて実用上きわめて効果が犬
である。

【図面の簡単な説明】

第１図は本発明を用いたデータ処理システムのブロック
図、第２図は本発明に用いる接続行列の一部を示す図、
第３図は本発明で用いる分割°用スタックの説明図、第
４図は本発明の一実施例を示すテキストの単語分割処理
のフローチャート、第５図は本発明の他の実施例を示す
テキストの単語分割処理のフローチャートである。ｌ：処理装置、２：記憶装置、３：辞書検索処理装置、
４＝辞書フアイル記憶装置、５二人力装置、６：出力装
置。第　　　１　　　図第　　　２　　　図

Claims

【特許請求の範囲】

（１）テキスト中の文字列をキーとして、単語辞書を検
索し、検索された単語の接続可否をチェックするテキス
トの単語分割処理方式において、上記単語辞書に登録さ
れた単語の範囲で単語分割処理を行い、上記単語分割処
理が行き詰まつたときは、未知語を同定する処理を行い
、同定された未知語以降に対しても分割処理を続けるこ
とを特徴とする単語分割処理方式。
（２）前記未知語を同定する処理では、後戻りする際に
、未知語である可能性の高い分割処理の途中結果を保存
しておき、他の分割の可能性がなくなつたとき、直ちに
上記途中結果の後続語を未知語と認定することを特徴と
する特許請求の範囲第１項記載の単語分割処理方式。
（３）前記未知語を同定する処理では、後戻りする場合
に、字種境界と単語境界の一致点が存在する等の所定の
条件を満たす位置を越えない範囲に後戻りを限定するこ
とを特徴とする特許請求の範囲第１項または第２項記載
の単語分割処理方式。
（４）前記未知語を同定する処理では、辞書に登録され
た単語の範囲での分割処理が行き詰まつたときに、異種
の文字に挾まれた漢字列、カタカナ列あるいはアルファ
ベット列に限定して未知語候補とすることを特徴とする
特許請求の範囲第１項記載の単語分割処理方式。