JPH0146894B2 - - Google Patents

Description

【発明の詳細な説明】 〔発明の利用分野〕 本発明は文字列処理装置に係り、特に、カナ漢
字変換装置、自然な日本語によるデータベース検
索装置、知的ガイダンス装置、質問応答装置、情
報抽出装置において、連続的な文字列を意味のあ
る単位毎に分割する形態素解析装置に関する。

〔発明の背景〕

文字列処理装置としては現在、第１図に示すワ
ープロ（ワードプロセツサ）１が代表的である。
ワープロ１の入力方式としては漢字タイプ、音
声・文字認識などがあるが、最も広く普及してい
るのはカナ漢字変換方式である。これは、入力文
字列２をカナ文字列とするものである。簡単な装
置では単語単位に区切り信号を入力するが、より
高度なものでは文節単位あるいは通常の句読点ご
とに区切り記号を入力する。

このような、いわゆる非分かち書きのカナ文字
列を入力文字列２とすると、それに含まれる単語
を決定する必要がある。その処理を行なうのが形
態素解析装置３であり、漢字かな混り文字列４と
して出力する。

編集装置５は、前記漢字かな混り文字列４を、
入力された編集コマンド６により指定された書式
に基づいて編集し、デイスプレイ、プリンタなど
にその結果得られた文書７を出力する。

従来の形態素解析装置は、入力文字列の指定さ
れた位置より始まる最長の単語を二分探索により
辞書から選択することをその位置を変えること
で、入力文字列に含まれるすべての単語を決定し
ていた。ここで、辞書とは、意味をもつ最小の単
位である単語を記憶したメモリであり、その単語
の配列順序はいわゆる辞書順に従つている。文字
の優先順位としては五十音順、アルフアベツト順
が代表的である。

二分探索により、ある文字列が単語として辞書
に含まれているか否かを決定できる。そのために
は、辞書の配列の中央の単語と入力された文字列
とを比較し、一致しない場合にも、比較の順序関
係から探索する範囲の単語の個数を２分の１に絞
ることを繰り返す。もし、所望の単語が存在すれ
ば、繰り返しの過程に得られ、存在しなければ、
探索範囲が無くなることで判明する。この方法に
よれば、Ｎ個の単語に対してほぼlog₂N回の比較
をすれば結果が得られる。

この二分探索を形態素解析装置に適用する場合
に、文字列の長さがあらかじめわからない点に難
がある。そのため、第２図にフローチヤートによ
り探索が行なわれる。

すなわち、ステツプ13においては探索すべき文
字列の長さＫを固定して二分探索を行ない、所望
の単語が存在しなければ（ステツプ14）、Ｋの値
を１だけ減らし（ステツプ17）、再度短い文字列
の二分探索を行なう。

しかしながら、この方式によれば、最後の文字
を削除した文字列の探索において、これまでの探
索の過程が全く生かされていない。すなわち、再
度、辞書の全単語から探索している。そのため
に、探索に多くの時間を要していた。

また、最長の長さまで一致する単語だけでな
く、二番目以降の長さの単語をも必要となれば、
さらに多くの時間が要求されていた。

最長一致法による形態素解析では、入力文字列
のある位置から始まる単語が複数個存在する場合
には最長の単語を選択する。しかしながら、以降
の文字列のなかに接続する単語がないことがあ
る。この場合には、その単語は実際には入力文字
列に含まれなかつた単語であり、別の単語を選択
しなければならない。その時に二番目以降の長さ
をもつ単語が必要となるのである。

〔発明の目的〕

本発明の目的は、上記の従来方式の欠点を解決
し、入力文字列の指定位置から始まる文字列と一
致する単語を得る手段において、存在するあらゆ
る長さの単語を効率的に探索することにより、入
力文字列を単語の単位に分割する処理を高速に行
なう形態素解析装置を提供することにある。

〔発明の概要〕

入力文字列の指定位置から始まるＫ−１字と、
辞書内の単語のＫ−１字が一致するような単語の
アドレスの範囲内で、Ｋ字目まで一致する単語の
アドレスの範囲を求め、Ｋ字からなる単語で一致
する単語を出力する。この処理をＫの値を順次増
加させて繰り返すことで、あらゆる長さの単語を
効率的に選び出すことが達成される。

〔発明の実施例〕

以下、本発明の一実施例を第３図により説明す
る。

第３図は、入力された入力文字列に対して、そ
れを単語単位に分割して、各単語の辞書データを
出力する形態素解析装置の構成図である。

形態素解析制御回路３１は、単語の接続関係の
決定を制御する回路であり、いわゆる最長一致法
による方式を採用している。最長一致法とは、あ
る位置から始まる単語が複数個存在すれば、最長
の単語を選択するという方式である。

制御回路３２は、転語の辞書からの選択を制御
する回路であり、辞書のアドレスの値を順次算出
する。

以下、第３図に基づき、各部の処理を詳細に述
べる。

入力装置３３は、入力された文字列を入力文字
列データ３４として入力文字列メモリ３５に出力
するとともに、形態素解析の開始を指令する開始
制御信号３６を形態素解析回路３１に出力する。
入力装置３３は、英字、カナ字、漢字のタイプラ
イタ、あるいは、音声、文字認識装置などの文字
入力装置よりなる。

入力文字列メモリ３５は、入力装置３３からの
入力文字列データ３４を記憶し、形態素解析制御
回路３１、入力文字切出回路３７に、入力文字列
データ３８として出力する。

入力文字切出回路３７は、入力文字列データ３
８の文字の並びにおいてその先頭から順次数え
て、開始位置データ４０と文字位置データ４２の
和に相当する位置に存在する一文字のみを取り出
し、入力文字切出データ４３として出力する。

開始位置メモリ３９は、探索すべき単語の一文
字目が入力文字列データ３８で占める位置を記憶
する。その値は、形態素解析制御回路３１により
設定され、開始位置データ４０として出力され
る。

文字位置メモリ４１は、カウンタメモリであ
り、制御回路３２からの文字位置設定信号４４に
より、１ずつ加算あるいは０にリセツトされ、文
字位置データ４２として出力する。

辞書文字切出回路４５は、辞書データ４８の単
語の文字列から、文字位置データ４２に相当する
文字数目の文字を取り出し、辞書文字切出データ
４９として出力する。

文字比較回路５０は、入力文字切出データ４３
と辞書文字切出データ４９とを比較して、例えば
“−１”、“０”、“＋１”のいずれかを文字比較信
号５１として出力する。文字の比較は、文字に対
してあらかじめ定義された順序関係に基づいて決
定される。文字比較信号５１は、入力文字切出デ
ータ４３が辞書文字切出データ４９よりも文字の
順序が後ろであれば“−１”であり、等しければ
“０”、さもなければ“＋１”である。この順序関
係としては、英字に対するアルフアベツト順、カ
ナ字に対する五十音順が良く知られている。辞書
メモリ４６で使用された文字列の順序関係と同じ
関係に基づいている。

アドレスゲート回路５２、ゲート回路４７は、
制御回路３２からのゲート制御信号５３により連
動して起動される。ゲート制御信号５３が“０”
であれば、アドレスゲート回路５２は二分点デー
タ５４をアドレス５５として出力し、ゲート回路
４７は辞書メモリ４６より読出された辞書データ
５６を辞書データ４８に出力する。ゲート制御信
号５３が“１”であれば、上限データ５７がアド
レスゲート回路５２を介して辞書メモリ４６に入
力され、読み出された辞書データ５６はゲート回
路４７により辞書データ５８として出力される。

辞書二文字切出回路５９は、辞書データ５８の
単語を構成する文字列に対して、その先頭から文
字位置データ４２に相当する文字数目の文字と、
その次の文字の二文字を辞書二文字切出データ６
０として出力する。

判定回路６１は、辞書二文字切出データ６０の
一文字目と入力文字切出データ４３が不一致なら
ば−１を、前記が一致し、前者の次文字が空白で
あれば１を、それ以外の時には０を、各々判定信
号６２として出力する。

出力制御回路６３は、判定信号６２の入力によ
り起動される。判定信号６２をそのまま探索制御
信号６４として出力するとともに、判定信号６２
が１のときのみ、辞書データ５８を探索結果メモ
リ６５に出力する。

探索結果メモリ６５は、出力制御回路６３より
入力された辞書データ６６を次々に記憶する。記
憶された内容は探索結果データ６７として形態素
解析制御回路３１に参照される。

形態素解析制御回路３１は、開始制御信号３６
または後述の探索終了信号６８により起動され
る。開始制御信号３６が入力装置３３より入力さ
れれば、開始位置メモリ３９に１を出力し、単語
の探索の開始を示す制御信号６９を制御回路３２
に出力する。探索終了信号６８が制御回路３２よ
り入力されれば、入力文字列データ３８、探索結
果データ６７から、最長一致法などのアルゴリズ
ムにより新たな単語を決定し、そのデータを出力
結果メモリ７０に出力し、前記単語の長さを開始
位置メモリ３９の内容に加算し、制御信号６９を
出力する。ここで、前記単語が入力文字列データ
３８の末尾となつていれば、終了制御信号７１を
出力する。

出力装置７２は、終了制御信号７１の入力によ
り起動され、出力結果メモリ７０の内容を読み出
し出力する。出力装置７２は、たとえば、プリン
タ、デイスプレイからなる。

辞書メモリ４６は、単語情報が記憶されたメモ
リであり、入力されたアドレス５５に対する単語
の辞書データ５６が出力される。辞書メモリ４６
に含まれている単語の個数をＮとし、各単語のア
ドレスを１からＮまでの整数とする。アドレスの
順序は、辞書順として知られている順序規則に従
つて付けられている。

制御回路３２はマイコンにより実現されるが、
その処理を第４図により説明する。

処理１０１で動作が開始し、形態素解析制御回
路３１からの制御信号６９の入力の待機状態１０
２となる。入力が得られれば、処理１０３でメモ
リに初期値データを出力する。すなわち、上限メ
モリ７３に“１”を、下限メモリ７４に“Ｎ”
を、文字位置メモリ４１に“０”を各々出力す
る。ここで、Ｎは辞書メモリ４６に含まれている
単語の総数である。

メモリの初期化後、上限更新処理１０４、下限
更新処理１０５を行なう。これらの処理により、
辞書メモリ４６のアドレスが上限データと下限デ
ータの範囲内の単語で、文字位置データ４２で示
された次の文字を参照し、入力文字列データ３４
の該当文字と一致するアドレスの範囲が求められ
る。１０４，１０５については後に詳細に説明す
る。

処理１０６は、ゲート制御信号５３として
“１”を出力する。アドレスゲート回路５２、ゲ
ート回路４７を制御することにより、探索制御信
号６４の待機状態１０７となる。

探索制御信号６４が０または＋１であれば文字
位置メモリ４１に１を加算（１０８）し、上限更
新処理１０４を再実行する。前記信号が−１であ
れば探索終了信号６８を出力（１０９）し、制御
信号６９の待状態１０２となる。

次に、前記上限更新処理１０４について第５図
で説明する。

上限データは、文字位置メモリ４１の値の文字
数まで入力文字列データ３８と一致する辞書メモ
リ４６内の単語で最も小さなアドレス（すなわ
ち、単語を順番に並べた場合に最も上の単語のア
ドレス）であり、上限更新処理１０４は、さらに
次の文字まで一致する範囲の単語で最も小さなア
ドレスに、上限データを二分探索より更新する処
理であり、以下に示すように、求めるべき上限デ
ータの探索範囲（上端データと下端データの間）
を二分の一に挟める手続きを繰り返すことにより
決定する。

始めに、処理１２１にて、二分探索の範囲を表
わすために上端メモリ７５と下端メモリ７６を各
各、上限データと下限データにより初期化する。

次に、上限データと下限データとを参照（１２
２）し、差が１であれば、処理１２３により上限
メモリ７３に下端データを出力し、上限更新処理
１０４を終了する。他方、前記条件が満足されな
ければ、以下の処理により探索を行なう。

処理１２４は、上端データと下端データの平均
値を求め、二分点メモリ７７に出力する。つい
で、ゲート制御信号５３として“０”を出力（１
２５）し、文字比較信号５１の待状態１２６とな
る。

前記文字比較信号５１の入力後、その値を判定
する。その値が“＋１”または“０”の時には、
下端メモリ７６に二分点データを出力１２７，１
２８し、 “−１”の時には、上端メモリ７５に出力１２
９する。そして、再度処理１２２を行なう。

また、下限更新処理１０５は、文字位置メモリ
４１の値の文字数まで入力文字列データ３８と一
致する辞書メモリ４６内の単語で、最も大きなア
ドレスである下限データを、次の文字まで一致す
る範囲の単語で最も大きなアドレスに、下限デー
タを二分探索より更新する処理であり、次の２点
を除いて上限更新処理１０４と同じである。

(1) 処理１２３の代わりに、下限メモリ７４に上
端データを出力する。

(2) 処理１２８において、上端メモリ７６に出力
する。

以上のように、上限更新処理１０４と下限更新
処理１０５を用いて、文字位置メモリ４１の値の
文字数まで一致する辞書メモリ４６内の単語の範
囲を示す上限データと下限データを、さらに次の
文字までが一致する範囲に、各々二分探索より更
新することができる。

次に、具体的な例を用いて本実施例の動作を説
明する。第６図の辞書メモリ４６を使つて、入力
文字列「ヤマオクニオニガシマウ」のかな漢字混
りの出力を得ることを考える。

形態素解析制御回路３１は開始制御信号３６の
入力を受け、開始位置メモリ３９に１を出力し、
制御信号６９を出力する。

前記制御信号の入力を検知し、制御回路３２
は、上限メモリ７３、下限メモリ７４の初期値と
して各々１，36を、文字位置メモリ４１に０を出
力１０３する。

以下、前述のように処理１２１，１２２，１２
４が実行され、二分点メモリ７７には18が記憶さ
れる。次に、ゲート制御信号５３として“０”が
出力される。

前記ゲード制御信号を受けたアドレスゲート回
路５２は二分点データ５４として18を入力し、辞
書メモリ４６にアドレス５５として出力する。ゲ
ート回路４７は前記辞書メモリから読み出された
辞書データ５６である「ガイコク 外国」を辞書
文字切出回路４５に出力する。

辞書データの入力により辞書文字切出回路４５
は文字位置メモリ４１の内容“０”を読み出し、
０＋１文字目の文字として「ガ」を切出す。この
辞書文字切出データ４９は文字比較回路５０に入
力され、入力文字切出回路３７から入力された入
力文字切出データ４３の「ヤ」と比較される。

「ヤ」は「ガ」より後順であるので文字比較信
号５１は“−１”である。

この文字比較信号の評価１２６の結果、処理１
２９により二分点データの値18を上端メモリ７５
に出力する。

以下同様にして、上端が29、下端が30の時に処
理１２３に進み、上限メモリ７３に30が出力され
る。従つて、初期値として１を保持していた上限
メモリ７３はその保持内容を30に更新され、、上
限更新処理は終了する。尚、この時点では下限メ
モリ７４は初期値として与えられた36を保持して
いる。

続いて下限更新処理１０５に移行する。下限更
新処理１０５では、上端メモリ７５に30、下端メ
モリ７６に36を出力する。前述の上限更新処理１
０４とほぼ同様にして、二分点メモリ７７には33
が記憶される。次にゲート制御信号５３として
“０”が出力される。前記ゲート制御信号を受け
たアドレスゲート回路５２は二分点データ５４と
して33を入力し、辞書メモリ４６にアドレス５５
として出力する。ゲート回路４７は前記辞書メモ
リから読み出された辞書データ５６である「ヤマ
オク 山奥」を辞書文字切出回路４５に出力す
る。辞書データの入力により辞書文字切出回路４
５は文字位置メモリ４１の内容“０”を読み出
し、０＋１文字目の文字として「ヤ」を切り出
す。この辞書文字切出データ４９は文字比較回路
５０に入力され、入力文字切出回路３７から入力
された入力文字切出データ４３の「ヤ」と比較さ
れる。「ヤ」と「ヤ」で文字の順序が等しいので
文字比較信号５１は“０”である。この文字比較
信号の値の結果、二分点データの値33を上端メモ
リ７５に出力する。以下同様にして、上端が33、
下端が34のとき下限メモリ７４に33が出力され
る。この結果、30から33までの４つの単語の一文
字目が「ヤ」であり入力文字列の一文字目と一致
している。

次に、上限データ５７の値30をアドレスとする
辞書データ「ヤ や（助詞）」が辞書二文字切出
回路５９に入力される。その結果は「ヤ□」であ
る。これが判定回路６１に入力されると、判定信
号６２として“１”を出力し、出力制御回路６３
により、その辞書データが探索結果メモリ６５に
記憶される。

このようにして、長さの異なる三つの単語
「や」、「山」、「山奥」が得られ、探索結果データ
６７として形態素解析制御回路３１に入力され
る。この中から最長の「山奥」を選択し、次に、
開始位置メモリ３９に５を出力し、「山奥」に接
続する単語を探索する。

最終的には「山奥に鬼が仕舞う」というかな漢
字混り文が出力装置７２から出力される（第７図
を参照）。

本実施例によれば、辞書探索が高速化し、か
つ、多様な長さの単語が洩れることなく得られる
効果がある。特に、処理１０７において探索制御
信号６４の内容が−１であることを検知すれば、
文字位置メモリ４１の値に相当する長さの文字数
をもち、かつ、入力文字列に含まれることがない
ことを決定できる。そのため、探索を終了させる
べき条件が明快であり、洩れがない。

〔発明の効果〕 本発明によれば、辞書メモリを探索する範囲の
アドレスを上限メモリと下限メモリとに収納し、
参照文字数の増加とともにその範囲を徐々に絞る
ことができる。この過程でその範囲が単調に狭く
なるため、存在する全ての長さの単語を高速に探
索できる。このため、入力文字列を単語単位に分
割する形態素解析の効率化が達成される。

一回の探索の過程での辞書の参照回数を見積る
と、約６万語の辞書に対して、従来例では約130
回、本発明では約60回となる。また文字の比較回
数は、従来例では単語単位の比較であるので文字
毎に計数すると約500回となる。一方、本発明の
文字の比較は一文字単位の比較であるので、約60
回である。以上からわかるように、辞書の参照回
数で約２分の１、文字単位の比較回数で約８分の
１であり、高速化が達成されている。

【図面の簡単な説明】

第１図はワープロの構成図、第２図は従来例に
よるフローチヤート、第３図は形態素解析装置の
構成図、第４図は第３図の制御回路の動作を説明
するフローチヤート、第５図は第４図の上限更新
処理を詳細に説明するフローチヤート、第６図は
第３図の辞書メモリの一例を示す図、および、第
７図は形態素解析の具体例を示す図である。 ３１……形態素解析制御回路、３２……制御回
路、３７……入力文字切出回路、４１……文字位
置メモリ、４５……辞書文字切出回路、４６……
辞書メモリ、５０……文字比較回路、６１……判
定回路、７３……上限メモリ、７４……下限メモ
リ。

Claims (1)

1. 【特許請求の範囲】 １ 文字列を入力する入力文字列メモリと、ソー
   トされた単語の見出し語とそれに付随する情報を
   記憶する辞書メモリと、当該入力文字列において
   単語に切分ける操作が格納されている場所を示す
   開始位置を記憶する開始位置メモリと、前記辞書
   メモリの内容と入力文字列の開始位置より後の文
   字列とを比較する文字列比較部及び上記メモリの
   内容を制御する制御部より成り、非分かち書きの
   入力文字列を単語単位に分割する形態素解析装置
   において、 前記開始位置よりｎ文字目の文字に着目して辞
   書と比較するかを決定する文字位置メモリと、辞
   書の見出し語中で最初からｎ−１文字目までと入
   力文字列の開始位置よりｎ−１文字とが等しいも
   ののうち最初のアドレスを示す上限メモリと最終
   アドレスを示す下限メモリ及び前記文字位置メモ
   リの示す入力文字と等しい文字を探索する範囲を
   前記上限メモリと下限メモリとに設置して単語を
   区切る手段とを有することを特徴とする形態素解
   析装置。 ２ 特許請求の範囲第１項において、前記上限メ
   モリと前記下限メモリの内容が一致した時に単語
   の切り出しが終了したと判断し、前記開始位置メ
   モリを更新することを特徴とする形態素解析装
   置。 ３ 特許請求の範囲第１項において、前記上限メ
   モリの示す単語で、前記文字位置メモリに相当す
   る次の文字が無い場合、上記の単語を出力する事
   を特徴とする形態素解析装置。 ４ 特許請求の範囲第１項において、前記探索ア
   ルゴリズムを二分探索法とすることを特徴とする
   形態素解析装置。