JPH1069493A - 辞書作成装置と語切り出し装置 - Google Patents

Abstract

(57)【要約】 【課題】 計算機を利用した文書検索装置や文書編集装
置等に用いる、高速に機械検索可能な辞書を作成するこ
と、および上記応用装置の索引情報を作成するために文
書から辞書中の語を高速に切り出すことを目的とする。 【解決手段】 木構造のミーリー型有限状態機械１０３
に失敗遷移を付与するとともに、最終状態への遷移の遷
移先を変更し、かつ最長最右部分語の文字列長を出力す
ることにより、また１文字語の追加登録を行い、複数個
の状態を１状態に縮退させ、遷移情報を変位表で表現す
ることにより、小型で高速な検索が可能な辞書を作成す
る。また、辞書作成時に正規化／最右部分語情報を求
め、循環記憶域を使用することで、高機能な語の切り出
しを高速に行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は計算機を利用した文
書検索装置や文書編集装置、文書要約装置、機械翻訳装
置等に使用される機械検索可能な辞書を作成する辞書作
成装置、及びそれら装置に用いる索引情報を作成するた
め、文書中に含まれている辞書中の語を機械的に切り出
す語切り出し装置に関するものである。

【０００２】

【従来の技術】近年、ワードプロセッサやパーソナルコ
ンピュータの普及、ＣＤ−ＲＯＭ等の大容量かつ低価格
な記憶媒体の普及、イーサネットに代表されるネットワ
ークの発達により、文書中のすべて、あるいは大部分の
文字情報を文字コードの列で表わして蓄積した全文デー
タベースが実用化され、広く利用されるようになってき
た。

【０００３】従来の文書データベースでは、文書を検索
する際、文書毎に付与されたキーワードを利用するキー
ワード検索が一般的であった。しかし、キーワード付け
作業の手間がかかり、蓄積文書の増加に間に合わない、
時間が経過するとキーワードが陳腐化する、キーワード
付けを行う者と検索する者とのキーワードの解釈のずれ
によって検索もれが発生する等の問題点があった。この
ような背景から、最近では自動索引付けや文字列照合等
の、キーワード付けが不要な検索方式が注目されてい
る。特に、大容量文書データベースでは、検索ノイズを
減らすために、単なる文字列照合ではなく、文書から単
語（以下「語」と呼ぶ）を抽出し、この抽出結果をもと
にして、検索やランキングなどの高度な検索が必要とな
る。

【０００４】しかしながら、英語と違い語と語の間に空
白を置かない「べた書き」の形式が多い日本語文書で
は、単なる文字列でなく、単語を基盤にした高精度な索
引情報の実用的な構築は容易ではなく、その構築技術
は、現在の主要な研究課題の１つとなっている。

【０００５】特に、べた書き形式の日本語文書中で、予
め用意した単語辞書に含まれている語（文字列）を、一
定の基準で効率よく切り出す語切り出し装置と、切り出
しに用いる効率のよい辞書検索装置及び語の切り出しに
用いる辞書を作成する装置は、索引構築の重要な要素技
術となっており、様々な研究開発が行われている。

【０００６】例えば、特開平７−２８２０８４号公報に
は木構造を用いた単語辞書検索方法が、特開平７−１６
８８４８号公報にはハッシュ表を用いた単語辞書検索装
置が、特開昭６２−２２１０２７号公報には完全一致検
索と前方一致検索を併用した単語候補検索方式が、特願
平７−５６０２１号公報には「極大延長切り出し」とい
う概念を用いて、単語辞書を使った日本語文書の全文検
索のための語切り出し方法が、それぞれ開示されてい
る。

【０００７】また、有限状態機械を利用して、文書デー
タ中で、複数の文字列の出現位置を検索するパターン照
合方法が、例えば、「アルゴリズムの設計と解析２」
（Ａ．Ｖ．エイホ、Ｊ．Ｅ．ホップクロフト、Ｊ．Ｄ．
ウルマン共著、野崎昭弘、野下浩平共訳、サイエンス社
刊、ＩＳＢＮ４−７８１９−０２８０−４）等の成書に
詳述されている。

【０００８】

【発明が解決しようとする課題】しかしながら上記の従
来の辞書作成装置で作成した辞書は、入力文書中の着目
文字位置から始まる文字列に前方一致する辞書中の語
を、木構造やハッシュ表をたどって１つ１つ検索するた
め、数十万の語を登録した、実用規模の辞書では、検索
速度が遅く、索引作成などの装置全体のなかで辞書検索
部分が隘路となり、装置全体の処理速度が遅くなるとい
う問題があった。

【０００９】また、上記の従来の極大延長切り出しによ
る語切り出し装置では、各文字位置で辞書検索処理を行
って最長一致する語を求め、この語が他の語の一部とし
て含まれているかどうかの判断が必要で、処理速度が遅
いという問題があった。

【００１０】また、一方、辞書を従来のパターン照合方
法を用いて作成する辞書作成装置で作成すれば、作成し
た辞書は、辞書に登録する単語数によらず、入力文書の
１文字に付き１回の状態遷移で、辞書検索が実行できる
ため、従来の辞書作成装置で作成した辞書の検索速度の
問題は解決する。ただし、従来のパターン照合方法は、
高々数十個の文字列の出現位置を検索するために考案さ
れた方法で、しかも入力文書との照合はまれにしか起こ
らないという前提があり、数十万語規模の辞書にそのま
ま適用すると、有限状態機械の状態遷移表が巨大にな
り、状態遷移表を格納するための記憶容量が膨大になる
ため、辞書の作成・蓄積・検索が困難であるという問題
があった。

【００１１】また、従来のパターン照合方法を用いた辞
書作成装置で作成した辞書を利用して語の極大延長切り
出しを行う語切り出し装置は、入力文書を先頭から末尾
に向かって処理する場合、一般には語の最終文字の次の
文字を読んで初めて最長一致語が検出できるため、極大
延長切り出し処理が繁雑になり、処理速度も低下すると
いう問題点があった。

【００１２】また、従来のパターン照合方法を用いた辞
書作成装置で作成した辞書を利用して語の完全切り出し
を行う語切り出し装置は、入力文書を先頭から末尾に向
かって処理する場合、完全切り出し処理のために、有限
状態機械の各出力が一般に複数個になり、辞書容量が増
大するという問題があった。

【００１３】本発明の辞書作成装置、および語切り出し
装置は上記従来技術の課題を解決するもので、実用規模
の辞書データの場合でも検索速度が早く、かつ記憶容量
が少なくてすむ辞書の作成装置と、極大延長切り出し、
完全切り出しが高速に行える語切り出し装置を提供する
ことを目的とする。

【００１４】

【課題を解決するための手段】この目的を達成するため
に本発明の辞書作成装置は、第１に登録すべき語の文字
列を辞書順に並べた原辞書データと、木構造のミーリー
型有限状態機械を作成する木構造辞書作成手段と、木構
造のミーリー型有限状態機械を失敗遷移を含んだ有限状
態機械に変更する木構造辞書変形手段と、各遷移元状態
番号に対して、失敗遷移先状態および、各遷移条件文字
と遷移先状態番号と出力文字列長の３要素からなる遷移
リストを記述した状態遷移表の形式で、失敗遷移付きミ
ーリー型有限状態機械の語切り出し用辞書を出力する状
態遷移表作成手段とを備えたものである。

【００１５】これにより、原辞書データから、前記原辞
書データ中の各語の最終文字に対応する遷移で当該語の
文字列長を出力する、木構造のミーリー型有限状態機械
を作成し、この木構造のミーリー型有限状態機械から、
各状態に失敗遷移を付与し、かつ各遷移について初期状
態から当該遷移までの遷移の列に対応する文字列の最右
部分列になっている前記原辞書データ中の語のうちで最
長の語の文字列長を付与し、かつ失敗遷移以外の遷移が
全くない最終状態への遷移の遷移先を、前記最終状態か
らの失敗遷移先状態に変更し、各遷移元状態番号に対し
て、失敗遷移先状態および、各遷移条件文字と遷移先状
態番号と出力文字列長の３要素からなる遷移リストを記
述した状態遷移表の形式で、失敗遷移付きミーリー型有
限状態機械の語切り出し用辞書を出力することができ
る。

【００１６】第２に、第１の構成に加えて、原辞書デー
タから、文字コードセット中の任意の１文字のみからな
る語で、前記原辞書データにない語を全て追加登録した
拡張原辞書データを作成する拡張辞書作成手段を備えた
ものである。

【００１７】これにより、原辞書データから、文字コー
ドセット中の任意の１文字のみからなる語で、前記原辞
書データにない語を全て追加登録した拡張原辞書データ
を作成し、前記拡張原辞書データから、前記拡張原辞書
データ中の各語の最終文字に対応する遷移で当該語の文
字列長を出力する、木構造のミーリー型有限状態機械を
作成し、作成した前記木構造のミーリー型有限状態機械
から、各状態に失敗遷移を付与し、かつ各遷移について
初期状態から当該遷移までの遷移の列に対応する文字列
の最右部分列になっている前記拡張原辞書データ中の語
のうちで最長の語の文字列長を付与し、かつ失敗遷移以
外の遷移が全くない最終状態への遷移の遷移先を、前記
最終状態からの失敗遷移先状態に変更し、各遷移元状態
番号に対して、失敗遷移先状態および、各遷移条件文字
と遷移先状態番号と出力文字列長の３要素からなる遷移
リストを記述した状態遷移表の形式で、失敗遷移付きミ
ーリー型有限状態機械の語切り出し用辞書を出力するこ
とができる。

【００１８】第３に、第１あるいは第２の構成に加え
て、木構造辞書変形手段の出力した失敗遷移付きミーリ
ー型有限状態機械の状態のうち、ただ１つの遷移を持つ
状態の連鎖を、前記連鎖を構成する遷移の列に対応する
文字列を遷移条件とするただ１つの遷移と、前記状態の
連鎖に付随する複数個の失敗遷移とを持つ縮退した状態
に変更する有限状態機械縮退手段を備えたものである。

【００１９】これにより、木構造辞書変形手段の出力し
た失敗遷移付きミーリー型有限状態機械の状態のうち、
ただ１つの遷移を持つ状態の連鎖を、前記連鎖を構成す
る遷移の列に対応する文字列を遷移条件とするただ１つ
の遷移と、前記状態の連鎖に付随する複数個の失敗遷移
とを持つ縮退した状態に変更し、縮退した各遷移元状態
の状態番号に対しては、当該縮退した各遷移元状態の元
になった状態連鎖の遷移の順に遷移条件文字を並べた文
字の列と、当該縮退した各遷移元状態の元になった状態
連鎖の遷移の順に失敗遷移先状態番号と当該遷移が失敗
した場合の出力文字長からなる対を並べた列とを記述
し、縮退していない各遷移元状態状態番号に対しては、
失敗遷移先状態および、各遷移条件文字と遷移先状態番
号と出力文字列長の３要素からなる遷移リストを記述し
た状態遷移表の形式で、失敗遷移付きミーリー型縮退有
限状態機械の語切り出し用辞書を出力することができ
る。

【００２０】第４に、第１乃至第３の構成における状態
遷移表作成手段が、失敗遷移付きミーリー型有限状態機
械中（または失敗遷移付きミーリー型縮退有限状態機
械）の、予め設定した遷移数以上の遷移を持つ各状態に
ついては、当該状態からの遷移情報を高速に求めるた
め、遷移条件である文字コードを用いて、前記文字コー
ドから前記状態からの各文字での遷移情報を、前記状態
から指示される遷移リスト表の位置からの変位の形式で
求めるための表を作成して状態遷移表の一部として出力
する機能を、また、文字コードから変位を求める方法と
して、遷移条件である文字コードの第１バイトから第１
の変位を求めるための第１の変位表と、前記文字コード
の第２バイト（１バイトの文字コードの場合には任意の
文字コードから）から第２の変位を求めるための第２の
変位表と、前記第１の変位と前記第２の変位とから（例
えば加算した整数値から）第３の変位を求めるための第
３の変位表と、前記第３の変位から当該状態と当該文字
コードの組みに対する遷移情報である遷移先状態番号と
出力文字列長からなる対を求めるための遷移情報表の４
個の表の組の形式で求め、前記予め指定した遷移数未満
の遷移を持つ、縮退していない各状態については、当該
状態からの遷移情報を、各遷移の遷移条件となる文字コ
ードを並べた遷移文字コード表と、各遷移について遷移
先状態番号と出力文字列長からなる対を前記遷移文字コ
ード表と同一順に並べた遷移情報表の２個の表の組みの
形式で求め、縮退した各状態については、当該状態から
の遷移情報を、当該縮退した各遷移元状態の元になった
状態連鎖の遷移の順に遷移条件文字を並べた遷移文字コ
ード表と、失敗遷移先状態番号と当該遷移が失敗した場
合の出力文字長からなる対を当該縮退した各遷移元状態
の元になった状態連鎖の遷移の順に並べた遷移情報表の
２個の表の組みの形式で求めて出力する機能を有するも
のである。

【００２１】これにより、失敗遷移付きミーリー型有限
状態機械（または失敗遷移付きミーリー型縮退有限状態
機械）中の、予め指定した遷移数以上の遷移を持つ各状
態については、当該状態からの遷移情報を、遷移条件で
ある文字コードの第１バイトから第１の変位を求めるた
めの第１の変位表と、前記文字コードの第２バイトから
第２の変位を求めるための第２の変位表と、前記第１の
変位と前記第２の変位とから（例えば加算した整数値か
ら）第３の変位を求めるための第３の変位表と、前記第
３の変位から当該状態と当該文字コードの組みに対する
遷移情報である遷移先状態番号と出力文字列長からなる
対を求めるための遷移情報表の４個の表の組の形式で求
め、前記予め指定した遷移数未満の遷移を持つ、縮退し
ていない各状態については、当該状態からの遷移情報
を、各遷移の遷移条件となる文字コードを並べた遷移文
字コード表と、各遷移について遷移先状態番号と出力文
字列長からなる対を前記遷移文字コード表と同一順に並
べた遷移情報表の２個の表の組みの形式で求め、縮退し
た各状態については、当該状態からの遷移情報を、当該
縮退した各遷移元状態の元になった状態連鎖の遷移の順
に遷移条件文字を並べた遷移文字コード表と、失敗遷移
先状態番号と当該遷移が失敗した場合の出力文字長から
なる対を当該縮退した各遷移元状態の元になった状態連
鎖の遷移の順に並べた遷移情報表の２個の表の組みの形
式で求めて出力することができる。

【００２２】第５に、第１乃至第５の構成に加えて、失
敗遷移付き有限状態機械の各遷移に対して、初期状態か
ら当該遷移までの遷移の列に対応する文字列の文字長
と、前記遷移の出力文字長とが異なる場合には、初期状
態から当該遷移までの遷移の列に対応する文字列の最右
部分列になっている原辞書データ中の語のうちで最長の
語を入力文字列として、初期状態から順次遷移を行う際
の最終遷移を一意に表わす番号を正規化情報として求め
る正規化情報作成手段を備えたものである。

【００２３】これにより、失敗遷移付き有限状態機械の
各遷移に対して、初期状態から当該遷移までの遷移の列
に対応する文字列の文字長と、前記遷移の出力文字長と
が異なる場合には、初期状態から当該遷移までの遷移の
列に対応する文字列の最右部分列になっている原辞書デ
ータ中の語のうちで最長の語を入力文字列として、初期
状態から順次遷移を行う際の最終遷移を一意に表わす番
号を正規化情報として求め、前記正規化情報を、出力文
字長とともに、遷移情報の一部として出力することがで
きる。

【００２４】第６に、第５の構成に加えて、失敗遷移付
き有限状態機械の各遷移に対して、初期状態から当該遷
移までの遷移の列に対応する文字列の文字長と、前記遷
移の出力文字長とが等しく、初期状態から当該遷移まで
の遷移の列に対応する文字列より真に短い最右部分列に
なっている原辞書データ中の語がある場合には、初期状
態から当該遷移までの遷移の列に対応する文字列より真
に短い最右部分列になっている原辞書データ中の語のう
ちで最長の語を入力文字列として、初期状態から順次遷
移を行う際の最終遷移を一意に表わす番号を最右部分語
情報として求める最右部分語情報作成手段を備えたもの
である。

【００２５】これにより、失敗遷移付き有限状態機械の
各遷移に対して、初期状態から当該遷移までの遷移の列
に対応する文字列の文字長と、前記遷移の出力文字長と
が等しく、初期状態から当該遷移までの遷移の列に対応
する文字列より真に短い最右部分列になっている原辞書
データ中の語がある場合には、初期状態から当該遷移ま
での遷移の列に対応する文字列より真に短い最右部分列
になっている原辞書データ中の語のうちで最長の語を入
力文字列として、初期状態から順次遷移を行う際の最終
遷移を一意に表わす番号を最右部分語情報として求め、
前記最右部分語情報を、出力文字長とともに、遷移情報
の一部として出力することができる。

【００２６】第７に、語を切り出す対象である文書デー
タと、失敗遷移付き有限状態機械の状態遷移表形式の辞
書データと、切り出した語の情報を一時蓄積する循環記
憶域と、前記文書データから順次バイトデータを読み込
む文書読み出し手段と、前記辞書データの状態遷移表を
現在の状態番号と前記文書読み出し手段の読み出した文
字コードとにより検索して状態遷移を行いつつ、遷移情
報に付随する出力文字長と正規化情報と遷移文字長とを
出力する動作を前記文書データの最終文字が前記文書読
み出し手段から読み出されるまで繰り返す有限状態機械
模倣手段と、前記循環記憶域内の着目位置に格納してい
る正規化情報を着目位置とともに出力するとともに、前
記循環記憶域の前記着目位置から前記出力文字長だけ後
方の位置に前記正規化情報を格納し、当該格納位置より
前方で、前記着目位置までの区間の、前記循環記憶域内
の正規化情報を無効にする循環記憶域操作手段とを備え
たものである。

【００２７】これにより、辞書データの状態遷移表を現
在の状態番号と前記文書読み出し手段の読み出した文字
コードとにより検索して状態遷移を行いつつ、遷移情報
に付随する出力文字長と正規化情報と遷移文字長とを出
力する動作を前記文書データの最終文字が前記文書読み
出し手段から読み出されるまで繰り返し、循環記憶域内
の着目位置に格納している正規化情報を着目位置ととも
に出力するとともに、前記循環記憶域の前記着目位置か
ら前記出力文字長だけ後方の位置に前記正規化情報を格
納し、当該格納位置より前方で、前記着目位置までの区
間の、前記循環記憶域内の正規化情報を無効にすること
ができる。

【００２８】第８に、語を切り出す対象である文書デー
タと、失敗遷移付き有限状態機械の状態遷移表形式の辞
書データと、前記文書データから順次バイトデータを読
み込む文書読み出し手段と、前記辞書データの状態遷移
表を現在の状態番号と前記文書読み出し手段の読み出し
た文字コードとにより検索して状態遷移を行いつつ、遷
移情報に付随する出力文字長と正規化情報と遷移文字長
とを出力する動作を前記文書データの最終文字が前記文
書読み出し手段から読み出されるまで繰り返す有限状態
機械模倣手段と、前記正規化情報から、前記辞書データ
内の最右部分語情報を、これ以上最右部分語がなくなる
までくり返し求めて、各々の最右部分語について、現在
の切り出し位置から前記最右部分語の文字長を差し引い
た位置情報と前記最右部分語情報を出力にする最右部分
語出力手段とを備えたものである。

【００２９】これにより、辞書データの状態遷移表を現
在の状態番号と前記文書読み出し手段の読み出した文字
コードとにより検索して状態遷移を行いつつ、遷移情報
に付随する出力文字長と正規化情報と遷移文字長とを出
力する動作を前記文書データの最終文字が前記文書読み
出し手段から読み出されるまで繰り返し、前記正規化情
報から、前記辞書データ内の最右部分語情報を、これ以
上最右部分語がなくなるまでくり返し求めて、各々の最
右部分語について、現在の切り出し位置から前記最右部
分語の文字長を差し引いた位置情報と前記最右部分語情
報を出力にすることができる。

【００３０】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図１から図２７を用いて説明する。

【００３１】（実施の形態１）まず、本発明の第１の実
施の形態について、図面を参照しながら説明する．図１
は本実施の形態における辞書作成装置の全体構成を表わ
すブロック図の一例である。図１において、１０１は作
成すべき辞書に登録する語の文字列を辞書順に並べた原
辞書データ、１０２は原辞書データ１０１から、原辞書
データ１０１中の各語の最終文字に対応する遷移で、当
該語の文字列長を出力する、木構造のミーリー型有限状
態機械を作成する木構造辞書作成手段、１０３は木構造
辞書作成手段１０２が作成する第１の中間結果である木
構造ミーリー型有限状態機械、１０４は木構造ミーリー
型有限状態機械１０３に対して、各状態に失敗遷移を付
与し、かつ各遷移について出力となる語の文字列長を付
与し、かつ失敗遷移以外の遷移が全くない最終状態への
遷移の遷移先を前記最終状態からの失敗遷移先状態に変
更する木構造辞書変形手段、１０５は木構造辞書変形手
段１０４が作成した第２の中間結果である失敗遷移付き
ミーリー型有限状態機械、１０６は失敗遷移付きミーリ
ー型有限状態機械１０５をもとに、状態遷移表を作成し
て出力する状態遷移表作成手段、１０７は状態遷移表作
成手段１０６が出力する、失敗遷移付きミーリー型有限
状態機械の状態遷移表の形式の語切り出し用辞書であ
る。

【００３２】なお、上記説明で状態遷移表とあるが、こ
れは具体的なデータ構造としての単なる「表」ではな
く、「状態遷移を行うためのデータ」を意味したもので
ある。

【００３３】以上のように構成された辞書作成装置につ
いて、その動作を説明する。まず、原辞書データ１０１
を準備する。図２はその原辞書データの簡単な例を示し
た図である。図２には、１６個の日本語の単語が、１単
語１行の形式で辞書順に配列されている。各単語の文字
列は、ＥＵＣ文字コード列であるとする。なお、実際の
原辞書データには、このような単語が数万個から数十万
個含まれている。図２のような原辞書データを準備した
ら、原辞書データ１０１として木構造辞書作成手段１０
２に入力する。

【００３４】図３は木構造辞書作成手段１０２での処理
の流れを示した流れ図である。また、図４は図１で例示
した原辞書データを入力した際に、木構造辞書作成手段
１０２で木構造ミーリー型有限状態機械１０３が作成さ
れていく様子を図示したものであり、図５は作成が完了
した木構造ミーリー型有限状態機械１０３を図示したも
のである。図４、図５において示されているように、木
構造ミーリー型有限状態機械は、各状態毎に「遷移数」
項目と「遷移」項目を記録する状態リストと、この状態
リストの各状態の遷移項目から指される、「遷移文字」
項目と「遷移先」項目と「出力」項目を遷移数分記録す
る遷移リストの２種のデータ構造によって構成される。

【００３５】図３において、木構造ミーリー型有限状態
機械１０３の作成処理は「始め」から始まり、ステップ
３０１で木構造ミーリー型有限状態機械を表現するデー
タ構造を初期化し、初期状態１を作成する。この時点で
は遷移リストはなく、状態１の遷移数項目の値は０、遷
移項目の値はＮＵＬＬ（指示する遷移リストなし）とな
る。次にステップ３０２で図２の原辞書データの全ての
語を処理し終えたか否かを判定するが、１６個の単語が
未処理なので、ステップ３０４に進む。

【００３６】次に、ステップ３０４では図２の最初の語
「亜鉛」の文字列が文字配列Ｗ［１．．２］に格納され
る。即ち、Ｗ［１］＝“亜”、Ｗ［２］＝“鉛”とな
り、Ｎは２となる。また着目状態を表わす変数ｓ，着目
文字位置を表わす変数ｉの値が共に１に初期化される。
ステップ３０５では、Ｎ＞ｉであるのでステップ３０６
に進む。ステップ３０６では、状態ｓ（＝１）から文字
ｗ［１］（＝“亜”）での遷移が既に木構造ミーリー型
有限状態機械に登録されているか否かを判定するが、こ
の段階では状態１からの遷移は１つも登録されていない
ので、ステップ３１０に進む。

【００３７】次に、ステップ３１０では、新たな状態と
して、登録済みの状態１の次の状態として、状態２を割
り当て、変数ｄの値を２に設定し、状態１から文字
“亜”で状態２へ遷移する、出力０の新たな遷移を作成
する。具体的には、遷移文字項目が“亜”で、遷移先項
目が２で、出力が０の１要素からなる遷移リストを作成
し、状態リスト中の状態１の遷移項目が、この遷移リス
トを指すように変更する。ステップ３１１では、変数ｉ
が２となり、変数ｓが２となる。

【００３８】ステップ３０５に戻ると、Ｎ＝ｉ＝２であ
るので、ステップ３１２に進む。ステップ３１２では、
状態２から文字ｗ［２］（＝“鉛”）での遷移が既に木
構造ミーリー型有限状態機械に登録されているか否かを
判定するが、この段階では状態２からの遷移は１つも登
録されていないので、ステップ３１３に進む。

【００３９】次に、ステップ３１３では、状態２から文
字“鉛”で状態０へ遷移する、出力４の新たな遷移を作
成する。具体的には、遷移文字項目が“鉛”で、遷移先
項目が０で、出力が４の１要素からなる遷移リストを作
成し、状態リスト中の状態２の遷移項目が、この遷移リ
ストを指すように変更する。この時点での木構造ミーリ
ー型有限状態機械を図示したものが、図４の上段であ
る。

【００４０】次のステップ３０２はｎｏとなり、ステッ
プ３０４で次の語「亜鉛板」を読み込み、Ｗ［１］＝
“亜”、Ｗ［２］＝“鉛”、Ｗ［３］＝“板”、ｓ＝ｔ
＝１となる。ステップ３０５ではＮ＞ｉであるので、ス
テップ３０６に進む。ステップ３０６では、状態１から
文字“亜”での状態２への遷移が既に登録されているの
で、ステップ３０７に進み、ｄの値が２となる。ステッ
プ３０８では、ｄ＝２なので、ステップ３１１に進み、
ｉ＝２，ｓ＝２となる。ステップ３０５に戻り、なおＮ
＞ｉなので、ステップ３０６に進む。ステップ３０６で
は状態２から文字“鉛”で状態０への遷移が既に登録済
みなので、ステップ３０７に進み、ｄの値が０となる。

【００４１】ステップ３０８はｄ＝０なのでｙｅｓとな
り、ステップ３０９に進む。ステップ３０９では、新た
な状態として、登録済みの状態１，２の次の状態とし
て、状態３を割り当て、変数ｄの値を３に設定し、状態
２から文字“鉛”での遷移先を状態０から状態３へ変更
する。具体的には、状態リスト中の状態２の遷移項目が
指す遷移リスト中の、遷移文字項目が“鉛”で、遷移先
項目が０で、出力が０の要素の遷移先項目を３に変更す
る。

【００４２】ステップ３１１ではｉ＝３，ｓ＝３とな
る。ステップ３０５に戻り、今度はＮ＝ｉなので、ステ
ップ３１２に進む。ステップ３１２では、状態２から文
字ｗ［２］（＝“鉛”）での遷移が既に木構造ミーリー
型有限状態機械に登録されているか否かを判定するが、
この段階では状態２からの遷移は１つも登録されていな
いので、ステップ３１３に進む。ステップ３１３では、
状態３から文字“板”で状態０へ遷移する、出力６の新
たな遷移を作成する。具体的には、遷移文字項目が
“板”で、遷移先項目が０で、出力が６の１要素からな
る遷移リストを作成し、状態リスト中の状態３の遷移項
目が、この遷移リストを指すように変更する。この時点
での木構造ミーリー型有限状態機械を図示したものが、
図４の中段である。

【００４３】このようにして、次々と原辞書データ中の
語を処理していく。次の語「亜日電子」を処理した後の
木構造ミーリー型有限状態機械を図示したものが、図４
の下段であり、最後の語「板鉛」を処理した後、ステッ
プ３０３で「その他の文字」という、特別な文字での、
状態１から状態１への出力０の遷移を付加した後の、最
終的な木構造ミーリー型有限状態機械１０３を図示した
ものが図５である。

【００４４】こうして作成された木構造ミーリー型有限
状態機械１０３は、次に木構造辞書変形手段１０４で変
形され、（１）各状態への失敗遷移の付与、（２）遷移
先が状態０となっている遷移の遷移先の変更、（３）一
部の遷移についての、遷移時の出力の変更、の３種の変
形操作が同時に行われる。

【００４５】図６は木構造辞書変形手段１０４での処理
の流れを示した流れ図である。また、図７は図５の木構
造ミーリー型有限状態機械を変形する途中の様子を図示
したものであり、図８は変形が完了した失敗遷移付きミ
ーリー型有限状態機械１０５を図示したものである。図
７、図８において示されているように、失敗遷移付きミ
ーリー型有限状態機械は、各状態毎に「遷移数」項目と
「失敗遷移先」項目と「遷移」項目を記録する状態リス
トと、この状態リストの各状態の遷移項目から指され
る、「遷移文字」項目と「遷移先」項目と「出力」項目
を遷移数分記録する遷移リストの２種のデータ構造によ
って構成される。

【００４６】図６において、木構造ミーリー型有限状態
機械１０３の変形処理は「始め」から始まり、ステップ
６０１で初期状態である状態１の失敗遷移先を状態１自
身に定める。そして、処理すべき状態番号の列を保持す
るキュー（先入れ先出しメモリ）に状態番号１を入れ
る。ステップ６０２でキューに要素が１つ以上入ってい
るか否かが検査され、要素が１つも入っていない、空の
場合には変形処理を終了する。

【００４７】この場合には、キューに１が入っているの
で、ステップ６０３に進み、キューの先頭要素１を取り
出して着目状態番号を表わす変数ｓに格納するととも
に、要素１をキューから削除する。ステップ６０４で
は、図５の木構造ミーリー型有限状態機械の状態１から
の遷移の個数である７（図５の状態１の「遷移数」項目
の値）が変数Ｎに格納され、現在の着目遷移の順番を表
わす変数ｉに１（１番目の遷移）が格納され、現在の着
目失敗遷移先を表わす変数ｆに状態１からの失敗遷移先
の１が格納される。ステップ６０５では現在の着目遷移
が有効か否かが調べられ、状態ｓからの全ての遷移を処
理し終えて、Ｎ＜ｉとなっている場合には、ステップ６
０２に戻ってキューの次の要素を処理する。

【００４８】この場合には、ｉ＜Ｎなので、ステップ６
０６に進む。ステップ６０６では変数ｄに着目状態１か
らの第１遷移の遷移先である２が、変数ｃに着目状態１
からの第１遷移の遷移文字である“亜”が、変数ｍに
は、着目状態１からの第１遷移の際の出力である０が、
それぞれ格納される。ステップ６０７では、図５の木構
造ミーリー型有限状態機械で、着目状態１からの失敗遷
移先状態１から、着目遷移の遷移文字“亜”での遷移が
可能か（定義されているか）否かが調査され、遷移がで
きない場合には、遷移が可能になるまで、ステップ６０
８で失敗遷移を次々にたどる。

【００４９】この場合には、ｆ＝ｓなので、着目遷移そ
のもので遷移が可能であり、ステップ６０９に進む。ス
テップ６０９では、変数ｄ１に着目失敗遷移先状態１か
らの文字“亜”による遷移先である状態の番号２が格納
される。ステップ６１０では、着目遷移先ｄが状態番号
の１と比較される。

【００５０】この場合は１より大きいので、ステップ６
１１に進む。ステップ６１１では、着目遷移の遷移先状
態２からの失敗遷移先の状態番号を１と定める。ステッ
プ６１２では、変数ｍ１に着目失敗遷移先状態１から
の、文字“亜”による遷移の際の出力０が格納され、次
のステップ６１３で着目遷移の際の出力ｍ（＝１）と比
較される。

【００５１】この場合には、ｍ＜ｍ１を満足しないの
で、ステップ６１５に進み、着目遷移の遷移先状態の状
態番号である２を、キューの最後に入れる。ステップ６
１７で着目遷移の順番を表わす変数ｉに１が加えられて
２となり、ステップ６０５に戻って、状態１からの第１
遷移の処理を終え、第２遷移の処理に移る。第２，第
４，第５，第６遷移についても、第１遷移と同様に、ス
テップ６０５、ステップ６０６、ステップ６０７、ステ
ップ６０９、ステップ６１０、ステップ６１１、ステッ
プ６１２、ステップ６１３、ステップ６１５、ステップ
６１７を経てステップ６０５に戻るループで処理され、
いずれの遷移の場合も、遷移先状態ｄからの失敗遷移先
の状態番号が１になり、キューの末尾に状態番号ｄが順
に格納される。

【００５２】第３遷移の“子”による遷移の場合には、
ｄ＝０となるため、ステップ６１０からステップ６１６
に進み、第３遷移の遷移先がダミー状態０から、ｄ１
（＝０）と１の大きい方の値である１に変更される。

【００５３】また、第７遷移の場合も「その他の文字」
を、“亜”，“鉛”，“子”，“電”，“日”，“板”
以外の、ある特定の文字であるとみなして、第１〜第６
遷移と同様に処理すると、ステップ６０６でｄの値が１
となり、ステップ６１０でｄ＝１のためになにも行わず
にステップ６１７に進む。７種の遷移すべてを処理する
と、ステップ６０５に戻った時点でＮ＜ｉとなって、こ
の着目状態ｓ＝１の処理を終了し、ステップ６０２に戻
る。この時点で、キューには、「２，８，１１，１９，
２０」の５つの要素がこの順で格納されている。ステッ
プ６０２でキューの検査後、ステップ６０３で先頭要素
の２が取り出されて着目状態変数ｓに格納され、キュー
から削除される。ステップ６０４では、Ｎに状態２から
の遷移の個数２が、ｉに１が、ｆに状態２からの失敗遷
移先の１が、それぞれ格納される。この状態２からの失
敗遷移先は、これまでの処理の途中で求めたものであ
る。ステップ６０５からステップ６０６に進み、ｄに３
が、ｃに“鉛”が、ｍに４が、それぞれ格納される。

【００５４】ステップ６０７では、状態１から文字
“鉛”での遷移が可能か否かが調べられ、可能であるの
でステップ６０９に進み、ｄ１に遷移先の状態番号８が
格納される。ステップ６１０ではｄ＞１なので、ステッ
プ６１１に進み、状態３からの失敗遷移先の状態番号を
８と定める。ステップ６１２ではｍ１に状態１からの文
字“鉛”による遷移の際の出力２が格納され、ステップ
６１３で変数ｍ（＝４）と比較されるが、ｍ＜ｍ１が不
成立なのでステップ６１５に進み、ｄ＝３がキューの最
後に加えられる。ステップ６１７でｉが２となって、ス
テップ６０５に戻る。この時点の有限状態機械を図示し
たのが、図７である。

【００５５】このようにして、キューの先頭から次々と
状態番号を取り出して着目状態とし、着目状態からの各
遷移を順に処理しつつ、必要な場合には着目遷移の遷移
先状態の失敗遷移先を定め、また着目遷移の際の出力を
変更し、着目遷移の遷移先状態をキューに入れる動作
を、キューが空になるまで繰り返して、図５の木構造ミ
ーリー型有限状態機械１０３が、図８に図示した失敗遷
移付きミーリー型有限状態機械１０５に変形される。

【００５６】こうして求まった失敗遷移付きミーリー型
有限状態機械１０５は、状態遷移表作成手段１０６によ
り、各状態から出る全ての遷移についてその遷移文字と
遷移先状と出力の３要素を格納した遷移リスト表と、各
状態に対して、遷移数、失敗遷移先状態番号および、遷
移リストの添え字、の３要素を記述した状態表の２種の
表の組みの形式で、失敗遷移付きミーリー型有限状態機
械の状態遷移表の形式で、語切り出し用辞書が出力され
る。図８の失敗遷移付きミーリー型有限状態機械の場合
には、図９のような、状態遷移表の語切り出し用辞書が
出力される。

【００５７】状態遷移表作成手段１０６の処理手順は、
失敗遷移付きミーリー型有限状態機械１０５の遷移リス
トを、遷移文字、遷移先および出力の３要素を持つ１本
の配列に順に格納し、状態表の「遷移」項目に、この配
列の該当する添字を格納する簡単なものであるので、詳
しい処理手順の説明は省略する。

【００５８】このようにして、原辞書データ１０１か
ら、語切り出し用辞書１０７が作成され、出力される。

【００５９】なお、上記説明で状態番号とあるが、これ
は状態を一意に表現するものであれば何でもよく、その
表現方法として特に番号や記号がよく用いられる。

【００６０】なお、本実施の形態では扱う言語として日
本語を例に挙げて説明したが、何もこれに限るものでは
ない。但し、英語・フランス語・ドイツ語のような屈折
語よりも、日本語・中国語・朝鮮語・アルタイ諸語など
の膠着語に有効である。

【００６１】以上のように、本実施の形態によれば、木
構造辞書作成手段１０２において、ミーリー型の木構造
有限状態機械を作成し、かつ有限状態原辞書データ１０
１中の語の最終文字での遷移に該当する遷移の遷移先状
態を同一のダミー状態０とし、木構造辞書変形手段１０
４において、このダミー状態へ向かう遷移を、既存のい
ずれかの状態への遷移に変更することにより、従来のパ
ターン照合用の有限状態機械作成装置によって作成され
た有限状態機械に比べて、状態数を削減することがで
き、しかも、従来は失敗遷移のみが唯一の遷移であった
状態を削減したことになるため、失敗遷移の回数も減
り、辞書検索時には、従来より高速な状態遷移を行うこ
とができる。また、各遷移について初期状態から当該遷
移までの遷移の列に対応する文字列の最右部分列になっ
ている前記原辞書データ中の語のうちで最長の語の文字
列長が出力されるため、最右部分列になっている前記原
辞書データ中の全ての語のＩＤ番号を記録する従来の装
置に比べ、記憶容量が削減され、かつ最長の最右部分列
とその長さが高速に取得できる辞書が作成でき、その実
用的効果は大きい。

【００６２】（実施の形態２）次に、本発明の第２の実
施の形態について、図面を参照しながら説明する．本実
施の形態における辞書作成装置の全体構成を表わすブロ
ック図は、実施の形態１と同一の図１であり、構成要素
も、木構造辞書作成手段１０２を除き、同一である。

【００６３】本実施の形態における木構造辞書作成手段
１０２は、実施の形態１とは異なり、原辞書データか
ら、前記原辞書データ中の各語と、前記原辞書データ中
にない、文字コードセット中の任意の１文字のみからな
る全ての語のいずれかの語の最終文字に対応する遷移で
当該語の文字列長を出力する、木構造のミーリー型有限
状態機械を作成する木構造辞書作成手段である。

【００６４】図１０は本実施の形態における木構造辞書
作成手段１０２での処理の流れを示した流れ図である。

【００６５】また、図１１は図１の原辞書データを入力
した際に、木構造辞書作成手段１０２で作成された木構
造ミーリー型有限状態機械１０３を図示したものであ
る。図１１において示されているように、木構造ミーリ
ー型有限状態機械は、各状態毎に「遷移数」項目と「遷
移」項目を記録する状態リストと、この状態リストの各
状態の遷移項目から指される、「遷移文字」項目と「遷
移先」項目と「出力」項目を遷移数分記録する遷移リス
トの２種のデータ構造によって構成される点は、実施の
形態１と同一である。

【００６６】図１０の流れ図と、実施の形態１の木構造
辞書作成手段１０２での処理の流れを示した流れ図であ
る図３との差異は、図１０のステップ１００４（図３の
ステップ３０４）の後に、着目語の文字数Ｎが１である
か否かを検査し、Ｎ＝１、即ち１文字の語であれば、な
にも処理せずにステップ１００２（図３のステップ３０
２）に戻って次の語を処理するステップ１００５が追加
された点と、原辞書データの全ての語を処理したあとの
ステップ１００３（図３のステップ３０３）での処理内
容が、出力０の遷移ではなく、出力２の遷移を作成する
ように変更されている点の２点である。図１の原辞書デ
ータを入力した際の、木構造辞書作成手段１０２で作成
された木構造ミーリー型有限状態機械を図示した図１１
と、実施の形態１での木構造ミーリー型有限状態機械を
図示した図５との差異は、原辞書データ中の１文字の語
「子」の文字“子”での、状態１からの遷移がない点、
および状態１からの「その他の文字」での遷移の際の出
力が０ではなく、２である点の２点である。

【００６７】これ以外の、木構造辞書変形手段１０４で
の処理手順、および状態遷移表作成手段１０６での処理
手順は、ともに実施の形態１の場合と同一である。図１
２は木構造辞書変形手段１０４での変形操作が完了した
失敗遷移付きミーリー型有限状態機械１０５を図示した
ものであり、図１３は状態遷移表作成手段１０６が出力
した状態遷移表形式の語切り出し用辞書１０７である。

【００６８】このように、本実施の形態によれば、実施
の形態１の木構造辞書作成手段１０２の処理内容を変更
することにより、原辞書データ１０１に大量の１文字語
を記述しなくとも、自動的に全ての１文字語を含む原辞
書データと同一の出力を出す語切り出し用辞書が作成で
きる。さらに、作成した語切り出し用辞書１０５は、状
態１からの遷移数が、全ての１文字語を含む原辞書デー
タから実施の形態１の辞書作成装置で作成した後切り出
し用辞書に比べ、最大で文字コードの種類だけ少なくて
済む。特に、文字コードがＥＵＣコードの場合には、２
文字以上の他の語の先頭文字に出現しない２０００〜４
０００個の遷移が節約できる。このことで、語切り出し
時の、状態１からの遷移速度も向上し、その実用的効果
は大きい。

【００６９】（実施の形態３）次に、本発明の第３の実
施の形態について、図面を参照しながら説明する．図１
４は本実施の形態における辞書作成装置の全体構成を表
わすブロック図である。図１４において、１４０１は作
成すべき辞書に登録する語の文字列を辞書順に並べた原
辞書データ、１４０２は前記原辞書データから、前記原
辞書データ中の各語の最終文字に対応する遷移で当該語
の文字列長を出力する、木構造のミーリー型有限状態機
械を作成する木構造辞書作成手段、１４０３は木構造辞
書作成手段１４０２が作成する第１の中間結果である木
構造ミーリー型有限状態機械、１４０４は木構造ミーリ
ー型有限状態機械１４０３に対して、各状態に失敗遷移
を付与し、かつ各遷移について出力となる語の文字列長
を付与し、かつ失敗遷移以外の遷移が全くない最終状態
への遷移の遷移先を前記最終状態からの失敗遷移先状態
に変更する木構造辞書変形手段、１４０５は木構造辞書
変形手段１４０４が作成した第２の中間結果である失敗
遷移付きミーリー型有限状態機械、１４０８は失敗遷移
付きミーリー型有限状態機１４０５から、失敗遷移付き
ミーリー型縮退有限状態機械１４０９を作成する有限状
態機械縮退手段、１４０６は失敗遷移付きミーリー型縮
退有限状態機械１４０９をもとに、状態遷移表を作成し
て出力する状態遷移表作成手段、１４０７は状態遷移表
作成手段１４０６が出力する、失敗遷移付きミーリー型
縮退有限状態機械の状態遷移表の形式の語切り出し用辞
書である。

【００７０】なお、木構造辞書作成手段１４０２，およ
び木構造辞書変形手段１４０４は実施の形態２のものと
同一とする。

【００７１】また、図１５は、有限状態機械縮退手段１
４０８における、処理の流れを表わす流れ図である．以
上のように構成された辞書作成装置について、図面を用
いてその動作を説明する。今、原辞書データとして、図
２のようなデータを入力すると、実施の形態２と同様に
して、木構造辞書作成手段１４０２が図１１に図示する
ような木構造ミーリー型有限状態機械１４０３を作成
し、木構造辞書変形手段１４０４がこの木構造ミーリー
型有限状態機械１４０３から、図１２に図示するような
失敗遷移付きミーリー型有限状態機１４０５を作成す
る。次に、有限状態機械縮退手段１４０８が、図１５の
手順に従って、図１６に図示するような失敗遷移付きミ
ーリー型縮退有限状態機械１４０９を作成する。すなわ
ち、図１２の失敗遷移付きミーリー型有限状態機の各状
態ｉについて、状態ｉへ向かう遷移（失敗遷移は含めな
い）の本数、および、状態ｉから出る遷移（失敗遷移は
含めない）の本数を調べる。いずれも１本だけで、かつ
状態ｉへ向かう遷移の遷移元状態からの遷移がこの遷移
のみで、かつ状態ｉへ向かう失敗遷移がない場合には、
状態ｉは、状態ｉへ向かう遷移の遷移元状態ｓと「併
合」して１つの状態であるとみなすことができる。ただ
し、状態ｓから出る遷移条件は、遷移条件が元の遷移条
件に状態ｉから出る遷移の遷移条件文字を追加した「遷
移条件文字列」であり、この文字列での遷移先は、「遷
移先列」の最後の状態であり、その際には、「出力列」
を出力する。また、遷移失敗の場合の遷移先は、どの文
字での遷移に失敗したのかによって、状態に付随する失
敗遷移先か、遷移先列の最後以外の状態のいずれかとな
り、その際の出力は、遷移に失敗する以前の文字列に対
応する「出力列」の一部分となる。

【００７２】図１２の例では、状態５が状態４と併合さ
れ、この併合状態４に状態６が併合され、さらにこの併
合状態４に状態７が併合されて、遷移条件文字列が“電
子工業”、「出力列」が「２，８，２，１２」、遷移先
列が「１１，１２，１，１」となる。なお、状態１９
は、状態１９に到達する遷移数も状態１９からの遷移数
も１であるが、状態１９への遷移の遷移元である状態１
からの遷移数が１でないので、併合はされない。

【００７３】このようにして作成された失敗遷移付きミ
ーリー型縮退有限状態機械１４０９から、状態遷移表作
成手段１４０７が、図１７のような状態遷移表形式の語
切り出し用辞書１４０８を作成して出力する。状態遷移
表の形式は実施の形態２の場合と類似しているが、実施
の形態２の状態表中の「遷移数」項目が、非縮退状態の
場合には遷移数を表わし、縮退状態の場合には遷移文字
列長を負数で表現するように変更されている。また、遷
移リスト表中の「遷移文字」項目が、非縮退状態の場合
には遷移文字を表わし、縮退状態の場合には遷移文字列
を表わすように変更されている。遷移リスト表中の「遷
移先」項目も、非縮退状態の場合には遷移先状態番号を
表わし、縮退状態の場合には遷移先列を表わすように変
更されている。さらに遷移リスト表中の「出力」項目
も、非縮退状態の場合には出力文字列長を表わし、縮退
状態の場合には出力列を表わすように変更されている。

【００７４】縮退状態から指されている遷移リストは、
「遷移文字列長」要素分で、この遷移文字列、遷移先
列、出力列を表現する。状態遷移表作成手段１４０７で
の状態遷移表の作成処理は、まず、失敗遷移付きミーリ
ー型縮退有限状態機械１４０９中で、縮退により不要と
なった状態を「つめ」て、１からの状態番号が隙間なく
使用されるよう、状態番号の付け替えを行い、それに伴
って遷移先の状態番号も、新しい状態番号を指すように
付け替える。図１６の例では、状態５，６，７，１２，
１３，１４，１５，１６，１７，１８が不要なので、状
態８を状態５に付け替え、状態９を状態６に付け替え、
状態１０を状態７に付け替え、状態１１を状態８に付け
替え、状態１９を９に付け替え、状態２０を状態１０に
付け替える。状態番号の付け替えの後、遷移リスト表を
作成する。非縮退状態の場合の処理は実施の形態２と同
一だが、縮退状態の場合の処理は、遷移文字列、遷移先
列および出力列の３種の列の要素を、先頭から順に遷移
リスト表に格納し、列の長さの負数を、状態表の「遷移
数／遷移文字列長」項目に格納する。このようにして、
図１７のような状態遷移表が完成する。

【００７５】以上のように、本実施の形態によれば、有
限状態機械の状態数が２０状態から１０状態に減少して
いるが、より大規模な原辞書データの場合でも、通常、
状態数が数十パーセント減少する。一方、遷移リストの
容量は増加しないので、全体として、状態遷移表の容量
が大きく減少し、より小型の辞書が構築できるという効
果がある。特に、固有名詞や専門語など、比較的長い語
を多く含む原辞書データの場合には、その効果が顕著に
なる。また、語切り出し処理時にも、縮退遷移の状態遷
移は複数回の状態遷移を一度に行えるため、より高速に
状態遷移を行うことができ、その実用的効果は大きい。

【００７６】（実施の形態４）次に、本発明の第４の実
施の形態について、図面を参照しながら説明する．本実
施の形態における辞書作成装置の全体構成を表わすブロ
ック図は、実施の形態１あるいは実施の形態２と同一の
図１であり、図１の状態遷移表作成手段１０６以外の各
部も、実施の形態１あるいは実施の形態２と同一であ
る。

【００７７】本実施の形態の状態遷移表作成手段１０６
では、実施の形態１あるいは実施の形態２における処理
内容に加えて、各状態について、当該状態から出る遷移
数が、予め設定した一定値以上の場合には、図１８に示
す流れ図のような処理を行い、３種の変位表を作成して
出力する。この３種の表は、語切り出し時に当該状態か
らの状態遷移を高速に行うためのものである。図１８に
示した処理の原理は、特開平６−７５９９４号公報や米
国特許第５３８８２３４号（概略は後述）として開示さ
れているもので、「１６ビット文字を２つの部分に分
け、それぞれの部分について、個別の表を引くことで冗
長性を取り除いた数値を得、これを組み合わせた数値で
第３の表を引き、遷移リストの添字を得る」という手順
で状態遷移動作を高速に行うための第１、第２および第
３の変位表を求めるものである。

【００７８】本実施の形態の場合には、前述の特開平６
−７５９９４号公報や米国特許第５３８８２３４号で述
べている実施の形態において、第１の変位、第２の変位
のビット数を８ビット、または１６ビットのように固定
にし、第１の変位と第２の変位の組み合わせ演算も、単
なる加算で行うように、特殊化したものとなっている。
例として、実施の形態２で説明した図１２に図示する失
敗遷移付きミーリー型有限状態機械の場合で、遷移の個
数が４個以上の場合に図１８の処理を行う設定を行った
場合には、図１９に示すような、第１、第２、第３の３
種の変位表が求まる。語切り出し時にはこの変位表を用
いて、例えば入力文字が「鉛」の場合には、ＥＵＣ文字
コードが上位バイト＝１７７，下位バイト＝２４４であ
るから、第１の変位表から変位６が、第２の変位表から
変位４が求まり、この２者を加えて変位１０を得、第３
の変位表を引いて、遷移リスト表の変位２が得られる。
状態１の遷移情報は、遷移リスト表の添字１からで、変
位１は先頭要素を表わすので、１＋２−１＝２で、
「鉛」での遷移情報が得られる。

【００７９】なお、本実施の形態では、例として２バイ
トから表現される日本語を用いているため第１・第２の
変位から第３の変位を求めたが、中国語のように３バイ
トから表現される場合、例えば第１・第２・第３の変位
から第４の変位を求めることによって行うなどの方法が
考えられる。

【００８０】なお、本発明と同一の出願人および発明者
による上記特開平６−７５９９４号公報、および米国特
許第５３８８２３４号の発明を日本語の辞書作成装置に
援用する場合の骨子（基本的な着想）を以下に説明す
る． （１） 有限状態オートマトンの状態遷移を高速に行う
には、基本的には、状態遷移表を２次元の表（配列）
Ｔ［Ｘ］［Ｙ］の形式で表現し、現在の状態番号ｓと、
入力文字ｃとから、遷移先の状態番号ｄを、ｄ＝Ｔ
［ｓ］［ｃ］で求めればよい。この方法では、状態遷移
の処理の計算量は状態数や、遷移文字の種類によらず一
定となり、状態遷移が極めて高速に実行できる． （２） しかしながら、上記の方法では、状態遷移表の
大きさ（配列の要素数）が、状態数と文字の種類の積に
なるため、この方法を日本語の辞書作成装置に応用する
と、語彙数１０万語程度の辞書の場合でも、状態数が２
０万状態以上となるので、状態遷移表の大きさは６００
０＊２０００００、即ち１２億要素以上と、非常に大き
くなってしまうという問題がある． （３） 状態遷移の処理速度は上記の「２次元配列の参
照」方式並に高めつつ、状態遷移表の大きさを上記の方
式に比べて大幅に縮小するため、３種類の変位表を用い
て、２段階の表引きを行う． （４） まず、第１段の表引きでは、１６ビットの入力
日本語文字コードを８ビット毎の２つの入力文字コード
に分離する。そして、第１の入力文字コードで、第１の
変位表を引き、第１の変位番号を得る。同様に、第２の
入力文字コードで、第２の変位表を引き、第２の変位番
号を得る． （５） もし、第１、第２の変位番号のいすれかが０な
らば、着目状態からは、その入力日本語文字コードでの
遷移はないとし、失敗遷移を行う． （６） もし、第１、第２の変位番号のいすれも０でな
いならば、第２段の表引きとして、第１の変位番号と第
２の変位番号の和で第３の変位表を引き、遷移リストの
該当箇所を表す番号を得る。この箇所には、着目状態か
らの、その入力日本語文字コードでの遷移情報（遷移文
字、遷移先、出力文字列長）が記述されているので、出
力を出し、遷移を行う． （７） このとき、着目状態からの遷移数が、文字の種
類に比べて少なければ、第２の変位番号は、入力文字コ
ードの種類である２５６に比べ、格段に小さな数値（た
とえば０〜１０）となるように、第２の変位表を構成で
きる． （８） 第１の変位番号も、同様に、小さな数値（たと
えば０〜８）に、第２の変位番号の最大値＋１（たとえ
ば１１）を乗じた値となるように、第１の変位表を構成
できる． （９） 従って、第３の変位表の大きさ（要素数）も、
１６ビット＝６５５３６より、格段に削減でき、全体と
して、１段階の表引き（状態番号と、入力文字コードに
よる、２次元の表引き）の場合に比べて、状態遷移表の
大きさを格段に小さくすることができる． （１０） これは、ある状態ｓからの遷移数が少ない場
合には、２次元の表Ｔ［ｓ］［Ｙ］のほとんどの要素の
値が「０」（遷移なし）になることに着目し、入力文字
コードの２つの部分から、「遷移なし」の場合か否かを
判定し、有効な遷移がありそうな場合のみについて、第
３の変位表に記述しているためである． （１１） 見方を変えれば、１段階の表引きの際の２次
元配列中の冗長な情報（０の値の要素）を大部分カット
して、記述しないようにしている、とも解釈できる． （１２） この２段階の表引きの方法の処理の計算量
は、１段階の表引きに比べ高々２倍であり、状態遷移の
処理の計算量は状態数や、遷移文字の種類によらず一定
なので、状態遷移が極めて高速に実行できる． （１３） 以上の構成と作用とにより、語彙数が数十万
語におよぶ大規模な辞書の場合でも、数十個以上の遷移
を持つ全ての状態に対して高速な状態遷移が可能な状態
遷移表が、それほどデータ容量を増やさずに作成できる
ことになる。

【００８１】以上のように、本実施の形態によれば、例
えば数十万語規模のような実際の辞書の場合には、遷移
の個数が数十〜数千個の場合が多く、この３種の変位表
によって、語切り出し時に遷移リストを検索する速度を
大幅に速めることが可能となり、その実用的効果は大き
い。

【００８２】（実施の形態５）次に、本発明の第５の実
施の形態について、図面を参照しながら説明する．図２
０は本実施の形態における辞書作成装置の全体構成を表
わすブロック図である。図２０において、２００１は作
成すべき辞書に登録する語の文字列を辞書順に並べた原
辞書データ、２００２は前記原辞書データから、前記原
辞書データ中の各語の最終文字に対応する遷移で当該語
の文字列長を出力する、木構造のミーリー型有限状態機
械を作成する木構造辞書作成手段、２００３は木構造辞
書作成手段２００２が作成する第１の中間結果である木
構造ミーリー型有限状態機械、２００４は木構造ミーリ
ー型有限状態機械２００３に対して、各状態に失敗遷移
を付与し、かつ各遷移について出力となる語の文字列長
を付与し、かつ失敗遷移以外の遷移が全くない最終状態
への遷移の遷移先を前記最終状態からの失敗遷移先状態
に変更する木構造辞書変形手段、２００５は木構造辞書
変形手段２００４が作成した第２の中間結果である失敗
遷移付きミーリー型有限状態機械、２００６は失敗遷移
付きミーリー型有限状態機械２００５をもとに、状態遷
移表を作成して出力する状態遷移表作成手段、２００７
は状態遷移表作成手段２００６が出力する失敗遷移付き
ミーリー型有限状態機械の状態遷移表の形式の語切り出
し用辞書の各遷移に正規化情報、および最右部分語情報
を付与する正規化情報／最右部分語情報作成手段、２０
０８は正規化情報／最右部分語情報作成手段２００７が
出力する、正規化／最右部分語情報付き語切り出し用辞
書である。

【００８３】以上のように構成された辞書作成装置につ
いて、図面を用いてその動作を説明する．原辞書データ
２００１が入力されてから、状態遷移表作成手段２００
６で失敗遷移付きミーリー型有限状態機械の状態遷移表
の形式の語切り出し用辞書を作成するまでの処理は、実
施の形態２と同一である。例えば、原辞書データ２００
１として、図２のような原辞書データが入力された場合
には、図１３のような失敗遷移付きミーリー型有限状態
機械の状態遷移表の形式の語切り出し用辞書が作成され
て、正規化情報／最右部分語情報作成手段２００７に渡
される。正規化情報／最右部分語情報作成手段２００７
では、図１３の失敗遷移付きミーリー型有限状態機械の
各遷移に対して、正規化情報と、最右部分語情報を同時
に計算する。

【００８４】具体的には、着目遷移での出力が、状態１
から当該遷移まで次々と遷移を行う場合の遷移文字を繋
げた文字列の長さと等しければ、着目遷移の正規化情報
を算出し、着目遷移での出力が、状態１から当該遷移ま
で次々と遷移を行う場合の遷移文字を繋げた文字列の長
さと等しくなければ、最右部分語情報を算出し、遷移リ
スト表の第４の項目である「正規化／最右部分語」項目
として格納する。その際、正規化情報の場合には、正規
化情報の数値の負数を格納し、最右部分語情報の場合に
は、そのままの数値を格納することで、正規化情報と最
右部分語情報とを区別する。着目遷移に対する正規化情
報／最右部分語情報は以下のように算出する。まず、状
態１から着目遷移まで次々と遷移を行う場合の遷移文字
を繋げた文字列Ｓを作る。Ｓが１文字の文字列ならば、
最右部分語情報として０を算出して算出処理を終了す
る。Ｓが２文字以上の文字列の場合には、文字列Ｓの先
頭文字を削除した、Ｓの最右部分文字列Ｒを作成し、文
字列Ｒで状態１から遷移を試みる。Ｒの最終文字までの
遷移が可能で、かつ最終遷移の際の出力がＲの文字列長
と等しければ、その最終遷移の情報を格納する遷移リス
ト表の添字を算出結果とする。ただし、着目遷移の際の
出力がＳの文字列長と等しければ最右部分語情報の算出
結果として遷移リスト表の添字をそのまま「正規化／最
右部分語」項目に格納し、着目遷移の際の出力がＳの文
字列長と等しくなければ正規化情報の算出結果として、
遷移リスト表の添字の負数を「正規化／最右部分語」項
目に格納する。このような処理を図１３の失敗遷移付き
ミーリー型有限状態機械の各遷移に対して行った結果が
図２１に図示した正規化／最右部分語情報付き失敗遷移
付きミーリー型有限状態機械の状態遷移表である。

【００８５】この「正規化／最右部分語」項目が付与さ
れたことにより、語切り出し時には、切り出した語を高
速に正規化でき、最右部分語も高速に求めることができ
る。例えば、図２１の語切り出し用辞書で「亜日電子工
業」という入力文字列から語を切り出す際には、「亜
日」を読んだ時点（遷移リスト表添字８）で正規化情報
４が得られ、「亜日」という語は辞書にないが、最右部
分語の「日」は辞書にあり、「日」という文字列を単独
で入力した場合の最終遷移の添字は４であるという情報
が得られる。

【００８６】次に「亜日電」を読んだ時点（遷移リスト
表添字１０）で正規化情報２７が得られ、「亜日電」と
いう語は辞書にないが、最右部分語の「日電」は辞書に
あってこれが最長の最右部分語であり、「日電」という
文字列を単独で入力した場合の最終遷移の添字は２７で
あるという情報が得られる。

【００８７】次に、「亜日電子」を読んだ時点（遷移リ
スト表添字１１）では最右部分語情報１９が得られ、
「亜日電子」という語が辞書にあり、辞書にある最長の
最右部分語は「電子」で、「電子」という文字列を単独
で入力した場合の最終遷移の添字は１９であるという情
報が得られる。

【００８８】以上のように、本実施の形態によれば、数
十万語規模の、実際の辞書データから作成した場合に
は、語切り出し時に、このような正規化情報や最右部分
語情報を、「正規化／最右部分語」項目なしで高速に求
めることは極めて困難であり、切り出した各語の正規化
情報や最右部分語情報が必要となる語切り出し処理に
は、切り出し処理の高速化のために極めて有効で、その
実用的効果は大きい。

【００８９】（実施の形態６）次に、本発明の第６の実
施の形態について、図面を参照しながら説明する．図２
２は本実施の形態における極大延長索引作成装置の全体
構成を表わすブロック図である。図２２において、２２
０１は索引情報作成の対象となるＥＵＣ文字コードの列
からなる文書データ、２２０２は文書データ２２０１か
らの語の切り出しに用いる、図２の原辞書データから作
成した、全ての１文字語を自動登録した、正規化情報付
き語切り出し用辞書、２２０３は正規化情報付き語切り
出し用辞書２２０２を用いて文書データ２２０１の各文
字位置で最長の最右部分語を切り出す最長最右部分語切
り出し手段、２２０４は最長最右部分語切り出し手段２
２０３が切り出した結果を一時貯える循環記憶域、２２
０５は最長最右部分語切り出し手段２２０３と連動し
て、循環記憶域２２０４を参照・操作しつつ、極大延長
索引を作成する極大延長索引作成手段、２２０６は極大
延長索引を作成する極大延長索引作成手段２２０５が出
力する、文書データ２２０１の極大延長索引である。

【００９０】なお、極大延長索引の基本的な考え方は、
特願平７−５６０２１に開示されているが、「文書の各
位置で最長の最左部分語を求め、求めた語が他の位置で
切り出したどの最長最左部分語の一部分にもならない場
合には、求めた語を索引情報として出力する」という原
理で作成した索引である。

【００９１】以上のような構成において、以下その動作
を図面を参照して説明する．図２３は本実施の形態の極
大延長索引作成装置の動作の流れを示す流れ図である。
まず、ステップ２３０１で循環記憶域を表わす、添字０
から９までの１０要素を持つ配列Ｂ［０‥９］をゼロク
リアし、変数Ｎには文書データ２２０１の文字数を格納
し、正規化情報付き語切り出し用辞書２２０２の有限状
態機械の現在の状態を表わす変数ｓには初期状態の状態
番号である１を、文書データの着目文字位置をを表わす
変数ｉには先頭文字位置の１を、循環記憶域Ｂ［０‥
９］の着目位置を表わす変数ｊには０を、それぞれ格納
する。この初期化ステップの後、ステップ２３０２で文
書データの着目文字位置が最終文字以降になるまで、着
目文字位置を１つずつ文書後方に移動しながら、各着目
文字について、以下のステップを繰り返す。始めにステ
ップ２３０４で現在の状態ｓから、着目文字での状態遷
移を試みる。ｓからの着目文字での遷移がない場合に
は、ｓの失敗遷移先を新たなｓとして、着目文字による
遷移が成功するまで、失敗遷移を行う。こうして、「有
効な」遷移情報を求め、遷移リスト表での添字を変数ｔ
に格納する。そして、その遷移での遷移先状態、出力、
正規化情報をそれぞれ変数ｓ，ｍ，ｗに格納する。こう
して、着目文字での最長最右部分列を求めた後、ステッ
プ２３０５で１０文字前の切り出し結果Ｂ［ｊ］が有効
（即ち０以外）か否かを調べ、有効ならばステップ２３
０６に進んで（出現位置，語ＩＤ）の形式の索引情報
（ｉ−１０，Ｂ［ｊ］）を出力する。ステップ２３０７
では、循環記憶域Ｂの添字ｊを１つ進めるとともに、今
切り出した最長最右部分語の、循環記憶域Ｂ上の開始文
字位置ｋを求め、Ｂ［ｋ］に、切り出した語を正規化し
た語ＩＤであるｗを格納する。また、着目文字位置ｉを
１文字分後方に移動する。次に、ステップ２３０８，２
３０９の繰り返しで、循環記憶域Ｂ上の、今切り出した
語に完全に含まれる過去の切り出し結果をゼロクリアす
る。このゼロクリア操作によって、極大延長切り出しが
行われることになる。この一連のステップの後、ステッ
プ２３０２に戻って、次の着目文字を処理する。もし、
最終文字まで処理し終えた際には、ステップ２３０３に
進み、配列Ｂ内に残っている有効な語ＩＤを、上記と同
様にして（出現位置，語ＩＤ）の形式で出力し、極大延
長索引の作成を終了する。

【００９２】例えば、図２４の上段のような文書データ
「亜日電子工業は電子スピン共鳴吸収で電子を鉛板に・
・・」から、図２１の状態遷移表の正規化情報付き語切
り出し用辞書を用いて、図２３の流れ図に従って極大延
長索引を作成すると、図２４のような切り出しが行わ
れ、箱囲みの語が索引情報として出力される。

【００９３】以上のように、本実施の形態によれば、従
来は各文字位置で、当該文字位置を先頭文字とする部分
文字列を鍵とする辞書引きを行って最長一致語を求め、
求めた語が他の語の一部分として含まれるか否かの判定
を行って、含まれない場合には出力するという、手間の
かかる処理であった極大延長切り出し処理が、各文字位
置での、着目文字を鍵とした状態遷移と、循環記憶域の
簡単な操作という、簡潔な処理に置き換わり、数十万語
という大規模な辞書の場合には、従来の数十倍から数百
倍もの速度で語の切り出し処理が可能となり、その実用
的効果は大きい。

【００９４】（実施の形態７）次に、本発明の第７の実
施の形態について、図面を参照しながら説明する．図２
５は本実施の形態における完全索引作成装置の全体構成
を表わすブロック図である。図２５において、２５０１
は索引情報作成の対象となるＥＵＣ文字コードの列から
なる文書データ、２５０２は文書データ２５０１からの
語の切り出しに用いる、図２の原辞書データから作成し
た、全ての１文字語を自動登録した、図２１のような正
規化／最右部分語情報付き語切り出し用辞書、２５０３
は正規化／最右部分語情報付き語切り出し用辞書２５０
２を用いて文書データ２５０１の各文字位置で最長の最
右部分語を切り出す最長最右部分語切り出し手段、２５
０４は最長最右部分語切り出し手段２５０３が切り出し
た結果から、正規化／最右部分語情報付き語切り出し用
辞書２５０２を参照して、全ての最右部分語を切り出し
て完全索引を作成する完全索引作成手段、２５０５は完
全索引を作成する完全索引作成手段２５０４が出力す
る、文書データ２５０１の完全索引である。ここで、完
全索引とは、「文書の各位置で切り出せる全ての最左部
分語を求めて索引情報として出力した索引」という意味
に定義する。

【００９５】以上のような構成において、以下その動作
を図面を参照して説明する．図２６は本実施の形態の完
全索引作成装置の動作の流れを示す流れ図である。図２
６において、まず、ステップ２６０１で変数Ｎに文書デ
ータ２６０１の文字数を格納し、正規化／最右部分語情
報付き語切り出し用辞書２６０２の有限状態機械の現在
の状態を表わす変数ｓには初期状態の状態番号である１
を、文書データの着目文字位置をを表わす変数ｉには先
頭文字位置の１を、それぞれ格納する。この初期化ステ
ップの後、ステップ２６０２で文書データの着目文字位
置が最終文字以降になるまで、着目文字位置を１つずつ
文書後方に移動しながら、各着目文字について、以下の
ステップを繰り返す。始めにステップ２６０３で現在の
状態ｓから、着目文字での状態遷移を試みる。ｓからの
着目文字での遷移がない場合には、ｓの失敗遷移先を新
たなｓとして、着目文字による遷移が成功するまで、失
敗遷移を行う。こうして、「有効な」遷移情報を求め、
遷移リスト表での添字を変数ｔに格納する。そして、そ
の遷移での遷移先状態、出力、正規化／最右部分語情報
をそれぞれ変数ｓ，ｍ，ｗに格納する。こうして、着目
文字での最長最右部分列を求めた後、ステップ２６０４
でｗが正規化情報を表わすのか、最右部分語情報を表わ
すのかを調べ、正規化情報を表わす負数の場合には、ス
テップ２６０５正数に直して正規化された語ＩＤを求
め、最右部分語情報の場合には、ステップ２６０６で
（出現位置，語ＩＤ）の形式の、最長最右部分後の索引
情報（ｉ−ｍ，ｔ）を出力する。ステップ２６０７，２
６０８，２６０９の繰り返しでは、正規化／最右部分語
情報付き語切り出し用辞書２５０２の最右部分語情報を
順次たどって、切り出した語の全ての最右部分語の索引
情報を出力する。この一連のステップの後、ステップ２
６０２に戻って、次の着目文字を処理する。もし、最終
文字まで処理し終えた際には、完全索引の作成を終了す
る。

【００９６】例えば、図２７の上段のような文書データ
「亜日電子工業は電子スピン共鳴吸収で電子を鉛板に・
・・」から、図２１の状態遷移表の正規化／最右部分語
情報付き語切り出し用辞書を用いて、図２６の流れ図に
従って完全索引を作成すると、図２７のような切り出し
が行われ、箱囲みの語が索引情報として出力される。

【００９７】以上のように、本実施の形態によれば、従
来は有限状態機械では困難であった全ての最右部分語の
高速な切り出しが可能となり、数十万語という大規模な
辞書の場合には、従来の数十倍から数百倍もの速度で語
の切り出し処理が可能となり、その実用的効果は大き
い。

【００９８】なお、上記の第１から第７の実施の形態に
おいて原辞書データ、文書データはＥＵＣコード列とし
たが、シフトＪＩＳコードや、ＪＩＳコード、ＵＮＩコ
ードの列場合でも、同様の構成が可能で、得られる効果
も同様である。また、ＡＳＣＩＩ文字などの１バイト文
字とＥＵＣコードなどの２バイト文字が混在する原辞書
データ、文書データの場合でも、１バイト文字か２バイ
ト文字かの弁別を行ない、文字コードを格納する際に上
位バイトを０とすることで、容易に実施が可能である。

【００９９】

【発明の効果】以上のように本発明は、登録すべき語の
文字列を辞書順に並べた原辞書データと、前記原辞書デ
ータから、前記原辞書データ中の各語の最終文字に対応
する遷移で当該語の文字列長を出力する、木構造のミー
リー型有限状態機械を作成する木構造辞書作成手段と、
前記木構造辞書作成手段が作成した木構造のミーリー型
有限状態機械から、各状態に失敗遷移を付与し、かつ各
遷移について初期状態から当該遷移までの遷移の列に対
応する文字列の最右部分列になっている前記原辞書デー
タ中の語のうちで最長の語の文字列長を付与し、かつ失
敗遷移以外の遷移が全くない最終状態への遷移の遷移先
を、前記最終状態からの失敗遷移先状態に変更する木構
造辞書変形手段と、各遷移元状態番号に対して、失敗遷
移先状態および、各遷移条件文字と遷移先状態番号と出
力文字列長の３要素からなる遷移リストを記述した状態
遷移表の形式で、失敗遷移付きミーリー型有限状態機械
の語切り出し用辞書を出力する状態遷移表作成手段とを
備けることにより、また、失敗遷移付きミーリー型有限
状態機械の状態のうち、ただ１つの遷移でのみ到達可能
な状態で当該遷移の遷移元状態から出る遷移がこの遷移
のみで、かつ前記状態からの遷移がただ１つであり、か
つ失敗遷移が到達しない状態を、前記状態に到達する遷
移の遷移元状態と併合して、遷移条件が文字列であり、
複数個の状態遷移先と複数個の出力と１つの失敗遷移先
を持つ縮退した状態にする操作を、併合が可能な限り繰
り返し行って失敗遷移付きミーリー型縮退有限状態機械
を求める有限状態機械縮退手段を備けることにより、ま
た正規化情報作成手段・最右部分語情報作成手段を設け
ることにより、複雑な辞書検索動作を極めて高速・簡潔
に行なうことができる語切り出し用辞書が作成できる優
れた辞書作成装置を実現できものである。

【０１００】さらに、失敗遷移付き有限状態機械の状態
遷移表形式の辞書データと、切り出した語の情報を一時
蓄積する循環記憶域と、前記文書データから順次バイト
データを読み込む文書読み出し手段と、前記辞書データ
の状態遷移表を現在の状態番号と前記文書読み出し手段
の読み出した文字コードとにより検索して状態遷移を行
いつつ、遷移情報に付随する出力文字長と正規化情報と
遷移文字長とを出力する動作を前記文書データの最終文
字が前記文書読み出し手段から読み出されるまで繰り返
す有限状態機械模倣手段と、前記循環記憶域内の着目位
置に格納している正規化情報を着目位置とともに出力す
るとともに、前記循環記憶域の前記着目位置から前記出
力文字長だけ後方の位置に前記正規化情報を格納し、当
該格納位置より前方で、前記着目位置までの区間の、前
記循環記憶域内の正規化情報を無効にする循環記憶域操
作手段とを設けることにより、極大延長切り出しによる
語の切り出しを極めて高速に行なうことができる、優れ
た語切り出し装置を実現できるものである。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態における辞書作成装
置の全体構成を表わすブロック図

【図２】本発明の第１の実施の形態における原辞書デー
タの簡単な例図

【図３】本発明の第１の実施の形態における木構造辞書
作成手段での処理の流れを示した流れ図

【図４】本発明の第１の実施の形態における木構造ミー
リー型有限状態機械が作成されていく様子を示した図 （ａ）２状態の場合の例図 （ｂ）３状態の場合の例図 （ｃ）５状態の場合の例図

【図５】本発明の第１の実施の形態における木構造ミー
リー型有限状態機械の作成が完了した木構造ミーリー型
有限状態機械を示した図

【図６】本発明の第１の実施の形態における木構造辞書
変形手段での処理の流れを示した流れ図

【図７】本発明の第１の実施の形態における失敗遷移を
付与途中のミーリー型有限状態機械の例図

【図８】本発明の第１の実施の形態における失敗遷移付
きミーリー型有限状態機械の例図

【図９】本発明の第１の実施の形態における失敗遷移付
きミーリー型有限状態機械の状態遷移表の例図

【図１０】第２の実施の形態における木構造辞書作成手
段での処理の流れを示した流れ図

【図１１】第２の実施の形態において木構造ミーリー型
有限状態機械が作成されていく様子を示した図

【図１２】第２の実施の形態における失敗遷移付きミー
リー型有限状態機械の例図

【図１３】第２の実施の形態における失敗遷移付きミー
リー型有限状態機械の状態遷移表の例図

【図１４】第３の実施の形態における辞書作成装置の全
体構成を表わすブロック図

【図１５】第３の実施の形態における有限状態機械縮退
手段での処理の流れを表わす流れ図

【図１６】第３の実施の形態における失敗遷移付きミー
リー型有限状態機械の縮退処理の途中を示した図

【図１７】第３の実施の形態における失敗遷移付きミー
リー型縮退有限状態機械の状態遷移表の例図

【図１８】第４の実施の形態における状態遷移表作成手
段での３種の変位表の作成の流れを表わす流れ図

【図１９】第４の実施の形態における３種の変位表の作
成例図

【図２０】第５の実施の形態における辞書作成装置の全
体構成を表わすブロック図

【図２１】第５の実施の形態における正規化／最右部分
語情報付き失敗遷移付きミーリー型有限状態機械の状態
遷移表の例図

【図２２】第６の実施の形態における極大延長索引作成
装置の全体構成を表わすブロック図

【図２３】第６の実施の形態における極大延長索引作成
装置の動作の流れを示す流れ図

【図２４】第６の実施の形態における極大延長切り出し
の例図

【図２５】第７の実施の形態における完全索引作成装置
の全体構成を表わすブロック図

【図２６】第７の実施の形態における完全索引作成装置
の動作の流れを示す流れ図

【図２７】第７の実施の形態における完全切り出しの例
図

【符号の説明】

１０１ 原辞書データ １０２ 木構造辞書作成手段 １０３ 木構造ミーリー型有限状態機械 １０４ 木構造変形手段 １０５ 失敗遷移付きミーリー型有限状態機械 １０６ 状態遷移表作成手段 １０７語切り出し用辞書 １４０１ 原辞書データ １４０２ 木構造辞書作成手段 １４０３ 木構造ミーリー型有限状態機械 １４０４ 木構造変形手段 １４０５ 失敗遷移付きミーリー型有限状態機械 １４０６ 状態遷移表作成手段 １４０７ 語切り出し用辞書 １４０８ 有限状態機械縮退手段 １４０９ 語切り出し用辞書 ２００１ 原辞書データ ２００２ 木構造辞書作成手段 ２００３ 木構造ミーリー型有限状態機械 ２００４ 木構造変形手段 ２００５ 失敗遷移付きミーリー型有限状態機械 ２００６ 状態遷移表作成手段 ２００７ 正規化情報／最右部分語情報作成手段 ２００８ 正規化／最右部分語情報付き語切り出し用辞
書 ２２０１ 文書データ ２２０２ 正規化情報付き語切り出し用辞書 ２２０３ 最長最右部分語切り出し手段 ２２０４ 循環記憶域 ２２０５ 極大延長索引作成手段 ２２０６ 極大延長索引 ２５０１ 文書データ ２５０２ 正規化／最右部分語情報付き語切り出し用辞
書 ２５０３ 最長最右部分語切り出し手段 ２５０４ 完全索引作成手段 ２５０５ 完全索引

Claims (9)

【特許請求の範囲】
1. 【請求項１】 登録すべき語の文字列を辞書順に並べた
   原辞書データと、 前記原辞書データから、前記原辞書データ中の各語の最
   終文字に対応する遷移で当該語の文字列長を出力する、
   木構造のミーリー型有限状態機械を作成する木構造辞書
   作成手段と、 前記木構造辞書作成手段が作成した木構造のミーリー型
   有限状態機械から、各状態に失敗遷移を付与し、かつ各
   遷移について初期状態から当該遷移までの遷移の列に対
   応する文字列の最右部分列になっている前記原辞書デー
   タ中の語のうちで最長の語の文字列長を付与し、かつ失
   敗遷移以外の遷移が全くない最終状態への遷移の遷移先
   を、前記最終状態からの失敗遷移先状態に変更する木構
   造辞書変形手段と、 各遷移元状態番号に対して、失敗遷移先状態および、各
   遷移条件文字と遷移先状態番号と出力文字列長との少な
   くとも３要素からなる遷移リストを記述した状態遷移表
   の形式で、失敗遷移付きミーリー型有限状態機械の語切
   り出し用辞書を出力する状態遷移表作成手段とを備えた
   辞書作成装置。
2. 【請求項２】 請求項１記載の構成の木構造辞書作成手
   段が、その他の文字での遷移の際の出力を設定し、かつ
   原辞書データ中の１文字の語を無視することにより、文
   字コードセット中の任意の１文字のみからなる全ての語
   が、前記原辞書データに含まれている場合と同一の動作
   を行う語切り出し用辞書を作成することを特徴とする辞
   書作成装置。
3. 【請求項３】 請求項１または請求項２記載の構成にお
   いて、 木構造辞書変形手段の出力した失敗遷移付きミーリー型
   有限状態機械の状態のうち、ただ１つの遷移でのみ到達
   可能な状態で当該遷移の遷移元状態から出る遷移がこの
   遷移のみで、かつ前記状態からの遷移がただ１つであ
   り、かつ失敗遷移が到達しない状態を、前記状態に到達
   する遷移の遷移元状態と併合して、遷移条件が文字列で
   あり、複数個の状態遷移先と複数個の出力と１つの失敗
   遷移先を持つ縮退した状態にする操作を、併合が可能な
   限り繰り返し行って失敗遷移付きミーリー型縮退有限状
   態機械を求める有限状態機械縮退手段を更に備え、 状態遷移表作成手段が、縮退した各遷移元状態の状態番
   号に対しては、失敗遷移先状態および、当該縮退した各
   遷移元状態の元になった状態連鎖の遷移の順に遷移条件
   文字を並べた遷移文字列と、当該縮退した各遷移元状態
   の元になった状態連鎖の遷移の順に、当該遷移の遷移先
   状態からの失敗遷移先状態番号を並べた遷移先列と、前
   記遷移文字列中の各文字での遷移が成功した際の出力
   を、当該縮退した各遷移元状態の元になった状態連鎖の
   遷移の順に並べた出力列との少なくとも３要素からなる
   遷移リストとを記述し、縮退していない各遷移元状態の
   状態番号に対しては、失敗遷移先状態および、各遷移条
   件文字と遷移先状態番号と出力文字列長との少なくとも
   ３要素からなる遷移リストを記述した状態遷移表の形式
   で、失敗遷移付きミーリー型縮退有限状態機械の語切り
   出し用辞書を出力するようにしたことを特徴とする辞書
   作成装置。
4. 【請求項４】 請求項１あるいは請求項２記載の状態遷
   移表作成手段が、請求項１あるいは請求項２記載の動作
   に加えて、失敗遷移付きミーリー型有限状態機械中の、
   予め設定した遷移数以上の遷移を持つ各状態について
   は、当該状態からの遷移情報を高速に求めるため、 遷移条件である文字コードを用いて、前記文字コードを
   構成する２つ以上の部分コードの各々から、各々の部分
   コードに対する変位を求めるための１段目の変位表群
   と、１段目の変位表群を引いて得た変位群から、前記状
   態から指示される遷移リスト表の位置からの前記文字コ
   ードに対応する変位を求めるための２段目の変位表を作
   成して状態遷移表の一部として出力することを特徴とす
   る辞書作成装置。
5. 【請求項５】 請求項１あるいは請求項２記載の状態遷
   移表作成手段が、請求項１あるいは請求項２記載の動作
   に加えて、失敗遷移付きミーリー型有限状態機械中の、
   予め設定した遷移数以上の遷移を持つ各状態について
   は、当該状態からの遷移情報を高速に求めるため、 遷移条件である文字コードの第１バイトから第１の変位
   を求めるための第１の変位表と、前記文字コードの第２
   バイトから第２の変位を求めるための第２の変位表と、
   前記第１の変位と前記第２の変位とから、前記状態から
   の各文字での遷移情報を、前記状態から指示される遷移
   リスト表の位置からの変位の形式で求めるための第３の
   変位表との３種の表を作成して状態遷移表の一部として
   出力することを特徴とする辞書作成装置。
6. 【請求項６】 請求項１ないし請求項５記載の構成にお
   いて、失敗遷移付き有限状態機械の各遷移に対して、初
   期状態から当該遷移までの遷移の列に対応する文字列の
   文字長と、前記遷移の出力文字長とが異なる場合には、
   初期状態から当該遷移までの遷移の列に対応する文字列
   の最右部分列になっている原辞書データ中の語のうちで
   最長の語を入力文字列として、初期状態から順次遷移を
   行う際の最終遷移を一意に表わす番号を正規化情報とし
   て求める正規化情報作成手段を更に設け、 前記構成中の状態遷移表作成手段で前記正規化情報作成
   手段の作成した正規化情報を、出力文字長とともに、遷
   移情報の一部として出力することを特徴とする辞書作成
   装置。
7. 【請求項７】 請求項６記載の構成において、失敗遷移
   付き有限状態機械の各遷移に対して、初期状態から当該
   遷移までの遷移の列に対応する文字列の文字長と、前記
   遷移の出力文字長とが等しく、初期状態から当該遷移ま
   での遷移の列に対応する文字列より真に短い最右部分列
   になっている原辞書データ中の語がある場合には、初期
   状態から当該遷移までの遷移の列に対応する文字列より
   真に短い最右部分列になっている原辞書データ中の語の
   うちで最長の語を入力文字列として、初期状態から順次
   遷移を行う際の最終遷移を一意に表わす番号を最右部分
   語情報として求める最右部分語情報作成手段を更に設
   け、 前記構成中の状態遷移表作成手段で前記最右部分語情報
   作成手段の作成した最右部分語情報を、出力文字長とと
   もに、遷移情報の一部として出力することを特徴とする
   辞書作成装置。
8. 【請求項８】 語を切り出す対象である文書データと、
   請求項６記載の辞書作成装置により作成した失敗遷移付
   き有限状態機械の状態遷移表形式の辞書データと、切り
   出した語の情報を一時蓄積する循環記憶域と、前記文書
   データから順次文字コードを読み込む文書読み出し手段
   と、前記辞書データの状態遷移表を現在の状態番号と前
   記文書読み出し手段の読み出した文字コードとにより検
   索して状態遷移を行いつつ、遷移情報に付随する出力文
   字長と正規化情報と遷移文字長とを出力する動作を前記
   文書データの最終文字が前記文書読み出し手段から読み
   出されるまで繰り返す有限状態機械模倣手段と、前記循
   環記憶域内の着目位置に格納している正規化情報を着目
   位置とともに出力するとともに、前記循環記憶域の前記
   着目位置から前記出力文字長だけ後方の位置に前記正規
   化情報を格納し、当該格納位置より前方で、前記着目位
   置までの区間の、前記循環記憶域内の正規化情報を無効
   にする循環記憶域操作手段とを備えた語切り出し装置。
9. 【請求項９】 語を切り出す対象である文書データと、
   請求項７記載の辞書作成装置により作成した失敗遷移付
   き有限状態機械の状態遷移表形式の辞書データと、前記
   文書データから順次文字コードを読み込む文書読み出し
   手段と、前記辞書データの状態遷移表を現在の状態番号
   と前記文書読み出し手段の読み出した文字コードとによ
   り検索して状態遷移を行いつつ、遷移情報に付随する出
   力文字長と正規化情報と遷移文字長とを出力する動作を
   前記文書データの最終文字が前記文書読み出し手段から
   読み出されるまで繰り返す有限状態機械模倣手段と、前
   記正規化情報から、前記辞書データ内の最右部分語情報
   を、これ以上最右部分語がなくなるまでくり返し求め
   て、前記正規化情報および各々の最右部分語について、
   現在の切り出し位置から前記出力文字長あるいは前記最
   右部分語の文字長を差し引いた位置情報と前記正規化情
   報あるいは前記最右部分語情報を出力にする最右部分語
   出力手段とを備えた語切り出し装置。