JPH0830631A - 辞書検索方式 - Google Patents

Abstract

(57)【要約】 【目的】 あらかじめ優先度の高い単語だけの辞書とそ
れ以外の辞書を分割することで、辞書検索の負荷を小さ
くし、高速化する。 【構成】 まず、対象文字列に対するポインタｐがｐ≦
０の場合（S1）、ｐが対象文字列長より大きいかどうか
を判断し（S2）、大きければ検索モード（ｐ）が（ｐ）
≦１となり（S3）、辞書検索呼び出しを行う（S4）。次
に、単語候補があるかどうかを調べ（S5）、単語候補が
あれば接続検査を行う（S6）。次に、接続可能な単語候
補の数を調べ（S7）、１つであれば、ポインタｐの更新
を行い（S9）、単語候補の数が複数であれば評価し（S
8）、ポインタｐの更新を行い（S9）、前記ステップＳ
２へ戻る。単語候補がなければ、検索モード（ｐ）かど
うかを判断し（S10）、検索モード（ｐ）でなければ失
敗し、検索モード（ｐ）であれば、ｐ≦２として（S1
2）、前記ステップＳ４へ戻る。以下の処理を繰り返
す。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、辞書検索方式に関し、
より詳細には、自然言語の形態素解析や構文解析で行う
辞書検索方式に関する。例えば、辞書の検索処理を含む
各種の自然言語処理装置に応用できるものである。

【０００２】

【従来の技術】通常、自然言語の解析では、形態素解析
や構文解析といった解析処理を行うために単語辞書を備
え、その辞書の検索を行う。一般に、単語辞書は多数の
単語を格納しており大規模なため、その検索時間を短縮
するために、ハッシュ法などの高速な探索法が用いられ
ている。形態素解析では、部分文字列が一致する単語候
補間の接続検査を行いながら、候補を減らしていくが、
複数の候補がある場合には、文字列長の最も長い単語を
選択したり（最長一致法）、さらにその単語の尤度を評
価する（最尤評価法）などがある。

【０００３】一般には、図６に示されるように、辞書の
エントリはさまざまな単語の表記をキーに格納されてい
る。格納される単語の中には、日本語では「は」,
「が」といったほとんどの文中で用いられる単語から、
「語彙」といった特殊な分野でしか用いられない単語、
あるいは、通常用いられるが、漢字をひらがな表記した
ものなど、あまり出現しない単語も含まれ、最尤評価法
などでは、その単語ごとに与えられた尤度により単語候
補を絞っている。

【０００４】従来技術では、図７に示すように、こうし
た使われ方が大きく異なる単語を一つの辞書１１に格納
し、辞書検索部１２で検索している。なお、機械翻訳シ
ステム等では、基本辞書と分野別辞書を分割し、適当な
分野別辞書を指定すると、その辞書を含めた検索を行う
ものもあるが、基本的には双方を検索することから、概
念的には同一辞書に併合されていると考えられる。

【０００５】図８は、従来の辞書検索を含む形態素解析
の処理のフローチャートである。なお、説明の簡便さの
ため、形態素解析は、文頭から順次、接続検査，候補選
択を行う決定的な処理を示す。以下、各ステップに従っ
て順に説明する。まず、対象文字列に対するポインタｐ
がｐ≦０の場合（S21）、ｐが対象文字列長より大きい
かどうかを判断し（S22）、ｐが対象文字列長より大き
くなければ終了し、大きければ辞書検索呼び出しを行う
（S23）。次に、単語候補があるかどうかを判断し（S2
4）、単語候補があれば接続検査を行う（S25）。次に、
接続可能な単語候補の数を調べ（S26）、１つであれ
ば、後述するステップＳ２８へ行き、ポインタｐの更新
を行う。接続可能な単語候補が複数あれば、その単語候
補を評価し（S27）、ポインタｐの更新を行い（S28）、
前記ステップＳ２２へ戻り、以下の処理を繰り返す。

【０００６】例えば、「計算機を買う」という文の形態
素解析では、対象文字列中でのポインタｐが０の場合、
「計算」と「計算機」が検索され、最長一致評価あるい
は最長一致評価あるいは最尤評価等の評価により、一般
には「計算機」が選択され、ポインタが４に更新され、
「を」さらに「買う」が選択される。あるいは「けいさ
んきを買う」では、ｐが０の時に「けいさん」と「けい
さんき」が検索され、前と同様に「けいさんき」が選択
され、以下、同様の動作となる。

【０００７】従来の辞書検索方式について記載した公知
文献としては、例えば、特開昭６０−１４２４６４号公
報がある。この公報のものは、音声認識情報を形態素解
析する際に使用する形態素解析用辞書を、優先度の高い
第１の辞書と、この第１の辞書の内容に基づいた形態素
解析が不能の場合に使用可能となる第２の辞書とに分割
するようにし、前記第１の辞書の内容を特定個人の通常
の文章作成目的に対応したものとし、また、前記第２の
辞書の内容をあらゆる場合を想定した汎用のものとする
ことによって、如何なる場合であっても入力情報から文
字への変換時間をより短縮することを可能としたもので
ある。

【０００８】

【発明が解決しようとする課題】前述のように、従来の
辞書検索方式においては、使われ方が大きく異なる単語
を一つの辞書に格納して検索している。機械翻訳システ
ムなどでは、基本辞書と分野別辞書とに分割しているも
のの、基本的には双方を検索するため、同一辞書に併合
されているものであった。そのため、辞書検索の負担が
大きく、高速化を実現するには問題があった。

【０００９】本発明は、このような実情に鑑みてなされ
たもので、辞書検索をより効率化するために、（１）あ
らかじめ優先度の高い単語だけの辞書とそれ以外の辞書
を分割することで、辞書検索の負荷を小さくし、高速化
すること、また、（２）優先度の高い単語の辞書を高速
な媒体に置くことで、高速な媒体の効果的な利用を促進
し、さらに辞書検索を高速化するようにした辞書検索方
式を提供することを目的としている。

【００１０】

【課題を解決するための手段】本発明は、上記課題を解
決するために、（１）自然言語処理装置等での単語辞書
の検索方式において、単語の優先度により辞書を第１の
辞書（群）と第２の辞書（群）とに分割し、優先度の高
い辞書のみを検索する第１のモードと、それ以外の辞書
あるいは全ての辞書を検索する第２のモードとを備え、
通常は第１のモードで検索し、該第１のモードの検索結
果に基づいた処理で失敗した場合には、前記第２のモー
ドで検索すること、更には、（２）前記優先度の高い辞
書を高速な媒体上に保持すること、あるいは実行時にメ
モリ上に展開することを特徴としたものである。

【００１１】

【作用】前記構成を有する本発明の辞書検索方式は、
（１）単語の優先度により、辞書を第１の辞書（群）と
第２の字所（群）に分割し、優先度の高い辞書のみを検
索する第１のモードと、それ以外の辞書あるいは全ての
辞書を検索する第２のモードを備え、通常は、第１のモ
ードで検索し、その検索結果に基づいた処理で失敗した
場合には、第２のモードで検索する。このように、あら
かじめ優先度の高い単語だけの辞書とそれ以外の辞書を
分割することで、通常の場合の辞書検索の負荷の縮小
と、高速化の効果が得られる。（２）優先度の高い辞書
を高速な媒体上に保持すること、あるいは実行時にメモ
リ上に展開する優先度の高い単語の辞書を高速な媒体に
置くことで、高速な媒体の効果的な利用を促進し、さら
に辞書検索を高速化する効果が得られる。

【００１２】

【実施例】実施例について、図面を参照して以下に説明
する。まず、請求項１に記載の発明について説明する。
本請求項では、図３（ａ）,（ｂ）に示すように、あら
かじめ優先度の高い単語を含む第１の辞書（図３
（ａ））と、それ以外の第２辞書（図３（ｂ））に分割
する。すなわち、図４に示すように、第１の単語辞書１
と第２の単語辞書２とに分割し、辞書検索部３で検索す
る。図３の例では、通常、漢字で書かれる単語だが、そ
の一部がひらがな表記された単語は、優先度が高くない
として、第２の辞書に分割してある。その他、使用頻度
が低い単語なども優先度が高くないものとすることがで
きる。こうして分割した辞書に対し、通常は、第１の辞
書を検索するだけに止め、その結果が失敗した場合に第
２の辞書を検索する。辞書のサイズは小さくなるため、
検索の負荷が小さくなる。

【００１３】図１は、本発明の辞書検索を含む形態素解
析の処理のフローチャートで、図２は、図１のフローチ
ャートから呼び出される辞書検索部の処理のフローチャ
ートである。検索モード（ｐ）とは、対象文字列のポイ
ンタ（位置）ｐに与えられ、モードが「１」なら第１の
辞書、モードが「２」なら第２の辞書を検索する。通常
は、モード値は「１」が与えられる。以下、各ステップ
（Ｓ）に従って順に説明する。

【００１４】まず、対象文字列に対するポインタｐがｐ
≦０の場合（S1）、ｐが対象文字列長より大きいかどう
かを判断し（S2）、大きくなければ終了し、大きければ
検索モード（ｐ）が（ｐ）≦１となり（S3）、辞書検索
呼び出しを行う（S4）。次に、単語候補があるかどうか
を調べ（S5）、単語候補がなければ、後述するステップ
Ｓ１０へ行く。単語候補があれば接続検査を行う（S
6）。次に、接続可能な単語候補の数を調べ（S7）、１
つであれば、後述するステップＳ９へ行き、ポインタｐ
の更新を行い（S9）、単語候補の数が複数であれば評価
し（S8）、ポインタｐの更新を行い（S9）、前記ステッ
プＳ２へ戻る。

【００１５】前記ステップＳ７において、単語候補がな
ければ、ポインタｐの戻し処理を行い（S11）、検索モ
ード（ｐ）かどうかを判断し（S10）、検索モード
（ｐ）でなければ失敗し、検索モード（ｐ）であれば、
検索モード（ｐ）をｐ≦２として（S12）、前記ステッ
プＳ４へ戻り、以下の処理を繰り返す。辞書検索部にお
いては、検索モードかどうかを判断し（S13）、モード
「１」であれば、第１の辞書の検索を行い（S14）、モ
ード「２」であれば、第２の辞書の検索を行う（S1
5）。

【００１６】例えば、「計算機を買う」という文の形態
素解析では、ポインタ０,４,５の検索モードはいずれも
「１」のままで、従来技術と同様に検索が進む。この場
合、検索の進みかたは同様だが、対象となっている辞書
は、図６に示す従来方式の辞書より、図３（ａ）に示す
ように、小さな第１辞書となっているので、処理の負担
が小さい。

【００１７】一方、「けいさんきを買う」では、ポイン
タ０の段階で、辞書検索での候補が得られないと、モー
ドが「１」となり、第２の辞書により「けいさん」と
「けいさんき」が得られ、従来と同様の評価により「け
いさんき」が選択される。以降、ポインタ４,５では、
モードは「１」で検索される。この場合、ポインタ０で
は一種のバックトラック処理であり、処理効率が落ちる
ことになるが、本請求項の辞書の分割では、本実施例の
ような極めてまれな表記を第２の辞書に置くことをして
いることから、元来モードが「２」となるのは、きわめ
てまれであり、通常はほとんどがモードが「１」で処理
されるため、全体としては従来より効率がよくなる。

【００１８】次に、請求項２に記載の発明について説明
する。一般に、辞書ファイルなどは、二次媒体上に置か
れ、その媒体状の内容をアクセスするのが普通である。
二次媒体としては、フロッピディスクやハードディスク
あるいは最近ではＲＡＭ（Random Access Memory）ディ
スク等があり、アクセスが遅いものから速いものまであ
るが、速いものほど高価で、その容量は小さい。

【００１９】請求項１の辞書は、分割前の辞書より各々
小さな辞書にすることができる。そこで、従来より高速
な媒体に置くことができる可能性が高くなる。特に、第
１の辞書を高速な媒体、第２の辞書を低速な媒体に置く
ことによって、媒体の効率的な利用、また頻繁にアクセ
スされる辞書が高速にアクセスできることから、速度効
率も向上することができる。また、第１の辞書が十分小
さければ、図５に示すようにメモリ装置４を設け、計算
機が実行時にデータを置くメモリ上にその内容を複写す
ることで、実行時により高速な検索が可能となる。

【００２０】

【発明の効果】以上の説明から明らかなように、本発明
によると、以下のような効果がある。 （１）請求項１に対応する効果：単語の優先度により、
辞書を第１の辞書（群）と第２の字所（群）に分割し、
優先度の高い辞書のみを検索する第１のモードと、それ
以外の辞書あるいは全ての辞書を検索する第２のモード
を備え、通常は、第１のモードで検索し、その検索結果
に基づいた処理で失敗した場合には、第２のモードで検
索する。このように、あらかじめ優先度の高い単語だけ
の辞書とそれ以外の辞書を分割することで、通常の場合
の辞書検索の負荷の縮小と、高速化の効果が得られる。 （２）請求項２に対応する効果：優先度の高い辞書を高
速な媒体上に保持すること、あるいは実行時にメモリ上
に展開する優先度の高い単語の辞書を高速な媒体に置く
ことで、高速な媒体の効果的な利用を促進し、さらに辞
書検索を高速化する効果が得られる。

【図面の簡単な説明】

【図１】 本発明による辞書検索方式の一実施例を説明
するためのフローチャートである。

【図２】 図１のフローチャートから呼び出される辞書
検索部の処理のフローチャートである。

【図３】 本発明における辞書のエントリ例を示す図で
ある。

【図４】 あらかじめ優先度の高い単語を含む第１の辞
書とそれ以外の第２の辞書に分割する説明図である。

【図５】 図４にメモリ装置を付加し、より高速な検索
を可能とする説明図である。

【図６】 従来の辞書エントリ例を示す図である。

【図７】 従来の辞書検索の説明図である。

【図８】 従来の辞書検索を含む形態素解析の処理のフ
ローチャートである。

【符号の説明】

１…第１の単語辞書、２…第２の単語辞書、３…辞書検
索部、４…メモリ装置。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 自然言語処理装置等での単語辞書の検索
   方式において、単語の優先度により辞書を第１の辞書と
   第２の辞書とに分割し、優先度の高い辞書のみを検索す
   る第１のモードと、それ以外の辞書あるいは全ての辞書
   を検索する第２のモードとを備え、通常は第１のモード
   で検索し、該第１のモードの検索結果に基づいた処理で
   失敗した場合には、前記第２のモードで検索することを
   特徴とする辞書検索方式。
2. 【請求項２】 前記優先度の高い辞書を高速な媒体上に
   保持すること、あるいは実行時にメモリ上に展開するこ
   とを特徴とする請求項１記載の辞書検索方式。