JPH0831096B2

JPH0831096B2 - 単語辞書装置

Info

Publication number: JPH0831096B2
Application number: JP59021769A
Authority: JP
Inventors: 克彦湯浦
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1984-02-10
Filing date: 1984-02-10
Publication date: 1996-03-27
Anticipated expiration: 2011-03-27
Also published as: JPS60168233A

Description

【発明の詳細な説明】〔発明の利用分野〕本発明は、日本語などの言語処理システムに内蔵され
る単語辞書の記憶装置に関する。

〔発明の背景〕

日本語などの言語処理システムにおいては、単語辞書
を内蔵し言語入力、意味解析等に活用されている。単語
辞書の構成は見出しおよび品詞等の単語情報であり、検
索方法としては、被照合単語の文字列と単語辞書に含ま
れる見出し文字列とを照合し、一致した単語の情報を取
出す。このような従来の辞書構成を第１図，第２図，第
３図に示す。第１図は見出し１項あたりの辞書レコード
構成を示す。フィールド11は見出しであり、例えば
“書”という単語であれば、“ショ”というカナコード
で記憶されている。フィールド12は該見出しに対する同
音語の数を保持し、“ショ”に対して“書〈名詞〉”、
“暑〈名詞〉”、“処〈サ変動詞〉”という単語あると
すれば“3"となる。フィールド13は、見出しに対する各
同音語の単語情報を保持する。

第２図は１記憶単位の構成を示す。第２図においては
見出しの先頭２桁が“ショ”であるレコード群を格納し
た記憶単位を示し、レコード21〜25はレコード群の一部
である。レコードの配列は見出しのコード昇順とし、例
えば、“ア”は10進表示で、“2"であり、“コ”は10進
表示で“19"のため、“ア”＜“コ”となる。

第３図は、索引部の構成を示す。索引部は記憶単位の
アドレスを示したフィールドからなる。フィールド31〜
33フイールド群の一部であり、フィールド32は見出しの
先頭２桁が“ショ”である辞書レコード群を格納した記
憶単位を示す。

従来は先頭２桁の文字から索引部で検索すべき記憶単
位を同定し、記憶単位内のレコードを逐次検索してい
た。しかし、この方法では各記憶単位に含むレコード数
が不揃いなために検索に要する時間を安定化させること
ができなかった。また、カナ漢字変換などで使用される
総当たり法もしくは最長一致法による検索の場合、記憶
単位内の逐次検索を何度も繰り返す必要がある。総当た
り法とは、被照合文字列の先頭から長さの異なる単語を
すべて取り出す手法であり、最長一致法とはこのうち最
長の単語のみを取り出す手法である。

〔発明の目的〕

本発明は、前記記憶単位内で検索する見出しの個数を
一定量以下に保ち、かつ、索引部の検索とただ一回の記
憶単位の検索で総当たり法検索を可能とすることによっ
て、カナ漢字変換等における単語辞書の検索速度を向上
させることを目的とする。

〔発明の概要〕

本目的を達成するため、索引部の構成を見出しの分布
に応じて索引付けの桁数を変動させるものとし、見出し
の配列順を利用して被照合文字長を変更しながら階層構
成された索引領域を連鎖アクセスして逐次検索をすすめ
る制御を導入するとともに、照合文字長の文字列より長
い文字長の見出し語の辞書レコードは索引領域の連鎖ア
クセスにより索引される辞書レコードの記憶単位内に格
納し、照合文字長の文字列でとぎれる。つまり次の桁が
空白の見出し語の辞書レコードは次の桁の文字種別によ
り索引するための次段の索引領域そのものに格納し、も
って照合文字長を順次変更しながら行う総当り検索の効
率を高めた単語辞書装置に本発明の特徴がある。

〔発明の実施例〕

以下、本発明を実施例を参照して詳細に説明する。第
４図に本発明の単語辞書装置の全体構成を示す。単語辞
書装置は検索装置41、記憶装置42よりなる。

まず記憶装置42について述べる。第５図は記憶装置42
の構成を示す。記憶装置42は複数の索引単位および複数
の記憶単位よりなる。索引単位51〜55は索引単位群の一
部であり、記憶単位56〜59は記憶単位群の一部である。
ここで索引単位および記憶単位とは、主記憶装置もしく
は補助記憶装置の処理単位により構成されるものとす
る。第６図は１索引単位の構成を示す。１索引単位は87
の分岐アドレス・フィールドと１つの辞書レコード・フ
ィールド65を持つ。分岐アドレス・フィールド61〜64は
分岐アドレス・フィールド群の一部である。１索引単位
は見出し１桁分の索引を担当する。先頭の分岐アドレス
・フィールド61には当該桁文字が“ア”（10進表示
“1"）の場合の分岐アドレス、２番目の分岐アドレス・
フィールド62には当該桁文字が“ア”（10進表示“2"）
の場合の分岐アドレス、86番目の分岐アドレス・フィー
ルド63には当該桁文字が“ケ”（10進表示“86"）の場
合の分岐アドレス、87番目の分岐アドレス・フィールド
64には当該桁文字がカタカナでなかった場合の分岐アド
レスを格納する。ここで分岐アドレスとは、当該の桁の
次の桁の文字の検索を担当する索引単位のアドレス、ま
たは記憶単位のアドレス、または定数０であるる。この
うち記憶単位のアドレスは補数をとって保持する。分岐
アドレスとして、次の桁文字の検索を担当する索引単位
のアドレス、記憶単位のアドレス、定数０のいずれを格
納するかは当該の桁まで一致する見出し数によって決定
する。つまり、当該の桁まで一致する見出し数が指定限
界量Ｐを超える場合には索引単位のアドレス、１以上Ｐ
以下の場合には記憶単位のアドレス、０の場合には定数
０を格納する。辞書レコード・フィールド65には当該の
桁の前の桁で終了する見出しの辞書レコードを格納す
る。辞書レコードの構成は第１図に示したものと同一で
ある。

一記憶単位の構成は第２図に示したものと同一であ
る。辞書レコードが見出しのコード昇順に配列される。
ただし、各記憶単位内に格納される辞書レコード数は指
定限界量Ｐを越えないことが保証される。

たとえば、指定限界量Ｐが100と設定されているとす
る。１桁目が“ア”や“ン”である見出しはないので、
１桁目の索引単位51に格納される“ア”や“ンの分岐ア
ドレスは定数０である。１桁目が“ヴ”や“ヂ”である
見出し数は１以上100以下であるので、“ヴ”や“ヂ”
の分岐アドレスは記憶単位のアドレスとなる。１桁目が
“シ”など通常の文字である見出し数は100を超えるの
で“シ”などの分岐アドレスは２桁目の索引単位のアド
レスとなる。１桁目の索引単位51の辞書レコード・フィ
ールド65には、サ変語幹などの見出し長さ０の単語情報
が格納される。さらに、“シ”に連なる２桁目が“ア”
や“イ”である見出し数は１以上100以下であるので、
１桁目“シ”である（以下＜シ＞と略す）２桁目の索引
単位54に格納される“ア”や“イ”の分岐アドレスは、
先頭２桁が“シア”である（以下＜シア＞と略す）記憶
単位56や＜シイ＞記憶単位57である。“シ”に連なる２
桁目が“ヨ”である見出し数は100を超えるので＜シ＞
２桁目の索引単位の“ヨ”の分岐アドレスは＜ショ＞３
桁目の索引単位55となる。＜シ＞２桁目の索引単位54の
辞書レコード・フィールド65には、見出し“ヨ”の単語
情報が格納される。先頭３桁が“ショコ”や“ショサ”
である見出し数は１以上100以下であるので、＜ショ＞
３桁目の索引単位55に格納される“コ”や“サ”の分岐
アドレスは、＜ショコ＞記憶単位58や＜ショサ＞記憶単
位59のアドレスとなる。＜ショ＞３桁目の索引単位55の
辞書レコード・フィールド65には、見出し“ショ”の単
語情報が格納される。

第７図には、＜ショコ＞記憶単位58の構成を示す。辞
書レコード71〜74は＜ショコ＞記憶単位58に格納される
辞書レコード群の一部であり、すべて見出しの先頭３桁
は“ショコ”である。

次に検索装置41について述べる。第８図は検索装置41
の構成を示す。検索装置41は、索引単位検索部81、記憶
単位検索部82、入力文字列格納部83、出力情報格納部84
からなる。

索引単位検索部81は、与えられたカナ文字列を入力文
字列格納部83にセットし、これから記憶装置42のうちの
索引単位の検索を行い、索引単位に格納された単語情報
を出力情報格納部84に出力し、さらに検索すべき記憶単
位のアドレスを記憶単位検索部82に通知する。

記憶単位検索部82は、入力文字列格納部83にセットさ
れた入力文字列と索引単位検索部81から通知されたアド
レスの記憶単位内の見出し列と逐次照合し、一致した見
出しの単語情報を出力情報格納部84に出力する。

入力文字列格納部83、出力情報格納部84は、それぞ
れ、入力カナ文字列、一致した見出しの単語情報を格納
する主記憶装置である。

上述の構成の単語辞書装置から総当たり検索を行なう
動作を例題とともに詳細に説明する。

いまカナ文字列“ショコクミントノキョウワニヨル”
が索引単位検索部81に入力されたとする。第９図は索引
単位検索部81の動作を示すフローチャートである。

第901ステップ：入力カナ文字列“ショコクミントノ
キョウワニヨル”を入力文字列格納装置83にセットす
る。

第902ステップ：被照合文字列長L_Sの初期設定を行な
う。初期値は０である。さらに、最初に検索する１桁目
の索引単位51を分岐アドレスとして記憶する。

第903ステップ：分岐アドレスとして記憶したアドレ
スより検索すべき索引単位のアドレスをセットする。例
題では１桁目の索引単位51のアドレスがセットされる。

第904〜905ステップ:1桁目の索引単位51の辞書レコー
ド・フィールド65を検定して、そこに格納されている見
出し長さ０のサ変語幹等の単語情報を出力情報格納部84
に出力する。

第906ステップ：被照合文字長L_Sを１増して１とす
る。

第907ステップ：L_S＝１が入力文字長＝15を超えてい
ないことを確認する。例題にもあらわれないが、超えて
いる場合には処理を終了する。

第908ステップ：入力文字列格納部83に格納されてい
る入力文字列のL_S桁目の文字のコードより分岐アドレス
を取得する。例題では“ショコクミントノキョウワニヨ
ル”の１桁目の“シ”が取り出され、その10進表示“2
4"より24番目の分岐アドレス・フィールドの値を取得す
る。

第909〜910ステップ：取得した分岐アドレスの判定を
行なう。正であれば索引単位のアドレスの意であり、第
903〜908ステップの処理を繰り返す。負であれば記憶単
位のアドレスの意であり、補数をとって記憶単位検索部
82にアドレスを通知する。０であれば検索すべき見出し
がもはやないことを意味し、処理を終了する。例題で
は、＜シ＞２桁目の索引単位54のアドレスが分岐アドレ
スとして取得されるので、正と判定され、再び第903ス
テップの処理を行なう。

第903ステップ：＜シ＞２桁目の索引単位54のアドレ
スをセットする。

第904〜905ステップ：辞書レコード・フィールド65を
検定して、見出し“シ”の単語情報を出力する。

第906ステップ：被照合文字長L_Sを２とする。

第907ステップ：L_S＝２が入力文字長＝15を超えてい
ないことを確認する。

第908ステップ：入力文字列のうち２桁目の文字が
“ヨ”（10進表示“71"）であることから71番目の分岐
アドレス・フィールドの値を取得する。

第909ステップ：先頭２桁が“ショ”である見出し数
は100を超すので分岐アドレスは正であり、再び第903ス
テップの処理を行なう。

第903ステップ：＜ショ＞３桁目の索引単位55のアド
レスをセットする。

第904〜905ステップ：辞書レコード・フィールド65を
検定して、見出し“ショ”の単語情報を出力する。

第906ステップ：被照合文字長L_Sを３とする。

第907ステップ：L_S＝３が入力文字長＝15を超えてい
ないことを確認する。

第908ステップ：入力文字列のうち３桁目の文字が
“コ”（10進表示“19"）であることから19番目の分岐
アドレス・フィールドの値を取得する。

第909ステップ：先頭３桁が“ショコ”である見出し
数は１以上100以下であるので分岐アドレスは負であ
り、第910ステップの処理へ進む。

第910ステップ：取得した分岐アドレスの補数をと
り、これとL_Sの値を記憶単位検索部82に通知する。L_Sの
値は、索引単位検索部81で長さL_S−１までの見出しの検
索が完了し、記憶単位検索部82で長さL_S以上の見出しの
検索することを意味する。例題では、分岐アドレスとし
て＜ショコ＞記憶単位58のアドレスとL_Sの値として３が
通知される。

索引単位検査部81から分岐アドレスと被照合文字長L_S
が通知されて、記憶単位検索部82が始動する。第10図は
記憶谷検索部82の動作を示すフローチャートである。

第101ステップ：分岐アドレスをはじめに照合すべき
見出しのアドレスとしてセットする。ここで分岐アドレ
スは検索する記憶単位のアドレスを示し、その先頭に最
初に照合すべき見出しが格納されている。例題では、＜
ショコ＞記憶単位58の先頭の見出し71がセットされる。

第102ステップ：被照合文字長L_Sと見出しの長さおよ
び入力文字長さを比較する。L_Sがどちらかよりも大であ
れば、それは最長の一致する見出しまで検索する完了し
たことを意味し、処理を終了する。例題では、L_S＝３、
見出し“ショコ”の長さ３、および入力文字長さ15であ
り、第103ステップへ進む。

第103ステップ：入力文字列格納部83に格納した入力
文字列の先頭L_S桁と見出しの先頭L_S桁を照合する。例題
では、入力文字列“ショコクミントノキョウワニヨル”
の先頭３桁“ショコ”と見出し“ショコ”の先頭３桁
“ショコ”が照合される。

第104ステップ：第103ステップでの照合の結果によっ
て、単語情報の出力と被照合文字長L_Sの更新を行なう。
照合の結果、見出しのほうが大である場合には、当該の
被照合文字長L_Sおよびそれ以上の長さでもはや一致する
見出しはないことが明らかなので処理を終了する。見出
しのほうが小である場合には、まだ以降の見出しに一致
するものがある可能性があるので、次の見出しとの照合
のために第105ステップへ進む。見出しと一致した場合
には、見出し長さがL_Sに等しい場合と見出し長さのほう
が長い場合とに分けて処理する。つまり、見出しと一致
し、かつ見出し長さがL_Sと等しい場合には、見出し全体
が一致したことになるので当該の単語情報を出力情報格
納部84に出力し、さらに長い見出しを検索するために、
L_Sを１増して第105ステップへ進む。見出しと一致し、
かつ見出し長さがL_Sより大である場合には、見出しの先
頭部分が一致していることになるから、L_Sを１増して再
び同じ見出しとの照合を行なうために第102ステップに
戻る。例題では、見出しと一致し、かつ見出し長さがL_S
と等しいので、見出し“ショコ”の単語情報を出力情報
格納部84に出力し、L_Sを４として第105ステップへ進
む。

第105ステップ：記憶単位内の見出しをすべて照合し
尽くしたかを検査し、照合し尽くしていれば処理を終了
する。例題では、照合すべき見出しが残っているので第
106ステップへ進む。

第106ステップ：次の見出しのアドレスをセットして
第102ステップへ戻る。例題では、見出し72をセットす
る。

第102ステップ：L_S＝４が見出し“ショコウ”の長さ
４および入力文字長さ15より大きくないことを確認す
る。

第103ステップ：入力文字列の先頭４桁“ショコク”
と見出しの先頭４桁“ショコウ”を比較する。

第104ステップ：見出しのほうが小であるから第105ス
テップへ進む。

第105ステップ：見出しはまだ残っているので第106ス
テップへ進む第106ステップ：見出し73をセットして、第102ステッ
プへ戻る。

第102ステップ：L_S＝４が見出し“ショコク”の長さ
（および入力文字長さ15）より大きくないことを確認す
る。

第103ステップ：入力文字列の先頭４桁“ショコク”
と見出しの先頭４桁とを照合する。

第104ステップ：見出しと一致し、かつ見出し長さL_S
と等しいので、見出し“ショコク”の単語情報を出力
し、L_S＝５として第105ステップへ進む。

第105ステップ：見出しはまだ残っているので第106ス
テップへ進む。

第106ステップ：見出し74をセットして、第102ステッ
プへ戻る。

第102ステップ：L_S＝５が見出し“ショコツチョウ”
の長さ７および入力文字長さ15より大きくないことを確
認する。

第103ステップ：入力文字列の先頭５桁“ショコク
ミ”と見出しの先頭５桁“ショコツチ”とを照合する。

第104ステップ：見出しのほうが大であるので処理を
終了する。

以上の処理によって総当たり法検索が可能である。

〔発明の効果〕

本発明の単語辞書装置を用いることによる効果を述べ
る。単語辞書検索の速度は、索引単位の検索速度が記憶
単位内の逐次検索に比べて十分速いことから、おおかた
記憶単位内の逐次検索する見出しの個数と逐次検索の回
数の積で代表される。入力カナ文字列“ショコクミント
ノキョウワニヨル”の総当たり検索速度を考える。見出
し総数９万程度の日本語辞書の従来の装置では、“シ
ョ”を先頭にする見出し数は2700余り、うち、“ショコ
ク…”より見出し大となる配列位置は、2000番目あたり
である。本発明の単語辞書装置では、＜ショコ＞記憶単
位内に格納する見出し数は10程度、うち“ショコク…”
より見出し大となる配列位置は４番目であり、もはや一
致する見出しなしと明らかになるまでに逐次検索すべき
個数を500分の１に減ずる効果がある。また、従来の装
置では、被照合文字長L_Sが０から15までの各長さのう
ち、L_Sが２以上の長さ毎に辞書アクセスコールを行い、
記憶単位内の逐次検索を行なわなければならなかった
が、本発明の装置によれば階層構造を成す索引領域の連
鎖アクセスにより種々の長さ被照合文字長での一連の検
索が行われる。つまり辞書アクセスコールは１回であ
り、逐次検索する回数を14分の１に減ずることができ
る。さらに、各索引領域には、見出し語の特定桁の文字
種別ごとに次の階層の索引領域もしくはレコード領域
（記憶単位）をアクセスするための分岐アドレス・フィ
ールドを格納するとともに、その特定桁が空白である、
つまりその特定桁の前の桁で終了する見出しに対応する
単語の辞書レコードを格納するので、連鎖アクセスの途
中でレコード領域の検索を行った後、再度索引領域にも
どって次の階層を索引するとの無駄な手順がなくなり、
効率良く総当り検索が行える。つまり、上記の例につい
ては、本発明の装置は従来のそれと比べて7000倍有力な
性能を実現することができる。

【図面の簡単な説明】

第１図は見出し一項あたりの辞書レコード構成、第２図
は１記憶単位の構成、第３図は従来の装置の索引部の構
成、第４図は本発明の単語辞書装置の全体構成、第５図
は本発明の記憶装置の構成、第６図は本発明の索引単位
の構成を示した。第７図は記憶単位の例を示した。第８
図は本発明の検索装置を示し、第９図は索引単位検索部
の動作を示すフローチャート、第10図は記憶単位検索部
の動作を示すフローチャートである。 41…記憶装置であり、索引部およびすべての記憶単位は
これに含まれる。 81…検索装置のうちで索引単位の検索を担当する部分で
ある。 82…検索装置のうちで記憶単位内の検索を担当する部分
である。

フロントページの続き (56)参考文献特開昭52−8726（ＪＰ，Ａ) 特開昭58−68139（ＪＰ，Ａ) 特開昭58−195929（ＪＰ，Ａ) ・半沢博「磁気ディスク技法集」（竹内書店新社1978年）Ｐ．131−Ｐ．155 ・Ｋｎｕｔｈ“ＳｏｒｔｉｎｇａｎｄＳｅａｒｃｈｉｎｇ（ＴｈｅＡｒｔｏｆＣｏｍｐｕｔｅｒＰｒｏｇｒａｍＶｏｌ．３）”Ｐ．482−Ｐ．489（ＡｄｄｉｓｏｎＷｅｓｌｅｙ)

Claims

【特許請求の範囲】

【請求項１】それぞれある単語に関する見出し（11）と
その単語に関する情報（13）を含む複数の辞書レコード
をそれぞれ保持する複数のレコード領域（56、57、58、
59）と複数の索引領域（51、52、53、54、55）を有する
記憶装置（42）と、検索対象として指定された文字列ま
たはその一部に対応する見出しを有する単語のレコード
情報を該記憶装置（42）から検索する検索装置（41）と
を有し、各レコード領域（56、57、58、59）は、見出しの先頭側
の一定桁数の文字が互いに同一である辞書レコード（7
1、72、73、74）を、レコード領域に依らない一定数
（Ｐ）以下保持し、上記見出しの先頭側の一定桁数は、
それぞれの辞書レコードに依存して異なり、該複数の索引領域の内の一つ（51）は見出しの第１桁の
文字種別毎に分岐アドレス・フィールド（61、62、63、
64）をそれぞれ保持し、各分岐アドレス・フィールド
は、当該種別の文字を第１桁にもつ見出しの総数が上記
一定数（Ｐ）を超える場合にはさらに見出しの第２桁の
文字種別によりそれぞれ索引するための索引領域（52、
53、54）の各々のアドレスを示し、当該種別の文字を第
１桁にもつ見出しの総数が上記一定数（Ｐ）以下のとき
はそれら一群の見出しに対応したレコード領域のアドレ
スを示し、該複数の索引領域の内の他の複数の索引領域（52、53、
54、55）の各々は、見出しの特定桁の文字種別毎の分岐
アドレス・フィールド（61、62、63、64）と、上記特定
桁が空白であり、もって上記特定桁の前の桁で終了する
見出しに対応する単語の辞書レコード（65）をそれぞれ
保持し、各分岐アドレス・フィールドは、上記特定桁ま
での文字列で特定される見出しの総数が上記一定数
（Ｐ）を超える場合にはさらに見出しの次の桁の文字種
別によりそれぞれ索引するための索引領域の各々のアド
レスを示し、上記特定桁までの文字列で特定される見出
しの総数が上記一定数（Ｐ）以下のときはそれら一群の
見出しに対応したレコード領域のアドレスを示し、該検索装置（14）は、該検索対象として指定された文字
列またはその一部に依存して異なる段数の索引領域を連
鎖してアクセスし、その指定された文字列またはその一
部を見出しに有する単語の辞書レコードを保持する索引
領域またはレコード領域のアドレスを検出するアクセス
手段（81、82）を有する単語辞書装置。