JP2785168B2 - 単語検索のための電子辞書圧縮方法及び装置 - Google Patents
単語検索のための電子辞書圧縮方法及び装置Info
- Publication number
- JP2785168B2 JP2785168B2 JP5056404A JP5640493A JP2785168B2 JP 2785168 B2 JP2785168 B2 JP 2785168B2 JP 5056404 A JP5056404 A JP 5056404A JP 5640493 A JP5640493 A JP 5640493A JP 2785168 B2 JP2785168 B2 JP 2785168B2
- Authority
- JP
- Japan
- Prior art keywords
- dictionary
- huffman
- code
- trie structure
- electronic dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、単語検索のための電子
辞書を圧縮して記憶する辞書圧縮装置に関するものであ
る。
辞書を圧縮して記憶する辞書圧縮装置に関するものであ
る。
【０００２】
【従来の技術】かな漢字変換等に用いられる、単語検索
のための電子辞書では、高速アクセスと小容量化が求め
られる。一般に単語辞書では、検索のための見出し語を
表形式のトライ構造と逐次アクセス非構造に分けて記憶
している。表形式のトライ構造部では、見出し語をイン
デックスとして高速にたどることができ、そのインデッ
クスの先には、見出し語の残りの部分を変形したトライ
構造によって圧縮し、非構造部として記憶する。この非
構造部では、逐次的なアクセスでしか検索できない。一
方、逐次アクセス非構造部にデータを記憶する方法に
は、前の見出し語との差分文字位置を用いて各見出しを
独立に実現する方法と、部分木のデータサイズを記憶し
て、変形されたトライ構造により実現する方法がある。
通常、表形式のトライ構造部はメモリ上に、非構造部は
磁気ディスク上に記憶される。
のための電子辞書では、高速アクセスと小容量化が求め
られる。一般に単語辞書では、検索のための見出し語を
表形式のトライ構造と逐次アクセス非構造に分けて記憶
している。表形式のトライ構造部では、見出し語をイン
デックスとして高速にたどることができ、そのインデッ
クスの先には、見出し語の残りの部分を変形したトライ
構造によって圧縮し、非構造部として記憶する。この非
構造部では、逐次的なアクセスでしか検索できない。一
方、逐次アクセス非構造部にデータを記憶する方法に
は、前の見出し語との差分文字位置を用いて各見出しを
独立に実現する方法と、部分木のデータサイズを記憶し
て、変形されたトライ構造により実現する方法がある。
通常、表形式のトライ構造部はメモリ上に、非構造部は
磁気ディスク上に記憶される。
【０００３】
【発明が解決しようとする課題】また、表形式のトライ
構造は高速の検索が行えるが、大容量のメモリを必要と
する。一方、非構造はメモリ容量は少なくて済むが、高
速の検索が行なえない。これまでは、ディスク上の非構
造のデータに関してのみ、データ全体を圧縮する技術が
開発されてきた。例えば、特開平３−１２７２５４号の
発明のように、差分文字列を用いた辞書圧縮の方法があ
るが、これは非構造のデータのみを圧縮する方法であ
る。このため、小容量化と高速検索を均衡のとれた形で
実現したものがなかった。単語辞書データベースでは、
小容量化と高速検索の均衡のとれた記憶方式が必要とさ
れる。高速アクセスを実現するためには、非構造部に記
憶されているデータをできるだけ表形式のトライ構造部
に展開することが有効である。しかし、表形式のトライ
に展開すると大容量のメモリを必要とするため、表形式
のトライ構造部の圧縮が必要となる。さらに、非構造部
の圧縮も辞書全体を圧縮するために必要となる。
構造は高速の検索が行えるが、大容量のメモリを必要と
する。一方、非構造はメモリ容量は少なくて済むが、高
速の検索が行なえない。これまでは、ディスク上の非構
造のデータに関してのみ、データ全体を圧縮する技術が
開発されてきた。例えば、特開平３−１２７２５４号の
発明のように、差分文字列を用いた辞書圧縮の方法があ
るが、これは非構造のデータのみを圧縮する方法であ
る。このため、小容量化と高速検索を均衡のとれた形で
実現したものがなかった。単語辞書データベースでは、
小容量化と高速検索の均衡のとれた記憶方式が必要とさ
れる。高速アクセスを実現するためには、非構造部に記
憶されているデータをできるだけ表形式のトライ構造部
に展開することが有効である。しかし、表形式のトライ
に展開すると大容量のメモリを必要とするため、表形式
のトライ構造部の圧縮が必要となる。さらに、非構造部
の圧縮も辞書全体を圧縮するために必要となる。
【０００４】本発明の目的は、従来技術よりも記憶容量
の小さい記憶装置を用いしかも高速の検索を実行するこ
とができる単語検索のための電子辞書圧縮記憶方法及び
装置を提供することである。
の小さい記憶装置を用いしかも高速の検索を実行するこ
とができる単語検索のための電子辞書圧縮記憶方法及び
装置を提供することである。
【０００５】
【課題を解決するための手段】この課題を解決するた
め、本発明による単語検索のための電子辞書圧縮方法
は、見出し語の圧縮を行なう。一般に単語辞書は、見出
し語と見出し語に関する情報から構成されている。使用
する文字種の削減と見出し語の削減のために見出し語に
対し標準化を行ない、見出し語を部分文字列に分け、各
部分文字列に対しハフマン符号を割り当て、その符号表
を基に見出し語のハフマン符号化を行ない、先頭のｎビ
ットを切り出してトライ構造のインデックスに使用する
ことによって表形式のトライ構造部を圧縮する。トライ
構造のインデックスで表現しない残りの部分木を逐次ア
クセス非構造部に記憶するが、各部分木のデータサイズ
は用いずに、子の節または葉を持つか、兄弟となる節ま
たは葉を継続して持つかという２ビットのフラグ情報を
用いることにより、符号列の長さに制限のない、圧縮さ
れた表現を可能とする。
め、本発明による単語検索のための電子辞書圧縮方法
は、見出し語の圧縮を行なう。一般に単語辞書は、見出
し語と見出し語に関する情報から構成されている。使用
する文字種の削減と見出し語の削減のために見出し語に
対し標準化を行ない、見出し語を部分文字列に分け、各
部分文字列に対しハフマン符号を割り当て、その符号表
を基に見出し語のハフマン符号化を行ない、先頭のｎビ
ットを切り出してトライ構造のインデックスに使用する
ことによって表形式のトライ構造部を圧縮する。トライ
構造のインデックスで表現しない残りの部分木を逐次ア
クセス非構造部に記憶するが、各部分木のデータサイズ
は用いずに、子の節または葉を持つか、兄弟となる節ま
たは葉を継続して持つかという２ビットのフラグ情報を
用いることにより、符号列の長さに制限のない、圧縮さ
れた表現を可能とする。
【０００６】
【作用】見出し語の部分文字列をハフマン符号化するこ
とにより、見出し語の圧縮ができるとともに、符号化後
の部分ビット列のパターンの出現頻度の均一化が行なわ
れる。符号の先頭ビットの一部をトライ構造部のインデ
ックスとして使用すると、各部分木に格納される単語数
を均衡化することができる。更に、見出し語が圧縮され
るため、より多くのインデックスをトライ構造で表現で
きるとともに、均衡のとれた木構造になるため、データ
の検索の高速化を行なうことができる。また、逐次アク
セス非構造部のデータは、木構造表現のためのフラグ情
報を２ビット付加するだけであるため、データの圧縮を
行なうことができる。単語を検索する場合には、見出し
語文字列を標準化し、標準化文字列を圧縮時に作成した
符号表を基にハフマン符号化し、トライ構造部と逐次ア
クセス非構造部によって圧縮された検索用辞書を用い
て、単語候補のリストを出力することができる。
とにより、見出し語の圧縮ができるとともに、符号化後
の部分ビット列のパターンの出現頻度の均一化が行なわ
れる。符号の先頭ビットの一部をトライ構造部のインデ
ックスとして使用すると、各部分木に格納される単語数
を均衡化することができる。更に、見出し語が圧縮され
るため、より多くのインデックスをトライ構造で表現で
きるとともに、均衡のとれた木構造になるため、データ
の検索の高速化を行なうことができる。また、逐次アク
セス非構造部のデータは、木構造表現のためのフラグ情
報を２ビット付加するだけであるため、データの圧縮を
行なうことができる。単語を検索する場合には、見出し
語文字列を標準化し、標準化文字列を圧縮時に作成した
符号表を基にハフマン符号化し、トライ構造部と逐次ア
クセス非構造部によって圧縮された検索用辞書を用い
て、単語候補のリストを出力することができる。
【０００７】
【実施例】以下、本発明の一実施例における辞書圧縮及
び検索装置を図１〜図９を用いて説明する。図１は辞書
圧縮及び検索装置のブロック構成図である。ここで、１
は圧縮及び検索の対象となる原辞書である。２は見出し
語を標準化する標準化装置である。３は装置２によって
標準化された標準化辞書である。４は部分文字列の出現
頻度をカウントする文字列頻度集計装置である。５は装
置４によって生成される頻度表である。６は出現頻度に
よって見出し語のハフマン符号化を行なう符号化装置で
ある。７は装置６によって圧縮された符号列をトライ構
造部に圧縮して記憶するトライ構造部圧縮装置である。
８は見出し語の残りの部分を逐次アクセス非構造部に圧
縮して記憶する逐次アクセス非構造部圧縮装置である。
９は原辞書１を検索するためのインデックスを圧縮した
検索用辞書である。１０は検索すべき見出し語文字列で
ある。１１は見出し語文字列１０を、標準化装置２によ
って標準化した標準化文字列である。１２は符号化装置
６によって符号化を行なうときに生成されるハフマン符
号の符号表である。１３は符号表１２を用いて標準化文
字列１１をッハフマン符号化し、検索用辞書９から該当
する見出し語文字列を検索する検索装置である。１４は
検索用辞書９を検索して得られた単語候補リストであ
る。
び検索装置を図１〜図９を用いて説明する。図１は辞書
圧縮及び検索装置のブロック構成図である。ここで、１
は圧縮及び検索の対象となる原辞書である。２は見出し
語を標準化する標準化装置である。３は装置２によって
標準化された標準化辞書である。４は部分文字列の出現
頻度をカウントする文字列頻度集計装置である。５は装
置４によって生成される頻度表である。６は出現頻度に
よって見出し語のハフマン符号化を行なう符号化装置で
ある。７は装置６によって圧縮された符号列をトライ構
造部に圧縮して記憶するトライ構造部圧縮装置である。
８は見出し語の残りの部分を逐次アクセス非構造部に圧
縮して記憶する逐次アクセス非構造部圧縮装置である。
９は原辞書１を検索するためのインデックスを圧縮した
検索用辞書である。１０は検索すべき見出し語文字列で
ある。１１は見出し語文字列１０を、標準化装置２によ
って標準化した標準化文字列である。１２は符号化装置
６によって符号化を行なうときに生成されるハフマン符
号の符号表である。１３は符号表１２を用いて標準化文
字列１１をッハフマン符号化し、検索用辞書９から該当
する見出し語文字列を検索する検索装置である。１４は
検索用辞書９を検索して得られた単語候補リストであ
る。
【０００８】以上のように構成された本実施例の制御手
順について説明する。初めに、辞書圧縮の手順について
図２のフローチャートに従って説明する。まず、ステッ
プｓ1 で検索用の原辞書を受け付ける。そしてステップ
ｓ2 で見出し語の標準化を行なう。ステップｓ1 で得ら
れた標準化辞書に関してステップｓ3で部分文字列の出
現頻度をカウントする。そこで得られた頻度表を基に、
ステップｓ4 で見出し語のハフマン符号化を行なう。ス
テップｓ5 では見出し語のハフマン符号をトライ構造部
に圧縮して記憶する。見出し語の残りの部分をステップ
ｓ6 で逐次アクセス非構造部に圧縮して記憶する。ステ
ップｓ7 で、トライ構造部、逐次アクセス非構造部に記
憶された見出し語より、検索用辞書を得る。
順について説明する。初めに、辞書圧縮の手順について
図２のフローチャートに従って説明する。まず、ステッ
プｓ1 で検索用の原辞書を受け付ける。そしてステップ
ｓ2 で見出し語の標準化を行なう。ステップｓ1 で得ら
れた標準化辞書に関してステップｓ3で部分文字列の出
現頻度をカウントする。そこで得られた頻度表を基に、
ステップｓ4 で見出し語のハフマン符号化を行なう。ス
テップｓ5 では見出し語のハフマン符号をトライ構造部
に圧縮して記憶する。見出し語の残りの部分をステップ
ｓ6 で逐次アクセス非構造部に圧縮して記憶する。ステ
ップｓ7 で、トライ構造部、逐次アクセス非構造部に記
憶された見出し語より、検索用辞書を得る。
【０００９】ここで、平仮名見出しを標準見出しとする
符号化の例として、見出し語“クシ”を圧縮する場合を
例にとる。
符号化の例として、見出し語“クシ”を圧縮する場合を
例にとる。
【００１０】ステップｓ2 ：見出し語の標準化を行な
う。図３は見出し語の標準化の例である。標準化は、文
字種を限定するように文字変換を行なうことにより、辞
書の記載項目数の削減を行なう。例えば、片仮名を平仮
名に変換したり、“ゑ”や“ゐ”の様な古い仮名文字を
“え”や“い”の様な現在の仮名文字に変換したり、
“ヴァ”を“バ”に変換したり、繰り返しの文字“々”
を前の字に変換したりする。一般に単語辞書の見出し語
は、平仮名、片仮名、漢字、アスキー文字を字種として
用いるが、ここでは、平仮名を標準文字種とする場合を
示す。
う。図３は見出し語の標準化の例である。標準化は、文
字種を限定するように文字変換を行なうことにより、辞
書の記載項目数の削減を行なう。例えば、片仮名を平仮
名に変換したり、“ゑ”や“ゐ”の様な古い仮名文字を
“え”や“い”の様な現在の仮名文字に変換したり、
“ヴァ”を“バ”に変換したり、繰り返しの文字“々”
を前の字に変換したりする。一般に単語辞書の見出し語
は、平仮名、片仮名、漢字、アスキー文字を字種として
用いるが、ここでは、平仮名を標準文字種とする場合を
示す。
【００１１】ステップｓ3 ： 辞書の見出し語をソートする。ソートの順は例え
ば、あいうえお順、ＪＩＳコード順がある。 ソートされた辞書の全見出し語に対し、前の見出し
語との差分文字列中に出現する文字の出現頻度をカウン
トする。即ち、トライ構造上に現われる文字の出現頻度
を求める。図４に例を示す。 ２文字以上の文字連鎖についても同様に出現頻度を
カウントし、で得られた頻度表から、頻度が指定値Ｔ
Ｈよりも低い文字の頻度を足し合わせた値ＳＵＭ（Ｔ
Ｈ）を求め、その値よりも高い頻度を持つ語連鎖を部分
文字列として頻度表に加える。図５に出現頻度順に並べ
た場合の例を示す。
ば、あいうえお順、ＪＩＳコード順がある。 ソートされた辞書の全見出し語に対し、前の見出し
語との差分文字列中に出現する文字の出現頻度をカウン
トする。即ち、トライ構造上に現われる文字の出現頻度
を求める。図４に例を示す。 ２文字以上の文字連鎖についても同様に出現頻度を
カウントし、で得られた頻度表から、頻度が指定値Ｔ
Ｈよりも低い文字の頻度を足し合わせた値ＳＵＭ（Ｔ
Ｈ）を求め、その値よりも高い頻度を持つ語連鎖を部分
文字列として頻度表に加える。図５に出現頻度順に並べ
た場合の例を示す。
【００１２】ステップｓ4 ： 頻度表の部分文字列を出現頻度順に並べ、ハフマン
符号の割り当てを行う。図６は図５の部分文字列にハフ
マン符号を割り当てた例である。 辞書中の全ての見出し語をハフマン符号で表した
後、ｍビット（１＜＝ｍ＜＝８）をユニットとしてトラ
イ構造部の圧縮を行なう。まず、各見出し語に対応する
ハフマン符号列の先頭のＮユニット分（Ｎ＞＝１、ｎ＝
ｍ×Ｎ）の符号を各トライの表（大きさはｎ×２ｎ）の
うち、指定した割合以上の節または葉を持つように切り
出して、トライ構造にして記憶する。各トライは何ユニ
ットを切り出すかという情報を持つ。ここではｍ＝２、
Ｎ＝５とする。
符号の割り当てを行う。図６は図５の部分文字列にハフ
マン符号を割り当てた例である。 辞書中の全ての見出し語をハフマン符号で表した
後、ｍビット（１＜＝ｍ＜＝８）をユニットとしてトラ
イ構造部の圧縮を行なう。まず、各見出し語に対応する
ハフマン符号列の先頭のＮユニット分（Ｎ＞＝１、ｎ＝
ｍ×Ｎ）の符号を各トライの表（大きさはｎ×２ｎ）の
うち、指定した割合以上の節または葉を持つように切り
出して、トライ構造にして記憶する。各トライは何ユニ
ットを切り出すかという情報を持つ。ここではｍ＝２、
Ｎ＝５とする。
【００１３】ステップｓ5 ：図５より、“くし”のハフ
マン符号は110100（く）111100（し）である。図７は、
先頭の３ユニット、２ユニット分の符号ビットを順に切
り出して、トライで表した図である。
マン符号は110100（く）111100（し）である。図７は、
先頭の３ユニット、２ユニット分の符号ビットを順に切
り出して、トライで表した図である。
【００１４】ステップｓ6 ：トライ構造部のポインタに
よって表された逐次アクセス非構造部に、トライ構造部
で表されない見出し語のインデックス情報を記憶する。
ユニット長ｍを固定したとき、トライ構造部で表現する
見出し語の長さＮ（ユニット）は、逐次アクセス非構造
部で記憶できる見出し語の葉の数の上限を指定し、それ
を満足する最小の値を求めることによって決まる。
よって表された逐次アクセス非構造部に、トライ構造部
で表されない見出し語のインデックス情報を記憶する。
ユニット長ｍを固定したとき、トライ構造部で表現する
見出し語の長さＮ（ユニット）は、逐次アクセス非構造
部で記憶できる見出し語の葉の数の上限を指定し、それ
を満足する最小の値を求めることによって決まる。
【００１５】通常、逐次アクセス非構造部にデータを記
憶する方法には、公知技術として、前の見出し語との差
分文字位置を用いて各見出しを独立に実現する方法と、
部分木のデータサイズを記憶して、変形されたトライ構
造により実現する方法がある。本発明では、部分木を用
いて情報を記憶するが、子の節または葉を持つか、兄弟
となる節または葉が継続して存在するかという２ビット
の情報を記憶することにより実現する。本方法を用いる
ことにより、逐次アクセス非構造部の圧縮ができる。
憶する方法には、公知技術として、前の見出し語との差
分文字位置を用いて各見出しを独立に実現する方法と、
部分木のデータサイズを記憶して、変形されたトライ構
造により実現する方法がある。本発明では、部分木を用
いて情報を記憶するが、子の節または葉を持つか、兄弟
となる節または葉が継続して存在するかという２ビット
の情報を記憶することにより実現する。本方法を用いる
ことにより、逐次アクセス非構造部の圧縮ができる。
【００１６】図８は非構造部の圧縮処理の例である。図
において、初めのビットを子となる節または葉を持つか
「１」持たないか「０」のフラグとし、次のビットを兄
弟となる節または葉を持つか「１」持たないか「０」の
フラグとし、トライ構造からこれらのフラグの値を求め
る。この方法では、符号列の長さにかかわらず、部分木
の構造を２ビットで表すことが可能であるため、符号列
の長さに制限がなく、各部分木のデータサイズによって
表すのに比べて圧縮が可能である。
において、初めのビットを子となる節または葉を持つか
「１」持たないか「０」のフラグとし、次のビットを兄
弟となる節または葉を持つか「１」持たないか「０」の
フラグとし、トライ構造からこれらのフラグの値を求め
る。この方法では、符号列の長さにかかわらず、部分木
の構造を２ビットで表すことが可能であるため、符号列
の長さに制限がなく、各部分木のデータサイズによって
表すのに比べて圧縮が可能である。
【００１７】このようにして作成した検索用辞書を用い
て、見出し語の検索をする手順について図７のフローチ
ャートを用いて説明する。ステップｓ1 で検索すべき見
出し語文字列を受け付ける。ステップｓ2 で、図１の標
準化装置２を用いて見出し語文字列の標準化を行なう。
そこで得られた標準化文字列についてステップｓ3 で、
図１の符号化装置６により、ハフマン符号化を行なう。
ステップｓ4 でステップｓ3 で得られたハフマン符号を
用いて、図１の検索装置１２により、図１の検索辞書９
から見出し語を検索する。
て、見出し語の検索をする手順について図７のフローチ
ャートを用いて説明する。ステップｓ1 で検索すべき見
出し語文字列を受け付ける。ステップｓ2 で、図１の標
準化装置２を用いて見出し語文字列の標準化を行なう。
そこで得られた標準化文字列についてステップｓ3 で、
図１の符号化装置６により、ハフマン符号化を行なう。
ステップｓ4 でステップｓ3 で得られたハフマン符号を
用いて、図１の検索装置１２により、図１の検索辞書９
から見出し語を検索する。
【００１８】“くし”の例の場合には、ステップｓ2 で
“クシ”は“くし”に標準化される。ステップｓ3 で図
６の符号表より、ハフマン符号“110100（く）111100
（し）”となる。ステップｓ4 でハフマン符号の“1101
001111”を先頭に持つ単語候補リスト、“くし（110100
111100）”、“くろう（1101001111011 ）”等が得られ
る。
“クシ”は“くし”に標準化される。ステップｓ3 で図
６の符号表より、ハフマン符号“110100（く）111100
（し）”となる。ステップｓ4 でハフマン符号の“1101
001111”を先頭に持つ単語候補リスト、“くし（110100
111100）”、“くろう（1101001111011 ）”等が得られ
る。
【００１９】以上の説明に於て、見出し語は片仮名で説
明したが、他の見出し語についても、本発明は効果を奏
する。
明したが、他の見出し語についても、本発明は効果を奏
する。
【００２０】
【発明の効果】以上詳細に説明したように、本発明によ
れば、標準化された文字列を出現頻度によって符号化
し、その符号のビットパターンを切り出して、トライ構
造として記憶することにより、単語辞書の見出し語部分
を約１５％に圧縮でき、且つ、見出し語の出現分布を均
一化することができる。また、表形式のトライ構造部を
圧縮することにより、より多くのインデックスを表形式
のトライ構造で表すことが可能になる。その結果、逐次
アクセスをする割合が減少し、高速の検索が可能にな
る。また、見出し語の出現分布が均一化されているた
め、トライの深さが均一化されていない場合よりも浅く
なり、さらに高速な検索が行えるようになる。
れば、標準化された文字列を出現頻度によって符号化
し、その符号のビットパターンを切り出して、トライ構
造として記憶することにより、単語辞書の見出し語部分
を約１５％に圧縮でき、且つ、見出し語の出現分布を均
一化することができる。また、表形式のトライ構造部を
圧縮することにより、より多くのインデックスを表形式
のトライ構造で表すことが可能になる。その結果、逐次
アクセスをする割合が減少し、高速の検索が可能にな
る。また、見出し語の出現分布が均一化されているた
め、トライの深さが均一化されていない場合よりも浅く
なり、さらに高速な検索が行えるようになる。
【図１】ブロック構成図である。
【図２】トライ構造部の圧縮手順のフローチャートであ
る。
る。
【図３】見出し語の標準化の例である。
【図４】見出し語の出現頻度のカウントの例である。
【図５】出現頻度順に並べた見出し語の部分文字列の例
である。
である。
【図６】ハフマン符号の割り当ての例である。
【図７】６ビット／ユニットのトライ構造の例である。
【図８】非構造部の圧縮の例である。
【図９】非構造部の圧縮手順のフローチャートである。
１ 原辞書 ２ 標準化装置 ３ 標準化辞書 ４ 文字列頻度集計装置 ５ 頻度表 ６ 符号化装置 ７ トライ構造部圧縮装置 ８ 逐次アクセス非構造部圧縮装置 ９ 検索用辞書 １０ 見出し語文字列 １１ 標準化文字列 １２ 符号表 １３ 検索装置 １４ 単語候補リスト
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭61−80449（ＪＰ，Ａ) 堤、外３名「２文字間の連接を利用し た仮名漢字変換用辞書」，情報処理学会 第44回（平成４年前期）全国大会講演論 文集（３），Ｐ123ー124（平４−３− 17) Ａ．Ｖ．エイホ，Ｊ．Ｅ．ポップクロ フト，Ｊ．Ｄ．ウルマン著，大野義夫 訳，「情報処理シリーズ11，データ構造 とアルゴリズム」，培風館（昭62−３− 10），Ｐ75−81 福島，「大語彙かな漢字変換−大語彙 辞書の容量圧縮−」，情報処理学会大43 回（平成３年後期）全国大会講演論文集 （３），Ｐ223−224（平３−10−19) (58)調査した分野(Int.Cl.6，ＤＢ名) G06F 17/30 G06F 17/22 H03M 7/40 ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (2)
- 【請求項１】 原辞書の見出し語を標準化して部分文字
列に分け、該部分文字列に対してハフマン符号を割当て
て出現頻度によりビット長が異なるハフマン符号化を行
って電子辞書の圧縮を行う圧縮方法において、 前記出願頻度順に並べられたハフマン符号列の先頭の符
号をｍビット（１≦ｍ≦８）を１ユニットとして予め定
められたＮユニット分の長さで切り出してトライ構造に
記憶し、 前記ハフマン符号列のうち該トライ構造として記憶され
なかった符号列を部分木を用いて表現し、該部分木の構
造を、子の節もしくは葉の有無を示す情報と、兄弟とな
る節もしくは葉が継続して存在するか否かを示す情報の
２つの情報に圧縮変換して記憶することを特徴とする単
語検索のための電子辞書圧縮方法。 - 【請求項２】 原辞書の見出し語を標準化して部分文字
列に分け、該部分文字列に対してハフマン符号を割当て
てハフマン符号化手段により出現頻度に応じてビット長
が異なる符号化を行う電子辞書の圧縮装置において、 前記出願頻度順に並べられたハフマン符号列の先頭の符
号ｍビット（１≦ｍ≦８）を１ユニットとして予め定め
られたＮユニット分の長さで切り出してトライ構造に記
憶するトライ構造部圧縮手段と、 前記ハフマン符号列のうち該トライ構造として記憶され
なかった符号列を部分木を用いて表現し、該部分木の構
造を、子の節もしくは葉が存在するか否かを示す１ビッ
トの情報と、兄弟となる節もしくは葉が継続して存在す
るか否かを示す１ビットの情報の合計２ビット情報に圧
縮変換して記憶する逐次アクセス非構造部圧縮手段とを
有することを特徴とする単語検索のための電子辞書圧縮
装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5056404A JP2785168B2 (ja) | 1993-02-23 | 1993-02-23 | 単語検索のための電子辞書圧縮方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5056404A JP2785168B2 (ja) | 1993-02-23 | 1993-02-23 | 単語検索のための電子辞書圧縮方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06251070A JPH06251070A (ja) | 1994-09-09 |
| JP2785168B2 true JP2785168B2 (ja) | 1998-08-13 |
Family
ID=13026242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5056404A Expired - Fee Related JP2785168B2 (ja) | 1993-02-23 | 1993-02-23 | 単語検索のための電子辞書圧縮方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2785168B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3459053B2 (ja) * | 1995-01-12 | 2003-10-20 | 株式会社日立製作所 | 文書検索方法および装置 |
| DE19518367C2 (de) * | 1995-05-22 | 1999-04-15 | Mb Video Gmbh | Verfahren zum Abspeichern und Wiedergeben von festen Bildschirmtexten |
| CN112527949B (zh) * | 2020-12-15 | 2023-01-13 | 建信金融科技有限责任公司 | 数据存储与检索方法、装置、计算机设备及存储介质 |
-
1993
- 1993-02-23 JP JP5056404A patent/JP2785168B2/ja not_active Expired - Fee Related
Non-Patent Citations (3)
| Title |
|---|
| Ａ．Ｖ．エイホ，Ｊ．Ｅ．ポップクロフト，Ｊ．Ｄ．ウルマン著，大野義夫訳，「情報処理シリーズ１１，データ構造とアルゴリズム」，培風館（昭６２−３−１０），Ｐ７５−８１ |
| 堤、外３名「２文字間の連接を利用した仮名漢字変換用辞書」，情報処理学会第４４回（平成４年前期）全国大会講演論文集（３），Ｐ１２３ー１２４（平４−３−１７） |
| 福島，「大語彙かな漢字変換−大語彙辞書の容量圧縮−」，情報処理学会大４３回（平成３年後期）全国大会講演論文集（３），Ｐ２２３−２２４（平３−１０−１９） |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH06251070A (ja) | 1994-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7031910B2 (en) | Method and system for encoding and accessing linguistic frequency data | |
| US5450580A (en) | Data base retrieval system utilizing stored vicinity feature valves | |
| JP3234104B2 (ja) | 圧縮データをサーチする方法及びシステム | |
| US10389378B2 (en) | Computer product, information processing apparatus, and information search apparatus | |
| CN102142038B (zh) | 用于记号空间资料库的多级查询处理系统与方法 | |
| EP0293161B1 (en) | Character processing system with spelling check function | |
| US5655129A (en) | Character-string retrieval system and method | |
| JP3152868B2 (ja) | 検索装置および辞書／テキスト検索方法 | |
| Silva de Moura et al. | Fast and flexible word searching on compressed text | |
| US6873986B2 (en) | Method and system for mapping strings for comparison | |
| US5561421A (en) | Access method data compression with system-built generic dictionaries | |
| US20130103655A1 (en) | Multi-level database compression | |
| JP2742115B2 (ja) | 類似文書検索装置 | |
| JP2001345710A (ja) | データ圧縮装置および方法 | |
| US20110109485A1 (en) | Computer product, information processing apparatus, and information search apparatus | |
| JP4003854B2 (ja) | データ圧縮装置及び復元装置並びにその方法 | |
| US20040225497A1 (en) | Compressed yet quickly searchable digital textual data format | |
| US5560037A (en) | Compact hyphenation point data | |
| JP2785168B2 (ja) | 単語検索のための電子辞書圧縮方法及び装置 | |
| Ristov | LZ trie and dictionary compression | |
| US6731229B2 (en) | Method to reduce storage requirements when storing semi-redundant information in a database | |
| Ristov et al. | Ziv Lempel compression of huge natural language data tries using suffix arrays | |
| JPH0140372B2 (ja) | ||
| Radhakrishnan | Selection of prefix and postfix word fragments for data compression | |
| JPH0140370B2 (ja) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |