JP5741699B2 - 抽出方法、抽出プログラム、抽出装置、および抽出システム - Google Patents

抽出方法、抽出プログラム、抽出装置、および抽出システム Download PDF

Info

Publication number
JP5741699B2
JP5741699B2 JP2013533401A JP2013533401A JP5741699B2 JP 5741699 B2 JP5741699 B2 JP 5741699B2 JP 2013533401 A JP2013533401 A JP 2013533401A JP 2013533401 A JP2013533401 A JP 2013533401A JP 5741699 B2 JP5741699 B2 JP 5741699B2
Authority
JP
Japan
Prior art keywords
information
file
predetermined character
character
files
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013533401A
Other languages
English (en)
Other versions
JPWO2013038527A1 (ja
Inventor
片岡 正弘
正弘 片岡
量 松村
量 松村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2013038527A1 publication Critical patent/JPWO2013038527A1/ja
Application granted granted Critical
Publication of JP5741699B2 publication Critical patent/JP5741699B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/14Details of searching files based on file metadata
    • G06F16/148File search processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Multimedia (AREA)

Description

本発明は、情報を抽出する抽出方法、抽出プログラム、抽出装置、および抽出システムに関する。
従来、所定の文字情報を含む検索文字列が入力された場合に、検索対象の複数のファイルのいずれが所定の文字情報を含むかを示すインデックス情報を参照して、検索対象のファイルのうちの所定の文字情報を含むファイルを絞り込む技術がある。
特許第2986865号公報
しかしながら、検索対象のファイル数が増大すると、それに合わせてインデックス情報のサイズも増大する。インデックス情報のサイズ増大により、インデックス情報を参照する処理に要する時間が増大するため、結果として検索処理の時間が増大するという問題があった。
本発明は、上述した従来技術による問題点を解消するため、ファイル数増大に応じた検索処理時間の増大を抑制することができる抽出方法、抽出プログラム、抽出装置、および抽出システムを提供することを目的とする。
上述した課題を解決し、目的を達成するため、本発明の一側面によれば、複数のファイルのそれぞれについて所定の文字情報を含むか否かを示す第1の情報と、前記複数のファイルの少なくともいずれかが前記所定の文字情報を含むか否かを示す第2の情報と、を記憶手段に記憶し、前記所定の文字情報についての検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示すことが検出されると、前記第1の情報に基づいて前記所定の文字情報を含むファイルを抽出する抽出方法、抽出プログラム、抽出装置、および抽出システムが提案される。
本発明の一側面によれば、ファイル数増大に応じた検索処理時間の増大を抑制することができるという効果を奏する。
図1は、本実施の形態にかかる圧縮符号マップの分散化を示す説明図である。 図2は、セグメント群を記憶したサーバを示す説明図である。 図3は、対象ファイルが追加された場合の圧縮符号マップの追加例を示す説明図である。 図4は、出現マップの階層化を示す説明図である。 図5は、削除マップの階層化を示す説明図である。 図6は、階層化されたセグメント群の詳細を示す説明図である。 図7は、図6に示した階層構造セグメント群を実装したコンピュータシステムの構成例を示す説明図である。 図8は、階層構造セグメント群を用いた圧縮ファイルの絞込み例を示す説明図である。 図9は、実施の形態にかかるコンピュータのハードウェア構成例を示すブロック図である。 図10は、本実施の形態にかかるシステム構成例を示す説明図である。 図11は、本実施の形態にかかるコンピュータまたはコンピュータシステムの機能的構成例1を示すブロック図である。 図12は、図11に示したコンピュータの集計部〜第2圧縮部までの処理の流れを示す説明図である。 図13は、集計部による集計および作成部による圧縮符号マップMsの作成例を示す説明図である。 図14は、(1)出現回数の集計の詳細を示す説明図である。 図15は、図13の(2)圧縮符号長算出の詳細(N=11)を示す説明図である。 図16は、図13の(3)葉数特定〜(5)葉の構造体生成の詳細(N=11)を示す説明図である。 図17は、文字情報ごとの補正結果を示す説明図である。 図18は、図13の(6)葉へのポインタ生成の詳細(N=11)を示す説明図である。 図19は、図13の(7)2N分枝無節点ハフマン木Hの構築の詳細(N=11)を示す説明図である。 図20は、葉の構造体を示す説明図である。 図21は、特定単一文字の構造体を示す説明図である。 図22は、分割文字コードの構造体を示す説明図である。 図23は、基礎単語の構造体を示す説明図である。 図24は、圧縮符号マップの生成例を示す説明図である。 図25は、作成部による圧縮符号マップ作成処理手順例を示すフローチャートである。 図26は、図25に示した集計処理(ステップS2501)の詳細な処理手順例を示すフローチャートである。 図27は、図26に示した対象ファイルの集計処理(ステップS2603)の詳細な処理手順例を示すフローチャートである。 図28は、文字出現頻度集計テーブルを示す説明図である。 図29は、図27に示した基礎単語集計処理(ステップS2702)の詳細な処理手順例を示すフローチャートである。 図30は、基礎単語出現頻度集計テーブルを示す説明図である。 図31は、図29に示した最長一致検索処理(ステップS2901)の詳細な処理手順を示すフローチャートである。 図32は、図25に示したマップ割当数決定処理(ステップS2502)の詳細な処理手順例を示すフローチャートである。 図33は、図25に示した再集計処理(ステップS2503)の詳細な処理手順例を示すフローチャートである。 図34は、対象ファイルの再集計処理(ステップS3303)の詳細な処理手順例を示すフローチャートである。 図35は、上位分割文字コード出現頻度集計テーブルを示す説明図である。 図36は、下位分割文字コード出現頻度集計テーブルを示す説明図である。 図37は、図34で示した2グラム文字列特定処理(ステップS3406)の詳細な処理手順を示すフローチャートである。 図38は、2グラム文字列出現頻度集計テーブルを示す説明図である。 図39は、図25に示したハフマン木生成処理(ステップS2504)の詳細な処理手順例を示すフローチャートである。 図40は、図39に示した枝数特定処理(ステップS3904)の詳細な処理手順例を示すフローチャートである。 図41は、図39に示した構築処理(ステップS3905)の詳細な処理手順を示すフローチャートである。 図42は、図41に示した葉へのポインタ生成処理(ステップS4103)の詳細な処理手順を示すフローチャートである。 図43は、図25に示したマップ作成処理(ステップS2505)の詳細な処理手順例を示すフローチャートである。 図44は、図43に示した対象ファイルのマップ作成処理(ステップS4303)の詳細な処理手順を示すフローチャートである。 図45は、図44で示した基礎単語出現マップ作成処理(ステップS4402)の詳細な処理手順例を示すフローチャートである。 図46は、図44で示した特定単一文字出現マップ作成処理(ステップS4403)の詳細な処理手順例を示すフローチャートである。 図47は、図46で示した分割文字コード出現マップ作成処理(ステップS4603)の詳細な処理手順例を示すフローチャートである。 図48は、図44に示した2グラム文字列マップ作成処理(ステップS4404)の詳細な処理手順例を示すフローチャートである。 図49は、2グラム文字列出現マップ生成処理(ステップS4803)の詳細な処理手順例を示すフローチャートである。 図50は、2N分枝無節点ハフマン木Hを用いた圧縮処理の具体例を示す説明図である。 図51は、第1圧縮部による2N分枝無節点ハフマン木Hを用いた対象ファイル群の圧縮処理手順例を示すフローチャートである。 図52は、図51に示した圧縮処理(ステップS5103)の詳細な処理手順を示すフローチャート(その1)である。 図53は、図51に示した圧縮処理(ステップS5103)の詳細な処理手順を示すフローチャート(その2)である。 図54は、図51に示した圧縮処理(ステップS5103)の詳細な処理手順を示すフローチャート(その3)である。 図55は、出現率と出現率領域との関係を示す説明図である。 図56は、出現率領域別の圧縮パターンを有する圧縮パターンテーブルを示す説明図である。 図57は、B領域およびB´領域の場合の圧縮パターンを示す説明図である。 図58は、C領域およびC´領域の場合の圧縮パターンを示す説明図である。 図59は、D領域およびD´領域の場合の圧縮パターンを示す説明図である。 図60は、E領域およびE´領域の場合の圧縮パターンを示す説明図である。 図61は、圧縮符号マップ圧縮処理手順を示すフローチャートである。 図62は、本実施の形態にかかるコンピュータまたはコンピュータシステムの機能的構成例2を示すブロック図である。 図63は、ファイル伸長例を示す説明図である。 図64は、図63での伸長処理の具体例を示す説明図(その1)である。 図65は、図63での伸長処理の具体例を示す説明図(その2)である。 図66は、ファイル追加処理の具体例を示す説明図である。 図67は、セグメント追加処理の詳細な処理手順を示すフローチャートである。 図68は、図67に示した追加ファイルによるマップ更新処理(ステップS6709)の詳細な処理手順を示すフローチャート(前半)である。 図69は、図67に示した追加ファイルによるマップ更新処理(ステップS6709)の詳細な処理手順を示すフローチャート(後半)である。 図70は、セグメント階層化処理の詳細な処理手順を示すフローチャートである。 図71は、図70に示した選択出現マップ集約処理(ステップS7004)の詳細な処理手順を示すフローチャートである。 図72は、図70に示した削除マップ集約処理(ステップS7005)の詳細な処理手順を示すフローチャートである。 図73は、本実施の形態にかかる検索処理手順を示すフローチャートである。 図74は、図73に示したポインタ特定処理(ステップS7302)の詳細な処理手順を示すフローチャート(その1)である。 図75は、図73に示したポインタ特定処理(ステップS7302)の詳細な処理手順を示すフローチャート(その2)である。 図76は、図73に示したファイル絞込み処理(ステップS7303)の詳細な処理手順を示すフローチャートである。 図77は、図73に示した2N分枝無節点ハフマン木Hを用いた伸長処理(ステップS7304)の詳細な処理手順例を示すフローチャート(その1)である。 図78は、図73に示した2N分枝無節点ハフマン木Hを用いた伸長処理(ステップS7304)の詳細な処理手順例を示すフローチャート(その2)である。
以下に添付図面を参照して、本発明の実施の形態を詳細に説明する。なお、本明細書において、「文字情報」とは、テキストデータを構成する、単一文字、基礎単語、分割文字コードなどである。対象ファイル群は、たとえば、文書ファイル、Webページ、電子メールなどの電子データであり、たとえば、テキスト形式、HTML(HyperText Markup Language)形式、XML(Extensible Markup Language)形式の電子データである。
また、「単一文字」とは、1つの文字コードで表現される文字である。単一文字の文字コード長は、文字コード種により異なる。
たとえば、UTF(Unicode Transformation Format)16の場合は16ビットコード、ASCII(American Standard Code for Information Interchange)コードの場合は8ビットコード、シフトJIS(Japanese Industrial Standard)コードの場合は8ビットコードである。シフトJISコードで日本語の文字を表現する場合は、2個の8ビットコードを組み合わせることとなる。
また、「基礎単語」とは、小・中学校で学習する基本的な単語や、特定の文字列で表現される予約語をいう。「This is a・・・.」の英文を例にすると「This」、「is」、「a」などの単語であり、千語レベル、2千語レベル、数千語レベルに分類され、英和辞典には、「***」、「**」、「*」マークが付与されている。また、予約語とは、あらかじめ決められた文字列であり、たとえば、HTMLのタグ(たとえば、<br>)が挙げられる。
また、「分割文字コード」とは、単一文字を、上位のコードと下位のコードに分割した各々のコードである。本実施の形態では、後述するように、単一文字を、上位のコードと下位のコードに分割する場合がある。たとえば、「芝」という単一文字の文字コードは、UTF16の場合、「9D82」で表現されるが、上位分割文字コード「0x9D」と下位分割文字コード「0x82」に分割される。
また、「グラム」とは、文字単位である。たとえば、単一文字については、その1文字分が1グラムとなる。分割文字コードについては、分割文字コード単独で1グラムとなる。したがって、単一文字「芝」は2グラムとなる。なお、本実施の形態では、文字コードとしてUTF16を例に挙げて説明する。
また、本明細書では、「ビットをON」とした場合は、そのビットの値を“1”にし、「ビットをOFF」とした場合は、そのビットの値を“0”として説明する。なお、「ビットをON」とした場合は、そのビットの値を“0”にし、「ビットをOFF」とした場合は、そのビットの値を“1”にしてもよい。
「出現マップ」とは、全文検索のためのインデックスであり、文字情報を指定するポインタと文字情報の各対象ファイルでの存否を示すビット列を連結したビット列である。検索処理時には、このビット列を、ビットのON・OFFに応じて検索対象の文字情報を含むか否かを示すインデックスとして用いることができる。文字情報を指定するポインタとしては、たとえば、文字情報の圧縮符号が採用される。文字情報を指定するポインタは、たとえば、文字情報そのものを用いても良い。「圧縮符号マップ」とは、圧縮符号のポインタで示される文字情報ごとの出現マップをまとめたビットマップである。2グラム文字列の圧縮符号マップについては、第1グラムの圧縮符号と第2グラムの圧縮符号を組み合わせた圧縮符号列となる。
「2グラム文字列」とは、1グラムの文字コードが連接する文字列である。たとえば、「人形芝居」という文字列には、2連接文字「人形」、「形芝」、「芝居」が含まれている。2連接文字「人形」の「人」、「形」はそれぞれ分割されない単一文字であるため、2連接文字「人形」はそのまま2グラム文字列となる。
「芝」は上述したように分割されるため、単一文字「形」と「芝」の上位分割文字コード「0x9D」の組み合わせが2グラム文字列となる。また、上位分割文字コード「0x9D」と下位分割文字コード「0x82」の組み合わせも2グラム文字列となる。さらに、下位分割文字コード「0x82」と分割されない単一文字「居」の組み合わせも2グラム文字列となる。
基礎単語により、対象ファイル群が圧縮されている場合、圧縮符号マップの生成時や検索時に1パスでアクセスすることが可能である。なお、対象ファイル群を圧縮しない場合は、文字情報を指定するポインタとしては、文字情報の文字コードをそのまま採用してもよい。
また、「削除マップ」とは、対象ファイルの存在または削除をビット列で示したインデックスである。なお、削除マップにおいてON(=1)に該当するビットに対応するファイル番号の対象ファイルは、存在していることを意味する。一方、OFF(=0)になると、当該対象ファイルは削除されたことを意味する。これにより、圧縮符号マップを用いて検索を行う場合に、対象ファイルそのものを削除しなくても、対象ファイルに対応する削除マップをOFFにすることで、対象ファイルを検索対象から除くことができる。
図1は、本実施の形態にかかる圧縮符号マップの分散化を示す説明図である。圧縮符号マップは、所定のファイル数n単位(たとえば、n=256)で分割されている。分割された各々を、セグメントと称す。
セグメントsg0(1)は、圧縮ファイルf1〜fnまでの圧縮符号マップを有するセグメントであり、セグメントsg0(2)は、圧縮ファイルf(n+1)〜f(2n)までの圧縮符号マップを有するセグメントであり、セグメントsg0(3)は、圧縮ファイルf(2n+1)〜f(3n)までの圧縮符号マップを有するセグメントである。
セグメントは初期状態では、セグメントsg0(1)のみが存在し、ファイル追加によりファイル数がnを超えると、セグメントsg0(2)が生成され、ファイル数が2nを超えると、セグメントsg0(3)が生成される。このように、ファイル数増加により、最後尾のセグメントsg0(K)は、圧縮ファイルf((K−1)n+1)〜f(Kn)までの圧縮符号マップを有するセグメントとなる(ただし、Kは現在のセグメント数を示す。Kは1以上の整数である。)。
各セグメントは、管理領域A1〜AK(管理領域群As)を有する。管理領域A1〜AKには、先行セグメントへのポインタ、後続セグメントへのポインタ、自セグメント内の圧縮符号マップを構成する各出現マップへのポインタ、自セグメント内の削除マップへのポインタ、自セグメント内の各圧縮ファイルへのポインタが格納されている。
先頭のセグメントsg0(1)については、先行セグメントがないため、先行セグメントへのポインタとして、たとえば、「00000000h」が格納される。アドレス「00000000h」は、先頭のセグメントsg0(1)を指定する論理アドレスである。同様に、最後尾のセグメントsg0(K)については、後続セグメントがないため、後続セグメントへのポインタとして、たとえば、「0FFFFFFFh」が格納される。還元すれば、後続セグメントへのポインタとして「0FFFFFFFh」が格納されているセグメントが最後尾のセグメントである。
K=1の場合、すなわち、セグメントsg0(1)しか存在しない場合、セグメントsg0(1)の先行セグメントへのポインタは「00000000h」であり、後続セグメントへのポインタは「0FFFFFFFh」である。ファイル追加によりK=2になると、セグメントsg0(1)の後続セグメントへのポインタは、「0FFFFFFFh」から「セグメントsg0(2)へのポインタ」に変更される。
また、セグメントsg0(2)の先行セグメントへのポインタには、「セグメントsg0(1)へのポインタ(セグメントsg0(1)のアドレス「00000000h」)」が格納される。また、セグメントsg0(2)の後続セグメントへのポインタには、「0FFFFFFFh」が格納される。このように、セグメントごとに先行セグメントおよび後続セグメントとの関連付けをしておくことで、セグメント単位での検索を連携しておこなうことができる。
各セグメントの圧縮符号マップM1〜MK(圧縮符号マップMs)は、文字情報が同じである出現マップを有するが、担当するファイル番号が異なる。各セグメントの圧縮符号マップM1〜MKにおいて担当するファイル番号は、自セグメントが保持する圧縮ファイルのファイル番号となる。たとえば、セグメントsg0(K)の圧縮符号マップMKでは、各文字情報の出現マップについてファイル番号(K−1)n〜Knの存否を示すビット列を有することとなる。
各セグメントの削除マップD1〜DK(削除マップDs)についても圧縮符号マップ群Msと同様、担当するファイル番号が異なる。各削除マップD1〜DKにおいて担当するファイル番号は、自セグメントが保持する圧縮ファイルのファイル番号となる。たとえば、セグメントsg0(K)の削除マップDKでは、各文字情報の出現マップについてファイル番号(K−1)n〜Knについての存在または削除を示すビット列を有することとなる。
図2は、セグメント群を記憶したサーバを示す説明図である。サーバ200は、データベース201を有する。データベース201には、アーカイブファイル202が格納されている。アーカイブファイル202は、バッチ部211と、追加部212と、を有する。バッチ部211には、c個のセグメントsg0(1)〜sg0(c)がデフォルトで格納されている。追加部212には、追加されたセグメントsg0(c+1)〜sg0(K)が格納されている。なお、追加部212に空き領域がなくなった場合は、サーバ200とネットワークを介して通信可能な他のサーバに格納させるものとする。
図3は、対象ファイルが追加された場合の圧縮符号マップの追加例を示す説明図である。(A)では、セグメントsg0(1),sg0(2)が登録済みであり、文字情報LT1〜LTzの圧縮符号P(LT1)〜P(LTz)についての出現マップにおいて、ファイル番号1〜2nまでのインデックス情報が格納されている。
(B)は、(A)の状態から出現マップ群を圧縮した状態を示している。圧縮手法については後述するが、圧縮するタイミングとしては、たとえば、1セグメントのファイル数nの倍数になった場合に圧縮するものとする。この場合、ファイル数がnの倍数2nであるため、出現マップごとにインデックス情報であるビット列を圧縮する。また、文字情報LT1〜LTzの存否を確認する場合には、伸長されるものとする。伸長手法についても後述する。このように、通常は圧縮して保存しておき、必要なときにだけ伸長することで、省メモリ化を図ることができる。
(C)は、(B)の状態からあらたな圧縮ファイルf(2n+1)が追加された状態を示している。(B)での最後尾のセグメントであるセグメントsg0(2)では圧縮ファイルf(2n+1)を格納できないため、あらたにセグメントsg0(3)が設定され、圧縮ファイルf(2n+1)が保存されることになる。また、セグメントsg0(3)の圧縮符号マップには、圧縮符号ごとに圧縮ファイルf(2n+1)についてのビットが設定される。(C)の例では、文字情報LT1,LT2については「1」、LTzについては「0」が設定されている。
(D)は、(C)の状態からセグメントsg0(3)においてn個の圧縮ファイルf(2n+1)〜f(3n)が追加された状態を示している。
(E)は、(D)の状態においてセグメントsg0(3)でn個の圧縮ファイルf(2n+1)〜f(3n)が追加されたため、圧縮符号ごとにセグメントsg0(1)〜sg0(3)のインデックス情報を圧縮した状態を示している。このように、セグメント単位で圧縮ファイルがn個たまると、出現マップの圧縮がおこなわれる。
図4は、出現マップの階層化を示す説明図である。セグメント数が増加すると、圧縮符号ごとにインデックス情報となるビット列が冗長化する。冗長化した場合、圧縮符号ごと、すなわち、文字情報ごとに、全ファイル数について存否を示すビットのON/OFFを確認する必要があるが、存在しない箇所について確認作業をするのは無駄であり、検索時間の増大の原因となる。そこで、圧縮符号ごと、すなわち、文字情報ごとに、セグメントがm+1個生成されたら、m個単位でインデックス情報を集約することにする。
図4では、例として文字情報LTxの圧縮符号P(LTx)のインデックス情報を上位階層に集約する場合を例に挙げて説明する。なお、「sgX(Y)」のXは、階層番号を示しており、Yはセグメント番号を示している。したがって、sgX(Y)の場合は、第X階層のY番目のセグメントとなる。また、これまで説明してきたセグメントsg0(1)〜sg0(K)は、第0階層のセグメントとなる。
まず、基本階層である第0階層から上位階層である第1階層への集約例について説明する。集約のルールとしては、対象階層のセグメントのインデックス情報であるビット列がオール0、すなわち、文字情報LTxがそのセグメント内の対象ファイル群に存在しない場合、上位階層のインデックスとして「0」に集約する。一方、対象階層のセグメントのインデックス情報であるビット列1個でも「1」がある場合、すなわち、文字情報LTxがそのセグメント内の対象ファイル群の少なくともいずれか1つに存在する場合、上位階層のインデックスとして「1」に集約する。
たとえば、セグメントsg0(1)については、「1」が存在するため、上位階層のセグメントsg1(1)には、「1」が設定される。同様に、セグメントsg0(m)については、オール0であるため、上位階層のセグメントsg1(1)には、「0」が設定される。この上位階層のセグメントsg1(1)のビット位置は、下位のセグメントsg0(1)〜sg0(m)の位置を示している。このように、上位階層のセグメントのビットの値により下位のセグメントのインデックス情報の状態を特定することができる。
また、このような集約は第0階層と第1階層との間だけではなく、最上位階層のセグメント数がm個になると、あらたに上位階層のセグメントが生成されることとなる。たとえば、第1階層でセグメントがセグメントsg1(m)まで出来上がると、上述したように第2階層のセグメントsg2(1)が生成されることとなる。なお、図4では、第2階層までの例を示したが、追加される圧縮ファイル数が増加するにしたがって、第3階層以上の階層に集約されることになる。
図5は、削除マップの階層化を示す説明図である。削除マップについても、図4と同様セグメント単位で上位階層に集約されることになる。
図6は、階層化されたセグメント群の詳細を示す説明図である。図6の階層構造セグメント群では、第0階層に図1に示したようなm2個のセグメントsg0(1)〜sg0(m2)が生成されている。また、上位階層についても同様なデータ構造のセグメントsg1(1)〜sg1(m)が生成されている。たとえば、第1階層のセグメントsg1(1)〜sg1(m)では、第0階層で集約された出現マップ(集約出現マップ)が圧縮符号ごとに格納されている。同様に、第0階層で集約された削除マップ(集約削除マップ)が圧縮符号ごとに格納されている。
また、第0階層と同様、それぞれの管理領域に、先行セグメントへのポインタや後続セグメントへのポインタが設定されている。また、自セグメント内の集約出現マップへのポインタや集約削除マップへのポインタも格納される。また、管理領域には、下位階層のセグメント(下位セグメント)へのポインタがそれぞれ格納されている。たとえば、セグメントsg1(1)では、下位階層のセグメントsg0(1)へのポインタ〜セグメントsg0(m)へのポインタが格納されており、セグメントsg0(1)〜セグメントsg0(m)を指定することができる。なお、第1階層以上のセグメントには、圧縮ファイルは格納されない。
図7は、図6に示した階層構造セグメント群SGを実装したコンピュータシステムの構成例を示す説明図である。図7の階層構造セグメント群SGでは、m個のセグメントを1アーカイブファイルとする。なお、「AX(Y)」はアーカイブファイルの符号であり、Xは、階層番号を示しており、Yはアーカイブ番号を示している。したがって、AX(Y)の場合は、第X階層のY番目のアーカイブファイルとなる。たとえば、アーカイブファイルA0(1)は、第0階層のセグメントsg0(1)〜sg0(m)の集合である。
図7の例では、マスタサーバMSは、第1階層以上のアーカイブファイルを格納している。また、スレーブサーバS1,S2,…,S(2m+1),…は、マスタサーバMSにより割り当てられた1個のアーカイブファイルを格納している。図7のアーカイブファイルの割り当ては1例であり、マスタサーバMSが第1階層以上のアーカイブファイルをすべて担当する必要はなく、他のサーバに分散させてもよい。また、スレーブサーバS1,S2,…,S(2m+1),…についても1アーカイブファイルだけではなく、複数のアーカイブファイルを担当することとしてもよい。
図8は、階層構造セグメント群SGを用いた圧縮ファイルの絞込み例を示す説明図である。図8では、説明を単純化するため、第0階層のセグメントのファイル数nをn=4とし、m=4とする。したがって、第0階層セグメントsg0(1)〜sg0(16)まで存在することになるが、図示されていないセグメントについては説明を省略する。また、図8では、最上位階層を第2階層として説明する。また、図8において、実線矢印はAND結果にしたがって下位階層のセグメントを指定していることを示しており、点線矢印は実際には指定されないが、指定されたセグメントと対比するために図示している。また、図8では、検索文字列として「人形」が入力された場合を示す。
(A)において、最上位階層である第2階層のセグメントsg2(1)について、文字情報「人」の圧縮符号P(人)の集約出現マップと、文字情報「形」の圧縮符号P(形)の集約出現マップと、集約削除マップと、のAND演算をおこなう。AND結果は「1100」となり、下位階層である第1階層のセグメントsg1(1),sg1(2)に、文字情報「人」および「形」が存在する可能性があることがわかる。
また、下位セグメント番号3,4についてはAND結果が「0」である。したがって、セグメントsg1(3),sg1(4)の各AND演算をおこなうまでもなく、セグメントsg1(3),sg1(4)の各AND結果がオール0になることがわかる。
(B)では、第2階層のAND結果から第1階層のセグメントsg1(1),sg1(2)が指定されたため、セグメントsg1(1),sg1(2)について、(A)と同様AND演算を実行する。これにより、セグメントsg1(1)からはセグメントsg0(1)が指定され、セグメントsg1(2)からはセグメントsg0(5)が指定されることになる。セグメントsg1(2)に着目すると、下位セグメント番号6〜8についてはAND結果が「0」である。したがって、セグメントsg0(6)〜sg0(8)の各AND演算をおこなうまでもなく、セグメントsg0(6)〜sg0(8)の各AND結果がオール0になることがわかる。
(C)では、第1階層のAND結果から第0階層のセグメントsg0(1),sg0(5)が指定されたため、sg0(1),sg0(5)について、(A),(B)と同様AND演算を実行する。これにより、セグメントsg0(1)からはファイル番号3が指定され、セグメントsg0(5)からはファイル番号19が指定されることになる。したがって、圧縮ファイルf3,f19に、文字情報「人」および「形」の両方が存在することがわかる。
<コンピュータのハードウェア構成例>
図9は、実施の形態にかかるコンピュータのハードウェア構成例を示すブロック図である。図9において、コンピュータは、CPU(Central Processing Unit)901と、ROM(Read Only Memory)902と、RAM(Random Access Memory)903と、磁気ディスクドライブ904と、磁気ディスク905と、光ディスクドライブ906と、光ディスク907と、ディスプレイ908と、I/F(Interface)909と、キーボード910と、マウス911と、スキャナ912と、プリンタ913と、を備えている。また、各構成部はバス900によってそれぞれ接続されている。
ここで、CPU901は、コンピュータの全体の制御を司る。ROM902は、ブートプログラムなどのプログラムを記憶している。また、ROM902は、圧縮符号マップMsを生成・管理するプログラム、圧縮符号マップMsを用いて検索を行うプログラムを記憶している。RAM903は、CPU901のワークエリアとして使用され、CPU901は、ROM902に記憶されたプログラムをRAM903に読み出して実行することができる。磁気ディスクドライブ904は、CPU901の制御にしたがって磁気ディスク905に対するデータのリード/ライトを制御する。磁気ディスク905は、磁気ディスクドライブ904の制御で書き込まれたデータを記憶する。
光ディスクドライブ906は、CPU901の制御にしたがって光ディスク907に対するデータのリード/ライトを制御する。光ディスク907は、光ディスクドライブ906の制御で書き込まれたデータを記憶したり、光ディスク907に記憶されたデータを情報処理装置に読み取らせたりする。
ディスプレイ908は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。このディスプレイ908は、たとえば、CRT、TFT液晶ディスプレイ、プラズマディスプレイなどを採用することができる。
インターフェース(以下、「I/F」と略する。)909は、通信回線を通じてLAN(Local Area Network)、WAN(Wide Area Network)、インターネットなどのネットワーク914に接続され、このネットワーク914を介して他の装置に接続される。そして、I/F909は、ネットワーク914と内部のインターフェースを司り、外部装置からのデータの入出力を制御する。I/F909には、たとえばモデムやLANアダプタなどを採用することができる。
キーボード910は、文字、数字、各種指示などの入力のためのキーを備え、データの入力をおこなう。また、タッチパネル式の入力パッドやテンキーなどであってもよい。マウス911は、カーソルの移動や範囲選択、あるいはウィンドウの移動やサイズの変更などをおこなう。ポインティングデバイスとして同様に機能を備えるものであれば、トラックボールやジョイスティックなどであってもよい。
スキャナ912は、画像を光学的に読み取り、コンピュータ内に画像データを取り込む。なお、スキャナ912は、OCR(Optical Character Reader)機能を持たせてもよい。また、プリンタ913は、画像データや文書データを印刷する。プリンタ913には、たとえば、レーザプリンタやインクジェットプリンタを採用することができる。
また、コンピュータは、上述した各種サーバや据置き型のパーソナル・コンピュータのほか、携帯電話機、スマートフォン、電子書籍端末、ノート型パソコンなどの携帯型端末であってもよい。また、本実施の形態は、複数のコンピュータに応じて実施されてもよい。
図10は、本実施の形態にかかるシステム構成例を示す説明図である。図10において、システムは、図9に示す各ハードウェアを含みうるコンピュータ1001〜1003、ネットワーク1004、スイッチ1005、無線基地局1007を含む。情報処理装置1003に含まれるI/Fは、無線通信機能を備える。
たとえば、複数のファイルを含むコンテンツについての圧縮符号マップを生成する処理をコンピュータ1001で実行し、コンピュータ1002,1003に配信し、コンピュータ1002,1003のそれぞれで配信されたコンテンツについての検索処理を実行してもよい。
また、複数のファイルを含むコンテンツについての圧縮符号マップを生成する処理をコンピュータ1001で実行し、コンピュータ1002またはコンピュータ1003からコンテンツについての検索依頼をコンピュータ1001が受け付けて、検索処理を実行し、実行した検索処理の結果をコンピュータ1002、コンピュータ1003のそれぞれに返すように構成してもよい。図2と同様に、コンピュータ1001〜1003のそれぞれは、上述した各種サーバや据置き型のパーソナル・コンピュータのほか、携帯電話機、スマートフォン、電子書籍端末、ノート型パソコンなどの携帯型端末であってもよい。
<機能的構成例1>
図11は、本実施の形態にかかるコンピュータまたはコンピュータシステムの機能的構成例1を示すブロック図であり、図12は、図11に示したコンピュータまたはコンピュータシステムの集計部〜第2圧縮部までの処理の流れを示す説明図である。図11において、コンピュータまたはコンピュータシステム(以下、「コンピュータ1100」)は、集計部1101と、第1生成部1102と、第1圧縮部1103と、作成部1104と、第2生成部1105と、第2圧縮部1106と、を備える。
集計部1101〜第2圧縮部1106は、具体的には、たとえば、図9に示したROM902、RAM903、磁気ディスク905などの記憶装置に記憶されたプログラムをCPU901に実行させることによりその機能を抽出装置として実現する。なお、集計部1101〜第2圧縮部1106は、それぞれ実行結果を記憶装置に書き込んだり、他の部の実行結果を読み出したりして、それぞれ演算を実行する。以下、集計部1101〜第2圧縮部1106について簡単に説明する。
集計部1101は、対象ファイル群内の文字情報の出現回数を集計する。具体的には、たとえば、集計部1101は、図12の(A)に示したように、対象ファイル群Fs内の文字情報の出現回数を集計する。集計部1101では、特定単一文字、上位分割文字コード、下位分割文字コード、2グラム文字、基礎単語別に出現回数を計数する。集計部1101の詳細な処理内容については後述する。
第1生成部1102は、集計部1101の集計結果に基づいて2N分枝無節点ハフマン木Hを生成する(図12(B))。2N分枝無節点ハフマン木Hとは、根から分岐する枝が2N本あり、1または複数本の枝で葉を直接ポイントするハフマン木である。節点(内部節点)はない。節点がなく直接葉にヒットするため、節点を有する通常のハフマン木に比べて、伸長速度の高速化を図ることができる。葉は、該当する文字情報とその圧縮符号を含む構造体である。葉の構造体とも呼ぶ。葉に割り当てられる枝数は、割当先の葉に存在する圧縮符号の圧縮符号長に依存する。第1生成部1102の詳細な処理内容については後述する。
第1圧縮部1103は、2N分枝無節点ハフマン木Hを用いて対象ファイル群Fsの各対象ファイルを圧縮して圧縮ファイル群fsにする(図12(C))。第1圧縮部1103の詳細な処理内容については後述する。
作成部1104は、集計部1101の集計結果と2N分枝無節点ハフマン木Hにおいて文字情報ごとに割り当てられた圧縮符号に基づいて、圧縮符号マップMsを作成する。作成部1104は、圧縮符号マップMsについても、特定単一文字、上位分割文字コード、下位分割文字コード、2グラム文字、基礎単語別に作成する。作成部1104は、圧縮符号マップMsにおいて該当する文字情報が1個の対象ファイルに1回でも出現したらそのファイル番号のビットをONにする(図12(D))。また、初期状態では、削除マップDsは各対象ファイルですべてONにする。作成部1104の詳細な処理内容については後述する。
第2生成部1105は、文字情報の出現確率に基づいて出現マップを圧縮する無節点ハフマン木hを生成する(図12(E))。第2生成部1105の詳細な処理内容については後述する。また、図7に示したコンピュータシステムの場合、マスタサーバMSの第2生成部1105で生成された無節点ハフマン木は、スレーブサーバS1,S2,…に送信される。
第2圧縮部1106は、第2生成部1105で生成された無節点ハフマン木を用いて各出現マップを圧縮する(図12(F))。第2圧縮部1106の詳細な処理内容については後述する。また、図7に示したコンピュータシステムの場合、スレーブサーバS1,S2,…は、マスタサーバMSの第2生成部1105で生成され送信されてきたハフマン木を用いて、第2圧縮部1106により、スレーブサーバS1,S2,…内の出現マップを圧縮することとなる。
<集計および圧縮符号マップMsの作成の詳細>
つぎに、集計部1101による集計および作成部1104による圧縮符号マップMsの作成の詳細について説明する。圧縮符号マップMsを作成する場合、作成に先立って、集計部1101により、対象ファイル群Fsから文字情報の出現回数を集計し、第1生成部1102により、2N分枝無節点ハフマン木Hを生成しておく必要がある。
図13は、集計部1101による集計および作成部1104による圧縮符号マップMsの作成例を示す説明図である。
(1)出現回数の集計
まず、コンピュータ1100は、対象ファイル群Fsに存在する文字情報の出現回数を計数する。集計結果は、出現回数の降順にソートされ、出現回数の大きい方から昇順の順位がつけられる。なお、ここでは、文字情報の総種類数は、例として1305個(<2048(=211))とする。(1)出現回数の集計の詳細は図7で説明する。
(2)圧縮符号長算出
つぎに、(1)で得られた集計結果を基にして、コンピュータ1100は、文字情報ごとの圧縮符号長を算出する。具体的には、コンピュータ1100は、文字情報ごとに、出現率を算出する。出現率は、文字情報の出現回数を全文字情報の総出現回数で割ることで得られる。そして、コンピュータ1100は、出現率に対応する生起確率を求め、生起確率から圧縮符号長を導き出す。
生起確率は、1/2xで表現される。xはべき数である。圧縮符号長は、生起確率のべき数xとなる。具体的には、出現率が生起確率の以下のどの範囲であるかで圧縮符号長が決定される。ARは出現率である。
1/20>AR≧1/21・・・圧縮符号長は1ビット。
1/21>AR≧1/22・・・圧縮符号長は2ビット。
1/22>AR≧1/23・・・圧縮符号長は3ビット。
1/23>AR≧1/24・・・圧縮符号長は4ビット。



1/2N-1>AR≧1/2N・・・圧縮符号長はNビット。
(2)圧縮符号長算出の詳細は図15で説明する。
(3)葉数特定
つぎに、コンピュータ1100は、圧縮符号長ごとに葉数を集計することで圧縮符号長ごとの葉数を特定する。ここでは、最大圧縮符号長は17ビットとする。また、葉数とは、文字情報の種類数である。したがって、圧縮符号長5ビットの葉数が2である場合、5ビットの圧縮符号が割り当てられる文字情報が2つ存在することを示している。
(4)葉数補正
つぎに、コンピュータ1100は、葉数を補正する。具体的には、コンピュータ1100は、枝数の上限2Nのべき数Nが最大圧縮符号長となるように補正する。たとえば、べき数N=11の場合、圧縮符号長11ビット〜17ビットまでの葉数の総和を、補正後の圧縮符号長11ビットの葉数にする。そして、コンピュータ1100は、圧縮符号長ごとに葉当たりの枝数を割り当てる。具体的には、補正後の圧縮符号長に対し、その降順に、20、21、22、23、24、25、26として葉当たりの枝数を決定する。
たとえば、図13では、圧縮符号長11ビットの圧縮符号が割り当てられる文字情報の総数(葉数)は1215個であるが、その葉当たりの枝数は1である。圧縮符号長11ビットの圧縮符号が割り当てられる文字情報については、それぞれ1本の枝しか割り当てられないこととなる。一方、圧縮符号長6ビットの圧縮符号が割り当てられる文字情報の総数(葉数)は6個であるが、その葉当たりの枝数は32である。圧縮符号長6ビットの圧縮符号が割り当てられる文字情報については、それぞれ32本の枝が割り当てられることとなる。(4)葉数補正は、必要な場合に実行すればよく、実行しなくてもよい。
(5)葉の構造体生成
つぎに、コンピュータ1100は、葉の構造体を生成する。葉の構造体とは、文字情報とその圧縮符号長とその圧縮符号長での圧縮符号が対応付けられたデータ構造体である。たとえば、出現順位が1位である文字「0」の圧縮符号長は6ビットであり、圧縮符号は「000000」となる。図13の例では、文字情報の種類数(葉数)は1305個であるため、葉L1の構造体〜葉L1305の構造体が生成されることとなる。(3)葉数特定〜(5)葉の構造体生成の詳細(N=11)は、図16で説明する。
(6)葉へのポインタ生成
つぎに、コンピュータ1100は、葉の構造体ごとに葉へのポインタを生成する。葉へのポインタは、そのポイント先となる葉の構造体内の圧縮符号に、その葉当たりの枝数分の番号に相当するビット列を連結したビット列である。たとえば、葉L1である文字「0」に割り当てられた圧縮符号「000000」の圧縮符号長は6ビットであるため、葉L1当たりの枝数は32本である。
したがって、葉L1へのポインタの先頭6ビットは、圧縮符号「000000」となる。後続ビット列は、葉L1当たりの枝数で表現される32(=25)種のビット列となる。すなわち、32種の5ビットのビット列が圧縮符号「000000」の後続ビット列となる。したがって、葉L1へのポインタは、先頭6ビットが「000000」で固定された32種の11ビットのビット列となる。なお、葉当たりの枝数が1本の場合は、葉へのポインタは1個であり、圧縮符号とその葉へのポインタは同一ビット列となる。(6)葉へのポインタ生成の詳細は、図18で説明する。
(7)2N分枝無節点ハフマン木Hの構築
最後に、コンピュータ1100は、2N分枝無節点ハフマン木Hを構築する。具体的には、葉のポインタを根とすることで、葉の構造体を直接指定する2N分枝無節点ハフマン木Hが構築される。圧縮符号列が、先頭6ビットが「000000」の11ビットのビット列である場合、後続の5ビットが32種のいずれのビット列であっても、2N分枝無節点ハフマン木Hにより文字「0」の葉L1の構造体をポイントすることができる。(7)2N分枝無節点ハフマン木Hの構築の詳細は、図19で説明する。
図14は、(1)出現回数の集計の詳細を示す説明図である。図14において、コンピュータ1100は、(A)対象ファイル群Fsからの集計、(B)出現頻度の降順でのソート、(C)目標出現率の順位までの抽出という3つのフェーズを実行する。以下、基礎単語と単一文字に分けて説明する。
(A1)まず、コンピュータ1100は、対象ファイル群Fsを読み込んで、基礎単語の出現頻度(出現回数)を計数する。コンピュータ1100は、基礎単語の構造体を参照して、基礎単語の構造体内の基礎単語に一致する文字列が対象ファイルに存在する場合に、当該基礎単語の出現頻度(初期値は0)を1加算する。基礎単語の構造体とは、基礎単語が記述されたデータ構造体である。
(B1)対象ファイル群Fsにおいて基礎単語の集計が終了すると、コンピュータ1100は、基礎単語出現頻度集計テーブルを、出現頻度の降順にソートする。すなわち、出現頻度の高い順に並べ替え、出現頻度が最も高い基礎単語から順位付けをおこなう。
(A2)、また、コンピュータ1100は、対象ファイル群Fsを読み込んで、単一文字の出現頻度を計数する。具体的には、コンピュータ1100は、単一文字の出現頻度(初期値は0)を1加算する。
(B2)対象ファイル群Fsにおいて単一文字の集計が終了すると、コンピュータ1100は、単一文字出現頻度集計テーブルを、出現頻度の降順にソートする。すなわち、出現頻度の高い順に並べ替え、出現頻度が最も高い単一文字から順位付けをおこなう。
(C1)つぎに、コンピュータ1100は、(B1)ソート後の基礎単語出現頻度集計テーブルを参照して、目標出現率Pwまでの順位の基礎単語を抽出する。具体的には、コンピュータ1100は、全基礎単語の出現頻度の総和(総出現頻度)を分母とし、順位が1位の基礎単語から降順に出現頻度を累計して分子とし、各順位までの目標出現率Pwを算出する。
たとえば、総出現頻度が40000、1位からy位までの基礎単語群の累計出現頻度が30000とすると、y位までの出現頻度は、(30000/40000)×100=75[%]となる。ここで、目標出現率Pwが75[%]である場合は、上位y位までの基礎単語を抽出することとなる。
(C21)つぎに、コンピュータ1100は、(B2)ソート後の単一文字出現頻度集計テーブルを参照して、目標出現率Pcまでの順位の単一文字を抽出する。具体的には、コンピュータ1100は、全単一文字の出現頻度の総和(総出現頻度)を分母とし、順位が1位の単一文字から降順に出現頻度を累計して分子とし、各順位までの出現率を算出する。
たとえば、総出現頻度が50000、1位からy位までの単一文字群の累計出現頻度が40000とすると、y位までの出現頻度は、(40000/50000)×100=80[%]となる。ここで、目標出現率Pcが80[%]である場合は、上位y位までの単一文字を抽出することとなる。なお、(C21)で抽出された単一文字を、元の単一文字群と区別するために、「特定単一文字(群)」と称す。
(C22)また、単一文字群のうち特定単一文字群から外された単一文字(以下、「非特定単一文字(群)」)は、出現頻度が各特定単一文字よりも低いため、その文字コードを分割する。具体的には、非特定単一文字の文字コードを、上位ビットの文字コードと、下位ビットの文字コードに分割する。
たとえば、単一文字がUTF16ビット文字コードで表現されている場合は、上位8ビットの文字コードと下位8ビットの文字コードに分割する。この場合、分割されたいずれの文字コードも、0x00〜0xFFのコードで表現される。このように、上位ビットの文字コードが上位分割文字コードであり、下位ビットの文字コードが下位分割文字コードである。
図15は、図13の(2)圧縮符号長算出の詳細(N=11)を示す説明図である。図15の文字情報テーブルは、図13の(1)での集計結果を反映したテーブルであり、文字情報ごとに順位項目、伸長種別項目、コード項目、文字項目、出現回数項目、総回数項目、出現率項目、補正前での生起確率項目および圧縮符号長項目が設定されている。このうち、順位項目〜総回数項目までが再ソート結果で得られた情報である。
ここで、順位項目には、文字情報の出現回数の降順に順位(昇順)が書き込まれている。文字情報項目のうち伸長種別項目には、文字情報の種別が書き込まれる。「16」は16ビットコード(の単一文字)を示している。「8」は8ビットの分割文字コードを示している。「基」は基礎単語を示している。
文字情報項目のうちコード項目には、特定単一文字または分割文字コードが書き込まれている。基礎単語の場合は空欄とする。文字情報項目のうち文字項目には、文字や基礎単語が書き込まれている。分割文字コードの場合は空欄とする。出現回数項目には、対象ファイル群Fsでの文字情報の出現回数が書き込まれている。総回数項目には、全文字情報の総出現回数が書き込まれている。
出現率項目には、出現回数を総回数で割り算した値が出現率として書き込まれている。補正前項目の生起確率項目には、出現率に対応する生起確率が書き込まれている。圧縮符号長項目には、生起確率に応じた圧縮符号長、すなわち、生起確率1/2yのべき数yが圧縮符号長として書き込まれている。
図16は、図13の(3)葉数特定〜(5)葉の構造体生成の詳細(N=11)を示す説明図である。図15の文字情報テーブルを圧縮符号長単位で葉数(文字情報の総種類数)を集計した結果が、図15における補正前の葉数となる。ここで、補正Aとは、圧縮符号長の上限長N(すなわち、2N分枝無節点ハフマン木Hの最大枝数2Nのべき数N)以上の圧縮符号長に割り当てられた葉数を、圧縮符号長の上限長Nに集約する補正である。この場合、補正前での最大圧縮符号長は17ビットであるが、文字情報の総種類数が1305種であるため、圧縮符号長の上限長Nは、N=11となる。したがって、補正Aでは、圧縮符号長11ビットの葉数が、圧縮符号長が11ビット〜17ビットの葉数の総和(1190個)となる。
そして、コンピュータ1100は、生起確率総和を求める。圧縮符号長ごとの生起確率は決められているため(5ビットなら1/25)、圧縮符号長ごとに生起確率を葉数で乗じることで、圧縮符号長ごとの乗算結果が得られる。たとえば、補正Aにおける圧縮符号長5ビットの葉数は2である。圧縮符号長5ビットの生起確率は、1/25である。したがって、補正Aにおける圧縮符号長5ビットの生起確率は、2×(1/25)=1/24となる。圧縮符号長6ビット以降も同様に補正Aにおける圧縮符号長生起確率を求める。そして、補正A後における各圧縮符号長の生起確率を合計することで、補正Aでの生起確率総和が得られる。
そして、コンピュータ1100は、生起確率総和が1以下であるか否かを判断する。しきい値tは0<t≦1である。しきい値tを設けたくない場合は、t=1とすればよい。しきい値t未満であれば、補正Bに移行する。しきい値t以上1以下である場合は、補正Bに移行せず、この時点での圧縮符号長ごとの葉数で確定する。
補正Bは、補正Aでの圧縮符号長群(5ビット〜12ビット)は変えずに、葉数を更新する補正である。具体的には、補正Aでの生起確率総和が、しきい値t以上1以下でない場合におこなわれる補正である。より具体的には、補正Bは2種類ある。
1つ目は、生起確率総和がしきい値t未満である場合、生起確率総和が1以下の最大値が得られるまで、たとえば、最大漸近値に収束するまで、生起確率総和を増加させる補正(以下、補正B+)である。もう1つは、生起確率総和が1より大きい場合、生起確率総和が1以下に割り込んでから1以下の最大値が得られるまで、たとえば、最大漸近値に収束するまで、生起確率総和を減少させる補正(以下、補正B-)である。
図16に示した例では、補正Aでの生起確率総和が「1.146」であるため、補正B-をおこなうこととなる。なお、補正B+および補正B-のいずれの補正Bであっても、葉数を生起確率総和で割るという同じ補正をおこなう。
まず、補正B-の1回目(補正B-1)では、圧縮符号長ごとの補正Aでの葉数を、前回の補正(この場合は補正A)の生起確率の総和(1.146)で割ることで、葉数を更新する。なお、小数点以下は切り捨てでも、四捨五入でもよい。なお、補正Aでの圧縮符号長の上限長N(N=11ビット)については、前回の補正(この場合は補正A)の生起確率総和(1.146)で割ることはせず、葉の総数(1305個)から、補正B-1での圧縮符号長ごとの葉の総数(圧縮符号長の上限長Nの葉数除く)を引くことで、圧縮符号長の上限長Nの葉数を求める。この場合は、1208個である。
このあと、コンピュータ1100は、補正Aの場合と同様の計算処理により、補正B-1での生起確率総和を求める。そして、コンピュータ1100は、補正B-1での生起確率総和が1以下の最大漸近値に収束したか否かを判断する。補正B-1での生起確率総和が1以下の最大漸近値に収束していなければ、補正B-の2回目(補正B-2)に移行する。最大漸近値に収束した場合は、補正B-2に移行せず、この時点での圧縮符号長ごとの葉数で確定する。補正B-1で更新された生起確率総和「1.042」は1より大きいため、最大漸近値に収束しておらず、補正B-2に移行する。
補正B-2では、圧縮符号長ごとの補正B-1での葉数を、前回の補正(この場合は補正B-1)の生起確率総和(1.042)で割ることで、葉数を更新する。なお、小数点以下は切り捨てでも、四捨五入でもよい。なお、補正B-1での圧縮符号長の上限長N(N=11ビット)については、前回の補正(この場合は補正B-1)の生起確率総和(1.042)で割ることはせず、葉の総数(1305個)から、補正B-2での圧縮符号長ごとの葉の総数(圧縮符号長の上限長Nの葉数除く)を引くことで、圧縮符号長の上限長Nの葉数を求める。この場合は、1215個である。
このあと、コンピュータ1100は、補正B-1の場合と同様の計算処理により、補正B-2での生起確率総和を求める。そして、コンピュータ1100は、補正B-2での生起確率総和が1以下の最大漸近値に収束したか否かを判断する。補正B-2での生起確率総和が1以下の最大漸近値に収束していなければ、補正B-の3回目(補正B-3)に移行する。最大漸近値に収束した場合は、補正B-3に移行せず、この時点での圧縮符号長ごとの葉数で確定する。補正B-2で更新された生起確率総和「0.982」は1以下であるが、最大漸近値に収束しているかが不明であるため、補正B-3に移行する。
補正B-3では、圧縮符号長ごとの補正B-2での葉数を、前回の補正(この場合は補正B-2)の生起確率総和(0.982)で割ることで、葉数を更新する。なお、小数点以下は切り捨てでも、四捨五入でもよい。なお、補正B-2での圧縮符号長の上限長N(N=11ビット)については、前回の補正(この場合は補正B-2)の生起確率総和(0.982)で割ることはせず、葉の総数(1305個)から、補正B-3での圧縮符号長ごとの葉の総数(圧縮符号長の上限長Nの葉数除く)を引くことで、圧縮符号長の上限長Nの葉数を求める。この場合は、1215個である。
このあと、コンピュータ1100は、補正B-2の場合と同様の計算処理により、補正B-3での生起確率総和を求める。そして、コンピュータ1100は、補正B-3での生起確率総和が1以下の最大漸近値に収束したか否かを判断する。補正B-3での生起確率総和が1以下の最大漸近値に収束していなければ、補正B-の4回目(補正B-4)に移行する。最大漸近値に収束した場合は、補正B-4に移行せず、この時点での圧縮符号長ごとの葉数で確定する。
補正B-3で更新された生起確率総和「0.982」は、補正B-2で更新された生起確率総和「0.982」と同じ値である。すなわち、補正B-3での各圧縮符号長の葉数と補正B-2での各圧縮符号長の葉数とは同じである。この場合、コンピュータ1100は、生起確率総和が最大漸近値に収束したと判断し、葉数が確定する。
このようにして、葉数が確定するまで補正B-を継続することとなる。図16の例では、補正B-3で圧縮符号長ごとの葉数が確定したこととなる。このあと、コンピュータ1100は、圧縮符号長ごとに、葉当たりの枝数を算出することとなる。葉当たりの枝数の算出は、上述したように、圧縮符号長の上限長N(この場合はN=11ビット)から降順に、20、21、22、23、24、25、26として葉当たりの枝数を割り当てることとなる。なお、枝数の小計は、圧縮符号長ごとに、葉当たりの枝数に確定した葉数を乗じた乗算結果である。
図17は、文字情報ごとの補正結果を示す説明図である。図17において、文字情報テーブルには、補正A、補正B-1〜補正B-2までの補正結果が追加されている。図17に示したように、補正により圧縮符号長別の葉数が更新されるため、順位項目の1位の文字情報から短い圧縮符号長が割り当てられることとなる。
たとえば、補正B-2で確定した場合、圧縮符号長6ビットでは葉数が6、圧縮符号長7ビットでは葉数が18、…、圧縮符号長11ビットでは葉数が1215となっている。したがって、順位が1位から6位までの文字情報(葉数6個分)については6ビットの圧縮符号長、順位が7位から24位までの文字情報(葉数18個分)については7ビットの圧縮符号長、…、順位が91位から1305位までの文字情報(葉数1215個分)については11ビットの圧縮符号長が割り当てられる。
そして、コンピュータ1100は、文字情報と文字情報に割り当てられた圧縮符号長と圧縮符号長ごとの葉数とに基づいて、文字情報ごとに圧縮符号を割り当て、葉の構造体を生成することとなる。たとえば、出現率1位の単一文字「0」は5ビットの圧縮符号長が割り当てられているため、圧縮符号が「000000」となる。したがって、圧縮符号「000000」、圧縮符号長「6」、文字情報「0」を含む葉L1の構造体が生成されることとなる。
なお、上述した補正処理では、圧縮符号長が5ビット〜11ビットとしたが、2グラム文字列の圧縮符号マップMを分割する場合もあるため、圧縮符号長は偶数ビットとなるように、補正してもよい。具体的には、たとえば、圧縮符号長5ビットおよび7ビットの文字情報については6ビット、9ビットの文字情報については8ビット、11ビットの文字情報については10ビットとする。
図18は、図13の(6)葉へのポインタ生成の詳細(N=11)を示す説明図である。図18は、圧縮符号長の上限Nが11ビットの場合の葉へのポインタを示している。図18において、圧縮符号長が6ビットの葉数は6個であるため、圧縮符号は「000000」〜「000101」が割り当てられる。また、圧縮符号長が6ビットの葉当たりの枝数は、32本である。したがって、圧縮符号長が6ビットの圧縮符号についての葉へのポインタは、32(=25)個生成される。具体的には、葉へのポインタの先頭6ビットが圧縮符号で後続5ビットが32種のビット列となる。したがって、圧縮符号長が6ビットの圧縮符号の各々について、32種の葉へのポインタが生成されることとなる。
なお、図示はしないが、圧縮符号長が7ビットの葉数は18個であるため、圧縮符号「0001100」〜「0011111」が割り当てられる。また、圧縮符号長が7ビットの葉当たりの枝数は、16本である。したがって、圧縮符号長が7ビットの圧縮符号についての葉へのポインタは、16(=24)個生成される。具体的には、葉へのポインタの先頭7ビットが圧縮符号で後続4ビットが16種のビット列となる。したがって、圧縮符号長が7ビットの圧縮符号の各々について、16種の葉へのポインタが生成されることとなる。
同様に、圧縮符号長が8ビットの葉数は23個であるため、圧縮符号「01000000」〜「01010110」が割り当てられる。また、圧縮符号長が8ビットの葉当たりの枝数は、8本である。したがって、圧縮符号長が8ビットの圧縮符号についての葉へのポインタは、8(=23)個生成される。具体的には、葉へのポインタの先頭8ビットが圧縮符号で後続3ビットが8種のビット列となる。したがって、圧縮符号長が8ビットの圧縮符号の各々について、8種の葉へのポインタが生成されることとなる。
同様に、圧縮符号長が9ビットの葉数は23個であるため、圧縮符号「010101110」〜「011000100」が割り当てられる。また、圧縮符号長が9ビットの葉当たりの枝数は、4本である。したがって、圧縮符号長が9ビットの圧縮符号についての葉へのポインタは、4(=22)個生成される。具体的には、葉へのポインタの先頭9ビットが圧縮符号で後続2ビットが4種のビット列となる。したがって、圧縮符号長が9ビットの圧縮符号の各々について、4種の葉へのポインタが生成されることとなる。
同様に、圧縮符号長が10ビットの葉数は20個であるため、圧縮符号「0110000110」〜「0110011101」が割り当てられる。また、圧縮符号長が10ビットの葉当たりの枝数は、2本である。したがって、圧縮符号長が10ビットの圧縮符号についての葉へのポインタは、2(=21)個生成される。具体的には、葉へのポインタの先頭10ビットが圧縮符号で後続1ビットが2種のビット列となる。したがって、圧縮符号長が10ビットの圧縮符号の各々について、2種の葉へのポインタが生成されることとなる。
同様に、圧縮符号長が11ビットの葉数は1215個であるため、圧縮符号「01100111100」〜「11111111010」が割り当てられる。また、圧縮符号長が11ビットの葉当たりの枝数は、1本である。したがって、圧縮符号長が11ビットの圧縮符号についての葉へのポインタは、1(=20)個生成される。具体的には、圧縮符号がそのまま葉へのポインタとなる。したがって、圧縮符号長が11ビットの圧縮符号の各々について、1種の葉へのポインタが生成されることとなる。
図19は、図13の(7)2N分枝無節点ハフマン木Hの構築の詳細(N=11)を示す説明図である。図19では、N=11とした場合の2048(=211)分枝無節点ハフマン木Hを示している。根の構造体には、葉へのポインタが格納されている。葉へのポインタはポイント先の葉の構造体を指定することができる。
具体的には、圧縮符号長が6ビットの圧縮符号が格納される葉の構造体についての葉へのポインタは、図18に示したように32個生成される。したがって、葉L1の構造体については、根の構造体に32個の葉L1へのポインタL1P(1)〜L1P(32)が格納される。葉L2の構造体〜葉L6の構造体についても同様である。葉L7以降の構造体については、図19のとおりである。
図20は、葉の構造体を示す説明図である。葉の構造体は、第1領域〜第4領域を有するデータ構造体である。葉の構造体は、第1領域には、圧縮符号およびその圧縮符号長が格納される。第2領域には、葉の標識と伸長種別(図15参照)、出現率(図15参照)が格納される。第3領域には、伸長種別に応じて特定単一文字である16ビットの文字コード、非特定単一文字の文字コードが分割された8ビットの分割文字コード、または基礎単語へのポインタが格納される。基礎単語へのポインタにより基礎単語の構造体内の基礎単語が指定される。また、照合フラグも格納されている。照合フラグはデフォルトでは「0」である。「0」の場合は、伸長する文字をそのまま伸長バッファに書き出し、「1」の場合は、<color>タグと</color>タグで挟み込んで伸長バッファに書き出す。
第4領域には、格納されている文字情報の出現率と出現マップの出現率領域が格納される。出現率とは、図15に示した文字情報の出現率である。出現マップの出現率領域については図55および図56で説明する。なお、第3領域には、そのほか、符号種別と符号区分が格納される。符号種別とは、文字コードが数字、英字、特殊記号、カタカナ、ひらがな、漢字のいずれに該当するか、または基礎単語へのポインタであるかを識別する情報である。符号区分とは、文字コードが16ビットであるか8ビットであるかを識別する情報である。16ビットの文字コードである場合または予約語である場合、符号区分として“1”を割り当て、8ビットの分割文字コードの場合、符号区分として“0”を割り当てる。
なお、第1領域〜第4領域内の情報は、後述する構築処理(ステップS3905)において格納されることとなる。
図21は、特定単一文字の構造体を示す説明図である。特定単一文字の構造体2100は、特定単一文字コードe♯とその葉L♯へのポインタを格納するデータ構造体である。具体的には、たとえば、コンピュータ1100は、対象ファイル群Fsからの集計結果が得られたときに、コンピュータ1100が、特定単一文字の構造体2100に特定単一文字コードe♯を格納する。そして、コンピュータ1100は、2N分枝無節点ハフマン木Hが構築されると、2N分枝無節点ハフマン木Hにおける各葉の構造体に格納された圧縮符号に対応する、特定単一文字の構造体2100における特定文字コードe♯へのポインタを格納する。
また、特定単一文字コードe♯へのポインタが対応する葉の構造体に格納されると、コンピュータ1100は、2N分枝無節点ハフマン木Hにおける各特定単一文字コードe♯に対応する葉へのポインタを、特定単一文字の構造体2100内の対応する特定単一文字コードe♯に関連付けて格納する。これにより、特定単一文字の構造体2100が生成される。
図22は、分割文字コードの構造体を示す説明図である。分割文字コードの構造体2200は、分割文字コードとその葉L♯へのポインタを格納する。具体的には、たとえば、コンピュータ1100は、対象ファイル群Fsからの集計結果が得られたときに、コンピュータ1100が、分割文字コードの構造体2200に分割文字コードを格納する。そして、コンピュータ1100は、2N分枝無節点ハフマン木Hが構築されると、2N分枝無節点ハフマン木Hにおける各葉の構造体に格納された圧縮符号に対応する、分割文字コードの構造体2200における分割文字コードへのポインタを格納する。
また、分割文字コードへのポインタが対応する葉の構造体に格納されると、コンピュータ1100は、2N分枝無節点ハフマン木Hにおける各分割文字コードに対応する葉へのポインタを、分割文字コードの構造体2200内の対応する分割文字コードに関連付けて格納する。これにより、分割文字コードの構造体2200が生成される。
図23は、基礎単語の構造体を示す説明図である。基礎単語の構造体2300は、基礎単語とその葉L♯へのポインタを格納するデータ構造体である。基礎単語の構造体2300には、あらかじめ基礎単語が格納されている。コンピュータ1100は、2N分枝無節点ハフマン木Hが構築されると、2N分枝無節点ハフマン木Hにおける各葉の構造体に格納された圧縮符号に対応する、基礎単語の構造体2300における基礎単語へのポインタを格納する。
また、基礎単語へのポインタが対応する葉の構造体に格納されると、コンピュータ1100は、2N分枝無節点ハフマン木Hにおける各基礎単語に対応する葉へのポインタを、基礎単語の構造体2300内の対応する基礎単語に関連付けて格納することとなる。
<圧縮符号マップMsの作成例>
第1生成部1102により2N分枝無節点ハフマン木Hが生成されると、作成部1104は、単一文字の圧縮符号マップMs、上位分割文字コードの圧縮符号マップMs、下位分割文字コードの圧縮符号マップMs、単語の圧縮符号マップMs、2グラム文字列の圧縮符号マップMsを作成する。以下、単一文字の圧縮符号マップMs、上位分割文字コードの圧縮符号マップMs、下位分割文字コードの圧縮符号マップMs、2グラム文字列の圧縮符号マップMsの詳細な作成例について説明する。なお、基礎単語の圧縮符号マップMsは、単一文字の圧縮符号マップMsと同様に行われるため省略する。
図24は、圧縮符号マップMsの生成例を示す説明図である。図24では、対象ファイルFi内に『竜馬は脱藩した』という文字列が記述されているものとする。
(A)まず、先頭文字「竜」が対象文字である。対象文字「竜」は特定単一文字であるため、2N分枝無節点ハフマン木Hにアクセスして特定単一文字「竜」の圧縮符号を取得し、特定単一文字「竜」の出現マップを特定する。未生成の場合は、特定単一文字「竜」の圧縮符号をポインタとし、かつ、対象ファイルの存否を示すビット列をオール0にした特定単一文字「竜」の出現マップを生成する。そして、特定単一文字「竜」の出現マップについて対象ファイルFiのビットをON(“0”→“1”)にする。
(B)つぎに、対象文字を1グラムシフトして、対象文字を「馬」にする。対象文字「馬」は特定単一文字であるため、2N分枝無節点ハフマン木Hにアクセスして特定単一文字「馬」の圧縮符号を取得し、特定単一文字「馬」の出現マップを特定する。未生成の場合は、特定単一文字「馬」の圧縮符号をポインタとし、かつ、対象ファイルの存否を示すビット列をオール0にした特定単一文字「馬」の出現マップを生成する。そして、特定単一文字「馬」の出現マップについて対象ファイルFiのビットをON(“0”→“1”)にする。
また、対象文字が「馬」にシフトされた場合、「竜馬」という2グラム文字列が得られるため、「竜」の圧縮符号と「馬」の圧縮符号を結合した「竜馬」の圧縮符号列により、2グラム文字列「竜馬」の出現マップを特定する。未生成の場合は、「竜馬」の圧縮符号列をポインタとし、かつ、対象ファイルの存否を示すビット列をオール0にした2グラム文字列「竜馬」の出現マップを生成する。そして、2グラム文字列「竜馬」の出現マップにおいて対象ファイルFiのビットをON(“0”→“1”)にする。
(C)つぎに、対象文字を1グラムシフトして、対象文字を「は」にする。対象文字「は」についても(B)と同様に処理することで、特定単一文字「は」の出現マップについて対象ファイルFiのビットをON(“0”→“1”)にする。同様に、2グラム文字列「馬は」の出現マップにおいて対象ファイルFiのビットをON(“0”→“1”)にする。
(D)つぎに、対象文字を1グラムシフトして、対象文字を「脱」にする。対象文字「脱」は特定単一文字ではないため、対象文字「脱」の文字コード「0x8131」を、上位分割文字コード「0x81」と下位分割文字コード「0x31」に分割する。そして、対象文字を上位分割文字コード「0x81」にする。上位分割文字コード「0x81」についても、特定単一文字と同様に処理することで、上位分割文字コード「0x81」の出現マップについて対象ファイルFiのビットをON(“0”→“1”)にする。同様に、2グラム文字列「は 0x81」の出現マップにおいて対象ファイルFiのビットをON(“0”→“1”)にする。
(E)つぎに、対象文字を1グラムシフトして、文字「脱」の下位分割文字コード「0x31」を、対象文字にする。下位分割文字コード「0x31」についても、同様に処理することで、下位分割文字コード「0x31」の出現マップについて対象ファイルFiのビットをON(“0”→“1”)にする。同様に、2グラム文字列「0x81 0x31」の出現マップにおいて対象ファイルFiのビットをON(“0”→“1”)にする。
(F)〜(I)についても同様の処理をおこない、最後の対象ファイルFnについても処理を完了することで、単一文字、上位分割文字コード、下位分割文字コード、2グラム文字列のそれぞれについて、圧縮符号マップMsが生成される。
<圧縮符号マップ生成処理手順>
つぎに、作成部1104による圧縮符号マップ作成処理手順例について説明する。
図25は、作成部1104による圧縮符号マップ作成処理手順例を示すフローチャートである。コンピュータ1100は、集計処理(ステップS2501)、マップ割当数決定処理(ステップS2502)、再集計処理(ステップS2503)、ハフマン木生成処理(ステップS2504)、マップ作成処理(ステップS2505)を実行する。コンピュータ1100は、集計部1101により集計処理(ステップS2501)〜再集計処理(ステップS2503)を実行する。また、第1生成部1102によりハフマン木生成処理(ステップS2504)を実行し、作成部1104によりマップ作成処理(ステップS2505)を実行する。
集計処理(ステップS2501)とは、対象ファイル群Fs内の単一文字や基礎単語の出現回数(出現頻度ともいう)を計数する処理である。マップ割当数決定処理(ステップS2502)とは、集計処理(ステップS2501)で集計された単一文字および基礎単語についてのマップ割当数を決定する処理である。マップ割当数に対応する出現順位の単一文字および基礎単語が、それぞれ特定単一文字および基礎単語となる。
再集計処理(ステップS2503)とは、単一文字のうち特定単一文字以外の非特定単一文字を分割して、上位分割文字コードおよび下位分割文字コードとし、それぞれの出現回数を集計する処理である。また、再集計処理(ステップS2503)では、2グラム文字列の出現回数も集計する。
ハフマン木生成処理(ステップS2504)とは、図15〜図20に示したように、2N分枝無節点ハフマン木Hを生成する処理である。マップ作成処理(ステップS2505)とは、特定単一文字、基礎単語、上位分割文字コード、下位分割文字コード、2グラム文字列についての圧縮符号マップMを生成する処理である。
(集計処理(ステップS2501))
図26は、図25に示した集計処理(ステップS2501)の詳細な処理手順例を示すフローチャートである。まず、コンピュータ1100は、ファイル番号iをi=1に設定し(ステップS2601)、対象ファイルFiを読み込む(ステップS2602)。そして、コンピュータ1100は、対象ファイルFiの集計処理を実行する(ステップS2603)。対象ファイルFiの集計処理(ステップS2603)の詳細については、図27で説明する。このあと、コンピュータ1100は、ファイル番号iがi>n(nは対象ファイルF1〜Fnの総数)であるか否かを判断する(ステップS2604)。
i>nでない場合(ステップS2604:No)、コンピュータ1100は、iをインクリメントし(ステップS2605)、ステップS2602に戻る。一方、i>nである場合(ステップS2604:Yes)、コンピュータ1100は、図25に示したマップ割当数決定処理(ステップS2502)に移行して、集計処理(ステップS2501)を終了する。この集計処理(ステップS2501)によれば、対象ファイルFiごとに対象ファイルFiの集計処理(ステップS2603)を実行することができる。
(対象ファイルFiの集計処理(ステップS2603))
図27は、図26に示した対象ファイルFiの集計処理(ステップS2603)の詳細な処理手順例を示すフローチャートである。まず、コンピュータ1100は、対象文字を対象ファイルFiの先頭文字とし(ステップS2701)、基礎単語集計処理を実行する(ステップS2702)。基礎単語集計処理(ステップS2702)の詳細については図29で説明する。このあと、コンピュータ1100は、文字出現頻度集計テーブルにおいて対象文字の出現回数を1増加する(ステップS2703)。
図28は、文字出現頻度集計テーブルを示す説明図である。文字出現頻度集計テーブル2800は、RAM903や磁気ディスク905などの記憶装置に記憶されており、該当する文字が出現する都度出現回数を1ずつ増加させる。
図27に戻り、コンピュータ1100は、対象文字が対象ファイルFiの末尾文字であるか否かを判断する(ステップS2704)。対象文字が対象ファイルFiの末尾文字でない場合(ステップS2704:No)、コンピュータ1100は、対象文字を末尾方向へ1文字シフトし(ステップS2705)、ステップS2702に戻る。
一方、対象文字が対象ファイルFiの末尾文字である場合(ステップS2704:Yes)、コンピュータ1100は、ステップS2604に移行して、対象ファイルFiの集計処理(ステップS2603)を終了する。この対象ファイルFiの集計処理(ステップS2603)によれば、対象ファイル群Fsに存在する基礎単語および単一文字の出現頻度を集計することができる。
(基礎単語集計処理(ステップS2702))
図29は、図27に示した基礎単語集計処理(ステップS2702)の詳細な処理手順例を示すフローチャートである。まず、コンピュータ1100は、最長一致検索処理を実行し(ステップS2901)、最長一致した基礎単語があったか否かを判断する(ステップS2902)。最長一致検索処理(ステップS2901)の詳細については図31で説明する。最長一致した基礎単語があった場合(ステップS2902:Yes)、コンピュータ1100は、基礎単語出現頻度集計テーブルにおいて最長一致した基礎単語の出現回数を1増加し(ステップS2903)、ステップS2703に移行する。
図30は、基礎単語出現頻度集計テーブルを示す説明図である。基礎単語出現頻度集計テーブル3000は、RAM903や磁気ディスク905などの記憶装置に記憶されており、該当する基礎単語が出現する都度出現回数を1ずつ増加させる。
図29に戻り、最長一致した基礎単語がなかった場合(ステップS2902:No)、ステップS2703に移行する。これにより、基礎単語集計処理(ステップS2702)を終了する。この基礎単語集計処理(ステップS2702)によれば、最長一致検索処理(ステップS2901)により基礎単語を計数することができるため、文字列が長い基礎単語を優先的に計数することができる。
(最長一致検索処理(ステップS2901))
図31は、図29に示した最長一致検索処理(ステップS2901)の詳細な処理手順を示すフローチャートである。まず、コンピュータ1100は、c=1とする(ステップS3101)。cは対象文字からの文字数(対象文字含む)である。c=1の場合は、対象文字だけである。つぎに、コンピュータ1100は、対象文字からc文字目までの対象文字列と前方一致する基礎単語を2分探索する(ステップS3102)。そして、コンピュータ1100は、検索により基礎単語があるか否かを判断する(ステップS3103)。2分探索により基礎単語がヒットしなかった場合(ステップS3103:No)、ステップS3106に移行する。
一方、2分探索により基礎単語がヒットした場合(ステップS3103:Yes)、コンピュータ1100は、ヒットした基礎単語と対象文字列とが完全一致するか否かを判断する(ステップS3104)。そして、完全一致しない場合(ステップS3104:No)、ステップS3106に移行する。一方、完全一致する場合(ステップS3104:Yes)、コンピュータ1100は、最長一致候補として記憶装置に保持し(ステップS3105)、ステップS3106に移行する。
ステップS3106では、コンピュータ1100は、対象文字列について2分探索が終了したか否かを判断する(ステップS3106)。具体的には、コンピュータ1100は、末尾の基礎単語まで2分探索したか否かを判断する。2分探索が終了していない場合(ステップS3106:No)、コンピュータ1100は、ステップS3102に移行して、2分探索が終了するまで継続する。
一方、対象文字列について2分探索が終了した場合(ステップS3106:Yes)、コンピュータ1100は、c文字目の文字が対象ファイルFiの末尾文字であるか否かを判断する(ステップS3107)。c文字目の文字が対象ファイルFiの末尾文字である場合(ステップS3107:Yes)、ステップS3110に移行する。一方、c文字目の文字が対象ファイルFiの末尾文字でない場合(ステップS3107:No)、コンピュータ1100は、c>cmaxであるか否かを判断する(ステップS3108)。cmaxはあらかじめ設定された値であり、これにより対象文字列の上限文字数が設定される。
c>cmaxでない場合(ステップS3108:No)、コンピュータ1100は、cをインクリメントして(ステップS3109)、ステップS3102に戻る。一方、c>cmaxである場合(ステップS3108:Yes)、コンピュータ1100は、最長一致候補があるか否かを判断する(ステップS3110)。具体的には、コンピュータ1100は、ステップS3105において1つでも最長一致候補がメモリに保持されているか否かを判断する。
最長一致候補がある場合(ステップS3110:Yes)、コンピュータ1100は、最長一致候補のうち最長文字列を、最長一致した基礎単語に決定する(ステップS3111)。そして、ステップS2902に移行する。一方、ステップS3110において、最長一致候補が1つもない場合(ステップS3110:No)、ステップS2902に移行する。これにより、最長一致検索処理(ステップS2901)を終了する。この最長一致検索処理(ステップS2901)によれば、基礎単語の構造体にある基礎単語の中から、完全一致した文字列の中でかつ最長の文字列を基礎単語として検索することができる。
(マップ割当数決定処理(ステップS2502))
図32は、図25に示したマップ割当数決定処理(ステップS2502)の詳細な処理手順例を示すフローチャートである。まず、コンピュータ1100は、集計処理(ステップS2501)による基礎単語ごとの出現頻度を示す基礎単語出現頻度集計テーブル3000と単一文字ごとの出現頻度を示す文字出現頻度集計テーブル2800を出現頻度の高い順にソートする(ステップS3201)。そして、コンピュータ1100は、ソート後の基礎単語出現頻度集計テーブル3000を参照して、基礎単語の出現順位RwをRw=1とし(ステップS3202)、出現順位Rwまでの累積出現回数Arwを計数する(ステップS3203)。そして、コンピュータ1100は、下記式(1)を満たすか否かを判断する(ステップS3204)。
Arw>Pw×Aw・・・(1)
Awは集計された基礎単語の総出現回数である。
上記(1)式を満たさない場合(ステップS3204:No)、コンピュータ1100は、出現順位Rwをインクリメントして(ステップS3205)、ステップS3203に戻る。すなわち、上記式(1)を満たすまで出現順位Rwを下げ続ける。
そして、上記式(1)を満たした場合(ステップS3204:Yes)、コンピュータ1100は、基礎単語のマップ割当数NwをNw=Rw−1とする(ステップS3206)。ここで、マップ割当数Nwとは、マップ作成処理(ステップS3205)で生成される基礎単語出現マップに割り当てられる基礎単語数であり、基礎単語出現マップのレコード数(行数)を意味する。
また、コンピュータ1100は、単一文字の出現順位RcをRc=1とし(ステップS3207)、出現順位Rcまでの累積出現回数Arcを計数する(ステップS3208)。そして、コンピュータ1100は、下記式(2)を満たすか否かを判断する(ステップS3209)。
Arc>Pc×Ac・・・(2)
Acは集計された単一文字の総出現回数である。
上記(2)式を満たさない場合(ステップS3209:No)、コンピュータ1100は、出現順位Rcをインクリメントして(ステップS3210)、ステップS3208に戻る。すなわち、上記式(2)を満たすまで出現順位Rcを下げ続ける。
そして、上記式(2)を満たした場合(ステップS3209:Yes)、コンピュータ1100は、単一文字のマップ割当数NcをNc=Rc−1とする(ステップS3211)。ここで、マップ割当数Ncとは、マップ作成処理(ステップS2505)で生成される特定単一文字出現マップに割り当てられる特定単一文字数であり、特定単一文字出現マップのレコード数(行数)を意味する。この後、再集計処理(ステップS2503)に移行して、マップ割当数決定処理(ステップS2502)を終了する。
このマップ割当数決定処理(ステップS2502)によれば、マップ作成処理(ステップS2505)において目標出現率Pwに応じた数の基礎単語分について基礎単語出現マップを生成することができる。したがって、すべての基礎単語についてマップ割当をおこなう必要はなく、目標出現率Pwにしたがって決められるため、マップサイズの最適化を図ることができる。
また、単一文字についても、マップ作成処理(ステップS2505)において目標出現率Pcに応じた数の単一文字分について特定単一文字の圧縮符号マップMを生成することができる。したがって、すべての単一文字についてマップ割当をおこなう必要はなく、目標出現率Pcにしたがって決められるため、マップサイズの最適化を図ることができる。
(再集計処理(ステップS2503))
図33は、図25に示した再集計処理(ステップS2503)の詳細な処理手順例を示すフローチャートである。まず、コンピュータ1100は、ファイル番号iをi=1に設定し(ステップS3301)、対象ファイルFiを読み込む(ステップS3302)。そして、コンピュータ1100は、対象ファイルFiの再集計処理を実行する(ステップS3303)。対象ファイルFiの再集計処理(ステップS3303)の詳細については、図33で説明する。このあと、コンピュータ1100は、ファイル番号iがi>n(nは対象ファイルF1〜Fnの総数)であるか否かを判断する(ステップS3304)。
i>nでない場合(ステップS3304:No)、コンピュータ1100は、iをインクリメントし(ステップS3305)、ステップS3302に戻る。一方、i>nである場合(ステップS3304:Yes)、コンピュータ1100は、図25に示したハフマン木生成処理(ステップS3204)に移行して、再集計処理(ステップS3203)を終了する。この再集計処理(ステップS3203)によれば、対象ファイルFiごとに対象ファイルFiの再集計処理(ステップS3303)を実行することができる。
(対象ファイルFiの再集計処理(ステップS3303))
図34は、対象ファイルFiの再集計処理(ステップS3303)の詳細な処理手順例を示すフローチャートである。まず、コンピュータ1100は、対象文字を対象ファイルFiの先頭文字とし(ステップS3401)、対象文字が特定単一文字であるか否かを判断する(ステップS3402)。特定単一文字である場合(ステップS3402:Yes)、分割せずにステップS3404に移行する。
一方、特定単一文字でない場合(ステップS3402:No)、コンピュータ1100は、対象文字の文字コードを上位分割文字コードと下位分割文字コードとに分割する(ステップS3403)。そして、ステップS3404に移行する。
ステップS3404では、コンピュータ1100は、上位分割文字コード出現頻度集計テーブルに対し、ステップS3403で得られた上位分割文字コードと同一分割文字コードの出現回数を1加算する(ステップS3404)。
図35は、上位分割文字コード出現頻度集計テーブルを示す説明図である。上位分割文字コード出現頻度集計テーブル3500は、RAM903や磁気ディスク905などの記憶装置に記憶されており、該当する上位分割文字コードが出現する都度出現回数を1ずつ増加させる。
また、図34において、コンピュータ1100は、下位分割文字コード出現頻度集計テーブルに対し、ステップS3403で得られた下位分割文字コードと同一分割文字コードの出現回数を1加算する(ステップS3405)。
図36は、下位分割文字コード出現頻度集計テーブルを示す説明図である。下位分割文字コード出現頻度集計テーブル3600は、RAM903や磁気ディスク905などの記憶装置に記憶されており、該当する下位分割文字コードが出現する都度出現回数を1ずつ増加させる。
また、図34において、コンピュータ1100は、2グラム文字列特定処理を実行する(ステップS3406)。2グラム文字列特定処理(ステップS3406)では、対象文字を基点とする2グラム文字列を特定する。2グラム文字列特定処理(ステップS3406)の詳細は図37で説明する。
コンピュータ1100は、2グラム文字列出現頻度集計テーブルに対し、2グラム文字列特定処理(ステップS3406)で特定された2グラム文字列の出現回数を1加算する(ステップS3407)。
図37は、図34で示した2グラム文字列特定処理(ステップS3406)の詳細な処理手順を示すフローチャートである。まず、コンピュータ1100は、対象文字に対し、対象文字は分割されたか否かを判断する(ステップS3701)。すなわち、コンピュータ1100は、対象文字が分割文字コードか否かを判断する。分割されていない場合(ステップS3701:No)、すなわち、単一文字の場合、コンピュータ1100は、1つ前の文字があるか否かを判断する(ステップS3702)。
1つ前の文字がある場合(ステップS3702:Yes)、コンピュータ1100は、1つ前の文字は分割されたか否かを判断する(ステップS3703)。すなわち、コンピュータ1100は、1つ前の文字が分割文字コードか否かを判断する。分割されていない場合(ステップS3703:No)、すなわち、単一文字の場合、コンピュータ1100は、対象文字の1つ前の単一文字と対象文字(単一文字)からなる文字列を、2グラム文字列に決定する(ステップS3704)。そして、ステップS3407に移行する。
一方、ステップS3703において、1つ前の文字が分割された場合(ステップS3703:Yes)、すなわち、分割文字コードである場合、その1つ前の文字である分割文字コードは、下位分割文字コードとなる。したがって、コンピュータ1100は、1つ前の文字である下位分割文字コードと対象文字からなる文字列を、2グラム文字列に決定する(ステップS3705)。そして、ステップS3407に移行する。
また、ステップS3702において、1つ前の文字がない場合(ステップS3702:No)、対象文字だけとなるため、2グラム文字列を決定せずに、ステップS3407に移行する。
また、ステップS3701において、対象文字が分割された場合(ステップS3701:Yes)、すなわち、分割文字コードである場合、コンピュータ1100は、その分割文字コードが上位分割文字コードか下位分割文字コードであるかを判断する(ステップS3706)。
上位分割文字コードである場合(ステップS3706:上位)、コンピュータ1100は、1つ前の文字は分割されたか否かを判断する(ステップS3707)。すなわち、1つ前の文字が分割文字コードか否かを判断する。分割されていない場合(ステップS3707:No)、すなわち、単一文字の場合、コンピュータ1100は、対象文字の1つ前の単一文字と対象文字から分割された上位分割文字コードからなる文字列を、2グラム文字列に決定する(ステップS3708)。そして、ステップS3407に移行する。
一方、ステップS3707において、1つ前の文字が分割された場合(ステップS3707:Yes)、すなわち、分割文字コードである場合、その1つ前の文字である分割文字コードは、下位分割文字コードとなる。したがって、コンピュータ1100は、1つ前の文字である下位分割文字コードと対象文字から分割された上位分割文字コードからなる文字列を、2グラム文字列に決定する(ステップS3709)。そして、ステップS3407に移行する。
また、ステップS3706において、下位分割文字コードである場合(ステップS3706:下位)、コンピュータ1100は、対象文字から分割された上位分割文字コードおよび下位分割文字コードからなる文字列を、2グラム文字列に決定する(ステップS3710)。そして、ステップS3407に移行する。
この2グラム文字列特定処理(ステップS3406)によれば、対象文字が分割された場合であっても2グラム文字列を特定することができる。また、1文字シフトにしたがって2グラム文字列を特定するため、基礎単語の圧縮符号マップMおよび特定単一文字の圧縮符号マップMと同時並行で生成することができる。
このように、上述した情報生成によれば、目標出現率Pw,Pcにより、マップ作成される基礎単語数および単一文字数が制限されるため、無駄なマップ作成がなくなり、マップ作成の高速化およびマップサイズの最適化を同時に実現することができる。また、1文字シフトにより複数種類のマップ作成を同時並行で実行することができ、高精度な検索に用いる複数種類のマップ作成の効率化を図ることができる。
図38は、2グラム文字列出現頻度集計テーブルを示す説明図である。2グラム文字列出現頻度集計テーブル3800は、RAM903や磁気ディスク905などの記憶装置に記憶されており、該当する2グラム文字列が出現する都度出現回数を1ずつ増加させる。
このあと、コンピュータ1100は、対象文字の後続文字が対象ファイルFi内にあるか否かを判断し(ステップS3408)、後続文字がある場合(ステップS3408:Yes)、後続文字を対象文字に設定し(ステップS3409)、ステップS3402に戻る。一方、後続文字がない場合(ステップS3408:No)、対象ファイルFiの再集計処理(ステップS3303)を終了して、ステップS3304に移行する。
これにより、対象ファイルFiごとに、対象ファイルFi内に存在する上位分割文字コード、下位分割文字コード、および2グラム文字列の出現回数を集計することができる。
(ハフマン木生成処理(ステップS2504))
図39は、図25に示したハフマン木生成処理(ステップS2504)の詳細な処理手順例を示すフローチャートである。図39において、コンピュータ1100は、圧縮符号長の上限長Nを決定する(ステップS3901)。つぎに、コンピュータ1100は、補正処理を実行する(ステップS3902)。ここで、補正処理とは、図15〜図17で説明したように、文字情報ごとの生起確率および圧縮符号長を、圧縮符号長の上限長Nを用いて補正する処理である。
つぎに、コンピュータ1100は、文字情報ごとに葉の構造体を生成する(ステップS3903)。そして、コンピュータ1100は、枝数特定処理を実行する(ステップS3904)。枝数特定処理(ステップS3904)では、圧縮符号長ごとの葉当たりの枝数を特定する。枝数特定処理(ステップS3904)の詳細は図40で説明する。
そして、コンピュータ1100は、構築処理を実行する(ステップS3905)。枝数特定処理(ステップS3904)により葉の構造体ごとの枝数が特定されるため、まず、コンピュータ1100は、葉の構造体ごとに、枝数分の葉へのポインタ群を生成する。そして、生成された各葉の構造体についての葉へのポインタ群を集約して根の構造体とする。これにより、2N分枝無節点ハフマン木Hが生成されることとなる。なお、生成された2N分枝無節点ハフマン木Hは、コンピュータ1100内の記憶装置(RAM903や磁気ディスク905など)に格納される。このあと、図25のマップ作成処理(ステップS2505)に移行する。
図40は、図39に示した枝数特定処理(ステップS3904)の詳細な処理手順例を示すフローチャートである。まず、コンピュータ1100は、最大圧縮符号長CLmax(=N)と最小圧縮符号長CLmin(=M)との差分D(=N−M)を算出する(ステップS4001)。たとえば、N=11の場合、図26を参照すると、M=6である。したがって、D=5である。
つぎに、コンピュータ1100は、2のべき数の変数jをj=0とし、圧縮符号長の変数CLをCL=Nとする(ステップS4002)。そして、コンピュータ1100は、j>Dであるか否かを判断する(ステップS4003)。j>Dでない場合(ステップS4003:No)、コンピュータ1100は、圧縮符号長CLの葉当たりの枝数b(CL)を算出する(ステップS4004)。圧縮符号長CLの葉当たりの枝数b(CL)は、b(CL)=2jで算出される。たとえば、j=0のとき、圧縮符号長CL=N=11であるため、圧縮符号長11ビットでの葉当たりの枝数b(11)は、b(11)=2j=20=1となる。
つぎに、コンピュータ1100は、圧縮符号長CLの総枝数B(L)を算出する(ステップS4005)。圧縮符号長CLの総枝数B(L)は、B(L)=L(CL)×b(CL)で算出される。L(CL)は、圧縮符号長CLでの葉数(文字情報の種類数)である。たとえば、j=0のとき、圧縮符号長CL=N=11であるため、圧縮符号長11ビットでの総枝数B(L)は、1216×20=1216となる。
このあと、コンピュータ1100は、jをインクリメントし、圧縮符号長CLをデクリメントして(ステップS4006)、ステップS4003に戻り、インクリメント後のjがj>Dであるか否かが判断される。なお、N=11の場合は、j=Dになるとj=D=5となり、CL=M=6となる。したがって、ステップS4004では、圧縮符号長CL(5ビット)の葉当たりの枝数b(6)は、b(6)=26=64となる。同様に、総枝数B(L)は、B(6)=0×26=0となる。そして、j>Dである場合(ステップS4003:Yes)、構築処理(ステップS3905)に移行する。
図41は、図39に示した構築処理(ステップS3905)の詳細な処理手順を示すフローチャートである。まず、コンピュータ1100は、圧縮符号長CLをCL=CLmin=Mとする(ステップS4101)。つぎに、コンピュータ1100は、圧縮符号長CLでの未選択の葉があるか否かを判断する(ステップS4102)。未選択の葉がある場合(ステップS4102:Yes)、コンピュータ1100は、葉へのポインタ生成処理(ステップS4103)を実行して、ステップS4102に戻る。葉へのポインタ生成処理(ステップS4103)では、葉の構造体ごとに、圧縮符号長CLに応じた枝数分の葉へのポインタ群を生成する。なお、葉へのポインタ生成処理(ステップS4103)の詳細は図42で説明する。
一方、ステップS4102において、未選択の葉がない場合(ステップS4102:No)、コンピュータ1100は、CL>Nであるか否かを判断する(ステップS4104)。CL>Nでない場合(ステップS4104:No)、コンピュータ1100は、CLをインクリメントして(ステップS4105)、ステップS4102に戻る。一方、CL>Nである場合(ステップS4104:Yes)、2N分枝無節点ハフマン木Hが構築されたこととなり、ステップS2505に移行することとなる。なお、第1領域〜第5領域内の情報は、この構築処理(ステップS3905)において格納されることとなる。
図42は、図41に示した葉へのポインタ生成処理(ステップS4103)の詳細な処理手順を示すフローチャートである。まず、コンピュータ1100は、未選択の葉Lを選択し(ステップS4201)、選択葉へのポインタ数kをk=1に設定する(ステップS4202)。そして、コンピュータ1100は、選択葉へのポインタPL(k)の先行ビット列を、選択葉の圧縮符号に設定する(ステップS4203)。たとえば、上限長N=11については、選択葉が、文字情報「0」の葉の構造体である場合、圧縮符号は「000000」である。したがって、選択葉へのポインタPL(k)の先行ビット列も、「000000」となる。
つぎに、コンピュータ1100は、選択葉へのポインタPL(k)の後続ビット列のビット長を、最大圧縮符号長Nから選択葉の圧縮符号長CLを引いた差分とし、後続ビット列の初期値をオール0に設定する(ステップS4204)。たとえば、選択葉が、文字情報「0」の葉の構造体である場合、圧縮符号長CLは6ビットであるため、後続ビット列のビット長は5ビット(=11−6)となる。k=1の場合は、後続ビット列はオール0となるため、後続ビット列は、5ビットの「00000」となる。
そして、コンピュータ1100は、選択葉へのポインタPL(k)を根の構造体に格納する(ステップS4205)。このあと、コンピュータ1100は、k>b(CL)であるか否かを判断する(ステップS4206)。b(CL)は、選択葉の圧縮符号長CLの葉当たりの枝数である。k>b(CL)でない場合(ステップS4206:No)、選択葉に割り当てられたすべての枝について葉へのポインタが生成されていないため、コンピュータ1100は、kをインクリメントする(ステップS4207)。
そして、コンピュータ1100は、現在の後続ビット列をインクリメントして、インクリメント後の後続ビット列を先行ビット列の末端に連結することで、あらたに、選択葉へのポインタPL(k)を生成する(ステップS4208)。そして、コンピュータ1100は、選択葉へのポインタPL(k)を根の構造体に格納し(ステップS4209)、ステップS4206に戻る。ステップS4206〜ステップS4209を繰り返すことで、葉当たりの枝数分の葉へのポインタ群が生成されることとなる。そして、ステップS4206において、k>b(CL)である場合(ステップS4206:Yes)、ステップS4102に移行する。
このように、対象ファイル群Fsに出現する文字情報の種類数に応じて、2N分枝無節点ハフマン木Hの最大枝数2Nを最適な本数に設定することができるため、2N分枝無節点ハフマン木Hのサイズの適正化を図ることができる。また、本実施の形態によれば、上限長Nが2〜4の整数倍でない場合(たとえば、上限長N=11,13)であっても、圧縮効率のよい2N分枝無節点ハフマン木Hを生成することができる。
このあと、コンピュータ1100は、2N分枝無節点ハフマン木Hの各葉の構造体と、基礎単語の構造体,特定文字コードの構造体,分割文字コードの構造体とを、図17の文字情報テーブルを参照して、相互に関連付ける。具体的には、上述したように、葉の構造体には、当該葉に格納されている圧縮符号に対応する特定文字、分割文字コードおよび葉へのポインタや基礎単語へのポインタを格納する。
また、コンピュータ1100は、基礎単語の構造体の基礎単語ごとに、対応する圧縮符号を格納する葉へのポインタを格納する。また、コンピュータ1100は、特定文字コードの構造体の特定文字ごとに、対応する圧縮符号を格納する葉へのポインタを格納する。また、コンピュータ1100は、分割文字コードの構造体の分割文字コードごとに、対応する圧縮符号を格納する葉へのポインタを格納する。
(マップ作成処理(ステップS2505))
図43は、図25に示したマップ作成処理(ステップS2505)の詳細な処理手順例を示すフローチャートである。まず、コンピュータ1100は、ファイル番号iをi=1に設定し(ステップS4301)、対象ファイルFiを読み込む(ステップS4302)。そして、コンピュータ1100は、対象ファイルFiのマップ作成処理を実行する(ステップS4303)。対象ファイルFiのマップ作成処理(ステップS4303)の詳細は、図44で説明する。このあと、コンピュータ1100は、ファイル番号iがi>α(αは対象ファイルFsのファイル総数)であるか否かを判断する(ステップS4304)。
i>αでない場合(ステップS4304:No)、コンピュータ1100は、iをインクリメントし(ステップS4305)、ステップS4302に戻る。一方、i>αである場合(ステップS4304:Yes)、マップ作成処理(ステップS2505)が終了する。このマップ作成処理(ステップS2505)によれば、対象ファイルFiごとに対象ファイルFiのマップ作成処理(ステップS4303)を実行することができる。
図44は、図43に示した対象ファイルFiのマップ作成処理(ステップS4303)の詳細な処理手順を示すフローチャートである。まず、コンピュータ1100は、対象文字を対象ファイルFiの先頭文字とし(ステップS4401)、基礎単語出現マップ作成処理(ステップS4402)、特定単一文字出現マップ作成処理(ステップS4403)、2グラム文字列出現マップ作成処理(ステップS4404)を実行する。
基礎単語出現マップ作成処理(ステップS4402)の詳細は図45で説明する。また、特定単一文字出現マップ作成処理(ステップS4403)の詳細は図46で説明する。さらに、2グラム文字列出現マップ作成処理(ステップS4404)の詳細は図48で説明する。
このあと、コンピュータ1100は、対象文字が対象ファイルFiの末尾文字であるか否かを判断する(ステップS4405)。対象文字が対象ファイルFiの末尾文字でない場合(ステップS4405:No)、コンピュータ1100は、対象文字を末尾方向へ1文字シフトし(ステップS4406)、ステップS4402に戻る。一方、対象文字が対象ファイルFiの末尾文字である場合(ステップS4405:Yes)、ステップS4304に移行して、対象ファイルFiのマップ作成処理(ステップS4303)を終了する。
この対象ファイルFiのマップ作成処理(ステップS4303)によれば、基礎単語出現マップ、特定単一文字出現マップおよび2グラム文字列出現マップを、対象文字を1文字ずつシフトしながら、同時並行で生成することができる。
図45は、図44で示した基礎単語出現マップ作成処理(ステップS4402)の詳細な処理手順例を示すフローチャートである。まず、コンピュータ1100は、対象文字について最長一致検索処理を実行する(ステップS4501)。最長一致検索処理(ステップS4501)の詳細な処理手順は、図31に示した最長一致検索処理(ステップS2901)と同一処理内容であるため説明を省略する。
そして、コンピュータ1100は、最長一致した基礎単語、すなわち、基礎単語があるか否かを判断する(ステップS4502)。最長一致した基礎単語がない場合(ステップS4502:No)、特定単一文字出現マップ作成処理(ステップS4403)に移行する。一方、最長一致した基礎単語がある場合(ステップS4502:Yes)、コンピュータ1100は、その最長一致した基礎単語について、基礎単語出現マップが設定済みであるか否かを判断する(ステップS4503)。
設定済みである場合(ステップS4503:Yes)、ステップS4506に移行する。一方、設定済みでない場合(ステップS4503:No)、コンピュータ1100は、2N分枝無節点ハフマン木Hにおける最長一致した基礎単語の葉にアクセスして、その圧縮符号を取得する(ステップS4504)。そして、コンピュータ1100は、取得した圧縮符号を、最長一致した基礎単語についての基礎単語出現マップへのポインタに設定して(ステップS4505)、ステップS4506に移行する。このあと、ステップS4506では、コンピュータ1100は、最長一致した基礎単語についての基礎単語出現マップの対象ファイルFiのビットをONにする(ステップS4506)。
これにより、基礎単語出現マップ作成処理(ステップS4402)を終了し、特定単一文字出現マップ作成処理(ステップS4403)に移行する。この基礎単語出現マップ作成処理(ステップS4402)によれば、対象文字ごとに最長一致した基礎単語を基礎単語としてマップ作成することができる。
図46は、図44で示した特定単一文字出現マップ作成処理(ステップS4403)の詳細な処理手順例を示すフローチャートである。まず、コンピュータ1100は、特定単一文字の構造体に対して対象文字の2分探索をおこない(ステップS4601)、一致したか否かを判断する(ステップS4602)。一致する単一文字がなかった場合(ステップS4602:No)、コンピュータ1100は、分割文字コード出現マップ作成処理を実行して(ステップS4603)、2グラム文字列出現マップ作成処理(ステップS4404)に移行する。分割文字コード出現マップ作成処理(ステップS4603)の詳細は図47で説明する。
一方、ステップS4602において、2分探索により対象文字と一致する単一文字があった場合(ステップS4602:Yes)、コンピュータ1100は、2N分枝無節点ハフマン木Hにおける2分探索された単一文字の葉にアクセスして、その圧縮符号を取得する(ステップS4604)。そして、コンピュータ1100は、その取得された圧縮符号について、特定単一文字出現マップが設定済みであるか否かを判断する(ステップS4605)。設定済みである場合(ステップS4605:Yes)、ステップS4607に移行する。
一方、設定済みでない場合(ステップS4605:No)、コンピュータ1100は、取得した圧縮符号を、2分探索された単一文字についての特定単一文字出現マップへのポインタに設定して(ステップS4606)、ステップS4607に移行する。このあと、ステップS4607では、2分探索された単一文字についての特定単一文字出現マップの対象ファイルFiのビットをONにする(ステップS4607)。
これにより、特定単一文字出現マップ作成処理(ステップS4403)を終了し、2グラム文字列出現マップ作成処理(ステップS4404)に移行する。この特定単一文字出現マップ作成処理(ステップS4403)によれば、2分探索された対象文字を特定単一文字としてマップ作成することができる。
図47は、図46で示した分割文字コード出現マップ作成処理(ステップS4603)の詳細な処理手順例を示すフローチャートである。まず、コンピュータ1100は、対象文字を分割し(ステップS4701)、2N分枝無節点ハフマン木Hにおける上位分割文字コードの葉にアクセスして、圧縮符号を取得する(ステップS4702)。そして、コンピュータ1100は、その取得された圧縮符号について、上位分割文字コード出現マップが設定済みであるか否かを判断する(ステップS4703)。
設定済みである場合(ステップS4703:Yes)、ステップS4705に移行する。一方、設定済みでない場合(ステップS4703:No)、コンピュータ1100は、取得した圧縮符号を、上位分割文字コードの出現マップへのポインタに設定して(ステップS4704)、ステップS4705に移行する。このあと、ステップS4705では、コンピュータ1100は、対象文字から分割された上位分割文字コードの出現マップの対象ファイルFiのビットをONにする(ステップS4705)。
また、コンピュータ1100は、2N分枝無節点ハフマン木Hにおける下位分割文字コードの葉にアクセスして、圧縮符号を取得する(ステップS4706)。そして、コンピュータ1100は、その取得された圧縮符号について、下位分割文字コードの出現マップが設定済みであるか否かを判断する(ステップS4707)。設定済みである場合(ステップS4707:Yes)、ステップS4709に移行する。
一方、設定済みでない場合(ステップS4707:No)、コンピュータ1100は、取得した圧縮符号を、下位分割文字コードの出現マップへのポインタに設定して(ステップS4708)、ステップS4709に移行する。このあと、ステップS4709では、コンピュータ1100は、対象文字から分割された下位分割文字コードの出現マップの対象ファイルFiのビットをONにする(ステップS4709)。
これにより、分割文字コード出現マップ作成処理(ステップS4603)を終了し、2グラム文字列出現マップ作成処理(ステップS4404)に移行する。この分割文字コード出現マップ作成処理(ステップS4603)によれば、目標出現率Pcに応じた順位よりも下位の単一文字については、出現頻度が低いため、OFFのビットが多数出現することとなる。
しかしながら、目標出現率Pcに応じた順位よりも下位の単一文字については特定単一文字の出現マップの生成対象外とすることで、特定単一文字の圧縮符号マップMsのマップサイズの最適化を図ることができる。また、分割することで、目標出現率Pcに応じた順位よりも下位の単一文字については、上位分割文字コードの圧縮符号マップMsおよび下位分割文字コードの圧縮符号マップMsといったマップサイズが固定化されたマップに設定される。したがって、目標出現率Pcをどのような出現率に設定しても、マップサイズの増大化を防止でき、省メモリ化を図ることができる。
図48は、図44に示した2グラム文字列マップ作成処理(ステップS4404)の詳細な処理手順例を示すフローチャートである。図48において、まず、コンピュータ1100は、2グラム文字列特定処理を実行する(ステップS4801)。2グラム文字列特定処理(ステップS4801)の詳細な処理手順は、図37に示した2グラム文字列特定処理(ステップS4806)と同一処理内容であるため説明を省略する。
つぎに、コンピュータ1100は、2グラム文字列特定処理(ステップS4801)により2グラム文字列が特定されたか否かを判断する(ステップS4802)。特定されなかった場合(ステップS4802:No)、図44のステップS4405に移行する。
一方、特定された場合(ステップS4802:Yes)、コンピュータ1100は、2グラム文字列出現マップ生成処理を実行して(ステップS4803)、ステップS4405に移行する。
図49は、2グラム文字列出現マップ生成処理(ステップS4803)の詳細な処理手順例を示すフローチャートである。図49において、まず、コンピュータ1100は、図48の2グラム文字列特定処理(ステップS4801)で特定された2グラム文字列の第1グラム(特定単一文字または分割文字コード)について、2N分枝無節点ハフマン木Hの葉にアクセスして、圧縮符号を取得する(ステップS4901)。同様に、コンピュータ1100は、第2グラム(特定単一文字または分割文字コード)について、2N分枝無節点ハフマン木Hの葉にアクセスして、圧縮符号を取得する(ステップS4902)。
そして、コンピュータ1100は、第1グラムの圧縮符号と第2グラムの圧縮符号を連結する(ステップS4903)。そして、コンピュータ1100は、連結圧縮符号をポインタとする出現マップが設定済みであるか否かを判断する(ステップS4904)。設定済みである場合(ステップS4904:Yes)、ステップS4906に移行する。
一方、設定済みでない場合(ステップS4904:No)、コンピュータ1100は、連結圧縮符号を、特定された2グラム文字列の出現マップへのポインタに設定する(ステップS4905)。このあと、ステップS4906では、コンピュータ1100は、特定された2グラム文字列の出現マップの対象ファイルFiのビットをONにする(ステップS4906)。
これにより、2グラム文字列出現マップ生成処理(ステップS4803)を終了し、ステップS4405に移行する。この2グラム文字列出現マップ生成処理(ステップS4803)によれば、2グラム文字列の連結圧縮符号により、2グラム文字列の出現マップを直接指定することができる。
<圧縮処理の具体例>
つぎに、対象ファイルFiの圧縮処理の具体例について説明する。上述のように、圧縮符号マップMsを生成した場合は、検索文字列を圧縮した圧縮符号列により圧縮符号マップMs内の出現マップをポイントすることが可能となる。以下、圧縮処理の具体例について説明する。
図50は、2N分枝無節点ハフマン木Hを用いた圧縮処理の具体例を示す説明図である。まず、コンピュータ1100は、対象ファイル群Fsから1文字目の圧縮対象文字コードを取得し、対象ファイルFi上の位置を保持しておく。そして、コンピュータ1100は、基礎単語の構造体2300に対して2分木探索をおこなう。基礎単語は2文字以上の文字コード列であるため、1文字目の圧縮対象文字コードがヒットした場合、2文字目の文字コードを圧縮対象文字コードとして取得する。
そして、2文字目の文字コードは、1文字目の圧縮対象文字コードがヒットした位置から探索する。3文字目以降も、不一致の圧縮対象文字コードが出現するまで繰り返し2分木探索をおこなう。一致する基礎単語ra(aは葉の番号)が探索された場合、基礎単語の構造体2300において対応付けされている葉Laへのポインタにより葉Laの構造体にアクセスする。そして、コンピュータ1100は、アクセス先の葉Laの構造体に格納されている基礎単語raの圧縮符号を探索して、圧縮バッファ5000に格納する。
一方、不一致の圧縮文字コードが出現した場合、基礎単語の構造体2300に対する2分木探索を終了する(EOT(End Of Transmission)まで進む)。そして、コンピュータ1100は、1文字目の圧縮対象文字コードを再度レジスタにセットして、特定単一文字の構造体2100に対する2分木探索をおこなう。
一致する文字コードeb(bは葉の番号)が探索された場合、コンピュータ1100は、その葉Lbへのポインタにより葉Lbの構造体にアクセスする。そして、コンピュータ1100は、アクセス先の葉Lbの構造体に格納されている文字コードebの圧縮符号を探索して、圧縮バッファ5000に格納する。
一方、一致する文字コードが出現せず2分木探索を終了した場合、圧縮対象文字コードは特定単一文字コードではないため、コンピュータ1100は、上位8ビットと下位8ビットに分割する。そして、コンピュータ1100は、上位8ビットの分割文字コードについて、分割文字コードの構造体2200に対する2分木探索をおこなう。一致する分割文字コードDc1(c1は葉の番号)が探索された場合、コンピュータ1100は、その葉Lc1へのポインタにより葉Lc1の構造体にアクセスする。そして、コンピュータ1100は、アクセス先の葉Lc1の構造体に格納されている分割文字コードDc1の圧縮符号を探索して、圧縮バッファ5000に格納する。
引き続き、コンピュータ1100は、下位8ビットの分割文字コードについて、分割文字コードの構造体に対する2分木探索をおこなう。一致する分割文字コードDc2(c2は葉の番号)が探索された場合、コンピュータ1100は、その葉Lc2へのポインタにより葉Lc2の構造体にアクセスする。そして、コンピュータ1100は、アクセス先の葉Lc2の構造体に格納されている分割文字コードDc2の圧縮符号を探索して、圧縮バッファ5000に格納する。これにより、対象ファイルFiが圧縮されることとなる。
<対象ファイル群Fsの圧縮処理>
つぎに、第1圧縮部1103による対象ファイル群Fsの圧縮処理の処理手順について説明する。
図51は、第1圧縮部1103による2N分枝無節点ハフマン木Hを用いた対象ファイル群Fsの圧縮処理手順例を示すフローチャートである。まず、コンピュータ1100は、ファイル番号:pをp=1とし(ステップS5101)、対象ファイルFpを読み込む(ステップS5102)。つぎに、コンピュータ1100は、圧縮処理を実行して(ステップS5103)、ファイル番号:pをインクリメントする(ステップS5104)。圧縮処理(ステップS5103)の詳細は図52で説明する。
そして、コンピュータ1100は、p>αであるか否かを判断する(ステップS5105)。αは対象ファイル群Fsのファイル総数である。p>αでない場合(ステップS5105:No)、ステップS5102に戻る。一方、p>αである場合(ステップS5105:Yes)、対象ファイル群Fsの圧縮処理を終了する。
図52は、図51に示した圧縮処理(ステップS5103)の詳細な処理手順を示すフローチャート(その1)である。図52において、まず、コンピュータ1100は、対象ファイル群Fsに圧縮対象文字コードがあるか否かを判断する(ステップS5201)。ある場合(ステップS5201:Yes)、コンピュータ1100は、圧縮対象文字コードを取得してレジスタにセットする(ステップS5202)。そして、コンピュータ1100は、先頭の圧縮対象文字コードか否かを判断する(ステップS5203)。
ここで、先頭の圧縮対象文字コードとは、未圧縮の1文字目の文字コードをいう。先頭である場合(ステップS5203:Yes)、コンピュータ1100は、その圧縮対象文字コードの対象ファイル群Fs上の位置(先頭位置)となるポインタを取得し(ステップS5204)、ステップS5205に移行する。一方、先頭でない場合(ステップS5203:No)、先頭位置を取得せずにステップS5205に移行する。
そして、コンピュータ1100は、基礎単語の構造体2300に対して2分木探索をおこなう(ステップS5205)。圧縮対象文字コードが一致した場合(ステップS5206:Yes)、コンピュータ1100は、連続して一致した文字コード列が基礎単語(の文字コード列)に該当するか否かを判断する(ステップS5207)。該当しない場合(ステップS5207:No)、コンピュータ1100は、ステップS5202に戻って後続の文字コードを圧縮対象文字コードとして取得する。この場合、後続の文字コードは先頭ではないため、先頭位置は取得しないこととなる。
一方、ステップS5207において、基礎単語に該当する場合(ステップS5207:Yes)、コンピュータ1100は、該当する基礎単語の葉L♯へのポインタにより葉L♯の構造体にアクセスする(ステップS5208)。そして、コンピュータ1100は、ポイントされた葉L♯の構造体に格納されている基礎単語の圧縮符号を抽出する(ステップS5209)。
この後、コンピュータ1100は、抽出された圧縮符号を圧縮バッファ5000に格納して(ステップS5210)、ステップS5201に戻る。このループが基礎単語の圧縮処理の流れとなる。ステップS5201において、圧縮対象文字コードがない場合(ステップS5201:No)、コンピュータ1100は、対象ファイルFpから圧縮された圧縮ファイルfpを圧縮バッファ5000からファイル出力して保存する(ステップS5211)。そして、ステップS5104に移行する。一方、ステップS5206において不一致となった場合(ステップS5206:No)、16ビットの文字コードの圧縮処理のループに入る。
図53は、図51に示した圧縮処理(ステップS5103)の詳細な処理手順を示すフローチャート(その2)である。図53において、コンピュータ1100は、ステップS5204で取得された先頭位置のポインタを参照して、対象ファイル群Fsから圧縮対象文字コードを取得してレジスタにセットする(ステップS5301)。
つぎに、コンピュータ1100は、圧縮対象文字コードについて、特定単一文字の構造体2100に対して2分木探索をおこなう(ステップS5302)。一致した場合(ステップS5303:Yes)、コンピュータ1100は、該当する文字の葉L♯へのポインタにより葉L♯の構造体にアクセスする(ステップS5304)。そして、コンピュータ1100は、ポイントされた葉L♯の構造体に格納されている圧縮対象文字コードの圧縮符号を抽出する(ステップS5305)。
この後、コンピュータ1100は、探索された圧縮符号を圧縮バッファ5000に格納して(ステップS5306)、ステップS5201に戻る。このループが16ビットの文字コードの圧縮処理の流れとなる。一方、ステップS5303において一致する文字コードが存在しなかった場合(ステップS5303:No)、分割文字コードの圧縮処理のループに入る。
図54は、図51に示した圧縮処理(ステップS5103)の詳細な処理手順を示すフローチャート(その3)である。図54において、まず、コンピュータ1100は、圧縮対象文字コードを上位8ビットと下位8ビットとに分割し(ステップS5401)、上位8ビットの分割文字コードを抽出する(ステップS5402)。そして、コンピュータ1100は、分割文字コードの構造体2200に対して2分木探索をおこなう(ステップS5403)。
そして、コンピュータ1100は、探索された分割文字コードの葉L♯へのポインタにより葉L♯の構造体にアクセスする(ステップS5404)。そして、コンピュータ1100は、ポイントされた葉L♯の構造体に格納されている分割文字コードの圧縮符号を抽出する(ステップS5405)。この後、コンピュータ1100は、探索された圧縮符号を圧縮バッファ5000に格納する(ステップS5406)。
つぎに、コンピュータ1100は、下位8ビットが探索済みか否かを判断し(ステップS5407)、探索済みでない場合(ステップS5407:No)、コンピュータ1100は、下位8ビットの分割文字コードを抽出して(ステップS5408)、ステップS5403〜S5406を実行する。一方、下位8ビットが探索済みである場合(ステップS5407:Yes)、ステップS5301に戻り、基礎単語の圧縮処理のループに入る。
このように、2N分枝無節点ハフマン木Hを用いた圧縮処理では、内部節点がないため根に向かって探索する必要はなく、ポイントされた葉L♯の構造体に格納されている文字情報を抽出して、圧縮バッファ5000に書き込むだけでよい。したがって、圧縮処理の高速化を図ることができる。
また、圧縮対象文字コードが格納されている葉L♯の構造体を、基礎単語の構造体、特定単一文字コードの構造体および分割文字コードの構造体により即座に特定することができる。したがって、2N分枝無節点ハフマン木Hの葉を探索する必要がなく、圧縮処理の高速化を図ることができる。また、低位文字コードを上位ビットコードと下位ビットコードに分割することで、非特定単一文字を256種の分割文字コードの圧縮符号に圧縮することができる。したがって、圧縮率の向上を図ることができる。
<マップ圧縮の具体例>
つぎに、第2圧縮部1106による圧縮符号マップMs内の各出現マップのマップ圧縮の具体例について説明する。第2圧縮部1106は、圧縮領域内の出現マップを圧縮し、非圧縮領域の出現マップは圧縮しない。圧縮領域とは、ファイル番号1〜αまで採番されている場合に、n×(α/nの商)となるファイル番号までの出現マップのビット列である。たとえば、n=256ビットであり、現在の対象ファイル数α=600である場合、α/nの商は2となるため、ファイル番号1〜2nまでの出現マップのビット列が圧縮領域となる。そして、ファイル番号(2n+1)〜αまでのビット列は非圧縮領域となり圧縮されない。
また、出現マップのビット列は、ファイル総数αが増大することで、ビット列内の“0”が連続する箇所も多くなる。また、出現頻度が高い文字情報については、これとは逆に“1”が連続する箇所が多くなる。したがって、文字の出現率に応じた出現率領域を設定する。出現率領域とは、出現率の範囲である。出現率領域に応じて、出現マップ圧縮用のハフマン木hを割り当てることとする。
図55は、出現率と出現率領域との関係を示す説明図である。出現率が0〜100%の範囲とすると、図55に示したように、A〜E領域およびA´〜E´領域に領域分割することができる。したがって、A〜E領域およびA´〜E´領域で特定された出現率領域に応じて、出現マップ圧縮用のハフマン木hを圧縮パターンとして割り当てる。
図56は、出現率領域別の圧縮パターンを有する圧縮パターンテーブルを示す説明図である。出現率は、図20に示したように、葉L#の構造体の第5領域に格納されているため、葉L#の構造体が指定されることで、圧縮パターンテーブル5600を参照して、圧縮パターンが特定されることとなる。なお、A領域およびA´領域は、非圧縮のため、圧縮パターンとなるハフマン木は存在しない。
図57は、B領域およびB´領域の場合の圧縮パターンを示す説明図である。圧縮パターン5700は、葉が16種のハフマン木hとなる。
図58は、C領域およびC´領域の場合の圧縮パターンを示す説明図である。圧縮パターン5800は、葉が16種+1種のハフマン木hとなる。圧縮パターン5800では、B領域およびB´領域に比べて、“0”が連続する箇所または“1”が連続する箇所が確率的に多くなる。したがって、16ビット連続して値が“0”であるビット列に、符号語“00”が割り当てられている。
図59は、D領域およびD´領域の場合の圧縮パターンを示す説明図である。圧縮パターン5900は、葉が16種+1種のハフマン木となる。圧縮パターン5900では、C領域およびC´領域に比べて、“0”が連続する箇所または“1”が連続する箇所が確率的に多くなる。したがって、32ビット連続して値が“0”であるビット列に、符号語“00”が割り当てられている。
図60は、E領域およびE´領域の場合の圧縮パターンを示す説明図である。圧縮パターン6000は、葉が16種+1種のハフマン木となる。圧縮パターン6000では、D領域およびD´領域に比べて、“0”が連続する箇所または“1”が連続する箇所が確率的に多くなる。したがって、64ビット連続して値が“0”であるビット列に、符号語“00”が割り当てられている。このように、出現率領域に応じて、文字コードが存在しないことを意味する“0”の連続数が増加するため、文字コードの出現率に応じて圧縮符号マップMsの圧縮効率の向上を図ることができる。
(圧縮符号マップ圧縮処理手順)
つぎに、圧縮符号マップ圧縮処理について説明する。圧縮符号マップ圧縮処理は、圧縮領域のビット列を圧縮する処理である。具体的には、図56に示した圧縮パターンテーブル5600と図57〜図60に示した圧縮パターン5700〜6000(ハフマン木h)を用いて、圧縮符号マップMsの圧縮領域のビット列を圧縮する。以下、圧縮符号マップ圧縮処理手順について説明する。
図61は、圧縮符号マップ圧縮処理手順を示すフローチャートである。図61において、まず、コンピュータ1100は、圧縮符号マップMsにおいて、未選択の出現マップへのポインタがあるか否かを判断する(ステップS6101)。未選択のアドレスがある場合(ステップS6101:Yes)、コンピュータ1100は、未選択のアドレスを選択して葉L#の構造体にアクセスし(ステップS6102)、葉L#の構造体の第1領域の中から文字コードを取得する(ステップS6103)。そして、コンピュータ1100は、アクセス先の葉L#の構造体の第5領域から出現率領域を取得することで、取得された文字コードの出現率領域を特定する(ステップS6104)。
このあと、コンピュータ1100は、図59の圧縮パターンテーブル5900を参照して、特定された出現率領域が非圧縮領域(たとえば、出現率領域A、A´)であるか否かを判断する(ステップS6105)。非圧縮領域である場合(ステップS6105:Yes)、ステップS6101に戻り、つぎのアドレスを選択する。
一方、非圧縮領域でない場合(ステップS6105:No)、コンピュータ1100は、特定された出現率領域により、図57〜図60に示した圧縮パターン5700〜6000(ハフマン木h)の中から該当する圧縮パターン(ハフマン木h)を選択する(ステップS6106)。また、コンピュータ1100は、圧縮対象となる取得文字コードの出現マップにおける圧縮領域のビット列を抽出する(ステップS6107)。
そして、コンピュータ1100は、取得文字コードの出現率が50%以上であるか否かを判断する(ステップS6108)。出現率とは、上述したように、対象ファイル群Fs内の全ファイル数を母集団(分母)とし、当該文字情報が存在するファイル数を分子とした値である。出現率領域は、出現率に応じて決められているため(図55を参照)、出現率領域がA〜Eである場合、取得文字コードの出現率が50%以上でないと判断する。一方、出現率領域がA´〜E´である場合、コンピュータ1100は、取得文字コードの出現率が50%以上であると判断する。
そして、出現率が50%以上である場合(ステップS6108:Yes)、コンピュータ1100は、圧縮効率を上げるために、ステップS6107で抽出されたビット列を反転する(ステップS6109)。たとえば、抽出されたビット列が“1110”である場合、“0001”にして、“0”の個数を増やす。そして、コンピュータ1100は、反転後のビット列を、ステップS6106で選択したハフマン木を用いて圧縮して、記憶装置(たとえば、フラッシュメモリや磁気ディスク205)に格納する(ステップS6110)。そして、ステップS6101に戻る。このように、ビット列反転をおこなうことで、出現率領域A´〜E´のハフマン木hを用意する必要がないため、省メモリ化を図ることができる。
一方、ステップS6108において、出現率が50%以上でない場合(ステップS6108:No)、コンピュータ1100は、ビット列反転(ステップS6109)をおこなうことなく、ステップS6107で抽出されたビット列を、ステップS6106で選択したハフマン木を用いて圧縮して(ステップS6110)、ステップS6101に戻る。また、ステップS6101において、未選択のアドレスがない場合(ステップS6101:No)、圧縮符号マップ圧縮処理を終了する。
このような圧縮符号マップ圧縮処理手順により、図3に示したように、文字情報ごとに圧縮領域内のビット列が、出現率に応じて圧縮される。このように、出現率領域に応じて、文字情報が存在しないことを意味する“0”の連続数が増加するため、文字情報の出現率に応じて圧縮符号マップMsの圧縮効率の向上を図ることができる。
また、対象ファイルが後から追加されると、追加された対象ファイルを圧縮する際、圧縮符号マップMsにも文字の存否を示すビット列を追加する必要がある。圧縮前の圧縮符号マップMsでは、ファイル番号:1〜αの出現マップのビット列については、圧縮パターン5700〜6000により圧縮されてレコードごとに符号長が異なる。すなわち、可変長であるため圧縮領域となる。
したがって、図3に示したように、圧縮符号列の先頭(ファイル番号k側)は整列するが末尾(ファイル番号1側)が整列しない。仮に、ビット列の並びを、ファイル番号:1〜αの順に、圧縮符号マップMsへのポインタ(文字情報の圧縮符号)側から割り当てると、追加ファイルのビット列は、圧縮符号列の末尾側に挿入することとなり、圧縮符号列と追加ファイルのビット列とが非連続となってしまう。したがって、あらかじめ、圧縮符号マップMsの圧縮領域のビット列を、先頭位置から末尾位置にかけて対象ファイル群Fsのファイル番号pの降順に配列しておく。そして、圧縮符号マップMsにおいて、出現マップへのポインタ(文字情報の圧縮符号)と圧縮領域との間に非圧縮領域を設定する。
図3を例に挙げると、ファイル番号:1〜2n+1のうち圧縮符号列が整列する側にファイル番号:2n+1のビットを割り当てる。これにより、ファイル番号;1〜2nのビット列を圧縮した場合でも、非圧縮のファイル番号:2n+1〜3nのビット列を挿入しても、ファイル番号順にビット列を連続させることができる。これにより、ファイル番号;1〜2nのビット列が圧縮されても、追加ファイルのファイル番号とそのビットとのずれがなく、対象ファイルの絞込みを正確に実行することができる。
<機能的構成例2>
図62は、本実施の形態にかかるコンピュータまたはコンピュータシステムの機能的構成例2を示すブロック図である。図62において、コンピュータ1100は、指定部6201と、第1伸長部6202と、第1圧縮部1103と、入力部6203と、抽出部6204と、第2伸長部6205と、特定部6206と、セグメント生成部6207と、を備える。指定部6201〜セグメント生成部6207は、具体的には、たとえば、図9に示したROM902、RAM903、磁気ディスク905などの記憶装置に記憶されたプログラムをCPU901に実行させることによりその機能を実現する。なお、指定部6201〜セグメント生成部6207は、それぞれ実行結果を記憶装置に書き込んだり、他の部の実行結果を読み出したりして、それぞれ演算を実行する。以下、指定部6201〜セグメント生成部6207について簡単に説明する。
指定部6201は、対象ファイル群Fs内のいずれかの対象ファイルのオープン指定を受け付ける。具体的には、キーボード、マウス、タッチパネルをユーザが操作することで、指定部6201は、対象ファイルFiのオープン指定を受け付ける。当該オープン指定が受け付けられると、圧縮符号マップMsにおいて、オープン指定された対象ファイルFiのファイル番号iに関連付けられている圧縮ファイルfiへのポインタが指定される。これにより、ポイント先となるアドレスに格納されている、オープン指定された対象ファイルFiの圧縮ファイルfiが読み出される。
指定部6201による指定がマスタサーバにより実行された場合、指定された対象ファイルFiのファイル番号iを第0階層のセグメント数Kで割ったときの商に一致するセグメント番号のセグメントを特定する。これにより、特定されたセグメントから圧縮ファイルfiを指定することができる。
また、指定部6201は、対象ファイルFiの追加指定を受け付ける。具体的には、キーボード、マウス、タッチパネルをユーザが操作することで、指定部6201は、対象ファイルFiの追加指定を受け付ける。当該追加指定が受け付けられると、追加指定された対象ファイルFiが第1圧縮部1103により2N分枝無節点ハフマン木Hで圧縮され、圧縮ファイルfiとして、第0階層の最後尾のセグメントに保存される。
また、指定部6201は、セグメントの集約指定を受け付ける。具体的には、キーボード、マウス、タッチパネルをユーザが操作することで、指定部6201は、セグメントの集約指定を受け付ける。また、セグメントの集約指定は、タイマにより所定時刻または所定時間単位で受け付けてもよい。
第1伸長部6202は、対象ファイルFiの圧縮ファイルfiを、2N分枝無節点ハフマン木Hで伸長する。具体的には、たとえば、第1伸長部6202は、指定部6201によってオープン指定された対象ファイルFiの圧縮ファイルfiを、2N分枝無節点ハフマン木Hで伸長する。また、後述する特定部6206で特定された対象ファイルFiについても2N分枝無節点ハフマン木Hで伸長する。伸長の具体例については後述する。
入力部6203は、検索文字列の入力を受け付ける。具体的には、キーボード、マウス、タッチパネルをユーザが操作することで、入力部6203は、検索文字列の入力を受け付ける。また、入力部6203は、ネットワークを介してクライアント装置から検索文字列を受信することで、検索文字列の入力を受け付ける。
抽出部6204は、入力部6203によって入力された検索文字列内の文字情報の圧縮符号を2N分枝無節点ハフマン木Hから抽出する。具体的には、たとえば、抽出部6204は、検索文字列から、特定単一文字、上位分割文字コード、下位分割文字コード、2グラム文字列、および基礎単語のうち該当する文字情報を抽出する。
たとえば、検索文字列が「人形」である場合、特定単一文字「人」、「形」と、2グラム文字列「人形」が抽出される。これにより、抽出部6204は、抽出された文字情報の圧縮符号を2N分枝無節点ハフマン木Hで特定し、圧縮符号マップMsの該当する出現マップをポイントすることができる。たとえば、特定単一文字「人」の圧縮済みの出現マップと、「形」の圧縮済みの出現マップと、2グラム文字列「人形」の圧縮済みの出現マップとをポイントすることができる。
図7に示したコンピュータシステムでは、マスタサーバMSが抽出部6204による文字情報の抽出をおこない、2N分枝無節点ハフマン木Hで抽出文字情報の圧縮符号を取得する。取得された圧縮符号は、出現マップへのポインタとなるため、スレーブサーバS1,S2,…に送信される。
第2伸長部6205は、抽出部6204によって抽出された圧縮済みの出現マップを伸長する。具体的には、文字情報の出現率から出現率領域が特定できるため、第2伸長部6205は、特定された出現率領域に応じたマップ用のハフマン木により、圧縮済みの出現マップの圧縮領域を伸長する。たとえば、上記の例では、すべてのアーカイブファイル(図7を参照)において、特定単一文字「人」の圧縮済みの出現マップと、「形」の圧縮済みの出現マップと、2グラム文字列「人形」の圧縮済みの出現マップとが、伸長される。
図7に示したコンピュータシステムでは、マスタサーバMSおよびスレーブサーバS1,S2,…の各々で、第2伸長部6205による伸長処理が実行されることになる。
特定部6206は、第2伸長部6205による伸長後の出現マップ群および削除マップDのAND演算を実行することで、検索文字列内の文字情報を含む対象ファイルの圧縮ファイルを圧縮ファイル群から特定する。上記の例では、特定部6206は、特定単一文字「人」の圧縮済みの出現マップと、「形」の圧縮済みの出現マップと、2グラム文字列「人形」の圧縮済みの出現マップと、削除マップと、をAND演算する。
このAND演算は、図8に示したように、最上位階層のセグメントから実行され、最終的に第0階層のセグメントに絞り込まれ、絞り込まれた第0階層のセグメントでAND演算が実行される。なお、図8では簡略化のため、2グラム文字列「人形」の圧縮済みの出現マップは省略されている。
図7に示したコンピュータシステムでは、マスタサーバMSは、最上位階層から第1階層のセグメントについて特定部6206による絞込みをおこない、検索文字列を含む対象ファイルのファイル番号を、当該ファイル番号を管理するスレーブサーバに送信する。ファイル番号を受信したスレーブサーバは、特定部6206による特定処理により、出現マップおよび削除マップでAND演算することで、圧縮ファイルを絞り込むことになる。
これにより、図8に示したように、ファイル番号3,19(の圧縮ファイルf3,f19)が特定される。第1伸長部6202では、特定部6206によって特定された圧縮ファイル(上記の例では圧縮ファイルf3,f19)を2N分枝無節点ハフマン木Hで伸長することとなる。
このあと、スレーブサーバで絞り込まれた圧縮ファイルは、マスタサーバMSに送信される。マスタサーバMSは、スレーブサーバからの圧縮ファイルを、第1伸長部6202により2N分枝無節点ハフマン木Hで伸長する。伸長された対象ファイル(上記の例ではF3、F19)は、ディスプレイなどの表示装置に表示される。また、検索文字列がクライアント装置から受け付けられている場合は、マスタサーバMSがクライアント装置に、検索結果として伸長された対象ファイル(上記の例ではF3、F19)を送信することになる。また、特定部6206において圧縮ファイルが特定されなかった場合は、その旨の検索結果を返すことになる。
セグメント生成部6207は、対象ファイルの追加指定が受け付けられると、現在のファイル総数αが1セグメントあたりのファイル数nの倍数であるか否かを判断する。nの倍数である場合は、最後尾のセグメントには追加指定された対象ファイルの圧縮ファイルを保存できる空き領域がないため、あらたに第0階層のセグメントを生成する。セグメントがあらたに生成されると、図1や図6に示したように、管理領域間での関連付けをおこなう。そして、あらたなセグメントに対し追加される圧縮ファイルが順次格納されることになる。
セグメント生成部6207を実行するコンピュータがマスタサーバMSの場合は、最後尾のセグメントを有するスレーブサーバに対し、第0階層のあらたなセグメントの生成指示を送信する。また、最後尾のセグメントを保持するスレーブサーバに、あらたなセグメントを保持する空き領域がない場合は、他のスレーブサーバに第0階層のあらたなセグメントの生成指示を送信する。そして、あらたなセグメントが生成されると、マスタサーバMSは、追加された圧縮ファイルを順次送信することとなる。これにより、あらたなセグメントに、追加された圧縮ファイルが順次格納されることになる。
また、セグメント生成部6207は、出現マップや削除マップの集約をおこなう。具体的には、たとえば、セグメント生成部6207は、図4に示したように、出現マップごとに、上位階層への集約をおこなう。そして、セグメント生成部6207は、図4に示したように、集約先の上位階層のセグメント(たとえば、セグメントsg1(1))の管理領域と、集約元の上位階層のセグメント群(たとえば、セグメントsg0(1)〜sg0(m))の各管理領域との間での関連付けをおこなう。この集約処理は削除マップについても同様に実行される。
<ファイル伸長例>
図63は、ファイル伸長例を示す説明図である。ファイル伸長例で示す処理は、入力部6203、抽出部6204、第2伸長部6205、特定部6206、第1伸長部6202により実行される。(G1)まず、入力部6203により検索文字列「人形」が入力された場合、検索文字列「人形」を構成する文字「人」、「形」について特定単一文字の構造体2100に対し2分探索することで、特定単一文字「人」、「形」が検索される。特定単一文字の構造体2100には、2N分枝無節点ハフマン木Hの葉(特定単一文字)へのポインタが関連付けられている。したがって、特定単一文字の構造体でヒットすると、2N分枝無節点ハフマン木Hの葉を直接指定することができる。
(G2)2N分枝無節点ハフマン木Hの葉を直接指定すると、当該葉の構造体内の照合フラグがONに設定され、圧縮符号が抽出される。圧縮符号は特定単一文字の出現マップへのポインタとなるため、直接指定することができる。本例の場合、特定単一文字「人」、「形」の圧縮符号が抽出されるため、「人」の出現マップと「形」の出現マップとが抽出される。また、「人」の圧縮符号および「形」の圧縮符号を連結した連結圧縮符号も2グラム文字列の出現マップへのポインタとなるため、直接指定することができる。したがって、2グラム文字列「人形」の出現マップも抽出される。
(G3)抽出された3個の出現マップは、マップ用ハフマン木により伸長される。このあと、図8に示したように、特定部6206が、最上位階層のセグメントから絞込みを行って、セグメントsg0(1)において、伸長された出現マップと削除マップとによりAND演算を実行して、AND結果が得られる。
(G4)セグメントsg0(1)のAND結果においてファイル番号3がONになっているため、検索文字列「人形」が対象ファイルF3に存在することが判明する。したがって、圧縮ファイル群fsから圧縮ファイルf3が抽出される。これにより伸長すべき圧縮ファイルが絞り込まれることになり、無駄な伸長処理を低減することができる。
(G5)最後に、抽出された圧縮ファイルf3を圧縮状態のまま、照合、伸長することで、伸長後の対象ファイルF3がオープンされる。なお、「人」、「形」の葉の構造体では照合フラグがONになっているため、「人」、「形」の伸長の際、強調表示となるように文字列置換されて伸長される。たとえば、照合フラグがONである「人」、「形」については、<B></B>タグではさんで伸長することで、太字で表示される。照合フラグがOFFの文字については<B></B>タグではさむことなくそのまま伸長する。
<伸長処理の具体例>
つぎに、図63での伸長処理の具体例について説明する。ここでは、検索文字列「人形」の圧縮符号列を用いて圧縮ファイルfiについて照合しながら伸張する例について説明する。なお、例として、特定単一文字「人」の圧縮符号を「1100010011」(10ビット)とし、特定単一文字「形」の圧縮符号を「0100010010」(10ビット)とする。
また、伸長処理では、レジスタに圧縮符号列をセットし、マスクパターンにより圧縮符号を抽出する。抽出した圧縮符号を、1パス(1枝分のアクセス)で2N分枝無節点ハフマン木Hの根から探索する。そして、アクセスした葉L♯の構造体に格納されている文字コードを読み出して伸長バッファに格納する。
また、圧縮符号を抽出するため、マスクパターンのマスク位置をオフセットする。また、マスクパターンの初期値を“0xFFF00000”とする。このマスクパターンは先頭12ビットが“1”であり、後続の20ビットが“0”のビット列である。
図64および図65は、図63での伸長処理の具体例を示す説明図である。図64では、特定単一文字「人」についての伸張例(A)を示している。図64において、まず、CPUは、ビットアドレスabiとバイトオフセットbyosとビットオフセットbiosとを算出する。ビットアドレスabiは、抽出された圧縮符号のビット位置を示す値であり、今回のビットアドレスabiは、前回のビットアドレスabiに前回抽出された圧縮符号の圧縮符号長legを加算した値となる。なお、初期状態では、ビットアドレスabiはabi=0とする。
バイトオフセットbyosは、メモリに保持されている圧縮符号列のバイト境界を示す値であり、ビットアドレスabi/8の商で求められる。たとえば、バイトオフセットbyos=0のときは、メモリに記憶されている先頭からの圧縮符号列をレジスタにセットし、バイトオフセットbyos=1のときは、メモリに記憶されている先頭1バイト目からの圧縮符号列をレジスタにセットする。
また、ビットオフセットbiosは、マスクパターンのマスク位置(“FFF”)をオフセットする値であり、ビットアドレスabi/8の余りである。たとえば、ビットオフセットbios=0のときは、マスク位置はシフトされないこととなり、マスクパターンは、“0xFFF00000”となる。一方、ビットオフセットbios=4のときは、マスク位置は末尾方向に4ビットシフトすることとなり、マスクパターンは、“0x0FFF0000”となる。
レジスタシフト数rsは、マスクパターンとのAND演算後のレジスタ内の圧縮符号列を末尾方向にシフトするビット数であり、rs=32−12−biosで求められる。このシフトにより、シフト後のレジスタの末尾mビットのビット列を対象ビット列として抽出する。対象ビット列の抽出後はレジスタをクリアする。
なお、メモリ内のブロックは1バイトのビット列を示しており、内部の数字は、バイト境界となるバイト位置を示している。図64では、ビットアドレスabi=0により、バイトオフセットbyos=0、ビットオフセットbios=0となる。バイトオフセットbyos=0により、メモリに保持されている圧縮符号列のうち先頭から4バイト分(図中、網掛け)の圧縮符号列をレジスタにセットする。
また、ビットオフセットbios=0により、マスクパターンは、“0xFFF00000”である。したがって、レジスタにセットされた圧縮符号列とマスクパターン“0xFFF00000”を論理積(AND)演算することにより、AND結果が得られる。
また、ビットオフセットbios=0により、レジスタシフト数rsは、rs=32−m―bios=32−12−0=20となる。したがって、レジスタ内のAND結果を末尾方向に20ビット分シフトする。このシフトによりレジスタには、“110001001100”が残されるため、末尾12ビットを対象ビット列として抽出する。この場合は、“110001001100”が対象ビット列として抽出される。抽出後、レジスタはクリアされる。
N分枝無節点ハフマン木Hの根の構造体には、抽出された対象ビット列“110001001100”があるため、この対象ビット列と一致する葉L♯へのポインタ(枝番号)を探索する。この場合、葉L97へのポインタ群の中の1つと一致するため、該当する葉L97へのポインタを読み出して、葉L97の構造体にアクセスする。
葉L97の構造体には、文字コード“0xBA4E”が格納されているため、当該文字コード“0xBA4E”を抽出して伸長バッファに格納する。この場合、照合フラグがONであるため、文字コード“0xBA4E”を<B></B>タグで挟み込んで格納する。
また、葉L97の構造体には、文字コード“0xBA4E”の圧縮符号長leg(=10ビット)も格納されているため、文字コード“0xBA4E”の圧縮符号長legも抽出する。この抽出された圧縮符号長legによりビットアドレスabiを更新する。この場合、更新後のビットアドレスabiはabi=0+10=10となる。
図65では、特定単一文字「形」について伸張する例(B)を示している。具体的には、図64の状態(A)からレジスタをビットオフセットbios分シフトした場合、前回である(A)のビットアドレスabiはabi=0、圧縮符号長legは10ビットであるため、(B)のビットアドレスabiはabi=10ビットとなる。
また、このビットアドレスabi=10により、バイトオフセットbyos=1、ビットオフセットbios=2となる。バイトオフセットbyos=1により、メモリに保持されている圧縮符号列のうち先頭1バイト目から4バイト分(図中、網掛け)の圧縮符号列をレジスタにセットする。
また、ビットオフセットbios=2により、マスクパターンは、“0x3FFC0000”である。したがって、レジスタにセットされた圧縮符号列とマスクパターン“0x3FFC0000”を論理積(AND)演算することにより、AND結果が得られる。
また、ビットオフセットbios=2により、レジスタシフト数rsは、rs=32−m−bios=32−12−2=18となる。したがって、レジスタ内のAND結果を末尾方向に18ビット分シフトする。このシフトによりレジスタには、“00000100010010”が残されるため、末尾10ビットを対象ビット列として抽出する。この場合は、“0100010010”が対象ビット列として抽出される。抽出後、レジスタはクリアされる。
N分枝無節点ハフマン木Hの根の構造体には、抽出された対象ビット列“0100010010”があるため、このビット列と一致する葉L♯へのポインタ(枝番号)を探索する。この場合、対象ビット列“0100010010”が葉L105へのポインタ群の中の1つと一致するため、該当する葉L105へのポインタを読み出して、葉L24の構造体にアクセスする。
葉L105の構造体には、文字コード“0x625F”が格納されているため、当該文字コード“0x625F”を抽出して伸長バッファに格納する。ファイル伸長例(G1)の場合は、そのまま伸長バッファに格納するが、ファイル伸長例(G2)の場合は、照合フラグがONであるため、文字コード“0x625F”を<B></B>タグで挟み込んで格納する。また、葉L105の構造体には、文字コード“0x625F”の圧縮符号長leg(=8ビット)も格納されているため、文字コード“0x625F”の圧縮符号長legも抽出する。この抽出された圧縮符号長legによりビットアドレスabiを更新する。この場合、更新後のビットアドレスabiはabi=10+8=18となる。このようにして伸長することで、対象ファイルがオープンされることとなる。
<ファイル追加処理の具体例>
つぎに、ファイル追加処理の具体例について説明する。ここでは、圧縮済みの圧縮符号マップMsを伸長することなく、セグメント生成部6207が、追加対象となる対象ファイルF(n+1)の追加と、圧縮符号マップMsの更新とを実行する。
図66は、ファイル追加処理の具体例を示す説明図である。図66では、対象ファイルF(n+1)を追加する場合を例に挙げて説明する。まず、図63のファイル伸長例により、圧縮ファイル群fsから圧縮ファイルf3が伸長され、伸長後の対象ファイルF3がメインメモリ(たとえば、RAM903)上に書き出されたとする。ここで、対象ファイルF(n+1)に変更し、新規保存指示を与えたとする。この場合、メインメモリ上の対象ファイルF(n+1)にはあたらしく採番されたファイル番号n+1が割り与えられる。すなわち、セグメントsg0(1)には空き領域がないため、セグメントsg0(2)が設定され、セグメントsg0(1)との間で関連付けがおこなわれる。
(I)そして、対象ファイルF(n+1)を2N分枝無節点ハフマン木Hで圧縮して圧縮ファイルf(n+1)とし、セグメントsg0(2)に保存する。(J)また、メインメモリ上の対象ファイルF(n+1)の文字情報を集計部1101により集計することで、文字情報の存否を検出することができる。したがって、新たに採番されたファイル番号n+1のビットを、各文字情報の出現マップに追加(デフォルトはOFF)し、文字情報が出現したビットについてONにする。また、ファイル番号n+1のビットを削除マップDにも追加(デフォルトはON)する。
(K)また、圧縮ファイルf(n+1)については、セグメントsg0(2)の管理領域においてポインタが関連付けされる。これにより、以降において、セグメントsg0(2)においてファイル番号(n+1)が指定されると、圧縮ファイルf(n+1)を伸長して対象ファイルF(n+1)をオープンすることができる。
また、図7に示したコンピュータシステムにおいて、ファイル総数がαであるとすると、α=ファイル番号m×nの場合、スレーブサーバS1にのみアーカイブファイルA0(1)が格納されている。そして、あらたに対象ファイルF(m×n+1)が追加される場合、マスタサーバMSは、対象ファイルF(m×n+1)の圧縮ファイルf(m×n+1)を、割当先となるスレーブサーバS2に送信する。割当先をどのスレーブサーバにするかはあらかじめ決めておくものとする。スレーブサーバS2は、スレーブサーバS1のセグメントsg0(m)の後続セグメントとしてセグメントsg0(m+1)を生成して、マスタサーバMSからの圧縮f(m×n+1)を保存することになる。
図67は、セグメント追加処理の詳細な処理手順を示すフローチャートである。まず、コンピュータ1100は、指定部6201によりファイル追加が指定されるのを待ち受ける(ステップS6701:No)。ファイル追加の指定がされた場合(ステップS6701:Yes)、コンピュータ1100は、保存対象セグメントsg0(K)を特定する(ステップS6702)。具体的には、ファイル数iを1セグメントあたりのファイル数nで除算した商と同じ番号のセグメントを保存対象セグメントsg0(K)とする。
そして、コンピュータ1100は、ファイル数iをインクリメントして(ステップS6703)、i>Knであるか否かを判断する(ステップS6704)。i>Knでない場合(ステップS6704:No)、現セグメントsg0(K)にはまだ圧縮ファイルを保存できるため、コンピュータ1100は、追加ファイルによるマップ更新処理を実行する(ステップS6709)。追加ファイルによるマップ更新処理(ステップS6709)の詳細については後述する。
このあと、コンピュータ1100は、追加ファイルを2N分枝無節点ハフマン木Hで圧縮して(ステップS6710)、圧縮追加ファイルを保存対象セグメントsg0(K)に保存する(ステップS6711)。そして、コンピュータ1100は、保存対象セグメントsg0(K)の管理領域AKに、圧縮追加ファイルへのポインタを関連付ける(ステップS6712)。これにより、セグメント追加処理を終了する。
また、ステップS6704において、i>Knである場合(ステップS6704:Yes)、現セグメントsg0(K)では圧縮追加ファイルを保存できないため、コンピュータ1100は、現セグメントsg0(K)の圧縮符号マップをマップ用ハフマン木で圧縮する(ステップS6705)。そして、コンピュータ1100は、新セグメントの領域を確保して(ステップS6706)、セグメント番号Kをインクリメントする(ステップS6707)。このあと、コンピュータ1100は、インクリメント後のセグメントsg0(K)とその先行セグメントとのポインタの連携処理を実行する(ステップS6708)。これにより、図1に示したように、先行セグメントと関連付けされることとなる。このあと、ステップS6709に移行する。
図68は、図67に示した追加ファイルによるマップ更新処理(ステップS6709)の詳細な処理手順を示すフローチャート(前半)である。まず、コンピュータ1100は、圧縮符号マップMsおよび削除マップDsにおいて、追加ファイルのファイル番号のビットを設定する(ステップS6801)。具体的には、出現マップについてはOFFのビットを追加ファイルのファイル番号に対して設定し、削除マップDについてはONのビットを追加ファイルのファイル番号に対して設定する。
つぎに、コンピュータ1100は、追加ファイル内の先頭文字を対象文字に設定し(ステップS6802)、対象文字について最長一致検索処理を実行する(ステップS6803)。最長一致検索処理(ステップS6803)は、図31に示した処理と同一処理であるため説明を省略する。
このあと、コンピュータ1100は、最長一致した基礎単語が基礎単語の構造体2300にあるか否かを判断する(ステップS6804)。ない場合(ステップS6804:No)、図69のステップS6901に移行する。一方、ある場合(ステップS6804:Yes)、コンピュータ1100は、最長一致した基礎単語の圧縮符号を2N分枝無節点ハフマン木Hから特定して、当該圧縮符号により、最長一致した基礎単語の出現マップを指定する(ステップS6805)。そして、コンピュータ1100は、指定された出現マップにおいて追加ファイルのファイル番号に対応するビットをONにする(ステップS6806)。このあと、図69のステップS6901に移行する。
図69は、図67に示した追加ファイルによるマップ更新処理(ステップS6709)の詳細な処理手順を示すフローチャート(後半)である。まず、コンピュータ1100は、対象文字が特定単一文字であるか否かを判断する(ステップS6901)。具体的には、たとえば、コンピュータ1100は、対象文字が特定単一文字の構造体でヒットしたか否かを判断する。
対象文字が特定単一文字である場合(ステップS6901:Yes)、コンピュータ1100は、ヒットした特定単一文字の圧縮符号を2N分枝無節点ハフマン木Hから特定して、当該圧縮符号により、ヒットした特定単一文字の出現マップを指定する(ステップS6902)。そして、コンピュータ1100は、指定された出現マップにおいて追加ファイルのファイル番号に対応するビットをONにする(ステップS6903)。このあと、ステップS6909に移行する。
一方、対象文字が特定単一文字でない場合(ステップS6901:No)、コンピュータ1100は、対象文字を上位分割文字コードと下位分割文字コードとに分割する(ステップS6904)。そして、コンピュータ1100は、分割文字コードの構造体でヒットした上位分割文字コードの圧縮符号を2N分枝無節点ハフマン木Hから特定して、当該圧縮符号により、ヒットした上位分割文字コードの出現マップを指定する(ステップS6905)。そして、コンピュータ1100は、指定された出現マップにおいて追加ファイルのファイル番号に対応するビットをONにする(ステップS6906)。
同様に、コンピュータ1100は、分割文字コードの構造体でヒットした下位分割文字コードの圧縮符号を2N分枝無節点ハフマン木Hから特定して、当該圧縮符号により、ヒットした下位分割文字コードの出現マップを指定する(ステップS6907)。そして、コンピュータ1100は、指定された出現マップにおいて追加ファイルのファイル番号に対応するビットをONにする(ステップS6908)。このあと、ステップS6909に移行する。
また、ステップS6909において、コンピュータ1100は、2グラム文字列特定処理を実行する(ステップS6909)。2グラム文字列特定処理(ステップS6909)は、図37に示した処理と同一処理であるため説明を省略する。
このあと、コンピュータ1100は、2グラム文字列(たとえば「人形」)のうち先頭グラム文字(たとえば、「人」)の圧縮符号と末尾グラム文字(たとえば、「形」)の圧縮符号とを連結する(ステップS6910)。つぎに、コンピュータ1100は、連結圧縮符号により、2グラム文字列の出現マップを指定する(ステップS6911)。そして、コンピュータ1100は、指定された出現マップにおいて追加ファイルのファイル番号に対応するビットをONにして(ステップS6912)、一連の処理を終了する。
<セグメント階層化処理>
つぎに、セグメント階層化処理について説明する。セグメント階層化処理とは、図4および図5に示したように、下位階層のセグメント群のインデックス情報群を上位階層のインデックス情報に集約していく処理である。セグメント階層化処理は、セグメント生成部6207が実行する。
図70は、セグメント階層化処理の詳細な処理手順を示すフローチャートである。図70において、コンピュータ1100は、指定部により、セグメントの集約指定を待ち受ける(ステップS7001:No)。集約指定が受け付けられた場合(ステップS7001:Yes)、コンピュータ1100は、出現マップを指定するポインタである圧縮符号を順次選択する(ステップS7002)。具体的には、未選択の圧縮符号がある場合(ステップS7002:Yes)、コンピュータ1100は、未選択の圧縮符号を1つ選択し(ステップS7003)、選択出現マップ集約処理を実行する(ステップS7004)。選択出現マップ集約処理(ステップS7004)の詳細については後述する。
選択出現マップ集約処理(ステップS7004)のあと、ステップS7002に戻る。そして、未選択の圧縮符号がない場合(ステップS7002:No)、コンピュータ1100は、削除マップ集約処理を実行する(ステップS7005)。削除マップ集約処理(ステップS7005)の詳細については後述する。これにより、セグメント階層化処理を終了する。
図71は、図70に示した選択出現マップ集約処理(ステップS7004)の詳細な処理手順を示すフローチャートである。まず、コンピュータ1100は、f=0、h=f+1、j=1に設定する(ステップS7101)。ここで、fは対象となる階層番号であり、hは対象階層の上位階層の階層番号である。jはセグメント番号である。つぎに、コンピュータ1100は、対象階層である第f階層のセグメントsgf(j)〜sgf(j+m−1)で圧縮ファイルの空き領域があるか否かを判断する(ステップS7102)。mは、集約可能なセグメント数である。
空き領域がない場合(ステップS7102:No)、第f階層のセグメントsgf(j)〜sgf(j+m−1)の各々には圧縮ファイルが最大限格納されているため、コンピュータ1100は、上位階層である第h階層のセグメントsgh(j)に集約済みであるか否かを判断する(ステップS7103)。具体的には、たとえば、コンピュータ1100は、第h階層のセグメントsgh(j)が存在するか否かを判断する。
集約済みでない場合(ステップS7103:No)、コンピュータ1100は、上位セグメントsgh(j)を設定し、上位セグメントsgh(j)内に選択圧縮符号のインデックス領域を確保する(ステップS7104)。そして、a=jに設定する(ステップS7105)。ここで、aは対象セグメントsgh(j)を特定する変数である。
そして、コンピュータ1100は、a=j+mか否かを判断する(ステップS7106)。a=j+mでない場合(ステップS7106:No)、第f階層のセグメントsgf(j)〜sgf(j+m−1)のすべてについて集約処理が完了していない。したがって、コンピュータ1100は、選択圧縮符号についてセグメントsgf(a)のインデックス情報を抽出する(ステップS7107)。
そして、コンピュータ1100は、抽出されたセグメントsgf(a)のインデックス情報であるビット列がオール0、すなわち、選択圧縮符号についての文字情報がセグメントsgf(a)内の圧縮ファイル群のいずれにも存在していないか否かを判断する(ステップS7108)。
オール0の場合(ステップS7108:Yes)、コンピュータ1100は、上位セグメントsgh(a)に集約結果として「0」を書き込み(ステップS7109)、ステップS7111に移行する。一方、オール0でない場合(ステップS7108:No)、上位セグメントsgh(a)に集約結果として「1」を書き込み(ステップS7110)、ステップS7111に移行する。ステップS7111では、aをインクリメントし(ステップS7111)、ステップS7106に戻る。
また、ステップS7106において、a=j+mになった場合(ステップS7106:Yes)、第f階層のセグメントsgf(j)〜sgf(j+m−1)のすべてについて集約処理が完了したことになる。したがって、コンピュータ1100は、上位セグメントsgh(j)と第f階層のセグメントsgf(j)〜sgf(j+m−1)との間でポインタによる関連付けをおこなう(ステップS7112)。このあと、j=j+mにしてjをセグメントm個分シフトして(ステップS7113)、ステップS7102に戻る。
また、ステップS7102において、空き領域がある場合(ステップS7102:Yes)、第f階層のセグメントsgf(j)〜sgf(j+m−1)の集約処理を実行できないため、f=f+1,j=1とする(ステップS7114)。そして、コンピュータ1100は、セグメントsgf(j)が存在するか否かを判断する(ステップS7115)。存在する場合(ステップS7115:Yes)、ステップS7102に戻る。これにより、段階的に階層を上げて集約することができる。一方、存在しない場合(ステップS7115:No)、ステップS7002に戻る。
図72は、図70に示した削除マップ集約処理(ステップS7005)の詳細な処理手順を示すフローチャートである。まず、コンピュータ1100は、f=0、h=f+1、j=1に設定する(ステップS7201)。ここで、fは対象となる階層番号であり、hは対象階層の上位階層の階層番号である。jはセグメント番号である。つぎに、コンピュータ1100は、対象階層である第f階層のセグメントsgf(j)〜sgf(j+m−1)で圧縮ファイルの空き領域があるか否かを判断する(ステップS7202)。mは、集約可能なセグメント数である。
空き領域がない場合(ステップS7202:No)、第f階層のセグメントsgf(j)〜sgf(j+m−1)の各々には圧縮ファイルが最大限格納されているため、コンピュータ1100は、上位階層である第h階層のセグメントsgh(j)に集約済みであるか否かを判断する(ステップS7203)。具体的には、たとえば、コンピュータ1100は、第h階層のセグメントsgh(j)が存在するか否かを判断する。
集約済みでない場合(ステップS7203:No)、コンピュータ1100は、上位セグメントsgh(j)内に削除マップのインデックス領域を確保する(ステップS7204)。そして、a=jに設定する(ステップS7205)。ここで、aは対象セグメントsgh(j)を特定する変数である。
そして、コンピュータ1100は、a=j+mか否かを判断する(ステップS7206)。a=j+mでない場合(ステップS7206:No)、第f階層のセグメントsgf(j)〜sgf(j+m−1)のすべてについて集約処理が完了していない。したがって、コンピュータ1100は、削除マップについてセグメントsgf(a)のインデックス情報を抽出する(ステップS7207)。
そして、コンピュータ1100は、抽出されたセグメントsgf(a)のインデックス情報であるビット列がオール0、すなわち、セグメントsgf(a)内の圧縮ファイル群が削除された否かを判断する(ステップS7208)。
オール0の場合(ステップS7208:Yes)、コンピュータ1100は、上位セグメントsgh(a)に集約結果として「0」を書き込み(ステップS7209)、ステップS7211に移行する。一方、オール0でない場合(ステップS7208:No)、コンピュータ1100は、上位セグメントsgh(a)に集約結果として「1」を書き込み(ステップS7210)、ステップS7211に移行する。ステップS7211では、aをインクリメントし(ステップS7211)、ステップS7206に戻る。
また、ステップS7206において、a=j+mになった場合(ステップS7206:Yes)、第f階層のセグメントsgf(j)〜sgf(j+m−1)のすべてについて集約処理が完了したことになる。したがって、コンピュータ1100は、上位セグメントsgh(j)と第f階層のセグメントsgf(j)〜sgf(j+m−1)との間でポインタによる関連付けをおこなう(ステップS7212)。このあと、j=j+mにしてjをセグメントm個分シフトして(ステップS7213)、ステップS7202に戻る。
また、ステップS7202において、空き領域がある場合(ステップS7202:Yes)、第f階層のセグメントsgf(j)〜sgf(j+m−1)について集約処理を実行できないため、f=f+1,j=1とする(ステップS7214)。そして、コンピュータ1100は、セグメントsgf(j)が存在するか否かを判断する(ステップS7215)。存在する場合(ステップS7215:Yes)、ステップS7202に戻る。これにより、段階的に階層を上げて集約することができる。一方、存在しない場合(ステップS7215:No)、ステップS7002に戻る。
このように、セグメント階層化処理を実行することで、図4および図5に示したようにセグメントの階層化が実現される。したがって、図7に示したようなアーカイブファイルの階層構造を構築することができる。
<検索処理手順>
つぎに、本実施の形態にかかる検索処理手順について説明する。具体的には、たとえば、図63に示したファイル伸長例についての処理手順となる。
図73は、本実施の形態にかかる検索処理手順を示すフローチャートである。まず、コンピュータ1100は、検索文字列の入力を待ち受け(ステップS7301:No)、検索文字列が入力された場合(ステップS7301:Yes)、ポインタ特定処理(ステップS7302)、ファイル絞込み処理(ステップS7303)、伸長処理(ステップS7304)を実行する。ポインタ特定処理(ステップS7302)は、検索文字列から出現マップを指定するポインタとなる圧縮符号を特定する。ポインタ特定処理(ステップS7302)の詳細は、図74および図75で説明する。
ファイル絞込み処理(ステップS7303)は、図8に示したように、階層構造セグメント群から検索文字列を構成する文字情報が存在する対象ファイルFiの圧縮ファイルfiを絞り込む。ファイル絞込み処理(ステップS7303)の詳細は、図76で説明する。
伸長処理(ステップS7304)は、ファイル絞込み処理(ステップS7303)で絞り込まれた圧縮ファイルfiを伸長する過程で、伸長対象となる圧縮符号列と検索文字列の圧縮文字列とを照合する。伸長処理(ステップS7304)の詳細は、図77および図78で説明する。
図74は、図73に示したポインタ特定処理(ステップS7302)の詳細な処理手順を示すフローチャート(その1)である。まず、コンピュータ1100は、検索文字列を対象文字列に設定し(ステップS7401)、最長一致検索処理を実行する(ステップS7402)。最長一致検索処理(ステップS7402)は、図31に示した最長一致検索処理(ステップS2901)と同一処理であるため説明を省略する。
そして、コンピュータ1100は、基礎単語の構造体において、最長一致検索処理(ステップS7402)で得られた最長一致検索結果を2分探索する(ステップS7403)。最長一致検索結果が、基礎単語の構造体で探索された場合(ステップS7403:Yes)、探索された基礎単語の圧縮符号を2N分枝無節点ハフマン木Hから取得して検索バッファに保存する(ステップS7404)。
そして、コンピュータ1100は、対象文字列に後続があるか否かを判断する(ステップS7405)。後続がある場合(ステップS7405:Yes)、コンピュータ1100は、後続文字列を対象文字列に設定して(ステップS7406)、最長一致検索処理(ステップS7402)に戻る。一方、後続がない場合(ステップS7405:No)、ポインタ特定処理(ステップS7302)は終了し、ファイル絞込み処理(ステップS7303)に移行する。
また、ステップS7403において、最長一致検索結果が、基礎単語の構造体で探索されなかった場合(ステップS7403:No)、図75のステップS7501に移行する。具体的には、最長一致検索結果が基礎単語の構造体に登録されていない場合、または、最長一致検索で最長一致候補がなかった場合(ステップS7403:No)に、図75のステップS7501に移行する。
図75は、図73に示したポインタ特定処理(ステップS7302)の詳細な処理手順を示すフローチャート(その2)である。まず、コンピュータ1100は、対象文字列の先頭文字を対象文字に設定する(ステップS7501)。つぎに、コンピュータ1100は、特定単一文字の構造体において対象文字を2分探索する(ステップS7502)。対象文字が探索された場合(ステップS7503:Yes)、コンピュータ1100は、特定単一文字の圧縮符号を2N分枝無節点ハフマン木Hから取得して検索バッファに保存する(ステップS7504)。
一方、ステップS7503において、探索されなかった場合(ステップS7503:No)、コンピュータ1100は、対象文字を上位8ビットと下位8ビットに分割する(ステップS7505)。そして、コンピュータ1100は、上位分割文字コードの圧縮符号を2N分枝無節点ハフマン木Hから取得して検索バッファに保存する(ステップS7506)。
また、コンピュータ1100は、下位分割文字コードの圧縮符号を2N分枝無節点ハフマン木Hから取得して検索バッファに保存する(ステップS7507)。また、コンピュータ1100は、対象文字やステップS7505で分割された分割文字コードについて、2N分枝無節点ハフマン木Hの葉にアクセスし、照合フラグをONにする(ステップS7508)。このあと、コンピュータ1100は、2グラム文字列特定処理を実行する(ステップS7509)。2グラム文字列特定処理(ステップS7509)は、図37に示した2グラム文字列特定処理(ステップS3406)と同一処理であるため説明を省略する。
そして、コンピュータ1100は、2グラム文字列特定処理(ステップS7509)で2グラム文字列が特定されなかった場合(ステップS7510:No)、図74のステップS7405に戻る。一方、2グラム文字列が特定された場合(ステップS7510:Yes)、コンピュータ1100は、2グラム文字列の圧縮符号を2N分枝無節点ハフマン木Hから取得して検索バッファに保存する(ステップS7511)。具体的には、たとえば、コンピュータ1100は、第1グラムの圧縮符号および第2グラムの圧縮符号を2N分枝無節点ハフマン木Hにアクセスすることで取得、連結し、2グラム文字列の圧縮符号マップMから連結圧縮符号で指定された出現マップを取得する。そして、図74のステップS7405に戻る。
図76は、図73に示したファイル絞込み処理(ステップS7303)の詳細な処理手順を示すフローチャートである。まず、コンピュータ1100は、階層番号hを現時点での最上位階層の階層番号Hとし(ステップS7601)、セグメント番号jをj=1に設定する(ステップS7602)。
つぎに、コンピュータ1100は、セグメントsgH(j)が存在するか否かを判断する(ステップS7603)。セグメントsgH(j)が存在する場合(ステップS7603:Yes)、コンピュータ1100は、検索バッファ内の圧縮符号ごとに、出現マップおよび削除マップを指定する(ステップS7604)。そして、コンピュータ1100は、指定された出現マップおよび削除マップから対象セグメントsgH(j)のインデックス情報を抽出する(ステップS7605)。
そして、コンピュータ1100は、抽出されたインデックス情報群をAND演算する(ステップS7606)。このあと、コンピュータ1100は、現在の階層番号hがh=0であるか否かを判断する(ステップS7607)。h≠0の場合(ステップS7607:No)、AND結果で得られる「1」の位置は下位セグメントの番号となるため、当該番号を検索バッファに保存して、ステップS7610に移行する(ステップS7608)。
一方、h=0の場合(ステップS7607:Yes)、AND結果で得られる「1」の位置はファイル番号となるため、当該番号の圧縮ファイルを検索バッファに保存して、ステップS7610に移行する(ステップS7609)。
ステップS7610では、セグメント番号jをインクリメントして(ステップS7610)、ステップS7603に戻る。この際、後続セグメントとはポインタで関連付けされているため、セグメント番号のインクリメントにより後続セグメントを特定できることとなる。
また、ステップS7603において、対象セグメントsgH(j)が存在しない場合(ステップS7603:No)、コンピュータ1100は、階層番号hをデクリメントし(ステップS7611)、h<0であるか否かを判断する(ステップS7612)。h<0でない場合(ステップS7612:No)、ステップS7602に戻る。一方、h<0である場合(ステップS7612:Yes)、ステップS7609により伸長対象の圧縮ファイルが特定できているため、伸長処理(ステップS7304)に移行する。
図77は、図73に示した2N分枝無節点ハフマン木Hを用いた伸長処理(ステップS7304)の詳細な処理手順例を示すフローチャート(その1)である。図77において、まず、コンピュータ1100は、ビットアドレスabiをabi=0とし(ステップS7701)、バイトオフセットbyosを算出し(ステップS7702)、ビットオフセットbiosを算出する(ステップS7703)。そして、コンピュータ1100は、バイトオフセットbyosの位置からの圧縮符号列をレジスタr1にセットする(ステップS7704)。
つぎに、コンピュータ1100は、レジスタr2にセットされたマスクパターンをビットオフセットbios分、末尾方向にシフトして(ステップS7705)、レジスタr1にセットされた圧縮符号列とのAND演算をおこなう(ステップS7706)。このあと、コンピュータ1100は、レジスタシフト数rsを算出して(ステップS7707)、AND演算後のレジスタr2をレジスタシフト数rs分、末尾にシフトする(ステップS7708)。
図78は、図73に示した2N分枝無節点ハフマン木Hを用いた伸長処理(ステップS7304)の詳細な処理手順例を示すフローチャート(その2)である。ステップS7708のあと、図78において、コンピュータ1100は、シフト後のレジスタr2から末尾Nビットを対象ビット列として抽出する(ステップS7801)。つぎに、コンピュータ1100は、2N分枝無節点ハフマン木Hの根の構造体から葉L♯へのポインタを特定し(ステップS7802)、ポイント先となる葉L♯の構造体に1パスでアクセスする(ステップS7803)。このあと、コンピュータ1100は、アクセス先の葉L♯の構造体の照合フラグがONであるか否かを判断する(ステップS7804)。
照合フラグがONである場合(ステップS7804:Yes)、コンピュータ1100は、アクセス先の葉L♯の構造体内の文字情報について置換文字を伸長バッファに書き出して(ステップS7805)、ステップS7807に移行する。一方、照合フラグがOFFの場合(ステップS7804:No)、コンピュータ1100は、アクセス先の葉L♯の構造体内の文字情報(伸長文字)を伸長バッファに書き出して(ステップS7806)、ステップS7807に移行する。
ステップS7807では、コンピュータ1100は、アクセス先の葉L♯の構造体から圧縮符号長legを抽出し(ステップS7807)、ビットアドレスabiを更新する(ステップS7808)。このあと、コンピュータ1100は、メモリに圧縮符号列があるか否か、具体的には、マスクパターンによるマスク処理が施されていない圧縮符号列があるか否かを判断する(ステップS7809)。たとえば、バイトオフセットbyosに該当するバイト位置があるか否かにより判断する。圧縮符号列がある場合(ステップS7809:Yes)、図77のステップS7702に戻る。一方、圧縮符号列がない場合(ステップS7809:No)、伸長処理(ステップS7304)を終了する。
このような伸長処理(ステップS7304)により、圧縮状態のまま照合・伸長をおこなうことができ、伸長速度の高速化を図ることができる。
以上説明したように、本実施の形態によれば、検索対象ファイル群を複数のセグメントに分割して保存しているため、セグメント単位のインデックス情報で検索をおこなうことができる。したがって、検索対象ファイルのファイル数の増大にともなってインデックス情報のサイズが増大しても、検索処理時間の増大を抑制することができる。
また、同一階層のセグメント群を集約して上位階層のセグメントを生成して階層構造セグメント群SGを構築している。したがって、階層構造セグメント群SGの最上位階層のセグメントのインデックス情報から順次絞込みをおこなうことで、検索文字列が存在しないセグメントおよび当該セグメントの下位に存在する圧縮ファイルを絞り込み対象から除外することができる。このように、無駄な絞り込みをしなくて済むため、検索速度の向上を図ることができる。
また、上述した実施の形態では、マスタサーバが第1階層までの絞込みをおこない、絞り込まれたファイル番号を、当該ファイル番号を所有するスレーブサーバに送信する。したがって、送信されなかったスレーブサーバでは絞込み処理を実行しなくて済むため、無駄な検索を抑制することができ、検索効率の向上を図ることができる。
なお、上述した実施の形態では、マスタサーバMSが圧縮ファイルfiの伸長をおこなう例について説明したが、マスタサーバMSが2N分枝無節点ハフマン木Hを各スレーブサーバにあらかじめ送信しておくことで、各スレーブサーバにおいて圧縮ファイルfiの伸長処理を実行することとしてもよい。この場合、マスタサーバMSからファイル番号iを受けたスレーブサーバは、当該ファイル番号iの圧縮ファイルfiを伸長し、伸長した対象ファイルFiをマスタサーバMSに返すことになる。このように、スレーブサーバに伸長処理を実行させることで、マスタサーバMSへの負荷集中を抑制して負荷分散を図ることができる。
また、上述した実施の形態では、圧縮ファイルfiを絞り込む例について説明したが絞込み対象は、非圧縮の対象ファイルFiでもよい。この場合、上述した圧縮処理や伸長処理は不要となる。また、出現マップへのポインタは圧縮符号ではなく、文字情報を特定するポインタであればよい。
また、あらかじめ、圧縮符号マップMsの圧縮領域のビット列を、先頭位置から末尾位置にかけて対象ファイル群Fsのファイル番号pの降順に配列しておく。これにより、ファイル番号;1〜nのビット列が圧縮されても、追加ファイルのファイル番号とそのビットとのずれがなく、対象ファイルFiの絞込みを正確に実行することができる。
また、圧縮符号マップMsの圧縮領域を所定数の最大倍数(たとえば、所定ファイル数n=256の最大倍数)のビット列にすることで、対象ファイルが追加される都度、圧縮符号マップMsの圧縮をおこなう必要がない。これにより、コンピュータの演算負荷を低減することができる。また、追加後のファイル総数が初期のファイル数の最大倍数に達した場合に、圧縮符号マップMsのファイル番号に対応する全ビットが圧縮領域となるため、圧縮符号マップMsがハフマン木hにより圧縮される。これにより、省メモリ化を図ることができる。このように、所定ファイル数n(たとえば256個)単位で圧縮がおこなわれるため、演算負荷低減と省メモリ化を同時に実現することができる。
なお、本実施の形態で説明した情報処理方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータ1100で実行することにより実現することができる。本情報処理プログラムは、ハードディスク、フレキシブルディスク、CD−ROM、MO、DVD等のコンピュータ1100で読み取り可能な記録媒体に記録され、コンピュータ1100によって記録媒体から読み出されることによって実行される。また本情報処理プログラムは、インターネット等のネットワークを介して配布してもよい。
6201 指定部
6202 第1伸長部
6203 入力部
6204 抽出部
6205 第2伸長部
6206 特定部
6207 セグメント生成部

Claims (14)

  1. コンピュータに、
    複数のファイルのそれぞれについて複数の所定の文字情報をそれぞれ含むか否かを示す第1の情報と、前記複数のファイルの少なくともいずれかが前記複数の所定の文字情報をそれぞれ含むか否かを示す第2の情報と、を記憶手段に記憶し、
    追加ファイルの前記複数のファイルへの追加に応じて、前記第1の情報を、前記追加ファイルが前記複数の所定の文字情報をそれぞれ含むか否かを示す追加存否情報を追加して更新し、かつ、前記第2の情報を、前記追加存否情報を用いて、前記追加ファイルが追加された前記複数のファイルの少なくともいずれかが前記所定の文字情報を含むか否かを示す情報に更新し、
    前記所定の文字情報についての検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示すことが検出されると、前記第1の情報に基づいて前記所定の文字情報を含むファイルを抽出する、
    ことを実行させることを特徴とする抽出方法。
  2. 前記コンピュータに、さらに、
    前記検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示さないことが検出されると、前記複数のファイルが前記所定の文字情報を含まないと判定する、
    ことを実行させることを特徴とする請求項1に記載の抽出方法。
  3. 前記第1の情報は、前記複数のファイルのそれぞれについて前記複数の所定の文字情報をそれぞれ含むか否かを示すビットによるビット列であり、
    前記第2の情報は、前記ビット列に含まれる各ビットを演算して得られるビットである、
    ことを特徴とする請求項1又は2に記載の抽出方法。
  4. 前記コンピュータに、
    前記記憶手段に、さらに、前記複数のファイルのそれぞれについて検索対象とするか否かを示す第3の情報を記憶し、
    前記複数のファイルのすべてが検索対象から除外された際に、前記第3の情報のうちの除外されたファイルについて検索対象とする旨を示す情報を、検索対象とする旨を示さない情報に更新し、
    前記検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示すことが検出されると、前記第1の情報及び前記第3の情報に基づいて、検索対象であり、且つ前記所定の文字情報を含むファイルを抽出する、
    ことを実行させることを特徴とする請求項1〜3のいずれか1項に記載の抽出方法。
  5. 前記コンピュータに、
    前記記憶手段に、さらに、前記複数のファイルの少なくともいずれかが検索対象であるか否かを示す第4の情報を記憶し、
    前記複数のファイルのそれぞれが検索対象から除外された際に、前記第4の情報を、前記複数のファイルの少なくともいずれかが検索対象である旨を示さない情報に更新し、
    前記検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示し、且つ前記第4の情報が前記複数のファイルの少なくともいずれかが検索対象である旨を示すことを検出すると、前記第1の情報に基づいて前記所定の文字情報を含むファイルを抽出する、
    ことを実行させることを特徴とする請求項1〜3のいずれか1項に記載の抽出方法。
  6. コンピュータに、
    複数のファイルのそれぞれについて複数の所定の文字情報をそれぞれ含むか否かを示す第1の情報と、前記複数のファイルの少なくともいずれかが前記複数の所定の文字情報をそれぞれ含むか否かを示す第2の情報と、前記複数のファイルのそれぞれについて検索対象とするか否かを示す第3の情報を記憶し、
    前記複数のファイルのいずれかが検索対象から除外された際に、前記第3の情報のうちの除外されたファイルについて検索対象とする旨を示す情報を、検索対象とする旨を示さない情報に更新し、
    前記所定の文字情報についての検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示すことが検出されると、前記第1の情報及び前記第3の情報に基づいて、検索対象であり、かつ前記所定の文字情報を含むファイルを抽出する、
    ことを実行させることを特徴とする抽出方法。
  7. コンピュータに、
    複数のファイルのそれぞれについて複数の所定の文字情報をそれぞれ含むか否かを示す第1の情報と、前記複数のファイルのうちの一部のファイルについて、前記一部のファイルの少なくともいずれかが前記複数の所定の文字情報をそれぞれ含むか否かを示す第2の情報と、を記憶手段に記憶し、
    追加ファイルの前記複数のファイルへの追加に応じて、前記第1の情報を、前記追加ファイルが前記複数の所定の文字情報をそれぞれ含むか否かを示す追加存否情報を追加して更新し、かつ、前記第2の情報を、前記追加存否情報を用いて、前記追加ファイルが追加された前記複数のファイルの少なくともいずれかが前記所定の文字情報を含むか否かを示す情報に更新し、
    前記所定の文字情報についての検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示すことが検出されると、前記第1の情報に基づいて前記複数のファイルから前記所定の文字情報を含むファイルを抽出し、
    前記所定の文字情報についての検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示さないことが検出されると、前記複数のファイルのうちの前記一部のファイルに含まれないファイルから、前記第1の情報に基づいて前記所定の文字情報を含むファイルを抽出する、
    ことを実行させることを特徴とする抽出方法。
  8. コンピュータに、
    複数のファイルのそれぞれについて複数の所定の文字情報をそれぞれ含むか否かを示す第1の情報と、前記複数のファイルの少なくともいずれかが前記複数の所定の文字情報をそれぞれ含むか否かを示す第2の情報と、を記憶手段に記憶し、
    追加ファイルの前記複数のファイルへの追加に応じて、前記第1の情報を、前記追加ファイルが前記複数の所定の文字情報をそれぞれ含むか否かを示す追加存否情報を追加して更新し、かつ、前記第2の情報を、前記追加存否情報を用いて、前記追加ファイルが追加された前記複数のファイルの少なくともいずれかが前記所定の文字情報を含むか否かを示す情報に更新し、
    前記所定の文字情報についての検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示すことが検出されると、前記第1の情報に基づいて前記所定の文字情報を含むファイルを抽出する、
    ことを実行させることを特徴とする抽出プログラム。
  9. コンピュータに、
    複数のファイルのそれぞれについて複数の所定の文字情報をそれぞれ含むか否かを示す第1の情報と、前記複数のファイルのうちの一部のファイルについて、前記一部のファイルの少なくともいずれかが前記複数の所定の文字情報をそれぞれ含むか否かを示す第2の情報と、を記憶手段に記憶し、
    追加ファイルの前記複数のファイルへの追加に応じて、前記第1の情報を、前記追加ファイルが前記複数の所定の文字情報をそれぞれ含むか否かを示す追加存否情報を追加して更新し、かつ、前記第2の情報を、前記追加存否情報を用いて、前記追加ファイルが追加された前記複数のファイルのうちの一部のファイルについて、前記一部のファイルの少なくともいずれかが前記所定の文字情報を含むか否かを示す情報に更新し、
    前記所定の文字情報についての検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示すことが検出されると、前記第1の情報に基づいて前記複数のファイルから前記所定の文字情報を含むファイルを抽出し、
    前記所定の文字情報についての検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示さないことが検出されると、前記複数のファイルのうちの前記一部のファイルに含まれないファイルから、前記第1の情報に基づいて前記所定の文字情報を含むファイルを抽出する、
    ことを実行させることを特徴とする抽出プログラム。
  10. コンピュータに、
    複数のファイルのそれぞれについて複数の所定の文字情報をそれぞれ含むか否かを示す第1の情報と、前記複数のファイルの少なくともいずれかが前記複数の所定の文字情報をそれぞれ含むか否かを示す第2の情報と、前記複数のファイルのそれぞれについて検索対象とするか否かを示す第3の情報を記憶し、
    前記複数のファイルのいずれかが検索対象から除外された際に、前記第3の情報のうちの除外されたファイルについて検索対象とする旨を示す情報を、検索対象とする旨を示さない情報に更新し、
    前記所定の文字情報についての検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示すことが検出されると、前記第1の情報及び前記第3の情報に基づいて、検索対象であり、かつ前記所定の文字情報を含むファイルを抽出する、
    ことを実行させることを特徴とする抽出プログラム。
  11. 複数のファイルのそれぞれについて複数の所定の文字情報をそれぞれ含むか否かを示す第1の情報と、前記複数のファイルの少なくともいずれかが前記複数の所定の文字情報をそれぞれ含むか否かを示す第2の情報と、を記憶する記憶手段と、
    追加ファイルの前記複数のファイルへの追加に応じて、前記第1の情報を、前記追加ファイルが前記複数の所定の文字情報をそれぞれ含むか否かを示す追加存否情報を追加して更新し、かつ、前記第2の情報を、前記追加存否情報を用いて、前記追加ファイルが追加された前記複数のファイルの少なくともいずれかが前記所定の文字情報を含むか否かを示す情報に更新する更新手段と、
    前記所定の文字情報についての検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示すことが検出されると、前記第1の情報に基づいて前記所定の文字情報を含むファイルを抽出する抽出手段と、
    を備えることを特徴とする抽出装置。
  12. 複数のファイルのそれぞれについて複数の所定の文字情報をそれぞれ含むか否かを示す第1の情報と、前記複数のファイルのうちの一部のファイルについて、前記一部のファイルの少なくともいずれかが前記複数の所定の文字情報をそれぞれ含むか否かを示す第2の情報と、を記憶する記憶手段と、
    追加ファイルの前記複数のファイルへの追加に応じて、前記第1の情報を、前記追加ファイルが前記複数の所定の文字情報をそれぞれ含むか否かを示す追加存否情報を追加して更新し、かつ、前記第2の情報を、前記追加存否情報を用いて、前記追加ファイルが追加された前記複数のファイルのうちの一部のファイルについて、前記一部のファイルの少なくともいずれかが前記所定の文字情報を含むか否かを示す情報に更新する更新手段と、
    前記所定の文字情報についての検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示すことが検出されると、前記第1の情報に基づいて前記複数のファイルから前記所定の文字情報を含むファイルを抽出し、前記所定の文字情報についての検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示さないことが検出されると、前記複数のファイルのうちの前記一部のファイルに含まれないファイルから、前記第1の情報に基づいて前記所定の文字情報を含むファイルを抽出する抽出手段と、
    を備えることを特徴とする抽出装置。
  13. 複数のファイルのそれぞれについて複数の所定の文字情報をそれぞれ含むか否かを示す第1の情報と、前記複数のファイルの少なくともいずれかが前記複数の所定の文字情報をそれぞれ含むか否かを示す第2の情報と、前記複数のファイルのそれぞれについて検索対象とするか否かを示す第3の情報を記憶する記憶手段と、
    前記複数のファイルのいずれかが検索対象から除外された際に、前記第3の情報のうちの除外されたファイルについて検索対象とする旨を示す情報を、検索対象とする旨を示さない情報に更新する更新手段と、
    前記所定の文字情報についての検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示すことが検出されると、前記第1の情報及び前記第3の情報に基づいて、検索対象であり、かつ前記所定の文字情報を含むファイルを抽出する抽出手段と、
    を備えることを特徴とする抽出装置。
  14. 複数のコンピュータと、割当装置と、を含む抽出システムであって、
    前記割当装置が、
    複数のファイルを分割して得られる複数のファイル群のそれぞれについて、それぞれのファイル群に含まれる少なくとも1つのファイルが複数の所定の文字情報をそれぞれ含むか否かを示す情報を保持する保持手段と、
    追加ファイルの前記複数のファイル群のいずれかへの追加に応じて、前記保持手段に保持された情報を、前記追加ファイルが追加されたファイル群に含まれる少なくとも一つのファイルが前記所定の文字情報を含むか否かを示す情報に更新する更新手段と、
    前記所定の文字情報についての検索要求を受けた場合に、前記保持手段に保持された情報に前記所定の文字情報を含むファイルを少なくとも1つ含む旨を示されるファイル群の数に応じて、前記複数のファイル群を前記複数のコンピュータのそれぞれに割り当てる割当手段と、を含み、
    前記複数のコンピュータのそれぞれが、
    前記複数のファイル群のそれぞれについて、それぞれのファイル群に含まれるいずれのファイルが複数の所定の文字情報をそれぞれ含むか否かを示すインデックス情報を記憶する記憶手段と、
    前記追加ファイルの前記複数のファイル群のいずれかへの追加に応じて、前記記憶手段に記憶されたインデックス情報を、前記追加ファイルが追加されたファイル群に含まれるいずれかのファイルが前記所定の文字情報を含むか否かを示す情報に更新する更新手段と、
    前記記憶手段に記憶された前記複数のファイル群それぞれについてのインデックス情報のうち、前記割当装置に割り当てられたファイル群についての前記インデックス情報に基づいて前記所定の文字情報を含むファイルを抽出する抽出手段と、を含む、
    ことを特徴とする抽出システム。
JP2013533401A 2011-09-14 2011-09-14 抽出方法、抽出プログラム、抽出装置、および抽出システム Active JP5741699B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/071028 WO2013038527A1 (ja) 2011-09-14 2011-09-14 抽出方法、抽出プログラム、抽出装置、および抽出システム

Publications (2)

Publication Number Publication Date
JPWO2013038527A1 JPWO2013038527A1 (ja) 2015-03-23
JP5741699B2 true JP5741699B2 (ja) 2015-07-01

Family

ID=47882786

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013533401A Active JP5741699B2 (ja) 2011-09-14 2011-09-14 抽出方法、抽出プログラム、抽出装置、および抽出システム

Country Status (7)

Country Link
US (1) US9916314B2 (ja)
EP (1) EP2757488B1 (ja)
JP (1) JP5741699B2 (ja)
KR (1) KR101560109B1 (ja)
CN (1) CN103797480B (ja)
AU (1) AU2011377004B2 (ja)
WO (1) WO2013038527A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6086021B2 (ja) * 2013-04-25 2017-03-01 富士通株式会社 検索システムおよび検索方法
US10540404B1 (en) * 2014-02-07 2020-01-21 Amazon Technologies, Inc. Forming a document collection in a document management and collaboration system
US9450601B1 (en) * 2015-04-02 2016-09-20 Microsoft Technology Licensing, Llc Continuous rounding of differing bit lengths
JP6662169B2 (ja) 2016-04-18 2020-03-11 富士通株式会社 符号化プログラム、符号化方法、符号化装置、検索プログラム、検索方法および検索装置
JP6720664B2 (ja) 2016-04-18 2020-07-08 富士通株式会社 インデックス生成プログラム、インデックス生成装置、インデックス生成方法、検索プログラム、検索装置および検索方法
JP6648620B2 (ja) 2016-04-19 2020-02-14 富士通株式会社 符号化プログラム、符号化装置および符号化方法
KR102006245B1 (ko) * 2017-09-15 2019-08-06 주식회사 인사이너리 바이너리 파일에 기초하여 오픈소스 소프트웨어 패키지를 식별하는 방법 및 시스템
CN109993025B (zh) * 2017-12-29 2021-07-06 中移(杭州)信息技术有限公司 一种关键帧提取方法及设备
US10541708B1 (en) * 2018-09-24 2020-01-21 Redpine Signals, Inc. Decompression engine for executable microcontroller code
CN109855566B (zh) * 2019-02-28 2021-12-03 易思维(杭州)科技有限公司 一种槽孔特征的提取方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0437615B1 (en) 1989-06-14 1998-10-21 Hitachi, Ltd. Hierarchical presearch-type document retrieval method, apparatus therefor, and magnetic disc device for this apparatus
US5469354A (en) * 1989-06-14 1995-11-21 Hitachi, Ltd. Document data processing method and apparatus for document retrieval
JP3263963B2 (ja) * 1991-12-25 2002-03-11 株式会社日立製作所 文書検索方法及び装置
US5748953A (en) * 1989-06-14 1998-05-05 Hitachi, Ltd. Document search method wherein stored documents and search queries comprise segmented text data of spaced, nonconsecutive text elements and words segmented by predetermined symbols
JP2986865B2 (ja) 1989-07-24 1999-12-06 株式会社日立製作所 データ検索方法および装置
US5745745A (en) * 1994-06-29 1998-04-28 Hitachi, Ltd. Text search method and apparatus for structured documents
US5778361A (en) * 1995-09-29 1998-07-07 Microsoft Corporation Method and system for fast indexing and searching of text in compound-word languages
JPH09138809A (ja) * 1995-11-15 1997-05-27 Oki Electric Ind Co Ltd 全文検索方法
CA2340531C (en) * 2001-03-12 2006-10-10 Ibm Canada Limited-Ibm Canada Limitee Document retrieval system and search method using word set and character look-up tables
US7149748B1 (en) * 2003-05-06 2006-12-12 Sap Ag Expanded inverted index
CN1567174A (zh) * 2003-06-09 2005-01-19 吴胜远 对象表示和处理的方法及其装置
US8504565B2 (en) * 2004-09-09 2013-08-06 William M. Pitts Full text search capabilities integrated into distributed file systems— incrementally indexing files
US20100005072A1 (en) 2004-09-09 2010-01-07 Pitts William M Nomadic File Systems
WO2006123429A1 (ja) * 2005-05-20 2006-11-23 Fujitsu Limited 情報検索方法、装置、プログラム、該プログラムを記録した記録媒体
JP2009048352A (ja) * 2007-08-17 2009-03-05 Nippon Telegr & Teleph Corp <Ntt> 情報検索装置、情報検索方法および情報検索プログラム
WO2009063925A1 (ja) * 2007-11-15 2009-05-22 Nec Corporation 文書管理・検索システムおよび文書の管理・検索方法
CN101452465A (zh) * 2007-12-05 2009-06-10 高德软件有限公司 大批量文件数据存放和读取方法
US8266179B2 (en) * 2009-09-30 2012-09-11 Hewlett-Packard Development Company, L.P. Method and system for processing text
JP4893805B2 (ja) 2009-11-06 2012-03-07 富士通株式会社 情報処理プログラム、情報検索プログラム、および情報処理装置
JP5418218B2 (ja) * 2009-12-25 2014-02-19 富士通株式会社 情報処理プログラム、情報検索プログラム、情報処理装置、および情報検索装置

Also Published As

Publication number Publication date
WO2013038527A1 (ja) 2013-03-21
US9916314B2 (en) 2018-03-13
EP2757488B1 (en) 2019-02-20
KR101560109B1 (ko) 2015-10-13
CN103797480B (zh) 2017-11-28
KR20140061450A (ko) 2014-05-21
US20140229484A1 (en) 2014-08-14
EP2757488A1 (en) 2014-07-23
AU2011377004A1 (en) 2014-03-27
EP2757488A4 (en) 2015-04-22
AU2011377004B2 (en) 2015-11-12
JPWO2013038527A1 (ja) 2015-03-23
CN103797480A (zh) 2014-05-14

Similar Documents

Publication Publication Date Title
JP5741699B2 (ja) 抽出方法、抽出プログラム、抽出装置、および抽出システム
JP4707198B2 (ja) 情報検索プログラム、該プログラムを記録した記録媒体、情報検索方法、および情報検索装置
JPWO2012150637A1 (ja) 抽出方法、情報処理方法、抽出プログラム、情報処理プログラム、抽出装置、および情報処理装置
JP5062131B2 (ja) 情報処理プログラム、情報処理装置、および情報処理方法
JP4893805B2 (ja) 情報処理プログラム、情報検索プログラム、および情報処理装置
JP4644708B2 (ja) 情報検索プログラム
JP5605288B2 (ja) 出現マップ生成方法、ファイル抽出方法、出現マップ生成プログラム、ファイル抽出プログラム、出現マップ生成装置、およびファイル抽出装置
JP6726690B2 (ja) 基本データシーブを用いて無損失削減されたデータに対する多次元検索、コンテンツ連想的な取出し、ならびにキーワードベースの検索および取出しの実行
JP6609404B2 (ja) 圧縮プログラム、圧縮方法および圧縮装置
JP5505524B2 (ja) 生成プログラム、生成装置、および生成方法
JP5621906B2 (ja) 検索プログラム、検索装置、および検索方法
JP2016149160A (ja) 情報生成方法、およびインデックス情報
JP6931442B2 (ja) 符号化プログラム、インデックス生成プログラム、検索プログラム、符号化装置、インデックス生成装置、検索装置、符号化方法、インデックス生成方法および検索方法
JP2016149160A5 (ja)
US10318483B2 (en) Control method and control device
JP5494860B2 (ja) 情報管理プログラム、情報管理装置および情報管理方法
JP6717153B2 (ja) インデックス生成プログラム、インデックス生成装置、インデックス生成方法、検索プログラム、検索装置および検索方法
Allen A file index for document storage and retrieval utilizing descriptor fragments
JPS62131348A (ja) マルチインデツクスフアイルアクセス方式

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150413

R150 Certificate of patent or registration of utility model

Ref document number: 5741699

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150