JPS5827240A - フアイル記憶方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 この発明は情報検索システムに用いられ、検索時間を短
縮し、また検索システムを経済的に実現できるようにし
たファイル記憶方式に関するものである。

文献検索、特許検索等の情報検索システムは利用者の検
索条件の指定が多様であるとともに定まつた形がないこ
と及び検索処理に比べて更新処理が極めて少ないことを
特徴とする。このような情報検索システムについてまず
従来技術の概要を述べる。

情報検索システムに格納されるデータは幾つかのファイ
ルに分類・整理される。ファイルは通常複数のフィール
ド（或は属性）をもつレコードが幾つか集まって構成さ
れる。第１図はＢＡＮＧＯＯ（番号）、ＮＡＭＡＥ（名
前）、ＪＵＳＨＯ（住所）の３種のフィールドをもつレ
コードから構成されているＭＥＩＢＯ（名簿）ファイル
の例である。このようなファイルは普通多数存在し、多
量の記憶容量を必要とするため、現行システムではこれ
らは磁気ディスクに格納される。磁気ディスクに対する
書込み、読出しの単位はブロックまたはページと呼ばれ
、複数のレコードが含まれる。

第２図は第１図のファイルの格納法を示す。ページサイ
ズは所望のレコードをページ中から探し出すのに要する
時間と、磁気ディスクの記憶容量の使用効率の両面を考
慮して決められる。またしコードは通常特定のフィール
ドに着目して整列され、格納される。第２図はＢＡＮＧ
ＯＯフィールドについて昇順に整列された例を示す。

一方、情報検索システムでは利用者の間合せは指定する
フィールド、具体値、一致・大・小等の条件が多様であ
シ、また定形的な間合せ条件は一般に存在しない。この
ような間合せに対して条件を満足するレコードを迅速に
探し出すため、通常フィールド毎に逆ファイル（インバ
ーテツドファイル）が作られる。第３図に第１図のＭｇ
ｌ１１０フアイルのＪＵＳＩ（０フイールドに関する逆
ファイルの例を示す。どの例からも分るように同−具体
値をもつレコードは一般に複数あり、特定の具体値をも
つレコードが数１００個ある場合もめずらしくない。

次に逆ファイルを用いた検索動作の概略を述べる。例え
ば利用者がＭＥＩＢＯファイルについてＪ　Ｕ　Ｓ　Ｈ
ＯフィールドがＴＯＫＹＯの条件を満足するレコードを
要求する問合せを発行した場合、システムは１ずＪＵＳ
ＨＯフィールドの逆ファイルを探索してＴ　ＯＫ　Ｙ　
Ｏを具体値としてもつレコードの存在するページ番号を
求める。次に磁気ディスクからこれらのページを読出し
た後、各ページの中から条件を満足するレコードを選択
する。また逆ファイルは種類が多く大容量であるので通
常は磁気ディスクに格納される。

一方フアイルを構成するレコードの磁気ディスク上の配
列は、整列されている特定フィールド以外のフィールド
については不規則である。このため同一ページに条件を
満足するレコードが幾つもある場合は少なく、条件を満
足するレコードが全て異なるページに存在することも起
シ得る。

このように情報検索システムでは一般に１回の間合せに
対して条件を満足するレコードを全て取出すため多数回
、磁気ディスクをアクセスすることが必要になる。これ
は利用者に対する応答時間の過大化と入出力処理の負荷
増大に伴うシステム処理能力の低下につガがる。例えば
磁気ディスクのアクセス時間を５０ｍ５，１回の磁気デ
ィスク入出力に要するプログラムのダイナミックステッ
プを２ギロステツプとすると、１回の間合せで２００回
磁気ディスクをアクセスする場合は磁気ディスクの読出
しに合計１０秒、入出力処理に要するダイナミックステ
ップが４００キロステツプにもなる。

上記の問題点を解決する有効な方法としてファイルをア
クセス時間の速い半導体記憶に格納し、検索動作を半導
体記憶上で行う方法が考えられる。

しかし半導体記憶は磁気ディスク記憶と比べて単位記憶
容量当りの価格が高価であるためファイルをその捷＼格
納するのは実用的でない。このためファイルを符号化し
圧縮することが必要になる。

しかしながら第１図、第２図、第３図に示したような従
来のファイル形式、ファイル格納法では文字の出現頻度
によって文字を表現する符号長を変えるハフマン符号法
のようなデータ圧縮法や、数値データについて１つ前の
具体値との差分のみを格納する差分法のようなデータ圧
縮法を利用しても十分な圧縮効果を期待できない。

この発明はこれらの欠点を除去するためファイルを符号
化により圧縮した検索用ファイルと、符号値と具体値と
の間の変換を行う符号・復号用ファイルとで構成し、検
索動作を符号化された検索キーにより半導体ランダムア
クセス記憶上の検索用ファイルについて行い、検索キー
の符号化と前記検索動作により得られた符号化された具
体値の復号化を磁気ディスク記憶によって行うようにし
たものであシ、以下図面について詳細に説明する。

第４図はこの発明の実施例である。符号化により圧縮し
たファイルを格納する半導体記憶１と、この半導体記憶
１に対する検索結果によシ得られた符号化レコードの復
号化と利用者によシ指定された検索キーを符号化するた
めのデータを記憶する磁気ディスク記憶２とを備え、半
導体記憶１が揮発性の場合はバックアップ用に半導体記
憶１に格納されているファイルの写しが磁気ディスク記
憶２に存在する。また図では磁気ディスク記憶２は磁気
ディスク制御装置の機能も含むものとし、データ転送は
同一シリンダ内でｍトラック並列に実行できる。ｍの値
は半導体記憶１から必要に応じて全トラック数まで目標
とする性能に応じて設定できるものとする。半導体記憶
１、磁気ディスク記１′、ｔｉｔ２に対するデータの格
納、検索等の入出力動作とデータを使用した各種業務は
プロセッサ３テ遂行スる。プロセッサ３は処理装置の他
にメモリ、チャネルも含むものとする。データの符号化
・復号化は符号・復号回路４で実行し、磁気ディスク記
憶２から出ているデータ転送パスの個数だけの符号・句
号回路が存在する。

次に第５図、第６図によりレコードの符号化、復号化の
考え方を示す。最初に第１図のファイルを例にとって符
号化の考え方を説明する。各フィールドについてまず全
ての具体値を重複することなく選び出す。次に具体値を
数値とみなし昇順に整列し、若番より通し番号を付与す
る。第５図（ａ）は第１図のＭＥＩＢＯファイルをＮＡ
ＭＡＥとＪＵＳＴＩＯフィールドについて上記手順によ
シ各具体値を符号化する例である。アルファベットのＡ
、Ｂ、・・・・、２の順番は符号パターンを２進数値と
みるとき小→犬の順番になるので第５１７１　ｆａｌの
ように整列される。この符号化法は上記のようにデータ
を圧縮できるとともに具体値の大小関係を保存するため
利用者の検索要求で指定された一致・犬・小等の比較条
件は変更する必要はない。

一方この符号化法の変形として具体値を降順に整列し、
老番側から通し番号を付与する方法が考えられる。この
場合データ圧縮効果は上記符号化法と同じであるが、具
体値の大小関係が逆になる。

このため符号化したファイルを検索するときは利用者の
検索要求で指定された犬・小の比較条件を逆にしてやら
なければならない。要するにフィールド単位に符号値に
関して予め決められた順になるように具体値を整列すれ
ばよく、例えばアルファベットの順でもよく、その順を
任意に決めてもよい。

上記の符号化ルールの圧縮効果を例によシ概略評価して
みる。１０００レコードよシなるファイルの着目するフ
ィールドが５００種の異なる具体値をもち具体値は２０
文字からなるものとする。１文字の表現に８ビツトを要
するものとすると符号化しない場合は当該フィールドは
１６万ビツト（１，０００Ｘ２０Ｘ８　）の記憶容量を
必式とする。一方上記の符号化ルールを適用すると５０
０種類の具体値を識別するのに９ビツトを要し、当該フ
ィールドを記憶するのに９０００ビツト（９Ｘ　１００
０）と符号化しない場合の１／２０程度の記憶容量で済
む。

第５図（ｂ）け第１図のファイルを昇順に通し番号を付
与する尚該符号化ルールによシ圧縮した結果を示す。な
お第１図のＢＡＮＧＯフィールドのようにこの符号化ル
ールによる圧縮効果が期待できないフィールドは符号化
の対象から除外する。符号化したファイルは半導体記憶
１上に第２図に示した従来法と同様ページ単位に−まと
めて格納する。

また符号化された当該ファイルの逆ファイルも符号値を
用いて構成されるため圧縮される。従ってこれも半導体
記憶１上に格納するものとする。

次に第６図によシ磁気ディスク記憶への符号・復号用フ
ァイルの格納方法と符号拳復号用ファイルに基づき符号
値を元のデータに復元する復号の考え方を説明する。復
号対象とする符号化されたレコードは普通、複数のフィ
ールドをもつため復号化を高速に実行するためにはまず
複数のフィールドに関する同時処理を考慮する必要があ
る。また復号処理に磁気ディスクを用いる場合は極力磁
気ディスクとのインタラクション時間を少なくする必要
がある。以上を考慮に入れ、まず同一シリンダ内の特定
トラックにファイルの特定フィールドを対応づけ、各フ
ィールド毎に対応するトラックに昇順に整列した具体値
を先頭よシ格納する。

また複数フィールドについて復号処理を同時に実行でき
るように符号・復号回路を複数置く。第６図は第１トラ
ツク２１にＮＡＭＡＥフィールドを、第２トラツク２８
にＪ　Ｕ　Ｓ　ＨＯフィールドをそれぞれ対応づけた例
である。符号・復号回路とトラック間ではあるビット数
のデータと１ビツトの制御情報を１組にしたものを単位
に転送動作が行われ、具体値の終シでのみ上記制御ビッ
トが“１″になる。

１１＃にセットされた制御ビットをフラグと定叙する。

符号値から元の具体値への復号は次のように行う。す々
わぢ着目するトラックにおいて先頭よシデータを読出し
、フラグを検出する度にフラグ個数を計数する。１１１
定された符号値と７ラグ計数値とが一致した時点で最後
に計数したフラグと１つ前に計数したフラグの間のデー
タを取出せばこれが所望の復号データとなる。

また復号対象とする符号値が複数フィールドに関して存
在する」場合は対応する複数の）・ラックにおいて上記
の処理を同時に行う。

第６図の例では復号対象とするレコードのＪ　ＵＳＨＯ
フィールドの符号値が′１″′であるので第２トラツク
２２の最初のフラグを検出した時点で当該フラグが付加
された（Ｉ（ＹＯＴＯ）が復号データとして得られる。

またＮＡＭＡＥフィールドは符号値が”２”であるので
第１トラツク２１の第２番目のフラグを検出した時点で
当該フラグが付加された（　ＫＡＴＯＯ）が復号データ
として得られる。これらの復号データは第５図（ａｌの
元の具体値に一致する。

上記の復号化の説明は対象とする符号値を１個とした。

しかし検索動作によシ選ばれるレコードの個数は一般に
複数であるためフィールドごとに復号化の対象とする符
号値は複数になる。このような場合、対象とする符号値
を昇順に整列し若番側より上記の規則に基づき復号すれ
ば磁気ディスクの１回転内で対象とするすべての符号値
を復号できる。

以上述べた符号・復号用ファイルの格納法と復号化法は
フィールド具体値がすべて１トラツクに納まる仁とを前
提とした。次にフィールド具体値の格納に複数トラック
を必要とする場合のデータ格納方法、復号化法について
説明する。最初にデータ格納方法について述べる。最初
のトラックに許容される個数の具体値を格納した後、残
シの具体値を整列順序を保存したま＼次のトラックに格
納する。格納方法は最初のトラックの場合と同じである
。２トラツクをこえて格納する場合も同じ規則に基づく
、また後述する復号処理において対象とする符号値を複
数存在するトラック中のどのトラックのデータを用いて
復号すべきかを決める手がかシとするためトラックごと
に具体値の累積格納個数を記憶しておく。

次にこのように板数トラックにわたシ具体値が格納され
た場合の復号処理について説明する。まず前記の具体値
の累積格納個数に基づき対象とする符号（＋ｇを復号・
すべきトラックを選ぶ。次に当該トラック以前の具体値
の累積格納個数を初ｍｊ値として当該トラックの先頭よ
シデータをｐｊ′１７出しフラグを検出する度にフラグ
個数を割数する。以後は１トラツク内に具体値が納まる
場合と同一手順により復号データをイＪる。

一方半導体記憶１上に存在する符号化されたファイルを
検索するには、これに先立ち当該ファイルに関する逆フ
ァイルを調べて該当するページ香号を選ぶ。このために
は利用者によシ指定された検索キーをこれに対応する符
号値に食間する必要があυ、符号・復号回路には検索キ
ーに対応する符号値を求める機能が必要となる。検索キ
ーから符号値を求める処理は復号処理とはｙ同様である
。

まずフィールド具体値が１トラツクに納っている場合に
ついて説明する。着目するトラックにおいて先頭よシデ
ータを読出しフックを検出する度にフラグ個数を計数す
る。またフラグを検出する度に指定された検索キーと当
該フラグと１つ前のフラグの間のデータを比較する。比
較結果、一致がとれたときのフラグ計数値を取出せばこ
れが符号値となる。

次にフィールド具体値が複数トラックにわたシ格納され
ている場合について説明する。各々のトラックで同一検
索キーについて上記の処理を同時に行う。どれか１つの
トラックで指定検索キーについて一致がとれ、ある値が
得られ石。得られたイ１〜：に当該トラック以前の具体
値の累積格納個数を加えて得られた値が所望の符号値と
なる。！！た検索キーが複数のフィールドについて存在
することがある。この場合各フィールドに対応づけられ
たトラックにおいて上記の符号化処理を同時に行う。

次に検索用ファイルを格納する半導体記憶１と符号・復
号用ファイルを格納する磁気ディスク記憶２とからなる
ファイル記憶システムにおける内容検索動作の概要を第
４図によυ説明する。なお着目するフィールド具体値は
１トラツクに格納されているものとする。利用者から検
索の問合せを受ケルとプロセッサ３け指定されたファイ
ルの信号データが格納されているシリンダを選択する。

次に指定された検索キーに対応する符号値を求めるため
、符号・初号回路部４内の指定されたフィールドに対応
づけられている符号・復号回路に約６を介して検索キー
を設定する。続いてプロセッサ３は線８を介して磁気デ
ィスク記憶２にデータ転送を指示するとは気ディスク記
憶２は格納されたデータを先頭から他（に紳７−１から
７−ｍへ出力し、−実動作を指示された符号・復号回路
は設定された検索キーに対応する符号値を求め保持する
。プロセッサ３ばＨ６を介して符号−復号回路に保持さ
れている符号値を読出す。次にプロセッサ３は得られた
符号値に基づき逆ファイルを探索し条件を満足するレコ
ードが格納されているページ番号を取出し、従来方法と
同様の手順により半導体６己憶１から所望のページを線
５を介して読取る。

プロセッサ３は読出したページの中、から条件を満足す
るレコードを取出し、これを復号するため各フィールド
に対応する符号＠復号回路に線６を介して復号化の対象
とする符号値を転送する。続いて線８を介して磁気ディ
スク記憶２に読出し動作を線６を介し符号中復号回路部
４に復号処理を指示する。符号・復号回路部４の中の動
作を指示された符号・復号回路は線７を介して転送され
るデータから前記の原理によシ指定の符号値を復号し保
持する。プロセッサ３は線６を介して復号された各フィ
ールドの具体値を読出し、これを用いて符号化されたレ
コードを元のレコードに復元する。

次に第７図の実施例によシ符号・復号回路の構成・！′
易作を説明する。

符号値はコードバッファ１１に格納され、その符号値の
１つはアドレスカウンタ１２によシ選択される。磁気デ
ィスク記憶２から読出され′たデータ中のフラグの個数
はフラグカウンタ１３で計数され、コードバッファ１１
から線２４に出力される符号値と７ラグカウンタ１３の
値との一致が比較回路１４で検出される。磁気ディスク
記憶２から送られるデータとフラグ情報はバッファレジ
スタ１５に格納され、磁気ディスク記ｔＴ、ｆ　２より
送られるデータ送出信号とトラック内の最後のデータで
あることを示すエンド（１号はフリップフロップ１６に
保持される。データレジスタ１７にデータを保持するこ
とができ、複数セクションに分割されておりセクション
学位に隣接セクションにデータを同時シフトができる。

データレジスタ１７のデータは比較回路１８でデータバ
ッファ２０からのデータと比較される。データバッファ
２０には復号化された具体値または符号化の対象とする
検索キーが格納され、アドレスカウンタ２１によシその
具体値または検索キーの１つが選択される。

最初に半導体記憶１上の検索用ファイルに関する逆ファ
イルを探屋するために検索キーからこれに対応する符号
値を求める処理について説明する。

なおアドレスカウンタ１２，２１、フラグカウンタ１３
け初期状態すなわち全″０１とする。

プロセッサ３がｉ？３＋１６−２を介して動作を指示す
ると制御回路１０は線６−１　、４０を介して検索キー
をデータバッファ２０にセットする。そのセットが終了
しカニ後開側１回路１０はアドレスカウンタ２１をリセ
ットし、最初の検索キーを線４１に出力させる。制御回
路１０は線２８の状態により磁気ディスク記憶２からデ
ータが転送されたことを検出すると、バッファレジスタ
１５のデータ部分をデータレジスタ１７の第１番目のセ
クション１７−１にセットする。寸だ制御回路１０け線
２７によシバツファレジスタ１５にフラグがセットされ
ているか否か調べる。フラグがセットされていない場合
はデータレジスタ１７の各セクションの内容を同時に腫
接セクションにシフトしフラグがセットされるまで上記
動作を紛返す。またフラグがセットされていることを検
出した場合は、制御回路１０は線３３を介してフラグカ
ウンタ１３の値を歩進するとともに比較回路１８によシ
データレジスタ１７の内容と紳４１に出力されている検
索キーとの比較を指示する。その比較結果は線３５を介
１〜て制御回路１０に送られる。制御回路１０は比較回
路１８での一致を検出すると７ラグカウンタ１３の内容
を線４２を介してコードバッファ１１に格納する。また
不一致でかつ線２８を介してエンド信号を受信していな
い場合は制御回路１０は次のデータがバッファレジスタ
１５にセットされるのを待つ最初の状態に戻る。不一致
でかつエンド信号を検出した場合はバタンマツチがとれ
なかったことを示す全１０＃データをコードバッファ１
１に格納する。

検索キーがデータバッファ２０に複数セットされている
場合はアドレスカウンタ１２．２１を歩進して上記の一
連の処理を繰返す。なお横木キーを複数セットするとき
は磁気ディスクの１回転でこれらの検索キーに関する処
理が行なえるようにプロセッサ３は検索キーを昇順にデ
ータバッファ２０にセットする。

全ての検索キーに関する符号化処理を終了すると制御回
路１０はコードバッファ１１に保持されているデータ金
線４３．６−１を介してプロセッサ３に転送する。プロ
セッサ３は前記の規則によりフィールド具体値が１トラ
ツクに納まる場合と複数トラックにわたる場合とに分け
て符号−復号回路から受信したデータに基づき符号値を
求める。

次に符号化レコードの各フィールドの符号値を元のデー
タに戻す復号処理について説明する。なお動作に先立ち
アドレスカウンタ１２，２１、フラグカウンタ１３は初
期状態にあるものとする。

プロセッサ３が線６−２を介して復号処理を指示すると
制御回路１０は線６−１を介して符号値をコードバッフ
ァ１１に、フラグカウンタの初期値をフラグカウンタ１
３に格納する。次に制御回路１０はアドレスカウンタエ
２を初期状態に戻し、最初の符号値を線２４に出力させ
る。制御回路１０は線２８を介してデータが転送された
ことを検出するとバッファレジスタ１５のデータ部分を
データレジスタ１７の第１番目のセクション１７−１に
セットする。また制御回路１０は線２７を介してフラグ
がセットされているか否か調べる。セットされてい々い
場合はデータレジスタ１７の各セクションの内容を隣接
するセクションに同時にシフトし、フラグがセットされ
るまで上記動作を繰返す。フラグがセットされているこ
とを検出すると制御回路１０はフラグカラ／り１３の内
容を歩進する。

制御回路１０は線２６を介してフラグカウンタ１３の内
容と線２４の内容とが一致したか否か調べる。不一致の
場合は最初の状態すなわちバッファレジスタ１５に次の
データがセットされるのを待つ状態に々る。比較回路１
４で一致を検出した場合はデータレジスタ１７に保持さ
れている内容が線２４に出力されている符号値に対応す
る復号データであるので、ｆｌｊ制御回路１０は線３１
を介してデータレジスタ１７の内容をデータバッファ２
０に格納する。

コードバッファ１１にまだ復号化の対象となる符号値が
存在する場合は制御回路１０はアドレスカウンタ１２．
２１を歩進して上記の一連の復号処理を繰返す。制御回
路１０はコードバッファ１１に格納されている全ての符
号値に対応する符号データをデータバッファ２０に格納
した後、データバッファ２０に保持されている復号デー
タを線３２．６−１を介してプロセッサ３に転送する。

なお符号値が複数ある場合は磁気ディスクの１回転内で
これらの符号値の復号化を行えるようにプロセッサ３は
符号値を昇順にコードバッファ１１にセットしておく。

以上フィールド単位に符号値に関して昇順となるように
具体値を整列することによ＃）得た符号・復号用ファイ
ルに基づく符号値の復号化と検索キーの符号化処理を第
６図、第７図を用いて説明した。この方式の変形として
フィールド単位に符号値に関して降順とまるように具体
値を整列することによシ得た符号・復号用ファイルに基
づく上記復号化・符号化処理が考えられる。この場合フ
ラグカウンタの初期値として着目するトラックに格納さ
れている具体値の個数に１を加えた値を設定することと
、フラグを検出する度にフラグカウンタの値を１づつ減
らすことが今まで説明した動作との主な相違点であシ、
同様の手順によシ検索キーの符号化と粕号値の復号化を
行うことができる。

以上説明したようにこの発明においては、（１）検索用
ファイルの圧縮によシ磁気ディスクからのデータ転送時
間の低減あるいは半梼体記憶上への当該ファイルの常駐
が可能となシ検索対象とするレコードをファイルから１
１ｖ出す動作を高速化できる。

（２）検索用ファイルの情報が圧縮されておシ比較動作
を高速化できる。（３）汎用の論理回路や半導体記憶に
よシ答易に棺ｊ成できる符号・復号回路の利用によって
さらに符号・復号動作を高速化できる。

（４）上記の高速化によって検索時間が短縮される２、
（５）プロセッサ負担の軽減と磁気ディスクに対するア
クセス頻度の低減のため可能となる大容景磁気ディスク
の使用によりシステムの経済化が達成できる。

【図面の簡単な説明】

第１図はファイルの代表的な構成例を示す図、第２図は
第１図のファイルを磁気ディスクに格納する場合の従来
の標準的な格納法を示す概念図、第３図は逆ファイルの
概念を示す図、第４図はこの発明の実施例を示すブロッ
ク図、第５図はこの発明に用いられる符号化法の概念を
示す図、第６図はこの発明に用いられる復号化法の概念
を示す図、第７図はこの発明の記憶方式に用いられる符
号・復号回路の実施例を示すブロック図である。 １：検索用ファイルとしての半導体記憶、２：符号・復
号用ファイルとしての磁気ディスク記憶、３：プロセッ
サ、４：符号・復号回路部。 特許出Ａｉ＋ｉ人　　日本電信電話公社代理人　草野　
卓

Claims (1)

【特許請求の範囲】
1. （１）少くとも１つのフィールドをもつレコードの集合
   からなるファイルの記憶方式であって、フィールド単位
   に定義され具体値と１対１に対応する符号値に変換する
   符号化法によシ前記ファイル内の具体値を符号化して記
   憶する検索用ファイルと、フィールド単位に符号値に関
   して予め決められた順となるように具体値を整列して記
   憶する符号・復号用ファイルとを有することを特徴とす
   るファイル記憶方式。