JPH0362137A - 可変長ブロック群による長大データの格納方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は可変長ブロック群による長大データの格納方法
に関し、特に電子計算機の処理装置と記憶装置とにより
、データベースの格納手段等に用いられる二次記憶装置
上に長大データを格納する可変長ブロック群による長大
データの格納方法に関する。

〔従来の技術〕

二次記憶装置上のファイルにイメージやテキスト等の長
大データを格納する方法に関しては、従来、１つのイメ
ージデータ等を１つのファイルに格納する方法が知られ
ている。また、これを改良したものとして、いわゆる「
Ｂ成木」を用いて長大データを管理する方法を、キャレ
イ（Ｍｉｃｈａｅｌ　　Ｊ、　　Ｃａｒｅｙ）らが大規
模データベース国際会議報告（Ｐｒｏｃｅｅｄｉｎｇｓ
　　。

ｆ　　Ｖｅｒｙ　　Ｌａｒｇｅ　　Ｄａｔａ　　Ｂａ５
ｅｓ、ＶＬＤＢ　　Ｅｎｄｏｗｍｅｎｔ、１９８６年、
９１−１００ページ〉で記述している。

〔発明が解決しようとする課題〕

最近研究が活発化しているマルチメディアデータベース
においては、イメージやテキスト等の長大データを大量
に二次記憶中に保管し、高速に格納及び検索する必要が
ある。特にイメージやテキストを編集する応用プログラ
ムの場合には、長大データを高速に更新することも必要
となる。

ところが、従来の１データを１フアイルに格納する方法
では、内容の変更に際してファイル全体をコピーする処
理を行なうため、長大データの場合には、更新処理に相
当の時間がかかり、またデータ件数が多いとファイルの
個数が増え過ぎるという問題点があった。

キャレイらはこの問題を解決するために、長大データを
複数のブロックに分割し、ブロック群全体をＢ成木を用
いて管理する方法を提案している。

しかし、キャレイらの方法では、各ブロックが固定長で
あり、また多段の木を用いるため、長大データを格納す
ると一般にブロック数が多くなりすぎて読み出し時間が
長くなり、特に更新の少ないデータでは、全体としての
性能が悪化するという欠点があった。

本発明の目的は、可変長ブロック群を用いて二次記憶中
の長大データを管理する方法を提案することにより、二
次記憶中のデータの格納、読み出し、上書き、追加、削
除の各処理を高速かつ効率的に実行する手段を提供する
ことにある。

〔課題を解決するための手段〕

第１の発明の可変長ブロック群による長大データの格納
方法は、二次記憶中の長大データを各々が複数のページ
から成る可変長ブロック集合に分割して格納したデータ
ファイルと、長大データの各ブロックの先頭のページ番
号およびそのブロック中のデータの有効サイズをエント
リとして記録したヘッダレコード群を格納したヘッダフ
ァイルとを用意し、データの新規格納の場合に、必要な
個数の連続したページをブロックとしてデータファイル
中に確保し、主記憶からデータを当該ページ群に転送し
、ヘッダレコードの領域をヘッダファイル中に確保し、
ヘッダにデータのサイズとブロックの先頭ページの番号
とを記録し、結果として二次記憶中の長大データの格納
を高速化することにより構成されている。

また、第２の発明の可変長ブロック群による長大データ
の格納方法は、二次記憶中の長大データを各々が複数の
ページから成る可変長のブロック集合に分割して格納し
たデータファイルと、長大データの各ブロックの先頭の
ページ番号およびそのブロック中のデータの有効サイズ
をエントリとして記録したヘッダレコード群を格納した
ヘッダファイルとを用意し、データの読み出しと上書き
との場合に、ヘッダレコードを主記憶に読み込んで与え
られた開始位置を持つエントリを見つけ、当該エントリ
がポイントするデータブロックを主記憶中に読み込み、
データの読み出し操作の場合には当該ブロックを応用プ
ログラム領域に転送し、データの上書き操作の場合には
応用プログラム領域からデータを転送して当該ブロック
に書き込んでから二次記憶に書き戻し、再び次のエント
リに進んで、以上の操作を与えられたデータサイズに達
するまで繰り返し、結果として二次記憶中の長大データ
の読み出しと上書きとを高速化することにより構成され
ている。

一方、第３の発明の可変長ブロック群による長大データ
の格納方法は、二次記憶中の長大データを各々が複数の
ページから成る可変長のブロック集合に分割して格納し
たデータファイルと、長大データの各ブロックの先頭の
ページ番号およびそのブロック中のデータの有効サイズ
をエントリとして記録したヘッダレコード群を格納した
ヘッダファイルとを用意し、データの途中追加の場合に
、ヘッダレコードを主記憶に読み込んで与えられた開始
位置を持つエントリを見つけ、ヘッダ中のエントリ数が
最大値−１未満の場合には、サイズが追加データのサイ
ズ＋１ページの新ブロックをデータファイル中に割り当
て、追加データの開始位置を含むページの内容を新ブロ
ックにコピーし、追加データを新ブロックに書き込み、
新ブロックの先頭ページを指すエントリをヘッダ中に作
成し、追加前のブロックのデータ追加位置以降のページ
を指すエントリをヘッダ中に作成し、またヘッダ中のエ
ントリ数が最大値−１以上の場合には、ヘッダ中で最小
のブロックを持つエントリとその前後で小さい方のブロ
ックを持つエントリとを見つけ、両方のブロックの合計
のサイズを持つ新ブロックをデータファイル中に割り当
て、両方のブロックの内容を新ブロックにコピーし、両
方のブロツクを指す２つのエントリを削除して新ブロッ
クを指すエントリをヘッダ中に作成し、以上のマージ処
理でエントリ数が削減したヘッダに対して改めて上記の
追加処理を繰り返し、結果として二次記憶中の最大デー
タの追加を高速化することにより構成されている。

さらに、第４の発明の可変長ブロック群による長大デー
タの格納方法は、二次記憶中の長大データを各々が複数
のページから成る可変長のブロック集合に分割して格納
したデータファイルと、長大データの各ブロックの先頭
のページ番号およびそのブロック中のデータの有効サイ
ズをエントリとして記録したヘッダレコード群を格納し
たヘッダファイルとを用意し、データの途中追加の場合
に、ヘッダレコードを主記憶に読み込んで与えられた開
始位置を持つエントリを見つけ、−削除データサイズが
当該エントリの指すブロック長以上の場合には、削除を
開始したエントリの時にはエントリ中の有効データサイ
ズを更新し、そうでない場合には現エントリを削除し、
再び次のエントリに進んで削除処理を繰り返し、また削
除データサイズが当該エントリの指すブロック長より小
さい場合には、現ブロックの残りのデータを含み得るサ
イズの新ブロックを割り当て、現ブロック中の削除され
たデータを新ブロックにコピーし、現エントリのページ
番号を新ブロックの先頭ページに更新し、結果として二
次記憶中の長大データの削除を高速化することにより構
成されている。

〔作用〕

本発明は、上述の方法をとることにより、最初の格納時
には、連続したページからなる１ブロツクだけを割り当
て、追加や削除の際には更新が必要な最小部分のみをペ
ージ単位で追加、削除するとともに、随時ブロック群を
マージして個数を減少させることができる。

このため、全体のブロック数が常に一定値以内に収まる
ので長大データを高速に読み出すことが可能となり、さ
らに必要な部分のみを置換するのでデータの更新処理を
高速に行うことができる。

〔実施例〕

本発明の実施例について図面を参照して説明する。

第１図は第１の発明の一実施例を示す流れ図、第２図は
第２の発明の一実施例を示す流れ図、第３図は第３の発
明の一実施例を示す流れ図、第４図は第４の発明の一実
施例を示す流れ図である。

また、第５図は二次記憶装置中に格納されるデータとそ
のヘッダとの関係の一例を示すブロック図である。そし
て、第６図はヘッダとデータブロックとの関係の一例を
示すブロック図である。

第５図に示すように、二次記憶装置中の１件の長大デー
タは、データファイル５１中の複数のブロックに分割さ
れて格納される。例えば、データＡは、第５図では、３
つのブロックＡｌ、Ａ２゜Ａ３に分割されて格納されて
いる。また、データＢは、２つのブロックＢｌ、Ｂ２に
分割されて格納されている。このように、データファイ
ル５１には、複数の長大データが混在して格納される。

一方、ヘッダファイル５２には、複数のヘッダＨＡ、Ｈ
，が格納されている。各ヘッダは１件の長大データに対
応し、それを構成する各ブロックをポイントしている。

他方、第６図に示すように、ヘッダＨ＾は複数のエント
リＥ　Ａ　ｌ　、Ｅ　Ａ２　＊・・・ＥＡａから構成さ
れ、ブロックＡ１は複数個のページＰＡＩ□、Ｐ＾１２
゜Ｐ　Ａ１３から構成されている。なお、ページは固定
長であるが、ブロックを構成するページ数は可変なので
、ブロック長は可変となっている。

また、各エントリは、ブロックの先頭のページ番号とそ
のブロック中の有効データサイズとを含んでいる。有効
データサイズは、ブロック内で実際にデータの格納に使
われている領域の大きさを示している。

第７図は第１の発明によるデータの新規格納時の状態の
一例を示す説明図である。

次に、第１図および第７図を用いて、第１の発明による
データの新規格納方法を説明する。

最Ｄ１に、第１図のステップ１１で、データＡの格納に
必要なページ数を算出し、ステップ１２で、そのページ
数だけの連続領域をデータファイル５１中に確保する。

この領域が第７図のブロックＡ１となる。

次に、ステップ１３で、主記憶中の応用プログラムの領
域からデータＡを当該ブロックＡ１に転送する。また、
ステップ１４で、ヘッダファイル５１中にヘッダレコー
ドの領域を確保し、ステップ１５で、ヘッダＨへにブロ
ックＡ１の先頭ページＰＡ１１のページ番号とデータＡ
の有効サイズとを書き込んで終了する。

次に、第２図（ａ）、（ｂ）および第６図により、第２
の発明によるデータの読み出しと上書きとの方法を説明
する。なお、第２図において、ＯＦは応用プログラム（
Ａ　Ｐ−という）からの入力情報であり、データ中の読
み出し／上書き位置を示す。また、ＯＸは各ブロックの
先頭が元のデータ中で占める位置、Ｓは各ブロック中の
有効データサイズ、ＳＴは各ブロック内での転送開始位
置、ＳＲは各ブロック内での残りの転送サイズ、Ｌは各
ブロックごとの転送サイズである。

最初に、第２図（ａ）のステップ２０１で、当該データ
Ａに対応するヘッダＨＡをヘッダファイル５２から読み
込む。ステップ２０２で、ＯＸを初期化し、ステップ２
０３で、Ｓに現ブロック中の有効データサイズをセット
する。

次に、ステップ２０４で読み込み／上書き開始位置が現
ブロック中か否かをチエツクし、もしそうである（Ｙ）
ならば、第２図（ｂ）のステップ２０８に飛び、否であ
る（Ｎ）ならば、次に進む。

ステップ２０５で、次のエントリの内容を手にいれ、ス
テップ２０６で、エントリが空か否かを確認し、空（エ
ントリの終わり〉である（Ｙ）ならば終了する。空でな
い（Ｎ）ならば、ＯＸを次のブロックの先頭位置に進め
、ステップ２０３に戻る。

次に、ステップ２０８で、当該ブロックを読み込み、ス
テップ２０９で、ブロック内の転送開始位置をセットし
、ステップ２１０で、そのブロック内での実際の転送サ
イズを求める。

また、ステップ２１１で、読み出しか上書きかをチエツ
クし、読み出しくＹ）ならば、ステップ２１２で、ブロ
ック内の位置ＳＴからＬバイトを応用プログラム領域に
転送する。

上書きの場合（Ｎ＞には、ステップ２１３で、応用プロ
グラム領域のＬバイトのデータを位置ＳＴからブロック
中に書き込み、ステップ２１４で、ブロックを二次記憶
に書き戻す。

また、ステップ２１５で、次の転送開始位置をセットし
、ステップ２１６で、残りの転送サイズをセットする。

ステップ２１７で、残りがＯ以下（Ｙ）ならば終了し、
そうでない（Ｎ）ならば、ステップ２０５へ戻って、次
のエントリに進む。

第８図は第３の発明によるデータの途中追加時の状態の
一例を示す説明図である。

次に、第３図および第８図を用いて、第３の発明による
データの途中追加の方法を説明する。なお、第３図にお
いて、ＯＦは、応用プログラムからの入力情報であり、
データ中の追加位置を示す。

また、ＳＡは、データの追加サイズに対応するページ数
を示す。

最初に、第３図のステップ３０１で、当該データＡに対
応するヘッダＨＡをヘッダファイル５２から、第８図（
ａ）のように読み込み、ステップ３０２で、位置ＯＦを
含むブロックＡＩのエントリをみつける。

次に、ステップ３０３で、ヘッダＨＡ中のエントリ数が
最大値−１未満か否かをチエツクし、ＹＥＳならばステ
ップ３０４に、Ｎｏならばステップ３０８に進む、ステ
ップ３０４では、追加サイズ＋１個のページ数を持つ新
ブロックＡ１２を、第８図（ｂ）のように、データファ
イル５１中に割り当てる。

ステップ３０５で、追加位置ＯＦを含むページに関して
、ＯＦの前後を新ブロツク内の前後にそれぞれコピーし
、ステップ３０６で、追加データを新ブロックにコピー
する。ステップ３０７で、新ブロツク用及び残りのブロ
ック用の２個のエントリを、第８図（ｂ）のように、ヘ
ッダＨＡ中に作成して終了する。

次に、ステップ３０８以下では、ヘッダ中のエントリ数
を減らすために、２つのブロックの併合を行なう、まず
、ステップ３０８で、ヘッダＨＡ中で最小サイズのブロ
ックを持つエントリを見つけ、ステップ３０９で、当該
エントリの前後で小さい方のブロックを持つエントリを
見つける。

ステップ３１０では、上記の２つのエントリのブロック
長の合計サイズの新ブロックをデータファイル中に割り
当てる。ステップ３１１で、２つの旧ブロックの内容を
新ブロックにコピーし、ステップ３１２で、２つの旧エ
ントリを削除し、ステップ３１３で、新エントリをヘッ
ダＨＡ中に作成し、ステップ３０２に戻る。

第９図は第４の発明によるデータの途中削除時の状態の
一例を示す説明図である。

次に第４図および第９図を用いて、第４の発明によるデ
ータの途中削除の方法を説明する。なお、第４図におい
て、ＯＦは応用プログラムからの入力情報であり、デー
タ中の削除開始位置を示す。

また、ＳＤは削除サイズ、Ｓは各ブロック中の有効デー
タサイズである。

最初に、第４図（ａ＞のステップ４０１で、当該データ
Ａに対応するヘッダＨＡをヘッダファイル５２から、第
９図（ａ、）のように読み込む。次に、ステップ４０２
で、位置ＯＦを含むエントリをみつける。この時ＯＦを
、当該ブロックの先頭からのオフセットに変換しておく
。

次に、ステップ４０３で、削除データが当該ブロック中
に全て含まれるか否かをチエツクし、含まれない（Ｙ）
ならば、ステップ４０４に、含まれる（Ｎ）ならば第４
図（ｂ）のステップ４１１に進む。ステップ４０４では
、削除位置ＯＦがブロックの先頭か否かをチエツクし、
先頭である（Ｙ）ならば、ステップ４０６で、当該エン
トリを削除する。また、先頭でない（Ｎ）ならば、ステ
ップ４０５で、第９図（ｂ）に示すように、ブロック内
の有効データサイズＳをＯＦに更新する。

次に、ステ・ツブ４０７で、削除サイズと削除開始位置
とを次のブロック中のサイズと位置とに更新する。ステ
ップ４０８では、削除データの残りがあるか否かをチエ
ツクし、ない（Ｎ）ならば終了し、ある（Ｙ）ならば、
ステップ４０９で、次のエントリをみつける。ステップ
４１０では、次のエントリが空か否かをチエツクし、空
（Ｙ）ならば終了し、そうでない（Ｎ）ならば、ステッ
プ４０３に戻る。

次に、第４図（ｂ）のステップ４１１では、データ削除
後のブロックサイズである５−ＳＤのサイズを持つ新ブ
ロックをデータファイル５１中に第９図（ｂ）のように
割り当てる。ステップ４１２では、削除開始位置がブロ
ックの先頭か否かをチエツクし、先頭でない（Ｎ）なら
ば、ステップ４１３で、旧ブロック中の削除開始位置以
前のデータを新ブロックにコピーする。

また、ステ・シブ４１４では、旧ブロック中の削除終了
位置以降のデータを新ブロックにコピーする。最後にス
テップ４１５で、現エントリ中のブロック先頭ページ番
号を新ブロックを指すように更新して終了する。

〔発明の効果〕

本発明の可変長ブロック群による長大データの格納方法
は、二次記憶中の長大データの部分的な更新に際して、
その一部のみしか実際に入出力しないため、データの途
中追加および途中削除の各処理を高速に実行できるとと
もに、長大データを格納するブロック数が一定値以内に
抑えられるため、データの新規格納および読み出し並び
に上書きの各処理を高速に実行できるという効果を有し
ている。

【図面の簡単な説明】

第１図は第１の発明の一実施例を示す流れ図、第２図は
第２の発明の一実施例を示す流れ図、第３図は第３の発
明の一実施例を示す流れ図、第４図は第４の発明の一実
施例を示す流れ図、第５図は二次記憶装置中に格納され
るデータとそのヘッダとの関係の一例を示すブロック図
、第６図はヘッダとデータブロックとの関係の一例を示
すブロック図、第７図は第１の発明によるデータの新規
格納時の状態の一例を示す説明図、第８図は第３の発明
によるデータの途中追加時の状態の一例を示す説明図、
第９図は第４の尭明によるデータの途中削除時の状態の
一例を示す説明図である。 ５１・・・データファイル、５２・・・ヘッダファイル
、Ａ、Ｂ・・・データ、Ａｌ、Ａ２．Ａ３．Ａｉ。 Ａｉｌ、Ａｉ２．Ａｉ３．Ｂｌ、Ｂ２．Ｂｊ・・・ブロ
ック、ＥＡｌ、ＥＡｌ、〜ＥＡ１・・エントリ、ＨＡ。 ＨＢ””ヘッダ、ＰＡＩＩ・Ｐ　Ａ１２・ＰＡ１３”’
ページ。

Claims (4)

【特許請求の範囲】
1. （１）二次記憶中の長大データを各々が複数のページか
   ら成る可変長ブロック集合に分割して格納したデータフ
   ァイルと、長大データの各ブロックの先頭のページ番号
   およびそのブロック中のデータの有効サイズをエントリ
   として記録したヘッダレコード群を格納したヘッダファ
   イルとを用意し、データの新規格納の場合に、必要な個
   数の連続したページをブロックとしてデータファイル中
   に確保し、主記憶からデータを当該ページ群に転送し、
   ヘッダレコードの領域をヘッダファイル中に確保し、ヘ
   ッダにデータのサイズとブロックの先頭ページの番号と
   を記録し、結果として二次記憶中の長大データの格納を
   高速化することを特徴とする可変長ブロック群による長
   大データの格納方法。
2. （２）二次記憶中の長大データを各々が複数のページか
   ら成る可変長のブロック集合に分割して格納したデータ
   ファイルと、長大データの各ブロックの先頭のページ番
   号およびそのブロック中のデータの有効サイズをエント
   リとして記録したヘッダレコード群を格納したヘッダフ
   ァイルとを用意し、データの読み出しと上書きとの場合
   に、ヘッダレコードを主記憶に読み込んで与えられた開
   始位置を持つエントリを見つけ、当該エントリがポイン
   トするデータブロックを主記憶中に読み込み、データの
   読み出し操作の場合には当該ブロックを応用プログラム
   領域に転送し、データの上書き操作の場合には応用プロ
   グラム領域からデータを転送して当該ブロックに書き込
   んでから二次記憶に書き戻し、再び次のエントリに進ん
   で、以上の操作を与えられたデータサイズに達するまで
   繰り返し、結果として二次記憶中の長大データの読み出
   しと上書きとを高速化することを特徴とする可変長ブロ
   ック群による長大データの格納方法。
3. （３）二次記憶中の長大データを各々が複数のページか
   ら成る可変長のブロック集合に分割して格納したデータ
   ファイルと、長大データの各ブロックの先頭のページ番
   号およびそのブロック中のデータの有効サイズをエント
   リとして記録したヘッダレコード群を格納したヘッダフ
   ァイルとを用意し、データの途中追加の場合に、ヘッダ
   レコードを主記憶に読み込んで与えられた開始位置を持
   つエントリを見つけ、ヘッダ中のエントリ数が最大値−
   １未満の場合には、サイズが追加データのサイズ＋１ペ
   ージの新ブロックをデータファイル中に割り当て、追加
   データの開始位置を含むページの内容を新ブロックにコ
   ピーし、追加データを新ブロックに書き込み、新ブロッ
   クの先頭ページを指すエントリをヘッダ中に作成し、追
   加前のブロックのデータ追加位置以降のページを指すエ
   ントリをヘッダ中に作成し、またヘッダ中のエントリ数
   が最大値−１以上の場合には、ヘッダ中で最小のブロッ
   クを持つエントリとその前後で小さい方のブロックを持
   つエントリとを見つけ、両方のブロックの合計のサイズ
   を持つ新ブロックをデータファイル中に割り当て、両方
   のブロックの内容を新ブロックにコピーし、両方のブロ
   ックを指す２つのエントリを削除して新ブロックを指す
   エントリをヘッダ中に作成し、以上のマージ処理でエン
   トリ数が削減したヘッダに対して改めて上記の追加処理
   を繰り返し、結果として二次記憶中の最大データの追加
   を高速化することを特徴とする可変長ブロック群による
   長大データの格納方法。
4. （４）二次記憶中の長大データを各々が複数のページか
   ら成る可変長のブロック集合に分割して格納したデータ
   ファイルと、長大データの各ブロックの先頭のページ番
   号およびそのブロック中のデータの有効サイズをエント
   リとして記録したヘッダレコード群を格納したヘッダフ
   ァイルとを用意し、データの途中追加の場合に、ヘッダ
   レコードを主記憶に読み込んで与えられた開始位置を持
   つエントリを見つけ、削除データサイズが当該エントリ
   の指すブロック長以上の場合には、削除を開始したエン
   トリの時にはエントリ中の有効データサイズを更新し、
   そうでない場合には現エントリを削除し、再び次のエン
   トリに進んで削除処理を繰り返し、また削除データサイ
   ズが当該エントリの指すブロック長より小さい場合には
   、現ブロックの残りのデータを含み得るサイズの新ブロ
   ックを割り当て、現ブロック中の削除されたデータを新
   ブロックにコピーし、現エントリのページ番号を新ブロ
   ックの先頭ページに更新し、結果として二次記憶中の長
   大データの削除を高速化することを特徴とする可変長ブ
   ロック群による長大データの格納方法。