JP3567792B2

JP3567792B2 - Information processing device and method of calculating output data amount to auxiliary storage medium

Info

Publication number: JP3567792B2
Application number: JP10277999A
Authority: JP
Inventors: 敏洋加藤
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1999-04-09
Filing date: 1999-04-09
Publication date: 2004-09-22
Anticipated expiration: 2019-04-09
Also published as: JP2000293412A

Description

【０００１】
【発明の属する技術分野】
本発明は、情報処理装置に関し、特に、情報処理装置において補助記憶媒体へデータを格納する際のデータ容量算出方法及び装置に関する。
【０００２】
【従来の技術】
上位装置内に格納されている関連性のある複数のファイルから必要なデータを複数の補助記憶装置の記憶媒体に格納する場合、同一の記憶媒体内で情報の整合性を保ち、かつデータ量が記憶媒体の容量を超えないように、データ又はファイルを複数に分割することが必要とされる。
【０００３】
例えば、上位装置である情報処理装置のハードディスク装置等記憶装置に格納された複数のファイルから、例えば携帯情報端末装置等の目的装置にロードすべきレコードデータ（データ、テーブル、プログラムコード等）を抽出して、例えばＦＤ（フロッピーディスク）、半導体メモリ等の補助記憶媒体に書き込み、該補助記憶媒体のデータを携帯情報端末装置等目的装置にロードする場合において、関連性あるレコードデータがすべて含まれている等、同一の記憶媒体内で情報の整合性を保つことが必要とされ、データ量が記憶媒体の容量を超えないように、ファイルを分割することが必要とされる。
【０００４】
同様にネットワーク接続されたサーバ装置からクライアント端末側にクライアント側で所要のファイルデータを転送する場合にも、クライアント端末側の記憶装置でオーバフローの発生を回避するには、クライアント端末側の記憶装置の記憶容量に照らし合わせて、ダウンロードすべきデータの容量を計算することが必要とされ、またクライアント側で情報の整合性を保ち、かつデータ量が記憶媒体の容量を超えないように、ファイルを分割することが必要とされる。
【０００５】
ファイル容量を算出する従来の方法として、従来、ファイルから抽出するレコード１件ごとに関連する別ファイルの容量を計算して順次加算していき、補助記憶装置の記憶媒体の容量を超えるまでのデータを、上位装置の各ファイルから補助記憶装置の記憶媒体に格納するような方法が一般に用いられている。
【０００６】
なおファイル容量算定方式に関する刊行物として、例えば特開平２−８３６３７号公報が参照される。同公報には、データファイル及びプログラム格納ファイルの編成方法、レコード長、ブロック長、キー情報を含むデータを設定し、データファイルが必要とする領域を該データに基づいて決定して該領域をファイル装置の確保する構成が提案されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記従来の方法においては、事前に計算したデータ容量が補助記憶装置の記憶媒体へ（「補助記憶媒体」という）実際に格納するデータ容量よりも大となってしまうという事態が生じ、この場合、本来、補助記憶装置の記憶媒体の空き容量があるにもかかわらず、補助記憶装置の記憶媒体へのデータ格納を停止してしまい、補助記憶装置の記憶容量を有効に活用できない、という問題点を有している。
【０００８】
その理由は、従来の方法においては、抽出するレコード１件ごとに関連する各ファイルの容量を計算し、該容量を順次に加算していくため、ファイルごとに抽出キーが異なる場合には、既に計算済のデータ容量を重複して計算し、結果として、データ容量を２重に、あるいはさらに多重に計算してしまう、ためである。
【０００９】
したがって本発明は、上記問題点に鑑みてなされたものであって、その目的は、上位装置に存在する関連性を持ったファイル群から必要なデータのみ補助記憶媒体へ抽出することで、補助記憶媒体の記憶容量を有効活用する方法及び装置を提供することにある。
【００１０】
【課題を解決するための手段】
前記目的を達成する本発明は、複数のファイルのレコードデータを抽出し該抽出されたレコードデータを補助記憶媒体へ格納する際のデータ量算出方法において、（ａ）前記複数のファイルの各々に対して抽出キーと該抽出キーのレコード件数をインデックスファイルに登録するステップと、
（ｂ）前記ファイルから抽出し前記補助記憶媒体に格納するレコードデータについて前記補助記憶媒体に格納する順に、キー情報及びレコード情報を、前記ファイルに対して設けられるテーブルに登録するステップと、
（ｃ）前記テーブルに登録されたキーについて、前記キーと関連性のある他のファイルに格納されたレコードのキー（「関連キー」という）が存在する場合、前記関連キーが前記他のファイルに対して設けられる他のテーブルに登録されているか否かを検索し、前記関連キーが前記他のテーブルに登録されていない場合、前記関連キーのレコードのデータ量を、合計容量に加算し、一方、前記関連キーがすでに前記他のテーブルに登録されている場合には、重複するものとして、前記関連キーのレコードのデータ量は合計容量に加算しないように制御するステップと、を含むことを特徴としたものである。
【００１１】
本発明は、複数のファイルと、補助記憶媒体を備えた補助記憶装置とを少なくとも備えた情報処理装置において、前記複数のファイルから抽出したレコードデータを前記補助記憶媒体へ格納する際に、前記補助記憶媒体に格納するデータ量を合計容量に加算したレコードのキー情報を記憶手段に登録する手段と、前記ファイルから新たに抽出するレコードについて前記キー情報が前記テーブルに存在するか検索する手段と、前記キー情報が前記テーブルに存在しない場合、前記レコードのデータ量を合計容量に加算し、一方、前記キー情報がすでに前記テーブルに登録されている場合には重複するものとして、該レコードのデータ量は合計容量に加算せず、データ容量を算出する手段と、を備える。
【００１２】
【発明の実施の形態】
本発明の実施の形態について説明する。本発明は、その好ましい実施の形態において、抽出キーごとのレコード件数を有するインデックスファイルと、抽出候補レコードを保持するワークテーブル（作業テーブル）とを備え、補助記憶媒体の容量を超えない間は、ワークテーブルに各ファイルから抽出するレコードのキーを追加していく。レコードを抽出する際も、キーごとにワークテーブルを作成することによって、抽出キーが複数ある場合の容量計算において、同一データの容量を重複して計算することを確実に回避したものである。
【００１３】
本発明に係る装置は、好ましい実施の形態において、複数のファイルと、抽出キーごとのレコード件数を有するインデックスファイルとを備えたファイル装置と、抽出候補のレコードを保持する記憶手段と、前記インデックスファイルから抽出キーを取り出し、該抽出キーのレコードを一のファイルから取り出すとともに、同時に抽出する他のファイルのレコードのデータ容量を計算し、さらに各レコードの格納する補助記憶装置の媒体を決定して、記憶手段に記録する容量算出手段と、前記記憶手段を参照して、前記ファイル装置の各ファイルからレコードを抽出し、決定された前記補助記憶装置の媒体へ書込むレコード抽出手段と、を備える。
【００１４】
本発明において、前記補助記憶装置の媒体の記憶容量を超えない間は、前記記憶手段に前記各ファイルから抽出するレコードのキーを追加し、キーごとに前記記憶手段にテーブルを作成し、前記容量算出手段は、前記他のファイルのレコードのデータ容量を計算する際に、前記キーに関連する他のキーで他のテーブルを検索し、前記他のキーが前記他のテーブルに存在する場合、前記他のファイルに関するデータ容量は加算されているものとして合計容量には何も加算せず、前記他のキーが前記他のテーブルに存在しない場合、前記他のインデックスから前記他のキーのレコードを検索し、該レコードのデータ容量を加算して前記他のキーを前記他のテーブルに追加する。
【００１５】
本発明に係る方法は、その好ましい実施の形態において、
（ａ）複数のファイルのそれぞれについて抽出対象のキーごとのレコード件数をあらかじめ求め、それぞれのインデックスファイルを作成する処理、
（ｂ）一のファイルに対応する一のインデックスファイルから目的とする補助記憶媒体へダウンロードするレコードのキーを選択し、該キーを前記補助記憶媒体へ抽出する順に並べた一のテーブルを作成する処理、
（ｃ）補助記憶媒体番号を初期化する処理、
（ｄ）前記補助記憶番号を更新し、補助記憶媒体番号が予め定められた最大値以下の場合、以下の処理を行うように制御する処理、
（ｅ）合計容量を初期化するとともに、前記キーに関連する他のインデックスファイルのキーを保持するための他のテーブルを初期化する処理、
（ｆ）前記一のテーブルに登録されているレコードをダウンロードするのに必要なデータ容量を合計容量に加算する処理、
（ｇ）前記キーに関連する他のキー（「関連キー」という）が存在する場合、前記関連キーで前記他のテーブルを検索し、前記関連キーが前記他のテーブルに存在する場合、前記他のファイルの前記関連キーに関するデータ容量はすでに合計容量に加算されているものとして合計容量には何も加算せず、一方、前記関連キーが前記他のテーブルに存在しない場合、前記他のインデックスファイルから前記関連キーのレコードを検索し、前記関連キーのレコードのデータ容量を加算し、前記関連キーを前記他のテーブルに追加するステップと、
（ｈ）前記合計容量をチェックし、該合計容量が前記補助記憶媒体の記憶容量以下の場合、前記一のテーブルの次レコードに対して、ステップ（ｆ）へ移行する処理、
（ｉ）前記合計容量が前記補助記憶媒体の容量よりも大のとき、前記一のテーブルの現在のレコードに対して、ステップ（ｄ）へ移行する処理、
の前記（ａ）乃至（ｉ）の各処理は、コンピュータ上で実行されるプログラムによってその処理が実現される。この場合、該プログラムを保持又は記憶する記憶媒体もしくはメディアからコンピュータ装置に該プログラムを読み出すかもしくは受信し該プログラムをコンピュータにインストールし主記憶にロードしてＣＰＵで実行することで本発明を実施することができる。
【００１６】
本発明の実施の形態によれば、補助記憶媒体内のデータの整合性を保ち、補助記憶媒体の記憶容量を最大限に利用し、補助記憶媒体へ抽出するデータの算出に要する計算量の削減を図ることができる。
【００１７】
【実施例】
次に、上記した本発明の実施の形態について更に詳細に説明すべく、本発明の実施例について図面を参照して詳細に説明する。図１は、本発明の一実施例の構成を示す図である。
【００１８】
図１を参照すると、本発明の一実施例は、関連性のある複数のファイル（ファイル＃１〜ファイル＃ｎ）をもつ上位装置１と、データ容量を算出する容量算出手段２と、抽出候補レコードを保持するワークテーブル３と、レコード抽出手段４と、抽出したデータを格納する補助記憶装置５を有する。
【００１９】
データ容量算出手段２は、上位装置１のインデックスファイルからキー情報を抽出し、同時に抽出すべき他ファイルのレコードのデータ容量を計算し、各レコードを抽出する補助記憶媒体番号を決定し、ワークテーブル３に記録する。
【００２０】
レコード抽出手段４は、ワークテーブル３を参照して、上位装置１の各ファイルからレコードを抽出し適切な補助記憶媒体５へ書込む。
【００２１】
図２は、本発明の一実施例の処理手順を示す流れ図である。図２を参照すると、本発明の一実施例は以下のステップを含む。
【００２２】
ステップＳ１：複数のファイルのそれぞれキーごとのレコード件数をあらかじめ計算し、それぞれのインデックスファイルを作成しておく。
【００２３】
ステップＳ２：一のファイルに対応する一のインデックスファイルから補助記憶媒体へダウンロードするレコードのキーを選択し、該キーを補助記憶媒体へ格納する順に並べた一のテーブルを作成する。
【００２４】
ステップＳ３：該一のテーブルの未処理キーが存在しない場合は終了する。
【００２５】
ステップＳ４：補助記憶媒体番号を初期化する。
【００２６】
ステップＳ５：補助記憶媒体番号を更新する。
【００２７】
ステップＳ６：補助記憶媒体番号がその最大値を超えた場合、処理を終了する。
【００２８】
ステップＳ７：合計容量を０に初期化するとともに、キーに関連する他のインデックスのキーを保持するための他のテーブルを初期化する。
【００２９】
ステップＳ８：一のテーブルに登録されたレコードをダウンロードするのに必要なデータ容量を合計容量に加算する。
【００３０】
ステップＳ９：該キーに関連する他のキーで該他のテーブルを検索する。
【００３１】
ステップＳ１０：検索の結果、該他のキーが該他のテーブルに存在する場合には、前記他のファイルに関するデータ容量は加算されているものとして合計容量には何も加算しない。
【００３２】
ステップＳ１１：一方、前記他のキーが前記他のテーブルに存在しない場合、前記他のインデックスから前記他のキーのレコードを抽出し、該レコードのデータ容量を加算して前記他のキーを前記他のテーブルに追加する。
【００３３】
ステップＳ１２：合計容量をチェックし、該合計容量が補助記憶媒体の記憶容量以下の場合、該一のテーブルの次レコードに対して、ステップＳ８へ移行する。一方、合計容量が補助記憶媒体の容量よりも大のときには、前記一のテーブルの現在のレコードに対して、ステップＳ５へ移行する。
【００３４】
図３は、本発明の一実施例の動作を具体的に説明するための模式図である。図３を参照して本実施例の全体の動作について詳細に説明する。
【００３５】
補助記憶媒体へダウンロードするデータの容量計算を以下のように行う。なお、説明を簡略にするため、キーが２種類の場合を例とする。
【００３６】
ファイル１０（キー１２）およびファイル２０（キー２２）のそれぞれキーごとのレコード件数をあらかじめ計算し、それぞれのインデックス１１および２１を作成しておく（ステップ（ａ）、（ｂ））。
【００３７】
インデックス１１からダウンロードするデータのキーを抽出し、抽出したキーを補助記憶媒体へ抽出する順に並べたテーブル３０を作成する（ステップ（ｃ））。
【００３８】
初期値として補助記憶媒体番号を０とする（補助記憶媒体番号は１から始まるものとする）。
【００３９】
補助記憶媒体番号を１加算し、合計容量およびテーブル４０を初期化する。
【００４０】
テーブル３０のレコード１件をダウンロードするのに必要なファイル１０のデータ容量を合計容量に加算する（ステップ（ｄ））。
【００４１】
ファイル１０のキーのレコードとファイル２０のキーのレコードとの関連性を予め定義登録した関連キーテーブル５０を参照して、キー１２に関連するキー２２が存在する場合、キー２２でテーブル４０を検索する（ステップ（ｅ））。図３に示す例では、キー「Ａ２」のレコードの関連情報のキーが「ｘ」、「ｙ」であるとされている。この関係は、例えばキー「Ａ２」のレコードデータ（ファイル１０のレコード）の処理を行なうにあたり、関連情報のキーが「ｘ」、「ｙ」のレコードデータ（ファイル２０のレコード）を必要とするということを表わしている。
【００４２】
キー２２がテーブル４０に存在する場合、すでにファイル２０のデータ容量は加算されているので、何もしない。
【００４３】
キー２２がテーブル４０に存在しない場合、インデックス２１からキー２２のレコードを検索し、データ容量を加算し、キー２２をテーブル４０に追加する（ステップ（ｆ））。
【００４４】
合計容量をチェックする（ステップ（ｇ））。
【００４５】
合計容量が補助記憶媒体の容量以下の場合、テーブル３０の次レコードに対して、ステップ（ｅ）から繰り返す。
【００４６】
合計容量が補助記憶媒体の容量よりも大のときは、テーブル３０の現在のレコードに対して、補助記憶媒体番号を１加算し、合計容量およびテーブル４０を初期化する処理から、繰り返す。
【００４７】
なお、上記した実施例は、サーバ装置からクライアント端末等へのファイルのダウンロード等におけるデータ量の算出にも適用できることは勿論である。
【００４８】
【発明の効果】
以上説明したように、本発明によれば下記記載の効果を奏する。
【００４９】
本発明の第１の効果は、精密な容量計算を行える、ということにある。
その理由は、同一レコードに対して重複して容量計算することがないためである。
【００５０】
本発明の第２の効果は、データの抽出処理の高速化が図れることにある。
【００５１】
その理由は、各テーブルに実データの格納場所やダウンロードする補助記憶媒体情報を持たせることによって、ダウンロード時は、各テーブルを参照するだけでデータの抽出を行うことができるためである。
【図面の簡単な説明】
【図１】本発明の一実施例の構成を示す図である。
【図２】本発明の一実施例の処理手順を示す流れ図である。
【図３】本発明の一実施例の動作を説明するための模式図である。
【符号の説明】
１上位装置
２容量算出手段
３ワークテーブル
４レコード抽出手段
５補助記憶媒体
１０、２０ファイル
１１、２１インデックス（ファイル）
３０、４０テーブル
５０関連（キー）テーブル[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an information processing apparatus, and more particularly, to a data capacity calculation method and apparatus for storing data in an auxiliary storage medium in the information processing apparatus.
[0002]
[Prior art]
When storing necessary data from a plurality of related files stored in a higher-level device in storage media of a plurality of auxiliary storage devices, maintain the consistency of information in the same storage medium and reduce the amount of data. It is necessary to divide the data or file into multiple pieces so as not to exceed the capacity of the storage medium.
[0003]
For example, record data (data, table, program code, etc.) to be loaded into a target device such as a portable information terminal device is extracted from a plurality of files stored in a storage device such as a hard disk device of an information processing device which is a host device. Then, for example, when writing data to an auxiliary storage medium such as an FD (floppy disk) or a semiconductor memory and loading data of the auxiliary storage medium into a target device such as a portable information terminal device, all relevant record data is included. For example, it is necessary to maintain the consistency of information in the same storage medium, and it is necessary to divide files so that the data amount does not exceed the capacity of the storage medium.
[0004]
Similarly, when necessary file data is transferred from the server device connected to the network to the client terminal side on the client side, in order to avoid the occurrence of overflow in the storage device on the client terminal side, the storage device on the client terminal side must be used. It is necessary to calculate the amount of data to be downloaded according to the storage capacity, and to divide the file so that the client maintains information consistency and the data amount does not exceed the capacity of the storage medium Is required.
[0005]
As a conventional method of calculating the file capacity, conventionally, the capacity of another file related to each record extracted from the file is calculated and added sequentially, and the data until the capacity of the storage medium of the auxiliary storage device is exceeded is calculated. Is generally used from a file of a host device to a storage medium of an auxiliary storage device.
[0006]
As a publication concerning the file capacity calculation method, for example, Japanese Patent Application Laid-Open No. 2-83637 is referred to. In this publication, data including a data file and a program storage file organization method, record length, block length, and key information are set, an area required by the data file is determined based on the data, and the area is defined as a file. A configuration for securing the device has been proposed.
[0007]
[Problems to be solved by the invention]
However, in the above-mentioned conventional method, a situation occurs in which the data capacity calculated in advance becomes larger than the data capacity actually stored in the storage medium of the auxiliary storage device (referred to as “auxiliary storage medium”). In such a case, the storage of data in the storage medium of the auxiliary storage device is stopped even though the storage medium of the auxiliary storage device has free space, and the storage capacity of the auxiliary storage device cannot be used effectively. Have a point.
[0008]
The reason is that, in the conventional method, the size of each related file is calculated for each record to be extracted, and the sizes are sequentially added. This is because the calculated data capacities are redundantly calculated, and as a result, the data capacities are calculated twice or more.
[0009]
Therefore, the present invention has been made in view of the above-described problems, and an object of the present invention is to extract only necessary data from a group of related files existing in a higher-level device to an auxiliary storage medium, thereby achieving auxiliary storage. An object of the present invention is to provide a method and an apparatus for effectively utilizing the storage capacity of a medium.
[0010]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides a data amount calculating method for extracting record data of a plurality of files and storing the extracted record data in an auxiliary storage medium. Registering the extracted key and the number of records of the extracted key in the index file,
(B) registering key information and record information in a table provided for the file in the order in which record data extracted from the file and stored in the auxiliary storage medium are stored in the auxiliary storage medium;
(C) For a key registered in the table, if there is a key of a record stored in another file related to the key (referred to as “related key”), the related key is stored in the other file. Search whether it is registered in another table provided for the corresponding key, if the related key is not registered in the other table, add the data amount of the record of the related key to the total capacity, Controlling the data amount of the record of the related key not to be added to the total capacity if the related key is already registered in the other table. It is what it was.
[0011]
The present invention relates to an information processing apparatus including at least a plurality of files and an auxiliary storage device having an auxiliary storage medium, wherein when storing record data extracted from the plurality of files in the auxiliary storage medium, Means for registering key information of a record obtained by adding the amount of data to be stored in the storage medium to the total capacity in the storage means, and means for searching whether the key information exists in the table for a record newly extracted from the file, If the key information does not exist in the table, the data amount of the record is added to the total capacity, while if the key information is already registered in the table, the data amount of the record is regarded as overlapping. Means for calculating the data capacity without adding to the total capacity.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
An embodiment of the present invention will be described. The present invention, in a preferred embodiment thereof, comprises an index file having the number of records for each extraction key, and a work table (work table) holding the extraction candidate records, and while the capacity of the auxiliary storage medium is not exceeded. Add the key of the record to be extracted from each file to the work table. When extracting records, a work table is created for each key, so that in calculating the capacity when there are a plurality of extracted keys, it is possible to reliably avoid calculating the capacity of the same data redundantly.
[0013]
An apparatus according to the present invention, in a preferred embodiment, a file device including a plurality of files and an index file having the number of records for each extraction key, storage means for holding records of extraction candidates, and the index file Extracting the extraction key from, extracting the record of the extraction key from one file, calculating the data capacity of the records of other files to be extracted at the same time, further determining the medium of the auxiliary storage device to store each record, A capacity calculating means for recording in the storage means, and a record extracting means for extracting a record from each file of the file device with reference to the storage means and writing the record into the determined medium of the auxiliary storage device.
[0014]
In the present invention, as long as the storage capacity of the medium of the auxiliary storage device is not exceeded, a key of a record to be extracted from each file is added to the storage means, a table is created in the storage means for each key, The calculating means, when calculating the data capacity of the record of the other file, searches another table with another key related to the key, and when the other key exists in the other table, No data is added to the total capacity assuming that the data capacity relating to other files has been added, and if the other key does not exist in the other table, the record of the other key is searched from the other index Then, the other key is added to the other table by adding the data capacity of the record.
[0015]
The method according to the invention comprises, in a preferred embodiment thereof,
(A) a process of obtaining in advance the number of records for each key to be extracted for each of a plurality of files and creating an index file for each;
(B) a process of selecting a key of a record to be downloaded to a target auxiliary storage medium from one index file corresponding to one file, and creating a table in which the keys are arranged in the order of extraction into the auxiliary storage medium ,
(C) a process of initializing an auxiliary storage medium number,
(D) updating the auxiliary storage number and, if the auxiliary storage medium number is equal to or less than a predetermined maximum value, controlling to perform the following processing;
(E) initializing the total capacity and initializing another table for holding a key of another index file related to the key;
(F) a process of adding the data capacity required to download the records registered in the one table to the total capacity;
(G) if another key related to the key (referred to as “related key”) exists, search the other table with the related key, and if the related key exists in the other table, No data is added to the total capacity assuming that the data capacity of the file of the related key has already been added to the total capacity, while if the related key does not exist in the other table, the other index file Searching for the record of the related key from, adding the data capacity of the record of the related key, and adding the related key to the other table;
(H) checking the total capacity, and if the total capacity is equal to or less than the storage capacity of the auxiliary storage medium, the process proceeds to step (f) for the next record of the one table;
(I) when the total capacity is larger than the capacity of the auxiliary storage medium, a process of moving to step (d) for a current record of the one table;
Each of the processes (a) to (i) is realized by a program executed on a computer. In this case, the present invention is implemented by reading or receiving the program from a storage medium or medium that holds or stores the program in a computer device, installing the program in a computer, loading the program into main storage, and executing the program by a CPU. be able to.
[0016]
According to the embodiment of the present invention, the consistency of data in the auxiliary storage medium is maintained, the storage capacity of the auxiliary storage medium is maximized, and the calculation amount required for calculating data to be extracted to the auxiliary storage medium is reduced. Can be achieved.
[0017]
【Example】
Next, in order to describe the above-described embodiment of the present invention in more detail, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a diagram showing the configuration of one embodiment of the present invention.
[0018]
Referring to FIG. 1, one embodiment of the present invention includes a host device 1 having a plurality of related files (files # 1 to #n), a capacity calculating unit 2 for calculating a data capacity, and an extraction candidate It has a work table 3 for holding records, a record extracting means 4, and an auxiliary storage device 5 for storing extracted data.
[0019]
The data capacity calculation means 2 extracts key information from the index file of the host device 1, calculates the data capacity of records of other files to be extracted at the same time, determines the auxiliary storage medium number from which each record is to be extracted, Record in 3.
[0020]
The record extracting unit 4 refers to the work table 3 to extract a record from each file of the higher-level device 1 and write the record into an appropriate auxiliary storage medium 5.
[0021]
FIG. 2 is a flowchart showing a processing procedure according to one embodiment of the present invention. Referring to FIG. 2, one embodiment of the present invention includes the following steps.
[0022]
Step S1: The number of records for each key of a plurality of files is calculated in advance, and each index file is created.
[0023]
Step S2: Select a key of a record to be downloaded to the auxiliary storage medium from one index file corresponding to one file, and create a table in which the keys are arranged in the order of storage in the auxiliary storage medium.
[0024]
Step S3: When there is no unprocessed key of the one table, the process is terminated.
[0025]
Step S4: Initialize the auxiliary storage medium number.
[0026]
Step S5: Update the auxiliary storage medium number.
[0027]
Step S6: If the auxiliary storage medium number exceeds the maximum value, the processing is ended.
[0028]
Step S7: Initialize the total capacity to 0 and initialize another table for holding a key of another index related to the key.
[0029]
Step S8: Add the data capacity required to download the records registered in one table to the total capacity.
[0030]
Step S9: Search the other table with another key related to the key.
[0031]
Step S10: As a result of the search, if the other key exists in the other table, it is assumed that the data capacity relating to the other file has been added, and nothing is added to the total capacity.
[0032]
Step S11: On the other hand, if the other key does not exist in the other table, a record of the other key is extracted from the other index, and a data capacity of the record is added to add the other key to the other key. To the table.
[0033]
Step S12: Check the total capacity, and if the total capacity is equal to or less than the storage capacity of the auxiliary storage medium, the process proceeds to step S8 for the next record of the one table. On the other hand, when the total capacity is larger than the capacity of the auxiliary storage medium, the process shifts to step S5 for the current record of the one table.
[0034]
FIG. 3 is a schematic diagram for specifically explaining the operation of one embodiment of the present invention. The overall operation of the present embodiment will be described in detail with reference to FIG.
[0035]
The capacity of the data to be downloaded to the auxiliary storage medium is calculated as follows. For simplicity of description, a case where there are two types of keys is taken as an example.
[0036]
The number of records for each key of the file 10 (key 12) and file 20 (key 22) is calculated in advance, and respective indexes 11 and 21 are created (steps (a) and (b)).
[0037]
The key of the data to be downloaded is extracted from the index 11, and a table 30 is created in which the extracted keys are arranged in the order of extraction to the auxiliary storage medium (step (c)).
[0038]
The auxiliary storage medium number is set to 0 as an initial value (the auxiliary storage medium number starts from 1).
[0039]
The auxiliary storage medium number is incremented by 1, and the total capacity and the table 40 are initialized.
[0040]
The data capacity of the file 10 necessary for downloading one record of the table 30 is added to the total capacity (step (d)).
[0041]
If the key 22 related to the key 12 exists by referring to the related key table 50 in which the relationship between the key record of the file 10 and the key record of the file 20 is registered in advance, the table 40 is searched by the key 22 (Step (e)). In the example shown in FIG. 3, the keys of the related information of the record with the key “A2” are “x” and “y”. This relationship indicates that, for example, when processing the record data of the key “A2” (the record of the file 10), the record data of the related information with the key “x” and “y” (the record of the file 20) is required. It represents that.
[0042]
If the key 22 exists in the table 40, nothing is performed because the data capacity of the file 20 has already been added.
[0043]
If the key 22 does not exist in the table 40, the record of the key 22 is searched from the index 21, the data capacity is added, and the key 22 is added to the table 40 (step (f)).
[0044]
Check the total capacity (step (g)).
[0045]
If the total capacity is equal to or less than the capacity of the auxiliary storage medium, the processing is repeated from step (e) for the next record in the table 30.
[0046]
When the total capacity is larger than the capacity of the auxiliary storage medium, the processing is repeated from the processing of adding the auxiliary storage medium number to the current record of the table 30 by 1 and initializing the total capacity and the table 40.
[0047]
It should be noted that the above-described embodiment can of course be applied to calculation of a data amount in downloading a file from a server device to a client terminal or the like.
[0048]
【The invention's effect】
As described above, according to the present invention, the following effects can be obtained.
[0049]
A first effect of the present invention is that accurate capacity calculation can be performed.
The reason is that the capacity calculation is not repeated for the same record.
[0050]
A second effect of the present invention is that data extraction processing can be speeded up.
[0051]
The reason is that, by providing each table with the storage location of the actual data and the information of the auxiliary storage medium to be downloaded, the data can be extracted only by referring to each table at the time of downloading.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of an embodiment of the present invention.
FIG. 2 is a flowchart showing a processing procedure according to an embodiment of the present invention.
FIG. 3 is a schematic diagram for explaining the operation of one embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 High-order apparatus 2 Capacity calculation means 3 Work table 4 Record extraction means 5 Auxiliary storage medium 10, 20 File 11, 21 Index (file)
30, 40 Table 50 Related (key) table

Claims

In a data amount calculation method for extracting record data from a plurality of files and storing the extracted record data in an auxiliary storage medium,
The relationship between the key record of one file and the record of the key of another file is defined and registered in the related key table in advance,
(A) registering an extraction key and the number of records of the extraction key in an index file for each of the plurality of files;
(B) registering key information and record information in a table provided for the file in the order in which record data extracted from the file and stored in the auxiliary storage medium are stored in the auxiliary storage medium;
(C) For a key registered in the table, referring to the related key table, if there is a key of a record stored in another file related to the key (referred to as “related key”), A search is performed to determine whether a related key is registered in another table provided for the other file. If the related key is not registered in the other table, the data amount of the record of the related key is determined. Is added to the total capacity of the accumulated data. On the other hand, when the related key is already registered in the other table, the data amount of the record of the related key is not added to the total capacity as a duplicate. Controlling; and
And the records of other files related to the records extracted from one file are also extracted to the same auxiliary storage medium, and the extracted records are made to have no duplication in the same auxiliary storage medium. Data amount calculation method.

Record data is extracted from a plurality of files stored in the first storage device of the first information processing device, and the extracted record data is stored in the second storage device of the first information processing device, or In the data amount calculating method in the first information processing device when storing the data amount in a second storage device of a second information processing device connected to the first information processing device,
The relationship between the key record of one file and the record of the key of another file is defined and registered in the related key table in advance,
(A) registering an extraction key and the number of records of the extraction key in an index file for each of the plurality of files in the first storage device;
(B) registering key information and record information for record data extracted from the file and stored in the second storage device in a table provided for the file;
(C) For a key registered in the table, by referring to the related key table, if there is a key of a record stored in another file related to the key (referred to as “related key”), A search is performed to determine whether the related key is registered in another table provided for the other file. If the related key is not registered in the other table, the data amount of the record of the related key is searched. Is added to the total capacity of the stored data. On the other hand, when the related key is already registered in the other table, the data amount of the record of the related key is not added to the total capacity as a duplicate. Controlling and so on
And the records of other files related to the records extracted from one file are also extracted to the same auxiliary storage medium, and the extracted records are made to have no duplication in the same auxiliary storage medium. Data amount calculation method.

The relationship between the key record of one file and the record of the key of another file is defined and registered in the related key table in advance,
(A) obtaining the number of records for each extraction key for each of a plurality of files in advance and creating an index file for each;
(B) selecting a key of a record to be downloaded to a target auxiliary storage medium from one index file corresponding to one file, and creating one table in which the keys are arranged in the order in which the keys are extracted to the auxiliary storage medium; When,
(C) initializing an auxiliary storage medium number;
(D) updating the auxiliary storage number and, if the auxiliary storage medium number is equal to or less than a predetermined maximum value, controlling to perform the following processing;
(E) initializing the total capacity and initializing another table for holding a key of another index related to the key;
(F) adding the data capacity required to download the records registered in the one table to the total capacity;
(G) referring to the related key table for the key and, when there is another key related to the key (referred to as “related key”), searching the other table with the related key; If the related key is present in the other table, nothing is added to the total capacity assuming that the data capacity of the other file related to the related key has already been added to the total capacity. If the key does not exist in the other table, the record of the related key is searched from the other index file, the data capacity of the record is added, and the related key is additionally registered in the other table. Steps and
(H) checking the total capacity and, if the total capacity is equal to or less than the storage capacity of the auxiliary storage medium, moving to step (f) for the next record registered in the one table; And, also has a record of another file related to the record extracted from one file is also extracted to the same auxiliary storage medium, the extracted records are to be duplicated in the same auxiliary storage medium, further,
(I) When the total capacity is larger than the capacity of the auxiliary storage medium, the process proceeds to step (d) for the current record of the one table, and the number of the auxiliary storage medium is plural. Storing a related record of the record extracted in the auxiliary storage medium in the auxiliary storage medium.

A file device comprising a plurality of files and an index file having the number of records for each extraction key;
Storage means for holding records of extraction candidates;
The extraction key is extracted from the index file, the record of the extraction key is extracted from one file, and when the data having the extraction key is extracted from the one file to the auxiliary storage device, the data is simultaneously stored in the auxiliary storage device. Calculate the data capacity of the records of the other files to be extracted, further determine the medium of the auxiliary storage device for storing each record, and record the capacity in the storage means,
A record extraction unit for referring to the storage unit, extracting a record from each file of the file device, and writing the determined record to the medium of the auxiliary storage device;
The record of another file related to the record extracted from one file is also extracted to the same auxiliary storage medium, and the extracted record is made to have no duplication in the same auxiliary storage medium ,
A second storage unit that stores a relationship between a key of a certain file and a key of another file;
As long as the storage capacity of the medium of the auxiliary storage device is not exceeded, a key of a record to be extracted from each file is added to the storage unit, and a table is created in the storage unit for each key,
When calculating the data capacity of a record extracted from one file and stored in the auxiliary storage medium, the capacity calculation unit refers to the second storage unit and calculates another data related to the key of the record. When a related key of the file exists, another table provided corresponding to the other file is searched with the related key,
If the related key has been registered in the other table, the data capacity for the other file is assumed to have been added, and nothing is added to the total capacity,
If the other key does not exist in the other table, search for the record of the other key from the other index file, add the data capacity of the record, and add the related key to the other table. the information processing apparatus characterized by.

An information processing apparatus extracts record data from a plurality of files stored in a storage device, and extracts the extracted record data to another storage device of the information processing device, or another storage device connected to the information processing device. In storing in the storage device of the information processing device (referred to as “other storage device”),
Means for registering an extraction key and the number of records of the extraction key in the index file for each of the plurality of files,
Means for extracting key information and record information for record data extracted from the file and stored in the other storage device, in a table provided for the file,
Means for storing a key record of one file and a related key table in which the relationship between the record of the key of the other file is registered in advance.
For a key registered in the table, referring to the related key table, if a key of a record stored in another file related to the key (referred to as “related key”) exists, the related key Is searched in another table provided for the other file, and if the related key is not registered in the other table, the data amount of the record of the related key is stored. Add to the total capacity of data, while if the related key is already registered in the other table, control that the data amount of the record of the related key is not added to the total capacity as a duplicate. Means to
The information characterized in that records of other files related to records extracted from one file are also extracted to the same auxiliary storage medium, and the extracted records are duplicated in the same auxiliary storage medium. Processing equipment.

The relationship between the key record of one file and the record of the key of another file is defined and registered in the related key table in advance,
(A) a process of obtaining in advance the number of records for each key to be extracted for each of a plurality of files and creating an index file for each;
(B) a process of selecting a key of a record to be downloaded to a target auxiliary storage medium from one index file corresponding to one file, and creating a table in which the keys are arranged in the order of extraction into the auxiliary storage medium ,
(C) processing for initializing the auxiliary storage medium number,
(D) updating the auxiliary storage number and, if the auxiliary storage medium number is equal to or less than a predetermined maximum value, controlling to perform the following processing;
(E) initializing the total capacity and initializing another table for holding a key of another index file related to the key;
(F) a process of adding the data capacity required to download the records registered in the one table to the total capacity;
(G) For the key, refer to the related key table, and if there is another key related to the key (referred to as “related key”), search the other table with the related key, and If the key is present in the other table, nothing is added to the total capacity assuming that the data capacity of the other file for the relevant key has already been added to the total capacity, If the record does not exist in the other table, searching for the record of the related key from the other index file, adding the data capacity of the record, and additionally registering the related key in the other table When,
(H) checking the total capacity, and if the total capacity is equal to or less than the storage capacity of the auxiliary storage medium, the process proceeds to step (f) for the next record registered in the one table; ,
(I) when the total capacity is larger than the capacity of the auxiliary storage medium, the process proceeds to step (d) for the current record of the one table; A process of storing, in the auxiliary storage medium, a related record of the record extracted in the auxiliary storage medium;
A recording medium on which is recorded a program for executing each of the processes (a) to (i) on a computer.