JPH064494A - 複数ファイル併合処理方式 - Google Patents

Abstract

(57)【要約】 【目的】 データファイル併合処理における各プロセッ
サの処理の無駄時間を減少させ、システム全体の処理効
率の向上を図る。 【構成】 プロセッサ６は記憶装置２ａ〜２ｎから読み
出された併合対象のデータファイルをバッファメモリ９
に転送し、プロセッサ７，８はバッファメモリ９に記憶
された併合対象のデータファイルを読み出して予め指定
された条件で併合し、プロセッサ１１は併合して得られ
た結果を記憶装置４に転送する。このように併合対象の
データファイルの転送処理、併合処理、及び併合結果の
転送処理は少なくとも４つのプロセッサで並列に行なわ
れ、各プロセッサの処理の無駄時間が減少する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は複数のプロセッサを備
えた計算機システムにおいて複数の分類済みデータファ
イルを１つのデータファイルに併合する複数ファイル併
合処理方式に関するものである。

【０００２】

【従来の技術】図４は従来の複数ファイル併合処理方式
を適用した計算機システムの全体構成を示すブロック図
である。この計算機システムは、プロセッサ１、併合対
象の複数のデータファイルを１ファイル単位で記憶する
記憶装置（第１の記憶手段）２ａ〜２ｎ、併合対象のデ
ータファイルのデータの一部や併合条件を一時的に記憶
する主記憶装置３、併合されたデータファイルを記憶す
る記憶装置（第３の記憶手段）４とによって構成されて
おり、これらはバスライン５によって結合されている。
さらに複数のデータファイルの併合処理を行なう機構と
して、３つのプロセッサ６，７，８と、これらのプロセ
ッサ６，７，８が共有し併合対象のデータファイルを記
憶するバッファメモリ９（第２の記憶手段）と、併合条
件を記憶するメモリ１０がある。なおバッファメモリ９
は、それぞれ等しい記憶容量を持つ複数の記憶領域９ａ
〜９ｎに分割されており、記憶装置２ａ〜２ｎから読み
出されたデータファイルはそれぞれ対応する上記記憶領
域９ａ〜９ｎに格納される。

【０００３】次に動作について説明する。以上の構成に
おいて、併合対象となる複数のデータファイルが記憶装
置２ａ〜２ｎに格納されているとき、プロセッサ１はそ
れらの各データファイルを読み出しプロセッサ６に転送
する。プロセッサ６は転送されてきたデータファイルを
バッファメモリ９の記憶領域９ａ〜９ｎに格納する。プ
ロセッサ６はこの書き込みが終了するごとにバッファメ
モリ９の中の利用可能領域の情報をメモリ１０に書き込
む。プロセッサ７，８はメモリ１０上の情報によってす
べての利用可能領域を知り併合処理を開始する。この
時、バッファメモリ９を制御する情報（メモリ１０にあ
る制御情報）を２つのプロセッサ７，８が同時にアクセ
スすると情報の整合性が保証できなくなるため、プロセ
ッサ７，８は一方がメモリ１０上の情報を占有して用い
てバッファメモリ９内のデータファイルに対し併合処理
を行っている間、他方のプロセッサは前回併合処理を行
ったデータファイルをバッファメモリ９から記憶装置４
へ転送する。

【０００４】図５はプロセッサ７，８の動作を示すフロ
ーチャートである。このフローチャートに従って動作を
説明する。プロセッサ７，８は併合対象の全てのデータ
ファイルを併合して記憶装置４に転送し終えたならば併
合処理の終了となる（ステップ５０）。しかし、全ての
データファイルの併合処理が終了していない時には、他
方のプロセッサ（プロセッサ７から見た場合はプロセッ
サ８、プロセッサ８から見た場合はプロセッサ７）がバ
ッファメモリ９を制御する情報（メモリ１０にある制御
情報）をアクセスしていないかどうかを調べ、アクセス
している最中であれば、そのアクセス終了まで待機する
（ステップ５１）。しかし、アクセスしていない場合あ
るいはアクセスが終了したならば、メモリ１０上の制御
情報を基にバッファメモリ９にあるデータファイルを読
み出し、同じメモリ１０上にある併合条件に従って併合
し、記憶装置４へ転送する（ステップ５２，５３）。

【０００５】このように、プロセッサ７，８が交互にバ
ッファメモリ９からのデータファイルの読み出しと、そ
の併合および記憶装置４への転送を行なう。従ってプロ
セッサ７，８の処理内容を図示すると図６（ａ），
（ｂ）に示すように表すことができる。なお、図６にお
いて、ＲＤはメモリ１０上の制御情報を基にバッファメ
モリ９からデータファイルを読みだして併合処理を行な
っている期間、ＭＧは併合処理の結果を記憶装置４に転
送する期間、ＷＴは他方のプロセッサがメモリ１０の上
の制御情報のアクセス終了を待つ待機期間である。

【０００６】

【発明が解決しようとする課題】従来の複数ファイル併
合処理方式は以上のようになされているが、通常の処理
対象のデータファイルの併合処理の場合、記憶装置４に
データファイルを転送する時間に比べて、メモリ１０上
の制御情報を基にバッファメモリ９にあるデータファイ
ルを読み出し、同じメモリ１０上にある併合条件に従っ
て併合する処理を行なう時間が長くなる。又、メモリ１
０上の制御情報をプロセッサ７，８が同時にアクセスす
ることができないため、一方のプロセッサがアクセスし
ている間、他方のプロセッサはなにもせずに待たなけれ
ばならず、併合する処理を行なう時間が長くなると、こ
の待ち時間も長くなる。この待ち時間は処理全体からみ
れば無駄な時間であり、これが長くなると、システム全
体の処理効率が低下する。

【０００７】この発明は上記のような問題点を解決する
ためになされたもので、データファイル併合処理におけ
る各プロセッサの処理の無駄時間を減少させ、システム
全体の処理効率の向上を図れる複数ファイル併合処理方
式を提供することを目的とする。

【０００８】

【課題を解決するための手段】この発明に係る複数ファ
イル併合処理方式においては、分類済みの複数データフ
ァイルを記憶する複数の第１の記憶手段（記憶装置２ａ
〜２ｎ）と、データファイルの分類や併合などを行なう
少なくとも４つのプロセッサ６，７，８，１１と、これ
らのプロセッサが共有し併合対象のデータファイルを記
憶する第２の記憶手段（バッファメモリ９）と、併合さ
れたデータファイルを記憶する第３の記憶手段（記憶装
置４）とを備え、上記４つのプロセッサのうちの１つの
プロセッサ６は上記第１の記憶手段から読み出された併
合対象のデータファイルを上記第２の記憶手段に転送す
る制御を行ない、残りの３つのプロセッサのうちの２つ
のプロセッサ７，８は上記第２の記憶手段に記憶された
併合対象のデータファイルを読み出して予め指定された
条件で併合し、残りの１つのプロセッサ１１が併合して
得られた結果を上記第３の記憶手段に転送する制御を行
なうようにすることにより、併合対象のデータファイル
の転送処理、併合処理、及び併合結果の転送処理を少な
くとも４つのプロセッサで並列に行なうことを特徴とす
るものである。

【０００９】

【作用】プロセッサ６は第１の記憶手段（記憶装置２ａ
〜２ｎ）から読み出された併合対象のデータファイルを
第２の記憶手段（バッファメモリ９）に転送する。プロ
セッサ７，８は第２の記憶手段に記憶された併合対象の
データファイルを読み出して予め指定された条件で併合
する。プロセッサ１１は併合して得られた結果を第３の
記憶手段（記憶装置４）に転送する。

【００１０】

【実施例】

実施例１．（請求項１対応）図１はこの発明の一実施例
に係る複数ファイル併合処理方式を適用した計算機シス
テムの全体構成を示すブロック図である。図１におい
て、図４に示す構成要素に対応するものには同一の符号
を付し、その説明を省略する。この実施例の複数ファイ
ル併合処理方式は、併合対象となる複数のデータファイ
ルをファイル単位に分割し、プロセッサを各分割単位毎
に割当て、それぞれの分割単位毎に制御情報を持って管
理しながら併合処理を行ない、各併合結果を別のプロセ
ッサがさらに併合して最終の併合結果を転送するような
機能を持ったものである。

【００１１】即ち、上記機能を実現するために、この実
施例の複数ファイル併合処理方式を適用した計算機シス
テムにおいては、分類済みの複数データファイルを記憶
する複数の第１の記憶手段としての記憶装置２ａ〜２ｎ
と、データファイルの分類や併合などを行なうプロセッ
サ６，７，８，１１と、これらのプロセッサ６，７，
８，１１が共有し併合対象のデータファイルを記憶する
第２の記憶手段としてのバッファメモリ９と、併合され
たデータファイルを記憶する第３の記憶手段としての記
憶装置４とを備え、プロセッサ６は記憶装置２ａ〜２ｎ
から読み出された併合対象のデータファイルをバッファ
メモリ９に転送する制御を行ない、プロセッサ７，８は
バッファメモリ９に記憶された併合対象のデータファイ
ルを読み出して予め指定された条件で併合し、プロセッ
サ１１が併合して得られた結果を記憶装置４に転送する
制御を行なうようにすることにより、併合対象のデータ
ファイルの転送処理、併合処理、及び併合結果の転送処
理を少なくとも４つのプロセッサで並列に行なう。

【００１２】次にこの実施例の動作について説明する。
この実施例ではプロセッサは全体で５個となるが、その
役割分担は次の通りである。すなわち、記憶装置２ａ〜
２ｎからのデータファイルの読みだしはプロセッサ１が
行ない、その読み出したデータファイルをバッファメモ
リ９へ転送して格納する処理はプロセッサ６が行なう。
バッファメモリ９の領域を前半と後半の２つに分け、前
半の併合処理をプロセッサ７が、後半をプロセッサ８が
それぞれメモリ１０ａ，１０ｂ上の制御情報を用いてデ
ータファイルを併合し、それぞれの併合結果をメモリ１
０ｃに書き込む。プロセッサ１１はメモリ１０ｃ上の各
併合結果を比べ、この比較結果に従って先に転送すべき
データファイルを決定して記憶装置４にそのデータファ
イルを転送する。

【００１３】なおバッファメモリ９はそれぞれ等しい記
憶容量をもつ複数の記憶領域９ａ〜９ｎに分割されてお
り、記憶装置２ａ〜２ｎから読み出されたデータはそれ
ぞれ対応する記憶領域９ａ〜９ｎに格納される。さらに
この記憶領域９ａ〜９ｎは領域単位に前半と後半に分け
られ、それぞれの管理情報はメモリ１０ａ，１０ｂ上で
管理される。

【００１４】以上の構成において、プロセッサ１は記憶
装置２ａ〜２ｎに処理対象データファイルが格納された
ならば、この後、各データファイルのデータを読み出
し、プロセッサ６に転送する。プロセッサ６は転送され
てきたデータをバッファメモリ９の各記憶領域９ａ〜９
ｎに格納する。すなわち、例えば記憶装置２ａから読み
出されたデータは記憶領域９ａに、同じく記憶装置２ｂ
から読み出されたデータは記憶領域９ｂに格納する。プ
ロセッサ６はこの格納が完了したらメモリ１０の管理情
報にそれぞれの格納領域の管理情報を書き込む。この
時、データを格納した格納領域が前半のものならばメモ
リ１０ａに、後半のものならばメモリ１０ｂに書き込
む。プロセッサ７，８はそれぞれメモリ１０ａ，１０ｂ
の管理情報を用いて、バッファメモリ９の前半，後半の
データの併合処理を行ない、併合した結果をメモリ１０
ｃに書き込む。プロセッサ１１はメモリ１０ｃの各併合
結果を比べて先に転送すべきデータを決定しそのデータ
（データファイル）を記憶装置４に転送する。

【００１５】図２はプロセッサ７，８の動作を示すフロ
ーチャートである。このフローチャートに従って動作を
説明する。プロセッサ７，８はそれぞれの担当する併合
対象のデータファイル（プロセッサ７は前半のデータフ
ァイル、プロセッサ８は後半のデータファイル）の全て
のデータを併合してメモリ１０ｃに書き込んだならば併
合処理の終了となる（ステップ２０）。しかし、全ての
データファイルの併合処理が終了していない時には、メ
モリ１０（プロセッサ７はメモリ１０ａ、プロセッサ８
はメモリ１０ｂ）上の制御情報を基にバッファメモリ９
（プロセッサ７は前半、プロセッサ８は後半）にあるデ
ータファイルを読み出し、同じメモリ１０上にある併合
条件に従って併合し、併合結果をメモリ１０ｃへ書き込
む（ステップ２１，２２）。

【００１６】プロセッサ７，８およびプロセッサ１１の
動作を図解すると図３に示す様に表すことができる。な
お、図３において、ＲＤはバッファメモリのデータファ
イルを併合している処理の期間、ＭＧは転送すべきデー
タファイルの決定と転送を行なっている期間を示す。

【００１７】このように、併合処理をプロセッサ７，８
が独立して行なうようにすることで、管理情報を占有し
て処理を行なうための待ち時間をなくすことができ、複
数の併合処理と併合結果の転送処理を並行して実行する
ことでシステム全体の処理速度を上げることが可能とな
る。

【００１８】ところで、上記実施例において、バッファ
メモリを前半、後半の２つに分割して処理を行なってい
るものを、併合対象のデータファイルの数に応じて３つ
以上に分割して、それぞれに１つのプロセッサを割り当
てて併合処理を行なうようにすることも可能である。ま
た、同様に、各併合結果の比較による転送順序の決定と
転送をプロセッサ１１だけで行なうのではなく、比較と
転送を複数のプロセッサで行なうようにしてもよい。

【００１９】以上説明したように上記のような実施例に
よれば、複数のプロセッサの処理対象データファイルを
分配してそれぞれの管理情報を各プロセッサに単独でア
クセスさせることにより、無駄時間の原因となっていた
管理情報を占有してアクセスするための待ち時間をなく
し、システム全体の処理速度の低下を防ぐことができ
る。

【００２０】また、上記のような実施例によれば、少な
くとも２つのプロセッサによってそれぞれ単独に併合処
理を行ない、各併合結果の比較による転送順序の決定と
転送を別の少なくとも１つのプロセッサによって処理す
ることで、それぞれのプロセッサの処理における無駄時
間をなくし、複数ファイルの併合処理を高速に実行でき
る。

【００２１】

【発明の効果】以上のように本発明によれば、分類済み
の複数データファイルを記憶する複数の第１の記憶手段
と、データファイルの分類や併合などを行なう少なくと
も４つのプロセッサと、これらのプロセッサが共有し併
合対象のデータファイルを記憶する第２の記憶手段と、
併合されたデータファイルを記憶する第３の記憶手段と
を備え、上記４つのプロセッサのうちの１つのプロセッ
サは上記第１の記憶手段に転送する制御を行ない、残り
の３つのプロセッサのうちの２つのプロセッサは上記第
２の記憶手段に記憶された併合対象のデータファイルを
読み出して予め指定された条件で併合し、残りの１つの
プロセッサが併合して得られた結果を上記第３の記憶手
段に転送する制御を行なうようにすることにより、併合
対象のデータファイルの転送処理、併合処理、及び併合
結果の転送処理を少なくとも４つのプロセッサで並列に
行なうことが可能となり、したがってファイル併合処理
における各プロセッサの処理の無駄時間が減少し、シス
テム全体の処理効率が向上するという効果が得られる。

【図面の簡単な説明】

【図１】この発明の一実施例に係る複数ファイル併合処
理方式を適用した計算機システムの全体構成を示すブロ
ック図である。

【図２】この実施例においてデータファイルの併合処理
を行なう複数のプロセッサの動作を示すフローチャート
である。

【図３】この実施例においてデータファイルの併合処理
と転送処理が３つのプロセッサで並列に行なわれる様子
を示す説明図である。

【図４】従来の複数ファイル併合処理方式を適用した計
算機システムの全体構成を示すブロック図である。

【図５】この従来例においてデータファイルの併合処理
を行なう複数のプロセッサの動作を示すフローチャート
である。

【図６】この従来例においてデータファイルの併合処理
と転送処理が２つのプロセッサで並列に行なわれる様子
を示す説明図である。

【符号の説明】

１，６，７，８，１１ プロセッサ ２ａ〜２ｎ 記憶装置（第１の記憶手段） ４ 記憶装置（第３の記憶手段） ９ バッファメモリ（第２の記憶手段）

Claims (1)

【特許請求の範囲】
1. 【請求項１】 複数の分類済みデータファイルを１つの
   データファイルに併合する複数ファイル併合処理方式に
   おいて、分類済みの複数データファイルを記憶する複数
   の第１の記憶手段と、データファイルの分類や併合など
   を行なう少なくとも４つのプロセッサと、これらのプロ
   セッサが共有し併合対象のデータファイルを記憶する第
   ２の記憶手段と、併合されたデータファイルを記憶する
   第３の記憶手段とを備え、上記４つのプロセッサのうち
   の１つのプロセッサは上記第１の記憶手段から読み出さ
   れた併合対象のデータファイルを上記第２の記憶手段に
   転送する制御を行ない、残りの３つのプロセッサのうち
   の２つのプロセッサは上記第２の記憶手段に記憶された
   併合対象のデータファイルを読み出して予め指定された
   条件で併合し、残りの１つのプロセッサが併合して得ら
   れた結果を上記第３の記憶手段に転送する制御を行なう
   ようにすることにより、併合対象のデータファイルの転
   送処理、併合処理、及び併合結果の転送処理を少なくと
   も４つのプロセッサで並列に行なうことを特徴とする複
   数ファイル併合処理方式。