JPS61275935A - マ−ジシステム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の技術分野］ この発明は、ソーティング済みのデータの列を有する複
数の入力ファイルをマージして１つのファイルを生成す
るマージシステムに関する。

［発明の技術的背景とその問題点］ 磁気テープ或は磁気ディスクなどの外部ファイル（入力
ファイル）からデータを入力し、それを成るキーに従っ
て並べ換える処理は、一般にソートと呼ばれる。また、
成るキーに従って既にデータが並べられている即ちソー
ティング済みのいくつかの外部ファイルを１つのファイ
ルに併合し、でき上ったファイルもデータがそのキーに
従って並べられているようにする処理はマージと呼ばれ
る。

さて、この種マージ処理を行なう従来のマージシステム
では、マージ対象となる入力ファイルと同数の入力バッ
ファが用意される。リーダ（ＲＥＡＤＥＲ）はマージ処
理に際して各入力ファイルから対応する入力バッファに
データブロックを入力する。マーシャ（ＭＥＲＧＥＲ）
は各バッファ中のデータをキー順に並び換えて出力する
。このマーシャでのマージ処理により入力バッファのい
ずれかでデータが尽きると、リーダに入力要求が出され
る。リーダはこの入力要求により、データが尽きたバッ
ファに対応する入力ファイルから次のブロックを読出し
て同バッファに入力する。この間マーシャはマージ処理
を中断する。そしてデータが尽きたバッファに次のデー
タブロックが入力されると、マーシャは再びマージ処理
を開始する。

このように従来のマージシステムでは、データが尽きた
入力バッファに次のデータブロックが入力されている１
１１藺中はマーシャはマージ処理を行なうことができず
、マージ処理の高速化を阻害する問題があった。

そこで、この問題を解決するために、入カバツフ？数を
入力ファイル数の２倍用意して各人力バッファの２重化
（ダブルバッファリング化）を図り、入力ファイルから
のデータの先読み（入力要求が出される前に次のデータ
ブロックの入力を開始すること）を行なうようにしたシ
ステムも知られている。

しかし、このようなシステムでは、バッファ数（バッフ
ァ容量）の増加を招くため、やはり問題であった。

［発明の目的］ この発明は上記事情に鑑みてなされたものでその目的は
、入カバッフ？数を僅かに増加するだけでデータブロッ
クの先読みが効率的に行なえるマージシステムを提供す
ることにある。

［発明の概要］ この発明によれば、ソーティング済みのデータの列を有
するｍＷＡの入力ファイルをマージして１つのファイル
を生成するマージシステムが提供される。

このシステムには、マージ対象となるデータブロックを
格納するｎ個（ｎ≧ｍ）の入カバソファと、これらｎ個
の入力バッファからマージ処理に供されるｍ個の入力バ
ッファを選択する選択手段と、この選択手段によって選
択されているｍ１ｌｉの入力バッファの先頭領域から順
にデータを取出してマージ処理を行なうマージ手段とが
設けられる。

選択手段は、マージ処理に供されているｍ個の入力バッ
ファのいずれか１つでデータが尽きた場合に該当する入
カバソファに代えて残りのｎ−ｍｇＡの入力バッファの
１つを選択する。このとき新たに選択された入力バッフ
ァに次のマージ対象データブロックが入力すれていれば
、マージ手段はマージ処理を継続できる。

上記システムには、マージ対象データブロックを読出す
読出し手段と、選択手段によって選択されているｍ個の
入力バッファのうちで最初にデータが尽きる入力バッフ
ァを予め検出し、同バッファに対応している入力ファイ
ルからの次のマージ対象データブロックの先読み入力を
読出し手段に対して指示する先読み制御手段と、切替え
手段とが、更に設けられる。読出し手段は、先読み制御
手段の指示に応じて該当する入力ファイルから次のマー
ジ対象データブロックを読出す。切替え手段は、読出し
手段により読出されるデータブロックの入力先を、ｎ個
の入力バッファのうちで選択手段により選択されるｍ個
の入力バッファを除く入力バッファの１つに切替える。

この結果、切替え手段により入力先が切替えられた入力
バッファへのデータ先読みが可能となる。

［発明の実施例］ 第１図はこの発明の一実施例に係るマージシステムの構
成を示すもので、１１〜１３はソーティング済みのデー
タを有する入力ファイルである。１５は後述する先読み
制御部３６からの指示に応じて入力ファイル１１〜１３
からのマージ対象データブロック読込みを行なうリーダ
、２１〜２４はリーダ１５によって読込まれるマージ対
象データブロックを格納する入力バッファである。即ち
第１図のシステムでは、入力バッファ数ｎ（ｎ−４）は
入カフアイル敗ｍ（ｍ−３）より１つ多くなっている。

３１はマージ処理に供される３個の入カバソファを入力
バッフ？２１〜２４から選択するスイッチ部、３２はス
イッチ部３１で選択されている３１１１の入力バッファ
を対象としてマージ処理を実行するマージｖ３２である
。３３はマーシャ３２のマージ結果を格納する出力バッ
ファ、３４は出力ファイル、３５は出力バッファ３３に
格納されたマージ処理結果を出力ファイル３４に書込む
ライタ（ＷＲＩＴＥＲ）である。

３６はスイッチ部３１によって選択されている３個の入
力バッファのうちで最初にデータが尽きるバッファを予
め検出し、同バッファに対応する入力ファイルからの次
のマージ対象データブロックの先読みをリーダ１５に対
して指示する先読み制御部ある。３７はスイッチ部３１
により選択されている入力バッファの先読み制御部３６
への接続と、リーダ１５により読込まれるマージ対象デ
ータブロックを格納すべき入力バッファのリーダ１５へ
の接続とを行なうスイッチ部、３８はスイッチ部３１．
３７、マーシャ３２、ライタ３５および先読み制御部３
６を制御するマージ制御部である。この実施例において
、入力バッファ２１〜２４および出力バッファ３３は図
示せぬ主メモリ上に置かれる。またリーダ１５、スイッ
チ部３１．３７、マーシャ３２、ライタ３５、先読み制
御部３６およびマージ制御部３８の各機能ブロックは、
主メモリ内のプログラムに従ったＣＰＵ　（図示せず）
の制御機能により実現される。なお、第１図において実
線の矢印はデータの流れを、破線の矢印はコントロール
の流れを示す。

次に第１図の構成の動作を説明する。

第１図のシステムにおける初期設定は、マージ制御部３
８の指示により次のように行なわれる。

まずマージ制御部３８は入力バッファ２１〜２４の中か
ら先読み用のバッファを決定する。この実施例において
、初期状態における先読み用バッファは例えば入力バッ
ファ２４に予め定められている。次にマージ制御部３８
は、残り３個の入力バッファ２１〜２３の１つ、例えば
入力バッファ２１をリーダ１５に接続するようにスイッ
チ部３７を切替え、リーダ１５に対して例えば入力ファ
イル１１からの読込み指令を先読み制御部３６経由で指
示する。これによりリーダ１５は入力ファイル１１から
１ブロック分のデータ（マージ対象データブロック）を
読込み、スイッチ部３７経出で入力バッファ２１に入力
する。リーダ１５は１ブロック分の入力を終了するとそ
の旨を先読み制御部３６経由でマージ制御部３８に通知
する。

以下、同様にして入力ファイル１２からのデータブロッ
クを入力バッファ２２に、そして入力ファイル１３から
のデータブロックを入力バッファ２３に、それぞれ入力
する動作が行なわれる。なお入力バッファ２１〜２３を
同時にリーダ１５に接続し、上記の入力動作を並行して
行なうことも可能である。

マージ制御部３８は、上記の入力動作が終了すると、入
力バッファ２１〜２３をマーシャ３２に接続するように
スイッチ部３１を切替える。またマージ制御部３８は先
読み用に決定された入力バッファ２４をリーダ１５に接
続し、残りの入力バッファ２１〜２３を先読み制御部３
６に接続するようにスイッチ部３７を切替える。第１因
のスイッチ部３１．３７は、このときの状態を示してい
る。

マージ制御部３８は以上の初期設定が終了すると、マー
シャ３２および先読み制御部３６に制御を渡す。

マーシャ３２はマージ制御部３８から制御を渡されると
、スイッチ部３１を介して接続されている３個のバッフ
ァ、即ち入力バッファ２１〜２３のデータを各バッファ
の先頭から比較して成るキー値に従った一定順、例えば
昇順にマージ処理を行ない、その結果を順次出力バッフ
ァ３３に書込んでいく。そして上記のマージ処理の結果
、入力バッフ？２１〜２３のうちのいずれか１つのバッ
ファのデータが尽きると、その旨をマージ制御部３８に
通知する。

一方、先読み制御部３６はマージ制御部３８から制御を
渡されると、スイッチ部３７を介して接続されている３
個のバッファ（マーシャ３２のマージ処理に供されてい
る３個のバッファ）、即ち入力バツファ２１〜２３を調
べ、どのバッファのデータがマーシャ３２のマージ処理
によって最初に尽きるかく即ちどのバッファが最初に空
になるか）を検出する。

この検出は、３個のバッファ（入力バッファ２１〜２３
）の各最終データのキー値を比較することによって行な
われる。例えば、この実施例のようにキー値の昇順にマ
ージしている場合には、最終データのキー値が最も小さ
いバッファが最初に空になるはずである。

先読み制御部３６は、マーシャ３２のマージ処理に供さ
れている３個のバッファ（入力バッファ２１〜２３）の
中で最初に空になるはずのバッファを検出すると、同バ
ッファに対応する入力ファイルからの次のブロックの読
込みをリーダ１５に指示する。

今、先読み制御部３６により検出されたバッフ１（最初
に空になるはずのバッフ？）が入力バッファ２１である
ものとすると、リーダ１５は入力ファイル１１から次の
マージ対象ブロックを先読みし、スイッチ部３７を介し
て接続されている入カバッフア即ち先読み用バッファに
決定されている入力バッファ１（この例では入力バッフ
ァ２４）に入力する。

この先読み入力動作は前記したマージ１７３２のマージ
処理と並行して行なわれる。リーダ１５は上記の先読み
入力を終了するとその旨を先読み制御部３６経由でマー
ジ制御部３８に通知する。

マージＩＩＩｗＪ部３８は、リーダ１５から先読み入力
の終了が通知され、且つマーシャ３２からマージ処理に
供給されていた３個のバッファ（入力バッファ２１〜２
３）の１つ（入力バッファ２１）でデータが尽きたこと
が通知されると、同バッファ、即ち入力バッファ２１を
先読み用に決定する。そしてマージ制御部３８は初期設
定の場合と同様に残りの入力バッファ２２〜２４をマー
シャ３２に接続するようにスイッチ部３１を切替える。

またマージ制御部３８は先読み用に決定された入力バッ
ファ２１（マージ処理に供されないバッファ）をリーダ
１５に接続し、残りの入力バッファ２２〜２４を先読み
制御部３６に接続するようにスイッチ部３７を切替える
。そしてマージ制御部３８はマーシャ３２讐先読み制御
部３６におよびライタ３５に制御を渡す。これによりラ
イタ３５は出力バッファ３３に書込まれたマージ結果を
出力ファイル３４に書出し、マーシャ３２はマージ処理
を継続し、先読み制御部３６はリーダ１５に対して先読
み指示を与える。そしてマーシャ３２によるマージ処理
とリーダ１５による先読み動作とが並行して行なわれる
。

なお、前記実施例では、入力バッファ数が入力ファイル
数より１つだけ多い場合について説明したがこれに限る
ものではない。またこの発明は、ディスクソートにおけ
る１フエイズを成すマージフェイズにも同様に適用でき
る。

［発明の効果］ 以上詳述したようにこの発明によれば、入力バッファ数
を僅かに増加するだけでデータブロックの先読みが効率
的に行なえるので、マージ処理が中断するのを著しく低
減でき、処理の高速化が図れる。また人カパッフ７用に
供されるメモリ領域を一定とすると、従来のダブルバマ
ファリングによる先読み方式と比較して各人力バッファ
のサイズを大きくとれるため、入力回数が減り、しだが
つてマージ処理の一層の高速化が図れる。

【図面の簡単な説明】

第１図はこの発明の一実施例に係るマージシステムのブ
ロック構成図である。 １１〜１３・・・入力ファイル、１５・・・リーダ、２
１〜２４・・・入力バッファ、３１．３７・・・スイッ
チ部、３２・・・マーシャ、３６・・・先読み制御部、
３８・・・マージ制御部。

Claims (1)

【特許請求の範囲】
1. ソーティング済みのデータの列を有するｍ個の入力ファ
   イルをマージして１つのファイルを生成するマージシス
   テムにおいて、マージ対象となるデータブロックを格納
   するｎ個（ｎ≧ｍ）の入力バッファと、これらｎ個の入
   力バッファからマージ処理に供されるｍ個の入力バッフ
   ァを選択する選択手段であって、マージ処理に供されて
   いるｍ個の入力バッファのいずれか１つでデータが尽き
   た場合に該当する入力バッファに代えて残りのｎ−ｍ個
   の入力バッファの１つを選択する選択手段と、この選択
   手段によって選択されているｍ個の入力バッファの先頭
   領域から順にデータを取出してマージ処理を行なうマー
   ジ手段と、上記選択手段によって選択されているｍ個の
   入力バッファのうちで最初にデータが尽きる入力バッフ
   ァを予め検出し、同バッファに対応する入力ファイルか
   らの次のマージ対象データブロックの先読み入力を指示
   する先読み制御手段と、この先読み制御手段の指示に応
   じて該当する入力ファイルから次のマージ対象データブ
   ロックを読出す読出し手段と、この読出し手段により読
   出されるデータブロックの入力先を上記ｎ個の入力バッ
   ファのうち上記選択手段により選択されるｍ個の入力バ
   ッファを除く入力バッファの１つに切替える切替え手段
   とを具備することを特徴とするマージシステム。