JPH02130629A

JPH02130629A - 外部ソート算法

Info

Publication number: JPH02130629A
Application number: JP28359388A
Authority: JP
Inventors: Meiji Sakata; 坂田　明治
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1988-11-11
Filing date: 1988-11-11
Publication date: 1990-05-18

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は外部ソート算法に係り、特にユーザがデータの
分布等の統計量を知っている場合に好適な外部ソート算
法に関する。

〔従来の技術〕

従来、多量のデータのソーティングに用いられる外部ソ
ート算法については、ソーティング・アンド・サーチン
グ（ＳＯＲＴＩＮＧ　ＡＮＤ　５ＥＡＲＣＨＩＮＧ）Ｖ
ＯＬ３　　クヌース（Ｋｎｕｔｈ）著第５章２４７−２
５０項において論じられている様に、外部記憶内のデー
タを、内部記憶にて内部ソート可能な単位に切り出し内
部ソートを行ない、この結果をマージするという方法が
とられていた。

〔発明が解決しようとする課題〕

上記、外部ソートに関する従来技術は、ユーザが、デー
タの分布等の統計量を知っている場合について何等配慮
されておらず、ユーザがデータについての統計量を知ら
ない場合と同様、一般的なアルゴリズムによって処理を
行なっていた。

本発明の目的は、データの分布等の統計量によってデー
タを分類し、マージ処理を行なう事なく外部ソートを実
行し、外部ソート処理を高速化することにある。

〔課題を解決するための手段〕

上記目的を達成するために、外部記憶内にあるデータの
キーとユーザが内部記憶に入る分ずつに分れるように与
えたパラメータ間で大小比較を行ない、その比較結果に
基づいてデータを分類し、その分類済データの内部ソー
トを行なう。

〔作用〕

外部記憶上のデータのキーは、ユーザの与えたパラメー
タと比較され分類される。それによって分類後のデータ
は、分ｇＢｈの全データが分類Ｂの全データより小か、
または大かのどちらか一方のみの関係が成立する。従っ
て、分類された結果はどの分類に属するデータが、最終
結果の何番目から何番目に置かれるか決定し、よって、
各分類内を内部ソートするのみで全データの外部ソート
が完了する。

〔実施例〕

以下１本発明の１実施例を図に従って詳細に説明する。

第１図は入力データを３個に分類する場合の１実施例の
、入力用外部記憶と、出力用外部記憶と、中間結実用外
部記憶と、内部記憶間のデータの移動を示した図である
６図中１は入力データが格納されている外部記憶であり
、２〜４ば中間結果を格納するための作業用外部記憶で
あり、５は出力結果を格納するための出力用外部記憶で
あり、６〜９は内部記憶であり、６〜９は同一の内部記
憶であっても、異なる内部記憶であってもよい。

１０は入力データであり、本実施例においては６個であ
るとする。１］は内部記憶において処理可能なデータ領
域であり、本実施例においては１１には３個のデータが
入るとする。１２はユーザからのパラメータによって分
類された入力データの数（中間結果）であり、１２は２
個のデータより成るとする。１３はユーザからのパラメ
ータによって分類された入力データの類（中間結果）で
あり、１３は１個のデータより成るとする。１４はユー
ザからのパラメータによって分類された入力データの類
（中間結果）であり、１４は３個のデータより成るとす
る。１５は内部記憶７へ格納されたデータ１２であり、
１６は内部記憶８へ格納されたデータ１３であり、１７
は内部記憶９へ格納されたデータ１４である。１８は出
力用外部記憶５へ格納された出力結果である。

次に第１図のデータの流れについて説明する。

入力用外部記憶１内の入力データ１０は、内部記憶６の
データ領域１１へ格納される。このデータ領域１１内の
データはユーザの指定したパラメータと比較され、作業
用外部記憶２，３．４のいずれかへ格納される。また、
データ領域内のデータが尽きた場合は再び入力データ１
０よりデータ領域１１ヘデータが読み出される。このデ
ータ領域１１内のデータはユーザの指定したパラメータ
と比較され、作業用データ領域２，３．４のいずれかへ
格納される。以上の振作は、入力データ１０が全て作業
用外部記憶２，３．４へ分類されるまで繰り返される。

作業用外部記憶２へ格納されたデータ１２は、内部記憶
７へ読み出され、ここで内部ソートが行なわれ、ソート
結果が出力用外部記憶５へ格納され机作業用外部記憶３へ格納されたデータ１３は、内部記憶
８へ読み出され、ここで内部ソートが行なわれ、ソート
結果が出力用外部記憶５へ格納される。

作業用外部記憶４へ格納されたデータ１４は、内部記憶
９へ読み出され、ここで内部ソートが行なわれ、ソート
結果が出力用外部記憶５へ格納される。

第２図、第３図を用いて本実施例の処理を詳細に説明す
る。

第２図は第１図の実施例の処理フローチャートである。

図中、２０はユーザからのパラメータの入力であり、本
実施例では２個のパラメータＫｚ＜　Ｋ　２を入力する
。２１は入カフアイルＩＮ内のデータのキーをパラメー
タに１．Ｋｚと比較してデータを分類することを示す。

キーかに１以下の場合は、２２の処理、即ち、第１図２
の作業用外部記憶ＷＯＲＫＩヘデータを出力する。キー
かに１より太きくＫｚ以下である場合は、２３の処理、
即ち、第１図３の作業用外部記憶ＷＯＲＫ　２へデータ
を出力する。キーかに２より大の場合は、２４の処理、
即ち、第１図４の作業用外部記憶ＷＯＲＫ３ＯＲ−タを
出力する。２５は３つの作業用外部記憶ＷＯＲＫ１．Ｗ
ＯＲＫ２．ＷＯＲＫ３内のデータについて２６．２７を
実行することを示す。２６はｉ　＝　１のときは、ＷＯ
ＲＫＩ内のデータをソートすることを示し、ｉ　＝　２
のときはＷＯＲＫＺ内のデータをソートすることを示し
。

ｉ＝３のときは、ＷＯＲＫａ内のデータをソートするこ
とを示す６２７は２６でソートした結果を出力ファイル
ＯＵＴへ出力することを示す。出カフアイルＯＵＴ上で
のデータの格納位置は、各作業用外部記憶内のデータの
個数によって決まる。

ＷＯＲＫＩのデータの格納位置は、出力ファイルの先頭
１個目からＷＯＲＫＩのデータ個数２個の位置までであ
り、ＷＯＲＫ２のデータの格納位置はＷＯＲＫＩのデー
タ数＋１個である３個目から。

それにＷＯＲＫ２のデータ数−１を加えた位置である３
個目までであり、ＷＯＲＫ３のデータの格納位置は、Ｗ
ＯＲＫＩとＷＯＲＫ２のデータ数＋１個である４個目か
ら、それにＷＯＲＫ３のデータ数−１を加えた６個目ま
での位置である。

第３図は第１図内のデータ移動を示した図である。図中
、ユーザからのパラメータはに１＝２゜ＫＺ＝４であり
、１０は第１図の１０内の６個のデータであり、１２は
キーが２以下になり、第１図２へ格納された２個のデー
タであり、１３はキーが２より大きく４以下になり、第
１図３へ格納された１個のデータであり、１４はキーが
４より大きく、第１図４へ格納された３個のデータであ
り、１５は第１図の内部記憶７内においてソートされた
１２のデータであり、１６は第１図の内部）憶８内にお
いてソートされた１３のデータであり、１７は第１図の
内部記憶９内においてソートされたデータであり、１８
は第１図５の出力ファイル５内に格納された出力結果で
ある。

・第２図の処理を第３図のデータの流れに従って説明す
る。第２図２０によって、２つのパラメータ“２”４″
が入力される。第２図２１によって第３図１０のデータ
の分類が行なわれ、分類はパラメータ“２７１　　　Ｉ
ｔ　４”とデータのキーとの大小比較による。キーが“
２″以下のデータは第２図の２２、即ち、第３図の１２
へ出力され、キーが２より大きく４以下のデータは第２
図の２３、即ち、第３図の１３へ出力され、キーが４よ
り大なるデータは第２図の２４、即ち、第３図の１４へ
出力される。第２図の２６はデータの各類をソートする
ことであり、第３図の１２を内部記憶内においてソート
し、１５とすることであり、また、第３図の１３を内部
記憶内においてソート、第３図の１４を内部記憶内にお
いてソートすることである。第２図の２７によって出力
結果が最終的に鴎カフアイルＯＵＴへ出力され、これは
第３図の１５．１６．１７を出力し、最終結果を得るこ
とである。

本実施例において、第２図の処理２１は互いに他のデー
タに関係なく処理が実行出来る。従って、Ｎ台のプロセ
ッサがあればＮ台並列に動作させ。

Ｎ倍の高速化が図れる。

また、第２図のソート地理２６は互いに他のデータ類に
関係なく処理が実行出来る。従って、Ｎ台のプロセッサ
があればＮ台並列に動作させ、Ｎ倍化が図れる。ただし
、この並列化効果があるのは類の数をプロセッサ台数が
越えない範囲である。

もちろん、Ｎ台のプロセッサによって第２図の２１と２
６の類のソート処理の両方を並列化させ全体の処理をＮ
倍高速化させることも出来る。

第４図は、本実施で用いられる内部ソート処理のフロー
チャートである。Ｎはデータの個数であり、ａＪ、ｔ　
ａ＊＋１はとなり合うデータであり、Ｋ。

はａＪのキーであり、ＫＪ＋１はａ１＋１のキーである
。

１０１はデータのスキャンに対するループであり、ｉを
Ｎから始めて、１ずつ減算し、ｉ＝２になるまで１０２
以下の処理を繰り返すことを示す。

１０２はデータに対するループであり、ｊを１から始め
て１ずつ加算し、ｊ＝ｉ−１になるまで繰り返すことを
示す、１０３はに１とＫ　ａ　＋　１の比較、即ち、ａ
−とａ　ａ＋１のキーの比較であり、ＫＪ＞Ｋ　Ｊ　＋
　ｔのときは１０４のａａ、ａＪ＋１の交換を行ない、
Ｋａ≦ＫＪ＋１のときは何も行なわれない。

第４図のアルゴリズムによれば、１０３と１０４により
、キーの小さいデータは先頭の方に動き、キーの大きい
データは後ろの方に動く。これによって内部ソートが実
行できる。

本発明では、ユーザ指定のパラメータによってデータを
大小関係によって分類し、それらをソートすることによ
って外部ソートを実行することが出来る。従って、マー
ジ処理を適用せず実行出来るのでその分高速化が図れ、
また、データの分類処理と、各類のソートはそれぞれ並
列に実行出来るので、複数台のプロセッサによる高速化
も可能である。

〔発明の効果〕

本発明によれば、マージ処理を行なう事なく外部ソート
処理を実行できるので、マージ処理を省略した分の高速
化が図れる。

また、最初のユーザが与えたパラメータによる分類では
、データは互いに独立であるため、並列に実行出来、Ｎ
台のプロセッサがあればＮ倍高速に分類出来る。さらに
１分類されたデータは類毎に独立しているため、各類の
内部ソートを並列に実行することが出来、やはりＮ台の
プロセッサがあればＮ倍高速に処理が行なえる。

【図面の簡単な説明】

第１図は本発明の１実施例の概念図、第２図は１実施例
の処理のフローチャート、第３図は１実施例のデータフ
ロー、第４図は内部ソート処理のフローチャートである
。１・・・外部記憶、６・・・内部記憶、１０・・・入力
データ、１２・・・中間結果、１８・・・出力結果。第　２　回

Claims

【特許請求の範囲】１、外部記憶上にあるデータを外部ソートするのに際し
、ユーザより与えられたパラメータによつて前記外部記
憶内にあるデータを内部ソート可能な単位に分類する手
段を持ち、前記分類する手段により分類された類に対し
内部ソートを実行する手段を持ち、前記内部ソート実行
後、外部記憶上に前記分類された類を格納する位置を算
定する手段を持つことにより外部ソートを実行すること
を特徴とする外部ソート算法。２、複数台のプロセッサを持ち、１のユーザより与えら
れたパラメータによつて前記外部記憶内にあるデータを
内部ソート可能な単位に分類することを並列に実行する
ことを特徴とする特許請求の範囲第１項記載の外部ソー
ト算法。３、複数台のプロセッサを持ち、１の分類された類を内
部ソートすることを前記類単位に並列に実行することを
特徴とする特許請求の範囲第１項記載の外部ソート算法
。