JP3293551B2 - ソート処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、大量データのソ
ート処理を行う場合に好適なソート処理方法に関する。

【０００２】

【従来の技術】一般に大量データのソート処理において
は、入力データからソートの中間結果であるソート済み
レコード列（以下、ストリングと呼ぶ）を磁気ディスク
装置等の補助記憶装置内の作業ファイルに複数個出力
し、これらを読み出してマージすることによって最終的
なソート結果を得る方式が用いられている。

【０００３】この従来のソート処理方法において、ソー
ト対象である全データ量が多いと、ソートの中間結果た
る全ストリング数が一度にマージできるストリング数
（以下、マージウェイ数と呼ぶ）よりも多くなるという
事態が生じる場合がある。かかる場合、従来のソート処
理方法においては、作業ファイル内のストリング同士を
マージし、この結果得られる新たなストリングを作業フ
ァイルに出力する。そして、この新たなストリングの数
がマージウェイ数よりも多い場合には、再び作業ファイ
ル内のストリング同士をマージし、新たなストリングを
作業ファイルに出力するのである。このような処理をス
トリング数がマージウェイ数より少なくなるまで繰り返
し、ストリング数がマージウェイ数より少なくなったと
きに、その時点で最終的に残った全てのストリングをマ
ージし、最終的なソート結果として出力するのである。

【０００４】

【発明が解決しようとする課題】ところで、上述した従
来のソート処理方法において、最も時間を費やす処理は
作業ファイルとの間で行うストリングの入出力処理であ
る。何故ならばストリングを格納する補助記憶装置は、
ソートやマージの作業に使用する主記憶装置よりもアク
セス速度が低いからである。ここで、ソートに使用でき
る主記憶装置の容量が十分に大きければ、中間的なソー
ト結果であるストリングのデータ量を大きくすることが
できるため、作業ファイルとの間で行うストリングの入
出力回数を少なくすることができる。しかしながら、メ
モリの容量が小さい場合は、ストリングのデータ量を大
きくすることができないことからストリング数が必然的
に大きくなり、作業ファイルとの間で行うストリングの
入出力回数が多くなり、ソート処理に要する時間が増大
することとなる。

【０００５】この発明は以上説明した事情に鑑みてなさ
れたものであり、補助記憶装置との間で行うストリング
の入出力の回数を従来よりも低減することができ、従来
よりも短い所要時間で大量データのソート処理を行うこ
とができるソート処理方法を提供することを目的として
いる。

【０００６】

【課題を解決するための手段】請求項１に係る発明は、
入力レコードを所定量ずつ取り込み、所定のキーに基づ
いてソートし、その結果得られるソート済みのレコード
列である複数のストリングを補助記憶装置に格納し、該
補助記憶装置内の各ストリングをマージすることにより
最終的なソート済みレコード列を出力するソート処理方
法において、補助記憶装置内の複数のストリングをマー
ジする際にマージ対象であるストリングの数がマージ可
能なストリング数を越えている場合には、 ａ．各ストリングの先頭のレコードのキーの値を調べ、
当該キーの値のソート優先順位の高いものから順に前記
マージ可能なストリング数分のストリングをマージ対象
として選択し、 ｂ．前記補助記憶装置内に格納された前記マージ対象と
ならならなかった各ストリングの先頭のレコードのキー
の値のうちソート優先順位が最も高いものをレコード出
力閾値として設定し、 ｃ．前記マージ対象となるストリングのマージを行い、
マージ済みのレコードの前記キーの値が前記レコード出
力閾値を越えない間は当該マージ済みレコードを前記最
終的なソート済みレコード列として出力し、マージ済み
のレコードの前記キーの値が前記レコード出力閾値を越
えている場合は当該マージ済みレコードを新たなストリ
ングとして前記補助記憶装置に格納し、 ｄ．前記補助記憶装置内のストリング数がマージ可能な
ストリング数以下になるまで前記マージ対象の選択、前
記レコード出力閾値の設定および前記マージを繰り返
し、前記補助記憶装置内のストリング数がマージ可能な
ストリング数以下になった時点で当該ストリングをマー
ジして出力することを特徴とするソート処理方法を要旨
とする。

【０００７】請求項２に係る発明は、前記複数のストリ
ングを補助記憶装置に格納する際に、各ストリングにお
ける先頭のレコードの前記キーの値を前記補助記憶装置
よりも高速アクセス可能な記憶手段に予め格納し、この
記憶手段に格納した各キーの値に基づいて前記マージ対
象の選択および前記レコード出力閾値の設定を行うこと
を特徴とする請求項１に記載のソート処理方法を要旨と
する。

【０００８】請求項３に係る発明は、前記最終的なソー
ト済みレコード列を出力ファイルバッファに一旦格納
し、この出力ファイルバッファに蓄積されたレコード列
を最終的な出力先に出力することを特徴とする請求項１
または２に記載のソート処理方法を要旨とする。

【０００９】

【発明の実施の形態】以下、図面を参照し、本発明の実
施の形態について説明する。図１はこの発明の一実施形
態であるソート処理方法を実行する情報処理装置の構成
を示すブロック図である。この情報処理装置は、プロセ
ッサ１００と、主記憶装置２００と、磁気ディスク装置
３００とにより構成されている。

【００１０】プロセッサ１００は、メモリを内蔵してお
り、このメモリには本実施形態に係るソート処理用プロ
グラムが記憶されている。図１におけるソート処理手段
１は、プロセッサ１００がこのソート処理用プログラム
を実行することにより提供される手段であり、プリソー
ト手段１１、ストリングマージ手段１２およびストリン
グ選択手段１３により構成されている。

【００１１】そして、本実施形態においては、磁気ディ
スク装置３００内の入力ファイル２１、作業ファイル２
２および出力ファイル２３並びに主記憶装置２００内の
ストリング管理テーブル３１を使用してソート処理が行
われる。

【００１２】本実施形態におけるソート処理は、プリソ
ートと、コレーションという２つの過程から成り立って
いる。

【００１３】まず、プリソート過程において、プリソー
ト手段１１は、入力ファイル２１から１回のレコード入
力で入力可能な数のレコードを読み込んでソートを行
い、その結果を１本のストリングとして作業ファイル２
２へ出力する。その際、作業ファイル２２に出力された
ストリングの作業ファイル２２内のアドレスと、そのス
トリングの先頭レコードのキーの値をストリング管理テ
ーブル３１に登録する。

【００１４】そして、プリソート過程では、以上のレコ
ード入力とストリング出力を、入力ファイル２１上の全
てのレコードを読み終えるまで繰り返す。

【００１５】次にコレーション過程では、作業ファイル
２２上に出力されたストリングを全てマージすることに
よって、最終的なソート処理結果を得て出力ファイル２
３へ出力する。

【００１６】この過程において、ストリングマージ手段
１２は１度にマージウェイ数分のストリングをマージす
ることができる。ここで、作業ファイル２２上のストリ
ング数がマージウェイ数以下の場合、このマージウェイ
数分のストリングのマージ結果は最終的なソート処理結
果となるので、ストリングマージ手段１２はマージ結果
を出力ファイルへ出力する。

【００１７】一方、作業ファイル２２上のストリング数
がマージウェイ数より多い場合には、このマージウェイ
数分のストリングのマージ結果は最終的なソート処理結
果にはならない。しかし、ストリングの選択によって
は、このマージウェイ数分のストリングのマージ結果の
一部分は最終的なソート処理結果の一部分となる。スト
リング選択手段１３は、この選択方法を提供するもので
ある。すなわち、次の通りである。

【００１８】まず、ストリングマージ手段１２は、どの
ストリング同士をマージするかをストリング選択手段１
３に問い合わせる。ストリング選択手段１３は、この問
い合わせを受けて、ストリング管理テーブル３１を参照
し、各ストリングの先頭レコードのキーの値を比較し、
ソート優先順位が高いキーの値を先頭レコードに含むス
トリングから順にマージウェイ数分だけストリングを選
択し、ストリングマージ手段１２に通知する。また、そ
の際選ばれなかったストリングのうち、もっともソート
優先順位が高いキーの値を先頭レコードに含むものにつ
いて、その先頭レコードのキーの値をレコード出力閾値
としてストリングマージ手段１２に通知する。

【００１９】ストリングマージ手段１２は、通知された
ストリングをマージする際に、マージされたレコードの
キーの値のソート優先順位がレコード出力閾値のソート
優先順位よりも高いか等しい場合、マージされたレコー
ドは最終的なソート処理結果の一部であるから、それを
出力ファイル２３へ出力する。そうでない場合、つまり
マージされたレコードのキーの値がレコード出力閾値よ
りもソート優先順位が低い場合、マージされたレコード
をストリングとして作業ファイル２２へ出力する。こう
してストリングマージ手段１２はマージウェイ数分のス
トリングについてマージを行い、そのマージ結果を作業
ファイル２２へ一本のストリングとして出力し終わる
と、作業ファイル２２へ出力されたストリングの作業フ
ァイル２２内のアドレスとそのストリングの先頭レコー
ドのキーの値をストリング管理テーブル３１に登録し、
再度作業ファイル２２上のストリングをマージウェイ数
分選択してマージを行なう。

【００２０】ストリングマージ手段１２は、作業ファイ
ル２２上のストリング数がマージウェイ数以下になるま
でストリングのマージを繰り返し、作業ファイル２２上
のストリング数がマージウェイ数以下になれば、ストリ
ングマージ手段１２はこのマージウェイ数分のストリン
グのマージ結果を最終的なソート処理結果として出力フ
ァイル２３へ出力し、コレーション過程終了、すなわち
ソート処理終了となる。

【００２１】次に図２〜図４を参照し、レコードを昇順
にソートする場合における本実施形態の具体的処理例に
ついて説明する。

【００２２】まず、プリソート過程は図２に示すフロー
に従って行われる。すなわち、プリソート手段１１は、
磁気ディスク装置３００内の入力ファイル２１から一度
にソート可能な数のレコードを読み込み（ステップＳ
１）、これらのレコードを所定のキーが昇順に並ぶよう
にソートする（ステップＳ２）。そして、このソートに
より得られたレコード列であるストリングを磁気ディス
ク装置３００内の作業ファイル２２へ書き込むととも
に、当該ストリングの作業ファイル２２内でのアドレス
と、当該ストリングの先頭レコードのキーの値をストリ
ング管理テーブル３１に登録する（ステップＳ３）。以
後、入力レコードがなくなるまでこれを繰り返す（ステ
ップＳ４、Ｓ１〜Ｓ３）。

【００２３】以上がプリソート過程の処理内容である。
図３はこのプリソート過程の終了時におけるストリング
管理テーブル３１の内容を例示したものである。この処
理例において、プリソート手段１１は８本のストリング
を作業ファイル２２に作成している。従って、ストリン
グ管理テーブル３１には、これらの８本のストリングに
対応した各情報が格納されているのである。なお、各ス
トリングの作業ファイル内のアドレスは、本実施形態の
技術的意義を理解する上で重要度が低いので図示を省略
した。

【００２４】次に、コレーション過程は図４に示すフロ
ーに従って行われる。なお、この処理例では、マージウ
ェイ数が３であり、ストリングマージ手段１２は同時に
３本のストリングをマージすることができるとする。

【００２５】まず、ストリングマージ手段１２は、例え
ばストリング管理テーブル３１を参照することにより、
作業ファイル２２内のストリングの数がマージウェイ数
以下か否かを判断する（ステップＳ１１）。

【００２６】この処理例の場合、作業ファイル２２には
８個のストリングが含まれているため、ステップＳ１１
判断結果が「ＮＯ」となり、ステップＳ１２へ進む。

【００２７】次にステップＳ１２に進むと、ストリング
マージ手段１２は、ストリング選択手段１３にマージす
べきストリングを問い合わせる。ストリング選択手段１
３は、ストリング管理テーブル３１を参照し、各ストリ
ングのうち先頭レコードのキーの値が最も小さいストリ
ング、２番目に小さいストリングおよび３番目に小さい
ストリングを選択し、ストリングマージ手段１２に通知
する。図３に示す例では、ストリング番号４、７、３の
各ストリングの先頭のレコードのキーの値が「２」、
「４」、「６」となっており、これらの３個のキーの値
が最も小さい。従って、ストリング選択手段１３は、ス
トリング番号４、７、３をストリングマージ手段１２に
通知する。また、ストリング選択手段１３は、残りのス
トリングの先頭レコードのキーの値のうち、もっとも小
さい数字をレコード出力閾値としてストリングマージ手
段１２に通知する。図３に示す例では、ストリング番号
１のストリングの先頭レコードのキーの値「９」がレコ
ード出力閾値としてストリングマージ手段１２に通知さ
れることとなる（以上、ステップＳ１２）。

【００２８】次にストリングマージ手段１２は、作業フ
ァイル２２からストリング番号４、７、３の各ストリン
グを読み出してマージする（ステップＳ１４）。このと
き、マージして得られたレコードのキーの値は「２」か
ら始まり徐々に増えていく。これがレコード出力閾値と
等しい「９」になるまでは、そのマージ済みレコードを
最終的なソート処理結果として出力ファイル２３へ出力
する（ステップＳ１４、Ｓ１５、Ｓ１７）。そして、レ
コード出力閾値より大きくなると、以降のマージ済みレ
コードを作業ファイル２２へストリングとして出力する
（ステップＳ１４、Ｓ１６、Ｓ１７）。

【００２９】このマージが終わると、ストリングマージ
手段１２は、出力したストリングについて、作業ファイ
ル２２内のアドレスと先頭レコードのキーの値をストリ
ング管理テーブル３１に登録し、再度、ストリング選択
手段１３へマージすべきストリングを問い合わせる。以
後、作業ファイル２２内のストリング数がマージウェイ
数の３以下になるまでこれを繰り返す。

【００３０】そして、作業ファイル２２内のストリング
数がマージウェイ数の３以下になった場合には、作業フ
ァイル２２から各ストリングを読み出してマージし（ス
テップＳ１８）、マージした結果を出力ファイル２３に
書き込む（ステップＳ１９）。

【００３１】以上により本実施形態におけるソート処理
の全処理が終了し、ソートされた全レコードが出力ファ
イル２３内に得られる。

【００３２】以上、本発明の一実施形態について説明し
たが、本発明の適用範囲はこれに限定されるものではな
く、本発明には様々な変形例が考えられる。例えば次の
通りである。 （１）ソート処理の処理形態として、入力ファイルと出
力ファイルが存在しない形態が有り得る。この場合、図
５に示すように、ファイル以外のレコード入力元２４か
らレコードを入力し、ファイル以外のレコード出力先２
５にソート済みのレコードを出力する形態で本発明を実
施することができる。 （２）ソート処理に限らず、一般に複数レコードをファ
イルへ出力する処理においては、各レコードを１個ずつ
出力するのではなく、複数レコードを蓄積しておく領域
（以後出力バッファと呼ぶ）に１個ずつためていき、出
力バッファが一杯になった時点で出力バッファにある複
数レコードを一括して出力ファイルへ出力する方式があ
る。本発明でも、図６の実施形態のように、出力ファイ
ル２３へのレコード出力について出力バッファ１４を用
意し、複数レコードを一括して出力することができる。

【００３３】

【発明の効果】以上説明したように、この発明によれ
ば、作業ファイル上のストリング数がマージウェイ数よ
りも大きい場合において複数のストリングのマージを行
う場合に、マージ結果の一部を最終的なソート結果とし
て出力することができるので、作業ファイルとの間で行
うストリングファイルの入出力の回数を低減することが
でき、ソートの処理時間を短縮することができる。ま
た、この発明によれば、作業ファイル内のストリングの
マージが開始されると、直ちにマージ結果が最終的なソ
ート結果の一部として出力されるため、ソート処理が開
始されてからその結果の出力が開始されるまでの時間を
短くすることができる。

【図面の簡単な説明】

【図１】 図１はこの発明の一実施形態であるソート処
理方法を実行する情報処理装置の構成を示すブロック図
である。

【図２】 同実施形態におけるプリソート過程の処理の
流れを示すフローチャートである。

【図３】 同実施形態におけるストリング管理テーブル
を示す図である。

【図４】 同実施形態におけるコレーション過程の処理
の流れを示すフローチャートである。

【図５】 この発明の他の実施形態の構成を示すブロッ
ク図である。

【図６】 この発明の他の実施形態の構成を示すブロッ
ク図である。

【符号の説明】

２００ 主記憶装置 ３１ ストリング管理テーブル １００ プロセッサ １ ソート処理手段 １１ プリソート手段 １２ ストリングマージ手段 １３ ストリング選択手段 ３００ 磁気ディスク装置 ２１ 入力ファイル ２２ 作業ファイル ２３ 出力ファイル

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 入力レコードを所定量ずつ取り込み、所
   定のキーに基づいてソートし、その結果得られるソート
   済みのレコード列である複数のストリングを補助記憶装
   置に格納し、該補助記憶装置内の各ストリングをマージ
   することにより最終的なソート済みレコード列を出力す
   るソート処理方法において、 補助記憶装置内の複数のストリングをマージする際にマ
   ージ対象であるストリングの数がマージ可能なストリン
   グ数を越えている場合には、 ａ．各ストリングの先頭のレコードのキーの値を調べ、
   当該キーの値のソート優先順位の高いものから順に前記
   マージ可能なストリング数分のストリングをマージ対象
   として選択し、 ｂ．前記補助記憶装置内に格納された前記マージ対象と
   ならならなかった各ストリングの先頭のレコードのキー
   の値のうちソート優先順位が最も高いものをレコード出
   力閾値として設定し、 ｃ．前記マージ対象となるストリングのマージを行い、
   マージ済みのレコードの前記キーの値が前記レコード出
   力閾値を越えない間は当該マージ済みレコードを前記最
   終的なソート済みレコード列として出力し、マージ済み
   のレコードの前記キーの値が前記レコード出力閾値を越
   えている場合は当該マージ済みレコードを新たなストリ
   ングとして前記補助記憶装置に格納し、 ｄ．前記補助記憶装置内のストリング数がマージ可能な
   ストリング数以下になるまで前記マージ対象の選択、前
   記レコード出力閾値の設定および前記マージを繰り返
   し、前記補助記憶装置内のストリング数がマージ可能な
   ストリング数以下になった時点で当該ストリングをマー
   ジして出力することを特徴とするソート処理方法。
2. 【請求項２】 前記複数のストリングを補助記憶装置に
   格納する際に、各ストリングにおける先頭のレコードの
   前記キーの値を前記補助記憶装置よりも高速アクセス可
   能な記憶手段に予め格納し、この記憶手段に格納した各
   キーの値に基づいて前記マージ対象の選択および前記レ
   コード出力閾値の設定を行うことを特徴とする請求項１
   に記載のソート処理方法。
3. 【請求項３】 前記最終的なソート済みレコード列を出
   力ファイルバッファに一旦格納し、この出力ファイルバ
   ッファに蓄積されたレコード列を最終的な出力先に出力
   することを特徴とする請求項１または２に記載のソート
   処理方法。