JPH01177124A - ソータ記憶管理方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明はソータ記憶管理方式に関し、特にソート件数の
増加によるワーク容量の急激な増加を抑止可能とするソ
ータ記憶管理方式に関する。

〔従来の技術〕

従来、データ列のソート処理は汎用電子計算機を用いて
ソフトウェアで行われるのが普通であったが、この方法
ではデータの比較が逐次的であるため、データ数が大量
になるのに従って処理時間が膨大になり、また、これに
より高価な汎用電子計算機を占有してしまうという問題
があった。

この問題を解決するものとして、専用のソート処理装置
が種々提案されている。例えば、特開昭６１−４２０３
１号公報に開示されている高速なハードウェア・ソータ
を挙げることができる。

第２図にこの装置の原理を示す。ＩＩＡ、ＩＩＢはデー
タを貯えておくキーバッファ、１２は比較器で入力デー
タとキーバッファの内容を比較するとともに、前回の比
較結果を記憶しておいて、１１Ａと１１Ｂのどちらのデ
ータを転送するのかを制御している。本ソータをｉ個接
続することで、２１件までのデータをソートできる。こ
れをソートウェイ数と呼び、以下、ｋで表わす。

第３図（、）〜（ｈ）は上記ソータの動作を示す図であ
る。なお、説明を簡単にするため、昇順ソートを仮定し
、以後の説明では、ソートするデータとして、十進数の
みを扱うことにする。ソータには、初期値として無限大
（ω）が設定されている。

データ入力中は、大きい方が右へ送られ、出力時には、
小さい方が左に出て来る。その結果、データかに個（こ
こでは、ｋ＝４）までは、ソータ中にいつでもソート済
みのデータが格納されている。

データの入出力は、ソータの基本マシンサイクル毎に可
能なので高速に行い得る。注意すべきことは、どの時点
でソータからデータを読出しても、ソータ中の最小値が
出て来ることである。

しかしながら、本ソータで大量のデータを直接ソートす
ることはかなり困難である。それは、ソート件数の半分
の個数のソータを接続しなければならないからである。

最近の大規模なデータベースでは、データ数が数百万作
から一億件以上に達しており、このため今日のＬＳＩ技
術を用いたとしても、必要なだけのソータを組込むのは
、大変なコストを要するものとなる。

この困鷺は、マージ手法を用いることにより解決される
。すなわち、ソート済みの部分列を組合わせて（マージ
して）、より大きなソート列を作るという方法である。

ソータの能力から入力データはに個毎にソートできる。

その結果は一旦ソータ記憶に格納される。入力が終了し
た時点で、この中間結果をマージする。

上述の手法を第４図により説明する。ｋ＝４とし、１６
個のデータをソートすることを考える。入力データ列が
、９　、４　、５．１０，２０．６．１２，１５．３．
１６゜２．１９．７．１３，３０．１１であったとする
。

まず、最初の４個がソータに入力されたところで、ソー
ト結果が一旦ソータ記憶に出力される。

この部分列には、バンクＯというタグが付けられる。こ
こで、″バンク”というのは、部分列を−まとまりのデ
ータとして扱う場合の用語であり、以下の説明では、実
際上部分列と同義語として用いる。続いて、次の４個の
データがソータに入力されソートされる。この結果は、
バンク１というタグが付けられてソータ記憶に格納され
る。以下同様にして、バンク２．バンク３が作られる。

これでソート済みの部分列が４個できたことになる。

しかし、まだ、最終的なソート結果は得られていない。

そのためには、これらの部分列をマージする必要がある
。

マージのための制御として、まず、各部分列の最初のデ
ータが取出され、ソータに入力される。

この状況は、第４図の４６Ａに示されている。データは
、ソート済みの形でソータ中に格納される。

図を簡単にするため、第４図では、ソータの状態を一次
元の箱で示している。これは、第３図で用いたソータの
状態の別表現であるが、厳密には、ある程度曖昧さを含
んでいる。それは、ソータの内部状態は、データの値の
みではなく、入力順序により変わって来るからであり、
この状況は、第５図に示されている。

第５図の５１と５２は、−次元の節表現ではともに５３
で表わされ区別できない。しかし、ソータから出て来る
順序は、データの値のみで決まるので、この差は外から
は見えない。そこで、第４図に示す如き簡略表現を用い
ることができる。

第４図４６Ａの先頭データであるｔｌ　２　ＩＩが、全
体で最も小さい。というのは、ソータには、各部分列の
最小データが入力されており、ソータの先頭データはそ
の中で最も小さいからである。しかし、その次のデータ
である４”が二番目に小さいとは限らない。この例でも
事実そうはならない。上述の“２”を含んでいたバンク
のその次のデータが、他の部分列のどのデータよりも小
さいことがあり得るからである。

そこで、ソータの制御としては、まず、ソート順序の確
定したＩＩ　２１１を、マージ後の部分列の格納領域４
５の先頭に格納する。領域４５もソータ記憶内にとるこ
とができる。次に、ａ　２　ｐｐが格納されていたバン
クから、その次のデータ１１３　ＩＩが取出されてソー
タに入力される。この値は直ちにソートされて、第４図
４６Ｂの形になる。その先頭値１１３”が全体で１′２
”の次に小さい値であることは明らかである。そこで、
これを部分列４５の二番目に格納し、次に、Ｉｔ　３　
ｊｊが格納されていたバンクから、その次のデータが取
出されてソータに入力される。この操作を繰り返すこと
により、ソータの先頭には、常に残りのデータの中の最
小値が格納されていることから、領域４５にソート済み
の部分列（全体列）ができることは明らかである。

上述の操作で、ソータから出て来たデータが、もともと
、どの部分に属していたかを識別することが必要である
。このため、ソータ内のデータには、前述の″バンクタ
グという識別子が付けられている。バンクタグは、その
データが格納されていたバンクの番号を示すものである
。バンクタグを付けたデータの形式を、第６図に示す。

バンクタグ６１は、ソータからデータが出て来るとすぐ
必要になるので、この例では、データ本体６２の前に付
けられている。

上記バンクタグ６１は比較の対象にはならない。

もし、バンクタグをデータの後にもって来れば、ソータ
は、データ本体とバンクタグを区別せずに比較できる利
点がある。どちらが有利かは、システムの実現方式によ
る。なお、データ本体６２は、第６図では“キー本体”
となっているが、ここでは同じものである。しばらくは
、データとキーを区別しない。これと、レコードポイン
タ６３については、後に実施例の項で説明する。

一度にマージする部分列をマージウェイ数と呼ぶ。この
最大数は、上で示した如く、ソートウェイ数にと一致す
る。

第４図の例では、ソート件数が１６件なのでマージが１
回で済んだ。件数がこれより多いときは、マージをもっ
と繰り返す必要がある。第４図の例で考えると、一つの
部分列の大きさには制限はないが、−度にマージできる
部分列数は最大に個に限られることがわかる。そこで、
大量のデータをマージするためには、ｋ個毎のマージを
繰り返して、だんだん大きな部分列を作って行くことに
なる。例えば、データが３２個までなら、第４図に示す
４５のような部分列を二つ作ってから、それらをマージ
すれば良い。

この操作は、ｋがある程度大きければ、それ程段数のか
かるものではない。マージ１段なら　ｋ２件まで、マー
ジ２段なら　ｋ３件まで、もっと一般には、マージ１段
ではｋ　”件までのソートができることになる。ｋ＝６
４、ｉ＝４とすれば約１００万件のソートが可能である
。

ソート用のワーク領域には、ソータ記憶の連続領域が必
要であることに注意する必要がある。−方、最終マージ
では、結果を直接出力すれば良いことにも注意しておく
必要がある。第４図に示した例で、実際にはソート結果
をソータ記憶に格納する必要はなかったのである。

〔発明が解決しようとする課題〕

マージ結果の格納用領域を″ソータワーク″と呼ぶ。上
記従来技術では、マージ段数が増えるに従って、ソータ
ワーク容量が急激に増えてしまう。

このことを数値で以下に示す。

ｋ＝６４としたとき、１段マージでソートできる件数は
６４２＝　４０９６件である。マージ結果は直接出力す
ることができるので、ソータ記憶も４０９６件分あれば
良く、ワーク領域は不要である。２段マージになると６
４’　＝　２６２１４４件までソートできる。このとき
１ま、−旦４０９６個のデータから成る部分列をソータ
記憶に格納しなければならない。第７図に示すように、
マージ済みのデータ領域は、次のマージの結果を格納す
るために使えるので、ワーク領域としては、４０９６デ
一タ分あれば良い。同様にして、３段マージになると６
４４＝　１６７７７２１６件のソートが可能で、このと
きのワーク容量は、２６２１４４デ一タ分である。一般
に、ｉ段マージでは　ｋ１データ分のワーク容量が必要
である。

ここで注意すべきことは、ｉ段マージの限界付近では、
ワーク容量は、データのための容量の１／に位で済んで
いるが、ｉ段マージになりたての件数をソートするため
には、殆んどデータ数に匹敵するワーク容量が必要なこ
とである。上述の例では、データ数が２６２１４４件の
ときはワーク容量が４０９６件分だったのが、データ数
が２６２１４５件になるとワーク容量として２６２１４
４件分必要になってしまうということである。

本発明は上記事情に鑑みてなされたもので、その目的と
するところは、ソート件数の増加によりこのように急激
にワーク容量が増加するのを抑止し、ワーク容量をいつ
でも、ソート件数の１／に程度に抑えられるソータ記憶
管理方式を提供することにある。

〔課題を解決するための手段〕

上述の、従来技術の問題点は、１段目のマージでいつで
もマージウェイ−杯までの部分列をマージしようとして
発生している。その個数を減らせば、出来上る部分列も
小さくなることは明らかである。ところが、一般には、
マージの入力部分列数を減らすことは、マージ段数を増
やしてしまうので好ましいことではない。

そこで本発明者が注目したのは、最終マージにおいてに
個までのマージ能力があるのに、従来は通常それよりも
小さい個数の部分列しかマージしていないことである。

前述の例で言うと、データ件数が２６２１４５件のとき
は、最終マージで２６２１４４件から成る大きな部分列
と、１件しかない小さな部分列とをマージすることにな
る。それまで６４バンクずつマージしておきながら、最
後にはデータ件数により規定されるマージウェイ数を使
わざるを得ないのである。

このような不合理を避けるため１本発明においては、マ
ージウェイ数を最後から二番目のマージで調整し、最終
マージで丁度にウェイマージとなるようにする。

すなわち、本発明の前記目的は、最大に個（ｋ：１より
大きな整数）までの入力データを格納でき、その内から
最小または最大のデータを抽出可能なソート手段と、予
めソートされたに個以下のデータ列をマージして、新た
なデータ列を生成するマージ手段および前記入力データ
またはマージ中のデータ列を格納するためのソータ記憶
を有するソート装置において、最終マージの一段前のマ
ージにおける部分列数Ｘを、 ｘ＝ｉ・ｋ＋ｒ １≦ｉ　＜　ｋ １≦ｒ≦ｋ と表わすとき、（ｉ＋１）個の部分列のマージをｒ回、
ｉ個の部分列のマージを（ｋ−ｒ）回行うことを特徴と
するソータ記憶管理方式によって達成される。

なお、上述の、最終マージの一つ前のマージを指す言葉
が以下の説明で何度も必要なので、これを″近終マージ
″と呼ぶことにする。

〔作用〕

マージを繰り返して、出来上る部分列の個数かに２個以
下になると、上述の近終マージを行う。

厳密には、データ件数かに２個以下の場合には、初めか
ら近終マージであるが、このときは別扱いした方が実現
が容易であるため、本発明では、データ件数をに２個以
上と仮定する。

近終マージの入力部分列数ｘ（ｋ＜ｘ≦ｋ２）を、Ｘ＝
ｉ・ｋ＋ｒエ　　　　　　　　・・・・（１）１≦ｉ　
＜　ｋ １≦ｒ工≦ｋ と表わすとき、近終マージでは、（ｉ＋１）個の部分列
のマージを　ｒ０回、ｉ個の部分列のマージを（ｋ−ｒ
工）回行う。これにより出来上る部分列の個数が丁度に
個になることは、容易にわかる。ここで、（ｋ−ｒｌ）
は０のこともある。

前記式（１）を、入力データ数ｎ０の表現に直すと、 ｎ（、＝ｉ−に’＋ｒ　　　　　　　　　　　・・・・
（２）１≦ｉ　＜　ｋ １≦ｒ≦ｋ’ と表わすことができる。両式のｉは、同じ値である。こ
のとき、近終マージの入力部分列の大きさは　ｋＪ−１
であり、マージのためのワーク記憶容量は、（ｉ　＋　
１）・ｋ　’−１となる。

なお、この方法は、マージウェイ数の順番を入替えただ
けなので、マージに必要な時間は、従来技術の場合と変
わらない。

〔実施例〕

以下、本発明の実施例を図面に基づいて詳細に説明する
。

第１図は、本発明の一実施例を示すハードウェアソータ
のブロック構成図である。図において、１００はソータ
、１０１はキー抽出回路、１０２はソータ記憶、１０３
はレコード読出し回路、１０４はソート装置制御回路を
示している。

第１図に示した実施例においては、ソート条件が入力デ
ータの一部のみで決定される場合を含むように拡張され
ている。一般のデータベースのソートでは、このような
事態はしばしば発生するからである。データの中で、ソ
ート対象となる部分を“キー”と呼ぶにれに対して、１
デ一タ全体を“レコード″と呼ぶ。実際のキーは、第６
図に示す如く、レコードから抽出したキー本体６２に、
バンクタグ６１．レコードポインタ６３を付加した形を
持っている。

レコードの中のどの部分をキーとして用いるかは、−ま
とまりのソートに先立ち、予め指示されている。レコー
ド長そのものは、レコード毎に異なり得るが、キー長は
キー抽出回路１０１により、一定の長さに揃えられる。

そのため、ソータ１００はキー長の変動を意識する必要
がない。もちろん異なるソートではキー長は異なり得る
。

キー抽出回路１０１は、入力データからキーを抽出し、
第６図に示す形に整えてから、キーをソータ　１００に
、レコードをソータ記憶１０２に送る。キーとレコード
を対応付けるため、レコードポインタ６３には、レコー
ドのソータ記憶１０２内アドレスが格納される。なお、
ソータ１００は、第２図で説明したものを用いている。

以下、本実施例の動作を説明する。

入力データに個毎に、ソート済みの部分列がソータ１０
０からソータ記憶１０２に転送され、格納される。キー
とレコードは、第８図に示す如く、ソータ記憶１０２の
異なる側から格納されて行く。こうすることで、ソータ
ワークのために必要なソータ記憶の連続領域を自然に確
保できる。

レコード長が不定なので、ソート可能件数を予め計算し
て求めておくことはできない。そこで、入力データに個
毎に、ソータワーク容量を計算して、これとキー格納領
域を加えたものをソータワーク上限変数ｓｈに入れてお
く。そして、入力データ毎に、レコード格納領域の下限
が上記ｓｈより小さくならないかを検査し、ソート記憶
のオーバーフローを検出する。

入力時の制御フローを第９図に示す。ここで、ＷＲニレ
コード格納領域の下限アドレスに１：キー長 ＲＬニレコード長 ｎｃ：入力レコード数 ｎｏ：ソータワーク容量が変化するときのレコード数 Δｎｌ、ｌ：　ｎ１１１の変化量 Ｗｍ：ソータワーク容量 ΔＷＩＩｌ：ＷＩｌｌの変化量 ｆｂｓ　：最初に作られる部分列の大きさｉ：部分列を
に個ずつマージしていった場合の最終部分列の個数（＝
式（２）のｉ）である。

第９図において、ステップ９０１は、初期設定である。

ステップ９０２から同９０６は、１データの入力処理で
あり、前記キー抽出回路１０１で実行される。第９図の
その他の部分は、前記ソート装置制御回路１０４で制御
される。

ステップ９０２で１データ入力し、ステップ９０３でソ
ータ記憶のオーバーフローをチエツクする。

入力データかに個揃ったことをステップ９０６でチエツ
クし、そのとき、ステップ９０８で、前記ｓｈを部分列
の長さ分大きくする。

ソータワーク容量が変化するときのｎｏをｎｍに格納し
ておく。これは、ｋ、２に、・・・（ｋ−１）ｋ。

ｋ２．２　ｋ２．３　ｋ”、・・・（ｋ　−１）ｋ２．
　ｋ’、　２　ｋ３・・・・というように変化する。−
船釣に言えば、前出の式（２）でｉが変化する度に変化
する。

そこで、 ｎ、＝ｉ−に’ Δｒ＋Ｉｎ＝に’ となるよう、ステップ９１０で演算しておく。Ｗｒｎ。

ΔＷＩｌは、このｎｍｔΔｎｍに対応するソータ記憶の
容量である。なお、 Ｗ＋１＝　（ｎ　ｍ／　ｋ　）・ｋｚ の関係式が恒等的に成立つが、ここでは、演算の面倒な
に、倍を避けるために、ｎＩｎとは別変数でＷＩｌｌを
用意した。

入力データ件数が丁度に＝のとき、Δｎｆｆ＋ΔＷｍの
大きさが変化する。これをステップ９１１で検出し、ス
テップ９１２で更新している。

入力処理は、別系統でそれと指示される最終入力データ
が来た場合か、ソータ記憶１０２がオーバーフローした
ときに終了する。

入力処理が終了すると、マージ処理に移る。

近終マージを除き、部分列をに個ずつまとめてマージし
て行く。マージ後の部分列は、ソータ記憶１０２のｓｈ
番地以下の連続領域に格納されて行く。先に、第７図に
示した如く、この空き領域はマージに従って移動する。

初段のマージでは、空き領域は、ソータ記憶１０２の上
の番地から下の番地へと移動して行く。初段マージが終
了した時点では、空き領域はソータ記憶１０２の先頭に
ある。

二段目のマージでは、マージ結果をＯ番地から格納して
行くので、空き領域はソータ記憶１０２の下の番地から
上の番地に移動して行くことになる。

以下、マージ段数毎に空き領域の移動方向が切替わる。

部分列数かに２個以下になった直後のマージステージが
近終マージである。第１０図に、ｋ＝４とし、近終マー
ジが奇数段であった場合のソータ記憶１０２の配置を示
す。ここでは、部分列数が１０個の例を示す。近終マー
ジがｊ段目とすると、最終バンクを除き、各バンクには
　ｋＪ個のキーが格納されている。最終バンクのキー数
は１個から　ｋ＝個の間である。

マージにより、ソータ記憶１０２の配置がどのように変
化して行くかは、第１０図（ａ）に示す一次元表現より
、同（ｂ）に示す二次元表現の方が理解し易く、便利で
ある。そこで、第１１図では、この表現を用いて、近終
マージがどのように進むかを示した。二次元表現では、
縦方向にバンク数ｋをとる。各バンクの右下の熱印は１
部分列の終りを示している。

部分列数のｉ＋　１０　ｕは、 １０＝２・ｋ＋２ と表わせるので、前記式（１）を用いると、３部分列の
マージを２回、２部分列のマージを（ｋ−２）＝２回行
うことがわかる。この状況は、第１１図の（ａ）〜（ｄ
）に示されている。出来上った部分列には、（ｋ−１）
＝３から降順にバンクタグを付けて行く。近終マージ終
了時の状態は、第１１図（ｅ）に示されている。

近終マージが偶数段目のマージの場合も、マージの移動
方向が変わるだけで、同様に考えることができる。

最終マージでは、ソータ１００の出力はソータ記憶１０
２に格納する代りにレコード読出し回路１０３に送られ
る。レコード読出し回路１０３は、送られて来たキーの
レコードポインタ６３を用いてソータ記憶１０２をアク
セスし、レコードを読出す。読出されたレコードが、レ
コード読出し回路１０３を経由して出力データとして送
出される。

第１２図に、ｋ＝４．ｉ＝３〜５としたときの、従来方
式による場合と、本発明の方式による場合の、ワーク必
容量の比較図を示す。図中の実線は本発明の方式による
場合を、また、破線は前述の従来方式による場合を示す
。

〔発明の効果〕

以上詳細に述べた如く、本発明によれば、最大に個（ｋ
：１より大きな整数）までの入力データを格納でき、そ
の内から最小または最大のデータを抽出可能なソート手
段と、予めソートされたに個以下のデータ列をマージし
て、新たなデータ列を生成するマージ手段および前記入
力データまたはマージ中のデータ列を格納するためのソ
ータ記憶を有するソート装置において、最終マージの一
段前のマージにおける部分列数Ｘを。

ｘ＝ｉ・ｋ＋ｒ １≦ｉ　＜　ｋ １≦ｒ≦ｋ と表わすとき、（ｉ＋１）個の部分列のマージをｒ回、
１個の部分列のマージを（ｋ−ｒ）回行うようにしたの
で、ソート件数の増加によりワーク容量が急激に増加す
るのを抑止し、ワーク容量をいつでも、ソート件数の１
／に程度に抑えられるソータ記憶管理方式を実現できる
という顕著な効果を奏するものである。

【図面の簡単な説明】

第１図は本発明の一実施例を示すソータのブロック構成
図、第２図はソータの原理を示す図、第３図はソータの
動作を示す図、第４図はマージ動作を示す図、第５図は
ソータの状態の簡易表現における曖昧さを説明する図、
第６図はバンクタグを付けたデータの形式を示す図、第
７図はソータワーク領域の重ね書きを示す図、第８図は
ソータ記憶内のレコードとキーの格納領域を示す図、第
９図は入力時の処理を示すフローチャート、第１０図は
ソータ記憶の一次元表現と二次元表現の対応図、第１１
図は近終マージでのキーデータの移動例を示す図、第１
２図は本発明の効果を具体的に示すワーク容量の比較グ
ラフである。 １００：ソータ、１０１：キー抽出回路、１０２：ソー
タ記憶、１０３ニレコード読出し回路、１０４：ソート
装置制御回路、１，２．・・・・ｉ：ソータの１ステー
ジ、ＩＩＡ、ＩＩＢ　：キーバッファ、１２：比較器、
４１〜４４：入力データ列、４５：マージ後の部分列、
４６Ａ〜４６Ｄ：マージュ段の部分列、６１：バンクタ
グ、６２：キー本体、６３ニレコードポインタ。

Claims (1)

1. 【特許請求の範囲】 １、最大ｋ個（ｋ：１より大きな整数）までの入力デー
   タを格納でき、その内から最小または最大のデータを抽
   出可能なソート手段と、予めソートされたに個以下のデ
   ータ列をマージして、新たなデータ列を生成するマージ
   手段および前記入力データまたはマージ中のデータ列を
   格納するためのソータ記憶を有するソート装置において
   、最終マージの一段前のマージにおける部分列数ｘを、 ｘ＝ｉ・ｋ＋ｒ １≦ｉ＜ｋ １≦ｒ≦ｋ と表わすとき、（ｉ＋１）個の部分列のマージをｒ回、
   ｉ個の部分列のマージを（ｋ−ｒ）回行うことを特徴と
   するソータ記憶管理方式。