JP2540899B2 - ソ―タ記憶管理方式 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明はソータ記憶管理方式に関し、特にソート件数
の増加によるワーク容量の急激な増加を抑止可能とする
ソータ記憶管理方式に関する。

〔従来の技術〕

従来、データ列のソート処理は汎用電子計算機を用い
てソフトウェアで行われるのが普通であったが、この方
法ではデータの比較が逐次的であるため、データ数が大
量になるのに従って処理時間が膨大になり、また、これ
により高価な汎用電子計算機を占有してしまうという問
題があった。

この問題を解決するものとして、専用のソート処理装
置が種々提案されている。例えば、特開昭61−42031号
公報に開示されている高速なハードウェア・ソータを挙
げることができる。

第２図にこの装置の原理を示す。11A,11Bはデータを
貯えておくキーバッファ、12は比較器で入力データとキ
ーバッファの内容を比較するとともに、前回の比較結果
を記憶しておいて、11Aと11Bのどちらのデータを転送す
るのかを制御している。本ソータをｉ個接続すること
で、2i件までのデータをソートできる。これをソートウ
ェイ数と呼び、以下、ｋで表わす。

第３図（ａ）〜（ｈ）は上記ソータの動作を示す図で
ある。なお、説明を簡単にするため、昇順ソートを仮定
し、以後の説明では、ソートするデータとして、十進数
のみを扱うことにする。ソータには、初期値として無限
大（∞）が設定されている。データ入力中は、大きい方
が右へ送られ、出力時には、小さい方が左に出て来る。
その結果、データがｋ個（ここでは、ｋ＝４）までは、
ソータ中にいつでもソート済みのデータが格納されてい
る。データの入出力は、ソータの基本マシンサイクル毎
に可能なので高速に行い得る。注意すべきことは、どの
時点でソータからデータを読出しても、ソータ中の最小
値が出て来ることである。

しかしながら、本ソータで大量のデータを直接ソート
することはかなり困難である。それは、ソート件数の半
分の個数のソータを接続しなければならないからであ
る。最近の大規模なデータベースでは、データ数が数百
万件から一億件以上に達しており、このため今日のLSI
技術を用いたとしても、必要なだけのソータを組込むの
は、大変なコストを要するものとなる。

この困難は、マージ手法を用いることにより解決され
る。すなわち、ソート済みの部分列を組合わせて（マー
ジして）、より大きなソート列を作るという方法であ
る。ソータの能力から入力データはｋ個毎にソートでき
る。その結果は一旦ソータ記憶に格納される。入力が終
了した時点で、この中間結果をマージする。

上述の手法を第４図により説明する。ｋ＝４とし、16
個のデータをソートすることを考える。入力データ列
が、9,4,5,10,20,6,12,15,3,16,2,19,7,13,30,11であっ
たとする。

まず、最初の４個がソータに入力されたところで、ソ
ート結果が一旦ソータ記憶に出力される。この部分列に
は、バンク０というタグが付けられる。ここで、“バン
ク”というのは、部分列を一まとまりのデータとして扱
う場合の用語であり、以下の説明では、実際上部分列と
同義語として用いる。続いて、次の４個のデータがソー
タに入力されソートされる。この結果は、バンク１とい
うタグが付けられてソータ記憶に格納される。以下同様
にして、バンク2,バンク３が作られる。これでソート済
みの部分列が４個できたことになる。しかし、まだ、最
終的なソート結果は得られていない。そのためには、こ
れらの部分列をマージする必要がある。

マージのための制御として、まず、各部分列の最初の
データが取出され、ソータに入力される。この状況は、
第４図の46Aに示されている。データは、ソート済みの
形でソータ中に格納される。図を簡単にするため、第４
図では、ソータの状態を一次元の箱で示している。これ
は、第３図で用いたソータの状態の別表現であるが、厳
密には、ある程度曖昧さを含んでいる。それは、ソータ
の内部状態は、データの値のみではなく、入力順序によ
り変わって来るからであり、この状況は、第５図に示さ
れている。

第５図の51と52は、一次元の箱表現ではともに53で表
わされ区別できない。しかし、ソータから出て来る順序
は、データの値のみで決まるので、この差は外からは見
えない。そこで、第４図に示す如き簡略表現を用いるこ
とができる。

第４図46Aの先頭データである“2"が、全体で最も小
さい。というのは、ソータには、各部分列の最小データ
が入力されており、ソータの先頭データはその中で最も
小さいからである。しかし、その次のデータである“4"
が二番目に小さいとは限らない。この例でも事実そうは
ならない。上述の“2"を含んでいたバンクのその次のデ
ータが、他の部分列のどのデータよりも小さいことがあ
り得るからである。

そこで、ソータの制御としては、まず、ソート順序の
確定した“2"を、マージ後の部分列の格納領域45の先頭
に格納する。領域45もソータ記憶内にとることができ
る。次に、“2"が格納されていたバンクから、その次の
データ“3"が取出されてソータに入力される。この値は
直ちにソートされて、第４図46Bの形になる。その先頭
値“3"が全体で“2"の次に小さい値であることは明らか
である。そこで、これを部分列45の二番目に格納し、次
に、“3"が格納されていたバンクから、その次のデータ
が取出されてソータに入力される。この操作を繰り返す
ことにより、ソータの先頭には、常に残りのデータの中
の最小値が格納されていることから、領域45にソート済
みの部分列（全体列）ができることは明らかである。

上述の操作で、ソータから出て来たデータが、もとも
と、どの部分に属していたかを識別することが必要であ
る。このため、ソータ内のデータには、前述の“バンク
タグ”という識別子が付けられている。バンクタグは、
そのデータが格納されていたバンクの番号を示すもので
ある。バンクタグを付けたデータの形式を、第６図に示
す。バンクタグ61は、ソータからデータが出て来るとす
ぐ必要になるので、この例では、データ本体62の前に付
けられている。

上記バンクタグ61は比較の対象にはならない。もし、
バンクタグをデータの後にもって来れば、ソータは、デ
ータ本体とバンクタグを区別せずに比較できる利点があ
る。どちらが有利かは、システムの実現方式による。な
お、データ本体62は、第６図では“キー本体”となって
いるが、ここでは同じものである。しばらくは、データ
とキーを区別しない。これと、レコードポインタ63につ
いては、後に実施例の項で説明する。

一度にマージする部分列をマージウェイ数と呼ぶ。こ
の最大数は、上で示した如く、ソートウェイ数ｋと一致
する。

第４図の例では、ソート件数が16件なのでマージが１
回で済んだ。件数がこれより多いときは、マージをもっ
と繰り返す必要がある。第４図の例で考えると、一つの
部分列の大きさには制限はないが、一度にマージできる
部分列数は最大ｋ個に限られることがわかる。そこで、
大量のデータをマージするためには、ｋ個毎のマージを
繰り返して、だんだん大きな部分列を作って行くことに
なる。例えば、データが32個までなら、第４図に示す45
のような部分列を二つ作ってから、それらをマージすれ
ば良い。

この操作は、ｋがある程度大きければ、それ程段数の
かかるものではない。マージ１段ならk²件まで、マージ
２段ならk³件まで、もっと一般には、マージｉ段ではk
ⁱ⁺¹件までのソートができることになる。ｋ＝64、ｉ＝
４とすれば約100万件のソートが可能である。

ソート用のワーク領域には、ソータ記憶の連続領域が
必要であることに注意する必要がある。一方、最終マー
ジでは、結果を直接出力すれば良いことにも注意してお
く必要がある。第４図に示した例で、実際にはソート結
果をソータ記憶に格納する必要はなかったのである。

〔発明が解決しようとする課題〕

マージ結果の格納用領域を“ソータワーク”と呼ぶ。
上記従来技術では、マージ段数が増えるに従って、ソー
タワーク容量が急激に増えてしまう。このことを数値で
以下に示す。

ｋ＝64としたとき、１段マージでソートできる件数は
64²＝4096件である。マージ結果は直接出力することが
できるので、ソータ記憶も4096件分あれば良く、ワーク
領域は不要である。２段マージになると64³＝262144件
までソートできる。このときは、一旦4096個のデータか
ら成る部分列をソータ記憶に格納しなければならない。
第７図に示すように、マージ済みのデータ領域は、次の
マージの結果を格納するために使えるので、ワーク領域
としては、4096データ分あれば良い。同様にして、３段
マージになると64⁴＝16777216件のソートが可能で、こ
のときのワーク容量は、262144データ分である。一般
に、ｉ段マージではkⁱデータ分のワーク容量が必要であ
る。

ここで注意すべきことは、ｉ段マージの限界付近で
は、ワーク容量は、データのための容量の1/k位で済ん
でいるが、ｉ段マージになりたての件数をソートするた
めには、殆んどデータ数に匹敵するワーク容量が必要な
ことである。上述の例では、データ数が262144件のとき
はワーク容量が4096件分だったのが、データ数が262145
件になるとワーク容量として262144件分必要になってし
まうということである。

本発明は上記事情に鑑みてなされたもので、その目的
とするところは、ソート件数の増加によりこのように急
激にワーク容量が増加するのを抑止し、ワーク容量をい
つでも、ソート件数の1/k程度に抑えられるソータ記憶
管理方式を提供することにある。

〔課題を解決するための手段〕

上述の、従来技術の問題点は、ｉ段目のマージでいつ
でもマージウェイ一杯までの部分列をマージしようとし
て発生している。その個数を減らせば、出来上る部分列
も小さくなることは明らかである。ところが、一般に
は、マージの入力部分列数を減らすことは、マージ段数
を増やしてしまうので好ましいことではない。

そこで本発明者が注目したのは、最終マージにおいて
ｋ個までのマージ能力があるのに、従来は通常それより
も小さい個数の部分列しかマージしていないことであ
る。前述の例で言うと、データ件数が262145件のとき
は、最終マージで262144件から成る大きな部分列と、１
件しかない小さな部分列とをマージすることになる。そ
れまで64バンクずつマージしておきながら、最後にはデ
ータ件数により規定されるマージウェイ数を使わざるを
得ないのである。

このような不都合を避けるため、本発明においては、
マージウェイ数を最後から二番目のマージで調整し、最
終マージで丁度ｋウェイマージとなるようにする。

すなわち、本発明の前記目的は、最大ｋ個（k:1より
大きな整数）までの入力データを格納でき、その内から
最小または最大のデータを抽出可能なソート手段と、予
めソートされたｋ個以下のデータ列をマージして、新た
なデータ列を生成するマージ手段および前記入力データ
またはマージ中のデータ列を格納するためのソータ記憶
を有するソート装置において、最終マージの一段前のマ
ージにおける部分列数ｘを、 ｘ＝ｉ・ｋ＋ｒ １≦ｉ＜ｋ １≦ｒ≦ｋ と表わすとき、（ｉ＋１）個の部分列のマージをｒ回、
ｉ個の部分列のマージを（ｋ−ｒ）回行うことを特徴と
するソータ記憶管理方式によって達成される。

なお、上述の、最終マージの一つ前のマージを指す言
葉が以下の説明で何度も必要なので、これを“近終マー
ジ”と呼ぶことにする。

〔作用〕

マージを繰り返して、出来上る部分列の個数がk²個以
下になると、上述の近終マージを行う。厳密には、デー
タ件数がk²個以下の場合には、初めから近終マージであ
るが、このときは別扱いした方が実現が容易であるた
め、本発明では、データ件数をk²個以上と仮定する。

近終マージの入力部分列数ｘ（ｋ＜ｘ≦k²）を、 ｘ＝ｉ・ｋ＋r₁ …（１） １≦ｉ＜ｋ １≦r₁≦ｋ と表わすとき、近終マージでは、（ｉ＋１）個の部分列
のマージを、r₁回、ｉ個の部分列のマージを（ｋ−r₁）
回行う。これによる出来上る部分列の個数が丁度ｋ個に
なることは、容易にわかる。ここで、（ｋ−r₁）は０の
こともある。

前記式（１）を、入力データ数n_cの表現に直すと、 n_c＝ｉ・k^j＋ｒ …（２） １≦ｉ＜ｋ １≦ｒ≦k^j と表わすことができる。両式のｉは、同じ値である。こ
のとき、近終マージの入力部分列の大きさは、k^j-1であ
り、マージのためのワーク記憶容量は、（ｉ＋１）・k
^j-1となる。

なお、この方法は、マージウェイ数の順番を入替えた
だけなので、マージに必要な時間は、従来技術の場合と
変わらない。

〔実施例〕

以下、本発明の実施例を図面に基づいて詳細に説明す
る。

第１図は、本発明の一実施例を示すハードウェアソー
タのブロック構成図である。図において、100はソー
タ、101はキー抽出回路、102はソータ記憶、103はレコ
ード読出し回路、104はソート装置制御回路を示してい
る。

第１図に示した実施例においては、ソート条件を入力
データの一部のみで決定される場合を含むように拡張さ
れている。一般のデータベースのソートでは、このよう
な事態はしばしば発生するからである。データの中で、
ソート対象となる部分を“キー”と呼ぶ。これに対し
て、１データ全体を“レコード”と呼ぶ。実際のキー
は、第６図に示す如く、レコードから抽出したキー本体
62に、バンクタグ61,レコードポインタ63を付加した形
を持っている。

レコードの中のどの部分をキーとして用いるかは、一
まとまりのソートに先立ち、予め指示されている。レコ
ード長そのものは、レコード毎に異なり得るが、キー長
はキー抽出回路101により、一定の長さに揃えられる。
そのため、ソータ100はキー長の変動を意識する必要が
ない。もちろん異なるソートではキー長は異なり得る。

キー抽出回路101は、入力データからキーを抽出し、
第６図に示す形に整えてから、キーをソータ100に、レ
コードをソータ記憶102に送る。キーとレコードを対応
付けるため、レコードポインタ63には、レコードのソー
タ記憶102内アドレスが格納される。なお、ソータ100
は、第２図で説明したものを用いている。

以下、本実施例の動作を説明する。

入力データｋ個毎に、ソート済みの部分列がソータ10
0からソータ記憶102に転送され、格納される。キーとレ
コードは、第８図に示す如く、ソータ記憶102の異なる
側から格納されて行く。こうすることで、ソータワーク
のために必要なソータ記憶の連続領域を自然に確保でき
る。

レコード長が不定なので、ソート可能件数を予め計算
して求めておくことはできない。そこで、入力データｋ
個毎に、ソータワーク容量を計算して、これとキー格納
領域を加えたものをソータワーク上限変数shに入れてお
く。そして、入力データ毎に、レコード格納領域の下限
が上記shより小さくならないかを検査し、ソート記憶の
オーバーフローを検出する。

入力時の制御フローを第９図に示す。ここで、 W_R:レコード格納領域の下限アドレス k_l:キー長 R_l:レコード長 n_c:入力レコード数 n_m:ソータワーク容量が変化するときのレコード数 Δn_m:n_mの変化量 W_m:ソータワーク容量 ΔW_m:W_mの変化量 fbs:最初に作られる部分列の大きさ i:部分列をｋ個ずつマージしていった場合の最終部分列
の個数（＝式（２）のｉ） である。

第９図において、ステップ901は、初期設定である。
ステップ902から同906は、１データの入力処理であり、
前記キー抽出回路101で実行される。第９図のその他の
部分は、前記ソート装置制御回路104で制御される。

ステップ902で１データ入力し、ステップ903でソータ
記憶のオーバーフローをチェックする。入力データがｋ
個揃ったことをステップ906でチェックし、そのとき、
ステップ908で、前記shを部分列の長さ分大きくする。

ソータワーク容量が変化するときのn_cをn_mに格納して
おく。これは、k,2k,…（ｋ−１）k,k²,2k²,3k²,…（ｋ
−１）k²,k³,2k³…というように変化する。一般的に言
えば、前出の式（２）でｉが変化する度に変化する。

そこで、 n_m＝ｉ・k^j Δn_m＝k^j となるよう、ステップ910で演算しておく。W_m,ΔW_mは、
このn_m,Δn_mに対応するソータ記憶の容量である。な
お、 W_m＝（n_m/k）・k_l の関係式が恒等的に成立つが、ここでは、演算の面倒な
k_l倍を避けるために、n_mとは別変数でW_mを用意した。

入力データ件数が丁度k^jのとき、Δn_m,ΔW_mの大きさ
が変化する。これをステップ911で検出し、ステップ912
で更新している。

入力処理は、別系統でそれと指示される最終入力デー
タが来た場合か、ソータ記憶102がオーバーフローした
ときに終了する。

入力処理が終了すると、マージ処理に移る。

近終マージを除き、部分列をｋ個ずつまとめてマージ
して行く。マージ後の部分列は、ソータ記憶102のsh番
地以下の連続領域に格納されて行く。先に、第７図に示
した如く、この空き領域はマージに従って移動する。初
段のマージでは、空き領域は、ソータ記憶102の上の番
地から下の番地へと移動して行く。初段マージが終了し
た時点では、空き領域はソータ記憶102の先頭にある。
二段目のマージでは、マージ結果を０番地から格納して
行くので、空き領域はソータ記憶102の下の番地から上
の番地に移動して行くことになる。以下、マージ段数毎
に空き領域の移動方向が切替わる。

部分列数がk²個以下になった直後のマージステージが
近終マージである。第10図に、ｋ＝４とし、近終マージ
が奇数段であった場合のソータ記憶102の配置を示す。
ここでは、部分列数が10個の例を示す。近終マージがｊ
段目とすると、最終バンクを除き、各バンクにはk^j個の
キーが格納されている。最終バンクのキー数は１個から
k^j個の間である。

マージにより、ソータ記憶102の配置がどのように変
化して行くかは、第10図（ａ）に示す一次元表現より、
同（ｂ）に示す二次元表現の方が理解し易く、便利であ
る。そこで、第11図では、この表現を用いて、近終マー
ジがどのように進むかを示した。三次元表現では、縦方
向にバンク数ｋをとる。各バンクの右下の黒印は、部分
列の終りを示している。

部分列数の“10"は、 10＝２・ｋ＋２ と表わせるので、前記式（１）を用いると、３部分列の
マージを２回、２部分列のマージを（ｋ−２）＝２回行
うことがわかる。この状況は、第11図の（ａ）〜（ｄ）
に示されている。出来上った部分列には、（ｋ−１）＝
３から降順にバンクタグを付けて行く。近終マージ終了
時の状態は、第11図（ｅ）に示されている。

近終マージが偶数段目のマージの場合も、マージの移
動方向が変わるだけで、同様に考えることができる。

最終マージでは、ソータ100の出力はソータ記憶102に
格納する代りにレコード読出し回路103に送られる。レ
コード読出し回路103は、送られて来たキーのレコード
ポインタ63を用いてソータ記憶102をアクセスし、レコ
ードを読出す。読出されたレコードが、レコード読出し
回路103を経由して出力データとして送出される。

第12図に、ｋ＝4,i＝３〜５としたときの、従来方式
による場合と、本発明の方式による場合の、ワーク必要
量の比較図を示す。図中の実線は本発明の方式による場
合を、また、破線は前述の従来方式による場合を示す。

〔発明の効果〕

以上詳細に述べた如く、本発明によれば、最大ｋ個
（k:1より大きな整数）までの入力データを格納でき、
その内から最小または最大のデータを抽出可能なソート
手段と、予めソートされたｋ個以下のデータ列をマージ
して、新たなデータ列を生成するマージ手段および前記
入力データまたはマージ中のデータ列を格納するための
ソータ記憶を有するソート装置において、最終マージの
一段前のマージにおける部分列数ｘを、 ｘ＝ｉ・ｋ＋ｒ １≦ｉ＜ｋ １≦ｒ≦ｋ と表わすとき、（ｉ＋１）個の部分列のマージをｒ回、
ｉ個の部分列のマージを（ｋ−ｒ）回行うようにしたの
で、ソート件数の増加によりワーク容量が急激に増加す
るのを抑止し、ワーク容量をいつでも、ソート件数の1/
k程度に抑えられるソータ記憶管理方式を実現できると
いう顕著な効果を奏するものである。

【図面の簡単な説明】

第１図は本発明の一実施例を示すソータのブロック構成
図、第２図はソータの原理を示す図、第３図はソータの
動作を示す図、第４図はマージ動作を示す図、第５図は
ソータの状態の簡易表現における曖昧さを説明する図、
第６図はバンクタグを付けたデータの形式を示す図、第
７図はソータワーク領域の重ね書きを示す図、第８図は
ソータ記憶内のレコードとキーの格納領域を示す図、第
９図は入力時の処理を示すフローチャート、第10図はソ
ータ記憶の一次元表現と二次元表現の対応図、第11図は
近終マージでのキーデータの移動例を示す図、第12図は
本発明の効果を具体的に示すワーク容量の比較グラフで
ある。 100:ソータ、101:キー抽出回路、102:ソータ記憶、103:
レコード読出し回路、104:ソート装置制御回路、1,2,…
i:ソータの１ステージ、11A,11B:キーバッファ、12:比
較器、41〜44:入力データ列、45:マージ後の部分列、46
A〜46D:マージ各段の部分列、61:バンクタグ、62:キー
本体、63:レコードポインタ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 清水 尚彦 神奈川県秦野市堀山下１番地 株式会社 日立製作所神奈川工場内 (72)発明者 武田 英昭 東京都千代田区内幸町１丁目１番６号 日本電信電話株式会社内 (72)発明者 佐藤 哲司 東京都千代田区内幸町１丁目１番６号 日本電信電話株式会社内 (72)発明者 速水 治夫 東京都千代田区内幸町１丁目１番６号 日本電信電話株式会社内

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】最大ｋ個（k:1より大きな整数）までの入
   力データを格納でき、その内から最小または最大のデー
   タを抽出可能なソート手段と、予めソートされたｋ個以
   下のデータ列をマージして、新たなデータ列を生成する
   マージ手段および前記入力データまたはマージ中のデー
   タ列を格納するためのソータ記憶を有するソート装置に
   おいて、最終マージの一段前のマージにおける部分列数
   ｘを、 ｘ＝ｉ・ｋ＋ｒ １≦ｉ＜ｋ １≦ｒ≦ｋ と表わすとき、（ｉ＋１）個の部分列のマージをｒ回、
   ｉ個の部分列のマージを（ｋ−ｒ）回行うことを特徴と
   するソータ記憶管理方式。