JPH10161991A - データ処理装置及びデータ処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 集計処理の際のキーの一致不一致を高速に検
出し、複数のキーによる階層集計を高速に行い、更にこ
れらデータ処理装置を複数台用いて大量データに対して
も高速なソート処理集計処理を実現する。 【解決手段】 ソートキーの全ての組合せについて集計
対象データの個数分の集計値フィールドを生成し集計レ
ベルを表すレベルキーを付加する集計値レコード生成装
置、入力データを含むそれらの全データを上記ソートキ
ーによりソートするソート処理装置、ソートされたデー
タの集計対象データを上記組合せごとに累積レジスタに
それぞれ集計し上記レベルキーの表す集計レベルに対応
する累積レジスタの内容を出力する集計処理装置を備え
たものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、大量データに対
するソート処理、即ちデータの並べ替え処理、更にはそ
のソート結果を集計する、等を計算機システムにより行
うデータ処理、データベース処理に関するものである。

【０００２】

【従来の技術】一般に、ソート処理は、ソート処理単独
で用いられることは少なく、集計処理と合せて使用され
ることが多い。ここで、ソート処理と集計処理を組み合
わせることの重要性について説明する。例えば企業にお
ける売り上げデータは以下の表１のようになる。

【０００３】

【表１】

【０００４】これらのデータに対しては、例えば製品毎
の集計、店毎の売上げ集計、月毎の売上げ集計等が行わ
れ、企業活動の分析、売れ筋分析、在庫管理や仕込み予
測等に利用される。ここで上記データは発生順、即ち日
時順に並んでいるため、これら集計のためには、各集計
処理別にソートを行い、その結果を用いて集計すること
が必要となる。例えば、店別の売上げ集計を行うには、
まず店名フィールドでソートを行う。ここで、このよう
にソートに用いるフィールドをソートキーと呼ぶ。表１
を店名フィールドでソートを行った結果を以下の表２に
示す。

【０００５】

【表２】

【０００６】このソート結果に対して、店名フィールド
が同じもの毎に価格の集計を行う。このために、ソート
結果のデータを上から下に順に検索し、異なるソートキ
ー値、即ち異なる店名フィールド値が検出されるまで価
格フィールドを加算してゆく処理が行われる。その結
果、以下の表３が得られる。

【０００７】

【表３】

【０００８】更に、これら集計に用いるソートキーが複
数の場合がある。例えば、店毎に各製品別に売上げの集
計を行う場合等がある。この場合、店名キーを先頭に、
次に製品名をキーとしたソートによりデータをソートす
る。すると表１の原データは以下の表４のようになる。

【０００９】

【表４】

【００１０】このソート結果に対し、各店での製品別集
計、及び各店での総合計が計算される。この場合には、
（東京、ラジオ）、（東京、テレビ）、（大阪、ラジ
オ）、（大阪、テレビ）の各組み合わせと、これに加え
て各店別の小計として東京及び大阪での売上げ合計、及
び総合計値としての総合計が求められる。従って、処理
としては、ソート結果に対して、データを上から下に検
索し、店名フィールド及び製品名フィールドを組み合わ
せた値によりデータを順に検索し、異なる値を検出され
るまで価格フィールドを加算してゆく。更に、店名フィ
ールドが異なる場合には、店名毎の合計値を出力する必
要がある。その結果、以下の表５が得られる。

【００１１】

【表５】

【００１２】これら複数キーによる集計は以下「階層的
な集計」と呼ぶ。このように、大量に集積されたデータ
に対しては、データの各フィールドによるソート及び集
計処理の組み合わせが必須となる。

【００１３】図１３は例えば「情報処理」Vol．33， N
o．12， p1416−1423に示された従来のデータ処理装置
を示すものである。１はデータ処理装置、２はソート処
理装置、３は集計処理装置、６は制御装置、７は併合処
理装置、８はホスト計算機である。

【００１４】次に動作について説明する。ホスト計算機
８においてデータ処理の要求が発生すると、ホスト計算
機は処理対象となるデータを連続的にデータ処理装置１
に送る。ソート処理装置２は、内部に持つ記憶装置の容
量に依存して、ソート可能なデータ量が定められる。ホ
スト計算機１から送られてくるデータが、このソート容
量以下であるか、ソート容量を超えているかで、データ
処理装置１によるデータ処理には以下の二つの場合があ
る。

【００１５】（場合１）ソート処理装置２のソート容量
以下のデータがホスト計算機から送られた場合 図１４（ａ）に示す通り、データ処理装置１はデータが
入力されると、ソート処理装置２によるソート処理を行
い、更に、そのソート結果に対して集計処理装置３によ
り集計処理を行い、その結果をホスト計算機８に送り返
す。

【００１６】（場合２）ソート処理装置２のソート容量
を超えるデータがホスト計算機から送られた場合、以下
の２つのフェーズにより処理される。

【００１７】（フェーズ１）図１４（ｂ）に示す通り、
データ処理装置１は、ソート処理装置２のソート容量分
の範囲でソートされたデータをソート処理装置２により
生成し、この結果をホスト計算機に一旦返す。この際、
集計処理装置は動作しない。

【００１８】（フェーズ２）図１４（ｃ）に示す通り、
これら部分的にソートされたデータがホスト計算機８か
らデータ処理装置１に再度送られ、今度は併合処理装置
７によりこれらデータが併合され、その結果が集計処理
装置３に送られ、集計処理が施され、結果がホスト計算
機８に返される。

【００１９】以上、いづれの場合においても、これら一
連の制御は制御装置６により行われる。ここで、ソート
処理装置２を構成している複数のソートプロセッサは図
１５に示すように、ソートプロセッサＰ１は入力データ
を二つづつ取りだし、これを並び替えて次段に送る。次
段のソートプロセッサＰ２は二つづつにソートされた入
力データを二組づつ取りだし、併合して４つづつのソー
トされたデータとして次段のＰ３へ送り出す。以下同様
に繰り返す。

【００２０】各段のソートプロセッサは、前段のソート
プロセッサがすべての処理を終えない内に処理を開始す
ることが可能であり、これにより、データを連続的に入
力すると若干の遅れ時間を経てデータ入力と並列にソー
ト結果が出力されることがわかる。

【００２１】次に併合処理装置７について説明する。一
般に併合処理装置はマイクロプロセッサ等の汎用処理装
置とそのプログラムにより構成される。この場合の処理
フローは図１６のようになる。ここでは降順ソートを前
提とし、また、Ｍ本のソート済みのデータ列を１本のソ
ート済みのデータ列に併合することを仮定する。

【００２２】図１６において、ステップS101では、併合
するソート済みのデータ列の数Ｍを変数ｍに格納する。
次にステップS102でｍ本のソート済みのデータ列の先頭
データを読み出す。例えば、Ｍ＝２でデータ列が以下の
表２５であれば、

【００２３】

【表６】

【００２４】データ列１から６、データ列２から８が読
み出される。

【００２５】次に、ステップS103で読み出したデータ群
から最大のものを見つける。この例では８となる。ステ
ップS104でｄに８をセットし、８が属していたデータ列
は２であるからｉに２をセットする。ステップS105でｄ
の値を出力する。ステップS106でｉに格納されている番
号のデータ列から次のデータを読み出す。この場合、ｉ
＝２であり、データ列２の次のデータは７であるからデ
ータ７が読み出される。ステップS107では、このような
処理を続けていった場合に、データ列からデータがなく
なっていないかどうかを判定する。まだデータがあれば
ステップS103に戻って処理を続ける。もう当該データ列
にデータがなくなった場合には、ステップS108で処理対
象のデータ列の数ｍを１減らし、ステップS103に戻って
処理を続ける。この際、ステップS109でｍが０になると
処理が終了する。

【００２６】次に集計処理装置３について説明する。一
般に集計処理装置はマイクロプロセッサ等の汎用処理装
置とそのプログラムにより構成される。この場合の処理
フローは図１７のようになる。

【００２７】図１７において、先ず、ステップS121で、
変数ＰＫに無効なキー値を格納し、変数ＡＣを０に初期
化する。ＰＫは、処理対象のデータよりも一つ前に処理
したデータのソートキー値を保持する。また、ＡＣは集
計対象フィールドのその時点までの集計値を保持する。
次に、ステップS122で次のデータを読み込み、そのキー
値を変数Ｋに、その集計対象値をＶに保持する。既にソ
ート結果を読み尽くしていた場合には、ステップS123で
処理が終了する。そうでない場合には、ステップS124で
前のデータのキー値との比較を行う。

【００２８】キーが一致していなければＡＣに保持され
ている集計値を出力し（ステップS125），ＶをＡＣにセ
ットする（ステップS126）。集計値出力の際には、現在
読み込んだデータにその集計値を出力する。キー値が一
致している場合には、当該データは出力される必要はな
いため、ステップS127でデータが削除される。次にステ
ップS128でＡＣにＶを加える。いづれの場合にも、ステ
ップS129において、ＰＫをＫに更新し、ステップS122に
戻る。

【００２９】これにより、キー値が一致しているデータ
が入力される限りＡＣに集計対象値が加算され、キー値
が異なるデータが検出された時点でその集計値が出力さ
れることとなる。尚、S121においてＰＫに初期化された
値は、どのキー値とも一致する値が設定されていると仮
定している。

【００３０】ソートキーが複数ある場合には、これらキ
ーを合わせて一つのキーと見做し、上記のフローにより
処理を行っていた。また、集計対象フィールドが複数Ｓ
個存在する場合、例えば価格の合計に加えて、数量の合
計も計算する場合、上記ＡＣをＳ個用意し、ステップS1
25、S126、S128をＳ回繰り返すことにより処理を行って
いた。

【００３１】

【発明が解決しようとする課題】従来のデータ処理装置
は、以上のように構成されていたので、以下のような問
題点があった。

【００３２】既に述べた集計処理装置において、前のデ
ータのキー値と現在のデータのキー値との比較処理は、
キーの長さがソート毎に異なることに一般的に対処する
ため、１バイトづつの比較処理を行って実現される。こ
のため、処理性能が低下する問題があった。

【００３３】上記集計処理において、キーが複数存在す
る場合には、これらをまとめて一つのキーとして扱うこ
ととなっていた。このため、階層的集計が困難である。
例えば既に述べた以下の表６を店名と製品名についてソ
ートし集計すると次の表７の様になる。

【００３４】

【表７】

【００３５】

【表８】

【００３６】上記表７において、＊印のついた集計値は
別の手段により別途計算する必要があった。このため、
システムが複雑化し、性能が低下する問題があった。

【００３７】従来の階層的集計においては、異なるキー
毎に集計値を出力するためのデータ数を予め把握するこ
とが困難であった。例えば以下に示す表８のデータが入
力された場合、それらの集計値は次の表９の様になり、
入力されたデータの数よりも集計後のデータの数が多い
結果となる。

【００３８】

【表９】

【００３９】

【表１０】

【００４０】この場合、例えば東京でのラジオ、テレビ
を出力する場所は、各々原データを用いることができる
が、東京での総合計を出力するための場所は原データに
存在しない。このため、従来の手段ではこれら複数キー
による集計処理の実現が困難であった。また、実際にあ
りうる値であるが、例えばたまたま当日の売上げがなか
ったため、売上げデータにない場合の集計が困難な問題
がある。例えば、テレビの売上げが３月１５日になかっ
た場合、上記の処理ではテレビの集計値が出力されな
い。出力上は、テレビの売上げが０である集計値が必要
である。

【００４１】上記集計処理においては、集計対象フィー
ルドが複数存在する場合、集計処理を数回繰り返す必要
があり、処理速度が低下する問題があった。

【００４２】上記集計処理においては、データ処理装置
中のソート処理装置の容量を超えるデータが入力された
場合、集計処理、階層的集計処理を行うことが困難であ
った。また、この場合、集計処理、階層的集計処理の対
象データが一旦ホスト計算機に返されるため、性能が低
下する問題があった。

【００４３】また、例えば、東京、大阪はそのまま集計
するが、東京近県は一括して「その他」として集計す
る、といった、集計のレベルの変更が困難であった。

【００４４】本発明は、以上のような問題点を解消する
ためになされたもので、集計処理の際のキーの一致不一
致を高速に検出し、複数のキーによる階層集計を高速に
行い、更にこれらデータ処理装置を複数台用いて大量デ
ータに対しても高速なソート処理集計処理を実現するこ
とを目的とする。

【００４５】

【課題を解決するための手段】この発明に係るデータ処
理装置は、Ｋ個のソートキーを含む入力データに集計レ
ベルを表すレベルキーを付加し上記ソートキーの全ての
組合せについて更に集計レベルごとに上記入力データと
同一形式のデータを生成しそのデータに上記レベルキー
を付加する集計値レコード生成装置、それらの全データ
を上記ソートキーによりソートするソート処理装置、ソ
ートされたデータの集計対象データを個々の集計対象デ
ータ別にＫ＋１個の累積レジスタにそれぞれの累積レジ
スタごとに集計し上記レベルキーの表す集計レベルに対
応する上記累積レジスタの内容を出力する集計処理装置
を備えたものである。

【００４６】また、上記入力データのソートキーを予め
指定した別のソートキーと置き換えその入力データを上
記集計値レコード生成装置に入力するキー変換装置を備
えたものである。

【００４７】さらに、上記データ処理装置にて処理可能
な容量を超えるデータが入力されたときその入力データ
の処理可能な容量分のデータをソート処理後集計処理を
行わず記憶装置に格納する分割処理を繰り返し行い上記
入力データの上記分割処理を全て終了後それらの容量分
のデータを併合する併合処理装置を備えたものである。

【００４８】また、上記データ処理装置にて処理可能な
容量を超えるデータが入力されたときその入力データの
処理可能な容量分のデータをソート処理後部分集計処理
を実施後記憶装置に格納する分割処理を繰り返し行い上
記入力データの上記分割処理を全て終了後それらの容量
分のデータを併合する併合処理装置を備えたものであ
る。

【００４９】この発明に係るデータ処理方法は、ソート
キーを含む入力データに集計レベルを表すレベルキーを
付加し上記ソートキーの全ての組合せについて上記入力
データと同一形式のデータを生成しそのデータに上記レ
ベルキーを付加するステップ、上記ソートキーの内最下
位のソートキーから最上位のソートキーまで最下位から
順に最大数又は最小数と等価な識別子により置き換えて
行き置き換える度に上記レベルキーを付加した入力デー
タと同一形式のデータを生成するステップ、それらの全
データを上記ソートキーによりソートするステップから
なるものである。

【００５０】また、Ｋ個のソートキーを含む入力データ
に集計レベルを表すＫ＋１ビットのレベルキーを付加し
上記ソートキーの全ての組合せについて上記入力データ
と同一形式のデータを生成しそのデータに上記レベルキ
ーを付加するステップ、上記入力データに対しては上記
レベルキーの全ビットを０とし上記ソートキーの全ての
組合せについて上記入力データと同一形式のデータを生
成したデータに対しては上記レベルキーの最下位のビッ
トのみを１として他のビットは０とし最大数又は最小数
と等価な識別子により置き換えて行き置き換える度に上
記入力データと同一形式のデータを生成したデータに対
しては置き換えられた上記識別子の内最も上位に位置す
る識別子の位置を最上位から数えた順番に相当する上記
レベルキーのビット位置のビットのみを１とし他のビッ
トは０とするステップ、それらの全データを上記ソート
キーによりソートするステップ、上記レベルキーのいず
れかのビットが１のデータに対しては対応するソートキ
ーのレベルにおける集計値を出力するステップからなる
ものである。

【００５１】さらに、Ｋ個のソートキーを含む入力デー
タに集計レベルを表すレベルキーを付加し上記ソートキ
ーの全ての組合せについて更に集計レベルごとに上記入
力データと同一形式のデータを生成しそのデータに上記
レベルキーを付加する集計値レコード生成装置、それら
の全データを上記ソートキーによりソートするソート処
理装置、ソートされたデータの集計対象データを個々の
集計対象データ別にＫ＋１個の累積レジスタにそれぞれ
の累積レジスタごとに集計し上記レベルキーの表す集計
レベルに対応する上記累積レジスタの内容を出力する集
計処理装置を備えたことを特徴とするデータ処理装置を
使用するデータ処理方法において、Ｍ台の上記データ処
理装置に１台の処理可能な容量分のデータがＮ個のとき
（Ｎ−１）×Ｍ＋１個の処理データの内Ｎ−１個づつを
Ｍ台の上記データ処理装置に同時に入力し、この入力が
完了した後残りの１個のデータを１番目のデータ処理装
置に入力しこのソート結果を２番目のデータ処理装置に
入力し同様の処理を繰り返すことによりＭ番目のデータ
処理装置の処理結果を得るものである。

【００５２】

【発明の実施の形態】

実施の形態１．本発明の実施の形態１について図に基づ
いて説明する。実施の形態１は、データ処理装置が１台
の場合である。図１にこの発明の実施の形態１であるデ
ータ処理装置の構成を示す。１はデータ処理装置、２は
ソート処理を行うソート処理装置、３はソート処理後の
データを集計する集計処理装置、４は集計用のレコード
を生成する集計値レコード生成装置、５は必要によりキ
ーの値を置き換えるキー変換装置、６はデータ処理装置
１の全体を制御する制御装置、７はソート処理後のデー
タを併合する併合処理装置、８はソート処理装置１にデ
ータを入力したり出力データをまとめるホスト計算機で
ある。

【００５３】次に動作について説明する。ホスト計算機
８においてデータ処理の要求が発生すると、ホスト計算
機８は、キー変換情報、階層キー情報をデータ処理装置
１に送る。このうち、キー変換情報はキー変換装置５
に、また、階層キー情報は集計値レコード生成装置４に
各々設定される。これら設定が終了すると、ホスト計算
機８は、処理対象となるデータを連続的にデータ処理装
置１に送る。データ処理装置１は、データ群が送られて
くると、まず送られてくる個々のデータをキー変換装置
５に送り込む。

【００５４】キー変換装置５は、送られてくるデータの
キーの内、置き換えが必要なキーの値を変換してその結
果を集計値レコード生成装置４に送り込む。キー変換装
置の内部の様子を図４に示す。51はキー変換テーブル、
52はレコードバッファ、53は制御装置である。キー変換
装置５は、まず送られてくる個々のデータを順にレコー
ドバッファ52に入れる。レコードバッファ52に入れたデ
ータに対し、ソートキーの部分を取り出し、これをキー
変換テーブル51上で検索して、対応する新しいキーを探
し、レコードバッファ52上のキーをこの値で置き換え
る。図６においては、例えば、レコードバッファ52上の
データのキー値が「千葉」であれば、その値は、「その
他」で置き換えられる。これにより、集計レベルの変更
が可能となる。キーの置き換えが行われたデータはレコ
ードバッファ52から取り出され、集計値レコード生成装
置４に送り出される。送られてくるデータに対してこの
操作が繰り返し行われる。以上の処理は制御装置53によ
り制御される。

【００５５】集計値レコード生成装置４の構成例を図５
に示す。41はキーテーブル、42はレコードバッファ、43
は制御装置である。キーテーブル41は、集計に使用する
各ソートキー（複数）に対して、各々のとりうる値すべ
てを保持する。図５では、３つの集計用のソートキー
（地域名、コード、製品名）の取りうる値（各々Ｖ１
個、Ｖ２個、Ｖ３個）が設定されている。

【００５６】集計値レコード生成装置４は、キーー変換
装置５から送られてくるデータに対してこれらデータに
対しては、データをレコードバッファ42に取り込み、こ
れにキーの数Ｋに対し、集計レベルを表すレベルキーと
してのＫ＋１ビットのソートキー一致フィールドをキー
の直後に付加し、このフィールドを０として次のソート
処理装置２に送り出す。

【００５７】すべてのデータが送り出されると、キーテ
ーブル41にあるソートキーの値のすべての組合わせにつ
いて集計値格納用レコードを生成し、上記ソートキーの
内最下位のソートキーから最上位のソートキーまで最下
位から順に例えば最大数と等価な識別子であるＨｉｇｈ
Ｖａｌｕｅにより置き換えて行き置き換える度に集計値
格納用レコードをレコードバッファ42に順に生成し、そ
の集計対象フィールド値を０とする。ここで、Ｈｉｇｈ
Ｖａｌｕｅ値は、他のいかなるキー値よりも大きい（降
順ソートの場合には最小値）値を用いる。この値は、こ
のキーレベルにおける集計対象フィールドに関しての合
計値を求めようとすることを示す。

【００５８】図６にその処理フローをまとめて示す。先
ず、ソートキーの全ての組合せについて集計対象データ
の個数分の集計値フィールドを有する集計値格納用レコ
ードを生成する（ステップＳ１）。次に、集計値フィー
ルドの値を全て０とし（ステップＳ１）、ソートキーの
内最下位のソートキーから順にＨｉｇｈＶａｌｕｅで置
き換え、置き換える度に集計値格納用レコードを生成す
る（ステップＳ３）。ここで、全てのソートキーをＨｉ
ｇｈＶａｌｕｅで置き換えたか判定し（ステップＳ
４）、置き換えが完了していなければステップＳ３に戻
り、置き換えが完了した時点で全データをソートキーに
よりソートする（ステップＳ５）。

【００５９】例えば、キーテーブル41が次の表10であ
り、

【００６０】

【表１１】

【００６１】集計対象フィールドが２つであれば、次の
表11の組合わせが生成される。

【００６２】

【表１２】

【００６３】ここで、＊はＨｉｇｈＶａｌｕｅを示す。
ＨｉｇｈＶａｌｕｅを含む組合わせは、以下の表12に示
す数だけ存在する。

【００６４】

【表１３】

【００６５】次に、同様にＫ＋１ビットのソートキー一
致フィールドをキーの直後に付加する。ソートキー一致
フィールドの値は以下に述べるように設定され、その後
データはソート処理装置２に送り出される。

【００６６】ソートキーの全ての組み合わせにより生成
されたデータの場合は、ソートキー一致フィールドのＫ
＋１番目のビットを１とし、他は０とする。ＨｉｇｈＶ
ａｌｕｅとの組み合わせの場合は、一般に複数あるＨｉ
ｇｈＶａｌｕｅの内の最も左のＨｉｇｈＶａｌｕｅの存
在するフィールド番号に対応するソートキー一致フィー
ルドのビットを１とし、他は０とする。ここで、フィー
ルド番号は左から０、１、２、と順序付け、またソート
キー一致フィールドも同様に左から０、１、２、と順序
付けているものとする。

【００６７】包括的な使用例として、例えば次の表13に
示すデータがキー変換装置５から入力され、

【００６８】

【表１４】

【００６９】一方、キーテーブル41には上記と同様のソ
ートキーが格納されていた場合、集計値レコード生成装
置４からは以下の表14に示すデータが出力される。

【００７０】

【表１５】

【００７１】以上の結果がソート処理装置２に送られ、
ソートが実行される。図２は、ソート処理装置２の内部
構成を表した図で、記憶装置22を搭載したソートプロセ
ッサ21が線型に接続されたパイプライン・マージソータ
であることを示している。

【００７２】次に、ソート処理装置２についてその動作
の詳細を説明する。ソート処理装置２はホスト計算機８
から送られてくるデータの列を連続的に入力し、これを
指定された順序に並べ替えて、結果を再びホスト計算機
８に返す。ソート処理装置２は、ソートプロセッサ21及
びこれらソートプロセッサ群に各々付加される記憶装置
22を線形に接続して構成される。ソートプロセッサ21
は、各々先頭から第１段のソートプロセッサ、第２段の
ソートプロセッサ、第３段のソートプロセッサ等と呼ば
れる。第ｉ段のソートプロセッサは、２^i-1データ分の
容量の記憶装置22を各々有する。

【００７３】動作の例として、ソート処理装置２に次の
表21に示す順にデータが入力されると、

【００７４】

【表１６】

【００７５】まず先頭の第一段のソートプロセッサ21は
入力されたデータを二つづつ取り出し、これを並び替え
て次段のソートプロセッサ21に送り出す。次段のソート
プロセッサ21で二つづつにソートされた入力データは次
の表22のようになる。

【００７６】

【表１７】

【００７７】ここで、１、３と入力されたデータは順序
が入れ代わり、３１の順でソートされた２つのデータの
組みとなって出力されている。２段目のソートプロセッ
サは、この二つづつソートされたデータを入力し、これ
を二組づつ取り出し、併合して、４つづつソートされた
データ列を次段に送り出す。その結果は次の表23のよう
になる。

【００７８】

【表１８】

【００７９】ここで、例えば８２と３１を併合すると８
３２１となる。第３段目のソートプロセッサは、この４
つづつにソートされたデータを入力し、これを二組づつ
取り出し、併合して、８つづつソートされたデータ列を
次段に送り出す。この結果は、次の表24のようになる。

【００８０】

【表１９】

【００８１】第４段目のソートプロセッサ以降も同様な
処理を行う。ここで、図15に示すように、各段のソート
プロセッサ21は、前段のソートプロセッサ21がすべての
処理を終えない内に処理を開始することが可能であり、
これにより、データを連続的に入力すると若干の遅れ時
間を経てデータ入力と並列にソート結果が出力されるこ
とがわかる。

【００８２】図３に、ソートプロセッサ21の詳細を示
す。ソートプロセッサ21は、前段のソートプロセッサ21
から送られてくるデータをデータ線215を通じて受け取
り、これを自身に接続されている記憶装置22に一旦格納
する。格納に際しては、そのアドレス制御において書き
込み用のアドレスレジスタＭＡＲＷ212が用いられる。
このようにして格納されたデータは読み出し用のアドレ
スレジスタＭＡＲＬ213及びＭＡＲＲ214により読み出さ
れ、比較器211に入力される。そして比較結果はデータ
線216を通じて次段のソートプロセッサ21に送り出され
る。以上の動作は、内部にある制御装置217により制御
される。

【００８３】以上述べたソートプロセッサ21を有するソ
ート処理装置２により上記表14のデータはソートされて
以下の表15のようになる。

【００８４】

【表２０】

【００８５】なお、ソート処理装置２は、同一のソート
キーを有するデータ群に対するソート結果は、その入力
順であることを前提としている。このため、このように
入力データがすべてソート処理装置２に送られた後に集
計値格納用のレコードを送り出すことで、各キーの組み
合わせにおいて、常に集計値格納用のレコードがデータ
のレコードよりも後に、つまり同一キーを有するレコー
ド群の最終レコードとなることが保証される。もし、ソ
ート処理装置２がこのような性質を持たない場合は、ソ
ートキーをソートキー一致フィールドも含めることとし
てソートを行えばよい。これにより、必ず生成したデー
タが入力された原データよりも後となることが保証され
る。

【００８６】この例で明らかなように、同一キーを有す
るデータの切れ目には、ソートキー一致フィールドのい
づれかのビットが１となっており、また、このビット位
置により出力すべき集計結果の内容が指示されることが
わかる。

【００８７】次に、集計処理装置３について説明する。
図７は集計処理装置３の詳細を示す。31は累積レジスタ
群、32は加算器群、33はレコードバッファ、34は集計制
御器である。31の累積レジスタ群は、キーの数Ｋと集計
対象フィールドの数Ｓに対し、（Ｋ＋１）×Ｓ個あり、
また加算器も同数ある。加算器はAijにより示す。ここ
で、Aijは、i番めの集計処理対象フィールドに対する、
ソートキー一致フィールドのj番めのビットによる集計
値に対応する加算器である。

【００８８】次に、集計処理装置３の動作について説明
する。処理に先立って、累積レジスタ群31はすべて０に
初期化される。ソート処理装置２または併合処理装置７
から送られてくるソート済みのデータは一つづつレコー
ドバッファ33に格納される。格納されたデータに対し、
集計制御器34は、まずそのソートキー一致フィールドを
参照する。

【００８９】このソートキー一致フィールドの値がすべ
て０であれば、集計制御器34は全ての加算器32を動作さ
せる。加算器32は、対応する累積レジスタ値と、レコー
ドバッファ33上のデータの対応する集計対象フィールド
値を加え、この値を再び対応する累積レジスタに格納す
る。当該レコードは出力しない。

【００９０】このソートキーフィールドの第Ｂ（Ｂ＝
０,...,Ｋ）番めのビットが１であれば、このデータは
集計結果保持用のデータである。Ｓ個のAiB（ｉ＝０,
..., Ｓ−１）の累積レジスタ群の内容を、レコードバ
ッファ上の対応するフィールドに格納する。次に、これ
ら累積レジスタの値を０にクリアする。当該レコードを
出力する。尚、ソートキー一致フィールドは取り去られ
て出力される。

【００９１】ここで、以上述べた動作を処理フローとし
て図８のフローチャートに示してある。図８において、
先ず、Ｋ個のソートキーの全ての組合せについて集計値
格納用レコードを生成する（ステップＳ１１）。Ｋ＋１
ビットのソートキー一致フィールドをソートキーの全て
の組合せについてそのデータの直後に付加し（ステップ
Ｓ１２）、ソートキー一致フィールドの最下位のビット
のみを１として他のビットは０とする（ステップＳ１
３）。次に、ソートキーの内最下位のソートキーから順
にＨｉｇｈＶａｌｕｅで置き換え、集計値格納用レコー
ドを生成し、置き換えられたＨｉｇｈＶａｌｕｅの内最
も上位に位置するＨｉｇｈＶａｌｕｅの位置に相当する
ソートキー一致フィールドのビット位置のビットのみを
１とし他は０とする（ステップＳ１４）。ここで、全て
のソートキーをＨｉｇｈＶａｌｕｅで置き換えたか判定
し（ステップＳ１５）、置き換えが完了していないとき
はステップＳ１４に戻り、置き換えが完了した時点で全
データをソートキーによりソートする（ステップＳ１
６）。ソートキー一致フィールドのいずれかのビットが
１のデータは、対応するソートキーの集計レベルにおけ
る集計を行って（ステップＳ１７）処理を終了する。

【００９２】以上述べた集計処理を終了した処理結果の
入力データと出力データ及び累積レジスタ群のデータ格
納状況を図９に示す。

【００９３】次に、データ量がソート処理装置２の容量
を超える場合を考える。この場合には、データ処理装置
１は２つの段階を経て処理を実行する。

【００９４】まず、キー変換装置５→集計値レコード生
成装置４→ソート処理装置２→集計処理装置３の順でデ
ータが送られ、上述の処理がソート処理装置２の容量分
毎に行われる。例えば、送られてくるデータが１ＧＢ、
ソート処理装置の容量が１２８ＭＢであれば、上述の処
理が１２８ＭＢ毎に行われ、部分的に集計された８つの
結果が生成される。これら中間結果においては上記のキ
ーの変換、集計値格納レコード、ソートキー一致フィー
ルド等がそのまま出力される。これら結果はホスト計算
機８に一旦返され、ホスト計算機８の磁気ディスク（図
示せず）等に格納される。

【００９５】上記第１の段階で生成された中間結果は、
ホスト計算機８から再度データ処理装置１へ送られ、集
計値レコード生成装置４→併合処理装置７→集計処理装
置３の順でデータが送られる。中間結果は集計されてい
るが、これを改めて原データと見做し、集計値レコード
生成装置４で上述の処理が施された後、併合処理装置で
最終のソート処理がなされる。その後、その結果は集計
処理装置３により集計される。

【００９６】実施の形態２．この発明の実施の形態２に
よるデータ処理装置は、データ処理装置を複数台使用す
る場合である。データ処理装置１を複数台用いて、デー
タ処理装置１内部のソート処理装置２の容量を超えるデ
ータに対する処理の実施例について説明する。本実施例
では、ソート処理装置２の容量がソート可能なレコード
の数に換算してＮである場合、Ｍ台のデータ処理装置１
を用いて（Ｎ−１）×Ｍ＋１個までのデータを処理する
ことができる。通常、Ｎは数十万から数百万個あるた
め、この値は事実上ＭＮ個とみなすことができる。

【００９７】図10に実施例の動作を示す。図10では４台
のデータ処理装置１を用いて、一台のデータ処理装置１
のソート処理装置２の容量の４倍のデータを処理する様
子を示している。この処理は２つの段階を経て実行され
る。

【００９８】図10（ａ）において、処理が開始される
と、ホスト計算機８は、処理すべきデータを４分割し、
これら１／４づつのデータを並列に４台のデータ処理装
置に入力する。但し、ソート処理装置２のソート可能な
容量がデータ数にしてＮの場合、Ｎ−１個までのデータ
を入力する。これにより、（Ｎ−１）×Ｍ個のデータが
データ処理装置１に入力される。

【００９９】上記第１の段階の処理後、図10（ｂ）にお
いて、ホスト計算機８は、最後のデータを先頭のデータ
処理装置１に入力する。先頭のデータ処理装置１は、こ
れによりＮ個のデータが入力されたため、通常と同じ処
理を行ってソート結果、あるいは集計処理装置による集
計結果を出力する。これら結果は最終データ入力直後か
ら出力が順次開始される。１台のデータ処理装置１を用
いる場合にはこの結果はホスト計算機に返されて処理は
終了するが、複数台の場合には、この結果がそのまま次
のデータ処理装置１に入力される。

【０１００】次のデータ処理装置１は、Ｎ−１個までの
データが入力された状態であり、最終の１個のデータ待
ちの状態にある。これに対し、最終の１個のデータの代
わりに、前のデータ処理装置１からのソート結果あるい
は集計結果が入力されてくる。一般に、ソート処理装置
２は、最終データの代わりにソートされた複数のデータ
を入力してもソート処理が可能である。なぜならば、次
の表16に示す先の例、

【０１０１】

【表２１】

【０１０２】において、最後のデータ「４」の代わり
に、「８４２」なるソート済みのデータ列を入力した場
合で考えると次の表17のようになる。

【０１０３】

【表２２】

【０１０４】ソート処理装置２の最初のソートプロセッ
サ21は、８と２、１と３、５と７を各々併合し、次のソ
ートプロセッサ21に「８２」、「３１」、「７５」を出
力するところは同じである。「６」と「８４２」に関し
ては、以下のように動作する。まず、「６」と「８」が
記憶装置22に一旦格納され、これらが通常と同様に比較
器２１１に送られて比較される。その結果「８」が出力
される。通常は、「８」が出力されると「６」が出力さ
れてこのサイクルは終了するが、この場合、「８」に続
くデータ入力が引き続き「４２」と存在する。これは例
えば、４段目のソートプロセッサ21において、当初次の
表18に示すデータ列が入力されると、

【０１０５】

【表２３】

【０１０６】比較併合が開始されて、「９９９６」の
「９９９」の部分及び「９８４２」の「９」が比較によ
り出力され、次に「８」が出力された時点の状況と同様
である。ソートプロセッサ21はソート処理装置２におけ
る自身の位置とは無関係に動作する。従ってソートプロ
セッサ21はこの場合も同様に動作し、結局次の表19の出
力を行う。

【０１０７】

【表２４】

【０１０８】以下２段目、３段目のソートプロセッサも
同様に動作して、以下の表20の結果となりソートが可能
である。

【０１０９】

【表２５】

【０１１０】これらソートされた結果に対しては、集計
処理が可能である。以上により、２台目のデータ処理装
置１に、１台めのデータ処理装置１からの処理結果を入
力し、全体としてＮ＋Ｎ−１個のデータの処理が上述の
データ処理装置１の実施の形態１を変更することなく可
能であることを説明した。

【０１１１】以下同様に、２台目の処理結果のデータを
３台目に入力し、３台目の処理結果を４台目のデータ処
理装置１に入力することで、４台のデータ処理装置によ
る大規模なデータ処理が可能となる。この様子を図１１
に示す。

【０１１２】上記実施の形態２の動作を図１２の処理フ
ローに示す。図１２において、処理可能な容量分のデー
タがＮ個のデータ処理装置をＭ台接続する（ステップ２
１）。次に、Ｍ台のデータ処理装置にそれぞれＮ−１個
づつのデータを同時に入力し（ステップ２２）、残りの
データ１個を１番目のデータ処理装置に入力する（ステ
ップ２３）。このデータ処理装置の処理結果を次のデー
タ処理装置に入力する（ステップ２４）。次に、データ
処理装置はＭ台目となったかを判定し（ステップ２
５）、Ｍ台目に至っていないときはステップ２４に戻
り、Ｍ台目となったときはＭ台目の処理結果を出力する
（ステップ２６）。

【０１１３】

【発明の効果】この発明によるデータ処理装置及びデー
タ処理方法は、以上述べたように構成されているので以
下に述べる効果を奏する。

【０１１４】集計レベルを表すレベルキーを付加し、レ
ベルキーの表す集計レベルに対応する累積レジスタの内
容を出力することにより、大量データに対する階層的な
集計処理が高速に実行可能となる。

【０１１５】また、ソートキーを予め指定した別のソー
トキーと置き換えるように構成したので、集計レベルを
容易に変更することが可能となる。

【０１１６】さらに、処理可能な容量を超えるデータが
入力されたときそのデータを処理可能な容量分に分割
し、それらの容量分のデータを併合する併合処理装置を
備えたことにより、処理可能な容量を超えるデータに対
する階層的な集計処理が高速に実行可能となる。

【０１１７】また、処理可能な容量分のデータをソート
処理後部分集計処理を実施後併合するように構成したの
で、より高速に階層的な集計処理が実行可能となる。

【０１１８】さらにまた、データ処理装置を複数台用い
る構成としたことにより、さらに大量のデータを高速に
階層的な集計処理を行うことが可能となる。

【図面の簡単な説明】

【図１】 この発明の実施の形態１を示すデータ処理装
置の構成図である。

【図２】 この発明の実施の形態１を示すソート処理装
置の構成図である。

【図３】 この発明の実施の形態１を示すソートプロセ
ッサの構成図である。

【図４】 この発明の実施の形態１を示すキー変換装置
の構成図である。

【図５】 この発明の実施の形態１を示す集計値レコー
ド生成装置の構成図である。

【図６】 この発明の実施の形態１を示す集計値レコー
ド生成装置の動作を示すフローチャートである。

【図７】 この発明の実施の形態１を示す集計処理装置
の構成図である。

【図８】 この発明の実施の形態１を示す集計処理装置
の動作を示すフローチャートである。

【図９】 この発明の実施の形態１を示す集計結果の状
態図である。

【図１０】 この発明の実施の形態２を示すシステム構
成図である。

【図１１】 この発明の実施の形態２を示すデータ処理
のタイミングチャートである。

【図１２】 この発明の実施の形態２を示すシステム構
成の動作を示すフローチャートである。

【図１３】 従来例のデータ処理装置を示す構成図であ
る。

【図１４】 従来例のデータ処理装置の処理形態を示す
構成図である。

【図１５】 従来例のデータ処理装置の処理内容を示す
タイミングチャートである。

【図１６】 従来例のデータ処理装置の併合処理装置の
動作を示すフローチャートである。

【図１７】 従来例のデータ処理装置の集計処理装置の
動作を示すフローチャートである。

【符号の説明】

１ データ処理装置、２ ソート処理装置、３ 集計処
理装置、４ 集計値レコード生成装置、５ キー変換装
置、７ 併合処理装置、３１ 累積レジスタ。

Claims (7)

【特許請求の範囲】
1. 【請求項１】 Ｋ個のソートキーを含む入力データに集
   計レベルを表すレベルキーを付加し上記ソートキーの全
   ての組合せについて更に集計レベルごとに上記入力デー
   タと同一形式のデータを生成しそのデータに上記レベル
   キーを付加する集計値レコード生成装置、それらの全デ
   ータを上記ソートキーによりソートするソート処理装
   置、ソートされたデータの集計対象データを個々の集計
   対象データ別にＫ＋１個の累積レジスタにそれぞれの累
   積レジスタごとに集計し上記レベルキーの表す集計レベ
   ルに対応する上記累積レジスタの内容を出力する集計処
   理装置を備えたことを特徴とするデータ処理装置。
2. 【請求項２】 上記入力データのソートキーを予め指定
   した別のソートキーと置き換えその入力データを上記集
   計値レコード生成装置に入力するキー変換装置を備えた
   ことを特徴とする請求項１記載のデータ処理装置。
3. 【請求項３】 上記データ処理装置にて処理可能な容量
   を超えるデータが入力されたときその入力データの処理
   可能な容量分のデータをソート処理後集計処理を行わず
   記憶装置に格納する分割処理を繰り返し行い上記入力デ
   ータの上記分割処理を全て終了後それらの容量分のデー
   タを併合する併合処理装置を備えたことを特徴とする請
   求項１又は請求項２に記載のデータ処理装置。
4. 【請求項４】 上記データ処理装置にて処理可能な容量
   を超えるデータが入力されたときその入力データの処理
   可能な容量分のデータをソート処理後部分集計処理を実
   施後記憶装置に格納する分割処理を繰り返し行い上記入
   力データの上記分割処理を全て終了後それらの容量分の
   データを併合する併合処理装置を備えたことを特徴とす
   る請求項１又は請求項２に記載のデータ処理装置。
5. 【請求項５】 ソートキーを含む入力データに集計レベ
   ルを表すレベルキーを付加し上記ソートキーの全ての組
   合せについて上記入力データと同一形式のデータを生成
   しそのデータに上記レベルキーを付加するステップ、上
   記ソートキーの内最下位のソートキーから最上位のソー
   トキーまで最下位から順に最大数又は最小数と等価な識
   別子により置き換えて行き置き換える度に上記レベルキ
   ーを付加した入力データと同一形式のデータを生成する
   ステップ、それらの全データを上記ソートキーによりソ
   ートするステップからなるデータ処理方法。
6. 【請求項６】 Ｋ個のソートキーを含む入力データに集
   計レベルを表すＫ＋１ビットのレベルキーを付加し上記
   ソートキーの全ての組合せについて上記入力データと同
   一形式のデータを生成しそのデータに上記レベルキーを
   付加するステップ、上記入力データに対しては上記レベ
   ルキーの全ビットを０とし上記ソートキーの全ての組合
   せについて上記入力データと同一形式のデータを生成し
   たデータに対しては上記レベルキーの最下位のビットの
   みを１として他のビットは０とし最大数又は最小数と等
   価な識別子により置き換えて行き置き換える度に上記入
   力データと同一形式のデータを生成したデータに対して
   は置き換えられた上記識別子の内最も上位に位置する識
   別子の位置を最上位から数えた順番に相当する上記レベ
   ルキーのビット位置のビットのみを１とし他のビットは
   ０とするステップ、それらの全データを上記ソートキー
   によりソートするステップ、上記レベルキーのいずれか
   のビットが１のデータに対しては対応するソートキーの
   レベルにおける集計値を出力するステップからなるデー
   タ処理方法。
7. 【請求項７】 Ｋ個のソートキーを含む入力データに集
   計レベルを表すレベルキーを付加し上記ソートキーの全
   ての組合せについて更に集計レベルごとに上記入力デー
   タと同一形式のデータを生成しそのデータに上記レベル
   キーを付加する集計値レコード生成装置、それらの全デ
   ータを上記ソートキーによりソートするソート処理装
   置、ソートされたデータの集計対象データを個々の集計
   対象データ別にＫ＋１個の累積レジスタにそれぞれの累
   積レジスタごとに集計し上記レベルキーの表す集計レベ
   ルに対応する上記累積レジスタの内容を出力する集計処
   理装置を備えたことを特徴とするデータ処理装置を使用
   するデータ処理方法において、Ｍ台の上記データ処理装
   置に１台の処理可能な容量分のデータがＮ個のとき（Ｎ
   −１）×Ｍ＋１個の処理データの内Ｎ−１個づつをＭ台
   の上記データ処理装置に同時に入力し、この入力が完了
   した後残りの１個のデータを１番目のデータ処理装置に
   入力しこのソート結果を２番目のデータ処理装置に入力
   し同様の処理を繰り返すことによりＭ番目のデータ処理
   装置の処理結果を得ることを特徴とするデータ処理方
   法。