JPH05324429A - データ処理装置 - Google Patents

Abstract

(57)【要約】 【目的】演算処理装置の実際のハードウェア構成をホス
トＣＰＵに通知できるようにし、無駄な作業ファイルの
割り当てを防止する。 【構成】ホストＣＰＵ１１からのｉｎｆｏｒｍコマンド
を受信すると、エンジン制御プロセッサ（ＥＣＰ）１６
２は、作業ファイル１７１の必要性の判断に必要な演算
処理装置１６の実際のハードウェア構成を示すパラメタ
を獲得し、それをｉｎｆｏｒｍコマンドに対するステー
タスとしてホストＣＰＵ１１に通知する。このため、演
算処理装置１６の実際のハードウェア構成を考慮した状
態で作業ファイル１７１の必要性を判断できるので、演
算処理装置１６のハードウェア構成が追加・拡張された
場合においても、無駄な作業ファイルの割り当てを防止
でき、ホストＣＰＵ１１による磁気ディスク装置１７の
有効利用が可能となる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、ホスト装置からの要
求に応じて演算対象のファイルデータに対してソートま
たは関係代数演算等の演算処理を実行する演算処理装置
を備えたデータ処理装置に関する。

【０００２】

【従来の技術】一般に、コンピュータシステムにおいて
は、ソート処理や関係データベースの検索系処理等を高
速に実行するために専用のデータベース演算処理装置が
設けられている。このデータベース演算処理装置はハー
ドウェアソータと称される演算回路を備えており、この
演算回路を用いることによってホスト装置からの演算処
理要求に応じたソートや関係代数演算等を高速に実行す
る。

【０００３】このような演算処理装置においては、ハー
ドウェア構成としてのバッファメモリとハードウェアソ
ータを追加・拡張することにより、更に大容量のデータ
の演算処理、あるいは更に高速な演算処理を行うことが
可能となる。また、これとは逆に演算処理の対象となる
データ量の減少に合わせて前記ハードウェア構成の縮小
も可能である。

【０００４】ところが、このハードウェア構成の拡張・
縮小はホストＣＰＵに知らされることなく演算処理装置
のボードの挿入・取り外しという方法によってなされる
ため、ホストＣＰＵが演算処理装置内の最新のハードウ
ェア構成を知ることはできない。

【０００５】ここで、演算処理装置内のバッファメモリ
に格納しきれないような大容量のデータを対象とする演
算処理では、作業ファイルが必要となる。しかし、この
作業ファイルの必要性の有無を判断するためには、演算
対象のデータ量だけでなく、バッファメモリの大きさと
ハードウェアソータのソートセル段数を認識する必要が
ある。この点を考えれば、ホストＣＰＵが演算処理対象
のデータ量を知ることはできても、演算処理装置が実際
に作業ファイルを必要としているか否かを知ることはで
きないことは容易に分かる。

【０００６】かといって、ディスク上のファイルや空き
スペースはホストＣＰＵにより一元管理されているの
で、演算処理装置が直接作業ファイル領域を割り当てる
ことはできない。そのため、ホストＣＰＵにより割り付
けられることになるが、ホストＣＰＵは演算処理装置の
構成を知らないことにより、演算処理装置が最小構成で
あることを前提に作業ファイル領域の計算を行うことに
なる。よって、演算処理装置が最小構成でないときは、
作業ファイルを利用することなく演算処理装置内で実行
できる演算処理の場合であっても、ディスク上に作業フ
ァイルが確保されてしまい、その作業ファイルは実際に
は使用されないといった事態が生じる。

【０００７】一般に大容量データの一括処理を得意とす
るこのような演算処理装置のための作業ファイルは非常
に大きなものになるので、この演算処理の間においては
使用可能なディスク容量がかなり圧迫される。そのため
演算処理装置の処理中におけるホストＣＰＵのディスク
使用は大幅に制限されることになる。つまり、従来で
は、無駄な作業ファイルがディスクに割り当てられてし
まうことにより、ホストＣＰＵによるディスク使用効率
が低下されるという欠点があった。

【０００８】

【発明が解決しようとする課題】従来では、演算処理装
置の実際のハードウェア構成の内容に関係なく作業ファ
イルの必要性の有無が判別されてしまうため、使用され
ない無駄な作業ファイルが割り当てられてしまう欠点が
あった。

【０００９】この発明はこのような点に鑑みてなされた
もので、ホストＣＰＵからの通知要求に従って演算処理
装置の実際のハードウェア構成をホストＣＰＵに通知で
きるようにし、無駄な作業ファイルの割り当てを防止し
て２次記憶装置の有効利用を実現することができるデー
タ処理装置を提供することを目的とする。

【００１０】

【課題を解決するための手段および作用】この発明は、
ホスト装置と、演算対象のファイルデータが格納される
２次記憶装置と、前記２次記憶装置を直接アクセスする
ためのパスを有し、前記ホスト装置からの要求に応じて
前記演算対象のファイルデータに対して所定の演算処理
を実行する演算処理装置とを備えたデータ処理装置にお
いて、前記演算処理装置は、前記ホスト装置からの演算
要求に従って演算対象のファイルデータを前記パスを介
して前記２次記憶装置から入力する入力手段と、２ウェ
イマージソートをそれぞれ行なう複数のソートセルがカ
スケード接続されてなるパイプラインマージソータ回路
を有し、入力された演算対象のファイルデータに対して
ソートまたは関係代数演算を実行する演算処理手段と、
前記演算対象のファイルデータおよび前記演算処理手段
による演算結果データが格納される内部メモリと、前記
演算結果データを前記２次記憶装置に出力する出力手段
と、前記演算結果データを一時的に退避するための作業
ファイルを前記２次記憶装置に割り当てる必要の有無を
判別するために発行される前記ホスト装置からの通知要
求に従って、前記パイプラインマージソータ回路のソー
トセル段数および前記内部メモリの記憶容量を前記ホス
ト装置に通知する手段とを具備することを第１の特徴と
する。

【００１１】このデータ処理装置においては、作業ファ
イルの必要性の判断に必要な演算処理装置の実際のハー
ドウェア構成がホスト装置に通知できるので、演算処理
装置の実際のハードウェア構成を考慮した状態で作業フ
ァイルの必要性を判断できる。このため、演算処理装置
のハードウェア構成が追加・拡張された場合において
も、無駄な作業ファイルの割り当てを防止でき、２次記
憶装置の有効利用が可能となる。

【００１２】また、この発明は、データベース演算処理
装置に第１乃至第３のプロセッサから構成されるマルチ
プロセッサ構成を採用し、データベース演算処理装置と
２次記憶装置間のデータ入出力を第１のプロセッサに、
演算回路を用いた演算処理を第２のプロセッサに、そし
て、全体の制御を第３のプロセッサにそれぞれ機能分散
すると共に、第３のプロセッサによってソートセル段数
および内部メモリの記憶容量がホスト装置に通知される
ように構成されていることを第２の特徴とする。

【００１３】この構成においては、第３のプロセッサに
よってソートセル段数および内部メモリの記憶容量がホ
スト装置に通知されるので無駄な作業ファイルの割り当
てを防止できると共に、第１乃至第３のプロセッサによ
って効率よく負荷分散が図れ、しかも第１のプロセッサ
によるデータ入出力と、第２のプロセッサによる演算処
理との並行動作が可能となるので、データベース演算処
理装置の動作性能を十分に向上させることができる。

【００１４】

【実施例】以下、図面を参照してこの発明の実施例を説
明する。

【００１５】図１にはこの発明の一実施例に係わるデー
タ処理装置の全体のシステム構成が示されている。この
データ処理装置は、ホストコンピュータ１０と、データ
ベース演算処理装置（データベースエンジン；ＤＢＥ）
１６と、磁気ディスク装置１７とによって構成されてい
る。ホストコンピュータ１０は、ＣＰＵ１１、主記憶装
置１２、第１および第２のチャネル装置１４，１５によ
って構成されており、これらＣＰＵ１１、主記憶装置１
２、およびチャネル装置１４，１５はシステムバス１３
を介して相互接続されている。

【００１６】ホストコンピュータ１０とデータベース演
算処理装置１６はチャネル装置１４によって接続され、
またホストコンピュータ１０と磁気ディスク装置１７は
チャネル装置１５によって接続されている。さらに、デ
ータベース演算処理装置１６と磁気ディスク１７は専用
のアクセスパス１８を介して接続されている。

【００１７】ＣＰＵ１１は、ホストコンピュータ１０全
体の制御を司るものであり、データベース演算処理装置
１６に対してソート処理や関係代数演算等の各種演算処
理の実行を依頼する。主記憶装置１２には、データベー
ス演算処理装置１６に演算対象ファイルや演算内容を指
示するためのコマンドが格納される。

【００１８】データベース演算処理装置（ＤＢＥ）１６
は、ＣＰＵ１１からのコマンドに基づいて演算対象ファ
イルのデータに対して演算処理を実行するものであり、
演算対象ファイルの入力および演算結果の出力のため
に、パス１８を介して磁気ディスク装置１７を直接的に
アクセスする。

【００１９】このデータベース演算処理装置（ＤＢＥ）
１６は、エンジンインタフェースプロセッサ（ＥＩＰ）
１６１、エンジン制御プロセッサ（ＥＣＰ）１６２、大
容量メモリ（ＥＢＤＭ）１６３、ハードウェアソータ制
御プロセッサ（ＥＣＡＭ）１６４、並列ソーティングモ
ジュール（ＰＳＯＭ）１６５、および並列関係代数演算
モジュール（ＰＲＡＭ）１６６によって構成されてい
る。

【００２０】エンジンインタフェースプロセッサ（ＥＩ
Ｐ）１６１、エンジン制御プロセッサ（ＥＣＰ）１６
２、およびハードウェアソータ制御プロセッサ（ＥＣＡ
Ｍ）１６４の３台のプロセッサは内部バス１６７によっ
て相互接続されており、大容量メモリ（ＥＢＤＭ）１６
３を共有メモリとする密結合のマルチプロセッサを構成
している。大容量メモリ（ＥＢＤＭ）１６３は、３台の
各プロセッサの共通のアドレス空間上に配置されてい
る。また、これら３台のプロセッサ、つまりエンジンイ
ンタフェースプロセッサ（ＥＩＰ）１６１、エンジン制
御プロセッサ（ＥＣＰ）１６２、およびハードウェアソ
ータ制御プロセッサ（ＥＣＡＭ）１６４には機能分散が
なされている。この場合、それぞれの固有の役割を効率
よく実行するために、これら各プロセッサは、密結合な
がらそれぞれに適した独立のモニタによって動作制御さ
れるように構成されている。

【００２１】エンジンインタフェースプロセッサ（ＥＩ
Ｐ）１６１、エンジン制御プロセッサ（ＥＣＰ）１６
２、およびハードウェアソータ制御プロセッサ（ＥＣＡ
Ｍ）１６４の機能分散は、次のようになされている。

【００２２】すなわち、エンジンインタフェースプロセ
ッサ（ＥＩＰ）１６１は、ホストコンピュータ１０とデ
ータベース演算処理装置１６間の通信を行うと共に、磁
気ディスク装置１７のディスクコントローラにもパス１
８を介して接続されており、磁気ディスク装置１７との
間でのデータ入出力を制御する。また、エンジンインタ
フェースプロセッサ（ＥＩＰ）１６１は、磁気ディスク
装置１７にデータを出力する際、出力ファイルの再構成
処理も行う。

【００２３】ホストコンピュータ１０との通信において
は、エンジンインタフェースプロセッサ（ＥＩＰ）１６
１は、第１のチャネル装置１４を介してＣＰＵ１１から
送られてくるコマンドを受信し、それをエンジン制御プ
ロセッサ（ＥＣＰ）１６２に送信する。また、エンジン
インタフェースプロセッサ（ＥＩＰ）１６１は、エンジ
ン制御プロセッサ（ＥＣＰ）１６２から送られてくるコ
マンド結果としてステータスを受信し、それを第１のチ
ャネル装置１４を介してＣＰＵ１１に返信する。

【００２４】磁気ディスク装置１７との間のデータ入出
力においては、エンジンインタフェースプロセッサ（Ｅ
ＩＰ）１６１は、エンジン制御プロセッサ（ＥＣＰ）１
６２からの入出力要求を受け付け、大容量メモリ（ＥＢ
ＤＭ）１６３と磁気ディスク装置１７との間でデータ転
送を行う。その際、エンジン制御プロセッサ（ＥＣＰ）
１６２からの要求に従い出力ファイルデータの再構成処
理も行う。

【００２５】エンジン制御プロセッサ（ＥＣＰ）１６２
は、エンジンインタフェースプロセッサ（ＥＩＰ）１６
１、大容量メモリ（ＥＢＤＭ）１６３、およびハードウ
ェアソータ制御プロセッサ（ＥＣＡＭ）１６４を内部バ
ス１６７を介して制御するものであり、ＣＰＵ１１から
のコマンドが、ソートや関係代数演算などの演算処理コ
マンドであった場合には、それに対応する各種コマンド
処理プロセスを生成・実行する。またハードウェア構成
情報獲得コマンド（ｉｎｆｏｒｍコマンド）であった場
合には、構成情報を獲得するためのプロセスを生成・実
行し、大容量メモリ（ＥＢＤＭ）１６３内のデータ処理
専用に利用可能なバッファメモリの大きさとハードウェ
アソータのソートセル段数をホストＣＰＵに通知する。
このｉｎｆｏｒｍコマンドは、磁気ティスク装置１７上
に作業ファイル１７１を割り当てる必要があるかか否か
を判別するためにホストＣＰＵ１１から発行されるもの
であり、演算要求に先だってホストＣＰＵ１１からデー
タベース演算処理装置１６に供給される。

【００２６】大容量メモリ（ＥＢＤＭ）１６３は、磁気
ディスク装置１７から読み出された演算対象のファイル
データ、ＣＰＵ１１から送られてくる各種演算処理コマ
ンド及び構成情報獲得（ｉｎｆｏｒｍ）コマンド、ハー
ドウェアソータ制御プロセッサ（ＥＣＡＭ）１６４、並
列ソーティングモジュール（ＰＳＯＭ）１６５、および
並列関係代数演算モジュール（ＰＲＡＭ）１６６による
演算処理結果、さらには、エンジン制御プロセッサ（Ｅ
ＣＰ）１６２による演算結果の統合結果等を格納する共
有メモリである。演算対象のファイルデータは大容量メ
モリ（ＥＢＤＭ）１６３内の入力バッファ部に格納さ
れ、演算処理結果は大容量メモリ（ＥＢＤＭ）１６３内
の出力バッファ部に格納される。

【００２７】ハードウェアソータ制御プロセッサ（ＥＣ
ＡＭ）１６４は、エンジン制御プロセッサ（ＥＣＰ）１
６２からの指令に基づいて、並列ソーティングモジュー
ル（ＰＳＯＭ）１６５および並列関係代数演算モジュー
ル（ＰＲＡＭ）１６６による演算を制御する。

【００２８】この場合、ハードウェアソータ制御プロセ
ッサ（ＥＣＡＭ）１６４は、大容量メモリ（ＥＢＤＭ）
１６３上のデータを並列ソーティングモジュール（ＰＳ
ＯＭ）１６５に入力し、並列関係代数演算モジュール
（ＰＲＡＭ）１６６から出力された演算結果を大容量メ
モリ（ＥＢＤＭ）１６３上に格納するが、並列ソーティ
ングモジュール（ＰＳＯＭ）１６５へのデータ入力に際
しては、まず、キー切り出し処理を実行する。このキー
切り出し処理においては、ハードウェアソータ制御プロ
セッサ（ＥＣＡＭ）１６４は、演算対象の各レコードか
ら演算に必要な演算対象キーフィールドのみを切り出
し、それにレコード識別番号（大容量メモリ（ＥＢＤ
Ｍ）１６３上におけるレコードの先頭アドレス）を付加
して並列ソーティングモジュール（ＰＳＯＭ）１６５へ
送出する。

【００２９】並列ソーティングモジュール（ＰＳＯＭ）
１６５は、大容量メモリ（ＥＢＤＭ）１６３によって駆
動され、ソートを並列に実行する専用のハードウェア回
路であり、並列関係代数演算モジュール（ＰＲＡＭ）１
６６に接続されている。この並列ソーティングモジュー
ル（ＰＳＯＭ）１６５は、パイプラインマージソータと
称されるものであり、２−ウェイマージソートを行う複
数のソートセルをカスケード接続してなる。

【００３０】並列関係代数演算モジュール（ＰＲＡＭ）
１６６は、関係データベースにおけるＪＯＩＮ（結合）
やＲＥＳＴＲＩＣＴ（制約）といった関係代数演算を並
列に実行する専用のハードウェア回路であり、並列ソー
ティングモジュール（ＰＳＯＭ）１６５からソートされ
たデータを入力し、演算結果をハードウェアソータ制御
プロセッサ（ＥＣＡＭ）１６４に出力する。ソート処理
だけを実行する場合には、並列関係代数演算モジュール
（ＰＲＡＭ）１６６は、最終段のソートセルとして機能
する。

【００３１】このように、エンジンインタフェースプロ
セッサ（ＥＩＰ）１６１、エンジン制御プロセッサ（Ｅ
ＣＰ）１６２、およびハードウェアソータ制御プロセッ
サ（ＥＣＡＭ）１６４にはそれぞれ各種演算処理、例え
ばソート処理やセレクト処理を実行するための機能が分
散されている。この場合、これらプロセッサは、大容量
メモリ（ＥＢＤＭ）１６３上のバッファのやりとりを除
けば非同期に動作し、並行して各機能を実行する。すな
わち、ソートやセレクト等の処理は、通常、入力処理、
演算処理、および出力処理から構成されるが、ハードウ
ェアソータ制御プロセッサ（ＥＣＡＭ）１６４の制御に
よる演算処理は、エンジンインタフェースプロセッサ
（ＥＩＰ）１６１による演算対象データの入力処理と並
行して実行される。また、ハードウェアソータ制御プロ
セッサ（ＥＣＡＭ）１６４からの演算結果をエンジン制
御プロセッサ（ＥＣＰ）１６２によって統合処理する必
要がある場合には、その統合処理とエンジンインタフェ
ースプロセッサ（ＥＩＰ）１６１による出力処理も並行
して実行される。次に、図２および図３を参照して、作
業ファイル１７１の必要性を判断するための手法につい
て説明する。

【００３２】大容量メモリ（ＥＢＤＭ）１６３に格納す
べきデータ量は、演算対象のデータ全てを並列ソーティ
ングモジュール（ＰＳＯＭ）１６５で一度にソートでき
る場合と、２回以上のソートが必要な場合とで異なる。
一度にソートできる場合は、大容量メモリ（ＥＢＤＭ）
１６３に格納されるのは、図２に示されているように、
演算対象の入力レコード列と、レコード識別番号の並び
からなるソート演算結果である。一方、２回以上のソー
トが必要な場合については、ソート結果間のマージ処理
が必要になるので、大容量メモリ（ＥＢＤＭ）１６３に
格納されるのは、図３に示されているように、演算対象
の入力レコード列と、レコード識別番号にキーフィール
ドが付加された演算の中間結果列である。このため、演
算対象のデータ全てを並列ソーティングモジュール（Ｐ
ＳＯＭ）１６５で一度にソートできる場合に必要なメモ
リサイスＭ１は、 Ｍ１＝（レコード長＋ＲＩＤ長）×レコード数 となる。また、２回以上のソートが必要な場合に必要な
メモリサイスＭ２は、 Ｍ２＝（レコード長＋ＲＩＤ長＋キー長）×レコード数 となる。

【００３３】演算対象のデータ全てを並列ソーティング
モジュール（ＰＳＯＭ）１６５で一度にソートできるか
否かは、並列ソーティングモジュール（ＰＳＯＭ）１６
５のソートセル段数によって決定される。レコード数が
ｎの演算対象のデータを一度にソートすめたるに必要な
理想ソートセル段数ａは、 ａ＝ｌｏｇ₂ （ｎ）

【００３４】で与えられる。このため、並列ソーティン
グモジュール（ＰＳＯＭ）１６５の実際のソートセル段
数ｓと理想ソートセル段数ａを比較することにより、必
要なメモリサイズが分かる。つまり、

【００３５】（１）ｓ≧ａの場合には、一度にソート可
能となり、この時にはメモリサイズはＭ１が必要とな
る。この場合には、大容量メモリ（ＥＢＤＭ）１６３の
実際の容量Ｅが

【００３６】Ｅ≧Ｍ１の条件を満たすか否かによって、
作業ファイル１７１の必要性の有無を判別できる。すな
わち、Ｅ≧Ｍ１の条件が満足される場合には作業ファイ
ル１７１は不要となり、Ｅ＜Ｍ１の場合には作業ファイ
ル１７１が必要とされる。この場合の作業ファイル１７
１の大きさは、Ｍ２となる。これは、作業ファイル１７
１を用いた拡張処理では、一度にソート可能なデータ量
であっても２回以上のソートに分割して、それらソート
の中間結果をマージすることが必要なためである。

【００３７】（２）ｓ＜ａの場合には、２回以上のソー
トが必要となり、この時にはメモリサイズはＭ２が必要
となる。この場合には、大容量メモリ（ＥＢＤＭ）１６
３の実際の容量Ｅが

【００３８】Ｅ≧Ｍ２の条件を満たすか否かによって、
作業ファイル１７１の必要性の有無を判別できる。すな
わち、Ｅ≧Ｍ２の条件が満足される場合には作業ファイ
ル１７１は不要となり、Ｅ＜Ｍ２の場合には作業ファイ
ル１７１が必要とされる。この場合の作業ファイル１７
１の大きさは、Ｍ２となる。次に、図４のフローチャー
トを参照して、データベース演算処理装置１６によるハ
ードウェア構成情報の通知処理について説明する。

【００３９】まず、ホストＣＰＵ１１によって発行され
たコマンドを受信すると（ステップＳ１）、エンジン制
御プロセッサ（ＥＣＰ）１６２は、そのコマンドの解析
を行い（ステップＳ２）、そのコマンドがｉｎｆｏｒｍ
コマンドか否かを調べる（ステップＳ３）。そのコマン
ドがｉｎｆｏｒｍコマンドであった場合には、エンジン
制御プロセッサ（ＥＣＰ）１６２は、データベース演算
処理装置１６内の検査を行い、大容量メモリ（ＥＢＤ
Ｍ）１６３内のデータ処理専用に利用可能なバッファメ
モリの大きさと、ハードウェアソータ（ＰＳＯＭ）１６
５のソートセル段数を獲得する（ステップＳ４）。そし
て、エンジン制御プロセッサ（ＥＣＰ）１６２は、その
獲得したパラメタ群をｉｎｆｏｒｍコマンドに対するス
テータスに付加し、それをエンジンインターフェースプ
ロセッサ（ＥＩＰ）１６１を利用してホストＣＰＵ１１
に通知する（ステップＳ５）。この時のステータスは、
図５に示されているように、完了コード１０１、利用可
能なバッファメモリの大きさを示す情報１０２、および
ハードウェアソータのソートセル段数を示す情報１０３
からなる。

【００４０】一方、受信コマンドがｉｎｆｏｒｍコマン
ドでなく、他の演算処理コマンドであった場合には、エ
ンジン制御プロセッサ（ＥＣＰ）１６２は、その演算処
理コマンドで指定される演算処理を実行制御するため
に、対応する制御プロセスを生成して実行する（ステッ
プＳ６）。

【００４１】ｉｎｆｏｒｍコマンドに対するステータス
を受け取ったホストＣＰＵ１１は、ステータス内のパラ
メタである利用可能なバッファメモリの大きさ、ハード
ウェアソータのソートセル段数、および演算処理対象の
データ量に基づいて、作業ファイル１７１を磁気ディス
ク装置１７に割り当てるか否かを決定する。そして、作
業ファイル１７１が必要であれば、計算した大きさの作
業ファイル１７１を磁気ディスク装置１７上に作成した
後、データベース演算処理装置１６に対して演算処理要
求を発行する。次に、図６乃至図１１を参照して、作業
ファイル１７１を用いたデータベース演算処理装置１６
の演算処理動作を説明する。

【００４２】前述したように、大容量メモリ（ＥＢＤ
Ｍ）１６３にはエンジンインターフェースプロセッサ
（ＥＩＰ）１６１による入力処理によって演算処理対象
のデータが格納され、この入力処理と並行してハードウ
ェアソータ制御プロセッサ（ＥＣＡＭ）１６４による演
算制御が実行される。すなわち、エンジンインターフェ
ースプロセッサ（ＥＩＰ）１６１は、磁気ディスク装置
１７に対象となるデータが存在するかぎり大容量メモリ
（ＥＢＤＭ）１６３に一定のデータ量単位で演算対象デ
ータを順次入力し、それをハードウェアソータ制御プロ
セッサ（ＥＣＡＭ）１６４に渡す。

【００４３】大量のデータを処理する場合には大容量メ
モリ（ＥＢＤＭ）１６３の容量が不足してしまうので、
ハードウェアソータ制御プロセッサ（ＥＣＡＭ）１６４
は、ある一定の範囲毎に中間結果を求める必要がある。
このため、ハードウェアソータ制御プロセッサ（ＥＣＡ
Ｍ）１６４は、一定量のデータ単位で大容量メモリ（Ｅ
ＢＤＭ）１６３から並列ソーティングモジュール（ＰＳ
ＯＭ）１６５および並列関係代数演算モジュール（ＰＲ
ＡＭ）１６６にデータを渡し、その一定データ範囲毎に
演算処理を実行させる（ステップＳ１２）。

【００４４】並列ソーティングモジュール（ＰＳＯＭ）
１６５および並列関係代数演算モジュール（ＰＲＡＭ）
１６６は、一定サイズの演算済みデータ列を中間結果と
して順次生成し、ハードウェアソータ制御プロセッサ
（ＥＣＡＭ）１６４はその中間結果を大容量メモリ（Ｅ
ＢＤＭ）１６３に入力する。ハードウェアソータ制御プ
ロセッサ（ＥＣＡＭ）１６４で得られた処理結果を保持
したままでは、大容量メモリ（ＥＢＤＭ）１６３の容量
の関係上、処理を継続することができない。そこで、エ
ンジンインターフェースプロセッサ（ＥＩＰ）１６１
は、ハードウェアソータ制御プロセッサ（ＥＣＡＭ）１
６４で得られた一定データ範囲毎の中間結果を作業ファ
イル１７１に順次出力する（ステップＳ１３）。このよ
うなデータの入力、演算処理、中間結果の出力処理は、
未処理データがなくなるまで繰り返される（ステップＳ
１１〜Ｓ１３）。

【００４５】図７には、ステップＳ１１〜Ｓ１３におけ
るデータの流れが示されている。図示のように、一定量
のデータＤ１，Ｄ２…が順次ハードウェアソータ制御プ
ロセッサ（ＥＣＡＭ）１６４に渡され、そこでデータＤ
１，Ｄ２にそれぞれ対応する第１、第２の中間結果が得
られ、それら中間結果は順次作業ファイル１７１に書き
出される。

【００４６】前述のステップＳ１１〜Ｓ１３の処理が全
て終了すると、エンジンインターフェースプロセッサ
（ＥＩＰ）１６１は、作業ファイル１７１上の複数の中
間結果から必要な箇所をその都度取り出し、大容量メモ
リ（ＥＢＤＭ）１６３に入力する（ステップＳ１５）。
エンジン制御プロセッサ（ＥＣＰ）１６２は、これら入
力されたデータの結合やマージによってそれらを統合
し、最終結果を求める（ステップＳ１６）。求められた
最終結果は、エンジンインターフェースプロセッサ（Ｅ
ＩＰ）１６１によって磁気ディスク装置１７に出力され
る。この処理も、作業ファイル１７の全ての中間結果が
処理されるまで繰り返される（ステップＳ１４〜Ｓ１
６）。

【００４７】図８には、ステップＳ１４〜Ｓ１６におけ
るデータの流れが示されている。図示のように、複数の
中間結果それぞれから必要な箇所のデータＥ１〜Ｅ４が
取り出されて大容量メモリ（ＥＢＤＭ）１６３に入力さ
れ、それがエンジン制御プロセッサ（ＥＣＰ）１６２に
よって統合される。このデータＥ１〜Ｅ４の統合結果
は、第１の出力結果として磁気ディスク装置１７の出力
結果ファイルに書き出される。

【００４８】次に、図９および図１０を参照し、演算対
象データ、およびハードウェアソータ制御プロセッサ
（ＥＣＡＭ）１６４で得られる中間結果の具体例を、デ
ータベース演算処理装置１６がソート処理を行う場合を
例とって説明する。

【００４９】例えば、図９に示されているように、演算
対象データは、ｎ×４個のレコードＲ１，Ｒ２，…から
構成されており、各レコードは例えば５個のフィールド
Ｆ１〜Ｆ５を含んでいる。並列ソーティングモジュール
（ＰＳＯＭ）１６５で一度にソートできるレコード件数
がｎ個である場合、つまり並列ソーティングモジュール
（ＰＳＯＭ）１６５のソートセル段数がｌｏｇ₂ （ｎ）
の場合には、図示のように、演算対象データはそれぞれ
ｎ個のレコードからなる４つのストリングに分割され
る。この場合、磁気ディスク装置１７からはストリング
単位でデータ入力が行われ、大容量メモリ（ＥＢＤＭ）
１６３に格納される。

【００５０】このような演算対象データに対して、例え
ば、第３のフィールドＦ３をキーフィールドとするソー
トを行う場合には、ハードウェアソータ制御プロセッサ
（ＥＣＡＭ）１６４は、第１ストリングにおける演算対
象の各レコードＲ１，Ｒ２…から演算に必要な第３のフ
ィールドＦ３（Ｋ１，Ｋ２，…）のみを切り出し、それ
にレコード識別番号ＲＩＤ（メモリ１６３上のレコード
の先頭アドレスＡＤ１，ＡＤ２，…）を付加して、それ
を並列ソーティングモジュール（ＰＳＯＭ）１６５，並
列関係代数演算モジュール（ＰＲＡＭ）１６６に渡す。
並列ソーティングモジュール（ＰＳＯＭ）１６５は、そ
の第１ストリングについてソートを行って昇順または降
順に整列化された部分ソート列を生成する。

【００５１】図１０においては、昇順に整列化した場合
の部分ソート列Ｓ１〜Ｓ４が示されている。これら部分
ソート列Ｓ１〜Ｓ４は、演算対象データの第１乃至第４
のストリングにそれぞれ対応する中間結果である。各部
分ソート列Ｓ１〜Ｓ４の要素は、図示のように、レコー
ド識別番号とキー部から構成されている。このような部
分ソート列Ｓ１〜Ｓ４はハードウェアソータ制御プロセ
ッサ（ＥＣＡＭ）１６４から順番に得られ、大容量メモ
リ（ＥＢＤＭ）１６３を経由して作業ファイル１７１に
順次格納されていく。

【００５２】図１１には、マージ処理による部分ソート
列Ｓ１〜Ｓ４の統合結果が示されている。図１１に示さ
れているように、エンジン制御プロセッサ（ＥＣＰ）１
６２のマージで生成されたストリングの各要素は、レコ
ード識別番号だけから成り、レコード識別番号はキー部
の値が小さいものから順に配置されている。このような
マージ結果は、大容量メモリ（ＥＢＤＭ）１６３上に格
納される。

【００５３】エンジン制御プロセッサ（ＥＣＰ）１６２
によるこのようなマージ結果はエンジンインターフェー
スプロセッサ（ＥＩＰ）１６１によって磁気ディスク装
置１７に出力されるが、この場合、図１１で説明したよ
うに、マージ結果はレコード識別番号の並びのみによっ
て構成されているので、エンジンインターフェースプロ
セッサ（ＥＩＰ）１６１は、磁気ディスク装置１７にデ
ータを出力する際、出力ファイルの再構成処理を行う。
すなわち、エンジンインターフェースプロセッサ（ＥＩ
Ｐ）１６１は、図９の演算対象データのレコードを図１
１のマージ結果の並びにしたがって図１２のように再構
成し、それを磁気ディスク装置１７に出力する。

【００５４】以上のように、この実施例においては、作
業ファイル１７１の必要性の判断に必要な演算処理装置
１６の実際のハードウェア構成をホストＣＰＵ１１に通
知できるので、演算処理装置１６の実際のハードウェア
構成を考慮した状態で作業ファイル１７１の必要性を判
断できる。このため、演算処理装置１６のハードウェア
構成が追加・拡張された場合においても、無駄な作業フ
ァイルの割り当てを防止でき、磁気ディスク装置１７の
有効利用が可能となる。

【００５５】また、データベース演算処理装置１６にマ
ルチプロセッサ構成を採用し、データベース演算処理装
置１６と磁気ディスク装置１７間のデータ入出力をエン
ジンインタフェースプロセッサ（ＥＩＰ）１６１に、並
列ソーティングモジュール（ＰＳＯＭ）１６５および並
列関係代数演算モジュール（ＰＲＡＭ）１６６を用いた
演算処理をハードウェアソータ制御プロセッサ（ＥＣＡ
Ｍ）１６４に、そして、全体の制御をエンジン制御プロ
セッサ（ＥＣＰ）１６２にそれぞれ機能分散すると共
に、エンジン制御プロセッサ（ＥＣＰ）１６２によって
ソートセル段数および内部メモリの記憶容量がホストＣ
ＰＵ１１に通知されるように構成されているで、無駄な
作業ファイル１７１の割り当てを防止できると共に、３
つのプロセッサによって効率よく負荷分散が図れ、しか
もエンジンインタフェースプロセッサ（ＥＩＰ）１６１
によるデータ入出力と、ハードウェアソータ制御プロセ
ッサ（ＥＣＡＭ）１６４による演算処理との並行動作が
可能となるので、データベース演算処理装置の動作性能
を十分に向上させることができる。

【００５６】尚、この実施例では、ホストＣＰＵ１１が
作業ファイル１１の必要の有無の判断と作業ファイル１
１の大きさの算出を行なったが、それらをデータベース
演算処理装置１６内で行わせることも可能である。これ
は、ｉｎｆｏｒｍコマンドに演算処理対象のデータ量と
キー属性を含め、必要な作業ファイル１７１の大きさを
データベース演算処理装置１６のエンジン制御プロセッ
サ（ＥＣＰ）１６２がＣＰＵ１１に代わって算出し、算
出された必要な作業ファイルの大きさをｉｎｆｏｒｍコ
マンドのステータスに含めてＣＰＵ１１に返却すること
によって実現できる。

【００５７】また、作業ファイル１７１を利用した拡張
処理を行なうか否かについても、大容量メモリ（ＥＢＤ
Ｍ）１６３の大きさと必要なメモリサイズとの関係から
判断できる。このため、演算処理対象のデータ量をＣＰ
Ｕ１１から受けとることによって、その判断はデータベ
ース演算処理装置１６内で行なうことができる。もちろ
ん、ＣＰＵ１１が、作業ファイル１７１を利用した拡張
処理を行なうか否かをデータベース演算処理装置１６に
対して指示することも可能である。

【００５８】

【発明の効果】以上のように、この発明によれば、ホス
ト装置がデータベース演算処理装置のハードウェア構成
情報を獲得することができるようになり、無駄な作業フ
ァイルの割り当てを防止して２次記憶装置の有効利用を
実現することが可能となる。

【図面の簡単な説明】

【図１】この発明の一実施例に係わる全体のシステム構
成を示すブロック図。

【図２】図１のシステムの大容量メモリに格納されるデ
ータの一例を示す図。

【図３】図１のシステムの大容量メモリに格納されるデ
ータの他の例を示す図。

【図４】図１のシステムにおけるハードウェア構成情報
の通知処理動作を説明するフローチャート。

【図５】図１のシステムにおいてハードウェア構成情報
の通知に利用されるステータスのデータ形式を示す図。

【図６】図１のシステムが作業ファイルを利用した拡張
処理を実行する場合の動作を説明するフローチャート。

【図７】図１のシステムの拡張ソートにおけるソートフ
ェーズ時のデータの流れを示す図。

【図８】図１のシステムの拡張ソートにおけるマージフ
ェーズ時のデータの流れを示す図。

【図９】図１のシステムにおける演算対象入力データの
データ構造の一例を示す図。

【図１０】図１のシステムにおける部分ソート列のデー
タ構造の一例を示す図。

【図１１】図１のシステムにおけるマージ結果のデータ
構造の一例を示す図。

【図１２】図１のシステムにおける出力結果ファイルの
データ構造の一例を示す図。

【符号の説明】

１０…ホストコンピュータ、１１…ホストＣＰＵ、１３
…システムバス、１４…チャネル、１６…データベース
演算処理装置、１７…磁気ディスク装置、１６１，１６
２，１６４…プロセッサ、１６３…大容量メモリ、１６
５…並列ソーティングモジュール、１６６…並列関係代
数演算モジュール、１７１…作業ファイル。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 ホスト装置と、演算対象のファイルデー
   タが格納される２次記憶装置と、前記２次記憶装置を直
   接アクセスするためのパスを有し、前記ホスト装置から
   の要求に応じて前記演算対象のファイルデータに対して
   所定の演算処理を実行する演算処理装置とを備えたデー
   タ処理装置において、 前記演算処理装置は、前記ホスト装置からの演算要求に
   従って演算対象のファイルデータを前記パスを介して前
   記２次記憶装置から入力する入力手段と、２ウェイマー
   ジソートをそれぞれ行なう複数のソートセルがカスケー
   ド接続されてなるパイプラインマージソータ回路を有
   し、入力された演算対象のファイルデータに対してソー
   トまたは関係代数演算を実行する演算処理手段と、前記
   演算対象のファイルデータおよび前記演算処理手段によ
   る演算結果データが格納される内部メモリと、前記演算
   結果データを前記２次記憶装置に出力する出力手段と、
   前記演算結果データを一時的に退避するための作業ファ
   イルを前記２次記憶装置に割り当てる必要の有無を判別
   するために発行される前記ホスト装置からの通知要求に
   従って、前記パイプラインマージソータ回路のソートセ
   ル段数および前記内部メモリの記憶容量を前記ホスト装
   置に通知する手段とを具備することを特徴とするデータ
   処理装置。
2. 【請求項２】 ホスト装置と、演算対象のファイルデー
   タが格納される２次記憶装置と、前記２次記憶装置を直
   接アクセスするためのパスを有し、前記ホスト装置から
   の要求に応じて前記演算対象のファイルデータに対して
   所定の演算処理を実行する演算処理装置とを備えたデー
   タ処理装置において、 前記演算処理装置は、前記ホスト装置との間の通信、お
   よび前記２次記憶装置との間のデータ入出力を実行する
   第１のプロセッサと、２ウェイマージソートをそれぞれ
   行なう複数のソートセルがカスケード接続されてなるパ
   イプラインマージソータ回路を有し、ソートまたは関係
   代数演算を行う演算回路と、この演算回路による演算を
   実行制御する第２のプロセッサと、前記第１のプロセッ
   サによって入力される演算対象のファイルデータおよび
   前記演算回路による演算結果が格納される内部メモリ
   と、前記第１のプロセッサを介して供給される前記ホス
   ト装置からの指示に基づき、前記第１および第２のプロ
   セッサを動作制御する第３のプロセッサとを具備し、 前記第３のプロセッサは、前記演算結果データを一時的
   に退避するための作業ファイルを前記２次記憶装置に割
   り当てる必要の有無を判別するために発行される前記ホ
   スト装置からの通知要求に従って、前記パイプラインマ
   ージソータ回路のソートセル段数および前記内部メモリ
   の記憶容量を前記ホスト装置に通知するように構成され
   ていることを特徴とするデータ処理装置。