JPH07120336B2 - Database machine - Google Patents
Database machineInfo
- Publication number
- JPH07120336B2 JPH07120336B2 JP59032313A JP3231384A JPH07120336B2 JP H07120336 B2 JPH07120336 B2 JP H07120336B2 JP 59032313 A JP59032313 A JP 59032313A JP 3231384 A JP3231384 A JP 3231384A JP H07120336 B2 JPH07120336 B2 JP H07120336B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- database
- buffer
- unit
- processing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Multi Processors (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Advance Control (AREA)
Description
【発明の詳細な説明】 〔発明の利用分野〕 本発明は、関係データベースを有する計算機システムに
おけるデータベース・マシンの方式に係り、特に関係演
算のひとつであるプロジエクシヨン演算の高速処理など
に効果的なデータベース処理方式に関する。Description: FIELD OF THE INVENTION The present invention relates to a database / machine system in a computer system having a relational database, and is particularly effective for high-speed processing of a projection operation which is one of relational operations. Database processing method.
データベース処理における重複タプルの排除を含めたプ
ロジェクション演算等は、演算の対象となるリレーショ
ン全体についてデータ相互に関連を調べる必要がある。
従って、従来からのデータベース・マシンで重複タプル
の排除を含めたプロジェクション演算等を実行しようと
すると、まず、演算の対象となるリレーション全体を補
助記憶媒体からデータベース・マシン内のバッファに読
み込み、しかる後にプロジェクション演算を実行し、さ
らにその後演算結果を中央処理装置に送る、という具合
に、データの入出力及びプロジェクション演算処理を全
く別のタイミングで行なう必要があった。このため、
（１）大容量のバッファが必要となる、（２）データ入
力処理、プロジェクション演算処理、及びデータ出力処
理の３種の処理、特に、データの入力処理と出力処理が
多重かされないため、データの転送時間が増大して効率
が低下する、といった欠点があった。したがつてデータ
ベース・マシンでは通常重複タプルの排除は行なわず、
中央処理装置がこれを行なわなければならなかつた。For projection operations including the elimination of duplicate tuples in database processing, it is necessary to check the mutual relations of the data for the entire relation that is the object of the operations.
Therefore, when attempting to execute a projection operation including elimination of duplicate tuples on a conventional database machine, first, the entire relation that is the object of the operation is read from the auxiliary storage medium into a buffer in the database machine. It was necessary to perform input / output of data and projection calculation processing at completely different timings, such as executing projection calculation and then sending the calculation result to the central processing unit. For this reason,
(1) A large-capacity buffer is required, (2) Three types of processing, data input processing, projection calculation processing, and data output processing, in particular, since data input processing and output processing are not multiplexed, data There is a drawback that the transfer time increases and the efficiency decreases. Therefore, database machines usually do not eliminate duplicate tuples,
The central processing unit had to do this.
本発明の目的は、上記従来技術の欠点を解除する方法を
提供することにある。すなわち、演算対象のリレーシヨ
ンを複数の部分に分割し、各部分について重複タプルの
排除を含めたプロジエンシヨン等のデータベース処理演
算を実行することにより、データベース・マシンのバツ
フア容量の低減、プロジエクシヨン演算処理時間の短
縮、中央処理装置の負荷低減などを目ざしたデータベー
ス処理方式を提供することを目的とする。It is an object of the present invention to provide a method of overcoming the above drawbacks of the prior art. That is, by dividing the relay to be operated into a plurality of parts and executing database processing operations such as a procedure including elimination of duplicate tuples for each part, the buffer capacity of the database machine can be reduced and the procedure can be reduced. It is an object of the present invention to provide a database processing method aiming at shortening the calculation processing time and reducing the load on the central processing unit.
上記の目的を達成するために、本発明によるデータベー
ス・マシンは、データベースを保持する補助記憶装置か
ら処理装置に転送するデータを保持する複数のバッファ
とデータベースに格納されたデータを所定の大きさの単
位で複数のバッファのそれぞれに順次入力するデータ入
力部と、各バッファに入力された所定の大きさのデータ
に対して処理装置からの指定に基づいてデータの重複排
除を含む演算を実行する演算部と、演算が終了したバッ
ファのデータを処理装置に順次送出する出力部とを有
し、複数のバッファの各々を入力部、演算部、出力部で
の処理に循環的に用いることを特徴としている。これに
より、データ入出力、及び演算処理の３種の処理を並行
して行なうことが可能になり、データ転送時間の増加を
抑えつつ中央処理装置の負荷の低減を図ることができ、
データベース処理の高速化が可能となる。なお、各グル
ープごとの演算結果からリレーシヨン全体の演算結果を
導く処理は中央処理装置が実行する。In order to achieve the above object, a database machine according to the present invention has a plurality of buffers that hold data to be transferred from an auxiliary storage device that holds a database to a processing device, and data stored in the database of a predetermined size. A data input unit that sequentially inputs each of a plurality of buffers in units, and an operation that executes an operation including deduplication of data based on a designation from a processing device for data of a predetermined size input to each buffer And an output unit that sequentially outputs the data of the buffer after the calculation to the processing device, and each of the plurality of buffers is cyclically used for the processing in the input unit, the calculation unit, and the output unit. There is. This makes it possible to perform three types of processing, data input / output and arithmetic processing, in parallel, and reduce the load on the central processing unit while suppressing an increase in data transfer time.
Database processing can be speeded up. The central processing unit executes the processing of deriving the calculation result of the entire relay from the calculation result of each group.
以下、本発明を実施例により詳細に説明する。 Hereinafter, the present invention will be described in detail with reference to Examples.
第１図は、本発明を実現する計算機システムの構成を示
す模式図であり、関係データベースを用いる応用プログ
ラムが動作する中央処理装置10、データベース・マシン
12、関係データベースが蓄積された補助記憶媒体14から
なるシステムを示している。FIG. 1 is a schematic diagram showing the configuration of a computer system for implementing the present invention, in which a central processing unit 10 and a database machine in which an application program using a relational database operates.
12 shows a system including an auxiliary storage medium 14 in which a relational database is accumulated.
第２図は、本発明を実現するデータベース・マシンの構
成を示す模式図であり、補助記憶媒体からデータをバツ
フアに入力するデータ入力器16、バツフア内のデータに
対して関係演算を実行する関係演算器18、バツフア内の
関係演算結果を中央処理装置に出力するデータ出力器2
0、３つのバツフア22,24,26,さらに16,18,20と22,24,26
との対応を制御する制御器28からなるデータベース・マ
シンを示している。FIG. 2 is a schematic diagram showing the configuration of a database machine for implementing the present invention. A data input device 16 for inputting data from an auxiliary storage medium to the buffer, a relation for executing a relational operation on the data in the buffer. Data output unit 2 for outputting the result of the relational calculation in the computing unit 18 and buffer to the central processing unit
0 three buffers 22,24,26, further 16,18,20 and 22,24,26
A database machine consisting of a controller 28 for controlling the correspondence between and is shown.
つぎに実施例におけるデータベース・マシンの動作につ
いて述べる。まず、準備として、関係データベースにお
けるプロジエクシヨン演算について説明する。第３図に
おいて、演算対象となるリレーシヨンは、氏名，職業，
本籍，年令という４つのフイールドからなる。リレーシ
ヨンの１行、たとえば（鈴木，会社員，川崎,35）を
「タプル」とよぶ。ここで、「プロジエクシヨン」と
は、全タプルについて、特定のいくつかのフイールドの
みを抽出する演算である。第３図には、職業と本籍につ
いてのプロジエクシヨンの結果を例示した。具体的には
この演算は、各地域についてそこに本籍をもつ人の職業
をしらべるために用いられる。ここで注目すべき点は、
演算結果が同一のタプルは重複排除することである。例
えば第３図で、第１行と第３行の演算結果は一致するの
で第３行の演算結果は排除される。したがつて、もとの
リレーシヨンがｎタプルからなるとすれば、プロジエク
シヨン演算結果は一般にｎ′（＜ｎ）タプルから構成さ
れる。Next, the operation of the database machine in the embodiment will be described. First, as a preparation, the procedure calculation in the relational database will be described. In Fig. 3, the relays to be calculated are the name, occupation, and
It consists of four fields: permanent domicile and age. One line of relay, for example (Suzuki, company employee, Kawasaki, 35), is called "tuple". Here, the "projection" is an operation for extracting only some specific fields of all tuples. Figure 3 illustrates the results of the projection regarding occupation and permanent domicile. Specifically, this calculation is used to find out the occupation of the person who has a permanent residence in each area. The important point here is
Tuples having the same calculation result are to be deduplicated. For example, in FIG. 3, since the calculation results of the first and third rows match, the calculation result of the third row is excluded. Therefore, if the original relay consists of n-tuples, the procedure operation result will generally consist of n '(<n) tuples.
本実施例において、ｎタプルからなるリレーシヨンにプ
ロジエクシヨン演算をほどこすとき、従来と異なり、リ
レーシヨン全体を補助記憶媒体14から読みこんだ後に演
算をほどこすのではない。第４図に示したようにｎタプ
ルをｍタプルずつｋ個（ｎ＝mkとする）のグループに分
割し、各グループごとに補助記憶媒体14からの読みこ
み、演算、中央処理装置10への転送を実行する。In the present embodiment, when a procedure operation is performed on a relay consisting of n tuples, unlike the conventional case, the operation is not performed after the entire relay is read from the auxiliary storage medium 14. As shown in FIG. 4, the n-tuple is divided into k groups (n = mk) by m-tuples, and each group is read from the auxiliary storage medium 14, operated, and stored in the central processing unit 10. Perform the transfer.
以下、本実施例における演算動作を、第２図と第５図を
用いて詳細に述べる。第５図は本実施例におけるプロジ
エクシヨン演算動作を示したタイム・チヤートである。
ここでIi（ｊ）,Pi（ｊ）,Qi（ｊ）はそれぞれ、第ｉグ
ループを補助記憶媒体14からバツフアｊに入力する処
理、第ｉグループをバツフア内でプロジエクシヨン演算
実行する処理、第ｉグループのプロジエクシヨン演算結
果をバツフアｊから中央処理装置10へ出力する処理を表
わす（ｉ＝1,2,…,k.j＝I,II,III）。補助記憶媒体14へ
のアクセスは通常機械的に行なわれ、演算処理および中
央処理装置10への出力は電気的に行なわれるので、通常
Ii（ｊ）＞Pi（ｊ）かつIi（ｊ）＞Qi（ｊ）である。こ
のとき、第４図のリレーシヨンに対するプロジエクシヨ
ン演算のタイム・チヤートを例示したのが第５図であ
る。すなわち、t1でバツフアI22に第１グループ（第１
タプル〜第ｍタプル）をデータ入力器16により入力開始
する。t2でこれが完了すると、制御器28は16に割りあて
られていたバツフアI22を関係演算器18に割りあて変更
し、16にはバツフアII24を新たに割りあてる。16は第２
グループ（第ｍ＋１タプル〜第2mタプル）の入力を開始
し、18は第１グループに対するプロジエクシヨンを実行
開始する。t3でプロジエクシヨン演算が完了すると、28
は18に割りあてられていた22をデータ出力器20に割りあ
て変更し、20は22内の演算結果を中央処理装置10に出力
開始する。上記の処理を、第ｋグループを10に出力完了
するまでくり返す。The arithmetic operation in this embodiment will be described in detail below with reference to FIGS. 2 and 5. FIG. 5 is a time chart showing the procedure calculation operation in this embodiment.
Here, Ii (j), Pi (j), and Qi (j) are the process of inputting the i-th group from the auxiliary storage medium 14 to the buffer j, the process of executing the procedure calculation of the i-th group in the buffer, The process of outputting the result of the procedure calculation of the i-th group from the buffer j to the central processing unit 10 (i = 1, 2, ..., Kj = I, II, III). Since the access to the auxiliary storage medium 14 is usually performed mechanically, and the arithmetic processing and the output to the central processing unit 10 are performed electrically,
Ii (j)> Pi (j) and Ii (j)> Qi (j). At this time, FIG. 5 exemplifies the time chart of the procedure calculation for the relay of FIG. That is, at t 1 , the first group (first
The tuple to the m-th tuple) are started to be input by the data input device 16. Once this is completed at t 2, the controller 28 modifies assigning a buffer I22 which had been allocated to 16 in relation calculator 18 newly assigns a buffer II24 to 16. 16 is the second
Input of the group (m + 1 tuple to 2m tuple) is started, and 18 starts execution of the procedure for the first group. When the procedure calculation is completed at t 3 , 28
22 assigns 22 to 18 and assigns it to the data output device 20, and 20 starts outputting the calculation result in 22 to the central processing unit 10. The above processing is repeated until the output of the kth group to 10 is completed.
以上データベース処理演算としてプロジエクシヨン処理
の実施例について述べたが、本発明はこのほかソーテイ
ング等のデータベース関連の各種処理一般について同様
に処理可能である。Although the embodiment of the procedure processing has been described as the database processing operation, the present invention can also perform various database-related processings such as sorting in general.
本発明によれば、リレーシヨン全体を収納する容量のバ
ツフアは必要でなく、分割したリレーシヨン・グループ
を収納できるバツフアが３個あればよい。したがつて必
要なバツフア容量がほぼ3/（分割数）に減少する。ま
た、第５図に例示したようにデータ入力、プロジエクシ
ヨン演算、データ出力の各処理を多重化並行処理できる
ので、処理効率が向上する。また、重複タプルの排除を
中央処理装置に任せる従来のデータベース・マシンの方
式と比べると、中央処理装置の負荷低減、主記憶のバツ
フア容量低減という効果がある。According to the present invention, a buffer having a capacity for accommodating the entire relay is not necessary, and only three buffers capable of accommodating the divided relay groups are required. Therefore, the required buffer capacity is reduced to almost 3 / (number of divisions). Further, as shown in FIG. 5, each processing of data input, procedure calculation, and data output can be multiplexed and processed in parallel, so that the processing efficiency is improved. Further, as compared with the conventional database machine method in which the elimination of duplicate tuples is left to the central processing unit, there is an effect of reducing the load on the central processing unit and reducing the buffer capacity of the main memory.
第１図は本発明を実現する計算機システムの構成を示す
模式的ブロツク図、第２図は本発明を実現するデータベ
ース・マシンの構成を示すブロツク図、第３図はプロジ
エクシヨン演算の説明図、第４図は本発明におけるリレ
ーシヨンの分割法を示す説明図、第５図は本発明におけ
るプロジエクシヨン演算動作の説明図である。 10……中央処理装置、12……データベース・マシン、14
……補助記憶媒体、16……データ入力器、18……関係演
算器、20……データ出力器、22……バツフアＩ、24……
バツフアII、26……バツフアIII、28……制御器。FIG. 1 is a schematic block diagram showing the configuration of a computer system that realizes the present invention, FIG. 2 is a block diagram showing the configuration of a database machine that realizes the present invention, and FIG. 3 is an explanatory diagram of the procedure calculation. FIG. 4 is an explanatory view showing a division method of relay in the present invention, and FIG. 5 is an explanatory view of a procedure calculation operation in the present invention. 10 ... Central processing unit, 12 ... Database machine, 14
...... Auxiliary storage medium, 16 …… Data input device, 18 …… Relational arithmetic unit, 20 …… Data output device, 22 …… Buffer I, 24 ……
Buffer II, 26 ... Buffer III, 28 ... Controller.
フロントページの続き (72)発明者 佐藤 和洋 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内 (72)発明者 田宮 敏彦 神奈川県小田原市国府津2880番地 株式会 社日立製作所小田原工場内 (72)発明者 福嶋 慎一 神奈川県横浜市戸塚区戸塚町5030番地 株 式会社日立製作所ソフトウエア工場内 (56)参考文献 特開 昭58−197561（ＪＰ，Ａ) 特開 昭60−89153（ＪＰ，Ａ) 特開 昭55−108030（ＪＰ，Ａ)Front Page Continuation (72) Inventor Kazuhiro Sato 1099 Ozenji, Aso-ku, Kawasaki-shi, Kanagawa Inside Hitachi Systems Development Laboratory, Inc. (72) Inventor Shinichi Fukushima 5030 Totsuka-cho, Totsuka-ku, Yokohama-shi, Kanagawa Inside the software factory of Hitachi, Ltd. (56) Reference JP-A-58-197561 (JP, A) JP-A-60-89153 ( JP, A) JP 55-108030 (JP, A)
Claims (1)
憶装置との間に設けられ、前記処理装置と前記補助記憶
装置との間のデータ転送及び関係演算を行なうデータベ
ース・マシンにおいて、前記補助記憶装置から前記処理
装置に転送するデータを保持する複数のバッファと、前
記データベースに格納されたデータを所定の大きさの単
位で前記複数のバッファのそれぞれに順次入力するデー
タ入力部と、前記データ入力部によるデータの入力が終
了したバッファから順次、バッファ内の前記所定の大き
さのデータに対して前記処理装置からの指定に基づいて
データの重複排除を含む演算を実行する演算部と、前記
演算が終了したバッファから順次、バッファ内のデータ
を前記処理装置に送出する出力部とを有し、前記入力部
によるデータの入力、前記演算部による演算、及び前記
出力部によるデータの送出をそれぞれ異なるバッファを
利用して並行して実施するとともに、前記複数のブッフ
ァの各々を前記入力部、演算部、出力部での処理に循環
的に用いることを特徴とするデータベース・マシン。1. A database machine provided between a processing device and an auxiliary storage device holding a database, for performing data transfer between the processing device and the auxiliary storage device and a relational operation, wherein the auxiliary storage device. A plurality of buffers for holding data to be transferred from the processing device to the processing device, a data input unit for sequentially inputting the data stored in the database into the plurality of buffers in units of a predetermined size, and the data input unit The operation unit that executes an operation including deduplication of data on the data of the predetermined size in the buffer sequentially from the buffer in which the data input by the An output unit that sequentially sends the data in the buffer to the processing device from the completed buffer, and the input unit inputs the data. , The arithmetic operation by the arithmetic unit and the data transmission by the output unit are performed in parallel by using different buffers, and each of the plurality of buffers is processed by the input unit, the arithmetic unit, and the output unit. A database machine characterized by being used cyclically.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP59032313A JPH07120336B2 (en) | 1984-02-24 | 1984-02-24 | Database machine |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP59032313A JPH07120336B2 (en) | 1984-02-24 | 1984-02-24 | Database machine |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS60178573A JPS60178573A (en) | 1985-09-12 |
| JPH07120336B2 true JPH07120336B2 (en) | 1995-12-20 |
Family
ID=12355446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP59032313A Expired - Lifetime JPH07120336B2 (en) | 1984-02-24 | 1984-02-24 | Database machine |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07120336B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01265321A (en) * | 1988-04-18 | 1989-10-23 | Matsushita Electric Ind Co Ltd | Character string retrieving device |
| JP5425028B2 (en) * | 2010-09-13 | 2014-02-26 | 株式会社野村総合研究所 | Data search system and program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS55108030A (en) * | 1979-02-13 | 1980-08-19 | Hitachi Ltd | Data transfer control system |
| JPS58197561A (en) * | 1982-05-12 | 1983-11-17 | Hitachi Cable Ltd | Shared memory system |
-
1984
- 1984-02-24 JP JP59032313A patent/JPH07120336B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPS60178573A (en) | 1985-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0522488A2 (en) | Method of sorting on distributed database system and method of accessing thereto | |
| JPS61208124A (en) | Combined arithmetic processing system for decentralized data base control system | |
| US20080109813A1 (en) | Resource assignment method, resource assignment program and management computer | |
| CN105956666B (en) | A kind of machine learning method and system | |
| US11221890B2 (en) | Systems and methods for dynamic partitioning in distributed environments | |
| WO2023284745A1 (en) | Data processing method, system and related device | |
| CN112286917A (en) | Data processing method and device, electronic equipment and storage medium | |
| JPH07120336B2 (en) | Database machine | |
| CN110502337B (en) | Optimization system for shuffling stage in Hadoop MapReduce | |
| US10013393B2 (en) | Parallel computer system, parallel computing method, and program storage medium | |
| JP3071899B2 (en) | Charge beam drawing data creation device | |
| JPH052610A (en) | Intensive arithmetic processing system in relational data base | |
| CN113222099A (en) | Convolution operation method and chip | |
| JPH0789334B2 (en) | Database management processing method | |
| WO2015143708A1 (en) | Method and apparatus for constructing suffix array | |
| US9760372B2 (en) | Parallel processing in plural processors with result register each performing associative operation on respective column data | |
| CN109002467B (en) | Database sorting method and system based on vectorization execution | |
| JP3005466B2 (en) | Parallel sorter | |
| JPH0581337A (en) | Data processor | |
| JPH0551933B2 (en) | ||
| JPH0581342A (en) | Data processor | |
| Chen et al. | An improved hash-based join algorithm in the presence of double skew on a hypercube computer | |
| CN108920533B (en) | Vectorized integral synchronous parallel computing method and system | |
| JP3542184B2 (en) | Linear calculation method | |
| TW202226073A (en) | Architecture and cluster of processing elements and method of convolution operation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| EXPY | Cancellation because of completion of term |