JP4331045B2 - データベースシステム、および、プログラム - Google Patents
データベースシステム、および、プログラム Download PDFInfo
- Publication number
- JP4331045B2 JP4331045B2 JP2004124487A JP2004124487A JP4331045B2 JP 4331045 B2 JP4331045 B2 JP 4331045B2 JP 2004124487 A JP2004124487 A JP 2004124487A JP 2004124487 A JP2004124487 A JP 2004124487A JP 4331045 B2 JP4331045 B2 JP 4331045B2
- Authority
- JP
- Japan
- Prior art keywords
- execution
- instruction
- node
- data
- transfer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Multi Processors (AREA)
Description
合田和生,他2名,「並列データベースカーネルDBKernelを用いた高速情報検索処理:TRECデータによる実験」,電子情報通信学会,第12回データ工学ワークショップ DEWS2001,平成13年3月9日
複数のノードで並列分散処理をおこなうデータベースシステムにおいて、
前記複数のノードは、通信ネットワークを介して相互接続された、前記並列分散処理を統括する統括ノードと、データの蓄積および演算処理をおこなう複数の実行ノードと、から構成され、
前記統括ノードは、
各実行ノードでの演算処理の実行を指示する実行命令を生成する実行命令生成手段と、
前記実行命令で指示される演算処理で用いるデータの転送を前記各実行ノードに指示する転送命令を生成する転送命令生成手段と、
前記実行命令生成手段が生成した実行命令と、前記転送命令生成手段が生成した転送命令とを実行命令の実行に必要な転送命令が該実行命令に先立つようツリー構造に階層配置した命令情報を、前記通信ネットワークを介して前記複数の実行ノードに同報配信する命令配信手段と、
を備え、
前記実行ノードは、
前記統括ノードの命令配信手段から配信される命令情報を前記通信ネットワークを介して受信する命令受信手段と、
前記命令受信手段が受信した転送命令に基づき、前記通信ネットワークを介して他の実行ノードとの間でデータの送受信を行うデータ転送手段と、
前記命令受信手段が受信した実行命令に基づき、蓄積されているデータおよび前記データ転送手段が受信したデータを用いて演算処理を実行する演算手段と、
を備え、
前記命令受信手段が受信したツリー構造の命令のうち、自身を対象とした前記実行命令および前記転送命令をツリー構造の最下位層から順に実行し、転送命令の実行においては、該転送命令がデータ送信であった場合は送信を実行して上位階層の命令に進み、該転送命令がデータ受信であった場合は他ノードからの送信を待って受信完了後に上位階層の命令に進む、
ことを特徴とする。
前記転送命令生成手段は、データを送信すべき実行ノードと、データを受信すべき実行ノードと、を指定した転送命令を生成することが望ましい。
前記統括ノードは、
いずれの実行ノードにいずれのデータが格納されているかを示す配置情報を取得して記憶する配置情報取得手段をさらに備えていることが望ましく、この場合、
前記転送命令生成手段は、前記配置情報取得手段が記憶する配置情報に基づいて、前記転送命令を生成することができる。
並列分散処理をおこなうデータベースシステムを統括するコンピュータに、
前記データベースシステムを構成する複数のコンピュータのいずれに、いずれのデータが格納されているかを示す配置情報を取得して記憶するステップと、
前記複数のコンピュータそれぞれで実行させる演算処理の内容を示す情報と、当該演算処理で用いるデータを指定する情報と、を含んだ実行命令を生成するステップと、
前記配置情報に基づいて、他のコンピュータにデータを送信すべきコンピュータを示す情報と、他のコンピュータからデータを受信すべきコンピュータを示す情報と、を含んだ転送命令を生成するステップと、
前記生成された実行命令と転送命令とを、実行命令の実行に必要な転送命令が該実行命令に先立つようツリー構造に階層配置した命令情報を、通信ネットワークを介して前記複数のコンピュータにブロードキャストするステップと、
を実行させることを特徴とする。
並列分散処理をおこなうデータベースシステムを構成するコンピュータに、
演算処理に用いられるデータを蓄積するステップと、
前記データベースシステムを制御するコンピュータから配信される、実行命令の実行に必要な転送命令が該実行命令に先立つようツリー構造に階層配置された命令情報を、通信ネットワークを介して受信するステップと、
受信した転送命令に基づき、前記通信ネットワークを介して他のコンピュータとの間でデータの送受信をおこなうステップと、
受信した実行命令に基づいて、蓄積しているデータおよび他のコンピュータから受信したデータを用いて演算処理を実行するステップと、
受信した前記ツリー構造の命令のうち、自身を対象とした前記実行命令および前記転送命令をツリー構造の最下位層から順に実行し、転送命令の実行においては、該転送命令がデータ送信であった場合は送信を実行して上位階層の命令に進み、該転送命令がデータ受信であった場合は他ノードからの送信を待って受信完了後に上位階層の命令に進むステップと、
を実行させることを特徴とする。
本発明にかかる実施の形態を、以下図面を参照して説明する。
(P1−1)「通信制御プログラム」:通信制御部120を制御し、通信ネットワーク10を介して実行ノード200と通信をおこなうためのプログラム
(P1−2)「DBMSプログラム」:各実行ノード200における出入力などを指示し、データベースシステム1における並列分散処理を統括・管理するためのプログラム
(P1−3):「命令生成プログラム」:並列分散処理を実施する際の各実行ノード200における動作を指示する命令を生成するプログラム
(F1−1)「実行命令生成機能」:入力制御部130などから入力されるクエリに基づいて、各実行ノード200で実行する並列処理の内容、および、当該処理で用いるデータを指定する共通の実行命令を生成する機能
(F1−2)「転送命令生成機能」:実行命令で指定する処理に用いられるデータを、いずれの実行ノード200からいずれの実行ノード200に転送すべきかを指定した転送命令を生成する機能
(F1−3)「命令配信機能」:実行命令と転送命令とを結合し、通信制御部120から通信ネットワーク10を介して実行ノード200に同報配信(ブロードキャスト)する機能
(P2−1)「通信制御プログラム」:通信制御部220を制御し、通信ネットワーク10を介して統括ノード100および他の実行ノード200と通信をおこなうためのプログラム
(P2−2)「処理実行プログラム」:統括ノード100からの命令に基づいて、実行ノード200に分散配置されたデータを用いて演算処理を実行するためのプログラム
(F2−1)「データ転送機能」:統括ノード100から受信した転送命令に基づいて、指定されたデータの他の実行ノード200への送信、もしくは、他の実行ノード200からの受信をおこなう機能
(F2−2)「処理実行機能」:統括ノード100から受信した実行命令に基づき、指定されたデータを用いて演算処理を実行する機能
上記第1の実施形態では、理解を容易にするため、システム構成(ノード数)や対象データの構成、処理内容などを簡易にして説明したが、実際のデータベースシステムにおいては、ノード数やデータ量が膨大となる場合があり、かつ、データの分散形態も複雑となる場合がある。また、第1の実施形態で例示したような、2つのテーブルデータを結合させるだけの単純な処理ではない場合も多い。このような場合、実行命令や転送命令が複数必要となり、命令情報が複雑になってしまうこともある。このように命令が複雑となってしまう場合であっても効率的に処理をおこなう手法を、第2の実施形態として以下説明する。なお、本実施の形態におけるデータベースシステム1の構成は第1の実施形態と同様である。
・テーブルTB1:識別番号「1」の実行ノード200にのみ配置された特定テーブルST
・テーブルTB2:識別番号「1」〜「4」の実行ノード200に分割して配置された分割テーブルPT1
・テーブルTB3:識別番号「2」〜「5」の実行ノード200に分割して配置された分割テーブルPT2
・テーブルTB4:識別番号「1」〜「5」の実行ノード200に配置された分散テーブルAT
10 通信ネットワーク
100 統括ノード
200 実行ノード
Claims (5)
- 複数のノードで並列分散処理をおこなうデータベースシステムにおいて、
前記複数のノードは、通信ネットワークを介して相互接続された、前記並列分散処理を統括する統括ノードと、データの蓄積および演算処理をおこなう複数の実行ノードと、から構成され、
前記統括ノードは、
各実行ノードでの演算処理の実行を指示する実行命令を生成する実行命令生成手段と、
前記実行命令で指示される演算処理で用いるデータの転送を前記各実行ノードに指示する転送命令を生成する転送命令生成手段と、
前記実行命令生成手段が生成した実行命令と、前記転送命令生成手段が生成した転送命令とを実行命令の実行に必要な転送命令が該実行命令に先立つようツリー構造に階層配置した命令情報を、前記通信ネットワークを介して前記複数の実行ノードに同報配信する命令配信手段と、
を備え、
前記実行ノードは、
前記統括ノードの命令配信手段から配信される命令情報を前記通信ネットワークを介して受信する命令受信手段と、
前記命令受信手段が受信した転送命令に基づき、前記通信ネットワークを介して他の実行ノードとの間でデータの送受信を行うデータ転送手段と、
前記命令受信手段が受信した実行命令に基づき、蓄積されているデータおよび前記データ転送手段が受信したデータを用いて演算処理を実行する演算手段と、
を備え、
前記命令受信手段が受信したツリー構造の命令のうち、自身を対象とした前記実行命令および前記転送命令をツリー構造の最下位層から順に実行し、転送命令の実行においては、該転送命令がデータ送信であった場合は送信を実行して上位階層の命令に進み、該転送命令がデータ受信であった場合は他ノードからの送信を待って受信完了後に上位階層の命令に進む、
ことを特徴とするデータベースシステム。 - 前記転送命令生成手段は、データを送信すべき実行ノードと、データを受信すべき実行ノードと、を指定した転送命令を生成する、
ことを特徴とする請求項1に記載のデータベースシステム。 - 前記統括ノードは、
いずれの実行ノードにいずれのデータが格納されているかを示す配置情報を取得して記憶する配置情報取得手段をさらに備え、
前記転送命令生成手段は、前記配置情報取得手段が記憶する配置情報に基づいて、前記転送命令を生成する、
ことを特徴とする請求項1または2に記載のデータベースシステム。 - 並列分散処理をおこなうデータベースシステムを統括するコンピュータに、
前記データベースシステムを構成する複数のコンピュータのいずれに、いずれのデータが格納されているかを示す配置情報を取得して記憶するステップと、
前記複数のコンピュータそれぞれで実行させる演算処理の内容を示す情報と、当該演算処理で用いるデータを指定する情報と、を含んだ実行命令を生成するステップと、
前記配置情報に基づいて、他のコンピュータにデータを送信すべきコンピュータを示す情報と、他のコンピュータからデータを受信すべきコンピュータを示す情報と、を含んだ転送命令を生成するステップと、
前記生成された実行命令と転送命令とを、実行命令の実行に必要な転送命令が該実行命令に先立つようツリー構造に階層配置した命令情報を、通信ネットワークを介して前記複数のコンピュータにブロードキャストするステップと、
を実行させることを特徴とするプログラム。 - 並列分散処理をおこなうデータベースシステムを構成するコンピュータに、
演算処理に用いられるデータを蓄積するステップと、
前記データベースシステムを制御するコンピュータから配信される、実行命令の実行に必要な転送命令が該実行命令に先立つようツリー構造に階層配置された命令情報を、通信ネットワークを介して受信するステップと、
受信した転送命令に基づき、前記通信ネットワークを介して他のコンピュータとの間でデータの送受信をおこなうステップと、
受信した実行命令に基づいて、蓄積しているデータおよび他のコンピュータから受信したデータを用いて演算処理を実行するステップと、
受信した前記ツリー構造の命令のうち、自身を対象とした前記実行命令および前記転送命令をツリー構造の最下位層から順に実行し、転送命令の実行においては、該転送命令がデータ送信であった場合は送信を実行して上位階層の命令に進み、該転送命令がデータ受信であった場合は他ノードからの送信を待って受信完了後に上位階層の命令に進むステップと、
を実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004124487A JP4331045B2 (ja) | 2004-04-20 | 2004-04-20 | データベースシステム、および、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004124487A JP4331045B2 (ja) | 2004-04-20 | 2004-04-20 | データベースシステム、および、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005309684A JP2005309684A (ja) | 2005-11-04 |
JP4331045B2 true JP4331045B2 (ja) | 2009-09-16 |
Family
ID=35438422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004124487A Expired - Fee Related JP4331045B2 (ja) | 2004-04-20 | 2004-04-20 | データベースシステム、および、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4331045B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017010569A (ja) * | 2010-10-22 | 2017-01-12 | 株式会社インテック | 分散型データベースシステムおよび分散型データ処理システム |
JP5567686B2 (ja) | 2010-11-22 | 2014-08-06 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 分散データベースの負荷均衡のためのコネクション配分を実現する情報処理システム、情報処理装置、負荷均衡方法、データベース配置計画方法およびプログラム |
JP2015072629A (ja) * | 2013-10-03 | 2015-04-16 | 富士通株式会社 | データ処理プログラム及びデータ処理方法 |
JP6328078B2 (ja) * | 2015-07-22 | 2018-05-23 | 株式会社東芝 | データベースシステムおよびデータベースシステム用プログラム |
US12032631B2 (en) | 2018-05-30 | 2024-07-09 | Ab Initio Technology Llc | Systems and methods for dataflow graph optimization |
JP7489249B2 (ja) | 2020-07-15 | 2024-05-23 | 株式会社日立製作所 | データベースシステム、データ配備管理装置およびデータ配備管理方法 |
-
2004
- 2004-04-20 JP JP2004124487A patent/JP4331045B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005309684A (ja) | 2005-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8713182B2 (en) | Selection of a suitable node to host a virtual machine in an environment containing a large number of nodes | |
US6799314B2 (en) | Work flow management method and work flow management system of controlling a work flow | |
JP6951846B2 (ja) | 計算機システム及びタスクの割当方法 | |
CN101640623A (zh) | 在对等网络中搜索资源的方法和设备 | |
CN106471501A (zh) | 数据查询的方法、数据对象的存储方法和数据系统 | |
KR101754618B1 (ko) | 소프트웨어 정의 네트워크 기반의 가상 네트워크 동적 생성 방법 및 그 장치 | |
CN103546572A (zh) | 一种云存储装置以及多云存储联网系统和方法 | |
US20190228009A1 (en) | Information processing system and information processing method | |
JP4331045B2 (ja) | データベースシステム、および、プログラム | |
JP2018147301A5 (ja) | ||
Mseddi et al. | On optimizing replica migration in distributed cloud storage systems | |
JP6303300B2 (ja) | 制御依頼方法、情報処理装置、システム、およびプログラム | |
CN113127526A (zh) | 一种基于Kubernetes的分布式数据存储和检索系统 | |
CN113590652A (zh) | 数据存储系统、数据处理方法、设备及存储介质 | |
CN114731297A (zh) | 用于计算设备对等方匹配的消息限制的自组织网络组 | |
US11381642B2 (en) | Distributed storage system suitable for sensor data | |
CN112235356B (zh) | 一种基于集群的分布式pb级cfd仿真数据管理系统 | |
KR20090065134A (ko) | 작업 분산 병렬 처리 시스템 및 방법 | |
CN104537081A (zh) | 文件管理系统和方法 | |
JP4225354B2 (ja) | 分散データベースのデータアクセス方法及び装置 | |
JP2002183138A (ja) | 情報収集システム、情報収集方法及び記憶媒体 | |
JP2006268588A (ja) | クライアントサーバシステムおよびクライアントサーバシステムのデータ処理方法 | |
US11553040B2 (en) | Relay apparatus and relay method | |
US11188389B2 (en) | Distributed system that promotes task-machine affinity | |
TWI673610B (zh) | 遠端工作系統及其工作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070131 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090210 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090407 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090616 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090617 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130626 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |