JP5818263B2 - データの分散管理システム及び装置及び方法及びプログラム - Google Patents
データの分散管理システム及び装置及び方法及びプログラム Download PDFInfo
- Publication number
- JP5818263B2 JP5818263B2 JP2012108849A JP2012108849A JP5818263B2 JP 5818263 B2 JP5818263 B2 JP 5818263B2 JP 2012108849 A JP2012108849 A JP 2012108849A JP 2012108849 A JP2012108849 A JP 2012108849A JP 5818263 B2 JP5818263 B2 JP 5818263B2
- Authority
- JP
- Japan
- Prior art keywords
- node
- data
- load
- nodes
- management
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Computer And Data Communications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
前記ノードは、
構造化オーバレイ管理手段と、MapReduce処理管理手段と、を有し、
前記構造化オーバレイ管理手段は、
複数の前記ノードが持つデータをノード間で負荷が均一化するように制御する負荷分散手段と、
前記負荷分散手段によって前記制御がなされたデータを解析するために、各ノード間の接続が平衡木となるように構造化する構造化手段と、を有し、
前記MapReduce処理管理手段は、
前記構造化オーバレイネットワークに対して発信されるデータを蓄積するデータ蓄積手段と、
前記データ蓄積手段に蓄積されたデータを解析するための解析スキームを管理する解析管理手段と、
前記解析スキームによる解析結果を他ノードに対して送信するとともに、他ノードから解析結果を受信して組み合わせる解析結果統合手段と、を有する。
ノード間の接続関係を平衡木の木構造として維持し、該平衡木の木構造にしたがって、複数のメタデータを計算単位のデータに分割するMap処理、分割したデータを担当するノードに転送するShuffle処理、各ノード装置の解析結果を集約して処理するReduce処理を行うMapReduce処理手段を含む。
自ノードが根ノードである場合に、前記平衡木の木構造に従って集約した各ノードの負荷情報に基づいて、所定の判別式により負荷が低いノードと負荷が高いノードを判別し、負荷が高いノードが管理するID空間の中からノード間で負荷が均一になるようなハッシュIDを選択し、負荷が低いノードに対して選択したハッシュIDを追加する手段を含む。
ここでは、負荷の高いノードと低いノードのID空間の負荷の均一化について説明する。
MapReduce処理管理部100における当該解析プロセスの動作を図12に示す。
110 Analysis Schemeバッファ
120 同期部(Analysis Scheme Coordinator)
130 データバッファ
200 構造化オーバレイ管理部
210 Shipマネージャ
211 ルーティングバッファ
220 負荷分散部(Load Balancing Executor)
300 通信部
310 送信部
320 受信部
Claims (9)
- 複数のノードが複数のメタデータを分散管理する構造化オーバレイネットワークにおけるデータの分散管理システムであって、
前記ノードは、
構造化オーバレイ管理手段と、MapReduce処理管理手段と、を有し、
前記構造化オーバレイ管理手段は、
複数の前記ノードが持つデータをノード間で負荷が均一化するように制御する負荷分散手段と、
前記負荷分散手段によって前記制御がなされたデータを解析するために、各ノード間の接続が平衡木となるように構造化する構造化手段と、を有し、
前記MapReduce処理管理手段は、
前記構造化オーバレイネットワークに対して発信されるデータを蓄積するデータ蓄積手段と、
前記データ蓄積手段に蓄積されたデータを解析するための解析スキームを管理する解析管理手段と、
前記解析スキームによる解析結果を他ノードに対して送信するとともに、他ノードから解析結果を受信して組み合わせる解析結果統合手段と、を有する
ことを特徴とするデータの分散管理システム。 - 前記MapReduce処理管理手段は、
ノード間の接続関係を平衡木の木構造として維持し、該平衡木の木構造にしたがって、複数のメタデータを計算単位のデータに分割するMap処理、分割したデータを担当するノードに転送するShuffle処理、各ノード装置の解析結果を集約して処理するReduce処理を行うMapReduce処理手段を含む
請求項1記載のデータの分散管理システム。 - 前記負荷分散手段は、
自ノードが根ノードである場合に、前記平衡木の木構造に従って集約した各ノードの負荷情報に基づいて、所定の判別式により負荷が低いノードと負荷が高いノードを判別し、負荷が高いノードが管理するID空間の中からノード間で負荷が均一になるようなハッシュIDを選択し、負荷が低いノードに対して選択したハッシュIDを追加する手段を含む
請求項1記載のデータの分散管理システム。 - 複数のノードが複数のメタデータを分散管理する構造化オーバレイネットワークにおけるデータの分散管理システムが有する前記ノードとして機能するデータ分散管理装置であって、
構造化オーバレイ管理手段と、MapReduce処理管理手段と、を有し、
前記構造化オーバレイ管理手段は、
複数の前記ノードが持つデータをノード間で負荷が均一化するように制御する負荷分散手段と、
前記負荷分散手段によって前記制御がなされたデータを解析するために、各ノード間の接続が平衡木となるように構造化する構造化手段と、を有し、
前記MapReduce処理管理手段は、
前記構造化オーバレイネットワークに対して発信されるデータを蓄積するデータ蓄積手段と、
前記データ蓄積手段に蓄積されたデータを解析するための解析スキームを管理する解析管理手段と、
前記解析スキームによる解析結果を他ノードに対して送信するとともに、他ノードから解析結果を受信して組み合わせる解析結果統合手段と、を有する
ことを特徴とするデータ分散管理装置。 - 前記MapReduce処理管理手段は、
ノード間の接続関係を平衡木の木構造として維持し、該平衡木の木構造にしたがって、複数のメタデータを計算単位のデータに分割するMap処理、分割したデータを担当するノードに転送するShuffle処理、各ノード装置の解析結果を集約して処理するReduce処理を行うMapReduce処理手段を含む
請求項4記載のデータの分散管理装置。 - 前記負荷分散手段は、
自ノードが根ノードである場合に、前記平衡木の木構造に従って集約した各ノードの負荷情報に基づいて、所定の判別式により負荷が低いノードと負荷が高いノードを判別し、負荷が高いノードが管理するID空間の中からノード間で負荷が均一になるようなハッシュIDを選択し、負荷が低いノードに対して選択したハッシュIDを追加する手段を含む
請求項4記載のデータの分散管理装置。 - 複数のノードが複数のメタデータを分散管理する構造化オーバレイネットワークにおけるデータの分散管理システムが行うデータの分散管理方法であって、
前記ノードは、
構造化オーバレイ管理手段と、MapReduce処理管理手段と、を有し、
前記構造化オーバレイ管理手段が、複数の前記ノードが持つデータをノード間で負荷が均一化するように制御し、該制御がなされたデータを解析するために、各ノード間の接続が平衡木となるように構造化する構造化オーバレイ管理ステップと、
前記MapReduce処理管理手段が、前記構造化オーバレイネットワークに対して発信されるデータを蓄積し、該データ蓄積手段に蓄積されたデータを解析するための解析スキームを管理し、該解析スキームによる解析結果を他ノードに対して送信するとともに、他ノードから解析結果を受信して組み合わせるMapReduce処理管理ステップと、
を行うことを特徴とするデータの分散管理方法。 - 前記構造化オーバレイ管理ステップにおいて、複数の前記ノードが持つデータをノード間で負荷が均一化するように制御する際に、
自ノードが根ノードである場合に、前記平衡木の木構造に従って集約した各ノードの負荷情報に基づいて、所定の判別式により負荷が低いノードと負荷が高いノードを判別し、負荷が高いノードが管理するID空間の中からノード間で負荷が均一になるようなハッシュIDを選択し、負荷が低いノードに対して選択したハッシュIDを追加する
請求項7記載のデータの分散管理方法。 - コンピュータを、
請求項4乃至6のいずれか1項に記載のデータの分散管理装置の各手段として機能させるためのデータの分散管理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012108849A JP5818263B2 (ja) | 2012-05-10 | 2012-05-10 | データの分散管理システム及び装置及び方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012108849A JP5818263B2 (ja) | 2012-05-10 | 2012-05-10 | データの分散管理システム及び装置及び方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013235515A JP2013235515A (ja) | 2013-11-21 |
JP5818263B2 true JP5818263B2 (ja) | 2015-11-18 |
Family
ID=49761571
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012108849A Active JP5818263B2 (ja) | 2012-05-10 | 2012-05-10 | データの分散管理システム及び装置及び方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5818263B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103680143B (zh) * | 2013-12-30 | 2015-09-23 | 北京世纪高通科技有限公司 | 一种交通信息处理方法和装置 |
JP6519111B2 (ja) | 2014-07-18 | 2019-05-29 | 富士通株式会社 | データ処理制御方法、データ処理制御プログラムおよびデータ処理制御装置 |
CN104778245B (zh) * | 2015-04-09 | 2018-11-27 | 北方工业大学 | 基于海量车牌识别数据的相似轨迹挖掘方法及装置 |
JP6319694B2 (ja) * | 2015-08-11 | 2018-05-09 | 日本電信電話株式会社 | データキャッシュ方法、ノード装置及びプログラム |
KR101794696B1 (ko) | 2016-08-12 | 2017-11-07 | 서울시립대학교 산학협력단 | 이기종 프로세싱 타입을 고려한 태스크 스케쥴링 방법 및 분산 처리 시스템 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7418454B2 (en) * | 2004-04-16 | 2008-08-26 | Microsoft Corporation | Data overlay, self-organized metadata overlay, and application level multicasting |
-
2012
- 2012-05-10 JP JP2012108849A patent/JP5818263B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013235515A (ja) | 2013-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20170070567A1 (en) | Load balancing apparatus and load balancing method | |
Zarrin et al. | Resource discovery for distributed computing systems: A comprehensive survey | |
JP5818263B2 (ja) | データの分散管理システム及び装置及び方法及びプログラム | |
Ying et al. | Distributed operator placement and data caching in large-scale sensor networks | |
Khanli et al. | FRDT: footprint resource discovery tree for grids | |
Shao et al. | An efficient load-balancing mechanism for heterogeneous range-queriable cloud storage | |
Kang et al. | A cluster-based decentralized job dispatching for the large-scale cloud | |
Starks et al. | Mobile distributed complex event processing—Ubi Sumus? Quo vadimus? | |
Teranishi et al. | Dynamic data flow processing in edge computing environments | |
Achary et al. | Dynamic job scheduling using ant colony optimization for mobile cloud computing | |
US10061621B1 (en) | Managing resources in a configurable computing environment | |
Duan et al. | A novel load balancing scheme for mobile edge computing | |
Ebrahim et al. | Resilience and load balancing in fog networks: A multi-criteria decision analysis approach | |
Latif et al. | Resource discovery and scalability-aware routing in cloud federation using distributed meta-brokering paradigm | |
Xu et al. | Distributed decentralized collaborative monitoring architecture for cloud infrastructures | |
Graffi et al. | Skyeye. kom: An information management over-overlay for getting the oracle view on structured p2p systems | |
Cao et al. | Load-balancing schemes for a hierarchical peer-to-peer file search system | |
Qiao et al. | Load balancing in peer-to-peer systems using a diffusive approach | |
Nasim et al. | Mobile publish/subscribe system for intelligent transport systems over a cloud environment | |
Hanamakkanavar et al. | Load balancing in distributed systems: a survey | |
Nguyen et al. | The Method of Maintaining Data Consistency in Allocating Resources for the P2P Network Model | |
Antoine et al. | A generic API for load balancing in distributed systems for big data management | |
CN112988739B (zh) | 数据管理和处理方法、装置、计算机系统及可读存储介质 | |
Celaya et al. | Scalable architecture for allocation of idle CPUs in a P2P network | |
Ding et al. | Performing MapReduce on data centers with hierarchical structures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140714 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150528 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150810 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150819 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150915 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150924 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5818263 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |