JP6547342B2 - 分散処理制御装置 - Google Patents
分散処理制御装置 Download PDFInfo
- Publication number
- JP6547342B2 JP6547342B2 JP2015052264A JP2015052264A JP6547342B2 JP 6547342 B2 JP6547342 B2 JP 6547342B2 JP 2015052264 A JP2015052264 A JP 2015052264A JP 2015052264 A JP2015052264 A JP 2015052264A JP 6547342 B2 JP6547342 B2 JP 6547342B2
- Authority
- JP
- Japan
- Prior art keywords
- processing
- association
- degree
- unit
- distributed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
処理を受け付ける処理受付部と、
前記処理受付部が受け付けた処理の関連度を取得する関連度取得部と、
前記関連度取得部が取得した処理の関連度に基づいて、前記処理受付部が受け付けた処理を複数の処理ノードに対して分散指示する分散処理指示部と、
を有する
という構成を採る。
処理を受け付け、
受け付けた処理の関連度を取得し、
取得した前記処理の関連度に基づいて、受け付けた前記処理を複数の処理ノードに対して分散指示する
という構成を採る。
分散処理制御装置に、
処理を受け付ける処理受付手段と、
前記処理受付手段が受け付けた処理の関連度を取得する関連度取得手段と、
前記関連度取得手段が取得した処理の関連度に基づいて、前記処理受付手段が受け付けた処理を複数の処理ノードに対して分散指示する分散処理指示手段と、
を実現させるためのプログラムである。
図1は、分散処理システムの全体の構成を示すブロック図である。図2は、分散処理計画ノード1の構成を示すブロック図である。図3は、処理情報14の構成例を示す図である。図4は、処理関連度情報15の構成例を示す図である。図5は、処理情報14の具体的な一例を示す図である。図6は、実行計画生成部13が処理を分割する際に利用する情報の一例である。図7は、処理情報14の他の具体的な一例を示す図である。図8は、処理関連度情報の具体的な一例を示す図である。図9は、実行計画生産部13において処理を集約した後、再計算した処理関連度情報15の具体的な一例を示す図である。図10は、実行計画生産部13が処理を分割する際に用いる情報の一例を示す図である。図11は、実行計画生産部13において処理を分割した後、再計算した処理関連度情報15の具体的な一例を示す図である。図12は、分散処理計画ノード1の動作の一例を示すフローチャートである。
(処理名) (処理属性)
・処理1 売上明細データ取得 データ取得(売上明細)
・処理2 購入者データ取得 データ取得(購入者)
・処理3 購入時期の集計 Map処理(購入日)
・処理4 年代の集計 Map処理(購入者年齢)
・処理5 男女の集計 Map処理(購入者性別)
(処理名) (処理属性)
・処理1 文書データ取得 データ取得(文書)
・処理2 単語の集計 Map処理(単語)
・単語の集計 5ノード
・購入時期の集計 10ノード
・年代の集計 10ノード
・男女の集計 10ノード
・単語の集計 5→0ノード
・購入時期の集計 10→5ノード
・年代の集計 10ノード
・男女の集計 10ノード
・購入時期+単語の集計 0→5ノード
・単語の集計 5ノード
・購入時期の集計 10ノード
・年代の集計 10→20ノード
・男女の集計 10ノード
本発明の第2の実施形態では、処理依頼元ノードから依頼された処理(Map処理)の実行を、各処理ノードに対して分散指示する分散処理計画ノード2について説明する。後述するように、本実施形態における分散処理計画ノード2は、各処理ノードの信頼度を加味して、各処理ノードに対して分散指示することになる。
本発明の第3の実施形態では、処理を受け付けて、受け付けた処理を分散指示する分散処理制御装置3について説明する。なお、本実施形態では、分散処理制御装置3の構成の概略について説明する。
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における分散処理制御装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
処理を受け付ける処理受付部と、
前記処理受付部が受け付けた処理の関連度を取得する関連度取得部と、
前記関連度取得部が取得した処理の関連度に基づいて、前記処理受付部が受け付けた処理を複数の処理ノードに対して分散指示する分散処理指示部と、
を有する
分散処理制御装置。
付記1に記載の分散処理制御装置であって、
前記分散処理指示部は、前記複数の処理ノードに対して分散指示する際にある処理ノードに対して複数の処理を指示する場合、前記関連度に基づいて選択した前記複数の処理を集約した処理を指示する
分散処理制御装置。
付記1又は2に記載の分散処理制御装置であって、
前記分散処理指示部は、前記処理受付部が受け付けた処理を実行する際に必要となる処理ノードの数が処理を実行可能な処理ノードの数よりも大きい場合、前記関連度に基づいて選択した複数の処理を集約し、当該集約した処理を含む処理を前記複数の処理ノードに対して分散指示する
分散処理制御装置。
付記3に記載の分散処理制御装置であって、
前記分散処理指示部は、前記集約した処理を含む処理の関連度である集約後関連度を算出し、当該算出した集約後関連度に基づいて前記集約した処理を含む処理から選択した複数の処理を再度集約し、当該再度集約した処理を含む処理を前記複数の処理ノードに対して分散指示する
分散処理制御装置。
付記1乃至4のいずれかに記載の分散処理制御装置であって、
前記分散処理指示部は、前記処理受付部が受け付けた処理を実行する際に必要となる処理ノードの数が処理を実行可能な処理ノードの数よりも小さい場合、前記関連度に基づいて選択した処理の一部を分割し、当該分割した処理を含む処理を前記複数の処理ノードに対して分散指示する
分散処理制御装置。
付記5に記載の分散処理制御装置であって、
前記分散処理指示部は、前記分割した処理を含む処理の関連度である分割後関連度を算出し、当該算出した分割後関連度に基づいて前記分割した処理を含む処理から選択した処理の一部を再度分割し、当該再度分割した処理を含む処理を前記複数の処理ノードに対して分散指示する
分散処理制御装置。
付記1乃至6のいずれかに記載の分散処理制御装置であって、
前記分散処理指示部は、処理ノードに対する信頼度を示す信頼度情報を取得し、前記関連度と、前記信頼度情報と、に基づいて、前記処理受付部が受け付けた処理を複数の処理ノードに対して分散指示する
分散処理制御装置。
付記1乃至7のいずれかに記載の分散処理制御装置であって、
前記処理受付部は、キーとバリューのペアを生成するMap処理を伴う一連の処理であるジョブを受け付けることで、当該受け付けたジョブに含まれる前記Map処理を受け付け、
前記関連度取得部は、前記処理受付部が単位時間あたりに受け付けたジョブに含まれる前記Map処理の関連度を算出し、
前記分散処理指示部は、前記Map処理の関連度に基づいて、前記Map処理を複数の処理ノードに対して分散指示する
分散処理制御装置。
処理を受け付け、
受け付けた処理の関連度を取得し、
取得した前記処理の関連度に基づいて、受け付けた前記処理を複数の処理ノードに対して分散指示する
分散処理制御方法。
付記9に記載の分散処理制御方法であって、
前記複数の処理ノードに対して分散指示する際にある処理ノードに対して複数の処理を指示する場合、前記関連度に基づいて選択した前記複数の処理を集約した処理を指示する
分散処理制御方法。
付記9又は9−1に記載の分散処理制御方法であって、
処理を実行する際に必要となる処理ノードの数が処理を実行可能な処理ノードの数よりも大きい場合、前記関連度に基づいて選択した複数の処理を集約し、当該集約した処理を含む処理を前記複数の処理ノードに対して分散指示する
分散処理制御方法。
分散処理制御装置に、
処理を受け付ける処理受付手段と、
前記処理受付手段が受け付けた処理の関連度を取得する関連度取得手段と、
前記関連度取得手段が取得した処理の関連度に基づいて、前記処理受付手段が受け付けた処理を複数の処理ノードに対して分散指示する分散処理指示手段と、
を実現させるための
プログラム。
付記10に記載のプログラムであって、
前記分散処理指示手段は、前記複数の処理ノードに対して分散指示する際にある処理ノードに対して複数の処理を指示する場合、前記関連度に基づいて選択した前記複数の処理を集約した処理を指示する
プログラム。
付記10又は10−1に記載のプログラムであって、
前記分散処理指示手段は、前記処理受付手段が受け付けた処理を実行する際に必要となる処理ノードの数が処理を実行可能な処理ノードの数よりも大きい場合、前記関連度に基づいて選択した複数の処理を集約し、当該集約した処理を含む処理を前記複数の処理ノードに対して分散指示する
プログラム。
11 処理受付部
12 関連度解析部
13 実行計画生成部
14 分散処理命令部
15 処理情報
16 処理関連度情報
21 ノード信頼度情報
3 分散処理制御装置
31 処理受付部
32 関連度取得部
33 分散処理指示部
Claims (10)
- 複数の処理を受け付ける処理受付部と、
前記処理受付部が受け付けた処理のペアそれぞれについて、ある処理が他の処理とどの程度関連があるかを示し、関連があるほど予め定められた範囲内で高い値となる、予め定められた値である関連度を取得する関連度取得部と、
前記関連度取得部が取得した処理のペアごとの関連度に基づいて、実行予定の処理の中で関連度の最も低い処理のペアを集約する、または、実行予定の処理の中で組み合わせた際に関連度が最も高くなる組み合わせを分割することにより、実行予定の処理の中で関連度の値が高くなる処理を別々の処理ノードで実行するように、前記処理受付部が受け付けた処理を複数の前記処理ノードに対して分散指示する分散処理指示部と、
を有する
分散処理制御装置。 - 請求項1に記載の分散処理制御装置であって、
前記分散処理指示部は、前記複数の処理ノードに対して分散指示する際にある処理ノードに対して複数の処理を指示する場合、前記関連度に基づいて選択した前記複数の処理を集約した処理を指示する
分散処理制御装置。 - 請求項1又は2に記載の分散処理制御装置であって、
前記分散処理指示部は、前記処理受付部が受け付けた処理を実行する際に必要となる処理ノードの数が処理を実行可能な処理ノードの数よりも大きい場合、前記関連度に基づいて選択した複数の処理を集約し、当該集約した処理を含む処理を前記複数の処理ノードに対して分散指示する
分散処理制御装置。 - 請求項3に記載の分散処理制御装置であって、
前記分散処理指示部は、前記集約した処理を含む処理の関連度であり、関連があるほど予め定められた範囲内で高い値となる集約後関連度を、集約前の処理のペアごとの関連度に基づいて算出し、当該算出した集約後関連度に基づいて前記集約した処理を含む処理から選択した複数の処理を再度集約し、当該再度集約した処理を含む処理を前記複数の処理ノードに対して分散指示する
分散処理制御装置。 - 請求項1乃至4のいずれかに記載の分散処理制御装置であって、
前記分散処理指示部は、前記処理受付部が受け付けた処理を実行する際に必要となる処理ノードの数が処理を実行可能な処理ノードの数よりも小さい場合、前記関連度に基づいて選択した処理の一部を分割し、当該分割した処理を含む処理を前記複数の処理ノードに対して分散指示する
分散処理制御装置。 - 請求項5に記載の分散処理制御装置であって、
前記分散処理指示部は、前記分割した処理を含む処理の関連度であり、関連があるほど予め定められた範囲内で高い値となる分割後関連度を、分割前の処理のペアごとの関連度に基づいて算出し、当該算出した分割後関連度に基づいて前記分割した処理を含む処理から選択した処理の一部を再度分割し、当該再度分割した処理を含む処理を前記複数の処理ノードに対して分散指示する
分散処理制御装置。 - 請求項1乃至6のいずれかに記載の分散処理制御装置であって、
前記分散処理指示部は、処理ノードに対する信頼度を示す信頼度情報を取得し、前記関連度と、前記信頼度情報と、に基づいて、前記処理受付部が受け付けた処理を複数の処理ノードに対して分散指示する
分散処理制御装置。 - 請求項1乃至7のいずれかに記載の分散処理制御装置であって、
前記処理受付部は、キーとバリューのペアを生成するMap処理を伴う一連の処理であるジョブを受け付けることで、当該受け付けたジョブに含まれる前記Map処理を受け付け、
前記関連度取得部は、前記処理受付部が単位時間あたりに受け付けたジョブに含まれる前記Map処理の関連度を算出し、
前記分散処理指示部は、前記Map処理の関連度に基づいて、前記Map処理を複数の処理ノードに対して分散指示する
分散処理制御装置。 - 分散処理制御装置が、
複数の処理を受け付け、
受け付けた処理のペアそれぞれについて、ある処理が他の処理とどの程度関連があるかを示し、関連があるほど予め定められた範囲内で高い値となる、予め定められた値である関連度を取得し、
取得した処理のペアごとの関連度に基づいて、実行予定の処理の中で関連度の最も低い処理のペアを集約する、または、実行予定の処理の中で組み合わせた際に関連度が最も高くなる組み合わせを分割することにより、実行予定の処理の中で関連度の値が高くなる処理別々の処理ノードで実行するように、前記処理受付部が受け付けた処理を複数の前記処理ノードに対して分散指示する
分散処理制御方法。 - 分散処理制御装置に、
複数の処理を受け付ける処理受付手段と、
前記処理受付手段が受け付けた処理のペアそれぞれについて、ある処理が他の処理とどの程度関連があるかを示し、関連があるほど予め定められた範囲内で高い値となる、予め定められた値である関連度を取得する関連度取得手段と、
前記関連度取得手段が取得した処理のペアごとの関連度に基づいて、実行予定の処理の中で関連度の最も低い処理のペアを集約する、または、実行予定の処理の中で組み合わせた際に関連度が最も高くなる組み合わせを分割することにより、実行予定の処理の中で関連度の値が高くなる処理別々の処理ノードで実行するように、前記処理受付手段が受け付けた処理を複数の前記処理ノードに対して分散指示する分散処理指示手段と、
を実現させるための
プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015052264A JP6547342B2 (ja) | 2015-03-16 | 2015-03-16 | 分散処理制御装置 |
US15/057,304 US10503560B2 (en) | 2015-03-16 | 2016-03-01 | Distributed processing control device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015052264A JP6547342B2 (ja) | 2015-03-16 | 2015-03-16 | 分散処理制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016173643A JP2016173643A (ja) | 2016-09-29 |
JP6547342B2 true JP6547342B2 (ja) | 2019-07-24 |
Family
ID=56923835
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015052264A Active JP6547342B2 (ja) | 2015-03-16 | 2015-03-16 | 分散処理制御装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10503560B2 (ja) |
JP (1) | JP6547342B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3432507B1 (de) * | 2017-07-20 | 2019-09-11 | Siemens Aktiengesellschaft | Überwachung einer blockchain |
KR20210023073A (ko) * | 2019-08-22 | 2021-03-04 | 삼성전자주식회사 | 전자장치 및 그 제어방법 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005310120A (ja) * | 2004-03-23 | 2005-11-04 | Hitachi Ltd | 計算機システム及びタスク割当方法 |
US20100205075A1 (en) * | 2009-02-11 | 2010-08-12 | Yahoo! Inc. | Large-scale item affinity determination using a map reduce platform |
JP2010218307A (ja) | 2009-03-17 | 2010-09-30 | Hitachi Ltd | 分散計算制御装置及び方法 |
US8321870B2 (en) * | 2009-08-14 | 2012-11-27 | General Electric Company | Method and system for distributed computation having sub-task processing and sub-solution redistribution |
JP5664098B2 (ja) | 2010-10-05 | 2015-02-04 | 富士通株式会社 | 複合イベント分散装置、複合イベント分散方法および複合イベント分散プログラム |
JP5478526B2 (ja) | 2011-01-31 | 2014-04-23 | 日本電信電話株式会社 | データ分析及び機械学習処理装置及び方法及びプログラム |
US9137304B2 (en) | 2011-05-25 | 2015-09-15 | Alcatel Lucent | Method and apparatus for achieving data security in a distributed cloud computing environment |
US20130219394A1 (en) * | 2012-02-17 | 2013-08-22 | Kenneth Jerome GOLDMAN | System and method for a map flow worker |
JP5853866B2 (ja) * | 2012-06-05 | 2016-02-09 | 富士通株式会社 | 割当プログラム、割当装置、および割当方法 |
US9471390B2 (en) * | 2013-01-16 | 2016-10-18 | International Business Machines Corporation | Scheduling mapreduce jobs in a cluster of dynamically available servers |
CN103970604B (zh) * | 2013-01-31 | 2017-05-03 | 国际商业机器公司 | 基于MapReduce架构实现图处理的方法和装置 |
US9424274B2 (en) * | 2013-06-03 | 2016-08-23 | Zettaset, Inc. | Management of intermediate data spills during the shuffle phase of a map-reduce job |
-
2015
- 2015-03-16 JP JP2015052264A patent/JP6547342B2/ja active Active
-
2016
- 2016-03-01 US US15/057,304 patent/US10503560B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016173643A (ja) | 2016-09-29 |
US10503560B2 (en) | 2019-12-10 |
US20160274954A1 (en) | 2016-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190220298A1 (en) | A method and system for scaling resources, and a computer program product | |
JP2014032674A (ja) | 仮想マシンのリソース配置システム及びその方法 | |
US20140129609A1 (en) | Computation of Componentized Tasks Based on Availability of Data for the Tasks | |
Fernandez-Viagas et al. | A new set of high-performing heuristics to minimise flowtime in permutation flowshops | |
CN106959894B (zh) | 资源分配方法和装置 | |
CN105808347B (zh) | 集群服务器部署计算方法及装置 | |
JP6953800B2 (ja) | シミュレーションジョブを実行するためのシステム、コントローラ、方法、及びプログラム | |
Varghese et al. | Cloud benchmarking for maximising performance of scientific applications | |
CN104794058B (zh) | 一种云桌面虚拟环境性能的测试方法 | |
US20150347509A1 (en) | Optimizing performance in cep systems via cpu affinity | |
CN105488134A (zh) | 大数据处理方法及大数据处理装置 | |
JP6547342B2 (ja) | 分散処理制御装置 | |
WO2013157507A1 (ja) | 生産シミュレーション装置及び生産シミュレーション方法 | |
JP2019079104A (ja) | データ解析システム及び施策の生成方法 | |
JP6839673B2 (ja) | アプリケーション分割装置、方法およびプログラム | |
US9529688B2 (en) | Performance evaluation device and performance evaluation method | |
Wang et al. | A resource allocation mode based on DEA models and elasticity analysis | |
US20150324723A1 (en) | Regulating application task development | |
Liu et al. | A survey of speculative execution strategy in MapReduce | |
JP6163926B2 (ja) | 仮想マシン管理装置、仮想マシン管理方法、及びプログラム | |
Akyüz et al. | Solving the multi-commodity capacitated multi-facility Weber problem using Lagrangean relaxation and a subgradient-like algorithm | |
Bhattacharya et al. | Evaluating distributed computing infrastructures: an empirical study comparing Hadoop deployments on cloud and local systems | |
Li et al. | Inverse DEA model with considering returns to scale and elasticity | |
CN109669668B (zh) | 一种系统性能测试中实现模拟交易执行的方法和装置 | |
Orland et al. | A case study on addressing complex load imbalance in OpenMP |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180925 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181101 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190205 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190424 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190508 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190610 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6547342 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |