JP6447147B2 - 振り分け装置、データ処理システム、振り分け方法、および、プログラム - Google Patents
振り分け装置、データ処理システム、振り分け方法、および、プログラム Download PDFInfo
- Publication number
- JP6447147B2 JP6447147B2 JP2015003404A JP2015003404A JP6447147B2 JP 6447147 B2 JP6447147 B2 JP 6447147B2 JP 2015003404 A JP2015003404 A JP 2015003404A JP 2015003404 A JP2015003404 A JP 2015003404A JP 6447147 B2 JP6447147 B2 JP 6447147B2
- Authority
- JP
- Japan
- Prior art keywords
- key
- data
- section
- input data
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
<概要>
図1は、第1の実施の形態にかかるデータ処理システム30の構成図である。データ処理システム30は、振り分け装置10と、当該振り分け装置10にネットワーク31で接続された複数台のデータ処理装置20を包含する。
図1が示すように、振り分け装置10は、振り分け表記憶部12、振り分け部13、および、キー範囲変更部14を包含する。
図2は、振り分け装置10の振り分け部13の動作フローチャートである。
本実施の形態の振り分け装置10は、効率よく分散データベースのアクセス均等化を図ることができる。その理由は、キー範囲変更部14が、各データ処理装置20に割り振られる入力データ量の偏り具合が小さくなるように、各データ処理装置20に割り当てられるキーの区間をシフトするからである。
本実施形態の振り分け装置10は、各データ処理装置20が処理データ表を保持していない場合にも適用することが出来る。この場合、キー範囲変更部14は、キー範囲変更要求および、キー範囲変更応答の受信(図3のS14及びS15)は行わなくて良い。また、データ処理装置20の処理部21は、この関連の処理、例えば、移動データの送受信(図5のS26乃至S30)を行わなくて良い。
図8は、第2の実施の形態にかかる振り分け装置10の構成図である。本実施の形態の振り分け装置10は、振り分け表記憶部12、振り分け部13、および、キー範囲変更部14を備える。
12 振り分け表記憶部
13 振り分け部
14 キー範囲変更部
20 データ処理装置
21 処理部
22 処理データ記憶部
30 データ処理システム
31 ネットワーク
Claims (10)
- キー値の範囲長の数値リングが分割された各区間と、処理手段とを、関連付ける振り分け表を記憶する振り分け表記憶手段と、
取得した入力データを、当該入力データから得られたキー値に関連付けられている前記処理手段に、振り分ける振り分け手段と、
前記区間のキーの区間を、前記区間の各々に振り分けられた前記入力データ数から求めたシフト量分ずらすキー範囲変更手段と、を備え、
前記キー範囲変更手段は、前記区間の各々に割り振られる前記入力データ数の偏り度合いが最小となる前記シフト量を決定して、前記区間の各々のキーの区間をずらす
振り分け装置。 - 前記キー範囲変更手段は、所定値以下のシフト量候補値を選択し、前記区間の各々の範囲を前記シフト量候補値分ずらした場合に前記区間の各々に割り振られる過去の前記入力データ数の偏り度合いを見積もり、前記偏り度合いが最小となるシフト量候補値を前記シフト量として決定して、前記区間の各々のキーの区間をずらす請求項1の振り分け装置。
- 前記キー範囲変更手段は、前記偏り度合いが最小となる前記シフト量候補値が複数ある場合、絶対値が最も小さい前記シフト量候補値を前記シフト量として決定する、
請求項2の振り分け装置。 - 前記偏り度合いは、前記区間の各々に割り振られる過去の入力データ数の最大値と最小値の差である、請求項1乃至3の何れか1項の振り分け装置。
- 請求項1乃至4の何れか1項の振り分け装置と、
関連付けられた前記区間の範囲に属するキー値を持つ前記入力データを前記振り分け装置から受信して、所定の処理を行う前記処理手段をおのおの備える複数のデータ処理装置と、を包含するデータ処理システム。 - 前記振り分け装置の前記キー範囲変更手段は、前記シフト量の通知を前記データ処理装置の各々に送信し、
前記データ処理装置の各々は、関連付けられた前記区間のキー値に対応するデータを格納する処理データ表を記憶する処理データ記憶手段を、さらに備え、
前記処理手段は、前記通知を受信すると、関連付けられた前記区間の範囲の第1の境界側のシフト量分のデータである第1の部分を、前記第1の境界側に隣接する前記区間に関連付けられた第1の他の前記データ処理装置に送信し、第2の他の前記データ処理装置から自装置に関連付けられた前記区間の範囲の第2の境界側のシフト量分のデータである第2の部分を受信して、自装置が備える処理データ表に対して前記第1の部分の削除、前記第2の部分の追加を実行する請求項5のデータ処理システム。 - 前記データ処理装置の前記処理手段は、前記振り分け装置から入力データを受信して、受信した入力データのキー値が自装置に関連付けられた区間の範囲内でなければ、入力データを前記振り分け装置に戻す、請求項5乃至6の何れか1項のデータ処理システム。
- キー値の範囲長の数値リングが分割された各区間と、処理手段とを、関連付ける振り分け表を記憶し、
取得した入力データを、当該入力データから得られたキー値に関連付けられている前記処理手段に振り分け、
前記区間のキーの区間を、前記区間の各々に振り分けられた前記入力データ数から求めたシフト量分ずらし、
前記区間の各々に割り振られる過去の前記入力データ数の偏り度合いが最小となるシフト量を決定して、前記区間の各々のキーの区間をずらす、振り分け方法。 - 前記偏り度合いは、前記区間の各々に割り振られる過去の入力データ数の最大値と最小値の差である、請求項8の振り分け方法。
- コンピュータに、請求項8乃至9の何れか1項の振り分け方法を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015003404A JP6447147B2 (ja) | 2015-01-09 | 2015-01-09 | 振り分け装置、データ処理システム、振り分け方法、および、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015003404A JP6447147B2 (ja) | 2015-01-09 | 2015-01-09 | 振り分け装置、データ処理システム、振り分け方法、および、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016128978A JP2016128978A (ja) | 2016-07-14 |
JP6447147B2 true JP6447147B2 (ja) | 2019-01-09 |
Family
ID=56384345
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015003404A Active JP6447147B2 (ja) | 2015-01-09 | 2015-01-09 | 振り分け装置、データ処理システム、振り分け方法、および、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6447147B2 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5600573B2 (ja) * | 2010-12-07 | 2014-10-01 | 日本放送協会 | 負荷分散装置及びプログラム |
JP2013045378A (ja) * | 2011-08-26 | 2013-03-04 | Fujitsu Ltd | ストレージ制御方法、情報処理装置およびプログラム |
WO2013046664A1 (ja) * | 2011-09-27 | 2013-04-04 | 日本電気株式会社 | 情報システム、管理装置、データ処理方法、データ構造、プログラム、および記録媒体 |
-
2015
- 2015-01-09 JP JP2015003404A patent/JP6447147B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016128978A (ja) | 2016-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107450979B (zh) | 一种区块链共识方法及装置 | |
US9645756B2 (en) | Optimization of in-memory data grid placement | |
US9154382B2 (en) | Information processing system | |
AU2015336357B2 (en) | Composite partition functions | |
US10394782B2 (en) | Chord distributed hash table-based map-reduce system and method | |
US8898520B1 (en) | Method of assessing restart approach to minimize recovery time | |
EP3295629B1 (en) | Query plan and operation-aware communication buffer management | |
CN104166738A (zh) | 数据库查询处理的方法及装置 | |
US9141677B2 (en) | Apparatus and method for arranging query | |
CN104750690A (zh) | 一种查询处理方法、装置及系统 | |
EP4198861A1 (en) | Information processing method and apparatus for blockchain network, and device and storage medium | |
US20160034482A1 (en) | Method and apparatus for configuring relevant parameters of mapreduce applications | |
CN102934412A (zh) | 服务器集群 | |
US11301255B2 (en) | Method, apparatus, device, and storage medium for performing processing task | |
WO2017169471A1 (ja) | 処理システムおよび処理方法 | |
JP6447147B2 (ja) | 振り分け装置、データ処理システム、振り分け方法、および、プログラム | |
JP2009116780A (ja) | 生産計画立案システムおよび生産計画立案方法 | |
CN110413427B (zh) | 订阅数据拉取方法、装置、设备及存储介质 | |
CN109831385B (zh) | 一种消息处理方法、装置及电子设备 | |
US20170168873A1 (en) | Method, device, and system for deciding on a distribution path of a task | |
JP2013134636A (ja) | 計算機負荷制御方法 | |
CN117424903A (zh) | 边缘节点管理方法、装置、设备和存储介质 | |
CN111817895A (zh) | 一种主控节点切换方法、装置、设备及存储介质 | |
JP2015095075A (ja) | ジョブ管理プログラム、ジョブ管理方法及びジョブ管理装置 | |
CN112911009A (zh) | 访问负载均衡系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180820 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180828 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181019 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6447147 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |