JP6937337B2 - 分散処理方法、分散処理システム及びサーバ - Google Patents
分散処理方法、分散処理システム及びサーバ Download PDFInfo
- Publication number
- JP6937337B2 JP6937337B2 JP2019091362A JP2019091362A JP6937337B2 JP 6937337 B2 JP6937337 B2 JP 6937337B2 JP 2019091362 A JP2019091362 A JP 2019091362A JP 2019091362 A JP2019091362 A JP 2019091362A JP 6937337 B2 JP6937337 B2 JP 6937337B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- output
- division
- order
- distributed processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2023—Failover techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2048—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant where the redundant components share neither address space nor persistent storage
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/40—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass for recovering from a failure of a protocol instance or entity, e.g. service redundancy protocols, protocol state redundancy or protocol service redirection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2023—Failover techniques
- G06F11/203—Failover techniques using migration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/805—Real-time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/82—Solving problems relating to consistency
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
前記従来例の半順序配信技術は、処理部間で不整合が生じない順序で、クライアント装置から送信されたデータを処理部へ出力する。サーバは、クライアント装置から受信したデータを相互に交換して、サーバ間でデータの出力順序について競合が生じないことを合意してから、データを処理部へ出力している。
<結び>
2 分割制御装置
3 クライアント装置
11 プロセッサ
12 メモリ
14 可換性判定部
15 提案集積部
16 合意判定部
17 競合解決部
18 分割点管理部
19 処理部
100 半順序配信部
200 出力集合
202 集合番号
300 可換性判定テーブル
400 分割制御部
Claims (18)
- ネットワークを介して接続された複数の計算機でデータの配信を行う分散処理方法であって、
前記計算機が、前記データを受信する受信ステップと、
前記計算機が、前記データの出力順序を交換した場合に出力結果が一致するか否かを予め記憶している可換性判定情報に基づいて、前記データの出力順序が前記複数の計算機において一致しない場合でも前記データを処理した結果の出力順序が一致する前記データの出力順序を決定する出力順序決定ステップと、
前記計算機が、前記出力するデータを出力集合へ格納する際に、前記計算機間における出力順序を、前記データを処理した結果の出力順序を前記複数の計算機において一致させた場合の出力順序と一致する順序で複数の部分集合に分割して前記出力集合に格納して前記データの出力結果の一致を管理する管理ステップと、
を含むことを特徴とする分散処理方法。 - 請求項1に記載の分散処理方法であって、
前記計算機が、前記配信の対象のデータと出力順序が交換できない前記配信における制御用のデータである分割命令を出力する分割命令出力ステップをさらに含み、
前記管理ステップでは、
前記分割命令に基づいて、当該分割命令を前記出力集合へ格納する際に分割点を生成し、前記分割点により前記出力集合を前記部分集合の単位で分割して管理することを特徴とする分散処理方法。 - 請求項2に記載の分散処理方法であって、
前記管理ステップでは、
前記分割命令に基づいて生成された前記分割点により前記出力集合を複数の部分集合に分割し、前記分割点の出力順に番号を付与して前記部分集合を管理することを特徴とする分散処理方法。 - 請求項3に記載の分散処理方法であって、
前記出力順序決定ステップは、
前記配信を行う前記データについてデータの出力順序を交換した場合に出力結果が一致するかを判定する可換性判定ステップを含み、
前記可換性判定ステップに基づいて、前記データの出力順序を交換した場合に、当該データを処理した結果が一致するデータと一致しないデータに分類して前記可換性判定情報に記憶し、前記分類ごとに分割命令を予め定義した前記可換性判定情報に基づいて、前記データの出力順序を決定することを特徴とする分散処理方法。 - 請求項2に記載の分散処理方法であって、
前記分割命令出力ステップでは、
前記分割命令を所定の周期又は所定のタイミングで出力することを特徴とする分散処理方法。 - 請求項2に記載の分散処理方法であって、
前記計算機は、
前記データを出力するクライアント装置と、
前記受信ステップと、出力順序決定ステップと、管理ステップを実行するサーバを含み、
前記クライアント装置と前記サーバのいずれか一方で、前記分割命令出力ステップを実行することを特徴とする分散処理方法。 - 請求項3に記載の分散処理方法であって、
前記計算機が、前記番号順に前記部分集合を削除する削除ステップをさらに含み、
前記出力順序決定ステップでは、
前記配信により前記計算機間で前記データを交換する際に前記番号を含めて交換を実施し、前記交換された番号が付与された部分集合が既に削除済みと判断された場合に、前記交換した番号が付与された部分集合の既に削除済みデータを破棄することを特徴とする分散処理方法。 - 請求項3に記載の分散処理方法であって、
前記管理ステップでは、
前記部分集合を単一のデータとして扱うことで、前記配信の出力集合を前記データの出力順序を前記複数の計算機において一致させた場合の配信の出力集合として扱うことを特徴とする分散処理方法。 - 請求項3に記載の分散処理方法であって、
前記出力順序決定ステップでは、
前記複数の計算機において、データの出力順序が交換できないデータを受け付けた場合には他の計算機との合意に応じて出力順序を決定し、
前記管理ステップでは、
前記出力順序が決定された前記出力順序が交換できないデータを前記分割命令として扱うことを特徴とする分散処理方法。 - ネットワークを介して接続された複数の計算機でデータの配信を行う分散処理システムであって、
前記計算機は、前記データを受信し、前記データの出力順序を交換した場合に出力結果が一致するか否かを予め記憶している可換性判定情報に基づいて、前記データの出力順序が前記複数の計算機において一致しない場合でも前記データを処理した結果の出力順序が一致する前記データの出力順序を決定し、前記データを出力集合へ格納する際に、前記計算機間における出力順序を、前記データを処理した結果の出力順序を前記複数の計算機において一致させた場合の出力順序と一致する順序で複数の部分集合に分割して前記出力集合へ格納して前記データの出力結果の一致を管理することを特徴とする分散処理システム。 - 請求項10に記載の分散処理システムであって、
前記計算機は、
前記配信の対象のデータと出力順序が交換できない前記配信における制御用のデータである分割命令を出力する分割制御部と、
前記分割命令を受け付けて、当該分割命令を前記出力集合に格納する際に分割点を生成し、前記分割点により前記出力集合を前記部分集合の単位で分割して管理する分割点管理部と、
を有することを特徴とする分散処理システム。 - 請求項11に記載の分散処理システムであって、
前記分割点管理部は、
前記分割命令に基づいて生成された前記分割点により前記出力集合を複数の部分集合に分割し、前記分割点の出力順に番号を付与して前記部分集合を管理することを特徴とする分散処理システム。 - データの出力順序を交換した場合に出力結果が一致するか否かを予め記憶している可換性判定情報に基づいて、前記データの出力順序が前記複数の計算機において一致しない場合でも前記データを処理した結果の出力順序が一致する配信を行うサーバであって、
前記サーバは、
前記データを受信し、前記配信によって前記データの出力順序を決定し、前記出力するデータを出力集合へ格納する際に、前記サーバ間における出力順序を、前記データを処理した結果の出力順序を前記複数の計算機において一致させた場合の出力順序と一致する順序で複数の部分集合に分割して前記出力集合へ格納して前記データの出力結果の一致を管理することを特徴とするサーバ。 - 請求項13に記載のサーバであって、
前記サーバは、
前記配信の対象のデータと出力順序が交換できない前記配信における制御用のデータである分割命令を出力する分割制御部と、
前記分割命令を受け付けて、当該分割命令を前記出力集合に格納する際に分割点を生成し、前記分割点により前記出力集合を前記部分集合の単位で分割して管理する分割点管理部と、
を有することを特徴とするサーバ。 - 請求項14に記載のサーバであって、
前記分割点管理部は、
前記分割命令に基づいて生成された前記分割点により前記出力集合を複数の部分集合に分割し、前記分割点の出力順に番号を付与して前記部分集合を管理することを特徴とするサーバ。 - 請求項1に記載の分散処理方法であって、
前記可換性判定情報は、
前記データと、既に受け付けたデータのうち未出力のデータについて可換又は競合を予め設定され、
前記出力順序決定ステップでは、
前記データと、前記未出力のデータが競合の場合には、前記データを処理した結果の出力順序を前記サーバ間で一致させることを特徴とする分散処理方法。 - 請求項10に記載の分散処理システムであって、
前記可換性判定情報は、
前記データと、既に受け付けたデータのうち未出力のデータについて可換又は競合を予め設定され、
前記出力順序の決定では、
前記データと、前記未出力のデータが競合の場合には、前記データを処理した結果の出力順序を前記サーバ間で一致させることを特徴とする分散処理システム。 - 請求項13に記載のサーバであって、
前記可換性判定情報は、
前記データと、既に受け付けたデータのうち未出力のデータについて可換又は競合を予め設定され、
前記出力順序の決定では、
前記データと、前記未出力のデータが競合の場合には、前記データを処理した結果の出力順序を前記サーバ間で一致させることを特徴とするサーバ。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019091362A JP6937337B2 (ja) | 2019-05-14 | 2019-05-14 | 分散処理方法、分散処理システム及びサーバ |
US16/812,704 US11354206B2 (en) | 2019-05-14 | 2020-03-09 | Distributed processing method, distributed processing system, and server |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019091362A JP6937337B2 (ja) | 2019-05-14 | 2019-05-14 | 分散処理方法、分散処理システム及びサーバ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020187526A JP2020187526A (ja) | 2020-11-19 |
JP6937337B2 true JP6937337B2 (ja) | 2021-09-22 |
Family
ID=73222753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019091362A Active JP6937337B2 (ja) | 2019-05-14 | 2019-05-14 | 分散処理方法、分散処理システム及びサーバ |
Country Status (2)
Country | Link |
---|---|
US (1) | US11354206B2 (ja) |
JP (1) | JP6937337B2 (ja) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3251182B2 (ja) * | 1996-10-17 | 2002-01-28 | 三菱電機株式会社 | ミラーディスク制御方法及びミラーディスク制御方式 |
GB0202600D0 (en) * | 2002-02-05 | 2002-03-20 | Ibm | Consolidation of replicated data |
JP2005215729A (ja) * | 2004-01-27 | 2005-08-11 | Hitachi Global Storage Technologies Netherlands Bv | データ伝送制御方法及び記憶装置 |
US8046413B2 (en) * | 2005-02-14 | 2011-10-25 | Microsoft Corporation | Automatic commutativity detection for generalized paxos |
US20150112664A1 (en) * | 2010-12-09 | 2015-04-23 | Rage Frameworks, Inc. | System and method for generating a tractable semantic network for a concept |
US9846618B2 (en) * | 2013-12-27 | 2017-12-19 | Oracle International Corporation | System and method for supporting flow control in a distributed data grid |
US10545949B2 (en) * | 2014-06-03 | 2020-01-28 | Hitachi, Ltd. | Data management system and data management method |
EP3193256B1 (en) * | 2016-01-12 | 2018-08-01 | Politechnika Poznanska | A fault-tolerant data processing computer system and method for implementing a distributed two-tier state machine |
-
2019
- 2019-05-14 JP JP2019091362A patent/JP6937337B2/ja active Active
-
2020
- 2020-03-09 US US16/812,704 patent/US11354206B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20200364123A1 (en) | 2020-11-19 |
US11354206B2 (en) | 2022-06-07 |
JP2020187526A (ja) | 2020-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11886925B2 (en) | Managing partitions in a scalable environment | |
US10635500B2 (en) | Decoupling partitioning for scalability | |
US8868711B2 (en) | Dynamic load balancing in a scalable environment | |
JP6259868B2 (ja) | データ分配方法、データ記憶方法、関係する装置及びシステム | |
Crain et al. | Evaluating the red belly blockchain | |
JP7036665B2 (ja) | データ管理方法およびデータ管理システム | |
CN111932257B (zh) | 一种区块链并行化处理方法及装置 | |
US10102098B2 (en) | Method and system for recommending application parameter setting and system specification setting in distributed computation | |
CN114185558A (zh) | 基于K8s的原生应用选主方法、装置及存储介质 | |
JP6937337B2 (ja) | 分散処理方法、分散処理システム及びサーバ | |
CN112631994A (zh) | 数据迁移方法及系统 | |
CN116954816A (zh) | 容器集群控制方法、装置、设备及计算机存储介质 | |
US11567841B1 (en) | Database system | |
CN114328434A (zh) | 数据处理系统、方法、设备及存储介质 | |
Konwar et al. | SNOW revisited: Understanding when ideal READ transactions are possible | |
CN113901076A (zh) | 数据同步方法、装置、服务器及存储介质 | |
KR101654969B1 (ko) | 가상화 클러스터 환경에서 네임 노드를 할당하는 방법 및 장치 | |
CN113918531A (zh) | 分布式表格系统的数据同步方法、装置以及服务端设备 | |
CN111342995A (zh) | 同步装置、方法和服务器系统 | |
CN111857548A (zh) | 数据读取方法、装置及系统 | |
EP3193482B1 (en) | Message processing method and apparatus | |
US20230179423A1 (en) | Method and apparatus for storing blockchain transaction data and distributed storage system using the same | |
EP4202675A1 (en) | Information processing device, information processing method, and information processing program | |
CN116166438A (zh) | 集群扩容方法、装置、电子设备及存储介质 | |
CN117271619A (zh) | 数据库的序列处理系统、方法、装置以及计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210119 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210518 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210817 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210830 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6937337 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |