JP7158801B2 - グラフデータ処理方法、グラフデータの計算タスクの配布方法、装置、コンピュータプログラム、及びコンピュータ機器 - Google Patents
グラフデータ処理方法、グラフデータの計算タスクの配布方法、装置、コンピュータプログラム、及びコンピュータ機器 Download PDFInfo
- Publication number
- JP7158801B2 JP7158801B2 JP2020563591A JP2020563591A JP7158801B2 JP 7158801 B2 JP7158801 B2 JP 7158801B2 JP 2020563591 A JP2020563591 A JP 2020563591A JP 2020563591 A JP2020563591 A JP 2020563591A JP 7158801 B2 JP7158801 B2 JP 7158801B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- graph
- node
- blockchain network
- computation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
- H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
- H04L9/3239—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions involving non-keyed hash functions, e.g. modification detection codes [MDCs], MD5, SHA or RIPEMD
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
- H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/12—Applying verification of the received information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
- H04L9/0643—Hash functions, e.g. MD5, SHA, HMAC or f9 MAC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/50—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using hash chains, e.g. blockchains or hash trees
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- Power Engineering (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Debugging And Monitoring (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
処理対象グラフデータから分割されたサブグラフデータを取得するステップと、
前記サブグラフデータに対する計算タスクを実行することにより、相応のグローバルデータ及びローカルデータを取得するステップと、
前記グローバルデータをブロックチェーンネットワークに書き込むステップであって、前記ブロックチェーンネットワークにおけるグローバルデータが、前記分散型計算ノードクラスタによって更新されるものである、ステップと、
前記ブロックチェーンネットワークから最新のグローバルデータを取得するステップと、
取得した最新のグローバルデータと、前記ローカルデータとに基づいて、反復停止条件が満たされるまで、前記サブグラフデータに対する計算タスクを反復実行して、計算結果を取得するステップと、を含む。
前記計算管理モジュールは、処理対象グラフデータから分割されたサブグラフデータを取得し、
前記計算管理モジュールは、さらに、前記サブグラフデータに対する計算タスクを実行することにより、相応のグローバルデータ及びローカルデータを取得し、
前記通信モジュールは、前記グローバルデータをブロックチェーンネットワークに書き込み、前記ブロックチェーンネットワークにおけるグローバルデータが、分散型計算ノードクラスタによって更新されるものであり、
前記通信モジュールは、さらに、前記ブロックチェーンネットワークから最新のグローバルデータを取得し、
前記計算管理モジュールは、さらに、取得された最新のグローバルデータと、前記ローカルデータとに基づいて、反復停止条件が満たされるまで、前記サブグラフデータに対する計算タスクを反復実行して、計算結果を取得する。
処理対象グラフデータに対応するタスク情報を取得するステップと、
新たなブロックを作成するステップと、
前記タスク情報を前記新たなブロックに書き込むステップと、
前記新たなブロックがブロックチェーンネットワークの検証に合格した場合、前記新たなブロックを前記ブロックチェーンネットワークに追加するステップと、
前記ブロックチェーンネットワークで前記タスク情報をブロードキャストするステップであって、ブロードキャストされたタスク情報が、計算ノードに対し、処理対象グラフデータから分割されたサブグラフデータを取得し、前記ブロックチェーンネットワークに基づいて前記サブグラフデータに対する計算タスクを反復実行することにより、計算結果を取得するよう指示するためのものである、ステップと、を含む。
処理対象グラフデータに対応するタスク情報を取得するタスク管理モジュールと、
新たなブロックを作成する通信モジュールと、含み、
前記通信モジュールは、さらに、前記タスク情報を前記新たなブロックに書き込み、
前記通信モジュールは、さらに、前記新たなブロックがブロックチェーンネットワークの検証に合格した場合、前記新たなブロックを前記ブロックチェーンネットワークに追加し、
前記通信モジュールは、さらに、前記ブロックチェーンネットワークで前記タスク情報をブロードキャストし、ブロードキャストされたタスク情報が、計算ノードに対し、処理対象グラフデータから分割されたサブグラフデータを取得し、前記ブロックチェーンネットワークに基づいて前記サブグラフデータに対する計算タスクを反復実行することにより、計算結果を取得するよう指示するためのものである。
ブロックチェーンネットワークでブロードキャストされた、処理対象グラフデータに対応するタスク情報を定期的に検出するステップS602と、
タスク情報を検出した場合、現在計算ノードの負荷状態を決定するステップS604と、
負荷状態が所定の負荷条件を満たす場合、タスク情報をプルするステップS606と、
タスク情報に基づいて、相応のタスク実行可能ファイルと、処理対象グラフデータから分割されたサブグラフデータとを読み取るステップS608と、
タスク実行可能ファイルを実行することにより、サブグラフデータに対する計算タスクを実行して、相応のグローバルデータ及びローカルデータを取得するステップS610と、
新たなブロックを作成するステップS612と、
グローバルデータ及び相応の計算タスク実行ログを新たなブロックに書き込むステップS614と、
新たなブロックがブロックチェーンネットワークの検証に合格した場合、新たなブロックをブロックチェーンネットワークに追加するステップであって、ブロックチェーンネットワークにおけるグローバルデータが、分散型計算ノードクラスタによって更新されるものである、ステップS616と、
相応のブロックチェーンデータが形成された完了済みの計算タスクに対応する第1量子化値を取得するステップS618と、
相応のブロックチェーンデータが形成されていない完了済みの計算タスクに対応する第2量子化値を取得するステップS620と、
サブグラフデータにおける未完了の計算タスクに対応する第3量子化値を決定するステップS622と、
第2量子化値と第3量子化値とが均衡条件に合わない場合、計算ノード間でグラフノードと第1量子化値との交換を行うステップS624と、
ブロックチェーンネットワークにおけるブロック数を定期的に検出するステップS626と、
ブロック数が増加すると、新たなブロックに記録されたグローバルデータを取得するステップS628と、
取得したグローバルデータに基づいて、ローカルにおけるグローバルデータを更新するステップS630と、
取得した最新のグローバルデータと、ローカルデータとに基づいて、反復停止条件が満たされるまで、サブグラフデータに対する計算タスクを反復実行して、計算結果を取得するステップS632と、
ブロックチェーンネットワークにおける計算タスク実行ログに基づいて、障害計算ノード及び相応の紛失データを決定するステップS634と、
紛失データの再構築に参与する計算ノードを決定するステップS636と、
決定した計算ノードから、障害計算ノードに関するローカルデータを取得するステップS638と、
取得したローカルデータに基づいて、紛失データを再構築するステップS640と、を含む。
タスク追加指示を受け付けるステップS1102と、
タスク追加指示に応じて、タスク編集インタフェースを表示させるステップS1104と、
タスク編集インタフェースに入力された、処理対象グラフデータに対応するタスク情報を取得するステップS1106と、
新たなブロックを作成するステップS1108と、
タスク情報を新たなブロックに書き込むステップS1110と、
新たなブロックがブロックチェーンネットワークの検証に合格した場合、新たなブロックをブロックチェーンネットワークに追加するステップS1112と、
ブロックチェーンネットワークでタスク情報をブロードキャストするステップであって、ブロードキャストされたタスク情報が、計算ノードに対し、処理対象グラフデータから分割されたサブグラフデータを取得し、ブロックチェーンネットワークに基づいてサブグラフデータに対する計算タスクを反復実行することにより、計算結果を取得するよう指示するためのものである、ステップS1114と、を含む。
計算管理モジュール1201は、さらに、サブグラフデータに対する計算タスクを実行することにより、相応のグローバルデータ及びローカルデータを取得し、
通信モジュール1202は、グローバルデータをブロックチェーンネットワークに書き込み、ブロックチェーンネットワークにおけるグローバルデータが、分散型計算ノードクラスタによって更新されるものであり、
通信モジュール1202は、さらに、ブロックチェーンネットワークから最新のグローバルデータを取得し、
計算管理モジュール1201は、さらに、取得された最新のグローバルデータと、ローカルデータとに基づいて、反復停止条件が満たされるまで、サブグラフデータに対する計算タスクを反復実行して、計算結果を取得する。
通信モジュール1602は、新たなブロックを作成し、
通信モジュール1602は、さらに、タスク情報を新たなブロックに書き込み、
通信モジュール1602は、さらに、新たなブロックがブロックチェーンネットワークの検証に合格した場合、新たなブロックをブロックチェーンネットワークに追加し、
通信モジュール1602は、さらに、ブロックチェーンネットワークでタスク情報をブロードキャストし、ブロードキャストされたタスク情報が、計算ノードに対し、処理対象グラフデータから分割されたサブグラフデータを取得し、ブロックチェーンネットワークに基づいてサブグラフデータに対する計算タスクを反復実行することにより、計算結果を取得するよう指示するためのものである。
120 計算ノード
130 データウェアハウス
1200 グラフデータ処理装置
1201 計算管理モジュール
12011 データ復元サブモジュール
1202 通信モジュール
12021 新ブロック生成サブモジュール
1203 スケジューリング管理モジュール
1600 グラフデータの計算タスクの配布装置
1601 タスク管理モジュール
1602 通信モジュール
Claims (11)
- 分散型計算ノードクラスタ内の計算ノードに分散されたコンピュータ機器が実行するグラフデータ処理方法であって、
処理対象グラフデータから分割されたサブグラフデータを取得するステップと、
前記サブグラフデータに対する計算タスクを実行することにより、相応のグローバルデータ及びローカルデータを取得するステップであって、前記グローバルデータは、各計算ノードによるサブグラフデータの計算過程にグローバル共有及びグローバル更新が必要なデータであり、前記ローカルデータは、各計算ノードによるサブグラフデータの計算過程で少数の計算ノードによってのみ使用・更新されるデータである、ステップと、
前記グローバルデータをブロックチェーンネットワークに書き込むステップであって、前記ブロックチェーンネットワークにおけるグローバルデータが、前記分散型計算ノードクラスタによって更新されるものである、ステップと、
前記ブロックチェーンネットワークから最新のグローバルデータを取得するステップと、
取得した最新のグローバルデータと、前記ローカルデータとに基づいて、反復停止条件が満たされるまで、前記サブグラフデータに対する計算タスクを反復実行して、計算結果を取得するステップと、
相応のブロックチェーンデータが形成された完了済みの計算タスクに対応する第1量子化値を取得するステップと、
相応のブロックチェーンデータが形成されていない完了済みの計算タスクに対応する第2量子化値を取得するステップと、
前記サブグラフデータにおける未完了の計算タスクに対応する第3量子化値を決定するステップと、
前記第2量子化値と前記第3量子化値とが均衡条件に合わない場合、計算ノード間でグラフノードと第1量子化値との交換を行うステップと、
を含む方法。 - 処理対象グラフデータから分割されたサブグラフデータを取得する前記ステップは、
ブロックチェーンネットワークでブロードキャストされた、処理対象グラフデータに対応するタスク情報を取得するステップと、
前記タスク情報に基づいて、相応のタスク実行可能ファイルと、処理対象グラフデータから分割されたサブグラフデータとを読み取るステップと、を含み、
前記サブグラフデータに対する計算タスクを実行することにより、相応のグローバルデータ及びローカルデータを取得する前記ステップは、
前記タスク実行可能ファイルを実行することにより、前記サブグラフデータに対する計算タスクを実行して、相応のグローバルデータ及びローカルデータを取得するステップを含む、
請求項1に記載の方法。 - ブロックチェーンネットワークでブロードキャストされた、処理対象グラフデータに対応するタスク情報を取得する前記ステップは、
ブロックチェーンネットワークでブロードキャストされた、処理対象グラフデータに対応するタスク情報を定期的に検出するステップと、
前記タスク情報を検出した場合、現在計算ノードの負荷状態を決定するステップと、
前記負荷状態が所定の負荷条件を満たす場合、前記タスク情報をプルするステップと、
を含む請求項2に記載の方法。 - 前記グローバルデータをブロックチェーンネットワークに書き込む前記ステップは、
新たなブロックを作成するステップと、
作成した新たなブロックに前記グローバルデータを書き込むステップと、
前記新たなブロックがブロックチェーンネットワークの検証に合格した場合、前記新たなブロックを前記ブロックチェーンネットワークに追加するステップと、
を含む請求項1に記載の方法。 - 作成した新たなブロックに前記グローバルデータを書き込む前記ステップは、前記グローバルデータ及び相応の計算タスク実行ログを新たなブロックに書き込むステップを含み、
前記方法は、紛失データを再構築するステップをさらに含み、該ステップは、
前記ブロックチェーンネットワークにおける計算タスク実行ログに基づいて、障害計算ノード及び相応の紛失データを決定するステップと、
前記紛失データの再構築に参与する計算ノードを決定するステップと、
決定した計算ノードから、前記障害計算ノードに関するローカルデータを取得するステップと、
取得したローカルデータに基づいて、前記紛失データを再構築するステップと、
を含む、
請求項4に記載の方法。 - 前記障害計算ノードに関するローカルデータを取得する前記ステップは、
ローカルで前記障害計算ノードに関するローカルデータを検索するステップと、
検索したローカルデータを、前記紛失データの再構築に参与する計算ノードに共有するステップであって、共有されたローカルデータが、前記紛失データを再構築するためのものである、ステップと、
を含む請求項5に記載の方法。 - 前記ブロックチェーンネットワークから最新のグローバルデータを取得する前記ステップは、
前記ブロックチェーンネットワークにおけるブロック数を定期的に検出するステップと、
前記ブロック数が増加すると、新たなブロックに記録されたグローバルデータを取得するステップと、
取得したグローバルデータに基づいて、ローカルにおけるグローバルデータを更新するステップと、
を含む請求項1に記載の方法。 - グラフデータ処理装置であって、
計算管理モジュールと、
通信モジュールと、
を含み、
前記計算管理モジュールは、処理対象グラフデータから分割されたサブグラフデータを取得し、
前記計算管理モジュールは、さらに、前記サブグラフデータに対する計算タスクを実行することにより、相応のグローバルデータ及びローカルデータを取得し、前記グローバルデータは、各計算ノードによるサブグラフデータの計算過程にグローバル共有及びグローバル更新が必要なデータであり、前記ローカルデータは、各計算ノードによるサブグラフデータの計算過程で少数の計算ノードによってのみ使用・更新されるデータであり、
前記通信モジュールは、前記グローバルデータをブロックチェーンネットワークに書き込み、前記ブロックチェーンネットワークにおけるグローバルデータが、分散型計算ノードクラスタによって更新されるものであり、
前記通信モジュールは、さらに、前記ブロックチェーンネットワークから最新のグローバルデータを取得し、
前記計算管理モジュールは、さらに、取得された最新のグローバルデータと、前記ローカルデータとに基づいて、反復停止条件が満たされるまで、前記サブグラフデータに対する計算タスクを反復実行して、計算結果を取得する、
グラフデータ処理装置。 - 分散型グラフ計算システムであって、計算ノードと制御ノードとを備え、
前記制御ノードは、処理対象グラフデータに対応するタスク情報を取得し、新たなブロックを作成し、前記タスク情報を前記新たなブロックに書き込み、前記新たなブロックがブロックチェーンネットワークの検証に合格した場合、前記新たなブロックを前記ブロックチェーンネットワークに追加し、前記ブロックチェーンネットワークで前記タスク情報をブロードキャストし、ブロードキャストされたタスク情報が、計算ノードに対し、処理対象グラフデータから分割されたサブグラフデータを取得し、前記ブロックチェーンネットワークに基づいて前記サブグラフデータに対する計算タスクを反復実行することにより、計算結果を取得するよう指示するためのものであり、
前記計算ノードは、処理対象グラフデータから分割されたサブグラフデータを取得し、前記サブグラフデータに対する計算タスクを実行することにより、相応のグローバルデータ及びローカルデータを取得し、前記グローバルデータは、各計算ノードによるサブグラフデータの計算過程にグローバル共有及びグローバル更新が必要なデータであり、前記ローカルデータは、各計算ノードによるサブグラフデータの計算過程で少数の計算ノードによってのみ使用・更新されるデータであり、前記グローバルデータをブロックチェーンネットワークに書き込み、前記ブロックチェーンネットワークから最新のグローバルデータを取得し、取得した最新のグローバルデータと、前記ローカルデータとに基づいて、反復停止条件が満たされるまで、前記サブグラフデータに対する計算タスクを反復実行して、計算結果を取得し、前記ブロックチェーンネットワークにおけるグローバルデータが、分散型計算ノードクラスタによって更新されるものである、
分散型グラフ計算システム。 - 請求項1~7のいずれか一項に記載の方法のステップをコンピュータ機器に実行させるコンピュータプログラム。
- メモリとプロセッサとを備えるコンピュータ機器であって、前記メモリには、コンピュータプログラムが記憶され、前記コンピュータプログラムは、前記プロセッサによって実行されると、前記プロセッサに、請求項1~7のいずれか一項に記載の方法のステップを実行させるコンピュータ機器。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810467817.8 | 2018-05-16 | ||
CN201810467817.8A CN108683738B (zh) | 2018-05-16 | 2018-05-16 | 图数据处理方法和图数据的计算任务发布方法 |
PCT/CN2019/082192 WO2019218814A1 (zh) | 2018-05-16 | 2019-04-11 | 图数据处理方法、图数据的计算任务发布方法、装置、存储介质及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021523474A JP2021523474A (ja) | 2021-09-02 |
JP7158801B2 true JP7158801B2 (ja) | 2022-10-24 |
Family
ID=63805486
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020563591A Active JP7158801B2 (ja) | 2018-05-16 | 2019-04-11 | グラフデータ処理方法、グラフデータの計算タスクの配布方法、装置、コンピュータプログラム、及びコンピュータ機器 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11847488B2 (ja) |
EP (1) | EP3771179B1 (ja) |
JP (1) | JP7158801B2 (ja) |
KR (1) | KR102485652B1 (ja) |
CN (2) | CN111030802B (ja) |
SG (1) | SG11202010651RA (ja) |
WO (1) | WO2019218814A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200401445A1 (en) * | 2018-05-16 | 2020-12-24 | Tencent Technology (Shenzhen) Company Limited | Graph data based task scheduling method, apparatus and storage medium thereof |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10318355B2 (en) | 2017-01-24 | 2019-06-11 | Oracle International Corporation | Distributed graph processing system featuring interactive remote control mechanism including task cancellation |
CN111030802B (zh) | 2018-05-16 | 2020-12-29 | 腾讯科技(深圳)有限公司 | 图数据的计算任务发布方法、装置、设备和存储介质 |
CN109542602B (zh) * | 2018-11-20 | 2021-05-11 | 苏州朗润创新知识产权运营有限公司 | 一种基于区块链的分布式任务处理方法、装置及系统 |
CN109690530A (zh) * | 2018-11-29 | 2019-04-26 | 袁振南 | 模型训练方法及其节点、网络及存储装置 |
CN109710406B (zh) * | 2018-12-21 | 2023-01-17 | 腾讯科技(深圳)有限公司 | 数据分配及其模型训练方法、装置、及计算集群 |
CN109801070B (zh) * | 2019-01-12 | 2020-11-06 | 杭州复杂美科技有限公司 | 交易排队方法、设备和存储介质 |
CN109947565B (zh) * | 2019-03-08 | 2021-10-15 | 北京百度网讯科技有限公司 | 用于分配计算任务的方法和装置 |
CN110399208B (zh) * | 2019-07-15 | 2023-10-31 | 创新先进技术有限公司 | 分布式任务调度拓扑图的展示方法、装置及设备 |
CN110807125B (zh) * | 2019-08-03 | 2020-12-22 | 北京达佳互联信息技术有限公司 | 推荐系统、数据访问方法及装置、服务器、存储介质 |
CN112487080A (zh) * | 2019-08-20 | 2021-03-12 | 厦门本能管家科技有限公司 | 一种用于区块链的差值回退方法及系统 |
CN110750385B (zh) * | 2019-10-25 | 2022-09-09 | 东北大学 | 一种基于受限恢复的图迭代器及方法 |
CN112988339B (zh) * | 2019-12-16 | 2024-06-07 | 深圳云天励飞技术有限公司 | 一种数据管理方法及装置 |
US11250059B2 (en) | 2020-01-09 | 2022-02-15 | Oracle International Corporation | Optimizing graph queries by performing early pruning |
US11675785B2 (en) | 2020-01-31 | 2023-06-13 | Oracle International Corporation | Dynamic asynchronous traversals for distributed graph queries |
CN111353709B (zh) * | 2020-02-29 | 2023-05-16 | 国网上海市电力公司 | 一种基于区块链的电力信息产品的生产方法及系统 |
CN111369144B (zh) * | 2020-03-04 | 2022-02-18 | 浙江大学 | 一种基于雾计算与区块链的智慧能源调度系统及方法 |
JP7490394B2 (ja) * | 2020-03-06 | 2024-05-27 | 株式会社日立製作所 | 情報共有支援方法、及び情報共有支援システム |
CN111581443B (zh) * | 2020-04-16 | 2023-05-30 | 南方科技大学 | 分布式图计算方法、终端、系统及存储介质 |
CN111598036B (zh) * | 2020-05-22 | 2021-01-01 | 广州地理研究所 | 分布式架构的城市群地理环境知识库构建方法及系统 |
US11461130B2 (en) | 2020-05-26 | 2022-10-04 | Oracle International Corporation | Methodology for fast and seamless task cancelation and error handling in distributed processing of large graph data |
US11456946B2 (en) | 2020-06-11 | 2022-09-27 | Oracle International Corporation | Regular path queries (RPQS) for distributed graphs |
US20220019742A1 (en) * | 2020-07-20 | 2022-01-20 | International Business Machines Corporation | Situational awareness by fusing multi-modal data with semantic model |
CN112118290B (zh) * | 2020-08-12 | 2022-03-18 | 北京大学 | 一种基于程序分析的数据资源的管控方法 |
CN112445940B (zh) * | 2020-10-16 | 2022-05-24 | 苏州浪潮智能科技有限公司 | 图划分方法、装置及计算机可读存储介质 |
US12001425B2 (en) | 2020-12-09 | 2024-06-04 | Oracle International Corporation | Duplication elimination in depth based searches for distributed systems |
CN112685178A (zh) * | 2020-12-24 | 2021-04-20 | 北京浪潮数据技术有限公司 | 一种图数据处理方法、装置、设备及可读存储介质 |
US11755543B2 (en) * | 2020-12-29 | 2023-09-12 | International Business Machines Corporation | Optimization of workflows with dynamic file caching |
CA3143855A1 (en) * | 2020-12-30 | 2022-06-30 | Atb Financial | Systems and methods for federated learning on blockchain |
US20220300618A1 (en) * | 2021-03-16 | 2022-09-22 | Accenture Global Solutions Limited | Privacy preserving cooperative learning in untrusted environments |
CN113434702A (zh) * | 2021-07-27 | 2021-09-24 | 支付宝(杭州)信息技术有限公司 | 一种用于图计算的自适应控制方法和系统 |
CN113704067B (zh) * | 2021-09-09 | 2023-10-24 | 合肥新青罗数字技术有限公司 | 无形资产管理系统监控方法 |
CN114049213B (zh) * | 2021-11-15 | 2024-07-09 | 深圳前海鸿泰源兴科技发展有限公司 | 一种信息化金融数据分析系统与分析方法 |
CN114553917B (zh) * | 2021-12-30 | 2024-01-26 | 北京天成通链科技有限公司 | 一种基于区块链的网络智能治理方法 |
CN114567634B (zh) * | 2022-03-07 | 2023-02-07 | 华中科技大学 | 面向后e级图计算的方法、系统、存储介质及电子设备 |
CN114580779B (zh) * | 2022-03-21 | 2024-08-13 | 天津理工大学 | 一种基于图特征提取的区块链交易行为预测方法 |
CN115378803B (zh) * | 2022-04-13 | 2023-12-12 | 网易(杭州)网络有限公司 | 日志管理方法、装置、区块链节点和存储介质 |
CN114925123B (zh) * | 2022-04-24 | 2024-06-07 | 杭州悦数科技有限公司 | 一种分布式的图数据库与图计算系统间的数据传输方法 |
WO2023206142A1 (zh) * | 2022-04-27 | 2023-11-02 | 西门子股份公司 | 数据同步方法、装置、计算机设备和存储介质 |
CN115017234A (zh) * | 2022-06-29 | 2022-09-06 | 贵州财经大学 | 一种区块链信息管理系统、区块链信息存储及查询方法 |
CN115511086B (zh) * | 2022-11-03 | 2024-05-24 | 上海人工智能创新中心 | 一种针对超大模型的分布式推理部署系统 |
CN115809686B (zh) * | 2023-02-03 | 2023-06-16 | 中国科学技术大学 | 提升循环图结构数据处理系统处理效率方法、设备及介质 |
CN116681104B (zh) * | 2023-05-11 | 2024-03-12 | 中国地质大学(武汉) | 分布式空间图神经网络的模型建立及实现方法 |
US12052379B1 (en) * | 2023-11-03 | 2024-07-30 | Yantai University | Method, system and device for detecting abnormal node in blockchain and storage medium |
CN117479235B (zh) * | 2023-12-28 | 2024-03-19 | 中通信息服务有限公司 | 一种末梢网络设施调度管理方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016218633A (ja) | 2015-05-18 | 2016-12-22 | 株式会社Orb | 仮想通貨管理プログラム、及び仮想通貨管理方法 |
US20170039330A1 (en) | 2015-08-03 | 2017-02-09 | PokitDok, Inc. | System and method for decentralized autonomous healthcare economy platform |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2589931B1 (en) * | 2011-11-07 | 2016-06-29 | Elektrobit Automotive GmbH | Technique for structuring navigation data |
US11394773B2 (en) * | 2014-06-19 | 2022-07-19 | Jim Austin Joseph | Cryptographic currency block chain based voting system |
US10121019B2 (en) * | 2015-06-02 | 2018-11-06 | ALTR Solutions, Inc. | Storing differentials of files in a distributed blockchain |
CN105590321B (zh) * | 2015-12-24 | 2018-12-28 | 华中科技大学 | 一种基于块的子图构建及分布式图处理方法 |
CN105404701B (zh) * | 2015-12-31 | 2018-11-13 | 浙江图讯科技股份有限公司 | 一种基于对等网络的异构数据库同步方法 |
CN106033476B (zh) * | 2016-05-19 | 2019-07-23 | 西安交通大学 | 一种云计算环境中分布式计算模式下的增量式图计算方法 |
CN106357405A (zh) * | 2016-09-19 | 2017-01-25 | 弗洛格(武汉)信息科技有限公司 | 一种基于区块链技术一致性算法的数据管理方法及系统 |
US10291627B2 (en) * | 2016-10-17 | 2019-05-14 | Arm Ltd. | Blockchain mining using trusted nodes |
US10726346B2 (en) * | 2016-11-09 | 2020-07-28 | Cognitive Scale, Inc. | System for performing compliance operations using cognitive blockchains |
CN106611061B (zh) * | 2016-12-29 | 2018-02-23 | 北京众享比特科技有限公司 | 基于区块链网络的数据库写入方法及系统 |
CN106777351B (zh) * | 2017-01-17 | 2019-08-09 | 中国人民解放军国防科学技术大学 | 基于art树分布式系统图存储计算系统及其方法 |
WO2018170253A1 (en) * | 2017-03-16 | 2018-09-20 | Facet Labs, Llc | Edge devices, systems and methods for processing extreme data |
CN107395659B (zh) * | 2017-03-28 | 2021-08-24 | 创新先进技术有限公司 | 一种业务受理及共识的方法及装置 |
CN107943833B (zh) * | 2017-10-25 | 2021-11-19 | 华南农业大学 | 一种基于区块链的无中心分布式文件存储及检索方法 |
CN107864198B (zh) * | 2017-11-07 | 2019-09-24 | 山东浪潮人工智能研究院有限公司 | 一种基于深度学习训练任务的区块链共识方法 |
CN111030802B (zh) * | 2018-05-16 | 2020-12-29 | 腾讯科技(深圳)有限公司 | 图数据的计算任务发布方法、装置、设备和存储介质 |
-
2018
- 2018-05-16 CN CN201911258301.3A patent/CN111030802B/zh active Active
- 2018-05-16 CN CN201810467817.8A patent/CN108683738B/zh active Active
-
2019
- 2019-04-11 JP JP2020563591A patent/JP7158801B2/ja active Active
- 2019-04-11 KR KR1020207031862A patent/KR102485652B1/ko active IP Right Grant
- 2019-04-11 SG SG11202010651RA patent/SG11202010651RA/en unknown
- 2019-04-11 WO PCT/CN2019/082192 patent/WO2019218814A1/zh unknown
- 2019-04-11 EP EP19804270.7A patent/EP3771179B1/en active Active
-
2020
- 2020-08-03 US US16/983,948 patent/US11847488B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016218633A (ja) | 2015-05-18 | 2016-12-22 | 株式会社Orb | 仮想通貨管理プログラム、及び仮想通貨管理方法 |
US20170039330A1 (en) | 2015-08-03 | 2017-02-09 | PokitDok, Inc. | System and method for decentralized autonomous healthcare economy platform |
Non-Patent Citations (1)
Title |
---|
神田 伶樹,外2名,「ビットコインネットワーク上でのブロック伝搬遅延推定の試み」 ,情報処理学会 研究報告 インターネットと運用技術(IOT) 2018-IOT-040 [online] ,情報処理学会,2018年02月26日,pp.1-6 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200401445A1 (en) * | 2018-05-16 | 2020-12-24 | Tencent Technology (Shenzhen) Company Limited | Graph data based task scheduling method, apparatus and storage medium thereof |
US11734060B2 (en) * | 2018-05-16 | 2023-08-22 | Tencent Technology (Shenzhen) Company Limited | Graph data based task scheduling method, apparatus and storage medium thereof |
Also Published As
Publication number | Publication date |
---|---|
SG11202010651RA (en) | 2020-11-27 |
US11847488B2 (en) | 2023-12-19 |
KR20200139780A (ko) | 2020-12-14 |
KR102485652B1 (ko) | 2023-01-06 |
CN111030802B (zh) | 2020-12-29 |
EP3771179A4 (en) | 2021-05-19 |
CN111030802A (zh) | 2020-04-17 |
EP3771179B1 (en) | 2023-09-20 |
WO2019218814A1 (zh) | 2019-11-21 |
US20200364084A1 (en) | 2020-11-19 |
JP2021523474A (ja) | 2021-09-02 |
EP3771179A1 (en) | 2021-01-27 |
CN108683738B (zh) | 2020-08-14 |
CN108683738A (zh) | 2018-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7158801B2 (ja) | グラフデータ処理方法、グラフデータの計算タスクの配布方法、装置、コンピュータプログラム、及びコンピュータ機器 | |
KR102499076B1 (ko) | 그래프 데이터 기반의 태스크 스케줄링 방법, 디바이스, 저장 매체 및 장치 | |
US20190173666A1 (en) | Hierarchical blockchain consensus optimazation scheme | |
US9213574B2 (en) | Resources management in distributed computing environment | |
US20210004251A1 (en) | Optimizing image reconstruction for container registries | |
JP2022511716A (ja) | 非集中的な分散型深層学習 | |
US20210263667A1 (en) | Multi-cloud orchestration as-a-service | |
Kang et al. | Dynamic scheduling strategy with efficient node availability prediction for handling divisible loads in multi-cloud systems | |
JP6556659B2 (ja) | ニューラルネットワークシステム、シェア計算装置、ニューラルネットワークの学習方法、プログラム | |
JP2016507093A (ja) | 回帰モデルを計算するための方法、コンピュータ・プログラム、およびシステム | |
US10678436B1 (en) | Using a PID controller to opportunistically compress more data during garbage collection | |
CN111443870A (zh) | 一种数据处理的方法、设备及存储介质 | |
US11416338B2 (en) | Resiliency scheme to enhance storage performance | |
US11281577B1 (en) | Garbage collection tuning for low drive wear | |
Zeng et al. | Operational cost-aware resource provisioning for continuous write applications in cloud-of-clouds | |
Phuoc Hung et al. | An adaptive procedure for task scheduling optimization in mobile cloud computing | |
US10938891B2 (en) | Reducing cloud application execution latency | |
US11068192B1 (en) | Utilizing mutiple snapshot sources for creating new copy of volume in a networked environment wherein additional snapshot sources are reserved with lower performance levels than a primary snapshot source | |
US20230186168A1 (en) | Performing automated tuning of hyperparameters in a federated learning environment | |
CN106209975B (zh) | 一种跨数据中心云计算系统的资源供给方法 | |
JP7521616B2 (ja) | 装置、方法、制御装置、制御方法及びプログラム | |
US20240113945A1 (en) | Continuously improving api service endpoint selections via adaptive reinforcement learning | |
US20200372380A1 (en) | Leveraging correlation across agents for enhanced distributed machine learning | |
Zhang et al. | On an Approximation Algorithm Combined with D3QN for HDFS Data Block Recovery in Heterogeneous Hadoop Clusters | |
KR20230101619A (ko) | 블록체인 기반 서비스용 키 관리 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201201 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220502 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220912 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221006 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7158801 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |