TW201702858A - 一種資料更新方法和設備 - Google Patents

一種資料更新方法和設備 Download PDF

Info

Publication number
TW201702858A
TW201702858A TW104142100A TW104142100A TW201702858A TW 201702858 A TW201702858 A TW 201702858A TW 104142100 A TW104142100 A TW 104142100A TW 104142100 A TW104142100 A TW 104142100A TW 201702858 A TW201702858 A TW 201702858A
Authority
TW
Taiwan
Prior art keywords
data
request message
update
update request
receiving end
Prior art date
Application number
TW104142100A
Other languages
English (en)
Other versions
TWI693547B (zh
Inventor
Yuan-Yuan Zhong
Li Xu
Wei-Bin Yan
Kai Li
Pu-Yuan Yang
Ye-Min Sui
Original Assignee
Alibaba Group Services Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Services Ltd filed Critical Alibaba Group Services Ltd
Publication of TW201702858A publication Critical patent/TW201702858A/zh
Application granted granted Critical
Publication of TWI693547B publication Critical patent/TWI693547B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申請實施例公開了一種資料更新方法和設備，包括：發送端獲得更新請求訊息，並獲得所述更新請求訊息中的資料和控制資訊；發送端將所述資料透過資料更新請求訊息發送給接收端，所述發送端將所述控制資訊透過控制資訊更新請求訊息發送給所述接收端，透過資料更新請求訊息和控制資訊更新請求訊息將資料和控制資訊分別發送給接收端，利用接收端進行資料更新的時間傳輸更新請求訊息中的資料，大幅降低資料更新過程中資料傳輸的等待時間，從而降低資料更新延遲，提高系統性能。

Description

一種資料更新方法和設備
本申請涉及通訊技術領域，尤其涉及一種應用於分佈式儲存系統的資料更新方法和設備。
在分佈式儲存系統中，會將資料塊儲存多個副本，每次資料塊的更新需要在多個副本之間達成一致。
目前，在對多副本資料塊進行資料更新時，資料更新過程由一個協調者控制。在主從副本系統中，資料更新的協調者為主副本伺服器；在多個副本處於對等的系統中，協調者為資料更新客戶端。更新過程為：協調者對每個資料塊的更新進行定序並分配新版本，然後生成更新請求發向各副本伺服器。更新請求訊息包含兩個部分：更新資料及控制資訊。其中，控制資訊部分由新版本與資料塊的當前元資料構成，如資料塊標識，資料塊原版本，資料塊新版本及其它副本伺服器所需的元資料資訊。各副本伺服器對接收到的更新請求訊息進行處理，然後回復協調者，協調者根據收到的副本伺服器正常響應的個數，發出更新請求的個數及採用的資料一致性協議判定是否資料更新成 功，若成功則將資料塊的版本修改為新版本。
由於在資料更新過程中，基於資料塊的當前版本生成新版本，版本單調遞增，而且發向副本伺服器的更新請求只有一個最新的版本，否則副本伺服器對收到多個新版本的更新請求的處理，會大大增加多副本資料更新一致性處理的複雜度，所以，在資料更新過程中，如果協調者收到多個對同一個資料塊的更新請求訊息，則需要放到等待佇列中，只有等到資料塊當前的更新完成後，才會發送下一個更新請求訊息。
為了實現資料塊多副本更新的一致性，將對同一個資料塊的資料更新進行定序，即為資料更新為循序執行。而資料更新的過程包含：網路傳輸，請求的邏輯處理，寫磁碟IO幾個部分；目前，磁碟部分通常可以採用固態碟，聚合寫入的性能比較高，而在一次更新請求中攜帶多次資料更新的批處理方式，能夠使一次請求處理多次資料更新，降低請求的邏輯處理延遲，所以資料更新的主要瓶頸在於網路傳輸負擔，批處理聚合了多次資料更新，傳輸的資料量變大，傳輸等待延遲仍然較大。
本申請實施例提供了一種資料更新方法及設備，用以實現分佈式儲存系統中的資料更新。
為此，本申請採用以下技術手段：本申請實施例提供了一種資料更新的方法，應用於包 含有發送端和接收端的分佈式儲存系統中，包括：發送端獲得更新請求訊息，並獲得所述更新請求訊息中的資料和控制資訊；發送端將所述資料透過資料更新請求訊息發送給接收端，由所述接收端在更新資料關係表中建立所述資料更新請求訊息攜帶的資料塊標識、更新資料列表標識和更新資料的對應關係；所述發送端將所述控制資訊透過控制資訊更新請求訊息發送給所述接收端，由所述接收端根據所述控制資訊更新請求訊息中攜帶的資料塊標識和更新資料列表標識查找到所述更新資料列表，並由所述接收端根據所述控制資訊更新請求訊息以及查找到的更新資料進行資料更新。
其中，所述發送端將所述控制資訊透過控制資訊更新請求訊息發送給所述接收端之前，所述方法還包括：所述發送端將所述資料更新請求訊息攜帶的更新資料列表標識保存到已發送列表，從所述已發送列表中獲取所述資料更新請求訊息攜帶的更新資料列表標識。
其中，所述發送端將所述資料透過資料更新請求訊息發送給接收端，進一步包括；所述資料包括多個子資料，所述發送端將所述多個子資料透過多個資料請求訊息發送給接收端；所述更新資料列表標識是所述多個資料更新請求訊息攜帶的所有更新資料列表標識。
其中，所述發送端獲得更新請求訊息，並獲得所述更 新請求訊息中的資料和控制資訊，具體包括：所述更新請求訊息中包含資料塊標識，當發送端判斷資料塊標識所對應的更新請求訊息數量達到設定的閾值時，獲得所述更新請求訊息中的資料和控制資訊。
本申請實施例提供了一種資料更新的方法，應用於包含有發送端和接收端的分佈式儲存系統中，包括：接收端接收來自發送端的資料更新請求訊息；所述接收端在更新資料關係表中設置所述資料更新請求訊息攜帶的資料塊標識、更新資料列表標識和更新資料的對應關係；所述接收端接收來自所述發送端的所述資料更新請求訊息對應的控制資訊更新請求訊息，從所述更新資料關係表中查找到所述控制資訊更新請求訊息中攜帶的資料塊標識和更新資料列表標識對應的更新資料；所述接收端根據所述控制資訊更新請求以及查找到的更新資料進行資料更新。
其中，所述接收端根據所述控制資訊更新請求訊息以及查找到的更新資料進行資料更新，具體包括：所述接收端將所述控制資訊更新請求以及查找到的更新資料還原為更新請求訊息，根據所述更新請求訊息進行資料更新。
其中，所述接收端在更新資料關係表中設置所述資料更新請求訊息攜帶的資料塊標識、更新資料列表標識和更新資料的對應關係之後，所述方法還包括： 所述接收端為所述對應關係設置老化定時器，當所述老化表逾時時，從所述更新資料關係表中刪除所述對應關係；和/或所述接收端為所述對應關係設置老化定時器，當接收端在所述更新資料關係表佔用的內存記憶體超過預設的內存記憶體佔用閾值時，刪除所述更新資料關係表中佔用內存記憶體最大的對應關係，或者刪除建立時間最久的對應關係。
本申請實施例提供了一種發送端，應用於包含有發送端和接收端的分佈式儲存系統中，包括：獲得模組，用於獲得更新請求訊息，並獲得更新請求訊息中的資料和控制資訊；發送模組，用於將所述資料透過資料更新請求訊息發送給接收端，由所述接收端在更新資料關係表中設置所述資料更新請求訊息攜帶的資料塊標識、更新資料列表標識和更新資料的對應關係；所述發送模組，還用於將所述控制資訊透過控制資訊更新請求訊息發送給所述接收端，由所述接收端根據所述控制資訊更新請求訊息中攜帶的資料塊標識和更新資料列表標識查找到所述更新資料列表，並由所述接收端根據所述控制資訊更新請求訊息以及查找到的更新資料進行資料更新。
其中，所述發送端進一步包括：保存模組，用於將所述資料更新請求訊息攜帶的更新 資料列表標識保存到已發送列表，並從所述已發送列表中獲取所述資料更新請求訊息攜帶的更新資料列表標識。
其中，所述資料包括多個子資料；所述發送模組，還用於將所述多個子資料透過多個資料請求訊息發送給接收端；所述更新資料列表標識是所述多個資料更新請求訊息攜帶的所有更新資料列表標識。
其中，所述更新請求訊息中包含資料塊標識，所述獲得模組，具體用於：當發送端判斷資料塊標識所對應的更新請求訊息數量達到設定的閾值時，獲得所述更新請求訊息中的資料和控制資訊。
本申請實施例提供了一種接收端，應用於包含有發送端和接收端的分佈式儲存系統中，包括：接收模組，用於接收來自發送端的資料更新請求訊息；設置模組，用於在更新資料關係表中設置所述資料更新請求訊息攜帶的資料塊標識、更新資料列表標識和更新資料的對應關係；所述接收模組，還用於接收來自所述發送端的所述資料更新請求訊息對應的控制資訊更新請求訊息；查找模組，用於從所述更新資料關係表中查找到所述控制資訊更新請求訊息中攜帶的資料塊標識和更新資料列表標識對應的更新資料；更新模組，用於根據所述控制資訊更新請求以及查找 到的更新資料進行資料更新。
其中，所述更新模組，具體用於：將所述控制資訊更新請求以及查找到的更新資料還原為更新請求，根據所述更新請求進行資料更新。
其中，所述設置模組，還用於：為所述對應關係設置老化定時器，當所述老化表逾時時，從所述更新資料關係表中刪除所述對應關係；和/或所述設置模組，還用於：為所述對應關係設置老化定時器，在所述更新資料關係表佔用的內存記憶體超過預設的內存記憶體佔用閾值時，刪除所述更新資料關係表中佔用內存記憶體最大的對應關係，或者刪除建立時間最久的對應關係。
與現有技術相比，本申請的上述實施例具有以下有益技術效果：本申請實施例中，發送端獲得更新請求訊息中的資料和控制資訊後，透過資料更新請求訊息和控制資訊更新請求訊息將資料和控制資訊分別發送給接收端，接收端接收來自發送端的資料更新請求訊息，在更新資料關係表中設置所述資料更新請求訊息攜帶的資料塊標識、更新資料列表標識和更新資料的對應關係；接收端接收來自所述發送端的所述資料更新請求訊息對應的控制資訊更新請求訊息，從所述更新資料關係表中查找到所述控制資訊更新請求訊息中攜帶的資料塊標識和更新資料列表標識對應的更新資料；進而利用接收端進行資料更新的時間傳輸更新請 求訊息中的資料，大幅降低資料更新過程中資料傳輸的等待時間，從而降低資料更新延遲，提高系統性能。
31‧‧‧獲得模組
32‧‧‧發送模組
33‧‧‧保存模組
41‧‧‧接收模組
42‧‧‧設置模組
43‧‧‧查找模組
44‧‧‧更新模組
圖1為本申請實施例提供的資料更新方法流程示意圖；圖2為本申請實施例提供另一種資料更新方法流程示意圖；圖3為本申請實施例提供的一種發送端的結構示意圖；圖4為本申請實施例提供的另一種發送端的結構示意圖。
下面結合附圖對本申請的技術方案進行清楚、完整的描述，顯然，所描述的實施例是本申請一部分實施例，而不是全部的實施例。基於本申請中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本申請的保護範圍。
參見圖1所示，為本申請實施例的資料更新方法流程圖，包括以下步驟：
步驟S101、發送端獲得更新請求訊息，並獲得所述更新請求訊息中的資料和控制資訊；更新請求訊息中包含資料塊標識，當發送端判斷資料 塊標識所對應的更新請求訊息數量達到設定的閾值時，獲得所述更新請求訊息中的資料和控制資訊。
具體地，需要注意的是，資料和控制資訊都來自相同的更新請求訊息，即對應相同的資料塊標識。更新請求中包含資料塊標識，即要進行資料更新的資料塊的標識，發送端獲得的所有更新請求訊息都儲存在等待佇列中，當發送端判斷資料塊標識所對應的更新請求訊息數量達到設定的閾值時，即資料塊標識對應的資料塊正在進行資料更新，而且，等待佇列中對該資料塊進行更新的更新請求數量已經達到閾值，則獲得所述更新請求訊息中的資料和控制資訊。
步驟S102、發送端將所述資料透過資料更新請求訊息發送給接收端。
所述資料包括：資料塊標識、更新資料列表標識以及更新資料，其中，更新資料列表標識是發送端設置的用於唯一標識本次資料更新請求訊息。
發送端將資料更新請求訊息攜帶的更新資料列表標識保存到已發送列表，從所述已發送列表中獲取所述資料更新請求訊息攜帶的更新資料列表標識。
發送端在發送完資料更新請求訊息後，將設置的更新資料列表標識保存到已發送列表，用於後續的發送控制資訊請求訊息時從已發送列表獲得更新資料列表標識。
資料可以包括多個子資料，所述發送端將所述多個子資料透過多個資料請求訊息發送給接收端，所述更新資料 列表標識是所述多個資料更新請求訊息攜帶的所有更新資料列表標識；其中，發送端獲得的資料可以包括多個子資料，每個子資料均包含相同的資料塊標識和各自的更新資料，當多個子資料透過多個資料更新請求發送時，每個資料更新請求攜帶的更新資料列表標識和更新資料都不同，發送端在發送完資料更新請求訊息後，將所有的更新資料列表標識都保存到已發送列表。例如：發送端發送的所述多個資料更新請求訊息中攜帶資料塊標識、更新資料列表標識和更新資料可以如下表所示(資料更新請求訊息的編號只是為了陳述方便)：
其中，由上表可知，發送端發送的第一條資料更新請求訊息攜帶了資料塊標識1、更新資料列表標識1.0、和更新資料1，第二條資料更新請求訊息攜帶了資料塊標識1、更新資料列表標識1.1、和更新資料2，第三條資料更新請求訊息攜帶了資料塊標識1、更新資料列表標識1.2、和更新資料3，第二條資料更新請求訊息攜帶了資料塊標識1、更新資料列表標識1.3、和更新資料4，其中， 每條資料更新請求訊息中攜帶的資料塊標識都相同，而更新資料列列表標識和更新資料都不同，而所有資料更新請求訊息中攜帶的更新資料列表標識都保存在已發送列表，即已發送列表中保存了更新資料列表標識1.0、1.1、1.2、1.3。
步驟S103、所述發送端將所述控制資訊透過控制資訊更新請求訊息發送給所述接收端。
所述控制資訊包括：資料塊標識、更新資料列表標識以及新版本等資訊。
其中，更新資料列表標識從已發送列表中獲得，如果已發送列表中是多個更新資料列表標識，就獲得所述多個更新資料列表標識。例如，上面例子，已發送列表中保存的是更新資料列表標識1.0、1.1、1.2、1.3，發送端在控制資訊請求訊息中攜帶的更新資料列表標識就為更新資料列表標識1.0、1.1、1.2、1.3。例如，發送端發送的控制資訊更新請求訊息中攜帶資料塊標識、更新資料列表標識如下表所示：
需要提醒注意的是，發送端接收到資料塊標識所對應的資料塊完成資料更新的響應訊息時，如果資料更新請求 訊息沒有發送完，那麼，可以繼續將未發送完的資料更新請求訊息發送給接收端，按照本申請的技術方案繼續處理；也可以按照現有技術的方案，將剩下的資料更新請求訊息和控制資訊更新請求訊息合併還原為更新請求訊息，發送給接收端。
與現有技術相比，本申請的上述實施例具有以下有益技術效果：本申請實施例中，發送端獲得更新請求訊息，並獲得所述更新請求訊息中的資料和控制資訊；發送端將所述資料透過資料更新請求訊息發送給接收端，所述發送端將所述控制資訊透過控制資訊更新請求訊息發送給所述接收端，透過資料更新請求訊息和控制資訊更新請求訊息將資料和控制資訊分別發送給接收端，利用接收端進行資料更新的時間傳輸更新請求訊息中的資料，大幅降低資料更新過程中資料傳輸的等待時間，從而降低資料更新延遲，提高系統性能。
參見圖2所示，為本申請實施例的另一種資料更新方法流程圖，包括以下步驟：
S201、接收端接收來自發送端的資料更新請求訊息。
S202、所述接收端在更新資料關係表中設置所述資料更新請求訊息攜帶的資料塊標識、更新資料列表標識和更新資料的對應關係；具體地，資料更新請求訊息中攜帶資料塊標識、更新資料列表標識和更新資料，其中，更新資料列表標識為發 送端在發送資料更新請求訊息時設置的，用於唯一標識本次資料更新請求訊息；如下面的更新資料關係表，記錄了資料塊標識、更新資料列表標識和更新資料的對應關係：
由上表可知，接收端在更新資料關係表中設置了第一條資料更新請求訊息攜帶了資料塊標識1、更新資料列表標識1.0、和更新資料1的對應關係，設置了第二條資料更新請求訊息攜帶了資料塊標識1、更新資料列表標識1.1、和更新資料2的對應關係，設置了第三條資料更新請求訊息攜帶了資料塊標識1、更新資料列表標識1.2、和更新資料3的對應關係，設置了第二條資料更新請求訊息攜帶了資料塊標識1、更新資料列表標識1.3、和更新資料4的對應關係。
優選地，接收端還可以在更新資料關係表中對設置的對應關係進行刪除處理，以及時清理無效的更新資料。接收端在更新資料關係表中對設置的對應關係進行刪除包括以下三種方式：
方式一、接收端在設置資料塊標識、更新資料列表標 識和更新資料的對應關係時，為該對應關係設置老化定時器，當所述老化表逾時時，從所述更新資料關係表中刪除所述對應關係。
方式二、接收端在設置資料塊標識、更新資料列表標識和更新資料的對應關係時，為該對應關係設置老化定時器，當接收端在所述更新資料關係表佔用的內存記憶體超過預設的內存記憶體佔用閾值時，刪除所述更新資料關係表中佔用內存記憶體最大的對應關係，或者刪除建立時間最久的對應關係。
方式三、接收端在設置資料塊標識、更新資料列表標識和更新資料的對應關係時，為該對應關係設置老化定時器，當所述老化表逾時時，從所述更新資料關係表中刪除所述對應關係，和當接收端在所述更新資料關係表佔用的內存記憶體超過預設的內存記憶體佔用閾值時，刪除所述更新資料關係表中佔用內存記憶體最大的對應關係，或者刪除建立時間最久的對應關係。
S203、接收端接收來自所述發送端的所述資料更新請求訊息對應的控制資訊更新請求訊息，從所述更新資料關係表中查找到所述控制資訊更新請求訊息中攜帶的資料塊標識和更新資料列表標識對應的更新資料。
控制資訊透過控制資訊更新請求訊息發送給接收端，資料更新請求訊息對應的控制資訊更新請求訊息即與資料更新請求訊息中的資料來自同一個更新請求訊息的控制資訊對應的控制資訊更新請求訊息，其中控制資訊更新請求 訊息中攜帶的資料塊標識即為資料更新請求訊息中攜帶的資料塊標識，更新資料列表標識為資料更新請求訊息中攜帶的更新資料列表標識，發送端在發送資料更新請求訊息後，將設置的資料更新列表標識保存到已發送列表，在發送控制資訊更新請求訊息時，從已發送列表獲得資料更新列表標識。例如，控制資訊更新請求攜帶的更新資料列表標識1.0、1.1、1.2、1.3，資料塊標識1，則接收端根據更新資料列表標識和資料塊標識查找到的更新資料為更新資料1、更新資料2、更新資料3、更新資料4。
需要注意的是，一條控制資訊更新請求訊息可能會對應多個資料更新請求訊息，一個控制資訊更新請求訊息中可以包含多個更新資料列表標識，因此，根據一個控制資訊更新請求訊息中的資料塊標識和更新資料列表標識，會查找到多個更新資料。
S104、所述接收端根據所述控制資訊更新請求以及查找到的更新資料進行資料更新。
所述接收端將所述控制資訊更新請求以及查找到的更新資料還原為更新請求訊息，根據所述更新請求訊息進行資料更新。
優選地，接收端進行完資料更新後，對發送端進行響應。
與現有技術相比，本申請的上述實施例具有以下有益技術效果：本申請實施例中，接收端接收來自發送端的資料更新 請求訊息；所述接收端在更新資料關係表中設置所述資料更新請求訊息攜帶的資料塊標識、更新資料列表標識和更新資料的對應關係；所述接收端接收來自所述發送端的所述資料更新請求訊息對應的控制資訊更新請求訊息，從所述更新資料關係表中查找到所述控制資訊更新請求訊息中攜帶的資料塊標識和更新資料列表標識對應的更新資料；所述接收端根據所述控制資訊更新請求以及查找到的更新資料進行資料更新，利用接收端進行資料更新的時間傳輸更新請求訊息中的資料，大幅降低資料更新過程中資料傳輸的等待時間，從而降低資料更新延遲，提高系統性能。
本申請實施例還提供一種發送端，參見圖3所示，為本申請實施例提供的發送端的結構示意圖，該發送端應用於分佈式儲存系統，包括： 獲得模組31，用於獲得更新請求訊息，並獲得更新請求訊息中的資料和控制資訊。
所述更新請求訊息中包含資料塊標識，所述獲得模組，具體用於：當發送端判斷資料塊標識所對應的更新請求訊息數量達到設定的閾值時，獲得所述更新請求訊息中的資料和控制資訊。
發送模組32，用於將所述資料透過資料更新請求訊息發送給接收端。
發送模組32，還用於將所述控制資訊透過控制資訊更新請求訊息發送給所述接收端。
保存模組33，用於將所述資料更新請求訊息攜帶的 更新資料列表標識保存到已發送列表，並從所述已發送列表中獲取所述資料更新請求訊息攜帶的更新資料列表標識。
本申請實施例中，發送端獲得更新請求訊息，並獲得所述更新請求訊息中的資料和控制資訊；發送端將所述資料透過資料更新請求訊息發送給接收端，所述發送端將所述控制資訊透過控制資訊更新請求訊息發送給所述接收端，透過資料更新請求訊息和控制資訊更新請求訊息將資料和控制資訊分別發送給接收端，利用接收端進行資料更新的時間傳輸更新請求訊息中的資料，大幅降低資料更新過程中資料傳輸的等待時間，從而降低資料更新延遲，提高系統性能。
本申請實施例還提供一種接收端，參見圖4所示，為本申請實施例提供的接收端的結構示意圖，該發送端應用於分佈式儲存系統，包括： 接收模組41，用於接收來自發送端的資料更新請求訊息。
設置模組42，用於在更新資料關係表中設置所述資料更新請求訊息攜帶的資料塊標識、更新資料列表標識和更新資料的對應關係。
所述設置模組42還可以在更新資料關係表中對設置的對應關係進行刪除處理，以及時清理無效的更新資料。所述設置模組在更新資料關係表中對設置的對應關係進行刪除包括以下三種方式：
方式一：所述設置模組42在設置資料塊標識、更新資料列表標識和更新資料的對應關係時，為所述對應關係設置老化定時器，當所述老化表逾時時，從所述更新資料關係表中刪除所述對應關係。
方式二：所述設置模組42在設置資料塊標識、更新資料列表標識和更新資料的對應關係時，為所述對應關係設置老化定時器，在所述更新資料關係表佔用的內存記憶體超過預設的內存記憶體佔用閾值時，刪除所述更新資料關係表中佔用內存記憶體最大的對應關係，或者刪除建立時間最久的對應關係。
方式三：所述設置模組42在設置資料塊標識、更新資料列表標識和更新資料的對應關係時，為該對應關係設置老化定時器，當所述老化表逾時時，從所述更新資料關係表中刪除所述對應關係，和當接收端在所述更新資料關係表佔用的內存記憶體超過預設的內存記憶體佔用閾值時，刪除所述更新資料關係表中佔用內存記憶體最大的對應關係，或者刪除建立時間最久的對應關係。
所述接收模組41，還用於接收來自所述發送端的所述資料更新請求訊息對應的控制資訊更新請求訊息。
查找模組43，用於從所述更新資料關係表中查找到所述控制資訊更新請求訊息中攜帶的資料塊標識和更新資料列表標識對應的更新資料。
更新模組44，用於根據所述控制資訊更新請求以及查找到的更新資料進行資料更新。
所述更新模組44，具體用於：將所述控制資訊更新請求以及查找到的更新資料還原為更新請求，根據所述更新請求進行資料更新。
與現有技術相比，本申請的上述實施例具有以下有益技術效果：本申請實施例中，接收端接收來自發送端的資料更新請求訊息；所述接收端在更新資料關係表中設置所述資料更新請求訊息攜帶的資料塊標識、更新資料列表標識和更新資料的對應關係；所述接收端接收來自所述發送端的所述資料更新請求訊息對應的控制資訊更新請求訊息，從所述更新資料關係表中查找到所述控制資訊更新請求訊息中攜帶的資料塊標識和更新資料列表標識對應的更新資料；所述接收端根據所述控制資訊更新請求以及查找到的更新資料進行資料更新，利用接收端進行資料更新的時間傳輸更新請求訊息中的資料，大幅降低資料更新過程中資料傳輸的等待時間，從而降低資料更新延遲，提高系統性能。
透過以上的實施方式的描述，本領域的技術人員可以清楚地瞭解到本申請可借助軟體加必需的通用硬體平臺的方式來實現，當然也可以透過硬體，但很多情況下前者是更佳的實施方式。基於這樣的理解，本申請的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該計算機軟體產品儲存在一個儲存媒體中，包括若干指令用以使得一台終端設備(可以是手機，個人計算機，伺服器，或者網路設備等)執行本申請各個 實施例所述的方法。
本領域技術人員可以理解，實施例中的裝置中的模組可以按照實施例描述進行分佈於實施例的裝置中，也可以進行相應變化位於不同於本實施例的一個或多個裝置中。上述實施例的模組可以合併為一個模組，也可以進一步拆分成多個子模組。
以上所述僅是本申請的優選實施方式，應當指出，對於本技術領域的普通技術人員來說，在不脫離本申請原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視本申請的保護範圍。

Claims (14)

  1. 一種資料更新的方法，應用於包含有發送端和接收端的分佈式儲存系統中，其特徵在於，該方法包括：發送端獲得更新請求訊息，並獲得該更新請求訊息中的資料和控制資訊；發送端將該資料透過資料更新請求訊息發送給接收端，由該接收端在更新資料關係表中建立該資料更新請求訊息攜帶的資料塊標識、更新資料列表標識和更新資料的對應關係；該發送端將該控制資訊透過控制資訊更新請求訊息發送給該接收端，由該接收端根據該控制資訊更新請求訊息中攜帶的資料塊標識和更新資料列表標識查找到該更新資料列表，並由該接收端根據該控制資訊更新請求訊息以及查找到的更新資料進行資料更新。
  2. 如申請專利範圍第1項所述的方法，其中，該發送端將該控制資訊透過控制資訊更新請求訊息發送給該接收端之前，該方法還包括：該發送端將該資料更新請求訊息攜帶的更新資料列表標識保存到已發送列表，從該已發送列表中獲取該資料更新請求訊息攜帶的更新資料列表標識。
  3. 如申請專利範圍第1或2項所述的方法，其中，該發送端將該資料透過資料更新請求訊息發送給接收端，進一步包括：該資料包括多個子資料，該發送端將該多個子資料透 過多個資料請求訊息發送給接收端；該更新資料列表標識是該多個資料更新請求訊息攜帶的所有更新資料列表標識。
  4. 如申請專利範圍第1項所述的方法，其中，該發送端獲得更新請求訊息，並獲得該更新請求訊息中的資料和控制資訊，具體包括：該更新請求訊息中包含資料塊標識，當發送端判斷資料塊標識所對應的更新請求訊息數量達到設定的閾值時，獲得該更新請求訊息中的資料和控制資訊。
  5. 一種資料更新的方法，應用於包含有發送端和接收端的分佈式儲存系統中，其特徵在於，該方法包括：接收端接收來自發送端的資料更新請求訊息；該接收端在更新資料關係表中設置該資料更新請求訊息攜帶的資料塊標識、更新資料列表標識和更新資料的對應關係；該接收端接收來自該發送端的該資料更新請求訊息對應的控制資訊更新請求訊息，從該更新資料關係表中查找到該控制資訊更新請求訊息中攜帶的資料塊標識和更新資料列表標識對應的更新資料；該接收端根據該控制資訊更新請求以及查找到的更新資料進行資料更新。
  6. 如申請專利範圍第5項所述的方法，其中，該接收端根據該控制資訊更新請求訊息以及查找到的更新資料進行資料更新，具體包括： 該接收端將該控制資訊更新請求以及查找到的更新資料還原為更新請求訊息，根據該更新請求訊息進行資料更新。
  7. 如申請專利範圍第5項所述的方法，其中，該接收端在更新資料關係表中設置該資料更新請求訊息攜帶的資料塊標識、更新資料列表標識和更新資料的對應關係之後，該方法還包括：該接收端為該對應關係設置老化定時器，當該老化表逾時時，從該更新資料關係表中刪除該對應關係；和/或該接收端為該對應關係設置老化定時器，當接收端在該更新資料關係表佔用的內存記憶體超過預設的內存記憶體佔用閾值時，刪除該更新資料關係表中佔用內存記憶體最大的對應關係，或者刪除建立時間最久的對應關係。
  8. 一種發送端，應用於包含有發送端和接收端的分佈式儲存系統中，其特徵在於，包括：獲得模組，用於獲得更新請求訊息，並獲得更新請求訊息中的資料和控制資訊；發送模組，用於將該資料透過資料更新請求訊息發送給接收端，由該接收端在更新資料關係表中設置該資料更新請求訊息攜帶的資料塊標識、更新資料列表標識和更新資料的對應關係；該發送模組，還用於將該控制資訊透過控制資訊更新請求訊息發送給該接收端，由該接收端根據該控制資訊更新請求訊息中攜帶的資料塊標識和更新資料列表標識查找 到該更新資料列表，並由該接收端根據該控制資訊更新請求訊息以及查找到的更新資料進行資料更新。
  9. 如申請專利範圍第8項所述的發送端，其中，該發送端進一步包括：保存模組，用於將該資料更新請求訊息攜帶的更新資料列表標識保存到已發送列表，並從該已發送列表中獲取該資料更新請求訊息攜帶的更新資料列表標識。
  10. 如申請專利範圍第8或9項所述的發送端，其中，該資料包括多個子資料；該發送模組，還用於將該多個子資料透過多個資料請求訊息發送給接收端；該更新資料列表標識是該多個資料更新請求訊息攜帶的所有更新資料列表標識。
  11. 如申請專利範圍第8項所述的發送端，其中，該更新請求訊息中包含資料塊標識，該獲得模組，具體用於：當發送端判斷資料塊標識所對應的更新請求訊息數量達到設定的閾值時，獲得該更新請求訊息中的資料和控制資訊。
  12. 一種接收端，應用於包含有發送端和接收端的分佈式儲存系統中，其特徵在於，包括：接收模組，用於接收來自發送端的資料更新請求訊息；設置模組，用於在更新資料關係表中設置該資料更新 請求訊息攜帶的資料塊標識、更新資料列表標識和更新資料的對應關係；該接收模組，還用於接收來自該發送端的該資料更新請求訊息對應的控制資訊更新請求訊息；查找模組，用於從該更新資料關係表中查找到該控制資訊更新請求訊息中攜帶的資料塊標識和更新資料列表標識對應的更新資料；更新模組，用於根據該控制資訊更新請求以及查找到的更新資料進行資料更新。
  13. 如申請專利範圍第12項所述的接收端，其中，該更新模組，具體用於：將該控制資訊更新請求以及查找到的更新資料還原為更新請求，根據該更新請求進行資料更新。
  14. 如申請專利範圍第12項所述的接收端，其中，該設置模組，還用於：為該對應關係設置老化定時器，當該老化表逾時時，從該更新資料關係表中刪除該對應關係；和/或該設置模組，還用於：為該對應關係設置老化定時器，在該更新資料關係表佔用的內存記憶體超過預設的內存記憶體佔用閾值時，刪除該更新資料關係表中佔用內存記憶體最大的對應關係，或者刪除建立時間最久的對應關係。
TW104142100A 2015-04-30 2015-12-15 一種資料更新方法和設備 TWI693547B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510213538.5A CN106209926B (zh) 2015-04-30 2015-04-30 一种数据更新方法和设备
CN201510213538.5 2015-04-30

Publications (2)

Publication Number Publication Date
TW201702858A true TW201702858A (zh) 2017-01-16
TWI693547B TWI693547B (zh) 2020-05-11

Family

ID=57199324

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104142100A TWI693547B (zh) 2015-04-30 2015-12-15 一種資料更新方法和設備

Country Status (4)

Country Link
US (1) US10761724B2 (zh)
CN (1) CN106209926B (zh)
TW (1) TWI693547B (zh)
WO (1) WO2016176045A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11973581B2 (en) 2019-11-05 2024-04-30 Continental Automotive Technologies GmbH Method for protecting the time synchronization in a network against unauthorized changes

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108255848B (zh) * 2016-12-29 2022-06-24 阿里巴巴集团控股有限公司 实现条件更新的方法、设备及系统
CN110096295B (zh) * 2019-05-08 2023-08-08 吉旗（成都）科技有限公司 基于ReactNative的多模块移动应用的热更新方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4095352B2 (ja) * 2002-06-14 2008-06-04 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及び当該制御方法を実行するためのコンピュータプログラム
JP3787535B2 (ja) * 2002-06-18 2006-06-21 キヤノン株式会社 画像処理装置及びその制御方法
JP2004126716A (ja) * 2002-09-30 2004-04-22 Fujitsu Ltd 広域分散ストレージシステムを利用したデータ格納方法、その方法をコンピュータに実現させるプログラム、記録媒体、及び広域分散ストレージシステムにおける制御装置
JP4544417B2 (ja) * 2005-01-06 2010-09-15 日本電気株式会社 リスト管理サーバ、リスト管理システム、リスト管理方法およびプログラム
WO2010137064A1 (en) * 2009-05-26 2010-12-02 Hitachi, Ltd. Information processing system and data backup method in information processing system
US20110179057A1 (en) * 2010-01-18 2011-07-21 Microsoft Corporation Database engine throttling
US9054920B2 (en) * 2011-03-31 2015-06-09 Alcatel Lucent Managing data file transmission
CN103294675B (zh) * 2012-02-23 2018-08-03 上海盛大网络发展有限公司 一种分布式存储系统中的数据更新方法及装置
CN103379129B (zh) * 2012-04-12 2016-12-14 阿里巴巴集团控股有限公司 一种数据同步方法、服务器及分布式系统
CN103036717B (zh) * 2012-12-12 2015-11-04 北京邮电大学 分布式数据的一致性维护系统和方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11973581B2 (en) 2019-11-05 2024-04-30 Continental Automotive Technologies GmbH Method for protecting the time synchronization in a network against unauthorized changes

Also Published As

Publication number Publication date
US20160320974A1 (en) 2016-11-03
TWI693547B (zh) 2020-05-11
CN106209926B (zh) 2019-06-21
CN106209926A (zh) 2016-12-07
WO2016176045A1 (en) 2016-11-03
US10761724B2 (en) 2020-09-01

Similar Documents

Publication Publication Date Title
CN102404338B (zh) 一种文件同步方法和装置
CN108390933B (zh) 消息分发方法、装置、服务器及存储介质
US20170185615A1 (en) Data processing method and device
CN105677380B (zh) 一种双主控隔离的逐板升级的方法及装置
WO2017167020A1 (zh) 配置信息推送方法及装置
CN109614439B (zh) 数据同步方法、装置、电子设备及存储介质
JP6700308B2 (ja) データ・コピー方法及びデバイス
WO2014056428A1 (zh) 一种文件上传的方法及系统
US20140201267A1 (en) Method, apparatus, and system for migrating user service
WO2014206346A1 (zh) 一种终端与服务器进行同步的方法和装置
TW201702858A (zh) 一種資料更新方法和設備
WO2021184992A1 (zh) 一种镜像文件的上传方法、相关设备及计算机存储介质
WO2019173951A1 (zh) 一种ue策略的更新方法及装置、计算机存储介质
CN107105501B (zh) 一种基于网络分片的寻呼方法、装置和系统
WO2017220021A1 (zh) 短信息处理方法及装置
CN113810511A (zh) Arp表的更新方法及装置
US7779299B2 (en) Efficiently re-starting and recovering synchronization operations between a client and server
CN109787835B (zh) 一种会话备份方法及装置
CN113360348B (zh) 异常请求处理方法、装置、电子设备和存储介质
JPWO2006043411A1 (ja) 通信装置および端末存在確認方法
CN111565209B (zh) 客户端即时通信方法、装置、设备及介质
CN115225697B (zh) 状态同步方法、装置、设备及存储介质
WO2016065545A1 (zh) 信息更新的方法、装置及设备
WO2024152403A1 (zh) 网络远程升级系统及方法
WO2020258986A1 (zh) 无线能力信息的获取方法及装置、存储介质、电子装置