TWI693547B - 一種資料更新方法和設備 - Google Patents

一種資料更新方法和設備 Download PDF

Info

Publication number
TWI693547B
TWI693547B TW104142100A TW104142100A TWI693547B TW I693547 B TWI693547 B TW I693547B TW 104142100 A TW104142100 A TW 104142100A TW 104142100 A TW104142100 A TW 104142100A TW I693547 B TWI693547 B TW I693547B
Authority
TW
Taiwan
Prior art keywords
data
update
request message
update request
control information
Prior art date
Application number
TW104142100A
Other languages
English (en)
Other versions
TW201702858A (zh
Inventor
重元元
徐立
閆衛斌
李凱
楊濮源
眭椰敏
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW201702858A publication Critical patent/TW201702858A/zh
Application granted granted Critical
Publication of TWI693547B publication Critical patent/TWI693547B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申請實施例公開了一種資料更新方法和設備，包括：發送端獲得更新請求訊息，並獲得所述更新請求訊息中的資料和控制資訊；發送端將所述資料透過資料更新請求訊息發送給接收端，所述發送端將所述控制資訊透過控制資訊更新請求訊息發送給所述接收端，透過資料更新請求訊息和控制資訊更新請求訊息將資料和控制資訊分別發送給接收端，利用接收端進行資料更新的時間傳輸更新請求訊息中的資料，大幅降低資料更新過程中資料傳輸的等待時間，從而降低資料更新延遲，提高系統性能。

Description

一種資料更新方法和設備
本申請涉及通訊技術領域，尤其涉及一種應用於分佈式儲存系統的資料更新方法和設備。
在分佈式儲存系統中，會將資料塊儲存多個副本，每次資料塊的更新需要在多個副本之間達成一致。
目前，在對多副本資料塊進行資料更新時，資料更新過程由一個協調者控制。在主從副本系統中，資料更新的協調者為主副本伺服器；在多個副本處於對等的系統中，協調者為資料更新客戶端。更新過程為：協調者對每個資料塊的更新進行定序並分配新版本，然後生成更新請求發向各副本伺服器。更新請求訊息包含兩個部分：更新資料及控制資訊。其中，控制資訊部分由新版本與資料塊的當前元資料構成，如資料塊標識，資料塊原版本，資料塊新版本及其它副本伺服器所需的元資料資訊。各副本伺服器對接收到的更新請求訊息進行處理，然後回復協調者，協調者根據收到的副本伺服器正常響應的個數，發出更新請求的個數及採用的資料一致性協議判定是否資料更新成 功，若成功則將資料塊的版本修改為新版本。
由於在資料更新過程中，基於資料塊的當前版本生成新版本，版本單調遞增，而且發向副本伺服器的更新請求只有一個最新的版本，否則副本伺服器對收到多個新版本的更新請求的處理，會大大增加多副本資料更新一致性處理的複雜度，所以，在資料更新過程中，如果協調者收到多個對同一個資料塊的更新請求訊息，則需要放到等待佇列中，只有等到資料塊當前的更新完成後，才會發送下一個更新請求訊息。
為了實現資料塊多副本更新的一致性，將對同一個資料塊的資料更新進行定序，即為資料更新為循序執行。而資料更新的過程包含：網路傳輸，請求的邏輯處理，寫磁碟IO幾個部分；目前，磁碟部分通常可以採用固態碟，聚合寫入的性能比較高，而在一次更新請求中攜帶多次資料更新的批處理方式，能夠使一次請求處理多次資料更新，降低請求的邏輯處理延遲，所以資料更新的主要瓶頸在於網路傳輸負擔，批處理聚合了多次資料更新，傳輸的資料量變大，傳輸等待延遲仍然較大。
本申請實施例提供了一種資料更新方法及設備，用以實現分佈式儲存系統中的資料更新。
為此，本申請採用以下技術手段：本申請實施例提供了一種資料更新的方法，應用於包 含有發送端和接收端的分佈式儲存系統中，包括：發送端獲得更新請求訊息，並獲得所述更新請求訊息中的資料和控制資訊；發送端將所述資料透過資料更新請求訊息發送給接收端，由所述接收端在更新資料關係表中建立所述資料更新請求訊息攜帶的資料塊標識、更新資料列表標識和更新資料的對應關係；所述發送端將所述控制資訊透過控制資訊更新請求訊息發送給所述接收端，由所述接收端根據所述控制資訊更新請求訊息中攜帶的資料塊標識和更新資料列表標識查找到所述更新資料列表，並由所述接收端根據所述控制資訊更新請求訊息以及查找到的更新資料進行資料更新。
其中，所述發送端將所述控制資訊透過控制資訊更新請求訊息發送給所述接收端之前，所述方法還包括：所述發送端將所述資料更新請求訊息攜帶的更新資料列表標識保存到已發送列表，從所述已發送列表中獲取所述資料更新請求訊息攜帶的更新資料列表標識。
其中，所述發送端將所述資料透過資料更新請求訊息發送給接收端，進一步包括；所述資料包括多個子資料，所述發送端將所述多個子資料透過多個資料請求訊息發送給接收端；所述更新資料列表標識是所述多個資料更新請求訊息攜帶的所有更新資料列表標識。
其中，所述發送端獲得更新請求訊息，並獲得所述更 新請求訊息中的資料和控制資訊，具體包括：所述更新請求訊息中包含資料塊標識，當發送端判斷資料塊標識所對應的更新請求訊息數量達到設定的閾值時，獲得所述更新請求訊息中的資料和控制資訊。
本申請實施例提供了一種資料更新的方法，應用於包含有發送端和接收端的分佈式儲存系統中，包括：接收端接收來自發送端的資料更新請求訊息；所述接收端在更新資料關係表中設置所述資料更新請求訊息攜帶的資料塊標識、更新資料列表標識和更新資料的對應關係；所述接收端接收來自所述發送端的所述資料更新請求訊息對應的控制資訊更新請求訊息，從所述更新資料關係表中查找到所述控制資訊更新請求訊息中攜帶的資料塊標識和更新資料列表標識對應的更新資料；所述接收端根據所述控制資訊更新請求以及查找到的更新資料進行資料更新。
其中，所述接收端根據所述控制資訊更新請求訊息以及查找到的更新資料進行資料更新，具體包括：所述接收端將所述控制資訊更新請求以及查找到的更新資料還原為更新請求訊息，根據所述更新請求訊息進行資料更新。
其中，所述接收端在更新資料關係表中設置所述資料更新請求訊息攜帶的資料塊標識、更新資料列表標識和更新資料的對應關係之後，所述方法還包括： 所述接收端為所述對應關係設置老化定時器，當所述老化表逾時時，從所述更新資料關係表中刪除所述對應關係；和/或所述接收端為所述對應關係設置老化定時器，當接收端在所述更新資料關係表佔用的內存記憶體超過預設的內存記憶體佔用閾值時，刪除所述更新資料關係表中佔用內存記憶體最大的對應關係，或者刪除建立時間最久的對應關係。
本申請實施例提供了一種發送端，應用於包含有發送端和接收端的分佈式儲存系統中，包括：獲得模組，用於獲得更新請求訊息，並獲得更新請求訊息中的資料和控制資訊；發送模組，用於將所述資料透過資料更新請求訊息發送給接收端，由所述接收端在更新資料關係表中設置所述資料更新請求訊息攜帶的資料塊標識、更新資料列表標識和更新資料的對應關係；所述發送模組，還用於將所述控制資訊透過控制資訊更新請求訊息發送給所述接收端，由所述接收端根據所述控制資訊更新請求訊息中攜帶的資料塊標識和更新資料列表標識查找到所述更新資料列表，並由所述接收端根據所述控制資訊更新請求訊息以及查找到的更新資料進行資料更新。
其中，所述發送端進一步包括：保存模組，用於將所述資料更新請求訊息攜帶的更新 資料列表標識保存到已發送列表，並從所述已發送列表中獲取所述資料更新請求訊息攜帶的更新資料列表標識。
其中，所述資料包括多個子資料；所述發送模組，還用於將所述多個子資料透過多個資料請求訊息發送給接收端；所述更新資料列表標識是所述多個資料更新請求訊息攜帶的所有更新資料列表標識。
其中，所述更新請求訊息中包含資料塊標識，所述獲得模組，具體用於：當發送端判斷資料塊標識所對應的更新請求訊息數量達到設定的閾值時，獲得所述更新請求訊息中的資料和控制資訊。
本申請實施例提供了一種接收端，應用於包含有發送端和接收端的分佈式儲存系統中，包括：接收模組，用於接收來自發送端的資料更新請求訊息；設置模組，用於在更新資料關係表中設置所述資料更新請求訊息攜帶的資料塊標識、更新資料列表標識和更新資料的對應關係；所述接收模組，還用於接收來自所述發送端的所述資料更新請求訊息對應的控制資訊更新請求訊息；查找模組，用於從所述更新資料關係表中查找到所述控制資訊更新請求訊息中攜帶的資料塊標識和更新資料列表標識對應的更新資料；更新模組，用於根據所述控制資訊更新請求以及查找 到的更新資料進行資料更新。
其中，所述更新模組，具體用於：將所述控制資訊更新請求以及查找到的更新資料還原為更新請求，根據所述更新請求進行資料更新。
其中，所述設置模組，還用於：為所述對應關係設置老化定時器，當所述老化表逾時時，從所述更新資料關係表中刪除所述對應關係；和/或所述設置模組，還用於：為所述對應關係設置老化定時器，在所述更新資料關係表佔用的內存記憶體超過預設的內存記憶體佔用閾值時，刪除所述更新資料關係表中佔用內存記憶體最大的對應關係，或者刪除建立時間最久的對應關係。
與現有技術相比，本申請的上述實施例具有以下有益技術效果：本申請實施例中，發送端獲得更新請求訊息中的資料和控制資訊後，透過資料更新請求訊息和控制資訊更新請求訊息將資料和控制資訊分別發送給接收端，接收端接收來自發送端的資料更新請求訊息，在更新資料關係表中設置所述資料更新請求訊息攜帶的資料塊標識、更新資料列表標識和更新資料的對應關係；接收端接收來自所述發送端的所述資料更新請求訊息對應的控制資訊更新請求訊息，從所述更新資料關係表中查找到所述控制資訊更新請求訊息中攜帶的資料塊標識和更新資料列表標識對應的更新資料；進而利用接收端進行資料更新的時間傳輸更新請 求訊息中的資料，大幅降低資料更新過程中資料傳輸的等待時間，從而降低資料更新延遲，提高系統性能。
31‧‧‧獲得模組
32‧‧‧發送模組
33‧‧‧保存模組
41‧‧‧接收模組
42‧‧‧設置模組
43‧‧‧查找模組
44‧‧‧更新模組
圖1為本申請實施例提供的資料更新方法流程示意圖；圖2為本申請實施例提供另一種資料更新方法流程示意圖；圖3為本申請實施例提供的一種發送端的結構示意圖；圖4為本申請實施例提供的另一種發送端的結構示意圖。
下面結合附圖對本申請的技術方案進行清楚、完整的描述，顯然，所描述的實施例是本申請一部分實施例，而不是全部的實施例。基於本申請中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本申請的保護範圍。
參見圖1所示，為本申請實施例的資料更新方法流程圖，包括以下步驟：
步驟S101、發送端獲得更新請求訊息，並獲得所述更新請求訊息中的資料和控制資訊；更新請求訊息中包含資料塊標識，當發送端判斷資料 塊標識所對應的更新請求訊息數量達到設定的閾值時，獲得所述更新請求訊息中的資料和控制資訊。
具體地，需要注意的是，資料和控制資訊都來自相同的更新請求訊息，即對應相同的資料塊標識。更新請求中包含資料塊標識，即要進行資料更新的資料塊的標識，發送端獲得的所有更新請求訊息都儲存在等待佇列中，當發送端判斷資料塊標識所對應的更新請求訊息數量達到設定的閾值時，即資料塊標識對應的資料塊正在進行資料更新，而且，等待佇列中對該資料塊進行更新的更新請求數量已經達到閾值，則獲得所述更新請求訊息中的資料和控制資訊。
步驟S102、發送端將所述資料透過資料更新請求訊息發送給接收端。
所述資料包括：資料塊標識、更新資料列表標識以及更新資料，其中，更新資料列表標識是發送端設置的用於唯一標識本次資料更新請求訊息。
發送端將資料更新請求訊息攜帶的更新資料列表標識保存到已發送列表，從所述已發送列表中獲取所述資料更新請求訊息攜帶的更新資料列表標識。
發送端在發送完資料更新請求訊息後，將設置的更新資料列表標識保存到已發送列表，用於後續的發送控制資訊請求訊息時從已發送列表獲得更新資料列表標識。
資料可以包括多個子資料，所述發送端將所述多個子資料透過多個資料請求訊息發送給接收端，所述更新資料 列表標識是所述多個資料更新請求訊息攜帶的所有更新資料列表標識；其中，發送端獲得的資料可以包括多個子資料，每個子資料均包含相同的資料塊標識和各自的更新資料，當多個子資料透過多個資料更新請求發送時，每個資料更新請求攜帶的更新資料列表標識和更新資料都不同，發送端在發送完資料更新請求訊息後，將所有的更新資料列表標識都保存到已發送列表。例如：發送端發送的所述多個資料更新請求訊息中攜帶資料塊標識、更新資料列表標識和更新資料可以如下表所示(資料更新請求訊息的編號只是為了陳述方便)：
Figure 104142100-A0202-12-0010-1
其中，由上表可知，發送端發送的第一條資料更新請求訊息攜帶了資料塊標識1、更新資料列表標識1.0、和更新資料1，第二條資料更新請求訊息攜帶了資料塊標識1、更新資料列表標識1.1、和更新資料2，第三條資料更新請求訊息攜帶了資料塊標識1、更新資料列表標識1.2、和更新資料3，第二條資料更新請求訊息攜帶了資料塊標識1、更新資料列表標識1.3、和更新資料4，其中， 每條資料更新請求訊息中攜帶的資料塊標識都相同，而更新資料列列表標識和更新資料都不同，而所有資料更新請求訊息中攜帶的更新資料列表標識都保存在已發送列表，即已發送列表中保存了更新資料列表標識1.0、1.1、1.2、1.3。
步驟S103、所述發送端將所述控制資訊透過控制資訊更新請求訊息發送給所述接收端。
所述控制資訊包括：資料塊標識、更新資料列表標識以及新版本等資訊。
其中，更新資料列表標識從已發送列表中獲得，如果已發送列表中是多個更新資料列表標識，就獲得所述多個更新資料列表標識。例如，上面例子，已發送列表中保存的是更新資料列表標識1.0、1.1、1.2、1.3，發送端在控制資訊請求訊息中攜帶的更新資料列表標識就為更新資料列表標識1.0、1.1、1.2、1.3。例如，發送端發送的控制資訊更新請求訊息中攜帶資料塊標識、更新資料列表標識如下表所示：
Figure 104142100-A0202-12-0011-2
需要提醒注意的是，發送端接收到資料塊標識所對應的資料塊完成資料更新的響應訊息時，如果資料更新請求 訊息沒有發送完，那麼，可以繼續將未發送完的資料更新請求訊息發送給接收端，按照本申請的技術方案繼續處理；也可以按照現有技術的方案，將剩下的資料更新請求訊息和控制資訊更新請求訊息合併還原為更新請求訊息，發送給接收端。
與現有技術相比，本申請的上述實施例具有以下有益技術效果：本申請實施例中，發送端獲得更新請求訊息，並獲得所述更新請求訊息中的資料和控制資訊；發送端將所述資料透過資料更新請求訊息發送給接收端，所述發送端將所述控制資訊透過控制資訊更新請求訊息發送給所述接收端，透過資料更新請求訊息和控制資訊更新請求訊息將資料和控制資訊分別發送給接收端，利用接收端進行資料更新的時間傳輸更新請求訊息中的資料，大幅降低資料更新過程中資料傳輸的等待時間，從而降低資料更新延遲，提高系統性能。
參見圖2所示，為本申請實施例的另一種資料更新方法流程圖，包括以下步驟：
S201、接收端接收來自發送端的資料更新請求訊息。
S202、所述接收端在更新資料關係表中設置所述資料更新請求訊息攜帶的資料塊標識、更新資料列表標識和更新資料的對應關係；具體地，資料更新請求訊息中攜帶資料塊標識、更新資料列表標識和更新資料，其中，更新資料列表標識為發 送端在發送資料更新請求訊息時設置的，用於唯一標識本次資料更新請求訊息；如下面的更新資料關係表，記錄了資料塊標識、更新資料列表標識和更新資料的對應關係：
Figure 104142100-A0202-12-0013-3
由上表可知，接收端在更新資料關係表中設置了第一條資料更新請求訊息攜帶了資料塊標識1、更新資料列表標識1.0、和更新資料1的對應關係，設置了第二條資料更新請求訊息攜帶了資料塊標識1、更新資料列表標識1.1、和更新資料2的對應關係，設置了第三條資料更新請求訊息攜帶了資料塊標識1、更新資料列表標識1.2、和更新資料3的對應關係，設置了第二條資料更新請求訊息攜帶了資料塊標識1、更新資料列表標識1.3、和更新資料4的對應關係。
優選地，接收端還可以在更新資料關係表中對設置的對應關係進行刪除處理，以及時清理無效的更新資料。接收端在更新資料關係表中對設置的對應關係進行刪除包括以下三種方式：
方式一、接收端在設置資料塊標識、更新資料列表標 識和更新資料的對應關係時，為該對應關係設置老化定時器，當所述老化表逾時時，從所述更新資料關係表中刪除所述對應關係。
方式二、接收端在設置資料塊標識、更新資料列表標識和更新資料的對應關係時，為該對應關係設置老化定時器，當接收端在所述更新資料關係表佔用的內存記憶體超過預設的內存記憶體佔用閾值時，刪除所述更新資料關係表中佔用內存記憶體最大的對應關係，或者刪除建立時間最久的對應關係。
方式三、接收端在設置資料塊標識、更新資料列表標識和更新資料的對應關係時，為該對應關係設置老化定時器，當所述老化表逾時時，從所述更新資料關係表中刪除所述對應關係，和當接收端在所述更新資料關係表佔用的內存記憶體超過預設的內存記憶體佔用閾值時，刪除所述更新資料關係表中佔用內存記憶體最大的對應關係，或者刪除建立時間最久的對應關係。
S203、接收端接收來自所述發送端的所述資料更新請求訊息對應的控制資訊更新請求訊息，從所述更新資料關係表中查找到所述控制資訊更新請求訊息中攜帶的資料塊標識和更新資料列表標識對應的更新資料。
控制資訊透過控制資訊更新請求訊息發送給接收端，資料更新請求訊息對應的控制資訊更新請求訊息即與資料更新請求訊息中的資料來自同一個更新請求訊息的控制資訊對應的控制資訊更新請求訊息，其中控制資訊更新請求 訊息中攜帶的資料塊標識即為資料更新請求訊息中攜帶的資料塊標識，更新資料列表標識為資料更新請求訊息中攜帶的更新資料列表標識，發送端在發送資料更新請求訊息後，將設置的資料更新列表標識保存到已發送列表，在發送控制資訊更新請求訊息時，從已發送列表獲得資料更新列表標識。例如，控制資訊更新請求攜帶的更新資料列表標識1.0、1.1、1.2、1.3，資料塊標識1，則接收端根據更新資料列表標識和資料塊標識查找到的更新資料為更新資料1、更新資料2、更新資料3、更新資料4。
需要注意的是，一條控制資訊更新請求訊息可能會對應多個資料更新請求訊息，一個控制資訊更新請求訊息中可以包含多個更新資料列表標識，因此，根據一個控制資訊更新請求訊息中的資料塊標識和更新資料列表標識，會查找到多個更新資料。
S104、所述接收端根據所述控制資訊更新請求以及查找到的更新資料進行資料更新。
所述接收端將所述控制資訊更新請求以及查找到的更新資料還原為更新請求訊息，根據所述更新請求訊息進行資料更新。
優選地，接收端進行完資料更新後，對發送端進行響應。
與現有技術相比，本申請的上述實施例具有以下有益技術效果：本申請實施例中，接收端接收來自發送端的資料更新 請求訊息；所述接收端在更新資料關係表中設置所述資料更新請求訊息攜帶的資料塊標識、更新資料列表標識和更新資料的對應關係；所述接收端接收來自所述發送端的所述資料更新請求訊息對應的控制資訊更新請求訊息，從所述更新資料關係表中查找到所述控制資訊更新請求訊息中攜帶的資料塊標識和更新資料列表標識對應的更新資料；所述接收端根據所述控制資訊更新請求以及查找到的更新資料進行資料更新，利用接收端進行資料更新的時間傳輸更新請求訊息中的資料，大幅降低資料更新過程中資料傳輸的等待時間，從而降低資料更新延遲，提高系統性能。
本申請實施例還提供一種發送端，參見圖3所示，為本申請實施例提供的發送端的結構示意圖，該發送端應用於分佈式儲存系統，包括： 獲得模組31，用於獲得更新請求訊息，並獲得更新請求訊息中的資料和控制資訊。
所述更新請求訊息中包含資料塊標識，所述獲得模組，具體用於：當發送端判斷資料塊標識所對應的更新請求訊息數量達到設定的閾值時，獲得所述更新請求訊息中的資料和控制資訊。
發送模組32，用於將所述資料透過資料更新請求訊息發送給接收端。
發送模組32，還用於將所述控制資訊透過控制資訊更新請求訊息發送給所述接收端。
保存模組33，用於將所述資料更新請求訊息攜帶的 更新資料列表標識保存到已發送列表，並從所述已發送列表中獲取所述資料更新請求訊息攜帶的更新資料列表標識。
本申請實施例中，發送端獲得更新請求訊息，並獲得所述更新請求訊息中的資料和控制資訊；發送端將所述資料透過資料更新請求訊息發送給接收端，所述發送端將所述控制資訊透過控制資訊更新請求訊息發送給所述接收端，透過資料更新請求訊息和控制資訊更新請求訊息將資料和控制資訊分別發送給接收端，利用接收端進行資料更新的時間傳輸更新請求訊息中的資料，大幅降低資料更新過程中資料傳輸的等待時間，從而降低資料更新延遲，提高系統性能。
本申請實施例還提供一種接收端，參見圖4所示，為本申請實施例提供的接收端的結構示意圖，該發送端應用於分佈式儲存系統，包括： 接收模組41，用於接收來自發送端的資料更新請求訊息。
設置模組42，用於在更新資料關係表中設置所述資料更新請求訊息攜帶的資料塊標識、更新資料列表標識和更新資料的對應關係。
所述設置模組42還可以在更新資料關係表中對設置的對應關係進行刪除處理，以及時清理無效的更新資料。所述設置模組在更新資料關係表中對設置的對應關係進行刪除包括以下三種方式：
方式一：所述設置模組42在設置資料塊標識、更新資料列表標識和更新資料的對應關係時，為所述對應關係設置老化定時器，當所述老化表逾時時，從所述更新資料關係表中刪除所述對應關係。
方式二：所述設置模組42在設置資料塊標識、更新資料列表標識和更新資料的對應關係時，為所述對應關係設置老化定時器，在所述更新資料關係表佔用的內存記憶體超過預設的內存記憶體佔用閾值時，刪除所述更新資料關係表中佔用內存記憶體最大的對應關係，或者刪除建立時間最久的對應關係。
方式三：所述設置模組42在設置資料塊標識、更新資料列表標識和更新資料的對應關係時，為該對應關係設置老化定時器，當所述老化表逾時時，從所述更新資料關係表中刪除所述對應關係，和當接收端在所述更新資料關係表佔用的內存記憶體超過預設的內存記憶體佔用閾值時，刪除所述更新資料關係表中佔用內存記憶體最大的對應關係，或者刪除建立時間最久的對應關係。
所述接收模組41，還用於接收來自所述發送端的所述資料更新請求訊息對應的控制資訊更新請求訊息。
查找模組43，用於從所述更新資料關係表中查找到所述控制資訊更新請求訊息中攜帶的資料塊標識和更新資料列表標識對應的更新資料。
更新模組44，用於根據所述控制資訊更新請求以及查找到的更新資料進行資料更新。
所述更新模組44，具體用於：將所述控制資訊更新請求以及查找到的更新資料還原為更新請求，根據所述更新請求進行資料更新。
與現有技術相比，本申請的上述實施例具有以下有益技術效果：本申請實施例中，接收端接收來自發送端的資料更新請求訊息；所述接收端在更新資料關係表中設置所述資料更新請求訊息攜帶的資料塊標識、更新資料列表標識和更新資料的對應關係；所述接收端接收來自所述發送端的所述資料更新請求訊息對應的控制資訊更新請求訊息，從所述更新資料關係表中查找到所述控制資訊更新請求訊息中攜帶的資料塊標識和更新資料列表標識對應的更新資料；所述接收端根據所述控制資訊更新請求以及查找到的更新資料進行資料更新，利用接收端進行資料更新的時間傳輸更新請求訊息中的資料，大幅降低資料更新過程中資料傳輸的等待時間，從而降低資料更新延遲，提高系統性能。
透過以上的實施方式的描述，本領域的技術人員可以清楚地瞭解到本申請可借助軟體加必需的通用硬體平臺的方式來實現，當然也可以透過硬體，但很多情況下前者是更佳的實施方式。基於這樣的理解，本申請的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該計算機軟體產品儲存在一個儲存媒體中，包括若干指令用以使得一台終端設備(可以是手機，個人計算機，伺服器，或者網路設備等)執行本申請各個 實施例所述的方法。
本領域技術人員可以理解，實施例中的裝置中的模組可以按照實施例描述進行分佈於實施例的裝置中，也可以進行相應變化位於不同於本實施例的一個或多個裝置中。上述實施例的模組可以合併為一個模組，也可以進一步拆分成多個子模組。
以上所述僅是本申請的優選實施方式，應當指出，對於本技術領域的普通技術人員來說，在不脫離本申請原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視本申請的保護範圍。

Claims (18)

  1. 一種資料更新的方法，應用於包含有發送端和接收端的分佈式儲存系統中，其特徵在於，該方法包括：發送端接收以第一子資料更新儲存在接收端之資料塊的第一更新請求訊息；發送端接收以第二子資料更新儲存在接收端中之該資料塊的第二更新請求訊息；發送端從該第一及第二更新請求訊息中獲得更新資料，該更新資料包括該第一子資料和該第二資料和該第一更新請求訊息的第一控制資訊以及該第二更新請求訊息的第二控制資訊；發送端將包括該第一子資料和該第二子資料的該更新資料透過資料更新請求訊息發送給接收端；以及在透過該資料更新請求發送該更新資料之後，發送端將該第一及第二控制資訊透過控制資訊更新請求訊息發送給該接收端。
  2. 如申請專利範圍第1項所述的方法，其中該接收端組構以：在更新資料關係表中設置資料塊標識、更新資料列表標識和更新資料的對應關係；獲得由該控制資訊更新請求訊息攜帶的與該資料塊標識和該更新資料列表標識對應的該更新資料，其中所獲得的該更新資料包括該第一子資料和該第二子資料；以及基於該控制資訊更新請求訊息及所獲得的該更新資料 來對資料進行更新。
  3. 如申請專利範圍第1項所述的方法，其中，該發送端將該第一及第二控制資訊透過控制資訊更新請求訊息發送給該接收端之前，該方法還包括：該發送端將該資料更新請求訊息攜帶的更新資料列表標識保存到已發送列表；該發送端從該已發送列表中獲取該更新資料列表標識。
  4. 如申請專利範圍第1項所述的方法，其中，該發送端將該更新資料透過資料更新請求訊息發送給接收端，包括：該發送端將多個子資料中的該第一及第二子資料透過分別的多個資料更新請求訊息發送到該接收端，該更新資料包括多個子資料中的該第一及第二子資料，並且該多個資料更新請求訊息攜帶對應的更新資料列表標識。
  5. 如申請專利範圍第1項所述的方法，其中，該發送端從該第一及第二更新請求訊息中獲得該更新資料和該第一及第二控制資訊，包含：當發送端判斷資料塊標識所對應的更新請求訊息數量達到設定的閾值時，該發送端獲得該更新資料和該第一及第二控制資訊。
  6. 一種資料更新的方法，應用於分佈式儲存系統中，其特徵在於，該方法由接收端進行且包括：接收端接收來自發送端的資料更新請求訊息，其中該更新請求訊息包括更新資料，該更新資料包括用於更新資 料塊的第一子資料和用於更新資料塊的第二子資料；該接收端在更新資料關係表中設置資料塊標識、與該第一及第二子資料關聯的更新資料列表標識和包括該第一及第二子資料的更新資料之間的對應關係；該接收端接收來自該發送端的該資料更新請求訊息對應的控制資訊更新請求訊息；該接收端從該更新資料關係表中獲得該控制資訊更新請求訊息中攜帶的資料塊標識和更新資料列表標識對應的更新資料；該接收端根據該控制資訊更新請求以及獲得的更新資料進行資料更新。
  7. 如申請專利範圍第6項所述的方法，其中，該接收端根據該控制資訊更新請求訊息以及獲得的更新資料進行資料塊更新，具體包括：該接收端將該控制資訊更新請求以及獲得的更新資料還原為經還原的更新請求訊息；以及根據該經還原的更新請求訊息進行資料更新。
  8. 如申請專利範圍第6項所述的方法，其中，該接收端在更新資料關係表中設置該資料塊標識、該更新資料列表標識和該更新資料的對應關係之後，該方法還包括下列至少一者：該接收端為該對應關係設置定時器，而當該定時器逾時時，該接收端從該更新資料關係表中刪除該對應關係；或 該接收端為該對應關係設置定時器，而當接收端在該更新資料關係表佔用的內存記憶體超過預設的內存記憶體佔用閾值時，該接收端刪除該更新資料關係表中佔用內存記憶體最大的對應關係，或者刪除建立時間最久的對應關係。
  9. 一種實現為發送端的設備，應用於在分佈式儲存系統中更新儲存資料，其特徵在於，該設備包括：接收模組，組構以：接收以第一子資料更新在接收端中儲存之資料塊的第一更新請求訊息，接收以第二子資料更新該資料塊的第二更新請求訊息，及從該第一及第二更新請求訊息中獲得更新資料，該更新資料包括該第一子資料和該第二子資料和該第一更新請求訊息的第一控制資訊以及該第二更新請求訊息的第二控制資訊；以及發送模組，組構以：透過資料更新請求訊息將包括該第一子資料和該第二子資料的該更新資料發送到接收端；在發送該更新資料之後，透過控制資訊更新請求訊息發送該第一及第二控制資訊。
  10. 如申請專利範圍第9項所述的設備，其中該接收端係組構以：在更新資料關係表中設置資料塊標識、更新資料列表 標識和更新資料的對應關係；獲得與該控制資訊更新請求訊息中攜帶的該資料塊標識和該更新資料列表標識對應的該更新資料，其中所獲得的該更新資料包括該第一子資料和該第二子資料；以及基於該控制資訊更新請求訊息及所獲得的該更新資料來對資料進行更新。
  11. 如申請專利範圍第10項所述的設備，其中，進一步包括：保存模組，組構以將該資料更新請求訊息攜帶的更新資料列表標識保存到已發送列表，並從該已發送列表中獲取該更新資料列表標識。
  12. 如申請專利範圍第9項所述的設備，其中，該發送模組係組構以將該多個子資料中的第一及第二子資料透過分別的多個資料更新請求訊息發送給接收端；其中該多個資料更新請求訊息攜帶對應的更新資料列表標識。
  13. 如申請專利範圍第9項所述的設備，其中，該第一及第二更新請求訊息中包含資料塊標識；及該獲得模組，具體組構以：當發送端判斷該資料塊所對應的更新請求訊息數量達到預定的閾值時，接收該該更新資料和該控制資訊。
  14. 一種非暫態電腦可讀儲存媒體，其儲存一或多個程式，該一或多個程式包含指令，當該指令由發送端的處 理器執行時，引起發送端進行用於在分佈式儲存系統中更新儲存資料的方法，該方法包含：接收以第一子資料更新儲存在接收端之資料塊的第一更新請求訊息；接收以第二子資料更新儲存在接收端中之該資料塊的第二更新請求訊息；從該第一及第二更新請求訊息中獲得更新資料，該更新資料包括該第一子資料和該第二資料和該第一更新請求訊息的第一控制資訊以及該第二更新請求訊息的第二控制資訊；將包括該第一子資料和該第二子資料的該更新資料透過資料更新請求訊息發送給接收端；以及在發送該更新資料之後，將該第一及第二控制資訊透過控制資訊更新請求訊息發送給該接收端。
  15. 如申請專利範圍第14項的非暫態電腦可讀儲存媒體，其中該接收端係組構以：在更新資料關係表中設置資料塊標識、更新資料列表標識和更新資料的對應關係；獲得由該控制資訊更新請求訊息攜帶的與該資料塊標識和該更新資料列表標識對應的該更新資料，其中所獲得的該更新資料包括該第一子資料和該第二子資料；以及基於該控制資訊更新請求訊息及所獲得的該更新資料來對資料進行更新。
  16. 如申請專利範圍第15項的非暫態電腦可讀儲存媒 體，在透過該控制資訊更新請求訊息將該控制資訊發送到該接收端之前，還包含：將該資料更新請求訊息攜帶的更新資料列表標識保存到已發送列表；及從該已發送列表中獲取該更新資料列表標識。
  17. 如申請專利範圍第15項的非暫態電腦可讀儲存媒體，其中透過該資料更新請求訊息將該更新資料發送到該接收端，包含：由該發送端將多個子資料中的該第一及第二子資料透過分別的多個資料更新請求訊息發送到該接收端，該更新資料包括多個子資料中的該第一及第二子資料，並且該多個資料更新請求訊息攜帶對應的更新資料列表標識。
  18. 如申請專利範圍第14項的非暫態電腦可讀儲存媒體，其中從該更新請求訊息獲得該更新資料和該控制資訊，包含：當發送端判斷該資料塊所對應的更新請求訊息數量達到預定的閾值時，藉由發送端獲得該更新資料和該控制資訊。
TW104142100A 2015-04-30 2015-12-15 一種資料更新方法和設備 TWI693547B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510213538.5 2015-04-30
CN201510213538.5A CN106209926B (zh) 2015-04-30 2015-04-30 一种数据更新方法和设备

Publications (2)

Publication Number Publication Date
TW201702858A TW201702858A (zh) 2017-01-16
TWI693547B true TWI693547B (zh) 2020-05-11

Family

ID=57199324

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104142100A TWI693547B (zh) 2015-04-30 2015-12-15 一種資料更新方法和設備

Country Status (4)

Country Link
US (1) US10761724B2 (zh)
CN (1) CN106209926B (zh)
TW (1) TWI693547B (zh)
WO (1) WO2016176045A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11973581B2 (en) 2019-11-05 2024-04-30 Continental Automotive Technologies GmbH Method for protecting the time synchronization in a network against unauthorized changes

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108255848B (zh) * 2016-12-29 2022-06-24 阿里巴巴集团控股有限公司 实现条件更新的方法、设备及系统
CN110096295B (zh) * 2019-05-08 2023-08-08 吉旗（成都）科技有限公司 基于ReactNative的多模块移动应用的热更新方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030233443A1 (en) * 2002-06-18 2003-12-18 Canon Kabushiki Kaisha Status data transmission of image processing apparatus
US20060149740A1 (en) * 2005-01-06 2006-07-06 Nec Corporation List management server for managing updating of list by third-party terminal, list management system, list managing method, and program
US20110289058A1 (en) * 2009-05-26 2011-11-24 Hitachi, Ltd, Information processing system and data backup method in information processing system
TW201142632A (en) * 2010-01-18 2011-12-01 Microsoft Corp Database engine throttling
CN103036717A (zh) * 2012-12-12 2013-04-10 北京邮电大学 分布式数据的一致性维护系统和方法
US20140207913A1 (en) * 2011-03-31 2014-07-24 Alcatel-Lucent Usa Inc. System and method for managing distribution of network information

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4095352B2 (ja) * 2002-06-14 2008-06-04 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及び当該制御方法を実行するためのコンピュータプログラム
JP2004126716A (ja) * 2002-09-30 2004-04-22 Fujitsu Ltd 広域分散ストレージシステムを利用したデータ格納方法、その方法をコンピュータに実現させるプログラム、記録媒体、及び広域分散ストレージシステムにおける制御装置
CN103294675B (zh) * 2012-02-23 2018-08-03 上海盛大网络发展有限公司 一种分布式存储系统中的数据更新方法及装置
CN103379129B (zh) * 2012-04-12 2016-12-14 阿里巴巴集团控股有限公司 一种数据同步方法、服务器及分布式系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030233443A1 (en) * 2002-06-18 2003-12-18 Canon Kabushiki Kaisha Status data transmission of image processing apparatus
US20060149740A1 (en) * 2005-01-06 2006-07-06 Nec Corporation List management server for managing updating of list by third-party terminal, list management system, list managing method, and program
US20110289058A1 (en) * 2009-05-26 2011-11-24 Hitachi, Ltd, Information processing system and data backup method in information processing system
TW201142632A (en) * 2010-01-18 2011-12-01 Microsoft Corp Database engine throttling
US20140207913A1 (en) * 2011-03-31 2014-07-24 Alcatel-Lucent Usa Inc. System and method for managing distribution of network information
CN103036717A (zh) * 2012-12-12 2013-04-10 北京邮电大学 分布式数据的一致性维护系统和方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11973581B2 (en) 2019-11-05 2024-04-30 Continental Automotive Technologies GmbH Method for protecting the time synchronization in a network against unauthorized changes

Also Published As

Publication number Publication date
CN106209926A (zh) 2016-12-07
CN106209926B (zh) 2019-06-21
TW201702858A (zh) 2017-01-16
US10761724B2 (en) 2020-09-01
US20160320974A1 (en) 2016-11-03
WO2016176045A1 (en) 2016-11-03

Similar Documents

Publication Publication Date Title
JP7236452B2 (ja) Ｕｅポリシー更新方法及び装置、コンピュータ記憶媒体
WO2017167020A1 (zh) 配置信息推送方法及装置
US9582387B2 (en) Server, backup system and backup method
TWI693547B (zh) 一種資料更新方法和設備
WO2014201697A1 (zh) 建立rrc连接的方法及装置
TW201031238A (en) Method of handling radio baerer resumption, wireless communication device and wireless communication system thereof
CN114422094A (zh) Pdcp重复的配置、激活或去激活方法和终端
CN114303441A (zh) 5g中的rrc非活动的高效上下文处理
CN108738079B (zh) 一种传输速率协商方法及装置
CN107105501B (zh) 一种基于网络分片的寻呼方法、装置和系统
WO2017054168A1 (zh) 一种用户设备上下文信息的获取方法、相关设备及系统
CN104507054B (zh) 一种群组成员信息更新的方法及相关设备
CN107547593B (zh) 一种实现日志同步的方法、装置及分布式系统
WO2019173951A1 (zh) 一种ue策略的更新方法及装置、计算机存储介质
CN112492030B (zh) 数据存储方法、装置、计算机设备和存储介质
US9767023B2 (en) Method of controlling data writing to persistent storage device
US10536393B2 (en) Mail obtaining method, terminal, and system
EP3163921B1 (en) Message sending method and mobile broadband device
US9913288B2 (en) Data transmission method, device, and system
JPWO2006043411A1 (ja) 通信装置および端末存在確認方法
WO2022222081A1 (zh) 通信方法、装置、设备及存储介质
US20190312929A1 (en) Information synchronization method and device
WO2023231725A1 (zh) 信息传输方法及装置、存储介质、电子装置
CN111565209B (zh) 客户端即时通信方法、装置、设备及介质
WO2016180072A1 (zh) 一种发布应用方法、装置、服务器、客户端及系统