TWI734744B - 路由表的同步方法、裝置及系統 - Google Patents

路由表的同步方法、裝置及系統 Download PDF

Info

Publication number
TWI734744B
TWI734744B TW106104650A TW106104650A TWI734744B TW I734744 B TWI734744 B TW I734744B TW 106104650 A TW106104650 A TW 106104650A TW 106104650 A TW106104650 A TW 106104650A TW I734744 B TWI734744 B TW I734744B
Authority
TW
Taiwan
Prior art keywords
data management
routing table
management group
distributed file
file system
Prior art date
Application number
TW106104650A
Other languages
English (en)
Other versions
TW201735586A (zh
Inventor
劉俊峰
姚文輝
朱家稷
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW201735586A publication Critical patent/TW201735586A/zh
Application granted granted Critical
Publication of TWI734744B publication Critical patent/TWI734744B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/02—Topology update or discovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/54—Organization of routing tables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/18—Multiprotocol handlers, e.g. single devices capable of handling multiple protocols

Abstract

本發明公開了一種路由表的同步方法、裝置及系統。其中，該方法包括：如果檢測到預設的第一資料管理組中的路由表被修改，獲取修改後的路由表資料；將修改後的路由表資料同步至其他任意一個或多個非預設的第二資料管理組，以更新非預設的第二資料管理組中的路由表；其中，分散式檔案系統中部署唯一的第一資料管理組以及至少一個第二資料管理組。本發明解決了現有技術中分散式檔案系統中路由表為靜態表，因此在分散式檔案系統中的任意一個路由表發生變化時，會導致系統中的路由表不一致的技術問題。

Description

路由表的同步方法、裝置及系統
本發明涉及資料同步領域，具體而言，涉及一種路由表的同步方法、裝置及系統。
資料對於電腦和網際網路的應用具有至關重要的作用，隨著資訊爆炸性增長的時代的到來，使用者對於資料的儲存量以及讀寫速率都有了越來越高的要求，傳統的透過增加硬碟個數來拓展電腦檔案系統的儲存容量的方式，在容量大小、容量增長速度、資料讀寫速度以及資料安全方面都不能達到使用者的需求，為此，現有的網際網路行業多採用分散式檔案系統來進行資料的儲存和管理。
在網際網路應用中，路由表可以儲存於分散式檔案系統的位址解析伺服器中，並透過調度模組進行資料快取，由於路由表作為儲存路由器或其他網際網路設備上儲存的表，儲存有達到特定網路中斷的具體路徑，路由器透過路由表儲存的多個具體路徑為經過路由器的每個資料包在儲存的具體路徑中查找最佳的傳輸路徑。目前常用的儲存於分散式檔案系統中的路由表多為靜態的路由表，不能隨著 實際傳輸路徑的變化而進行修改，因此，導致當實際傳輸路徑發生變化時，資料包不能正常傳輸。
針對現有技術中分散式檔案系統中表為靜態表，導致的任意一個資料管理組中的表發生更改時，其餘資料管理組中的表不能同步進行更改的技術問題，目前尚未提出有效的解決方案。
本發明實施例提供了一種路由表的同步方法、裝置及系統，以至少解決現有技術中分散式檔案系統中表為靜態表，導致的任意一個資料管理組中的表發生更改時，其餘資料管理組中的表不能同步進行更改的技術問題。
根據本發明實施例的一個態樣，提供了一種路由表的同步方法，該方法包括：如果檢測到預設的第一資料管理組中的路由表被修改，獲取修改後的路由表資料；將修改後的路由表資料同步至其他任意一個或多個非預設的第二資料管理組，以更新非預設的第二資料管理組中的路由表；其中，分散式檔案系統中部署唯一的第一資料管理組以及至少一個第二資料管理組。
根據本發明實施例的另一態樣，還提供了一種路由表的同步裝置，該裝置包括：第一獲取模組，用於如果檢測到預設的第一資料管理組中的路由表被修改，獲取修改後的路由表資料；同步模組，用於將修改後的路由表資料同步至其他任意一個或多個非預設的第二資料管理組，以更 新非預設的第二資料管理組中的路由表；其中，分散式檔案系統中部署唯一的第一資料管理組以及至少一個第二資料管理組。
根據本發明實施例的又一態樣，還提.供了一種路由表的同步系統，該系統包括：第一資料管理伺服器，用於如果檢測到本機存放區的路由表被修改，獲取修改後的路由表資料，並將修改後的路由表資料進行同步處理，其中，第一資料管理伺服器為分散式檔案系統中預設的第一資料管理組中包含的任意一個伺服器；一個或多個第二資料管理伺服器，與第一資料管理服務器具有通信關係，用於接收第一資料管理伺服器同步的修改後的路由表資料，以更新第二資料管理組中的路由表，其中，第二資料管理伺服器為分散式檔案系統中非預設的第二資料管理組中包含的任意一個伺服器。
此處需要說明的是，預設的第一資料管理組在路由表的同步方法中的主要用途在於檢測分散式檔案系統中的路由表的變更，即，分散式檔案系統中的路由表是否被更改，並在檢測到路由表發生更改的情況下，獲取更改後的最新的路由表。然後將最新的路由表同步至其餘的第二資料管理組中。在對分散式檔案系統中的多個資料管理組的路由表更新之後，client端(使用者終端)的介面可以分散式檔案系統中的每個資料管理組的路由表進行確認，以確保每個資料管理組中的路由表都為最新的路由表。
由此，本發明提供的上述實施例的方案解決了現有技 術中分散式檔案系統中表為靜態表，導致的任意一個資料管理組中的表發生更改時，其餘資料管理組中的表不能同步進行更改的技術問題。
10‧‧‧電腦終端
102‧‧‧處理器
104‧‧‧記憶體
106‧‧‧傳輸模組
S21-S66‧‧‧步驟
120‧‧‧第一獲取模組
122‧‧‧同步模組
80‧‧‧註冊模組
90‧‧‧第二獲取模組
92‧‧‧返回模組
100‧‧‧確定模組
101‧‧‧執行模組
103‧‧‧第三獲取模組
110‧‧‧第一資料管理伺服器
112‧‧‧第二資料管理伺服器
1201‧‧‧處理器
1203‧‧‧記憶體
1205‧‧‧傳輸裝置
1207‧‧‧請求終端
1209‧‧‧資料儲存伺服器
此處所說明的圖式用來提供對本發明的進一步理解，構成本發明的一部分，本發明的示意性實施例及其說明用於解釋本發明，並不構成對本發明的不當限定。在圖式中：圖1是根據本發明實施例1的一種路由表的同步方法的電腦終端的硬體結構方塊圖；圖2是根據本發明實施例1的一種可選的路由表同步方法的流程圖；圖3是根據本發明實施例1的一種可選的路由表同步方法的示意圖；圖4是根據本發明實施例1的請求終端向任意資料管理組發送路由表請求的示意圖；圖5是根據本發明實施例1的一種可選的向資料管理組中發送路由表請求的流程圖；圖6是根據本發明實施例1的一種可選的請求終端向資料儲存伺服器發送路由表請求的流程圖；圖7是根據本發明實施例2的一種可選的路由表的同步裝置的示意圖；圖8是根據本發明實施例2的一種可選的路由表的同 步裝置的示意圖；圖9是根據本發明實施例2的一種可選的路由表的同步裝置的示意圖；圖10是根據本發明實施例2的一種可選的路由表的同步裝置的示意圖；圖11是根據本發明實施例2的路由表的同步系統的結構示意圖；以及圖12是根據本發明實施例2的一種電腦終端的結構方塊圖。
為了使本技術中具有通常知識者更好地理解本發明方案，下面將結合本發明實施例中的圖式，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分的實施例，而不是全部的實施例。基於本發明中的實施例，本領域中具有通常知識者在沒有做出創造性勞動前提下所獲得的所有其他實施例，都應當屬於本發明保護的範圍。
需要說明的是，本發明的說明書和申請專利範圍及上述圖式中的術語“第一”、“第二”等是用於區別類似的物件，而不必用於描述特定的順序或先後次序。應該理解這樣使用的資料在適當情況下可以互換，以便這裡描述的本發明的實施例能夠以除了在這裡圖示或描述的那些以外的順序實施。此外，術語“包括”和“具有”以及他們的任何變 形，意圖在於覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、系統、產品或設備不必限於清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或對於這些過程、方法、產品或設備固有的其它步驟或單元。
首先，在對本發明實施例進行描述的過程中出現的部分名詞或術語適用於如下解釋：Federation：將命名空間namespace進行分散式儲存，使其構成一個系統集群，從而實現分佈系統中的scalability。
Volume：在Federation系統中，在進行命名空間namespace分組後，表示每一組namespace的稱謂。
MountTable，路由表，在盤古分散式檔案系統中，可以將系統內部中不同目錄下的資料放到不同的volume上的路由表。
Pangu Master：盤古分散式檔案系統中所包含的資料管理組，資料管理組的結構為資料管理和資料儲存的結構，資料管理組Master主要記錄資料的屬性meta資訊，資料儲存組主要用於資料data的儲存。
PanguDefaultVolume：在盤古分散式檔儲存系統中引入Federation的模式之後，可以實現在同一個伺服器集群內中劃分出多個資料管理組pangu master組，每一組資料管理伺服器構成的資料管理組都可以對應為一個volume，其中有一組資料管理組為分散式檔案系統預設 的，也是唯一的主資料管理組PanguDefaultVolume。
實施例1
根據本發明實施例，還提供了一種基於分庫分表的任務傳輸方法實施例，需要說明的是，在圖式的流程圖示出的步驟可以在諸如一組電腦可執行指令的電腦系統中執行，並且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同於此處的循序執行所示出或描述的步驟。
本發明實施例一所提供的方法實施例可以在移動終端、電腦終端或者類似的運算裝置中執行。以運行在電腦終端上為例，圖1是根據本發明實施例1的一種路由表的同步方法的電腦終端的硬體結構方塊圖。如圖1所示，電腦終端10可以包括一個或多個(圖中僅示出一個)處理器102(處理器102可以包括但不限於微處理器MCU或現場可程式邏輯閘陣列FPGA等的處理裝置)、用於儲存資料的記憶體104、以及用於通信功能的傳輸模組106。本領域中具有通常知識者可以理解，圖1所示的結構僅為示意，其並不對上述電子裝置的結構造成限定。例如，電腦終端10還可包括比圖1中所示更多或者更少的元件，或者具有與圖1所示不同的配置。
記憶體104可用于儲存應用軟體的軟體程式以及模組，如本發明實施例中的路由表的同步方法和裝置對應的程式指令/模組，處理器102透過運行儲存在記憶體104 內的軟體程式以及模組，從而執行各種功能應用以及資料處理，即實現上述的應用程式的路由表的同步方法。記憶體104可包括高速隨機記憶體，還可包括非揮發性記憶體，如一個或者多個磁性儲存裝置、快閃記憶體、或者其他非揮發性固態記憶體。在一些實例中，記憶體104可進一步包括相對於處理器102遠端設置的記憶體，這些遠端存放器可以透過網路連接至電腦終端10。上述網路的實例包括但不限於網際網路、企業內部網路、區域網路、行動通信網及其組合。
傳輸裝置106用於經由一個網路接收或者發送資料。上述的網路具體實例可包括電腦終端10的通信供應商提供的無線網路。在一個實例中，傳輸裝置106包括一個網路介面卡(Network Interface Controller，NIC)，其可透過基站與其他網路設備相連從而可與網際網路進行通訊。在一個實例中，傳輸裝置106可以為射頻(Radio Frequency，RF)模組，其用於透過無線方式與網際網路進行通訊。
在上述運行環境下，本發明提供了如圖2所示的路由表的同步方法。圖2是根據本發明實施例1的一種可選的路由表的同步方法的流程圖，如圖2所示的方法可以包括如下步驟：
步驟S21，如果檢測到預設的第一資料管理組中的路由表被修改，獲取修改後的路由表資料。
在上述步驟中，預設的第一資料管理組可以是分散式 檔案系統中的任意一個資料管理組，在路由表的同步方法中，第一資料管理組用於實現將接收到的最新的路由表同步至分散式檔案系統中部署的其他資料管理組。
在一種可選的實施例中，預設的第一資料管理組可以是分散式檔案系統中儲存最重要的資料的資料管理組，或資料儲存量最大的資料管理組，但在實際應用中，具體講分散式檔案系統中的哪一個資料管理組作為預設的第一資料管理組，此處不做限定。
此處需要說明的是，預設的第一資料管理組在路由表的同步方法中的主要用途在於檢測分散式檔案系統中的路由表的變更，即，分散式檔案系統中的路由表是否被更改，並在檢測到路由表發生更改的情況下，獲取更改後的最新的路由表。
此處還需要說明的是，在本發明涉及到的分散式檔案系統中(例如盤古pangu分散式檔案系統)，通常可以透過將Federation(聯盟)的模式引入來實現資料管理組的形成，即將Federation中採用的對資料的namespace(命名空間)進行分散式的劃分模式引入資料管理組的模式，從而使其構成一個包含了一個或多個資料管理伺服器構成的集合組，實現分散式系統中的儲存模式。在分散式檔案系統中透過Federation進行對namespace進行分組後，會構成多個master組，每一組都是一個資料管理組，而在上述分散式檔案系統中的多個資料管理組中，有且僅有一個資料管理組為預設的第一資料管理組。
此處還需要說明的是，在分散式檔案系統為Master/Chunk server的結構時，資料管理伺服器Master用於儲存分散式檔案系統中的meta(標籤)資訊，即，資料的屬性資訊，例如：資料的索引、網頁數據的標題、關鍵字等資訊，Chunk server則提供資料的儲存服務。在上述路由表的同步方法中，路由表儲存於分散式檔案系統的Master中，上述資料管理組為對Master進行分組後得到的多組資料管理組。
步驟S23，將修改後的路由表資料同步至其他任意一個或多個非預設的第二資料管理組，以更新非預設的第二資料管理組中的路由表。
其中，分散式檔案系統中部署唯一的第一資料管理組以及至少一個第二資料管理組。
在一種可選的實施例中，以分散式檔案系統為阿里巴巴的盤古作為示例，盤古作為為阿里巴巴的雲計算平臺提供資料儲存服務的分散式檔案系統，包括多個資料管理組(例如，淘寶、淘點點、來往等)，預設其中一個資料管理組作為PanguDefaultVolume(即預設第一資料管理組)，該分散式檔案系統中的其餘資料管理組為第二資料管理組，例如，預設淘寶的資料管理組為第一資料管理組，則該分散式檔案系統中的其餘資料管理組(例如：淘點點、來往等)均為第二資料管理組；當路由表發生變更時，先由淘寶的資料管理組(預設的第一資料管理組)接收最新的路由表，在第一資料管理組獲取到最新的路由表 後，將最新的路由表同步至其餘的第二資料管理組中，即，其餘的資料管理組(第二資料管理組)中的路由表的修改均透過預設的第一資料管理組來完成。
在對分散式檔案系統中的多個資料管理組的路由表更新之後，client端(使用者終端)的介面可以分散式檔案系統中的每個資料管理組的路由表進行確認，以確保每個資料管理組中的路由表都為最新的路由表。
圖3是根據本發明實施例1的一種可選的路由表同步方法的示意圖，結合圖3所示，當路由表由於使用者修改等因素發生變化時，分散式檔案系統中的第一資料管理組首先接收修改後的新的路由表，然後將新的路由表同步至分散式檔案系統中的其餘的第二資料管理組。上述說明不限定實際應用中的第二資料管理組的數量，即，當分散式檔案系統中有多個第二資料管理組時，都透過第一資料管理組進行同步新的路由表。
由此，本發明提供的上述實施例的方案解決了現有技術中分散式檔案系統中表為靜態表，導致的任意一個資料管理組中的表發生更改時，其餘資料管理組中的表不能同步進行更改的技術問題。
在本發明上述實施例中，當分散式檔案系統中部署新的第二資料管理組時，將新的第二資料管理組中的資料管理伺服器註冊至第一資料管理組上，並將第一資料管理組中的路由表同步至新的第二資料管理組中。
在上述步驟中，新的第二資料管理組是在原分散式檔 案系統中不存在資料管理組，在加入新的第二資料管理組後，為了使新的第二資料管理組能夠同步第一資料管理組中的最新的路由表，首先將第二資料管理組中的資料管理伺服器註冊至預設的第一資料管理組上。
可選的，上述資料管理伺服器可以是第二資料管理組中的任意一個資料管理伺服器Master。
在一種可選的實施例中，仍以上述分散式檔案系統為阿里巴巴的盤古作為示例，預設預設的第一資料管理組為淘寶的資料管理組，若需要在盤古分散式檔案系統中加入原分散式檔案系統中沒有的來往的資料管理組，先將來往的資料管理組的資料管理伺服器註冊至淘寶的資料管理組上，其中，上述資料管理伺服器可以是來往的資料管理組的Master，將來往的資料管理伺服器註冊至淘寶的資料管理組後，保證了來往的資料管理組和淘寶的資料管理組的通信，使得來往的資料管理組成為該分散式檔案系統中與其餘第二資料管理組相同的第二資料管理組，此時方可對來往的資料管理組進行路由表同步的步驟，以使得來往的資料管理組中包含最新的路由表。
本發明上述實施例提供的方法解決了在新的資料管理組加入分散式檔案系統後的路由表難以統一的技術問題。
在本發明上述實施例中，上述方法還包括如下步驟：
步驟S23，在分散式檔案系統中的任意一個資料管理組接收到請求終端發起的路由表請求之後，從路由表請求中獲取請求終端中的路由表版本資訊。
步驟S25，如果路由表版本資訊與任意一個資料管理組中的路由表的版本資訊不一致的情況下，任意一個資料管理組向請求終端返回本機存放區的路由表，或者，請求終端透過訪問分散式檔案系統中部署的資料儲存伺服器來獲取最新的路由表。
圖4是根據本發明實施例1的請求終端向任意資料管理組發送路由表請求的示意圖。結合圖4所示，在一種可選的實施例中，仍以上述分散式檔案系統為阿里巴巴的盤古作為示例，預設預設的第一資料管理組為淘寶的資料管理組，請求終端向分散式檔案系統中的任意一個資料管理組發送更新路由表的請求，任意一個資料管理組獲取發起路由表請求的請求終端的路由表版本資訊，在版本資訊與接收到路由表請求的資料管理組中的路由表的版本資訊不一致時，向請求終端發送儲存的路由表。
在上述步驟中，路由表的版本資訊可以是用於表示新路由表與舊路由表的資訊，以使資料管理組來識別最新的路由表。
此處需要說明的是，上述任意資料管理組可以是在分散式檔案系統隨機選擇的資料管理組，但在優選的情況下，任意一個資料管理組為分散式檔案系統中的第一資料管理組，由於第一資料管理組是分散式檔案系統中首個接收到最新路由表的資料管理組，因此為了保證請求終端接收到的路由表也為分散式檔案系統中最新的路由表，優選的方法是上述任意一個資料管理組為分散式系統中的第一 資料管理組。
在本發明上述實施例中，步驟S23，在從路由表請求中獲取請求終端中的路由表版本資訊之前，上述方法還包括：
步驟S231，根據路由表請求中攜帶的待操作的檔或目錄的資訊，確定待操作的檔或目錄的許可權。
步驟S233，如果許可權為允許操作，則繼續執行從路由表請求中獲取請求終端中的路由表版本資訊的步驟。
步驟S235，如果許可權為禁止操作，則獲取最新的路由表失敗。
在上述步驟中，路由表中待操作的檔或目錄可以是發起路由表請求的資料管理組的檔案名或檔目錄。
在一種可選的實施例中，仍以上述分散式檔案系統為阿里巴巴的盤古作為示例，請求終端向分散式檔案系統中的第一資料管理組發送路由表請求，則第一資料管理組透過路由表中檔或者目錄資訊確定該請求終端是否有許可權獲取最新的路由表。
本發明上述步驟對獲取分散式檔案系統中的路由表的物件做了預設限定，使得具有獲取最新路由表許可權的請求終端才能從分散式檔案系統中獲得最新的路由表。
在另一種可選的實施例中，接收到路由表請求的資料管理組在獲取到請求終端的路由表的版本後，經對比確認請求終端的路由表版本為最新的路由表版本，則可以認為請求終端的請求許可權被篡改，因此向請求終端返回錯誤 代碼，請求終端在接收到錯誤代碼後，會在預設時間進行重試請求，直至請求終端的路由表版本以不與接收路由表請求的資料管理組的路由表相同。
圖5是根據本發明實施例1的一種可選的向資料管理組中發送路由表請求的流程圖，包括如下步驟：
步驟S51，請求終端發起路由表請求。
在上述步驟中，請求終端向分散式檔案系統中的任意資料管理組發送路由表請求。
步驟S52，確定待操作的檔或目錄的許可權。
在待操作的檔或目錄有操作許可權的情況下進入步驟S53，否則進入步驟S55。
步驟S53，判斷請求終端與任意資料管理組的路由表是否一致。
在上述步驟中，如果請求終端與任意資料管理組的路由表一致，則進入步驟S55，否則進入步驟S54。
步驟S54，向請求終端發送路由表。
如果路由表版本資訊與任意一個資料管理組中的路由表的版本資訊不一致的情況下，任意一個資料管理組向請求終端返回本機存放區的路由表，或者，請求終端透過訪問分散式檔案系統中部署的資料儲存伺服器來獲取最新的路由表。
步驟S55，返回錯誤代碼。
在請求終端沒有獲取最新路由表的情況下，接收到資料管理組返回的錯誤代碼。
在本發明上述實施例中，在分散式檔案系統中的任意一個資料管理組接收到請求終端發起的路由表請求之前，方法還包括：
步驟S237，請求終端在調用訪問介面之後，解析得到分散式檔案系統中的每個資料管理組的訪問資訊。
步驟S239，請求終端向任意一個資料管理組發送路由表請求，其中，如果請求終端從任意一個資料管理組獲取最新的路由表失敗，則向分散式檔案系統中的其他資料管理組發送路由表請求，直至獲取最新的路由表。
具體的，在上述步驟中，上述訪問介面可以是API介面，分散式檔案系統中的每個資料管理組的訪問資訊可以是資料管理組的Master資訊。
在一種可選的實施例中，仍以上述分散式檔案系統為阿里巴巴的盤古作為示例，使用者調用API(Application Programming Interface,應用程式設計發展介面)後，利用阿里巴巴的address resolver(位址解析工具，例如：nuwa)解析出該分散式檔案系統中所有資料管理組的位址資訊(例如：tcp/ip位址)，在解析出所有資料管理組的位址資訊後，隨機向其中的任意一個資料管理組發送請求獲取路由表的請求，如果請求失敗，則反復上述過程重試。
此處需要說明的是，在請求終端請求失敗的情況下，需要判斷當前時間是否在預設的時間範圍內，如果當前時間在預設的時間範圍內，則向其他資料管理組重新發起獲 取路由表的情況下，如果當前時間已經超時了預設的時間範圍，則停止請求終端繼續發送獲取路由表的請求。
在本發明上述實施例中，步驟S237，在解析得到分散式檔案系統中的每個資料管理組的訪問資訊之前，上述方法還包括：
步驟S2371，請求終端解析得到分散式檔案系統中部署的資料儲存伺服器的訪問資訊。
步驟S2373，請求終端向資料儲存伺服器發送路由表請求，其中，如果請求終端從資料儲存伺服器獲取最新的路由表失敗，或者資料儲存伺服器中儲存的路由表不是最新的路由表，則請求終端進入解析分散式檔案系統中的每個資料管理組的訪問資訊的步驟。
在一種可選的實施例中，上述分散式檔案系統是Master，Slave結構，上述資料儲存伺服器可以是chunk server，請求終端首先向chunk server發送路由表請求，當向chunk server請求失敗，或chunk server中的路由表的版本資訊不是最新版本時，請求終端向分散式檔案系統中的任意一個資料管理組發送路由表請求。
在本發明上述實施例中，步驟S23，在分散式檔案系統中的任意一個資料管理組接收到請求終端發起的路由表請求之前，方法還包括：
步驟S25，請求終端在調用訪問介面之後，解析得到分散式檔案系統中預設的第一資料管理組的位址資訊。
步驟S27，請求終端向第一資料管理組發送路由表請 求，其中，如果請求終端從第一資料管理組獲取最新的路由表失敗，則向分散式檔案系統中的其他任意一個或多個第二資料管理組發送路由表請求，直至獲取最新的路由表。
在一種可選的實施例中，仍以上述分散式檔案系統為阿里巴巴的盤古作為示例，預設預設的第一資料管理組為淘寶的資料管理組，請求終端向淘寶的資料管理組發送更新路由表的請求，淘寶的資料管理組接收到路由表請求後，獲取請求終端中的路由表的版本資訊，在版本資訊與接收到路由表請求的資料管理組中的路由表的版本資訊不一致時，向請求終端發送儲存的路由表。
在本發明上述實施例中，上述方法還包括：，在解析得到分散式檔案系統中預設的第一資料管理組的位址資訊之前，方法還包括：
步驟S251，請求終端解析得到分散式檔案系統中部署的資料儲存伺服器的訪問資訊。
步驟S253請求終端向資料儲存伺服器發送路由表請求，其中，如果請求終端從資料儲存伺服器獲取最新的路由表失敗，或者資料儲存伺服器中儲存的路由表不是最新的路由表，則請求終端進入解析分散式檔案系統中的第一資料管理組的訪問資訊的步驟。
在一種可選的實施例中，上述分散式檔案系統是Master，Slave結構，請求終端首先向Master發送路由表請求，當向Master請求失敗返回的錯誤代碼，路由表的 版本資訊不正確時，請求終端向分散式檔案系統中的任意一個資料管理組發送路由表請求。
圖6是根據本發明實施例1的一種可選的請求終端向資料儲存伺服器發送路由表請求的流程圖，包括如下步驟：
S61，獲取資料儲存伺服器的訪問資訊。
S62，向資料儲存伺服器發送路由表請求。
S63，請求是否失敗。
S64，資料儲存伺服器中的路由表是否為最新路由表。
S65，向請求終端發送路由表。
S66，解析第一資料管理組的訪問資訊。
在本發明上述實施例中，上述方法還包括：在請求終端發起路由表請求的過程中，如果檢測到第一資料管理組中的路由表被修改，則重新訪問分散式檔案系統中的任意一個資料管理組，來獲取最新的路由表。
在請求終端發起路由表請求的過程中檢測到第一資料管理組中的路由表被修改，如果繼續訪問分散式中的任意一個資料管理組，則獲取得到的路由表可能部位最新的路由表，因此本發明上述步驟在請求終端發起路由表請求的過程中檢測到第一資料管理組中的路由表被修改時，重新訪問分散式檔案系統中的任意資料管理組，以使得請求終端獲取得到的是最新的路由表。
在本發明上述實施例中，上述方法還包括：分散式檔 案系統中部署的第一資料管理組以及第二資料管理組設置有讀寫請求門限，其中，讀寫請求門限用於表徵對應的資料管理組中的資料管理伺服器的最大訪問次數，如果資料管理伺服器的訪問次數超過讀寫請求門限，則終止訪問資料管理伺服器。
在一種可選的實施例中，以線上生產集群AY75C及AY88B為例，當具有5000套資料管理伺服器時，在均值的讀寫次數為1萬次，峰值讀寫次數為10萬的情況下，當Master為3台時，平均每台資料管理伺服器最大需要承受3.3萬次的讀寫次數，未超出第一資料管理組以及第二資料管理組設置有讀寫請求門限。
在本發明上述實施例中，上述方法還包括：對第一資料管理組中包含的資料管理伺服器進行持久化處理，在第一資料管理組執行持久化處理完成之後，向至少一個第二資料管理組發送用於修改路由表的遠端程序呼叫協定，使得第二資料管理組執行持久化處理。
在上述步驟中，對資料管理伺服器進行持久化處理可以是將資料管理伺服器終端資料儲存至可永久儲存的設備中。
此處需要說明的是，由於分散式檔案系統中所有路由表的更新都依賴於第一資料管理組更新，因此第二資料管理組對第一資料管理組具有很大的依賴性，如果第二資料管理組發生故障，則需要依賴於第一資料管理組進行修復，如果第一資料管理組也發生故障，則需要在第一資料 管理組修復完成後再依賴於第一資料管理組進行修復，從而使得第二資料管理組的修復進度遲緩，因此透過向第二資料管理組發送遠端調用協定對第二資料管理組中的資料伺服器進行持久化處理，從而當在第一資料管理組出現故障的情況下，第二資料管理組也發生故障時。由於第二資料管理組已經對路由表進行了持久化處理，因此第二資料管理組的恢復不依賴於第一資料管理組，進而提高了第二資料管理組的損毀修復效率。
需要說明的是，對於前述的各方法實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領域中具有通常知識者應該知悉，本發明並不受所描述的動作順序的限制，因為依據本發明，某些步驟可以採用其他順序或者同時進行。其次，本領域中具有通常知識者也應該知悉，說明書中所描述的實施例均屬於優選實施例，所涉及的動作和模組並不一定是本發明所必須的。
透過以上的實施方式的描述，本領域的中具有通常知識者可以清楚地瞭解到根據上述實施例的基於分庫分表的任務傳輸方法可借助軟體加必需的通用硬體平臺的方式來實現，當然也可以透過硬體，但很多情況下前者是更佳的實施方式。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質(如ROM/RAM、磁碟、光碟)中，包括若干指令用以使得一台終端設備(可以是手機，電腦，伺服器，或者網路設備 等)執行本發明各個實施例所述的方法。
實施例2
根據本發明實施例，還提供了一種路由表的同步裝置，如圖7所示，該裝置包括：第一獲取模組120和同步模組122。
第一獲取模組120用於如果檢測到預設的第一資料管理組中的路由表被修改，獲取修改後的路由表資料；同步模組122用於將修改後的路由表資料同步至其他任意一個或多個非預設的第二資料管理組，以更新非預設的第二資料管理組中的路由表；其中，分散式檔案系統中部署唯一的第一資料管理組以及至少一個第二資料管理組。
在一種可選的實施例中，預設的第一資料管理組可以是分散式檔案系統中儲存最重要的資料的資料管理組，或資料儲存量最大的資料管理組，但在實際應用中，具體將分散式檔案系統中的哪一個資料管理組作為預設的第一資料管理組，此處不做限定。
此處需要說明的是，預設的第一資料管理組在路由表的同步方法中的主要用途在於檢測分散式檔案系統中的路由表的變更，即，分散式檔案系統中的路由表是否被更改，並在檢測到路由表發生更改的情況下，獲取更改後的最新的路由表。
此處還需要說明的是，在分散式檔案系統中，通常透 過Federation(聯盟)將資料的namespace(命名空間)進行分散式,從而使其構成一個聯盟，進而實現分散式系統中的儲存模式，在分散式檔案系統透過Federation進行對namespace進行分組後，會構成多個master組，每一組都是一個資料管理組，而在上述分散式檔案系統中的多個資料管理組中，有且僅有一個資料管理組為預設的第一資料管理組。
此處還需要說明的是，在分散式檔案系統為Master/Chunk server的結構時，Master用於儲存分散式檔案系統中的meta(標籤)資訊，即，資料的屬性資訊，例如：資料的索引、網頁數據的標題、關鍵字等資訊，Chunk server則提供資料的儲存服務。在上述路由表的同步方法中，路由表儲存於分散式檔案系統的Master中，上述資料管理組為對Master進行分組後得到的多組資料管理組。
在一種可選的實施例中，以分散式檔案系統為阿里巴巴的盤古作為示例，盤古作為為阿里巴巴的雲計算平臺提供資料儲存服務的分散式檔案系統，包括多個資料管理組(例如，淘寶、淘點點、來往等)，預設其中一個資料管理組作為PanguDefaultVolume(預設第一資料管理組)，該分散式檔案系統中的其餘資料管理組為第二資料管理組，例如，預設淘寶的資料管理組為第一資料管理組，則該分散式檔案系統中的其餘資料管理組(例如：淘點點、來往等)均為第二資料管理組；當路由表發生變更時，先 由淘寶的資料管理組(預設的第一資料管理組)接收最新的路由表，在第一資料管理組獲取到最新的路由表後，將最新的路由表同步至其餘的第二資料管理組中，即，其餘的資料管理組(第二資料管理組)中的路由表的修改均透過預設的第一資料管理組來完成。
在對分散式檔案系統中的多個資料管理組的路由表更新之後，client端(使用者終端)的介面可以分散式檔案系統中的每個資料管理組的路由表進行確認，以確保每個資料管理組中的路由表都為最新的路由表。
由此，本發明提供的上述實施例的方案解決了現有技術中分散式檔案系統中表為靜態表，導致的任意一個資料管理組中的表發生更改時，其餘資料管理組中的表不能同步進行更改的技術問題。
在本發明上述實施例中，結合圖8所示，上述裝置還包括：註冊模組80， 註冊模組80用於當分散式檔案系統中部署新的第二資料管理組時，將新的第二資料管理組中的資料管理伺服器註冊至第一資料管理組上，並將第一資料管理組中的路由表同步至新的第二資料管理組中。
在上述裝置中，新的第二資料管理組是在原分散式檔案系統中不存在資料管理組，在加入新的第二資料管理組後，為了使新的第二資料管理組能夠同步第一資料管理組中的最新的路由表，首先將第二資料管理組中的資料管理伺服器註冊至預設的第一資料管理組上。
可選的，上述資料管理伺服器可以是第二資料管理組的Master。
在一種可選的實施例中，仍以上述分散式檔案系統為阿里巴巴的盤古作為示例，預設預設的第一資料管理組為淘寶的資料管理組，若需要在盤古分散式檔案系統中加入原分散式檔案系統中沒有的來往的資料管理組，先將來往的資料管理組的資料管理伺服器註冊至淘寶的資料管理組上，其中，上述資料管理伺服器可以是來往的資料管理組的Master，將來往的資料管理伺服器註冊至淘寶的資料管理組後，保證了來往的資料管理組和淘寶的資料管理組的通信，使得來往的資料管理組成為該分散式檔案系統中與其餘第二資料管理組相同的第二資料管理組，此時方可對來往的資料管理組進行路由表同步的步驟，以使得來往的資料管理組中包含最新的路由表。
本發明上述實施例提供的方法解決了在新的資料管理組加入分散式檔案系統後的路由表難以統一的技術問題。
本發明上述實施例中，結合圖9所示，上述裝置還包括：第二獲取模組90和返回模組92， 第二獲取模組90用於在分散式檔案系統中的任意一個資料管理組接收到請求終端發起的路由表請求之後，從路由表請求中獲取請求終端中的路由表版本資訊；返回模組92用於如果路由表版本資訊與任意一個資料管理組中的路由表的版本資訊不一致的情況下，任意一個資料管理組向請求終端返回本機存放區的路由表，或者，請求終端 透過訪問分散式檔案系統中部署的資料儲存伺服器來獲取最新的路由表。
結合圖4所示，在一種可選的實施例中，仍以上述分散式檔案系統為阿里巴巴的盤古作為示例，預設預設的第一資料管理組為淘寶的資料管理組，請求終端向分散式檔案系統中的任意一個資料管理組發送更新路由表的請求，任意一個資料管理組獲取發起路由表請求的請求終端的路由表版本資訊，在版本資訊與接收到路由表請求的資料管理組中的路由表的版本資訊不一致時，向請求終端發送儲存的路由表。
在上述裝置中，路由表的版本資訊可以是用於表示新路由表與舊路由表的資訊，以使資料管理組來識別最新的路由表。
此處需要說明的是，上述任意資料管理組可以是在分散式檔案系統隨機選擇的資料管理組，但在優選的情況下，任意一個資料管理組為分散式檔案系統中的第一資料管理組，由於第一資料管理組是分散式檔案系統中首個接收到最新路由表的資料管理組，因此為了保證請求終端接收到的路由表也為分散式檔案系統中最新的路由表，優選的方法是上述任意一個資料管理組為分散式系統中的第一資料管理組。
在本發明上述實施例中，結合圖10所示，上述述裝置還包括：確定模組100、執行模組101和第三獲取模組103。
確定模組100用於根據路由表請求中攜帶的待操作的檔或目錄的資訊，確定待操作的檔或目錄的許可權；執行模組101，用於如果許可權為允許操作，則繼續執行從路由表請求中獲取請求終端中的路由表版本資訊的步驟；第三獲取模組103用於如果許可權為禁止操作，則獲取最新的路由表失敗。
在本發明上述實施例中，分散式檔案系統中部署的第一資料管理組以及第二資料管理組設置有讀寫請求門限，其中，讀寫請求門限用於表徵對應的資料管理組中的資料管理伺服器的最大訪問次數，如果資料管理伺服器的訪問次數超過讀寫請求門限，則終止訪問資料管理伺服器。
在本發明上述實施例中，持久化處理模組，用於對第一資料管理組中包含的資料管理伺服器進行持久化處理，並在第一資料管理組執行持久化處理完成之後，向至少一個第二資料管理組發送用於修改路由表的遠端程序呼叫協定，使得第二資料管理組執行持久化處理。
在本發明上述實施例中，上述裝置還包括：解析模組用於請求終端在調用訪問介面之後，解析得到分散式檔案系統中預設的第一資料管理組的位址資訊；第三發送模組請求終端向第一資料管理組發送路由表請求，其中，如果請求終端從第一資料管理組獲取最新的路由表失敗，則向分散式檔案系統中的其他任意一個或多個第二資料管理組發送路由表請求，直至獲取最新的路由表。
在本發明上述實施例中，上述裝置還包括：第二處理模組用於請求終端解析得到分散式檔案系統中部署的資料儲存伺服器的訪問資訊；第四發送模組用於請求終端向資料儲存伺服器發送路由表請求，其中，如果請求終端從資料儲存伺服器獲取最新的路由表失敗，或者資料儲存伺服器中儲存的路由表不是最新的路由表，則請求終端進入解析分散式檔案系統中的第一資料管理組的訪問資訊的步驟。
本發明上述實施例中，上述裝置還包括：訪問模組，用於在請求終端發起路由表請求的過程中，如果檢測到第一資料管理組中的路由表被修改，則重新訪問分散式檔案系統中的任意一個資料管理組，來獲取最新的路由表。
在本發明上述實施例中，上述分散式檔案系統中部署的第一資料管理組以及第二資料管理組設置有讀寫請求門限，其中，讀寫請求門限用於表徵對應的資料管理組中的資料管理伺服器的最大訪問次數，如果資料管理伺服器的訪問次數超過讀寫請求門限，則終止訪問資料管理伺服器。
在本發明上述實施例中，上述裝置還包括：持久化模組，用於對第一資料管理組中包含的資料管理伺服器進行持久化處理，在第一資料管理組執行持久化處理完成之後，向至少一個第二資料管理組發送用於修改路由表的遠端程序呼叫協定，使得第二資料管理組執行持 久化處理。
實施例3
根據本發明實施例，還提供了一種路由表的同步系統，結合圖11所示，該系統包括：第一資料管理伺服器110和一個或多個第二資料管理伺服器112，其中，第一資料管理伺服器110，用於如果檢測到本機存放區的路由表被修改，獲取修改後的路由表資料，並將修改後的路由表資料進行同步處理，其中，第一資料管理伺服器為分散式檔案系統中預設的第一資料管理組中包含的任意一個伺服器；一個或多個第二資料管理伺服器112，與第一資料管理服務器具有通信關係，用於接收第一資料管理伺服器同步的修改後的路由表資料，以更新第二資料管理組中的路由表，其中，第二資料管理伺服器為分散式檔案系統中非預設的第二資料管理組中包含的任意一個伺服器。
在一種可選的實施例中，預設的第一資料管理組可以是分散式檔案系統中的任意一個資料管理組，在路由表的同步方法中，第一資料管理組用於實現將接收到的最新的路由表同步至分散式檔案系統中部署的其他資料管理組。
此處還需要說明的是，在本發明涉及到的分散式檔案系統中(例如盤古pangu分散式檔案系統)，通常可以透過將Federation(聯盟)的模式引入來實現資料管理組的形成，即將Federation中採用的對資料的namespace(命 名空間)進行分散式的劃分模式引入資料管理組的模式，從而使其構成一個包含了一個或多個資料管理伺服器構成的集合組，實現分散式系統中的儲存模式。在分散式檔案系統中透過Federation進行對namespace進行分組後，會構成多個master組，每一組都是一個資料管理組，而在上述分散式檔案系統中的多個資料管理組中，有且僅有一個資料管理組為預設的第一資料管理組。
此處還需要說明的是，在分散式檔案系統為Master/Chunk server的結構時，資料管理伺服器Master用於儲存分散式檔案系統中的meta(標籤)資訊，即，資料的屬性資訊，例如：資料的索引、網頁數據的標題、關鍵字等資訊，Chunk server則提供資料的儲存服務。在上述路由表的同步方法中，路由表儲存於分散式檔案系統的Master中，上述資料管理組為對Master進行分組後得到的多組資料管理組。
在一種可選的實施例中，以分散式檔案系統為阿里巴巴的盤古作為示例，盤古作為為阿里巴巴的雲計算平臺提供資料儲存服務的分散式檔案系統，包括多個資料管理組(例如，淘寶、淘點點、來往等)，預設其中一個資料管理組作為PanguDefaultVolume(預設第一資料管理組)，該分散式檔案系統中的其餘資料管理組為第二資料管理組，例如，預設淘寶的資料管理組為第一資料管理組，則該分散式檔案系統中的其餘資料管理組(例如：淘點點、來往等)均為第二資料管理組；當淘寶的資料管理組(預 設的第一資料管理組)檢測到本機存放區的路由表被修改，則淘寶的資料管理組接收最新的路由表，並將接收到的最新的路由表同步至其餘的第二資料管理組中，其餘的第二資料管理組接收淘寶的資料管理組同步的修改後的路由表，以使儲存在一個或多個第二資料管理組本地的路由表變更為修改後的路由表，即，其餘的資料管理組(第二資料管理組)中的路由表的修改均透過預設的第一資料管理組來完成。
在對分散式檔案系統中的多個資料管理組的路由表更新之後，client端(使用者終端)的介面可以分散式檔案系統中的每個資料管理組的路由表進行確認，以確保每個資料管理組中的路由表都為最新的路由表。
結合圖3所示，當路由表由於使用者修改等因素發生變化時，分散式檔案系統中的第一資料管理組首先接收修改後的路由表，然後將修改後的路由表同步至分散式檔案系統中的其餘的第二資料管理組。上述實施例不限定實際應用中的第二資料管理組的數量，即，當分散式檔案系統中有多個第二資料管理組時，都透過第一資料管理組進行同步新的路由表。
由此，本發明提供的上述實施例的方案解決了現有技術中分散式檔案系統中表為靜態表，導致的任意一個資料管理組中的表發生更改時，其餘資料管理組中的表不能同步進行更改的技術問題。
在本發明上述實施例中，上述系統還可以包括：請求 終端，與第一資料管理伺服器和一個或多個第二資料管理服務器具有通信關係，用於向分散式檔案系統中的任意一個資料管理組發送路由表請求，並接收任意一個資料管理組返回的路由表，或者，請求終端透過訪問分散式檔案系統中部署的資料儲存伺服器來獲取最新的路由表。
在上述系統中，當請求終端向分散式檔案系統中的任意一個資料管理組發送路由表請求時，接收路由表請求的資料管理組可以獲取路由表請求中的路由表版本資訊，當路由表請求中的路由表版本資訊與接收路由表請求的資料管理組的路由表版本資訊不一致時，接收路由表請求的資料管理組向請求終端回饋本機存放區的路由表。
在一種可選的實施例中，仍以上述分散式檔案系統為阿里巴巴的盤古作為示例，預設預設的第一資料管理組為淘寶的資料管理組，請求終端向分散式檔案系統中的任意一個資料管理組發送更新路由表的請求，任意一個資料管理組獲取發起路由表請求的請求終端的路由表版本資訊，在版本資訊與接收到路由表請求的資料管理組中的路由表的版本資訊不一致時，向請求終端發送儲存的路由表。
在上述實施例中，路由表的版本資訊可以是用於表示新路由表與舊路由表的資訊，以使資料管理組來識別最新的路由表。
此處需要說明的是，上述任意資料管理組可以是在分散式檔案系統隨機選擇的資料管理組，但在由於第一資料管理組是分散式檔案系統中首個接收到最新路由表的資料 管理組，因此為了保證請求終端接收到的路由表也為分散式檔案系統中最新的路由表，優選的方法是上述任意一個資料管理組為分散式系統中的第一資料管理組。
在本發明上述實施例中，請求終端還用於在調用訪問介面之後，解析得到分散式檔案系統中的每個資料管理組的訪問資訊，並向任意一個資料管理組發送路由表請求；其中，如果請求終端從任意一個資料管理組獲取最新的路由表失敗，則向分散式檔案系統中的其他資料管理組發送路由表請求，直至獲取最新的路由表。
具體的，在上述系統中，上述訪問介面可以是API(Application Programming Interface,應用程式設計發展介面)介面，分散式檔案系統中的每個資料管理組的訪問資訊可以是資料管理組的Master資訊。
在本發明上述實施例中，請求終端還用於在無法解析得到分散式檔案系統中的任意一個資料管理組的訪問資訊的情況下，解析得到分散式檔案系統中部署的資料儲存伺服器的訪問資訊，並向資料儲存伺服器發送路由表請求；其中，如果請求終端從資料儲存伺服器獲取最新的路由表失敗，或者資料儲存伺服器中儲存的路由表不是最新的路由表，則請求終端開始解析分散式檔案系統中的每個資料管理組的訪問資訊。
在一種可選的實施例中，上述分散式檔案系統是Master，Slave結構，上述任意一個資料管理組可以是Master，上述資料儲存伺服器可以是chunk server，當請 求終端在無法解析Maste的訪問資訊的情況下，解析chunk server的訪問資訊，並向chunk server發送路由表請求。
在本發明上述實施例中，請求終端還用於在調用訪問介面之後，解析得到分散式檔案系統中預設的第一資料管理組的位址資訊，並向第一資料管理組發送路由表請求；其中，如果請求終端從第一資料管理組獲取最新的路由表失敗，則向分散式檔案系統中的其他任意一個或多個第二資料管理組發送路由表請求，直至獲取最新的路由表。
在一種可選的實施例中，仍以上述分散式檔案系統為阿里巴巴的盤古作為示例，使用者調用API後，利用阿里巴巴的address resolver(位址解析工具，例如：nuwa)解析出該分散式檔案系統中所有資料管理組的位址資訊(例如：tcp/ip位址)，在解析出所有資料管理組的位址資訊後，隨機向其中的任意一個資料管理組發送請求獲取路由表的請求，如果請求失敗，則反復上述過程重試，直至成功獲取到最新的路由表。
此處需要說明的是，在請求終端請求失敗的情況下，需要判斷當前時間是否在預設的時間範圍內，如果當前時間在預設的時間範圍內，則向其他資料管理組重新發起獲取路由表的情況下，如果當前時間已經超時了預設的時間範圍，則停止請求終端繼續發送獲取路由表的請求。
在本發明上述實施例中，請求終端還用於在無法解析得到分散式檔案系統中預設的第一資料管理組的訪問資訊 的情況下，解析得到分散式檔案系統中部署的資料儲存伺服器的訪問資訊，並向資料儲存伺服器發送路由表請求；其中，如果請求終端從資料儲存伺服器獲取最新的路由表失敗，或者資料儲存伺服器中儲存的路由表不是最新的路由表，則請求終端開始解析分散式檔案系統中的第一資料管理組的訪問資訊。
在一種可選的實施例中，上述分散式檔案系統是Master，Slave結構，上述預設的第一資料管理組可以是預設的第一資料管理組中的Master，上述資料儲存伺服器可以是chunk server，當請求終端在無法解析Maste的訪問資訊的情況下，解析chunk server的訪問資訊，並向chunk server發送路由表請求。
在本發明上述實施例中請求終端還用於在發起路由表請求的過程中，如果檢測到第一資料管理組中的路由表被修改，則重新訪問分散式檔案系統中的任意一個資料管理組，來獲取最新的路由表。
在請求終端發起路由表請求的過程中檢測到第一資料管理組中的路由表被修改，如果繼續訪問分散式檔案系統中的任意一個資料管理組，則獲取得到的路由表可能部位最新的路由表，因此本發明上述步驟在請求終端發起路由表請求的過程中檢測到第一資料管理組中的路由表被修改時，重新訪問分散式檔案系統中的任意資料管理組，以使得請求終端獲取得到的是最新的路由表。
實施例4
本發明的實施例可以提供一種電腦終端，該電腦終端可以是電腦終端群中的任意一個電腦終端設備。可選地，在本實施例中，上述電腦終端也可以替換為行動終端等終端設備。
可選地，在本實施例中，上述電腦終端可以位於電腦網路的多個網路設備中的至少一個網路設備。
在本實施例中，上述電腦終端可以執行路由表的同步方法中以下步驟的程式碼：如果檢測到預設的第一資料管理組中的路由表被修改，獲取修改後的路由表資料；將修改後的路由表資料同步至其他任意一個或多個非預設的第二資料管理組，以更新非預設的第二資料管理組中的路由表；其中，分散式檔案系統中部署唯一的第一資料管理組以及至少一個第二資料管理組。
可選地，圖12是根據本發明實施例的一種電腦終端的結構方塊圖。如圖12所示，該電腦終端A可以包括：一個或多個(圖中僅示出一個)處理器1201、記憶體1203、傳輸裝置1205、請求終端1207以及資料儲存伺服器1209。
其中，記憶體可用於儲存軟體程式以及模組，如本發明實施例中的路由表的同步方法和裝置對應的程式指令/模組，處理器透過運行儲存在記憶體內的軟體程式以及模組，從而執行各種功能應用以及資料處理，即實現上述的路由表的同步方法。記憶體可包括高速隨機記憶體，還可 以包括非揮發性記憶體，如一個或者多個磁性儲存裝置、快閃記憶體、或者其他非揮發性固態記憶體。在一些實例中，記憶體可進一步包括相對于處理器遠端設置的記憶體，這些遠端存放器可以透過網路連接至終端A。上述網路的實例包括但不限於網際網路、企業內部網、區域網路、行動通信網及其組合。
處理器可以透過傳輸裝置調用記憶體儲存的資訊及應用程式，以執行下述步驟：如果檢測到預設的第一資料管理組中的路由表被修改，獲取修改後的路由表資料；將修改後的路由表資料同步至其他任意一個或多個非預設的第二資料管理組，以更新非預設的第二資料管理組中的路由表；其中，分散式檔案系統中部署唯一的第一資料管理組以及至少一個第二資料管理組。
可選的，上述處理器還可以執行如下步驟的程式碼：當路由表的同步方法分散式檔案系統中部署新的第二資料管理組時，將路由表的同步方法新的第二資料管理組中的資料管理伺服器註冊至路由表的同步方法第一資料管理組上，並將路由表的同步方法第一資料管理組中的路由表同步至路由表的同步方法新的第二資料管理組中。
可選的，上述處理器還可以執行如下步驟的程式碼：在路由表的同步方法分散式檔案系統中的任意一個資料管理組接收到請求終端發起的路由表請求之後，從路由表的同步方法路由表請求中獲取路由表的同步方法請求終端中的路由表版本資訊；如果路由表的同步方法路由表版本資 訊與路由表的同步方法任意一個資料管理組中的路由表的版本資訊不一致的情況下，路由表的同步方法任意一個資料管理組向路由表的同步方法請求終端返回本機存放區的路由表，或者，路由表的同步方法請求終端透過訪問路由表的同步方法分散式檔案系統中部署的資料儲存伺服器來獲取最新的路由表。
可選的，上述處理器還可以執行如下步驟的程式碼：根據路由表的同步方法路由表請求中攜帶的待操作的檔或目錄的資訊，確定路由表的同步方法待操作的檔或目錄的許可權；如果路由表的同步方法許可權為允許操作，則繼續執行從路由表的同步方法路由表請求中獲取路由表的同步方法請求終端中的路由表版本資訊的步驟；如果路由表的同步方法許可權為禁止操作，則獲取路由表的同步方法最新的路由表失敗。
可選的，上述處理器還可以執行如下步驟的程式碼：路由表的同步方法請求終端在調用訪問介面之後，解析得到路由表的同步方法分散式檔案系統中的每個資料管理組的訪問資訊；路由表的同步方法請求終端向路由表的同步方法任意一個資料管理組發送路由表的同步方法路由表請求，其中，如果路由表的同步方法請求終端從路由表的同步方法任意一個資料管理組獲取路由表的同步方法最新的路由表失敗，則向路由表的同步方法分散式檔案系統中的其他資料管理組發送路由表的同步方法路由表請求，直至獲取路由表的同步方法最新的路由表。
可選的，上述處理器還可以執行如下步驟的程式碼：請求終端解析得到分散式檔案系統中部署的資料儲存伺服器的訪問資訊；請求終端向資料儲存伺服器發送路由表請求，其中，如果請求終端從資料儲存伺服器獲取最新的路由表失敗，或者資料儲存伺服器中儲存的路由表不是最新的路由表，則請求終端進入解析分散式檔案系統中的每個資料管理組的訪問資訊的步驟。
可選的，上述處理器還可以執行如下步驟的程式碼：在分散式檔案系統中的任意一個資料管理組接收到請求終端發起的路由表請求之前，方法還包括：請求終端在調用訪問介面之後，解析得到分散式檔案系統中預設的第一資料管理組的位址資訊；請求終端向第一資料管理組發送路由表請求，其中，如果請求終端從第一資料管理組獲取最新的路由表失敗，則向分散式檔案系統中的其他任意一個或多個第二資料管理組發送路由表請求，直至獲取最新的路由表。
可選的，上述處理器還可以執行如下步驟的程式碼：在解析得到分散式檔案系統中預設的第一資料管理組的位址資訊之前，方法還包括：請求終端解析得到分散式檔案系統中部署的資料儲存伺服器的訪問資訊；請求終端向資料儲存伺服器發送路由表請求，其中，如果請求終端從資料儲存伺服器獲取最新的路由表失敗，或者資料儲存伺服器中儲存的路由表不是最新的路由表，則請求終端進入解析分散式檔案系統中的第一資料管理組的訪問資訊的步 驟。
可選的，上述處理器還可以執行如下步驟的程式碼：請求終端發起路由表的同步方法路由表請求的過程中，如果檢測到路由表的同步方法第一資料管理組中的路由表被修改，則重新訪問路由表的同步方法分散式檔案系統中的任意一個資料管理組，來獲取路由表的同步方法最新的路由表。
可選的，上述處理器還可以執行如下步驟的程式碼：路由表的同步方法布式檔案系統中部署的路由表的同步方法第一資料管理組以及路由表的同步方法第二資料管理組設置有讀寫請求門限，其中，路由表的同步方法讀寫請求門限用於表徵對應的資料管理組中的資料管理伺服器的最大訪問次數，如果路由表的同步方法資料管理伺服器的訪問次數超過路由表的同步方法讀寫請求門限，則終止訪問路由表的同步方法資料管理伺服器。
可選的，上述處理器還可以執行如下步驟的程式碼：第一資料管理組中包含的資料管理伺服器進行持久化處理，在路由表的同步方法第一資料管理組執行持久化處理完成之後，向至少一個路由表的同步方法第二資料管理組發送用於修改路由表的遠端程序呼叫協議，使得路由表的同步方法第二資料管理組執行持久化處理。
由此，本發明提供的上述實施例的方案解決了現有技術中分散式檔案系統中表為靜態表，導致的任意一個資料管理組中的表發生更改時，其餘資料管理組中的表不能同 步進行更改的技術問題。
本領域中具有通常知識者可以理解，圖12所示的結構僅為示意，電腦終端也可以是智慧型手機(如Android 手機、iOS手機等)、平板電腦、掌上型電腦以及行動網際網路設備(Mobile Internet Devices，MID)、PAD等終端設備。圖12其並不對上述電子裝置的結構造成限定。例如，電腦終端10還可包括比圖12中所示更多或者更少的元件(如網路介面、顯示裝置等)，或者具有與圖12所示不同的配置。
本領域中具有通常知識者可以理解上述實施例的各種方法中的全部或部分步驟是可以透過程式來指令終端設備相關的硬體來完成，該程式可以儲存於一電腦可讀儲存介質中，儲存介質可以包括：快閃記憶體盤、唯讀記憶體(Read-Only Memory，ROM)、隨機存取器(Random Access Memory，RAM)、磁片或光碟等。
實施例5
本發明的實施例還提供了一種儲存介質。可選地，在本實施例中，上述儲存介質可以用於儲存上述實施例一所提供的基於分庫分表的任務傳輸方法所執行的程式碼。
可選地，在本實施例中，上述儲存介質可以位於電腦網路中電腦終端群中的任意一個電腦終端中，或者位於行動終端群中的任意一個行動終端中。
可選地，在本實施例中，儲存介質被設置為儲存用於 執行以下步驟的程式碼：如果檢測到預設的第一資料管理組中的路由表被修改，獲取修改後的路由表資料；將修改後的路由表資料同步至其他任意一個或多個非預設的第二資料管理組，以更新非預設的第二資料管理組中的路由表；其中，分散式檔案系統中部署唯一的第一資料管理組以及至少一個第二資料管理組。
可選地，在本實施例中，儲存介質被設置為儲存用於執行以下步驟的程式碼：當路由表的同步方法分散式檔案系統中部署新的第二資料管理組時，將路由表的同步方法新的第二資料管理組中的資料管理伺服器註冊至路由表的同步方法第一資料管理組上，並將路由表的同步方法第一資料管理組中的路由表同步至路由表的同步方法新的第二資料管理組中。
可選地，在本實施例中，儲存介質被設置為儲存用於執行以下步驟的程式碼：在路由表的同步方法分散式檔案系統中的任意一個資料管理組接收到請求終端發起的路由表請求之後，從路由表的同步方法路由表請求中獲取路由表的同步方法請求終端中的路由表版本資訊；如果路由表的同步方法路由表版本資訊與路由表的同步方法任意一個資料管理組中的路由表的版本資訊不一致的情況下，路由表的同步方法任意一個資料管理組向路由表的同步方法請求終端返回本機存放區的路由表，或者，路由表的同步方法請求終端透過訪問路由表的同步方法分散式檔案系統中部署的資料儲存伺服器來獲取最新的路由表。
可選地，在本實施例中，儲存介質被設置為儲存用於執行以下步驟的程式碼：根據路由表的同步方法路由表請求中攜帶的待操作的檔或目錄的資訊，確定路由表的同步方法待操作的檔或目錄的許可權；如果路由表的同步方法許可權為允許操作，則繼續執行從路由表的同步方法路由表請求中獲取路由表的同步方法請求終端中的路由表版本資訊的步驟；如果路由表的同步方法許可權為禁止操作，則獲取路由表的同步方法最新的路由表失敗。
可選地，在本實施例中，儲存介質被設置為儲存用於執行以下步驟的程式碼：路由表的同步方法請求終端在調用訪問介面之後，解析得到路由表的同步方法分散式檔案系統中的每個資料管理組的訪問資訊；路由表的同步方法請求終端向路由表的同步方法任意一個資料管理組發送路由表的同步方法路由表請求，其中，如果路由表的同步方法請求終端從路由表的同步方法任意一個資料管理組獲取路由表的同步方法最新的路由表失敗，則向路由表的同步方法分散式檔案系統中的其他資料管理組發送路由表的同步方法路由表請求，直至獲取路由表的同步方法最新的路由表。
可選地，在本實施例中，儲存介質被設置為儲存：請求終端解析得到分散式檔案系統中部署的資料儲存伺服器的訪問資訊；請求終端向資料儲存伺服器發送路由表請求，其中，如果請求終端從資料儲存伺服器獲取最新的路由表失敗，或者資料儲存伺服器中儲存的路由表不是最新 的路由表，則請求終端進入解析分散式檔案系統中的每個資料管理組的訪問資訊的步驟。
可選地，在本實施例中，儲存介質被設置為儲存：在分散式檔案系統中的任意一個資料管理組接收到請求終端發起的路由表請求之前，方法還包括：請求終端在調用訪問介面之後，解析得到分散式檔案系統中預設的第一資料管理組的位址資訊；請求終端向第一資料管理組發送路由表請求，其中，如果請求終端從第一資料管理組獲取最新的路由表失敗，則向分散式檔案系統中的其他任意一個或多個第二資料管理組發送路由表請求，直至獲取最新的路由表。
可選地，在本實施例中，儲存介質被設置為儲存：請求終端解析得到分散式檔案系統中部署的資料儲存伺服器的訪問資訊；請求終端向資料儲存伺服器發送路由表請求，其中，如果請求終端從資料儲存伺服器獲取最新的路由表失敗，或者資料儲存伺服器中儲存的路由表不是最新的路由表，則請求終端進入解析分散式檔案系統中的每個資料管理組的訪問資訊的步驟。
可選地，在本實施例中，儲存介質被設置為儲存：在分散式檔案系統中的任意一個資料管理組接收到請求終端發起的路由表請求之前，方法還包括：請求終端在調用訪問介面之後，解析得到分散式檔案系統中預設的第一資料管理組的位址資訊；請求終端向第一資料管理組發送路由表請求，其中，如果請求終端從第一資料管理組獲取最新 的路由表失敗，則向分散式檔案系統中的其他任意一個或多個第二資料管理組發送路由表請求，直至獲取最新的路由表。
可選地，在本實施例中，儲存介質被設置為儲存：在解析得到分散式檔案系統中預設的第一資料管理組的位址資訊之前，方法還包括：請求終端解析得到分散式檔案系統中部署的資料儲存伺服器的訪問資訊；請求終端向資料儲存伺服器發送路由表請求，其中，如果請求終端從資料儲存伺服器獲取最新的路由表失敗，或者資料儲存伺服器中儲存的路由表不是最新的路由表，則請求終端進入解析分散式檔案系統中的第一資料管理組的訪問資訊的步驟。
可選地，在本實施例中，儲存介質被設置為儲存：請求終端解析得到分散式檔案系統中部署的資料儲存伺服器的訪問資訊；請求終端向資料儲存伺服器發送路由表請求，其中，如果請求終端從資料儲存伺服器獲取最新的路由表失敗，或者資料儲存伺服器中儲存的路由表不是最新的路由表，則請求終端進入解析分散式檔案系統中的第一資料管理組的訪問資訊的步驟。
可選地，在本實施例中，儲存介質被設置為儲存：在路由表的同步方法請求終端發起路由表的同步方法路由表請求的過程中，如果檢測到路由表的同步方法第一資料管理組中的路由表被修改，則重新訪問路由表的同步方法分散式檔案系統中的任意一個資料管理組，來獲取路由表的 同步方法最新的路由表。
可選地，在本實施例中，儲存介質被設置為儲存：路由表的同步方法分散式檔案系統中部署的路由表的同步方法第一資料管理組以及路由表的同步方法第二資料管理組設置有讀寫請求門限，其中，路由表的同步方法讀寫請求門限用於表徵對應的資料管理組中的資料管理伺服器的最大訪問次數，如果路由表的同步方法資料管理伺服器的訪問次數超過路由表的同步方法讀寫請求門限，則終止訪問路由表的同步方法資料管理伺服器。
可選地，在本實施例中，儲存介質被設置為儲存：對路由表的同步方法第一資料管理組中包含的資料管理伺服器進行持久化處理，在路由表的同步方法第一資料管理組執行持久化處理完成之後，向至少一個路由表的同步方法第二資料管理組發送用於修改路由表的遠端程序呼叫協議，使得路由表的同步方法第二資料管理組執行持久化處理。
上述本發明實施例序號僅僅為了描述，不代表實施例的優劣。
在本發明的上述實施例中，對各個實施例的描述都各有側重，某個實施例中沒有詳述的部分，可以參見其他實施例的相關描述。
在本發明所提供的幾個實施例中，應該理解到，所揭露的技術內容，可透過其它的方式實現。其中，以上所描述的裝置實施例僅僅是示意性的，例如所述單元的劃分， 僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是透過一些介面，單元或模組的間接耦合或通信連接，可以是電性或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。
所述集成的單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個電腦可讀取儲存介質中。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台電腦設備(可為個人電腦、伺服器或者網路設備等)執行本發明各個實施例所述方法的全部或部分步驟。而前述的儲存 介質包括：U盤、唯讀記憶體(ROM，Read-Only Memory)、隨機存取記憶體(RAM，Random Access Memory)、行動硬碟、磁碟或者光碟等各種可以儲存程式碼的介質。
以上所述僅是本發明的優選實施方式，應當指出，對於本技術領域的中具有通常知識者來說，在不脫離本發明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發明的保護範圍。

Claims (22)

  1. 一種路由表的同步方法，其特徵在於，包括：如果檢測到預設的第一資料管理組中的路由表被修改，獲取修改後的路由表資料；將該修改後的路由表資料同步至其他任意一個或多個非預設的第二資料管理組，以更新該非預設的第二資料管理組中的路由表；其中，分散式檔案系統中部署唯一的該第一資料管理組以及至少一個該第二資料管理組，其中，該分散式檔案系統中部署的該第一資料管理組以及該第二資料管理組設置有讀寫請求門限，其中，該讀寫請求門限用於表徵對應的資料管理組中的資料管理伺服器的最大訪問次數，如果該資料管理伺服器的訪問次數超過該讀寫請求門限，則終止訪問該資料管理伺服器。
  2. 根據請求項1所述的方法，其中，當該分散式檔案系統中部署新的第二資料管理組時，將該新的第二資料管理組中的資料管理伺服器註冊至該第一資料管理組上，並將該第一資料管理組中的路由表同步至該新的第二資料管理組中。
  3. 根據請求項1或2所述的方法，其中，該方法還包括：在該分散式檔案系統中的任意一個資料管理組接收到請求終端發起的路由表請求之後，從該路由表請求中獲取該請求終端中的路由表版本資訊； 在該路由表版本資訊與該任意一個資料管理組中的路由表的版本資訊不一致的情況下，該任意一個資料管理組向該請求終端返回本機存放區的路由表，或者，該請求終端透過訪問該分散式檔案系統中部署的資料儲存伺服器來獲取最新的路由表。
  4. 根據請求項3所述的方法，其中，在從該路由表請求中獲取該請求終端中的路由表版本資訊之前，該方法還包括：根據該路由表請求中攜帶的待操作的檔或目錄的資訊，確定該待操作的檔或目錄的許可權；如果該許可權為允許操作，則繼續執行從該路由表請求中獲取該請求終端中的路由表版本資訊的步驟；如果該許可權為禁止操作，則獲取該最新的路由表失敗。
  5. 根據請求項3所述的方法，其中，在該分散式檔案系統中的任意一個資料管理組接收到請求終端發起的路由表請求之前，該方法還包括：該請求終端在調用訪問介面之後，解析得到該分散式檔案系統中的每個資料管理組的訪問資訊；該請求終端向該任意一個資料管理組發送該路由表請求，其中，如果該請求終端從該任意一個資料管理組獲取該最新的路由表失敗，則向該分散式檔案系統中的其他資料管理組發送該路由表請求，直至獲取該最新的路由表。
  6. 根據請求項5所述的方法，其中，在解析得到該分 散式檔案系統中的每個資料管理組的訪問資訊之前，該方法還包括：該請求終端解析得到該分散式檔案系統中部署的該資料儲存伺服器的訪問資訊；該請求終端向該資料儲存伺服器發送該路由表請求，其中，如果該請求終端從該資料儲存伺服器獲取該最新的路由表失敗，或者該資料儲存伺服器中儲存的路由表不是該最新的路由表，則該請求終端進入解析該分散式檔案系統中的每個資料管理組的訪問資訊的步驟。
  7. 根據請求項3所述的方法，其中，在該分散式檔案系統中的任意一個資料管理組接收到請求終端發起的路由表請求之前，該方法還包括：該請求終端在調用訪問介面之後，解析得到該分散式檔案系統中該預設的第一資料管理組的位址資訊；該請求終端向該第一資料管理組發送該路由表請求，其中，如果該請求終端從該第一資料管理組獲取該最新的路由表失敗，則向該分散式檔案系統中的其他任意一個或多個第二資料管理組發送該路由表請求，直至獲取該最新的路由表。
  8. 根據請求項7所述的方法，其中，在解析得到該分散式檔案系統中該預設的第一資料管理組的位址資訊之前，該方法還包括：該請求終端解析得到該分散式檔案系統中部署的該資料儲存伺服器的訪問資訊； 該請求終端向該資料儲存伺服器發送該路由表請求，其中，如果該請求終端從該資料儲存伺服器獲取該最新的路由表失敗，或者該資料儲存伺服器中儲存的路由表不是該最新的路由表，則該請求終端進入解析該分散式檔案系統中的該第一資料管理組的訪問資訊的步驟。
  9. 根據請求項3所述的方法，其中，在該請求終端發起該路由表請求的過程中，如果檢測到該第一資料管理組中的路由表被修改，則重新訪問該分散式檔案系統中的任意一個資料管理組或該第一資料管理組，來獲取該最新的路由表。
  10. 根據請求項1所述的方法，其中，對該第一資料管理組中包含的資料管理伺服器進行持久化處理，在該第一資料管理組執行持久化處理完成之後，向至少一個該第二資料管理組發送用於修改路由表的遠端程序呼叫協議，使得該第二資料管理組執行持久化處理。
  11. 一種路由表的同步裝置，其特徵在於，包括：第一獲取模組，用於如果檢測到預設的第一資料管理組中的路由表被修改，獲取修改後的路由表資料；同步模組，用於將該修改後的路由表資料同步至其他任意一個或多個非預設的第二資料管理組，以更新該非預設的第二資料管理組中的路由表；其中，分散式檔案系統中部署唯一的該第一資料管理組以及至少一個該第二資料管理組，其中，該分散式檔案系統中部署的該第一資料管理組 以及該第二資料管理組設置有讀寫請求門限，其中，該讀寫請求門限用於表徵對應的資料管理組中的資料管理伺服器的最大訪問次數，如果該資料管理伺服器的訪問次數超過該讀寫請求門限，則終止訪問該資料管理伺服器。
  12. 根據請求項11所述的裝置，其中，該裝置還包括：註冊模組，用於當該分散式檔案系統中部署新的第二資料管理組時，將該新的第二資料管理組中的資料管理伺服器註冊至該第一資料管理組上，並將該第一資料管理組中的路由表同步至該新的第二資料管理組中。
  13. 根據請求項11或12所述的裝置，其中，該裝置還包括：第二獲取模組，用於在該分散式檔案系統中的任意一個資料管理組接收到請求終端發起的路由表請求之後，從該路由表請求中獲取該請求終端中的路由表版本資訊；返回模組，用於如果該路由表版本資訊與該任意一個資料管理組中的路由表的版本資訊不一致的情況下，該任意一個資料管理組向該請求終端返回本機存放區的路由表，或者，該請求終端透過訪問該分散式檔案系統中部署的資料儲存伺服器來獲取最新的路由表。
  14. 根據請求項13所述的裝置，其中，該裝置還包括：確定模組，用於根據該路由表請求中攜帶的待操作的檔或目錄的資訊，確定該待操作的檔或目錄的許可權； 執行模組，用於如果該許可權為允許操作，則繼續執行從該路由表請求中獲取該請求終端中的路由表版本資訊的步驟；第三獲取模組，用於如果該許可權為禁止操作，則獲取該最新的路由表失敗。
  15. 根據請求項11所述的裝置，其中，該裝置還包括：持久化處理模組，用於對該第一資料管理組中包含的資料管理伺服器進行持久化處理，並在該第一資料管理組執行持久化處理完成之後，向至少一個該第二資料管理組發送用於修改路由表的遠端程序呼叫協議，使得該第二資料管理組執行持久化處理。
  16. 一種路由表的同步系統，其特徵在於，包括：第一資料管理伺服器，用於如果檢測到本機存放區的路由表被修改，獲取修改後的路由表資料，並將該修改後的路由表資料進行同步處理，其中，該第一資料管理伺服器為分散式檔案系統中預設的第一資料管理組中包含的任意一個伺服器；一個或多個第二資料管理伺服器，與該第一資料管理服務器具有通信關係，用於接收該第一資料管理伺服器同步的該修改後的路由表資料，以更新該第二資料管理組中的路由表，其中，該第二資料管理伺服器為該分散式檔案系統中非預設的第二資料管理組中包含的任意一個伺服器。
  17. 根據請求項16所述的系統，其中，該系統還包括：請求終端，與該第一資料管理伺服器和該一個或多個第二資料管理服務器具有通信關係，用於向該分散式檔案系統中的任意一個資料管理組發送路由表請求，並接收該任意一個資料管理組返回的路由表，或者，該請求終端透過訪問該分散式檔案系統中部署的資料儲存伺服器來獲取最新的路由表。
  18. 根據請求項17所述的系統，其中，該請求終端還用於在調用訪問介面之後，解析得到該分散式檔案系統中的每個資料管理組的訪問資訊，並向該任意一個資料管理組發送該路由表請求；其中，如果該請求終端從該任意一個資料管理組獲取該最新的路由表失敗，則向該分散式檔案系統中的其他資料管理組發送該路由表請求，直至獲取該最新的路由表。
  19. 根據請求項18所述的系統，其中，該請求終端還用於在無法解析得到該分散式檔案系統中的任意一個資料管理組的訪問資訊的情況下，解析得到該分散式檔案系統中部署的該資料儲存伺服器的訪問資訊，並向該資料儲存伺服器發送該路由表請求；其中，如果該請求終端從該資料儲存伺服器獲取該最新的路由表失敗，或者該資料儲存伺服器中儲存的路由表不是該最新的路由表，則該請求終端開始解析該分散式檔案系統中的每個資料管理組的訪問資訊。
  20. 根據請求項17所述的系統，其中，該請求終端還用於在調用訪問介面之後，解析得到該分散式檔案系統中該預設的第一資料管理組的位址資訊，並向該第一資料管理組發送該路由表請求；其中，如果該請求終端從該第一資料管理組獲取該最新的路由表失敗，則向該分散式檔案系統中的其他任意一個或多個第二資料管理組發送該路由表請求，直至獲取該最新的路由表。
  21. 根據請求項20所述的系統，其中，該請求終端還用於在無法解析得到該分散式檔案系統中該預設的第一資料管理組的訪問資訊的情況下，解析得到該分散式檔案系統中部署的該資料儲存伺服器的訪問資訊，並向該資料儲存伺服器發送該路由表請求；其中，如果該請求終端從該資料儲存伺服器獲取該最新的路由表失敗，或者該資料儲存伺服器中儲存的路由表不是該最新的路由表，則該請求終端開始解析該分散式檔案系統中的該第一資料管理組的訪問資訊。
  22. 根據請求項17所述的系統，其中，該請求終端還用於在發起該路由表請求的過程中，如果檢測到該第一資料管理組中的路由表被修改，則重新訪問該分散式檔案系統中的任意一個資料管理組，來獲取該最新的路由表。
TW106104650A 2016-03-09 2017-02-13 路由表的同步方法、裝置及系統 TWI734744B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610133755.8A CN107181686B (zh) 2016-03-09 2016-03-09 路由表的同步方法、装置及系统
CN201610133755.8 2016-03-09

Publications (2)

Publication Number Publication Date
TW201735586A TW201735586A (zh) 2017-10-01
TWI734744B true TWI734744B (zh) 2021-08-01

Family

ID=59790033

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106104650A TWI734744B (zh) 2016-03-09 2017-02-13 路由表的同步方法、裝置及系統

Country Status (4)

Country Link
US (1) US10826817B2 (zh)
CN (1) CN107181686B (zh)
TW (1) TWI734744B (zh)
WO (1) WO2017152768A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107181686B (zh) 2016-03-09 2020-06-23 阿里巴巴集团控股有限公司 路由表的同步方法、装置及系统
CN107682261B (zh) * 2017-10-24 2020-04-03 新华三技术有限公司 流量转发方法及装置
US10630571B1 (en) * 2017-11-16 2020-04-21 Amazon Technologies, Inc. Fault-tolerant request routing
US10411990B2 (en) * 2017-12-18 2019-09-10 At&T Intellectual Property I, L.P. Routing stability in hybrid software-defined networking networks
CN110071870B (zh) * 2018-01-24 2022-03-18 苏宁云商集团股份有限公司 基于Alluxio的多HDFS集群的路由方法及装置
CN109885550B (zh) * 2018-12-28 2022-09-13 安徽维德工业自动化有限公司 一种基于全联通路由层的文件存储系统
CN111431805B (zh) * 2020-03-27 2021-01-12 上海天好信息技术股份有限公司 一种物联网多路信号复用的同步策略方法
US11704033B1 (en) * 2021-09-30 2023-07-18 Amazon Technologies, Inc. Request routing management for a distributed storage system
CN114650251B (zh) * 2022-03-18 2024-02-20 北京百度网讯科技有限公司 路由表构建方法、装置、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1731400A (zh) * 2005-08-16 2006-02-08 杭州华为三康技术有限公司 分布式系统中数据查询的方法及板间数据同步的方法
CN104050249A (zh) * 2011-12-31 2014-09-17 北京奇虎科技有限公司 分布式查询引擎系统和方法及元数据服务器
CN104283906A (zh) * 2013-07-02 2015-01-14 华为技术有限公司 分布式存储系统、集群节点及其区间管理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004013215A (ja) * 2002-06-03 2004-01-15 Hitachi Ltd ストレージシステム、ストレージサブシステム、および、それらを含む情報処理システム
US8874974B2 (en) * 2011-11-15 2014-10-28 International Business Machines Corporation Synchronizing a distributed communication system using diagnostic heartbeating
CN103139081B (zh) * 2011-11-28 2017-08-11 中兴通讯股份有限公司 分布式哈希表路由表更新方法及节点
CN103259824B (zh) * 2012-02-21 2016-03-09 深圳市腾讯计算机系统有限公司 分布式数据存储系统中数据路由的同步方法和装置
US10135732B2 (en) * 2012-12-31 2018-11-20 Juniper Networks, Inc. Remotely updating routing tables
CN104468364B (zh) * 2013-09-18 2018-02-13 华为技术有限公司 路由同步方法及装置
CN104253748B (zh) * 2014-09-24 2017-10-03 大唐移动通信设备有限公司 基于分布式架构的路由方法和系统
CN107181686B (zh) 2016-03-09 2020-06-23 阿里巴巴集团控股有限公司 路由表的同步方法、装置及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1731400A (zh) * 2005-08-16 2006-02-08 杭州华为三康技术有限公司 分布式系统中数据查询的方法及板间数据同步的方法
CN100442282C (zh) * 2005-08-16 2008-12-10 杭州华三通信技术有限公司 分布式系统中数据查询的方法及板间数据同步的方法
CN104050249A (zh) * 2011-12-31 2014-09-17 北京奇虎科技有限公司 分布式查询引擎系统和方法及元数据服务器
CN104283906A (zh) * 2013-07-02 2015-01-14 华为技术有限公司 分布式存储系统、集群节点及其区间管理方法

Also Published As

Publication number Publication date
CN107181686A (zh) 2017-09-19
US20180367441A1 (en) 2018-12-20
WO2017152768A1 (zh) 2017-09-14
US10826817B2 (en) 2020-11-03
TW201735586A (zh) 2017-10-01
CN107181686B (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
TWI734744B (zh) 路由表的同步方法、裝置及系統
WO2017167171A1 (zh) 一种数据操作方法，服务器及存储系统
US8321503B2 (en) Context-specific network resource addressing model for distributed services
TWI724095B (zh) 實體機資料遷移至雲端的方法、裝置和系統
WO2017114206A1 (zh) 短链接处理方法、装置及短链接服务器
US20170244596A1 (en) Configuration Information Management Method, Device, Network Element Management System and Storage Medium
CN106484820B (zh) 一种重命名方法、访问方法及装置
US20150143065A1 (en) Data Processing Method and Apparatus, and Shared Storage Device
WO2018058949A1 (zh) 一种数据存储方法、装置及系统
WO2020063763A1 (zh) 数据存储方法、装置、系统、服务器、控制节点及介质
CN104020961A (zh) 分布式数据存储方法、装置及系统
WO2016066108A1 (zh) 路由访问方法、路由访问系统及用户终端
JP6213755B2 (ja) コンテンツ共有方法およびソーシャル同期装置
WO2015043455A1 (zh) 数据传输方法、设备及系统
CN103631820A (zh) 分布式文件系统的元数据管理方法及设备
CN110737663A (zh) 一种数据存储方法、装置、设备及存储介质
US20160308871A1 (en) Network element data access method and apparatus, and network management system
US8380806B2 (en) System and method for absolute path discovery by a storage virtualization system
US9231957B2 (en) Monitoring and controlling a storage environment and devices thereof
US20180302404A1 (en) Method for processing data request and system therefor, access device, and storage device
WO2014190700A1 (zh) 一种内存访问的方法、缓冲调度器和内存模块
US9648103B2 (en) Non-uniform file access in a distributed file system
WO2021008550A1 (zh) 一种异地容灾的方法、装置及系统
WO2012152024A1 (zh) 一种移动终端使用信息的存储系统及方法
KR20150139546A (ko) 탈착가능형 저장 디바이스 아이덴티티 및 구성 정보