TWI738709B - 資料傳輸方法及裝置 - Google Patents

Abstract

本發明揭示了一種資料傳輸方法及裝置。其中，該方法包括：第一設備定時接收來自第二設備的請求訊息，其中，該請求訊息中攜帶有與本次接收的請求訊息對應的時間戳記；第一設備判斷時間戳記的取值是否小於預設閾值；在時間戳記的取值小於預設閾值時，第一設備按照時間戳記與第一設備在本地快取的分片資料的對應關係，將與時間戳記對應的分片資料同步至第二設備，其中，分片資料為對第一設備記錄的全量資料進行分片得到。本發明解決了系統之間進行全量更新資料時頻繁失敗的技術問題。

Description

資料傳輸方法及裝置

本發明關於互聯網技術領域，具體而言，關於一種資料傳輸方法及裝置。

隨著網路技術的發展，有些不法分子可能借助於網路平台，發佈一些危害社會的資訊內容，比如涉黃、涉賭、涉暴以及涉恐內容等，這將給社會帶來不利的影響，因而，可能需要對網路內容進行監控，當發現這些不利資訊時，可以對其進行遮罩，以儘量減少該不利資訊的傳播。

在相關技術中，網路內容監控系統，一般包括兩個系統(可以表現為兩個設備)，比如，系統A和系統B，系統B需要同步系統A中的資料，在相關技術中，每次同步需要同步所有的資料資訊，這樣可能會導致資料庫讀超時，或者而當系統A與系統B處於不同網路環境時、系統A提供的全量資料過大、系統B記憶體使用過多時，會造成系統B從系統A全量更新資料頻繁失敗。

針對上述的問題，目前尚未提出有效的解決方案。

本發明實施例提供了一種資料傳輸方法及裝置，以至少解決系統之間進行全量更新資料時頻繁失敗的技術問題。

根據本發明實施例的一個方面，提供了一種資料傳輸方法，包括：第一設備定時接收來自第二設備的請求訊息，其中，該請求訊息中攜帶有與本次接收的請求訊息對應的時間戳記；第一設備判斷時間戳記的取值是否小於預設閾值；在時間戳記的取值小於預設閾值時，第一設備按照時間戳記與第一設備在本地快取的分片資料的對應關係，將與時間戳記對應的分片資料同步至第二設備，其中，分片資料為對第一設備記錄的全量資料進行分片得到。

根據本發明實施例的另一方面，還提供了一種資料傳輸方法，包括：第二設備向第一設備發送請求訊息，其中，該請求訊息中攜帶有與請求訊息對應的時間戳記；在時間戳記的取值小於預設閾值的情況下，第二設備接收第一設備發送的分片資料；其中，分片資料是與時間戳記對應的在第一設備本地快取的分片資料，上述分片資料為對第一設備記錄的全量資料進行分片得到。

根據本發明實施例的另一方面，還提供了一種資料傳輸裝置，應用於第一設備，包括：接收模組，用於定時接收來自第二設備的請求訊息，其中，該請求訊息中攜帶有與本次接收的請求訊息對應的時間戳記；第一判斷模組， 用於判斷時間戳記的取值是否小於預設閾值；第一同步模組，用於在時間戳記的取值小於預設閾值時，按照時間戳記與第一設備在本地快取的分片資料的對應關係，將與時間戳記對應的分片資料同步至第二設備，其中，分片資料為對第一設備記錄的全量資料進行分片得到。

根據本發明實施例的另一方面，還提供了一種資料傳輸裝置，應用於第二設備，包括：發送模組，用於向第一設備發送請求訊息，其中，該請求訊息中攜帶有與請求訊息對應的時間戳記；第一接收模組，用於在時間戳記的取值小於預設閾值的情況下，接收第一設備發送的分片資料；其中，分片資料是與時間戳記對應的在第一設備本地快取的分片資料，上述分片資料為第一設備記錄的全量資料進行分片得到。

在本發明實施例中，採用第一設備將時間戳記對應的第一設備在本地快取的分片資料同步到第二設備，其中，所述分片資料為對所述第一設備記錄的全量資料進行分片得到的方式，即透過將全量資料進行快取分片的方式，然後根據接收的請求訊息中的時間戳記，將該時間戳記對應的快取中的分片資料依次同步到第二設備的方式，降低了資料讀取的壓力，進而解決了系統之間進行全量更新資料時頻繁失敗的技術問題，提高了資料傳輸的效率。

10‧‧‧電腦終端

102‧‧‧處理器

104‧‧‧記憶體

106‧‧‧傳輸模組

S202,S204,S206‧‧‧方法步驟

S302‧‧‧方法步驟

S402,S404,S406,S408,S410,S412,S414,S416,S418,S420,S422,S424,S426‧‧‧方法步驟

S501-S514‧‧‧方法步驟

S601,S604‧‧‧方法步驟

S702‧‧‧方法步驟

80‧‧‧接收模組

82‧‧‧第一判斷模組

84‧‧‧第一同步模組

90‧‧‧第二判斷模組

100‧‧‧快取模組

1001‧‧‧判斷單元

1002‧‧‧第一讀取單元

1003‧‧‧第二讀取單元

1004‧‧‧暫存單元

1202‧‧‧發送模組

1204‧‧‧第一接收模組

1402‧‧‧第二接收模組

1502‧‧‧處理器

1506‧‧‧記憶體

1508‧‧‧傳輸裝置

此處所說明的附圖用來提供對本發明的進一步理解， 構成本申請的一部分，本發明的示意性實施例及其說明用於解釋本發明，並不構成對本發明的不當限定。在附圖中：圖1是本發明實施例的一種資料傳輸方法的電腦終端的硬體結構方塊圖；圖2是根據本發明實施例1的資料傳輸方法的流程圖一；圖3是根據本發明實施例1的資料傳輸方法的流程圖二；圖4是根據本發明可選實施例的第一設備分片快取全量資料的流程示意圖；圖5是根據本發明可選實施例的資料傳輸方法的流程示意圖；圖6是根據本發明實施例2的資料傳輸方法的流程圖一；圖7是根據本發明實施例2的資料傳輸方法的流程圖二；圖8是根據本發明實施例3的資料傳輸裝置的結構方塊圖一；圖9是根據本發明實施例3的資料傳輸裝置的結構方塊圖二；圖10是根據本發明實施例3的資料傳輸裝置的結構方塊圖三；圖11是根據本發明實施例3的資料傳輸裝置的結構 方塊圖四；圖12是根據本發明實施例4的資料傳輸裝置的結構方塊圖一；圖13是根據本發明實施例4的資料傳輸裝置的結構方塊圖二；圖14是根據本發明實施例4的資料傳輸裝置的結構方塊圖三；圖15是根據本發明實施例的一種電腦終端的結構方塊圖。

為了使本技術領域的人員更好地理解本發明方案，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分的實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都應當屬於本發明保護的範圍。

需要說明的是，本發明的說明書和申請專利範圍及上述附圖中的術語“第一”、“第二”等是用於區別類似的物件，而不必用於描述特定的順序或先後次序。應該理解這樣使用的資料在適當情況下可以互換，以便這裡描述的本發明的實施例能夠以除了在這裡圖示或描述的那些以外的順序實施。此外，術語“包括”和“具有”以及他們的 任何變形，意圖在於覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、系統、產品或設備不必限於清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或對於這些過程、方法、產品或設備固有的其它步驟或單元。

在相關技術中，在網路內容監控和遮罩領域中，設備之間資料傳輸的主要步驟如下：1. 當第二設備啟動時，第一次從第一設備讀取統一資源定位符url/功能變數名稱阻斷記錄；2. 該次讀取統一資源定位符url/功能變數名稱阻斷記錄是全量更新的方式，第二設備發送的請求會帶時間戳記參數，值為0；3. 第一設備收到時間戳記參數值為0的請求後，會將目前資料庫中所有url/功能變數名稱阻斷記錄讀出，並加上目前時間值(精確到分鐘)，一併返回給第二設備；4. 第二設備收到全量url/功能變數名稱阻斷記錄後，清空系統內的所有阻斷記錄，改為使用收到的全量url/功能變數名稱阻斷記錄；5. 1分鐘後，第二設備判斷目前時間是否整點或半點。如果是，則執行2；如果不是，則發送請求給第一設備，帶時間戳記參數是3中第一設備返回的時間值；6. 第一設備收到時間戳記參數值不為0的請求後，會將資料庫中從時間戳記指定時間到目前時間的變化資料讀出，並加上目前時間值(精確到分鐘)，一併返回給第 二設備；7. 第二設備收到增量url/功能變數名稱阻斷記錄後，對系統內的所有阻斷記錄做更新；然後執行5。

當上述第一設備的url/功能變數名稱阻斷資料到達千萬級別時，會出現如下問題：第一設備即時從資料庫全量讀取url/功能變數名稱阻斷資料時，會造成讀資料庫超時；當第一設備與第二設備處於不同網路環境，網路鏈路不穩定；千萬級別的全量url/功能變數名稱阻斷記錄會延長資料傳輸時間，經常造成全量資料傳輸失敗；第二設備伺服器記憶體有限，當自身記憶體使用較多時，全量url/功能變數名稱阻斷記錄的換入換出，經常造成記憶體報警。

為了方便理解本發明，以下對本發明實施例中所關於的術語進行簡單解釋：增量同步方式：系統A維護一批即時變化的資料，系統B需要使用系統A維護的這批資料；當系統B訪問系統A讀取資料時，系統A只將系統B上次訪問與這次訪問之間的資料變化量發送給系統B，這種資料同步方式叫做增量同步方式。

全量同步方式：系統A維護一批即時變化的資料，系統B需要使用系統A維護的這批資料；當系統B訪問系統A讀取資料時，系統A將目前所有資料發送給系統B，這種資料同步方式叫做全量同步方式。

本發明實施例對第一設備與第二設備的阻斷記錄的全 量更新過程做了優化，使用增量同步方式來類比全量同步方式，以避免出現以上問題。以下結合具體實施例詳細說明。

實施例1

根據本發明實施例，還提供了一種資料傳輸的方法實施例，需要說明的是，在附圖的流程圖示出的步驟可以在諸如一組電腦可執行指令的電腦系統中執行，並且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同於此處的循序執行所示出或描述的步驟。

本申請實施例1所提供的方法實施例可以在行動終端、電腦終端或者類似的運算裝置中執行。以運行在電腦終端上為例，圖1是本發明實施例的一種資料傳輸方法的電腦終端的硬體結構方塊圖。如圖1所示，電腦終端10可以包括一個或多個(圖中僅示出一個)處理器102(處理器102可以包括但不限於微處理器MCU或可程式設計邏輯器件FPGA等的處理裝置)、用於儲存資料的記憶體104、以及用於通信功能的傳輸模組106。本領域普通技術人員可以理解，圖1所示的結構僅為示意，其並不對上述電子裝置的結構造成限定。例如，電腦終端10還可包括比圖1中所示更多或者更少的元件，或者具有與圖1所示不同的配置。

記憶體104可用於儲存應用軟體的軟體程式以及模組，如本發明實施例中的資料傳輸方法對應的程式指令/ 模組，處理器102透過運行儲存在記憶體104內的軟體程式以及模組，從而執行各種功能應用以及資料處理，即實現上述的應用程式的資料傳輸方法。記憶體104可包括高速隨機記憶體，還可包括非易失性記憶體，如一個或者多個磁性儲存裝置、快閃記憶體、或者其他非易失性固態記憶體。在一些實例中，記憶體104可進一步包括相對於處理器102遠端設定的記憶體，這些遠端存放器可以透過網路連接至電腦終端10。上述網路的實例包括但不限於互聯網、企業內部網、局域網、行動通信網及其組合。

傳輸模組106用於經由一個網路接收或者發送資料。上述的網路具體實例可包括電腦終端10的通信供應商提供的無線網路。在一個實例中，傳輸模組106包括一個網路介面卡(Network Interface Controller，NIC)，其可透過基站與其他網路設備相連從而可與互聯網進行通訊。在一個實例中，傳輸模組106可以為射頻(Radio Frequency，RF)模組，其用於透過無線方式與互聯網進行通訊。

在上述運行環境下，本申請提供了如圖2所示的資料傳輸方法。圖2是根據本發明實施例1的資料傳輸方法的流程圖一，如圖2所示，該方法包括：步驟S202，第一設備定時接收來自第二設備的請求訊息，其中，該請求訊息中攜帶有與本次接收的請求訊息對應的時間戳記；可選地，第一設備可以為上述運行環境中的電腦終端 10，透過上述電腦終端10來完成第一設備的功能進而實現本實施例中的資料傳輸方法。

需要說明的是，定時接收來自第二設備的請求訊息中的定時可以是按照實際情況進行設定，兩次接收的請求訊息的時間間隔可以是固定的，比如設定每隔一分鐘接收一次請求訊息，也可以是不固定的，比如一分鐘後接收第二次請求訊息，再過三分鐘後接收第三次請求訊息，具體的可以根據實際情況進行設定。

步驟S204，第一設備判斷時間戳記的取值是否小於預設閾值；需要說明的是，上述第一設備和第二設備可以表現為兩個物理實體，也可以表現為兩個應用，但不限於此。上述時間戳記的取值可以是單純的序號比如阿拉伯數字，也可以是時間值，但不限於此。

上述時間戳記的取值可以是指定值，用於指示讀取第一設備中的全量資料；在一個可選的實施例中，上述指定值可以是0，即在請求訊息中攜帶的時間戳記的取值為0時，指示第二設備應當讀第一設備的全量資料。

在一個可選實施例中，在步驟S204之前，需要判斷上述時間戳記的取值是否為上述指定值，以及在判斷結果為是時，觸發將與該時間戳記對應的分片資料同步至所述第二設備。在時間戳記的取值為上述指定值的情況下，可以觸發第一設備開始將全量資料中的第一個分片資料同步到第二設備。

步驟S206，在時間戳記的取值小於預設閾值時，第一設備按照時間戳記與第一設備在本地快取的分片資料的對應關係，將與時間戳記對應的分片資料同步至第二設備，其中，分片資料為對第一設備記錄的全量資料進行分片得到。

需要說明的是，上述預設閾值可以是對上述全量資料進行分片後得到的分片數量，當然也可以是其他的值，一般該預設閾值可設定為小於10；上述全量資料可以是針對統一資源定位符url的阻斷記錄，也可以是針對功能變數名稱的阻斷記錄，也可以是兩者的組合，並不限於此。

上述分片資料可以透過以下方式在第一設備中得到：將第一設備的資料庫中與第一索引n對應的分片資料，寫入本地快取，並將n-1作為分片資料在第一設備的本地快取中的索引，其中，n小於或者等於對全量資料進行分片後得到的所有分片資料的總數量N，n、N均為正整數。在一個可選實施例中，將第一設備的資料庫中與第一索引n對應的分片資料，寫入本地快取，並將n-1作為分片資料在第一設備的本地快取中的索引具體為：第一設備判斷n是否小於N；在n小於N的情況下，第一設備從資料庫中讀取n對應的分片資料，並在n對應的分片資料上附上值為n的時間戳記；在n等於N的情況下，第一設備從資料庫中讀取與n對應的分片資料，並在與n對應的分片資料上附上值為指定時刻的時間戳記；其中，該指定時刻為第二設備上一次訪問第一設備的時刻；第一設備將與n對 應的分片資料寫入本地快取，並將n-1作為分片資料在本地快取中的索引。

需要說明的是，進行快取的方式可以是按照發送格式進行分片快取，因而在第二設備需要讀取時，第一設備不需要再對分片資料進行格式的轉變，而是直接返回給第二設備，降低了同步的時間，提高了同步的效率。

透過將第一設備中的全量資料進行分片後快取在第一設備的本地快取中，在快取中快取的每份分片資料都有對應的一個索引，該索引與第二設備發送的請求訊息中的時間戳記具有一定的對應關係，透過該時間戳記與快取中的分片資料的對應關係，將全量資料分片的分片資料同步到第二設備中，在本發明一個可選實施例中，步驟S206中的將與時間戳記對應的分片資料同步至第二設備可以表現為：第一設備以時間戳記的取值作為索引，將第一設備的本地快取中與索引對應的指定分片資料同步至第二設備。

透過上述步驟，透過將全量資料進行快取分片的方式，然後根據接收的請求訊息中的時間戳記，按照時間戳記與快取中的分片資料的關係，將該時間戳記對應的快取中的分片資料依次同步到第二設備的方式，降低了資料讀取的壓力，進而解決了系統之間進行全量更新資料時頻繁失敗的技術問題，提高了資料傳輸的效率。

舉個例子：第一設備的資料庫中通常記錄了千萬級別的資料記錄，此處為了方便理解，以較少資料記錄(80條記錄)為例，在第一設備接收到攜帶時間戳記為0的請 求訊息後，按照相關技術中的方式，則第一設備將該80條記錄一次性全部同步給第二設備。而在本實施例中，第一設備對該80條記錄進行分片，分片可以進行均等分配也可以進行不均等分配，以均等分配為例，分為4片，每個分片有20條記錄，將每個分片所包含的資料寫入快取，並設定快取中的4個分片資料對應的索引0、1、2、3；當第二設備請求讀取第一設備的全量資料時，第一次請求中攜帶的時間戳記為0，則第一設備將快取中以0為索引的分片資料同步至第二設備；一段時間後(比如1分鐘)，第一設備接收第二次請求，該第二次請求中攜帶時間戳記為1，則第一設備將快取中以1為索引的分片資料同步至第二設備；以此類推，直至將快取中的分片資料讀取完畢。即本實施例透過將全量資料進行分片，將分片後的資料依次同步至第二設備，即將全量資料分批同步至第二設備，相對於相關技術中的方案能夠降低資料的讀取壓力，縮短資料的傳送時間，提高了資料的傳輸效率。

在一個可選實施例中，圖3是根據本發明實施例1的資料傳輸方法的流程圖二，如圖3所示，上述方法還包括：步驟S302，在時間戳記的取值等於或者大於預設閾值時，第一設備將從時間戳記指示的時間至目前時間產生的增量資料同步至第二設備。

需要說明的是，在本發明實施例中，存在兩類時間戳記，第一類時間戳記可以是上述圖2所示實施例中的時間 戳記，該時間戳記可以起到讀取全量資料中的分片資料的索引標識的作用，其可以是用個位數字比如0、1、2等表示；第二類時間戳記可以是真實的時間戳記，其表示一個真實的時間，即第二設備最近一次訪問第一設備的時間，其可以透過一個9位元的數位表示，即第二類時間戳記既可以起到標識的作用，也可以表示一個真實的時間。由於上述預設閾值一般為分片資料，其不可能是個很大的數字，因而可以用9位元數字表示真實時間戳記的第二類時間戳記的取值一般是大於上述預設閾值的(即步驟S302中的等於或者大於預設閾值的時間戳記)，因而可以將該第二類時間戳記作為一次全量資料讀取結束的標識，或者是一個正常的增量資料讀取的觸發標識。

需要說明的是，步驟S302中，時間戳記的取值大於或者等於預設閾值，表示第二設備發送的請求是一次正常的增量資料讀取請求，此時，需要將第二設備最近一次訪問第一設備的時刻(即上述的時間戳記指示的時間)至目前時間之間的增量資料傳輸至第二設備，在後續的時間裡第一設備一直以正常的增量同步方式將增量資料同步至第二設備，直到時間點為整點或者半點為止，即直到收到第一設備以全量同步方式將資料同步至第二設備的指示為止，以此類推。

需要說明的是，在本發明的實施例中，上述第一設備與第二設備之間的資料通信可以使用http協議，但不限於此。上述方法可以應用於網路內容的監控與遮罩領域，比 如，第一設備對網路的內容比如涉黃、涉毒、涉暴以及涉恐內容等進行監控，或者其他設備對該內容進行監控，當監控到這些內容後，將該內容對應的網頁的統一資源定位符或者該內容出現的電腦所在的功能變數名稱記錄下來，然後將這些資料透過本發明實施例的方法同步到第二設備，第二設備可以再傳輸給其他設備或者第二設備本身根據獲得到統一資源定位符或者功能變數名稱對這些內容進行遮罩。

為了更好的理解本發明，以下結合可選的實施例對本發明做進行一步的解釋。

在一個可選實施例中，第一設備每30分鐘對第一設備的資料庫中的全量url/功能變數名稱進行一次分片快取，來解決即時從資料庫全量讀取記錄時造成的讀取超時等問題。圖4是根據本發明可選實施例的第一設備分片快取全量資料的流程示意圖，如圖4所示，包括以下步驟：步驟S402，設定該次全量url/功能變數名稱阻斷記錄的分片數量(例如4)，該分片數量小於10；步驟S404，讀取目前時間，精確到分鐘，記錄在timestamp中；步驟S406，根據timestamp的值，讀取目前時間資料庫中全量記錄數量(例如81)；步驟S408，根據分片數量，計算全量記錄的每個分片中包含的記錄數(例如20、20、20、21)；步驟S410，設定分片計數index(即上述實施例中的 第一索引n)，值為1；步驟S412，判斷目前index值是否小於分片數量(相當於上述實施例中的分片資料的總數量N)；是(例如1)，則執行步驟S414；不是(例如4)，則執行步驟S422；步驟S414，從資料庫中讀取與index對應的指定分片包含的資料；步驟S416，附上時間戳記，值為index；步驟S418，將分片資料與時間戳記寫入快取，key值為index-1(相當於上述實施例中的n-1)；步驟S420，分片計數index增加1；返回步驟S412執行；步驟S422，從資料庫中讀取與index對應的指定分片包含的資料；步驟S424，附上時間戳記，值為timestamp(相當於上述實施例中的指定時刻)；步驟S426，將分片資料與時間戳記寫入快取，key值為index-1。

第二設備從第一設備讀取全量阻斷記錄時，第一設備將已有全量阻斷記錄快取分批返回給第二設備，以解決大資料量一次性傳送時可能導致的網路問題與第二設備記憶體使用等問題。圖5是根據本發明可選實施例的資料傳輸方法的流程示意圖，如圖5所示，以4片快取為例，該方法包括以下步驟： 步驟S501，第二設備向第一設備發起請求，讀全量阻斷記錄，時間戳記為0；步驟S502，第一設備判斷時間戳記為0，是全量更新阻斷記錄，以0為key在全量阻斷記錄的快取中讀取第一片快取中的分片資料，並附帶時間戳記為1，返回給第二設備；步驟S503，第二設備清空系統內阻斷記錄，並使用收到的全量阻斷記錄的第一片快取中的分片資料；步驟S504，1分鐘後，第二設備向第一設備發起請求，讀取增量阻斷記錄，時間戳記為步驟S502中第一設備返回的1；步驟S505，第一設備判斷時間戳記小於10，是未完的全量更新阻斷記錄，以1為key在全量阻斷記錄的快取中讀取第二片快取中的分片資料，附帶時間戳記2，返回給第二設備；步驟S506，第二設備將收到的第二片快取中的分片資料，增加到已有阻斷記錄中；步驟S507，1分鐘後，第二設備向第一設備發起請求，讀取增量阻斷記錄，時間戳記為步驟S505中第一設備返回的2；步驟S508，第一設備判斷時間戳記小於10，是未完的全量更新阻斷記錄，以2為key在全量阻斷記錄的快取中讀取第三片快取中的分片資料，附帶時間戳記3，返回給第二設備； 步驟S509，第二設備將收到的第三片快取中的分片資料，增加到已有阻斷記錄中；步驟S510，1分鐘後，第二設備向第一設備發起請求，讀取增量阻斷記錄，時間戳記為步驟S508中第一設備返回的3；步驟S511，第一設備判斷時間戳記小於10，是未完的全量更新阻斷記錄，以3為key在全量阻斷記錄的快取中讀取第四片快取中的分片資料，附帶時間戳記為全量阻斷記錄快取的產生時間timestamp，返回給第二設備；步驟S512，第二設備將收到的第四片快取中的分片資料，增加到已有阻斷記錄中；步驟S513，1分鐘後，第二設備向Mrm發起請求，讀取增量阻斷記錄，時間戳記為步驟S511中第一設備返回的timestamp；步驟S514，第一設備Mrm判斷時間戳記大於10，是一次正常的增量阻斷記錄請求，讀資料庫中timestamp到目前時間的阻斷記錄變化量，附帶目前時間，返回給第二設備；後續每分鐘，第二設備都做增量阻斷記錄請求；如果是整點或半點，則第二設備不做增量阻斷記錄請求，而返回執行步驟S501。

需要說明的是，在本發明圖5所示的可選實施例中的1分鐘相當於上述實施例圖2所示實施例的定時，上述時間戳記為0相當於圖2所示實施例中的時間戳記的取值為 指定值，來指示讀全量阻斷記錄，上述實施例中的時間戳記為0、1、2、3相當於圖2所示實施例中的時間戳記的取值；上述key相當於圖2所示實施例中的索引，上述timestamp相當於圖3所示實施例中的取值等於或者大於預設閾值的時間戳記。

在上述實施例中，同步分為兩種，增量同步方式和全量同步方式，全量同步方式同步資料是這樣實現的：透過預先將全量資料提前進行分片快取，在第二設備進行讀取的時候，直接使用分片快取中的分片資料，即根據全量資料分片的數量N，透過N次類比增量同步方式實現全量資料同步的，降低了資料讀取壓力，在第一設備第一次同步給第二設備時，也不會因為資料量過大而同步失敗。

需要說明的是，對於前述的各方法實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領域技術人員應該知悉，本發明並不受所描述的動作順序的限制，因為依據本發明，某些步驟可以採用其他順序或者同時進行。其次，本領域技術人員也應該知悉，說明書中所描述的實施例均屬於較佳實施例，所關於的動作和模組並不一定是本發明所必須的。

透過以上的實施方式的描述，本領域的技術人員可以清楚地瞭解到根據上述實施例的資料傳輸方法可借助軟體加必需的通用硬體平台的方式來實現，當然也可以透過硬體，但很多情況下前者是更佳的實施方式。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻 的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存媒體(如ROM/RAM、磁碟、光碟)中，包括若干指令用以使得一台終端設備(可以是手機，電腦，伺服器，或者網路設備等)執行本發明各個實施例所述的方法。

實施例2

根據本發明實施例，還提供了一種資料傳輸方法，圖6是根據本發明實施例2的資料傳輸方法的流程圖一，如圖6所示，該方法包括：步驟S602，第二設備向第一設備發送請求訊息，其中，該請求訊息中攜帶有與請求訊息對應的時間戳記；需要說明的是，上述第二設備可以是與上述實施例1中的電腦終端10的結構相同的一個電腦終端，在該電腦終端的環境中完成本實施例中的資料傳輸方法，但不限於此。上述發送請求訊息可以是定時發送請求訊息，可以是不定時發送請求訊息，可以根據具體的情況進行具體設定。

步驟S604，在時間戳記的取值小於預設閾值的情況下，第二設備接收第一設備發送的分片資料；其中，分片資料是與時間戳記對應的在所述第一設備本地快取的分片資料，上述分片資料為對第一設備記錄的全量資料進行分片得到。

上述時間戳記的取值可以是指定值，用於指示第二設 備讀取第一設備中的全量資料；在一個可選的實施例中，上述指定值可以是0，即在請求訊息中攜帶的時間戳記為0時，指示第二設備應當讀第一設備的全量資料。在一個可選的實施例中，在步驟S604之前，上述方法還包括：在時間戳記為指定值的情況下，第二設備觸發第一設備發送全量資料，接收第一設備發送的與指定值對應的分片資料。

需要說明的是，上述預設閾值可以是第一設備對上述全量資料進行分片後得到的分片數量，當然也可以是其他的值，一般該預設閾值可設定為小於10；上述全量資料可以是針對統一資源定位符url的阻斷記錄，也可以是針對功能變數名稱的阻斷記錄，也可以是兩者的組合，並不限於此。

具體地，第一設備是如何對全量資料進行分片快取的，即上述分片資料是如何在第一設備中得到的，與上述實施例1中的相同，此處不再贅述。

上述步驟S604中，第二設備接收第一設備發送的分片資料可以表現為：第二設備接收在第一設備的本地快取中與索引對應的指定分片資料；其中，索引為上述時間戳記；第二設備接收第一設備發送的指定時間戳記；其中，指定時間戳記的取值為由上述時間戳記的取值加1得到。

透過上述步驟，透過第二設備發送攜帶時間戳記的請求訊息，接收第一設備根據接收的請求訊息中的時間戳記，發送的該時間戳記對應的第一設備的快取中的分片資 料的方式，即第二設備按照時間戳記讀取在第一設備中預先進行分片快取的分片資料，降低了資料讀取的壓力，進而解決了系統之間進行全量更新資料時頻繁失敗的技術問題，提高了資料傳輸的效率。

舉個例子：第一設備的資料庫中通常記錄了千萬級別的資料記錄，此處為了方便理解，以較少資料記錄(80條記錄)為例，第二設備發送攜帶時間戳記為0的請求訊息後，按照相關技術中的方式，則第二設備將一次性讀取該80條記錄。而在本實施例中，第一設備對該80條記錄進行分片，分片可以進行均等分配也可以進行不均等分配，以均等分配為例，分為4片，每個分片有20條記錄，將每個分片所包含的資料寫入快取，並設定快取中的4個分片資料對應的索引0、1、2、3；當第二設備請求讀取第一設備的全量資料時，第一次請求中攜帶的時間戳記為0，則第二設備讀取第一設備的快取中以0為索引的分片資料；一段時間後(比如1分鐘)，第二設備發送第二次請求，該第二次請求中攜帶時間戳記為1，則第二設備讀取第一設備的快取中以1為索引的分片資料；以此類推，直至第二設備將第一設備的快取中的分片資料讀取完畢。即本實施例透過第一設備將全量資料進行分片，第二設備分批讀取該第一設備的快取中的分片資料，相比於相關技術中的方案能夠降低資料的讀取壓力，縮短資料的傳送時間，提高了資料的傳輸效率。

在一個可選實施例中，圖7是根據本發明實施例2的 資料傳輸方法的流程圖二，如圖7所示，上述方法還包括：步驟S702，在時間戳記的取值等於或者大於預設閾值的情況下，第二設備接收第一設備發送的從時間戳記指示的時間至目前時間產生的增量資料。

需要說明的是，在本發明實施例中，存在兩類時間戳記，第一類時間戳記可以是上述圖6所示實施例中的時間戳記，該時間戳記可以起到讀取全量資料中的分片資料的索引標識的作用，其可以是用個位數字比如0、1、2等表示；第二類時間戳記可以是真實的時間戳記，其表示一個真實的時間，即第二設備最近一次訪問第一設備的時間，其可以透過一個9位元的數位表示，即第二類時間戳記既可以起到標識的作用，也可以表示一個真實的時間。由於上述預設閾值一般為分片資料，其並不是很大的數位，因而作為可以用9位元數字表示真實時間戳記的第二類時間戳記一般是大於上述預設閾值的(即步驟S702中的等於或者大於預設閾值的時間戳記)，因而可以將該第二類時間戳記作為一次全量資料讀取結束的標識，或者是一個正常的增量資料讀取的觸發標識。

需要說明的是，步驟S702中，時間戳記的取值大於或者等於預設閾值，表示第二設備發送的請求是一次正常的增量資料讀取請求，此時，第二設備需要將第二設備最近一次訪問第一設備的時刻(即上述的時間戳記指示的時間)至目前時間之間的增量資料讀取過來，在後續的時間 裡，第二設備一直以正常的增量同步方式讀取增量資料，直到時間點為整點或者半點為止，即直到第二設備收到以全量同步方式讀取資料的指示為止，以此類推。

需要說明的是，在本發明的實施例中，上述第一設備與第二設備之間的資料通信可以使用http協議，但不限於此。上述方法可以應用於網路內容的監控與遮罩領域，比如，第一設備對網路的內容比如涉黃、涉毒、涉暴、以及涉恐內容等進行監控，或者其他設備對該內容進行監控，當監控到這些內容後，將該內容對應的網頁的統一資源定位符或者該內容出現的電腦所在的功能變數名稱記錄下來，然後將這些資料透過本發明實施例的方法同步到第二設備，第二設備可以再傳輸給其他設備或者第二設備本身根據獲得到統一資源定位符或者功能變數名稱對這些內容進行遮罩。

為了更好的理解本發明，可以結合實施例1中的圖4和圖5所示的可選的實施例對本發明做進行一步的解釋，此處不再贅述。

實施例3

根據本發明實施例，還提供了一種用於實施上述實施例1中的資料傳輸方法的裝置，圖8是根據本發明實施例3的資料傳輸裝置的結構方塊圖一，如圖8所示，該裝置，應用於第一設備，包括：接收模組80，用於定時接收來自第二設備的請求訊 息，其中，該請求訊息中攜帶有與本次接收的請求訊息對應的時間戳記；需要說明的是，這裡的定時可以是按照實際情況進行設定，兩次接收的請求訊息的時間間隔可以是固定的，比如設定每隔1分鐘接收一次請求訊息，也可以是不固定的，比如1分鐘後接收第二次請求訊息，再過3分鐘後接收第三次請求訊息，具體的可以根據實際情況進行設定。

第一判斷模組82，與上述接收模組80連接，用於判斷時間戳記的取值是否小於預設閾值；上述時間戳記的取值可以是指定值，用於指示讀取第一設備中的全量資料；在一個可選的實施例中，上述指定值可以是0，即在請求訊息中攜帶的時間戳記為0時，指示第二設備應當讀第一設備的全量資料。

在一個可選實施例中，圖9是根據本發明實施例3的資料傳輸裝置的結構方塊圖二，如圖9所示，上述裝置還包括：第二判斷模組90，與接收模組80連接，用於判斷時間戳記的取值是否為指定值，其中，該指定值用於指示讀取全量資料，其中，在判斷結果為是時，觸發將與時間戳記對應的分片資料同步至第二設備。

第一同步模組84，與上述第一判斷模組82連接，用於在時間戳記的取值小於預設閾值時，按照時間戳記與第一設備在本地快取的分片資料的對應關係，將與時間戳記對應的分片資料同步至第二設備，其中，分片資料為對第 一設備記錄的全量資料進行分片得到。

需要說明的是，上述預設閾值可以是對上述全量資料進行分片後得到的分片數量，當然也可以是其他的值，一般該預設閾值可設定為小於10；上述全量資料可以是針對統一資源定位符url的阻斷記錄，也可以是針對功能變數名稱的阻斷記錄，也可以是兩者的組合，並不限於此。

上述第一同步模組84還用於以時間戳記的取值作為索引，將第一設備的本地快取中與該索引對應的指定分片資料同步至第二設備。

在一個可選的實施例中，圖10是根據本發明實施例3的資料傳輸裝置的結構方塊圖三，如圖10所示，上述裝置還包括：快取模組100，與第一同步模組84連接，用於將第一設備的資料庫中與第一索引n對應的分片資料，寫入本地快取，並將n-1作為分片資料在第一設備的本地快取中的索引，其中，n小於或者等於對全量資料進行分片後得到的所有分片資料的總數量N，n、N均為正整數。

具體地，上述快取模組100還包括：判斷單元1001，用於判斷n是否小於N；第一讀取單元1002，與上述判斷單元1001連接，用於在n小於N的情況下，從所述資料庫中讀取n對應的分片資料，並在n對應的分片資料上附上值為n的時間戳記；第二讀取單元1003，與上述判斷單元1001連接，用 於在n等於N的情況下，從所述資料庫中讀取與n對應的分片資料，並在與n對應的分片資料上附上值為指定時刻的時間戳記；其中，所述指定時刻為所述第二設備上一次訪問所述第一設備的時刻；暫存單元1004，與上述第一讀取單元1002和第二讀取單元1003連接，用於將與n對應的分片資料寫入本地快取，並將n-1作為分片資料在本地快取中的索引。

需要說明的是，上述暫存單元1004可以是按照發送格式將與n對應的分片資料寫入本地快取，這樣，在第二設備需要讀取時，第一設備不需要再對分片資料進行格式的轉變，而是直接返回給第二設備，降低了同步的時間，提高了同步的效率。

透過上述裝置，透過將全量資料進行快取分片的方式，然後根據接收的請求訊息中的時間戳記，按照時間戳記與快取中的分片資料的關係，將該時間戳記對應的快取中的分片資料依次同步到第二設備的方式，降低了資料讀取的壓力，進而解決了系統之間進行全量更新資料時頻繁失敗的技術問題，提高了資料傳輸的效率。

舉個例子：第一設備的資料庫中通常記錄了千萬級別的資料記錄，此處為了方便理解，以較少資料記錄(80條記錄)為例，在第一設備接收到攜帶時間戳記為0的請求訊息後，按照相關技術中的方式，則第一設備將該80條記錄一次性全部同步給第二設備。而在本實施例中，第一設備中的上述裝置對該80條記錄進行分片，分片可以 進行均等分配也可以進行不均等分配，以均等分配為例，分為4片，每個分片有20條記錄，暫存單元1004將每個分片所包含的資料寫入快取，並設定快取中的4個分片資料對應的索引0、1、2、3；當第二設備請求讀取第一設備的全量資料時，第一次請求中攜帶的時間戳記為0，則第一設備的第一同步模組84將快取中以0為索引的分片資料同步至第二設備；一段時間後(比如1分鐘)，第一設備的接收模組80接收第二次請求，該第二次請求中攜帶時間戳記為1，則第一設備的第一同步模組84將快取中以1為索引的分片資料同步至第二設備；以此類推，直至將快取中的分片資料讀取完畢。即本實施例的上述裝置透過將全量資料進行分片，將分片後的資料依次同步至第二設備，即將全量資料分批同步至第二設備，相比於相關技術中的方案能夠降低資料的讀取壓力，縮短資料的傳送時間，提高了資料的傳輸效率。

圖11是根據本發明實施例3的資料傳輸裝置的結構方塊圖四，如圖11所示，上述裝置還包括：第二同步模組1101，與上述第一判斷模組82連接，用於在時間戳記的取值等於或者大於預設閾值時，將從時間戳記指示的時間至目前時間產生的增量資料同步至第二設備。

需要說明的是，在本發明實施例中，存在兩類時間戳記，第一類時間戳記可以是上述圖8所示實施例中的時間戳記，該時間戳記可以起到讀取全量資料中的分片資料的 索引標識的作用，其可以是用個位數字比如0、1、2等表示；第二類時間戳記可以是真實的時間戳記，其表示一個真實的時間，即第二設備最近一次訪問第一設備的時間，其可以透過一個9位元的數位表示，即第二類時間戳記既可以起到標識的作用，也可以表示一個真實的時間。在由於上述預設閾值一般為分片資料，其不可能是個很大的數位，因而作為可以用9位元數字表示真實時間戳記的第二類時間戳記的取值一般是大於上述預設閾值的，因而可以將該第二類時間戳記作為一次全量資料讀取結束的標識，或者是一個正常的增量資料讀取的觸發標識。

需要說明的是，時間戳記的取值大於或者等於預設閾值，表示第二設備發送的請求是一次正常的增量資料讀取請求，此時，第二同步模組1101需要將第二設備最近一次訪問第一設備的時刻(即上述的時間戳記指示的時間)至目前時間之間的增量資料傳輸至第二設備，在後續的時間裡第一設備一直以正常的增量資料同步方式將增量資料同步至第二設備，直到時間點為整點或者半點為止，即直到收到第一設備以全量讀取同步方式將資料同步至第二設備的指示為止，以此類推。

需要說明的是，在本發明的實施例中，第一設備中的上述裝置與第二設備之間的資料通信可以使用http協議，但不限於此。上述裝置可以應用於網路內容的監控與遮罩領域，比如，第一設備對網路的內容比如涉黃、涉毒、涉暴、以及涉恐內容等進行監控，或者其他設備對該內容進 行監控，當監控到這些內容後，將該內容對應的網頁的統一資源定位符或者該內容出現的電腦所在的功能變數名稱記錄下來，然後將這些資料透過上述裝置同步到第二設備，第二設備可以再傳輸給其他設備或者第二設備本身根據獲得到統一資源定位符或者功能變數名稱對這些內容進行遮罩。

需要說明的是，上述模組第一同步模組84第二同步模組1101可以是第一設備中的同一個同步模組，也可以是第一設備中的不同的同步模組。

實施例4

根據本發明實施例，還提供了一種用於實施上述實施例2中的資料傳輸方法的裝置，圖12是根據本發明實施例4的資料傳輸裝置的結構方塊圖一，如圖12所示，該裝置，應用於第二設備，包括：發送模組1202，用於向第一設備發送請求訊息，其中，該請求訊息中攜帶有與請求訊息對應的時間戳記；需要說明的是，上述發送請求訊息可以是定時發送請求訊息，可以是不定時發送請求訊息，可以根據具體的情況進行具體設定。

第一接收模組1204，與上述發送模組1202連接，用於在時間戳記的取值小於預設閾值的情況下，接收第一設備發送的分片資料；其中，分片資料是與時間戳記對應的在第一設備本地快取的分片資料，上述分片資料為第一設 備記錄的全量資料進行分片得到。

上述時間戳記可以是指定值，用於指示第二設備讀取第一設備中的全量資料；在一個可選的實施例中，上述指定值可以是0，即在請求訊息中攜帶的時間戳記為0時，指示第二設備應當讀第一設備的全量資料。在一個可選實施例中，上述裝置還包括：觸發模組，用於在時間戳記的取值為指定值的情況下，觸發第一設備發送全量資料；第三接收模組，與該觸發模組連接，用於接收第一設備發送的與指定值對應的分片資料，其中，指定值用於指示第二設備向所述第一設備讀取全量資料。

需要說明的是，上述預設閾值可以是第一設備對上述全量資料進行分片後得到的分片數量，當然也可以是其他的值，一般該預設閾值可設定為小於10；上述全量資料可以是針對統一資源定位符url的阻斷記錄，也可以是針對功能變數名稱的阻斷記錄，也可以是兩者的組合，並不限於此。

具體地，第一設備是如何對全量資料進行分片快取的，即上述分片資料是如何在第一設備中得到的，與上述實施例1中的相同，此處不再贅述。

在本發明的一個可選實施例中，圖13是根據本發明實施例4的資料傳輸裝置的結構方塊圖二，如圖13所示，上述第一接收模組1204可以包括：第一接收單元1302，用於接收在所述第一設備的本地快取中與索引對應的指定分片資料；其中，索引為上述時間戳記的取值；第 二接收單元1304，與上述第一接收單元1302連接，用於接收第一設備發送的指定時間戳記；其中，指定時間戳記的取值為由上述時間戳記的取值加1得到。

透過上述裝置，透過發送模組1202發送攜帶時間戳記的請求訊息，第一接收模組1204接收第一設備根據接收的請求訊息中的時間戳記，發送的該時間戳記對應的第一設備的快取中的分片資料的方式，即上述裝置按照時間戳記讀取在第一設備中預先進行分片快取的分片資料，降低了資料讀取的壓力，進而解決了系統之間進行全量更新資料時頻繁失敗的技術問題，提高了資料傳輸的效率。

舉個例子：第一設備的資料庫中通常記錄了千萬級別的資料記錄，此處為了方便理解，以較少資料記錄(80條記錄)為例，第二設備發送攜帶時間戳記為0的請求訊息後，按照相關技術中的方式，則第二設備將一次性讀取該80條記錄。而在本實施例中，第一設備對該80條記錄進行分片，分片可以進行均等分配也可以進行不均等分配，以均等分配為例，分為4片，每個分片有20條記錄，將每個分片所包含的資料寫人快取，並設定快取中的4個分片資料對應的索引0、1、2、3；當第二設備中上述裝置中的發送模組1202請求讀取第一設備的全量資料時，第一次請求中攜帶的時間戳記為0，則上述裝置中的第一接收模組1204讀取第一設備的快取中以0為索引的分片資料；一段時間後(比如1分鐘)，第二設備上述裝置中的發送模組1202發送第二次請求，該第二次請求中 攜帶時間戳記為1，則上述裝置中的第一接收模組1204讀取第一設備的快取中以1為索引的分片資料；以此類推，直至第二設備中的上述裝置將第一設備的快取中的分片資料讀取完畢。即本實施例透過第一設備將全量資料進行分片，上述裝置分批讀取該第一設備的快取中的分片資料，相比於相關技術中的方案能夠降低資料的讀取壓力，縮短資料的傳送時間，提高了資料的傳輸效率。

圖14是根據本發明實施例4的資料傳輸裝置的結構方塊圖三，如圖14所示，上述裝置還包括：第二接收模組1402，與發送模組1204用於在時間戳記的取值大於或者等於預設閾值的情況下，接收第一設備發送的從時間戳記指示的時間至目前時間產生的增量資料。

需要說明的是，在本發明實施例中，存在兩類時間戳記，第一類時間戳記可以是上述圖12所示實施例中的時間戳記，該時間戳記可以起到讀取全量資料中的分片資料的索引標識的作用，其可以是用個位數字比如0、1、2等表示；第二類時間戳記可以是真實的時間戳記，其表示一個真實的時間，即第二設備最近一次訪問第一設備的時間，其可以透過一個9位元的數位表示，即第二類時間戳記既可以起到標識的作用，也可以表示一個真實的時間。在由於上述預設閾值一般為分片資料，其並不是很大的數位，因而作為可以用9位元數字表示真實時間戳記的第二類時間戳記一般是大於上述預設閾值的，因而可以將該第 二類時間戳記作為一次全量資料讀取結束的標識，或者是一個正常的增量資料讀取的開始的標識。

需要說明的是，時間戳記的取值大於或者等於預設閾值，表示第二設備中的上述裝置發送的請求是一次正常的增量資料讀取請求，此時，第二設備的上述裝置需要將第二設備最近一次訪問第一設備的時刻(即上述的時間戳記指示的時間)至目前時間之間的增量資料讀取過來，在後續的時間裡，上述裝置一直以正常的增量資料同步方式讀取增量資料，直到時間點為整點或者半點為止，即直到上述裝置收到以全量讀取同步方式讀取資料的指示為止，以此類推。

需要說明的是，在本發明的實施例中，上述第一設備與第二設備中的上述裝置之間的資料通信可以使用http協議，但不限於此。上述裝置可以應用於網路內容的監控與遮罩領域，比如，第一設備對網路的內容比如涉黃、涉毒、涉暴、以及涉恐內容等進行監控，或者其他設備對該內容進行監控，當監控到這些內容後，將該內容對應的網頁的統一資源定位符或者該內容出現的電腦所在的功能變數名稱記錄下來，然後將這些資料透過上述裝置同步到第二設備，第二設備可以再傳輸給其他設備或者第二設備本身根據獲得到統一資源定位符或者功能變數名稱對這些內容進行遮罩。

實施例5

本發明的實施例可以提供一種電腦終端，該電腦終端可以是電腦終端群中的任意一個電腦終端設備。可選地，在本實施例中，上述電腦終端也可以替換為行動終端等終端設備。

可選地，在本實施例中，上述電腦終端可以位於電腦網路的多個網路設備中的至少一個網路設備。

在本實施例中，上述電腦終端可以執行應用程式的實施例1中的資料傳輸方法中的步驟的程式碼，具體詳見實施例1，此處不再贅述。

可選地，圖15是根據本發明實施例的一種電腦終端的結構方塊圖。如圖15所示，該電腦終端A可以包括：一個或多個(圖中僅示出一個)處理器1502、記憶體1506、以及傳輸裝置1508。

其中，記憶體1506可用於儲存軟體程式以及模組，如本發明實施例中的安全性漏洞檢測方法和裝置對應的程式指令/模組，處理器1502透過運行儲存在記憶體內的軟體程式以及模組，從而執行各種功能應用以及資料處理，即實現上述的系統漏洞攻擊的檢測方法。記憶體1506可包括高速隨機記憶體，還可以包括非易失性記憶體，如一個或者多個磁性儲存裝置、快閃記憶體、或者其他非易失性固態記憶體。在一些實例中，記憶體可進一步包括相對於處理器1502遠端設定的記憶體1506，這些遠端存放器1506可以透過網路連接至終端A。上述網路的實例包括但不限於互聯網、企業內部網、局域網、行動通信網及其組 合。

處理器1502可以透過傳輸裝置1408調用記憶體1506儲存的資訊及應用程式，以執行實施例1中的步驟的應用程式。

採用本發明實施例，提供了一種電腦終端的方案。透過該電腦終端，執行上述實施例1中的步驟的程式碼，降低了資料讀取的壓力，進而解決了系統之間進行全量更新資料時頻繁失敗的技術問題，提高了資料傳輸的效率。

本領域普通技術人員可以理解，圖15所示的結構僅為示意，電腦終端也可以是智慧手機(如Android手機、iOS手機等)、平板電腦、掌聲電腦以及行動互聯網設備(Mobile Internet Devices，MID)、PAD等終端設備。圖15其並不對上述電子裝置的結構造成限定。例如，電腦終端A還可包括比圖15中所示更多或者更少的元件(如網路介面、顯示裝置等)，或者具有與圖15所示不同的配置。

本領域普通技術人員可以理解上述實施例的各種方法中的全部或部分步驟是可以透過程式來指令終端設備相關的硬體來完成，該程式可以儲存於一電腦可讀儲存媒體中，儲存媒體可以包括：快閃記憶體盤、唯讀記憶體(Read-Only Memory，ROM)、隨機存取記憶體(Random Access Memory，RAM)、磁片或光碟等。

實施例6

本發明的實施例可以提供一種電腦終端，該電腦終端可以是電腦終端群中的任意一個電腦終端設備。可選地，在本實施例中，上述電腦終端也可以替換為行動終端等終端設備。

可選地，在本實施例中，上述電腦終端可以位於電腦網路的多個網路設備中的至少一個網路設備。

在本實施例中，上述電腦終端可以執行應用程式的實施例2中的資料傳輸方法中的步驟的程式碼，具體詳見實施例2，此處不再贅述。

在本實施例中的電腦終端與實施例5中的電腦終端的結構類似，包括處理器、記憶體以及傳輸裝置，其中，記憶體用於儲存實施例2中的資料傳輸方法的步驟的程式碼，處理器用於透過傳輸裝置調用記憶體儲存的資訊及應用程式，以執行實施例2中的步驟的程式碼。具體步驟詳見實施例2中的方法，此處不再贅述。

實施例7

本發明的實施例還提供了一種儲存媒體。可選地，在本實施例中，上述儲存媒體可以用於保存上述實施例一所提供的資料傳輸方法所執行的程式碼。

可選地，在本實施例中，上述儲存媒體可以位於電腦網路中電腦終端群中的任意一個電腦終端中，或者位於行動終端群中的任意一個行動終端中。

可選地，在本實施例中，儲存媒體被設定為儲存用於 執行實施例1或者實施例2中的資料傳輸方法的步驟的程式碼，具體步驟詳見實施例1或者實施例2，此處不再贅述。

上述本發明實施例序號僅僅為了描述，不代表實施例的優劣。

在本發明的上述實施例中，對各個實施例的描述都各有側重，某個實施例中沒有詳述的部分，可以參見其他實施例的相關描述。

在本申請所提供的幾個實施例中，應該理解到，所揭露的技術內容，可透過其它的方式實現。其中，以上所描述的裝置實施例僅僅是示意性的，例如所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是透過一些介面，單元或模組的間接耦合或通信連接，可以是電性或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。

另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也 可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。

所述集成的單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個電腦可讀取儲存媒體中。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存媒體中，包括若干指令用以使得一台電腦設備(可為個人電腦、伺服器或者網路設備等)執行本發明各個實施例所述方法的全部或部分步驟。而前述的儲存媒體包括：U盤、唯讀記憶體(ROM，Read-Only Memory)、隨機存取記憶體(RAM，Random Access Memory)、行動硬碟、磁碟或者光碟等各種可以儲存程式碼的媒體。

以上所述僅是本發明的較佳實施方式，應當指出，對於本技術領域的普通技術人員來說，在不脫離本發明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發明的保護範圍。

Claims (22)

1. 一種資料傳輸方法，其特徵在於，該方法包括：第一設備定時接收來自第二設備的請求訊息，其中，該請求訊息中攜帶有與本次接收的該請求訊息對應的時間戳記；該第一設備判斷該時間戳記的取值是否小於預設閾值；及在該時間戳記的取值小於該預設閾值時，該第一設備按照該時間戳記與該第一設備在本地快取的分片資料的對應關係，將與該時間戳記對應的該分片資料同步至該第二設備，其中，該分片資料為對該第一設備記錄的全量資料進行分片得到，其中，該第一設備判斷該時間戳記的取值是否小於預設閾值之前，該方法還包括：該第一設備判斷該時間戳記的取值是否為指定值，其中，該指定值用於指示讀取該全量資料，並且，在判斷結果為是時，觸發將與該時間戳記對應的該分片資料同步至該第二設備。
2. 根據申請專利範圍第1項所述的方法，其中，該方法還包括：在該時間戳記的取值等於或者大於該預設閾值時，該第一設備將從該時間戳記指示的時間至目前時間產生的增量資料同步至該第二設備。
3. 根據申請專利範圍第1項所述的方法，其中，將 與該時間戳記對應的該分片資料同步至該第二設備包括：該第一設備以該時間戳記的取值作為索引，將該第一設備的本地快取中與該索引對應的指定分片資料同步至該第二設備。
4. 根據申請專利範圍第1項所述的方法，其中，該分片資料透過以下方式在該第一設備中得到：該第一設備將該第一設備的資料庫中與第一索引n對應的分片資料，寫入該本地快取，並將n-1作為該分片資料在該第一設備的本地快取中的索引，其中，n小於或者等於對該全量資料進行分片後得到的所有分片資料的總數量N，n、N均為正整數。
5. 根據申請專利範圍第4項所述的方法，其中，該第一設備將該第一設備的資料庫中與該第一索引n對應的分片資料，寫入該本地快取，並將n-1作為該分片資料在該第一設備的本地快取中的索引包括：該第一設備判斷n是否小於N；在n小於N的情況下，該第一設備從該資料庫中讀取n對應的分片資料，並在n對應的分片資料上附上值為n的時間戳記；在n等於N的情況下，該第一設備從該資料庫中讀取與n對應的分片資料，並在與n對應的分片資料上附上值為指定時刻的時間戳記；其中，該指定時刻為該第二設備上一次訪問該第一設備的時刻；及該第一設備將與n對應的分片資料寫入該本地快取， 並將n-1作為該分片資料在該本地快取中的索引。
6. 根據申請專利範圍第1至5項中任一項所述的方法，其中，該全量資料包括以下至少之一：針對統一資源定位符的阻斷記錄，針對功能變數名稱的阻斷記錄。
7. 一種資料傳輸方法，其特徵在於，該方法包括：第二設備向第一設備發送請求訊息，其中，該請求訊息中攜帶有與該請求訊息對應的時間戳記；及判斷該時間戳記的取值是否小於預設閾值；在該時間戳記的取值小於預設閾值的情況下，該第二設備接收該第一設備發送的分片資料；其中，該分片資料是與該時間戳記對應的在該第一設備本地快取的分片資料，該分片資料為對該第一設備記錄的全量資料進行分片得到，其中，在判斷該時間戳記的取值是否小於預設閾值之前，該方法還包括：該第一設備判斷該時間戳記的取值是否為指定值，其中，該指定值用於指示讀取該全量資料，並且，在判斷結果為是時，觸發將與該時間戳記對應的該分片資料同步至該第二設備。
8. 根據申請專利範圍第7項所述的方法，其中，該方法還包括：在該時間戳記的取值等於或者大於該預設閾值的情況下，該第二設備接收該第一設備發送的從該時間戳記指示的時間至目前時間產生的增量資料。
9. 根據申請專利範圍第7項所述的方法，其中，該第二設備接收該第一設備發送的與該時間戳記對應的該第一設備在本地快取的分片資料之前，該方法還包括：在該時間戳記的取值為指定值的情況下，該第二設備觸發該第一設備發送該全量資料，接收該第一設備發送的與該指定值對應的該分片資料，其中，該指定值用於指示該第二設備向該第一設備讀取該全量資料。
10. 根據申請專利範圍第7項所述的方法，其中，該第二設備接收該第一設備發送的分片資料包括：該第二設備接收在該第一設備的本地快取中與索引對應的指定分片資料；其中，該索引為該時間戳記的取值；及該第二設備接收該第一設備發送的指定時間戳記；其中，該指定時間戳記的取值為由該時間戳記的取值加1得到。
11. 根據申請專利範圍第7至10項中任一項所述的方法，其中，該全量資料包括以下至少之一：針對統一資源定位符的阻斷記錄，針對功能變數名稱的阻斷記錄。
12. 一種資料傳輸裝置，應用於第一設備，其特徵在於，該裝置包括：接收模組，用於定時接收來自第二設備的請求訊息，其中，該請求訊息中攜帶有與本次接收的該請求訊息對應的時間戳記；第一判斷模組，用於判斷該時間戳記的取值是否小於 預設閾值；及第一同步模組，用於在該時間戳記的取值小於該預設閾值時，按照該時間戳記與該第一設備在本地快取的分片資料的對應關係，將與該時間戳記對應的該分片資料同步至該第二設備，其中，該分片資料為對該第一設備記錄的全量資料進行分片得到；及第二判斷模組，用於判斷該時間戳記的取值是否為指定值，其中，該指定值用於指示讀取該全量資料，其中，在判斷結果為是時，觸發將與該時間戳記對應的該分片資料同步至該第二設備。
13. 根據申請專利範圍第12項所述的裝置，其中，該裝置還包括：第二同步模組，用於在該時間戳記等於或者大於該預設閾值時，將從該時間戳記指示的時間至目前時間產生的增量資料同步至該第二設備。
14. 根據申請專利範圍第12項所述的裝置，其中，該第一同步模組，還用於以該時間戳記的取值作為索引，將該第一設備的本地快取中與該索引對應的指定分片資料同步至該第二設備。
15. 根據申請專利範圍第12項所述的裝置，其中，該裝置還包括：快取模組，用於將該第一設備的資料庫中與第一索引n對應的分片資料，寫入該本地快取，並將n-1作為該分片資料在該第一設備的本地快取中的索引，其中，n小於 或者等於對該全量資料進行分片後得到的所有分片資料的總數量N，n、N均為正整數。
16. 根據申請專利範圍第15項所述的裝置，其中，該快取模組包括：判斷單元，用於判斷n是否小於N；第一讀取單元，用於在n小於N的情況下，從該資料庫中讀取n對應的分片資料，並在n對應的分片資料上附上值為n的時間戳記；第二讀取單元，用於在n等於N的情況下，從該資料庫中讀取與n對應的分片資料，並在與n對應的分片資料上附上值為指定時刻的時間戳記；其中，該指定時刻為該第二設備上一次訪問該第一設備的時刻；及暫存單元，用於將與n對應的分片資料寫入該本地快取，並將n-1作為該分片資料在該本地快取中的索引。
17. 根據申請專利範圍第12至16項中任一項所述的裝置，其中，該全量資料包括以下至少之一：針對統一資源定位符的阻斷記錄，針對功能變數名稱的阻斷記錄。
18. 一種資料傳輸裝置，應用於第二設備，其特徵在於，該裝置包括：發送模組，用於向第一設備發送請求訊息，其中，該請求訊息中攜帶有與該請求訊息對應的時間戳記；及第一判斷模組，用於供該第一設備判斷該時間戳記的取值是否小於預設閾值；第一接收模組，用於在該時間戳記的取值小於預設閾 值的情況下，接收該第一設備發送的分片資料；其中，該分片資料是與該時間戳記對應的在該第一設備本地快取的分片資料，該分片資料為該第一設備記錄的全量資料進行分片得到；及第二判斷模組，用於供該第一設備判斷該時間戳記的取值是否為指定值，其中，該指定值用於指示讀取該全量資料，其中，在判斷結果為是時，觸發將與該時間戳記對應的該分片資料同步至該第二設備。
19. 根據申請專利範圍第18項所述的裝置，其中，該裝置還包括：第二接收模組，用於在該時間戳記的取值等於或者大於該預設閾值的情況下，接收該第一設備發送的從該時間戳記指示的時間至目前時間產生的增量資料。
20. 根據申請專利範圍第18項所述的裝置，其中，該裝置還包括：觸發模組，用於在該時間戳記的取值為指定值的情況下，觸發該第一設備發送該全量資料；及第三接收模組，用於接收該第一設備發送的與該指定值對應的該分片資料，其中，該指定值用於指示該第二設備向該第一設備讀取該全量資料。
21. 根據申請專利範圍第18項所述的裝置，其中，該第一接收模組包括：第一接收單元，用於接收在該第一設備的本地快取中與索引對應的指定分片資料；其中，該索引為該時間戳記 的取值；及第二接收單元，用於接收該第一設備發送的指定時間戳記；其中，該指定時間戳記的取值為由該時間戳記的取值加1得到。
22. 根據申請專利範圍第18至21項中任一項所述的裝置，其中，該全量資料包括以下至少之一：針對統一資源定位符的阻斷記錄，針對功能變數名稱的阻斷記錄。

Images