TWI688869B - 資料即時傳輸的方法和裝置 - Google Patents
資料即時傳輸的方法和裝置 Download PDFInfo
- Publication number
- TWI688869B TWI688869B TW104142099A TW104142099A TWI688869B TW I688869 B TWI688869 B TW I688869B TW 104142099 A TW104142099 A TW 104142099A TW 104142099 A TW104142099 A TW 104142099A TW I688869 B TWI688869 B TW I688869B
- Authority
- TW
- Taiwan
- Prior art keywords
- data
- hotspot
- database
- request
- hotspot data
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本發明公開了一種資料即時傳輸的方法,包括:監測資料請求量;根據監測到的資料請求量確定出第一熱點資料;在傳輸列表中添加所述第一熱點資料的資料標識,並啟動將所述第一熱點資料傳輸至第一資料庫的過程。達到釋放伺服器的工作執行緒資源,緩解伺服器壓力,維持資料處理的正常運行的效果。
Description
本發明屬於互聯網技術領域,具體地說,涉及一種資料即時傳輸的方法和裝置。
隨著互聯網的發展,上網用戶不斷增加,使網站的訪問量也隨之大幅增加,對此,各廠商採用伺服器鏡像技術,在用戶相對集中的地方放上快取設備,作為對原始伺服器的鏡像伺服器,用戶訪問原來的伺服器時,被網路重定向到離用戶最近的鏡像伺服器,從而提高了網路用戶的訪問質量和訪問速度。
但近年來隨著電子商務以及社交平臺等互聯網應用的持續火爆,出現了網路熱點集中而且切換頻率加快的現象。經常出現網站資料庫中某些資料的瞬間並行度極高,對該資料進行寫操作的請求急劇增加,這時會使大量請求在資料庫等待對該資料進行行級鎖,同時佔用著資料庫的工作執行緒資源,而資料庫的工作執行緒資源是有限的。例如,資料庫的系統流量為7000tps,當前在該資料庫中存在10個熱點資料,每個熱點資料的並行數達到了
1000tps,則10個熱點資料的並行數達到10000tps,已超過系統流量,導致資料庫的工作執行緒得不到釋放而變得不可用,使其他非熱點資料的處理也會受到影響。
有鑒於此,本申請提供了一種資料即時傳輸的方法和裝置,解決了由於瞬時出現熱點資料而導致資料庫不可用的技術問題。
為了解決上述技術問題,本申請公開了一種資料即時傳輸的方法,包括:監測資料請求量;根據監測到的資料請求量確定出第一熱點資料;在傳輸列表中添加所述第一熱點資料的資料標識,並啟動將所述第一熱點資料傳輸至第一資料庫的過程。
所述方法還包括:判斷所述將所述第一熱點資料傳輸至第一資料庫的過程是否完成,當所述將所述第一熱點資料傳輸至第一資料庫的過程已完成時,在所述傳輸列表中刪除所述第一熱點資料的資料標識,並在預設的第一熱點資料列表中添加所述第一熱點資料的資料標識。
所述方法還包括:當所述將所述第一熱點資料傳輸至第一資料庫的過程未完成時,判斷接收到的對所述第一熱點資料的請求是否為寫入請求;當接收到的對所述第一熱點資料的請求是寫入請求時,回傳寫入失敗的訊息;當接收到的對所述第一熱點資料的請求是讀取請求時,允許對
所述第一熱點資料的讀取操作。
所述方法還包括:獲取所述第一資料庫的負載訊息;根據所述負載訊息確定需要從所述第一資料庫傳輸至第二資料庫的第二熱點資料。
所述根據所述負載訊息確定需要從所述第一資料庫傳輸至第二資料庫的第二熱點資料,包括:獲取所述負載訊息中的資料鎖定佇列;根據所述資料鎖定佇列確定每條第一熱點資料所對應的執行中的交談數量;將所述執行中的交談數量超過預設閾值的第一熱點資料確定為需要從所述第一資料庫傳輸至第二資料庫的第二熱點資料。
所述在預設的第一熱點資料列表中添加所述第一熱點資料的資料標識之後,所述方法還包括:判斷是否接收到對所述第一熱點資料的請求;當接收到對所述第一熱點資料的請求時,將對所述第一熱點資料的請求路由至所述第一資料庫。
所述方法還包括:判斷接收到的請求是否是對預設的第一熱點資料列表中的第一熱點資料的請求;當接收到的請求是對所述預設的第一熱點資料列表中的第一熱點資料的請求時,將所述請求路由至所述第一資料庫。
為了解決上述技術問題,本申請還公開了一種資料即時傳輸的裝置,包括:監測模組,用於監測資料請求量;第一確定模組,用於根據檢測到的資料請求量確定出第一熱點資料;第一處理模組,在傳輸列表中添加所述第一熱點資料的資料標識,並啟動將所述第一熱點資料傳輸至第
一資料庫的過程。
所述裝置還包括:第一判斷模組,用於判斷所述將所述第一熱點資料傳輸至第一資料庫的過程是否完成,第二處理模組,用於當所述將所述第一熱點資料傳輸至第一資料庫的過程已完成時,在所述傳輸列表中刪除所述第一熱點資料的資料標識,並在預設的第一熱點資料列表中添加所述第一熱點資料的資料標識。
所述裝置還包括:第二判斷模組,用於當所述將所述第一熱點資料傳輸至第一資料庫的過程未完成時,判斷接收到的對所述第一熱點資料的請求是否為寫入請求;第三處理模組,用於當接收到的對所述第一熱點資料的請求是寫入請求時,回傳寫入失敗的訊息;第四處理模組,用於當接收到的對所述第一熱點資料的請求是讀取請求時,允許對所述第一熱點資料的讀取操作。
所述裝置還包括:獲取模組,用於獲取所述第一資料庫的負載訊息;第二確定模組,用於根據所述負載訊息確定需要從所述第一資料庫傳輸至第二資料庫的第二熱點資料。
所述第二確定模組包括:獲取子模組,用於獲取所述負載訊息中的資料鎖定佇列;第一確定子模組,用於根據所述資料鎖定佇列確定每條第一熱點資料所對應的執行中的交談數量;第二確定子模組,用於將所述執行中的交談數量超過預設閾值的第一熱點資料確定為需要從所述第一資料庫傳輸到第二資料庫的第二熱點資料。
所述裝置還包括:第三判斷模組,用於判斷是否接收到對所述第一熱點資料的請求;第一路由模組,用於當接收到對所述第一熱點資料的請求時,將對所述第一熱點資料的請求路由至所述第一資料庫。
所述裝置還包括:第四判斷模組,用於判斷接收到的請求是否是對預設的第一熱點資料列表中的第一熱點資料的請求;第二路由模組,用於當接收到的請求是對所述預設的第一熱點資料列表中的第一熱點資料的請求時,將所述請求路由至所述第一資料庫。
與現有技術相比,本申請可以獲得包括以下技術效果:監測到資料請求量較大的第一熱點資料時,啟動將該第一熱點資料向第一資料庫傳輸的過程,釋放伺服器的工作執行緒資源,緩解伺服器壓力,維持資料處理的正常運行。
當然,實施本申請的任一產品必不一定需要同時達到以上所述的所有技術效果。
40‧‧‧監測模組
41‧‧‧第一確定模組
42‧‧‧第一處理模組
此處所說明的附圖用來提供對本申請的進一步理解,構成本申請的一部分,本申請的示意性實施例及其說明用於解釋本申請,並不構成對本申請的不當限定。在附圖中:圖1是本申請實施例提供的一種資料即時傳輸的方法流程示意圖;
圖2是本申請實施例提供的將第一熱點資料再次進行傳輸的方法流程示意圖;圖3是本申請實施例提供的一種資料即時傳輸的方法流程示意圖;圖4是本申請實施例提供的一種資料即時傳輸的裝置的結構示意圖。
以下將配合附圖及實施例來詳細說明本發明的實施方式,藉此對本發明如何應用技術手段來解決技術問題並達成技術功效的實現過程能充分理解並據以實施。
圖1是本申請實施例提供的一種資料即時傳輸的方法,適用於伺服器設備,該方法包括以下步驟。
在步驟S10中,監測資料請求量。
伺服器設備監測本地接收到的資料請求量,包括對本地資料的讀取請求和寫入請求。
在步驟S11中,根據監測到的資料請求量確定出第一熱點資料。
對於伺服器設備來說,如果接收到資料請求是寫入請求,需要對該資料加入行級鎖,防止其他寫入請求同時對該資料進行寫入操作;而對於資料的讀取請求由於其並不修改資料的值,則可以允許多個請求同時讀取該資料。因此,如果同時對某一條資料的寫入請求過多,會出現大量寫入請求處於等待狀態,從而佔用伺服器執行緒資源。為
了防止這種情況出現,根據檢測到的資料請求量確定出第一熱點資料,該第一熱點資料是指接收到的寫入請求頻率過高的資料。伺服器可以對每條資料在單位時間內接收到的寫入請求數量(即寫入請求的頻率)進行監測,將超過閾值的資料確定為第一熱點資料。
在步驟S12中,在傳輸列表中添加第一熱點資料的資料標識,並啟動將第一熱點資料傳輸至第一資料庫的過程。
當某條資料成為第一熱點資料時,說明該第一熱點資料已佔用過多的伺服器執行緒資源,會對伺服器的處理能力帶來影響,此時需要將該第一熱點資料傳輸至第一資料庫。該第一資料庫用於處理針對第一熱點資料的資料請求,其本身的資料處理能力也強於該伺服器。當某條資料被確定為第一熱點資料而需要傳輸時,伺服器添加該第一熱點資料的資料標識到傳輸列表中,並同時啟動將該第一熱點資料傳輸到第一資料庫的過程。該傳輸列表用於記錄處於資料傳輸狀態中的第一熱點資料的資料標識,該傳輸列表中的第一熱點資料是已經開始向第一資料庫傳輸但傳輸過程還沒有完成的第一熱點資料。
將成為第一熱點資料的資料從伺服器傳輸出去,能夠釋放該第一熱點資料佔用的工作執行緒資源,有效緩解伺服器的壓力,維持伺服器其他資料處理的正常運行。
伺服器啟動將已成為第一熱點資料的資料傳輸至第一資料庫的過程後,判斷該傳輸過程是否完成。當該傳輸過
程未完成時,伺服器判斷接收到的對該第一熱點資料的請求是否為寫入請求;如果是寫入請求,則直接回傳寫入失敗的訊息;如果是讀取請求,則允許對該第一熱點資料的讀取操作。由於該第一熱點資料處於向第一資料庫的傳輸過程中,而寫入請求會涉及修改該第一熱點資料,因此對所有針對該第一熱點資料的寫入請求均回傳寫入失敗的訊息。由於讀取請求不會涉及對該第一熱點資料的修改,因此仍然允許對該第一熱點資料的讀取操作。伺服器中的資料採用單條記錄的形式,每次資料傳輸的過程最多能夠傳輸的資料量為10條,因此該第一熱點資料處於資料傳輸狀態的持續時間很短,資料傳輸的過程會很快,出現回傳寫入失敗的訊息的時間屬於毫秒級別,受到該資料傳輸過程影響的用戶會非常少。
當伺服器判斷出該傳輸過程已經完成時,在傳輸列表中刪除該第一熱點資料的資料標識,而將該第一熱點資料的資料標識添加到預設的第一熱點資料列表中。該預設的第一熱點資料列表用於記錄在第一資料庫中保存的第一熱點資料的資料標識。上述處理代表著該第一熱點資料向第一資料庫的傳輸過程已經完成。
在該第一熱點資料向第一資料庫傳輸的過程完成後,伺服器判斷是否接收到對該第一熱點資料的請求。當接收到對該第一熱點資料的請求時,將對該第一熱點資料的請求路由至第一資料庫。由於該第一熱點資料已傳輸至第一資料庫,伺服器接收到對該第一熱點資料的請求時,通過
預設的路由表將對該第一熱點資料的請求路由至第一資料庫,由該第一資料庫響應對該第一熱點資料的請求,從而降低伺服器的負載,維持伺服器的有效運行。
在一個實施例中,可以預先判斷伺服器中哪些資料極有可能成為第一熱點資料,例如,根據預期判斷出對該資料的請求將會非常多,對這些極有可能成為第一熱點資料的資料,把它們的資料標識預先添加到該預設的第一熱點資料列表,同時把這些資料初始化到第一資料庫中,防止其以後出現過高的資料請求而對伺服器的資料處理造成影響。伺服器接收到對該預設的第一熱點資料列表中的資料的請求時,根據預設的路由表直接將該請求路由至第一資料庫,由第一資料庫來響應針對該預設的第一熱點資料列表中的資料的請求。
在一個實施例中,當第一資料庫中的第一熱點資料越來越多或者請求量持續升高,使第一資料庫的處理能力也受到影響時,則需要將第一資料庫中請求量較高的第一熱點資料再次進行傳輸,該傳輸方法如圖2所示,包括以下步驟。
在步驟S20中,獲取第一資料庫的負載訊息。
該負載訊息包括第一資料庫的執行緒佔用率、資料鎖定佇列等訊息。可通過監控和警告軟體獲取第一資料庫的負載訊息。
在步驟S21中,根據負載訊息確定需要從第一資料庫傳輸至第二資料庫的第二熱點資料。
該第二熱點資料是第一資料庫中請求量較高或者持續升高的第一熱點資料,當第一資料庫的負載較高並且自身處理能力受到影響時,需要將該第二熱點資料傳輸至第二資料庫,由第二資料庫處理對該第二熱點資料的請求,以降低第一資料庫的負載。確定需要傳輸至第二資料庫的第二熱點資料方法包括以下步驟:在步驟S210中,獲取負載訊息中的資料鎖定佇列。
該資料鎖定是一種保護共享資源的鎖定機制,該鎖定機制保護共享資源,如資料庫中的資料,以避免兩個用戶在同一時間更新同一資料,該資料鎖定包括一個先進先出的佇列機制,即先請求的先對資料進行級鎖定並執行寫入操作。
在步驟S211中,根據資料鎖定佇列確定每條第一熱點資料所對應的執行中的交談數量。
該第一資料庫的每一個資料鎖定佇列都對應著其保存的一條第一熱點資料。通過該資料鎖定佇列即可確定該第一資料庫接收到了針對哪些第一熱點資料的資料請求,再進一步根據資料鎖定佇列中的交談數量即可確定每條第一熱點資料對應的執行中的交談數量。
在步驟S212中,將執行中的交談數量超過預設閾值的第一熱點資料確定為需要從第一資料庫傳輸至第二資料庫的第二熱點資料。
將第二熱點資料傳輸至第二資料庫的過程與前面所述將第一熱點資料傳輸至第一資料庫的過程相同,在此不進
行重複說明。通過上述流程可以在第一資料庫出現負載壓力過大的情況下,將資料請求量較高的第一熱點資料再次傳輸,以緩解第一資料庫的資料處理壓力。
下面通過一個應用場景對本申請實施例提供的資料即時傳輸的方法做進一步說明。在線商品銷售系統中,商家會針對一些在線商品推出促銷活動,用戶則會在很短的時間內集中瀏覽促銷商品訊息並下單訂購。其中,瀏覽商品促銷訊息屬於對在線銷售伺服器中的商品資料的讀取操作,而下單訂購需要在線銷售伺服器執行庫存數量的扣減,屬於對商品資料的寫入操作。而在促銷期間,會出現極多的用戶同時下單訂購促銷商品的情況,這時會使在線銷售伺服器的負載過大,資料處理緩慢,而且其他正常銷售的商品資料的處理也會受到影響。採用本申請實施例提供的資料即時傳輸的方法,能夠緩解在線商品伺服器的壓力,如圖3所示,實施過程包括以下步驟。
在步驟S300中,在伺服器的第一熱點資料列表中預先添加極可能成為熱點商品的商品資料標識。
根據商家的促銷策略,預判哪些商品極可能成為熱點商品,將這類商品在伺服器資料中的資料標識預先添加到第一熱點資料列表中,並且將這類商品的資料初始化到第一資料庫中。
在步驟S301中,判斷接收到的資料請求是否是對第一熱點資料列表中的資料的請求。當是對第一熱點資料列表中的資料的請求時,執行步驟S302;當不是對第一熱
點資料列表中的資料的請求時,執行步驟S303。
在步驟S302中,將該資料請求路由至第一資料庫。
在步驟S303中,將該資料請求在本地處理。
同時,在步驟S304中,伺服器監測本地資料請求量。
對於沒有被預判為熱點商品的商品資料,伺服器即時監測這些商品的資料請求量。
在步驟S305中,根據監測到的資料請求量確定出第一熱點資料。
某些商品會隨著資料請求量的瞬間增多而成為熱點商品,伺服器將這些商品的資料確定為第一熱點資料。
在步驟S306中,在傳輸列表中添加第一熱點資料的資料標識,並啟動將第一熱點資料傳輸至第一資料庫的過程。
伺服器將成為熱點商品的商品資料的資料標識添加到傳輸列表中,並啟動將成為熱點商品的商品資料向第一資料庫進行傳輸的過程。
在步驟S307中,判斷將第一熱點資料傳輸至第一資料庫的過程是否完成。當將第一熱點資料傳輸至第一資料庫的過程未完成時,執行步驟S308;當將第一熱點資料傳輸至第一資料庫的過程已完成時,執行步驟S311。
在步驟S308中,判斷接收到的對第一熱點資料的請求是否為寫入請求,當接收到的對第一熱點資料的請求是寫入請求時,執行步驟S309;當接收到的對第一熱點資
料的請求是讀取請求時,執行步驟S310。
成為熱點商品的商品資料向第一資料庫的傳輸還沒有完成時,判斷是否有用戶對該商品下單訂購以及瀏覽該商品的訊息。
在步驟S309中,回傳寫入失敗的訊息。
在步驟S310中,允許對第一熱點資料的讀取操作。
如果有用戶瀏覽該商品的訊息,屬於對該商品資料的讀取請求,則允許瀏覽,而用戶對該商品下單訂購屬於對該商品資料的寫入請求,則直接回傳失敗訊息,該商品當前還不能下單。
在步驟S311中,在傳輸列表中刪除第一熱點資料的資料標識,並在預設的第一熱點資料列表中添加第一熱點資料的資料標識。
成為熱點商品的商品資料向第一資料庫的傳輸完成後,在傳輸列表中刪除該商品資料的資料標識,並將該商品資料的資料標識添加到預設的第一熱點資料列表中。
在步驟S312中,判斷接收到的資料請求是否是對該第一熱點資料的請求。當接收到的資料請求是對第一熱點資料的請求時,執行步驟S302;當接收到的資料請求不是對第一熱點資料的請求時,執行步驟S303。
伺服器再接收到對已成為熱點商品的商品資料的資料請求後,將該資料請求路由至第一資料庫。
同時,在步驟S313中,獲取第一資料庫的負載訊息。
伺服器獲取第一資料庫的負載訊息,以防止該第一資料庫由於熱點商品的商品資料請求量持續增多而導致處理能力下降。
在步驟S314中,獲取負載訊息中的資料鎖定佇列;在步驟S315中,根據資料鎖定佇列確定每條第一熱點資料所對應的執行中的交談數量。
在步驟S316中,將執行中的交談數量超過預設閾值的第一熱點資料確定為需要從第一資料庫傳輸至第二資料庫的第二熱點資料。
確定出第一資料庫中哪些商品資料的請求量過高,需要再次進行傳輸,以緩解第一資料庫的壓力。
圖4是本申請實施例提供的一種資料即時傳輸的裝置,包括:監測模組40,用於監測資料請求量;第一確定模組41,用於根據檢測到的資料請求量確定出第一熱點資料;第一處理模組42,在傳輸列表中添加第一熱點資料的資料標識,並啟動將第一熱點資料傳輸至第一資料庫的過程。
在一個實施例中,該裝置還包括:第一判斷模組,用於判斷將第一熱點資料傳輸至第一資料庫的過程是否完成,第二處理模組,用於當將第一熱點資料傳輸至第一資料庫的過程已完成時,在傳輸列表中刪除第一熱點資料的
資料標識,並在預設的第一熱點資料列表中添加第一熱點資料的資料標識。
在一個實施例中,該裝置還包括:第二判斷模組,用於當將第一熱點資料傳輸至第一資料庫的過程未完成時,判斷接收到的對第一熱點資料的請求是否為寫入請求;第三處理模組,用於當接收到的對第一熱點資料的請求是寫入請求時,回傳寫入失敗的訊息;第四處理模組,用於當接收到的對第一熱點資料的請求是讀取請求時,允許對第一熱點資料的讀取操作。
在一個實施例中,該裝置還包括:獲取模組,用於獲取第一資料庫的負載訊息;第二確定模組,用於根據負載訊息確定需要從所述第一資料庫傳輸至第二資料庫的第二熱點資料。
該第二確定模組包括:獲取子模組,用於獲取負載訊息中的資料鎖定佇列;第一確定子模組,用於根據資料鎖定佇列確定每條第一熱點資料所對應的執行中的交談數量;第二確定子模組,用於將執行中的交談數量超過預設閾值的第一熱點資料確定為需要從第一資料庫傳輸到第二資料庫的第二熱點資料。
在一個實施例中,該裝置還包括:第三判斷模組,用於判斷是否接收到對所述第一熱點資料的請求;
第一路由模組,用於當接收到對第一熱點資料的請求時,將對第一熱點資料的請求路由至第一資料庫。
在一個實施例中,該裝置還包括:第四判斷模組,用於判斷接收到的請求是否是對預設的第一熱點資料列表中的第一熱點資料的請求;第二路由模組,用於當接收到的請求是對預設的第一熱點資料列表中的第一熱點資料的請求時,將請求路由至第一資料庫。
上述裝置中的各個功能模組可實現上述資料即時傳輸的方法的各個步驟,具體實現過程請參見上述資料即時傳輸的方法的各個實施例。
在一個典型的配置中,上述各功能模組也可以由計算設備來實現,該計算設備包括一個或多個處理器(CPU)、輸入/輸出介面、網路介面和內存記憶體。
內存記憶體可能包括計算機可讀媒體中的非永久性記憶體,隨機存取記憶體(RAM)和/或非易失性內存記憶體等形式,如唯讀記憶體(ROM)或快閃隨機存取記憶體(flash RAM)。內存記憶體是計算機可讀媒體的示例。
計算機可讀媒體包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術來實現訊息儲存。訊息可以是計算機可讀指令、資料結構、程序的模組或其他資料。計算機的儲存媒體的例子包括,但不限於相變隨機存取記憶體(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型的隨機存取記憶體
(RAM)、唯讀記憶體(ROM)、電可抹除可編程唯讀記憶體(EEPROM)、快閃記憶體或其他內存技術、唯讀光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)或其他光學儲存、磁盒式磁帶,磁帶磁磁碟儲存或其他磁性儲存設備或任何其他非傳輸媒體,可用於儲存可以被計算設備訪問的訊息。按照本文中的界定,計算機可讀媒體不包括非暫存電腦可讀媒體(transitory media),如調變的資料信號和載波。
如在說明書及權利要求當中使用了某些詞彙來指稱特定組件。本領域技術人員應可理解,硬體製造商可能會用不同名詞來稱呼同一個組件。本說明書及權利要求並不以名稱的差異來作為區分組件的方式,而是以組件在功能上的差異來作為區分的準則。如在通篇說明書及權利要求當中所提及的“包含”為一開放式用語,故應解釋成“包含但不限定於”。“大致”是指在可接收的誤差範圍內,本領域技術人員能夠在一定誤差範圍內解決所述技術問題,基本達到所述技術效果。此外,“耦接”一詞在此包含任何直接及間接的電性耦接手段。因此,若文中描述一第一裝置耦接於一第二裝置,則代表所述第一裝置可直接電性耦接於所述第二裝置,或通過其他裝置或耦接手段間接地電性耦接至所述第二裝置。說明書後續描述為實施本發明的較佳實施方式,然所述描述乃以說明本發明的一般原則為目的,並非用以限定本發明的範圍。本發明的保護範圍當視所附權利要求所界定者為准。
還需要說明的是,術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的商品或者系統不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種商品或者系統所固有的要素。在沒有更多限制的情況下,由語句“包括一個......”限定的要素,並不排除在包括所述要素的商品或者系統中還存在另外的相同要素。
上述說明示出並描述了本發明的若干優選實施例,但如前所述,應當理解本發明並非局限於本文所披露的形式,不應看作是對其他實施例的排除,而可用於各種其他組合、修改和環境,並能夠在本文所述發明構想範圍內,通過上述教導或相關領域的技術或知識進行改動。而本領域人員所進行的改動和變化不脫離本發明的精神和範圍,則都應在本發明所附權利要求的保護範圍內。
Claims (12)
- 一種資料即時傳輸的方法,其特徵在於,包括:首先,監測資料請求量;接著,透過確定寫入請求頻率根據監測到的資料請求量確定出第一熱點資料超過閾值;之後,在傳輸列表中添加該第一熱點資料的資料標識;之後,藉由下列步驟維持資料處理的正常運行:將該第一熱點資料傳輸至第一資料庫,以及在將該第一熱點資料傳輸至該第一資料庫之後釋放該第一熱點資料佔用的工作執行緒資源;其次,獲取該第一資料庫的負載訊息中包括之資料鎖定佇列,其中該負載訊息至少包括該第一資料庫的執行緒佔用率及該資料鎖定佇列;以及最後,確定需要從該第一資料庫傳輸至該第二資料庫的第二熱點資料,該第二熱點資料包括根據該資料鎖定佇列的第一資料庫中第一熱點資料所對應的執行中的交談數量。
- 如申請專利範圍第1項所述的方法,其中,該方法還包括:在將該第一熱點資料傳輸至該第一資料庫之後,判斷所述將該第一熱點資料傳輸至第一資料庫是否完成,當所述將該第一熱點資料傳輸至第一資料庫已完成時,在該傳輸列表中刪除該第一熱點資料的資料標識,並 在預設的第一熱點資料列表中添加該第一熱點資料的資料標識。
- 如申請專利範圍第2項所述的方法,其中,該方法還包括:當所述將該第一熱點資料傳輸至第一資料庫未完成時,判斷接收到的對該第一熱點資料的請求是否為寫入請求;當接收到的對該第一熱點資料的請求是寫入請求時,回傳寫入失敗的訊息;當接收到的對該第一熱點資料的請求是讀取請求時,允許對該第一熱點資料的讀取操作。
- 如申請專利範圍第1項所述的方法,其中,所述確定需要從該第一資料庫傳輸至第二資料庫的第二熱點資料,還包括:將該執行中的交談數量超過預設閾值的第一熱點資料確定為需要從該第一資料庫傳輸至第二資料庫的第二熱點資料。
- 如申請專利範圍第2項所述的方法,其中,該在預設的第一熱點資料列表中添加該第一熱點資料的資料標識之後,該方法還包括:判斷是否接收到對該第一熱點資料的請求;當接收到對該第一熱點資料的請求時,將對該第一熱點資料的請求路由至該第一資料庫。
- 如申請專利範圍第1項所述的方法,其中,該方法 還包括:在監測資料請求量之後,判斷接收到的請求是否是對預設的第一熱點資料列表中的第一熱點資料的請求;當接收到的請求是對該預設的第一熱點資料列表中的第一熱點資料的請求時,將該請求路由至該第一資料庫。
- 一種資料即時傳輸的裝置,其特徵在於,包括:監測模組,用於監測資料請求量;第一確定模組,用於透過確定寫入請求頻率根據檢測到的資料請求量確定出第一熱點資料超過閾值;第一處理模組,在傳輸列表中添加該第一熱點資料的資料標識,並且藉由將該第一熱點資料傳輸至第一資料庫以及在將該第一熱點資料傳輸至該第一資料庫之後釋放該第一熱點資料佔用的工作執行緒資源來維持資料處理的正常運行;第二確定模組,確定需要從該第一資料庫傳輸至該第二資料庫的第二熱點資料,該第二熱點資料包括根據該資料鎖定佇列的第一資料庫中第一熱點資料所對應的執行中的交談數量,其中,該第二確定模組包括獲取子模組,用於獲取負載訊息中的資料鎖定佇列,其中該負載訊息至少包括該第一資料庫的執行緒佔用率及該資料鎖定佇列。
- 如申請專利範圍第7項所述的裝置,其中,該裝置還包括:第一判斷模組,用於判斷所述將該第一熱點資料傳輸 至第一資料庫是否完成,第二處理模組,用於當所述將該第一熱點資料傳輸至第一資料庫已完成時,在該傳輸列表中刪除該第一熱點資料的資料標識,並在預設的第一熱點資料列表中添加該第一熱點資料的資料標識。
- 如申請專利範圍第8項所述的裝置,其中,該裝置還包括:第二判斷模組,用於當所述將該第一熱點資料傳輸至第一資料庫未完成時,判斷接收到的對該第一熱點資料的請求是否為寫入請求;第三處理模組,用於當接收到的對該第一熱點資料的請求是寫入請求時,回傳寫入失敗的訊息;第四處理模組,用於當接收到的對該第一熱點資料的請求是讀取請求時,允許對該第一熱點資料的讀取操作。
- 如申請專利範圍第8項所述的裝置,其中,該第二確定模組包括:第一確定子模組,用於根據該資料鎖定佇列確定每條第一熱點資料所對應的執行中的交談數量;第二確定子模組,用於將該執行中的交談數量超過預設閾值的第一熱點資料確定為需要從該第一資料庫傳輸到第二資料庫的第二熱點資料。
- 如申請專利範圍第8項所述的裝置,其中,該裝置還包括:第三判斷模組,用於判斷是否接收到對該第一熱點資 料的請求;第一路由模組,用於當接收到對該第一熱點資料的請求時,將對該第一熱點資料的請求路由至該第一資料庫。
- 如申請專利範圍第7項所述的裝置,其中,該裝置還包括:第四判斷模組,用於判斷接收到的請求是否是對預設的第一熱點資料列表中的第一熱點資料的請求;第二路由模組,用於當接收到的請求是對該預設的第一熱點資料列表中的第一熱點資料的請求時,將該請求路由至該第一資料庫。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510278987.8 | 2015-05-27 | ||
CN201510278987.8A CN106294440B (zh) | 2015-05-27 | 2015-05-27 | 数据实时迁移的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201702953A TW201702953A (zh) | 2017-01-16 |
TWI688869B true TWI688869B (zh) | 2020-03-21 |
Family
ID=57394259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW104142099A TWI688869B (zh) | 2015-05-27 | 2015-12-15 | 資料即時傳輸的方法和裝置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20160350292A1 (zh) |
CN (1) | CN106294440B (zh) |
TW (1) | TWI688869B (zh) |
WO (1) | WO2016191610A1 (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106658753B (zh) * | 2016-09-14 | 2020-01-17 | Oppo广东移动通信有限公司 | 一种数据迁移方法及终端设备 |
CN108156193B (zh) * | 2016-12-02 | 2022-08-19 | 阿里巴巴集团控股有限公司 | 一种热点确定方法及系统 |
CN107391755A (zh) * | 2017-08-21 | 2017-11-24 | 中国银联股份有限公司 | 一种数据分布调节、查询的方法和装置 |
CN107704633A (zh) * | 2017-11-01 | 2018-02-16 | 郑州云海信息技术有限公司 | 一种文件迁移的方法和系统 |
CN108280148A (zh) * | 2018-01-02 | 2018-07-13 | 中国民生银行股份有限公司 | 一种数据迁移方法和数据迁移服务器 |
CN108834087B (zh) * | 2018-07-03 | 2021-08-24 | 平安科技(深圳)有限公司 | 短信发送方法、装置、计算机设备和存储介质 |
CN109120439B (zh) * | 2018-08-03 | 2021-06-29 | 郑州云海信息技术有限公司 | 分布式集群告警输出方法、装置、设备及可读存储介质 |
CN109544072A (zh) * | 2018-11-21 | 2019-03-29 | 北京京东尚科信息技术有限公司 | 热点库存本地化扣减方法、系统、设备以及介质 |
CN109634635B (zh) * | 2018-12-13 | 2023-02-21 | 中国银行股份有限公司 | 一种数据迁移方法及装置 |
CN112783856A (zh) * | 2019-11-07 | 2021-05-11 | 北京沃东天骏信息技术有限公司 | 数据迁移方法和装置 |
CN112988892B (zh) * | 2021-03-12 | 2022-04-29 | 北京航空航天大学 | 一种分布式系统热点数据的管理方法 |
US11816110B2 (en) * | 2021-06-22 | 2023-11-14 | International Business Machines Corporation | Processing large query results in a database accelerator environment |
CN114661696A (zh) * | 2022-03-18 | 2022-06-24 | 车主邦(北京)科技有限公司 | 数据迁移方法、装置、程序产品、介质及电子设备 |
CN114936003B (zh) * | 2022-05-06 | 2023-03-21 | 北京新科安云信息技术有限公司 | 资源池的数据分层迁移方法、装置、设备及可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120023146A1 (en) * | 2010-07-23 | 2012-01-26 | Hitachi, Ltd. | Storage system and method of controlling same |
CN102495857A (zh) * | 2011-11-21 | 2012-06-13 | 北京新媒传信科技有限公司 | 一种分布式数据库的负载均衡方法 |
US8230059B1 (en) * | 2005-11-08 | 2012-07-24 | Hewlett-Packard Development Company, L.P. | Method of monitoring resource usage in computing environment |
CN103186554A (zh) * | 2011-12-28 | 2013-07-03 | 阿里巴巴集团控股有限公司 | 分布式数据镜像方法及存储数据节点 |
TW201337584A (zh) * | 2011-12-12 | 2013-09-16 | Avocent Huntsville Corp | 合併可管理子系統的實時監控與管理資料中心資源之系統以及方法 |
TWI476610B (zh) * | 2008-04-29 | 2015-03-11 | Maxiscale Inc | 同級間冗餘檔案伺服器系統及方法 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5680640A (en) * | 1995-09-01 | 1997-10-21 | Emc Corporation | System for migrating data by selecting a first or second transfer means based on the status of a data element map initialized to a predetermined state |
US6052694A (en) * | 1998-03-18 | 2000-04-18 | Electronic Data Systems Corporation | Method and apparatus for logging database performance characteristics |
US6029174A (en) * | 1998-10-31 | 2000-02-22 | M/A/R/C Inc. | Apparatus and system for an adaptive data management architecture |
US7386610B1 (en) * | 2000-09-18 | 2008-06-10 | Hewlett-Packard Development Company, L.P. | Internet protocol data mirroring |
CN1182465C (zh) * | 2002-12-04 | 2004-12-29 | 联想(北京)有限公司 | 动态迁移数据的方法及其装置 |
US8499086B2 (en) * | 2003-01-21 | 2013-07-30 | Dell Products L.P. | Client load distribution |
US7289992B2 (en) * | 2003-05-01 | 2007-10-30 | International Business Machines Corporation | Method, system, and program for lock and transaction management |
US8825591B1 (en) * | 2003-12-31 | 2014-09-02 | Symantec Operating Corporation | Dynamic storage mechanism |
US8566446B2 (en) * | 2004-01-28 | 2013-10-22 | Hewlett-Packard Development Company, L.P. | Write operation control in storage networks |
JP4341072B2 (ja) * | 2004-12-16 | 2009-10-07 | 日本電気株式会社 | データ配置管理方法及びシステムと装置およびプログラム |
US8006061B1 (en) * | 2007-04-13 | 2011-08-23 | American Megatrends, Inc. | Data migration between multiple tiers in a storage system using pivot tables |
KR20090005921A (ko) * | 2007-07-10 | 2009-01-14 | 삼성전자주식회사 | 대칭적 다중 프로세서 시스템에서의 로드 밸런싱 방법 및장치 |
US8892720B2 (en) * | 2009-02-12 | 2014-11-18 | Arcsoft, Inc. | System and method for network optimization through predictive downloading |
JP2010257094A (ja) * | 2009-04-23 | 2010-11-11 | Hitachi Ltd | 階層ストレージ管理システムにおける移動候補ファイルの抽出方法 |
CN101697526A (zh) * | 2009-10-10 | 2010-04-21 | 中国科学技术大学 | 分布式文件系统中元数据管理的负载均衡方法及其系统 |
US20110113259A1 (en) * | 2009-11-10 | 2011-05-12 | Brocade Communication Systems, Inc. | Re-keying during on-line data migration |
US8407516B2 (en) * | 2009-12-23 | 2013-03-26 | Intel Corporation | Controlling memory redundancy in a system |
US8578107B2 (en) * | 2010-02-16 | 2013-11-05 | International Business Machines Corporation | Extent migration scheduling for multi-tier storage architectures |
US8965855B1 (en) * | 2010-08-16 | 2015-02-24 | Symantec Corporation | Systems and methods for hotspot mitigation in object-based file systems |
US10019503B2 (en) * | 2010-12-22 | 2018-07-10 | Microsoft Technology Licensing, Llc | Database transfers using constraint free data |
US8762323B2 (en) * | 2011-02-10 | 2014-06-24 | Nec Laboratories America, Inc. | Replica based load balancing in multitenant databases |
CN102122303A (zh) * | 2011-03-15 | 2011-07-13 | 浪潮(北京)电子信息产业有限公司 | 一种进行数据迁移的方法及服务系统及服务器设备 |
US8972983B2 (en) * | 2012-04-26 | 2015-03-03 | International Business Machines Corporation | Efficient execution of jobs in a shared pool of resources |
WO2014076731A1 (en) * | 2012-11-13 | 2014-05-22 | Hitachi, Ltd. | Storage system, storage system control method, and storage control device |
US9171019B1 (en) * | 2013-02-19 | 2015-10-27 | Amazon Technologies, Inc. | Distributed lock service with external lock information database |
CN104424283A (zh) * | 2013-08-30 | 2015-03-18 | 阿里巴巴集团控股有限公司 | 一种数据迁移的系统和数据迁移的方法 |
US9329789B1 (en) * | 2013-10-14 | 2016-05-03 | Marvell International Ltd. | Methods and apparatus for efficiently operating on a storage device |
CN104598459B (zh) * | 2013-10-30 | 2019-01-15 | 阿里巴巴集团控股有限公司 | 数据库处理、数据访问方法及系统 |
-
2015
- 2015-05-27 CN CN201510278987.8A patent/CN106294440B/zh active Active
- 2015-12-15 TW TW104142099A patent/TWI688869B/zh active
-
2016
- 2016-05-26 US US15/166,067 patent/US20160350292A1/en not_active Abandoned
- 2016-05-26 WO PCT/US2016/034452 patent/WO2016191610A1/en active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8230059B1 (en) * | 2005-11-08 | 2012-07-24 | Hewlett-Packard Development Company, L.P. | Method of monitoring resource usage in computing environment |
TWI476610B (zh) * | 2008-04-29 | 2015-03-11 | Maxiscale Inc | 同級間冗餘檔案伺服器系統及方法 |
US20120023146A1 (en) * | 2010-07-23 | 2012-01-26 | Hitachi, Ltd. | Storage system and method of controlling same |
CN102495857A (zh) * | 2011-11-21 | 2012-06-13 | 北京新媒传信科技有限公司 | 一种分布式数据库的负载均衡方法 |
TW201337584A (zh) * | 2011-12-12 | 2013-09-16 | Avocent Huntsville Corp | 合併可管理子系統的實時監控與管理資料中心資源之系統以及方法 |
CN103186554A (zh) * | 2011-12-28 | 2013-07-03 | 阿里巴巴集团控股有限公司 | 分布式数据镜像方法及存储数据节点 |
Also Published As
Publication number | Publication date |
---|---|
WO2016191610A1 (en) | 2016-12-01 |
US20160350292A1 (en) | 2016-12-01 |
TW201702953A (zh) | 2017-01-16 |
CN106294440A (zh) | 2017-01-04 |
CN106294440B (zh) | 2019-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI688869B (zh) | 資料即時傳輸的方法和裝置 | |
CN108829350B (zh) | 基于区块链的数据迁移方法和装置 | |
WO2017097130A1 (zh) | 一种分布式存储系统的服务节点切换方法和装置 | |
TWI727467B (zh) | 聯盟鏈的可信度驗證方法、系統、裝置及設備 | |
CN102571772B (zh) | 一种元数据服务器热点均衡方法 | |
US20130145099A1 (en) | Method, System and Server of Removing a Distributed Caching Object | |
CN107257957B (zh) | 至次级应用的应用高速缓存复制 | |
JP2014120151A5 (zh) | ||
JP7021292B2 (ja) | ユーザ推奨の方法及び装置 | |
EP3813001B1 (en) | Data reading method based on a plurality of block chain networks and system | |
US20150088697A1 (en) | Network traffic-based throttling of electronic commerce activity | |
CN113220717B (zh) | 基于区块链的数据核验方法及装置、电子设备 | |
CN112835519A (zh) | 一种数据读取方法、装置、电子设备及存储介质 | |
US20150088696A1 (en) | Dynamic determination of inventory protocol | |
CN107688443A (zh) | 一种数据存储的方法、系统及相关装置 | |
JP6182275B2 (ja) | セッションディザスタ・リカバリのための方法およびシステム | |
WO2017177821A1 (zh) | 一种业务处理方法及装置 | |
US20150317742A1 (en) | Digital Content Insurance and Restoration | |
TWI740885B (zh) | 分布式儲存系統的服務節點切換方法及裝置 | |
CN113485758A (zh) | 微服务发布方法、装置及电子设备、存储介质 | |
TWI757741B (zh) | 安全任務處理方法和電子設備 | |
US11783075B2 (en) | Systems and methods of providing access to secure data | |
WO2020168666A1 (zh) | 一种基于dht网络的数据部署方法、节点设备、数据部署系统及存储介质 | |
WO2022166557A1 (zh) | 基于区块链的仓单处理方法及仓单处理系统 | |
CN109214884B (zh) | 需求撮合方法及装置、电子设备 |