TWI529544B - Data flow method and device - Google Patents

Description

資料回流的方法和裝置

本案涉及資料庫技術領域，尤其涉及一種資料回流的方法和裝置。

資料庫是一個主題導向、整合、不可更新的、隨時間不斷變化的資料集合，它用於支援企業或組織的決策分析處理。

生產系統的正常運行需要資料庫的支援。資料回流就是指將資料庫的計算結果表中的資料導入生產系統資料庫的對應表的過程。隨著生產系統複雜度和生產率的大幅提高，生產系統自身的資料庫的負載越來越繁重。為了緩解生產系統自身資料庫的壓力，現有技術中在生產系統自身的資料庫中採取了將原本位於一個資料庫中的一個大表按照特定的規則劃分到多台廉價主機上的多個獨立資料庫中的多個小表裏。顯然，透過這種方式降低了對生產系統自身資料庫單機的硬體要求和機器負載，但是因為生產系統中的資料庫中的資料儲存模式發生了從一到多的變化，必然導致資料從資料庫回流到生產系統資料庫的方式發生相應的變化。這是因為，原本資料主要是從資料庫系統的一個表回流到生產資料庫的一個表中即可，現在因為生產系統資料庫已經從一個大表變成了多個小表，這就需要將資料庫的一個表中的資料回流到生產系統中的多個分表中。

例如，當某個資料庫表對應的生產系統的資料庫分表個數非常多的時候(例如有的大表會分成1024個分表)，現有的資料回流方法是，針對每一個生產系統資料庫的分表都在資料庫裏建一個對應的分表，然後將資料從資料庫的分表同步到生產系統資料庫對應的分表中。

發明人透過研究發現，現有的資料回流方法會導致資料庫的表數量暴漲，從而使資料庫中表的維護數量和難度就大大提高，而且在資料庫裏將一個表的資料分佈到多個分表的過程非常繁雜，極易出錯，會導致表的資料計算和回流時間變長，成為回流的瓶頸，嚴重的可能會導致回流時間非常長。如果回流資料的時間被延遲到生產系統資料庫負載高峰期的時段，還將影響到生產系統的穩定。

有鑒於此，本案實施例的目的是提供一種資料回流的方法和裝置，實現快速、高效的資料回流。

為實現上述目的，本案實施例提供了如下技術方案：一種資料回流的方法，包括：將待回流資料從資料庫擷取到記憶體中；根據待回流資料的回流規則確定所擷取的每個待回流資料在生產系統中的目的表；按照所確定的每個待回流資料在生產系統中的目的表將待回流資料進行發送。

將待回流資料從資料庫擷取到記憶體中具體為：透過多個執行緒同時將待回流資料從資料庫擷取到記憶體中。

按照所確定的每個待回流資料在生產系統中的目的表將待回流資料進行發送具體為：將所有的待回流資料按照在生產系統中的目的表進行分組；透過多個執行緒將待回流資料按該分組進行發送，其中每個執行緒中每個分組中的待回流資料都被發送至生產系統中的同一個目的表。

該資料回流規則根據該生產系統中的目的表的數目以及該待回流資料的屬性確定。

該待回流資料的屬性包括：該待回流資料的中數位位元的數值或者該待回流資料某個字串類型欄位某一位元或者幾位的值。

一種資料回流的裝置，包括：擷取單元，用於將待回流資料從資料庫擷取到記憶體中；確定單元，用於根據待回流資料的回流規則確定所擷取的每個待回流資料在生產系統中的目的表；分發單元，用於按照所確定的每個待回流資料在生產系統中的目的表將待回流資料進行發送。

該擷取單元，具體透過多個執行緒同時將待回流資料從資料庫擷取到記憶體中。

該分發單元包括：分組子單元，用於將所有的待回流資料按照在生產系統中的目的表進行分組；發送子單元，用於透過多個執行緒將待回流資料按該分組進行發送，其中每個執行緒中每個分組中的待回流資料都被發送至生產系統中的同一個目的表。

該資料回流規則根據該生產系統中的目的表的數目以及該待回流資料的屬性確定。

該待回流資料的屬性包括：該待回流資料的中數位位元的數值或者該待回流資料某個字串類型欄位某一位元或者幾位的值。

可見，在本案實施例中，將待回流資料從資料庫擷取到記憶體中；根據資料回流規則確定所擷取的每個待回流資料在生產系統中的目的表；按照所確定的每個待回流資料在生產系統中的目的表將待回流資料進行發送。本案實施例有效解決了回流過程中資料庫大表中的資料回流到多個生產系統中小表的問題。本案實施例所提供的方法使得資料回流過程中，資料庫表只需要將待回流資料準備好即可，避免了現有技術中將資料庫的一個大表分成與生產系統對應的多個小表的冗餘操作，極大的提高了回流的配置效率，也極大的降低了回流耗費的時間。

為了使本技術領域的人員更好地理解本案中的技術方案，下面將結合本案實施例中的附圖，對本案實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本案一部分實施例，而不是全部的實施例。基於本案中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都應當屬於本案保護的範圍。

請參考圖1，為本案實施例一方法流程圖，可以包括以下步驟：

S101，將待回流資料從資料庫擷取到記憶體中；而本案實施例中，首先將待回流的資料從資料庫擷取到記憶體中。

實際應用中，將待回流資料從資料庫擷取到記憶體時，可以透過多個執行緒同時進行，例如透過10個執行緒從資料庫中同時擷取待回流資料到記憶體中。這樣可以提高資料擷取的速率。將待回流資料擷取到記憶體中可以一次將資料庫中的所有資料均擷取到記憶體中，也可以分批擷取，當處理完當前批次的待回流資料後再處理下一批次的待回流資料，這樣可以提高處理的效率。

S102，根據資料回流規則確定所擷取的每個待回流資料在生產系統中的目的表；

資料回流規則規定了資料庫中的資料具體回流到生產系統中的哪個目的表，資料回流規則可以根據生產系統中目的表的數目以及待回流資料的屬性確定。例如可以根據待回流資料的某數位欄位的值除以生成系統中目的表的資料得到的餘數來確定；或者根據待回流資料某個字串類型欄位某幾位元的值來確定；或者透過對行資料中一列或多列的值進行特殊的函數變化後的結果來確定。

資料庫中的每個待回流的資料在生產系統中都有目的表，即一個待回流資料要被送往的生產系統中的資料庫中的具體的表。一個待回流資料可能只有一個目的表，也可能有多個目的表。

透過S102就確定了每個待回流資料在生產系統中的目的表，就相當於給所有的待回流資料打上了標籤。

S103，按照所確定的每個待回流資料在生產系統中的目的表將待回流資料進行發送。

如前該，透過S102，已經為待回流資料都打好了標籤，此時，就是根據每個待回流資料的標籤將它們從記憶體中分別進行發送，發送到它們在生產系統中的目的表中去。實際應用中可以分批將待回流資料擷取到記憶體中，當確定了該批次中的每個待回流資料在生產系統中的目的表後，將該批次待回流資料從記憶體發送到相應的目的表中，透過這種方式可以提高資料回流的效率。

可選地，為了提高資料的發送效率，仍然可以透過多個執行緒對待回流的資料進行同時發送。

進一步地，可以透過如下方式進行：首先，按照待回流資料在生產系統中的目的表對所有的待回流資料進行分組。

例如，現在有100個待回流資料，透過S102之後，確定它們在生產系統中共有15個目的表，編號分別為001~015，那麼就將目的表為001的待回流資料歸為001組，將目的表為002的待回流資料歸為002組，依次類推，直至將目的表為015的資料歸為015組。

然後，透過多個執行緒將待回流資料進行發送，其中每個執行緒中每個分組的待回流資料都被發送至生產系統中的同一個目的表。

仍然以上面的情況為例，例如可以透過一個5個執行緒同時發送上述100個待回流資料，分三批次發送，每個批次發送5個組的資料，例如001~005組的待回流資料作為第一個批次進行發送。其中執行緒1可以用來發送001組的待回流資料，這組資料的目的表都是編號為001的生產系統中的目的表。依此類推，執行緒5可以用來發送005組的待回流資料，這組資料的目的表都是編號為005的生產系統中的目的表。

當然，每個組的待回流資料的資料流程可能是不等的，那麼可能有的執行緒的資料發送的快，有的發送的慢，應用中可以根據實際情況對每個執行緒發送的組次進行調節，例如可以將資料最多的組與資料最少的組放在同一個執行緒中發送，這樣從整體上使各個執行緒發送的資料量達到平衡，最終實現在最短的時間內將所有的待發送資料發送完。

現有的生產系統的資料庫將一個邏輯表資料分佈到多個物理表中，這使得資料庫中資料的回流面臨了極大的挑戰，現有的方法是在資料庫建立與生產系統中對應的多個物理表，即針對生產系統中每一個分表在資料庫中建立對應表，首先將資料庫中大表的資料分別插入到多個分表裏，然後將資料庫中分表中的資料回流到生產系統中對應的生產分表裏，這導致在初始化的時候要在資料庫產生大量的分表和配置工作，配置規則和數量異常龐大，也導致了整體回流時間的延長和複雜度的提高，從而嚴重的影響了將資料庫中的資料同步到生產系統中的效率和簡便性。

本案實施例有效解決了回流過程中資料庫大表中的資料回流到多個生產系統中小表的問題。本案實施例所提供的方法使得資料回流過程中，資料庫表只需要將待回流資料準備好即可，避免了現有技術中將資料庫的一個大表分成與生產系統對應的多個小表的冗餘操作，極大的提高了回流的配置效率，也極大的降低了回流耗費的時間。

下面以一個網路中的應用為例對本案實施例所提供的方法進行進一步的說明。

例如現在要統計電子商務網站上某個用戶在近期可能感興趣的商品，參見圖2，對統計結果進行資料分流操作具體包括：

S201，將用戶感興趣的商品放到推薦商品表裏，並在資料庫中生成一個結果表recommend_item_list。

結果表的結構可以參見表1。

從表1中可以看出，結果表包括用戶ID以及用戶所感興趣的商品的ID。

S202，從資料庫中將待回流的結果表中的資料擷取到記憶體中。

本案實施例中，為了提高資料擷取速度，透過10執行緒同時從資料庫的結果表中擷取資料。

當採用多執行緒從資料庫中擷取資料時，為了避免資料被重複擷取，可以預先設定每個執行緒的資料擷取範圍，這樣多個執行緒分工協作，就能夠高效地實現待回流資料的擷取工作。

S203，根據用戶的數位ID與1024相除得到的餘數(處理函數為用戶數位ID與1024相除得到的餘數)進行分表,不同的餘數分到不同的目的表中。如果ID是字串，則可以對字串進行函數處理，將待回流資料對應到目的表中。例如如果目的表為24個，則可以根據字串的第一位的字母將待回流資料與24個目的表進行對應。

本案實施例中，生產系統中存在1024張表，編號為recommend_item_list_0001~recommend_item_list_1024,結構與資料庫中的結果表相同。

本案實施例中採用的回流規則為根據用戶的數位ID與1024相除得到的餘數進行分表的。實際上，當分流完成後，每個目的表中的資料內容僅是資料庫中結果表資料的一個子集，是根據用戶的數位ID與1024相除得到的餘數進行分表的，不同的餘數分到不同的目的表中。

S204，按照待回流資料在生產系統中的目的表將所有的待回流資料分成1024個組。

S205，透過16個執行緒將待回流資料進行發送，其中每個執行緒中每個分組的待回流資料都被發送至生產系統中的同一個目的表。

在本案實施例中，待回流資料被分成1024個組，每個組中的資料都有相同的目的表。為了提高待回流資料的回流速度，本案實施例透過16個執行緒來同時發送待回流的資料。每個執行緒發送64組待回流資料。

具體的執行緒數和每個執行緒發送的待回流資料的分組個數可以根據實際設備的情況確定，本案對此不做限定。

現有技術在進行資料回流時會根據生產系統的要求在資料庫中生成對應的1024張表，對表結構的變更可能導致表的資料計算和回流時間變長，成為回流的瓶頸，嚴重的可能會導致回流時間非常長。如果回流資料的時間被延遲到生產系統資料庫負載高峰期的時段，還將影響到生產系統的穩定，本案實施例所提供的方法只需要在資料庫中生成一個結果表即可，然後確定每個待回流資料的目的表，根據待回流資料的目的表發送資料，避免了在資料庫中建立眾多分表的過程，從而保存了資料庫原有的資料結構，從而避免了因為對資料庫結構的改變而可能導致的表的資料計算和回流時間變長，回流時間非常長，甚至影響到生產系統的穩定的問題，極大地縮短了資料回流的時間，提高了資料回流的效率。

參見圖3，本案實施例還提供一種資料回流的裝置，包括：擷取單元301，用於將待回流資料從資料庫擷取到記憶體中；確定單元302，用於根據待回流資料的回流規則確定所擷取的每個待回流資料在生產系統中的目的表；資料回流規則可以根據生產系統中的目的表的數目以及該待回流資料的屬性確定。待回流資料的屬性包括：該待回流資料的中數位位元的數值或者該待回流資料某個字串類型欄位某一位元或者幾位的值。

例如，本案一實施例中的資料規則就根據目的表數目以及待回流資料的數位位元的資料值確定。

分發單元303，用於按照所確定的每個待回流資料在生產系統中的目的表將待回流資料進行發送。

實際應用中，為了提高本案實施例所提供的進行資料回流操作的效率，該擷取單元301具體透過多個執行緒同時將待回流資料從資料庫擷取到記憶體中。

參見圖4，本案另一實施例中，該分發單元303包括：分組子單元401，用於將所有的待回流資料按照在生產系統中的目的表進行分組；發送子單元402，用於透過多個執行緒將待回流資料進行發送，其中每個執行緒中的待回流資料都被發送至生產系統中的同一個目的表。

例如，現在有100個待回流資料，透過確定單元302確定了每個待回流資料的目的表首先透過分組子單元401對它們進行分組，假設確定單元302確定它們在生產系統中共有15個目的表，編號分別為001~015，則分組子單元401就將目的表為001的待回流資料歸為001組，將目的表為002的待回流資料歸為002組，依次類推，直至將目的表為015的資料歸為015組。發送子單元透過一個5個執行緒同時發送上述100個待回流資料，分三批次發送，每個批次5各組，例如001~005組的待回流資料作為第一個批次進行發送。其中執行緒1可以用來發送001組的待回流資料，這組資料的目的表都是編號為001的生產系統中的目的表。依此類推，執行緒5可以用來發送005組的待回流資料，這組資料的目的表都是編號為005的生產系統中的目的表。

當然，每個組的待回流資料的資料流程可能是不等的，那麼可能有的執行緒的資料發送的快，有點發送的慢，實際應用中發送子單元可以根據實際情況對每個執行緒發送的組次進行調節，例如可以將資料最多的組與資料最少的組放在同一個執行緒中發送，這樣從整體上使各個執行緒發送的資料量達到平衡，最終實現在最短的時間內將所有的待發送資料發送完。

本案實施例所提供的裝置避免了在資料庫中建立眾多分表的過程，保存了資料庫原有的資料結構，從而避免了因為對資料庫結構的改變而可能導致的表的資料計算和回流時間變長，回流時間非常長，甚至影響到生產系統的穩定的問題，極大地縮短了資料回流的時間，提高了資料回流的效率。有效解決了回流過程中資料庫大表中的資料回流到多個生產系統中小表的問題。

為了描述的方便，描述以上裝置時以功能分為各種單元分別描述。當然，在實施本案時可以把各單元的功能在同一個或多個軟體和/或硬體中實現。

透過以上的實施方式的描述可知，本領域的技術人員可以清楚地瞭解到本案可借助軟體加必需的通用硬體平臺的方式來實現。基於這樣的理解，本案的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品可以儲存在儲存媒體中，如ROM/RAM、磁碟、光碟等，包括若干指令用以使得一台電腦設備(可以是個人電腦，伺服器，或者網路設備等)執行本案各個實施例或者實施例的某些部分該的方法。

本說明書中的各個實施例均採用遞進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於系統實施例而言，由於其基本相似於方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。

本案可用於眾多通用或專用的計算系統環境或配置中。例如：個人電腦、伺服器電腦、手持設備或可攜式設備、平板型設備、多處理器系統、基於微處理器的系統、置頂盒、可編程的消費電子設備、網路PC、小型電腦、大型電腦、包括以上任何系統或設備的分散式計算環境等等。

本案可以在由電腦執行的電腦可執行指令的一般上下文中描述，例如程式模組。一般地，程式模組包括執行特定任務或實現特定抽象資料類型的常式、程式、物件、元件、資料結構等等。也可以在分散式計算環境中實踐本案，在這些分散式計算環境中，由透過通信網路而被連接的遠端處理設備來執行任務。在分散式計算環境中，程式模組可以位於包括儲存設備在內的本地和遠端電腦儲存媒體中。

雖然透過實施例描繪了本案，本領域普通技術人員知道，本案有許多變形和變化而不脫離本案的精神，希望所附的申請專利範圍包括這些變形和變化而不脫離本案的精神。

301．．．擷取單元

302．．．確定單元

303．．．分發單元

401．．．分組子單元

402．．．發送子單元

為了更清楚地說明本案實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本案中記載的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為本案一實施例所提供的方法流程圖；

圖2為本案另一實施例所提供的方法流程圖；

圖3為本案一實施例所提供的裝置的結構示意圖；

圖4為本案一實施例提供的裝置中一單元的結構示意圖。

Claims (8)

1. 一種資料回流的方法，其特徵在於，包括：將待回流資料從資料庫擷取到記憶體中；根據待回流資料的回流規則確定所擷取的每個待回流資料在生產系統中的目的表，該目的表為一個待回流資料要被送往的生產系統中的資料庫中的具體的表，該資料的回流規則規定了資料庫中的資料具體回流到生產系統中的哪個目的表，根據該生產系統中的目的表的數目以及該待回流資料的屬性確定；及按照所確定的每個待回流資料在生產系統中的目的表將待回流資料進行發送，其中，按照所確定的每個待回流資料在生產系統中的目的表將待回流資料進行發送具體為：將所有的待回流資料按照在生產系統中的目的表進行分組；及透過多個執行緒將待回流資料按該分組進行發送，其中每個執行緒中每個分組中的待回流資料都被發送至生產系統中的同一個目的表。
2. 根據申請專利範圍第1項所述的方法，其中，將待回流資料從資料庫擷取到記憶體中具體為：透過多個執行緒同時將待回流資料從資料庫擷取到記憶體中。
3. 根據申請專利範圍第1項所述的方法，其中，該資料回流規則根據該生產系統中的目的表的數目以及該待 回流資料的屬性確定。
4. 根據申請專利範圍第1項所述的方法，其中，該待回流資料的屬性包括：該待回流資料的中數位位元的數值或者該待回流資料某個字串類型欄位某一位元或者幾位的值。
5. 一種資料回流的裝置，其特徵在於，包括：擷取單元，用於將待回流資料從資料庫擷取到記憶體中；確定單元，用於根據待回流資料的回流規則確定所擷取的每個待回流資料在生產系統中的目的表，該目的表為一個待回流資料要被送往的生產系統中的資料庫中的具體的表，該資料的回流規則規定了資料庫中的資料具體回流到生產系統中的哪個目的表，根據該生產系統中的目的表的數目以及該待回流資料的屬性確定；及分發單元，用於按照所確定的每個待回流資料在生產系統中的目的表將待回流資料進行發送，包括：分組子單元，用於將所有的待回流資料按照在生產系統中的目的表進行分組；及發送子單元，用於透過多個執行緒將待回流資料按該分組進行發送，其中每個執行緒中每個分組中的待回流資料都被發送至生產系統中的同一個目的表。
6. 根據申請專利範圍第5項所述的裝置，其中，該擷取單元，具體透過多個執行緒同時將待回流資料從資料庫擷取到記憶體中。
7. 根據申請專利範圍第5項所述的裝置，其中，該資料回流規則根據該生產系統中的目的表的數目以及該待回流資料的屬性確定。
8. 根據申請專利範圍第7項所述的裝置，其中，該待回流資料的屬性包括：該待回流資料的中數位位元的數值或者該待回流資料某個字串類型欄位某一位元或者幾位的值。