TWI476608B - A distributed computing data merging method, system and device thereof - Google Patents

Description

一種分佈式計算數據合併方法、系統及其裝置

本發明涉及網路通信技術領域，特別是涉及一種分佈式計算數據合併方法、系統及其裝置。

隨著互聯網技術的飛速發展，對於互聯網上存在海量資訊的處理就成為了難題。如果要在單機上處理這些數據量非常龐大的資訊，就需要有很強的處理能力和埠能力，然而一方面這種高性能單機價格不菲，而且這種依靠單機的處理模式也是有限度的。因此人們提出了分佈式計算的概念，利用互聯網上有很多互連電腦的空閒資源來處理互聯網上的海量資訊。

分佈式計算把需要進行大量計算的工程數據分割成小塊，由多台電腦分別計算，在上傳運算結果後再統一合併得出數據結論。因此，分佈式計算的主要可以分為以下幾個部分：1、任務分割：根據每個應用的不同，採用不同的方法將任務進行分割，最終達到的目的是任務盡可能的平均分配，各個任務之間互不相關。2、計算任務：任務分割完成後就被分發給分佈式節點，有各個分佈式節點進行計算，得到各個子任務包的計算結果。3、結果合併：在一台服務機器上，對各個分佈式節點的處理結果進行合併，得到最終的處理結果。

現有的分佈式計算中，針對每個不同的應用處理的方 式都是不同的，每個應用都要用戶自己進行處理，對於分佈式計算中並發處理，容錯，負載均衡等等細節問題都要考慮，因此導致代碼非常複雜。比如說分析用戶訪問網站的訪問路徑，就需要編寫任務分割的代碼、編寫分析訪問路徑代碼、編寫結果合併代碼，並且在這些代碼中都要處理數據的同步、並發問題，容錯、負載問題。如果出現新的應用，則這些過程都要重新進行一遍，並且還要考慮任務分割、結果合併，數據的同步等等問題，增加了用戶的負擔。

本發明要解決的問題是提供一種分佈式計算數據合併方法、系統及其裝置，可以使分佈式計算數據合併只需幾個步驟就能完成，減輕用戶工作量。

為達到上述目的，本發明的實施例的技術方案提出一種分佈式計算數據合併方法，包括以下步驟：根據分佈式計算任務分割的情況設置配置文件；數據合併伺服器將該配置文件導入，並建立與該配置文件對應的數據庫表；各個分佈式節點完成分佈式計算任務後將計算結果資訊插入該數據庫表；該數據合併伺服器將數據庫表中的數據合併。

其中，在該數據合併伺服器將數據庫表中的數據合併之後，還包括以下步驟：將該數據合併結果導出成文件。

其中，該根據分佈式計算任務分割的情況設置配置文 件具體包括：需要合併數據表名、欄位名、數據插入方式和合併方式。

其中，該將數據庫表中的數據合併具體包括：根據該配置文件中的合併方式對數據庫中欄位進行處理。

其中，該根據分佈式計算任務分割的情況設置配置文件具體還包括：記錄最大數量、錯誤處理方式、最大錯誤記錄數和記錄保存方式。

其中，該各個分佈式節點將計算結果資訊插入該數據庫表，具體包括以下步驟：該分佈式節點根據該合併數據表名將計算結果插入該數據庫表。

其中，該計算結果資訊包括：分佈式任務ID，分佈式配置項名稱和計算結果。

其中，該計算結果資訊以ASCII碼分隔。

為達到上述目的，本發明的實施例的技術方案還提出一種分佈式計算數據合併系統，包括至少一個分佈式節點和數據合併伺服器，該數據合併伺服器，用於根據用戶設置的配置文件建立與該配置文件對應的數據庫表，並在各個分佈式節點將計算結果資訊上報後將數據庫表中的數據合併；該分佈式節點，用於在完成分佈式計算任務後將計算結果資訊插入該數據庫表。

其中，該數據合併伺服器包括數據庫表建立模組和數據合併模組，該數據庫表建立模組用於根據用戶設置的配置文件建立與該配置文件對應的數據庫表；該數據合併模組用於在各個分佈式節點將計算結果資訊上報後將數據庫 表中的數據合併。

其中，該數據合併伺服器還包括計算結果統計模組，用於判斷該各個分佈式節點是否全部將計算結果資訊上報。

其中，該數據合併伺服器還包括中間數據儲存模組，用於在數據合併之前儲存數據庫表。

本發明的實施例的技術方案還提出一種數據合併伺服器，包括數據庫表建立模組和數據合併模組，該數據庫表建立模組用於根據用戶設置的配置文件建立與該配置文件對應的數據庫表；該數據合併模組用於在各個分佈式節點將計算結果資訊上報後將數據庫表中的數據合併。

其中，該數據合併伺服器還包括計算結果統計模組，用於判斷該各個分佈式節點是否全部將計算結果資訊上報。

其中，該數據合併伺服器還包括中間數據儲存模組，用於在數據合併之前儲存數據庫表。

通過本發明實施例的技術方案用戶只需要根據介面標準編寫配置文件，系統就會自動進行數據合併，隱藏了分佈式計算中的數據合併細節，減輕了用戶的工作量。

本發明實施例利用數據庫做平台與本發明實施例相結合，封裝了分佈式計算的數據合併的具體細節。用戶只需要根據通過預先定義的標準編寫配置文件，本發明就會自 動進行數據合併，只需要簡單的幾個步驟就能完成以前需要幾百行代碼才能完成的工作。

下面結合附圖和實施例，對本發明的具體實施方式作進一步詳細描述：

如圖1所示，為本發明實施例分佈式計算數據合併系統結構圖。

該分佈式計算數據合併系統包括至少一個分佈式節點2和數據合併伺服器1，數據合併伺服器1用於根據用戶設置的配置文件建立與該配置文件對應的數據庫表，並在各個分佈式節點2將計算結果資訊上報後將數據庫表中的數據合併；分佈式節點2用於在完成分佈式計算任務後將計算結果資訊插入數據合併伺服器1中的數據庫表。

通過該分佈式計算數據合併系統將計算結果合併的過程如下：首先，根據數據合併過程需要用到的方式方法訂立數據合併介面的標準，該標準規範了不同的分佈式計算的應用，用戶使用這個標準就可以通過本發明處理不同的分佈式計算的應用，不需要在各個分佈式應用上重復編寫代碼。用戶根據此標準編寫相應的配置文件，該配置文件根據分佈式計算的任務分割和任務計算步驟的情況設置，包括根據分佈任務分割情況建立數據表名、欄位名、數據插入方式和合併方式；還包括記錄最大數量、錯誤處理方式、最大錯誤記錄數和記錄保存方式；並且可根據需要進行擴充。其中，數據插入方式是指插入數據庫的方式，可採用 直接插入或間接插入；記錄保存方式是指以數據庫方式保存，還是以遠端網路文件或本地磁片文件的方式保存。

數據合併伺服器1讀取設置的配置文件，根據預定的數據合併介面標準分析該配置文件，得到需要合併的數據表名、欄位名、數據插入方式和合併方式及記錄最大數量、錯誤處理方式、最大錯誤記錄數和記錄保存方式等用戶配置的資訊；利用數據合併伺服器1上的數據庫根據這些資訊建立數據庫表，以用戶配置的數據表名命名該數據庫表，並記錄用戶配置的數據合併方式。

各個分佈式節點2在完成分佈式計算任務之後，自動調用本發明提供的介面將計算結果資訊插入該數據庫表中，其中計算結果資訊包括分佈式任務ID，分佈式配置項名稱和計算結果，該計算結果資訊的各個部分採用ASCII碼分隔，例如用\5分隔。

數據合併伺服器1根據記錄的用戶配置的數據合併方式對上述數據庫表進行合併，該合併操作利用數據庫實現；在該合併操作完成後根據用戶的配置文件將最後合併結果導出，以數據庫表的方式、遠端網路文件或本地磁片文件的方式保存。對於數據合併的方式用戶可以選擇數據庫支援的所有合併操作，例如對數據表中的某個欄位分組，對某個欄位進行加合，對某個欄位求最大值等。

其中，數據合併伺服器1包括數據庫表建立模組11和數據合併模組12，數據庫表建立模組11用於根據用戶設置的配置文件建立與該配置文件對應的數據庫表；數據 合併模組12用於在各個分佈式節點2將計算結果資訊上報後將數據庫表中的數據合併。

其中，數據合併伺服器1還包括計算結果統計模組13和中間數據儲存模組14，計算結果統計模組13用於判斷各個分佈式節點2是否全部將計算結果資訊上報；中間數據儲存模組14用於在數據合併之前儲存數據庫表。

如圖2所示，為本發明實施例分佈式計算數據合併方法的流程圖，包括以下步驟：步驟201，根據分佈式計算任務分割的情況設置配置文件，該配置文件根據分佈式計算的任務分割和任務計算步驟的情況設置，包括根據分佈任務分割情況建立數據表名、欄位名、數據插入方式和合併方式；還包括記錄最大數量、錯誤處理方式、最大錯誤記錄數和記錄保存方式；並且該配置文件資訊可根據需要進行擴充。其中，數據插入方式是指插入數據庫的方式，可採用直接插入或間接插入；記錄保存方式是指以數據庫方式保存，還是以遠端網路文件或本地磁片文件的方式保存。

步驟202，數據合併伺服器將該配置文件導入，並建立與該配置文件對應的數據庫表。數據合併伺服器讀取設置的配置文件，根據預定的數據合併介面標準分析該配置文件，得到需要合併的數據表名、欄位名、數據插入方式和合併方式及記錄最大數量、錯誤處理方式、最大錯誤記錄數和記錄保存方式等用戶配置的資訊；利用數據合併伺服器上的數據庫根據這些資訊建立數據庫表，以用戶配置 的數據表名命名該數據庫表，並記錄用戶配置的數據合併方式。

步驟203，各個分佈式節點完成分佈式計算任務後將計算結果資訊插入該數據庫表。各個分佈式節點在完成分佈式計算任務之後，自動調用本發明提供的介面將計算結果資訊插入該數據庫表中，其中計算結果資訊包括分佈式任務ID，分佈式配置項名稱和計算結果，該計算結果資訊的各個部分採用ASCII碼分隔，例如用\5分隔。

步驟204，數據合併伺服器將數據庫表中的數據合併。數據合併伺服器根據記錄的用戶配置的數據合併方式對上述數據庫表進行合併，該合併操作利用數據庫實現；在該合併操作完成後根據用戶的配置文件將最後合併結果導出，以數據庫表的方式、遠端網路文件或本地磁片文件的方式保存。對於數據合併的方式用戶可以選擇數據庫支援的所有合併操作，例如對數據表中的某個欄位分組，對某個欄位進行加合，對某個欄位求最大值等。

如圖3所示，為本發明實施例另一種分佈式計算數據合併方法的流程圖，包括以下步驟：步驟301，根據數據合併過程需要用到的方式方法訂立數據合併介面的標準，該標準規範了不同的分佈式計算的應用，用戶使用這個標準就可以通過本發明處理不同的分佈式計算的應用，不需要在各個分佈式應用上重復編寫代碼。該標準對於本發明實施例的分佈式計算數據合併方法不是必須的，但是通過制定本標準可以使本發明實施例

可以針對所有分佈式計算的應用。

其中，field為欄位是根據分佈式計算數據合併之前的任務分割情況設定的；Limit是指記錄按照從大到小排列後的最大的數量；Maxerror是指插入數據庫中允許的最大錯誤記錄數；Directlad是指插入數據庫的方式，直接還是非直接方式；Globalfile/localfile：是指記錄保存的方式，是以數據庫的方式，還是Globalfile(遠端網路文件)的方式或者localfile(本地磁片文件)的方式。本發明實施例還可以根據用戶的需要，對上述數據合併介面的標準進行擴充。

步驟302，根據分佈式計算任務分割的情況設置配置文件。以下為本實施例中用戶根據自身要求設置的配置文件。

步驟303，數據合併伺服器將該配置文件導入，並建立與該配置文件對應的數據庫表。數據合併伺服器讀取設置的配置文件，根據預定的數據合併介面標準分析該配置文件，得到需要合併的數據表名、欄位名、數據插入方式和合併方式及記錄最大數量、錯誤處理方式、最大錯誤記錄數和記錄保存方式等用戶配置的資訊；利用數據合併伺服器上的數據庫根據這些資訊建立數據庫表，以用戶配置的數據表名命名該數據庫表，並記錄用戶配置的數據合併方式。

根據上述用戶根據自身要求設置的配置文件，我們可以得到以下資訊：上述配置文件中根據任務分割的情況，任務計算的結果應當有8個欄位，分別為profile_id、 report_time、pageview,visits、aver_visit_len、quiq_visitor、visit1_visitor和pageview1_visit；不限制結果數；直接的方式進行數據導入；允許的最大錯誤是1；ANALOG_RES_SUMMARY_DAILY為其數據表名；導出方式為本地磁片文件。根據上述用戶設置的配置文件，Field1_class指出了合併方式，在本例中是以profile_id和report_time的field_class是key，其他欄位的field_class為order，就是指以profile_id和report_time為關鍵字，求這些欄位page_view，visits，aver_visit_len，uniq_visitor，visit1_vistor，pageview1_visit的和。

根據以上資訊，數據合併伺服器調用數據庫，在數據庫上創建包含以上資訊的數據庫表，並將上述合併方式保存。

步驟304，各個分佈式節點完成分佈式計算任務後將計算結果資訊插入該數據庫表。各個分佈式節點在完成分佈式計算任務之後，自動調用本發明提供的介面將計算結果資訊插入該數據庫表中，其中計算結果資訊包括需要插入的數據表名和計算結果等用戶配置資訊，該計算結果資訊的各個部分採用ASCII碼分隔。例如上例中上報的資訊有數據表名ANALOG_RES_SUMMARY_DAILY，以及插入的數據“2\520070214\5100\550\523\524\512\548”，該插入的數據以ASCII碼5分隔，就是指插入的數據為profile_id＝2、report_time＝20070214、pageview＝100、visits＝50、aver_visit_len＝23、quiq_visitor＝24、 visit1_visitor＝12、pageview1_visit＝48。

步驟305，數據合併伺服器將數據庫表中的數據合併。如用戶設定的合併方式為在profile_id和report_time相同的情況下合併pageview、visits、aver_visit_len、quiq_visitor、visit1_visitor、pageview1_visit這六個欄位，數據合併伺服器調用數據庫根據上述合併方式將數據合併，並將合併結果導出成文件在本地磁片文件上保存。

本發明實施例通過數據合併伺服器和分佈式節點對合併數據的自動處理，隱藏了分佈式計算中數據合併的細節，減輕了用戶的工作量。因此用戶不需要去瞭解分佈式計算中數據合併的細節，也不需要針對各個不同的應用方式編寫代碼。通過本發明實施例只需要簡單的幾個步驟就能完成以前需要幾百行代碼才能完成的工作。

以上所述僅是本發明的較佳實施方式，應當指出，對於本技術領域的普通技術人員來說，在不脫離本發明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發明的保護範圍。

1‧‧‧數據合併伺服器

2‧‧‧分佈式節點

11‧‧‧數據庫表建立模組

12‧‧‧數據合併模組

13‧‧‧計算結果統計模組

14‧‧‧中間數據儲存模組

圖1為本發明實施例分佈式計算數據合併系統結構圖；圖2為本發明實施例分佈式計算數據合併方法的流程圖；圖3為本發明實施例另一種分佈式計算數據合併方法 的流程圖。

1‧‧‧數據合併伺服器

2‧‧‧分佈式節點

11‧‧‧數據庫表建立模組

12‧‧‧數據合併模組

13‧‧‧計算結果統計模組

14‧‧‧中間數據儲存模組

Claims (14)

1. 一種分佈式計算數據合併方法，其特徵在於，該方法包括以下步驟：根據分佈式計算任務分割的情況設置配置文件，該配置文件包括：需要合併數據表名、欄位名、數據插入方式和合併方式；數據合併伺服器藉由讀取該設置的配置文件將該配置文件導入，根據預定的數據合併介面標準分析該配置文件，得到用戶配置的資訊並根據該用戶配置的資訊，該標準規範了不同的分佈式計算的應用；該數據合併伺服器根據該用戶配置的資訊建立與該配置文件對應的數據庫表；各個分佈式節點完成分佈式計算任務後根據該數據插入方式將計算結果資訊插入該數據庫表；該數據合併伺服器根據該合併方式將數據庫表中的數據合併，其中，該合併方式包括以下至少其中一者：對數據庫表中的欄位分組；對數據庫表中的欄位進行加合；以及對數據庫表中的欄位求最大值。
2. 如申請專利範圍第1項所述之分佈式計算數據合併方法，其中，在該數據合併伺服器將數據庫表中的數據合併之後，還包括以下步驟：將該數據合併結果導出成文件。
3. 如申請專利範圍第2項所述之分佈式計算數據合併方法，其中，該將數據庫表中的數據合併具體包括：根據該配置文件中的合併方式對數據庫中欄位進行處理。
4. 如申請專利範圍第2項所述之分佈式計算數據合併方法，其中，該根據分佈式計算任務分割的情況設置配置文件具體還包括：記錄最大數量、錯誤處理方式、最大錯誤記錄數和記錄保存方式。
5. 如申請專利範圍第2項所述之分佈式計算數據合併方法，其中，該各個分佈式節點將計算結果資訊插入該數據庫表，具體包括以下步驟：該分佈式節點根據該合併數據表名將計算結果插入該數據庫表。
6. 如申請專利範圍第1項所述之分佈式計算數據合併方法，其中，該計算結果資訊包括：分佈式任務ID，分佈式配置項名稱和計算結果。
7. 如申請專利範圍第6項所述之分佈式計算數據合併方法，其中，該計算結果資訊以ASCII碼分隔。
8. 一種分佈式計算數據合併系統，其特徵在於，包括至少一個分佈式節點和數據合併伺服器，該數據合併伺服器，用於：藉由讀取設置的配置文件將該配置文件導入，根據預定的數據合併介面標準分析該配置文件，得到用戶的配置資訊，該標準規範了不同的分佈式計算的應用，該配置文件包括：需要合併數據表名、欄位名、 數據插入方式和合併方式；根據該用戶配置的資訊建立與該配置文件對應的數據庫表；以及在各個分佈式節點將計算結果資訊上報後，根據該合併方式將數據庫表中的數據合併；以及該分佈式節點，用於在完成分佈式計算任務後根據該數據插入方式將計算結果資訊插入該數據庫表，其中，該合併方式包括以下至少其中一者：對數據庫表中的欄位分組；對數據庫表中的欄位進行加合；以及對數據庫表中的欄位求最大值。
9. 如申請專利範圍第8項所述之分佈式計算數據合併系統，其中，該數據合併伺服器包括數據庫表建立模組和數據合併模組，該數據庫表建立模組用於根據用戶設置的配置文件建立與該配置文件對應的數據庫表；該數據合併模組用於在各個分佈式節點將計算結果資訊上報後將數據庫表中的數據合併。
10. 如申請專利範圍第9項所述之分佈式計算數據合併系統，其中，該數據合併伺服器還包括計算結果統計模組，用於判斷該各個分佈式節點是否全部將計算結果資訊上報。
11. 如申請專利範圍第9項所述之分佈式計算數據合併系統，其中，該數據合併伺服器還包括中間數據儲存模 組，用於在數據合併之前儲存數據庫表。
12. 一種數據合併伺服器，其特徵在於，包括數據庫表建立模組和數據合併模組，該數據庫表建立模組用於根據用戶設置的配置文件建立與該配置文件對應的數據庫表，該配置文件包括：需要合併數據表名、欄位名、數據插入方式和合併方式；該數據合併模組用於在各個分佈式節點將計算結果資訊上報後將數據庫表中的數據合併，其中，該合併方式包括以下至少其中一者：對數據庫表中的欄位分組；對數據庫表中的欄位進行加合；以及對數據庫表中的欄位求最大值。
13. 如申請專利範圍第12項所述之數據合併伺服器，其中，還包括計算結果統計模組，用於判斷該各個分佈式節點是否全部將計算結果資訊上報。
14. 如申請專利範圍第12項所述之數據合併伺服器，其中，還包括中間數據儲存模組，用於在數據合併之前儲存數據庫表。