TW201322022A - 分散式資料流處理方法及其系統 - Google Patents

Abstract

本申請提供了一種分散式資料流處理方法，該方法包括：將原始資料流分割成即時資料流和歷史資料流；並行處理該即時資料流和該歷史資料流，並分別產生各自的處理結果；以及將所產生的處理結果進行整合。本申請還提供了一種分散式資料流處理裝置，該裝置包括：資料識別模組，用於將原始資料流分割成即時資料流和歷史資料流；並行處理模組，用於並行處理該即時資料流和該歷史資料流，並分別產生各自的處理結果；以及資料整合模組，用於將所產生的處理結果進行整合。本申請使得大資料量的即時計算成為可能，即時資料流的運算能夠最大限度地以分散式並行處理，同時保證了大資料量處理和高即時性，提高了系統的反應速度。

Description

分散式資料流處理方法及其系統

本申請係關於分散式資料處理，尤其關於一種用於處理大資料量的分散式資料流處理方法及其系統。

目前，資料流處理成為資料探勘、資料分析的主要方式。例如，網站日誌就是一個大資料量的資料流。再例如，電子商務網站中不斷增加的商品發佈資訊，不斷增加的手機簡訊發送記錄等等。這樣的資料流具有如下特點：(1)數據量大；(2)每條資訊中，具有要分析特徵的ID(識別字)；(3)具有時間屬性，即時序性。

資料流分析通常要求即時、快速，使得系統能夠根據具體用戶當前行為做出即時回應。例如，日誌的即時分析可以把握用戶的當前狀態，最近的訪問行為，可以有效地提高推薦的精準度，或即時地反作弊。而如何快速分析資料流，尤其是在資料量很大的情況下，滿足即時要求一直是技術上的難點。

通常，現有的分散式資料流處理系統的基本原理如圖1所示，原始資料流S被分配給多個功能模組F。多個功能模組F同時進行處理，並將處理後的結果都發送給資料整合模組I，由資料整合模組I進行整合並輸出整合後的資料。然而在現有的分散式資料流處理系統中存在如下缺陷：

(1)對資料流進行處理時，當資料量非常大的時候，資料處理、資料分析變得十分耗時。而現有的分散式資料流處理系統一般採用共用儲存模式，即，不同模組之間，尤其是上下游模組之間交互資料的方式是模組A的結果放到儲存(資料庫，文件等)中，然後模組B到儲存中讀取資料，由此實現模組A和模組B的資料交互，這種模式不能即時計算，只能做到準即時。也就是說，當速度成為瓶頸，大部分現有的處理技術不能滿足即時資料流的增長速度，資料延遲比較大，使得資料分析只能離線進行，導致資料分析、資料探勘延遲，不能對用戶的當前或近期行為做出反應。

(2)對於大資料量的處理，分散式平行計算已經成為趨勢。而現有的平行計算系統，基本上都僅限於功能複製的架構，即，系統實現平行計算的方法是所有的運算模組是同樣的功能，運行同樣的程式，只是運算資料的不同部分，以此達到平行計算的目的，因此無法實現更細粒度的並行，也無法實現模組化和模組的熱插拔，並且不利於維護。

本申請提供了一種分散式資料流處理方法，該方法包括：將原始資料流分割成即時資料流和歷史資料流；並行處理該即時資料流和該歷史資料流，並分別產生各自的處理結果；以及將所產生的處理結果進行整合。

較佳地，在處理該即時資料流的步驟中，對該即時資料流按維度切分並進行並行處理。

較佳地，處理該即時資料流的步驟包括：將該即時資料流切分成多個資料塊；並行地將該多個資料塊的每一個切分成多個資料單元，然後將該多個資料單元分別發送給多個不同的功能模組進行並行處理；以及將並行處理的結果進行匯總。

較佳地，在處理該歷史資料流的步驟中，對該歷史資料流按維度切分並進行並行處理。

本申請還提供了一種分散式資料流處理裝置，該裝置包括：資料識別模組，用於將原始資料流分割成即時資料流和歷史資料流；並行處理模組，用於並行處理該即時資料流和該歷史資料流，並分別產生各自的處理結果；以及資料整合模組，用於將所產生的處理結果進行整合。

較佳地，該並行處理模組在處理該即時資料流時，對該即時資料流按維度切分並進行並行處理。

較佳地，處理該即時資料處理系統包括：橫向切分模組，用於將該即時資料流切分成多個資料塊；多個縱向切分模組，用於並行地將該多個資料塊的每一個切分成多個資料單元，然後將該多個資料單元分別發送給多個不同的功能模組進行並行處理；以及結果匯總模組，用於將並行處理的結果進行匯總。

較佳地，該並行處理模組在處理該歷史資料流時，對該歷史資料流按維度切分並進行並行處理。

根據本申請的分散式資料流處理方法，透過按時序性和按維度對資料流進行多次分割和切分，即利用時序性，採用多層結構，對資料分時段處理，使用新的分散式架構，利用不同維度，對資訊流進行縱向切分。使得大資料量的即時計算成為可能。即時資料流的運算能夠最大限度地以分散式並行處理，同時保證了大資料量處理和高即時性，提高了系統的反應速度。

下面將結合圖2至圖5詳細描述本申請的上述精神和實質。

雖然下面以網站日誌資料流為例來描述本申請的系統和方法的實施方式，可以理解，本申請也可以用來處理個性化推薦、即時反作弊、商品發佈、手機簡訊發送、科學計算等系統的資料流。

以網站日誌資料流為例，圖2示例性示出了本申請的大資料量分散式資料流處理系統的一個實施例的示意圖。

圖2中的大資料量分散式資料流處理系統包括：資料識別模組10；30天以前資料處理系統20；即時資料處理系統30；30天以內資料處理系統40；以及資料整合模組50。可以理解，這些模組可以由一台電腦或類似的具有計算或處理能力的設備、或多台這樣的設備形成的網路、或這樣的設備的一部分硬體或軟體來實現。

圖3示例性示出了與圖2中的大資料量分散式資料流 處理系統相對應的本申請的大資料量分散式資料流處理方法的流程圖。下面結合圖2和圖3來描述本申請的一個實施例。

在步驟S100，獲取原始資料流100。

在步驟S101，原始資料流100被資料識別模組10獲取後，資料識別模組10識別原始資料流100中的資料是即時資料、還是30天以內的資料、或是30天以前的資料，從而將原始資料流100按時序性分割成30天以前資料流200、即時資料流300以及30天以內資料流400。30天以前資料流200被發送至30天以前資料處理系統20，即時資料流300被發送至即時資料處理系統30，以及30天以內資料流400被發送至30天以內資料處理系統40。

在步驟S102，30天以前資料處理系統20進行30天以前資料處理，將處理結果發送到資料整合模組50。在步驟S103，即時資料處理系統30進行即時資料處理，將處理結果發送到資料整合模組50。在步驟S104，30天以內資料處理系統40進行30天以內資料處理，將處理結果發送到資料整合模組50。步驟S102、步驟S103和步驟S104並行執行。

在步驟S105，資料整合模組50將接收到的處理結果進行整合，並輸出整合後的資料。

可以理解，儘管在這裏，原始資料流100被資料識別模組10分割成30天以前資料流200、即時資料流300以及30天以內資料流400這樣的由三個時間限度區分的不 同部分，本領域技術人員能夠根據實際情況以其他時間限度來分割原始資料流100。例如，將原始資料流100分割成更少或更多的時間段(相應地，大資料量分散式資料流處理系統包含更少或更多的資料處理系統)，或採用不同於30天的時間限度，或根據實際需求來定義將被看作是“即時”的時間範圍。

透過上面的實施例可以看到，本申請的大資料量分散式資料流處理方法基本上分為按時序性分割、資料處理、資料整合這樣的三個階段。

在按時序性分割階段，由於系統日誌是時刻添加的，因此，首先由資料識別模組10將即時資料流300分發到即時處理系統30；對於歷史資料(例如30天以前資料流200以及30天以內資料流400)，由於它們已經儲存為文件，所以發送到歷史文件處理系統(例如30天以前資料處理系統20以及30天以內資料處理系統40)。

在資料處理階段，歷史處理系統和即時處理系統並行地處理不同時段的資料。

在資料整合階段，不同時段的資料並行處理完畢後的結果都被發送到資料整合模組50，這些結果被整合後，就可以輸出，以對外提供服務。

在本實施例中，按時序性對系統和資料進行分割，非常有利於處理具有時序性的大資料量的資料流，這是本申請處理海量資料的一個基礎。

設想資料流的每條資訊都有時間戳的，則從最開始的 資料到現在的資料(仍然在增長中)，就是全量的資料流了。把某時間點定為分隔點的話，則可以把這全量的(或者說全部的)資料分為歷史資料和即時資料。對於全量的資料流，我們可以分析出，一定時段前的歷史資料，在某個時間點前已經存在。例如一天前的資料是不需要即時計算的，所以可以離線計算，只需要將其計算結果和其他模組(例如即時處理模組)的結果整合即可。

按歷史資料和即時計算分別處理，對歷史資料離線計算，可以極大地減輕即時計算的壓力。使即時資料能夠被更快地計算。同時，歷史資料可以得到更精細的計算。

本申請按時序性分割資料，使不同時段的資料處理可以並行進行，從而保證了即時資料的高回應性能。

為了進一步提高即時資料處理系統的性能，本申請還提出了將資料的資訊單元(即資料塊)按維度(在本申請中，“維度”一詞用來區分不同屬性或類型的資料，即不同維度的資料由不同類型功能模組來處理)進一步切分到各個功能模組(即不同類型的功能模組)。下面將以即時資料處理系統30為例來進行說明。

圖4示例性示出了圖2中的即時處理系統30的一個實施例的示意圖。

如圖4所示，即時處理系統30包括：一個橫向(在本申請中，“橫向”一詞僅是為了便於標識這一層次的切分，而非方向上的概念)切分模組400；多個(N個)縱向(在本申請中，“縱向”一詞僅是為了便於標識這一層 次的切分，而非方向上的概念)切分模組500；多個(N個)功能模組群組600，其中每個功能模組群組600包含多個(M個)功能模組；以及結果匯總模組700。

圖5示例性示出了與圖4中的即時處理系統30相對應的本申請的即時處理方法的流程圖。下面結合圖4和圖5來描述本申請的即時處理系統的一個實施例。

在步驟S200，獲取即時資料流300。

在步驟S201，橫向切分模組800將獲取的即時資料流300切分成多個資料塊(1、2、3...N...)，(這一步驟中的切分即所謂的橫向切分)，並將所切分的資料塊分別發送給多個(N個)縱向切分模組500。如圖4所示，將第1個資料塊發送給第1個縱向切分模組500，將第2個資料塊發送給第2個縱向切分模組500，以此類推，將第N個資料塊發送給第N個縱向切分模組500。可以理解，考慮到資料流雖然是無限的，但卻是流動的，而多個(N個)縱向切分模組500中的每一個在處理完一個資料塊後可以被重複使用，因此，縱向切分模組500的數量設置可以視資料流的流量大小而定。

在步驟S202，每個縱向切分模組500將所接收的一個資料塊切分成多個(視實際情況，可多至M個)資料單元(這一步驟中的切分即所謂的按維度縱向切分)，並將所切分的多個資料單元分別發送給一個功能模組群組600中的多個(相應於資料單元的數量，多至M個)不同的功能模組。

如圖4中所示，第1個縱向切分模組500將資料塊1切分成M個資料單元，並將第1個資料單元發送至第1個功能模組群組600的第1個功能模組，將第2個資料單元發送至第1個功能模組群組600的第2個功能模組，以此類推，將第M個資料單元發送至第1個功能模組群組600的第M個功能模組。

以此類推，如果即時資料流300的資料流量足夠大，第2個縱向切分模組500將資料塊2切分成M個資料單元，並將第1個資料單元發送至第2個功能模組群組600的第1個功能模組，將第2個資料單元發送至第2個功能模組群組600的第2個功能模組，以此類推，將第M個資料單元發送至第2個功能模組群組600的第M個功能模組。

以此類推，如果即時資料流300的資料流量足夠大，可以存在更多的資料塊、縱向切分模組500、功能模組群組600、以及功能模組。可以理解，縱向切分模組500、功能模組群組600、以及功能模組群組600中的功能模組的數量設置分別可以視需要而定。

步驟S202和步驟S203並行執行。

在步驟S203，每個功能模組對所接收的資料單元進行處理，並將處理後的結果發送給結果匯總模組700。

在步驟S204，結果匯總模組700將所接收的結果進行匯總，並輸出匯總後的資料。

透過本實施例的描述，可以看到，首先，即時資 料流會被橫向切分，分配到各個處理器(例如縱向切分模組500)上，各個處理器的功能是一樣的。這些處理器並行處理，極大地提高了處理速度。

然後，縱向切分模組500對資料塊按維度縱向切分，即從資料塊中提取出不同維度的資料單元，然後相應維度的資料單元被發送到相應的功能處理模組(即功能模組)，由各個功能處理模組並行處理。

以網站日誌資料流為原始資料流為例，網站日誌資料流首先被橫向切分成多個日誌資訊資料塊，每個日誌資訊資料塊被分配到一個相應的縱向切分模組500上。然後，各縱向切分模組500對相應的日誌資訊資料塊按維度縱向切分，例如，從日誌資訊資料塊中提取商品資訊送到商品處理單元，提取關鍵字資訊送到關鍵字處理單元。這樣一來，各個資訊單元被分解為更細粒度的元素，分發到各個功能單元，並行處理。例如，作為處理即時網站日誌資料流的功能單元，例如，商品資訊解析模組解析商品資訊，訪問路徑模組解析訪問路徑，各個模組並行處理。然後，用戶和商品資訊被送到推薦功能模組，用戶和訪問路徑資訊被送到反作弊模組，各個模組也是並行處理的。

最後，各個功能模組處理的結果，都發送到整合器(例如結果匯總模組700，或進一步也包括資料整合模組50)上，由整合器對結果整合(匯總)處理。

以上以即時資料處理系統為例描述了本申請對資料進行切分。可以理解，對於歷史資料的處理系統，可以採用 類似的架構。不同的是，由於歷史資料處理採用週期性運行的方式，所以可以使用低成本的集群分散式運算系統。

透過上面的描述，可以看到，本申請不是像現有的分散式資料流處理系統那樣採用共用儲存模式，而是透過按時序性和按維度對資料流進行多次分割和切分，即利用時序性，採用多層結構，對資料分時段處理，使用新的分散式架構，利用不同維度，對資訊流進行縱向切分，而非如現有的平行計算系統那樣僅限於功能複製的架構，也就是說，本發明實現平行計算的方法並非是所有的運算模組是同樣的功能，運行同樣的程式，只是運算資料的不同部分。因此本發明能夠實現更細粒度的並行，也能夠實現模組化和模組的熱插拔，並且有利於維護。

本發明使得大資料量的即時計算成為可能。即時資料流的運算能夠最大限度地以分散式並行處理，同時保證了大資料量處理和高即時性，提高了系統的反應速度。

根據本申請的大資料量分散式資料流處理方法可以由具有運算處理能力的單個或多個處理設備，如單個或多個電腦，運行電腦可執行指令來實現。根據本申請的大資料量分散式資料流處理系統可以為單個或多個處理設備，如單個或多個電腦，其中的各個模組或單元可以為該處理設備運行電腦可執行指令時具有相應功能的設備元件。根據本申請的一個實施例，可以使用JAVA、SQL等語言在linux、Windows等系統下來實現上述大資料量分散式資料流處理方法及其系統。

雖然已參照典型實施例描述了本申請，但應當理解，所用的術語是說明和示例性、而非限制性的術語。由於本申請能夠以多種形式具體實施而不脫離發明的精神或實質，所以應當理解，上述實施例不限於任何前述的細節，而應在隨附之申請專利範圍所限定的精神和範圍內廣泛地解釋，因此落入申請專利範圍或其等效範圍內的全部變化和改型都應為隨附之申請專利範圍所涵蓋。

10‧‧‧資料識別模組

20‧‧‧30天以前資料處理系統

30‧‧‧即時資料處理系統

40‧‧‧30天以內資料處理系統

50‧‧‧資料整合模組

100‧‧‧原始資料流

200‧‧‧30天以前資料流

300‧‧‧即時資料流

400‧‧‧30天以內資料流

800‧‧‧橫向切分模組

500‧‧‧縱向切分模組

600‧‧‧功能模組群組

700‧‧‧結果匯總模組

下面將參照所附附圖來描述本申請的實施例，其中：圖1示例性示出了現有技術的分散式資料流處理系統的示意圖；圖2示例性示出了本申請的大資料量分散式資料流處理系統的一個實施例的示意圖；圖3示例性示出了與圖2中的大資料量分散式資料流處理系統相對應的本申請的大資料量分散式資料流處理方法的流程圖；圖4示例性示出了圖2中的即時處理系統30的一個實施例的示意圖；以及圖5示例性示出了與圖4中的即時處理系統30相對應的本申請的即時處理方法的流程圖。

10‧‧‧資料識別模組

20‧‧‧30天以前資料處理系統

30‧‧‧即時資料處理系統

40‧‧‧30天以內資料處理系統

50‧‧‧資料整合模組

100‧‧‧原始資料流

200‧‧‧30天以前資料流

300‧‧‧即時資料流

400‧‧‧30天以內資料流

Claims (8)

1. 一種分散式資料流處理方法，該方法包括：將原始資料流分割成即時資料流和歷史資料流；並行處理該即時資料流和該歷史資料流，並分別產生各自的處理結果；以及將所產生的處理結果進行整合。
2. 根據申請專利範圍第1項所述的方法，其中，在處理該即時資料流的步驟中，對該即時資料流按維度切分並進行並行處理。
3. 根據申請專利範圍第2項所述的方法，其中，處理該即時資料流的步驟包括：將該即時資料流切分成多個資料塊；並行地將該多個資料塊的每一個切分成多個資料單元，然後將該多個資料單元分別發送給多個不同的功能模組進行並行處理；以及將並行處理的結果進行匯總。
4. 根據申請專利範圍第1項所述的方法，其中，在處理該歷史資料流的步驟中，對該歷史資料流按維度切分並進行並行處理。
5. 一種分散式資料流處理裝置，該裝置包括：資料識別模組，用於將原始資料流分割成即時資料流和歷史資料流；並行處理模組，用於並行處理該即時資料流和該歷史資料流，並分別產生各自的處理結果；以及 資料整合模組，用於將所產生的處理結果進行整合。
6. 根據申請專利範圍第5項所述的裝置，其中，該並行處理模組在處理該即時資料流時，對該即時資料流按維度切分並進行並行處理。
7. 根據申請專利範圍第6項所述的裝置，其中，處理該即時資料處理系統包括：橫向切分模組，用於將該即時資料流切分成多個資料塊；多個縱向切分模組，用於並行地將該多個資料塊的每一個切分成多個資料單元，然後將該多個資料單元分別發送給多個不同的功能模組進行並行處理；以及結果匯總模組，用於將並行處理的結果進行匯總。
8. 根據申請專利範圍第5項所述的裝置，其中，該並行處理模組在處理該歷史資料流時，對該歷史資料流按維度切分並進行並行處理。