TWI530808B - 即時提供信息查詢的資訊系統與方法 - Google Patents

Description

即時提供信息查詢的資訊系統與方法

本發明係與巨量資料領域有關，且特別關於一種即時提供信息查詢的資訊系統與方法。

隨著電子技術的進步，資料也持續朝向爆炸性的擴展。同時，各種不同的應用，也需要即時查詢的服務。在這樣的情況下，傳統的資訊系統往往因為硬碟等儲存裝置的存取速度限制，或是多階層資訊架構的設計，無法完成快速的查詢服務。

請參考圖1，圖1例示一種習知之系統架構圖。機台1031,1032,1033,1034,1035,1036在不同的應用中可分別代表不同的設備。例如，在半導體製程中，這些機台可代表化學氣體沉積機台、曝光機台等設備。又例如，在電信業的應用，這些機台可代表基地台、後端的機房設備等。這些設備的特徵就是會不斷地產生資料串流，例如製造流程中感應器偵測到的或人工輸入的各種資料，又例如手機用戶撥打電話時所處的地理位置資訊、電話號碼或上網的IP位址等等。這些資料串流的特色就是持續不斷地產生資料，這些資料在「量」上不但呈現爆炸性成長，而且在種類上除了以往的結構化資料以外，更同時包含半結構化資料例如XML、日誌 (log)、點擊流(click stream)與RFID標籤等，以及非結構化資料例如網頁、Email、多媒體、即時訊息與二進位檔案(binary file)等。

有些機台自己可以處理自己產生的資料串流，例如圖1中的機台1034、1035、1036；有些機台例如圖1中的機台1031、1032、1033則是透過所連線的電腦103等設備進行資料串流的處理或是儲存。這些資料串流可透過網路109傳送到伺服器105，進一步存放在媒介為硬碟的資料庫或儲存系統107中。

目前有越來越多的網路應用，例如連線確認，或是工廠問題即時反應，需要能夠快速查詢這些資料串流。舉例來說，假如資料串流都是存放在媒介為硬碟的資料庫或儲存系統107中，存取速度就會成為一個很麻煩的瓶頸。又例如，在半導體的製造流程，如果任何一個機台出現警訊，這些警訊如果能被即時處理，甚至主動推送到資料查詢伺服器101，進行對應的處理，則能帶來很大的幫助。但實際上，目前許多的資訊系統都很難做到即時的反應或查詢。

請參照圖2，其例示一種資訊系統架構，可用來處理機台產生的資料串流。作為機台的設備211、213、215、217個別不斷地產生串流資料231、233、235、237，這些串流資料可單獨為結構化、半結構化或非結構化資料，亦可以是不同種類資料的集合。在不同的產業應用，這些檔案可以設定一定時間的保存期限，或是一定的更新規則。網路儲存器25例如網路附加儲存(Network-attached Storage,NAS)或儲存區域網路(Storage Area Network,SAN)根據設定定期或不定期去主動或被動接收串流資料231、233、235、237。透過一部伺服器、或由多部伺服器所組成的一電腦叢集(cluster)27，對串流資料231、233、235、237進行前處理，該前處理包含萃取(Extract)、轉置(Transform)與載入 (Load)等，然後將結果存放在資料倉儲(Data Warehouse)28。資料倉儲28可以透過應用伺服器29將資料主動提供給外在的第三方應用伺服器26或是客戶端(未圖示)，或是被動根據查詢提供符合條件的資料。另一種做法是，第三方應用伺服器26直接存取資料倉儲28以取得所需資料。

上述做法涉及多次耗時的寫入動作。例如，當設備211、213、215、217產生串流資料231、233、235、237，這些串流資料231、233、235、237需先個別儲存在設備211、213、215、217中，然後寫入網路儲存器25，最後這些串流資料231、233、235、237再進一步寫入到資料倉儲28。本實施例所揭露關於資料寫入的多層次架構設計，加上串流資料寫入的媒介主要為硬碟，造成外在的應用無法即時進行快速有效的查詢，例如在一秒或數秒內就能查詢到最新的串流資料。

鑑於上述習知技術之缺失，本發明之目的係提出一種非以多層次存取架構進行串流資料查詢之系統與方法，以期達到即時查詢之功效。

根據本發明第一實施例，提供一種提供資料即時查詢的系統，包含分流器、資料加工處理器與資料儲存系統。分流器透過預定通訊協定從機台接收資料串流，並將該資料串流傳送到資料儲存系統，以對這些資料串流進行備份儲存。另一方面，分流器更將複數資料串流分送到資料加工處理器。資料加工處理器根據預定處理規則，對資料串流進行加工處理，以產生處理結果串流。資料儲存系統接收該處理結果串流，並具有查詢界面，供外在裝置從處理結果串流的內容中即時查詢所需情報。

這些資料串流可以是機台分別持續產生的日誌資料，並且機台並不存放日誌資料，而是根據通訊協定，將日誌資料傳送到分流器。分流器將 資料串流分別複製兩份副本，其中一份副本傳送給資料儲存系統，另一份副本則傳送給資料加工器。資料加工處理器可包括資料過濾器，資料過濾器根據預定處理規則，從資料串流中截取所需的資料子集合。資料加工處理器也對資料串流進行運算，以產生處理資料串流並傳送回分流器。傳送回分流器的處理資料串流更可進一步被分流器分流到第二資料加工處理器進行進一步處理。第二資料加工處理器進行進一步處理後，再將處理結果傳送到資料儲存系統。

資料儲存系統可以是非關聯式資料庫。分流器與資料加工處理器可以為程式模組，安裝於對應的硬體電路以完成所述的分流與資料處理功能。

根據本發明另一實施例，提供一種即時查詢大量持續產生資料的方法，可具有對應上述的流程步驟。透過本發明的實施例，不但資料仍然可以達成傳統的日誌存查，也可以提供即時快速的查詢，這樣可以帶來各種有價值應用實現的可能性。

1031‧‧‧機台

1032‧‧‧機台

1033‧‧‧機台

1034‧‧‧機台

1035‧‧‧機台

1036‧‧‧機台

103‧‧‧電腦

109‧‧‧網路

101‧‧‧資料查詢伺服器

105‧‧‧伺服器

107‧‧‧媒介為硬碟的資料庫或儲存系統

211‧‧‧設備

213‧‧‧設備

215‧‧‧設備

217‧‧‧設備

231‧‧‧串流資料

233‧‧‧串流資料

235‧‧‧串流資料

237‧‧‧串流資料

25‧‧‧網路儲存器

26‧‧‧第三方伺服器

27‧‧‧電腦叢集

28‧‧‧資料倉儲

29‧‧‧應用伺服器

311‧‧‧設備

312‧‧‧設備

313‧‧‧設備

314‧‧‧設備

32‧‧‧分流器

34‧‧‧資料加工處理器

35‧‧‧非關聯式資料庫

36‧‧‧網路儲存器

38‧‧‧電腦叢集

391‧‧‧資料倉儲

392‧‧‧應用伺服器

42‧‧‧資料串流

44‧‧‧分流器

451‧‧‧第一過濾器

452‧‧‧第二過濾器

453‧‧‧第三過濾器

46‧‧‧非關聯式資料庫

47‧‧‧網路儲存器

48‧‧‧ETL伺服器叢集

49‧‧‧資料倉儲

51‧‧‧資料串流

52‧‧‧分流器

541‧‧‧第一過濾器

542‧‧‧第二過濾器

543‧‧‧第三過濾器

55‧‧‧非關聯式資料庫

561‧‧‧被動接受資料者

562‧‧‧主動查詢資料者

531‧‧‧HDFS檔案系統

532‧‧‧對映/縮減

533‧‧‧資料倉儲HIVE或Impala

534‧‧‧報表

601‧‧‧接受資料串流

602‧‧‧分發資料串流

603‧‧‧資料儲存端儲存資料

604‧‧‧根據預定處理規則處理資料

605‧‧‧將處理資料放入非關聯式資料庫

606‧‧‧提供查詢界面供即時存取

圖1例示係為習知網路資料查詢之運用環境； 圖2例示係為習知資料查詢之系統架構示意圖； 圖3例示根據本發明一實施例的系統架構示意圖； 圖4例示根據本發明另一實施例的系統架構示意圖； 圖5例示根據本發明另一實施例的系統架構示意圖；以及 圖6例示根據本發明一實施例的方法流程圖。

請參照圖3，其例示根據本發明一實施例的一種架構示意圖。設備311、312、313、314個別產生的資料串流(未圖示)，根據預定的通訊協定直接透過網路傳送到分流器32。相比於圖2所揭露的串流資料231、233、235、237需先個別寫入設備211、213、215、217的硬碟中，圖3的設備311、312、313、314所產生的資料串流，不需先行寫入對應設備的硬碟，因此可以省下不少時間。

這裡提到的通訊協定可以是業界統一規定的資料傳輸協定，例如FTP、Syslog或任何便於設備311、312、313、314與分流器32進行資料傳遞的協定。為達成資料傳送，可以在設備311、312、313、314上設定分流器32網路位址、帳號密碼，或額外編寫對應的軟體程式，安裝於設備311、312、313、314上執行。此外，串流資料的傳送啟動可以是設備311、312、313、314主動傳送給分流器32，也可以是資料流動的啟動可以是設備311、312、313、314被動接收來自分流器32的請求，而將持續產生的串流資料傳送給分流器32。

分流器32至少具備判斷與分工等功能，且執行於一伺服器叢集之一主節點(Master Node)中(未圖示)。在一實施例中，該伺服器叢集至少包含該主節點與至少二個工作節點(Worker Nodes)，該分流器32可執行於該主節點例如記憶體中。分流器32可以設置對應一定容量的緩衝儲存位置，或是就即時將接收到的資料串流再分流出去。此外，為了確保分流器32的安全性與穩定性，也可以透過對應的硬體的設計，提供各種容錯、備援與負載平衡(Load Balance)的處理。

分流器32在接收到上述資料串流後，可複製一份副本直接傳給網路儲存器36，網路儲存器36進一步將資料傳給電腦叢集38進行包含萃取、轉置與載入等過程之前處理，經前處理之後的資料再傳送至資料倉儲391， 由應用伺服器392進行存取。

此外，分流器32於接收這些資料串流後，也可複製另一份副本直接傳給資料加工處理器34，在一實施例中，資料加工處理器34可執行於上述工作節點例如記憶體中。資料加工處理器34根據預定的處理規則，對接收到的資料串流進行加工處理。例如，假如機台產生的資料串流包含有20個欄位的資料，資料加工處理器34根據設定的規則，可能只需要過濾出其中5個欄位的資料而捨棄另外的15個欄位的資料，換言之，資料加工處理器34根據預定的處理規則，從複數個資料串流中截取出所需之資料子集合。另外，資料加工處理器34也可以附加各種使用者需要的附加功能(Plug-in)模組，以增加與進行各種不同的運算，滿足各種不同的需求。

經過資料加工處理器34處理的結果，可傳送到非關聯式資料庫35。在一實施例中，非關聯式資料庫35係執行於上述工作節點例如記憶體中。這些經過資料加工處理器34處理的結果，可提供給第三方應用伺服器37進行查詢。由於分流器32與資料加工處理34可以做到即時處理，之後資料就被傳送至非關聯式資料庫35，整個過程不涉及資料寫入硬碟等特別耗時的操作。並且，非關聯式資料庫35可以選擇針對寫入最佳化，可在揮發性記憶體或是快速的非揮發性記憶體容量允許下，降低資料寫入資料到硬碟的影響。因此，在這樣的架構下，可以提供達到甚至秒級的查詢回應。這在大量且包含不同種類資料處理的應用中，本來是特別困難的問題，但卻可以透過上述的架構設計來加以解決。

圖4舉例說明分流器44與加工處理器的變形應用。資料串流42傳送到分流器44，然後根據預定規則除了傳送一份副本到網路儲存器47、ETL(Extract,Transform,Load)伺服器叢集48與資料倉儲49，另外還傳送另一份副本到作為資料加工處理器的第一過濾器451、第二過濾器452與第三 過濾器453。從這個例子可以知道，資料加工處理器的數目可以不限於一個，就像是分流器的數目也可以不限於一個。

第一過濾器451根據預定處理規則處理接收到的資料串流，並將處理後的資料串流傳到非關聯式資料庫46。在另一實施例中，經過第一過濾器451處理後的資料串流，可回傳至分流器44，然後分流器44再根據規則傳送到第二過濾器452進行進一步的處理，處理後的結果可傳至非關聯式資料庫46。在另一實施例中，經第二過濾器452進一步處理之後的結果可再回傳至分流器44，然後分流器44再把處理結果傳送到第三過濾器453進行更進一步的處理，處理完之後得到的結果可傳送至非關聯式資料庫46，依此類推。在一實施例中，第三過濾器453可以是跟第一過濾器451不同的功能。而在另一實施例中，第三過濾器453是第一過濾器451的備援元件。

上述分流器44可執行一伺服器叢集之一主節點(Master Node)中(未圖示)。在一實施例中，該伺服器叢集至少包含該主節點與至少二個工作節點(Worker Nodes)，該分流器44可執行於主節點例如記憶體中，而資料加工處理器與非關聯式資料庫46則可執行於工作節點例如記憶體中。

請參照圖5，其例示另一種資訊系統架構圖。相似於圖4，資料串流51傳送給分流器52，然後傳送給作為資料加工處理器的第一過濾器541、第二過濾器542與第三過濾器543。經過過濾器加工處理的資料被傳到非關聯式資料庫55，再以推播方式傳送給被動接收查詢資料者561，例如工廠設備出事，發簡訊通知需要處理的人員。這些資料也可以被動地提供主動查詢資料者562進行即時查詢。

傳統作法上用來儲存與處理這些資料串流51的設備也可以替換成適合處理大量數據的系統平台，例如目前非常普遍的Hadoop平台。透過 Hadoop平台，串流資料可以存放在具有高容錯能力的HDFS檔案系統531，之後可透過對映縮減(MapReduce)532對資料進行前處理，再儲存在資料倉儲HIVE或Impala 533並供查詢之用，進而產生所需的各種報表534。

接著，請參照圖6，其例示根據本發明實施例的一種方法的流程圖。這種方法可提供即時查詢服務，特別是針對大量且包含各式種類的資料。舉例來說，圖6之執行方法係可實施於一外在裝置欲針對一伺服器叢集之一查詢界面進行信息查詢時的系統操作流程說明，且該伺服器叢集可再定義包含有一主節點與一工作節點。首先，透過一通訊協定接受複數資料串流(步驟601)。此步驟進一步說明係指該伺服器叢集之該主節點乃透過該通訊協定從該等機台接受該等資料串流，同時並複製該等資料串流以形成一副本。接續根據預定規則，將資料串流分發到資料儲存端與資料處理端(步驟602)，其中該資料處理端係指該工作節點，且該等資料串流為分發之動作係可執行於該主節點之一記憶體中。資料儲存端用類似上述的方式對於資料進行備份(步驟603)。此外，資料處理端則透過上述資料加工處理器等方式，根據預定處理規則，對於這些資料串流進行處理(步驟604)。這些處理的結果放到非關聯式資料庫(步驟605)。透過應用程式界面(API)等方式，提供查詢界面供外界即時存取(步驟606)。前述步驟604~606詳細係指該工作節點接收該副本後，根據該預定處理規則，對該副本進行一加工處理以產生一處理結果串流，供該外在裝置透過該查詢界面進行即時查詢。且其中該加工處理係可執行於該工作節點之一記憶體中。而為了執行不同功能之加工處理或單純之備援需求考量，更可將該處理結果串流傳送回該主節點，由該主節點再度進行判斷及分送至該工作節點進行第二加工處理以產生第二處理結果串流。或者是更進一步將該第 二處理結果串流傳送回該主節點，由該主節點再度進行判斷及分送至該工作節點進行第三加工處理以產生第三處理結果串流。

上述雖然提及適合大量資料儲存與查詢需求的非關聯式資料庫，但這些都只是說明用的例子，並不是用來限制本發明的範圍。設計者仍然可以根據不同的設計需求，進行同樣發明概念下的各種不同設計可能性。

雖然本發明以前述之較佳實施例揭露如上，然其並非用以限定本發明，任何熟習相像技藝者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。

311‧‧‧設備

312‧‧‧設備

313‧‧‧設備

314‧‧‧設備

32‧‧‧分流器

34‧‧‧資料加工處理器

35‧‧‧非關聯式資料庫

36‧‧‧網路儲存器

37‧‧‧第三方應用伺服器

38‧‧‧電腦叢集

391‧‧‧資料倉儲

392‧‧‧應用伺服器

Claims (10)

1. 一種即時提供信息查詢的資訊系統，包含：一分流器，透過一通訊協定從複數機台接收複數資料串流，並將該等資料串流傳送到一網路儲存器以進行備分儲存；一資料加工處理器，該分流器更將該複數資料串流分送到該資料加工處理器，該資料加工處理器根據一預定處理規則，對該等資料串流進行加工處理，以產生一處理結果串流；以及一資料儲存系統，接收該處理結果串流，並具有一查詢界面，供一外在裝置從該處理結果串流的內容中即時查詢所需情報。
2. 如申請專利範圍第1項所述的系統，其中該分流器係執行於一伺服器叢集之一主節點中，並至少具備判斷與分工功能。
3. 如申請專利範圍第2項所述的系統，其中該分流器係執行於該主節點的一記憶體中。
4. 如申請專利範圍第1項所述的系統，其中該資料加工處理器係執行於一伺服器叢集之一工作節點中。
5. 如申請專利範圍第4項所述的系統，其中該資料加工處理器係執行於該工作節點的一記憶體中。
6. 一種即時提供信息查詢的方法，係透過一伺服器叢集之一查詢界面以供一外在裝置即時查詢所需情報，其中該伺服器叢集包含一主節點與一工作節點，該方法包含下列步驟：使該主節點透過一通訊協定從複數機台接收複數資料串流，並複製該等資料串流以形成一副本； 判斷及分送該副本至該工作節點；以及該工作節點接受該副本後，根據一預定處理規則，對該副本進行一加工處理以產生一處理結果串流，供該外在裝置透過該查詢界面進行即時查詢。
7. 如申請專利範圍第6項所述的方法，其中該判斷及分送步驟係執行於該主節點之一記憶體中。
8. 如申請專利範圍第6項所述的方法，其中該加工處理步驟係執行於該工作節點之一記憶體中。
9. 如申請專利範圍第6項所述的方法，更包含下列步驟：將該處理結果串流傳送回該主節點，由該主節點再度進行判斷及分送至該工作節點進行第二加工處理以產生第二處理結果串流。
10. 如申請專利範圍第9項所述的方法，更包含下列步驟：將該第二處理結果串流傳送回該主節點，由該主節點再度進行判斷及分送至該工作節點進行第三加工處理以產生第三處理結果串流。