TWI459223B - 海量資料索引建立系統及方法 - Google Patents

Description

海量資料索引建立系統及方法

本發明涉及一種資料索引管理系統及方法，尤其係關於一種海量資料索引建立系統及方法。

在資料處理過程中，建立資料索引是一種常見的管理資料需求。當資料具有相當規模的海量資料時，如何為海量資料建立索引是一件較爲困難的課題。然而，利用傳統索引建立方法，無法啓動多個建索引程式為多筆資料同時建立索引，無法彈性地排配建立索引的優先順序，也無法依照當前電腦系統的可用運算資源多寡來動態調整建立索引的速度。

鑒於以上內容，有必要提供一種海量資料索引建立系統及方法，能夠同時監控多個建立索引進程，排配建立索引的優先順序，並依照當前系統的可用運算資源的多寡來動態調整建立索引的速度。

所述之海量資料索引建立系統安裝並運行於計算裝置中，該計算裝置包括儲存設備。該海量資料索引建立系統包括：資料分配模組，用於從儲存設備的資料列表池中獲取需要建立索引的資料列表，為每一個資料列表設定一個優先權級別，在儲存設備中建立複數資料佇列，並按照優先權級別將獲取的資料列表分配到資料佇列中；索引建立模組，用於針對每一個資料佇列中的資料列表建立一個資料子索引，將已建立的資料子索引保存在儲存設備中，並將該資料列表從相應的資料佇列中移除；優先處理模組，用於檢查資料列表池中是否有資料列表需要優先處理，當資料列表需要優先處理時，從資料列表池中獲取優先權級別最高的資料列表，並將該資料列表移入空閒的資料佇列中優先處理；索引合併模組，用於將所有建立的資料子索引合併成一個資料列表池的資料根索引，並將該資料根索引保存在儲存設備中。

所述之海量資料索引建立方法應用於計算裝置中，該計算裝置包括儲存設備。該方法包括步驟：從儲存設備的資料列表池中獲取需要建立索引的資料列表，並為每一個資料列表設定一個優先權級別；在儲存設備中建立複數資料佇列，並按照優先權級別將獲取的資料列表分配到資料佇列中；針對每一個資料佇列中的資料列表建立一個資料子索引；將已建立的資料子索引保存在儲存設備中，並將該資料列表從相應的資料佇列中移除；檢查資料列表池中是否有資料列表需要優先處理；當資料列表需要優先處理時，從資料列表池中獲取優先權級別最高的資料列表，並將該資料列表移入空閒的資料佇列中優先處理；將所有建立的資料子索引合併成一個資料列表池的資料根索引，並將該資料根索引保存在儲存設備中。

相較於習知技術，本發明所述之海量資料索引建立系統及方法，能夠彈性地同時監控多個建立索引進程，彈性地排配建立索引的優先順序，也能依照當前系統的可用運算資源的多寡來動態調整建立索引的速度。

如圖1所示，是本發明海量資料索引建立系統10較佳實施例之架構圖。在本實施例中，所述之資料索引建立系統10安裝並運行於計算裝置100中，能夠同時監控多個建立索引進程，彈性地排配建立索引的優先順序，也能夠依照當前系統的可用運算資源的多寡來動態調整建立索引的速度。在本實施例中，所述之計算裝置100還包括，但不僅限於，儲存設備11及處理器12。該計算裝置100可以為個人電腦、或者伺服器之一種。

所述之儲存設備11可以為一種磁碟或網路儲存裝置，用於儲存資料列表池、資料佇列以及海量資料。所述之資料列表池包括複數資料列表，參考圖3所示之資料列表List0、List1、List2、…、ListN。所述之資料佇列用於儲存資料列表，每一資料列表儲存有用於識別不同類別資料的資料序號，例如序號S00a101、S00a102等。每一資料序號分別對應有儲存在儲存設備11中的資料。

在本實施例中，將生産物料視為海量資料，生産機台視為資料序號，生産成品視為索引，從而為大量的生産物料建立資料索引。利用一些簡單的手段就能進行大批量的工單排程，若有更多的機台資源，也能以類似於擴產能的方式增加產量。

在本實施例中，所述之資料索引建立系統10包括資料分配模組101、索引建立模組102、優先處理模組103及索引合併模組104。本發明所稱之模組系指一種能夠被處理器12所執行並且能夠完成固定功能之一系列程式指令段，其儲存於所述之儲存設備11中。

所述之資料分配模組101用於從儲存設備11的資料列表池中獲取需要建立索引的資料列表，並為每一個資料列表設定一個優先權級別。例如，資料列表List0中的資料需要優先處理，則資料分配模組101則將資料列表List0的優先權級別設為最高級，並按照資料列表的檔案名稱依次設置資料列表池中資料列表的優先權級別。

所述之資料分配模組101還用於在儲存設備11中建立複數資料佇列，並按照優先權級別將獲取的資料列表分配到資料佇列中。參考圖4所示，資料分配模組101建立了兩個資料佇列，其中，資料佇列1用於存放資料列表List1及資料列表List3，以及資料佇列2用於存放資料列表List2及資料列表List4。

所述之索引建立模組102用於針對每一個資料佇列中的資料列表建立一個資料子索引。參考圖3所示，索引建立模組102為資料佇列1建立子索引1，為資料佇列2建立子索引2，以及為資料佇列3建立子索引3。

所述之索引建立模組102還用於將已建立的資料子索引保存在儲存設備11中，並將該資料列表從相應的資料佇列中移除。參考圖4所示，當資料佇列1中的資料列表List1已建立了子索引1時，索引建立模組102將資料列表List1從資料佇列1中移除，以便釋放系統運算資源。

所述之優先處理模組103用於檢查資料列表池中是否有資料列表需要優先處理。當資料列表需要優先處理，優先處理模組103從資料列表池中獲取優先權級別最高的資料列表，並將該資料列表移入空閒的資料佇列中優先處理。參考圖4所示，資料列表List0的需要優先處理，其優先權級別為最高，優先處理模組103將資料列表List0移入資料佇列1中，並插入資料列表List3之前優先處理。

所述之索引合併模組104用於將所有建立的資料子索引進行合併成一個資料列表池的資料根索引，並將該資料根索引保存在儲存設備11中。參考圖3所示，索引合併模組104將資料佇列1的子索引1、資料佇列2的子索引2、以及為資料佇列3的子索引3進行合併，從而為資料列表池建立一個資料根索引。

參考圖2所示，是本發明海量資料索引建立方法較佳實施例之流程圖。在本實施例中，該方法能夠同時監控多個建立索引進程，彈性地排配建立索引的優先順序，也能夠依照當前系統的可用運算資源的多寡來動態調整建立索引的速度。

步驟S21，資料分配模組101從儲存設備11的資料列表池中獲取需要建立索引的資料列表，並為每一個資料列表設定一個優先權級別。例如，資料列表List0中的資料需要優先處理，則資料分配模組101則將資料列表List0的優先權級別設為最高級，並按照資料列表的檔案名稱依次設置資料列表池中資料列表的優先權級別。

步驟S22，資料分配模組101在儲存設備11中建立複數資料佇列，並按照優先權級別將獲取的資料列表分配到資料佇列中。參考圖4所示，資料分配模組101建立了兩個資料佇列，其中，資料佇列1用於存放資料列表List1及資料列表List3，以及資料佇列2用於存放資料列表List2及資料列表List4。

步驟S23，索引建立模組102針對每一個資料佇列中的資料列表建立一個資料子索引。參考圖3所示，索引建立模組102為資料佇列1建立子索引1，為資料佇列2建立子索引2，以及為資料佇列3建立子索引3。

步驟S24，索引建立模組102還用於將已建立的資料子索引保存在儲存設備11中，並將該資料列表從相應的資料佇列中移除。參考圖4所示，當資料佇列1中的資料列表List1已建立了子索引1時，索引建立模組102將資料列表List1從資料佇列1中移除，以便釋放系統運算資源。

步驟S25，優先處理模組103檢查資料列表池中是否有資料列表需要優先處理。若資料列表池中有需要優先處理的資料列表，流程執行步驟S26；若資料列表池中沒有優先處理的資料列表，流程執行步驟S28。

步驟S26，優先處理模組103從資料列表池中獲取優先權級別最高的資料列表，並將該資料列表移入空閒的資料佇列中優先處理。參考圖4所示，資料列表List0的需要優先處理，其優先權級別為最高，優先處理模組103將資料列表List0移入資料佇列1中，並插入資料列表List3之前優先處理。

步驟S27，優先處理模組103還用於判斷資料佇列中是否還有資料列表。若資料佇列中還有資料列表，流程返回步驟S23；若資料佇列中沒有資料列表，流程執行步驟S28。

步驟S28，索引合併模組104將所有建立的資料子索引進行合併成一個資料列表池的資料根索引，並將該資料根索引保存在儲存設備11中。參考圖3所示，索引合併模組104將資料佇列1的子索引1、資料佇列2的子索引2、以及為資料佇列3的子索引3進行合併，從而為資料列表池建立一個資料根索引。

以上所述僅為本發明之較佳實施例而已，且已達廣泛之使用功效，凡其他未脫離本發明所揭示之精神下所完成之均等變化或修飾，均應包含於下述之申請專利範圍內。

100．．．計算裝置

10．．．資料索引建立系統

101．．．資料分配模組

102．．．索引建立模組

103．．．優先處理模組

104．．．索引合併模組

11．．．儲存設備

12．．．處理器

圖1是本發明海量資料索引建立系統較佳實施例之架構圖。

圖2是本發明海量資料索引建立方法較佳實施例之流程圖。

圖3是一種建立海量資料索引之示意圖。

圖4是一種優先處理資料索引之示意圖。

100．．．計算裝置

10．．．資料索引建立系統

101．．．資料分配模組

102．．．索引建立模組

103．．．優先處理模組

104．．．索引合併模組

11．．．儲存設備

12．．．處理器

Claims (10)

1. 一種海量資料索引建立系統，安裝並運行於計算裝置中，該計算裝置包括儲存設備，所述之海量資料索引建立系統包括：
   資料分配模組，用於從儲存設備的資料列表池中獲取需要建立索引的資料列表，為每一個資料列表設定一個優先權級別，在儲存設備中建立複數資料佇列，並按照優先權級別將獲取的資料列表分配到資料佇列中；
   索引建立模組，用於針對每一個資料佇列中的資料列表建立一個資料子索引，將已建立的資料子索引保存在儲存設備中，並將該資料列表從相應的資料佇列中移除；
   優先處理模組，用於檢查資料列表池中是否有資料列表需要優先處理，當有資料列表需要優先處理時，從資料列表池中獲取優先權級別最高的資料列表，並將該資料列表移入空閒的資料佇列中優先處理；及
   索引合併模組，用於將所有建立的資料子索引合併成一個資料列表池的資料根索引，並將該資料根索引保存在儲存設備中。
2. 如申請專利範圍第1項所述之海量資料索引建立系統，其中，所述之優先處理模組還用於判斷資料佇列中是否還有資料列表需要建立索引。
3. 如申請專利範圍第1項所述之海量資料索引建立系統，其中，所述之資料分配模組將資料列表池中需要優先處理的資料列表的優先權級別設為最高級，並按照資料列表的檔案名稱依次設置資料列表池中資料列表的優先權級別。
4. 如申請專利範圍第1項所述之海量資料索引建立系統，其中，所述之資料列表池包括複數資料列表，每一資料列表儲存有用於識別不同類別資料的資料序號，並分別對應儲存在儲存設備中的資料。
5. 如申請專利範圍第1項所述之海量資料索引建立系統，其中，所述之儲存設備為一種磁碟或網路儲存裝置，用於儲存資料列表池、資料佇列以及海量資料。
6. 一種海量資料索引建立方法，應用於計算裝置中，該計算裝置包括儲存設備，該方法包括步驟：
   從儲存設備的資料列表池中獲取需要建立索引的資料列表，並為每一個資料列表設定一個優先權級別；
   在儲存設備中建立複數資料佇列，並按照優先權級別將獲取的資料列表分配到資料佇列中；
   針對每一個資料佇列中的資料列表建立一個資料子索引；
   將已建立的資料子索引保存在儲存設備中，並將該資料列表從相應的資料佇列中移除；
   檢查資料列表池中是否有資料列表需要優先處理；
   當有資料列表需要優先處理時，從資料列表池中獲取優先權級別最高的資料列表，並將該資料列表移入空閒的資料佇列中優先處理；及
   將所有建立的資料子索引合併成一個資料列表池的資料根索引，並將該資料根索引保存在儲存設備中。
7. 如申請專利範圍第6項所述之海量資料索引建立方法，該方法還包括步驟：
   判斷資料佇列中是否還有資料列表需要建立索引；
   當資料佇列中還有資料列表需要建立索引時，針對該資料佇列中的資料列表建立一個資料子索引。
8. 如申請專利範圍第6項所述之海量資料索引建立方法，其中，所述之需要優先處理的資料列表的優先權級別設為最高級，資料列表池中剩餘資料列表的優先權級別按照資料列表的檔案名稱來設置。
9. 如申請專利範圍第6項所述之海量資料索引建立方法，其中，所述之資料列表池包括複數資料列表，每一資料列表儲存有用於識別不同類別資料的資料序號，並分別對應儲存在儲存設備中的資料。
10. 如申請專利範圍第6項所述之海量資料索引建立方法，其中，所述之儲存設備為一種磁碟或網路儲存裝置，用於儲存資料列表池、資料佇列以及海量資料。