TWI459223B - 海量資料索引建立系統及方法 - Google Patents
海量資料索引建立系統及方法 Download PDFInfo
- Publication number
- TWI459223B TWI459223B TW101129451A TW101129451A TWI459223B TW I459223 B TWI459223 B TW I459223B TW 101129451 A TW101129451 A TW 101129451A TW 101129451 A TW101129451 A TW 101129451A TW I459223 B TWI459223 B TW I459223B
- Authority
- TW
- Taiwan
- Prior art keywords
- data
- list
- index
- data list
- storage device
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 25
- 238000003860 storage Methods 0.000 claims description 41
- 238000009826 distribution Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2219—Large Object storage; Management thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本發明涉及一種資料索引管理系統及方法,尤其係關於一種海量資料索引建立系統及方法。
在資料處理過程中,建立資料索引是一種常見的管理資料需求。當資料具有相當規模的海量資料時,如何為海量資料建立索引是一件較爲困難的課題。然而,利用傳統索引建立方法,無法啓動多個建索引程式為多筆資料同時建立索引,無法彈性地排配建立索引的優先順序,也無法依照當前電腦系統的可用運算資源多寡來動態調整建立索引的速度。
鑒於以上內容,有必要提供一種海量資料索引建立系統及方法,能夠同時監控多個建立索引進程,排配建立索引的優先順序,並依照當前系統的可用運算資源的多寡來動態調整建立索引的速度。
所述之海量資料索引建立系統安裝並運行於計算裝置中,該計算裝置包括儲存設備。該海量資料索引建立系統包括:資料分配模組,用於從儲存設備的資料列表池中獲取需要建立索引的資料列表,為每一個資料列表設定一個優先權級別,在儲存設備中建立複數資料佇列,並按照優先權級別將獲取的資料列表分配到資料佇列中;索引建立模組,用於針對每一個資料佇列中的資料列表建立一個資料子索引,將已建立的資料子索引保存在儲存設備中,並將該資料列表從相應的資料佇列中移除;優先處理模組,用於檢查資料列表池中是否有資料列表需要優先處理,當資料列表需要優先處理時,從資料列表池中獲取優先權級別最高的資料列表,並將該資料列表移入空閒的資料佇列中優先處理;索引合併模組,用於將所有建立的資料子索引合併成一個資料列表池的資料根索引,並將該資料根索引保存在儲存設備中。
所述之海量資料索引建立方法應用於計算裝置中,該計算裝置包括儲存設備。該方法包括步驟:從儲存設備的資料列表池中獲取需要建立索引的資料列表,並為每一個資料列表設定一個優先權級別;在儲存設備中建立複數資料佇列,並按照優先權級別將獲取的資料列表分配到資料佇列中;針對每一個資料佇列中的資料列表建立一個資料子索引;將已建立的資料子索引保存在儲存設備中,並將該資料列表從相應的資料佇列中移除;檢查資料列表池中是否有資料列表需要優先處理;當資料列表需要優先處理時,從資料列表池中獲取優先權級別最高的資料列表,並將該資料列表移入空閒的資料佇列中優先處理;將所有建立的資料子索引合併成一個資料列表池的資料根索引,並將該資料根索引保存在儲存設備中。
相較於習知技術,本發明所述之海量資料索引建立系統及方法,能夠彈性地同時監控多個建立索引進程,彈性地排配建立索引的優先順序,也能依照當前系統的可用運算資源的多寡來動態調整建立索引的速度。
如圖1所示,是本發明海量資料索引建立系統10較佳實施例之架構圖。在本實施例中,所述之資料索引建立系統10安裝並運行於計算裝置100中,能夠同時監控多個建立索引進程,彈性地排配建立索引的優先順序,也能夠依照當前系統的可用運算資源的多寡來動態調整建立索引的速度。在本實施例中,所述之計算裝置100還包括,但不僅限於,儲存設備11及處理器12。該計算裝置100可以為個人電腦、或者伺服器之一種。
所述之儲存設備11可以為一種磁碟或網路儲存裝置,用於儲存資料列表池、資料佇列以及海量資料。所述之資料列表池包括複數資料列表,參考圖3所示之資料列表List0、List1、List2、…、ListN。所述之資料佇列用於儲存資料列表,每一資料列表儲存有用於識別不同類別資料的資料序號,例如序號S00a101、S00a102等。每一資料序號分別對應有儲存在儲存設備11中的資料。
在本實施例中,將生産物料視為海量資料,生産機台視為資料序號,生産成品視為索引,從而為大量的生産物料建立資料索引。利用一些簡單的手段就能進行大批量的工單排程,若有更多的機台資源,也能以類似於擴產能的方式增加產量。
在本實施例中,所述之資料索引建立系統10包括資料分配模組101、索引建立模組102、優先處理模組103及索引合併模組104。本發明所稱之模組系指一種能夠被處理器12所執行並且能夠完成固定功能之一系列程式指令段,其儲存於所述之儲存設備11中。
所述之資料分配模組101用於從儲存設備11的資料列表池中獲取需要建立索引的資料列表,並為每一個資料列表設定一個優先權級別。例如,資料列表List0中的資料需要優先處理,則資料分配模組101則將資料列表List0的優先權級別設為最高級,並按照資料列表的檔案名稱依次設置資料列表池中資料列表的優先權級別。
所述之資料分配模組101還用於在儲存設備11中建立複數資料佇列,並按照優先權級別將獲取的資料列表分配到資料佇列中。參考圖4所示,資料分配模組101建立了兩個資料佇列,其中,資料佇列1用於存放資料列表List1及資料列表List3,以及資料佇列2用於存放資料列表List2及資料列表List4。
所述之索引建立模組102用於針對每一個資料佇列中的資料列表建立一個資料子索引。參考圖3所示,索引建立模組102為資料佇列1建立子索引1,為資料佇列2建立子索引2,以及為資料佇列3建立子索引3。
所述之索引建立模組102還用於將已建立的資料子索引保存在儲存設備11中,並將該資料列表從相應的資料佇列中移除。參考圖4所示,當資料佇列1中的資料列表List1已建立了子索引1時,索引建立模組102將資料列表List1從資料佇列1中移除,以便釋放系統運算資源。
所述之優先處理模組103用於檢查資料列表池中是否有資料列表需要優先處理。當資料列表需要優先處理,優先處理模組103從資料列表池中獲取優先權級別最高的資料列表,並將該資料列表移入空閒的資料佇列中優先處理。參考圖4所示,資料列表List0的需要優先處理,其優先權級別為最高,優先處理模組103將資料列表List0移入資料佇列1中,並插入資料列表List3之前優先處理。
所述之索引合併模組104用於將所有建立的資料子索引進行合併成一個資料列表池的資料根索引,並將該資料根索引保存在儲存設備11中。參考圖3所示,索引合併模組104將資料佇列1的子索引1、資料佇列2的子索引2、以及為資料佇列3的子索引3進行合併,從而為資料列表池建立一個資料根索引。
參考圖2所示,是本發明海量資料索引建立方法較佳實施例之流程圖。在本實施例中,該方法能夠同時監控多個建立索引進程,彈性地排配建立索引的優先順序,也能夠依照當前系統的可用運算資源的多寡來動態調整建立索引的速度。
步驟S21,資料分配模組101從儲存設備11的資料列表池中獲取需要建立索引的資料列表,並為每一個資料列表設定一個優先權級別。例如,資料列表List0中的資料需要優先處理,則資料分配模組101則將資料列表List0的優先權級別設為最高級,並按照資料列表的檔案名稱依次設置資料列表池中資料列表的優先權級別。
步驟S22,資料分配模組101在儲存設備11中建立複數資料佇列,並按照優先權級別將獲取的資料列表分配到資料佇列中。參考圖4所示,資料分配模組101建立了兩個資料佇列,其中,資料佇列1用於存放資料列表List1及資料列表List3,以及資料佇列2用於存放資料列表List2及資料列表List4。
步驟S23,索引建立模組102針對每一個資料佇列中的資料列表建立一個資料子索引。參考圖3所示,索引建立模組102為資料佇列1建立子索引1,為資料佇列2建立子索引2,以及為資料佇列3建立子索引3。
步驟S24,索引建立模組102還用於將已建立的資料子索引保存在儲存設備11中,並將該資料列表從相應的資料佇列中移除。參考圖4所示,當資料佇列1中的資料列表List1已建立了子索引1時,索引建立模組102將資料列表List1從資料佇列1中移除,以便釋放系統運算資源。
步驟S25,優先處理模組103檢查資料列表池中是否有資料列表需要優先處理。若資料列表池中有需要優先處理的資料列表,流程執行步驟S26;若資料列表池中沒有優先處理的資料列表,流程執行步驟S28。
步驟S26,優先處理模組103從資料列表池中獲取優先權級別最高的資料列表,並將該資料列表移入空閒的資料佇列中優先處理。參考圖4所示,資料列表List0的需要優先處理,其優先權級別為最高,優先處理模組103將資料列表List0移入資料佇列1中,並插入資料列表List3之前優先處理。
步驟S27,優先處理模組103還用於判斷資料佇列中是否還有資料列表。若資料佇列中還有資料列表,流程返回步驟S23;若資料佇列中沒有資料列表,流程執行步驟S28。
步驟S28,索引合併模組104將所有建立的資料子索引進行合併成一個資料列表池的資料根索引,並將該資料根索引保存在儲存設備11中。參考圖3所示,索引合併模組104將資料佇列1的子索引1、資料佇列2的子索引2、以及為資料佇列3的子索引3進行合併,從而為資料列表池建立一個資料根索引。
以上所述僅為本發明之較佳實施例而已,且已達廣泛之使用功效,凡其他未脫離本發明所揭示之精神下所完成之均等變化或修飾,均應包含於下述之申請專利範圍內。
100...計算裝置
10...資料索引建立系統
101...資料分配模組
102...索引建立模組
103...優先處理模組
104...索引合併模組
11...儲存設備
12...處理器
圖1是本發明海量資料索引建立系統較佳實施例之架構圖。
圖2是本發明海量資料索引建立方法較佳實施例之流程圖。
圖3是一種建立海量資料索引之示意圖。
圖4是一種優先處理資料索引之示意圖。
100...計算裝置
10...資料索引建立系統
101...資料分配模組
102...索引建立模組
103...優先處理模組
104...索引合併模組
11...儲存設備
12...處理器
Claims (10)
- 一種海量資料索引建立系統,安裝並運行於計算裝置中,該計算裝置包括儲存設備,所述之海量資料索引建立系統包括:
資料分配模組,用於從儲存設備的資料列表池中獲取需要建立索引的資料列表,為每一個資料列表設定一個優先權級別,在儲存設備中建立複數資料佇列,並按照優先權級別將獲取的資料列表分配到資料佇列中;
索引建立模組,用於針對每一個資料佇列中的資料列表建立一個資料子索引,將已建立的資料子索引保存在儲存設備中,並將該資料列表從相應的資料佇列中移除;
優先處理模組,用於檢查資料列表池中是否有資料列表需要優先處理,當有資料列表需要優先處理時,從資料列表池中獲取優先權級別最高的資料列表,並將該資料列表移入空閒的資料佇列中優先處理;及
索引合併模組,用於將所有建立的資料子索引合併成一個資料列表池的資料根索引,並將該資料根索引保存在儲存設備中。 - 如申請專利範圍第1項所述之海量資料索引建立系統,其中,所述之優先處理模組還用於判斷資料佇列中是否還有資料列表需要建立索引。
- 如申請專利範圍第1項所述之海量資料索引建立系統,其中,所述之資料分配模組將資料列表池中需要優先處理的資料列表的優先權級別設為最高級,並按照資料列表的檔案名稱依次設置資料列表池中資料列表的優先權級別。
- 如申請專利範圍第1項所述之海量資料索引建立系統,其中,所述之資料列表池包括複數資料列表,每一資料列表儲存有用於識別不同類別資料的資料序號,並分別對應儲存在儲存設備中的資料。
- 如申請專利範圍第1項所述之海量資料索引建立系統,其中,所述之儲存設備為一種磁碟或網路儲存裝置,用於儲存資料列表池、資料佇列以及海量資料。
- 一種海量資料索引建立方法,應用於計算裝置中,該計算裝置包括儲存設備,該方法包括步驟:
從儲存設備的資料列表池中獲取需要建立索引的資料列表,並為每一個資料列表設定一個優先權級別;
在儲存設備中建立複數資料佇列,並按照優先權級別將獲取的資料列表分配到資料佇列中;
針對每一個資料佇列中的資料列表建立一個資料子索引;
將已建立的資料子索引保存在儲存設備中,並將該資料列表從相應的資料佇列中移除;
檢查資料列表池中是否有資料列表需要優先處理;
當有資料列表需要優先處理時,從資料列表池中獲取優先權級別最高的資料列表,並將該資料列表移入空閒的資料佇列中優先處理;及
將所有建立的資料子索引合併成一個資料列表池的資料根索引,並將該資料根索引保存在儲存設備中。 - 如申請專利範圍第6項所述之海量資料索引建立方法,該方法還包括步驟:
判斷資料佇列中是否還有資料列表需要建立索引;
當資料佇列中還有資料列表需要建立索引時,針對該資料佇列中的資料列表建立一個資料子索引。 - 如申請專利範圍第6項所述之海量資料索引建立方法,其中,所述之需要優先處理的資料列表的優先權級別設為最高級,資料列表池中剩餘資料列表的優先權級別按照資料列表的檔案名稱來設置。
- 如申請專利範圍第6項所述之海量資料索引建立方法,其中,所述之資料列表池包括複數資料列表,每一資料列表儲存有用於識別不同類別資料的資料序號,並分別對應儲存在儲存設備中的資料。
- 如申請專利範圍第6項所述之海量資料索引建立方法,其中,所述之儲存設備為一種磁碟或網路儲存裝置,用於儲存資料列表池、資料佇列以及海量資料。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW101129451A TWI459223B (zh) | 2012-08-15 | 2012-08-15 | 海量資料索引建立系統及方法 |
US13/961,892 US20140052734A1 (en) | 2012-08-15 | 2013-08-08 | Computing device and method for creating data indexes for big data |
JP2013166106A JP2014038616A (ja) | 2012-08-15 | 2013-08-09 | 大量データのインデックス構築システム及びその構築方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW101129451A TWI459223B (zh) | 2012-08-15 | 2012-08-15 | 海量資料索引建立系統及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201407389A TW201407389A (zh) | 2014-02-16 |
TWI459223B true TWI459223B (zh) | 2014-11-01 |
Family
ID=50100829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW101129451A TWI459223B (zh) | 2012-08-15 | 2012-08-15 | 海量資料索引建立系統及方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20140052734A1 (zh) |
JP (1) | JP2014038616A (zh) |
TW (1) | TWI459223B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105960637B (zh) * | 2013-11-28 | 2020-09-11 | 英特尔公司 | 基于块的索引技术 |
US9886448B2 (en) * | 2013-12-06 | 2018-02-06 | Media Gobbler, Inc. | Managing downloads of large data sets |
CN107391527B (zh) | 2017-03-28 | 2020-03-27 | 创新先进技术有限公司 | 一种基于区块链的数据处理方法及设备 |
CN113282659A (zh) * | 2017-03-28 | 2021-08-20 | 创新先进技术有限公司 | 一种基于区块链的数据处理方法及设备 |
CN107894997B (zh) * | 2017-10-19 | 2021-10-12 | 苏州工业大数据创新中心有限公司 | 工业时序数据的查询处理方法及系统 |
CN107908714B (zh) * | 2017-11-10 | 2021-05-04 | 上海达梦数据库有限公司 | 一种数据归并排序方法及装置 |
US11030204B2 (en) | 2018-05-23 | 2021-06-08 | Microsoft Technology Licensing, Llc | Scale out data storage and query filtering using data pools |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW335469B (en) * | 1995-10-17 | 1998-07-01 | Citibank Na | Sales process support system and method the invention relates to sales process support system and method |
TW348238B (en) * | 1997-09-01 | 1998-12-21 | Inventec Corp | Fast indexing data structure and interrogating method thereof |
US20040225865A1 (en) * | 1999-09-03 | 2004-11-11 | Cox Richard D. | Integrated database indexing system |
US20070073655A1 (en) * | 2005-09-29 | 2007-03-29 | Ncr Corporation | Enhancing tables and SQL interaction with queue semantics |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5727197A (en) * | 1995-11-01 | 1998-03-10 | Filetek, Inc. | Method and apparatus for segmenting a database |
JP3254642B2 (ja) * | 1996-01-11 | 2002-02-12 | 株式会社日立製作所 | 索引の表示方法 |
JP2001142757A (ja) * | 1999-11-16 | 2001-05-25 | Osaka Gas Co Ltd | 処理対象ファイルの付名方法 |
US20020143907A1 (en) * | 2001-03-30 | 2002-10-03 | Matsushita Electric Industrial Co., Ltd. | Data acquiring apparatus, downloading server and trigger server |
US7739314B2 (en) * | 2005-08-15 | 2010-06-15 | Google Inc. | Scalable user clustering based on set similarity |
JP2007310552A (ja) * | 2006-05-17 | 2007-11-29 | Matsushita Electric Ind Co Ltd | インデクス作成装置、集積回路、インデクス作成方法及びインデクス作成プログラム |
US8055645B1 (en) * | 2006-12-15 | 2011-11-08 | Packeteer, Inc. | Hierarchical index for enhanced storage of file changes |
US8095541B2 (en) * | 2008-04-30 | 2012-01-10 | Ricoh Company, Ltd. | Managing electronic data with index data corresponding to said electronic data |
JP5171904B2 (ja) * | 2010-09-06 | 2013-03-27 | ヤフー株式会社 | 分散処理システム及び分散処理方法 |
JP2012083845A (ja) * | 2010-10-07 | 2012-04-26 | Canon Inc | クラウドコンピューティングシステム、情報処理方法及びプログラム |
-
2012
- 2012-08-15 TW TW101129451A patent/TWI459223B/zh not_active IP Right Cessation
-
2013
- 2013-08-08 US US13/961,892 patent/US20140052734A1/en not_active Abandoned
- 2013-08-09 JP JP2013166106A patent/JP2014038616A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW335469B (en) * | 1995-10-17 | 1998-07-01 | Citibank Na | Sales process support system and method the invention relates to sales process support system and method |
TW348238B (en) * | 1997-09-01 | 1998-12-21 | Inventec Corp | Fast indexing data structure and interrogating method thereof |
US20040225865A1 (en) * | 1999-09-03 | 2004-11-11 | Cox Richard D. | Integrated database indexing system |
US20070073655A1 (en) * | 2005-09-29 | 2007-03-29 | Ncr Corporation | Enhancing tables and SQL interaction with queue semantics |
Also Published As
Publication number | Publication date |
---|---|
TW201407389A (zh) | 2014-02-16 |
US20140052734A1 (en) | 2014-02-20 |
JP2014038616A (ja) | 2014-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI459223B (zh) | 海量資料索引建立系統及方法 | |
KR101791594B1 (ko) | 저장 네트워크 내의 저장 관리 | |
CN103797462B (zh) | 一种创建虚拟机的方法和装置 | |
US7987467B2 (en) | Scale across in a grid computing environment | |
US9027028B2 (en) | Controlling the use of computing resources in a database as a service | |
US9477460B2 (en) | Non-transitory computer-readable storage medium for selective application of update programs dependent upon a load of a virtual machine and related apparatus and method | |
KR102182295B1 (ko) | 하드웨어 기반 태스크 스케쥴링 장치 및 방법 | |
CN105988872A (zh) | 一种cpu资源分配的方法、装置及电子设备 | |
EP2608029A1 (en) | Method and system for managing resources among different clients for an exclusive use | |
JP2013501298A5 (zh) | ||
JP2012089111A5 (zh) | ||
JP2017507572A5 (zh) | ||
JP2014506345A5 (zh) | ||
CN102279730A (zh) | 一种并行的数据处理方法、装置和并行的数据处理系统 | |
JP2008507015A5 (zh) | ||
CN103365718A (zh) | 一种线程调度方法、线程调度装置及多核处理器系统 | |
WO2016074130A1 (zh) | 一种系统调用命令的批处理方法及装置 | |
CN104683408A (zh) | OpenStack云计算管理平台建立虚拟机实例的方法和系统 | |
WO2016188102A1 (zh) | 作业处理方法及装置 | |
JP2013140593A5 (zh) | ||
CN105677744A (zh) | 一种文件系统中提高服务质量的方法和装置 | |
JP2008090507A (ja) | ジョブ実行のスケジューリングプログラム、ジョブ実行のスケジューリング方法、ジョブ実行のスケジューリング装置 | |
JP2014228983A (ja) | 作業管理装置、作業管理方法及びコンピュータプログラム | |
US9170839B2 (en) | Method for job scheduling with prediction of upcoming job combinations | |
EP3200083B1 (en) | Resource scheduling method and related apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |