TWI693525B - 雲端大數據資料庫快捷建立索引系統 - Google Patents

Abstract

本發明提出雲端大數據資料庫快捷建立索引系統，電訊連接部屬於雲端之非關聯式資料庫，供以查詢並建立索引，包含應用交換模組、資料交換模組、第一處理模組、第二處理模組及整合處理模組。應用交換模組接收使用者輸入之查詢字串並提示結果索引表。資料交換模組存有暫存索引表。第一處理模組計算查詢字串並產生查詢指令而計算暫存索引表，用以比其是否具有與查詢指令相符之資料。當肯定時，第一處理模組產生快取索引表；當否定時，第一模組產生建立指令，以供第二處理模組計算非關聯式資料庫，產生新建索引表。整合處理模組計算快取索引表及新建索引表，產生結果索引表。藉此大幅加速建立索引效率。

Description

雲端大數據資料庫快捷建立索引系統

本發明係關於一種快速建立索引的系統，特別是針對雲端大數據資料庫建立索引。

隨著電腦的演進，紙本或各種類比資訊轉為數位訊，並在電腦中以數位檔案之型式保存，且使用者能對這些資料執行擷取、刪除、修改甚至新增等操作。使用者將資料以一定的方式儲存在特定的區塊，並與其他應用程式為獨立的資料集合，即為資料庫。隨後針對資料庫的存取而發展出資料庫管理系統(Database management system, DBMS)，為管理資料庫的軟體系統，以供擷取或保障資料庫中的數據資料。目前的架構是將資料庫管理系統電訊連接資料庫，以直接存取其中的資料。

因此，在現行的架構下，使用者在撈取或統計資料時，資料擷取路徑為使用者端至資料庫管理系統，再下至資料庫中逐一搜索其中需要擷取的資料，並原路徑回使用者端。其中，使用者端會輸入查詢指令(query)以指示電腦依需求將資料進行排序或統計。但是，上述的作業時間很緩慢，且資料庫的硬體讀寫次數因此增加而造成其使用壽命下降。

有鑑於此，本發明團隊感其現今作法未臻完善而竭其心智苦心思索，並憑其從事該項研究多年之經驗累積，終而提出一種雲端大數據資料庫快捷建立索引系統，以期改善上述習知技術之缺失。

鑑於上述之問題，本發明之目的旨在提供一種雲端大數據資料庫快捷建立索引系統，透過建立新的索引架構系統，能查詢部屬於雲端的大數據資料庫中的數據資料，藉此提升索引建立的效率，進而增進後續撈取或統計資料的效率。

為達上述目的，本發明提出一種雲端大數據資料庫快捷建立索引系統，其係電訊連接一部屬於雲端之非關聯式資料庫及一使用者服務系統，供以查詢並建立索引，包含一應用交換模組、一資料交換模組、一第一處理模組、一第二處理模組及一整合處理模組。該應用交換模組電訊連接該使用者服務系統，以供接收由該使用者服務系統輸入之一查詢字串，及供以提示該使用者服務系統一結果索引表。該資料交換模組電訊連接該非關聯式資料庫並存有至少一暫存索引表，且該暫存索引表之欄位資料係關聯於該非關聯式資料庫之紀錄資料。該第一處理模組電訊連接該資料交換模組及該應用交換模組，該第一處理模組接收並計算該查詢字串而產生一查詢指令，該查詢指令包含至少一關鍵欄位及至少一排序條件。該第一處理模組依照該查詢指令計算該暫存索引表，用以比對該暫存索引表是否具有與該關鍵欄位相同之資料，係而產生一快取索引表或一建立指令或其組合。其中，當該暫存索引表中具與該關鍵欄位相同之資料時，該第一處理模組依照該查詢指令計算該暫存索引表並產生該快取索引表；而當該暫存索引表不具與該關鍵欄位相同之資料時，該第一處理模組產生該建立指令。該第二處理模組電訊連接該資料交換模組、該第一處理模組及該非關聯式資料庫，該第二處理模組接收該建立指令及該查詢指令並依照該查詢指令計算該非關聯式資料庫，係而產生該新建索引表。該整合處理模組電訊連接該第一處理模組、該第二處理模組、該資料交換模組及該應用交換模組，接收並依照該查詢指令計算該快取索引表或該新建索引表或其組合，係而產生該結果索引表，且該結果索引表之欄位資料係關聯於該非關聯式資料庫之紀錄資料，供以回傳至該應用交換模組。因此，透過計算該應用交換模組中的該暫存索引表，直接建立索引表單，用以避免直接進入該非關聯式資料庫進行操作而造成系統運作效能下降。藉此大幅加速建立索引，進而提升使用者撈取或統計資料。

更進一步，該資料交換模組接收該結果索引表並計算該結果索引表及該暫存索引表，係而更新該暫存索引表。如此一來，該資料交換模組能依照使用者最近指示之該查詢字串而相對產生的該結果索引表，取代而更新原本的該暫存索引表，以提升下次建立索引的效率。

並且，該雲端大數據資料庫快捷建立索引系統支援非同步編程(Asynchronous programming)以建立索引，藉由減少本系統中各模組之間同步協調通訊，以降低建立索引過程的負擔，並更利於使用者操作。其中，該應用交換模組供以同時或不同時接收多個相同或相異之該等查詢字串，且該整合處理模組係依照相對應之該等查詢指令計算而產生該等結果索引表，並使該應用交換模組提示該使用者服務系統該等結果索引表。

較佳者，該資料交換模組存有多個該等暫存索引表。當相異之該等暫存索引表中具有與該關鍵欄位相同之資料時，該第一處理模組計算以合併(Join)前述之該等暫存索引表，係而產生一合併資料表。因此，該合併資料表具有與該等關鍵欄位相同的資料，以供該第一處理模組依照該查詢指令計算該合併資料表而產生該快取索引表。藉此，對於與該等關鍵欄位相同的資料係散佈於不同的該等暫存索引表中時，能提升建立索引的效率。

另外，該雲端大數據資料庫快捷建立索引系統支援篩選索引(Filtered index)，以對使用者經常使用的該查詢字串建立索引，更增進建立索引之效率。其中，該暫存索引表更具有至少一標記欄位，且該標記欄位之資料係關聯於該非關聯式資料庫之紀錄資料。並當該關鍵欄位指向該標記欄位時，該第一處理模組依照該查詢指令計算該標記欄位，而產生該快取索引表或該建立指令或其組合。

更進一步，該暫存索引表、該快取索引表、該新建索引表及該結果索引表之數據結構係為平衡樹(B tree)。藉此，利用平衡數具有良好的數據次序性，以利該雲端大數據資料庫快捷建立索引系統更快速擷取其中的數據。

綜上所述，本發明所提出之雲端大數據資料庫快捷建立索引系統，能針對部屬於雲端的該非關聯式資料庫查詢並建立索引，特別能快速提升建立索引的效率。其中，透過該資料交換模組能利用該暫存索引表，快速比對其中的欄位資料以及該關鍵欄位，以利建立該快取索引表。藉此，使用者能避免傳統的架構中對資料庫的存取負擔，並大幅提升建立索引的效率。

為使 貴審查委員能清楚了解本發明內容，僅以下列文字搭配圖示說明。

近期因為大數據(Big data)興起，且雲端(Cloud)的開發，資料庫及相對應的資料庫管理系統的架構隨之改變。在大數據資料庫中，需要大量讀寫資料，且為持續而不間斷地進行，資料又具有許多不同的格式。另外，資料庫依照儲存的資料格式及適用的語言而分為關聯式資料庫(Relational database)及非關聯式資料庫(Non relational database, NoSQL)。更進一步，大數據資料庫因持續擴增數據資料，若以傳統以關聯式資料庫為系統架構，則會需要以極高性能的硬體設備及伺服器支援，而造成開發成本高，以及後續的維護成本亦提升。

本發明人為了因應大數據資料庫以及雲端應用，遂而建立新的系統架構，包含架設於雲端的大數據資料庫、應用服務層系統以及使用者介面系統，並以非關聯式資料庫作為大數據資料庫，以供應用服務層系統至資料庫中存取大數據資料，並回傳至使用者介面系統。請參閱圖1及圖2，為本發明較佳實施例之系統方塊圖及系統流程圖。如圖所示，本發明提出一種雲端大數據資料庫快捷建立系統1，作為應用服務層系統，並電訊連接一部屬於雲端之非關聯式資料庫2及一使用者服務系統3，分別作為大數據資料庫及使用者介面系統。其中，利用該非關聯式資料庫2具有良好水平擴充資料庫容量的特性，能架設於成本較低的電腦設備(圖中未示)及伺服器(圖中未示)中，並同時具有TB或PB等級的大型資料庫容量。並於本實施例中，該非關聯式資料庫2使用的是業界上線的資料庫，如Facebook開發的Cassandra系統，能夠動態擴充新的資料列(Column Families)，並具有良好的可延伸性及效能，且支援多支援結構化查詢語言(Structured query language, SQL)。

使用者能夠過該使用者服務系統3查詢、分析、更新、新增或刪改該非關聯式資料庫2中的資料，並利用SQL定義所需的資料欄位及其排序與篩選條件，以供系統建立索引(Index)。索引包含多個欄位，且部分的欄位中會存放資料庫中的地址，並以一定的方式排序，進而加速資料庫找到所需的資料。因此，使用者下達的指令越簡潔且明確，於該使用者服務系統3取得所需的資料的效率越高。本發明則係部屬於如圖中的系統架構下，並非單純提出一種能快速取得索引的系統，而是針對索引的建立方式進行改良所架設的系統，以加速索引建立的效率，進而提升使用者取得相對應資料的效率。

請再參閱圖1及圖2，該雲端大數據資料庫快捷建立索引系統1包含一應用交換模組10、一資料交換模組11、一第一處理模組12、一第二處理模組13及一整合處理模組14。該應用交換模組10電訊連接該使用者服務系統3，作為與該使用者服務系統3通訊的交流平台，以供接收由該使用者服務系統3輸入之一查詢字串，及供以提示該使用者服務系統3一結果索引表。另外，該資料交換模組11電訊連接該非關聯式資料庫2，並存有至少一暫存索引表。該第一處理模組12電訊連接該資料交換模組11及該應用交換模組10，並接收且計算該查詢字串而產生該查詢指令。該第一處理模組12依照不同的條件狀況而計算產生一快取索引表或一建立指令或其組合，而該建立指令係傳送至該第二處理模組12。該第二處理模組12電訊連接該資料交換模組11、該第一處理模組12及該非關聯式資料庫2，且於特定條件下生成一新建索引表。並且，該整合處理模組14電訊連接該第一處理模組12、該第二處理模組13、該資料交換模組11及該應用交換模組10，接收該快取索引表或該新建索引表或其組合而生成該結果索引表，並將該結果索引表傳送至該應用交換模組10。

更進一步，本系統涉及的各種索引表皆為索引表單(Table)，包含該暫存索引表、該快取索引表、該新建索引表及該結果索引表。該暫存索引表為該資料交換模組11依照預設的資料欄位以及其排序與篩選條件，計算該非關聯式資料庫2中的資料而產生之索引表單(Table)。因此，該暫存索引表之欄位資料係關聯於該非關聯式資料庫2之紀錄資料。另外，該快取索引表為由該暫存索引表中擷取後排序或刪除而產生的索引表單，而該新建索引表則重新計算該非關聯式資料庫2而的產生的索引表單。

該雲端大數據資料庫快捷建立系統1的詳細應用流程，請參閱下述說明。當使用者於該使用者服務系統3輸入該查詢字串(步驟S1)，該應用交換模組10接收該查詢字串(步驟S2)，且接著該第一處理模組12接收並計算該查詢字串，係而產生該查詢指令(步驟S3)。舉例來說，使用者為了撈取並同時以特定條件篩選或分析該非關聯式資料庫2中的檔案資料，而使用SQL語言輸入該查詢字串。該查詢字串會傳送至該應用交換模組10，並接續傳送至該第一處理模組12而將查詢語言(Query language)轉換成組合語言(Assembly language)或機器語言(Machine language)，因此生成該查詢指令。該查詢指令包含至少一關鍵欄位及至少一排序條件，即相對應於該查詢字串所述的目標檔案資料與特定條件。較佳者，該關鍵欄位及該排序條件分別以複數設置為舉例說明。

建立索引時，首先，該第一處理模組12依照該查詢指令計算該暫存索引表(步驟S4)，用以比對該暫存索引表中的欄位資料是否有跟該等關鍵欄位相同的資料(步驟S5)。是以，該第一處理模組12會先在該資料交換模組11的該暫存索引表中尋找目標檔案資料，而非直接前往資料庫尋找，以大幅節省處理時間與消耗功率。並當該暫存索引表具有與該等關鍵欄位相同之資料時，該第一處理模組12依照該查詢指令計算該暫存索引表，並產生該快取索引表(步驟S6)。反之，該第一處理模組12產生該建立指令(步驟S7)，以驅動該第二處理模組13。另一方面，或當該暫存索引表中僅具部分該等關鍵欄位之資料，而有部分的該等關鍵欄位在該暫存索引表中找不到時，該第一處理模組12同時執行而產生該快取索引表以及該建立指令。

接續步驟S7，當該第一處理模組12在該資料交換模組11中找不到目標檔案資料時，利用該建立指令通知該第二處理模組13，使該第二處理模組13至該非關聯式資料庫2中建立新的索引表單。也就是，該第二處理模組13接收該建立指令及該查詢指令(步驟S8)，該第二處理模組13依照該查詢指令計算該非關聯式資料庫2，並產生該新建索引表(步驟S9)。

最後，該整合處理模組14接收該快取索引表或該新建索引表或其組合(步驟S10)，且該整合處理模組14依照該查詢指令計算該快取索引表或該新建索引表或其組合，係而產生該結果索引表(步驟S11)。因此，該結果索引表中的欄位資料為關聯於該非關聯式資料庫2的紀錄資料，也就是說，該結果索引表單為使用者輸入該查詢字串後，本發明依照需求而回饋生成的索引表單。該結果索引表係回傳至該應用交換模組10，以供提示該使用者服務系統3(步驟S12)。如此一來，利用二階段的模組以建立索引，並架設該資料交換模組11以作為初階段建立索引時的較小型資料庫。而當該資料交換模組11中沒有目標檔案資料時，方進入該非關聯式資料庫2中撈取，並於最後階段整合建立索引。較佳者，該資料交換模組11中存放的該暫存索引表為一種索引表單，因此其容量小而可加速運算效率。特別是藉由該第一處理模組12先行計算該暫存索引表，而可避免在該非關聯式資料庫2中計算資料造成的重大負擔。藉此，能大幅加速建立索引，進而提升使用者撈取或統計資料。

更進一步，該雲端大數據資料庫快捷建立索引系統1會於一定時間，清除各模組的垃圾檔案，包含暫存且不具資料性的資料檔案如副檔名為.TMP或.tmp.cvr之暫存檔，以維持各模組的運算效率。較佳者，當該結果索引表回傳至該應用交換模組10，該結果索引表同時也會傳送至該資料交換模組11，以供該資料交換模組11計算而更新以取代原本存放的該暫存索引表。因此，最新的索引表單能存放於該資料交換模組11，以供下次使用者若輸入相同或類似的該查詢字串，能更快速建立索引。

並且，該雲端大數據資料庫快捷建立索引系統1中的各模組為獨立運算的模組單元，且各模組在運作過程中不需要互相通訊協調。是以，該雲端大數據資料庫快捷建立索引系統1支援非同步編程(Asynchronous programming)。其中，該應用交換模組10能同時或不同時接收多個相同或相異之該等查詢字串，且該整合處理模組14依照相對應之該等查詢指令計算而產生該等結果索引表，並使該應用交換模組10提示該使用者服務系統3該等結果索引表。舉例來說，當使用者輸入該查詢字串後，在等待接收對應的該結果索引表時間內，使用者可以再輸入另一該查詢字串，各模組能因應該等查詢字串而運算的過程中不會相互干擾。其中，該資料交換模組11不會等待前一該查詢字串處理完畢後，以前一該結果索引表更新該暫存索引表後，再接續使該第一處理模組12或該第二處理模組13運算後一該查詢字串的編程。又或者，當二個不同的使用者同時輸入不同的該等查詢字串，各模組也不會相互協調去決定該等查詢字串的運算先後次序，使各個使用者之間對本系統的編程處理不會相互干擾。是以，在特定期間中，以現存有的該暫存索引表及該非關聯式資料庫2為數據資料，各模組會依照該等查詢指令運算而產生對應的該等結果索引表。因此，執行索引表單的新增(Create)、插入(Insert)、更新(Update)或刪除(Delete)等處理時間大幅下降。藉此提升各模組的運算效率，進而使使用者的等待時間下降，以更方便使用。

更進一步，該暫存索引表、該快取索引表、該新建索引表及該結果索引表之數據結構為平衡樹(B tree)。平衡樹結構包含一個根節點、由根節點展開的對稱中繼層節點，以及中繼層節點下層的一個或多個分葉節點(Leaf)。另一方面，前述之索引表單的索引類型可為叢集索引(Cluster index)、非叢集索引(Non cluster index)、篩選索引(Filtered index)、插件索引(Plugin index)或任組合。較佳者，上述之索引表單中同時具有非叢集索引及叢集索引，其中的分葉節點之鍵值(Leaf key)僅存放指標(Pointer)而不進行排序，且指標係指向叢集索引或資料在該非關聯式資料庫2中的真實地址。因此，分葉節點之鍵值能儲存更多的非排序資料，以減少各模組運算時讀取索引表單的時間。藉此，利用平衡數具有良好的數據次序性，以利該雲端大數據資料庫快捷建立索引系統1更快速擷取其中的數據。

接續上述之說明，該雲端大數據資料庫快捷建立索引系統1亦支援篩選索引(Filtered index)，以針對使用者經常使用的該查詢字串，能更快速建立索引。其中，該暫存索引表更具有至少一標記欄位(圖中未示)，該標記欄位為特定的類別條件，且其係關聯於該非關聯式資料庫2之紀錄資料。如此一來，當該關鍵欄位指向該標記欄位時，該第一處理模組12依照該查詢指令計算該標記欄位，而產生該快取索引表或該建立指令或其組合。

或於另一種實施方式，該資料交換模組11存有多個該等暫存索引表，且該等暫存索引表為單獨的表單。並在流程圖中的步驟S4，若其中一該暫存索引表具有部分該等關鍵欄位之資料，而同時另一該暫存索引表或部分的該等暫存索引表有其他部分的資料，該第一處理模組12會找到具有該等關鍵欄位資料的該等暫存索引表，並計算前述之該等暫存索引表，使其合併(Join)而產生一合併資料表(圖中未示)。因此，該合併資料表為多個該等暫存索引表合併後的索引表單，接者，該第一處理模組12依照該查詢指令計算該合併資料表，並產生該快取索引表，並接續圖中的步驟S10。藉此，對於與該等關鍵欄位相同的資料係散佈於不同的該等暫存索引表中時，能提升建立索引的效率。

較佳者，該雲端大數據資料庫快捷建立索引系統1也支援自動索引(又稱自動標引, Smart index, Automatic index)。在一段時間中，該第一處理模組11計算成為歷史紀錄的該等查詢指令，並產生新的查詢指令，以使各模組能自動創建、刪除或合併索引表單而運算該查詢指令，最終更新該暫存索引表。藉此使該雲端大數據資料庫快捷建立索引系統1更方便使用，且更智慧化。

綜上所述，本發明所提出之雲端大數據資料庫快捷建立索引系統1，能針對部屬於雲端的該非關聯式資料庫2查詢並建立索引，特別能快速提升建立索引的效率。透過該資料交換模組11計算該暫存索引表，用以快速比對其中的欄位資料以及使用端下達的該關鍵欄位，能快速建立該快取索引表，或藉由該第二處理模組13建立該新建索引表，以供該整合處理模組14產生該結果索引表。較佳者，該雲端大數據資料庫快捷建立索引系統1支援多種索引類型，包含篩選索引、非同步索引及自動索引等，以增進其運作效率。藉此，使用者能避免傳統的架構中對資料庫的存取負擔，並大幅提升建立索引的效率。

惟，以上所述者，僅為本發明之較佳實施例而已，並非用以限定本發明實施之範圍；故在不脫離本發明之精神與範圍下所做之均等變化與修飾，皆應涵蓋於本發明之專利範圍內。

1:雲端大數據資料庫快捷建立索引系統

10:應用交換模組

11:資料交換模組

12:第一處理模組

13:第二處理模組

14:整合處理模組

2:非關聯式資料庫

3:使用者服務系統

S1~S12:步驟

圖1，為本發明較佳實施例之系統方塊圖。 圖2，為本發明較佳實施例之系統流程圖。

無

1:雲端大數據資料庫快捷建立索引系統

10:應用交換模組

11:資料交換模組

12:第一處理模組

13:第二處理模組

14:整合處理模組

2:非關聯式資料庫

3:使用者服務系統

Claims (5)

1. 一種雲端大數據資料庫快捷建立索引系統，其係電訊連接一部屬於雲端之非關聯式資料庫及一使用者服務系統，供以查詢並建立索引，包含：一應用交換模組，其係電訊連接該使用者服務系統，以供接收由該使用者服務系統輸入之一查詢字串，及供以提示該使用者服務系統一結果索引表；一資料交換模組，其係電訊連接該非關聯式資料庫並存有至少一暫存索引表，且該暫存索引表之欄位資料係關聯於該非關聯式資料庫之紀錄資料；一第一處理模組，其係電訊連接該資料交換模組及該應用交換模組，該第一處理模組接收並計算該查詢字串而產生一查詢指令，該查詢指令包含至少一關鍵欄位及至少一排序條件；該第一處理模組依照該查詢指令計算該暫存索引表，用以比對該暫存索引表是否具有與該關鍵欄位相同之資料，係而產生一快取索引表或一建立指令或其組合；其中，當該暫存索引表中具與該關鍵欄位相同之資料時，該第一處理模組依照該查詢指令計算該暫存索引表並產生該快取索引表；而當該暫存索引表不具與該關鍵欄位相同之資料時，該第一處理模組產生該建立指令；其中，該暫存索引表更具有至少一標記欄位，且該標記欄位之資料係關聯於該非關聯式資料庫之紀錄資料，並當該關鍵欄位指向該標記欄位時，該第一處理模組依照該查詢指令計算該標記欄位而產生該快取索引表或該建立指令或其組合；一第二處理模組，其係電訊連接該資料交換模組、該第一處理模組及該非關聯式資料庫，該第二處理模組接收該建立指令及該查詢指令並依照該查詢指令計算該非關聯式資料庫，係而產生該新建索引表；及 一整合處理模組，其係電訊連接該第一處理模組、該第二處理模組、該資料交換模組及該應用交換模組，接收並依照該查詢指令計算該快取索引表或該新建索引表或其組合，係而產生該結果索引表，且該結果索引表之欄位資料係關聯於該非關聯式資料庫之紀錄資料，供以回傳至該應用交換模組。
2. 如申請專利範圍第1項所述之雲端大數據資料庫快捷建立索引系統，其中，該資料交換模組接收該結果索引表並計算該結果索引表及該暫存索引表，係而更新該暫存索引表。
3. 如申請專利範圍第2項所述之雲端大數據資料庫快捷建立索引系統，其中，該應用交換模組供以同時接收多個相同或相異之該等查詢字串，且該整合處理模組係依照相對應之該等查詢指令計算而產生該等結果索引表，並使該應用交換模組提示該使用者服務系統該等結果索引表。
4. 如申請專利範圍第3項所述之雲端大數據資料庫快捷建立索引系統，其中，該資料交換模組存有多個該等暫存索引表；當相異之該等暫存索引表中具有與該關鍵欄位相同之資料時，該第一處理模組計算以合併前述之該等暫存索引表，係而產生一合併資料表，且該第一處理模組依照該查詢指令計算該合併資料表而產生該快取索引表。
5. 如申請專利範圍第1項至第4項其中任一項所述之雲端大數據資料庫快捷建立索引系統，其中，該暫存索引表、該快取索引表及該新建索引表之數據結構係為平衡樹(B tree)。

Images