TWI387892B - Data warehouse data update method - Google Patents

Description

資料倉儲資料更新方法

本發明係關於一種資料倉儲資料更新方法，特別是指資料倉儲在資料擷取轉換載入與前端應用程式資料存取的更新方法。

目前為有效的決策資訊取決於資料倉儲資料的正確性與即時性，資料擷取轉換載入程序(ETL)，也就是數據倉庫的數據抽取(Extraction)、轉換(Transformation)及載入(Loading)的過程；其流程係將資料載入資料倉儲系統中，但同時間前端應用程式也在存取資料，因此資料一致性的問題和資料即時性的問題就會產生。

資料存取更新的問題，經常造成後前端應用程式資料存取的錯亂或是互相等待目前常用的方式是儘量等前端應用程式沒進行存取的時間去進行資料載入，或是等ETL資料載入資料倉儲後，前端應用程式才允許進行存取。

由此可見，上述習用方式會造成ETL作業會等待前端應用程式存取完成才能進行後續資料的轉換與載入實非一個完善之設計，而亟待加以改良。

本案發明人鑑於上述習用方式所衍生的各項缺點，乃亟思加以改良創新，並經多年苦心孤詣潛心研究後，終於成功研發完成本件資料倉儲資料更新方法。

本發明之目的即在於提供一種資料倉儲資料更新方法，以解決從來源資料檔的轉換載入資料倉儲，到前端應用程式存取資料倉儲之問題，讓資料倉儲提供前端應用程式正確與即時的資料存取。

本發明之另一目的即在於提供一種資料倉儲資料更新方法，以解決資料載入資料倉儲之前或之後，前端應用程式才允許進行存取的問題。

達成上述發明目的之資料倉儲資料更新方法，分成二大部份：1.資料改版(Data Revision)是針對ETL載入的資料做版本的複製；2.資料更新(Data Refresh)是根據複製版本的資料與目前前端使用者存取狀況，將資料做更新。

請參閱圖一所示，係為本發明資料倉儲資料更新方法之系統架構圖，係包括：一來源資料檔1，係將資料輸入至ETL流程模組2；一ETL流程模組2，該ETL流程模組2包括資料轉換模組21及資料載入模組22，係接收來源資料檔1，將資料做轉換並載入至資料倉儲模組3；一資料倉儲模組3^， 該資料倉儲模組3包括資料改版模組 31、資料更新模組32及資料表格33，其中該資料改版模組31係接收ETL流程模組2之資料載入模組22載入之資料透過資料改版模組31，進行版本複製，也就是複製此次ETL流程模組2執行完成的資料，完成此動作後，其後續的ETL流程模組2之工作可進行新資料檔案的轉換與載入，再由定期排程去啟動資料更新模組32，檢查是否有資料載入，如有會進行資料更新32的動作，並將資訊載入至資料表格33，使前端應用程式4做資料存取；一前端應用程式4，該前端應用程式4包括前端使用者42或前端伺服器41等，其中該前端使用者42或前端伺服器41係透過前端應用程式4至資料倉存之資料表格33做資料存取；該前端使用者42與前端伺服器41可為複數。

請參閱圖二所示，係為本發明資料倉儲資料更新方法之資料改版模組架構圖，其與圖一差異之處，在於該ETL流程模組2將資料傳送到階段處理資料庫34做資料改版動作，該階段處理資料庫34，係包括：一主要資料表格341，係將此次ETL流程模組2的執行完成資料，傳遞至主要表格341進行版本的複製，並複製到凍結表格342中；一凍結表格342，係將傳遞至主要表格341之ETL2執行完成的資料，進行版本的複製，並複製在凍結表格342中 接下來ETL流程模組2的作業可以繼續執行其動作，其資料會更新至客戶主要資料表格341中。

請參閱圖三所示，係為本發明資料倉儲資料更新方法之資料更新模組32架構圖，其與圖一及圖二差異之處，在於該階段處理資料庫34，對凍結表格342做資料更新32動作，該階段處理資料庫34，係包括：一緩衝資料表格331,係由定期排程去啟動資料更新模組32去檢查凍結表格342是否有資料，如有會進行資料更新的動作，將凍結表格複製完整一份資料到緩衝表格331，透過獨佔鎖定333，試著互換欲更新上線表格332資料；一獨佔鎖定333，係緩衝資料表格331，透過獨佔鎖定333，試著去取得欲更新上線表格332；獨佔鎖定333即無人存取上線表格，也就是禁止其他人存取此表格資料，如取得權限後則必需先更改上線表格332的名字為暫存表格，並移除上線表格332，再更改緩衝表格331的名字為上線表格332，最後再移除暫存表格；由於表格的移除與更名動作，對資料庫的處理是快速的，因此不會影響其前端應用資料的存一上線資料表格332，係藉由獨佔鎖定333，與緩衝資料表格331互換資料

請參考圖四所示，係為本發明資料倉儲資料更新方法之 流程圖，其流程步驟包括：步驟1：一開始，先確認客戶凍結資料表是否有資料101，如無資料，則結束程序步驟2：如果客戶凍結資料表有資料則會先去判斷是否取得客戶上線資料表格的獨佔鎖定權限103，才能進行接下來動作，並利用互換的方式快速更新上線表格資料如取不到上線表格的獨佔鎖定，則會判斷是否三次皆未取得102，如果三次都沒取得，則會等下次資料更新模組啟動時，再去執行；步驟3：如果三次內取得表格鎖定，則複製凍結資料表格一份完整的資料到緩衝資料表格104步驟4：再利用互換的方式將緩衝資料表格更新成上線資料表格105，執行完後結束程序

本發明所提供之資料倉儲資料更新方法，與其他習用技術相互比較時，更具備了其優點：本發明具備可提供各資料庫平台，在從檔案進行ETL的動作，由於處理的複雜度與大量資料筆數，讓ETL的執行是很耗時間，因此，切斷了ETL的執行和資料倉儲前端使用者之間的關係，不會因前端使用者在存取而需暫停ETL的作業或因資料載入資料倉儲中而導致前端使用存取到錯誤資料等儘而加速整資料提供的速度。

上列詳細說明係針對本發明之一可行實施例之具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

綜上所述，本案不但在技術思想上確屬創新，並能較習用物品增進上述多項功效，應已充分符合新穎性及進步性之法定發明專利要件，爰依法提出申請，懇請貴局核准本件發明專利申請案，以勵發明，至感德便

1‧‧‧來源資料檔

2‧‧‧ETL流程模組

21‧‧‧資料轉換模組

22‧‧‧資料載入模組

3‧‧‧資料倉儲

31‧‧‧資料改版模組

32‧‧‧資料更新模組

33‧‧‧資料表格

4‧‧‧前端應用程式

41‧‧‧前端伺服器

42‧‧‧前端使用者

34‧‧‧階段處理資料庫

341‧‧‧主要資料表格

342‧‧‧凍結資料表格

331‧‧‧緩衝資料表格

332‧‧‧上線資料表格

圖一為本發明資料倉儲資料更新方法之系統架構圖；圖二為本發明資料倉儲資料更新方法之資料改版模組架構圖；圖三為本發明資料倉儲資料更新方法之資料更新模組架構圖；以及圖四為本發明資料倉儲資料更新方法之流程圖。

1‧‧‧來源資料檔

2‧‧‧ETL流程模組

21‧‧‧資料轉換模組

22‧‧‧資料載入模組

3‧‧‧資料倉儲

31‧‧‧資料改版模組

32‧‧‧資料更新模組

33‧‧‧資料表格

4‧‧‧前端應用程式

41‧‧‧前端伺服器

42‧‧‧前端使用者

Claims (3)

1. 一種資料倉儲資料更新方法，其中該步驟包括：步驟1：定義主要資料表格、凍結資料表格、緩衝資料表格和上線資料表格的資料倉儲資料更新之處理步驟；步驟2：資料改版步驟，針對資料擷取轉換載入程序載入的資料做版本的複製；步驟3：資料更新步驟，根據複製版本的資料與目前前端使用者與前端伺服器存取狀況，將資料做更新，其步驟包括：步驟a：將資料由凍結資料表格複製完整一份資料到緩衝資料表格中；步驟b：取得欲更新之上線資料表格的獨佔鎖定來判斷是否可以更新目前資料；步驟c：在取得獨佔鎖定的權限後，更改上線資料表格的名字為暫存資料表格；步驟d：移除上線資料表格；步驟e：進行更改緩衝資料表格為上線資料表格；步驟f：再移除暫存資料表格。
2. 如申請專利範圍第1項所述之資料倉儲資料更新方法，其中該步驟2之資料改版步驟包括：步驟1：將資料倉儲資料擷取轉換載入程序完成之資料載入主要表格中； 步驟2：再透過改版將資料複製一份至凍結資料表格之模組，使之後續處理資料擷取轉換載入程序資料，累積或更新在主要資料表格。
3. 如申請專利範圍第1項所述之資料倉儲資料更新方法，其中該步驟3之前端使用者與前端伺服器可為複數。