TWI796943B

TWI796943B - 利用緩存鏡射資料實現高效運算之處理系統

Info

Publication number: TWI796943B
Application number: TW111103675A
Authority: TW
Inventors: 涂怡君; 彭建福; 朱柏昂
Original assignee: 凌群電腦股份有限公司
Priority date: 2022-01-27
Filing date: 2022-01-27
Publication date: 2023-03-21
Also published as: TW202331544A

Abstract

本發明係一種處理系統，係設有一擷取器、至少一管理處理器及一快取記憶器。該擷取器擷取複數個數據而使該快取記憶器分別複製形成至少一鏡射數據。當至少一資料讀取裝置輸出至少一讀取請求時，該管理處理器分析獲知對應請求之數據位置並傳送對應之該鏡射數據。當該資料讀取裝置輸出一編輯請求時，該管理處理器分析獲知對應請求之數據位置而輸出一鑰匙及對應之該鏡射數據予該資料讀取裝置進行編輯，且該管理處理器輸出一異動訊號予該快取記憶器，以同步更新其餘對應之該鏡射數據之異動內容而確保後續資料處理之正確性及高效運算率。

Description

利用緩存鏡射資料實現高效運算之處理系統

本發明係與資料庫系統有關，尤其是一種利用緩存鏡射資料實現高效運算之處理系統，以利用物件關聯對映(Object Relational Mapping,ORM)模式的資料快取技術將Table(表格)載入為物件並存放於記憶體中而達到加速存取的效果。

在資料庫中，交易(Transaction)意指由一連串的各種資料庫操作，諸如select、update、insert等所組成的一個完整的邏輯過程，而為確保Transaction是正確可靠的，所以必須具備四個特性：Atomicity(原子性)、Consistency(一致性)、Isolation(隔離性)及Durability(持續性)，所謂的ACID特性。只是，傳統資料庫一旦出現資料量大量增長時往住出現有存取速度不夠快的問題，且因資料量大增而使分散式系統需大幅擴充時，往往更出現有擴充困難的問題。

因此，習知技藝中，資料庫係透過確保最後資料會達到一致的技術方法來保持分散式資料庫的擴充架構，而在資料尚未同步的期間內，無論是資料伺服器或主機中的資料衝突或遺失等問題，皆需系統管理者自行處理，致使不適合處理要求高度精確性資料的金融相關資料或檔案。有感於此，如何事先複製數據形成鏡射數據，以利用鏡射數據快速且同步地提供予各伺服器或主機的同時，允許各系統管理者直接編輯數據而無需額外的轉譯程式來解決資料衝突等問題，藉以改善上述習知技術之缺失，即本發明所欲探究之課題。

有鑑於上述問題，本發明之目的旨在提供一種實現高效運算需求之資料庫處理系統，以利用緩存鏡射資料之技術手段提供上對多及下對多的資料庫系統架構，且上下端之伺服器或主機設備間的資料處理無需額外轉譯程式即可直接處理，使達大幅提升資料存取效率的效果。

為達上述目的，本發明係揭露一種利用緩存鏡射資料實現高效運算之處理系統，係執行於電訊連接之至少一電子設備及至少一資料讀取裝置中，以供該資料讀取裝置直接讀取該電子設備中複數個數據而提升數據運算效率，其特徵在於：該利用緩存鏡射資料實現高效運算之處理系統係設有一擷取器、至少一管理處理器及至少一快取記憶器，該管理處理器電訊連接該擷取器及該快取記憶器，該擷取器電訊連接該快取記憶器；該擷取器擷取該等數據而使該快取記憶器分別複製形成至少一鏡射數據，當該資料讀取裝置輸出至少一讀取請求予該電子設備時，該管理處理器分析獲知對應請求之數據位置，並驅使該快取記憶器傳送對應之該鏡射數據予該資料讀取裝置；當該資料讀取裝置輸出一編輯請求予該電子設備時，該管理處理器分析獲知對應請求之數據位置而輸出一鑰匙(Token)予該資料讀取裝置，同時，驅使該快取記憶器傳送對應之該鏡射數據予該資料讀取裝置進行編輯，且該管理處理器輸出一異動訊號予該快取記憶器，以同步更新其餘對應之該鏡射數據之異動內容；其中，當該讀取請求為複數接收型態時，該管理處理器匯整請求相同數據位置之請求而獲得一數量，以驅動該快取記憶器複製形成相等該數量之該等鏡射數據並傳送予該資料讀取裝置。

其中，該快取記憶器係設有一數碼產生元件，當該快取記憶器接收該等數據時，該數碼產生元件分析該等數據並編碼形成至少一摘要表格，且該快取記憶器依據該摘要表格分別複製形成該鏡射數據，以供該資料讀取裝置利用該摘要表格直接讀取或編輯各該鏡射數據而無需額外程式轉碼編譯。該管理處理器係設有一同步傳輸元件，且該管理處理器可為複數設置型態而分別運作於該電子設備及該資料讀取裝置中，以於其中一該管理處理器輸出該異動訊號時，該同步傳輸元件傳送該異動訊號予另一該管理處理器之該同步傳輸元件而同步更新該鏡射數據之異動內容。當該編輯請求為複數接收型態時，該管理處理器係匯整請求相同數據位置之請求而獲得一排序，以依據該排序輸出該鑰匙及該鏡射數據而僅允許具該鑰匙之該資料讀取裝置進行編輯。當該編輯請求為複數接收型態且該管理處理器分析獲知對應請求之數據位置皆不同時，分別輸出該鑰匙及對應之各該鏡射數據予各該資料讀取裝置，以供各該資料讀取裝置同時地進行編輯。

並且，該管理處理器係管控該快取記憶器中各該鏡射數據之記憶時間，且該管理處理器判斷於該記憶時間超過一期限值並於期間數據未曾存取過時，驅動該快取記憶器刪除該鏡射數據。當該管理處理器分析該讀取請求或該編輯請求而獲知該快取記憶器已刪除該鏡射數據時，驅動該快取記憶器再次擷取對應之該數據並複製形成該鏡射數據。該管理處理器係設有一跟蹤元件，供記錄形成一數據軌跡(Audit Log)而於系統斷線時供災備復原。該電子設備係為資料庫、伺服器或應用主機；該資料讀取裝置為資料庫、伺服器、應用主機、硬碟或隨身碟。

綜上所述，本發明係利用該擷取器及該快取記憶器擷取並複製來自多種資料庫或主機之該等數據形成該等鏡射數據的同時，產生該摘要表格而使該等鏡射數據可通用於各類型應用主機或伺服器中，使各該資料讀取裝置處理資料時無需建置額外的跳板程式或轉譯程式即可直接編輯處理需求數據，以便利整體資料庫系統網絡中應用主機可直覺式地新增、修改或刪除等編輯單一數據或整筆檔案資料，據此，達高效資料處理效能及高擴充性資料庫系統之效果。再者，該管理處理器係管理該快取記憶器之儲載總量，以限制該等鏡射數據之總量於一限定值內而不致影響該電子設備或該資料讀取裝置之整體處理效能，使達確保整體資料庫系統架構之運行效能之成效。

1:處理系統

10:擷取器

11:管理處理器

110:同步傳輸元件

12:快取記憶器

120:鏡射數據

121:數碼產生元件

1210:摘要表格

2:電子設備

20:數據

3:資料讀取裝置

30:作動請求

第1圖，為本發明一較佳實施例之架構圖。

第2圖，為本發明二較佳實施例之架構示意圖。

第3圖，為本發明二較佳實施例之流程示意圖。

第4圖，為本發明三較佳實施例之架構示意圖。

第5圖，為本發明四較佳實施例之架構示意圖。

為使本領域具有通常知識者能清楚了解本發明之內容，謹以下列說明搭配圖式，敬請參閱。

請參閱第1圖，其係為本發明一較佳實施例之架構圖。如圖所示，該利用緩存鏡射資料實現高效運算之處理系統1係執行於電訊連接之至少一電子設備2及至少一資料讀取裝置3中，而設有一擷取器10、至少一管理處理器11及至少一快取記憶器12，以供該資料讀取裝置3直接讀取該電子設備2中複數個數據20而提升數據運算效率。該管理處理器11電訊連接該擷取器10及該快取記憶器12，該擷取器10電訊連接該快取記憶器12，且該擷取器10擷取該等數據20而使該快取記憶器12分別複製形成至少一鏡射數據120。當該資料讀取裝置3輸出至少一讀取請求予該電子設備2時，該管理處理器11分析獲知對應請求之數據位置，並驅使該快取記憶器12傳送對應之該鏡射數據120予該資料讀取裝置3。當該資料讀取裝置3輸出一編輯請求予該電子設備2時，該管理處理器11分析獲知對應請求之數據位置而輸出一鑰匙予該資料讀取裝置3，同時，驅使該快取記憶器12傳送對應之該鏡射數據120予該資料讀取裝置3進行編輯，且該管理處理器11輸出一異動訊號予該快取記憶器12，以同步更新其餘對應之該鏡射數據120之異動內容。

請參閱第3~6圖，其係分別為本發明二較佳實施例之各示意圖。如圖所示，利用緩存鏡射資料實現高效運算之該處理系統1係執行於彼此電訊連接之至少一電子設備2及至少一資料讀取裝置3中，並設有一擷取器10、至少一管理處理器11及至少一快取記憶器12，以供該資料讀取裝置3直接讀取該電子設備2中複數個數據20而提升數據運算效率。該電子設備2可為資料庫、伺服器或應用主機，該資料讀取裝置3可為資料庫、伺服器、應用主機、硬碟或隨身碟，且該電子設備2及該資料讀取裝置3皆可為複數設置型態且可支援多種類型，諸如Oracle、MSSQL、MySQL、MariaDB及DBMaker等，而使該等數據20可分別來自多類型之多資料庫的同時，便於多類型之多主機或存取媒體讀取及編輯資料或檔案。該管理處理器11電訊連接該擷取器10及該快取記憶器12，該擷取器10電訊連接該快取記憶器12，且該管理處理器11設有一同步傳輸元件110，該快取記憶器12設有一數碼產生元件121，該處理系統1的作動流程可包含下列步驟。

步驟S1，該擷取器10擷取該等數據20而傳送至該快取記憶器12時，步驟S10，該數碼產生元件121分析該等數據20並編碼形成至少一摘要表格1210，且該快取記憶器12依據該摘要表格1210分別複製形成至少一鏡射數據120，以供該資料讀取裝置3利用該摘要表格1210直接讀取或編輯各該鏡射數據120而無需額外程式轉碼編譯；其中，該摘要表格1210可載入為物件而儲放於該快取記器12中，以達加速存取的效果，且舉例而言，該數碼產生元件121可依XML語法自動或供管理者手動產生如SQL Command之該摘要表格1210及其後續之該鏡射數據120。步驟S2，當該資料讀取裝置3輸出至少一作動請求30予該電子設備時，步驟S20，該管理處理器11分析並判斷該作動請求30之種類為何？若該作動請求30為讀取請求時，步驟S3，該管理處理器11分析獲知對應請求之數據位置，並驅使該快取記憶器12傳送對應之該鏡射數據120予該資料讀取裝置3。值得注意的是，當該讀取請求30為複數接收型態時，該管理處理器11匯整請求相同數據位置之請求而獲得一數量，以驅動該快取記憶器12複製形成相等該數量之該等鏡射數據120並傳送予該資料讀取裝置3。

並且，若該作動請求30為編輯請求時，步驟S4，該管理處理器11分析獲知對應請求之數據位置而輸出一鑰匙予該資料讀取裝置3，同時，驅使該快取記憶器12傳送對應之該鏡射數據120予該資料讀取裝置3進行編輯，且步驟S40，該管理處理器11輸出一異動訊號予該快取記憶器12，以同步更新其餘對應之該鏡射數據120之異動內容，以確保後續其他之該資料讀取裝置3讀取或編輯時之資料正確性而達提升整體資料處理效能之效果。當該編輯請求為複數接收型態時，該管理處理器11係匯整請求相同數據位置之請求而獲得一排序，以依據該排序依序輸出該鑰匙及該鏡射數據120而僅允許具該鑰匙之該資料讀取裝置3進行編輯；反之，當該編輯請求為複數接收型態且該管理處理器11分析獲知對應請求之數據位置皆不同時，分別輸出該鑰匙及對應之各該鏡射數據120予各該資料讀取裝置3，以供各該資料讀取裝置3同時地進行編輯。舉例而言，若其一及其二之該資料讀取裝置3欲編輯數據位置三之該鏡射數據120，則該管理處理器11於輸出該鑰匙的同時亦鎖定位置三之該鏡射數據120，以供順位其一之該資料讀取裝置3完成編輯且該快取記憶器12中對應之其餘該鏡射數據120同步完成後，方輸出該錀匙而供其二之該資料讀取裝置3進行編輯；若其一之該資料讀取裝置3欲編輯數據位置二及三之該鏡射數據120，其二之該資料讀取裝置3欲編輯數據位置四及五之該鏡射數據120，則該管理處理器11分別輸出該鑰匙予該等資料讀取裝置3，使允許該等資料讀取裝置3同時地各別編輯數據。

步驟S5，該管理處理器11係管控該快取記憶器12中各該鏡射數據120之記憶時間，且該管理處理器11判斷於該記憶時間超過一期限值並於期間數據未曾存取過時，驅動該快取記憶器12刪除特定百分比，例如前一百筆之該鏡射數據。而，當該管理處理器11分析該讀取請求或該編輯請求而獲知該快取記憶器12已刪除該鏡射數據120時，驅動該擷取器10再次擷取對應之該數據20並使該快取記憶器12複製形成該鏡射數據120。順帶一提的是，由於該電子設備2及該資料讀取裝置3皆可如圖4、5所示分別為複數設置型態而建構形成上對多及下對多之資料庫系統架構，故該管理處理器11及該快取記憶器12亦可為複數設置型態而分別運作於該電子設備2及該資料讀取裝置3中，以於其中一該管理處理器11輸出該異動訊號時，該同步傳輸元件110傳送該異動訊號予另一該管理處理器11之該同步傳輸元件110而同步更新其電訊連結之該快取記憶器12中該鏡射數據120之異動內容。並且，該管理處理器11可設有一跟蹤元件，供記錄形成一數據軌跡而於系統斷線時供災備復原，使確保資料或檔案的可用性和整體系統的中斷容忍性。該管理處理器11可將資料庫語法之相關行為封裝為Method，且該處理系統1可提供有API(Application Programming Interface，應用程式介面)予管理者進行資料及物件等的存取，以確保存取的一致性及完整性。

惟，以上所述者，僅為本發明之較佳實施例而已，並非用以限定本發明實施之範圍；故在不脫離本發明之精神與範圍下所作之均等變化與修飾，皆應涵蓋於本發明之專利範圍內。