TW201528129A - 多層級資料代理隨選快取方法 - Google Patents

多層級資料代理隨選快取方法 Download PDF

Info

Publication number
TW201528129A
TW201528129A TW103101091A TW103101091A TW201528129A TW 201528129 A TW201528129 A TW 201528129A TW 103101091 A TW103101091 A TW 103101091A TW 103101091 A TW103101091 A TW 103101091A TW 201528129 A TW201528129 A TW 201528129A
Authority
TW
Taiwan
Prior art keywords
data
proxy server
entity
layer
root
Prior art date
Application number
TW103101091A
Other languages
English (en)
Inventor
Jin-Feng Liu
Yong-Shang Xu
Zheng-Han Lin
Jin-Long Luo
Original Assignee
Chunghwa Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chunghwa Telecom Co Ltd filed Critical Chunghwa Telecom Co Ltd
Priority to TW103101091A priority Critical patent/TW201528129A/zh
Publication of TW201528129A publication Critical patent/TW201528129A/zh

Links

Landscapes

  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本發明係有關一種多層級資料代理隨選快取方法,其主要係將資料透過資料節點、資料集合與資料實體三種資料模型進行資料分類,並利用資料關聯串接資料集合與資料實體形成之資料快取結構,作為多層資料代理伺服器之暫存資料儲存格式,並透過多層資料代理伺服器進行資料分級代理,採用局部漸進更新的方式,使資料更新時只會取回需要更新的資料,不需全部下載回傳,可有效解決傳統快取更新即需取得全部資料,頻繁存取造成浪費大量網路頻寬的問題,以達到降低資料傳送量以及最短資料存取路徑之目的。

Description

多層級資料代理隨選快取方法
本發明係有關一種資料快取方法,尤指一種透過建立資料快取結構並建立資料關聯,可避免取回多餘無用的資料,以降低網路頻寬並減少多餘無用的資料暫用快取伺服器儲存空間之多層級資料代理隨選快取方法。
在資訊系統中資料快取是非常重要的關鍵技術,廣泛地運用於擷取資料的資訊系統中,且由於擷取的項目沒有限制固定的資料型態、型式、或大小,經常使用於降低大量資料傳輸以及頻繁的資料庫存取所造成之系統瓶頸的優化技術,但也因為資料結構缺乏規範,導致應用端所需快取的資料範圍很難精確預測,往往載入大量無用資料,虛耗快取伺服器資源,因此通常在採用快取機制後,會產生兩種問題,第一個問題是當快取資料逐漸龐大時,除佔用快取伺服器資源難以負荷外,同時也因應用程式端過於集中存取反而造成另類的系統瓶頸,另外就是資料不易同步的問題,亦即在快取當中的資料,可能因別的使用者修改資料,導致本體的資料與快取資料不一致。
本案發明人鑑於上述習用之資料快取方法所衍生的各項缺點,乃亟思加以改良創新,並經多年苦心孤詣潛心研究後,終於成功研發完成本件一種個人資料保密處理方法。
本發明之主要目的在於提供一種使資料代理伺服器能精準預測載入應用程式所需快取資料之多層級資料代理隨選快取方法。
本發明之次要目的在於提供一種避免因頻繁存取造成浪費大量網路頻寬問題之多層級資料代理隨選快取方法。
本發明之又一目的在於提供一種透過分層的資料代理達到最短路徑存取之目的,以降低資料傳送量之多層級資料代理隨選快取方法。
為達上述目的,本發明之多層級資料代理隨選快取方法,主要係將資料透過資料節點、資料集合與資料實體三種資料模型進行資料分類,並利用資料關聯串接資料集合與資料實體形成資料快取結構,並以此資料快取結構作為資料代理伺服器之暫存資料儲存格式,當應用程式端欲使用資料實體所關聯到的資料時,才會向資料代理伺服器取回所關聯的資料集合或資料實體,否則僅會取回所需的資料實體,且透過分層級的資料代理伺服器分級進行資料代理,可有效降低資料傳送量以及最短資料存取路徑之目的。
100‧‧‧資料快取結構
101‧‧‧資料結點
102‧‧‧資料集合
103‧‧‧資料實體
104‧‧‧資料關聯
200‧‧‧應用程式端
300‧‧‧資料代理伺服器
301‧‧‧資料代理元件
302‧‧‧資料暫存
303‧‧‧資料定位表
400‧‧‧根資料代理伺服器
401‧‧‧資料代理元件
402‧‧‧資料暫存
403‧‧‧資料定位表
500‧‧‧資料源伺服器
601‧‧‧步驟一
602‧‧‧步驟二
603‧‧‧步驟三
604‧‧‧步驟四
605‧‧‧步驟五
606‧‧‧步驟六
607‧‧‧步驟七
608‧‧‧步驟八
609‧‧‧步驟九
610‧‧‧步驟十
611‧‧‧步驟十一
612‧‧‧步驟十二
第1圖 為本發明多層級資料代理隨選快取方法資料快取結構之架構圖;第2圖 為本發明多層級資料代理隨選快取方法之系統架構圖;第3圖 為本發明多層級資料代理隨選快取方法之流程圖;以及第4圖 為本發明多層級資料代理隨選快取方法之應用狀態示意圖。
請參閱第1~2圖,本發明多層級資料代理隨選快取方法,主 要係架構於複數個資料快取結構100、應用程式端200、多層資料代理伺服器300及一資料源伺服器500之上,資料快取結構100為各層資料代理伺服器300之暫存資料302儲存格式,該等資料快取結構100係將資料透過資料節點101、資料集合102與資料實體103三種資料模型進行資料分類,並利用資料關聯104串接資料集合102與資料實體103,其中每個資料節點101可包含數個資料集合102與子資料結點的資料關聯104,同時記錄該資料節點101內所有資料集合102的版本與索引資訊,資料集合102為資料實體103的集合,資料集合102內資料實體103的異動都會更新資料集合102的版本序號,版本序號為資料集合102同步的依據,而資料實體103本身可關聯到其他的資料實體103或資料集合102,以第1圖為例,識別碼A001之資料實體103與資料集合C關聯,而識別碼A003之資料實體103分別與資料集合B及識別碼C001之資料實體103關連。
因此,本發明多層級資料代理隨選快取方法的快取資料結構是利用資料關聯104來串接資料集合102與資料實體103,其主要係依據使用者與權限來判斷允許存取的資料節點101或其子節點的範圍,當應用程式端200使用所需的實體資料103時,會向資料代理伺服器300要求並取回該筆資料實體103,但該筆資料實體103內部的資料關聯104所關聯到的資料並不會被取回,因此資料代理伺服器300只會儲存一筆資料實體103,可避免取回無用的資料,防止浪費網路頻寬與資料代理伺服器300的儲存空間,而當應用程式端200使用到資料關聯104所關聯的資料時,才會向資料代理伺服器300取回所關聯的資料集合102或資料實體103,且每次的資料存取只會取回真正需要的最少資料量,故可以有效降低網路頻寬的使用與資料代理伺服器300 的空間使用,同時,由於資料代理伺服器300只儲存最少的資料量,也意味著當發生資料更新時,只需進行最少資料量的更新,不相關資料的更新不會影響到該資料代理伺服器300的運作,可以解決資料更新頻繁所造成資料代理伺服器300大量資料更新的漣漪效應。
請參閱第2圖,本發明多層級資料代理隨選快取方法,主要係架構於複數個資料快取結構100、應用程式端200、多層資料代理伺服器300及一資料源伺服器500之上,其中多層資料代理伺服器300之最後一層為根資料代理伺服器400,各資料代理伺服器300及根資料代理伺服器400均包括一資料代理元件301、401、一資料暫存302、402及一資料定位表303、403,該資料代理元件301、401為應用程式端200或上一層資料代理伺服器300之資料源,每個資料代理元件301、401會連接上一層資料代理伺服器300以取得最新的資料實體,該資料暫存302、402為該層資料代理伺服器300與根資料代理伺服器400的快取資料儲存空間,其內部儲存格式為快取資料結構100,該資料定位表303、403為該層資料代理伺服器300與根資料代理伺服器400暫存資料302、402之儲存資料的對照表。
請參閱第3圖,本發明多層級資料代理隨選快取方法,其主要流程步驟包括:
步驟一、使用者透過應用程式端使用或存取所需之資料實體;601
步驟二、應用程式端將要求使用或存取所需資料實體之需求傳送至第1層之資料代理伺服器之資料代理元件;602
步驟三、第1層之資料代理伺服器透過資料代理元件檢視該層資料定位表確認所需之資料實體是否存在於該層暫存資料之中,若否,則新增1 筆向下層資料代理伺服器請求所需資料實體之需求,並進入步驟四,若是,進入步驟十二;603
步驟四、該層之資料代理伺服器透過資料代理元件檢視該層資料定位表確認所需之資料實體是否存於該層之暫存資料之中,若否,則新增1筆向下層資料代理伺服器請求所需資料實體之需求,並進入步驟五,若是,進入步驟十;604
步驟五、重複步驟四至尋找到該層暫存資料中之資料快取結構格式內有所需資料實體之資料代理伺服器,並進入步驟十,或尋找至最後一層之根資料代理伺服器,且根資料代理伺服器層之暫存資料內並未有所需資料實體,進入步驟六;605
步驟六、根資料代理伺服器向資料源伺服器提出所需之資料實體的資料請求;606
步驟七、資料源伺服器依據根資料代理伺服器所提之資料請求,將所需資料轉換為資料實體後,傳送至根資料代理伺服器;607
步驟八、根資料代理伺服器接收到所需之資料實體後,更新資料定位表並將資料實體存於根資料代理伺服器層之暫存資料內,然後將所需之資料實體回傳至上一層資料代理伺服器;608
步驟九、該層資料代理伺服器接收到所需之資料實體後,更新資料定位表並將資料實體存於根資料代理伺服器層之暫存資料內;609
步驟十、該層資料代理伺服器將所需資料實體回傳至上一層資料代理伺服器,直到將所需資料實體傳送至第1層資料代理伺服器;610
步驟十一、第1層資料代理伺服器接收到所需之資料實體後,更新資料定位 表並將資料實體存於根資料代理伺服器層之暫存資料內;611
步驟十二、第1層資料代理伺服器之資料代理元件自資料暫存中取出所需資料實體,並傳送至應用程式端供使用者存取。612
其中,根資料代理伺服器400與資料源伺服器500間是一種總代理模式,根資料代理伺服器400內的資料定位表403必須記錄資料源伺服器500所有可被存取的資料的所在位置,但根資料代理伺服器400只有於次層級資料代理伺服器300實際存取的要求發生時,才會真正執行資料取得以及快取同步動作,而資料代理伺服器300彼此間則是屬於局部代理模式,當資料集合102有被存取的要求發生時才會向下層級資料代理伺服器300進行資料取得與快取動作,因為是多層級的關係,不管資料讀取或是資料更新的行為,其動作都是以逐層級推播的模式進行。
另外,本發明多層級資料代理隨選快取方法中,資料代理伺服器300可依資料應用種類或網路位置做多層級的安裝佈置,透過分層級的資料代理伺服器300分級進行資料代理,達到降低資料傳送量以及最短資料存取路徑之目的,而資料源伺服器500也可採分散式架構,以建置於不同地方且支援各種不同的資料儲存格式的原始資料源,再者,請參閱第4圖,所有的資料代理伺服器300、根資料代理伺服器400與資料源伺服器500間的架構關係均可為複雜的多對多對應關係,藉由此種多層級、多路徑的快取服務可以避免單點網路或伺服器故障造成的快取服務中斷的問題,以提供用戶穩定且快速的高可靠度快取服務,針對敏感的資料也可以提供專用獨立的快取路徑,避免敏感資料分散各資料代理伺服器,解決資訊暴露的安全性問題。
由上所述,本發明多層級資料代理隨選快取方法,相較習用之資料快取方法更具有以下之特點與功效:
1. 透過將資料透過資料節點、資料集合與資料實體三種資料模型進行資料分類,同時建立資料關聯,使得資料代理伺服器能精準預測載入應用程式所需的快取資料。
2. 藉由以資料節點為權限單位,限定使用者存取資料節點或其子節點的範圍相較習知資料表格需以正向表列來的更有彈性及效率。
3. 利用局部漸進更新的方式,使資料更新時只會取回需要更新的資料,不需全部下載回傳,可有效解決傳統快取更新即需取得全部資料,頻繁存取造成浪費大量網路頻寬的問題。
4. 藉由將資料代理伺服器依資料應用種類或網路位置進行階層式配置,透過分層的資料代理達到最短路徑存取之目的,有效降低資料傳送量。
5. 利用多對多的服務關係,可以避免單一資料代理伺服器異常造成無法更新資料的問題,提供系統高容錯的服務機制。
綜上所述,本案不但在空間型態上確屬創新,並能較習用物品增進上述多項功效,應已充分符合新穎性及進步性之法定新型專利要件,爰依法提出申請,懇請 貴局核准本件新型專利申請案,以勵創作,至感德便。
601‧‧‧步驟一
602‧‧‧步驟二
603‧‧‧步驟三
604‧‧‧步驟四
605‧‧‧步驟五
606‧‧‧步驟六
607‧‧‧步驟七
608‧‧‧步驟八
609‧‧‧步驟九
610‧‧‧步驟十
611‧‧‧步驟十一
612‧‧‧步驟十二

Claims (5)

  1. 一種多層級資料代理隨選快取方法,主要是將資料透過資料節點、資料集合與資料實體三種資料模型進行資料分類,並利用資料關聯串接資料集合與資料實體形成資料快取結構,作為資料代理伺服器之暫存資料格式,並以多層資料代理伺服器進行分級資料代理,其步驟流程包括:步驟一、使用者透過應用程式端使用或存取所需之資料實體;步驟二、應用程式端將要求使用或存取所需資料實體之需求傳送至第1層之資料代理伺服器之資料代理元件;步驟三、第1層之資料代理伺服器透過資料代理元件檢視該層資料定位表確認所需之資料實體是否存在於該層暫存資料之中,若否,則新增1筆向下層資料代理伺服器請求所需資料實體之需求,並進入步驟四,若是,進入步驟十二;步驟四、該層之資料代理伺服器透過資料代理元件檢視該層資料定位表確認所需之資料實體是否存於該層之暫存資料之中,若否,則新增1筆向下層資料代理伺服器請求所需資料實體之需求,並進入步驟五,若是,進入步驟十;步驟五、重複步驟四至尋找到該層暫存資料中之資料快取結構格式內有所需資料實體之資料代理伺服器,並進入步驟十,或尋找至最後一層之根資料代理伺服器,且根資料代理伺服器層之暫存資料內並未有所需資料實體,進入步驟六;步驟六、根資料代理伺服器向資料源伺服器提出所需之資料實體的資料請求; 步驟七、資料源伺服器依據根資料代理伺服器所提之資料請求,將所需資料轉換為資料實體後,傳送至根資料代理伺服器;步驟八、根資料代理伺服器接收到所需之資料實體後,更新資料定位表並將資料實體存於根資料代理伺服器層之暫存資料內,然後將所需之資料實體回傳至上一層資料代理伺服器;步驟九、該層資料代理伺服器接收到所需之資料實體後,更新資料定位表並將資料實體存於根資料代理伺服器層之暫存資料內;步驟十、該層資料代理伺服器將所需資料實體回傳至上一層資料代理伺服器,直到將所需資料實體傳送至第1層資料代理伺服器;步驟十一、第1層資料代理伺服器接收到所需之資料實體後,更新資料定位表並將資料實體存於根資料代理伺服器層之暫存資料內;步驟十二、第1層資料代理伺服器之資料代理元件自資料暫存中取出所需資料實體,並傳送至應用程式端供使用者存取。
  2. 如請求項1所述之多層級資料隨選快存方法,其中該應用程式端使用所需的實體資料時,會向資料代理伺服器要求並取回該筆資料實體,該筆被取回的資料實體內部的資料關聯所關聯到資料集合及其他資料實體並不會被取回。
  3. 如請求項1所述之多層級資料隨選快存方法,其中該應用程式端欲使用資料實體內部的資料關聯所關聯到的資料集合或其他資料實體時,會向資料代理伺服器取回所關聯的資料集合或資料實體。
  4. 如請求項1所述之多層級資料隨選快存方法,其中該資料節點包含數個資料集合與子資料結點的資料關聯,同時記錄該資料節點內所有資料集 合的版本與索引資訊。
  5. 如請求項1所述之多層級資料隨選快存方法,其中該資料集合為資料實體集合,資料集合內資料實體的異動都會更新資料集合的版本序號,版本序號為資料集合同步的依據。
TW103101091A 2014-01-13 2014-01-13 多層級資料代理隨選快取方法 TW201528129A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW103101091A TW201528129A (zh) 2014-01-13 2014-01-13 多層級資料代理隨選快取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103101091A TW201528129A (zh) 2014-01-13 2014-01-13 多層級資料代理隨選快取方法

Publications (1)

Publication Number Publication Date
TW201528129A true TW201528129A (zh) 2015-07-16

Family

ID=54198311

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103101091A TW201528129A (zh) 2014-01-13 2014-01-13 多層級資料代理隨選快取方法

Country Status (1)

Country Link
TW (1) TW201528129A (zh)

Similar Documents

Publication Publication Date Title
US11030185B2 (en) Schema-agnostic indexing of distributed databases
US10275489B1 (en) Binary encoding-based optimizations at datastore accelerators
CN109906448B (zh) 用于促进可插拔数据库上的操作的方法、设备和介质
CN103812939B (zh) 一种大数据存储系统
US8176256B2 (en) Cache regions
US9697247B2 (en) Tiered data storage architecture
Huang et al. Research on architecture and query performance based on distributed graph database Neo4j
US10140351B2 (en) Method and apparatus for processing database data in distributed database system
US11561930B2 (en) Independent evictions from datastore accelerator fleet nodes
US20130191523A1 (en) Real-time analytics for large data sets
US20090012932A1 (en) Method and System For Data Storage And Management
US11245774B2 (en) Cache storage for streaming data
US10853193B2 (en) Database system recovery using non-volatile system memory
CN104054071A (zh) 访问存储设备的方法和存储设备
CN103595799A (zh) 一种实现分布式共享数据库的方法
Wang et al. Merlin hugeCTR: GPU-accelerated recommender system training and inference
US10146833B1 (en) Write-back techniques at datastore accelerators
CN103853612A (zh) 一种基于分布式存储下的数字家庭内容读数据的方法
CN110457307B (zh) 元数据管理系统、用户集群创建方法、装置、设备和介质
US11314434B1 (en) Real-time localized data access in a distributed data storage system
TW201528129A (zh) 多層級資料代理隨選快取方法
US20170316045A1 (en) Read-after-write consistency for derived non-relational data
CN103853613A (zh) 一种基于分布式存储下的数字家庭内容读数据的方法
Gueidi et al. A nosql-based approach for real-time managing of embedded data bases
US10970335B2 (en) Access pattern-based distribution for distributed key-value stores