TWI402698B - 資料分散存取方法與系統 - Google Patents

Description

資料分散存取方法與系統

本案係為一種資料分散存取方法與系統，尤指應用於檔案與一使用者主機之一種資料分散存取方法與系統。

隨著電腦網路硬體技術與數位資料儲存裝置的快速發展，應用於電腦網路上之文件分享已經是常見的技術。舉例來說，散佈各地之技術研發機構分部可利用電腦網路系統來共同分享與維護共同擁有之技術文件。而常見的習用作法是如第一圖所示，利用連接於網際網路10上之一資料主機11來存放所有的共享文件110，如此一來，散佈各地之技術研發機構分部之研發人員，可利用其個人之使用者主機12、13…、1n來讀取甚或更新資料主機11存放之共享文件110。但是此類習用作法存在有下列缺失：第一，由於技術文件內容複雜，假如單純利用傳統技術手段中的文字編號來進行分類與索引，將會讓使用者有資料檢索上之困難。

第二，若將所有的共享文件僅存放同一個資料主機，不但資料傳送速度受限，若資料發生損毀將導致嚴重後果。

第三，若當資料主機被不當入侵，入侵者能夠直接取得完整的文件。而如何改善上述種種缺失，係為發展本案之主要目的。

本案之第一方面是一種資料分散存取方法，應用於一檔案、一使用者主機與複數個資料主機之間，該等資料主機與該使用者主機係可透過一網路進行連接，而該資料分散存取方法包含下列步驟：將該檔案分割成複數個區塊；將該等區塊分散存放於該等資料主機中；該等資料主機中之一資料主機因應該使用者主機所發出之一檔案讀取指令而與其它資料主機完成一信息交換；以及該使用者主機因應該信息交換之結果來將分散於該等資料主機中之區塊取回而組合出該檔案。

本案之另一方面係為一種資料分散存取系統，應用於一檔案與一使用者主機之間，而該資料分散存取系統包含：一網路；以及複數個資料主機，該等資料主機與該使用者主機透過該網路進行連接，該檔案被分割成複數個區塊分別存放於該等資料主機中，而該等資料主機中之一資料主機因應該使用者主機所發出之一檔案讀取指令而與其它資料主機完成一信息交換，該使用者主機可根據該信息交換之結果來將分散於該等資料主機中之區塊取回而組合出該檔案。

本案之另一方面係為一種資料分散儲存方法，應用於一檔案與複數個資料主機之間，該等資料主機可透過一網路進行連接，而該資料分散存取方法包含下列步驟：將該檔案分割成複數個區塊；將該等區塊複製成複數份；以及將該等區塊分別存放於該等資料主機中，但每一個資料主機不具有完整之該檔案。

本案之又一方面係為一種資料分散儲存系統，應用於一檔案之儲存上，而該系統包含：一網路；以及複數個資料主機，該等資料主機透過該網路進行連接，該檔案被分割成複數個區塊再複製成複數份後分別存放於該等資料主機中，但每一個資料主機不具有完整之該檔案。

請參見第二圖，其係本案為改善上述習用手段缺失所發展出來之資料索引產生方法流程示意圖。首先，在步驟201中，吾人對一個系統(system)進行分析，進而完成一個功能方塊圖或一方法流程圖。接著，在步驟202中，吾人取得屬於該系統的所有相關技術文件後，先取出屬於該系統階層(system level)之第零階(level 0)資料及其相關技術文件，並完成一文字列連結(text list link)來表達出第零階(level 0)資料及其相關技術文件兩者間之索引對應關係，進而讓閱讀者可透過該文字列連結之幫助，快速找到該相關技術文件之放置點。然後，在步驟203中，吾人將所有相關技術文件中不屬於第零階(level 0)資料的其他資料進行分類，進而劃分出多個屬於第一階(level 1)的子系統以及各個子系統間的關係，進而可根據該等子系統以及各個子系統間的關係來完成一圖形式連結(graphical link)，而該圖形式連結(graphical link)也是用一功能方塊圖或一方法流程圖來完成。而以功能方塊圖方式完成之索引，可參見由第三圖所示之範例，其中系統30可分為子系統301、302以及關係303。接著，在步驟204中，吾人可將上述每一個子系統(例如第三圖中之子系統301、302)或子系統間的關係(例如第三圖中之關係303)再當成如步驟201中之系統來看待，反覆進行步驟202與步驟203中之步驟，直到子系統被劃分到無法再切割的一簡單零組件(simple component)為止。最後，在步驟205中，吾人可完成一文字列連結(text list link)來表達出每一個簡單零組件與其相關之技術文件兩者間之索引對應關係，進而讓閱讀者可透過該文字列連結之幫助，快速找到每一個簡單零組件之相關技術文件的放置點。

接著，為能以安全的方式存放相對應每一個簡單零組件之一技術文件，吾人便發展出如第四圖所示之檔案分散存取方法流程圖。首先，在步驟401中，吾人將該技術文件檔案切割成複數個區塊(block)，以第五圖所示之檔案系統功能方塊圖為例，該技術文件檔案50被切割成5個區塊(block)A、B、C、D、E。然後，在步驟402中，吾人設置複數個資料主機來存放該等區塊(block)並將區塊(block)複製成多份，再以第五圖為例，可透過網際網路51連接之第一資料主機501、第二資料主機502、第三資料主機503、第四資料主機504以及第五資料主機505係分別用以存放多個區塊(block)，而在步驟403中，吾人根據一個重要的原則來分散檔案，也就是每一個資料主機都沒有存放所有的區塊(block)，也就是使用者無法從一台資料主機上取得該技術文件檔案50之所有區塊(block)，最後透過步驟404來判斷區塊(block)是否皆分散儲存完畢。而以第五圖為例，每一台資料主機存放著5個區塊(block)中的某三個區塊(block)。因此使用者無法從一台資料主機上取得該技術文件檔案50之所有區塊(block)，而增加了資料保密的安全性。另外，在5個資料主機中只要是有3個資料主機正常運作，使用者就能取回完整的該技術文件檔案50。相較於將5個區塊(block)分別儲存於5個資料主機，上述的儲存方式可增加資料存活率。

此外，在步驟402中，吾人設置複數個資料主機來存放該等區塊(block)並將區塊(block)複製成多份會產生一區塊統計表。以一個技術文件檔案被切割成5個區塊(block)A、B、C、D、E，並複製3份為例，區塊統計表為：區塊A：3個，區塊B：3個，區塊C：3個，區塊D：3個，區塊E：3個。接著，在步驟403中，可根據此區塊統計表將這些區塊分別存放於這些資料主機中。在一較佳實施例中，會因應區塊統計表中區塊統計數之大小來決定存放區塊之優先順序，其中統計數較大之區塊優先存放。舉例來說，假設每一資料主機提供三個區塊儲存位置，由於區塊A、B、C、D、E的數量相同，因此對於第一個資料主機而言，可以存放區塊A、B、C、D、E中的任意三個，例如為：區塊A、區塊B與區塊C。然後，區塊統計表會改變，所得到新的區塊統計表為：區塊A：2個，區塊B：2個，區塊C：2個，區塊D：3個，區塊E：3個。由於區塊D與區塊E的數目較多，因此對於第二個資料主機而言，會先存放區塊D與區塊E，而剩下的一個存放空間，則可以存放區塊A、B、C中的任意一個。透過這樣的方式，可以確保這些資料主機至少存放一份區塊A、B、C、D、E。

而為能取回完整的該技術文件檔案50，使用者可透過連結至網際網路51之使用者主機59上所執行之一應用程式(圖中未示出)，向資料主機群中之任一資料主機發出取得該技術文件檔案之一請求，以第一資料主機501為例，當第一資料主機501收到該請求後，便可對該檔案讀取指令而進行驗證，若不通過，則拒絕其檔案讀取之請求，進而達到資料保密的目的。若驗證通過則可與其他資料主機完成信息交換，進而達成任務分配，而分別讓各個資料主機傳送部份區塊(block)給使用者主機59，最後透過應用程式將該等區塊(block)組合還原出該技術文件檔案。

而上述方法之較佳實施例步驟流程圖可參見第六圖之所示，首先，在步驟601中，使用者先在使用者主機上執行一應用程式，透過應用程式，在步驟602中，使用者主機向資料主機群中之任一資料主機發出取得一技術文件檔案之一請求，當某一資料主機收到該請求後，便於步驟603中向其它資料主機發出詢問，並根據回報而產生一區塊分配表(block table)，該區塊分配表中記錄有每一個區塊分別被那些個資料主機所存放。舉例來說，該技術文件檔案被分成四個區塊(block)且被分配到五個資料主機A、B、C、D、E上存放，於是該區塊分配表之內容如下表一所示：

接著便於步驟604中對該區塊分配表進行檢查，用以統計出每一個區塊被存放在資料主機上的數量，再根據數量之大小，由小至大來決定出區塊讀取的優先順序。以上為例，經統計後可得到：區塊1：4個，區塊2：4個，區塊3：4個，區塊4：3個，所以以讀取區塊4為最優先。於是於步驟605中，資料主機A選擇一個存放有區塊4之資料主機來傳送區塊4，例如按字母順序而選擇了資料主機B來傳送區塊4。緊接著在步驟606中對區塊分配表(block table)進行更新，用以把已經傳送之區塊以及正在進行傳送之資料主機從該表中去除，然後經過步驟607來對於區塊表內之資料主機是否皆已傳送一輪來進行判斷，若否便回到步驟604，若是便進入步驟608來對主機A是否已蒐集到所有區塊來進行判斷，若是便可完成此次任務，若否則需重新列表(步驟609)，將已蒐集到之區塊去除，留下未蒐集到之區塊來重製一區塊分配表，然後再回到步驟603再執行一遍，直到所有的區塊都被送至使用者主機為止。

再舉一例，當該技術文件檔案被分成五個區塊(block)且被分配到三個資料主機A、B、C上存放，於是該區塊分配表之內容如下表二所示：

而經統計後可得到：區塊1：2個，區塊2：2個，區塊3：3個，區塊4：3個，區塊5：2個，所以以讀取區塊1、2、5為最優先。於是利用資料主機A來傳送區塊1，利用資料主機B來傳送區塊2，利用資料主機C來傳送區塊5，並於每次傳送完成便進行區塊表(block table)之更新。但由於資料主機數小於區塊數，所以經過第一輪資料主機之傳送後(通過步驟607之判斷)，尚無法傳送完所有的區塊，於是進入步驟609來進行重新列表並去除已傳送之區塊而如下列表三所示：

然後再回到步驟603再執行一遍，用以進行第二輪之傳送，此例便為利用資料主機A來傳送區塊3，利用資料主機B來傳送資料區塊4，如此便可讓所有的區塊被送至使用者主機。

而為能更清楚了解上述將檔案切割成區塊之各種方式，請先參見第七圖(a)(b)(c)(d)(e)所示之示意圖，首先，第七圖(a)係表示出一個包含有100個資料位元組(data byte)之檔案，圖中是以10*10的空格來存放以英文字母來代表之100個資料位元組。至於第七圖(b)，其係表示出將上述100個資料位元組切割成五個區塊之第一實例圖，圖中是將相鄰兩列(當然也可以是相鄰兩行)組成一區塊，如此便簡單地將檔案分割成了五個區塊。

再參見第七圖(c)，其係表示出將上述100個資料位元組切割成五個區塊之第二實例圖，圖中是將每一塊2*5的空格中之資料位元組按照一特定分配圖來平均分配成五個區塊，以本圖為例，上列一及下列五之兩個資料位元組係分配到第一區塊，而上列二及下列四之兩個資料位元組係分配到第二區塊，上列三及下列三之兩個資料位元組係分配到第三區塊，上列四及下列二之兩個資料位元組係分配到第四區塊，至於上列五及下列一之兩個資料位元組則分配到第五區塊。如此一來，也可將檔案分割成了五個區塊。

再參見第七圖(d)，其係表示出將上述100個資料位元組切割成五個區塊之第三實例圖，圖中是將每一塊2*2的空格中之資料位元組視為一單位，接著進行隨機分配後來平均分配成五個區塊。至於第七圖(e)，其係表示出將上述100個資料位元組切割成五個區塊之第四實例圖，圖中是連單位長度都是隨機配置的，圖中之長度為1到5之間，然後接著進行隨機分配來平均分配成五個區塊。

另外，再請參見第八圖，其係表示出將以二維資料排列之位元組切割成五個區塊之第五實例圖，圖中是將一塊4*11的空格中之資料位元組視為一單位，接著使用者可依其意願輸入圖案(本例為三個字母，”VIA”)以進行設定，設定完成後便可照其圖案形狀來分配成五個區塊之示意圖，其中標號為”1”的資料位元就是將分配給第一區塊之資料位元，標號為”2”的資料位元就是將分配給第二區塊之資料位元，其它依此類推，如此也可分割出五個區塊。

綜上所述，本案發展出來之資料分散存取方法與系統可有效改善習用缺失，不但可增加資料的安全性，更可加速資料的存取速度，上述應用之網際網路也可以是廣域網路、區域網路等不同範圍或不同規範之網路。另外，各式檔案都可以應用本案之分散存取方法與系統來進行存取，不限於上述之技術文件，因此凡其它未脫離本發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。

本案圖式中所包含之各元件列示如下：

網際網路．．．10

資料主機．．．11

共享文件．．．110

使用者主機．．．12、13..、1n

系統．．．30

子系統．．．301、302

關係．．．303

技術文件檔案．．．50

區塊．．．A、B、C、D、E

網際網路．．．51

第一資料主機．．．501

第二資料主機．．．502

第三資料主機．．．503

第四資料主機．．．504

第五資料主機．．．505

使用者主機．．．59

本案得藉由下列圖式及說明，俾得一更深入之了解：第一圖，其係為常見的資料分享習用方塊示意圖。

第二圖，其係本案為改善習用手段缺失所發展出來之資料索引產生方法流程示意圖。

第三圖，其係本案發展出來以功能方塊圖方式完成之檔案索引範例圖。

第四圖，其係本案所發展出來之檔案分散存取方法流程圖。

第五圖，其係本案所發展出來之檔案分散存取系統之功能方塊圖。

第六圖，其係本案所發展出來之檔案分散存取方法之較佳實施例步驟流程圖。

第七圖(a)(b)(c)(d)(e)，其係本案所發展出來之將檔案切割成區塊之示意圖。

第八圖，其係本案所發展出來之將檔案切割成區塊之另一示意圖。

Claims (16)

1. 一種資料分散存取方法，應用於一檔案、一使用者主機與複數個資料主機之間，該等資料主機與該使用者主機係可透過一網路進行連接，而該資料分散存取方法包含下列步驟：將該檔案分割成複數個區塊；將該等區塊複製成複數份並分散存放於該等資料主機中，且每一個資料主機皆不具有完整之該檔案；該等資料主機中之一資料主機因應該使用者主機所發出之一檔案讀取指令而與其它資料主機完成一信息交換後，用以產生一記錄每一個該等區塊分別被該等資料主機所存放之一區塊分配表；以及該使用者主機因應該區塊分配表來將分散於該等資料主機中之區塊取回而組合出該檔案。
2. 如申請專利範圍第1項所述之資料分散存取方法，其中係因應該區塊分配表中區塊統計數之大小來決定取回區塊之優先順序，其中統計數較小之區塊優先取回。
3. 如申請專利範圍第2項所述之資料分散存取方法，其中當經過一輪資料主機之傳送後尚無法傳送完所有的區塊時，需進行重新產生一區塊分配表並去除已傳送之區塊後再進行傳送。
4. 如申請專利範圍第1項所述之資料分散存取方法，其中該資料主機因應該使用者主機所執行之一應用程式所發出 之該檔案讀取指令而進行一驗證；以及該資料主機因應該驗證之通過而產生一區塊分配表。
5. 一種資料分散存取系統，應用於一檔案與一使用者主機之間，而該資料分散存取系統包含：一網路；以及複數個資料主機，該等資料主機與該使用者主機透過該網路進行連接，該檔案被分割成複數個區塊再複製成複數份後分別存放於該等資料主機中且每一個資料主機皆不具有完整之該檔案，而該等資料主機中之一資料主機因應該使用者主機所發出之一檔案讀取指令而與其它資料主機完成一信息交換後，用以產生一記錄每一個該等區塊分別被該等資料主機所存放之一區塊分配表，該使用者主機可根據該區塊分配表來將分散於該等資料主機中之區塊取回而組合出該檔案。
6. 如申請專利範圍第5項所述之資料分散存取系統，其中該資料主機因應該使用者主機所執行之一應用程式所發出之該檔案讀取指令而進行一驗證，並於該驗證通過後而產生該區塊分配表。
7. 一種資料分散儲存方法，應用於一檔案與複數個資料主機之間，該等資料主機可透過一網路進行連接，而該資料分散存取方法包含下列步驟：將該檔案分割成複數個區塊；將該等區塊複製成複數份；以及將該等區塊分別存放於該等資料主機中，其中每一個 資料主機皆不具有完整之該檔案。
8. 如申請專利範圍第7項所述之資料分散儲存方法，其中係將該檔案平均分割成該等區塊。
9. 如申請專利範圍第8項所述之資料分散儲存方法，其中將該檔案平均分割成該等區塊之方法為將相鄰資料組成一區塊。
10. 如申請專利範圍第8項所述之資料分散儲存方法，其中將該檔案平均分割成該等區塊之方法為將該檔案劃分為複數個單元，且每一個單元由複數個相鄰資料而組成，該等相鄰資料按照一特定分配圖來平均分配，然後再將每一個單元中位於該特定分配圖中相同位置之資料分配到同一區塊。
11. 如申請專利範圍第7項所述之資料分散儲存方法，其中係將該檔案隨機地分割成該等區塊。
12. 如申請專利範圍第7項所述之資料分散儲存方法，其中將該檔案分割成該等區塊之方法包含：提供使用者輸入一圖案；以及因應該圖案之線條來分配資料，進而分割出該等區塊。
13. 如申請專利範圍第7項所述之資料分散儲存方法，其中將該等區塊複製成複數份的結果係為產生一區塊統計表，而根據該區塊統計表將該等區塊分別存放於該等資料主機中。
14. 如申請專利範圍第13項所述之資料分散儲存方法，其中係因應該區塊統計表中區塊統計數之大小來決定存放區 塊之優先順序，其中統計數較大之區塊優先存放。
15. 一種資料分散儲存系統，應用於一檔案之儲存上，而該系統包含：一網路；以及複數個資料主機，該等資料主機透過該網路進行連接，該檔案被分割成複數個區塊再複製成複數份後分別存放於該等資料主機中，其中每一個資料主機皆不具有完整之該檔案。
16. 如申請專利範圍第15項所述之資料分散儲存系統，其中將該等區塊複製成複數份的結果係為產生一區塊統計表，而根據該區塊統計表將該等區塊分別存放於該等資料主機中。