TWI385587B - Advanced predictive recursive adjustment cooperative allocation method - Google Patents

Description

進階預測遞迴式調整協同配置法

本發明是有關於一種應用於資料網格(Data Grid)之資料傳輸方法，且特別是有關於一種具有高效能資料傳輸能力之進階預測遞迴式調整協同配置法(Anticipative Recursively-Adjusting Co-Allocation Mechanism Plus，簡稱ARAM+)。

隨著網際網路(Internet)的快速發展，大量的檔案資料交換工作，也不斷地在網際網路中進行著，以滿足各種不同的使用者，對於資料傳輸之高度需求。

為了能夠快速滿足使用者對於大量資料傳輸之需求，資料集通常會被大量拷貝成副本，並分送至多個伺服器中儲存，以構成可同時提供資料傳輸服務之資料網格。因此，如何在資料網格環境中，快速而有效地傳輸資料，乃成為此一領域中之一大課題。

如圖1所示，其為習知之一種協同配置(Co-allocation)的資料傳輸架構示意圖。圖中，使用者經由應用程式(Application)10向經紀人(Broker)20發出傳輸資料檔案之請求，經紀人20便查詢網格資料庫(Information Service)30，以取得儲存使用者所需之資料檔案的候選伺服器51、52、53資料，再交由協同配置模組(Co-allocator)40執行，協同配置模組40即得以各種不同之協同配置法，來將資料網格儲域系統(Data Grid Storage System)50中之候選伺服器51、52、53，予以同時啟用資料之傳輸，以增進資料傳輸之效能。

習知最簡單之一種協同配置法，係將欲傳輸之資料檔案分成大小相同之三等分，再交由候選伺服器51、52、53平行地傳輸。此種作法，因並未考量候選伺服器51、52、53之不同傳輸能力，傳輸時間明顯地會受到傳輸速度較慢之伺服器所拖累。因此，乃逐漸演進而發展出如圖2、圖3A與3B之不同作法，以提高資料傳輸之效能。

圖2中，係繪示習知之一種遞迴式調整協同配置法(Recursive-Adjustment Co-Allocation Mechanism，簡稱RAM)的流程圖。此一作法，首先需由使用者定義出一遞迴參數α及參考用之最小分配資料量，然後在步驟201中，計算出尚待傳輸之待傳輸資料量UnassignedFileSize_i ，待傳輸資料量在初始時，係設定為等於欲傳輸之檔案的大小，其後，則為檔案尚未分配傳輸之資料量。之後，在步驟202中，判斷待傳輸資料量是否小於使用者所定義之最小分配資料量，如是則進入步驟203，以將待分配資料量設定為等於待傳輸資料量；反之，則進入步驟204，而以下式來計算出本回合欲傳輸之待分配資料量SE_i =UnassignedFileSize_i *α。

隨後，在步驟205中，參考網路氣象系統(Network Weather System，簡稱NWS)所量測之各候選伺服器的頻寬，來分配本回合各候選伺服器之傳輸資料量。分配完成後即進入步驟206中，執行傳輸並計算各候選伺服器之傳輸完成百分比，並於步驟207中，判斷是否已有候選伺服 器完成傳輸？如無，則繼續執行傳輸並計算完成百分比；反之，代表已有候選伺服器完成此一回合之傳輸，而進入步驟208中，以判斷本回合是否已為最終回？也就是檔案尚未分配傳輸之資料量已為零之情形。如否，即回到步驟201，以計算下一回合之待傳輸資料量；反之，則進入步驟209中，以繼續完成尚未完成傳輸之候選伺服器的資料傳輸。

圖2中之遞迴式調整協同配置法，雖有考量候選伺服器之不同傳輸能力，惟，其遞迴參數α及最小分配資料量均係由使用者所定義而固定不變，故傳輸效能不僅需仰賴使用者之專業能力，更會受到網路氣象系統所量測的各候選伺服器頻寬之非即時性所影響。此外，每一回合所使用之參數、待分配資料量與分配方法的計算等，亦顯得不夠靈活。

圖3A與3B中，係繪示習知之一種預測遞迴式調整協同配置法(Anticipative Recursively-Adjusting Co-Allocation Mechanism，簡稱ARAM)的流程圖。此一作法，仍需由使用者定義出一遞迴參數α，然後在步驟301中，計算出尚待傳輸之待傳輸資料量ST_i 。待傳輸資料量ST_i 在初始時，係設定為等於欲傳輸之檔案的大小，其後，則為檔案尚未分配傳輸之資料量與各候選伺服器前一回合尚未完成傳輸的資料量之加總的和。之後，在步驟302中，即時地量測候選伺服器之頻寬，再進入步驟303中，判斷待傳輸資料量是否大於各候選伺服器之頻寬的總和，如否則進入步驟306，以將待分配資料量設定為等於待傳輸資 料量；反之，則進入步驟304，而以下式來計算出本回合欲傳輸之待分配資料量SE_i =ST_i *α。

隨後，在步驟305中，判斷所計算之待分配資料量是否大於各候選伺服器之頻寬的總和，如否則進入步驟306，以將待分配資料量重新設定為等於待傳輸資料量；反之，則進入步驟307，而根據所量測之各候選伺服器的頻寬與前一回合的傳輸完成百分比，來分配本回合各候選伺服器之傳輸資料量。

當資料分配完成後，流程即進入步驟308中，以執行傳輸並計算各候選伺服器之傳輸完成百分比，並於步驟309中，判斷是否已有候選伺服器完成傳輸？如無，則繼續執行傳輸並計算完成百分比；反之，代表已有候選伺服器完成此一回合之傳輸，而進入步驟310中，以判斷本回合是否已為最終回？也就是檔案尚未分配傳輸之資料量已為零之情形。如否，即回到步驟301，以計算下一回合之待傳輸資料量；反之，則進入步驟311中，以繼續完成尚未完成傳輸之候選伺服器的資料傳輸。

圖3A與3B中之預測遞迴式調整協同配置法，雖已即時地量測各候選伺服器之頻寬，而納入候選伺服器不同傳輸能力之即時考量。惟，不僅其頻寬量測方法之可靠度與準確性不足，致影響實際傳輸之效能，其遞迴參數α亦因係由使用者所定義而固定不變，並未能隨著傳輸環境之變化即時調整，致無法適應於不同的資料網格環境，達成預測之傳輸功效。此外，待分配資料量之分配方法的計算與傳輸方式，亦顯得效能尚有不足。

有鑑於此，本發明之目的是提供一種進階預測遞迴式調整協同配置法，其可隨著傳輸環境之變化，來即時地調整遞迴參數，以大幅增進資料傳輸之效能。

本發明之另一目的是提供一種進階預測遞迴式調整協同配置法，其可隨著傳輸環境之變化，來將待分配資料量分配給各候選伺服器平行傳輸，以進一步提昇資料傳輸之效能。

本發明之又一目的是提供一種進階預測遞迴式調整協同配置法，其將分時多線傳輸技術，率先應用於資料網格之資料傳輸，又更進一步地提昇了資料傳輸之效能。

為達上述及其他目的，本發明提供一種進階預測遞迴式調整協同配置法，可適用於依據一遞迴參數，來遞迴式地將欲傳輸之檔案，分配給多數個候選伺服器傳輸。

此進階預測遞迴式調整協同配置法包括下列步驟：首先，以例如是傳輸控制協定頻寬評估模組(Transmission Control Protocol Bandwidth Estimation Model，簡稱TCPEM)之頻寬量測模組，來即時地量測每一候選伺服器之傳輸頻寬；其次，參考量測之候選伺服器的傳輸頻寬，來計算遞迴參數值，並依據所計算之遞迴參數值與欲傳輸檔案之待傳輸資料量，計算出本回合應分配供傳輸之待分配資料量。

之後，依據量測之傳輸頻寬與前回合每一候選伺服器之傳輸完成百分比，來將待分配資料量分配給每一候選伺服器，得到每一候選伺服器之本回合傳輸資料量；進行傳 輸並計算每一候選伺服器傳輸前述本回合傳輸資料量之傳輸完成百分比；然後，檢查每一候選伺服器之傳輸完成百分比；以及當已有任一候選伺服器完成傳輸其本回合傳輸資料量時，檢查是否已完成檔案之分配，且當尚未完成檔案之分配時，遞迴至下一回合。

其中，此進階預測遞迴式調整協同配置法，係以下式來計算遞迴參數值α_i ：

式中，i代表遞迴之回合數，j代表不同的候選伺服器，B_ji 代表量測之候選伺服器的傳輸頻寬。

其中，此進階預測遞迴式調整協同配置法更包括下述步驟：依據各候選伺服器之傳輸頻寬與前回合之傳輸完成百分比，來將候選伺服器分類為具有不同傳輸能力之多數個群組。

其中，此進階預測遞迴式調整協同配置法，係使用K平均演算法(K-means algorithm)，來將所述候選伺服器分類為具有不同傳輸能力之例如是快速群組與一般群組等兩個群組。

其中，此進階預測遞迴式調整協同配置法，係以下式來將本回合應分配供傳輸之待分配資料量SE_i 分配給每一候選伺服器：

式中，i代表遞迴之回合數，j代表所述候選伺服器，FastS_ji 代表分類為快速群組之候選伺服器j的本回合傳輸資料量，NormalS_ji 代表分類為一般群組之候選伺服器j的本回合傳輸資料量，B_ji 代表量測之候選伺服器j的傳輸頻寬，r_ji-1 代表前回合之候選伺服器j的傳輸完成百分比。

其中，此進階預測遞迴式調整協同配置法，其中分類為快速群組之候選伺服器，並且會啟用多線傳輸法(Multi-session)來進行資料之傳輸。

其中，此進階預測遞迴式調整協同配置法每一回合之待傳輸資料量ST_i ，在初始時，係設定為等於欲傳輸之檔案的大小，之後，則以下式來計算：

式中，i代表遞迴之回合數，j代表所述候選伺服器，UnassignedFileSize_i 代表檔案尚未分配傳輸之資料量，UnfinishFileSize_ji-1 代表候選伺服器j之前一回合尚未完成傳輸的資料量。

其中，此進階預測遞迴式調整協同配置法每一回合之待分配資料量SE_i ，係以下式來計算：SE _i =ST _i ＊α _i

式中，α_i 代表參考量測之各候選伺服器的傳輸頻寬所計算之遞迴參數值，ST_i 代表所計算之本回合待傳輸資料量。

綜上所述，本發明至少具有如下之特點：

1.使用TCPEM頻寬量測技術，來量測候選伺服器之傳輸頻寬，其可靠度與準確性均佳。

2.即時地隨著資料網格環境的變化，適時地調整遞迴參數值，藉以將待分配資料量分配給各候選伺服器傳輸，故可真正適應於每一種資料網格環境，而非只針對特定設計出來的實驗環境。

3.採用分類演算法，可以快速地找到最有效率之候選伺服器，以有效地提昇資料傳輸之效能。

4.率先將分時多線傳輸技術，應用於資料網格之資料傳輸中，可進一步提昇資料傳輸之效能。

5.有效地分別計算資料傳輸能力不同的候選伺服器，進而分配給予能力所及之資料傳輸量，達成資料傳輸之效能需求。

6.除了支援資料網格外，亦可應用於計算網格之工作分派，以提昇其計算效能。

為讓本發明之上述和其他目的、特徵、和優點能更明顯易懂，下文特以較佳實施例，並配合所附圖式，作詳細說明如下：

請參考圖4A與4B所示，其為根據本發明較佳實施例之一種進階預測遞迴式調整協同配置法的流程圖，此法可適用於依據一遞迴參數，來遞迴式地將欲傳輸之檔案，分配給多數個候選伺服器傳輸。由於根據本發明較佳實施例之一種進階預測遞迴式調整協同配置法所使用之遞迴參數，係可即時地隨著資料網格環境的變化而適時地調整，故可有效地提昇資料傳輸之效能。

如圖所示，首先，在步驟401中，會先計算出本回合尚待傳輸之待傳輸資料量ST_i 。其計算方法在初始時，係將待傳輸資料量ST_i 設定為等於欲傳輸之檔案的大小，其後，則為檔案尚未分配傳輸之資料量(也就是剩餘之資料量)與各候選伺服器前一回合尚未完成傳輸的資料量之加總的和。其計算式如下：

式(1)中，i代表遞迴之回合數，j代表所述候選伺服器，UnassignedFileSize_i 代表檔案尚未分配傳輸之資料量，UnfinishFileSize_ji-1 代表候選伺服器j之前一回合尚未完成傳輸的資料量。

之後，在步驟402中，以例如是傳輸控制協定頻寬評估模組(TCPEM)之類的頻寬量測模組，來即時地量測每一候選伺服器之傳輸頻寬，再進入步驟403中，判斷待傳輸資料量是否大於各候選伺服器之頻寬的總和，如否則進入步驟407，以將待分配資料量設定為等於待傳輸資料量；反 之，則進入步驟404，而以下式來計算遞迴參數值α_i ：

式(2)中，i代表遞迴之回合數，j代表各候選伺服器之一，B_ji 代表量測之候選伺服器j的傳輸頻寬。

在步驟404中完成遞迴參數值α_i 之計算後，即進入步驟405，以計算本回合之待分配資料量SE_i 。本回合之待分配資料量SE_i ，係以下式來計算：SE _i =ST _i ＊α _i (3)

式(3)中，α_i 代表參考量測之各候選伺服器的傳輸頻寬所計算之遞迴參數值，ST_i 代表所計算之本回合待傳輸資料量。

隨後，在步驟406中，判斷所計算之待分配資料量SE_i 是否大於各候選伺服器之頻寬的總和，如否，則進入步驟407，以將待分配資料量SE_i 重新設定為等於待傳輸資料量ST_i ；反之，則陸續進入步驟408與409，以依據量測之傳輸頻寬與前回合每一候選伺服器之傳輸完成百分比，來將待分配資料量分配給每一候選伺服器，得到每一候選伺服器之本回合傳輸資料量。

前述步驟403中，判斷待傳輸資料量ST_i 是否大於各候選伺服器之頻寬的總和，以及步驟406中，判斷所計算之待分配資料量SE_i 是否大於各候選伺服器之頻寬的總和之 目的，只是為了確認本回合尚待傳輸之待傳輸資料量ST_i 是否不夠大？而應將其一次全數分配完畢，使程式模組進入最終回合之緣故。

在步驟408中，首先將候選伺服器依不同之傳輸性能予以分類，其作法係使用K平均演算法，來將候選伺服器分類為具有不同傳輸能力之例如是快速群組與一般群組等兩個群組。K平均演算法乃為依據各候選伺服器之傳輸頻寬與前回合之傳輸完成百分比，來將候選伺服器分類為具有不同傳輸能力之多數個群組之習用作法，因而不再詳予敘述。

在步驟409中，係參考步驟408對於候選伺服器之分類，來將本回合應分配供傳輸之待分配資料量SE_i 分配給每一候選伺服器。其計算式如下：

式(4)與(5)中，i代表遞迴之回合數，j代表所述候選伺服器，FastS_ji 代表分類為快速群組之候選伺服器的本回合傳輸資料量，NormalS_ji 代表分類為一般群組之候選伺服器j的本回合傳輸資料量，B_ji 代表量測之候選伺服器j的傳輸頻寬，r_ji-1 代表前回合之候選伺服器j的傳輸完成百分比。

步驟408與409分配完成後，流程即進入步驟410中，以執行傳輸並計算各候選伺服器之傳輸完成百分比。另外，更於步驟411中，判斷是否已有候選伺服器完成傳輸？其中，由於被分類為快速群組之候選伺服器，所負擔之本回合傳輸資料量已於分配時特別加重，因此，乃將被分類為快速群組之候選伺服器，予以啟用所謂的多線傳輸法(Multi-session)來進行資料之傳輸，以有效地增進其傳輸能力。

在步驟411中，如判斷並無候選伺服器已完成傳輸時，則回到步驟410，以繼續執行傳輸並計算完成百分比；反之，代表已有候選伺服器完成此一回合之傳輸，流程乃進入步驟412中，以判斷本回合是否已為最終回？也就是檔案尚未分配傳輸之資料量已為零之情形。步驟412中，如判斷非最終回，即回到步驟401，以進入下一回合之傳輸；反之，則進入步驟413中，以繼續完成尚未完成傳輸之候選伺服器的資料傳輸。

故知，根據本發明較佳實施例所提供之一種進階預測遞迴式調整協同配置法，不僅可隨著傳輸環境之變化，來即時地調整遞迴參數，以大幅增進資料傳輸之效能，更可隨著傳輸環境之變化，來將待分配資料量分配給各候選伺服器平行傳輸，並且也率先將分時多線傳輸技術，應用於資料網格之資料傳輸中，而能更進一步提昇資料傳輸之效能。

雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神 和範圍內所作之各種更動與潤飾，亦屬本發明之範圍。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。

10‧‧‧應用程式

20‧‧‧經紀人

30‧‧‧網格資料庫

40‧‧‧協同配置模組

50‧‧‧資料網格儲域系統

51、52、53‧‧‧候選伺服器

201~413‧‧‧流程步驟

圖1係顯示習知之一種協同配置的資料傳輸架構示意圖。

圖2係顯示習知之一種遞迴式調整協同配置法的流程圖。

圖3A與3B係顯示習知之一種預測遞迴式調整協同配置法的流程圖。

圖4A與4B係顯示根據本發明較佳實施例之一種進階預測遞迴式調整協同配置法的流程圖。

401~413‧‧‧流程步驟

Claims (10)

1. 一種進階預測遞迴式調整協同配置法，適用於依據一遞迴參數，來遞迴式地將欲傳輸之一檔案，分配給多數個候選伺服器傳輸，包括下列步驟：以一頻寬量測模組來量測每一所述候選伺服器之一傳輸頻寬；參考量測之所述候選伺服器的該傳輸頻寬，來計算該遞迴參數值，並依據該遞迴參數值與該檔案之一待傳輸資料量，計算出本回合應分配供傳輸之一待分配資料量；依據該傳輸頻寬與前回合每一所述候選伺服器之一傳輸完成百分比，來將該待分配資料量分配給每一所述候選伺服器一本回合傳輸資料量；進行傳輸並計算每一所述候選伺服器傳輸該本回合傳輸資料量之該傳輸完成百分比；檢查每一所述候選伺服器之該傳輸完成百分比；以及當已有所述候選伺服器完成傳輸該本回合傳輸資料量時，檢查是否已完成該檔案之分配，且當尚未完成該檔案之分配時，遞迴至下一回合。
2. 如申請專利範圍第1項所述之進階預測遞迴式調整協同配置法，其中係以下式來計算該遞迴參數值α_i ： 式中，i代表遞迴之回合數，j代表所述候選伺服器， B_ji 代表量測之該傳輸頻寬。
3. 如申請專利範圍第1項所述之進階預測遞迴式調整協同配置法，其中該頻寬量測模組係為傳輸控制協定頻寬評估模組。
4. 如申請專利範圍第1項所述之進階預測遞迴式調整協同配置法，更包括下列步驟：依據所述候選伺服器之該傳輸頻寬與前回合之該傳輸完成百分比，來將所述候選伺服器分類為具有不同傳輸能力之多數個群組。
5. 如申請專利範圍第4項所述之進階預測遞迴式調整協同配置法，其中係使用K平均演算法，來將所述候選伺服器分類為具有不同傳輸能力之多數個群組。
6. 如申請專利範圍第5項所述之進階預測遞迴式調整協同配置法，其中係將所述候選伺服器分類為快速群組與一般群組等共兩群組。
7. 如申請專利範圍第6項所述之進階預測遞迴式調整協同配置法，其中係以下式來將該待分配資料量SE_i 分配給每一所述候選伺服器： 式中，i代表遞迴之回合數，j代表所述候選伺服器， FastS_ji 代表分類為快速群組之候選伺服器的該本回合傳輸資料量，NormalS_ji 代表分類為一般群組之候選伺服器的該本回合傳輸資料量，B_ji 代表量測之該傳輸頻寬，r_ji-1 代表前回合之該傳輸完成百分比。
8. 如申請專利範圍第7項所述之進階預測遞迴式調整協同配置法，其中分類為快速群組之所述候選伺服器，係啟用多線傳輸法來進行資料之傳輸。
9. 如申請專利範圍第1項所述之進階預測遞迴式調整協同配置法，其中該待傳輸資料量ST_i 初始時係設定為等於該檔案大小，之後，則以下式來計算： 式中，i代表遞迴之回合數，j代表所述候選伺服器，UnassignedFileSize_i 代表該檔案尚未分配傳輸之資料量，UnfinishFileSize_ji-1 代表所述候選伺服器之前一回合尚未完成傳輸之資料量。
10. 如申請專利範圍第9項所述之進階預測遞迴式調整協同配置法，其中該待分配資料量SE_i 係以下式來計算：SE _i =ST _i *α _i 式中，α_i 代表該遞迴參數值，ST_i 代表該待傳輸資料量。