TW201032150A - Anticipative recursively adjusting co-allocation mechanism - Google Patents

Description

201032150 九、發明說明： 【發明所屬之技術領域】 本發明是有關於-種應用於資料網格（Data Grid)之 :t料傳輸方法’且_是有_—種具有高效能資料傳輸 :能力之進階預測遞迴式調整協同配置法（Anticipative

Recursively-Adjusting Co^Allocation Mechanism Plus ’ 簡稱 ARAM+)。 參 【先前技術】 隨著網際網路（Internet)的快速發展，大量的權案資 料交換工作，也不斷地在網_財進行著，以滿足各種 不同的使用者，對於資料傳輸之高度需求。 快速滿足使用者對於大量資料傳輸之需求， 貝=集通常會被大量拷貝朗本，並分送至多侧服器中 儲存’以構成可同時提供#料傳輪服務之資料網格。因此， :何=網格環境中，快速而有效地傳輸資料，乃成為 此一領域中之一大課題。 如圖 1 所示，其 (Γ λλ . 、 ^ 為S知之一種協同配置 (Co-allocation)的資料傳輸架構 ,. ·.』％稱不意圖。圖中，使用者經 =用程式（Apphcat咖）1()向經紀人（Br〇 輸資料檔案之請求，經紀 發出得 . 入⑼便查珣網格資料庫 ^onnat應Service)3()，轉得儲存使用 檔案的候選伺服器51、52、咨μ * ^ 坏而之貝付 W u #枓’再交由協同配置模組 (Co-al l〇cator)40執行，協同献里处， 協同配置模組40即得以各種不 5 201032150 同之協同配置法，來將資料網格儲域系統（Data GHd

Storage System)50中之候選伺服器51、52、53，予以同 時啟用資料之傳輸’以增進資料傳輸之效能。 習知最簡單之一種協同配置法，係將欲傳輸之資料檔 案分成大小相同之三等分，再交由候選伺服器Η、52、53 平行地傳輸。此種作法，因並未考量候選伺服器51、52、 53之不同傳輸能力，傳輸時間明顯地會受到傳輸速度較慢 之伺服器所拖累。因此，乃逐漸演進而發展出如圖2、圖 ❹3A與3B之不同作法，以提高資料傳輸之效能。 圖2中，係繪示習知之一種遞迴式調整協同配置法 (Recursive Adjustment Co-All〇cation Mechanism，簡稱 RAM)的流程圖。此一作法，首先需由使用者定義出一遞迴 參，α及參考用之最小分配資料量，然後在步驟2〇1中， 汁异出尚待傳輸之待傳輸資料量Unassignedpiiesizei，待 傳輸資料量在初始時，係設定為等於欲傳輸之槽案的大 小，其後，則為槽案尚未分配傳輸之資料量。之後，在步 驟202中，判斷待傳輸資料量是否小於使用者所定義之最 小分配資料量，如是則進入步驟2〇3，以將待分配資料量 設定為等於待傳輸資料量；反之，則進入步驟2〇4，而以 下式來計算出本回合欲傳輸之待分配資料量 SEi-UnassignedFileSizei*〇：。 隨後，在步驟205 +，參考網路氣象系统（_〇Γΐς 皆a SyStem’簡稱臟）所量測之各候選伺服器的頻 ，'刀配本回合各候選伺服器之傳輸資料量。分配完成 201032150 ' 後即進入步驟206中，執行傳輸並計算各候選伺服器之傳 輸完成百分比，並於步驟207中，判斷是否已有候選伺服 器完成傳輸？如無，則繼續執行傳輸並計算完成百分比； - 反之，代表已有候選伺服器完成此一回合之傳輸，而進入 : 步驟208中，以判斷本回合是否已為最終回？也就是檔案 尚未分配傳輸之資料量已為零之情形。如否，即回到步驟 201，以計算下一回合之待傳輸資料量；反之，則進入步驟 209中，以繼續完成尚未完成傳輸之候選伺服器的資料傳 ® 輸。 圖2中之遞迴式調整協同配置法，雖有考量候選伺服 器之不同傳輸能力，惟，其遞迴參數α及最小分配資料量 均係由使用者所定義而固定不變，故傳輸效能不僅需仰賴 使用者之專業能力，更會受到網路氣象系統所量測的各候 選伺服器頻寬之非即時性所影響。此外，每一回合所使用 之參數、待分配資料量與分配方法的計算等，亦顯得不夠 靈活。 ® 圖3Α與3Β中，係繪示習知之一種預測遞迴式調整協 同配置法(Anticipative Recursively-Adjusting Co-Allocation Mechanism，簡稱 ARAM)的流程圖。此一作 法，仍需由使用者定義出一遞迴參數α，然後在步驟301 ' 中，計算出尚待傳輸之待傳輸資料量STi。待傳輸資料量 STi在初始時，係設定為等於欲傳輸之檔案的大小，其後， 則為檔案尚未分配傳輸之資料量與各候選伺服器前一回合 尚未完成傳輸的資料量之加總的和。之後，在步驟302中， 201032150 即時地量測候選伺服器之頻 待傳輸資料量是否大;^各# ’ 303中，判斷 則進入步心==:服器之頻寬的總和，如否 料嗇d 冑料量設U料待傳輪資 料量’反之’則進入步驟304，而以下式 輸資 欲傳輸之待分配資料量SE^STAa。 》异出本回合

隨後’在步驟305巾’判斷所計算之待分配資 否大於各候選伺服器之頻寬的總和，如否則進入步驟3〇6， 以將待77配資料量重新設疋為等於待傳輪資料量；反之， =進入步驟307,而根據所量測之各候選伺服器的頻寬與 則一回合的傳輪完成百分比，來分配本回合各候選伺服器 之傳輪資料量。 當資料分配完成後，流程即進入步驟308中，以執行 傳輸並計算各候選伺服器之傳輸完成百分比，並於步驟3〇9 中判斷是否已有候選伺服器元成傳輸？如無，則繼續執 行傳輸並計算完成百分比；反之，代表已有候選伺服器完 成此一回合之傳輸，而進入步驟310中，以判斷本回合是 否已為最終回？也就是檔案尚未分配傳輪之資料量已為零 之清形。如否，即回到步·驟301，以計算下一回合之待傳 輪資料量；反之，則進入步驟311中，以繼續完成尚未完 成傳輪之候選伺服器的資料傳輸。 圖3A與3B中之預測遞迴式調整協同配置法，雖已即 時地量測各候選伺服器之頻寬，而納入候選伺服器不同傳 輪能力之即時考量。惟，不僅其頻寬量測方法之可靠度與 準確性不足，致影響實際傳輸之效能，其遞迴參數^亦因 8 201032150 . 係由使用者所定義而㈤〜 化即時調整，致叙、、口疋不變，並未能隨著傳輸環境之變 測之傳輪功效。=適應於不同的資料網格環境，達成預 :傳輸方式，亦顯得效能料量之分配方法的計算與 【發明内容】 有鑑於此，本發明令 調整協同配置法，:目的是提供一種進階預測遞迴式 ❿整遞迴參數，，、，丄，、可隨著傳輸環境之變化，來即時地調 本發明之另—幅増？資料傳輸之效能。 同配置法，目的是提供一種進階預測遞迴式調整協 分配认各候:里:*傳輪環境之變化，來將待分配資料量 他器平行傳輸，以進-步提昇資料傳輸之 本發明之又一目沾θ 同配置法，其八的疋提供一種進階預測遞迴式調整協 々-麻i、將料多線傳輸技術，钱應躲*料網格 ❹之貝輸，又更進一步地提昇了資料傳輸之效能。 、為達上述及其他目本發明提供一種進階預測遞迴 气調整協同配置法’可適用於依據一遞迴參數，來遞迴式 ' 地將欲傳輸之檔案，分配給多數個候選伺服器傳輸。 .此進階預測遞迴式調整協同配置法包括下列步驟：首 先’以例如疋傳輸控制協定頻寬評估模組（Transmissi〇n

Control Protocol Bandwidth Estimation Model，簡稱 TCPEM)之頻寬量測模組’來即時地量測每一候選伺服器之 傳輸頻寬；其次，參考量測之候選伺服器的傳輸頻寬，來 201032150 計算遞迴參數值，並依據所計算之遞迴參數值與欲傳輸檔 案之待傳輸資料量，計算出本回合應分配供傳輸之待分配 資料量。 之後，依據量測之傳輸頻寬與前回合每一候選伺服器 之傳輸完成百分比，來將待分配資料量分配給每一候選伺 服器，得到每一候選伺服器之本回合傳輸資料量；進行傳 輸並計算每一候選伺服器傳輸前述本回合傳輸資料量之傳 輸完成百分比；然後，檢查每一候選伺服器之傳輸完成百 ❹ 分比；以及當已有任一候選伺服器完成傳輸其本回合傳輸 資料量時，檢查是否已完成檔案之分配，且當尚未完成檔 案之分配時，遞迴至下一回合。 其中，此進階預測遞迴式調整協同配置法，係以下式 來計算遞迴參數值a i :

=1-----όΤ X 〇 < α, < 1 弍中，i代表遞迴之回合數，j代表不同的候選伺服器， Bji代表量測之候選伺服器的傳輸頻寬。 其中，此進階預測遞迴式調整協同配置法更包括下述 步驟：依據各候選伺服器之傳輸頻寬與前回合之傳輸完成 百分比，來將候選伺服器分類為具有不同傳輸能力之多數 個群組。

其中，此進階預測遞迴式調整協同配置法，係使用K 201032150 平均演算法a-meansalg(〕Hthm),來將輯 =有不同傳輸能力之例如是快速群組與—般群 其中，此進階預測遞迴式調整協同配置法 來將本回合應分配供傳輸之待分配㈣ 配:式 候選伺服器： 刀配給每一

FastS“ S£·*- Ββ *rji *2 式中，i代表遞迴之回合數，j代 FastSn代表分類為快速群組之候選伺服/、太伺服器， ❹ Σ(ββ *rjt- Normals u n —---- V y=i ) Σ(α 資料量’ N_alSjl代表分類為一般群組“選：:了: =合傳輸資料量，心代表制之候]·的傳^ 寬，=代表前回合之候選伺服器〗的傳輸完成百分比。 其中，此進階預測遞迴式調整協同配置法，其 為快速群組之候選伺服器，並且 、刀類 (Multi-session)來進行資料之傳輸。 、輸法 其中，此進階預測遞迴式調整協同配置 待傳輸資料量STl，在初始時，係錢為等於 = 的大小，之後，則以下式來計算： 训心備茶 η STt ^UnassignedFileSizei +YUnfinishFileSizet 1 11 201032150 式中，i代表遞迴之回合數 、

UnassignedFi leSize‘佔主 戶斤述·候選4司服器’

UnassignedFileSizei^^#t^^^

Unf inishFileSizeii-i ^ ,n HE ^ 吁衹：貧枓置， - 八表候選伺服器j之前一 - 成傳輸的資料量。 口《尚未元 ·- λ中’此進卩皆預測遞迴式調整協同配 待分配資料量SEi，係以下式來計算； 每口 口之 SEt = STt * at 式中’ L代表參考量測之各候選飼服器的 _ ^之遞迴參數值，沉代表所計算之本回合待傳輸^ 量0 綜上所述，本發明至少具有如下之特點： 1·使用TGPEM頻寬量測技術，來量職選伺服器 輸頻寬，其可靠度與準確性均佳。 2·即時地隨著資料網格環境的變化，適時地調整遞回 參數值，藉以將待分配資料量分配給各候選伺服器傳輪匕 故可真正適應於每一種資料網格環境，而非只針對特」气 計出來的實驗環境。 ' 選 3. 採用分類濟异法，可以快速地找到最有效率之候 伺服器，以有效地提昇資料傳輸之效能。 料 4. 率先將分時多線傳輸技術’應用於資料網格之_ - 傳輸中，可進一步提昇資料傳輸之效能。 資 5. 有效地分別計算資料傳輸能力不同的候選词服器 進而分配給予能力所及之資料傳輸量，達成資料傳輪 ’ 能需求。 』之致 12 201032150 6.除了支援負料網袼夕卜，亦 分派，以提昇其計算效能。應用於汁异綱格之工作 為讓本發明之上述和其他目的 顯易僅，下文特以較佳實施例，並 t點能^明 說明如下： σ π附圈式，作詳細 【實施方式】 鲁 鵪 4Α與4Β所*，其為根據本發 ::種進階預測遞迴式調整協同配置法的流程圖= 於依據-遞迴參數，來遞迴式地將欲傳輪之八 配給多數個候選伺服器傳輸。由於根據本=二 :-種進階預測遞迴式調整協同配置 ί’係可即時地隨著資料網格環境的變化而適時Γ4Ξ 故可有效地提昇資料傳輸之效能。 也調主 如圖所示，首先，在步驟401中，會先計算 合 :::::::輸:!4:STi。其計算方法在初始時，係將 丹傳輸貝料疋為等於欲傳輸之檔案的 ^為檀案尚未分配傳輸之資料量（也就是剩餘之資料量） 與各候選伺服器前一回合尚未完成傳輸 和。其計算式如下： 4㈣“心之加_ η STt=UmssignedFileSizet +^UnfmishFileSize.. , ( 1 ) = 代表^之回合數’ Μ表所述候選娜 器，UnaSSlgnedFlleSlzei代表檔案尚未分配傳 量，UnfinishFileSizew代表候選伺服器】之前一回合尚 13 201032150 未完成傳輸的資料量。 )麦纟乂驟402 + ’以例如是傳輪控制協定頻寬评 服器之傳輸頻寬’再進入步顿403中，判斷待U 厂量是否大於各候選伺服器之頻寬 51貝 驟_，以將待分配總和，如㈣進入步 之 ，_入」 為等於待傳輸資料量；反 Φ 貝J進，步驛404 ,而以下式來計算遞 η .0.2 -S. 〇 < ^ < 1 ΣΒ (2) 之-式(:)1二代表遞迴之回合數，j代表各軸服器 Bn代表量測之候選伺服器]·的傳輸頻寬。 戰4〇t步^tr人成遞®參數值α 1之計算後，即進入步 :405 Μ轉本回合之待分配資料量亂 配資料量SEi，^下絲計算： 本^之待刀 SE^ST^^ , (3) 寬所itvαι代表參考量測之各候選伺服器的傳輸頻 2料之遞迴參數值，STi代表所計算之切合待傳輸資 隨後’在步驟406 t，判斷所計算之待分配資料量亂 疋否大於各候選伺服器之頻寬的總和，如否，則進入步驟 7 ’以將待分配資料量SEi重新設定為等於待傳輸資料量 ’反之’則陸續進入步驟408與409，以依據量測之傳 201032150 ' 輸頻寬與前回合每一候選伺服器之傳輸完成百分比，來將 待分配資料量分配給每一候選伺服器，得到每一候選伺服 器之本回合傳輸資料量。 : 前述步驟403中，判斷待傳輸資料量STi是否大於各候 : 選伺服器之頻寬的總和，以及步驟406中，判斷所計算之 待分配資料量SEi是否大於各候選伺服器之頻寬的總和之 目的，只是為了確認本回合尚待傳輸之待傳輸資料量STi 是否不夠大？而應將其一次全數分配完畢，使程式模組進 ❹ 入最終回合之緣故。 在步驟408中，首先將候選伺服器依不同之傳輸性能 予以分類，其作法係使用K平均演算法，來將候選伺服器 分類為具有不同傳輸能力之例如是快速群組與一般群組等 兩個群組。K平均演算法乃為依據各候選伺服器之傳輸頻 寬與前回合之傳輸完成百分比，來將候選伺服器分類為具 有不同傳輸能力之多數個群組之習用作法，因而不再詳予 敘述。 ® 在步驟409中，係參考步驟408對於候選伺服器之分 類，來將本回合應分配供傳輸之待分配資料量SEi分配給每 一候選伺服器。其計算式如下 *2

FastS „ SE, (4) Ββ *^, -ι Σ(恳％ 少1 SEt -^FastSj,

Normals “ (5) 15 201032150 式（4)與（5)中，i代表遞迴之回合數 、、 伺服器，FastSn代表分類為快速群組之候 所述候選 合傳輸資料量，N_心代表分類為一般群==回 器J•的本回合傳輸資料量，Bii代表量測之候選伺服^月艮 =頻寬，m代表前回合之候選舰器μ傳輸完= Ο 步驟棚與409分配完成後，流 Π亍傳輸並計算各候選飼服器之傳輪完成= 其：，由於被分類為快速群組之候選伺服=輸？ 回合傳輪資斜詈八 + 斤負擔之本 為快迷群組之候選;司:己、特別加重’因此，乃將被分類 叫一)來進二用所謂的多線傳輪法 能力。 朴貝科之傳輸’以有效地增進其傳輪 在步驟4U 如判斷並無候選飼服器已 反之:广執行傳輸並計算完成；比: 進入步驟==完成此-回合之傳輸，流程乃 標案尚未分配=為最終回？也就是 如判斷非最終回，即為：之情形。步驟412中， 輸；反之，則進人步驟413 ，以進人下—回合之傳 之候選伺服器的資料傳輸。’以繼續絲尚未完成傳輪 遞迴整明較佳實施例所提供之-種進階預測 置法，不僅可隨著傳輸環境之變化，來 201032150 即時地調整遞迴參數，以大幅增進資料傳輸之效能，更可 隨著傳輸環境之變化，來將待分配資料量分配給各候選伺 服器平行傳輸，並且也率先將分時多線傳輸技術，應用於 資料網格之資料傳輸中，而能更進一步提昇資料傳輸之效 — 能。 雖然本發明已以較佳實施例揭露如上，然其並非用以 限定本發明，任何熟習此技藝者，在不脫離本發明之精神 和範圍内所作之各種更動與潤飾，亦屬本發明之範圍。因 ® 此，本發明之保護範圍當視後附之申請專利範圍所界定者 為準。 17 201032150 【圖式簡單說明】 圖1係顯示習知之一種協同配置的資料傳輸架構示意 圖。 圖2係顯示習知之一種遞迴式調整協同配置法的流程 圖。 圖3A與3B係顯示習知之一種預測遞迴式調整協同配 置法的流程圖。 圖4A與4B係顯示根據本發明較佳實施例之一種進階 ® 預測遞迴式調整協同配置法的流程圖。 【主要元件符號說明】 10應用程式 20經紀人 30網格資料庫 40協同配置模組 50資料網格儲域系統 ® 51、52、53候選伺服器 201〜413流程步驟 18

Claims (1)

1. 201032150 十、申請專利範圍： 1. 一種進階預測遞迴式調整協同配置法，適用於依據 一遞迴參數，來遞迴式地將欲傳輸之一檔案，分配給多數 :個候選伺服器傳輸，包括下列步驟： ’以一頻寬量測模組來量測每一所述候選伺服器之一傳 輸頻寬； 參考量測之所述候選伺服器的該傳輸頻寬，來計算該 遞迴參數值，並依據該遞迴參數值與該檔案之一待傳輸資 〇 料量，計算出本回合應分配供傳輸之一待分配資料量； 依據該傳輸頻寬與前回合每一所述候選伺服器之一傳 輸完成百分比，來將該待分配資料量分配給每一所述候選 伺服器一本回合傳輸資料量； 進行傳輸並計算每一所述候選伺服器傳輸該本回合傳 輸資料量之該傳輸完成百分比； 檢查每一所述候選伺服器之該傳輸完成百分比；以及 當已有所述候選伺服器完成傳輸該本回合傳輸資料量 ® 時，檢查是否已完成該檔案之分配，且當尚未完成該檔案 之分配時，遞迴至下一回合’。 2. 如申請專利範圍第1項所述之進階預測遞迴式調整 - 協同配置法，其中係以下式來計算該遞迴參數值ai : 201032150 式中，i代表遞迴之回合數 Βπ代表量測之該傳輪頻寬。 表所述候選伺服器， 3.如申請專利範圍第 協同配置法，其中該頻寬量測模磐 評估模組。 、、、且係為傳輸控制協定頰寬 協同=請所述之進階預測遞迴式調整 力之多數個群組。 服^類為具衫同傳輪能 5·如申請專利範圍第 π 協同配置法，其中係使用 演=階=遞迴式調整 服器分類為具有不同傳輪能力之多數個群=將所述候選飼 協二園第5項所述之進階預測遞迴式調整 一般群組等共兩群組。 類㈣速群組與 協同請專利範園第6項所述之進階預測遞迴式調整 去’其中係以下式來將該待分配資料量证分配給 每一所述候選伺服器： FastS, SEt Βη *^-ι) Normals SEt n -'Σ, FastSβ 20 201032150 式_，I代表遞迴之回合數 … FastS"代表分類為快速群組之候選伺服器’ 資料量，N〇rmalSji代表分類為一般群本回合傳輪 本回合傳輸資料量，Bn代表量測之該傳㈣^服器的該 前回合之該傳輸完成百分比。 ^ Ρ寬，rji-i代表 協二圍第7項所述之進階預測遞迴式調整 協同配置法，其中分類為快速群組 式調整 啟用多線傳輸法來進行資料之傳輪。e、選伺服器，係 梳门利範圍第1項料之進階預測遞迴式調整 協同配置法，其中該待傳輸資料量ST1初始時係設定為等2 該檔案大小，之後，則以下式來計算： ' 57； = UnassignedFileSize, + 式中’ i代表遞迴之回合數，j代表所述候選伺 unassignedFileSizei代表該檔案尚未分配傳輸之 量，UnfinishFUeSizew代表所述候選舰器之前一回j 尚未完成傳輸之資料量。 σ 10.如申請專利範圍第9項所述之讀制遞迴 整協同配置法’其中該待分配資料量SEi係以 SE^ST^a, T * 式中 ，a i代表該遞迴參數值，抓代表該待傳輸資料 21