TWI424322B - 提供大量資料流存取的資料流管理系統 - Google Patents

Description

提供大量資料流存取的資料流管理系統

本發明是有關於一種資料流管理系統，特別是有關於一種在不同叢集間，利用一定方式分散資料流並以最快方式讀取該資料流的資料流管理系統。

近年來，隨著網路的興盛及多媒體工業的成長，已產生了越來越普及的影音伺服器系統。利用串流傳輸(Streaming)技術，影音檔案可經由串流技術一邊傳輸時，使用者即可一邊觀賞。並且可在串流影音檔案植入連結點，使得影音一邊播放，網頁跟著自動換頁。此種伺服器系統以低成本的方式將大量的影音資料流傳送給眾多的客户，在數位寬頻的時代，使用者可輕易地達到隨選視訊(video-on-demand)的境地，無須多費時間等待。但一個自然而然發生的問題是：由於使用者們對某些內容近乎無止境的需求，網路不僅要處理大量的媒體資料流，而且最好是可以幾乎即時取得這些媒體資料流，如果該些使用者在某個時間同時要取得該影像檔(如觀賞網路即時棒球賽)，即便網路頻寬如此大，現有網路伺服器系統尚難有效且精緻地提供此服務。

多媒體資料是極端地數量龐大。例如，儲存一部完整長度的電影可能需要50億位元組，而播放一個視訊流的節目通常可能用到每秒200百萬位元組的速率。此外，可能預期一個隨選視訊服務要服務數千的使用者，每一使用者都可即時自一個可能包含10¹⁴ 位元組(例如，每一節目的100億位元組乘以1,000個節目)的視訊資料庫中選擇以每秒200百萬位元組的速率播放的"個人化"且不中斷的視訊流。這些巨量的數字使人直覺地想起一些目前正困擾業界的嚴重問題：此種系統如何以有效率且低成本的方式傳送視訊流。

對此種系統的需求將引發一些更複雜的問題，開始時並未分析到的這些問題只會使困難度加倍。舉例而言，在隨選視訊電影伺服器的情形中，不能假設對所有的節目的需求為均勻分佈。與此相反，可見到某一節目相當走紅，有高比率的客户要求收視此一節目，因而對少數伺服器的需求完全無法滿足該上述需求。

對此上述問題，一些習知技術提供了某部份的解決之道。請參閱第1圖，第1圖簡介點對點廣播演算法(Peer-to-Peer Broadcasting Scheme，PPBS)。該法採用Harmonic Broadcasting的架構來進行點對點的廣播影音串流，PPBS假設網路上的節點距離非常近，且假設所有節點已經被同一時鐘同步。當節點在這個網路上時，就可以幫忙廣播影音串流，所以，在Harmonic Broadcasting架構中的每個頻道就可以由一群節點伺服器群(Peer Server Group)替代。在同一個時間，一個頻道只會有一個節點負責廣播影音串流給接收者，N個頻道也就會有N個不同的節點伺服器進行廣播的動作。由於節點伺服器群會互相確認對方是否處於正常可服務狀態，所以當第i個頻道的節點伺服器發生障礙時，馬上就會有第二優先替補的節點補上，維持系統的穩定性。而當第二優先替補的節點同一時間也出問題時，就由第三或第四節點補上節點伺服器的工作。此習知技術存在幾個缺點：首先、該法假設網路上的節點距離非常近，然而在實際提供串流服務的公司或個人可能會因為全球化而產生越域性的需求(如在亞洲點播美國網路影音服務)，該節點(伺服器)的存在是分散性的。遞補優先性的計算方式無法滿足使用者即時性的需求。其次，一個頻道只由一個節點負責廣播影音串流給使用者，在上述的情況，並無法提供最快的串流速度。

另一習知技術簡述於第2圖。該法是將節點經過階層化的建樹方式而型成的架構，其中可以保障節點加入與樹的高度為O(log n)，而最下一層必定包含所有上層的節點，節點的接收者要取得影音串流時會向上一層的首領(Head)節點取得串流資料，由於是階層狀架構，所以當節點發生離開的狀況時對於整體網路的影響較為局部。而每一個樹分支都會有一個代表者，負責代表子叢集詢問時進行分配串流的節點。當一個節點可以負擔進行串流時，就由叢集之首領進行分配。很明顯地，這種串流方式的最大缺點就是首領結點對各非首領節點的串流資料分配非最佳化，網路串流資料量大時也頗消耗資源。

最後，請見第3圖。Direct Stream法是一個以目錄為基礎的點對點的影音串流系統。新加入的客戶節點會向目錄伺服器詢問各個叢集中可加入的狀況，目錄伺服器就會回傳可以提供從某個播放點開始的節點清單，接下來客戶節點就會直接向該叢集中的節點詢問，並且加入該叢集。在Direct Stream架構中亦提供錄放功能，使用者可以透過詢問目錄伺服器來了解要取得影片任何一個播放點要從哪個叢集或是直接向串流伺服器取得。由於各叢集間並無點對點聯繫資料，因此容易造成各叢集的串流資料分布不均，該客戶節點所得的串流速度會因聯繫的叢集不同而有不同。

由上可知，在本技術領域中，一種以一定方式分散資料流並以最快方式讀取該資料流的資料流管理系統，還在努力精進研發。應用於串流傳輸，該系統能提供使用者最快且最有效串流資料來源。同時，對於熱門資料(影音檔)的需求，會因為需求的增多而提供相對多的資料來源。

本發明之主要目的，在提供一種提供大量資料流存取的資料流管理系統，包括：一客端主機，用以傳送及接收一資料主體；及複數個分散伺服器群組，經由網路與該客端主機連接，每一個分散伺服器群組包含：一判斷單元，用以判斷來自該客端主機的資料主體的容量是否超過一預定容量；一分割單元，當該資料主體的容量超過該預定容量時，用以將該資料主體以該預定容量為單位切割成複數個資料區塊並予以編號，而當該資料主體的容量小於該預定容量時，以一個資料區塊計；複數個分散伺服器，用以儲存該資料區塊；一傳送單元，將切割後的資料區塊分別傳送至其他分散伺服器；及一分配伺服器，用以控制該複數個分散伺服器的存取，該分配伺服器內存一全域索引，以記錄各資料區塊所在之分散伺服器位置。

依照本案構想，該分散伺服器群組進一步包括一更新單元，用以更新所在分散伺服器群組的全域索引，並將更新後的全域索引傳送到其他分散伺服器群組的更新單元。

依照本案構想，該更新單元在客端主機提出傳送或接收該資料主體時更新全域索引。

依照本案構想，該更新單元定時更新全域索引。

依照本案構想，該切割後的資料區塊分布於不同的分散伺服器群組的分散伺服器中。

依照本案構想，切割後的資料區塊任意分布於不同的分散伺服器中。

依照本案構想，該資料流管理系統進一步包括一組合單元，當客端主機發出接收資料主體的請求時，根據該全域索引找出該資料主體的各資料區塊所在分散伺服器位置，並以一特定條件選擇存取的分散伺服器，再將各資料區塊依編號連續串接在一起後提供給該客端主機。

依照本案構想，該特定條件為傳輸速度及資料儲存量。

依照本案構想，該資料流管理系統進一步包括一代理服務伺服器，具有一記憶體，當客端主機發出接收資料主體的請求時，根據該全域索引從該所在分散伺服器存取該資料主體的各資料區塊，並將不同編號之各資料區塊備份到該記憶體中，再將各資料區塊依編號連續串接在一起後提供給該客端主機。

依照本案構想，該資料主體為一影音檔案。

依照本案構想，該全域索引由一個以上的區塊矩陣所組成。

本發明之另一目的為提供一種利用上述之資料流管理系統來提供大量資料流存取的方法，包括下列步驟：a)傳送一資料主體；b)判斷該資料主體的容量是否超過一預定容量；c)當該資料主體的容量超過該預定容量時，將該資料主體以該預定容量為單位切割成複數個資料區塊並予以編號，而當該資料主體的容量小於該預定容量時，以一個資料區塊計；d)將資料區塊分別傳送至其他分散伺服器；及e)以資料區塊所在分散伺服器為內容更新一全域索引。

依照本案構想，上述方法進一步包括下列步驟：f)當收到接收資料主體的請求時，藉由該全域索引找出該資料主體的各資料區塊所在分散伺服器位置；g)以一特定條件選擇讀取的分散伺服器；及h)將各資料區塊依編號連續串接在一起。

依照本案構想，該特定條件包括傳輸速度及資料儲存量。

依照本案構想，在步驟g)與h)之間進一步包括備份不同編號之各資料區塊的步驟。

依照本案構想，該全域索引由一個以上的區塊矩陣所組成。

本發明藉一實施例以解說，請見第4圖至第8圖。第4圖說明本實施例的架構。一種提供大量資料流存取的資料流管理系統10，乃由第一分散伺服器群組100、第二分散伺服器群組130及第三分散伺服器群組150所組成。依照本實施例，該群組數目至少為2。關於一資料主體(如影音檔案)的傳送及接收，乃使用者藉由一客端主機170執行，並經由網路與前述各分散伺服器群組100、130及150連結。其中客端主機170屬客戶端，而分散伺服器群組100、130及150屬系統端。客戶端與系統端乃透過網路連接。

在本實施例中，第一分散伺服器群組100包含伺服器1001、1002、1003及1004；第二分散伺服器群組130包含伺服器1301及1302；第三分散伺服器群組150包含伺服器1501及1502，其中伺服器1001、1301及1501為主伺服器。

主伺服器1001、1301及1501具有下列功能：一、判斷功能。可以判斷來自該客端主機170的資料主體的容量是否超過一預定容量。二、分割功能。當該資料主體的容量超過該預定容量時，主伺服器1001、1301及1501會將該資料主體以該預定容量為單位切割成數個資料區塊並予以編號，而當該資料主體的容量小於該預定容量時，以一個資料區塊計。三、傳送功能。主伺服器1001、1301及1501將切割後的資料區塊分別傳送至其他伺服器。由於具有上述功能，伺服器1001、1301及1501各在分散伺服器群組100、130及150內扮演一分配伺服器的角色，可以控制資料區塊在伺服器1002、1003、1004、1302、1502及主伺服器間的存取。此外，主伺服器1001、1301及1501內各存有一全域索引，以記錄各資料區塊所在之分散伺服器位置。全域索引由一個以上的區塊矩陣所組成。伺服器1002、1003、1004、1302、1502在接受主伺服器1001、1301及1501的廣播通知後，能儲存或提供該些資料區塊。

主伺服器1001、1301及1501亦包括一更新功能，用以更新所在本身的全域索引，並將更新後的全域索引傳送到其他分散伺服器群組的主伺服器。更新時機為在客端主機170提出傳送或接收該資料主體時為之。另一種較佳的做法可設定主伺服器1001、1301及1501定時更新各自全域索引。另外，切割後的資料區塊分布於不同的分散伺服器群組的分散伺服器中，也可以任意或有規則地分布於同一個分散伺服器群組不同的分散伺服器中。

主伺服器1001、1301及1501更進一步包含一組合功能。當該客端主機170發出接收資料主體的請求時，主伺服器1001、1301及1501根據該全域索引找出該資料主體的各資料區塊所在伺服器位置，並以一特定條件選擇存取的伺服器，再將各資料區塊依編號連續串接在一起後提供給該客端主機170。在本實施例中，該特定條件為傳輸速度。也就是說主伺服器1001、1301及1501會依據需求，在全域索引所記錄具有某一資料區塊的特定伺服器，何者所在網路傳輸至該主伺服器的速度較快而決定由該伺服器提供此資料區塊。該特定條件亦可為資料儲存量，亦即資料區塊儲存越多的伺服器越容易被選為提供資料區塊服務。

在此實施例中，伺服器1004扮演一代理服務伺服器的角色(為避免混淆，1004以下以代理服務伺服器稱之)。該代理服務伺服器1004具有一記憶體(未繪示)，當該客端主機170發出接收資料主體的請求時，代理服務伺服器1004會根據該全域索引從該所在分散伺服器存取該資料主體的各資料區塊，並將不同編號之各資料區塊備份到該記憶體中，再將各資料區塊依編號連續串接在一起後提供給該客端主機170。

應了解，雖然在此實施例中，伺服器1004扮演著代理服務伺服器的角色，但根據本發明，代理服務伺服器並不拘限存在於分散伺服器群組100、130或150中，其亦可存在於該客端主機170中或外接於該客端主機170，如第6圖所示。甚至，該客端主機170也可以直接扮演代理服務伺服器的角色。換句話說，將各資料區塊依編號連續串接在一起的工作並不拘限於系統端，其亦可於客戶端完成。

以下詳述該資料流管理系統10的操作方式，並請同時參考第7圖及第8圖之流程。

當一使用者想在該資料流管理系統10內儲存一第一影音檔(資料主體)以供其他使用者下載時，該使用者可透過客端主機170向主伺服器1001傳送該第一影音檔(S101)。本實施例中該影音檔大小為2.5Mbytes。主伺服器1001會判斷該第一影音檔是否會超過1Mbytes(預定容量)(S102)。因為該第一影音檔的容量超過1Mbytes，該第一影音檔會以該1Mbytes大小為單位切割成3個資料區塊並予以編號為DA1、DA2及DA3(S103)；反之，若該第一影音檔的容量小於1Mbytes時，主伺服器1001會以一個資料區塊計(S104)。其後，主伺服器1001將切割後的資料區塊DA1、DA2及DA3分別傳送至分散伺服器1003、1302與1502儲存(S105)。在此同時，主伺服器1001亦會以資料區塊DA1、DA2及DA3所在伺服器為內容更新儲存其內的一全域索引(S106)。請見表一，全域索引由一個以上的區塊矩陣所組成，該區塊矩陣記錄了在各分散伺服器群組100、130及150內有記錄資料區塊DA1、DA2及DA3的對應關係(打ˇ者)。

在本實施例中，第一分散伺服器群組100所在網路頻寬較大，傳輸速度也較快。其次是第二分散伺服器群組130，最後是第三分散伺服器群組150。考慮傳輸速度的差異，以下描述讀取檔案時的差異。

當該使用者想在該資料流管理系統10內讀取該第一影音檔時(請見第5圖)，客端主機170會透過代理服務伺服器1004找到主伺服器1001或在客端主機170直接聯繫主伺服器1001。當客端主機170發出接收該影音資料的請求時，主伺服器1001由全域索引找出該第一影音檔被切割成的各資料區塊所在的伺服器(1003、1302與1502)位置(S201)。藉由比較傳輸速度或資料儲存量(資料區塊數目)選擇讀取的分散伺服器(S202)。

由於本影音檔平均分散於各個伺服器1003、1302與1502中，並未有比較之實。請參照表二，假設另有一第二影音檔，被主伺服器1501切割成4個資料區塊並予以編號為DB1、DB2、DB3及DB4並分別儲存至伺服器1002與1003、1003與1004、1301及1502中，及一第三影音檔，被主伺服器1501切割成5個資料區塊並予以編號為DC1、DC2、DC3、DC4及DC5並分別儲存至伺服器1003與1502、1002、1301、1302及1004中。此時，全域索引由三個區塊矩陣所組成。

當使用者由主伺服器1501讀取第二影音檔時，由於DB1與DB2各有兩個來源伺服器，故主伺服器1501會選擇索取資料區塊最快速的方式。很明顯地，因為本身同時具有兩個資料區塊，直接跟伺服器1003讀取DB1與DB2會是最快的選擇。另外一種發判斷方式發生在當使用者由主伺服器1501讀取第三影音檔時。由於DC1與DC2亦有兩個來源伺服器，當主伺服器1501會選擇索取資料區塊最快速的方式時，會因為伺服器1002與1003所在第一分散伺服器群組100傳輸速度最快而優先由伺服器1002與1003讀取DC1與DC2。

再回頭看表一與第5圖。根據本發明的精神，主伺服器1001會備份不同編號之各資料區塊(表一中打○者)(S203)。如果該第一影音檔非常熱門，則各主伺服器1001、1301及1501可能都會因為傳遞資料區塊而備份了所有的資料區塊DA1、DA2及DA3。其結果會有更多更快的資料來源以因應相對應增加的讀取需求。最後主伺服器1001將各資料區塊DA1、DA2及DA3依編號連續串接在一起(S204)，還原成原第一影音檔，以提供給使用者。

依照本發明的精神，有以下幾點值得注意：第一、每一分散伺服器群組內包含的主伺服器數量不只一個，可以是多數個，也可以全部都是；第二、當資料主體容量小於該預定容量或切割的最後一個小於預定容量的資料區塊可以一定方式填滿其資料內容至預定容量；第三、不同分散伺服器群組間的資料區塊對應是分散的，並非以一對一複製的次序為之。第四、由於動態的由各主伺服器更新全域索引，各區塊矩陣在同一分散伺服器群組內大小約略相同，在不同的分散伺服器群組內會有不同大小。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

10‧‧‧資料流管理系統

100‧‧‧分散伺服器群組

1001‧‧‧主伺服器

1002‧‧‧伺服器

1003‧‧‧伺服器

1004‧‧‧代理服務伺服器

130‧‧‧分散伺服器群組

1301‧‧‧主伺服器

1302‧‧‧伺服器

150‧‧‧分散伺服器群組

1501‧‧‧主伺服器

1502‧‧‧伺服器

170‧‧‧客端主機

第1圖繪示一種先前技術。

第2圖繪示另一種先前技術。

第3圖繪示又一種先前技術。

第4圖繪示本發明的一實施例。

第5圖繪示本發明實施例資料區塊傳送方式。

第6圖繪示本發明實施例資料區塊傳送方式之變化樣態。

第7圖為本發明實施例大量資料流儲存方式的流程圖。

第8圖為本發明實施例大量資料流讀取方式的流程圖。

10．．．資料流管理系統

100．．．分散伺服器群組

1001．．．主伺服器

1002．．．伺服器

1003．．．伺服器

1004．．．代理服務伺服器

130．．．分散伺服器群組

1301．．．主伺服器

1302．．．伺服器

150．．．分散伺服器群組

1501．．．主伺服器

1502．．．伺服器

170．．．客端主機

Claims (12)

1. 一種提供大量資料流存取的資料流管理系統，包括：一客端主機，用以傳送及接收一資料主體；及複數個分散伺服器群組，經由網路與該客端主機連接，每一個分散伺服器群組包含：一判斷單元，用以判斷來自該客端主機的資料主體的容量是否超過一預定容量；一分割單元，當該資料主體的容量超過該預定容量時，用以將該資料主體以該預定容量為單位切割成複數個資料區塊並予以編號，而當該資料主體的容量小於該預定容量時，以一個資料區塊計；複數個分散伺服器，用以儲存該資料區塊；一傳送單元，將切割後的資料區塊分別傳送至其他分散伺服器；一分配伺服器，用以控制該複數個分散伺服器的存取，該分配伺服器內存一全域索引，以記錄各資料區塊所在之分散伺服器位置；及一組合單元，當客端主機發出接收資料主體的請求時，根據該全域索引找出該資料主體的各資料區塊所在分散伺服器位置，並以一特定條件選擇存取的分散伺服器，再將各資料區塊依編號連續串接在一起後提供給該客端主機，其中該特定條件為傳輸速度及資料儲存量。
2. 如申請專利範圍第1項所述之資料流管理系統，其中 該分散伺服器群組進一步包括一更新單元，用以更新所在分散伺服器群組的全域索引，並將更新後的全域索引傳送到其他分散伺服器群組的更新單元。
3. 如申請專利範圍第2項所述之資料流管理系統，其中該更新單元在客端主機提出傳送或接收該資料主體時更新全域索引。
4. 如申請專利範圍第2項所述之資料流管理系統，其中該更新單元定時更新全域索引。
5. 如申請專利範圍第1項所述之資料流管理系統，其中該切割後的資料區塊分布於不同的分散伺服器群組的分散伺服器中。
6. 如申請專利範圍第1項所述之資料流管理系統，其中該切割後的資料區塊任意分布於不同的分散伺服器中。
7. 如申請專利範圍第1項所述之資料流管理系統，進一步包括一代理服務伺服器，具有一記憶體，當客端主機發出接收資料主體的請求時，根據該全域索引從該所在分散伺服器存取該資料主體的各資料區塊，並將不同編號之各資料區塊備份到該記憶體中，再將各資料區塊依編號連續串接在一起後提供給該客端主機。
8. 如申請專利範圍第1項所述之資料流管理系統，其中該資料主體為一影音檔案。
9. 如申請專利範圍第1項所述之資料流管理系統，其中該全域索引由一個以上的區塊矩陣所組成。
10. 一種利用如申請專利範圍第1項所述之資料流管理系統來提供大量資料流存取的方法，包括下列步驟：a)傳送一資料主體；b)判斷該資料主體的容量是否超過一預定容量；c)當該資料主體的容量超過該預定容量時，將該資料主體以該預定容量為單位切割成複數個資料區塊並予以編號，而當該資料主體的容量小於該預定容量時，以一個資料區塊計；d)將資料區塊分別傳送至其他分散伺服器；e)以資料區塊所在分散伺服器為內容更新一全域索引；f)當收到接收資料主體的請求時，藉由該全域索引找出該資料主體的各資料區塊所在分散伺服器位置；g)以一特定條件選擇讀取的分散伺服器，其中該特定條件包括傳輸速度及資料儲存量；及h)將各資料區塊依編號連續串接在一起。
11. 如申請專利範圍第10項所述之方法，在步驟g)與h)之間進一步包括備份不同編號之各資料區塊的步驟。
12. 如申請專利範圍第10項所述之方法，其中該全域索引由一個以上的區塊矩陣所組成。