TWI419568B

TWI419568B - 三維之影像切割方法

Info

Publication number: TWI419568B
Application number: TW99117079A
Authority: TW
Inventors: Tsang Ling Sheu; Ching Chen Lin
Original assignee: Univ Nat Sun Yat Sen
Priority date: 2010-05-27
Filing date: 2010-05-27
Publication date: 2013-12-11
Also published as: TW201143442A

Description

三維之影像切割方法

本發明係有關於一種三維之影像切割方法，特別是有關於一種根據時間、空間及品質等三個參數將影像資料切割成複數洪流(torrent)單元之三維之影像切割方法。

隨著網際網路的普及，愈來愈多的使用者透過網路收看影片或電視節目。然而，由於網路使用者的激增，傳統主從(Client-Server)式的資料傳送方式已經不符合需求。有鑑於此，習知方式係利用多台影片伺服器並以群播方式分散伺服器和網路的負擔。然而，這種方式需耗費大量的成本建置伺服器，若用戶端不在其佈建範圍內將會受到諸多限制。

為了解決上述問題，便將傳統之主從式伺服器改成分散式的點對點(Peer-to-Peer，P2P)網路，透過將每一用戶也當成一個資料來源端的方式來分散負載。因此，每部影片將會被分割並分散到不同的用戶端，藉由同時向多個用戶下載影片內容的方式來提高下載效率並縮短下載時間。然而，在目前的點對點播放系統中，大多還是以檔案傳輸的型式來提供影音串流服務，而無法針對影音串流所要求的及時性進行改善，因此常常造成畫面停格或破碎的現象。

為了解決畫面停格或破碎的現象，習知技術係根據畫面群組(Group of Picture，GOP)來進行影片檔案的切割。此種方式雖然改善了畫面破碎的現象，但由於無法改變影片的位元率(bit rate)，因此仍會有影片停格或跳躍的現象。有鑑於此，另一傳統方式係採用可擴展視訊編碼(Scalable Video Coding，SVC)的機制來調整影片之品質層(quality layer)，藉此改變影片之位元率以適應網路頻寬。但這種方式只能調整影片之品質層，無法根據使用者的裝置調整畫面大小，因此在調整的彈性上尚有不足之虞，亦可能發生以顯示螢幕小的使用者裝置接收大畫面的影片的情況，將因此而造成頻寬浪費的現象。

此外，另一種可調整影片位元率的習知方式係轉碼(transcoding)機制，其原理係將經由可擴展視訊編碼所編碼的影片重新轉碼成其他格式以調整影片位元率。但由於該轉碼機制需要將影片重新編碼，因此較為費時且易造成畫面停格的現象。此外，在點對點的網路架構中影片資料是同時由多個用戶端下載下來，若利用該轉碼格式將影片重新編碼成單一層級(品質層)，則依然會存在有上述彈性不足的缺點。

基於上述問題，需要一種三維之影像切割方法。

本發明係提供一種三維之影像切割方法，其主要係根時間、空間及品質等三個參數將影像資料切割成複數洪流單元，並根據使用者端之裝置等級決定所需下載之洪流單元的數目，藉此達到檔案下載之彈性，為其發明目的。

本發明係提供一種三維之影像切割方法，其主要係根時間、空間及品質等三個參數將影像資料切割成複數洪流單元，並根據使用者端之裝置等級決定所需下載之洪流單元的數目而達到節省時間成本，為其發明又一目的。

為達到前述發明目的，本發明所運用之技術手段及藉由該技術手段所能達到之功效包含有：一種三維之影像切割方法，包含一資料擷取步驟，取得一畫面群組，其中該畫面群組包含一I畫面、一P畫面和一B畫面，每一該I畫面、該P畫面和該B畫面各包含複數網路抽象層封包，每一該網路抽象層封包係包含一標頭，該標頭係包含一畫面相依性識別碼欄位、一畫面品質識別碼欄位和一畫面時間識別碼欄位；一資料比對步驟，針對該I畫面、該P畫面和該B畫面所包含之所有該網路抽象層封包，逐一比對其標頭所記載之該畫面相依性識別碼欄位、該畫面品質識別碼欄位和該畫面時間識別碼欄位的值；及一資料整合步驟，根據該資料比對步驟之比對結果，將該I畫面、該P畫面和該B畫面中，該畫面相依性識別碼欄位、該畫面品質識別碼欄位和該畫面時間識別碼欄位具有相同值之所有該網路抽象層封包整合成單一洪流單元。

此外，本發明揭露一種三維之影像切割方法，包含一資料擷取步驟，係取得經由一編碼機制編碼後之一影像資料；一資料切割步驟，係將該影像資料切割成複數影像區段，其中每一影像區段包含複數畫面群組，每一該畫面群組包含一I畫面、一P畫面和一B畫面，每一該I畫面、該P畫面和該B畫面各包含複數網路抽象層封包，每一該網路抽象層封包係包含一標頭，該標頭係包含一畫面相依性識別碼欄位、一畫面品質識別碼欄位和一畫面時間識別碼欄位；一資料比對步驟，針對每一該影像區段之所有該I畫面、該P畫面和該B畫面所包含之所有該網路抽象層封包，逐一比對其標頭所記載之該畫面相依性識別碼欄位、該畫面品質識別碼欄位和該畫面時間識別碼欄位的值；及一資料整合步驟，根據該資料比對步驟之比對結果，將每一該影像區段之所有該I畫面、該P畫面和該B畫面中，該畫面相依性識別碼欄位、該畫面品質識別碼欄位和該畫面時間識別碼欄位具有相同值之所有該網路抽象層封包整合成單一洪流單元。

為讓本發明之上述及其他目的、特徵及優點能更明顯易懂，下文特舉本發明之較佳實施例，並配合所附圖式，作詳細說明如下：請參照第1圖，其係繪示本發明三維之影像切割方法所執行之點對點網路架構的示意圖。在第1圖中，其係顯示多個使用者端1透過一點對點網路2互相聯繫。每個使用者端1具有一儲存媒體和一中央處理單元(Central Processing Unit，CPU)。該儲存媒體係連接至該CPU。該儲存媒體係存放至少一影片資料，該CPU係執行本發明之三維之影像切割方法。

請參照第2圖，其係繪示本發明之三維之影像切割方法的流程圖。本發明之三維之影像切割方法包含一資料擷取步驟S1、一資料切割步驟S2、一資料比對步驟S3、一資料整合步驟S4和一資料傳送步驟S5。

在資料擷取步驟S1中，係取得經由可擴展視訊編碼(SVC)機制編碼後之一影像資料，如第3圖所示。在資料切割步驟S2中，係將該影像資料切割成複數影像區段(segment)。其中，每一影像區段包含複數畫面群組，每一畫面群組包含內部編碼畫面(Intra frame，以下稱I畫面)、預測畫面(Predict frame，以下稱P畫面)和雙向預測畫面(Bi-directional frame，以下稱B畫面)。由於該I畫面、P畫面和B畫面係熟悉此領域者之通常知識，因此在此不多做敘述。舉例來說，影像區段I₀ 包含畫面群組G₁ 至G_K 。

其中，以畫面群組G₁ 為例，其包含一I畫面、至少一P畫面和至少一B畫面。該I畫面和該P畫面又可分成基底層(base layer)和加強層(enhancement layer)，而該B畫面僅為加強層。每一I畫面、P畫面和B畫面皆由複數網路抽象層(Network Abstraction Layer，NAL)封包(NAL packet)組成，用以承載該畫面之影像資料。每一NAL封包皆包含兩部份：一標頭(header)和一資料(data)部份。第4圖係繪示NAL封包之標頭結構。

在第4圖中，NAL封包之標頭結構系可包含一禁止零位元(Forbidden zero bit，F)欄位、一網路抽象層參考指標(NAL Ref Idc，NRI)欄位、一網路抽象層單元類別(NAL unit type，NUT)欄位、一保留位元(Reserved bit，R)欄位、一即時解碼刷新旗標(Instantaneous Decoding Refreshing flag，I)欄位、一優先順序識別碼(Priority ID，PID)欄位、一非內層預測編碼旗標(No inter layer pred flag，N)欄位、一畫面相依性識別碼(Dependency ID，DID)欄位、一畫面品質識別碼(Quality ID，QID)欄位、一畫面時間識別碼(Temporal ID，TID)欄位、一使用參考基準圖片旗標(Use ref base pic flag，U)欄位、一可棄置旗標(Discardable flag，D)欄位、一輸出旗標(output flag，O)欄位和一保留位元(Reserved bits，R2)欄位等。其中網路抽象層單元類別(NUT)欄位係記載目前NAL封包的種類，其值14表示目前NAL封包為前置(prefix)封包，其值1或5表示目前NAL封包為影音資料封包。網路抽象層單元類別欄位值為1和5的不同在於，其值為5的NAL封包只會出現於I畫面的基底層。

畫面相依性識別碼(DID)欄位係記載影像畫面之空間可擴展性(Spatial Scalability)，亦即畫面的大小。畫面相依性識別碼的值可從000至111，000為最小的畫面，而111為最大的畫面。畫面品質識別碼(QID)欄位係記載影像畫面之品質可擴展性(Quality Scalability)，亦即畫面品質(或解析度)的好壞。畫面品質識別碼的值可從0000至1111，0000為最差的畫面品質，而1111為最佳的畫面品質。畫面時間識別碼(TID)欄位係記載影像畫面之時間可擴展性(Temporal Scalability)，其值代表影像於壓縮時之框率(frame rate)的倍數，例如其值為001時代表影像壓縮時之框率倍數為2。NAL封包標頭結構的其他欄位由於與本發明無關，因此在此不多加敘述。

以第3圖之畫面群組G₁ 為例，其包含一I畫面、至少二P畫面和多個B畫面。其中，I畫面3包含三NAL封包NAL(0,0,0) 31、NAL(0,0,0) 32和NAL(0,1,0) 33。對封包NAL(0,0,0) 31而言，其包含一標頭和一資料，其標頭所包含之畫面相依性識別碼、畫面品質識別碼和畫面時間識別碼的值皆為0，而其NUT為14。對封包NAL(0,0,0) 32而言，其包含一標頭和一資料，其標頭所包含之畫面相依性識別碼、畫面品質識別碼和畫面時間識別碼的值亦為0，然其NUT為1或5。對封包NAL(0,1,0) 33而言，亦包含一標頭和一資料，其標頭所包含之畫面相依性識別碼的值為0、畫面品質識別碼的值為1而畫面時間識別碼的值為0，而其NUT為20。如圖所示，B畫面4包含三NAL封包NAL(1,0,0) 41、NAL(1,0,0) 42和NAL(1,1,0) 43；P畫面5包含三NAL封包NAL(0,0,0) 51、NAL(0,0,0) 52和NAL(0,1,0) 53；B畫面6包含三NAL封包NAL(1,0,0) 61、NAL(1,0,0) 62和NAL(1,1,0) 63；P畫面7包含三NAL封包NAL(0,0,0) 71、NAL(0,0,0) 72和NAL(0,1,0) 73。每一上述NAL封包皆同樣包含一標頭和一資料。

據此，本發明之資料比對步驟S3係針對I畫面3、P畫面5、7和所有B畫面(含未標號之B畫面)所包含之所有NAL封包，逐一比對其標頭所記載之該畫面相依性識別碼、該畫面品質識別碼和該畫面時間識別碼的值，以便進行資料整合步驟S4。詳言之，NAL封包31-33、41-43、51-53、61-63、71-73和其他未標號者，係彼此相互比對其標頭所記載之該畫面相依性識別碼、該畫面品質識別碼和該畫面時間識別碼的值。

本發明之資料整合步驟S4係根據資料比對步驟S3之比對結果，將該I畫面、該P畫面和該B畫面中，標頭具有相同該畫面相依性識別碼、該畫面品質識別碼和該畫面時間識別碼之所有NAL封包整合成單一洪流(Torrent)單元。舉例來說，參照第3圖，I畫面3之NAL封包NAL(0,0,0) 31和32、P畫面5之NAL封包NAL(0,0,0) 51和52，以及P畫面7之NAL封包NAL(0,0,0) 71和72，其標頭所包含之畫面相依性識別碼、畫面品質識別碼和畫面時間識別碼的值皆相同(同為0)，因此該等NAL封包31、32、51、52、71和72係整合成一Torrent單元(0,0,0)，亦稱為基底層之Torrent單元(0,0,0)。此外，I畫面3之NAL封包NAL(0,1,0) 33，P畫面5之NAL封包NAL(0,1,0) 53，以及P畫面7之NAL封包NAL(0,1,0) 73，其標頭所包含之畫面相依性識別碼、畫面品質識別碼和畫面時間識別碼的值皆相同(畫面相依性識別碼同為0、畫面品質識別碼同為1，畫面時間識別碼同為0)，因此該等NAL封包33、53和73係整合成一Torrent單元(0,1,0)，亦稱為和加強層之Torrent單元(0,1,0)。據此，NAL封包31、32、51和52係整合成一Torrent單元(1,0,0)，亦稱為和加強層之Torrent單元(1,0,0)。同理，NAL封包43和63係整合成一Torrent單元(1,1,0)，亦稱為和加強層之Torrent單元(1,1,0)。

為方便說明本發明上述Torrent單元(0,0,0)、(0,1,0)、(1,0,0)和(1,1,0)之切割過程，係僅以畫面群組G₁ 為例說明上述四Torrent單元係為畫面群組G₁ 之所有I畫面、P畫面和B畫面的NAL封包所構成。然而，在實際的實施例中，上述Torrent單元(0,0,0)、(0,1,0)、(1,0,0)和(1,1,0)係為所有畫面群組G₁ 至G_K 之所有I畫面、P畫面和B畫面的NAL封包所共同構成，而非單純僅由畫面群組G₁ 之所有I畫面、P畫面和B畫面的NAL封包所構成。其中，畫面群組G₂ 至G_K 之I畫面、P畫面和B畫面的NAL封包構成Torrent單元(0,0,0)、(0,1,0)、(1,0,0)和(1,1,0)之切割過程係與畫面群組G₁ 相同，因此不再重複敘述。

至此，Torrent單元(0,0,0)、(0,1,0)、(1,0,0)和(1,1,0)由畫面群組G₁ 至G_K 組成之過程已詳述如上。然而，在實際的實施例中，Torrent單元並非只有(0,0,0)、(0,1,0)、(1,0,0)和(1,1,0)四者，而是由(0,0,0)至(l,m,n)，其中l、m和n皆為任意整數。Torrent單元之分布情形可參見第5圖所示。以上係以第3圖之影像區段I₀ 為例說明Torrent單元之切割情形，其他影像區段I₁ 至I_N 之Torrent單元切割程序亦同，因此不再贄述。

據此，由複數影像區段I₀ 至I_N 所形成的影像資料可被切割成許多Torrent單元(0,0,0)至(l,m,n)，並為使用者端1透過點對點網路2互相傳送。當其中一使用者端1欲下載影像資料時，可視使用者端1本身的配備水準決定所需下載之Torrent單元的多寡。舉例來說，參見第6a圖，當使用者端1為不具有高階顯示功能的手機裝置時，使用者端1僅需從點對點網路2下載基底層之Torrent單元(0,0,0)即可滿足手機之顯示功能。此時，參見第6a圖之Torrent單元結構，所下載的影像資料因僅含單一Torrent單元(0,0,0)，因此係無法調整所下載之影像資料的影像品質、畫面大小和框率等等。此外，如第6b圖所示，當使用者端1為顯示功能略佳的個人數位助理(Personal Digital Assistant)時，使用者端1可從點對點網路2下載Torrent單元(0,0,0)、(1,0,0)、(2,0,0)、(0,1,0)、(1,1,0)和(2,1,0)。據此，所下載的影像資料具有兩種畫面品質(基本的畫面品質0和較佳的畫面品質1)，以及具有三種框率(框率0、框率中等的框率1和框率最高的框率2)，但無法調整其畫面空間(尺寸)。如第6c圖所示，當使用者端1為顯示功能更佳的筆記型電腦時，使用者端1可從點對點網路2下載Torrent單元(0,0,0)、(1,0,0)、(2,0,0)、(0,1,0)、(1,1,0)、(2,1,0)、(0,0,1)、(1,0,1)、(2,0,1)、(0,1,1)、(1,1,1)和(2,1,1)。據此，所下載的影像資料除了具有如第6b圖中的兩種畫面品質及三種框率外，更具有兩種畫面空間可擴展性(空間可擴展性0和空間可擴展性1)。在此，空間可擴展性1相較於空間可擴展性0係代表較大的畫面空間；亦即，所下載的影像資料可切換於較小的畫面尺寸(空間可擴展性0)和較大的畫面空間(空間可擴展性1)之間。參見第6d圖，當使用者端1為顯示功能更強的桌上型電腦時，其可從點對點網路2下載更多的Torrent單元(0,0,0)、(1,0,0)、(2,0,0)、(0,1,0)、(1,1,0)、(2,1,0)、(0,2,0)、(1,2,0)、(2,2,0)、(0,0,1)、(1,0,1)、(2,0,1)、(0,1,1)、(1,1,1)、(2,1,1)、(0,2,1)、(1,2,1)和(2,2,1)。如此，所下載的影像資料相較於第6c圖具有更佳的畫面品質(畫面品質2)。同理，當使用者端1為具有更強顯示功能的高解析度電視(High Definition Television)時，其可從點對點網路2下載更完整數量的Torrent單元以迎合高解析度電視強大的顯示功能，如第6e圖所示。據此，本發明允許使用者端1根據其自身的顯示功能強弱，選擇所欲下載之Torrent單元的多寡。如此一來，當使用者端1本身的顯示功能較差時，只需要下載少數的Torrent單元即可滿足自身硬體設備的播放需求，而不需要下載完整數量的Torrent單元而浪費多餘的時間。反之，當使用者端2本身的顯示功能較強時，可選擇下載更多數量的Torrent單元來進行更精緻的影像播放，提升影像播放的水準。

至此本發明已說明影像資料(見第3圖)如何被切割成Torrent單元，並傳送至點對點網路2供使用者端1下載。以下，本發明將說明使用者端1下載Torrent單元、重組Torrent單元及播放重組之Torrent單元的程序。

第7圖係繪示本發明之使用者端1之操作方塊圖，其係包含一設定程序S71、一通訊程序S72、一頻寬管理程序S73、一資料存取程序S74、一洪流比對更新程序S75、一候選人管理程序S76、一時間檢知程序S77和一播放程序S78。

在流程開始之初，係於使用者端1建立一用戶介面。在設定程序S71中，係根據使用者端1的裝置類型來設定欲下載之影像資料以及Torrent單元。亦即，當使用者端1的裝置愈高階時，則下載愈多的Torrent單元，以便符合自身功能強大的播放設備。當欲下載之影像資料以及Torrent單元決定之後，通訊程序S72即開始資料的傳送。在資料傳送之初，通訊程序S72係先向頻寬管理程序S73取得連線數目，再根據連線數目建立多條連線下載Torrent單元。頻寬管理程序S73係不斷偵測點對點網路2的頻寬狀況並計算出使用者端1的剩餘可用連線數目，使得通訊程序S72能藉此建立使用者端1的連線。當通訊程序S72接收到影像資料的Torrent單元時，會將接收的Torrent單元交由資料存取程序S74進行存取。其中資料存取程序S74可將接收的Torrent單元儲存至相關的儲存裝置，例如記憶體。此間，洪流比對更新程序S75係偵測所下載的Torrent單元是否已經完整接收，並將Torrent單元的接收狀態告知資料存取程序S74和候選人管理程序S76。候選人管理程序S76將視Torrent單元的接收狀態更新其候選人清單，亦即其所欲下載之Torrent單元的清單，並決定接著要下載之Torrent單元。時間檢知程序S77包含一計時器，當影像資料之某一影像區段的播放時間到達時，時間檢知程序S77將通知資料存取程序S74將該影像區段的Torrent單元進行重組，並將重組後的Torrent單元送至播放程序S78進行播放。在播放程序S78中，會對該影像區段進行解碼，最後將解碼後的影片播放出來。

在上述程序中，當使用者端1完成一個影像資料之影像區段之Torrent單元的下載時，使用者端1會判斷其緩衝空間是否有足夠的空間暫存新的影像區段。若有足夠的空間可再下載該新的影像區段，則判斷是否還有時間可下載該新的影像區段，或者是該影像區段所有Torrent單元已於之前下載。假設該影像區段剩餘可下載之時間為t _watting ，則：

t _watting =t _segment ×Δn ，　Δn =SN _i -SN _j

其中SN _i 為欲下載之影像區段的序列號碼，SN _j 為正被解碼之影像區段的序列號碼。

如果沒有剩餘的時間或是該影像區段所有Torrent單元已於之前下載，則再準備下載下一個新的影像區段的Torrent單元。如果尚有時間且該影像區段的所有Torrent單元尚未下載完全，則計算剩餘的可用連線數目，如下：

連線數目=可用頻寬/連線之佔用頻寬

當尚有連線數目時就開始下載尚未下載的Torrent單元並判斷其是否完整接收，若未完整接收則繼續判斷是否尚有時間繼續接收，若已完整接收則將該Torrent單元標記為已下載，並繼續判斷是否需要繼續下載其他影像區段的Torrent單元。藉此，使用者端1即可成功地接收所需的Torrent單元，並進行後續的播放事宜。

必須注意的是，雖然在以上的實施例中，複數影像區段I₀ 至I_N 係於資料切割步驟S2中切割影像資料而得，進而得到每一影像區段所包含的複數畫面群組。然而，資料擷取步驟S1亦可直接取得一或多個畫面群組，因而省略資料切割步驟S2。

本發明係提供一種三維之影像切割方法，其主要係根時間、空間及品質等三個參數將影像資料切割成複數洪流單元，並根據使用者端之裝置等級決定所需下載之洪流單元的數目，而達到檔案下載彈性的功效。

本發明係提供一種三維之影像切割方法，其主要係根時間、空間及品質等三個參數將影像資料切割成複數洪流單元，並根據使用者端之裝置等級決定所需下載之洪流單元的數目，而達到節省時間成本的功效。

雖然本發明已利用上述較佳實施例揭示，然其並非用以限定本發明，任何熟習此技藝者在不脫離本發明之精神和範圍之內，相對上述實施例進行各種更動與修改仍屬本發明所保護之技術範疇，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

[本發明]

1．．．使用者端

2．．．點對點網路

3．．．I畫面

31．．．網路抽象層封包

32．．．網路抽象層封包

33．．．網路抽象層封包

4．．．B畫面

41．．．網路抽象層封包

42．．．網路抽象層封包

43．．．網路抽象層封包

5．．．P畫面

51．．．網路抽象層封包

52．．．網路抽象層封包

53．．．網路抽象層封包

6．．．B畫面

61．．．網路抽象層封包

62．．．網路抽象層封包

63．．．網路抽象層封包

7．．．P畫面

71．．．網路抽象層封包

72．．．網路抽象層封包

73．．．網路抽象層封包

第1圖：本發明一較佳實施例所述之三維之影像切割方法所執行之點對點網路架構的示意圖。

第2圖：本發明該較佳實施例所述之三維之影像切割方法的流程圖。

第3圖：本發明該較佳實施例所述之一影像資料切割成複數影像區段，以及影像區段之架構圖。

第4圖：本發明該較佳實施例所述之一網路抽象層封包的架構圖。

第5圖：本發明該較佳實施例所述之三維影像切割方法所切割之Torrent單元的架構圖。

第6a圖：本發明當一使用者端為一手機裝置時所下載之Torrent單元的示意圖。

第6b圖：本發明當該使用者端為一個人數位助理時所下載之Torrent單元的示意圖。

第6c圖：本發明當該使用者端為一筆記型電腦時所下載之Torrent單元的示意圖。

第6d圖：本發明當一使用者端為一桌上型電腦時所下載之Torrent單元的示意圖。

第6e圖：本發明當一使用者端為一高解析度電視時所下載之Torrent單元的示意圖。

第7圖：本發明之使用者端之操作方塊圖。