TW201441935A - 視訊截圖系統及方法 - Google Patents

Abstract

一種視訊截圖系統及方法，其包括：從該多媒體流系統接收對應用戶端的位元流的位元流參數；從該多媒體流系統獲取最大層數；從該位元流參數中獲取第二層數；根據該最大層數與該第二層數決定產生對應該視訊資料的視訊截圖所需的增強層，並判斷是否需要從該多媒體流系統獲取生成該視訊截圖所需的增強層；當需要時根據增強層之間的相關性從該多媒體流系統獲取生成該視訊截圖所需的增強層，否則直接根據該用戶端所接收的增強層來生成該視訊截圖。本發明能提供較高畫面品質的截圖。

Description

視訊截圖系統及方法

本發明涉及一種視訊截圖系統及方法，尤其涉及一種可適性視訊編碼（Scalable Video Coding，SVC）中的視訊截圖系統及方法。

隨著網路技術的進步和網路基礎設施的日漸完善，網路的頻寬和穩定性使得視訊資料的即時傳輸成為可能，因而在YouTube網站之類的視訊串流服務紛紛出現。

近年由於智慧型手機等可攜式裝置的出現而使得接收視訊串流的終端設備變得多元化，為了使提供的視訊串流能適應不同的網路及設備等環境條件，可擴展視訊編碼的技術被發展出來，基於多層編碼架構對視訊資料進行編碼，在不同環境條件下改變視訊串流中的增強層（enhancement layer）數量以提供不同的幀率（frame rate）、解析度（resolution）或畫質，每個增強層中包含若干個幀。

使用者在觀看視訊串流服務中的視訊時，往往會對視訊中的某些內容感興趣而用截圖的方式取得畫面。一般的截圖方式是直接從用戶端的儲存器或顯示卡的視訊儲存器中複製視訊資料，然而由於支援SVC的串流服務會根據環境條件而調整視訊串流中的增強層數量。此外在視訊串流服務中，視訊會在傳輸過程中也常常會有所部分丟失，因此用此種方式取得的截圖往往難以保證其品質。

鑒於以上內容，有必要提供一種視訊截圖系統及方法，其能夠使用戶根據需求選擇視訊截圖參數，並提供較高畫面品質的截圖。

一種視訊截圖系統，從可根據視訊資料產生包含增強層的位元流的多媒體流系統接收位元流，並抓取對應所述位元流的視訊資料的視訊截圖。該系統包括：接收模組，用於從該多媒體流系統接收對應用戶端的位元流的位元流參數；讀取模組，用於從該多媒體流系統獲取最大層數，所述最大層數為該多媒體流系統根據對應該位元流的視訊資料所產生的位元流中可包含的最大增強層層數；獲取模組，用於從該位元流參數中獲取第二層數，所述第二層數為該位元流參數對應的該位元流中包含的最大增強層層數；判斷模組，用於根據該最大層數與該第二層數決定產生對應該視訊資料的視訊截圖所需的增強層，並判斷是否需要從該多媒體流系統獲取生成該視訊截圖所需的增強層；請求獲取模組，用於當需要從該多媒體流系統獲取生成該視訊截圖所需的增強層時，根據增強層之間的相關性從該多媒體流系統獲取生成該視訊截圖所需的增強層；生成截圖模組，根據該用戶端所接收的增強層來生成該視訊截圖。

一種視訊截圖方法，從可根據視訊資料產生包含增強層的位元流的多媒體流系統接收位元流，並抓取對應所述位元流的視訊資料的視訊截圖。該方法包括：接收步驟，從該多媒體流系統接收對應用戶端的位元流的位元流參數；讀取步驟，從該多媒體流系統獲取一最大層數，所述最大層數為該多媒體流系統根據對應該位元流的視訊資料所產生的位元流中可包含的最大增強層層數；獲取步驟，從該位元流參數中獲取第二層數，所述第二層數為該位元流參數對應的該位元流中包含的最大增強層層數；判斷步驟，根據該最大層數與該第二層數決定產生對應該視訊資料的視訊截圖所需的增強層，並判斷是否需要從該多媒體流系統獲取生成該視訊截圖所需的增強層；請求獲取步驟，當需要從該多媒體流系統獲取生成該視訊截圖所需的增強層時，根據增強層之間的相關性從該多媒體流系統獲取生成該視訊截圖所需的增強層；生成截圖步驟，根據該用戶端所接收的增強層來生成該視訊截圖。

相較於習知技術，所述視訊截圖系統及方法在較差的網路環境條件下也能取得較高畫面品質的截圖，而且在傳輸過程中位元流有所損失時，也可重新從伺服器上獲取所需的視訊，保證了截圖的品質。

1．．．伺服器

10．．．串流編碼器

11．．．視訊資料

2．．．用戶端

20．．．串流解碼器

21．．．儲存器

22．．．視訊截圖系統

23．．．處理器

3．．．網路

220．．．接收模組

221．．．讀取模組

222．．．獲取模組

223．．．判斷模組

224．．．請求獲取模組

225．．．生成截圖模組

圖1是本發明視訊截圖系統的應用環境示意圖。

圖2是本發明視訊截圖系統的功能模組圖。

圖3是本發明視訊截圖方法的較佳實施例的流程圖。

如圖1所示，是本發明視訊截圖系統的應用環境示意圖。該視訊截圖系統22運行於用戶端2中，用於在伺服器1中的多媒體流系統所提供的視訊串流服務的視訊中截取高品質的畫面。所述伺服器1包括串流編碼器10。所述視訊串流服務可以基於流媒體協定（如實時串流協議，Real Time Streaming Protocol，RTSP）來實現。所述用戶端2還包括串流解碼器20、儲存器21及處理器23。所述伺服器1透過網路3與用戶端2通信，網路3可以是有線或無線電腦網路。

所謂的串流是指經由視訊壓縮編碼的視訊資料11在伺服器1進行分段後，經過網路3傳送給用戶端2，以供即時觀賞的一種技術。當用戶在收看視訊資料11所對應的視訊時，用戶端2會分段下載視訊資料11，而不需要事先一次性地下載整個視訊資料11。

所述串流編碼器10根據視訊壓縮標準將現場影音資料（如攝影機採集的即時視訊資料）或預存於伺服器上1的視訊文檔（如MPEG-2文檔）加以編碼而產生所述視訊資料11。在本實施例中，串流編碼器10根據高效視訊編碼（High efficiency video coding，HEVC）標準產生所述視訊資料11。伺服器1提供的視訊串流服務可根據視訊資料11產生對應於用戶端2的位元流（bitstream），並將該位元流傳送給用戶端2。不同用戶端各有相應的位元流。所述串流編碼器10根據所述視訊資料11產生的位元流包含一個基礎層（base layer）及N個增強層（enhancement layer），可支援例如可適性視訊編碼（Scalable Video Coding，SVC）的機制。

所述基礎層包含視訊資料11中基本的視訊內容，具有較低的幀率、解析度或畫質。每個基礎層中包括若干個幀。基礎層會被優先傳輸，使得在網路環境不好的情況下，用戶端2也能正常收到基礎層，但基礎層解碼後所得到的視訊的幀率、解析度或畫質都不高。

所述增強層是根據基礎層而編碼的，用於提供基礎層中所沒有的其他視訊內容，用以提高視訊的幀率、解析度或畫質。每個增強層中包括若干個幀。增強層的層數取決於視訊資料11本身的幀率、解析度、畫質等參數，N個所述增強層中的N為伺服器1中的多媒體流系統根據視訊資料11產生的位元流（可能對應不同用戶端）中能夠包含的最大的增強層層數，該參數N記為最大層數，按照增強層與基礎層及不同增強層間的相關性分別編號為第一增強層、第二增強層...及第N增強層。在可適性視訊編碼機制中，增強層間的相關性體現為不同增強層間的相依性，較高的增強層相依於較低的增強層。增強層的層數取決於視訊資料11本身的幀率、解析度、畫質等參數。

每個增強層對應著用戶端2上可選擇的一個視訊截圖規格（如解析度或畫質）。增強層的層數越高，所對應的視訊截圖規格越高，從視訊中所截的視訊截圖畫面品質就越好。

用戶端2所接收到的位元流中的最大增強層層數除了取決於視訊資料11的參數之外，還與網路環境的狀況（如帶寬、擁塞程度）及用戶端2的配置（如螢幕解析度）有關，把用戶端2接收到的位元流中的最大增強層層數記為第二層數，所述第二層數可能等於或小於最大層數N。當網路環境越好、用戶端2的配置越高，則用戶端2收到的第二層數相對地越高，從解碼出的視訊中所截的視訊截圖畫面品質就越好。

伺服器1產生的位元流透過網路3中建立的信道(channel)傳輸至用戶端2。在本實施例中，所述信道包括第一信道及第二信道。所述第一信道可透過用戶資料報協定（User Datagram Protocol，UDP）來實現，所述UDP為一種無連接的傳輸層協定，提供面向事務的簡單不可靠資訊傳送服務，具有較高的傳輸速度。然而在網路不好的情況下，所述用戶資料報協定可能使部分資料丟失而導致視訊畫面品質不佳。所述第二信道可透過較可靠的網路協定來實現，所述較可靠的網路協定包括傳輸控制協議（Transmission Control Protocol，TCP）。所述傳輸控制協議是一種面向連接的、可靠的、基於位元組流的運輸層（Transport Layer）通信協議。

所述串流解碼器20根據視訊壓縮標準對位元流進行解碼，產生視訊原始資料（raw data）並存入儲存器21中供用戶端2的顯示設備據以顯示視訊。當顯示設備顯示該視訊時，可提供用戶抓取該視訊的截圖的功能，具體方法將在後續詳述。在本實施例中，所述串流解碼器20根據高效視訊編碼標準對位元流進行解碼。

所述用戶端2可以是電腦、電視機、手機、平板電腦等電子裝置。所述儲存器21包括儲存器、硬碟等電腦可讀取的存儲媒體。

在本實施例中，所述視訊截圖系統22可以被分割成一個或多個模組，所述一個或多個模組被存儲在所述儲存器21中並被配置成由一個或多個處理器（本實施例為一個處理器23）執行，以完成本發明。例如，參閱圖2所示，所述視訊截圖系統22被分割成接收模組220、讀取模組221、獲取模組222、判斷模組223、請求獲取模組224及生成截圖模組225。本發明所稱的模組是完成一特定功能的程式段。

如圖3所示，是本發明視訊截圖方法的較佳實施例的流程圖。根據不同的需求，該流程圖中步驟的順序可以改變，某些步驟可以省略。

步驟S11，接收模組220接收伺服器1透過網路3的第一信道傳送的對應用戶端2的位元流及該位元流的位元流參數，同時串流解碼器20對所接收的位元流及位元流參數進行解碼，並將經解碼產生的資料保存至用戶端2的儲存器21上。該位元流參數的傳送須先於該位元流，使接收模組220可根據該位元流參數對該位元流進行解碼。在本實施例中，該位元流參數為高效率視訊編碼標準中的視訊參數集（video parameter set）。該位元流參數透過用於傳送位元流的第一信道進行帶內（in-band）傳送。在其他實施例中，位元流參數可透過其他信道進行帶外（out-of-band）傳送，例如利用以較可靠的網路協定實現的信道來傳送。因此，所述位元流參數可透過所述第二信道從伺服器1獲取。

所述位元流及位元流參數是串流編碼器10根據視訊資料11編碼而產生的。所述位元流參數包括增強層間的相依性、增強層的最大層數N（即為所述位元流的最大增強層層數）、視訊畫面的大小、最大編碼單元LCU的大小等。所述位元流及位元流參數透過封包的形式傳送，所述封包是利用信道所對應的通信協議把位元流及位元流參數進行轉換得到的。所述封包可能包含一個或者多個增強層，在本實施例中，所述封包可包括例如網路抽象層（network abstraction layer，NAL）單元的IP封包。所述NAL單元還可以包括該封包中所包含的增強層的編號。增強層編號可儲存於例如網路抽象層單元中預留的nuh_reserved_zero_6bits參數。

步驟S12，讀取模組221從伺服器1獲取所述最大層數N，即伺服器1中的多媒體流系統根據視訊資料11產生的位元流（可能對應不同用戶端）中可能包含的最大的增強層層數。在本實施例中，所述最大層數N透過所述第二信道從伺服器1獲取，例如從所述視訊資料11的元資料（metadata）中取得。

步驟S13，獲取模組222根據用戶端2所接收的位元流參數獲取第二層數。由於第二層數與網路環境狀況及用戶端2的配置有關，因此可能小於最大層數N。在本實施例中，所述第二層數可儲存於例如所述位元流所對應的該位元流參數中預留的vps_reserved_zero_6bits參數。

步驟S14，判斷模組223根據最大層數N與所述第二層數決定產生對應視訊資料11的視訊截圖所需的增強層，並判斷是否需要從伺服器1獲取生成該視訊截圖所需的增強層。

在本實施例中，可使用戶端2的顯示設備根據最大層數N顯示可供抓取的視訊截圖的規格，並根據用戶在用戶端2上選擇的截圖規格及所述第二層數決定產生該視訊截圖所需的增強層，把所需的增強層層數記為第三層數。在本實施例中，顯示的截圖規格包括對應最大層數N的最高規格及其它對應不同增強層的較低的規格。所述截圖規格包括解析度或畫質等。所述截圖規格可以按實際參數值呈現，如解析度，也可按照等級的形式呈現，即把截圖的畫面品質依次分為高、中、低等幾種等級的形式。在其他實施例中，可以使產生該視訊截圖所需的增強層對應於該最大層數，即把第三層數設置為最大層數N。

在本實施例中，判斷模組223可判斷第二層數是否等於第三層數。當第二層數不等於第三層數時，即用戶端2所接收到的位元流沒有包含產生該視訊截圖所需的所有增強層，執行步驟S15；當第二層數等於第三層數時，即用戶端2所接收到的位元流包含所有產生該視訊截圖所需的增強層，執行步驟S16。

在其他實施例中，判斷模組223還可判斷存在用戶端2的儲存器21中的生成該視訊截圖所需的增強層是否完整。由於先前已取得的增強層有可能已從儲存器21中移除，或在傳輸過程中有損失，因此判斷模組223可判斷用戶端2所需的增強層是否沒有缺漏。當儲存器21中生成該視訊截圖所需的增強層完整時，代表生成該視訊截圖所需的增強層全部都存在儲存器21中，執行步驟S16；當在儲存器21中生成該視訊截圖所需的增強層不完整時，即生成該視訊截圖所需的增強層並未全部都存在儲存器21中，執行步驟S15。

步驟S15，請求獲取模組224根據增強層之間的相關性透過網路3請求伺服器1以獲取生成該視訊截圖所需的增強層。

在本實施例中，以第三層數是三、第二層數是一，最大層數是四為例，即用戶端2的儲存器中保存有第一增強層，根據第三層數可知，生成該視訊截圖所需要的最高增強層為第三增強層。但在可適性視訊編碼機制中，第三增強層與第二增強層有相依性，需要參考第二增強層。因此，需要向伺服器1請求獲取第二增強層及第三增強層。

在其他實施例中，若存在用戶端的儲存器21中的生成該視訊截圖所需的增強層不完整時，請求獲取模組224可請求伺服器1以獲取所需的增強層中的幀，或重新獲取整個增強層。除了獲取用戶端2未接收過的增強層外，還補足不完整的增強層。

該視訊截圖所需的增強層可透過所述第一信道從伺服器1獲取，但在網路情況不是很好時，所述第一信道所利用的用戶資料報協定並不一定能保證該視訊截圖的品質。因此，該視訊截圖所需的增強層可透過所述第二信道從伺服器1獲取。

在該步驟S15中，請求獲取模組224將獲取的增強層或者所需增強層中的幀保存至用戶端的儲存器21中。

步驟S16，生成截圖模組225使用用戶端2的儲存器21中該視訊截圖所對應的基礎層及增強層來生成該視訊截圖。

透過本發明，所述視訊截圖系統及方法能使用戶根據需求選擇視訊截圖參數，在較差的網路環境條件下也能取得較高畫面品質的截圖，而且在傳輸過程中位元流有丟失或者用戶端2已取得的位元流從用戶端2的儲存器21中有部分丟失時，也可重新從伺服器上獲取所需的視訊，保證了截圖的品質。

最後應說明的是，以上實施例僅用以說明本發明的技術方案而非限制，儘管參照較佳實施例對本發明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或等同替換，而不脫離本發明技術方案的精神和範圍。

22．．．視訊截圖系統

220．．．接收模組

221．．．讀取模組

222．．．獲取模組

223．．．判斷模組

224．．．請求獲取模組

225．．．生成截圖模組

Claims (10)

1. 一種視訊截圖系統，從可根據視訊資料產生包含增強層的位元流的多媒體流系統接收位元流，並抓取對應所述位元流的視訊資料的視訊截圖，該系統包括：
   接收模組，用於從該多媒體流系統接收對應用戶端的位元流的位元流參數；
   讀取模組，用於從該多媒體流系統獲取最大層數，所述最大層數為該多媒體流系統根據對應該位元流的視訊資料所產生的位元流中可包含的最大增強層層數；
   獲取模組，用於從該位元流參數中獲取第二層數，所述第二層數為該位元流參數對應的該位元流中包含的最大增強層層數；
   判斷模組，用於根據該最大層數與該第二層數決定產生對應該視訊資料的視訊截圖所需的增強層，並判斷是否需要從該多媒體流系統獲取生成該視訊截圖所需的增強層；
   請求獲取模組，用於當需要從該多媒體流系統獲取生成該視訊截圖所需的增強層時，根據增強層之間的相關性從該多媒體流系統獲取生成該視訊截圖所需的增強層；
   生成截圖模組，根據該用戶端所接收的增強層來生成該視訊截圖。
2. 根據申請專利範圍第1項之視訊截圖系統，所述判斷模組還使該用戶端根據該最大層數提供可供抓取的該視訊截圖的截圖規格，並根據該用戶端選擇的截圖規格及該第二層數決定產生該視訊截圖所需的增強層。
3. 根據申請專利範圍第1項之視訊截圖系統，所述判斷模組還比較該第二層數與產生該視訊截圖所需的增強層，當該第二層數小於產生該視訊截圖所需的增強層層數時，判斷為需要從該多媒體流系統獲取生成該視訊截圖所需的增強層。
4. 根據申請專利範圍第3項之視訊截圖系統，所述判斷模組使產生該視訊截圖所需的增強層對應該最大層數。
5. 根據申請專利範圍第1項之視訊截圖系統，所述位元流參數為高效率視訊編碼標準中的視訊參數集。
6. 一種視訊截圖方法，從可根據視訊資料產生包含增強層的位元流的多媒體流系統接收位元流，並抓取對應所述位元流的視訊資料的視訊截圖，該方法包括：
   接收步驟，從該多媒體流系統接收對應用戶端的位元流的位元流參數；
   讀取步驟，從該多媒體流系統獲取最大層數，所述最大層數為該多媒體流系統根據對應該位元流的視訊資料所產生的位元流中可包含的最大增強層層數；
   獲取步驟，從該位元流參數中獲取一第二層數，所述第二層數為該位元流參數對應的該位元流中包含的最大增強層層數；
   判斷步驟，根據該最大層數與該第二層數決定產生對應該視訊資料的視訊截圖所需的增強層，並判斷是否需要從該多媒體流系統獲取生成該視訊截圖所需的增強層；
   請求獲取步驟，當需要從該多媒體流系統獲取生成該視訊截圖所需的增強層時，根據增強層之間的相關性從該多媒體流系統獲取生成該視訊截圖所需的增強層；
   生成截圖步驟，根據該用戶端所接收的增強層來生成該視訊截圖。
7. 根據申請專利範圍第6項之視訊截圖方法，所述判斷步驟還使該用戶端根據該最大層數提供可供抓取的該視訊截圖的截圖規格，並根據該用戶端選擇的截圖規格及該第二層數決定產生該視訊截圖所需的增強層。
8. 根據申請專利範圍第6項之視訊截圖方法，所述判斷步驟還比較該第二層數與產生該視訊截圖所需的增強層，當該第二層數小於產生該視訊截圖所需的增強層層數時，判斷為需要從該多媒體流系統獲取生成該視訊截圖所需的增強層。
9. 根據申請專利範圍第8項之視訊截圖方法，所述判斷步驟使產生該視訊截圖所需的增強層對應該最大層數。
10. 根據申請專利範圍第6項之視訊截圖方法，所述位元流參數為高效率視訊編碼標準中的視訊參數集。