TWI559748B - 用於視訊編解碼器的延伸預測模式及效能之方法及系統 - Google Patents

Description

用於視訊編解碼器的延伸預測模式及效能之方法及系統 【相關申請案】

本申請案係主張美國專利申請案案號13/871,180之優先權，其由Azar等人於2013年4月26日提出申請，標題為「視訊編解碼器的延伸預測模式及效能(Extending Prediction Modes and Performance of Video Codecs)」，與本申請案共同讓與且併入本文作為參考。

本發明一般係有關網路傳輸的編碼及解碼，特別是關於視訊訊框壓縮及解壓縮系統及視訊訊框壓縮及解壓縮的方法。

視訊編解碼器為致能數位視訊(即數位資料流)之壓縮及解壓縮的裝置或軟體。許多目前的視訊編解碼器係假設編碼資料表示自然或真實世界場景而操作，其在空間及時間上採樣。這類場景呈現各種照明條件且可包含多個物件，其每一具有其本身的形狀及質地。然而，在每一視訊訊框中的這些信號通常是連續且遵循某些模式，像是特定的能譜形狀或顏色分佈。此外，由於可用相對高的速度捕捉訊框，新視訊訊框所引入的資訊量通常為小且由相機或物件動作產生。此空間及時間冗餘由所有先進 視訊編碼器所利用，其嘗試預測當前視訊訊框並僅編碼無法從鄰近的空間或時間推導之資料。只對當前視訊訊框與其預測之間的差異、連同所選的預測模式進行編碼係顯著地降低了輸出視訊流的頻寬及儲存需求。視訊訊框預測的進一步改良將有利於本技術領域。

本發明具體實施例提供視訊訊框壓縮及解壓縮系統及視訊訊框壓縮及解壓縮的方法。

在一具體實施例中，視訊訊框壓縮系統包含一顯像引擎，其提供一當前視訊訊框及當前額外顯像資訊。此外，視訊訊框壓縮系統包含一扭曲引擎，其產生一扭曲視訊訊框，其中扭曲視訊訊框為基於當前額外顯像資訊之一先前視訊訊框的一轉換。此外，視訊訊框壓縮系統包含一視訊編碼器，其藉由使用扭曲視訊訊框作為一參考訊框而壓縮當前視訊訊框並個別地壓縮當前額外顯像資訊。此外，視訊訊框壓縮系統包含一封包封裝器，其提供分別對應壓縮當前視訊訊框及壓縮當前額外顯像資訊的主要及輔助資料流。

在一態樣中，視訊訊框壓縮之方法包含提供一當前視訊訊框及當前額外顯像資訊。視訊訊框壓縮之方法也包含產生一扭曲視訊訊框，其中扭曲視訊訊框為基於當前額外顯像資訊之一先前視訊訊框的一轉換。視訊訊框壓縮之方法包含更包含藉由使用扭曲視訊訊框作為一參考訊框而壓縮當前視訊訊框且個別地壓縮當前額外顯像資訊。視訊訊框壓縮之方法更包含將壓縮當前視訊訊框及壓縮額外顯像資訊分別封包封裝化為主 要及輔助資料流。

在另一具體實施例中，視訊訊框解壓縮系統包含一封包解封裝器(depacketizer)，其提供一壓縮當前視訊訊框及壓縮額外顯像資訊。此外，視訊訊框解壓縮系統包含一輔助視訊解碼器，其解碼壓縮額外顯像資訊以提供當前額外顯像資訊。此外，視訊訊框解壓縮系統包含一扭曲引擎，其重建一扭曲視訊訊框，其中扭曲視訊訊框為基於當前額外顯像資訊之一先前視訊訊框的一轉換。此外，視訊訊框解壓縮系統包含一主要視訊解碼器，其藉由使用扭曲視訊訊框作為一參考訊框而解碼壓縮當前視訊訊框以提供一當前視訊訊框。

在另一態樣中，視訊訊框解壓縮之方法包含封包解封裝化一壓縮當前視訊訊框及壓縮額外顯像資訊。視訊訊框解壓縮之方法也包含解碼壓縮額外顯像資訊以提供當前額外顯像資訊。視訊訊框解壓縮之方法更包含重建一扭曲視訊訊框，其中扭曲視訊訊框為基於當前額外顯像資訊之一先前視訊訊框的一轉換。視訊訊框解壓縮之方法包含更包含藉由使用扭曲視訊訊框作為一參考訊框而解碼壓縮當前視訊訊框以提供一當前視訊訊框。

前文已概述了本發明較佳及替代的特徵，使熟此技藝者可對以下的本發明詳細說明有較佳的理解。本發明另外的特徵將於下文中描述，其形成本發明申請專利範圍的主體。熟此技藝者將理解到，其可輕易地使用所揭露的概念及特定具體實施例作為設計或修改其他結構以實現與本發明相同目的之基礎。

100‧‧‧視訊訊框壓縮系統

105‧‧‧顯像引擎

107‧‧‧當前視訊訊框

109‧‧‧先前視訊訊框

110‧‧‧扭曲引擎

120‧‧‧視訊編碼器

121‧‧‧訊框壓縮部份

122‧‧‧提示壓縮部份

125‧‧‧扭曲訊框

130‧‧‧封包封裝器

200‧‧‧視訊訊框解壓縮系統

205‧‧‧封包解封裝器

210‧‧‧主要解碼器

211‧‧‧先前訊框

214‧‧‧當前訊框

215‧‧‧輔助解碼器

216‧‧‧先前訊框Z-深度緩衝器資訊

217‧‧‧解壓縮當前訊框Z-深度緩衝器資訊

220‧‧‧扭曲引擎

225‧‧‧重建的扭曲訊框

300‧‧‧方法

400‧‧‧方法

現在將參照以下描述並連同所附隨圖式，其中：圖1描述根據本發明原理所建構之視訊訊框壓縮系統之具體實施例的方塊圖；圖2描述根據本發明原理所建構之視訊訊框解壓縮系統之具體實施例的方塊圖；圖3描述根據本發明原理所實現之視訊訊框壓縮之方法具體實施例的流程圖；以及圖4描述根據本發明原理所實現之視訊訊框解壓縮之方法具體實施例的流程圖。

視訊遊戲及三維(3D)應用程式通常藉由顯像三角形來建立整體視訊場景以供顯示於視訊螢幕上。視訊螢幕上所見實際上為3D幾何的投射。螢幕上的每一畫素使用深度座標(即z-深度座標)，其指示畫素的對應相對場景深度，其亦具有視訊螢幕上的水平及垂直(x及y)畫素位置座標。畫素位置及其z-深度資訊兩者係用以在二維螢幕上產生視訊場景的3D呈現。經由顯像一視訊場景，可輕易取得此z-深度座標資訊。此外，相機動作所產生的相機投射資訊(需要新的相機位置或地點)也可從顯像操作輕易取得。

預測模式由視訊編碼器使用且一般在計算複雜度及壓縮效率間取得折衷。預測模式對具有各種信號特徵的輸入訊框流運作良好，但對於以電腦圖形方法合成的輸入序列(例如經由柵格化或射線追蹤)，可提 供當前訊框的較佳預測。然而，標準編碼器架構並不包含用以提供外部預測影像到編碼器的設備。本發明的具體實施例解決此問題並提出用以延伸編解碼器之預測模式列表的簡單且有效方法。所提出的方法係輔以預測模式，其係針對GPU顯像內容而特別地調整。此新穎的預測模式可在GPU上快速地計算並改善最終位元流的壓縮速率。

本文中，主要的想法為提供額外、GPU-顯像的預測影像作為參考訊框列表中之其中一參考訊框。此補充影像可使用編碼器及解碼器兩者可得的資料於視訊編碼架構之外建構(例如在應用程式等級)。如同正規的預測模式，編碼器及解碼器兩者需同步並接收相同的預測影像，以編碼並解碼無人為假影的訊框。

大體上，預期以此技術在網路上傳輸的資料(包含新的視訊流及輔助流)將小於根據常規(單純)壓縮技術的原始視訊流。在網路上轉移較少資料係轉換為較低的整體潛時(舉例來說，藉此提供對雲端遊戲的較佳體驗)、較低成本(對應較少的所需傳輸位元)、且一次可服務更多客戶。

「提示(hint)」在本發明中通常定義為可用於預測或編碼程序的額外資訊。此額外資訊通常可由顯像引擎所提供且通常在較低階的軟體中(例如控制視訊編碼器之壓縮引擎的軟體)。此額外資訊允許視訊編碼器在編碼上做得更好，藉此而提供影像品質的改善、潛時的降低或分配場景所需之位元數量的降低，如已經提出的。

「扭曲(warping)」一視訊訊框在本發明中通常定義為轉換現存的視訊影像或訊框。扭曲操作通常將在一影像平面中的位置映射到在另一影像平面中的位置。一般而言，在本發明中，扭曲視訊訊框為一轉換 的先前視訊訊框，其使用額外的資訊(即至少一提示)來提供轉換。如所提出，這些提示可從顯像程序或顯像引擎取得。舉例來說，當相機位置改變，此扭曲轉換係嘗試在每一畫素的基礎上預測每一新畫素上的效果及其情況。

因此，本發明具體實施例包含使用提示以產生扭曲訊框的核心想法，其可接著用作視訊編碼器的參考視訊訊框。這樣做時，可使用現存的視訊編碼器架構，因為只有加入另一參考訊框供視訊編碼器使用。雖然在一客戶端解碼器需要額外資訊的解碼，也可使用現存的視訊解碼器。在一範例中，本發明具體實施例能夠使用未修改的編碼器及解碼器，其符合H.264/AVC視訊編碼標準。

圖1描述根據本發明原理所建構之視訊訊框壓縮系統(通常標示為100)之具體實施例的方塊圖。視訊訊框壓縮系統100包含顯像引擎105、扭曲引擎110、視訊編碼器120及封包封裝器130。

顯像引擎105提供當前視訊訊框107到視訊編碼器120的訊框壓縮部份121。顯像引擎105也提供當前額外顯像資訊(亦即，提示)到扭曲引擎110且到視訊編碼器120的提示壓縮部份122，如圖所示。視訊編碼器120提供含有當前視訊訊框107之訊框壓縮的主要視訊流以及含有當前額外顯像資訊之壓縮的輔助流到封包封裝器130供網路傳輸。

在圖1所描述的具體實施例中，視訊編碼器120符合H.264/AVC視訊編碼標準，其涵蓋主要視訊流及輔助流並支援多個參考訊框評估，其中所使用之每一參考訊框的編碼器參數係調整以改善正確性及效能。在另一具體實施例中，視訊編碼器120可編碼Z-深度資訊，其表示多數 的輔助流，連同在結合色彩+深度編碼模式中的色彩訊框。一般來說，本發明具體實施例涵蓋在其他現存或未來發展的視訊編碼結構中的訊框壓縮及提示壓縮，其中這些壓縮功能可為單獨或結合的。

扭曲引擎110經由先前視訊訊框109的扭曲轉換而產生扭曲視訊訊框125，其中扭曲轉換係基於由顯像引擎105所供應的當前額外顯像資訊。扭曲視訊訊框110由視訊編碼器120的訊框壓縮部份121使用作為用以壓縮當前視訊訊框107的一參考訊框。

一般而言，視訊訊框壓縮系統100描述在一伺服器端上的程序，其產生並使用新的參考訊框(即扭曲的當前訊框125)。針對伺服器端，扭曲當前訊框125允許視訊編碼器120進行訊框預測的改良工作，因為其以最佳情況準確地表現出當前訊框107。舉例來說，在僅有總體移動的情況中，扭曲訊框125看起來完全像是當前訊框107。

在所述範例中，從顯像引擎105供應的當前額外顯像資訊包含相機投射矩陣及Z-深度緩衝器資訊，其對應外部的移動向量提示。「移動向量提示」一詞對應有關當前巨集區塊位置的移位向量。在沒有或少量物件移動的訊框情況中，使用這些外部的移動向量提示來提供新的參考訊框係允許零或接近零的移動搜尋。

視訊編碼器120能夠接受來自外部的提示，指示其嘗試經由移動向量提示所提供的一移動向量，其對應參考訊框中的一位置。此程序取代搜尋移動向量，其將給予最小數目的位元來編碼一巨集區塊或將給予巨集區塊的一匹配。舉例來說，從一當前巨集區塊位置，在特定方向上的某些畫素可能需要移位以找出看起來接近當前巨集區塊的一巨集區塊。

新參考訊框的使用為時間架構的部份且也為空間及時間預測之EPIC架構的部份，其提供預測改良並允許預測時間降低。預測改良一般提供具有較小的當前訊框107剩餘的壓縮，因而需要較少的編碼位元。

也考慮了在客戶端上解碼網路傳輸，因為扭曲當前訊框125需在此被重建。這需要與用以建構扭曲訊框125相同的資訊，在此範例中為相機投射及Z-深度資訊、以及先前視訊訊框109。

圖2描述根據本發明原理所建構之視訊訊框解壓縮系統(通常標示為200)之具體實施例的方塊圖。視訊訊框解壓縮系統200包含封包解封裝器205、主要解碼器210、輔助解碼器215及扭曲引擎220。

封包解封裝器205接收來自視訊訊框壓縮系統(例如圖1的視訊訊框壓縮系統100)的網路傳輸，並提供對應當前視訊訊框214之壓縮餘留訊框的主要視訊流。封包解封裝器205也提供對應壓縮當前額外顯像資訊(即從伺服器端所傳送的提示)的輔助資料流，如有關圖1的討論。

壓縮當前額外顯像資訊的Z-深度部份係提供至輔助解碼器215供解壓縮，其係使用從記憶體提供之先前訊框Z-深度緩衝器資訊216。此解壓縮產生解壓縮當前訊框Z-深度緩衝器資訊217。

壓縮當前額外顯像資訊的相機投射矩陣部份與解壓縮當前訊框Z-深度緩衝器資訊217係提供至扭曲引擎220，其對先前訊框211提供扭曲轉換以產生重建的扭曲訊框225。先前訊框211也從記憶體提供。主要解碼器210使用重建的扭曲訊框220作為較佳的參考訊框，供解碼主要視訊流以提供當前訊框214。

在所述具體實施例中，主要及輔助解碼器210、215係符合 H.264/AVC視訊編碼標準且可為相同視訊解碼器的部份。一般而言，本發明的具體實施例可涵蓋在其他現存或未來發展的視訊編碼結構中的訊框解壓縮及提示解壓縮，其中這些解壓縮功能可為單獨或結合的。

圖3描述根據本發明原理所實現之視訊訊框壓縮之方法(通常標示為300)之具體實施例的流程圖。方法300開始於步驟305，且在步驟310中，提供當前視訊訊框及當前額外顯像資訊。接著，在步驟315中，產生扭曲視訊訊框，其中扭曲視訊訊框為基於當前額外顯像資訊之一先前視訊訊框的轉換。在步驟320中，藉由使用扭曲視訊訊框作為一參考訊框而壓縮當前視訊訊框且當前額外顯像資訊係個別地壓縮。在步驟325中，壓縮的當前視訊訊框及壓縮的額外顯像資訊係分別封包封裝化至主要及輔助資料流中。

在一具體實施例中，當前額外顯像資訊係選自由相機投射矩陣及Z-深度緩衝器所組成的群組。在另一具體實施例中，當前視訊訊框及當前額外顯像資訊係符合H.264/AVC視訊編碼標準。方法300結束於步驟330。

圖4描述根據本發明原理所實現之視訊訊框解壓縮之方法(通常標示為400)之具體實施例的流程圖。方法400開始於步驟405，且在步驟410中，封包解封裝化一壓縮當前視訊訊框及壓縮額外顯像資訊。接著，在步驟415中，解碼壓縮額外顯像資訊以提供當前額外顯像資訊。在步驟420中，重建一扭曲視訊訊框，其中扭曲視訊訊框為基於當前額外顯像資訊之一先前視訊訊框的轉換。在步驟425中，藉由使用扭曲視訊訊框作為一參考訊框而解碼壓縮當前視訊訊框以提供一當前視訊訊框。

在一具體實施例中，當前額外顯像資訊係藉由使用先前額外顯像資訊作為一參考而提供。在另一具體實施例中，當前額外顯像資訊係選自由相機投射矩陣及Z-深度緩衝器所組成的群組。在又一具體實施例中，主要及輔助視訊編碼器符合H.264/AVC視訊編碼標準。方法400結束於步驟430。

雖然本文所述方法已參照以特定順序施行的特定步驟而描述及顯示，但將理解到，這些步驟可結合、細分、或重新排序以形成一等效方法而不會偏離本發明的教示。因此，除非本文有明確指出，步驟的順序或編組並非本發明的限制。

熟習本申請案相關技藝者將理解到，可對所述具體實施例做出其他及更多添加、刪減、替換或修改。

100‧‧‧視訊訊框壓縮系統

105‧‧‧顯像引擎

107‧‧‧當前視訊訊框

109‧‧‧先前視訊訊框

110‧‧‧扭曲引擎

120‧‧‧視訊編碼器

121‧‧‧訊框壓縮部份

122‧‧‧提示壓縮部份

125‧‧‧扭曲訊框

130‧‧‧封包封裝器

Claims (10)

1. 一種視訊訊框壓縮系統，包含：一顯像引擎，提供一當前視訊訊框及當前額外顯像資訊；一扭曲引擎，產生一扭曲視訊訊框，其中該扭曲視訊訊框為基於該當前額外顯像資訊之一先前視訊訊框的一轉換；以及一視訊編碼器，藉由使用該扭曲視訊訊框作為一參考訊框而壓縮該當前視訊訊框並個別地壓縮該當前額外顯像資訊。
2. 如申請專利範圍第1項所述之系統，更包含一封包封裝器(packetizer)，其提供分別對應該壓縮當前視訊訊框及該壓縮當前額外顯像資訊的主要及輔助資料流。
3. 如申請專利範圍第1項所述之系統，其中該當前額外顯像資訊係選自由以下所組成的群組：一相機投射矩陣；以及一Z-深度緩衝器。
4. 如申請專利範圍第1項所述之系統，其中該視訊編碼器符合H.264/AVC視訊編碼標準。
5. 一種視訊訊框解壓縮系統，包含： 一封包解封裝器(depacketizer)，提供一壓縮當前視訊訊框及壓縮額外顯像資訊；一輔助視訊解碼器，解碼該壓縮額外顯像資訊以提供當前額外顯像資訊；一扭曲引擎，重建一扭曲視訊訊框，其中該扭曲視訊訊框為基於該當前額外顯像資訊之一先前視訊訊框的一轉換；以及一主要視訊解碼器，藉由使用該扭曲視訊訊框作為一參考訊框而解碼該壓縮當前視訊訊框以提供一當前視訊訊框。
6. 如申請專利範圍第5項所述之系統，其中該主要及輔助解碼器至少為一相同解碼器的部份。
7. 如申請專利範圍第5項所述之系統，其中該當前額外顯像資訊係藉由使用先前額外顯像資訊作為一參考而提供。
8. 如申請專利範圍第5項所述之系統，其中該當前額外顯像資訊係選自由以下所組成的群組：一相機投射矩陣；以及一Z-深度緩衝器。
9. 如申請專利範圍第5項所述之系統，其中該主要及輔助視訊解碼器符合H.264/AVC視訊編碼標準。
10. 一種視訊訊框解壓縮之方法，包含：封包解封裝化一壓縮當前視訊訊框及壓縮額外顯像資訊；解碼該壓縮額外顯像資訊以提供當前額外顯像資訊；重建一扭曲視訊訊框，其中該扭曲視訊訊框為基於該當前額外顯像資訊之一先前視訊訊框的一轉換；以及藉由使用該扭曲視訊訊框作為一參考訊框而解碼該壓縮當前視訊訊框以提供一當前視訊訊框。